JPWO2006121049A1 - データ処理装置 - Google Patents

データ処理装置 Download PDF

Info

Publication number
JPWO2006121049A1
JPWO2006121049A1 JP2007528289A JP2007528289A JPWO2006121049A1 JP WO2006121049 A1 JPWO2006121049 A1 JP WO2006121049A1 JP 2007528289 A JP2007528289 A JP 2007528289A JP 2007528289 A JP2007528289 A JP 2007528289A JP WO2006121049 A1 JPWO2006121049 A1 JP WO2006121049A1
Authority
JP
Japan
Prior art keywords
information
stream
management information
data
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007528289A
Other languages
English (en)
Inventor
清規 城戸
清規 城戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006121049A1 publication Critical patent/JPWO2006121049A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/40Combinations of multiple record carriers
    • G11B2220/45Hierarchical combination of record carriers, e.g. HDD for fast access, optical discs for long term storage or tapes for backup
    • G11B2220/455Hierarchical combination of record carriers, e.g. HDD for fast access, optical discs for long term storage or tapes for backup said record carriers being in one device and being used as primary and secondary/backup media, e.g. HDD-DVD combo device, or as source and target media, e.g. PC and portable player
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Abstract

択一的に再生される同じ種別のデータストリームが複数存在するときにおいて、コンテンツの再生開始時および/または再生中に、ユーザがどのデータストリームを再生するかを容易に指定できるようにする。データ処理装置は、コンテンツの多重化ストリームを受信する受信部と、多重化ストリームを解析して記録媒体に書き込むための処理を行って処理後の多重化ストリームを記録媒体に書き込む指示を出力する記録制御部と、多重化ストリームの解析結果に基づいて、コンテンツの再生に必要な管理情報を生成する管理情報生成部とを備えている。多重化ストリームは択一的に再生される同じ種別の複数のデータストリームを含んでいる。管理情報生成部は、複数のデータストリームのうちのいずれのデータストリームに基づいてコンテンツを再生するかを特定する選択情報を管理情報に付加する。記録制御部は、管理情報を記録媒体にさらに書き込む指示を出力する。

Description

本発明は、デジタル放送等のストリームを記録媒体に記録する技術、および、記録されたストリームから映像等を再生する技術に関する。
日本のデジタル放送に用いられる映像・音声フォーマット、番組配列情報等は、社団法人電波産業界(ARIB)によって策定された「ARIB STD−B10(平成9年6月19日1.0版策定)」等のARIB規格に準拠している。ARIB規格では、映像、音声等に関するシステム層の多重化フォーマットとして、MPEG−2トランスポートストリーム(TS)を指定している。
DVD等の蓄積メディア向けの記録フォーマットとして用いられてきたMPEG−2プログラムストリーム(PS)と比較すると、TSにはより多くの情報を多重化できる。例えば、複数の映像・音声等のエレメンタリ・ストリーム(ES)を多重化して一つのストリームにすることが可能である。また、複数のESの組として定義された番組(Program)を多重化して1つのストリームにすることもできる。多重化されたESは、同じくTS中に多重化されているSI/PSIと呼ばれる番組配列情報によって識別される。なお、SI/PSIには、多重化情報だけでなく、番組名等の付加的な情報(番組情報)も含まれている。
TSには種々のESを多重化し得るため、日本語と英語など複数の音声ESを含む番組、複数の映像ESを持つマルチビューのスポーツ番組等を実現できる。このような複数の音声ESや映像ESを含む番組は、各1つのESしか含まない番組と比較すると表現の幅が広がっているといえる。しかし出力可能な映像、音声が各ESの数に制限されている点において変わることはなく、さらに多様な再生を可能にするためにはESの数を増やさざるを得ない。データ量等との観点からすると、これでは必ずしも効果的に表現の幅を広げているとはいえない。
特許文献1は、多重化されているESの数以上の多様な態様で再生を可能にするための構成を開示している。具体的には、特許文献1は、再生すべきESの切り替えを指示する情報(マルチビュー自動切替テーブル)を放送局が自ら作成して送信する。ユーザ側の機器は、マルチビュー自動切替テーブルに基づいて、再生中に指定されたESに切り替える。この技術によれば、放送局に指定されたタイミングで視聴対象のESが切り替えられるため、見かけ上、ESの数以上の出力態様で映像等の再生が可能になる。
番組をデジタル記録するに際しては、ストリームのみを記録するだけではなく、そのストリームに関する管理情報も同時に記録することが多い。上述の特許文献1に開示されているテーブルは、管理情報の一つと捉えることができる。管理情報を利用すれば、タイトル等の付加情報の付与、任意の再生手順の定義、飛び込み再生のためのエントリーポイントの設定等が可能になる。また、時間情報とアドレス情報をあわせて管理することで、ランダムアクセス性能の向上や、早送り・早戻しやスロー再生等の特殊再生も可能になる。
管理情報の形式は、記録媒体の種類に応じた規格において規定されている。例えば管理情報の形式は、DVD−RAMやDVD−R/RWに対してはDVD Video Recording規格(DVD−VR規格)において規定され、Blu−ray Discに対してはBlu−ray Rewritable規格(以下BD−RE規格)において規定されている。また、SDカード等の半導体メディアに対してもさらに別の規格によって管理情報の形式が規定されている。
特開2002−314960号公報
現在、複数のESを含む番組を録画し、管理情報を利用して再生等を行うことは可能ではあるが、既存の規格の枠内では視聴者(ユーザ)が利用可能な再生設定に関する自由度は低い。その理由は、既存の規格の多くは従来のアナログ放送の記録を想定して策定されており、マルチビュー番組に代表されるような複数のESを含む番組の記録を想定していないためである。
これは、デジタル放送のTS記録を想定する規格(BD−RE規格)に関しても同様である。すなわち複数のESを含む番組を録画して再生すると、機器によって最初に再生されるESが相違する可能性がある。機器がどのESを再生するかは任意だからである。また、当初再生されるESとは異なるESを再生するためには、一旦再生を開始し、その後ユーザが手動によりESを切り替える必要がある。これでは、再生を行うたびに同じ操作が必要となり、非常に不便である。特に、映像および音声等のそれぞれについてESが複数含まれている場合には、それぞれ好みのESを選択しなければならない。このような点を考慮すると、複数のESを含む番組を録画しても、その利点を十分に活かせているとはいえない。
また、複数のESを含む番組の開始時のみならず、その途中の任意のタイミングでESを切り替えたいとしても、ユーザが再生中に手動操作によって切り替える他はない。そして、好みの切り替えパターンは保存されないため、同じパターンで繰り返しその番組を視聴したとしても、再生のたびに同じ操作が必要であり、不便である。
なお「プレイリスト」という概念を利用して、再生経路を規定する技術はすでに存在している。しかし、プレイリストは、例えば1つのES内、または異なる番組の異なるESにまたがった再生経路を規定する際に利用することは可能であるが、1つの番組の異なるESにまたがった再生経路を規定することはできない。よって従来のプレイリストでは上述した不便さを解決することはできない。
さらに、複数のESを切り替えて再生するということが想定されていないため、番組に複数のESが含まれていることが分かりやすくユーザに伝えられていない。すなわち、ユーザの管理上、複数のESがあるかどうかの情報がわかりにくく不便である。
本発明の目的のひとつは、択一的に再生される同じ種別のデータストリームが複数存在するときにおいて、コンテンツの再生開始時および/または再生中に、ユーザがどのデータストリームを再生するかを容易に指定できるようにすることである。また、本発明の他の目的は、各データストリームに基づくコンテンツの再生態様、および、ユーザが設定したコンテンツの再生態様を、ユーザが容易に把握できるようにして確実な選択を可能にすることである。
本発明のデータ処理装置は、コンテンツの多重化ストリームを受信する受信部と、前記多重化ストリームを解析して記録媒体に書き込むための処理を行い、処理後の前記多重化ストリームを前記記録媒体に書き込む指示を出力する記録制御部と、前記多重化ストリームの解析結果に基づいて、前記コンテンツの再生に必要な管理情報を生成する管理情報生成部とを備えている。前記多重化ストリームは択一的に再生される同じ種別の複数のデータストリームを含んでいる。前記管理情報生成部は、前記複数のデータストリームのうちのいずれのデータストリームに基づいて前記コンテンツを再生するかを特定する選択情報を前記管理情報として付加し、前記記録制御部は、前記管理情報を前記記録媒体にさらに書き込む指示を出力する。
前記管理情報生成部は、前記選択情報として、選択された前記データストリームを特定する識別情報、および、特定された前記データストリームにおける再生開始点を示す開始点情報を前記管理情報に付加してもよい。
前記管理情報生成部は、識別された前記データストリームにおける再生終了点を示す終了点情報をさらに生成し、前記管理情報に格納してもよい。
前記管理情報生成部は、前記選択情報を複数生成して、前記管理情報に付加してもよい。
前記管理情報生成部は、第1時刻以降の前記コンテンツの再生に対しては、第1データストリームを特定する識別情報、および、前記第1時刻を前記再生開始点として特定する開始点情報を第1選択情報として生成し、前記第1時刻より後の第2時刻以降の前記コンテンツの再生に対しては、前記第1データストリームとは異なる第2データストリームを特定する識別情報、および、前記第2時刻を前記再生開始点として特定する開始点情報を、第2選択情報として生成してもよい。
前記管理情報生成部は、ユーザから指示された再生開始点に基づいて、前記開始点情報を生成してもよい。
前記管理情報生成部は、予め定められた再生開始点に基づいて、前記開始点情報を生成してもよい。
前記データ処理装置は、指定された再生経路の削除に関する削除指示を受け取る指示受信部と、前記削除指示に基づいて、前記複数のデータストリームのうち、指定された前記再生経路に対応するデータストリーム、および、前記管理情報に含まれる指定された前記再生経路に関する情報を、前記記録媒体から削除する指示を出力する記録制御部とをさらに備えていてもよい。
本発明による記録媒体には、コンテンツの多重化ストリームを含むストリームファイルと、前記コンテンツの再生に必要な管理情報を含む管理情報ファイルとが記録される。前記多重化ストリームには択一的に再生される同じ種別の複数のデータストリームが多重化されており、前記管理情報には前記複数のデータストリームのうちのいずれのデータストリームに基づいて前記コンテンツを再生するかを特定する選択情報が含まれている。
本発明によるデータ処理装置は、前記記録媒体から前記管理情報ファイルおよび前記ストリームファイルを読み出す再生制御部と、読み出された前記管理情報ファイルから前記選択情報を取り出し、前記選択情報によって特定されたデータストリームの抽出を指示する管理情報解析部と、前記指示に基づいて、前記多重化ストリームから前記データストリームを分離する分離部と、分離された前記データストリームに基づいて前記コンテンツを再生するデコーダとを備えている。
前記管理情報は、第1時刻以降の前記コンテンツの再生に対しては、第1データストリームを特定する識別情報、および、前記第1時刻を前記再生開始点として特定する開始点情報を第1選択情報として含み、かつ、前記第1時刻より後の第2時刻以降の前記コンテンツの再生に対しては、前記第1データストリームとは異なる第2データストリームを特定する識別情報、および、前記第2時刻を前記再生開始点として特定する開始点情報を第2選択情報として含んでおり、前記管理情報解析部は、前記第1選択情報および前記第2選択情報に基づいて、前記第1時刻から前記第2時刻までは前記第1データストリームの抽出を指示し、前記第2時刻以降は前記第2データストリームの抽出を指示してもよい。
前記データ処理装置は、制御情報に基づいて、映像を外部機器において表示するための信号を生成するグラフィック制御部をさらに備えており、前記管理情報解析部は、前記第1選択情報および前記第2選択情報に基づいて、複数の再生経路の存在を示す制御情報を出力し、前記グラフィック制御部は、前記制御情報に基づいて前記複数の再生経路の各々に対応する映像を並べて表示するための信号を出力してもよい。
本発明のデータ処理装置は、コンテンツの編集に用いられる。前記コンテンツは多重化ストリームとして予め記録媒体に記録されており、前記多重化ストリームは択一的に再生される同じ種別の複数のデータストリームを含んでいる。前記データ処理装置は、ユーザから、前記複数のデータストリームのうちのひとつを選択する指示を受け取る指示受信部と、選択されたデータストリームを再生対象として指定する選択情報を生成し、前記管理情報として出力する管理情報生成部とを備えている。
前記指示受信部は、再生の開始点を特定する指示をさらに受け取り、前記管理情報生成部は、選択された前記データストリームを特定する識別情報、および、前記開始点を示す開始点情報を、前記選択情報として生成してもよい。
前記データ処理装置は、前記選択情報を前記記録媒体に記録する指示を出力する記録制御部をさらに備えていてもよい。
前記データ処理装置は、前記選択情報を保持するメモリをさらに備えていてもよい。
前記指示受信部は、データストリームを選択する指示および再生の開始点を特定する指示をそれぞれ複数回受け取り、前記管理情報生成部は、前記選択情報を複数生成してもよい。
前記データ処理装置は、制御情報に基づいて、外部機器で映像を表示するための信号を生成するグラフィック制御部をさらに備えており、前記管理情報生成部は、前記選択情報に基づいて、再生されるデータストリームの順序および各データストリームの再生区間を示す制御情報を出力し、前記グラフィック制御部は、前記制御情報に基づいて、前記順序および再生区間を示す映像の信号を出力してもよい。
本発明によれば、映像、音声、データ等の種別ごとに複数のデータストリーム(ES)が多重化されている多重化ストリームに関し、種別ごとに、再生開始時にどのESをデフォルトとして選択すべきかを示すES選択情報を管理情報として付加する。再生装置は、多重化ストリームの再生時にES選択情報によって特定されたESを自動的に再生するため、ユーザはその選択後は繰り返しESを選択する必要はなくなる。
本実施形態によるハードディスクドライブ内蔵BDレコーダ100の機能ブロックの構成を示す図である。 デジタルチューナ201aおよび記録処理に関するTS処理部204の機能ブロックの構成を示す図である。 再生処理に関するTS処理部204およびデコーダ206の機能ブロックの構成を示す図である。 (a)〜(e)は、レコーダ100の記録処理に関連するトランスポートストリームとクリップAVストリームとの関係を示す図である。 BD205aの記録領域と、そのディレクトリ/ファイル構造を示す図である。 クリップAVストリーム85に含まれる複数のESを模式的に示す図である。 (a)〜(d)は、管理情報とストリームデータとの関係を示す図である。 プレイリストファイル83に格納される情報(エントリ)およびそのデータ構造を示す図である。 録画処理の手順を示すフローチャートである。 プレイリストの生成処理の手順を示すフローチャートである。 (a)はデフォルトES指定マークを規定したリアル/バーチャルプレイリストと、複数の映像ESとの関係を示す図であり、(b)は映像に関するデフォルトES指定マークを含むプレイリストが存在するときの一覧表示画面510の例を示す図である。 (a)はデフォルトES指定マークを規定したリアル/バーチャルプレイリストと、複数の音声ESとの関係を示す図であり、(b)は音声に関するデフォルトES指定マークを含むプレイリストが存在するときの一覧表示画面510の例を示す図である。 任意のタイミングで任意のESに切り替えるときの例を示す図である。 (a)は編集画面に表示されたグラフィカル・ユーザ・インターフェース(GUI)の例を示す図であり、(b)は編集対象のESとデフォルトES指定マークとの対応関係を示す図である。 図14に示す編集処理を実現するためのTS処理部204の機能ブロックの構成を示す図である。
符号の説明
100 HDD内蔵BDレコーダ
112 メモリカード
114 BD
201a デジタルチューナ
201b アナログチューナ
202 ADコンバータ
203 MPEG−2エンコーダ
204 TS処理部
205a BD
205b HDD
206 MPEG−2デコーダ
207 グラフィック制御部
208 メモリ
209 DAコンバータ
210 プログラムROM
211 CPU
212 RAM
213 CPUバス
214 ネットワーク制御部
215 指示受信部
216 インターフェース(I/F)部
217 メモリカード制御部
250 システム制御部
251 チューナ部
252 デマルチプレクサ
253 管理情報生成部
254 記録制御部
255 再生制御部
256 管理情報解析部
257 デマルチプレクサ
258 ビデオデコーダ
259 オーディオデコーダ
260 データデコーダ
以下、添付の図面を参照して、本発明によるデータ処理装置の実施形態を説明する。本実施形態においては、データ処理装置はハードディスクドライブを内蔵した光ディスクレコーダであるとして説明する。光ディスクには、ストリームデータと再生手順等を示した管理情報ファイルが記録される。このようなストリームデータとそれに対応する管理情報を記録するためのフォーマットとしては、記録対象のメディアに応じてDVD−VRやBD−RE等の規格が策定されている。本実施形態においては、「光ディスク」としてBlu−rayディスク(BD)を想定し、BD−RE規格を利用した記録を例に挙げて説明する。BD−RE規格では、ストリームデータをMPEG−2トランスポートストリーム(TS)フォーマットで記録する。TSを用いているため、複数のESを含むデジタル放送ストリームであっても、ほとんど手を加えずにそのまま記録することが可能である。
本実施形態においては、単一のコンテンツ(1放送番組など)のTSには、同じ種別のエレメンタリストリーム(ES)が複数多重化されており、それらは択一的に再生されるとする。「種別」とは、映像、音声および字幕などを示す。「同じ種別のES」とは、例えば映像のESが複数含まれていることを意味する。本実施形態において、「コンテンツを再生する」とは、種別が同じか異なっているかを問わず、少なくとも1つのESに基づいて映像、音声、字幕などが出力されていることを言う。
まず本実施形態による光ディスクレコーダの概要を説明する。
光ディスクレコーダは、コンテンツのTSを受信する受信部を有している。そして受信したTSから必要な番組のパケットを取り出してパーシャルTSを生成し、TS処理部に送る。TS処理部は、そのTSを解析して記録媒体(光ディスク、ハードディスクなど)に書き込むための処理を行い、ストリームファイルとして記録媒体に書き込む。あわせて、TS処理部は解析結果に基づいてコンテンツの再生経路に関する管理情報を生成する。
TS処理部の構成および動作をより具体的に説明すると、TS処理部は管理情報生成部および記録制御部を含んでいる。管理情報生成部は、複数のESのうちのいずれのESに基づいてコンテンツを再生するかを特定する選択情報を管理情報として付加する。そして記録制御部は、その管理情報を管理情報ファイルとして記録媒体にさらに記録する。例えば、ユーザは、スポーツ番組の複数の映像のES(アングル1、2、3)のうちどのESから再生を開始するかを指定することができる。または、ユーザは、映画の複数の音声のES(日本語、英語、中国語)のESのうちどのESから再生を開始するかを指定することもできる。記録制御部は、どのESを指定するかを示す選択情報を管理情報として付加する。ユーザが録画予約時などにどのESを指定するかを設定しておくと、その選択情報が付加された管理情報が録画時に生成され、記録媒体に格納される。この結果、ユーザは録画した番組を初めて視聴する時から、映像、音声等に関して指定したESから再生を開始することができる。
以下、図1から図3を参照しながら、本実施形態によるハードディスクドライブ内蔵BDレコーダ100(以下「レコーダ100」と記述する)の具体的な構成を説明する。図1は、レコーダ100の機能ブロックの構成を示す。レコーダ100は、記録媒体としてBD205aおよびハードディスク205bを有している。
レコーダ100は、デジタルチューナ201aおよびアナログチューナ201bと、ADコンバータ202と、MPEG−2エンコーダ203と、TS処理部204と、MPEG−2デコーダ206と、グラフィック制御部207と、メモリ208と、DAコンバータ209と、CPUバス213と、ネットワーク制御部214と、指示受信部215と、インターフェース(I/F)部216と、メモリカード制御部217と、システム制御部250とを含む。なお、図1には、光ディスク205aがレコーダ100内に記載されているが、光ディスク205aはレコーダ100から取り外し可能であり、レコーダ100自体の構成要素ではない。
以下、各構成要素の機能を説明する。デジタルチューナ201aは、アンテナ(図示せず)から1以上の番組が含まれるデジタル信号を受け取る。デジタル信号として伝送されるMPEG−2トランスポートストリーム(TS)には複数の番組のパケットが混在している。複数の番組のパケットを含むトランスポートストリームは“フルTS“と呼ばれる。フルTSには、複数の番組のうちから特定の番組のデータを抽出するために必要な種々の制御パケット(例えば番組表パケット、番組対応表パケット等のPSIパケット、SIパケット)も含まれている。デジタルチューナ201aは、選局を行ってフルTSから選局された番組のパケットおよび必要な制御パケットを取り出し、所定の処理を加えて”パーシャルTS“として出力する。またデジタルチューナ201aは、パーシャルTSの生成時に取得したパーシャルTSに関する制御情報(ストリーム情報)も出力する。
フルTSから所望のチャンネルのパケットを取り出す手順は以下のとおりである。いま、希望の番組の番組番号(チャンネル番号)をXとする。まずはじめに、フルTSから番組表パケット(PAT_TSP)が検索される。番組表パケットのパケットID(PID)には、必ず0が与えられているので、その値を有するパケットを検索すればよい。番組表パケット内の番組表には、各番組番号と、その番組番号に対応する各番組の番組対応表パケット(PMT_TSP)のPIDが格納されている。これにより、番組番号Xに対応する番組対応表PMTのパケットID(PID)を特定できる。番組対応表PMTのPIDをXXとする。
次に、PID=XXが付された番組対応表パケット(PMT_TSP)を抽出すると、番組番号Xに対応する番組対応表PMTが得られる。番組対応表PMTには、番組ごとに、視聴の対象として各番組を構成する映像・音声情報等が格納されたTSパケットのPIDが格納されている。例えば、番組番号Xの映像情報のPIDはXVであり、音声情報のPIDはXAである。このようにして得られた映像情報を格納したパケットのPID(=XV)と、音声情報を格納したパケットのPID(=XA)とを利用して、フルTSから特定の番組に関する映像・音声のパケットを抽出できる。
なお、フルTSからパーシャルTSを生成する際には、必要な映像・音声情報を格納したパケットを取り出すだけでなく、PSI(Program Specific Information)パケットおよびSI(Service Information)パケットも抽出し、変更する必要がある。PSIパケットとは、番組表パケット(PAT_TSP)および番組対応表パケット(PMT_TSP)等を総称するパケットである。PSIパケットを修正する理由は、フルTSとパーシャルTSとでは含まれる番組数等が異なるため、番組表および番組対応表をパーシャルTSに適合させる必要が生じるからである。一方、SIパケットとは、フルTSに含まれる番組の内容、スケジュール/タイミング等を記述するデータ、独自に定義された拡張情報(これらは「番組配列情報」とも呼ばれる)等を含むパケットである。フルTSではSIパケットに含まれるデータは20〜30種類にも上る。これらのデータのうち、パーシャルTSの再生等に関して重要なデータのみが抽出されて1つのSITパケットが生成され、パーシャルTS内に多重化される。またパーシャルTSでは、SITパケットにはそのストリームがパーシャルTSであることを示す情報(partial transport stream descriptor)が格納されている。パーシャルTS内にSITパケットを多重化することは慣用されている。これは、欧州/日本のデジタル放送規定(DVB/ARIB)との整合性のためである。
アナログチューナ201bは、アンテナ(図示せず)からアナログ信号を受け取り、周波数に基づいて選局を行って必要な番組の信号を取り出す。そして番組の映像および音声信号をADコンバータ202に出力する。
ADコンバータ202は入力された信号をデジタル変換してMPEG−2エンコーダ203に供給する。MPEG−2エンコーダ203(以下「エンコーダ203」と記述する)は、録画の開始指示を受け取ると、供給されたアナログ放送のデジタルデータをMPEG−2形式に圧縮符号化してトランスポートストリームを生成し、TS処理部204に入力する。この処理は、エンコーダ203が録画の終了指示を受け取るまで継続される。エンコーダ203は圧縮符号化を行うために、参照ピクチャ等を一時的に保持するバッファ(図示せず)等を有している。なお、同時に視聴が行われる際には、エンコーダ203はトランスポートストリームをMPEG−2デコーダ206に入力する。
TS処理部204は、動画の記録時にはパーシャルTSを受け取り、クリップAVストリーム(ClipAVストリーム)を生成し、BD205aおよび/またはHDD205bに記録する。クリップAVストリームとは、BD205aに記録するための形式を有するデータストリームである。クリップAVストリームは複数の「ソースパケット」から構成されており、「ソースパケット」はパーシャルTSを構成する各TSパケットに所定のヘッダを付加して生成される。なお、クリップAVストリームを生成する際の処理の詳細は、図4(a)〜(e)を参照しながら後述する。本実施形態においては、HDD205bに記録されるストリームの形式も便宜的にクリップAVストリームであるとする。
また、TS処理部204は、クリップAVストリームの生成とともにそのストリームをBD205aの再生などを制御し、格納された各種のデータ位置を管理するための管理情報を生成し、BD205aに記録する。
TS処理部204は、動画の再生時には、BD205aおよび/またはHDD205bからクリップAVストリームおよび管理情報を読み出し、それらの管理情報およびクリップAVストリームに基づいてパーシャルTSを生成し、MPEG−2デコーダ206に出力する。
TS処理部204は、後述するメモリカード制御部217との間でも管理情報およびクリップAVストリームを授受するように動作してもよく、この結果、メモリカード112に番組を録画し、録画された番組をメモリカード112から再生することもできる。またTS処理部204は、各種の記録媒体間で管理情報およびクリップAVストリームのコピー、ムーブ等を行う際にもデータの転送を仲介する。
TS処理部204のさらに具体的な構成および動作は、後に図2、図3および図10を参照しながら詳述する。なお、本明細書では、TS処理部204がBD205aおよび/またはHDD205bにデータを書き込み、またはそれらからデータを読み出すとして説明しているが、これは説明の便宜のためである。BD205aやHDD205bに対するストリームの書き込みや読み出しは、実際には、ディスクの回転、ヘッドの移動とともに各々のドライブ装置に設けられたコントローラ(図示せず)が行っている。TS処理部204はそのようなコントローラに対して指示を送り、データを授受することによって、データの書き込みおよび読み出しが実現される。
MPEG−2デコーダ206(以下「デコーダ206」と記述する)は、供給されたパーシャルTSを解析してMPEG−2圧縮符号化データを取得する。そして、その圧縮符号化データを伸長して非圧縮データに変換し、グラフィック制御部207に供給する。また、デコーダ206は、MPEG−2規格の圧縮符号化データのみならず、例えばJPEG規格に従った静止画データも非圧縮データに変換することができる。グラフィック制御部207には内部演算用のメモリ208が接続されており、オン・スクリーン・ディスプレイ(On Screen Display;OSD)機能を実現できる。例えば、グラフィック制御部207は種々のメニュー画像と映像とを合成してDAコンバータ209に出力することができる。DAコンバータ209は、入力されたOSD合成画像および音声データをアナログ変換して出力する。出力先は、例えばTV(図示せず)である。
CPUバス213はレコーダ100内の信号を伝送する経路であり、図示されるように各機能ブロックと接続されている。また、CPUバス213には、後述するシステム制御部250の各構成要素も接続されている。
ネットワーク制御部214は、レコーダ100をインターネット等のネットワーク101に接続するためのインターフェイスであり、例えば、イーサネット(登録商標)規格に準拠した端子およびコントローラである。ネットワーク制御部214は、ネットワーク101を介してデータを授受する。このデータは、例えば放送番組に関する番組表のデータや、レコーダ100の動作を制御するためのソフトウェアプログラムの更新データである。
指示受信部215は、レコーダ100の本体部に設けられた操作ボタン、または、リモートコントローラからの赤外線を受光する受光部である。指示受信部215は、ユーザから、例えば録画の開始/停止、録画した番組の再生の開始/停止等の指示や、予約録画の指示と予約録画を行う番組の放送日時、チャンネルなどの通知、および、後述する、どのESをデフォルトESとして設定するか等の指示を与える。
インターフェース(I/F)部216は、レコーダ100が他の機器と通信するためのコネクタおよびその通信を制御する。I/F部216は、例えばUSB2.0規格の端子、IEEE1394規格の端子および各規格によるデータ通信を可能とするコントローラを含み、各規格に準拠した方式でデータを授受することができる。例えば、レコーダ100は、USB2.0規格の端子を介してPCや、カムコーダ(図示せず)等と接続され、IEEE1394規格の端子の端子を介してデジタルハイビジョンチューナや、カムコーダ(図示せず)等と接続される。
メモリカード制御部217は、メモリカード112をレコーダ100に装填するためのスロット、および、レコーダ100とメモリカード112との間のデータ通信を制御するコントローラである。メモリカード制御部217は、装填されたメモリカード112から静止画データファイル、動画データファイル等を読み出して、CPUバス213に伝送する。
システム制御部250は、レコーダ100内の信号の流れを含む全体的な処理を制御する。システム制御部250は、プログラムROM210と、中央制御ユニット(CPU)211と、RAM212とを有している。それぞれはCPUバス213に接続されている。プログラムROM210にはレコーダ100を制御するためのソフトウェアプログラムが格納されている。
CPU211は、レコーダ100の全体の動作を制御する。CPU211は、コンピュータプログラムを読み出して実行することにより、プログラムに基づいて規定される処理を実現するための制御信号を生成し、CPUバス213を介して各構成要素に出力する。プログラムに基づいて規定される処理とは、たとえば後述の受信処理、記録処理、再生処理および編集処理等である。
メモリ212は、CPU211がプログラムを実行するために必要なデータを格納するためのワーク領域を有する。例えば、CPU211は、CPUバス213を使用してプログラムROM210からプログラムをランダムアクセスメモリ(RAM)212に読み出し、そのプログラムを実行する。
コンピュータプログラムは、CD−ROM等の記録媒体に記録して市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。これにより、PC等を利用して構成されたコンピュータシステムを、本実施形態によるレコーダ100と同等の機能を有するデータ処理装置として動作させることができる。
なお図1は、受信機能、記録機能、再生機能等の複数の機能を有するレコーダ100を示しているが、各機能は独立しており、図1の構成と同等の信号の授受が可能であれば、これらは複数の装置として実現してもよい。例えば、チューナ201aおよび201b、デコーダ206、グラフィック制御部207およびDAC209をTV(図示せず)の機能として設けることができる。また、HDD205bを単独の機器として設けることもできる。そして、TV、レコーダおよびHDD205bを、例えばIEEE1394によって接続すればよい。
次に、図2を参照しながら、デジタルチューナ201aの機能および記録処理に関するTS処理部204の機能をより詳細に説明する。図2は、デジタルチューナ201aおよび記録処理に関するTS処理部204の機能ブロックの構成を示す。デジタルチューナ201aは、チューナ部251と、デマルチプレクサ252とを有している。また、TS処理部204は、管理情報生成部253および記録制御部254を有している。
デジタルチューナ201aのチューナ部251はデジタル放送波を受信し、フルTSを取り出す。その後デマルチプレクサ252は、フルTSから録画対象の番組のデータを含むパーシャルTSを生成し、記録制御部254に送る。またデマルチプレクサ252は、パーシャルTSの生成時に取得したパーシャルTSに関する制御情報(ストリーム情報)も出力する。すなわちデマルチプレクサ252は、パーシャルTSへの変換と同時に、ストリーム中のSI/PSIやES特徴点等のストリーム情報を抽出し、管理情報生成部253に送る。その結果、管理情報生成部253はストリーム情報を格納した管理情報を生成する。
記録制御部254は、受け取ったパーシャルTSおよび管理情報を、記録媒体205aに記録する。留意すべきは、記録制御部254はパーシャルTS自体をBD205aに書き込むのではなく、所定の拡張ヘッダを付加する処理を行ってクリップAVストリームを生成し、そのストリームをBD205aに書き込む。この処理の詳細は図4を参照しながら後述する。
次に図3を参照しながら、再生処理に関するTS処理部204の機能およびデコーダ206の機能をより詳細に説明する。
図3は、再生処理に関するTS処理部204およびデコーダ206の機能ブロックの構成を示す。再生時は、まず、再生制御部255によって記録媒体205aから管理情報のファイルが読み出される。管理情報解析部256は、読み出された管理情報に従って、再生制御部255に対してパーシャルTSの読み込み制御を行い、パーシャルTSをデマルチプレクサ257へ入力する。同時に、管理情報解析部256はデマルチプレクサ257に対して、パケット識別子(PID)設定等を行い、そのPIDを有するTSパケットの分離を指示する。その指示とPID設定とに基づいて、デマルチプレクサ257は設定されたパケット識別子を有するパーシャルTS内のTSパケットのみを分離抽出して、出力する。なお、PID設定は映像、音声、字幕等のそれぞれについて行う。
デマルチプレクサ257によって分離されたESは、それぞれのESに応じたビデオデコーダ258、オーディオデコーダ259、データデコーダ260へと入力される。管理情報解析部256は、各デコーダ258〜260に対してデコードを行うよう指示する。その指示に基づいて、ビデオデコーダ258は映像ESをデコードし、オーディオデコーダ259は音声ESをデコードし、データデコーダ260は字幕ESをデコードする。各デコーダ258、259、260はそれぞれをデコードしてデジタル信号として出力する。
TS中に複数のESが含まれている場合、通常のTV等に出力する場合であれば、1種類の映像および1種類の音声を取り出し再生出力する。字幕等のデータが存在すれば、同様に選択およびデコードが行われる。ユーザがESの切り替え要求を出すと、管理情報解析部256はデマルチプレクサ257に対してPIDを再設定してESの分離を指示する。また管理情報解析部256は、各デコーダ258〜260に対してデコードを行うよう指示する。するとその後は、再設定後のPIDを有するTSパケットが抽出され、異なるESがデコードされる。
1つの番組に同じ種別のESが複数存在する場合、例えばアングルに応じた複数の映像ESが存在する場合であっても、各アングルのESのデータは、ESごとに異なるPIDが割り当てられたTSパケットに格納されている。よって、PIDを利用すると特定のアングルのESのみを抽出できる。これは、音声および字幕についても全く同じである。
次に、図4および5を参照しながら、データ構造およびファイル構造の観点から、TS処理部204の記録処理および記録後のBD205aを説明する。
図4(a)〜(e)は、レコーダ100の記録処理に関連するトランスポートストリームとクリップAVストリームとの関係を示す。参考のため、図4(a)にフルTS70を示している。フルTS70は、TSパケットが連続して配置されており、例えば3つの番組X,YおよびZのデータを含む。図4(b)は、デジタルチューナ201aによってフルTS70から生成されたパーシャルTS71を示す。パーシャルTS71は、連続したフルTSから一部のパケットを取り出したストリームであるため、パケットが時間的に離散して存在している。このパケットの間隔は、フルTSの送信側によって調整されており、デコーダにおいてデコードが適正に行われるために必要な条件を満たす。この「条件」とは、MPEG−2TSの理想モデルとして規定されたT−STD(TSシステムターゲットデコーダ;TS System Target Decoder)のバッファメモリがオーバーフローおよびアンダーフローを引き起こさないためにMPEG規格上定められた条件である。
パーシャルTS71は、例えば番組Xに関するTSパケットを含んでいる。
図4(c)は、クリップAVストリーム72を示す。クリップAVストリーム72は、ソースパケットが連続して配列されている。各ソースパケットは、ソースパケット番号(SPN)#1、2、3・・・で区別される。
図4(d)は、ソースパケット73のデータ構造を示す。ソースパケット73のデータ長は192バイトに固定されている。すなわち、各ソースパケット73は、188バイトのTSパケット75の前に、4バイトのTPエクストラヘッダ74を付加して構成されている。ソース・パケタイザは、パーシャルTSを構成するTSパケットの前にTPエクストラヘッダ74を付加することにより、ソースパケットを生成している。
図4(e)は、TPエクストラヘッダ74のデータ構造を示す。TPエクストラヘッダ74は、2ビットのコピー許可インジケータ(CPI)76と、30ビットの到着タイムスタンプATS77とから構成されている。コピー許可インジケータ(CPI)76は、そのビット値に応じて、クリップAVストリーム72の全部または一部のコピー回数(0回(コピー不可)/1回のみ/制限なし等)を規定している。到着タイムスタンプATS77には、90kHz精度で時刻が記述される。
なお、図4(c)に記載されたクリップAVストリーム72は、例えば32個のソースパケットの集合(6KB)を1つの単位としてBD205a等に記録される。このような単位をアラインド・ユニットという。アラインド・ユニットを規定する理由は、BD205aが1セクタ2KBであるため、32ソースパケットの単位でセクタとのアライメントが確保できるためである。
次に、図5を参照しながら、クリップAVストリームがどのようにBD205a上に記録されるかを説明する。なお、クリップAVストリームはHDD205bにも記録され得るため、同様のデータ構造によって記録することができる。ただし、HDD205bは一般にレコーダ100から取り外されて他の機器に装填されることはないため、独自のデータ構造によってデータを記録してもよい。
図5は、BD205aの記録領域と、そのディレクトリ/ファイル構造を示す。BD205aは、ギャザード・ファイル領域81−1とリアルタイム・データ領域81−2とを有する。
ギャザード・ファイル領域81−1の記録容量は数百メガバイトである。ギャザード・ファイル領域81−1には、クリップAVストリームの再生等を管理する管理情報のファイル(データベースファイル)が記録される。図5に示すように、データベースファイルは複数種類存在している。データベースファイルとして、例えば管理ファイル82(Info.bdav)、プレイリストファイル83(01001.rpls、10000.vpls)、クリップ情報ファイル84(01000.clpi)が存在する。プレイリストファイル83には、再生順序を示すPlayItemや、プレイリストマーク等が記載されている。クリップ情報ファイル84には、STCシーケンスや、ATCシーケンス、“ProgramInfo”等の連続区間を示すシーケンス情報や、エントリポイントマップ(“EP MAP”)のようなランダムアクセスや特殊再生のためのエントリーポイント情報が記載されている。
ギャザード・ファイル領域81−1に記録されるデータベースファイルはアクセスされる頻度が高い。よって、ギャザード・ファイル領域81−1は効率的にアクセスが可能な、BD205aの記録領域の中間部に設けられている。また、データベースファイルはクリップAVストリーム等の動画ストリームを再生するために必須であり、記録内容の誤りは重大な障害を引き起こす。そのため、データベースファイルは同じBD205a上にバックアップされる。
一方、リアルタイム・データ領域81−2の記録容量は23〜27ギガバイトである。リアルタイム・データ領域81−2には、クリップAVストリームのストリームファイルが記録される。例えばクリップAVストリームファイル85(01000.m2ts)が記録される。先のデータベースファイルと異なり、ストリームファイルの再生誤りの影響は局所的であり、その一方、連続的な読み出しを確保する必要がある。よって、誤りの発生を低減するよりも、連続読み出しを保証する方に重点をおいた書き込み処理が行われる。具体的には、クリップAVストリームファイル85は最小で12Mバイトの連続領域(連続した論理セクタ)に記録される。この最小の記録データサイズは「エクステント」と呼ばれる。なお、リアルタイム・データ領域81−2には、DVストリームを記録することもできるが、以下ではクリップAVストリームが記録されているとして説明する。
図6は、クリップAVストリーム85に含まれる複数のESを模式的に示す。クリップAVストリームファイル85は、映像、音声および字幕について、それぞれ複数のESを有している。例えばクリップAVストリームファイル85が映画を録画したファイルであるとすると、異なる視点(アングル)1〜3のES(V1〜V3)を含んでいる。同様に、異なる音声(日本語/英語/中国語)の各音声ES(A1〜A3)を含み、異なる字幕(日本語/英語/・・・)の各字幕ES(S1、S2・・・)を含む。上述のように、各ESには異なるES PID値が割り当てられている。図6には、各ESに関連して割り当てられたPIDの例を示している。なお、説明の便宜のため、本実施形態においてはES PID値が0x01のESは同じ値をPID値として有するTSパケットに格納され、書き込みおよび読み出しが行われるとして説明する。ただし、レコーダ100が、再生すべきESのデータを格納したTSパケットを確実に抽出できるのであれば、他の方法を採用してもよい。
ここで、図7を参照しながら、上述の管理ファイル82、プレイリストファイル83、クリップ情報ファイル84およびクリップAVストリームファイル85相互の関係を説明する。図7(a)〜(d)は、管理情報とストリームデータとの関係を示す。図7(a)〜(c)が管理情報であり、図7(d)がストリームデータである。図7(a)は管理ファイル82(Info.bdav)に記述されるプレイリストのテーブルを示す。すなわち、管理ファイル82には、BD205a上に存在するプレイリストを特定するプレイリストファイル名のテーブルが格納されている。ここで「プレイリスト」とは、1以上のクリップAVストリームの一部または全部に跨る再生経路を規定した情報である。
図7(b)は、プレイリストファイル83(拡張子:rpls/vpls)に記述されるプレイリストを示す。プレイリストは、リアルプレイリストおよびバーチャルプレイリストに分類できる。リアルプレイリストは、例えば初めてストリームデータが記録されたときにレコーダ100によって生成されるプレイリストであり、再生経路として動画の最初から最後までが指定される。一方、バーチャルプレイリストは、記録されたストリームデータに対してユーザが設定したプレイリストであり、ユーザの希望する任意の位置および区間が指定される。
プレイリストの各区間は、プレイリスト内の各プレイアイテムにおいて規定される。すなわち、プレイアイテムには、再生開始位置に対応する開始時刻(In_time)および再生終了位置に対応する終了時刻(Out_time)が記述される。開始時刻および終了時刻は、映像のフレームの再生表示時刻や音声のフレームの再生出力時刻を特定するプレゼンテーションタイムスタンプ(PTS)によって記述される。通常、記録直後のリアルプレイリストではプレイアイテムは1つだけ設けられ、動画の最初と最後の時刻が指定される。一方、バーチャルプレイリストではプレイアイテムの数は任意である。1つのバーチャルプレイリストに複数のプレイアイテムを設け、各プレイアイテムが異なる動画ストリームを指定するように記述することもできる。
図7(c)はクリップ情報ファイル84(拡張子:clpi)に記述される時間・アドレス変換テーブル(EP_map)84を示す。変換テーブル(EP_map)84は、クリップAVストリームの再生時刻と、その時刻に再生されるデータが格納されたアドレスとを対応付けたテーブルである。この変換テーブル84を利用することにより、プレイアイテムにおいて指定される開始時刻(In_time)および終了時刻(Out_time)から、その時刻に再生すべきデータが格納されたクリップAVストリームにおけるアドレスを特定することができる。なお、この変換テーブル84を利用した変換の原理は、後に図13から図15を参照しながら詳述する。
図7(d)は、クリップAVストリームファイル85(拡張子:m2ts)に格納される動画ストリームを示す。この図では、ファイル“01000.m2ts”および“02000.m2ts”の各々がクリップAVストリームファイルである。
図7(c)および(d)に示すように、BD205a上では、1つのクリップAVストリームファイルに対して1つのクリップ情報ファイルが設けられる。クリップAVストリームファイルと、クリップ情報ファイルの対は、クリップ(Clip)と呼ばれる。
本実施形態では、映像、音声、字幕等の各々について複数のESが存在するとき(図6)において、最初に再生するES(デフォルトES)を指定するために「ES選択情報」を導入する。本実施形態においては、プレイアイテム(およびSTCシーケンス、プログラムシーケンス)毎にデフォルトESを指定するES選択情報を管理情報の一部として付加する。ES選択情報としては、エレメンタリストリームPID(以下ES PID)が考えられる。または、より高い抽象度で考えると、ARIB規格等の放送規格で定義されているコンポーネントタグ等も使用可能である。
ES選択情報として、本実施形態においては従来のBD−RE等の規格におけるマーク情報を利用する。BD−REでは、プレイリストマークがマーク情報に相当する。プレイリストマークは、プレイリストファイル83に格納されている。
図8は、プレイリストファイル83に格納される情報(エントリ)およびそのデータ構造を示す。プレイリストファイル83には、プレイリストマークに対応するプレイリストマーク(PlayListMark)エントリ90が規定されている。
プレイリストマークエントリ90には、マークタイプ(mark_type)フィールド91、マークタイムスタンプ(mark_time_stamp)フィールド92、ES選択情報(ES_PID)フィールド93等が規定されている。mark_typeフィールド91はマークの種別を示す。BD−RE規格では、マークの種別として、ブックマーク、リジュームマーク等が定義されている。本実施形態では、新たな種別として、デフォルトES指定マーク(Default−ES−mark)を定義する。例えば、0x03をその値として定義する。表1は、マークタイプフィールド91に指定される数値とマークとの関係を示す。
Figure 2006121049
デフォルトES指定マークは、上述のES選択情報に対応する。デフォルトES指定マークから次のデフォルトES指定マークまでの再生区間は、ES_PIDフィールド93において指定されたES PIDに対応するESがデフォルトとして選択され、再生される。デフォルトES指定マークは、音声、映像、字幕等について、先頭に各1つ設定できる。
なお表1の他のマークの機能は以下のとおりである。リジュームマークは再生再開点を示し、再生を一旦中断したときに設定される。このマークはその中断位置から再生を開始するために設けられている。ブックマークは、例えばユーザがお気に入りのシーンの開始点を指定するマークとして設けられる。スキップマークは、そのポイントからプログラムの最後まで、プログラムをスキップするために設けられる。なお、他にもチャプターマーク等が存在するが、詳細は省略する。
mark_time_stampフィールド92は、再生するESの再生点を特定する情報が記述される。例えばmark_time_stampフィールド92では、再生出力のタイミングがSTC時間軸の時刻(マークタイプスタンプ)によって記述される。なお、プレイリストファイル83には複数のプレイアイテムを規定することができるため、プレイアイテムID(PlayItem_id)にどのプレイアイテムを対象とするかを指定する。上述のマークタイプスタンプ92はプレイアイテムIDとともに再生位置情報として取り扱われる。
ES選択情報(ES_PID)フィールド93は、選択の対象とするESを特定するES選択情報が記述される。BD−RE 1.0では、そのデータ構造中にES PID値を指定するためのフィールドが規定されており、そのフィールドがES選択情報(ES_PID)フィールド93に相当する。
プレイリストマークとしてデフォルトES指定マークが定義されると、例えば図8中の“reserved”と示す領域に、ユーザが指定したES_PID値またはコンポーネントタグによって指定されたES_PID値を指定する。そしてプレイアイテムIDとマークタイムスタンプ92には、ESを切り替えたい点を、再生位置情報として設定する。
デフォルトES指定マークが記録された記録媒体は、再生時のESを指定する情報を含むため、機器間によるデフォルトESの違いを防ぐことができ、さらには、ユーザが任意のESをデフォルトとして指定することも可能となっている。例えば、英語音声を示すES選択情報と、プレイリスト先頭を示す再生位置情報を含んだデフォルトES指定マークが記録されている場合、該プレイリストの再生時は、英語音声をデフォルトとして選択するとして解釈される。
以上のようなプレイリストマークを用いる方法であれば、従来の規格との互換性を維持しつつ、対応機器では、ES自動選択機能が働くようなES選択情報定義が可能となる。
プレイリストマークは、プレイリスト単位で指定することが可能であるため、異なるデフォルトES情報を持つプレイリストを定義することが可能である。例えば、複数のESを含む一つのストリームを、各デフォルトESの異なる複数の番組として定義することが可能である。例えば、同じクリップを参照するプレイリストを複数用意し、ひとつのプレイリストは日本語音声をデフォルトとするようなデフォルトES指定マークを設定し、別のプレイリストには他言語音声をデフォルトとするようデフォルトES指定マークを設定する。このように設定することで、音声ESの異なる複数の仮想的な番組を定義することもできる。
なお、上記で説明したデフォルトES指定マークの定義方法は、一つの例であり、同等の情報を含んでいるのであれば、異なるデータ構造をとってもよい。例えば、mark_typeフィールドの代わりに、mark_nameフィールドに指定した文字列によって識別する等も方法も考えられる。なお、上述のプレイアイテムへのフィールド追加や、デフォルトES指定マークを用いる他にも、映像・音声・字幕などの種別毎のデフォルトES、またはそれらの組を定義したシーケンス情報を新たなテーブルとして定義してもよい。また、デフォルトESをすべき区間を示すための情報は、プレイリストマークのような位置情報であってもよいし、開始位置と終了位置による区間指定でもよい。また、位置情報は、表示時刻スタンプ(Presentation Time Stamp;PTS)やフィールド数等の時刻情報を用いてもよいし、セクタやパケットカウント等のストリームのアドレス情報を用いてもよい。これらのうち、少なくとも一方が含まれていればよい。
なお、プレイリストファイル83内にはPlayList()として示すエントリも存在する。これが上述の「プレイリスト」に対応する。プレイリスト情報(PlayList)の下位には、プレイアイテム(PlayItem)1、2・・・が記述される。各プレイアイテムには再生対象となるクリップ情報ファイルのファイル名(Clip_Information_file_name)、STCを特定するための識別子(ref_to_STC_id)、開始時刻(In_time)、終了時刻(Out_time)等が格納される。
上記で説明したBD−REでの実現方法以外にも、管理情報とストリームがあわせて記録されている記録媒体であれば、同様のことが実現できる。例えば、プレイリストをプログラム(Program)、プレイアイテム(PlayItem)をセル(CELL)、プレイリストマークをエントリポイント(Entry Point)等と読み替えていけば、DVD−VR形式でも同等のことが実現できる。その他のデータ形式でも同様である。
次に、図9および図10を参照しながら、レコーダ100のデジタル放送番組を録画する処理を説明する。録画処理の結果、BD205a上には図5に示すファイル構造で種々のファイルが記録される。
図9は、録画処理の手順を示す。ステップS101において、デジタルチューナ201aはデジタル放送波(フルTS)を受信し、特定の番組に関するパーシャルTSを生成する。ステップS102において、TS処理部204の記録制御部254は、パーシャルTSからクリップAVストリームを生成し、クリップAVストリームファイルとしてBD205aに記録する。ステップS103において、TS処理部204の管理情報生成部253は、パーシャルTSを解析して、管理情報に関するデータベースファイル(管理ファイル、プレイリストファイル、クリップ情報ファイル等)を生成する。記録制御部254は、生成されたデータベースファイルをBD205aに記録する。
次に、図10を参照しながら、上述のステップS103に関連するプレイリストファイルの生成処理を説明する。図10は、プレイリストの生成処理の手順を示す。ステップS111において、管理情報生成部253は、初めに再生すべきES(デフォルトES)が特定されているか否かを判断する。特定されていないときはステップS112に進み、特定されているときはステップS113に進む。
ステップS112では、管理情報生成部253は、録画時または予約設定時にユーザから、デフォルトESを特定する情報を受け取る。本実施形態においては、デフォルトESの特定はユーザの指示に基づいて行われるとしている。すなわちユーザは手動でデフォルトESを特定するとして説明する。
ユーザは複数のESの存在をレコーダ100からの通知等によって知ることができる。例えばデジタル放送波(フルTS)に含まれるSIパケットには、電子番組表(EPG)に関する情報等を記述したテーブルが格納されている。よって、レコーダ100は録画時または予約設定時にSIパケットを取得し解析することにより、録画対象となる番組に複数のESが含まれているかを事前に特定できる。レコーダ100は、この結果をユーザに示して、どのESをデフォルトESとするかの指示をユーザから受け取ればよい。例えば映画を録画する時には、英語音声/字幕および日本語音声/字幕の双方が選択可能であれば、ユーザは、音声に関してはデフォルトESとして英語音声を特定し、字幕に関してはデフォルトESとして日本語字幕を特定する。他の例として、野球中継を録画する時には、キャッチャー側カメラの映像およびセンター側カメラの映像の双方が選択可能であれば、ユーザは、デフォルトESとしてセンター側カメラの映像を特定する。
なお、予約設定時にユーザによって特定されたデフォルトESに関するES選択情報は、予約録画を行う日時、チャンネル等の情報とともに、予約情報を構成する。予約情報は、例えばレコーダ100のRAM212(またはフラッシュROM)に保持され、予約録画時にそのES選択情報に基づくデフォルトESの設定が行われる。
ステップS113において、管理情報生成部253は、プレイリストのマーク種別(mark_type)フィールド91に、デフォルトES指定マークを示す数値(0x03)を記述する。ステップS114において、管理情報生成部253は、プレイリストのES_PIDフィールド93に、デフォルトESに対応するES PID値を記述する。ステップS115において、管理情報生成部253は、デフォルトESの先頭部分のタイムスタンプを、mark_time_stampフィールド92に記述する。「先頭部分」は、映像に関しては最初に表示されるピクチャ(フレームまたはフィールド)、音声に関しては最初に出力される音声フレーム、字幕に関しては最初に表示される文字列である。ステップS116において、管理情報生成部253は、図8に示すプレイリストマーク90の他のフィールドの情報や、プレイリストファイルの他のエントリ(PlayListエントリ、PlayItemエントリ等)を記述する。
以上の処理により、レコーダ100はBD205aに番組を録画するとともに、最初に再生されるESを指定するES選択情報を管理情報の一部として記録することができる。
図11(a)は、デフォルトES指定マークを規定したリアル/バーチャルプレイリストと、複数の映像ESとの関係を示す。各プレイリストのマーク種別(mark_type)フィールド91には、デフォルトES指定マークを示す数値(0x03)が記述されている。
リアルプレイリストファイル(01001.rpls)は、アングル1のES(V1)をデフォルトESとして指定するES選択情報を含む。具体的には、リアルプレイリストのプレイリストマークに対応するES PIDフィールド93には“0x050”が記述されている。この数値は、アングル1のES(V1)のES_PID値“0x050”に対応している。
一方、2つのバーチャルプレイリストファイル(02002.vplsおよび10000.vpls)は、アングル2および3のES(V2、V3)をデフォルトESとして指定するES選択情報を含む。具体的には、各ES PIDフィールド93には、“0x051”および“0x052”が記述されている。これらの数値は、それぞれアングル2および3のES(V2、V3)のES_PID値“0x051”および“0x052”に対応している。
コンテンツ再生時においては、図3に示す再生制御部255は、まず管理情報を読み出して管理情報解析部256に送る。管理情報解析部256は、プレイリストマークエントリ90から、マークタイプ(mark_type)フィールド91に基づいてデフォルトES指定マークを抽出する。そして、ES選択情報(ES_PID)フィールド93に基づいてどのESを再生の対象とすべきかを特定し、そのESのES_PID値とともに読み出し指示を再生制御部255に送る。さらに管理情報解析部256は、マークタイムスタンプ(mark_time_stamp)フィールド92に示されたタイムスタンプに基づいて、そのESの再生開始位置を特定する。上述の処理を、映像、音声および字幕等のコンテンツに含まれる再生対象の種別ごとに行う。その結果、全ての種別について、再生制御部255に読み出し指示等が送られ、全てのデータを含むストリームが読み出される。同時に管理情報解析部256は、各種別について、TSパケットに付加されたPIDをデマルチプレクサ257に設定する。その結果、デマルチプレクサ257は再生制御部255によって読み出されたクリップAVストリームを逆多重化して、各種別のTSパケットを抽出することができる。
なお、図11(a)に示すように、ESの数と同じ数のプレイリストファイルを設ける必要はない。例えば、リアルプレイリストのみを設けてもよく、ES選択情報として規定するES_PID値は任意である。
図11(b)は、映像に関するデフォルトES指定マークを含むプレイリストが存在するときの一覧表示画面510の例を示す。この画面は、例えば、レコ─ダ100に接続されたTV(図示せず)に表示される。図11(a)に示すようにデフォルトES指定マークを含むプレイリストは3つ存在する(01001.vpls、02002.vpls、10000.vpls)。管理情報解析部256は、各プレイリストのデフォルトES指定マークを特定する。そして管理情報解析部256は、デマルチプレクサ257に各ESの分離抽出を指示し、かつデコーダ258〜260に各ESのデコードを指示する。さらに管理情報解析部256は、複数の再生経路の存在を示す制御情報をグラフィック制御部207に送る。グラフィック制御部207は、制御情報を受けて、デフォルトES指定マークが付加されたESに対応するサムネイル画面1〜3が、出力先のTVにおいて並べて表示されるように表示位置を設定し、そのような表示が可能な表示信号を出力する。その結果、TVにおいては、これらの画面には各ESに基づく映像が表示される。ユーザは、選択可能な再生経路として各映像を確認することができる。
サムネイル画面は静止画像であってもよいし動画であってもよい。さらに各サムネイル画面の下にはどのESであるかを示す「アングル1」等も表示することができる。このような文字列は、録画時にレコーダ100によって各プレイリスト情報の一部に記述されている。例えばレコーダ100は、「アングル1」等の文字列を、例えば図8のプレイリストファイル83内に設けられたPlayList_nameフィールドや、プレイリストマークエントリ90内のマーク名(mark_name)フィールドに記述することができる。
ユーザは、TV画面510を見ながら、例えばレコーダ100付属のリモコン(図示せず)によって再生を開始したいサムネイル画面を指定する。すると、レコーダ100はデフォルトESとして設定されたESの再生を開始する。デフォルトES指定マークを導入することにより、どの機器を用いて再生しても当初に再生されるESは一定になり、デフォルト選択の違い等を排除できる。本実施形態によるレコーダ100は、ユーザから特に指定がない場合は、記録時に自動的にデフォルトESを選択するようなES選択情報を生成し記録する。
図11(b)のサムネイル画面1〜3によれば、表示画面510中のサムネイル表示や縮小表示される動画は各番組1〜3の間では異なっている。ユーザから見れば、一つのクリップAVストリームファイル85があたかも複数の番組が存在するかのように表示される。そして、実際に再生を開始したときに表示される映像も異なる。このようなGUIによって、ユーザは、全くの別番組を選択する感覚で、1つの番組に含まれる他のESを選択することが可能となる。このように、デフォルトES指定マークに基づいて、マークごとにサムネイル画面を表示し、または単なるリストとして表示した場合であっても、複数ESを含む番組の再生・管理の操作が非常に直感的になる。
なお、従来においても、バーチャルプレイリストを利用して1以上のストリームの複数の再生区間および/または複数ストリームにまたがる再生区間とその再生順序とを規定すると、一つのストリームに対して複数の仮想的な番組を提示することは可能であった。一方、本実施形態によるプレイリストは複数のESから特定のESを選択するためのES選択情報を有しているため、従来のバーチャルプレイリストとは異なる点に留意されたい。
また本実施形態においては、ストリームとは別の管理情報中にES選択情報を規定している。よって、後にES選択情報を変更する際でもストリーム中のデータを改変することは不要であり、処理量を大幅に減らすことができる。この構成は、再生すべきESの切り替えを指示する情報(マルチビュー自動切替テーブル)がストリーム内に記述される特許文献1とは全く異なるといえる。
図11に示す例のようにGUIを用いると種々の応用が可能である。例えば、番組のアングル3をデフォルトESとして指定するバーチャルプレイリストファイル(10000.vpls)を削除することによって、アングル3のESのみをクリップAVストリームファイル85から削除する等のES単位の編集のためのインターフェースを提供することも可能となる。不要なESを削除することは、記録媒体の空き容量を増やすことにつながるため、このような機能は非常に有用である。
上述の説明は、映像ESが複数存在するときのプレイリストおよび一覧表示画面の例である。次に図12(a)および(b)を参照しながら、音声ESが複数存在するときのプレイリストおよび一覧表示画面の例を説明する。
図12(a)は、デフォルトES指定マークを規定したリアル/バーチャルプレイリストと、複数の音声ESとの関係を示す。各プレイリストのマーク種別(mark_type)フィールド91には、デフォルトES指定マークを示す数値(0x03)が記述されている。
リアルプレイリストファイル(01001.rpls)は、日本語音声ES(A1)をデフォルトESとして指定するES選択情報を含む。リアルプレイリストのプレイリストマークに対応するES PIDフィールド93には“0x100”が記述されている。この数値は、アングル1のES(V1)のES_PID値“0x100”に対応している。2つのバーチャルプレイリストファイル(02002.vplsおよび10000.vpls)は、英語音声ES(A2)および中国語音声ES(A3)をデフォルトESとして指定するES選択情報を含む。各ES PIDフィールド93には、“0x101”および“0x102”が記述されている。これらの数値は、それぞれアングル2および3のES(V2、V3)のES_PID値“0x101”および“0x102”に対応している。
図12(b)は、音声に関するデフォルトES指定マークを含むプレイリストが存在するときの一覧表示画面510の例を示す。レコーダ100は、各プレイリストに対応するサムネイル画面1〜3を並べて表示するが、サムネイル画面1〜3は同じであってもよい。ただし、各サムネイル画面の設けられた文字列によって区別することができる。そのような文字列を格納するデータフィールドは、先の例と同様、PlayList_nameフィールド、マーク名(mark_name)フィールド等である。
上述の映像、音声等について、デフォルトESの特定はレコーダ100によって自動的に行われてもよい。例えば上述した特許文献1におけるマルチビュー自動切換えテーブル等を用いて、管理情報生成部253は放送局によって指定されたESをデフォルトESとして特定する。または管理情報生成部253は、ストリーム中のSI/PSI情報において放送局によって指定されたESをデフォルトESとして特定する。さらに、ARIB規格では視聴時にデフォルトで選択すべきESのコンポーネントタグが規定されているため、管理情報生成部253は、コンポーネントタグにおいて指定されたESをデフォルトESとして特定したデフォルトES指定マークを自動的に生成してもよい。
なお、図11および図12では、映像と音声とをそれぞれ分けて説明した。しかし、映像ESの指定および音声ESの指定は独立して行うことができるため、図11の例と図12の例とを混在させることもできる。
BD−RE規格を拡張すると、上述のようにデフォルトESを指定することができる。ただし、この拡張のみでは、プレイアイテムやプログラムシーケンス中の任意点でのES切り替えには対応できない。例えば3種類のカメラ視点の映像ESを含むスポーツ番組を想定すると、ユーザは好みのシーンに応じて複数のビューを適宜切り替えたい場合も存在する。デフォルトES指定マークを設けるとどのESに基づいて再生を開始するかを指定することは可能であるが、再生開始後のESの切替はできない。
そこで、BD−RE規格をさらに拡張して、任意の点において再生対象のESを切り替えるための処理を説明する。ESを切り替えるタイミングおよび切り替え後のESの指定はユーザが定義できる。
図13は、任意のタイミングで任意のESに切り替えたときの例を示す。クリップAVストリーム301には、映像ES1(302)と、映像ES2(303)と、映像ES3(304)とが含まれているとする。
このようなクリップAVストリーム301に対し、レコーダ100の管理情報生成部253は、複数のES切り替え点305、306、307、308、309を定義する。ES切り替え点は、たとえばクリップAVストリーム301の先頭を基準とした、映像の再生経過時刻またはその時刻に対応する情報として特定される。
管理情報生成部253は、プレイリストファイル83内に複数のデフォルトES指定マークを設ける。これまでの説明では、デフォルトES指定マークは選択されたESの先頭を指し示すように定義されるとした。しかしここでは、ESの途中を指し示すように各デフォルトES指定マークを定義すればよい。より具体的には、デフォルトES指定マークとして、切り替え後のESを特定するESの識別情報(ES_PID値)と、どの点から切り替えるかの情報(mark_time_stamp値)の組を規定すればよい。
例えば、図13に示す再生点305は、最初に再生すべきESを指定するためのデフォルトES指定マークであり、映像ES3に対応するES_PID値と、先頭ピクチャのタイムスタンプが記述されている。次のES切り替え点306は、切り替え後のES2に対応するES_PID値と、その時刻に対応するES2のピクチャのタイムスタンプが記述されたデフォルトES指定マークとして定義される。他の切り替え点307、308、309の定義もES切り替え点306の定義と同様である。再生点305と306〜309とを規定するデフォルトES指定マークは全く同じデータ構造であり、記述するタイムスタンプがESの先頭を示すか途中を示すかが相違するのみである。
このようなクリップAVストリーム301およびES切り替え点により、TS処理部204およびデコーダ206は、映像ES3に対応する映像3から再生を開始し、その後各切り替え点において、映像ES2に対応する映像2を再生し、順に映像3、映像1、映像3を切り替えながら再生を継続する。
具体的には、管理情報解析部256は、管理情報中に複数のデフォルトES指定マークが存在することを認識できる。併せて、その各々について、ES_PID値と、再生すべき時刻に対応するESのピクチャのタイムスタンプが記述されたmark_time_stamp値を取得できる。よって、当初はES3から再生を開始するよう再生制御部255およびデマルチプレクサ257に指示する。その後、mark_time_stamp値に基づいて再生切り替え点306に至ったことを認識すると、その時刻から、ES_PID値に基づいてES2の再生を開始する。以後、同様の手順により、デフォルトES指定マークによって指定された時刻において、指定されたESが再生される。
次に、レコーダ100が複数のESを含む番組を録画した後に、ユーザがそのレコーダ100を利用して、その番組の任意の再生位置にES切り替え点を設定する編集処理を説明する。複数のESを含む番組のクリップAVストリームはBD205aに蓄積されているとするが、HDD205bに蓄積されていてもよい。
図14(a)は編集画面に表示されたグラフィカル・ユーザ・インターフェース(GUI)の例を示し、図14(b)は編集対象のESとデフォルトES指定マークとの対応関係を示す。例えば、レコーダ100がユーザの指示に基づいて映像編集処理を行うための「編集モード」に移行すると、レコーダ100は図14(a)に示す編集画面601を表示する。
図14(a)のGUI例では、図14(b)に示す3種類の映像ES621、622、623を含むTS620に対し、ユーザは任意のES切り替え点(切り替え時刻)を指示するとともに、その点から再生すべき映像ESを指示する。これにより、その切り替え点から次の切り替え点までの区間に再生される映像ESが特定される。1つのコンテンツに対してユーザが複数のES切り替え点と映像ESとを指定することにより、ユーザが希望する時刻に希望するアングルの映像に切り替えられて映像が再生される。
編集画面601は種々の領域に区画され、サムネイル映像やGUI項目が表示される。まずサムネイル領域602、603、604には各映像ESの映像がそれぞれ動画で並列的に表示される。
図14(a)の代表サムネイル領域609には、3種類の映像ESのうち、カーソル611の位置において再生される映像ESに基づく映像が表示される。この映像ESは直前の切り替え点において指定された映像ESである。図14(a)の例では、カーソル611の位置では3番目の映像が指定されている。よって、代表サムネイル領域609にはサムネイル領域604に示された映像と同じ映像が大きく表示されている。
ボタン605〜607は、それぞれの映像ES1〜3に対応して設けられている。ユーザは、映像再生開始時および再生中に編集画面601を確認しながら指示受信部215を操作して、希望するアングルのボタンを選択する指示を送る。この結果、指示を送った再生タイミングで、対応する映像ESが選択される。一旦映像ESが選択されると、次に異なる映像ESが選択されるまでは、その映像ESに基づいて映像が再生され続ける。
図14(a)の例では、番組先頭を含め合計5回ボタンが選択されており、その結果、5つのES切り替え点が設定されている。ボタン605〜607の選択順序は、ボタン607、ボタン606、ボタン607、ボタン605およびボタン607である。ES切り替え点は、図14(b)に示す点631、632、633、634、635に設定される。これにより、再生区間641、642、643、644、645では、それぞれ映像3、映像2、映像3、映像1、映像3が選択されて再生される。ライン610は、映像切り替わりの流れを視覚的に表現している。5つのES切り替え点により、各映像1〜3はライン610に示される順序およびタイミングで再生される。
図14(b)の最下段には、複数の切り替え点に対応する、デフォルトES指定マーク(プレイリストマーク)0〜4がそれぞれ示されている。各プレイリストマークのマーク種別(mark_type)フィールド91には、デフォルトES指定マークを示す数値(0x03)が記述されている。また、mark_time_stampフィールド92にはその時刻を示すタイムスタンプが記述される。そして、ES選択情報(ES_PID)フィールド93には切り替え後の映像ESのES_PID値が記述される。
図15は、図14に示す編集処理を実現するためのTS処理部204の機能ブロックの構成を示す。TS処理部204は、管理情報生成部253、記録制御部254および再生制御部255を有している。
管理情報生成部253は、図2に関連して説明した機能のみならず、図3に関連して説明した管理情報解析部256の機能も有している。一方、記録制御部254および再生制御部255については、図2および図3を参照しながら説明した機能と同じである。
再生制御部255および管理情報生成部253は、図3に示す再生制御部255および管理情報解析部256と同じ処理を行い、BD205aに記録されたクリップAVストリームおよびその管理情報を読み出す。このクリップAVストリームは、アングルに応じた複数の映像ESを含んでいる。デコーダ206は、各映像ESをデコードしてそれぞれの映像をグラフィック制御部207に出力する。
グラフィック制御部207は、CPU211からの制御情報に基づいて、図14に示すサムネイル領域602、603、604において各映像が表示されるように表示位置を調整するとともに、さらにそのうちのひとつの映像が代表サムネイル領域609に表示されるように表示位置を調整する。代表サムネイル領域609に表示される映像は、カーソル611の位置において選択されている映像ESに対応している。
一方、管理情報生成部253は、ユーザのボタン入力に基づいてどの映像をどの位置から再生すべきかを特定し、ボタン入力ごとにES選択情報を生成する。管理情報生成部253は、生成したES選択情報をBD205aから読み出した管理情報に記述する。より詳しくは、管理情報生成部253は、各切り替え点に対応するデフォルトES指定マークをプレイリストファイル83内のプレイリストマークエントリ90に設ける。デフォルトES指定マークが追加された管理情報は、記録制御部254およびCPU211に送られる。
記録制御部254はその管理情報に基づいて、BD205a上の管理情報を更新する。CPU211はその管理情報を受け取って解析し、各映像ESがどの順序でどれだけの区間長だけ再生されるかを一覧表示するための制御情報を生成する。その制御情報はグラフィック制御部207に送られる。グラフィック制御部207は、制御情報に基づいて図14(a)のライン610を表示するための信号を出力する。この結果、レコーダ100と接続された外部の表示機器、たとえばテレビの画面上にライン610が表示される。
図14(a)に示す編集画面601は一例に過ぎない。必ずしも全ての領域およびGUI項目を備えている必要はなく、またその配置も任意である。例えば、サムネイル画面に並列的に動画映像を表示するためには、各サムネイル画面を途切れなく再生するための処理能力や、復号化処理によって得られたデータを蓄積できる容量を持つバッファが必要である。ただし、映像の種類によっては、そのようなハードウェアまたはソフトウェアを持たなくても問題ない場合もある。例えば編集対象が、マルチストーリー番組のような頻繁に切り替える必要がない映像であれば、全てのESを動画によりサムネイル表示しなくても特に問題はないと考えられる。1つのES再生が終了した後、他のESの映像を表示できれば選択はできるからである。
本実施形態においては、デジタル放送の番組をBD205aに録画することを想定して説明した。しかし、1つの番組に択一的に再生される同種類のエレメンタリストリームが複数含まれていれば、その放送の種類や記録媒体の種類を問わず、本発明を適用できる。
例えば、本実施形態によるレコーダ100の構成を利用すると、BD205aに代えてDVDに記録することもできる。DVDに記録可能なストリーム形式は、TSではなくMPEG−2プログラムストリームである。よってレコーダは、パーシャルTSをデコードして映像/音声等のデジタル信号を生成し、そのデジタル信号からESエンコードを行ってMPEG−2プログラムストリームを生成すればよい。
これまでの説明では、番組の録画時、または、レコーダ100によって録画した番組の編集時に、レコーダ100によってデフォルトESの切り替え点が設定されるとした。しかし、本発明は、録画を行った機器とデフォルトESの切り替え点を設定する機器とが同一でなくても適用できる。たとえばレコーダ100は、他の機器によって書き込み可能な記録媒体に録画された番組や、パッケージメディアなどの再生専用記録媒体に記録されたコンテンツに対しても、デフォルトESの切り替え点を設定できる。
すなわち、BD−RE規格のフォーマットを用いて説明したように、既存の管理情報にはデフォルトES指定マークのエントリを追記できる。したがって、書き込み可能な記録媒体(DVD−RAMやBD−RE等のRAMメディア)に録画された番組の管理情報に、デフォルトES指定マークを追記すれば、任意のデフォルトESの切り替え点を設定できる。録画がレコーダ100によって行われたか、他の機器によって行われたかは問題ではない。
一方、再生専用記録媒体(たとえばDVD−RやBD−ROM等のROMメディア)には情報を追記できないため、媒体上の管理情報に対するデフォルトES指定マークの追記や上書きは不可能である。しかし、デフォルトES指定マークの情報と、映像情報とが同じメディア上に記録されている必要はない。例えば、レコーダ100のHDD205bにROMメディアの管理情報をコピーし、その管理情報にデフォルトES指定マークの情報を追記すればよい。なお、管理情報をコピーせずに差分となるデフォルトES指定マークのみを記録してもよい。
デフォルトES指定マークの記録先は、HDD以外のメモリ、たとえばRAM212、不揮発性のプログラムROM210等であってもよい。これにより、ROMメディアに記録されたコンテンツに対しても、任意のデフォルトESの切り替え点を設定できる。
なお、レコーダ100が、各ROMメディアを一意に識別するIDとデフォルトES指定マークの情報とを関連付けて保存しておくことが好ましい。これにより、ユーザがROMメディアをレコーダ100から取り出し、その後再び挿入したとしても、それまで設定されたデフォルトESの切り替え点をそのまま利用できる。
本発明による、番組を録画するデータ処理装置は、択一的に再生される同種類の複数のESを含む番組(例えばデジタル放送番組)を、光ディスクなどの記録媒体録画して、その番組に対してユーザからどのESから再生を開始するかの指示を受け取ることができる。データ処理装置は、受け取った指示に基づいて、最初に再生すべきESを指定する情報をその記録媒体に記録する。その情報は、最初に再生すべきESの先頭を指定している。
また、データ処理装置は、ESの先頭のみならずESの途中を再生開始点として指定する情報を設けることにより、ユーザが独自に定義した、複数のESにまたがるES切り替えパターンを規定することができる。その切り替えパターンも、上述の情報を記録媒体に記録することによっていつでも再現可能である。
複数のESを含むマルチビュー番組、最初に再生すべきESを指定する情報、ESの切り替え情報等を記録した記録媒体、および、そのような記録媒体からESを再生するデータ処理装置によれば、複数のESを含む番組の再生・管理が容易になる。
本発明は、デジタル放送等のストリームを記録媒体に記録する技術、および、記録されたストリームから映像等を再生する技術に関する。
日本のデジタル放送に用いられる映像・音声フォーマット、番組配列情報等は、社団法人電波産業界(ARIB)によって策定された「ARIB STD―B10 (平成9年6月19日1.0版策定)」等のARIB規格に準拠している。ARIB規格では、映像、音声等に関するシステム層の多重化フォーマットとして、MPEG−2トランスポートストリーム(TS)を指定している。
DVD等の蓄積メディア向けの記録フォーマットとして用いられてきたMPEG−2プログラムストリーム(PS)と比較すると、TSにはより多くの情報を多重化できる。例えば、複数の映像・音声等のエレメンタリ・ストリーム(ES)を多重化して一つのストリームにすることが可能である。また、複数のESの組として定義された番組(Program)を多重化して1つのストリームにすることもできる。多重化されたESは、同じくTS中に多重化されているSI /PSIと呼ばれる番組配列情報によって識別される。なお、SI/PSIには、多重化情報だけでなく、番組名等の付加的な情報(番組情報)も含まれている。
TSには種々のESを多重化し得るため、日本語と英語など複数の音声ESを含む番組、複数の映像ESを持つマルチビューのスポーツ番組等を実現できる。このような複数の音声ESや映像ESを含む番組は、各1つのESしか含まない番組と比較すると表現の幅が広がっているといえる。しかし出力可能な映像、音声が各ESの数に制限されている点において変わることはなく、さらに多様な再生を可能にするためにはESの数を増やさざるを得ない。データ量等との観点からすると、これでは必ずしも効果的に表現の幅を広げているとはいえない。
特許文献1は、多重化されているESの数以上の多様な態様で再生を可能にするための構成を開示している。具体的には、特許文献1は、再生すべきESの切り替えを指示する情報(マルチビュー自動切替テーブル)を放送局が自ら作成して送信する。ユーザ側の機器は、マルチビュー自動切替テーブルに基づいて、再生中に指定されたESに切り替える。この技術によれば、放送局に指定されたタイミングで視聴対象のESが切り替えられるため、見かけ上、ESの数以上の出力態様で映像等の再生が可能になる。
番組をデジタル記録するに際しては、ストリームのみを記録するだけではなく、そのストリームに関する管理情報も同時に記録することが多い。上述の特許文献1に開示されているテーブルは、管理情報の一つと捉えることができる。管理情報を利用すれば、タイトル等の付加情報の付与、任意の再生手順の定義、飛び込み再生のためのエントリーポイントの設定等が可能になる。また、時間情報とアドレス情報をあわせて管理することで、ランダムアクセス性能の向上や、早送り・早戻しやスロー再生等の特殊再生も可能になる。
管理情報の形式は、記録媒体の種類に応じた規格において規定されている。例えば管理情報の形式は、DVD−RAMやDVD−R/RWに対してはDVD Video Recording規格(DVD−VR規格)において規定され、Blu−ray Discに対してはBlu−ray Rewritable規格(以下BD−RE規格)において規定されている。また、SDカード等の半導体メディアに対してもさらに別の規格によって管理情報の形式が規定されている。
特開2002−314960号公報
現在、複数のESを含む番組を録画し、管理情報を利用して再生等を行うことは可能ではあるが、既存の規格の枠内では視聴者(ユーザ)が利用可能な再生設定に関する自由度は低い。その理由は、既存の規格の多くは従来のアナログ放送の記録を想定して策定されており、マルチビュー番組に代表されるような複数のESを含む番組の記録を想定していないためである。
これは、デジタル放送のTS記録を想定する規格(BD−RE規格)に関しても同様である。すなわち複数のESを含む番組を録画して再生すると、機器によって最初に再生されるESが相違する可能性がある。機器がどのESを再生するかは任意だからである。また、当初再生されるESとは異なるESを再生するためには、一旦再生を開始し、その後ユーザが手動によりESを切り替える必要がある。これでは、再生を行うたびに同じ操作が必要となり、非常に不便である。特に、映像および音声等のそれぞれについてESが複数含まれている場合には、それぞれ好みのESを選択しなければならない。このような点を考慮すると、複数のESを含む番組を録画しても、その利点を十分に活かせているとはいえない。
また、複数のESを含む番組の開始時のみならず、その途中の任意のタイミングでESを切り替えたいとしても、ユーザが再生中に手動操作によって切り替える他はない。そして、好みの切り替えパターンは保存されないため、同じパターンで繰り返しその番組を視聴したとしても、再生のたびに同じ操作が必要であり、不便である。
なお「プレイリスト」という概念を利用して、再生経路を規定する技術はすでに存在している。しかし、プレイリストは、例えば1つのES内、または異なる番組の異なるESにまたがった再生経路を規定する際に利用することは可能であるが、1つの番組の異なるESにまたがった再生経路を規定することはできない。よって従来のプレイリストでは上述した不便さを解決することはできない。
さらに、複数のESを切り替えて再生するということが想定されていないため、番組に複数のESが含まれていることが分かりやすくユーザに伝えられていない。すなわち、ユーザの管理上、複数のESがあるかどうかの情報がわかりにくく不便である。
本発明の目的のひとつは、択一的に再生される同じ種別のデータストリームが複数存在するときにおいて、コンテンツの再生開始時および/または再生中に、ユーザがどのデータストリームを再生するかを容易に指定できるようにすることである。また、本発明の他の目的は、各データストリームに基づくコンテンツの再生態様、および、ユーザが設定したコンテンツの再生態様を、ユーザが容易に把握できるようにして確実な選択を可能にすることである。
本発明のデータ処理装置は、コンテンツの多重化ストリームを受信する受信部と、前記多重化ストリームを解析して記録媒体に書き込むための処理を行い、処理後の前記多重化ストリームを前記記録媒体に書き込む指示を出力する記録制御部と、前記多重化ストリームの解析結果に基づいて、前記コンテンツの再生に必要な管理情報を生成する管理情報生成部とを備えている。前記多重化ストリームは択一的に再生される同じ種別の複数のデータストリームを含んでいる。前記管理情報生成部は、前記複数のデータストリームのうちのいずれのデータストリームに基づいて前記コンテンツを再生するかを特定する選択情報を前記管理情報として付加し、前記記録制御部は、前記管理情報を前記記録媒体にさらに書き込む指示を出力する。
前記管理情報生成部は、前記選択情報として、選択された前記データストリームを特定する識別情報、および、特定された前記データストリームにおける再生開始点を示す開始点情報を前記管理情報に付加してもよい。
前記管理情報生成部は、識別された前記データストリームにおける再生終了点を示す終了点情報をさらに生成し、前記管理情報に格納してもよい。
前記管理情報生成部は、前記選択情報を複数生成して、前記管理情報に付加してもよい。
前記管理情報生成部は、第1時刻以降の前記コンテンツの再生に対しては、第1データストリームを特定する識別情報、および、前記第1時刻を前記再生開始点として特定する開始点情報を第1選択情報として生成し、前記第1時刻より後の第2時刻以降の前記コンテンツの再生に対しては、前記第1データストリームとは異なる第2データストリームを特定する識別情報、および、前記第2時刻を前記再生開始点として特定する開始点情報を、第2選択情報として生成してもよい。
前記管理情報生成部は、ユーザから指示された再生開始点に基づいて、前記開始点情報を生成してもよい。
前記管理情報生成部は、予め定められた再生開始点に基づいて、前記開始点情報を生成してもよい。
前記データ処理装置は、指定された再生経路の削除に関する削除指示を受け取る指示受信部と、前記削除指示に基づいて、前記複数のデータストリームのうち、指定された前記再生経路に対応するデータストリーム、および、前記管理情報に含まれる指定された前記再生経路に関する情報を、前記記録媒体から削除する指示を出力する記録制御部とをさらに備えていてもよい。
本発明による記録媒体には、コンテンツの多重化ストリームを含むストリームファイルと、前記コンテンツの再生に必要な管理情報を含む管理情報ファイルとが記録される。前記多重化ストリームには択一的に再生される同じ種別の複数のデータストリームが多重化されており、前記管理情報には前記複数のデータストリームのうちのいずれのデータストリームに基づいて前記コンテンツを再生するかを特定する選択情報が含まれている。
本発明によるデータ処理装置は、前記記録媒体から前記管理情報ファイルおよび前記ストリームファイルを読み出す再生制御部と、読み出された前記管理情報ファイルから前記選択情報を取り出し、前記選択情報によって特定されたデータストリームの抽出を指示する管理情報解析部と、前記指示に基づいて、前記多重化ストリームから前記データストリームを分離する分離部と、分離された前記データストリームに基づいて前記コンテンツを再生するデコーダとを備えている。
前記管理情報は、第1時刻以降の前記コンテンツの再生に対しては、第1データストリームを特定する識別情報、および、前記第1時刻を前記再生開始点として特定する開始点情報を第1選択情報として含み、かつ、前記第1時刻より後の第2時刻以降の前記コンテンツの再生に対しては、前記第1データストリームとは異なる第2データストリームを特定する識別情報、および、前記第2時刻を前記再生開始点として特定する開始点情報を第2選択情報として含んでおり、前記管理情報解析部は、前記第1選択情報および前記第2選択情報に基づいて、前記第1時刻から前記第2時刻までは前記第1データストリームの抽出を指示し、前記第2時刻以降は前記第2データストリームの抽出を指示してもよい。
前記データ処理装置は、制御情報に基づいて、映像を外部機器において表示するための信号を生成するグラフィック制御部をさらに備えており、前記管理情報解析部は、前記第1選択情報および前記第2選択情報に基づいて、複数の再生経路の存在を示す制御情報を出力し、前記グラフィック制御部は、前記制御情報に基づいて前記複数の再生経路の各々に対応する映像を並べて表示するための信号を出力してもよい。
本発明のデータ処理装置は、コンテンツの編集に用いられる。前記コンテンツは多重化ストリームとして予め記録媒体に記録されており、前記多重化ストリームは択一的に再生される同じ種別の複数のデータストリームを含んでいる。前記データ処理装置は、ユーザから、前記複数のデータストリームのうちのひとつを選択する指示を受け取る指示受信部と、選択されたデータストリームを再生対象として指定する選択情報を生成し、前記管理情報として出力する管理情報生成部とを備えている。
前記指示受信部は、再生の開始点を特定する指示をさらに受け取り、前記管理情報生成部は、選択された前記データストリームを特定する識別情報、および、前記開始点を示す開始点情報を、前記選択情報として生成してもよい。
前記データ処理装置は、前記選択情報を前記記録媒体に記録する指示を出力する記録制御部をさらに備えていてもよい。
前記データ処理装置は、前記選択情報を保持するメモリをさらに備えていてもよい。
前記指示受信部は、データストリームを選択する指示および再生の開始点を特定する指示をそれぞれ複数回受け取り、前記管理情報生成部は、前記選択情報を複数生成してもよい。
前記データ処理装置は、制御情報に基づいて、外部機器で映像を表示するための信号を生成するグラフィック制御部をさらに備えており、前記管理情報生成部は、前記選択情報に基づいて、再生されるデータストリームの順序および各データストリームの再生区間を示す制御情報を出力し、前記グラフィック制御部は、前記制御情報に基づいて、前記順序および再生区間を示す映像の信号を出力してもよい。
本発明によれば、映像、音声、データ等の種別ごとに複数のデータストリーム(ES)が多重化されている多重化ストリームに関し、種別ごとに、再生開始時にどのESをデフォルトとして選択すべきかを示すES選択情報を管理情報として付加する。再生装置は、多重化ストリームの再生時にES選択情報によって特定されたESを自動的に再生するため、ユーザはその選択後は繰り返しESを選択する必要はなくなる。
以下、添付の図面を参照して、本発明によるデータ処理装置の実施形態を説明する。本実施形態においては、データ処理装置はハードディスクドライブを内蔵した光ディスクレコーダであるとして説明する。光ディスクには、ストリームデータと再生手順等を示した管理情報ファイルが記録される。このようなストリームデータとそれに対応する管理情報を記録するためのフォーマットとしては、記録対象のメディアに応じてDVD−VRやBD−RE等の規格が策定されている。本実施形態においては、「光ディスク」としてBlu−rayディスク(BD)を想定し、BD−RE規格を利用した記録を例に挙げて説明する。BD−RE規格では、ストリームデータをMPEG−2トランスポートストリーム(TS)フォーマットで記録する。TSを用いているため、複数のESを含むデジタル放送ストリームであっても、ほとんど手を加えずにそのまま記録することが可能である。
本実施形態においては、単一のコンテンツ(1放送番組など)のTSには、同じ種別のエレメンタリストリーム(ES)が複数多重化されており、それらは択一的に再生されるとする。「種別」とは、映像、音声および字幕などを示す。「同じ種別のES」とは、例えば映像のESが複数含まれていることを意味する。本実施形態において、「コンテンツを再生する」とは、種別が同じか異なっているかを問わず、少なくとも1つのESに基づいて映像、音声、字幕などが出力されていることを言う。
まず本実施形態による光ディスクレコーダの概要を説明する。
光ディスクレコーダは、コンテンツのTSを受信する受信部を有している。そして受信したTSから必要な番組のパケットを取り出してパーシャルTSを生成し、TS処理部に送る。TS処理部は、そのTSを解析して記録媒体(光ディスク、ハードディスクなど)に書き込むための処理を行い、ストリームファイルとして記録媒体に書き込む。あわせて、TS処理部は解析結果に基づいてコンテンツの再生経路に関する管理情報を生成する。
TS処理部の構成および動作をより具体的に説明すると、TS処理部は管理情報生成部および記録制御部を含んでいる。管理情報生成部は、複数のESのうちのいずれのESに基づいてコンテンツを再生するかを特定する選択情報を管理情報として付加する。そして記録制御部は、その管理情報を管理情報ファイルとして記録媒体にさらに記録する。例えば、ユーザは、スポーツ番組の複数の映像のES(アングル1、2、3)のうちどのESから再生を開始するかを指定することができる。または、ユーザは、映画の複数の音声のES(日本語、英語、中国語)のESのうちどのESから再生を開始するかを指定することもできる。記録制御部は、どのESを指定するかを示す選択情報を管理情報として付加する。ユーザが録画予約時などにどのESを指定するかを設定しておくと、その選択情報が付加された管理情報が録画時に生成され、記録媒体に格納される。この結果、ユーザは録画した番組を初めて視聴する時から、映像、音声等に関して指定したESから再生を開始することができる。
以下、図1から図3を参照しながら、本実施形態によるハードディスクドライブ内蔵BDレコーダ100(以下「レコーダ100」と記述する)の具体的な構成を説明する。図1は、レコーダ100の機能ブロックの構成を示す。レコーダ100は、記録媒体としてBD205aおよびハードディスク205bを有している。
レコーダ100は、デジタルチューナ201aおよびアナログチューナ201bと、ADコンバータ202と、MPEG−2エンコーダ203と、TS処理部204と、MPEG−2デコーダ206と、グラフィック制御部207と、メモリ208と、DAコンバータ209と、CPUバス213と、ネットワーク制御部214と、指示受信部215と、インターフェース(I/F)部216と、メモリカード制御部217と、システム制御部250とを含む。なお、図1には、光ディスク205aがレコーダ100内に記載されているが、光ディスク205aはレコーダ100から取り外し可能であり、レコーダ100自体の構成要素ではない。
以下、各構成要素の機能を説明する。デジタルチューナ201aは、アンテナ(図示せず)から1以上の番組が含まれるデジタル信号を受け取る。デジタル信号として伝送されるMPEG−2トランスポートストリーム(TS)には複数の番組のパケットが混在している。複数の番組のパケットを含むトランスポートストリームは“フルTS”と呼ばれる。フルTSには、複数の番組のうちから特定の番組のデータを抽出するために必要な種々の制御パケット(例えば番組表パケット、番組対応表パケット等のPSIパケット、SIパケット)も含まれている。デジタルチューナ201aは、選局を行ってフルTSから選局された番組のパケットおよび必要な制御パケットを取り出し、所定の処理を加えて“パーシャルTS”として出力する。またデジタルチューナ201aは、パーシャルTSの生成時に取得したパーシャルTSに関する制御情報(ストリーム情報)も出力する。
フルTSから所望のチャンネルのパケットを取り出す手順は以下のとおりである。いま、希望の番組の番組番号(チャンネル番号)をXとする。まずはじめに、フルTSから番組表パケット(PAT_TSP)が検索される。番組表パケットのパケットID(PID)には、必ず0が与えられているので、その値を有するパケットを検索すればよい。番組表パケット内の番組表には、各番組番号と、その番組番号に対応する各番組の番組対応表パケット(PMT_TSP)のPIDが格納されている。これにより、番組番号Xに対応する番組対応表PMTのパケットID(PID)を特定できる。番組対応表PMTのPIDをXXとする。
次に、PID=XXが付された番組対応表パケット(PMT_TSP)を抽出すると、番組番号Xに対応する番組対応表PMTが得られる。番組対応表PMTには、番組ごとに、視聴の対象として各番組を構成する映像・音声情報等が格納されたTSパケットのPIDが格納されている。例えば、番組番号Xの映像情報のPIDはXVであり、音声情報のPIDはXAである。このようにして得られた映像情報を格納したパケットのPID(=XV)と、音声情報を格納したパケットのPID(=XA)とを利用して、フルTSから特定の番組に関する映像・音声のパケットを抽出できる。
なお、フルTSからパーシャルTSを生成する際には、必要な映像・音声情報を格納したパケットを取り出すだけでなく、PSI(Program Specific Information)パケットおよびSI(Service Information)パケットも抽出し、変更する必要がある。PSIパケットとは、番組表パケット(PAT_TSP)および番組対応表パケット(PMT_TSP)等を総称するパケットである。PSIパケットを修正する理由は、フルTSとパーシャルTSとでは含まれる番組数等が異なるため、番組表および番組対応表をパーシャルTSに適合させる必要が生じるからである。一方、SIパケットとは、フルTSに含まれる番組の内容、スケジュール/タイミング等を記述するデータ、独自に定義された拡張情報(これらは「番組配列情報」とも呼ばれる)等を含むパケットである。フルTSではSIパケットに含まれるデータは20〜30種類にも上る。これらのデータのうち、パーシャルTSの再生等に関して重要なデータのみが抽出されて1つのSITパケットが生成され、パーシャルTS内に多重化される。またパーシャルTSでは、SITパケットにはそのストリームがパーシャルTSであることを示す情報(partial transport stream descriptor)が格納されている。パーシャルTS内にSITパケットを多重化することは慣用されている。これは、欧州/日本のデジタル放送規定(DVB/ARIB)との整合性のためである。
アナログチューナ201bは、アンテナ(図示せず)からアナログ信号を受け取り、周波数に基づいて選局を行って必要な番組の信号を取り出す。そして番組の映像および音声信号をADコンバータ202に出力する。
ADコンバータ202は入力された信号をデジタル変換してMPEG−2エンコーダ203に供給する。MPEG−2エンコーダ203(以下「エンコーダ203」と記述する)は、録画の開始指示を受け取ると、供給されたアナログ放送のデジタルデータをMPEG−2形式に圧縮符号化してトランスポートストリームを生成し、TS処理部204に入力する。この処理は、エンコーダ203が録画の終了指示を受け取るまで継続される。エンコーダ203は圧縮符号化を行うために、参照ピクチャ等を一時的に保持するバッファ(図示せず)等を有している。なお、同時に視聴が行われる際には、エンコーダ203はトランスポートストリームをMPEG−2デコーダ206に入力する。
TS処理部204は、動画の記録時にはパーシャルTSを受け取り、クリップAVストリーム(ClipAVストリーム)を生成し、BD205aおよび/またはHDD205bに記録する。クリップAVストリームとは、BD205aに記録するための形式を有するデータストリームである。クリップAVストリームは複数の「ソースパケット」から構成されており、「ソースパケット」はパーシャルTSを構成する各TSパケットに所定のヘッダを付加して生成される。なお、クリップAVストリームを生成する際の処理の詳細は、図4(a)〜(e)を参照しながら後述する。本実施形態においては、HDD205bに記録されるストリームの形式も便宜的にクリップAVストリームであるとする。
また、TS処理部204は、クリップAVストリームの生成とともにそのストリームをBD205aの再生などを制御し、格納された各種のデータ位置を管理するための管理情報を生成し、BD205aに記録する。
TS処理部204は、動画の再生時には、BD205aおよび/またはHDD205bからクリップAVストリームおよび管理情報を読み出し、それらの管理情報およびクリップAVストリームに基づいてパーシャルTSを生成し、MPEG−2デコーダ206に出力する。
TS処理部204は、後述するメモリカード制御部217との間でも管理情報およびクリップAVストリームを授受するように動作してもよく、この結果、メモリカード112に番組を録画し、録画された番組をメモリカード112から再生することもできる。またTS処理部204は、各種の記録媒体間で管理情報およびクリップAVストリームのコピー、ムーブ等を行う際にもデータの転送を仲介する。
TS処理部204のさらに具体的な構成および動作は、後に図2、図3および図10を参照しながら詳述する。なお、本明細書では、TS処理部204がBD205aおよび/またはHDD205bにデータを書き込み、またはそれらからデータを読み出すとして説明しているが、これは説明の便宜のためである。BD205aやHDD205bに対するストリームの書き込みや読み出しは、実際には、ディスクの回転、ヘッドの移動とともに各々のドライブ装置に設けられたコントローラ(図示せず)が行っている。TS処理部204はそのようなコントローラに対して指示を送り、データを授受することによって、データの書き込みおよび読み出しが実現される。
MPEG−2デコーダ206(以下「デコーダ206」と記述する)は、供給されたパーシャルTSを解析してMPEG−2圧縮符号化データを取得する。そして、その圧縮符号化データを伸長して非圧縮データに変換し、グラフィック制御部207に供給する。また、デコーダ206は、MPEG−2規格の圧縮符号化データのみならず、例えばJPEG規格に従った静止画データも非圧縮データに変換することができる。グラフィック制御部207には内部演算用のメモリ208が接続されており、オン・スクリーン・ディスプレイ(On Screen Display;OSD)機能を実現できる。例えば、グラフィック制御部207は種々のメニュー画像と映像とを合成してDAコンバータ209に出力することができる。DAコンバータ209は、入力されたOSD合成画像および音声データをアナログ変換して出力する。出力先は、例えばTV(図示せず)である。
CPUバス213はレコーダ100内の信号を伝送する経路であり、図示されるように各機能ブロックと接続されている。また、CPUバス213には、後述するシステム制御部250の各構成要素も接続されている。
ネットワーク制御部214は、レコーダ100をインターネット等のネットワーク101に接続するためのインターフェイスであり、例えば、イーサネット(登録商標)規格に準拠した端子およびコントローラである。ネットワーク制御部214は、ネットワーク101を介してデータを授受する。このデータは、例えば放送番組に関する番組表のデータや、レコーダ100の動作を制御するためのソフトウェアプログラムの更新データである。
指示受信部215は、レコーダ100の本体部に設けられた操作ボタン、または、リモートコントローラからの赤外線を受光する受光部である。指示受信部215は、ユーザから、例えば録画の開始/停止、録画した番組の再生の開始/停止等の指示や、予約録画の指示と予約録画を行う番組の放送日時、チャンネルなどの通知、および、後述する、どのESをデフォルトESとして設定するか等の指示を与える。
インターフェース(I/F)部216は、レコーダ100が他の機器と通信するためのコネクタおよびその通信を制御する。I/F部216は、例えばUSB2.0規格の端子、IEEE1394規格の端子および各規格によるデータ通信を可能とするコントローラを含み、各規格に準拠した方式でデータを授受することができる。例えば、レコーダ100は、USB2.0規格の端子を介してPCや、カムコーダ(図示せず)等と接続され、IEEE1394規格の端子の端子を介してデジタルハイビジョンチューナや、カムコーダ(図示せず)等と接続される。
メモリカード制御部217は、メモリカード112をレコーダ100に装填するためのスロット、および、レコーダ100とメモリカード112との間のデータ通信を制御するコントローラである。メモリカード制御部217は、装填されたメモリカード112から静止画データファイル、動画データファイル等を読み出して、CPUバス213に伝送する。
システム制御部250は、レコーダ100内の信号の流れを含む全体的な処理を制御する。システム制御部250は、プログラムROM210と、中央制御ユニット(CPU)211と、RAM212とを有している。それぞれはCPUバス213に接続されている。プログラムROM210にはレコーダ100を制御するためのソフトウェアプログラムが格納されている。
CPU211は、レコーダ100の全体の動作を制御する。CPU211は、コンピュータプログラムを読み出して実行することにより、プログラムに基づいて規定される処理を実現するための制御信号を生成し、CPUバス213を介して各構成要素に出力する。プログラムに基づいて規定される処理とは、たとえば後述の受信処理、記録処理、再生処理および編集処理等である。
メモリ212は、CPU211がプログラムを実行するために必要なデータを格納するためのワーク領域を有する。例えば、CPU211は、CPUバス213を使用してプログラムROM210からプログラムをランダムアクセスメモリ(RAM)212に読み出し、そのプログラムを実行する。
コンピュータプログラムは、CD−ROM等の記録媒体に記録して市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。これにより、PC等を利用して構成されたコンピュータシステムを、本実施形態によるレコーダ100と同等の機能を有するデータ処理装置として動作させることができる。
なお図1は、受信機能、記録機能、再生機能等の複数の機能を有するレコーダ100を示しているが、各機能は独立しており、図1の構成と同等の信号の授受が可能であれば、これらは複数の装置として実現してもよい。例えば、チューナ201aおよび201b、デコーダ206、グラフィック制御部207およびDAC209をTV(図示せず)の機能として設けることができる。また、HDD205bを単独の機器として設けることもできる。そして、TV、レコーダおよびHDD205bを、例えばIEEE1394によって接続すればよい。
次に、図2を参照しながら、デジタルチューナ201aの機能および記録処理に関するTS処理部204の機能をより詳細に説明する。図2は、デジタルチューナ201aおよび記録処理に関するTS処理部204の機能ブロックの構成を示す。デジタルチューナ201aは、チューナ部251と、デマルチプレクサ252とを有している。また、TS処理部204は、管理情報生成部253および記録制御部254を有している。
デジタルチューナ201aのチューナ部251はデジタル放送波を受信し、フルTSを取り出す。その後デマルチプレクサ252は、フルTSから録画対象の番組のデータを含むパーシャルTSを生成し、記録制御部254に送る。またデマルチプレクサ252は、パーシャルTSの生成時に取得したパーシャルTSに関する制御情報(ストリーム情報)も出力する。すなわちデマルチプレクサ252は、パーシャルTSへの変換と同時に、ストリーム中のSI/PSIやES特徴点等のストリーム情報を抽出し、管理情報生成部253に送る。その結果、管理情報生成部253はストリーム情報を格納した管理情報を生成する。
記録制御部254は、受け取ったパーシャルTSおよび管理情報を、記録媒体205aに記録する。留意すべきは、記録制御部254はパーシャルTS自体をBD205aに書き込むのではなく、所定の拡張ヘッダを付加する処理を行ってクリップAVストリームを生成し、そのストリームをBD205aに書き込む。この処理の詳細は図4を参照しながら後述する。
次に図3を参照しながら、再生処理に関するTS処理部204の機能およびデコーダ206の機能をより詳細に説明する。
図3は、再生処理に関するTS処理部204およびデコーダ206の機能ブロックの構成を示す。再生時は、まず、再生制御部255によって記録媒体205aから管理情報のファイルが読み出される。管理情報解析部256は、読み出された管理情報に従って、再生制御部255に対してパーシャルTSの読み込み制御を行い、パーシャルTSをデマルチプレクサ257へ入力する。同時に、管理情報解析部256はデマルチプレクサ257に対して、パケット識別子(PID)設定等を行い、そのPIDを有するTSパケットの分離を指示する。その指示とPID設定とに基づいて、デマルチプレクサ257は設定されたパケット識別子を有するパーシャルTS内のTSパケットのみを分離抽出して、出力する。なお、PID設定は映像、音声、字幕等のそれぞれについて行う。
デマルチプレクサ257によって分離されたESは、それぞれのESに応じたビデオデコーダ258、オーディオデコーダ259、データデコーダ260へと入力される。管理情報解析部256は、各デコーダ258〜260に対してデコードを行うよう指示する。その指示に基づいて、ビデオデコーダ258は映像ESをデコードし、オーディオデコーダ259は音声ESをデコードし、データデコーダ260は字幕ESをデコードする。各デコーダ258、259、260はそれぞれをデコードしてデジタル信号として出力する。
TS中に複数のESが含まれている場合、通常のTV等に出力する場合であれば、1種類の映像および1種類の音声を取り出し再生出力する。字幕等のデータが存在すれば、同様に選択およびデコードが行われる。ユーザがESの切り替え要求を出すと、管理情報解析部256はデマルチプレクサ257に対してPIDを再設定してESの分離を指示する。また管理情報解析部256は、各デコーダ258〜260に対してデコードを行うよう指示する。するとその後は、再設定後のPIDを有するTSパケットが抽出され、異なるESがデコードされる。
1つの番組に同じ種別のESが複数存在する場合、例えばアングルに応じた複数の映像ESが存在する場合であっても、各アングルのESのデータは、ESごとに異なるPIDが割り当てられたTSパケットに格納されている。よって、PIDを利用すると特定のアングルのESのみを抽出できる。これは、音声および字幕についても全く同じである。
次に、図4および5を参照しながら、データ構造およびファイル構造の観点から、TS処理部204の記録処理および記録後のBD205aを説明する。
図4(a)〜(e)は、レコーダ100の記録処理に関連するトランスポートストリームとクリップAVストリームとの関係を示す。参考のため、図4(a)にフルTS70を示している。フルTS70は、TSパケットが連続して配置されており、例えば3つの番組X,YおよびZのデータを含む。図4(b)は、デジタルチューナ201aによってフルTS70から生成されたパーシャルTS71を示す。パーシャルTS71は、連続したフルTSから一部のパケットを取り出したストリームであるため、パケットが時間的に離散して存在している。このパケットの間隔は、フルTSの送信側によって調整されており、デコーダにおいてデコードが適正に行われるために必要な条件を満たす。この「条件」とは、MPEG−2TSの理想モデルとして規定されたT−STD(TSシステムターゲットデコーダ;TS System Target Decoder)のバッファメモリがオーバーフローおよびアンダーフローを引き起こさないためにMPEG規格上定められた条件である。
パーシャルTS71は、例えば番組Xに関するTSパケットを含んでいる。
図4(c)は、クリップAVストリーム72を示す。クリップAVストリーム72は、ソースパケットが連続して配列されている。各ソースパケットは、ソースパケット番号(SPN)#1、2、3・・・で区別される。
図4(d)は、ソースパケット73のデータ構造を示す。ソースパケット73のデータ長は192バイトに固定されている。すなわち、各ソースパケット73は、188バイトのTSパケット75の前に、4バイトのTPエクストラヘッダ74を付加して構成されている。ソース・パケタイザは、パーシャルTSを構成するTSパケットの前にTPエクストラヘッダ74を付加することにより、ソースパケットを生成している。
図4(e)は、TPエクストラヘッダ74のデータ構造を示す。TPエクストラヘッダ74は、2ビットのコピー許可インジケータ(CPI)76と、30ビットの到着タイムスタンプATS77とから構成されている。コピー許可インジケータ(CPI)76は、そのビット値に応じて、クリップAVストリーム72の全部または一部のコピー回数(0回(コピー不可)/1回のみ/制限なし等)を規定している。到着タイムスタンプATS77には、90kHz精度で時刻が記述される。
なお、図4(c)に記載されたクリップAVストリーム72は、例えば32個のソースパケットの集合(6KB)を1つの単位としてBD205a等に記録される。このような単位をアラインド・ユニットという。アラインド・ユニットを規定する理由は、BD205aが1セクタ2KBであるため、32ソースパケットの単位でセクタとのアライメントが確保できるためである。
次に、図5を参照しながら、クリップAVストリームがどのようにBD205a上に記録されるかを説明する。なお、クリップAVストリームはHDD205bにも記録され得るため、同様のデータ構造によって記録することができる。ただし、HDD205bは一般にレコーダ100から取り外されて他の機器に装填されることはないため、独自のデータ構造によってデータを記録してもよい。
図5は、BD205aの記録領域と、そのディレクトリ/ファイル構造を示す。BD205aは、ギャザード・ファイル領域81−1とリアルタイム・データ領域81−2とを有する。
ギャザード・ファイル領域81−1の記録容量は数百メガバイトである。ギャザード・ファイル領域81−1には、クリップAVストリームの再生等を管理する管理情報のファイル(データベースファイル)が記録される。図5に示すように、データベースファイルは複数種類存在している。データベースファイルとして、例えば管理ファイル82(Info.bdav)、プレイリストファイル83(01001.rpls、10000.vpls)、クリップ情報ファイル84(01000.clpi)が存在する。プレイリストファイル83には、再生順序を示すPlayItemや、プレイリストマーク等が記載されている。クリップ情報ファイル84には、STCシーケンスや、ATCシーケンス、“ProgramInfo”等の連続区間を示すシーケンス情報や、エントリポイントマップ(“EP MAP”)のようなランダムアクセスや特殊再生のためのエントリーポイント情報が記載されている。
ギャザード・ファイル領域81−1に記録されるデータベースファイルはアクセスされる頻度が高い。よって、ギャザード・ファイル領域81−1は効率的にアクセスが可能な、BD205aの記録領域の中間部に設けられている。また、データベースファイルはクリップAVストリーム等の動画ストリームを再生するために必須であり、記録内容の誤りは重大な障害を引き起こす。そのため、データベースファイルは同じBD205a上にバックアップされる。
一方、リアルタイム・データ領域81−2の記録容量は23〜27ギガバイトである。リアルタイム・データ領域81−2には、クリップAVストリームのストリームファイルが記録される。例えばクリップAVストリームファイル85(01000.m2ts)が記録される。先のデータベースファイルと異なり、ストリームファイルの再生誤りの影響は局所的であり、その一方、連続的な読み出しを確保する必要がある。よって、誤りの発生を低減するよりも、連続読み出しを保証する方に重点をおいた書き込み処理が行われる。具体的には、クリップAVストリームファイル85は最小で12Mバイトの連続領域(連続した論理セクタ)に記録される。この最小の記録データサイズは「エクステント」と呼ばれる。なお、リアルタイム・データ領域81−2には、DVストリームを記録することもできるが、以下ではクリップAVストリームが記録されているとして説明する。
図6は、クリップAVストリーム85に含まれる複数のESを模式的に示す。クリップAVストリームファイル85は、映像、音声および字幕について、それぞれ複数のESを有している。例えばクリップAVストリームファイル85が映画を録画したファイルであるとすると、異なる視点(アングル)1〜3のES(V1〜V3)を含んでいる。同様に、異なる音声(日本語/英語/中国語)の各音声ES(A1〜A3)を含み、異なる字幕(日本語/英語/・・・)の各字幕ES(S1、S2・・・)を含む。上述のように、各ESには異なるES PID値が割り当てられている。図6には、各ESに関連して割り当てられたPIDの例を示している。なお、説明の便宜のため、本実施形態においてはES PID値が0x01のESは同じ値をPID値として有するTSパケットに格納され、書き込みおよび読み出しが行われるとして説明する。ただし、レコーダ100が、再生すべきESのデータを格納したTSパケットを確実に抽出できるのであれば、他の方法を採用してもよい。
ここで、図7を参照しながら、上述の管理ファイル82、プレイリストファイル83、クリップ情報ファイル84およびクリップAVストリームファイル85相互の関係を説明する。図7(a)〜(d)は、管理情報とストリームデータとの関係を示す。図7(a)〜(c)が管理情報であり、図7(d)がストリームデータである。図7(a)は管理ファイル82(Info.bdav)に記述されるプレイリストのテーブルを示す。すなわち、管理ファイル82には、BD205a上に存在するプレイリストを特定するプレイリストファイル名のテーブルが格納されている。ここで「プレイリスト」とは、1以上のクリップAVストリームの一部または全部に跨る再生経路を規定した情報である。
図7(b)は、プレイリストファイル83(拡張子:rpls/vpls)に記述されるプレイリストを示す。プレイリストは、リアルプレイリストおよびバーチャルプレイリストに分類できる。リアルプレイリストは、例えば初めてストリームデータが記録されたときにレコーダ100によって生成されるプレイリストであり、再生経路として動画の最初から最後までが指定される。一方、バーチャルプレイリストは、記録されたストリームデータに対してユーザが設定したプレイリストであり、ユーザの希望する任意の位置および区間が指定される。
プレイリストの各区間は、プレイリスト内の各プレイアイテムにおいて規定される。すなわち、プレイアイテムには、再生開始位置に対応する開始時刻(In_time)および再生終了位置に対応する終了時刻(Out_time)が記述される。開始時刻および終了時刻は、映像のフレームの再生表示時刻や音声のフレームの再生出力時刻を特定するプレゼンテーションタイムスタンプ(PTS)によって記述される。通常、記録直後のリアルプレイリストではプレイアイテムは1つだけ設けられ、動画の最初と最後の時刻が指定される。一方、バーチャルプレイリストではプレイアイテムの数は任意である。1つのバーチャルプレイリストに複数のプレイアイテムを設け、各プレイアイテムが異なる動画ストリームを指定するように記述することもできる。
図7(c)はクリップ情報ファイル84(拡張子:clpi)に記述される時間・アドレス変換テーブル(EP_map)84を示す。変換テーブル(EP_map)84は、クリップAVストリームの再生時刻と、その時刻に再生されるデータが格納されたアドレスとを対応付けたテーブルである。この変換テーブル84を利用することにより、プレイアイテムにおいて指定される開始時刻(In_time)および終了時刻(Out_time)から、その時刻に再生すべきデータが格納されたクリップAVストリームにおけるアドレスを特定することができる。なお、この変換テーブル84を利用した変換の原理は、後に図13から図15を参照しながら詳述する。
図7(d)は、クリップAVストリームファイル85(拡張子:m2ts)に格納される動画ストリームを示す。この図では、ファイル“01000.m2ts”および“02000.m2ts”の各々がクリップAVストリームファイルである。
図7(c)および(d)に示すように、BD205a上では、1つのクリップAVストリームファイルに対して1つのクリップ情報ファイルが設けられる。クリップAVストリームファイルと、クリップ情報ファイルの対は、クリップ(Clip)と呼ばれる。
本実施形態では、映像、音声、字幕等の各々について複数のESが存在するとき(図6)において、最初に再生するES(デフォルトES)を指定するために「ES選択情報」を導入する。本実施形態においては、プレイアイテム(およびSTCシーケンス、プログラムシーケンス)毎にデフォルトESを指定するES選択情報を管理情報の一部として付加する。ES選択情報としては、エレメンタリストリームPID(以下ES PID)が考えられる。または、より高い抽象度で考えると、ARIB規格等の放送規格で定義されているコンポーネントタグ等も使用可能である。
ES選択情報として、本実施形態においては従来のBD−RE等の規格におけるマーク情報を利用する。BD−REでは、プレイリストマークがマーク情報に相当する。プレイリストマークは、プレイリストファイル83に格納されている。
図8は、プレイリストファイル83に格納される情報(エントリ)およびそのデータ構造を示す。プレイリストファイル83には、プレイリストマークに対応するプレイリストマーク(PlayListMark)エントリ90が規定されている。
プレイリストマークエントリ90には、マークタイプ(mark_type)フィールド91、マークタイムスタンプ(mark_time_stamp)フィールド92、ES選択情報(ES_PID)フィールド93等が規定されている。mark_typeフィールド91はマークの種別を示す。BD−RE規格では、マークの種別として、ブックマーク、リジュームマーク等が定義されている。本実施形態では、新たな種別として、デフォルトES指定マーク(Default−ES−mark)を定義する。例えば、0x03をその値として定義する。表1は、マークタイプフィールド91に指定される数値とマークとの関係を示す。
Figure 2006121049
デフォルトES指定マークは、上述のES選択情報に対応する。デフォルトES指定マークから次のデフォルトES指定マークまでの再生区間は、ES_PIDフィールド93において指定されたES PIDに対応するESがデフォルトとして選択され、再生される。デフォルトES指定マークは、音声、映像、字幕等について、先頭に各1つ設定できる。
なお表1の他のマークの機能は以下のとおりである。リジュームマークは再生再開点を示し、再生を一旦中断したときに設定される。このマークはその中断位置から再生を開始するために設けられている。ブックマークは、例えばユーザがお気に入りのシーンの開始点を指定するマークとして設けられる。スキップマークは、そのポイントからプログラムの最後まで、プログラムをスキップするために設けられる。なお、他にもチャプターマーク等が存在するが、詳細は省略する。
mark_time_stampフィールド92は、再生するESの再生点を特定する情報が記述される。例えばmark_time_stampフィールド92では、再生出力のタイミングがSTC時間軸の時刻(マークタイプスタンプ)によって記述される。なお、プレイリストファイル83には複数のプレイアイテムを規定することができるため、プレイアイテムID(PlayItem_id)にどのプレイアイテムを対象とするかを指定する。上述のマークタイプスタンプ92はプレイアイテムIDとともに再生位置情報として取り扱われる。
ES選択情報(ES_PID)フィールド93は、選択の対象とするESを特定するES選択情報が記述される。BD−RE 1.0では、そのデータ構造中にES PID値を指定するためのフィールドが規定されており、そのフィールドがES選択情報(ES_PID)フィールド93に相当する。
プレイリストマークとしてデフォルトES指定マークが定義されると、例えば図8中の“reserved”と示す領域に、ユーザが指定したES_PID値またはコンポーネントタグによって指定されたES_PID値を指定する。そしてプレイアイテムIDとマークタイムスタンプ92には、ESを切り替えたい点を、再生位置情報として設定する。
デフォルトES指定マークが記録された記録媒体は、再生時のESを指定する情報を含むため、機器間によるデフォルトESの違いを防ぐことができ、さらには、ユーザが任意のESをデフォルトとして指定することも可能となっている。例えば、英語音声を示すES選択情報と、プレイリスト先頭を示す再生位置情報を含んだデフォルトES指定マークが記録されている場合、該プレイリストの再生時は、英語音声をデフォルトとして選択するとして解釈される。
以上のようなプレイリストマークを用いる方法であれば、従来の規格との互換性を維持しつつ、対応機器では、ES自動選択機能が働くようなES選択情報定義が可能となる。
プレイリストマークは、プレイリスト単位で指定することが可能であるため、異なるデフォルトES情報を持つプレイリストを定義することが可能である。例えば、複数のESを含む一つのストリームを、各デフォルトESの異なる複数の番組として定義することが可能である。例えば、同じクリップを参照するプレイリストを複数用意し、ひとつのプレイリストは日本語音声をデフォルトとするようなデフォルトES指定マークを設定し、別のプレイリストには他言語音声をデフォルトとするようデフォルトES指定マークを設定する。このように設定することで、音声ESの異なる複数の仮想的な番組を定義することもできる。
なお、上記で説明したデフォルトES指定マークの定義方法は、一つの例であり、同等の情報を含んでいるのであれば、異なるデータ構造をとってもよい。例えば、mark_typeフィールドの代わりに、mark_nameフィールドに指定した文字列によって識別する等も方法も考えられる。なお、上述のプレイアイテムへのフィールド追加や、デフォルトES指定マークを用いる他にも、映像・音声・字幕などの種別毎のデフォルトES、またはそれらの組を定義したシーケンス情報を新たなテーブルとして定義してもよい。また、デフォルトESをすべき区間を示すための情報は、プレイリストマークのような位置情報であってもよいし、開始位置と終了位置による区間指定でもよい。また、位置情報は、表示時刻スタンプ(Presentation Time Stamp;PTS)やフィールド数等の時刻情報を用いてもよいし、セクタやパケットカウント等のストリームのアドレス情報を用いてもよい。これらのうち、少なくとも一方が含まれていればよい。
なお、プレイリストファイル83内にはPlayList()として示すエントリも存在する。これが上述の「プレイリスト」に対応する。プレイリスト情報(PlayList)の下位には、プレイアイテム(PlayItem)1、2・・・が記述される。各プレイアイテムには再生対象となるクリップ情報ファイルのファイル名(Clip_Information_file_name)、STCを特定するための識別子(ref_to_STC_id)、開始時刻(In_time)、終了時刻(Out_time)等が格納される。
上記で説明したBD−REでの実現方法以外にも、管理情報とストリームがあわせて記録されている記録媒体であれば、同様のことが実現できる。例えば、プレイリストをプログラム(Program)、プレイアイテム(PlayItem)をセル(CELL)、プレイリストマークをエントリポイント(Entry Point)等と読み替えていけば、DVD−VR形式でも同等のことが実現できる。その他のデータ形式でも同様である。
次に、図9および図10を参照しながら、レコーダ100のデジタル放送番組を録画する処理を説明する。録画処理の結果、BD205a上には図5に示すファイル構造で種々のファイルが記録される。
図9は、録画処理の手順を示す。ステップS101において、デジタルチューナ201aはデジタル放送波(フルTS)を受信し、特定の番組に関するパーシャルTSを生成する。ステップS102において、TS処理部204の記録制御部254は、パーシャルTSからクリップAVストリームを生成し、クリップAVストリームファイルとしてBD205aに記録する。ステップS103において、TS処理部204の管理情報生成部253は、パーシャルTSを解析して、管理情報に関するデータベースファイル(管理ファイル、プレイリストファイル、クリップ情報ファイル等)を生成する。記録制御部254は、生成されたデータベースファイルをBD205aに記録する。
次に、図10を参照しながら、上述のステップS103に関連するプレイリストファイルの生成処理を説明する。図10は、プレイリストの生成処理の手順を示す。ステップS111において、管理情報生成部253は、初めに再生すべきES(デフォルトES)が特定されているか否かを判断する。特定されていないときはステップS112に進み、特定されているときはステップS113に進む。
ステップS112では、管理情報生成部253は、録画時または予約設定時にユーザから、デフォルトESを特定する情報を受け取る。本実施形態においては、デフォルトESの特定はユーザの指示に基づいて行われるとしている。すなわちユーザは手動でデフォルトESを特定するとして説明する。
ユーザは複数のESの存在をレコーダ100からの通知等によって知ることができる。例えばデジタル放送波(フルTS)に含まれるSIパケットには、電子番組表(EPG)に関する情報等を記述したテーブルが格納されている。よって、レコーダ100は録画時または予約設定時にSIパケットを取得し解析することにより、録画対象となる番組に複数のESが含まれているかを事前に特定できる。レコーダ100は、この結果をユーザに示して、どのESをデフォルトESとするかの指示をユーザから受け取ればよい。例えば映画を録画する時には、英語音声/字幕および日本語音声/字幕の双方が選択可能であれば、ユーザは、音声に関してはデフォルトESとして英語音声を特定し、字幕に関してはデフォルトESとして日本語字幕を特定する。他の例として、野球中継を録画する時には、キャッチャー側カメラの映像およびセンター側カメラの映像の双方が選択可能であれば、ユーザは、デフォルトESとしてセンター側カメラの映像を特定する。
なお、予約設定時にユーザによって特定されたデフォルトESに関するES選択情報は、予約録画を行う日時、チャンネル等の情報とともに、予約情報を構成する。予約情報は、例えばレコーダ100のRAM212(またはフラッシュROM)に保持され、予約録画時にそのES選択情報に基づくデフォルトESの設定が行われる。
ステップS113において、管理情報生成部253は、プレイリストのマーク種別(mark_type)フィールド91に、デフォルトES指定マークを示す数値(0x03)を記述する。ステップS114において、管理情報生成部253は、プレイリストのES_PIDフィールド93に、デフォルトESに対応するES PID値を記述する。ステップS115において、管理情報生成部253は、デフォルトESの先頭部分のタイムスタンプを、mark_time_stampフィールド92に記述する。「先頭部分」は、映像に関しては最初に表示されるピクチャ(フレームまたはフィールド)、音声に関しては最初に出力される音声フレーム、字幕に関しては最初に表示される文字列である。ステップS116において、管理情報生成部253は、図8に示すプレイリストマーク90の他のフィールドの情報や、プレイリストファイルの他のエントリ(PlayListエントリ、PlayItemエントリ等)を記述する。
以上の処理により、レコーダ100はBD205aに番組を録画するとともに、最初に再生されるESを指定するES選択情報を管理情報の一部として記録することができる。
図11(a)は、デフォルトES指定マークを規定したリアル/バーチャルプレイリストと、複数の映像ESとの関係を示す。各プレイリストのマーク種別(mark_type)フィールド91には、デフォルトES指定マークを示す数値(0x03)が記述されている。
リアルプレイリストファイル(01001.rpls)は、アングル1のES(V1)をデフォルトESとして指定するES選択情報を含む。具体的には、リアルプレイリストのプレイリストマークに対応するES PIDフィールド93には“0x050”が記述されている。この数値は、アングル1のES(V1)のES_PID値“0x050”に対応している。
一方、2つのバーチャルプレイリストファイル(02002.vplsおよび10000.vpls)は、アングル2および3のES(V2、V3)をデフォルトESとして指定するES選択情報を含む。具体的には、各ES PIDフィールド93には、“0x051”および“0x052”が記述されている。これらの数値は、それぞれアングル2および3のES(V2、V3)のES_PID値“0x051”および“0x052”に対応している。
コンテンツ再生時においては、図3に示す再生制御部255は、まず管理情報を読み出して管理情報解析部256に送る。管理情報解析部256は、プレイリストマークエントリ90から、マークタイプ(mark_type)フィールド91に基づいてデフォルトES指定マークを抽出する。そして、ES選択情報(ES_PID)フィールド93に基づいてどのESを再生の対象とすべきかを特定し、そのESのES_PID値とともに読み出し指示を再生制御部255に送る。さらに管理情報解析部256は、マークタイムスタンプ(mark_time_stamp)フィールド92に示されたタイムスタンプに基づいて、そのESの再生開始位置を特定する。上述の処理を、映像、音声および字幕等のコンテンツに含まれる再生対象の種別ごとに行う。その結果、全ての種別について、再生制御部255に読み出し指示等が送られ、全てのデータを含むストリームが読み出される。同時に管理情報解析部256は、各種別について、TSパケットに付加されたPIDをデマルチプレクサ257に設定する。その結果、デマルチプレクサ257は再生制御部255によって読み出されたクリップAVストリームを逆多重化して、各種別のTSパケットを抽出することができる。
なお、図11(a)に示すように、ESの数と同じ数のプレイリストファイルを設ける必要はない。例えば、リアルプレイリストのみを設けてもよく、ES選択情報として規定するES_PID値は任意である。
図11(b)は、映像に関するデフォルトES指定マークを含むプレイリストが存在するときの一覧表示画面510の例を示す。この画面は、例えば、レコ―ダ100に接続されたTV(図示せず)に表示される。図11(a)に示すようにデフォルトES指定マークを含むプレイリストは3つ存在する(01001.vpls、02002.vpls、10000.vpls)。管理情報解析部256は、各プレイリストのデフォルトES指定マークを特定する。そして管理情報解析部256は、デマルチプレクサ257に各ESの分離抽出を指示し、かつデコーダ258〜260に各ESのデコードを指示する。さらに管理情報解析部256は、複数の再生経路の存在を示す制御情報をグラフィック制御部207に送る。グラフィック制御部207は、制御情報を受けて、デフォルトES指定マークが付加されたESに対応するサムネイル画面1〜3が、出力先のTVにおいて並べて表示されるように表示位置を設定し、そのような表示が可能な表示信号を出力する。その結果、TVにおいては、これらの画面には各ESに基づく映像が表示される。ユーザは、選択可能な再生経路として各映像を確認することができる。
サムネイル画面は静止画像であってもよいし動画であってもよい。さらに各サムネイル画面の下にはどのESであるかを示す「アングル1」等も表示することができる。このような文字列は、録画時にレコーダ100によって各プレイリスト情報の一部に記述されている。例えばレコーダ100は、「アングル1」等の文字列を、例えば図8のプレイリストファイル83内に設けられたPlayList_nameフィールドや、プレイリストマークエントリ90内のマーク名(mark_name)フィールドに記述することができる。
ユーザは、TV画面510を見ながら、例えばレコーダ100付属のリモコン(図示せず)によって再生を開始したいサムネイル画面を指定する。すると、レコーダ100はデフォルトESとして設定されたESの再生を開始する。デフォルトES指定マークを導入することにより、どの機器を用いて再生しても当初に再生されるESは一定になり、デフォルト選択の違い等を排除できる。本実施形態によるレコーダ100は、ユーザから特に指定がない場合は、記録時に自動的にデフォルトESを選択するようなES選択情報を生成し記録する。
図11(b)のサムネイル画面1〜3によれば、表示画面510中のサムネイル表示や縮小表示される動画は各番組1〜3の間では異なっている。ユーザから見れば、一つのクリップAVストリームファイル85があたかも複数の番組が存在するかのように表示される。そして、実際に再生を開始したときに表示される映像も異なる。このようなGUIによって、ユーザは、全くの別番組を選択する感覚で、1つの番組に含まれる他のESを選択することが可能となる。このように、デフォルトES指定マークに基づいて、マークごとにサムネイル画面を表示し、または単なるリストとして表示した場合であっても、複数ESを含む番組の再生・管理の操作が非常に直感的になる。
なお、従来においても、バーチャルプレイリストを利用して1以上のストリームの複数の再生区間および/または複数ストリームにまたがる再生区間とその再生順序とを規定すると、一つのストリームに対して複数の仮想的な番組を提示することは可能であった。一方、本実施形態によるプレイリストは複数のESから特定のESを選択するためのES選択情報を有しているため、従来のバーチャルプレイリストとは異なる点に留意されたい。
また本実施形態においては、ストリームとは別の管理情報中にES選択情報を規定している。よって、後にES選択情報を変更する際でもストリーム中のデータを改変することは不要であり、処理量を大幅に減らすことができる。この構成は、再生すべきESの切り替えを指示する情報(マルチビュー自動切替テーブル)がストリーム内に記述される特許文献1とは全く異なるといえる。
図11に示す例のようにGUIを用いると種々の応用が可能である。例えば、番組のアングル3をデフォルトESとして指定するバーチャルプレイリストファイル(10000.vpls)を削除することによって、アングル3のESのみをクリップAVストリームファイル85から削除する等のES単位の編集のためのインターフェースを提供することも可能となる。不要なESを削除することは、記録媒体の空き容量を増やすことにつながるため、このような機能は非常に有用である。
上述の説明は、映像ESが複数存在するときのプレイリストおよび一覧表示画面の例である。次に図12(a)および(b)を参照しながら、音声ESが複数存在するときのプレイリストおよび一覧表示画面の例を説明する。
図12(a)は、デフォルトES指定マークを規定したリアル/バーチャルプレイリストと、複数の音声ESとの関係を示す。各プレイリストのマーク種別(mark_type)フィールド91には、デフォルトES指定マークを示す数値(0x03)が記述されている。
リアルプレイリストファイル(01001.rpls)は、日本語音声ES(A1)をデフォルトESとして指定するES選択情報を含む。リアルプレイリストのプレイリストマークに対応するES PIDフィールド93には“0x100”が記述されている。この数値は、アングル1のES(V1)のES_PID値“0x100”に対応している。2つのバーチャルプレイリストファイル(02002.vplsおよび10000.vpls)は、英語音声ES(A2)および中国語音声ES(A3)をデフォルトESとして指定するES選択情報を含む。各ES PIDフィールド93には、“0x101”および“0x102”が記述されている。これらの数値は、それぞれアングル2および3のES(V2、V3)のES_PID値“0x101”および“0x102”に対応している。
図12(b)は、音声に関するデフォルトES指定マークを含むプレイリストが存在するときの一覧表示画面510の例を示す。レコーダ100は、各プレイリストに対応するサムネイル画面1〜3を並べて表示するが、サムネイル画面1〜3は同じであってもよい。ただし、各サムネイル画面の設けられた文字列によって区別することができる。そのような文字列を格納するデータフィールドは、先の例と同様、PlayList_nameフィールド、マーク名(mark_name)フィールド等である。
上述の映像、音声等について、デフォルトESの特定はレコーダ100によって自動的に行われてもよい。例えば上述した特許文献1におけるマルチビュー自動切換えテーブル等を用いて、管理情報生成部253は放送局によって指定されたESをデフォルトESとして特定する。または管理情報生成部253は、ストリーム中のSI/PSI情報において放送局によって指定されたESをデフォルトESとして特定する。さらに、ARIB規格では視聴時にデフォルトで選択すべきESのコンポーネントタグが規定されているため、管理情報生成部253は、コンポーネントタグにおいて指定されたESをデフォルトESとして特定したデフォルトES指定マークを自動的に生成してもよい。
なお、図11および図12では、映像と音声とをそれぞれ分けて説明した。しかし、映像ESの指定および音声ESの指定は独立して行うことができるため、図11の例と図12の例とを混在させることもできる。
BD−RE規格を拡張すると、上述のようにデフォルトESを指定することができる。ただし、この拡張のみでは、プレイアイテムやプログラムシーケンス中の任意点でのES切り替えには対応できない。例えば3種類のカメラ視点の映像ESを含むスポーツ番組を想定すると、ユーザは好みのシーンに応じて複数のビューを適宜切り替えたい場合も存在する。デフォルトES指定マークを設けるとどのESに基づいて再生を開始するかを指定することは可能であるが、再生開始後のESの切替はできない。
そこで、BD−RE規格をさらに拡張して、任意の点において再生対象のESを切り替えるための処理を説明する。ESを切り替えるタイミングおよび切り替え後のESの指定はユーザが定義できる。
図13は、任意のタイミングで任意のESに切り替えたときの例を示す。クリップAVストリーム301には、映像ES1(302)と、映像ES2(303)と、映像ES3(304)とが含まれているとする。
このようなクリップAVストリーム301に対し、レコーダ100の管理情報生成部253は、複数のES切り替え点305、306、307、308、309を定義する。ES切り替え点は、たとえばクリップAVストリーム301の先頭を基準とした、映像の再生経過時刻またはその時刻に対応する情報として特定される。
管理情報生成部253は、プレイリストファイル83内に複数のデフォルトES指定マークを設ける。これまでの説明では、デフォルトES指定マークは選択されたESの先頭を指し示すように定義されるとした。しかしここでは、ESの途中を指し示すように各デフォルトES指定マークを定義すればよい。より具体的には、デフォルトES指定マークとして、切り替え後のESを特定するESの識別情報(ES_PID値)と、どの点から切り替えるかの情報(mark_time_stamp値)の組を規定すればよい。
例えば、図13に示す再生点305は、最初に再生すべきESを指定するためのデフォルトES指定マークであり、映像ES3に対応するES_PID値と、先頭ピクチャのタイムスタンプが記述されている。次のES切り替え点306は、切り替え後のES2に対応するES_PID値と、その時刻に対応するES2のピクチャのタイムスタンプが記述されたデフォルトES指定マークとして定義される。他の切り替え点307、308、309の定義もES切り替え点306の定義と同様である。再生点305と306〜309とを規定するデフォルトES指定マークは全く同じデータ構造であり、記述するタイムスタンプがESの先頭を示すか途中を示すかが相違するのみである。
このようなクリップAVストリーム301およびES切り替え点により、TS処理部204およびデコーダ206は、映像ES3に対応する映像3から再生を開始し、その後各切り替え点において、映像ES2に対応する映像2を再生し、順に映像3、映像1、映像3を切り替えながら再生を継続する。
具体的には、管理情報解析部256は、管理情報中に複数のデフォルトES指定マークが存在することを認識できる。併せて、その各々について、ES_PID値と、再生すべき時刻に対応するESのピクチャのタイムスタンプが記述されたmark_time_stamp値を取得できる。よって、当初はES3から再生を開始するよう再生制御部255およびデマルチプレクサ257に指示する。その後、mark_time_stamp値に基づいて再生切り替え点306に至ったことを認識すると、その時刻から、ES_PID値に基づいてES2の再生を開始する。以後、同様の手順により、デフォルトES指定マークによって指定された時刻において、指定されたESが再生される。
次に、レコーダ100が複数のESを含む番組を録画した後に、ユーザがそのレコーダ100を利用して、その番組の任意の再生位置にES切り替え点を設定する編集処理を説明する。複数のESを含む番組のクリップAVストリームはBD205aに蓄積されているとするが、HDD205bに蓄積されていてもよい。
図14(a)は編集画面に表示されたグラフィカル・ユーザ・インターフェース(GUI)の例を示し、図14(b)は編集対象のESとデフォルトES指定マークとの対応関係を示す。例えば、レコーダ100がユーザの指示に基づいて映像編集処理を行うための「編集モード」に移行すると、レコーダ100は図14(a)に示す編集画面601を表示する。
図14(a)のGUI例では、図14(b)に示す3種類の映像ES621、622、623を含むTS620に対し、ユーザは任意のES切り替え点(切り替え時刻)を指示するとともに、その点から再生すべき映像ESを指示する。これにより、その切り替え点から次の切り替え点までの区間に再生される映像ESが特定される。1つのコンテンツに対してユーザが複数のES切り替え点と映像ESとを指定することにより、ユーザが希望する時刻に希望するアングルの映像に切り替えられて映像が再生される。
編集画面601は種々の領域に区画され、サムネイル映像やGUI項目が表示される。まずサムネイル領域602、603、604には各映像ESの映像がそれぞれ動画で並列的に表示される。
図14(a)の代表サムネイル領域609には、3種類の映像ESのうち、カーソル611の位置において再生される映像ESに基づく映像が表示される。この映像ESは直前の切り替え点において指定された映像ESである。図14(a)の例では、カーソル611の位置では3番目の映像が指定されている。よって、代表サムネイル領域609にはサムネイル領域604に示された映像と同じ映像が大きく表示されている。
ボタン605〜607は、それぞれの映像ES1〜3に対応して設けられている。ユーザは、映像再生開始時および再生中に編集画面601を確認しながら指示受信部215を操作して、希望するアングルのボタンを選択する指示を送る。この結果、指示を送った再生タイミングで、対応する映像ESが選択される。一旦映像ESが選択されると、次に異なる映像ESが選択されるまでは、その映像ESに基づいて映像が再生され続ける。
図14(a)の例では、番組先頭を含め合計5回ボタンが選択されており、その結果、5つのES切り替え点が設定されている。ボタン605〜607の選択順序は、ボタン607、ボタン606、ボタン607、ボタン605およびボタン607である。ES切り替え点は、図14(b)に示す点631、632、633、634、635に設定される。これにより、再生区間641、642、643、644、645では、それぞれ映像3、映像2、映像3、映像1、映像3が選択されて再生される。ライン610は、映像切り替わりの流れを視覚的に表現している。5つのES切り替え点により、各映像1〜3はライン610に示される順序およびタイミングで再生される。
図14(b)の最下段には、複数の切り替え点に対応する、デフォルトES指定マーク(プレイリストマーク)0〜4がそれぞれ示されている。各プレイリストマークのマーク種別(mark_type)フィールド91には、デフォルトES指定マークを示す数値(0x03)が記述されている。また、mark_time_stampフィールド92にはその時刻を示すタイムスタンプが記述される。そして、ES選択情報(ES_PID)フィールド93には切り替え後の映像ESのES_PID値が記述される。
図15は、図14に示す編集処理を実現するためのTS処理部204の機能ブロックの構成を示す。TS処理部204は、管理情報生成部253、記録制御部254および再生制御部255を有している。
管理情報生成部253は、図2に関連して説明した機能のみならず、図3に関連して説明した管理情報解析部256の機能も有している。一方、記録制御部254および再生制御部255については、図2および図3を参照しながら説明した機能と同じである。
再生制御部255および管理情報生成部253は、図3に示す再生制御部255および管理情報解析部256と同じ処理を行い、BD205aに記録されたクリップAVストリームおよびその管理情報を読み出す。このクリップAVストリームは、アングルに応じた複数の映像ESを含んでいる。デコーダ206は、各映像ESをデコードしてそれぞれの映像をグラフィック制御部207に出力する。
グラフィック制御部207は、CPU211からの制御情報に基づいて、図14に示すサムネイル領域602、603、604において各映像が表示されるように表示位置を調整するとともに、さらにそのうちのひとつの映像が代表サムネイル領域609に表示されるように表示位置を調整する。代表サムネイル領域609に表示される映像は、カーソル611の位置において選択されている映像ESに対応している。
一方、管理情報生成部253は、ユーザのボタン入力に基づいてどの映像をどの位置から再生すべきかを特定し、ボタン入力ごとにES選択情報を生成する。管理情報生成部253は、生成したES選択情報をBD205aから読み出した管理情報に記述する。より詳しくは、管理情報生成部253は、各切り替え点に対応するデフォルトES指定マークをプレイリストファイル83内のプレイリストマークエントリ90に設ける。デフォルトES指定マークが追加された管理情報は、記録制御部254およびCPU211に送られる。
記録制御部254はその管理情報に基づいて、BD205a上の管理情報を更新する。CPU211はその管理情報を受け取って解析し、各映像ESがどの順序でどれだけの区間長だけ再生されるかを一覧表示するための制御情報を生成する。その制御情報はグラフィック制御部207に送られる。グラフィック制御部207は、制御情報に基づいて図14(a)のライン610を表示するための信号を出力する。この結果、レコーダ100と接続された外部の表示機器、たとえばテレビの画面上にライン610が表示される。
図14(a)に示す編集画面601は一例に過ぎない。必ずしも全ての領域およびGUI項目を備えている必要はなく、またその配置も任意である。例えば、サムネイル画面に並列的に動画映像を表示するためには、各サムネイル画面を途切れなく再生するための処理能力や、復号化処理によって得られたデータを蓄積できる容量を持つバッファが必要である。ただし、映像の種類によっては、そのようなハードウェアまたはソフトウェアを持たなくても問題ない場合もある。例えば編集対象が、マルチストーリー番組のような頻繁に切り替える必要がない映像であれば、全てのESを動画によりサムネイル表示しなくても特に問題はないと考えられる。1つのES再生が終了した後、他のESの映像を表示できれば選択はできるからである。
本実施形態においては、デジタル放送の番組をBD205aに録画することを想定して説明した。しかし、1つの番組に択一的に再生される同種類のエレメンタリストリームが複数含まれていれば、その放送の種類や記録媒体の種類を問わず、本発明を適用できる。
例えば、本実施形態によるレコーダ100の構成を利用すると、BD205aに代えてDVDに記録することもできる。DVDに記録可能なストリーム形式は、TSではなくMPEG−2プログラムストリームである。よってレコーダは、パーシャルTSをデコードして映像/音声等のデジタル信号を生成し、そのデジタル信号からESエンコードを行ってMPEG−2プログラムストリームを生成すればよい。
これまでの説明では、番組の録画時、または、レコーダ100によって録画した番組の編集時に、レコーダ100によってデフォルトESの切り替え点が設定されるとした。しかし、本発明は、録画を行った機器とデフォルトESの切り替え点を設定する機器とが同一でなくても適用できる。たとえばレコーダ100は、他の機器によって書き込み可能な記録媒体に録画された番組や、パッケージメディアなどの再生専用記録媒体に記録されたコンテンツに対しても、デフォルトESの切り替え点を設定できる。
すなわち、BD−RE規格のフォーマットを用いて説明したように、既存の管理情報にはデフォルトES指定マークのエントリを追記できる。したがって、書き込み可能な記録媒体(DVD−RAMやBD−RE等のRAMメディア)に録画された番組の管理情報に、デフォルトES指定マークを追記すれば、任意のデフォルトESの切り替え点を設定できる。録画がレコーダ100によって行われたか、他の機器によって行われたかは問題ではない。
一方、再生専用記録媒体(たとえばDVD−RやBD−ROM等のROMメディア)には情報を追記できないため、媒体上の管理情報に対するデフォルトES指定マークの追記や上書きは不可能である。しかし、デフォルトES指定マークの情報と、映像情報とが同じメディア上に記録されている必要はない。例えば、レコーダ100のHDD205bにROMメディアの管理情報をコピーし、その管理情報にデフォルトES指定マークの情報を追記すればよい。なお、管理情報をコピーせずに差分となるデフォルトES指定マークのみを記録してもよい。
デフォルトES指定マークの記録先は、HDD以外のメモリ、たとえばRAM212、不揮発性のプログラムROM210等であってもよい。これにより、ROMメディアに記録されたコンテンツに対しても、任意のデフォルトESの切り替え点を設定できる。
なお、レコーダ100が、各ROMメディアを一意に識別するIDとデフォルトES指定マークの情報とを関連付けて保存しておくことが好ましい。これにより、ユーザがROMメディアをレコーダ100から取り出し、その後再び挿入したとしても、それまで設定されたデフォルトESの切り替え点をそのまま利用できる。
本発明による、番組を録画するデータ処理装置は、択一的に再生される同種類の複数のESを含む番組(例えばデジタル放送番組)を、光ディスクなどの記録媒体録画して、その番組に対してユーザからどのESから再生を開始するかの指示を受け取ることができる。データ処理装置は、受け取った指示に基づいて、最初に再生すべきESを指定する情報をその記録媒体に記録する。その情報は、最初に再生すべきESの先頭を指定している。
また、データ処理装置は、ESの先頭のみならずESの途中を再生開始点として指定する情報を設けることにより、ユーザが独自に定義した、複数のESにまたがるES切り替えパターンを規定することができる。その切り替えパターンも、上述の情報を記録媒体に記録することによっていつでも再現可能である。
複数のESを含むマルチビュー番組、最初に再生すべきESを指定する情報、ESの切り替え情報等を記録した記録媒体、および、そのような記録媒体からESを再生するデータ処理装置によれば、複数のESを含む番組の再生・管理が容易になる。
本実施形態によるハードディスクドライブ内蔵BDレコーダ100の機能ブロックの構成を示す図である。 デジタルチューナ201aおよび記録処理に関するTS処理部204の機能ブロックの構成を示す図である。 再生処理に関するTS処理部204およびデコーダ206の機能ブロックの構成を示す図である。 (a)〜(e)は、レコーダ100の記録処理に関連するトランスポートストリームとクリップAVストリームとの関係を示す図である。 BD205aの記録領域と、そのディレクトリ/ファイル構造を示す図である。 クリップAVストリーム85に含まれる複数のESを模式的に示す図である。 (a)〜(d)は、管理情報とストリームデータとの関係を示す図である。 プレイリストファイル83に格納される情報(エントリ)およびそのデータ構造を示す図である。 録画処理の手順を示すフローチャートである。 プレイリストの生成処理の手順を示すフローチャートである。 (a)はデフォルトES指定マークを規定したリアル/バーチャルプレイリストと、複数の映像ESとの関係を示す図であり、(b)は映像に関するデフォルトES指定マークを含むプレイリストが存在するときの一覧表示画面510の例を示す図である。 (a)はデフォルトES指定マークを規定したリアル/バーチャルプレイリストと、複数の音声ESとの関係を示す図であり、(b)は音声に関するデフォルトES指定マークを含むプレイリストが存在するときの一覧表示画面510の例を示す図である。 任意のタイミングで任意のESに切り替えるときの例を示す図である。 (a)は編集画面に表示されたグラフィカル・ユーザ・インターフェース(GUI)の例を示す図であり、(b)は編集対象のESとデフォルトES指定マークとの対応関係を示す図である。 図14に示す編集処理を実現するためのTS処理部204の機能ブロックの構成を示す図である。
符号の説明
100 HDD内蔵BDレコーダ
112 メモリカード
114 BD
201a デジタルチューナ
201b アナログチューナ
202 ADコンバータ
203 MPEG−2エンコーダ
204 TS処理部
205a BD
205b HDD
206 MPEG−2デコーダ
207 グラフィック制御部
208 メモリ
209 DAコンバータ
210 プログラムROM
211 CPU
212 RAM
213 CPUバス
214 ネットワーク制御部
215 指示受信部
216 インターフェース(I/F)部
217 メモリカード制御部
250 システム制御部
251 チューナ部
252 デマルチプレクサ
253 管理情報生成部
254 記録制御部
255 再生制御部
256 管理情報解析部
257 デマルチプレクサ
258 ビデオデコーダ
259 オーディオデコーダ
260 データデコーダ

Claims (18)

  1. コンテンツの多重化ストリームを受信する受信部と、
    前記多重化ストリームを解析して記録媒体に書き込むための処理を行い、処理後の前記多重化ストリームを前記記録媒体に書き込む指示を出力する記録制御部と、
    前記多重化ストリームの解析結果に基づいて、前記コンテンツの再生に必要な管理情報を生成する管理情報生成部と
    を備え、前記多重化ストリームは択一的に再生される同じ種別の複数のデータストリームを含んでおり、
    前記管理情報生成部は、前記複数のデータストリームのうちのいずれのデータストリームに基づいて前記コンテンツを再生するかを特定する選択情報を前記管理情報として付加し、
    前記記録制御部は、前記管理情報を前記記録媒体にさらに書き込む指示を出力する、データ処理装置。
  2. 前記管理情報生成部は、前記選択情報として、選択された前記データストリームを特定する識別情報、および、特定された前記データストリームにおける再生開始点を示す開始点情報を前記管理情報に付加する、請求項1に記載のデータ処理装置。
  3. 前記管理情報生成部は、識別された前記データストリームにおける再生終了点を示す終了点情報をさらに生成し、前記管理情報に格納する、請求項2に記載のデータ処理装置。
  4. 前記管理情報生成部は、前記選択情報を複数生成して、前記管理情報に付加する、請求項2に記載のデータ処理装置。
  5. 前記管理情報生成部は、
    第1時刻以降の前記コンテンツの再生に対しては、第1データストリームを特定する識別情報、および、前記第1時刻を前記再生開始点として特定する開始点情報を第1選択情報として生成し、
    前記第1時刻より後の第2時刻以降の前記コンテンツの再生に対しては、前記第1データストリームとは異なる第2データストリームを特定する識別情報、および、前記第2時刻を前記再生開始点として特定する開始点情報を、第2選択情報として生成する、請求項4に記載のデータ処理装置。
  6. 前記管理情報生成部は、ユーザから指示された再生開始点に基づいて、前記開始点情報を生成する、請求項2から5のいずれかに記載のデータ処理装置。
  7. 前記管理情報生成部は、予め定められた再生開始点に基づいて、前記開始点情報を生成する、請求項2から5のいずれかに記載のデータ処理装置。
  8. 指定された再生経路の削除に関する削除指示を受け取る指示受信部と、
    前記削除指示に基づいて、前記複数のデータストリームのうち、指定された前記再生経路に対応するデータストリーム、および、前記管理情報に含まれる指定された前記再生経路に関する情報を、前記記録媒体から削除する指示を出力する記録制御部と
    をさらに備えた請求項1に記載のデータ処理装置。
  9. コンテンツの多重化ストリームを含むストリームファイルであって、前記多重化ストリームには択一的に再生される同じ種別の複数のデータストリームが多重化されている、ストリームファイルと、
    前記コンテンツの再生に必要な管理情報を含む管理情報ファイルであって、前記管理情報には、前記複数のデータストリームのうちのいずれのデータストリームに基づいて前記コンテンツを再生するかを特定する選択情報が含まれている、管理情報ファイルと
    が記録された記録媒体。
  10. 請求項9に記載の記録媒体から前記管理情報ファイルおよび前記ストリームファイルを読み出す再生制御部と、
    読み出された前記管理情報ファイルから前記選択情報を取り出し、前記選択情報によって特定されたデータストリームの抽出を指示する管理情報解析部と、
    前記指示に基づいて、前記多重化ストリームから前記データストリームを分離する分離部と、
    分離された前記データストリームに基づいて前記コンテンツを再生するデコーダと
    を備えたデータ処理装置。
  11. 前記管理情報は、
    第1時刻以降の前記コンテンツの再生に対しては、第1データストリームを特定する識別情報、および、前記第1時刻を前記再生開始点として特定する開始点情報を第1選択情報として含み、かつ、
    前記第1時刻より後の第2時刻以降の前記コンテンツの再生に対しては、前記第1データストリームとは異なる第2データストリームを特定する識別情報、および、前記第2時刻を前記再生開始点として特定する開始点情報を第2選択情報として含んでおり、
    前記管理情報解析部は、前記第1選択情報および前記第2選択情報に基づいて、前記第1時刻から前記第2時刻までは前記第1データストリームの抽出を指示し、前記第2時刻以降は前記第2データストリームの抽出を指示する、請求項10に記載のデータ処理装置。
  12. 制御情報に基づいて、映像を外部機器において表示するための信号を生成するグラフィック制御部をさらに備えており、
    前記管理情報解析部は、前記第1選択情報および前記第2選択情報に基づいて、複数の再生経路の存在を示す制御情報を出力し、
    前記グラフィック制御部は、前記制御情報に基づいて前記複数の再生経路の各々に対応する映像を並べて表示するための信号を出力する、請求項10に記載のデータ処理装置。
  13. コンテンツの編集に用いられるデータ処理装置であって、
    前記コンテンツは多重化ストリームとして予め記録媒体に記録されており、前記多重化ストリームは択一的に再生される同じ種別の複数のデータストリームを含んでおり、
    ユーザから、前記複数のデータストリームのうちのひとつを選択する指示を受け取る指示受信部と、
    選択されたデータストリームを再生対象として指定する選択情報を生成し、前記管理情報として出力する管理情報生成部と
    を備えた、データ処理装置。
  14. 前記指示受信部は、再生の開始点を特定する指示をさらに受け取り、
    前記管理情報生成部は、選択された前記データストリームを特定する識別情報、および、前記開始点を示す開始点情報を、前記選択情報として生成する、請求項13に記載のデータ処理装置。
  15. 前記選択情報を前記記録媒体に記録する指示を出力する記録制御部をさらに備えた、請求項14に記載のデータ処理装置。
  16. 前記選択情報を保持するメモリをさらに備えた、請求項14に記載のデータ処理装置。
  17. 前記指示受信部は、データストリームを選択する指示および再生の開始点を特定する指示をそれぞれ複数回受け取り、
    前記管理情報生成部は、前記選択情報を複数生成する、請求項14に記載のデータ処理装置。
  18. 制御情報に基づいて、外部機器で映像を表示するための信号を生成するグラフィック制御部をさらに備えており、
    前記管理情報生成部は、前記選択情報に基づいて、再生されるデータストリームの順序および各データストリームの再生区間を示す制御情報を出力し、
    前記グラフィック制御部は、前記制御情報に基づいて、前記順序および再生区間を示す映像の信号を出力する、請求項17に記載のデータ処理装置。
JP2007528289A 2005-05-10 2006-05-09 データ処理装置 Pending JPWO2006121049A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005136858 2005-05-10
JP2005136858 2005-05-10
PCT/JP2006/309330 WO2006121049A1 (ja) 2005-05-10 2006-05-09 データ処理装置

Publications (1)

Publication Number Publication Date
JPWO2006121049A1 true JPWO2006121049A1 (ja) 2008-12-18

Family

ID=37396557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007528289A Pending JPWO2006121049A1 (ja) 2005-05-10 2006-05-09 データ処理装置

Country Status (4)

Country Link
US (1) US20080152302A1 (ja)
EP (1) EP1887796A4 (ja)
JP (1) JPWO2006121049A1 (ja)
WO (1) WO2006121049A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11395018B2 (en) 2016-07-20 2022-07-19 Sony Corporation Information processing apparatus, information processing method, and program

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7827491B2 (en) * 2006-05-12 2010-11-02 Tran Bao Q Systems and methods for video editing
KR20100053339A (ko) * 2008-11-12 2010-05-20 삼성전자주식회사 휴대단말기의 방송 데이터 재생 방법 및 장치
JP5247370B2 (ja) * 2008-11-19 2013-07-24 キヤノン株式会社 録画装置およびその制御方法
JP5444722B2 (ja) * 2009-01-16 2014-03-19 船井電機株式会社 ダビング装置
JP2012147223A (ja) * 2011-01-12 2012-08-02 Funai Electric Co Ltd 放送記録装置、及び、放送記録方法
JP2012143015A (ja) * 2012-05-02 2012-07-26 Dowango:Kk ストリーミングコンテンツ再生装置および方法、プログラム
EP3511939A1 (en) 2016-09-08 2019-07-17 Sony Corporation Information processing device, information processing method, and program
JP2017017740A (ja) * 2016-09-08 2017-01-19 シャープ株式会社 放送システム
EP3633981A4 (en) * 2017-05-31 2020-05-06 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION RECORDING MEDIUM, INFORMATION PROCESSING METHOD, AND PROGRAM
WO2020009344A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216460A (ja) * 2001-01-16 2002-08-02 Matsushita Electric Ind Co Ltd 情報記録媒体
WO2004079736A1 (en) * 2003-03-07 2004-09-16 Samsung Electronics Co. Ltd. Information storage medium containing multi-path data, and storage apparatus and player thereof
JP2004350042A (ja) * 2003-05-22 2004-12-09 Canon Inc 記録装置および記録方法、再生装置および再生方法、並びに記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832887A (ja) * 1994-07-15 1996-02-02 Toshiba Corp デジタル放送送受信装置
KR0146127B1 (ko) * 1994-11-26 1998-09-15 구자홍 디지탈 에치디티브이용 브이씨알의 변속재생 장치
US5691986A (en) * 1995-06-07 1997-11-25 Hitachi America, Ltd. Methods and apparatus for the editing and insertion of data into an encoded bitstream
JP3484834B2 (ja) * 1995-07-28 2004-01-06 ソニー株式会社 データ符号化/復号化方法および装置
JP3491401B2 (ja) * 1995-08-02 2004-01-26 ソニー株式会社 データ符号化装置および方法、並びに、データ復号化装置および方法
US5844478A (en) * 1996-05-31 1998-12-01 Thomson Consumer Electronics, Inc. Program specific information formation for digital data processing
US5754651A (en) * 1996-05-31 1998-05-19 Thomson Consumer Electronics, Inc. Processing and storage of digital data and program specific information
JP4292654B2 (ja) * 1999-03-19 2009-07-08 ソニー株式会社 記録装置および方法、再生装置および方法、並びに記録媒体
EP2268016A3 (en) * 2000-04-21 2013-01-02 Sony Corporation Information processing method and apparatus, program and recording medium
WO2001082611A1 (fr) * 2000-04-21 2001-11-01 Sony Corporation Procede et appareil de traitement d'informations, support enregistre, et programme
JP2002314960A (ja) 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd マルチビュー放送サービスシステム及び、それに関する、装置または方法または記録媒体またはプログラム
KR20020097454A (ko) * 2001-06-21 2002-12-31 엘지전자 주식회사 멀티채널 스트림 기록장치 및 방법과, 그에 따른 기록매체
JP3954473B2 (ja) * 2002-10-01 2007-08-08 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP4588968B2 (ja) * 2002-10-01 2010-12-01 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP3908691B2 (ja) * 2003-04-28 2007-04-25 株式会社東芝 情報記録媒体、録画前処理方法、情報記録方法、情報再生方法、情報記録装置および情報再生装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216460A (ja) * 2001-01-16 2002-08-02 Matsushita Electric Ind Co Ltd 情報記録媒体
WO2004079736A1 (en) * 2003-03-07 2004-09-16 Samsung Electronics Co. Ltd. Information storage medium containing multi-path data, and storage apparatus and player thereof
JP2004350042A (ja) * 2003-05-22 2004-12-09 Canon Inc 記録装置および記録方法、再生装置および再生方法、並びに記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11395018B2 (en) 2016-07-20 2022-07-19 Sony Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
EP1887796A1 (en) 2008-02-13
US20080152302A1 (en) 2008-06-26
EP1887796A4 (en) 2010-09-15
WO2006121049A1 (ja) 2006-11-16

Similar Documents

Publication Publication Date Title
US7881589B2 (en) Playback apparatus, program, playback method
US8401376B2 (en) Information recording apparatus and method for the same
JPWO2006121049A1 (ja) データ処理装置
US8369682B2 (en) Reproduction device, recording method and playback method
JPWO2006030767A1 (ja) データ処理装置
JPWO2005117432A1 (ja) 番組録画装置および番組録画方法
JP2003006979A (ja) データ伝送装置および方法、データ処理装置および方法、記録媒体、並びにプログラム
JP4542546B2 (ja) データ処理装置
WO2002099804A1 (fr) Appareil d'enregistrement, support d'enregistrement, appareil de reproduction, programme et procede connexes
JPWO2009130862A1 (ja) 情報記録装置および情報記録方法
JP4957142B2 (ja) 再生装置、再生方法および再生プログラム
US20040165865A1 (en) Method and apparatus for recording/reproducing graphic and subtitle data on/from a high-density recording medium
JP2012074105A (ja) 記録装置/方法/媒体、再生装置/方法
JP2012074106A (ja) 記録装置/方法/媒体、再生装置/方法
JP2007129368A (ja) 情報記録装置およびその方法
JP2006338751A (ja) ネットワーク対応型情報記録再生装置及びその制御方法
WO2012123982A1 (ja) 記録装置/方法/媒体、再生装置/方法
JP2013058287A (ja) 記録装置/方法/媒体、再生装置/方法
JP2008199528A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
WO2013031307A1 (ja) 記録装置/方法/媒体、再生装置/方法
JP2008199527A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
WO2012123981A1 (ja) 記録装置/方法/媒体、再生装置/方法
JP2003132628A (ja) 情報記録再生装置
WO2013031299A1 (ja) 記録装置/方法/媒体、再生装置/方法
JP2004355806A (ja) 情報記録再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120807