JP4608953B2 - データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体 - Google Patents

データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体 Download PDF

Info

Publication number
JP4608953B2
JP4608953B2 JP2004168461A JP2004168461A JP4608953B2 JP 4608953 B2 JP4608953 B2 JP 4608953B2 JP 2004168461 A JP2004168461 A JP 2004168461A JP 2004168461 A JP2004168461 A JP 2004168461A JP 4608953 B2 JP4608953 B2 JP 4608953B2
Authority
JP
Japan
Prior art keywords
picture
unit
video stream
encoding
future
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004168461A
Other languages
English (en)
Other versions
JP2005348314A5 (ja
JP2005348314A (ja
Inventor
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004168461A priority Critical patent/JP4608953B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP05750877A priority patent/EP1755337B1/en
Priority to EP20120166835 priority patent/EP2533522B1/en
Priority to PCT/JP2005/010633 priority patent/WO2005122567A1/ja
Priority to US11/569,487 priority patent/US8897376B2/en
Priority to KR20067025653A priority patent/KR101183716B1/ko
Priority to CN201210038587.6A priority patent/CN102611898B/zh
Priority to CN2005800186527A priority patent/CN1965577B/zh
Priority to TW094118594A priority patent/TW200603084A/zh
Publication of JP2005348314A publication Critical patent/JP2005348314A/ja
Publication of JP2005348314A5 publication Critical patent/JP2005348314A5/ja
Application granted granted Critical
Publication of JP4608953B2 publication Critical patent/JP4608953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/216Rewritable discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/218Write-once discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2545CDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Description

この発明は、フレーム間圧縮を行うビデオデータの記録再生を行うためのデータ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体に関する。
ビデオデータおよびオーディオデータを1本のストリームデータに多重化したAV(Audio,Video)ストリームを記録媒体に記録する技術は、既に実用化されている。さらに、特許文献1および特許文献2には、AVストリーム中のランダムアクセス可能な位置に関する情報を属性情報としてAVストリームと共に記録媒体に記録するようにし、再生時にこの属性情報を用いることにより、AVストリームの読み出し位置の決定や復号処理を速やかに行うことが可能とされた技術が記載されている。
特開2000−341640号公報 特開2002−158972号公報
より具体的な例として、AVストリームとして、ビデオデータをMPEG2(Moving Pictures Experts Group 2)方式で圧縮符号化したMPEG2ビデオストリームが多重化されたトランスポートストリームを扱う場合について説明する。
なお、MPEG2(Moving Pictures Experts Group 2)では、DCT(Discrete Cosine Transform)を用いたフレーム内圧縮符号化と、時系列方向の予測符号化を用いたフレーム間圧縮符号化とを用いてビデオデータを圧縮符号化する。ここで、時系列方向に予測符号化を行ったB(Bidirectionally)ピクチャおよびP(Predictive)ピクチャと、1画面(1フレーム)で完結するI(Intra)ピクチャとが定義される。最低1枚のIピクチャを含むそれ自身で完結したグループをGOP(Group Of Picture)と呼び、MPEGのストリームにおいて独立してアクセス可能な最小の単位とされる。
また、トランスポートストリームは、所定サイズのトランスポートパケット単位でデータの伝送や記録再生を行う。データストリームをトランスポートパケットのペイロードのサイズに分割し、ヘッダを付加してトランスポートパケットを形成する。
上述の特許文献1および特許文献2によれば、トランスポートストリーム中で、MPEG2ビデオのシーケンスヘッダから開始するIピクチャの再生出力の時間管理情報(PTS:プレゼンテーションタイムスタンプ)と、当該シーケンスヘッダの第1バイト目をペイロードに含むトランスポートパケット(ソースパケット)のAVストリームファイル中でのソースパケット番号とを取り出す。取り出されたPTSおよびソースパケット番号を、ランダムアクセス可能な位置すなわちエントリポイント(EP)に関する情報として、エントリポイント毎にEP_mapと呼ばれる属性情報に記録する。
一方、現在のGOPのIピクチャよりも表示順序で未来のピクチャを、過去のGOPのピクチャから予測する予測モードを用いることができる符号化方法が提案されている。この予測モードを用いて符号化した場合、GOP単位でランダムアクセスを行うと、完全には再生できないGOPが存在することになる。このような予測モードを禁止することによって、現在のGOPのIピクチャからのランダムアクセスが可能となる技術が特許文献3に開示されている。
米国特許第5543847号明細書
図17を用いて説明する。なお、図17において、「i12」がIピクチャ、「p02」、「p03」、・・・がPピクチャ、「b00」、「b01」、・・・がBピクチャをそれぞれ示す。また、上段および下段は、それぞれ例えば偶数フィールドおよび奇数フィールドを示す。
特許文献3では、Pピクチャを、直近の2枚のPピクチャを参照して予測することが提案されている。これによれば、図17Aの例では、GOP1に属するピクチャp16は、直近の、同じGOP1に属するピクチャp13と、GOP1より過去のGOP0に属するピクチャp03の、2枚のPピクチャを参照ピクチャとして符号化される。ここで、GOP1に対してランダムアクセスを行うと、再生はピクチャi12から行われることになり、ピクチャp13は、参照ピクチャとして用いているピクチャp03を参照できないため、復号できず、ピクチャp03およびp13を参照ピクチャとして用いるピクチャp16も、復号できない。さらに、ピクチャp13およびp16を参照ピクチャとして用いているピクチャp17も、同様にして復号できないことになる。
そこで、符号化時に、このピクチャp13およびp16を、GOP1に対して過去のGOPであるGOP0に属するピクチャp03を参照ピクチャとして用いることを禁止し、ピクチャp13およびp16を、現在のGOP1に属するピクチャi12を参照ピクチャとして用いる。これにより、GOP1に対してランダムアクセスを行った場合、ピクチャp13およびp16は、ピクチャi12を参照ピクチャとして予測され、ピクチャp17以降のピクチャの復号が可能となる。
図17Bでも同様に、GOP1に属するピクチャp18は、直近の、同じGOP1に属するピクチャp15と、GOP1より過去のGOP0に属するピクチャp03の、2枚のPピクチャを参照ピクチャとして符号化される。ここで、GOP1に対してランダムアクセスを行うと、再生はピクチャi12から行われ、ピクチャp15は、参照ピクチャとして用いているピクチャp03を参照できないため、復号できず、ピクチャp03およびp15を参照ピクチャとして用いているピクチャp18も、復号できない。
この場合でも、符号化時に、ピクチャp15およびp18を、GOP1に対して過去のGOPであるGOP0に属するピクチャp03を参照ピクチャとして用いることを禁止し、ピクチャp15およびp18を、現在のGOP1に属するピクチャi12を参照ピクチャとして用いる。これにより、GOP1に対してランダムアクセスを行った場合、ピクチャp15およびp18は、ピクチャi12を参照ピクチャとして予測され、ピクチャp18の復号が可能となる。
上述したEP_mapでは、ビデオストリーム中のIピクチャの位置をエントリポイントとしていた。MPEG2ビデオにおいては、現在のGOPのIピクチャよりも表示順序で未来のピクチャを過去のGOPのピクチャから予測する予測モードが無いので、Iピクチャをエントリポイントとすれば、そのIピクチャからランダムアクセス再生できることが保証されていた。
ところで、近年、MPEG−4 AVC|H.264と称される動画像の圧縮符号化方式がISO(International Organization for Standarization)にて国際標準化された。このMPEG−4 AVC|H.264は、MPEG2やMPEG4といった従来の符号化方式に対して、符号化効率を向上させより高い圧縮率を実現すると共に、複数のチャンネルを使用して伝送を行うことにより、伝送効率を高めることを可能とした。これらにより、MPEG−4 AVC|H.264は、従来よりもより高い自由度で以て、ビデオのストリームを伝送することができる。
このMPEG4 AVC|H.264では、複数の参照ピクチャを持つことが可能とされているため、複数枚の過去のピクチャを参照することができる。例えば、あるIピクチャよりも表示順で未来のPピクチャを、当該Iピクチャより表示順で過去のPピクチャを参照して予測することが可能である。
そのため、MPEG4 AVC|H.264ビデオストリームを記録媒体に記録し、当該記録媒体から再生する場合において、従来技術のように単純にIピクチャをランダムアクセス可能な位置(エントリポイント)としてEP_mapに記録すると、ランダムアクセス再生が必ずIピクチャからできるという保証がされないという問題点があった。
したがって、この発明の目的は、Iピクチャより表示順で未来のピクチャを、当該Iピクチャより表示順で過去のピクチャを参照ピクチャとして用いて予測する予測モードを持ようにビデオストリームを符号化し、記録媒体に記録する場合において、記録媒体から再生された当該ビデオストリームに対するランダムアクセスを可能とするようなデータ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体を提供することにある。
請求項1の発明は、上述した課題を解決するために、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
の何れか一方により符号化されたビデオストリームを記録媒体に記録するデータ記録装置において、
ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して第2の符号化方法でもって符号化を行い符号化ビデオストリームを生成する符号化手段と、
独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けたテーブルを作成するテーブル作成手段と、
符号化手段で符号化された符号化ビデオストリームとテーブル作成手段で作成されたテーブルとを対応付けて記録媒体に記録する記録手段と
を有することを特徴とするデータ記録装置である。
また、請求項7に記載の発明は、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
の何れか一方により符号化されたビデオストリームを記録媒体に記録するデータ記録方法において、
ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して第2の符号化方法でもって符号化を行い符号化ビデオストリームを生成する符号化のステップと、
独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けたテーブルを作成するテーブル作成のステップと、
符号化のステップで符号化された符号化ビデオストリームとテーブル作成のステップで作成されたテーブルとを対応付けて記録媒体に記録する記録のステップと
を有することを特徴とするデータ記録方法である。
また、請求項8に記載の発明は、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
の何れか一方により符号化されたビデオストリームを記録媒体に記録するデータ記録方法をコンピュータ装置に実行させるデータ記録プログラムにおいて、
データ記録方法は、
ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して第2の符号化方法でもって符号化を行い符号化ビデオストリームを生成する符号化のステップと、
独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けたテーブルを作成するテーブル作成のステップと、
符号化のステップで符号化された符号化ビデオストリームとテーブル作成のステップで作成されたテーブルとを対応付けて記録媒体に記録する記録のステップと
を有することを特徴とするデータ記録プログラムである。
また、請求項9に記載の発明は、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
の何れか一方により符号化されたビデオストリームを記録媒体に再生するデータ再生装置において、
ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して第2の符号化方法でもって符号化を行い生成された符号化ビデオストリームと、
独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けて作成されたテーブルと
が対応付けられて記録された記録媒体を再生する再生手段と、
再生手段で再生された符号化ビデオストリームの復号を、再生手段で再生されたテーブルに基づき再生時間情報に対応する位置情報で示される符号化ビデオストリームの位置から行うように制御する復号制御手段と
を有することを特徴とするデータ再生装置である。
また、請求項16に記載の発明は、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
の何れか一方により符号化されたビデオストリームを記録媒体に再生するデータ再生方法において、
ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して第2の符号化方法でもって符号化を行い生成された符号化ビデオストリームと、
独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けて作成されたテーブルと
が対応付けられて記録された記録媒体を再生する再生のステップと、
再生のステップにより再生された符号化ビデオストリームの復号を、再生のステップにより再生されたテーブルに基づき再生時間情報に対応する位置情報で示される符号化ビデオストリームの位置から行うように制御する復号制御のステップと
を有することを特徴とするデータ再生方法である。
また、請求項17に記載の発明は、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
の何れか一方により符号化されたビデオストリームを記録媒体に再生するデータ再生方法をコンピュータ装置に実行させるデータ再生プログラムにおいて、
データ再生方法は、
ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して第2の符号化方法でもって符号化を行い生成された符号化ビデオストリームと、
独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けて作成されたテーブルと
が対応付けられて記録された記録媒体を再生する再生のステップと、
再生のステップにより再生された符号化ビデオストリームの復号を、再生のステップにより再生されたテーブルに基づき再生時間情報に対応する位置情報で示される符号化ビデオストリームの位置から行うように制御する復号制御のステップと
を有することを特徴とするデータ再生プログラムである。
上述したように、請求項1、請求項7および請求項8に記載の発明は、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、単位より過去の単位内のピクチャから予測することが可能な符号化方法で以てビデオストリームを符号化して記録媒体に記録するデータ記録方法において、ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、単位より過去の単位内のピクチャから予測することを禁止するように制限して符号化を行い生成された符号化ビデオストリームと、独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、符号化ビデオストリーム上の位置情報とを対応付けて作成したテーブルと対応付けて記録媒体に記録するようにしているため、記録媒体の再生時に、記録媒体から再生される符号化ビデオストリームに対して再生時間を指定してなされるランダムアクセス再生が保障される。
また、請求項9、請求項16および請求項17に記載の発明は、ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、単位より過去の単位内のピクチャから予測することを禁止するように制限して符号化を行い生成された符号化ビデオストリームと、独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、符号化ビデオストリーム上の位置情報とを対応付けて作成されたテーブルとが対応付けられて記録された記録媒体を再生し、再生された符号化ビデオストリームの復号を、再生されたテーブルに基づき再生時間情報に対応する位置情報で示される符号化ビデオストリームの位置から行うように制御しているため、記録媒体に記録された符号化ストリームの、再生時間を指定してなされるランダムアクセス再生が保障される。
また、請求項18に記載の発明は、ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、単位内の、独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、単位より過去の単位内のピクチャから予測することを禁止するように制限して符号化を行い生成された符号化ビデオストリームと、独立的に復号が可能なピクチャの、符号化ビデオストリーム上の再生時間情報と、符号化ビデオストリーム上の位置情報とを対応付けて作成されたテーブルとが対応付けられて記録されているため、この記録媒体に記録された符号化ストリームの再生時に、再生時間を指定してなされるランダムアクセス再生が保障される。
この発明は、現在のGOPのIピクチャよりも表示順序で未来のピクチャを、過去のGOPのピクチャから予測する予測モードを持つビデオ符号化方式において、AVストリームの符号化を、現在のGOPのIピクチャよりも表示順序で未来のピクチャを、過去のGOPのピクチャから予測することを禁止するように制限して行う。また、上述のように制限して符号化されたIピクチャまたはMPEG4 AVC|H.264で定義されるIDRピクチャから始まるアクセスユニットのPTSと、当該アクセスユニットのAVストリーム中のアドレスとをエントリポイントとして持つEP_mapを作成し、EP_mapとAVストリームとを共に記録媒体に記録するようにしている。そのため、EP_mapが指し示すAVストリーム中のエントリポイントからのランダムアクセス再生が保障されるという効果がある。
以下、この発明の実施の一形態について説明する。図1は、この発明が適用可能な記録再生システムで用いる記録媒体上のアプリケーションフォーマットの概略的な構造を示す。このフォーマットは、AVストリームの管理のために、プレイリスト(PlayList)と、クリップ(Clip)の2つのレイヤを持つ。
1つのAVストリームとその付属情報のペアを1つのオブジェクトと考え、これをクリップと呼ぶ。AVストリームが格納されるAVストリームファイルを、クリップAVストリームファイル(Clip AV Stream File)と呼び、対応する付属情報が格納されるファイルを、クリップインフォメーションファイル(Clip Information File)と呼ぶ。
クリップAVストリームファイルのコンテンツは、時間軸上に展開され、プレイリストは、クリップの中のアクセスポイントをタイムスタンプ(Time Stamp)で指定する。プレイリストがクリップの中へのアクセスポイントをタイムスタンプで指し示しているとき、クリップインフォメーションファイルは、クリップAVストリームファイルの中でストリームのデコードを開始すべきアドレス情報を見つけるために用いられる。
プレイリストは、クリップの中の再生区間の集まりである。あるクリップの1つの再生区間をプレイアイテム(PlayItem)と呼ぶ。プレイアイテムは、時間軸上のIN点とOUT点のペアで表される。したがって、プレイリストは、プレイアイテムの集まりである。
1のディスク中に記録された全てのプレイリストおよびクリップは、ボリュームインフォメーション(Volume Information)で管理される。
図2は、この発明による記録再生システムで用いる記録媒体上に記録されたAVストリームの構造を概略的に示す。この発明では、AVストリームを、記録媒体上ではBDAV(Blu-ray Disc Audio/Video) MPEG2トランスポートストリームとして扱う。BDAV MPEG2トランスポートストリームは、それぞれ6144バイトのサイズを有する整数個のアライドユニット(Aligned Unit)から構成される。
アライドユニットは、32個のソースパケット(Source Packet)からなる。ソースパケットは、192バイトのサイズを有し、1つのソースパケットは、4バイトのサイズのトランスポートパケットエクストラヘッダ(TP_extra header)と、188バイトのサイズを有するトランスポートパケット(Transport Packet)とからなる。
ビデオストリームやオーディオストリームのデータは、MPEG2 PES(Packetized Elementary Stream)パケットにパケット化されている。すなわち、ビデオストリームやオーディオストリームのデータが適宜、分割され、PESパケットデータ部に詰め込まれる。このPESパケットデータ部に対して、当該PESパケットが伝送するエレメンタリストリームの種類を特定するストリームIDを含むPESパケットヘッダが付加され、PESパケットが形成される。
PESパケットは、さらに、トランスポートパケットにパケット化される。すなわち、PESパケットがトランスポートパケットのペイロードのサイズに分割され、ペイロードに所定にトランスポートパケットヘッダが付加されて、トランスポートパケットが形成される。トランスポートパケットヘッダは、ペイロードに格納されるデータの識別情報であるPID(Packet ID)を含む。
なお、ソースパケットには、クリップAVストリームの先頭を例えば0として、ソースパケット毎に1ずつ増加するソースパケット番号が与えられる。また、アライドユニットは、ソースパケットの第1バイト目から始まる。
上述したクリップインフォメーションファイルには、EP_mapが含まれる。EP_mapは、背景技術で既に説明したように、クリップへのアクセスポイントのタイムスタンプが与えられたときに、クリップAVストリームファイルの中でデータの読み出しを開始すべきデータアドレスを検索するために用いられる。EP_mapは、エレメンタリストリームおよびトランスポートストリームから抽出されたエントリポイント(EP)のリストである。EP_mapは、AVストリームの中でデコードを開始すべきエントリポイントを検索するためのアドレス情報を持つ。EP_map中の1つのEPデータは、プレゼンテーションタイムスタンプ(PTS)と、そのPTSに対応するアクセスユニットの、AVストリーム中のデータアドレスの対で構成される。なお、MPEG4 AVC|H.264において、1アクセスユニットは、1ピクチャに相当する。
EP_mapについて、図3および図4を用いて説明する。図3は、EP_mapの説明に用いるクリップAVストリームの例を示す。図3の例では、クリップAVストリームは、3本のビデオストリームが多重化されている。各々のビデオストリームは、ソースパケット毎に、ソースパケット内のトランスポートパケットのヘッダに含まれるPID(Packet Identification)により区別される。図3の例では、PID=x、PID=yおよびPID=zでそれぞれ区別される3本のビデオストリームが、1つのクリップAVストリームに多重化されている。
また、各々のビデオストリームは、Iピクチャの位置でランダムアクセスが可能とされる。図3において、四角で示されるソースパケットに対し、3本のビデオストリームのそれぞれについて、Iピクチャの先頭バイトを含むソースパケットを、塗り潰し、斜線、斜線および「×(ばつ)」印で区別して示している。塗り潰しなどがなされていない四角は、ランダムアクセスポイントとならないビデオデータが含まれるソースパケットや、ビデオデータ以外のデータが含まれるソースパケットを示す。
一例として、PID=xで区別されるビデオストリームについて、ランダムアクセス可能なIピクチャの先頭バイトを含む、ソースパケット番号X1のソースパケットは、クリップAVストリームの時間軸において、PTS=pts(x1)の位置に配置される。同様に、当該ビデオストリームの次にランダムアクセス可能なIピクチャの先頭バイトを含むソースパケットは、ソースパケット番号X2とされ、時間軸においてPTS=pts(x2)の位置に配置される。
図4は、この図3のクリップAVストリームに対応したEP_mapの例を概念的に示す。図4の例では、EP_mapは、フィールドstream_PID、エントリPTS_EP_startおよびエントリSPN_EP_startの各データを持つ。フィールドstream_PIDは、ビデオストリームを伝送するトランスポートパケットのPIDが格納される。エントリPTS_EP_startは、ランダムアクセス可能なIピクチャから始まるアクセスユニット(詳細は後述する)のPTSが格納される。エントリSPN_EP_startは、AVストリームの中でエントリPTS_EP_startの値により参照されるアクセスユニットの第1バイト目を含むソースパケットのアドレスが格納される。
上述の図3に示される例を参照して、EP_mapにおいて、各ビデオストリームのPIDがフィールドstream_PIDにそれぞれ格納され、フィールドstream_PID毎に、エントリPTS_EP_startおよびエントリSPN_EP_startの対応関係からなるテーブルEP_map_for_one_stream_PID()が作られる。例えば、図4において、PID=xで表されるビデオストリームについては、テーブルEP_map_for_one_stream_PID[0]に対して、PTS=pts(x1)とソースパケット番号X1、PTS=pts(x2)とソースパケット番号X2、・・・、PTS=pts(xk)とソースパケット番号Xkとがそれぞれ対応することが記述される。このテーブルが、同じクリップAVストリームに多重化された、他のPIDで表されるビデオストリームについて、それぞれ作られる。このEP_mapが、当該クリップAVストリームに対応するクリップインフォメーションファイルに格納される。
図5は、上述した、ランダムアクセス可能なIピクチャから始まるアクセスユニットを説明するための図である。図5中で、四角はピクチャを表し、「Entry Point」の矢印が指し示すピクチャがランダムアクセス可能なIピクチャから始まるアクセスユニットである。図5Aおよび図5Bは、MPEG4 AVC|H.264で定義されるIDRピクチャについて示す。MPEG4 AVC|H.264によれば、復号順序でIDRピクチャより後ろのピクチャをIDRピクチャよりも前のピクチャから予測することが禁止される。
なお、MPEG4 AVC|H.264においては、連続する一連のアクセスユニットをシーケンスと呼び、各シーケンスは、それぞれ独立して復号することが可能である。シーケンスの先頭は、必ずIDRピクチャでなければならない。IDRピクチャでは、バッファがリセットされ、また、そのIDRピクチャよりも復号順で前のピクチャを参照することが禁止されている。そのため、シーケンス毎に独立的に、その先頭からの復号を開始することができる。
図5Aの例では、IDRピクチャより復号順序で後のピクチャであるピクチャp12を、IDRピクチャより復号順序で前のピクチャであるピクチャp10から予測して符号化することが禁止される。また、図5Bの例では、図中の"GOP切れ目"以後のピクチャの復号順序がIDRピクチャ、ピクチャb10、ピクチャp13、ピクチャb12の順であることを想定している。このとき、ピクチャb10は、復号順でIDRピクチャよりも後ろのピクチャであるので、IDRピクチャよりも前のピクチャp02から予測して符号化することが禁止される。同様に、図5Bにおいて、ピクチャp13をピクチャp02から予測することが禁止される。
図5Cは、図5BのIDRピクチャをIピクチャ(ピクチャi11)に置き換えた例である。この場合、ピクチャi11は、現在のGOPのIピクチャよりも表示順序で未来のピクチャを、過去のGOPのピクチャから予測することを禁止するように制限して、ビデオストリームの符号化を行う。図5Cの例では、ピクチャp13をピクチャp02から予測することを、符号化時に禁止する。
なお、MPEG4 AVC|H.264では、MPEG2のように明示的にGOPを規定していない。この発明の実施の一形態においては、復号順序でIDRピクチャまたはIピクチャから開始して、次のIDRピクチャまたはIピクチャの直前までのピクチャの集合を、便宜的にGOPと呼ぶことにする。また、MPEG4 AVC|H.264では、Iスライス、PスライスおよびBスライスといったように、異なるフレーム間符号化タイプを、1枚のピクチャ中にスライスレベルで混在させることができる。この発明の実施の一形態においては、Iピクチャとは、ピクチャの中の全てのスライスがIスライスであるピクチャを指す。
図6は、フィールドSPN_EP_startが指すソースパケット(source packet)の一例のデータ構造を示す。上述もしたが、ソースパケットは、サイズが188バイトのトランスポートパケットにサイズが4バイトのヘッダTP_extra_headerを付加してなる。トランスポートパケット部分は、ヘッダ部(TP header)とペイロード部とからなる。フィールドSPN_EP_startは、図5を用いて説明したIDRピクチャまたはIピクチャから始まるアクセスユニットの第1バイト目を含むソースパケットのソースパケット番号が格納される。MPEG4 AVC|H.264においては、アクセスユニットすなわちピクチャは、AUデリミタ(Access Unit Delimiter)から開始する。AUデリミタの後に、SRS(Sequence Parameter Set)と、PPS(Picture Parameter Set)が続く。そしてその後に、図5で説明したIDRピクチャまたはIピクチャのスライスのデータの、先頭部分または全体が格納される。
トランスポートパケットのヘッダ(TPヘッダ)において、フラグpayload_unit_start_indicatorが値"1"であれば、新たなPESパケットがこのトランスポートパケットのペイロードから始まることが示され、このソースパケットからアクセスユニットが開始されることが示される。
次に、EP_mapについて、図7、図8および図9を用いて、より詳細に説明する。テーブルEP_map_for_one_stream_PID()は、図7に一例が示されるように、2つのサブテーブルEP_coarseおよびEP_fineに分けられる。サブテーブルEP_coarseは、大まかな単位での検索を行うためのテーブルであり、サブテーブルEP_fineは、より精密な単位での検索を行うためのテーブルである。このように、EP_mapを2つのテーブルに分けて構成することで、テーブルEP_map_for_one_stream_PID()のデータサイズを削減し、且つ、データサーチのパフォーマンスを改善することができる。
図7の例では、サブテーブルEP_fineは、エントリPTS_EP_fineとエントリSPN_EP_fineとが対応付けられるテーブルである。サブテーブル内では、エントリのそれぞれに対して、例えば最上列を"0"として昇順にエントリ番号が与えられる。サブテーブルEP_fineにおいて、エントリPTS_EP_fineとエントリSPN_EP_fineとを合わせたデータ幅は、4バイトとされる。一方、サブテーブルEP_coarseは、エントリref_to_EP_fine_id、エントリPTS_EP_coarseおよびエントリSPN_EP_coarseが対応付けられるテーブルである。エントリref_to_EP_fine_id、エントリPTS_EP_coarseおよびエントリSPN_EP_coarseを合わせたデータ幅は、8バイトとされる。サブテーブルEP_fineのエントリ数Nfは、サブテーブルEP_coarseのエントリ数Ncより少ない値となる。
サブテーブルEP_fineのエントリは、EP_map中のエントリPTS_EP_startおよびエントリSPN_EP_startそれぞれのLSB(Least Significant Bit)側のビット情報からなる。また、サブテーブルEP_coarseのエントリは、これらエントリPTS_EP_startおよびエントリSPN_EP_startそれぞれのMSB(Most Significant Bit)側のビット情報と、それに対応するサブテーブルEP_fineのテーブル中のエントリ番号からなる。このエントリ番号は、同じデータPTS_EP_startから取り出したLSB側のビット情報を持つサブテーブルEP_fineの中のエントリである。
図8は、エントリPTS_EP_coarseおよびエントリPTS_EP_fineの一例のフォーマットについて示す。PTSすなわちエントリPTS_EP_startは、データ長が33ビットの値である。MSBのビットを第32ビット、LSBのビットを第0ビットとするとき、この図8の例では、大まかな単位で検索を行う際に用いられるエントリPTS_EP_coarseは、エントリPTS_EP_startの第32ビットから第19ビットまでの14ビットが用いられる。エントリPTS_EP_coarseにより、解像度が5.8秒で、26.5時間までの範囲で検索が可能である。また、より精密な検索を行うためのエントリPTS_EP_fineは、エントリPTS_EP_startの第19ビットから第9ビットまでの11ビットが用いられる。エントリPTS_EP_fineにより、解像度が5.7ミリ秒で、11.5秒までの範囲で検索が可能である。なお、第19ビットは、エントリPTS_EP_coarseとエントリPTS_EP_fineとで共通して用いられる。また、LSB側の第0ビットから第8ビットまでの9ビットは、用いられない。
図9は、エントリSPN_EP_coarseおよびエントリSPN_EP_fineの一例のフォーマットについて示す。ソースパケット番号すなわちエントリSPN_EP_startは、データ長が32ビットの値である。MSBのビットを第31ビット、LSBのビットを第0ビットとするとき、この図9の例では、大まかな単位で検索を行う際に用いられるエントリSPN_EP_coarseは、エントリSPN_EP_startの第31ビットから第0ビットまでの全てのビットが用いられる。また、より精密な検索を行うためのエントリSPN_EP_fineは、エントリSPN_EP_startの第16ビットから第0ビットまでの17ビットが用いられる。エントリSPN_EP_fineにより、例えば略25MB(Mega Byte)のAVストリームファイルまでの範囲で、検索が可能である。
なお、ソースパケット番号の場合でも、エントリSPN_EP_coarseとしてMSB側の所定ビット数の値だけ用いるようにしてもよい。例えば、エントリSPN_EP_coarseとして、エントリSPN_EP_startの第31ビットから第16ビットまでの17ビットを用い、エントリSPN_EP_fineは、エントリSPN_EP_startの第16ビットから第0ビットまでの17ビットを用いる。
図10は、テーブルEP_map_for_one_stream_PID()の一例のシンタクスを示す。ここでは、シンタクスをコンピュータ装置などのプログラムの記述言語として用いられるC言語の記述法に基づき示す。これは、他のシンタクスを表す図において、同様である。
テーブルEP_map_for_one_stream_PID()は、全体としてブロックEP_map()を構成する。フィールドnumber_of_stream_PID_entriesは、EP_mapの中での、テーブルEP_map_for_one_stream_PIDのエントリ数を示す。以下、引数を値[k]として、forループ内の内容がフィールドnumber_of_stream_PID_entriesに格納される値になるまで繰り返される。フィールドstream_PID[k]は、EP_mapの中で[k]番目にエントリされるテーブルEP_map_for_one_stream_PID(以下、[k]番目のテーブルEP_map_for_one_stream_PIDと記述する)によって参照されるエレメンタリストリームを伝送するトランスポートパケットのPIDの値を示す。フィールドEP_stream_type[k] は、[k]番目のテーブルEP_map_for_one_stream_PIDのによって参照されるエレメンタリストリームのタイプを示す。フィールドnum_EP_coarse_entries[k] は、[k]番目のテーブルEP_map_for_one_stream_PIDの中にあるサブテーブルEP-coarseのエントリ数を示す。フィールドnum_EP_fine_entries[k] は、[k]番目のテーブルEP_map_for_one_stream_PIDの中にあるサブテーブルEP-fineのエントリ数を示す。フィールドEP_map_for_one_stream_PID_start_address[k]は、ブロックEP_map()の中で[k]番目のテーブルEP_map_for_one_stream_PIDが始まる相対バイト位置を示す。この値は、ブロックEP_map()の第1バイト目からのバイト数で示される。
上述のforループが終了した後、パディングワードを挟んで、ブロックEP_map_for_one_stream_PIDが開始される。ブロックEP_map_for_one_stream_PIDは、図3および図4で説明したように、トランスポートストリームに多重化された1または複数のAVストリームのうち1つのストリームに対するEP_mapD/A変換留。
図11は、ブロックEP_map_for_one_stream_PIDの一例のシンタクスを示す。ブロックEP_map_for_one_stream_PIDのセマンティクスを説明するために、先ず、ブロックEP_map_for_one_stream_PIDに格納されるデータの元となるエントリである、エントリPTS_EP_startおよびエントリSPN_EP_startの意味について説明する。エントリPTS_EP_startと、エントリPTS_EP_startに関連付けられたエントリSPN_EP_startは、それぞれAVストリーム上のエントリポイントを指す。そして、エントリPTS_EP_fineと、エントリPTS_EP_fineに関連付けられたエントリPTS_EP_coarseは、同一のエントリPTS_EP_startから導かれる。また、エントリSPN_EP_fineと、エントリSPN_EP_fineに関連付けられたエントリSPN_EP_coarseは、同一のエントリSPN_EP_startから導かれる。
エントリPTS_EP_startおよびエントリSPN_EP_startは、次のように定義される。
エントリPTS_EP_startは、図8で示したように、データ長が33ビットの符号無し整数であり、AVストリーム中で、図5で説明したIDRピクチャまたはIピクチャから開始するビデオアクセスユニットの33ビット長のPTSを示す。
エントリSPN_EP_startは、図9で示したように、32ビットの符号無し整数であり、エントリPTS_EP_startに関連付けられたビデオアクセスユニットの第1バイト目を含むソースパケットの、AVストリームの中でのアドレスを示す。エントリSPN_EP_startは、ソースパケット番号の単位で表され、AVストリームファイル中の最初のソースパケットから、値"0"を初期値として、ソースパケット毎に1ずつ増加する値としてカウントされる。
ブロックEP_map_for_one_stream_PIDのセマンティクスを説明する。図11に示されるように、ブロックEP_map_for_one_stream_PIDは、大まかな単位での検索を行うためのサブテーブルEP_coarseを記述するための第1のforループと、第1のforループの検索結果に基づきより詳細な検索を行うためのサブテーブルEP_fineを記述するための第2のforループとからなる。これら第1および第2のforループに先んじて、フィールドEP_fine_table_start_addressが配される。フィールドEP_fine_table_start_addressは、最初の第2のforループにおけるフィールドEP_video_type[EP_fine_id]の第1バイト目の開始アドレスを、ブロックEP_map_for_one_stream_PID()の第1バイト目からの相対バイト数で示す。相対バイト数は、値"0"から開始する。
第1のforループは、引数[i]で以て、サブテーブルEP_coarseのエントリ数Ncまで繰り返される。第1のforループにおいて、フィールドref_to_EP_fine_id[i]は、フィールドref_to_EP_fine_id[i]に続くフィールドPTS_EP_coarse[i]が示すエントリPTS_EP_coarseに関連付けられるエントリPTS_EP_fineを持つ、サブテーブルEP_fine内のエントリ番号を示す。エントリPTS_EP_fineと、このエントリPTS_EP_fineに関連付けられるエントリPTS_EP_coarseとは、同一のエントリPTS_EP_startから導かれる。フィールドref_to_EP_fine_id[i]は、第2のforループ中で記述される順番で定義される引数[EP_fine_id]の値により与えられる。
第1のforループの後に、パディングワードを挟んで第2のforループが配される。第2のforループは、サブテーブルEP_fineの行数Nfを最大値として、引数[EP_fine_id]で繰り返される。第2のforループにおいて、フィールドEP_video_type[EP_fine_id]およびフィールドI_end_position_offset[EP_fine_id]の次に、フィールドPTS_EP_fine[EP_fine_id]およびフィールドSPN_EP_fine[EP_fine_id]がそれぞれ配される。フィールドPTS_EP_fine[EP_fine_id]およびフィールドSPN_EP_fine[EP_fine_id]は、引数[EP_fine_id]によりサブテーブルEP_fineから参照されるエントリPTS_EP_fineおよびエントリSPN_EP_fineそれぞれが格納される。
エントリPTS_EP_coarseおよびエントリPTS_EP_fine、ならびに、エントリSPN_EP_coarseおよびエントリSPN_EP_fineは、次のように導かれる。サブテーブルEP_fineに、関連するデータSPN_EP_startの値の昇順に並んでいるNf個のエントリがあるとする。それぞれのエントリPTS_EP_fineは、対応するエントリPTS_EP_startから、次式(1)のように導かれる。
PTS_EP_fine[EP_fine_id]=(PTS_EP_start[EP_fine_id] >>9)/211 ・・(1)
エントリPTS_EP_coarseと、対応するエントリPTS_EP_fineとの関係は、次式(2)、(3)の通りである。
PTS_EP_coarse[i]=(PTS_EP_start[ref_to_EP_fine_id[i]] >>19)/214 ・・(2)
PTS_EP_fine[ref_to_EP_fine_id[i]]=(PTS_EP_start[ref_to_EP_fine_id[i]] >>9)/211 ・・(3)
それぞれのエントリSPN_EP_fineは、対応するエントリSPN_EP_startから、次式(4)のように導かれる。
SPN_EP_fine[EP_fine_id]=SPN_EP_start[EP_fine_id]/217 ・・(4)
エントリSPN_EP_coarseと、対応するエントリSPN_EP_fineとの関係は、次式(5)、(6)の通りである。
SPN_EP_coarse[i]=SPN_EP_start[ref_to_EP_fine_id[i]] ・・(5)
SPN_EP_fine[ref_to_EP_fine_id[i]]=SPN_EP_start[ref_to_EP_fine_id[i]]/217 ・・(6)
なお、上述の式(1)〜(6)において、記号「>>x」は、データのLSB側からxビットを超える桁からビットを用いることを意味する。
次に、上述したようなEP_mapの作成の手順について、図12のフローチャートを用いて説明する。この図12のフローチャート処理は、図16を用いて後述する多重化ストリーム解析部25において行われる。例えば、図1および図2を用いて説明したようなフォーマットのトランスポートストリームで以て入力されるAVストリームを記録媒体に記録する動作に伴い、このフローチャートの処理が行われる。
入力されたトランスポートストリームは、多重化ストリーム解析部25に入力される。ステップS10でEP_mapの作成が開始されると、ステップS11で、多重化ストリーム解析部25は、入力されるトランスポートストリームを解析し、記録するクリップAVストリーム中のビデオのPIDをセットする。入力されるトランスポートストリーム中にPIDが異なる複数のビデオが含まれるときは、それぞれのビデオPIDをセットする。ステップS12で、多重化ストリーム解析部25は、入力されたトランスポートストリームから、セットされたビデオPIDを持つビデオのトランスポートパケットを選別し、受信する。
次のステップS13で、多重化ストリーム解析部25は、受信したトランスポートパケットのペイロードがPESパケットの第1バイト目から開始しているか否かを調べる。これは、トランスポートパケットヘッダ中のフラグpayload_unit_start_indicatorの値により判別でき、この値が"1"で、当該トランスポートパケットのペイロードがPESパケットの第1バイト目から始まることが示される。若し、当該トランスポートパケットのペイロードがPESパケットの第1バイト目から始まっていないと判断されれば、処理はステップS12に戻される。
ステップS13で、当該トランスポートパケットのペイロードがPESパケットの第1バイト目から始まっていると判断されれば、処理はステップS14に移行する。ステップS14において、多重化ストリーム解析部25は、当該PESパケットのPESパケットデータ部が、図5を用いて説明したIDRピクチャまたはIピクチャの何れかから開始するビデオのアクセスユニットの第1バイト目から開始しているか否かを調べる。これは、図6を用いて説明したように、アクセスユニットデリミタおよびアクセスユニットデリミタ後に続くSPSおよびPPSを調べることで分かる。若し、第1バイト目から始まっていないと判断されれば、処理はステップS12に戻される。
ステップS14で、当該PESパケットのPESパケットデータ部が、IDRピクチャまたはIピクチャ何れかから開始するビデオのアクセスユニットの第1バイト目から開始していると判断されれば、処理はステップS15に移行する。ステップS15において、多重化ストリーム解析部25は、現在のトランスポートパケット(すなわちソースパケット)を、エントリポイントとする。
そして、次のステップS16で、多重化ストリーム解析部25は、ステップS15でエントリポイントとしたトランスポートパケット(ソースパケット)のパケット番号(ソースパケット番号)と、当該パケットに格納されるIDRピクチャまたはIピクチャのPTSと、当該エントリポイントが属するビデオのPIDとを取得する。取得されたこれらの情報は、多重化ストリーム解析部25から制御部へと渡される。制御部は、渡されたこれらの情報に基づき、EP_mapを作成する。
なお、エントリポイントとしたトランスパケットのパケット番号は、例えば、クリップAVストリームファイルの第1バイト目が格納されたトランスポートパケットのパケット番号を"0"として、ステップS12でビデオのトランスポートパケットを受信する毎にパケット番号を"1"ずつカウントアップしていくことで得られる。IDRピクチャまたはIピクチャのPTSは、PESパケットのヘッダ部に格納される。
次のステップS17で、多重化ストリーム解析部25は、現在入力されたトランスポートパケットが最後に入力されるトランスポートパケットであるか否かが判断される。最後のトランスポートパケットであると判断された場合、一連の処理が終了される。最後のトランスポートパケットではないと判断されれば、処理は、ステップS12に戻される。
次に、トランスポートストリーム中でビデオPIDが変化する場合について説明する。このような場合は、図13Aに例示されるように、EP_map中に、サブテーブルとしてビデオPID毎にさらにEP_mapを持たせるとよい。例えば、図13Bに一例が示されるように、クリップAVストリームファイルの前半のビデオPID=xが、後半にビデオPID=yに変化する場合について考える。
この場合、当該クリップAVストリームファイルに対応するクリップインフォメーションファイルが有するEP_mapに、図13Aに一例が示されるように、ビデオPID=xのトランスポートパケット(ソースパケット)に対応するEP_mapと、ビデオPID=yのトランスポートパケットに対応するEP_mapとを、それぞれサブテーブルとして持たせる。ビデオPID=xに対応するEP_mapおよびビデオPID=yに対応するEP_mapそれぞれのエントリPTS_EP_startは、同一の時間軸上での再生時系列に対応した値とされている。そのため、サーチ再生などの際には、図13Bに一例が示されるように、ビデオPID=xのソースパケットおよびビデオPID=yのIDRピクチャまたはIピクチャを、EP_map中のサブテーブルのエントリPTS_EP_startに従って、再生時系列に沿って順次、アクセスすることができる。
次に、IピクチャまたはIDRピクチャをサーチする動作について説明する。図14は、IピクチャまたはIDRピクチャをサーチする場合の一例のプレーヤモデルを示す。以下では、IピクチャまたはIDRピクチャをサーチすることを、便宜上、Iピクチャサーチと呼ぶ。また、図15は、図14のプレーヤモデルによるIピクチャサーチの一例の処理を示すフローチャートである。
図14において、プレーヤモデルは、ドライブ100、ファイルシステム101、ホストコントローラ102、デマルチプレクサ103およびデコーダ104を備える。ホストコントローラ102は、例えばCPU(Central Processing Unit)からなり、ファイルシステム101、デマルチプレクサ103およびデコーダ104は、それぞれハードウェアで構成することもできるし、CPU上で動作するソフトウェアで構成してもよい。図示されないユーザインターフェイス(UI)は、ユーザからの指示をホストコントローラに伝える。
クリップAVストリームファイルがトランスポートストリーム化されて記録された、例えば光ディスクからなる記録媒体がドライブ100に装填される。ステップS20で、ファイルシステム101は、ドライブ100に装填されたディスクを再生し、ディスクからクリップインフォメーションファイルを読み出し、インフォメーションファイル中のEP_mapのデータをホストコントローラ102に送る。
一方、UIは、ユーザの指示に基づき、再生するプログラムのプログラム番号およびサーチ開始時間のPTSをセットする。セットされた値は、ホストコントローラ102に送られる(ステップS21)。次のステップS22で、ホストコントローラ102は、EP_mapから、サーチ開始時間を示すPTSに対応するエントリSPN_EP_startを検索し、検索されたエントリSPN_EP_startが指し示すソースパケット番号のビデオPIDを、デマルチプレクサ103にセットする。
例えば、サーチ開始時間に対応するPTSのMSB側の14ビットに基づき、EP_mapのサブテーブルEP_coarseからエントリPTS_EP_coarseを検索し、対応するエントリref_to_EP_fine_idおよびエントリSPN_EP_coarseを得る。エントリSPN_EP_coarseに基づき、サーチ先のソースパケットの大まかな位置を知ることができる。そして、得られたエントリref_to_EP_fine_idに基づきサブテーブルEP_fineの検索範囲を設定し、設定された検索範囲内でサブテーブルEP_fineを検索する。検索結果として、サーチ開始時間に対応するPTSのLSB側の第10ビットからの11ビットの値に対応するエントリPTS_EP_fineを得る。このエントリPTS_EP_fineに対応するエントリSPN_EP_coarseが指し示すソースパケット番号のビデオPIDがデマルチプレクサ103にセットされる。
なお、エントリSPN_EP_fineがエントリSPN_EP_startのMSB側17ビットを用いている場合には、エントリSPN_EP_fineとエントリSPN_EP_coarseとを所定に結合した値が指し示すソースパケット番号のビデオPIDがデマルチプレクサ103にセットされる。
次のステップS23で、ホストコントローラ102は、ステップS22で得られたソースパケット番号に対応するデータアドレスを、ファイルシステム101にセットする。ファイルシステム101は、指定されたデータアドレスからトランスポートストリームを読み出すように、ドライブ100に指示する。ドライブ100は、この指示に基づき、指定されたデータアドレスからトランスポートストリームを読み出す。このトランスポートストリームは、ファイルシステム101に渡され、ファイルシステム101からデマルチプレクサ103に渡される。
デマルチプレクサ103は、供給されたトランスポートストリームからヘッダTP_extra_headerを取り除いてトランスポートパケット化し、上述のステップS22でセットされたビデオPIDに基づき、対応するトランスポートパケットを選別して取り出す。そして、取り出されたトランスポートパケットからトランスポートパケットヘッダを取り除き、ペイロードを繋ぎ合わせて元のAVストリームを復元する。このAVストリームは、デコーダ104に供給されて所定に復号され、オーディオおよびビデオ出力とされる。
ステップS25で、ユーザによる次のサーチ指示があるか否かが判断され、次のサーチ指示がある場合には、処理はステップS21に戻される。
上述したように、エントリSPN_EP_fineが指し示すソースパケット番号のデータは、ランダムアクセス可能なIピクチャまたはIDRピクチャから始まるアクセスユニットの第1バイト目を含むソースパケットのアドレスを示している。上述のような処理により、サーチ動作などおいて、ランダムアクセス可能なIピクチャまたはIDRピクチャが常にアクセスされ、MPEG4 AVC|H.264ビデオストリームにおけるランダムアクセス再生が保障される。
次に、上述の図1で示されるアプリケーション構造のデータを記録再生するシステムについて説明する。図16は、この発明の実施の一形態に適用できる動画像記録再生装置の一例の構成を示す。
制御部17は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などからなる。ROMは、CPU上で動作されるプログラムや動作のために必要なデータが予め記憶される。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムやデータを必要に応じて読み出し、RAMをワークメモリに用いながら、この動画像記録再生装置の全体を制御する。
また、各種のスイッチなどの操作子や、簡易的に表示を行う表示素子を有する図示されないユーザインターフェイスがユーザインターフェイス入力出力端子28に接続される。ユーザのユーザインターフェイスに対する操作に応じた制御信号が、ユーザインターフェイス入力出力端子28を介して制御部17に供給される。また、制御部17で生成された表示制御信号がインターフェイス入力出力端子28を介してユーザインターフェイスに供給される。ユーザインターフェイスは、この表示制御信号をテレビジョン受像器などのモニタ装置に供給し、表示させることもできる。
先ず、記録時の動作について説明する。入力端30にビデオ信号が入力される。入力端31にオーディオ信号が入力される。入力されたビデオ信号およびオーディオ信号は、AVエンコーダ23に供給される。ビデオ信号は、ビデオ解析部24にも供給される。AVエンコーダ23は、入力されたビデオ信号およびオーディオ信号を符号化し、符号化ビデオストリームV、符号化オーディオストリームAおよびシステム情報Sをそれぞれ出力する。
AVエンコーダ23は、入力されたビデオ信号を、図5を用いて説明したIピクチャのように、現在のGOPのIピクチャよりも表示順序で未来のピクチャを、過去のGOPから予測することを禁止するように制限して符号化する。例えば、AVエンコーダ23は、入力されたビデオ信号をMPEG4 AVC|H.264に準拠した符号化方式で符号化する。この場合、上述したようにしてGOP毎にIピクチャを形成するようにして符号化を行ってもよいし、GOP毎にIDRピクチャを配置して符号化を行うこともできる。
AVエンコーダ23は、オーディオ信号を、例えばMPEG1オーディオストリームやドルビーAC3オーディオストリームなどの形式に符号化する。システム情報Sは、符号化ピクチャやオーディオフレームのバイトサイズ、ピクチャの符号化タイプといった、ビデオ信号やオーディオ信号の符号化情報や、ビデオおよびオーディオの同期などに関する時間情報からなる。
AVエンコーダ23のこれらの符号化出力は、マルチプレクサ22に供給される。マルチプレクサ22は、供給された符号化ビデオストリームV、符号化オーディオストリームAを、システム情報Sに基づき多重化し、多重化ストリームを出力する。多重化ストリームは、例えばMPEG2トランスポートストリームや、MPEG2プログラムストリームである。多重化ストリームがMPEG2トランスポートストリームの場合、符号化ビデオストリームV、符号化オーディオストリームAおよびシステム情報Sは、それぞれトランスポートパケットのペイロードのサイズに分割され、所定のヘッダを付加されて、トランスポートパケット化される。ヘッダには、それぞれのデータ種類などを識別可能なように、PIDが所定に格納される。
マルチプレクサ22から出力された多重化ストリームは、端子50Aが選択されたスイッチ50を介してソースパケッタイザ21および上述した多重化ストリーム解析部25に供給される。ソースパケッタイザ21は、供給された多重化ストリームを、記録媒体のアプリケーションフォーマットに従って、例えば図2を用いて説明したような、ソースパケットから構成されるクリップAVストリームに符号化する。
ソースパケッタイザ21で符号化されたクリップAVストリームは、ECC(Error Correction Coding)符号化部20でエラー訂正符号化され、変調部19で記録符号に変調され、書き込み部18に供給される。書き込み部18は、制御部17から供給される制御信号の指示に基づき、変調部19で記録符号に変調されたクリップAVストリームを、記録可能な記録媒体10に対して記録する。
この動画像記録再生装置は、クリップAVストリームが多重化されたトランスポートストリームを直接的に入力して、記録媒体に記録することができるようになっている。例えば、ディジタルインターフェイスまたはディジタルテレビジョンチューナから出力される、ディジタルテレビジョン放送などによるトランスポートストリームが入力端子32に対して入力される。
入力されたトランスポートストリームの記録方法としては、トランスペアレントに記録する方法と、記録ビットレートを下げるなどの目的のために再エンコードして記録する方法とが考えられる。この2通りの記録方法のうち何方を用いて記録を行うかを指示は、例えばユーザのユーザインターフェイスに対する操作によりなされ、この操作に応じた制御信号がユーザインターフェイス入力出力端子28を介して制御部17に供給される。制御部17は、この制御信号に基づきこの動画像記録再生装置の各部を制御し、記録方法の制御を行う。
入力トランスポートストリームをトランスペアレントに記録する場合、スイッチ50において端子50Bが選択されると共に、スイッチ51において端子51Aが選択され、入力端32から入力されたトランスポートストリームは、スイッチ51および50を介してソースパケッタイザ21および多重化ストリーム解析部25にそれぞれ供給される。これ以降の処理は、上述した、入力端30および31に入力されたビデオ信号およびオーディオ信号を符号化して記録する場合と同一である。
一方、入力トランスポートストリームを再エンコードして記録する場合、スイッチ51において端子51Bが選択され、入力端32から入力されたトランスポートストリームは、デマルチプレクサ15に供給される。デマルチプレクサ15は、供給されたトランスポートストリームに多重化されている符号化ビデオストリームV、符号化オーディオストリームAおよびシステム情報Sを分離し、符号化ビデオストリームVをAVデコーダ16に供給すると共に、符号化オーディオストリームAおよびシステム情報Sをマルチプレクサ22に供給する。
AVデコーダ16は、デマルチプレクサ15から供給された符号化ビデオストリームVを復号し、復号されたビデオ信号をAVエンコーダ23に供給する。AVエンコーダ23は、供給されたこのビデオ信号を符号化して符号化ビデオストリームVとする。この符号化は、上述と同様に、図5を用いて説明したIピクチャのように、現在のGOPのIピクチャよりも表示順序で未来のピクチャを、過去のGOPから予測することを禁止するように制限して符号化する。この符号化ビデオストリームVは、マルチプレクサ22に供給される。
マルチプレクサ22は、AVエンコーダ23で符号化され供給された符号化ビデオストリームVと、デマルチプレクサ15で分離された符号化オーディオストリームAとを、同じくデマルチプレクサ15で分離されたシステム情報Sに基づき多重化して多重化ストリームを出力する。これ以降の処理は、上述した、入力端30および31に入力されたビデオ信号およびオーディオ信号を符号化して記録する場合と同一である。
この動画像記録再生装置は、記録媒体10に対して上述のようにしてクリップAVストリームファイルを記録すると共に、記録するクリップAVストリームファイルに関連するアプリケーションデータベース情報をさらに記録する。アプリケーションデータベース情報は、ビデオ解析部24からの動画像の特徴情報と、多重化ストリーム解析部25からのクリップAVストリームの特徴情報と、端子28から入力されるユーザの指示情報とに基づき、制御部17により作成される。
ビデオ解析部24から得られる、動画像の特徴情報は、AVエンコーダ23によりビデオ信号を符号化して記録する場合に、この動画像記録再生装置内において生成される情報である。ビデオ解析部24は、入力端30から入力されたビデオ信号または入力端32から入力されたトランスポートストリームからデマルチプレクサ15で分離されAVデコーダ16で復号されたビデオ信号が供給される。ビデオ解析部24は、供給されたビデオ信号の内容を解析し、入力されたビデオ信号中の特徴的なマーク点の画像に関する情報を生成する。例えば、ビデオ解析部24は、入力ビデオ信号中のプログラムの開始点、シーンチェンジ点や、CM(コマーシャル)放映の開始、終了点などの特徴的なマーク点を検出し、検出されたマーク点の画像の指示情報を得る。また、マーク点の画像のサムネイル画像を生成するようにしてもよい。サムネイル画像は、実際の画像データを間引き処理などにより縮小した画像である。また、サムネイル画像のクリップAVストリーム上の位置は、PTSで示すことができる。
これらの画像の指示情報、サムネイル画像およびサムネイル画像の位置情報(例えばPTS)は、制御部17を介してマルチプレクサ22に供給される。マルチプレクサ22は、制御部17から指示されるマーク点の画像を符号化した符号化ピクチャを多重化する際に、当該符号化ピクチャのクリップAVストリーム上でのアドレス情報を制御部17に返す。制御部17は、特徴的な画像の種類と、対応する符号化ピクチャのクリップAVストリーム上でのアドレス情報とを関連付けて、例えばRAMに記憶する。
多重化ストリーム解析部25から得られる、クリップAVストリームの特徴情報は、記録されるクリップAVストリームの符号化情報に関連する情報であり、この動画像記録再生装置内において生成される。例えば、クリップAVストリームについて、エントリポイントのタイムスタンプと対応するアドレス情報とをクリップAVストリームの特徴情報として含む。この他にも、クリップAVストリームについて、STC(System Time Clock)の不連続情報、プログラム内容の変化情報、アライバルタイムと対応するアドレス情報などが、クリップAVストリームの特徴情報として含まれる。
ここで、クリップAVストリーム内のエントリポイントとなる、図5で説明したIDRピクチャまたはIピクチャから開始するビデオアクセスユニットのタイムスタンプおよびアドレス情報は、上述のEP_mapに格納されるデータとなる。また、クリップAVストリーム内でのプログラム内容の変化情報は、クリップインフォメーションファイル中のブロックProgramInfo(図示しない)に格納されるデータとなる。
また、多重化ストリーム解析部25は、入力端32から入力されるトランスポートストリームをトランスペアレントに記録する場合、クリップAVストリーム中の特徴的なマーク点画像を検出し、検出された画像の種類とアドレス情報とを生成する。この情報は、クリップインフォメーションファイル中のブロックClipMark(図示しない)に格納されるデータとなる。このように、多重化ストリーム解析部25により得られたクリップAVストリームの特徴情報は、クリップAVストリームのデータベースであるクリップインフォメーションファイルに格納されることになる。多重化ストリーム解析部25で得られたこれらの情報は、例えば、制御部17のRAMに一旦記憶される。
図示されないユーザインターフェイスに対してなされたユーザの指示情報は、ユーザインターフェイス入力出力端子28から制御部17に供給される。この指示情報は、例えば、クリップAVストリーム中でユーザが気に入った再生区間の指定情報、当該再生区間の内容を説明するためのキャラクタ文字、ユーザが気に入ったシーンにセットするブックマーク点やリジューム点のクリップAVストリーム中のタイムスタンプなどが含まれる。これらのユーザの指示情報は、一旦、制御部17のRAMに記憶される。これらの指示情報は、記録媒体10上においては、プレイリストが有するデータベース(図示しない)に格納される。
制御部17は、RAM上に記憶された上述した入力情報、すなわち、ビデオ解析部24から得られる動画像の特徴情報、多重化ストリーム解析部25から得られるクリップAVストリームの特徴情報、ならびに、ユーザインターフェイス入力出力端子28から入力されたユーザ指示情報に基づき、クリップAVストリームのデータベース(クリップインフォメーション)、プレイリストのデータベース、記録媒体の記録内容に対する管理情報(info.drv)およびサムネイル情報を作成する。これらのデータベース情報は、制御部17のRAMから読み出され、クリップAVストリームと同様にして、制御部17からECC符号化部20に供給されエラー訂正符号化され、変調部19で記録符号に変調され、書き込み部18に供給される。書き込み部18は、制御部17から供給される制御信号に基づき、記録符号化されたデータベース情報を記録媒体10に記録する。
次に、再生時の動作について説明する。記録媒体10は、記録時の動作で説明したようにして作成された、クリップAVストリームファイルとアプリケーションデータベース情報とが記録されている。記録媒体10が図示されないドライブ装置に装填されると、先ず、制御部17は、読み出し部11に対して、記録媒体10上に記録されたアプリケーションデータベース情報を読み出すように指示する。読み出し部11は、この指示を受けて、記録媒体10からアプリケーションデータベース情報を読み出す。読み出し部11の出力は、復調部12に供給する。
復調部12は、読み出し部11の出力を復調し、記録符号を復号してディジタルデータとする。復調部12の出力は、ECC復号部13に供給され、エラー訂正符号が復号されエラー訂正処理が行われる。エラー訂正処理されたアプリケーションデータベース情報は、制御部17に供給される。
制御部17は、アプリケーションデータベース情報に基づいて、記録媒体10に記録されているプレイリストの一覧を、ユーザインターフェイス入力出力端子28を介してユーザインターフェイスに出力する。このプレイリストの一覧は、例えばユーザインターフェイスに設けられた表示部に所定に表示される。ユーザにより、このプレイリストの一覧から再生したいプレイリストが選択され、選択したプレイリストを再生するような操作がユーザインターフェイスに対してなされる。この操作に応じた制御信号がユーザインターフェイスから出力され、端子28を介して制御部17に供給される。
制御部17は、この制御信号に応じて、選択されたプレイリストの再生に必要なクリップAVストリームファイルの読み出しを、読み出し部11に指示する。読み出し部11は、この指示に従い、記録媒体10からクリップAVストリームファイルを読み出す。読み出し部11の出力は、復調部12に供給される。復調部12は、供給された信号を復調し、記録符号を復号してディジタルデータとして出力し、ECC復号部13に供給する。ECC復号部13は、供給されたディジタルデータのエラー訂正符号を復号し、エラー訂正を行う。エラー訂正されたクリップAVストリームファイルは、制御部17により提供される図示されないファイルシステム部の処理を受け、ソースデパケッタイザ14に供給される。
ソースデパケッタイザ14は、制御部17の制御に基づき、記録媒体10におけるアプリケーションフォーマットで記録されていたクリップAVストリームファイルを、デマルチプレクサ15に入力できる形式のストリームに変換する。例えば、ソースデパケッタイザ14は、記録媒体10から再生されたBDAV MPEG2トランスポートストリーム(図2参照)をソースパケット単位に分解し、ソースパケットからヘッダTP_extra_headerを取り除きトランスポートパケット化する。このトランスポートパケット化されたクリップAVストリームを、デマルチプレクサ15に供給する。
デマルチプレクサ15は、制御部17の制御に基づき、ソースデパケッタイザ14から供給されたクリップAVストリームの、制御部17により指定された再生区間(PlayItem)を構成するビデオストリームV、オーディオストリームAおよびシステム情報Sを出力し、AVデコーダ16に供給する。例えば、デマルチプレクサ15は、供給されたトランスポートパケットをPIDに基づき選別し、選別されたそれぞれについて、トランスポートパケットヘッダを取り除いて出力する。AVデコーダ16は、供給されたビデオストリームVおよびオーディオストリームAを復号し、復号された再生ビデオ信号および再生オーディオ信号をビデオ出力端26およびオーディオ出力端27にそれぞれ導出する。
このような再生時の構成において、ユーザによって選択されたプレイリストを、クリップAVストリーム上のある時間から途中再生する場合の動作は、次のようになる。制御部17は、指定された時間に最も近いPTSを持つエントリポイント、すなわち、図5を用いて説明したIDRピクチャまたはIピクチャから開始するビデオアクセスユニットのアドレスを、上述したようにして、指定された時間のPTSに基づきEP_mapを用いて検索する。そして、制御部17は、得られたアドレスからクリップAVストリームファイルを読み出すように、読み出し部11に指示する。
読み出されたクリップAVストリームファイルは、既に説明したようにして、復調部12、ECC復号部13、ソースデパケッタイザ14、デマルチプレクサ15およびAVデコーダ16を経て、再生ビデオ信号および再生オーディオ信号とされ、出力端26および27にそれぞれ導出する。
読み出し部11は、この指示に基づき記録媒体10からクリップAVストリームファイルを読み出す。読み出されたクリップAVストリームファイルは、復調部12、ECC復号部13およびソースデパケッタイザ14を経てデマルチプレクサ15に供給され、デマルチプレクサ15でトランスポートパケット化されてAVデコーダ16に供給される。
また、クリップインフォメーション中のブロックClipMarkに格納されている、番組の頭出し点やシーンチェンジ点の中から、ユーザがあるマークを選択した場合の再生動作は、次のようになる。例えば、クリップインフォメーション中のブロックClipMarkに格納されている番組の頭出し点やシーンチェンジ点のサムネイル画像リストを、制御部17が図示されないユーザインターフェイスに表示し、ユーザは、このサムネイル画像リストから所望のサムネイル画像を選択することで、この再生動作が開始される。サムネイル画像が選択されると、選択されたサムネイル画像に対応するクリップAVストリーム上の位置情報(例えばPTS)が制御部17に供給される。
制御部17は、クリップインフォメーションの内容に基づいて、記録媒体10からクリップAVストリームを読み出す位置を決定し、読み出し部11にクリップAVストリームの読み出しを指示する。より具体的には、制御部17は、ユーザが選択したサムネイル画像に対応するピクチャが格納されているクリップAVストリーム上のアドレスに最も近いアドレスにあるエントリポイント、すなわち、図5を用いて説明したIDRピクチャまたはIピクチャから開始するビデオアクセスユニットのアドレスを、上述したようにして、サムネイル画像に対応した時間のPTSに基づきEP_mapを用いて検索する。そして、制御部17は、得られたアドレスからクリップAVストリームファイルを読み出すように、読み出し部11に指示する。
読み出されたクリップAVストリームファイルは、既に説明したようにして、復調部12、ECC復号部13、ソースデパケッタイザ14、デマルチプレクサ15およびAVデコーダ16を経て、再生ビデオ信号および再生オーディオ信号とされ、出力端26および27にそれぞれ導出する。
なお、記録媒体10は、特に種類を限定されない。例えば、Blu−ray Disc(ブルーレイディスク)規格に沿ったディスク状記録媒体を記録媒体10として用いることができる。Blu−ray Disc規格では、記録媒体として直径12cm、カバー層0.1mmのディスクを用い、光学系として波長405nmの青紫色レーザ、開口数0.85の対物レンズを用いて、最大で27GB(ギガバイト)の記録容量を実現している。
これに限らず、ハードディスクを記録媒体10として用いることができる。また、ディスク状記録媒体に限らず、例えば大容量の半導体メモリを記録媒体10として用いることができる。さらに、記録可能な仕様のDVD(Digital Versatile Disc)、例えばDVD−R(DVD-Recordable)、DVD−RAM(DVD-Random Access Memory)DVD−RW(DVD-Rewritable)、DVD+RWを記録媒体10として用いることができる。同様に、CD−R(Compact Disc-Recordable)やCD−RW(Compact Disc-ReWritable)を記録媒体10として用いることができる。
また、記録媒体10は、記録可能な記録媒体に限定されない。すなわち、上述した動画像記録再生装置の記録時のプロセスと同様のプロセスを経て形成されたデータが予め記録された、再生専用の記録媒体を、記録媒体10として用いることができる。例えば、上述したBlu−ray Discの規格に基づいた再生専用のディスク(BD−ROMと呼ぶ)が提案されている。このBD−ROMを、記録媒体10として用いることができる。これに限らず、再生専用のDVD−ROM(DVD-Read Only Memory)やCD−ROM(Compact Disc-Read Only Memory)を記録媒体10として用いてもよい。
すなわち、図5を用いて説明したIピクチャのように、現在のGOPのIピクチャよりも表示順序で未来のピクチャを、過去のGOPから予測することを禁止するように制限して符号化したクリップAVストリームと、この符号化に対応して作成されたEP_mapとを、予めこのような再生専用の記録媒体に記録して、ユーザに提供する。
記録媒体10として再生専用の記録媒体を用いる場合でも、再生部側の動作は、上述と同一である。勿論、記録部側の動作は、行えないようにされる。また、再生専用の記録媒体を用いる場合において、上述の図16の構成を、記録部側の構成を省略した動画像再生装置とすることもできる。
さらに、上述の図16の構成を、再生部側の構成を省略した動画像記録装置とすることもできる。この場合、この動画像記録装置で作成された記録媒体10を、この実施の一形態によるEP_mapに対応した動画像再生装置で再生すると、サーチ動作などが円滑に行われ、好ましい。
さらにまた、上述では、図16に示す動画像記録再生装置がハードウェア的に構成されるように説明したが、これはこの例に限定されない。すなわち、動画像記録再生装置は、実際に記録媒体10が装填されるドライブ部などの機構部分以外の部分を、ソフトウェアとして構成することも可能である。この場合、ソフトウェアは、例えば制御部17が有するROMに予め記憶される。これに限らず、動画像記録再生装置を、パーソナルコンピュータなどのコンピュータ装置上に構成することも可能である。この場合には、動画像記録再生装置をコンピュータ装置に実行させるソフトウェアは、CD−ROMやDVD−ROMといった記録媒体に記録されて提供される。コンピュータ装置がネットワーク接続可能な場合、インターネットなどのネットワークを介して当該ソフトウェアを提供することも可能である。
さらに、上述では、多重化ストリームがMPEG2トランスポートストリームであるとして説明したが、これはこの例に限定されない。多重化ストリームとしてMPEG2プログラムストリームやDSS(Digital Satellite System)トランスポートストリームを用いるシステムに対してこの発明を適用することもできる。MPEG2プログラムストリームの場合は、ソースパケットの代わりに、パックが用いられる。
この発明が適用可能な記録再生システムで用いる記録媒体上のアプリケーションフォーマットの概略的な構造を示す略線図である。 この発明による記録再生システムで用いる記録媒体上に記録されたAVストリームの構造を概略的に示す略線図である。 EP_mapの説明に用いるクリップAVストリームの例を示す略線図である。 EP_mapの例を概念的に示す略線図である。 ランダムアクセス可能なIピクチャから始まるアクセスユニットを説明するための図である。 フィールドSPN_EP_startが指すソースパケットの一例のデータ構造を示す略線図である。 EP_mapについてより詳細に説明するための図である。 EP_mapについてより詳細に説明するための図である。 EP_mapについてより詳細に説明するための図である。 テーブルEP_map_for_one_stream_PID()の一例のシンタクスを示す略線図である。 ブロックEP_map_for_one_stream_PIDの一例のシンタクスを示す略線図である。 EP_mapの作成の一例の手順を示すフローチャートである。 トランスポートストリーム中でビデオPIDが変化する場合について説明するための図である。 IピクチャまたはIDRピクチャをサーチする場合の一例のプレーヤモデルを示すブロック図である。 プレーヤモデルによるIピクチャサーチの一例の処理を示すフローチャートである。 この発明の実施の一形態に適用できる動画像記録再生装置の一例の構成を示すブロック図である。 従来技術による、現在のGOPのIピクチャよりも表示順序で未来のピクチャを、過去のGOPのピクチャから予測する予測モードを説明するための図である。
符号の説明
10 記録媒体
11 読み出し部
14 ソースデパケッタイザ
15 デマルチプレクサ
16 AVデコーダ
17 制御部
18 書き込み部
21 ソースパケッタイザ
22 マルチプレクサ
23 AVエンコーダ
24 ビデオ解析部
25 多重化ストリーム解析部
50,51 スイッチ

Claims (17)

  1. 独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
    独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
    の何れか一方により符号化されたビデオストリームを記録媒体に記録するデータ記録装置において、
    ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して上記第2の符号化方法でもって符号化を行い符号化ビデオストリームを生成する符号化手段と、
    上記独立的に復号が可能なピクチャの、上記符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けたテーブルを作成するテーブル作成手段と、
    上記符号化手段で符号化された上記符号化ビデオストリームと上記テーブル作成手段で作成された上記テーブルとを対応付けて記録媒体に記録する記録手段と
    を有することを特徴とするデータ記録装置。
  2. 請求項1に記載のデータ記録装置において、
    上記符号化ビデオストリームを分割し所定サイズのパケットに格納するパケット化手段をさらに有し、
    上記記録手段は、上記パケット化手段でパケット化された上記符号化ビデオストリームを上記記録媒体に記録するようにされ、上記テーブル作成手段は、上記符号化ビデオストリーム上の位置情報を上記パケット単位で表すようにしたことを特徴とするデータ記録装置。
  3. 請求項1に記載のデータ記録装置において、
    複数の上記ビデオストリームがそれぞれ上記符号化手段で符号化された複数の上記符号化ビデオストリームを多重化する多重化手段をさらに有し、
    上記記録手段は、上記多重化手段で多重化された上記複数の符号化ビデオストリームを上記記録媒体に記録するようにされ、上記テーブル作成手段は、上記多重化手段で多重化した上記複数の符号化ビデオストリームのそれぞれについて、上記テーブルを作成するようにしたことを特徴とするデータ記録装置。
  4. 請求項1に記載のデータ記録装置において、
    上記テーブル作成手段は、
    上記符号化ビデオストリーム上の大まかな再生時間情報と該大まかな再生時間情報に対応する上記位置情報とを対応付けた第1のサブテーブルと、
    上記符号化ビデオストリーム上のより詳細な再生時間情報と該より詳細な再生時間情報に対応する上記位置情報とを対応付けた第2のサブテーブルと
    をそれぞれ作成するようにしたことを特徴とするデータ記録装置。
  5. 請求項1に記載のデータ記録装置において、
    上記符号化手段は、MPEG4 AVC|H.264の規格に基づき上記符号化を行い、
    上記独立的に復号が可能なピクチャは、全てのスライスがIスライスからなるピクチャであることを特徴とするデータ記録装置。
  6. 請求項1に記載のデータ記録装置において、
    上記符号化手段は、MPEG4 AVC|H.264の規格に基づき上記符号化を行い、
    上記独立的に復号が可能なピクチャは、IDRピクチャであることを特徴とするデータ記録装置。
  7. 独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
    独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
    の何れか一方により符号化されたビデオストリームを記録媒体に記録するデータ記録方法において、
    ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して上記第2の符号化方法でもって符号化を行い符号化ビデオストリームを生成する符号化のステップと、
    上記独立的に復号が可能なピクチャの、上記符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けたテーブルを作成するテーブル作成のステップと、
    上記符号化のステップで符号化された上記符号化ビデオストリームと上記テーブル作成のステップで作成された上記テーブルとを対応付けて記録媒体に記録する記録のステップと
    を有することを特徴とするデータ記録方法。
  8. 独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
    独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
    の何れか一方により符号化されたビデオストリームを記録媒体に記録するデータ記録方法をコンピュータ装置に実行させるデータ記録プログラムにおいて、
    上記データ記録方法は、
    ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して上記第2の符号化方法でもって符号化を行い符号化ビデオストリームを生成する符号化のステップと、
    上記独立的に復号が可能なピクチャの、上記符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けたテーブルを作成するテーブル作成のステップと、
    上記符号化のステップで符号化された上記符号化ビデオストリームと上記テーブル作成のステップで作成された上記テーブルとを対応付けて記録媒体に記録する記録のステップと
    を有することを特徴とするデータ記録プログラム。
  9. 独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
    独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
    の何れか一方により符号化されたビデオストリームを記録媒体に再生するデータ再生装置において、
    ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して上記第2の符号化方法でもって符号化を行い生成された符号化ビデオストリームと、
    上記独立的に復号が可能なピクチャの、上記符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けて作成されたテーブルと
    が対応付けられて記録された記録媒体を再生する再生手段と、
    上記再生手段で再生された上記符号化ビデオストリームの復号を、上記再生手段で再生された上記テーブルに基づき上記再生時間情報に対応する上記位置情報で示される上記符号化ビデオストリームの位置から行うように制御する復号制御手段と
    を有することを特徴とするデータ再生装置。
  10. 請求項9に記載のデータ再生装置において、
    上記記録媒体に記録された上記符号化ビデオストリームに対するランダムアクセスを、上記テーブルに基づき行うようにしたことを特徴とするデータ再生装置。
  11. 請求項9に記載のデータ再生装置において、
    上記符号化ビデオストリームは、分割され所定サイズのパケットに格納されて上記記録媒体に記録され、
    上記テーブルは、上記符号化ビデオストリーム上の位置情報が上記パケット単位で表されていることを特徴とするデータ再生装置。
  12. 請求項9に記載のデータ再生装置において、
    複数の上記ビデオストリームがそれぞれ符号化された複数の上記符号化ビデオストリームが多重化されて上記記録媒体に記録され、
    上記多重化された上記複数の符号化ビデオストリームのそれぞれに対応する上記テーブルが上記記録媒体に記録されていることを特徴とするデータ再生装置
  13. 請求項9に記載のデータ再生装置において、
    上記テーブルは、
    上記符号化ビデオストリーム上の大まかな再生時間情報と該大まかな再生時間情報に対応する上記位置情報とを対応付けた第1のサブテーブルと、
    上記符号化ビデオストリーム上のより詳細な再生時間情報と該より詳細な再生時間情報に対応する上記位置情報とを対応付けた第2のサブテーブルと
    からなり、
    上記復号制御手段は、指定された再生時間に基づき上記第1のテーブルから上記大まかな再生時間情報を検索して第1の検索結果を得、該第1の検索結果に基づき上記第2のテーブルから上記より詳細な再生時間情報を検索して第2の検索結果を得、少なくとも上記第2の検索結果を用いて上記指定された再生時間に対応する上記符号化ビデオストリームの復号を行う上記位置情報を得るようにしたことを特徴とするデータ再生装置。
  14. 請求項9に記載のデータ再生装置において、
    上記符号化ビデオストリームは、MPEG4 AVC|H.264の規格に基づき符号化されており、上記独立的に復号が可能なピクチャは、全てのスライスがIスライスからなるピクチャであることを特徴とするデータ再生装置。
  15. 請求項9に記載のデータ再生装置において、
    上記符号化ビデオストリームは、MPEG4 AVC|H.264の規格に基づき符号化されており、上記独立的に復号が可能なピクチャは、IDRピクチャであることを特徴とするデータ再生装置。
  16. 独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
    独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
    の何れか一方により符号化されたビデオストリームを記録媒体に再生するデータ再生方法において、
    ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して上記第2の符号化方法でもって符号化を行い生成された符号化ビデオストリームと、
    上記独立的に復号が可能なピクチャの、上記符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けて作成されたテーブルと
    が対応付けられて記録された記録媒体を再生する再生のステップと、
    上記再生のステップにより再生された上記符号化ビデオストリームの復号を、上記再生のステップにより再生された上記テーブルに基づき上記再生時間情報に対応する上記位置情報で示される上記符号化ビデオストリームの位置から行うように制御する復号制御のステップと
    を有することを特徴とするデータ再生方法。
  17. 独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位内のピクチャから予測することが可能な第1の符号化方法で以てビデオストリームを符号化する第1の符号化方法と、
    独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することが可能な第2の符号化方法で以てビデオストリームを符号化する第2の符号化方法と
    の何れか一方により符号化されたビデオストリームを記録媒体に再生するデータ再生方法をコンピュータ装置に実行させるデータ再生プログラムにおいて、
    上記データ再生方法は、
    ビデオストリームを、独立的に復号が可能なピクチャから、復号順で未来の、次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、該単位内の、上記独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを、該単位より過去の単位内のピクチャから予測することを禁止するように制限して上記第2の符号化方法でもって符号化を行い生成された符号化ビデオストリームと、
    上記独立的に復号が可能なピクチャの、上記符号化ビデオストリーム上の再生時間情報と、該符号化ビデオストリーム上の位置情報とを対応付けて作成されたテーブルと
    が対応付けられて記録された記録媒体を再生する再生のステップと、
    上記再生のステップにより再生された上記符号化ビデオストリームの復号を、上記再生のステップにより再生された上記テーブルに基づき上記再生時間情報に対応する上記位置情報で示される上記符号化ビデオストリームの位置から行うように制御する復号制御のステップと
    を有することを特徴とするデータ再生プログラム。
JP2004168461A 2004-06-07 2004-06-07 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体 Active JP4608953B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2004168461A JP4608953B2 (ja) 2004-06-07 2004-06-07 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
CN2005800186527A CN1965577B (zh) 2004-06-07 2005-06-03 数据记录设备、方法和数据再现设备、方法
PCT/JP2005/010633 WO2005122567A1 (ja) 2004-06-07 2005-06-03 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、記録媒体、ならびに、データ構造
US11/569,487 US8897376B2 (en) 2004-06-07 2005-06-03 Data recording device, method, and program, data reproduction device, method, and program, recording medium, and data structure
KR20067025653A KR101183716B1 (ko) 2004-06-07 2005-06-03 데이터 기록 장치 및 방법, 데이터 재생 장치 및 방법, 및 기록 매체
CN201210038587.6A CN102611898B (zh) 2004-06-07 2005-06-03 数据记录设备和方法以及数据再现设备和方法
EP05750877A EP1755337B1 (en) 2004-06-07 2005-06-03 Data recording device and method
EP20120166835 EP2533522B1 (en) 2004-06-07 2005-06-03 Data reproduction device, method, and program
TW094118594A TW200603084A (en) 2004-06-07 2005-06-06 Data recording device, method, and program, data reproduction device, method, and program, recording medium, and data structure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004168461A JP4608953B2 (ja) 2004-06-07 2004-06-07 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010192228A Division JP5110135B2 (ja) 2010-08-30 2010-08-30 記録媒体

Publications (3)

Publication Number Publication Date
JP2005348314A JP2005348314A (ja) 2005-12-15
JP2005348314A5 JP2005348314A5 (ja) 2007-07-05
JP4608953B2 true JP4608953B2 (ja) 2011-01-12

Family

ID=35500231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004168461A Active JP4608953B2 (ja) 2004-06-07 2004-06-07 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体

Country Status (7)

Country Link
US (1) US8897376B2 (ja)
EP (2) EP2533522B1 (ja)
JP (1) JP4608953B2 (ja)
KR (1) KR101183716B1 (ja)
CN (2) CN1965577B (ja)
TW (1) TW200603084A (ja)
WO (1) WO2005122567A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100414989C (zh) * 2002-11-11 2008-08-27 索尼株式会社 信息处理设备和方法
JP2007318615A (ja) * 2006-05-29 2007-12-06 Toshiba Corp 動画再生装置、動画再生方法およびプログラム
JP4799504B2 (ja) * 2006-08-10 2011-10-26 キヤノン株式会社 画像復号化装置及びその制御方法
JP2008311871A (ja) * 2007-06-13 2008-12-25 Hitachi Ltd 情報記録再生装置及びビデオカメラ装置
JP5147546B2 (ja) * 2008-05-30 2013-02-20 キヤノン株式会社 映像符号化装置及び映像復号化装置
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4962525B2 (ja) 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2010263615A (ja) * 2009-04-08 2010-11-18 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法
JP5267886B2 (ja) 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP4985883B2 (ja) * 2009-04-08 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4993224B2 (ja) 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
JP4984184B2 (ja) 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
WO2010134316A1 (ja) 2009-05-19 2010-11-25 パナソニック株式会社 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置
JP4984181B2 (ja) 2009-06-22 2012-07-25 ソニー株式会社 再生装置および再生方法
US8521006B2 (en) * 2010-05-06 2013-08-27 Intel Corporation Boundary detection in media streams
JP5545478B2 (ja) 2010-06-23 2014-07-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
US9807386B2 (en) * 2011-09-29 2017-10-31 Telefonaktiebolaget Lm Ericsson (Publ) Reference picture list handling
JP6394966B2 (ja) 2012-01-20 2018-09-26 サン パテント トラスト 時間動きベクトル予測を用いた、符号化方法、復号方法、符号化装置、及び、復号装置
EP3829177A1 (en) 2012-02-03 2021-06-02 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
DE102012212175A1 (de) 2012-07-12 2014-01-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
JP2017073798A (ja) * 2016-11-15 2017-04-13 株式会社Nttドコモ 動画像予測復号装置及び動画像予測復号方法
JP2018093412A (ja) * 2016-12-06 2018-06-14 株式会社日立製作所 演算装置、送信プログラム、送信方法
WO2020066389A1 (ja) 2018-09-26 2020-04-02 富士フイルム株式会社 記録装置、読取装置、記録方法、記録プログラム、読取方法、読取プログラム、及び磁気テープ
CN109588679A (zh) * 2018-12-31 2019-04-09 昆明源水农产品开发有限公司 一种板栗加工方法
JP6967653B2 (ja) * 2019-12-19 2021-11-17 株式会社Nttドコモ 動画像予測復号方法
JP2020043613A (ja) * 2019-12-19 2020-03-19 株式会社Nttドコモ 動画像予測復号方法
JP7026762B2 (ja) * 2020-12-23 2022-02-28 株式会社Nttドコモ 動画像予測復号方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181569A (ja) * 1992-12-14 1994-06-28 Sony Corp 画像符号化及び復号化方法又は装置、及び画像記録媒体
JP2000341640A (ja) * 1999-03-19 2000-12-08 Sony Corp 記録装置および方法、再生装置および方法、並びに記録媒体
JP2002158972A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3359745B2 (ja) * 1994-07-29 2002-12-24 シャープ株式会社 動画像再生装置、及び動画像記録装置
JP3484834B2 (ja) * 1995-07-28 2004-01-06 ソニー株式会社 データ符号化/復号化方法および装置
JP3484832B2 (ja) * 1995-08-02 2004-01-06 ソニー株式会社 記録装置、記録方法、再生装置及び再生方法
CN1383678A (zh) * 2000-04-21 2002-12-04 索尼公司 编码设备和方法、记录介质和程序
EP1280348A4 (en) * 2000-04-21 2004-10-06 Sony Corp INFORMATION PROCESSING DEVICE AND PROCEDURE, PROGRAM AND RECORDING MEDIUM
EP3122044A1 (en) * 2003-03-03 2017-01-25 Godo Kaisha IP Bridge 1 Video decoding method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181569A (ja) * 1992-12-14 1994-06-28 Sony Corp 画像符号化及び復号化方法又は装置、及び画像記録媒体
JP2000341640A (ja) * 1999-03-19 2000-12-08 Sony Corp 記録装置および方法、再生装置および方法、並びに記録媒体
JP2002158972A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体

Also Published As

Publication number Publication date
TW200603084A (en) 2006-01-16
CN1965577A (zh) 2007-05-16
EP1755337A1 (en) 2007-02-21
EP1755337B1 (en) 2012-10-17
CN102611898B (zh) 2014-04-02
KR20070020491A (ko) 2007-02-21
WO2005122567A1 (ja) 2005-12-22
CN102611898A (zh) 2012-07-25
CN1965577B (zh) 2012-07-04
EP2533522B1 (en) 2014-01-29
EP2533522A1 (en) 2012-12-12
TWI313450B (ja) 2009-08-11
EP1755337A4 (en) 2010-04-28
KR101183716B1 (ko) 2012-09-17
US20070268971A1 (en) 2007-11-22
US8897376B2 (en) 2014-11-25
JP2005348314A (ja) 2005-12-15

Similar Documents

Publication Publication Date Title
JP4608953B2 (ja) データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
US8660189B2 (en) Generation apparatus generating a stream including a flag, mode information and an encoded picture, and a generation method performing the same
JP4910065B2 (ja) 復号システム
JP4668308B2 (ja) 画像符号化装置、画像符号化方法および記録方法
JP4972933B2 (ja) データ構造、記録装置、記録方法、記録プログラム、再生装置、再生方法および再生プログラム
US8335426B2 (en) Recording apparatus, recording method, and recording program, and image capturing apparatus, image capturing method, and image capturing program
US8374484B2 (en) Information recording apparatus and method, information reproducing apparatus and method, information recording medium, program storage medium, and program
JP2008263601A (ja) データ処理装置及び方法、ならびに編集システム及び方法
JP2007312246A (ja) 記録装置、記録方法および記録プログラム、記録再生装置、記録再生方法および記録再生プログラム、ならびに、編集装置、編集方法および編集プログラム
US20090080509A1 (en) Data processor
US8995816B2 (en) Recording apparatus, recording method, and recording program, and image capturing apparatus, image capturing method and image capturing program
JP5110135B2 (ja) 記録媒体
JP2004282703A (ja) データ処理装置
JP2002010186A (ja) ディスク状データ記録媒体
WO2004043065A1 (ja) データ処理装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4608953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250