JP4737572B2 - データ記録媒体 - Google Patents

データ記録媒体 Download PDF

Info

Publication number
JP4737572B2
JP4737572B2 JP2009193284A JP2009193284A JP4737572B2 JP 4737572 B2 JP4737572 B2 JP 4737572B2 JP 2009193284 A JP2009193284 A JP 2009193284A JP 2009193284 A JP2009193284 A JP 2009193284A JP 4737572 B2 JP4737572 B2 JP 4737572B2
Authority
JP
Japan
Prior art keywords
packet
stc
stream
transport
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2009193284A
Other languages
English (en)
Other versions
JP2009277349A (ja
Inventor
元樹 加藤
俊也 浜田
研二 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009193284A priority Critical patent/JP4737572B2/ja
Publication of JP2009277349A publication Critical patent/JP2009277349A/ja
Application granted granted Critical
Publication of JP4737572B2 publication Critical patent/JP4737572B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/88Signal drop-out compensation
    • H04N9/888Signal drop-out compensation for signals recorded by pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Time-Division Multiplex Systems (AREA)

Description

本発明は、データ記録媒体に関し、例えば、MPEGビデオストリームをランダムアクセス再生が可能なように記録されたデータ記録媒体に関する。
日本国内および欧米における衛星ディジタル放送や地上ディジタル放送等には、MPEG(Moving Picture Experts Group)2トランスポートストリームが用いられている。すなわち、ディジタル放送波としてのトランスポートストリームには、放送プログラムの映像や音声に対応するMPEGビデオストリームやMPEGオーディオストリームがパケット化されて時分割多重化されている。
そのようなトランスポートストリームを、受信側においてディジタル信号の状態で記録することができれば、ユーザは画質や音質が劣化しない高品質のプログラムを随時繰り返して視聴することが可能となる。
さらに、トランスポートストリームを、例えば、ハードディスクや、光ディスクのようなランダムアクセス可能なデータ記録媒体に記録するようにすれば、ユーザによって指定される再生時間軸上の任意の位置から再生を開始する、いわゆる、ランダムアクセス再生が実現される。
ところで、MPEGビデオストリームには、Iピクチャ、Bピクチャ、およびPピクチャが適宜配置されているが、BピクチャおよびPピクチャの再生には直前に再生された画像のデータが用いられることに起因して、3種類の画像の中で再生開始位置に成り得るのはIピクチャだけである。したがって、ユーザが指定した再生開始位置からランダムアクセス再生を実行する際には、指定された再生開始位置に最も近いIピクチャを検索して、当該Iピクチャから再生を開始することになる。
しかしながら、記録されているトランスポートストリームの中から指定された再生開始位置に最も近いIピクチャを検索するためには、トランスポートストリームからMPEGビデオパケットを抽出し、各MPEGビデオパケットのヘッダやペイロードを解析しなければならず、それらの処理には時間がかかるので、ユーザの入力に対して即応性のあるランダムアクセス再生を実現することができない。
本発明はこのような状況に鑑みてなされたものであり、ユーザからのコマンドに対して即応性のあるランダムアクセス再生を実現できるようにするものである。
本発明の一側面であるデータ記録媒体は、トランスポートストリームを構成し、パケット識別情報が割り当てられたトランスポートパケットが、前記パケット識別情報に対応するアドレスに記録されるとともに、前記トランスポートパケットに含まれる符号化情報の不連続点情報と、生開始位置と成り得るデータが格納されている前記トランスポートパケットを特定するエントリポイントマップとが、前記トランスポートストリームに対応するデータベースとして記録されており、再生装置により、前記データベースが参照され、指定された再生開始位置により再生開始可能位置が検索され、前記データベースに含まれる情報を用いて、前記再生開始可能位置に対応するトランスポートパケットが記録されている前記データ記録媒体上のアドレスが算出され、前記算出された前記データ記録媒体上のアドレスから前記トランスポートパケットの読み出しが開始されて前記トランスポートストリームが再生される。
前記符号化情報は、システムタイムクロック時間軸情報であるようにすることができる。
前記符号化情報は、プログラムシーケンス情報であるようにすることができる。
前記データベースは、マーク点となるデータが格納されている前記トランスポートパケットを特定するためのマーク点情報をさらに含むことができる。
本発明の一側面によれば、ユーザからのコマンドに対して即応性のあるランダムアクセス再生を実現できるデータ記録媒体を提供することが可能となる。
本発明の一実施の形態である記録装置の構成例を示すブロック図である。 データ記録媒体に記録されるDVRトランスポートパケットについて説明する図である。 図1のPLL部の構成例を示すブロック図である。 記録装置のトランスポートストリーム記録処理を説明するフローチャートである。 アライバルタイムスタンプを発生する過程を説明するフローチャートである。 記録装置のストリームデータベース記録処理を説明するフローチャートである。 図6のステップS21の処理を説明するフローチャートである。 STC不連続点とエントリポイントの関係を説明するための図である。 STC不連続を説明するための図である。 STC不連続を説明するための図である。 プログラムシーケンスの不連続を解析する処理を説明するフローチャートである。 エントリポイントマップの一例を示す図である。 STC時間軸情報の一例を示す図である。 STC不連続情報のシンタクスの第1の例を示す図である。 STC不連続情報のシンタクスの第2の例を示す図である。 プログラムシーケンスのシンタクスの第1の例を示す図である。 プログラムシーケンスのシンタクスの第2の例を示す図である。 program_sequenceの一例を示す図である。 エントリポイントマップのシンタクスを示す図である。 マークのシンタクスを示す図である。 マークをSTC_sequence_idとPTSの値で示した一例を示す図である。 EntryPointMapとSTC_Infoの関係について説明するための図である。 本発明の一実施の形態である再生装置の構成例を示すブロック図である。 再生装置の再生処理を説明するフローチャートである。 マーク点情報を使った再生方法を説明するための図である。 マーク点情報で示されるシーンの頭出し再生処理を説明するフローチャートである。 マーク点情報を用いたCMスキップ再生処理を説明するフローチャートである。
本発明を適用した記録装置10の構成例について、図1を参照して説明する。この記録装置10は、ディジタル放送波を受信するセットトップボックス等(不図示)から入力されるトランスポートストリームに不規則な間隔で多重化されている、図2(A)に示すようなトランスポートパケット(MPEGビデオパケット、MPEGオーディオパケット等)に、トランスポートパケットエクストラヘッダを付加して、図2(B)に示すようなソースパケットを生成し、図2(C)に示すように、ソースパケットの間隔を詰めてDVRトランスポートストリームを生成し、データ記録媒体21に記録するものである。なお、図2(A),(B)の横軸は、記録装置10へのトランスポートパケットの到着時刻(Arrival time clock)の時間軸を示している。
ストリーム解析部11は、セットトップボックス等から順次入力されるトランスポートパケットの中からPCR(Program Clock Reference)が格納されているパケットを検索し、当該パケットからPCRを抽出してPLL(Phase Locked Loop)部12に出力する。
なお、PCRが格納されているパケット(以下、PCRパケットと記述する)は、100ミリ秒以下の間隔でトランスポートストリームに配置されている。PCRは、各トランスポートパケットに格納されているデータを再生するときの基準時刻となるシステムタイムクロック(以下、STCと記述する)を整合するための情報であって、27メガヘルツの精度をもつ。なお、前後するPCRパケットに格納されているPCRの値の差は、通常、PCRパケットが配置される間隔(100ミリ秒以下)に比例しているが、様々な理由により、前後するPCRパケットに格納されているPCRの値の差が通常よりも大きいことがある。そのような場合、PLL部12(後述)で生成されるSTCは不連続となって、不連続の発生タイミングの前後でSTC時間軸が変化する。
ストリーム解析部11はまた、順次入力されるトランスポートパケットのヘッダを解析してSTCの不連続を検出した場合、具体的には、PCRパケットのパケットIDの変化を検出した場合や、トランスポートパケットのヘッダの「discontinuity_indicator」に1を検出した場合、あるいは、DIT(Discontinuity Information Table)を検出した場合、不連続フラグを発生してPLL部12に出力する。
ストリーム解析部11はさらに、順次入力されるトランスポートパケットに、入力された順番を示すシリアルなパケット番号(パケット識別情報)を付与するとともに、トランスポートパケットのヘッダおよびペイロードを解析して、エントリポイントデータ、不連続点データ、および、マーク点データを生成し、ストリームデータベース作成部16に出力する。
ここで、エントリポイントデータは、再生開始位置(エントリポイント)と成り得るIピクチャのデータが格納されているパケットを特定する情報である。不連続点データは、STCの不連続(STC時間軸の変化)が発生したパケットを特定する情報である。マーク点データは、例えば、シーンチェンジ位置、コマーシャルの開始および終了位置等に対応する画像データが格納されているパケットを特定する情報である。
PLL部12は、ストリーム解析部11から入力されるPCRを用いて、27メガヘルツのシステムクロック周波数を整合し、アライバルタイムクロック(ATC)カウンタ13に出力する。PLL部12はまた、PCRを初期値としてシステムクロック周波数に同期してカウントアップするSTCを発生し、当該STCに不連続が発生した場合や、ストリーム解析部11から不連続フラグが入力された場合、不連続発生フラグをストリーム解析部10に出力する。
図3は、PLL部12の詳細な構成例を示している。100ミリ秒以下の間隔でストリーム解析部11から入力されるPCRは、比較部31およびシステムタイムクロックカウンタ34に供給される。比較部31は、ストリーム解析部11からのPCRの値とSTCカウンタ34からのSTCの値との差分値を示す信号を発生して、ローパスフィルタ(LPF)32および制御部35に出力する。ローパスフィルタ32は、比較部31からの差分信号の高周波成分を取り除いて電圧制御発振器(VCO)33に出力する。電圧制御発振器33は、ローパスフィルタ32からの差分信号が0となるように、27メガヘルツのシステムクロック周波数を発生してSTCカウンタ34および後段のATCカウンタ13(図1)に出力する。
STCカウンタ34は、最初に入力されたPCRを初期値とするSTCを、電圧制御発振器33からのシステムクロック周波数(27メガヘルツ)に同期してカウントアップし、比較部31に出力する。制御部35は、比較部31からの差分信号の値が所定の閾値よりも大きいと判定した場合、ストリーム解析部11から不連続フラグが入力された場合等に、不連続発生フラグを発生してストリーム解析部11に出力する。
例えば、PLL部12に一定間隔の値を持つPCRが順次入力されている場合、比較部31からの差分値は0となり、制御部35において不連続発生フラグは出力されないが、前に入力されたPCRの値と大きく異なる値を持つPCRが入力された場合、比較部31からの差分値は大きな値となり、制御部35においては閾値よりも大きいと判定されて不連続発生フラグが出力される。連続していない当該PCRは、システムタイムクロックカウンタ34において新たなSTC時間軸の初期値として用いられる。
図1に戻り、ATCカウンタ13は、PLL部12から入力されるシステムクロック周波数に同期して、アライバルタイムクロック(以下、ATCと記述する)をカウントアップし、同時に、ATCのサンプル値であるアライバルタイムスタンプ(arrival_time_stamp)をトランスポートパケットエクストラヘッダ(TP_extra_header)付加部15に出力する。ATCカウンタ13はまた、ATCをストリーム解析部11に出力する。なお、ATCは、プログラムの先頭に位置するトランスポートパケットが記録装置10に入力されたときに0に初期化されるものとする。
トランスポートパケットエクストラヘッダ付加部15は、セットトップボックスからのトランスポートパケット(188バイト)に、パケットの入力と同時にカウンタ13から入力されるアライバルタイムスタンプを含むトランスポートパケットエクストラヘッダ(4バイト)を付加してソースパケット(192バイト)を生成し、ファイルシステム部17に出力する。
ストリームデータベース作成部16は、ストリーム解析部11から入力されるエントリポイントデータ、不連続点データ、およびマーク点データのそれぞれを用いて、エントリポイントマップ、システムタイムクロック時間軸情報、プログラムシーケンス情報、および、マーク点情報(いずれも後述する)を作成し、それらをストリームデータベースとしてファイルシステム部17に出力する。ここで、ストリームデータベースは、データ記録媒体21に記録されたトランスポートストリームをランダムアクセス再生する際に用いられる情報である。
ファイルシステム部17は、トランスポートパケットエクストラヘッダ付加部15から入力されるソースパケットの間隔を詰めて図2(C)に示すようなDVRトランスポートストリームを生成してファイル化する。ファイルシステム部17はまた、ストリームデータベース作成部16から入力されるストリームデータベース(エントリポイントマップ、システムタイムクロック時間軸情報、プログラムシーケンス情報、および、マーク点情報)をファイル化する。ファイルシステム部17はさらに、生成したDVRトランスポートストリームおよびストリームデータベースファイルを誤り訂正部18に出力する。
誤り訂正部18は、ファイルシステム部17から入力されるファイルに誤り訂正用の情報を付加して変調部19に出力する。変調部19は、誤り訂正部18からのファイルを所定の方法で変調して書き込み部20に出力する。書き込み部20は、変調されたDVRトランスポートストリームファイルを、当該ファイルの中のトランスポートパケットに付与されたパケット番号に対応するデータ記録媒体21のアドレスに記録する。書き込み部20はまた、変調されたストリームデータベースファイルをデータ記録媒体21の所定の位置に記録する。データ記録媒体21は、例えば、ハードディスク、光ディスク等のようなランダムアクセス可能であって、記録装置10に脱着可能な媒体である。
制御部22は、ドライブ23を制御して、磁気ディスク24、光ディスク25、光磁気ディスク26、または半導体メモリ27に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、および、ユーザから入力されるコマンド等に基づいて記録装置10の各部を制御する。
次に、記録装置10のトランスポートストリーム記録処理について、図4のフローチャートを参照して説明する。このトランスポートストリーム記録処理は、ユーザからの記録開始コマンドに対応して開始される。
ステップS1において、トランスポートパケットエクストラヘッダ付加部15は、セットトップボックス等から入力されたトランスポートパケットに、ATCカウンタ13から入力されたアライバルタイムスタンプを含むトランスポートパケットエクストラヘッダを付加してソースパケットを生成し、ファイルシステム部17に出力する。
ここで、トランスポートパケットエクストラヘッダに含まれるアライバルタイムスタンプが発生される処理について、図5のフローチャートを参照して説明する。
ストリーム解析部11では、ステップS11において、入力されたトランスポートストリームのPAT(Program Association Table)が格納された、PIDが0x0000であるPATパケットが検出されてPATが読み出され、PATに記述されているPMT(Program Map Table)が格納されたパケット(以下、PMTパケットと記述する)のPIDが取得される。ステップS12において、ステップS11で取得されたPMTパケットのPIDに基づいてPMTパケットが検出されてPMTが読み出され、PMTに記述されているPCRが格納されたパケット(以下、PCRパケットと記述する)のPIDが取得される。ステップS13において、ステップS12で取得されたPCRパケットのPIDに基づいてPCRが検出されてPCRが読み出される。読み出されたPCRは、PLL部12に供給される。
ステップS14において、PLL部12は、ストリーム解析部11から入力されたPCRを用いてシステムクロック周波数を整合し、ATCカウンタ13に供給する。ステップS15において、ATCカウンタ13は、PLL部12からのシステムクロック周波数に同期してATCをカウントアップし、同時に、そのサンプリング値をアライバルタイムスタンプとしてトランスポートパケットエクストラヘッダ付加部15に出力する。
図4に戻る。ステップS2において、ファイルシステム部17は、トランスポートパケットエクストラヘッダ付加部15から入力されたソースパケットの間隔を詰め、得られたDVRトランスポートストリームをファイル化して誤り訂正部18に出力する。ファイルシステム部17からのDVRトランスポートストリームファイルは、ステップS3において、誤り訂正部18により、誤り訂正用の情報が付加され、変調部19により、変調された後、書き込み部20によって、データ記録媒体21上のパケット番号に対応するアドレスに記録される。
次に、上述したトランスポートストリーム記録処理と並行して実行されるストリームデータベース記録処理について、図6のフローチャートを参照して説明する。
ステップS21において、ストリーム解析部11は、順次入力されるトランスポートストリームを解析して、MPEG2システムズ規格のIピクチャのデータが格納されているパケットを検出し、当該パケットのパケット番号、および、当該IピクチャのPTS(Presentation Time Stamp)をエントリポイントデータとして取得する。なお、PTSはMPEG2システムズ規格のPESパケットのヘッダに含まれる情報であり、当該ピクチャが再生される、システムタイムクロック時間軸上の時刻を示している。
ステップ21の具体的な処理を図7のフローチャートを参照して説明する。ステップS31において、ストリーム解析部11は、トランスポートパケットが入力されたか否かを判定し、トランスポートパケットが入力されたと判定するまで待機する。トランスポートパケットが入力されたと判定された場合、ステップS32に進む。
ステップS32において、ストリーム解析部11は、トランスポートパケットのトランスポートパケットヘッダに含まれるペイロードユニットスタートインジケータ(payload_unit_start_indicator)に1が記述されているか否かを検出することによって、当該トランスポートパケットのペイロードがPESパケットの第1バイト目から開始しているか否かを判定する。ペイロードユニットスタートインジケータに1が記述されていることが検出されて、トランスポートパケットのペイロードがPESパケットの第1バイト目から開始していると判定された場合、ステップS33に進む。
ステップS33において、ストリーム解析部11は、トランスポートパケットのペイロードに記述されているPESパケットの先頭に、MPEGビデオのシーケンスヘッダコード(sequence_header_code)である0x000001B3が記述されているか否かを判定する。MPEGビデオのシーケンスヘッダコードが記述されていると判定された場合、当該トランスポートパケットのペイロードには、Iピクチャのデータが格納されていると判定してステップS34に進む。
ステップS34において、ストリーム解析部11は、当該トランスポートパケットがエントリポイントであると判定し、当該トランスポートパケットに格納されているIピクチャのPTSに、当該トランスポートパケットのパケット番号(当該バケット番号を用いて、当該パケットが記録されているデータ記録媒体21上のアドレスを特定することが可能である)を対応付けて、当該プログラムの識別情報(ビデオPID)とともにエントリポイントデータとしてストリームデータベース作成部16に出力する。
例えば図8に示すように、パケット番号E11,E12,E21,E22のパケットにIピクチャのデータが格納されていると判定された場合、PTS=x11,x12,x21、x22に、それぞれ、パケット番号E11,E12,E21、E22が対応付けられてストリームデータベース作成部16に出力される。
ステップS35において、ストリーム解析部11は、トランスポートパケットの入力が終了したか否かを判定する。トランスポートパケットの入力が終了していないと判定された場合、ステップS31に戻り、それ以降の処理が繰り返され、ステップS35において、トランスポートパケットの入力が終了したと判定された場合、図6のステップS22にリターンする。
ステップS22において、ストリーム解析部11はトランスポートストリームのSTC時間軸に関する不連続情報と、プログラムシーケンスの不連続情報を不連続点データとしてストリームデータベース作成部16に出力する。ここで、ストリーム解析部11は、STC時間軸に関する不連続情報に関しては、PLL部12からの不連続点発生フラグが入力されたタイミングの前後で変化するSTC時間軸に関する情報(STC時間軸ID、PCR_PIDstart_PCR_value、end_STC_value、およびRSPN_STC_start)を不連続点データとしてストリームデータベース作成部16へ出力する。また、ストリーム解析部11は、プログラムシーケンスについての不連続情報に関しては、PSI/SIの変化するアドレスと新しいPSI/SIの内容を不連続点データとしてストリームデータベース作成部16に出力する。
不連続点データについて説明する。STC時間軸IDは、STC時間軸を識別する情報である。一対のstart_PCR_valueとend_STC_valueは、連続したSTC時間軸の開始時刻と終了時刻を示す値である。
start_PCR_valueには、STCの不連続を発生させたPCRの値が用いられる。ただし、入力されたトランスポートストリームの最初のstart_PCR_valueには、最初のPCRパケットに格納されているPCRの値が用いられる。
end_STC_valueは、次式によって計算される。end_STC_value=last_PCR+PCR_gapここで、last_PCRは、STC時間軸を変化させたPCRパケットの1つ前のPCRパケットの値である。PCR_gapは、last_PCRからSTCの不連続が発生するまでの時間差である。ただし、入力されたトランスポートストリームの最後のend_STC_valueには、最後のトランスポートパケットの入力時刻が用いられる。
RSPN_STC_startには、STCが開始するパケットのパケット番号が用いられる。具体的には、start_PCR_valueとなるPCRが格納されているPCRパケットのパケット番号が用いられる。ここで、RSPNは、Relative Source Packet Numberの略であり、トランスポートストリームの先頭のパケットに付与されたパケット番号を初期値としてカウントされる相対パケット番号であることを示す。または、RSPN_STC_startは、STCの不連続を検出したときのパケットの番号、PCRパケットのパケットIDの変化を検出した時のパケット番号、トランスポートパケットのヘッダのdiscontinuity_indicatorに1を検出した時のパケット番号、またはDITのパケットを検出した時のパケット番号を用いてもよい。
具体的には、図9に示すように、一連のトランスポートストリームにおいてSTCの不連続が1度発生し、トランスポートストリームの先頭から不連続発生点までのSTC時間軸をSTC1とし、それ以降のSTC時間軸をSTC2とした場合、STC時間軸STC1のstart_PCR_valueには、start_PCR1が用いられ、end_STC_valueには、last_PCRにPCR_gapを加算したend_stc1が用いられる。また、STC時間軸STC2のstart_PCR_valueには、start_PCR2が用いられ、end_STC_valueには、end_stc2が用いられる。
図9および図10から明らかなように、STCの不連続には関係せず、ATCカウンタ13で生成されるATCは、STCの不連続に関係せず連続である。ただし、図10において、横軸はATCを示し、縦軸はSTCを示しており、start_PCR_valueとend_STC_valueの関係が示されている。
ここで、プログラムシーケンスについての不連続情報を解析する処理について、図11のフローチャートを参照して説明する。
ステップS41において、ストリーム解析部11は、PSI/SIのトランスポートパケットが入力されるまで待機し、PSI/SIのトランスポートパケットが入力され多と判定した場合、ステップS42に進む。
ここで、PSI/SIのトランスポートパケットは、具体的には、PAT, PMT, SITのパケットである。SITは、DVB規格で規定されているパーシャルトランスポートストリームのサービス情報が記述されているトランスポートパケットである。
ステップS42において、ストリーム解析部11は、PSI/SIの内容が変化したか否かを判定する。すなわち、ストリーム解析部11は、PAT,PMT,SITのそれぞれの内容が、以前に入力されたそれぞれの内容と比べて変化したか否かを判定する。内容が変化したと判定された場合、ステップS43に進む。なお、記録開始後、最初のステップS42においても、以前に入力されたPSI/SIのトランスポートパケットは存在しないので、ステップS43に進む。
ステップS43において、新しいPSI/SIを伝送するトランスポートパケットに付与したパケット番号とその内容を取得してストリームデータベース作成部16に出力する。ステップS44において、ストリームデータベース作成部16は、プログラムシーケンスの不連続情報を作成する。
ステップS45において、ストリーム解析部11は、トランスポートパケットの入力が終了したか否かを判定する。トランスポートパケットの入力が終了していないと判定された場合、ステップS41に戻り、それ以降の処理が繰り返される。その後、ステップS45において、トランスポートパケットの入力が終了したと判定された場合、この処理は終了される。
なお、ステップS42において、PSI/SIの内容が変化していないと判定された場合、ステップS41に戻り、それ以降の処理が繰り返される。
図6に戻る。ステップS23において、ストリーム解析部11は、順次入力されるトランスポートパケットのヘッダおよびペイロードを解析してマーク点(例えば、シーンチェンジ位置、コマーシャルの開始および終了位置等)を検出し、それらの画像データが格納されているパケットを特定する情報(当該プログラムの識別情報(ビデオPID)、システムタイムクロック時間軸ID、および当該ピクチャのPTS)をマーク点データとしてストリームデータベース作成部16に出力する。
なお、上述したステップS21乃至S23の処理は、便宜上、時系列的に説明したが、実際には、順次入力されるトランスポートパケットに対して並行して実行される。
ステップS24において、ストリームデータベース作成部16は、ストリーム解析部11からのエントリポイントデータを各プログラム毎に記述した、図12に示すようなエントリポイントマップを作成する。ここで、オフセットソースパケットナンバは、トランスポートストリームの先頭のパケットに付与されたパケット番号である。
ストリームデータベース作成部16はまた、ストリーム解析部11からのSTCの不連続点データを記述した、図13に示すような、システムタイムクロック時間軸ID(STC_sequence_id)、PCR_PID、start_PCR_value、end_STC_value、およびRSPN_STC_startからなるシステムタイムクロック時間軸情報を作成する。RSPN_STC_startは、上述したオフセットソースパケットナンバを初期値として、カウントされるパケット番号である。
ストリームデータベース作成部16はさらに、ストリーム解析部11からのマーク点データ(ビデオPID、システムタイムクロック時間軸ID、および画像のPTS)を記述したマーク点情報を生成する。
ストリームデータベース作成部16はさらに、ストリーム解析部11からのプログラムシーケンスの不連続点データ(詳細は後述する)を記述したプログラムシーケンス情報を生成する。
ステップS25において、ストリーム作成部16は、ステップS24で作成したエントリポイントマップ、システムタイムクロック時間軸情報、およびマーク点情報をストリームデータベースとしてファイルシステム部17に出力する。ファイルシステム部17は、入力されたストリームデータベースをファイル化する。ファイル化されたストリームデータベースは、誤り訂正部18によって誤り訂正用の情報が付加され、変調部19によって変調された後、書き込み部20によってデータ記録媒体21の所定の位置に記録される。
上述したようにデータ記録媒体21に記録されたストリームデータベースは、後述する再生処理、特に、ランダムアクセス再生時において利用される。
なお、ストリームデータベースのエントリポイントマップには、エントリポイントの位置を特定する情報としてパケット番号を記述するようにしているので、エントリポイントの位置をバイト精度のアドレスを用いて表現する場合に比べて、必要なビット量を小さくすることができる。
ここで、STC不連続情報のシンタクスの第1の例を図14に示す。
STC_Info()は、当該シンタクスがSTC不連続点情報であることを示す。STC_Info()は、num_of_STC_sequencesの数のSTC時間軸情報を持つ。STC_sequence_idは、STC時間軸ID(図13)を示す。PCR_PID、RSPN_STC_start、start_PCR_value、end_stc_valueの各フィールドは、それぞれ、図13で示す同名の変数名と同じ意味を持つ。
STC不連続情報のシンタクスの第2の例を図15に示す。Seq_Info()は、num_of_STC_sequencesの数のSTC時間軸情報を持つ。STC_sequence_idは、STC時間軸ID(図13)を示す。Offset_STC_sequence_idは、トランスポートストリームの先頭の STC時間軸に付与されたSTC時間軸IDである。RSPN_STC_startのフィールドは、それぞれ、図13で示す同名の変数名と同じ意味を持つ。
このシンタクスでは、図14の例のシンタクスにおけるstart_PCR_valueとend_STC_valueの代わりにstart_PTSとend_PTSを用いる。start_PTSは、STC_sequence_idで示されるSTC時間軸ID上の最初のプレゼンテーションユニットのPTSを示す。end_PTSは、STC_sequence_idで示されるSTC時間軸ID上の最後のプレゼンテーションユニットのPTSを示す。
なお、図15のシンタクスでは、記録するトランスポートストリームが参照するPCR_PIDが同時に1つしかないとフォーマット制限することにより、シンタクス中からPCR_PIDを省略している。
次に、プログラムシーケンスの不連続情報のシンタクスの第1の例を図16に示す。
ProgramInfo()は、当該シンタクスがプログラムシーケンスの不連続情報であることを示す。ProgramInfo()は、number_of_PSI_SI_changeの数のPSI/SI情報を持つ。PSI_SI_typeは、次に続くPSI/SIの種類を示す。なお、PSI_SI_type=0はPATを意味し、PSI_SI_type=1はPMTを意味し、PSI_SI_type=2はSITを意味する。PSI_SI_type=3乃至255はリザーブである。
PSI_SI_typeがPATを示す場合、start_PAT_addressのフィールドが続く。start_PAT_addressは、新しいPATが格納されているトランスポートパケットのDVRトランスポートストリームファイル上のアドレスであり、これはパケット番号で表される。
PSI_SI_typeがPMTを示す場合、program_map_PID、start_PMT_address、program_number、PCR_PID、number_of_videos、number_of_audios、およびnumber_of_videosの数に等しいvideo_PIDと、VideoCodingInfo()、およびnumber_of_audiosの数に等しいaudio_PIDとAudioCodingInfo()のフィールドが続く。
program_map_PIDは、新しいPMTのパケットIDである。start_PMT_addressは、新しいPMTが格納されているトランスポートパケットのDVRトランスポートストリームファイル上のアドレスであり、これはパケット番号で表される。program_numberは、新しいPMTの内容に書かれているプログラム番号である。PCR_PIDは、新しいPMTの内容に書かれているPCRを伝送するトランスポートパケットのパケットIDである。number_of_videosは、新しいPMTの内容に書かれているビデオストリームの数である。video_PIDは、ビデオストリームを伝送するトランスポートパケットのパケットIDである。
VideoCodingInfo()は、当該ビデオストリームの符号化情報であり、例えば、ビデオがSDTVまたはHDTVのいずれであるかを示す情報や、ビデオのフレーム周波数や画素のアスペクト比などを示す情報が含まれる。number_of_audiosは、新しいPMTの内容に書かれているオーディオストリームの数である。audio_PIDは、オーディオストリームを伝送するトランスポートパケットのパケットIDである。
AudioCodingInfo()は、オーディオストリームの符号化情報であり、例えば、オーディオ符号化方法(MPEG1オーディオ/MPEG2AACオーディオ/ドルビAC3など)や、コンポーネントタイプ(2chステレオ/5.1chマルチチャネルステレオなど)や、サンプリング周波数などの情報が含まれる。
PSI_SI_typeがSITを示す場合、start_SIT_addressのフィールドが続く。start_SIT_addressは、新しいSITが格納されているトランスポートパケットのDVRトランスポートストリームファイル上のアドレスであり、これはパケット番号で表される。
図17に、ProgramInfo()のシンタクスの第2の例を示す。このシンタクスは、記録するトランスポートストリームが参照するPCR_PIDが同時に1つしかないとフォーマット制限する場合に用いることができる。このフォーマットでは、トランスポートストリームの中で次の(1)乃至(3)の特徴をもつ時間区間をprogram_sequence(プログラムシーケンス)と称する。
(1)PCR_PIDの値が変わらない。
(2)ビデオエレメンタリーストリームの数が変化しない。また、それぞれのビデオストリームについてのPIDの値とそのVideoCodingInfoによって定義される符号化情報が変化しない。
(3)オーディオエレメンタリーストリームの数が変化しない。また、それぞれのオーディオストリームについてのPIDの値とそのAudioCodingInfoによって定義される符号化情報が変化しない。
program_sequenceは、同一の時刻において、ただ1つのシステムタイムベースを持つ。また、program_sequenceは、同一の時刻において、ただ1つのPMTを持つ。ProgramInfo()は、program_sequenceが開始する場所のアドレスをストアする。RSPN_program_sequence_startが、そのアドレスを示す。この値は、上記の定義のprogram_sequenceの内容が変化する境界のソースパケット番号を示していればよい。例えば、上述のstart_PMT_address(新しいPMTが格納されているトランスポートパケットのアドレス)がセットされてもよい。
図18は、program_sequenceの例を示している。この例では、トランスポートストリームの途中でprogram_sequenceの内容が2回変化しているので、program_sequenceが3個含まれており、先頭のソースパケット番号(アドレス)とprogram_sequenceの変化点のソースパケット番号(アドレス)が、RSPN_program_sequence_startにストアされる。
次に、図19は、エントリポイントマップのシンタクスの例を示している。
EntryPointMap()は、当該シンタクスがエントリポイントマップのシンタクスであることを示す。EntryPointMap()は、number_of_video_streamsの数のvideo_PID毎のエントリポイント情報を持つ。video_PIDは、ビデオストリームを伝送するトランスポートパケットのパケットIDである。number_of_entry_pointsは、当該ビデオストリームのエントリポイントの数を示す。PTS_EP_startとRSPN_EP_startは、それぞれ、図12に示したエントリポイントのPTS、またはエントリポイントのアドレスと同じ意味を持つ。
次に、図20は、マークのシンタクスを示す。ClipMarkは、当該シンタクスがマークのシンタクスであることを示す。version_numberは、当該ClipMark()のバージョンナンバを示す4個のキャラクタ文字である。lengthは、lengthフィールドの直後からClipMark()の最後までのClipMark()のバイト数を示す32ビットの符号なし整数である。number_of_Clip_marksは、ClipMarkの中にストアされているマークの個数を示す16ビットの符号なし整数である。number_of_Clip_marks は、0であってもよい。mark_typeは、マークのタイプを示す8ビットのフィールドであり、CMスタートやエンド等の種類を示す。32ビットのフィールドを有するmark_time_stampは、マークが指定されたポイントを示すタイムスタンプをストアする。mark_time_stampは、マークで参照されるプレゼンテーションユニットに対応する33ビット長のPTSの上位32ビットを示さなければならない。8ビットのフィールドを有するSTC_sequence_idは、マークが置かれているところのSTC連続区間のSTC_sequence_idを示す。
図21は、記録されたトランスポートストリームファイル(DVRトランスポートストリームファイル)へのイン点またはアウト点のアクセスポイント、CMの開始点または終了点などのマークをSTC_sequanece_idとPTSの値で表している例を示す。ここで、イン点およびアウト点は、それぞれ再生の開始点と終了点である。
記録されるトランスポートストリームの中にはSTCの不連続点が含まれてもよいので、記録されるトランスポートストリームの中に同じ値のPTSが現れる場合がある。したがって、記録されるトランスポートストリームへのアクセスポイントをPTSベースでセットする場合、そのポイントを特定するためにPTSの値だけでは不十分である。そこで、さらに、そのPTSが含まれるSTC時間軸IDを使用する。
次に、EntryPointMapとSTC_Infoの関係について説明する。記録されるトランスポートストリームのファイルに付属するデータベースであるところの1つのvideo_PIDで参照されるビデオストリームについてのEntryPointMapは、STCの不連続点に関係なく1つのテーブルに作られる。RSPN_EP_startの値とSTC_Info()において定義されるRSPN_STC_startの値を比較する事により、それぞれのSTC_sequenceに属するEP_mapのデータの境界が分かる。
図22に示す例では、EntryPointMapに含まれているEntry PointのアドレスX21がSTC_Info()が示すSTC時間軸の開始アドレスであるRSPN_STC_start#2よりも大きい場合を示しており、Entry PointのアドレスX1n以前のエントリポイントデータは、STC_sequence#1のSTC時間軸に属するデータであり,アドレスX21以降のエントリポイントデータは、STC_sequence#2のSTC時間軸に属するデータである。
次に、図23は、記録装置10によって、DVRトランスポートストリームファイルとストリームデータベースファイルが記録されたデータ記録媒体21から、DVRトランスポートストリームを再生する再生装置40の構成例を示している。
再生装置40はまた、ユーザが指定したマーク点(視聴中に気に入ったシーンの位置や、視聴を中断した位置等)を、データ記録媒体21に記録されているストリームデータベースに含まれるマーク点情報に追加して記録する機能を有している。
読み出し部41は、制御部49から入力される読み出し制御信号に対応して、データ記録媒体21からDVRトランスポートストリームファイルまたはストリームデータベースファイルに対応するデータを読み出して復調部42に出力する。復調部42は、読み出し部41から入力されたデータに、図1の変調部19に対応する復調を施して誤り訂正部43に出力する。誤り訂正部43は、図1の誤り訂正部18で付与された誤り訂正用の情報に基づいてデータの誤り訂正を実行し、得られたDVRトランスポートストリームファイルまたはストリームデータベースファイルをファイルシステム部44に出力する。
ファイルシステム部44は、誤り訂正部43から入力されるDVRトランスポートストリームファイルをソースパケットに分離してバッファ45に出力する。ファイルシステム部44はまた、誤り訂正部43から入力されるストリームデータベースを制御部49に供給する。
バッファ45は、ソースパケットのトランスポートパケットエクストラヘッダに含まれるアライバルタイムスタンプが、クロック発振器48から供給されるATCと等しいタイミングにおいて、当該ソースパケットからトランスポートパケットエクストラヘッダを除去したトランスポートパケットをデマルチプレクサ46に出力する。
デマルチプレクサ46は、バッファ45から入力されるトランスポートパケットから、ユーザが指定するプログラムに対応するビデオパケットとオーディオパケットを抽出してAVデコーダ47に出力する。AVデコーダ47は、デマルチプレクサ46からのビデオパケットとオーディオパケットをデコードして、得られるビデオ信号およびオーディオ信号を後段に出力する。クロック発振器48は、27メガヘルツのATCを発生してバッファ45に出力する。
制御部49は、ドライブ51を制御して、磁気ディスク52、光ディスク53、光磁気ディスク54、または半導体メモリ55に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、および、ユーザから入力されるコマンド等に基づいて再生装置40の各部を制御する。
制御部49はまた、ユーザから新たなマーク点の指定するコマンドが入力された場合、入力されるマーク点の位置をマーク点データ(ビデオPID、システムタイムクロック時間軸ID、および画像のPTS)に変換して、書き込み部50に出力する。
書き込み部50は、制御部49から入力されるマーク点データを、データ記録媒体21に記録されているストリームデータベースに含まれるマーク点情報に追加して記録する。
次に、再生装置40の再生処理について、図24のフローチャートを参照して説明する。この再生処理は、ユーザから、再生するプログラムの指定と再生開始コマンドが入力されたときに開始される。
ステップS51において、読み出し部41によって、再生するプログラムに対応するストリームデータベースがデータ記録媒体21から読み出され、復調部42乃至ファイルシステム部44によって処理された後、制御部49に供給される。ステップS52において、ユーザから再生開始位置(ビデオPID、STC時間軸ID、および画像のPTS)が制御部49に入力される。なお、再生開始位置として、ストリームデータベースに含まれるマーク点情報のマーク点を指定することも可能である。
ステップS53において、制御部49は、ステップS52で入力された再生開始位置と、ステップS51で得たストリームデータベースを比較して、再生開始位置に最も近いエントリポイントを検出し、そこに対応して記述されているパケット番号を用いてDVRトランスポートストリームの読み出し開始アドレスを計算する。
ステップS54において、読み出し部41は、制御部49の制御に基づいて、ステップS53で決定された、データ記録媒体21上の読み出し開始アドレスからDVRトランスポートストリームの読み出しを開始する。読み出されたDVRトランスポートストリームは、復調部42乃至デマルチプレクサ46によって処理されて、得られたビデオパケットとオーディオパケットはAVデコーダ47に入力される。
ステップS55において、AVデコーダ47は、デマルチプレクサ46からのビデオパケットとオーディオパケットをデコードして、得られたビデオ信号およびオーディオ信号を例えばモニタ(不図示)に出力する。
ステップS56において、制御部49は、ユーザから、例えばランダムアクセス再生などの再生位置の変更が指示されたか否かを判定する。再生位置の変更が指示されたと判定された場合、ステップS53に戻り、再び、読み出し開始アドレスが決定され、それ以降の処理が繰り返される。
ステップS56において、再生位置の変更が指示されていないと判定された場合、ステップS57に進む。ステップS57において、制御部49は、ユーザから再生終了が指示されたか否かを判定する。再生終了が指示されていないと判定された場合、ステップS54に戻り、それ以降の処理が繰り返される。その後、再生終了が指示されたと判定された場合、この再生処理は終了される。
次に、マーク点情報を使った再生について説明する。例えば、図25に示すように、DVRトランスポートストリームファイルとそのデータベースであるEntryPointMapおよびClipMarkとSTC_Infoが記録されているとする。
始めに、マーク点で示されるシーンの頭出し再生処理について、図26のフローチャートを参照して説明する。
ステップS71において、DVRトランスポートストリームファイルのデータベースであるEntryPointMap, STC_Info, Program_InfoとClipMarkが読み出される。ステップS72において、ユーザからの再生開始点のマーク点の指定が受け付けられる。例えば、シーンの開始点を示すサムネール画像がメニュ画面上に表示され、その中でユーザによって選択されたサムネール画像に対応づけられているマーク点が受け付けられる。
ステップS73において、ユーザから指定されたマーク点のPTSとSTC_sequence_idが取得される。ステップS74において、STC_InfoからSTC_sequence_idに対応するSTC時間軸の開始するソースパケット番号が取得される。ステップS75において、STC時間軸の開始するパケット番号とマーク点のPTSから、マーク点のPTSよりも時間的に以前であって、且つ、最も近いエントリポイントのあるソースパケット番号が取得される。
ステップS76において、ステップS75で取得されたソースパケット番号からトランスポートストリームのデータが読み出されてAVデコーダ47に供給される。ステップS77において、AVデコーダ47によりマーク点のPTSのピクチャから表示が開始される。
例えば図25のCM開始点(CMstart)のPTS(a0)にあたるピクチャを表示させる場合について具体的に説明する。CM開始点はSTC_sequence_idがid0であるSTC時間軸上にあり、そのSTC時間軸の開始するソースパケット番号は、Aよりも小さいとする。例えば、PTS(A)<PTS(a0)である場合、ステップS75の処理で、パケット番号Aが取得される。そして、ステップS76の処理で、パケット番号Aから始まるトランスポートストリームがAVデコーダ47に供給され、ストリームがデコードされて、ステップS77の処理で、PTS(a0)に対応するピクチャから表示が開始される。
次に、マーク点情報を用いたCMスキップ再生処理について、図27のフローチャートを参照して説明する。
ステップS81において、DVRトランスポートストリームファイルのデータベースであるEntryPointMap、STC_Info, Program_Info、およびClipMarkが読み出される。ステップS82において、ユーザからのCMスキップの再生の指定が受け付けられる。ステップS83にいて、マークタイプがCM開始点またはCM終了点(CMend)である各マーク情報のPTSおよびSTC_sequence_idが取得される。
ステップS84において、CM開始点のSTC_sequence_idに対応するSTC時間軸の開始するソースパケット番号が取得される。ステップS85において、トランスポートストリームのデコードが開始される。
ステップS86において、現在の表示画像がCM開始点のPTSに対応する画像であるか否かが判定される。現在の表示画像がCM開始点のPTSに対応する画像ではないと判定された場合、ステップS87に進み、現在の画像が表示される。処理は、ステップS85に戻り、それ以降の処理が繰り返される。ステップS86において、現在の表示画像がCM開始点のPTSに対応する画像であると判定された場合、ステップS88に進む。ステップS88において、デコードおよび画像の表示が停止される。
ステップS89において、CM終了点のSTC時間軸の開始するパケット番号とCM終了点のPTSから、その点のPTSよりも時間的に以前であり、且つ、最も近いエントリポイントのあるソースパケット番号が取得される。ステップS90において、ステップS89の処理で取得されたソースパケット番号からトランスポートストリームのデータが読み出されてAVデコーダ47に供給される。ステップS91において、AVデコーダ47により、CM終了点のPTSに対応するピクチャから表示が再開される。
例えば図25に示すCMをスキップさせる場合について具体的に説明する。CM開始点とCM終了点は、同じSTC_sequence_idがid0であるSTC時間軸上にあり、そのSTC時間軸の開始するソースパケット番号は、Aよりも小さいとする。
トランスポートストリームがデコードされているとき、ステップS86で表示時刻がPTS(a0)になった場合、デコードおよび表示が停止される。そして、次に、例えば、PTS(C)<PTS(c0)である場合、ステップS90でパケット番号Cのデータから始まるストリームからデコードが再開され、ステップS91でPTS(c0)に対応するピクチャから表示が再開される。
次に再生時におけるProgramInfoの使用方法について説明する。DVRトランスポートストリームを再生させる以前に、ストリームに含まれるプログラムのコンテンツについての情報、すなわち、ビデオやオーディオのエレメンタリーストリームを伝送しているパケットのPIDやビデオやオーディオのコンポーネントタイプ(例えば、HDTVビデオストリームとMPEG2AACオーディオストリーム)等を知ることができれば再生系にとって有効である。
これら情報は、記録されているトランスポートストリームの内容をユーザに説明するためのメニュ画面を作るために役立ったり、または、ストリームをデコードする前に、AVデコーダ47やデマルチプレクサ46の初期設定をするために役立つ。
記録されるトランスポートストリームの中では、例えば図18に示したように、途中でプログラムのコンテンツが変化する可能性がある。例えば、ビデオストリームを伝送するパケットのPIDが変化したり、または、ビデオストリームの内容がSDTVからHDTVに変化することも考えられる。ProgramInfoには、ストリームの中でプログラムのコンテンツが変化するアドレス(ソースパケット番号)がストアされており、再生系は、再生開始時刻が指定されたとき、読み出し開始するソースパケット番号を調べるとともに、そのアドレスにストアされているプログラムのコンテンツをProgramInfoから予め知ることが可能である。
上述したように、再生処理においては、ストリームデータベースに含まれるエントリポイントマップに記述されているエントリポイント(Iピクチャの位置)から再生を開始するようになされているので、読み出し位置の制御を容易、且つ、迅速に実行することが可能となる。
なお、本実施の形態においては、記録装置10と再生装置40の構成例を個々に独立したものとして示したが、記録装置10と再生装置40を組み合わせて1個の装置として構成するようにしてもよい。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
この記録媒体は、例えば図1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク24(フロッピディスクを含む)、光ディスク25(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク26(MD(Mini Disc)を含む)、もしくは半導体メモリ27などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
10 記録装置, 11 ストリーム解析部, 12 PLL部, 13 ATCカウンタ, 15 トランスポートパケットエクストラヘッダ付加部, 16 ストリームデータベース作成部, 17 ファイルシステム部, 21 データ記録媒体, 22 制御部, 23 ドライブ, 24 磁気ディスク, 25 光ディスク, 26 光磁気ディスク, 27 半導体メモリ, 40 再生装置, 44 ファイルシステム部, 45 バッファ, 49 制御部, 50 書き込み部, 52 磁気ディスク, 53 光ディスク, 54 光磁気ディスク, 55 半導体メモリ

Claims (4)

  1. トランスポートストリームを構成し、パケット識別情報が割り当てられたトランスポートパケットが、前記パケット識別情報に対応するアドレスに記録されるとともに、
    前記トランスポートパケットに含まれる符号化情報の不連続点情報と、
    再生開始位置と成り得るデータが格納されている前記トランスポートパケットを特定するエントリポイントマップとが、前記トランスポートストリームに対応するデータベースとして記録されており、
    再生装置により、前記データベースが参照され、指定された再生開始位置により再生開始可能位置が検索され、前記データベースに含まれる情報を用いて、前記再生開始可能位置に対応するトランスポートパケットが記録されている前記データ記録媒体上のアドレスが算出され、前記算出された前記データ記録媒体上のアドレスから前記トランスポートパケットの読み出しが開始されて前記トランスポートストリームが再生される
    データ記録媒体。
  2. 前記符号化情報は、システムタイムクロック時間軸情報である
    請求項1に記載のデータ記録媒体。
  3. 前記符号化情報は、プログラムシーケンス情報である
    請求項1に記載のデータ記録媒体。
  4. 前記データベースは、マーク点となるデータが格納されている前記トランスポートパケットを特定するためのマーク点情報をさらに含む
    請求項1に記載のデータ記録媒体。
JP2009193284A 1999-09-29 2009-08-24 データ記録媒体 Expired - Lifetime JP4737572B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009193284A JP4737572B2 (ja) 1999-09-29 2009-08-24 データ記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP1999275837 1999-09-29
JP27583799 1999-09-29
JP2009193284A JP4737572B2 (ja) 1999-09-29 2009-08-24 データ記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000228656A Division JP4389365B2 (ja) 1999-09-29 2000-07-28 トランスポートストリーム記録装置および方法、トランスポートストリーム再生装置および方法、並びにプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2009277349A JP2009277349A (ja) 2009-11-26
JP4737572B2 true JP4737572B2 (ja) 2011-08-03

Family

ID=17561131

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000228656A Expired - Lifetime JP4389365B2 (ja) 1999-09-29 2000-07-28 トランスポートストリーム記録装置および方法、トランスポートストリーム再生装置および方法、並びにプログラム記録媒体
JP2009193284A Expired - Lifetime JP4737572B2 (ja) 1999-09-29 2009-08-24 データ記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000228656A Expired - Lifetime JP4389365B2 (ja) 1999-09-29 2000-07-28 トランスポートストリーム記録装置および方法、トランスポートストリーム再生装置および方法、並びにプログラム記録媒体

Country Status (7)

Country Link
US (2) US6950604B1 (ja)
EP (3) EP1089565B1 (ja)
JP (2) JP4389365B2 (ja)
KR (2) KR100564181B1 (ja)
CN (2) CN1294751C (ja)
HK (2) HK1041392B (ja)
TW (1) TW520605B (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL132859A (en) 1999-11-10 2008-07-08 Nds Ltd Data stream processing system
CN1606355A (zh) * 2000-01-10 2005-04-13 皇家菲利浦电子有限公司 在活动图像编码标准序列起始时设置系统时钟的方法
JP4352567B2 (ja) * 2000-03-17 2009-10-28 ソニー株式会社 データ処理装置及び方法
US7284064B1 (en) 2000-03-21 2007-10-16 Intel Corporation Method and apparatus to determine broadcast content and scheduling in a broadcast system
JP4599740B2 (ja) * 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
EP2546833A3 (en) 2000-04-21 2014-08-20 Sony Corporation Information processing apparatus, method and computer program
WO2001082608A1 (fr) 2000-04-21 2001-11-01 Sony Corporation Appareil et procede de traitement des informations, programme et support enregistre
JP3794257B2 (ja) * 2000-09-27 2006-07-05 日本ビクター株式会社 映像信号再生装置
JP2002135729A (ja) * 2000-10-30 2002-05-10 Sony Corp 記録再生装置、記録再生装置の変速再生方法
EP2172937B1 (en) 2001-03-08 2013-01-02 Sony Corporation Data recording apparatus
US7295755B2 (en) 2001-06-22 2007-11-13 Thomson Licensing Method and apparatus for simplifying the access of metadata
JP4409792B2 (ja) * 2001-06-22 2010-02-03 ソニー株式会社 データ伝送装置および方法、記録媒体並びにプログラム
GB0117926D0 (en) 2001-07-23 2001-09-12 Nds Ltd Method for random access to encrypted content
EP1280362A3 (en) * 2001-07-27 2004-05-12 Matsushita Electric Industrial Co., Ltd. Digital video recording/reproduction apparatus and program therefor
US7231653B2 (en) * 2001-09-24 2007-06-12 Intel Corporation Method for delivering transport stream data
US8943540B2 (en) 2001-09-28 2015-01-27 Intel Corporation Method and apparatus to provide a personalized channel
JP3948979B2 (ja) * 2002-02-18 2007-07-25 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP3954406B2 (ja) * 2002-02-18 2007-08-08 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
US7693399B2 (en) * 2002-07-11 2010-04-06 Lg Electronics Inc. Method for providing program specific information recorded on high density disc medium
US8189730B2 (en) * 2002-09-30 2012-05-29 Ati Technologies Ulc Method and apparatus for system time clock recovery
KR100541114B1 (ko) * 2002-12-27 2006-01-11 엘지전자 주식회사 다이나믹 서치 방법
KR20040096718A (ko) * 2003-05-10 2004-11-17 삼성전자주식회사 멀티미디어 데이터 재생장치, 오디오 데이터 수신방법 및오디오 데이터 구조
DE10355345A1 (de) 2003-11-25 2005-06-23 Deutsche Thomson-Brandt Gmbh Verfahren und Vorrichtung zum Speichern oder Wiederfinden von definierten Positionen in einem Datenstrom
US8391672B2 (en) 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
DE602005014963D1 (de) * 2004-04-13 2009-07-30 Black & Decker Inc Elektrisches schleifgerät mit niedrigem profil
TWI401955B (zh) 2004-04-16 2013-07-11 Panasonic Corp A reproducing apparatus, a recording medium reproducing program, a reproducing method, and a reproducing system
EP1858014B1 (en) 2004-06-02 2009-11-18 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
EP2348709B1 (en) * 2004-07-01 2014-01-01 Mitsubishi Electric Corporation Encoding method and recording apparatus for randomly accessible video recording medium
KR101110902B1 (ko) 2004-08-31 2012-03-16 파나소닉 주식회사 정보 기록 매체 및 다중화 장치 및 복호화 장치
US8150232B2 (en) 2004-09-03 2012-04-03 Panasonic Corporation Recording medium, recording device, program, and recording method
US7742687B2 (en) * 2005-03-22 2010-06-22 Mediatek Inc. Digital television recorders and stream format conversion and methods thereof
JP4661469B2 (ja) * 2005-09-08 2011-03-30 ソニー株式会社 放送受信録画装置
CN100518312C (zh) * 2006-03-06 2009-07-22 鸿富锦精密工业(深圳)有限公司 流媒体数据处理系统及方法
US8125987B2 (en) * 2006-03-30 2012-02-28 Broadcom Corporation System and method for demultiplexing different stream types in a programmable transport demultiplexer
JP4719053B2 (ja) * 2006-03-31 2011-07-06 株式会社東芝 エントリポイントを用いた再生方法およびこの方法を用いる記録再生装置
KR101323331B1 (ko) * 2006-11-06 2013-10-29 삼성전자주식회사 불연속 동영상 데이터의 재생 방법 및 장치
JP2008271253A (ja) * 2007-04-20 2008-11-06 Toshiba Corp ストリーム再生装置
KR101346735B1 (ko) * 2007-07-13 2014-01-03 삼성전자주식회사 전송 스트림 저장장치 및 방법
EP2211347B1 (en) 2007-11-01 2013-01-16 Panasonic Corporation Recording medium, reproducing device, recording device, reproducing method, and recording method
US9571901B2 (en) * 2007-12-28 2017-02-14 Intel Corporation Synchronizing audio and video frames
KR20100059009A (ko) * 2008-11-25 2010-06-04 삼성전자주식회사 디지털 방송장치 및 디지털 방송방법
US10028018B1 (en) * 2011-03-07 2018-07-17 Verint Americas Inc. Digital video recorder with additional video inputs over a packet link
JP5143295B1 (ja) * 2012-01-27 2013-02-13 株式会社東芝 電子機器及びインデックス生成方法
US10271076B2 (en) * 2014-06-30 2019-04-23 Sony Corporation File generation device and method, and content playback device and method
WO2017015284A1 (en) * 2015-07-22 2017-01-26 Arris Enterprises Llc Metadata recordation and navigation for stitched content
JP6502789B2 (ja) * 2015-08-25 2019-04-17 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB887574A (en) 1960-01-22 1962-01-17 Standard Telephones Cables Ltd Improvements in or relating to electric wave filters
JP2785220B2 (ja) * 1992-09-22 1998-08-13 ソニー株式会社 データ符号化装置および方法、並びにデータ復号化装置および方法
AU676504B2 (en) * 1992-12-04 1997-03-13 Sony Corporation Apparatus for recording and reproducing a digital video and audio signal
JP3483612B2 (ja) * 1994-04-08 2004-01-06 株式会社東芝 記録方法、記録装置並びに再生装置
JP3517463B2 (ja) * 1994-11-14 2004-04-12 キヤノン株式会社 再生装置
JP3528989B2 (ja) * 1995-01-20 2004-05-24 ソニー株式会社 データ多重化装置、データ多重化方法、多重化データ処理装置および多重化データ処理方法
US5619337A (en) * 1995-01-27 1997-04-08 Matsushita Electric Corporation Of America MPEG transport encoding/decoding system for recording transport streams
JP4095681B2 (ja) 1995-02-24 2008-06-04 株式会社日立製作所 データ記録方法及び装置及びデータ記録再生装置
US5745643A (en) * 1995-04-06 1998-04-28 Kabushiki Kaisha Toshiba System for and method of reproducing playback data appropriately by the use of attribute information on the playback data
JP3740712B2 (ja) 1995-06-13 2006-02-01 三菱電機株式会社 記録再生装置および記録再生方法
JP3484832B2 (ja) * 1995-08-02 2004-01-06 ソニー株式会社 記録装置、記録方法、再生装置及び再生方法
JPH0974566A (ja) * 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
TW305043B (ja) * 1995-09-29 1997-05-11 Matsushita Electric Ind Co Ltd
TW319942B (ja) * 1995-11-14 1997-11-11 Nippon Bickter Kk
JP3060919B2 (ja) 1995-11-16 2000-07-10 松下電器産業株式会社 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置
JP4190594B2 (ja) 1995-12-28 2008-12-03 ソニー株式会社 電子機器及び信号処理方法
US6334024B1 (en) * 1996-02-13 2001-12-25 Victor Company Of Japan, Ltd. Helical scan data recording apparatus and a helical scan data reproducing apparatus
JP3233850B2 (ja) * 1996-03-13 2001-12-04 松下電器産業株式会社 デジタル放送受信システム
US6208643B1 (en) * 1996-10-11 2001-03-27 Sarnoff Corporation Apparatus and method for analyzing bitstreams
KR100480156B1 (ko) * 1996-11-29 2005-07-12 엘지전자 주식회사 광디스크기록/재생장치
CN100378853C (zh) * 1997-07-17 2008-04-02 松下电器产业株式会社 数据记录/再现方法和装置
JP3450662B2 (ja) 1997-08-14 2003-09-29 パイオニア株式会社 情報記録媒体、その再生装置及び方法並びにその記録装置及び方法
CN1237310A (zh) 1997-08-21 1999-12-01 索尼公司 在盘上记录图片和从盘再现图片的方法和装置及记录介质
JPH1196730A (ja) 1997-09-17 1999-04-09 Matsushita Electric Ind Co Ltd 光ディスク及びその編集装置、再生装置
MY115908A (en) * 1997-09-17 2003-09-30 Matsushita Electric Ind Co Ltd Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium storing an editing program
WO1999016196A1 (en) * 1997-09-25 1999-04-01 Sony Corporation Device and method for generating encoded stream, system and method for transmitting data, and system and method for edition
JPH11112452A (ja) 1997-10-03 1999-04-23 Sony Corp 情報処理装置および方法、並びに伝送媒体
CN1222723A (zh) * 1997-10-17 1999-07-14 索尼公司 记录/重播装置、方法及记录介质
EP2146499B1 (en) 1997-11-14 2012-10-31 Sony Deutschland Gmbh Distribution of MPEG-2 transport streams on the IEEE 1394-based home network
JPH11261958A (ja) * 1998-03-09 1999-09-24 Sony Corp 映像編集装置及び映像編集方法
US6788880B1 (en) * 1998-04-16 2004-09-07 Victor Company Of Japan, Ltd Recording medium having a first area for storing an audio title set and a second area for storing a still picture set and apparatus for processing the recorded information
US6643449B1 (en) * 1998-11-10 2003-11-04 Kabushiki Kaisha Toshiba Recording/reproducing apparatus, video data recording apparatus, recording method, reproducing method
US7239702B1 (en) 1999-08-20 2007-07-03 Sony Corporation Information recording/reproducing device
DE60045538D1 (de) * 1999-09-02 2011-03-03 Panasonic Corp Aufnahmeanlage und Kodieranlage
US6738427B2 (en) * 2000-09-15 2004-05-18 International Business Machines Corporation System and method of processing MPEG streams for timecode packet insertion

Also Published As

Publication number Publication date
HK1086143A1 (zh) 2006-09-08
EP1089565B1 (en) 2012-06-13
EP2323393A2 (en) 2011-05-18
US6950604B1 (en) 2005-09-27
KR100564181B1 (ko) 2006-03-29
CN1303216A (zh) 2001-07-11
HK1041392A1 (en) 2002-07-05
US20040156623A1 (en) 2004-08-12
EP1089565A2 (en) 2001-04-04
JP2001169247A (ja) 2001-06-22
US7778518B2 (en) 2010-08-17
CN1294751C (zh) 2007-01-10
JP4389365B2 (ja) 2009-12-24
CN1522062A (zh) 2004-08-18
KR20040068055A (ko) 2004-07-30
KR100661954B1 (ko) 2006-12-28
EP1089565A3 (en) 2005-01-05
TW520605B (en) 2003-02-11
CN1197388C (zh) 2005-04-13
EP1613088B1 (en) 2016-05-25
JP2009277349A (ja) 2009-11-26
EP1613088A1 (en) 2006-01-04
HK1041392B (zh) 2005-12-02
EP2323393B1 (en) 2019-07-31
KR20010050766A (ko) 2001-06-25
EP2323393A3 (en) 2011-12-28

Similar Documents

Publication Publication Date Title
JP4737572B2 (ja) データ記録媒体
KR100695657B1 (ko) 기록 장치, 기록 방법, 재생 장치, 재생 방법 및 기록 매체
EP2562757B1 (en) Reproduction device, reproduction method, and program
US5758008A (en) Information recording apparatus and information reproducing apparatus
WO2002056314A1 (en) Information recording apparatus and method
WO2003001801A1 (en) Data transmitting device and method
US8107796B2 (en) Data processing device, data processing method, program, program recording medium, data recording medium, and data structure
JP5557050B2 (ja) 情報記録媒体
JP3906795B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4164295B2 (ja) 情報記録装置及び情報記録方法、情報処理装置及び情報処理方法並びに情報再生装置及び情報再生方法
JP2003348537A (ja) デジタル放送ストリーム処理装置
US8554048B2 (en) Information processing apparatus, method, and program
JP2003132628A (ja) 情報記録再生装置
JP2005223948A (ja) 情報記録装置及び再生装置
MXPA06007710A (en) Reproduction device, reproduction method, program, recording medium, and data structure
JP2006054629A (ja) データ記録再生方法および記録再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110420

R151 Written notification of patent or utility model registration

Ref document number: 4737572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term