JP4288549B2 - 記録装置および方法、並びに再生装置および方法 - Google Patents
記録装置および方法、並びに再生装置および方法 Download PDFInfo
- Publication number
- JP4288549B2 JP4288549B2 JP2000125229A JP2000125229A JP4288549B2 JP 4288549 B2 JP4288549 B2 JP 4288549B2 JP 2000125229 A JP2000125229 A JP 2000125229A JP 2000125229 A JP2000125229 A JP 2000125229A JP 4288549 B2 JP4288549 B2 JP 4288549B2
- Authority
- JP
- Japan
- Prior art keywords
- data stream
- video
- audio
- pes
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、記録装置および方法、並びに再生装置および方法に関し、例えば、異なる種類のデータストリームを情報記録媒体に記録して、また再生する場合に用いて好適な記録装置および方法、並びに再生装置および方法に関する。
【0002】
【従来の技術】
民生用ディジタルVCR(Video Cassette Recorder)に採用されているDVフォーマットのように、ビデオ信号についてはフレーム内圧縮で符号化し、対応するオーディオ信号については非圧縮または瞬時圧伸可能なように符号化して磁気テープに記録するシステムがある。
【0003】
DVフォーマットによって符号化され、記録媒体に記録されたビデオ信号およびオーディオ信号は、ビデオおよびオーディオを任意の位置でつなぎ合わせるような編集に適している。
【0004】
しかしながら、DVフォーマットの信号圧縮率が低いことに起因して、転送レートの高い記録システムを必要とすること、大きな記憶容量の媒体を必要とすること、情報記録媒体の容量が制限される場合には記録時間が短くなること等の問題があった。
【0005】
そのような問題を解決するために、ビデオ信号およびオーディオ信号をMPEG(Moving Picture Experts Group)方式を用いて圧縮符号化し、トランスポートストリーム(Transport Stream、以下、TSとも記述する)の状態で記録媒体に記録するシステムが既に存在している。
【0006】
MPEG方式が用いられたシステムによれば、ビデオ信号は、複数のフレームの画像から構成されるLong GOP(Group Of Picture)でフレーム間圧縮されており、オーディオ信号は、複数サンプルでフレーム圧縮されているので、高い圧縮率を実現することができる。したがって、高い転送レートの記録システムを必要としないこと、記録媒体の容量を節約できること、記録媒体の容量が制限される場合にはDVフォーマットのシステムに比較して記録時間が延長されること等の利点がある。
【0007】
【発明が解決しようとする課題】
しかしながら、MPEG方式で圧縮符号化されたビデオ信号およびオーディオ信号をTSの状態で記録するシステムには、次の課題が存在する。
【0008】
すなわち、ビデオ信号は、上述したようにLong GOP単位でMPEG圧縮されるが、画像のタイプ(I(Intra)ピクチャ、P(Predictive)ピクチャ、またはB(Bidirectionally predictive)ピクチャ)、画像の絵柄等によって1フレームの画像のデータ長さが一定ではない(固定レートで圧縮されない)。一方、オーディオ信号は、固定レートで圧縮される。従って、対応するビデオ信号とオーディオ信号が同時にエンコードされたとしても、対応するビデオ信号とオーディオ信号のパケットがTS上の離れた位置に配置されてしまう可能性がある。
【0009】
対応するビデオ信号とオーディオ信号のパケットがTS上の離れた位置に配置された場合、TSを途中でつなぎ合わせるような編集を実行すると、ビデオ信号のつながりのタイミングとオーディオ信号のつながりのタイミングがずれてしまったり、一方のデータが不足してしまう課題があった。
【0010】
また、TSには、TSヘッダ、デコーダへの到着時刻を示すタイムスタンプ、復号時の時刻基準となるPCR(Program Clock Reference:プログラム時刻基準参照値)が格納されたPCRパケット等を付加する必要があるので、それらオーバヘッドの分だけ、記録レートが下がってしまう課題があった。
【0011】
さらに、TSの状態で記録したビデオ信号およびオーディオ信号は、再生の一時停止(PAUSE)、スロー再生、逆転再生等のいわゆるジョグ再生が困難であるので、ジョグ再生を可能とするためには、TSをエレメンタリストリームに変換しなければならない課題があった。
【0012】
さらにまた、TSの状態のビデオ信号およびオーディオ信号に、記録時または再生時においてエラーが発生している場合、当該エラーを正確に検出しなければ画質や音質に影響が出る課題があった。
【0013】
本発明はこのような状況に鑑みてなされたものであり、記録時および再生時におけるエラーの発生を正確に検出できるようにすることを目的とする。
【0014】
【課題を解決するための手段】
本発明の記録装置は、パケットで構成されるデータストリームを所定のデータ長毎に分割してシンクブロックを生成する分割手段と、ビデオのデータストリームから生成されたシンクブロックに、ビデオのデータストリームであることを識別するための識別情報およびビデオのデータストリームにおける順序を識別するカウント値を付与するとともに、オーディオのデータストリームから生成されたシンクブロックに、オーディオのデータストリームであることを識別するための識別情報およびオーディオのデータストリームにおける順序を識別するカウント値を付与する付与手段と、ビデオのデータストリームから生成されたシンクブロックとオーディオのデータストリームから生成されたシンクブロックを混合して情報記録媒体に記録する記録手段とを含む。
【0015】
前記付与手段は、データストリームにエラーが発生した場合、不連続なカウント値をシンクブロックに付与するようにすることができる。
【0016】
前記分割手段は、トランスポートストリームパケットを前半部分と後半部分に2分割してシンクブロックを生成することができ、前記付与手段は、トランスポートストリームパケットの前半部分から生成されたシンクブロック、およびトランスポートストリームパケットの後半部分から生成されたシンクブロックのうち、一方にカウント値を付与するようにすることができる。
【0017】
本発明の記録方法は、パケットで構成されるデータストリームを所定のデータ長毎に分割してシンクブロックを生成する分割ステップと、ビデオのデータストリームから生成されたシンクブロックに、ビデオのデータストリームであることを識別するための識別情報およびビデオのデータストリームにおける順序を識別するカウント値を付与するとともに、オーディオのデータストリームから生成されたシンクブロックに、オーディオのデータストリームであることを識別するための識別情報およびオーディオのデータストリームにおける順序を識別するカウント値を付与する付与ステップと、ビデオのデータストリームから生成されたシンクブロックとオーディオのデータストリームから生成されたシンクブロックを混合して情報記録媒体に記録する記録ステップとを含む。
【0019】
本発明の再生装置は、情報記録媒体から、データストリームが所定のデータ長毎に分割されて生成されているシンクブロックを読み出す読み出し手段と、読み出されたシンクブロックに付与されているビデオまたはオーディオのいずれかを示す識別情報、およびビデオまたはオーディオのデータストリームにおける順序を識別するカウント値を抽出する抽出手段と、抽出された識別情報およびカウント値に基づき、読み出されたシンクブロックからビデオのデータストリームおよびオーディオのデータストリームを再生する再生手段と、抽出された識別情報およびカウント値の連続性に基づいて、ビデオのデータストリームにおけるエラーの有無を検出し、エラーを検出した場合、エラー発生情報を、再生されたビデオのデータストリームに挿入するとともに、オーディオのデータストリームにおけるエラーの有無を検出し、エラーを検出した場合、エラー発生情報を、再生されたオーディオのデータストリームに挿入する挿入手段とを含む。
【0020】
本発明の再生方法は、情報記録媒体から、データストリームが所定のデータ長毎に分割されて生成されているシンクブロックを読み出す読み出しステップと、読み出されたシンクブロックに付与されているビデオまたはオーディオのいずれかを示す識別情報、およびビデオまたはオーディオのデータストリームにおける順序を識別するカウント値を抽出する抽出ステップと、抽出された識別情報およびカウント値に基づき、読み出されたシンクブロックからビデオのデータストリームおよびオーディオのデータストリームを再生する再生ステップと、抽出された識別情報およびカウント値の連続性に基づいて、ビデオのデータストリームにおけるエラーの有無を検出し、エラーを検出した場合、エラー発生情報を、再生されたビデオのデータストリームに挿入するとともに、オーディオのデータストリームにおけるエラーの有無を検出し、エラーを検出した場合、エラー発生情報を、再生されたオーディオのデータストリームに挿入する挿入ステップとを含む。
【0022】
本発明の記録装置および方法においては、パケットで構成されるデータストリームが所定のデータ長毎に分割されてシンクブロックが生成され、ビデオのデータストリームから生成されたシンクブロックに、ビデオのデータストリームであることを識別するための識別情報およびビデオのデータストリームにおける順序を識別するカウント値が付与されるとともに、オーディオのデータストリームから生成されたシンクブロックに、オーディオのデータストリームであることを識別するための識別情報およびオーディオのデータストリームにおける順序を識別するカウント値が付与される。また、ビデオのデータストリームから生成されたシンクブロックとオーディオのデータストリームから生成されたシンクブロックが混合されて情報記録媒体に記録される。
【0023】
本発明の再生装置および方法においては、情報記録媒体から、データストリームが所定のデータ長毎に分割されて生成されているシンクブロックが読み出され、読み出されたシンクブロックに付与されているビデオまたはオーディオのいずれかを示す識別情報、およびビデオまたはオーディオのデータストリームにおける順序を識別するカウント値が抽出され、抽出された識別情報およびカウント値に基づき、読み出されたシンクブロックからビデオのデータストリームおよびオーディオのデータストリームが再生される。さらに、抽出された識別情報およびカウント値の連続性に基づいて、ビデオのデータストリームにおけるエラーの有無が検出され、エラーが検出された場合、エラー発生情報が、再生されたビデオのデータストリームに挿入されるとともに、オーディオのデータストリームにおけるエラーの有無が検出され、エラーが検出された場合、エラー発生情報が、再生されたオーディオのデータストリームに挿入される。
【0024】
【発明の実施の形態】
本発明を適用したAV記録再生装置について説明する。このAV記録再生装置は、入力されるビデオおよびオーディオのベースバンド信号をパケッタイズドエレメンタリストリーム(Packetized Elementary Stream、以下、PESとも記述する)化して磁気テープに記録し、入力されるTSをPES化して磁気テープに記録し、また、入力されるTSをTSの状態で磁気テープに記録する。AV記録再生装置はまた、磁気テープに記録されているPESを再生したり、磁気テープに記録されているPESをTSに変換して出力する。
【0025】
図1は、AV記録再生装置の構成例を示している。ビデオエンコード部1は、入力されるビデオベースバンド信号をMPEG方式でエンコードしてビデオエレメンタリストリーム(Elementary Stream、以下、ESと記述する)を生成し、ビデオPES化部2に出力する。ビデオPES化部2は、ビデオエンコード部1から入力されるビデオESをPES化してA/V混合部5に出力する。ビデオPES化部2また、ビデオエンコード部1から入力されるビデオESをそのままA/V混合部5に出力することもできる。ビデオPES化部2はさらに、デマルチプレクサ7から入力されるビデオTSパケットをPES化してA/V混合部5に出力する。
【0026】
オーディオエンコード部3は、入力されるオーディオベースバンド信号をMPEG方式でエンコードしてオーディオESを生成し、オーディオPES化部4に出力する。オーディオPES化部4は、オーディオエンコード部3から入力されるオーディオESをPES化してA/V混合部5に出力する。オーディオPES化部4はまた、オーディオエンコード部3から入力されるオーディオESをそのままA/V混合部5に出力することもできる。オーディオPES化部4はさらに、デマルチプレクサ7から入力されるオーディオTSパケットをPES化してA/V混合部5に出力する。
【0027】
A/V混合部5は、ビデオPES化部2から入力されるビデオのPESパケットと、オーディオPES化部4から入力されるオーディオのPESパケットを、所定の記録フォーマット(後述)に変換し、得られるシンクブロックを記録部6に出力する。A/V混合部5はまた、デマルチプレクサ7から入力されるTSパケットにタイムスタンプを付加した後、所定の記録フォーマットに変換し、得られるシンクブロックを記録部6に出力する。A/V混合部5はさらに、ビデオPES化部2を素通りしたビデオESの編集単位(後述)、およびオーディオPES化部4を素通りしたオーディオESの編集単位にタイムスタンプを付加した後、所定の記録フォーマットに変換し、得られるシンクブロックを記録部6に出力する。
【0028】
記録部6は、A/V混合部5から入力されるシンクブロックを、既存の民生用ディジタルVCRに用いられているDVフォーマットと同様に、M系列でランドマイズした後、24/25変換によってランレングス制限とトラッキング用周波数の重畳を行い、磁気テープ9に記録する。
【0029】
デマルチプレクサ7は、入力されるTSに含まれるビデオTSパケットをビデオPES化部2に出力し、オーディオTSパケットをオーディオPES化部4に出力し、PSI(Program System Information)のTSパケットをA/V混合部5に出力する。デマルチプレクサ7はまた、入力されるNon-Native(後述)のTSを各TSパケットに分離してA/V混合部5に出力する。なおこのとき、デマルチプレクサ7は、PCRパケットを廃棄する場合もある。
【0030】
再生部10は、磁気テープ9に記録されているシンクブロックを読み出してPESを再生し、A/V分離部11またはTS化部14に出力する。再生部10はまた、磁気テープ9に記録されているシンクブロックを読み出してTSを再生し、A/V分離部11またはTS化部14に出力する。
【0031】
A/V分離部11は、再生部10から入力されるPESまたはTSを、ビデオのデータストリームとオーディオのデータストリームに分離して、対応するビデオデコード部12またはオーディオデコード部13に出力する。
【0032】
ビデオデコード部12は、A/V分離部11から入力されるビデオのデータストリームをデコードして、得られるビデオ信号を出力する。オーディオデコード部13は、A/V分離部11から入力されるオーディオのデータストリームをデコードして、得られるオーディオ信号を出力する。
【0033】
TS化部14は、再生部10から入力されるPESをTSに変換して出力する。TS化部14はまた、再生部10から入力されるTSのシンクバイト(後述)が除去されているTSパケットの先頭にシンクバイトを付加して出力する。
【0034】
制御部16は、ドライブ17を制御して、磁気ディスク18、光ディスク19、光磁気ディスク20、または半導体メモリ21に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムに基づいて、AV記録再生装置の各部を制御する。
【0035】
次に、AV記録再生装置の記録の方法について説明する。図2は、磁気テープ9にESを記録する例を示している。同図に示すように、ビデオについては、Iピクチャ、Bピクチャ、およびBピクチャの3フレーム毎、またはPピクチャ、Bピクチャ、およびBピクチャの3フレーム毎に結合して編集単位とし、各編集単位(3フレーム)の間に、対応するオーディオの編集単位を配置する。
【0036】
同図には、3フレームから成るビデオの編集単位に、4フレーム(AAU:Audio Access Unitと同意)から成るオーディオの編集単位、または、5フレームから成るオーディオの編集単位を対応させて配置した例が示されている。
【0037】
ただし実際には、3フレームのビデオに対応するオーディオのフレーム数は、通常、整数ではない。そこで、ビデオおよびオーディオの各編集単位には、再生時刻を表す専用のタイムスタンプ(T.S.)を付加するようにする。これにより、ビデオとオーディオを同期して再生することが可能となる。
【0038】
以下、図2に示したように記録する方法をES記録方式と記述する。
【0039】
ES記録方式によれば、専用のタイムスタンプが付加されたビデオの編集単位と、対応する専用のタイムスタンプが付加されたオーディオの編集単位を隣り合わせて配置して記録するので、編集の際につなぎ合わせたタイミングがビデオとオーディオでずれてしまうような不都合の発生を抑止することができる。
【0040】
図3は、磁気テープ9にPESを記録する例を示している。具体的には、上述した3フレームから成るビデオの編集単位および対応するオーディオの編集単位に、図2に示した専用のタイムスタンプを付加せず、PESパケットのシンタックスを適用して、再生出力の時刻管理情報PTS(Presentation Time Stamp)および復号の時刻管理情報DTS(Decoding Time Stamp)を付加してPESパケット化する。
【0041】
以下、図3に示したように記録する方法をPES記録方式と記述する。
【0042】
PES記録方式のES記録方式に対する利点は、磁気テープ9から読み出して装置外部にTSとして出力する場合、PTSおよびDTSが付加されていることに起因してTSへの変換が容易であることである。
【0043】
ところで、PESパケットの構造は、一意的ではなく、ビデオについては、例えば、1つのPESパケットが1ビデオフレームで構成される場合、または、1つのPESパケットが複数のビデオフレームから成るGOPで構成される場合がある。オーディオについては、例えば、1つのPESパケットが1オーディオフレーム(AAU)で構成される場合、または、1つのPESパケットが複数のオーディオフレームで構成される場合がある。
【0044】
そこで。編集をより容易に実行できるように、PES記録方式におけるPES構造をビデオおよびオーディオともに、1フレームで1つのPESパケットを構成するように統一する。
【0045】
次に、PESを磁気テープ9に記録する場合に適した記録フォーマットについて説明するが、その前に、TSパケットおよびPESパケットのデータ構造について説明する。なお、当該記録フォーマットは、ESを磁気テープ9に記録する場合にも適用することができる。また、当該記録フォーマットは、マルチプログラム等のTSに対応することもできる。
【0046】
図4は、TSパケットのデータ構造を示している。TSパケットは、8ビットのシンクバイト(sync_byte)、1ビットのトランスポートエラーインジケータ(transport_error_indicator)、1ビットのペイロードユニットスタートインジケータ(payload_unit_start_indicator)、1ビットのトランスポートプライオリティ(transport_priority)、13ビットのパケット識別情報(Packet_ID)、2ビットのスクランブル制御(transport_scrambling_control)、2ビットのアダプテーションフィールド制御(adaptation_field_control)、4ビットのコンティニティカウンタ(continuity_counter)、および、以降184バイトのアダプテーションフィールド等から構成される固定長(188バイト)のパケットである。
【0047】
シンクバイトは、TSパケットの先頭を表している。トランスポートエラーインジケータは、当該TSパケット中のビットエラーの有無を表している。ペイロードユニットスタートインジケータは、当該TSパケットのペイロードにPESパケットの先頭が記録されていることを表している。パケットプライオリティは、当該TSパケットの重要度を表している。パケット識別情報は、当該TSパケットの個別ストリームの属性を表している。スクランブル制御は、当該TSパケットのペイロードのスクランブルの有無および種類を表している。アダプテーションフィールド制御は、アダプテーションフィールドの有無、および、ペイロードの有無を表している。コンティニティカウンタは、同一のパケット識別情報を有する複数のTSパケットの順序を表している。
【0048】
アダプテーションフィールドには、プログラム時刻基準参照値PCRの他、個別ストリームに関する付加情報が記録される。アダプテーションフィールドにはまた、記録する付加情報等が184バイトに満たない場合、スタッフィングバイトが記録される。ペイロードには、分割されたPESパケット、プログラム仕様情報PSI(Program Specific Information)等が記録される。
【0049】
図5は、PESパケットのデータ構造を示している。PESパケットは、32ビットのパケットスタートコード(Packet Start Code)、16ビットのPESパケットレングス(PES packet length)、2ビットの”10”、14ビットのフラグと制御、8ビットのPESヘッダデータレングス(PES header data length)、40ビットのPTS、40ビットのDTS、152ビットのその他の情報、および、8Nビットのスタッフィングバイトから成るPESヘッダ、並びに、データ長不定のPESペイロードから構成される可変長のパケットである。
【0050】
パケットスタートコードは、24ビットの先頭開始コードと8ビットのストリームIDから成りPESパケットの先頭を表している。PESパケットレングスには、当該PESパケットのデータ長が記録される。PESパケットレングスに続く”10”は、当該パケットがPESパケットであることを表している。フラグと制御には、当該PESパケットのスクランブルの有無および種類、優先度、著作権情報等が記録される。PESヘッダデータレングスには、PESヘッダのデータ長が記録される。
【0051】
次に、磁気テープ9に対する記録フォーマットについて、図6を参照して説明する。磁気テープ9の1トラックには、141個のシンクブロック(以下、SBと記述する)を記録する。各トラックの両端の9個のSBには、誤り訂正用のC2パリティが記録される。C2パリティに挟まれる123個のSBには、メインデータ(PESパケット等)が記録される。
【0052】
SBは、111バイトの固定長であり、2バイトのシンク、3バイトのID、1バイトのSBヘッダ、95バイトのデータ領域、および、10バイトの誤り訂正用のC1パリティから構成される。
【0053】
3バイトのIDには、トラックナンバ、SBナンバ、および、オーバーライトプロテクトコードが記録される。オーバーライトプロテクトコードは、同じSBに情報が上書きされる度に更新される値であり、上書き時に以前のデータが消し残されてしまうことを防ぐために用いられる情報である。
【0054】
図7は、1バイト(8ビット)のSBヘッダに記録される情報を示している。SBヘッダのMSB(Most Significant Bit)側の3ビット(図7のbit−7乃至bit−5)は、SBヘッダに続く95バイトのデータ領域に記録されるデータのデータタイプを表している。LSB(Least Significant Bit)側の5ビット(図7のbit−4乃至bit−0)には、データタイプ毎に異なる情報が記録される。
【0055】
SBヘッダのMSB側の3ビットが000である場合、データタイプはPES-VIDEOである。SBヘッダのMSB側の3ビットが001である場合、データタイプはPES-AUDIOである。データタイプがPES-VIDEOまたはPES-AUDIOである場合、SBヘッダのMSB側から4ビット目(図7のbit−4)にはFull/Partialフラグが記録され、それに続くLSB側の4ビット(図7のbit−3乃至bit−0)には、同一のデータタイプのSBの連続性を示すコンティニティカウント値が記録される。
【0056】
図8は、データタイプがPES-VIDEOまたはPES-AUDIOであるSBのデータ構造を示している。SBヘッダに続く95バイトのデータ領域の全てをPESパケットが占める場合、SBヘッダのFull/Partialフラグには0が記録される。データ領域の全てをPESパケットが占めない場合、Full/Partialフラグには1が記録され、データ領域のMSB側の1バイトには、以降に前詰めされて記録されるPESパケットのデータ長が記録される。
【0057】
図7に戻り、SBヘッダのMSB側の3ビットが010である場合、データタイプはSEARCH-DATAである。データタイプがSEARCH-DATAである場合、SBヘッダのMSB側から4ビット目にはVideo/Audioフラグが記録され、次の3ビットにはサーチスピードが記録される。残り1ビットはリザーブである。データ領域には、固定サイズのサーチ用データが記録される。なお、データタイプがSEARCH-DATAであるSBのトラックにおける位置は予め定められており、他のデータタイプのSBは、SEARCH-DATAのSBの位置を避けて配置される。
【0058】
SBヘッダのMSB側の3ビットが011である場合、データタイプはAUXである。データタイプがAUXである場合、SBヘッダのMSB側から4ビット目乃至6ビット目には、AUXモードが記録される。残りの2ビットはリザーブである。データ領域には、固定サイズのAUXデータ(補助情報)が記録される。
【0059】
3ビットのAUXモードは、AUXデータの種類を表している。当該3ビットが000である場合、AUXモードはAUX_Vであり、データ領域には、ビデオデータに付随するAUXデータが記録される。当該3ビットが001である場合、AUXモードはAUX_Aであり、データ領域には、オーディオデータに付随するAUXデータが記録される。当該3ビットが010である場合、AUXモードはPSI-1であり、データ領域には、PSIのTSパケットの前半部分が記録される。当該3ビットが011である場合、AUXモードはPSI-2であり、データ領域には、PSIのTSパケットの後半部分が記録される。当該3ビットが100である場合、AUXモードはSYSTEMであり、データ領域には、システム的なAUXデータが記録される。
【0060】
図9は、データタイプがAUXであり、AUXモードがPSI-1またはPSI-2であるSBのデータ構造を示している。AUXモードがPSI-1であるSBのデータ領域の先頭の3バイトはリザーブであり、続く92バイトには、PSIのTSパケット(188バイト)の前半部分から先頭の1バイトのシンクバイト(Sync_byte)を除いた92バイトが記録される。AUXモードがPSI-2であるSBのデータ領域には、AUXモードがPSI-1のSBのデータ領域に前半部分が記録されたPSIのTSパケットの後半部分の95バイトが記録される。すなわち、1つのPSIのTSパケットは、AUXモードがPSI-1のSBとPSI-2のSBに2分割されて記録される。
【0061】
図7に戻り、SBヘッダのMSB側の3ビットが100である場合、データタイプはTS−1である。データタイプがTS−1である場合、SBヘッダのMSB側から4ビット目および5ビット目はリザーブである。残りの3ビットと、以降に続くデータ領域の先頭の3バイト(24ビット)には、27ビットのタイムスタンプが記録される。
【0062】
SBヘッダのMSB側の3ビットが101である場合、データタイプはTS−2である。データタイプがTS−2である場合、SBヘッダのLSB側の5ビットには、コンティニティカウント値が記録される。
【0063】
図10は、データタイプがTS-1またはTS-2であるSBのデータ構造を示している。データタイプがTS-1であるSBのデータ領域の先頭の3バイトは、上述したように、SBヘッダのLSB側の3ビットと合わされて27ビットのタイムスタンプの記録に用いられる。続くデータ領域の92バイトには、TSパケット(188バイト)の前半部分から先頭の1バイトのシンクバイト(Sync_byte)を除いた92バイトが記録される。データタイプがTS-2であるSBのデータ領域には、データタイプがTS-1のSBのデータ領域に前半部分が記録されたTSパケットの後半部分の95バイトが記録される。
【0064】
すなわち、1つのTSパケットは、データタイプがTS-1であるSBとTS-2であるSBに2分割されて記録される。データタイプがTS-2であるSBヘッダに記録されるコンティニティカウント値は、TS-1のSBとTS-2のSBに記録されたTSパケットの連続性を表す。
【0065】
図7に戻り、SBヘッダのMSB側の3ビットが110である場合、データタイプはNULLである。データタイプがNULLである場合、データ領域には、記録レートを満たすためだけの無効データが記録される。なお、データタイプがNULLであるSBヘッダ以降に記録されているデータバイトは無視される。
【0066】
SBヘッダのMSB側の3ビットが111である場合のデータタイプは、未定義(リザーブ)である。
【0067】
次に、本発明を適用したAV記録再生装置が可能な4種類の記録処理について、図11乃至図14を参照して説明する。図11乃至図14は、各記録処理の概念を示している。なお、以下においては、AV記録再生装置のビデオエンコード部1、ビデオPES化部2、オーディオエンコード部3、またはオーディオPES化部4によってES化されたES、PES化されたPES、および当該PESから成るTSをNativeと称し、その他のES、PES、およびTSをNon-Nativeと称する。
【0068】
第1の記録処理は、図11に示すように、NativeのESをPES化して、NativeのPESとして記録する方法である。第2の記録処理は、図12に示すように、NativeのTSを再度PES化して、NativeのPESとして記録する方法である。
【0069】
第3の記録処理は、図13に示すように、Non-NativeのTSをES化し、さらにPES化して、Non-NativeのPESとして記録する方法である。ただし、第3の記録処理を適用できる条件は、当該TSがマルチプログラムではなく、シングルプログラムであり、且つ、ビデオのESにvbv_delayが付加されていることである。これは、vbv_delayが付与されていない場合(vbv_delayに0xFFFFが記録されている場合)、TSをPES化するときに到着時刻情報が失われて再生時にTSを復元することができなくなるからである。
【0070】
第4の記録処理は、図14に示すように、Non-NativeのTSにタイムスタンプを付加し、Non-NativeのTSとして記録する方法である。第4の記録処理は、上述した第3の記録処理を適用できる条件を満たしていないTSに対して適用される。
【0071】
以下、第1乃至第4の記録処理について具体的に説明する。
【0072】
第1の記録処理について、図15のフローチャートを参照して説明する。ステップS1において、ビデオエンコード部1は、入力されたビデオベースバンド信号をMPEG方式でエンコードしてビデオESを生成し、ビデオPES化部2に出力する。このとき、ビデオESのビットレートは、シーケンスヘッダに含まれるビットレートに記録する最大レートに等しいビットレートで正確にエンコードするようにする。また、ピクチャヘッダのvbv_delayには、正確な値を記録する。
【0073】
オーディオエンコード部3は、入力されたオーディオベースバンド信号をMPEG方式でエンコードしてオーディオESを生成し、オーディオPES化部4に出力する。
【0074】
ステップS2において、ビデオPES化部2は、ビデオエンコード部1から入力されたビデオESの1ビデオフレーム毎に、PTSおよびDTSを含むPESヘッダを付加してPESパケットを生成し、A/V混合部5に出力する。
【0075】
オーディオPES化部4は、オーディオエンコード部3から入力されたオーディオESの1オーディオフレーム(AAU)毎に、PTSおよびDTSを含むPESヘッダを付加してPESパケットを生成し、A/V混合部5に出力する。
【0076】
ステップS3において、A/V混合部5は、ビデオPES化部2からのビデオPESパケットについて、Iピクチャ、Bピクチャ、およびBピクチャの3つのPESパケット、または、Pピクチャ、Bピクチャ、およびBピクチャの3つのPESパケットを結合して編集単位とする。A/V混合部5はまた、結合した当該3フレームの画像のPTS時刻のうち、最も早い値をPTS1とし、次の3フレームの画像の最も早い値をPTS2とした場合、PTS1以降であって、且つ、PTS2より前のPTSを有するオーディオのPESパケットを結合して編集単位とし、オーディオの編集単位、ビデオの編集単位の順序で交互に配置して混合PESを生成する。
【0077】
ステップS4において、A/V混合部5は、データタイプがAUXであってAUXモードがAUX_VまたはAUX_AであるSBを生成し、それらのデータ領域に著作権情報等の補助情報を記録して、当該AUXのSBを混合PESの境界に挿入する。
【0078】
ステップS5において、A/V混合部5は、データタイプがPES_VIDEOまたはPES_AUDIOのSBのデータ領域とするために、混合して配置したビデオのPESパケットとオーディオのPESパケットを、各PESパケットを95バイト毎に分割する。さらに、A/V混合部5は、図8を参照して上述したように、PESパケットを分割したものが95バイトであり、SBの全データ領域を占める場合には、Full/Partialフラグに0を記録したSBヘッダを生成する。PESパケットを分割したものが95バイトに満たず、SBのデータ領域(95バイト)を満たさない場合には、95バイトに満たないPESパケットを分割したものの先頭の1バイトにデータ長を記録し、また、Full/Partialフラグに1を記録したSBヘッダを生成する。
【0079】
ステップS6において、A/V混合部5は、データタイプがPES_VIDEOおよびPES_AUDIOのSB毎にそれぞれ、SBヘッダにコンティニティカウンタ値を記録してSBヘッダを完成し、ステップS5でPESパケットを95バイト毎に分割したものに付加してSBを生成する。生成されたSBは、A/V混合部5に内蔵されるインタリーブ単位のメモリに保持される。
【0080】
A/V混合部5はさらに、サーチ用データを記録したデータタイプがSEARCH_DATAであるSB、システム用の補助情報を記録したデータタイプがAUXであり、AUXモードがSYSTEMであるSB等を生成する。生成されたSBは、A/V混合部5に内蔵されるメモリの予め決められている位置に保持される。
【0081】
A/V混合部5はさらに、磁気テープ9に対する記録レートに対して、生成したSBが不足する場合、データタイプがNULLであるSBを生成する。生成されたSBは、A/V混合部5に内蔵されるメモリに保持される。
【0082】
ステップS7において、A/V混合部5は、1トラック分のSBに対するC2パリティを生成した後、各SBの最後尾にC1パリティを付加し、磁気テープ9に記録する順序で記録部6に出力を開始する。
【0083】
ステップS8において、記録部6は、A/V混合部5から順次入力されるSBを、既存の民生用ディジタルVCRに用いられているDVフォーマットと同様に、M系列でランドマイズした後、24/25変換によってランレングス制限とトラッキング用周波数の重畳を行い、磁気テープ9に記録する。
【0084】
第2の記録処理について、図16のフローチャートを参照して説明する。第2の記録処理は、デマルチプレクサ7にTSとともに入力されるPMT(Program Map Table)のdescriptor等に記録されている情報に基づいて、当該TSがNativeであると判定されたとき開始される。
【0085】
ステップS11において、デマルチプレクサ7は、入力されたTSをビデオTSパケットとオーディオTSパケットに分離して、それぞれをビデオPES化部2またはオーディオPES化部4に出力する。このとき、デマルチプレクサ7は、TSパケットのヘッダのトランスポートエラーインジケータおよびコンティニティカウンタに基づき、エラーが発生しているTSパケットや不連続のTSパケットを検出して廃棄し、エラーや不連続の発生を制御部16を介して、A/V混合部5に通知する。デマルチプレクサ7はさらに、TSに含まれるPCRを廃棄する。
【0086】
ビデオPES化部2は、デマルチプレクサ7から入力されたビデオTSパケットからビデオPESパケットを復元してA/V混合部5に出力する。ビデオPES化部2はまた、ビデオTSパケットから著作権情報等の補助情報を抽出してA/V混合部5に出力する。なお、復元されたビデオPESパケットはNativeであるので、各PESパケットは1ビデオフレームで構成されている。
【0087】
オーディオPES化部4は、デマルチプレクサ7から入力されたオーディオTSパケットからオーディオPESパケットを復元してA/V混合部5に出力する。オーディオPES化部4はまた、オーディオTSパケットから著作権情報等の補助情報を抽出してA/V混合部5に出力する。なお、復元されたオーディオPESパケットはNativeであるので、各PESパケットは1オーディオフレーム(AAU)で構成されている。
【0088】
A/V混合部5は、ビデオPES化部2からのビデオPESパケットについて、Iピクチャ、Bピクチャ、およびBピクチャの3つのPESパケット、または、Pピクチャ、Bピクチャ、およびBピクチャの3つのPESパケットを結合して編集単位とする。A/V混合部5はまた、図17に示すように、結合した当該3フレームの画像のPTS時刻のうち、最も早い値をPTS1とし、次の3フレームの画像の最も早い値をPTS2とした場合、PTS1以降であって、且つ、PTS2より前のPTSを有するオーディオのPESパケットを結合して編集単位とし、オーディオの編集単位、ビデオの編集単位の順序で交互に配置して混合PESを生成する。なお、図17は、入力されたTSが第2の記録処理によってPESとして記録されるまでの遅延量を示している。
【0089】
ステップS12において、A/V混合部5は、データタイプがAUXであってAUXモードがAUX_VであるSBを生成し、そのデータ領域にビデオPES化部2から入力された著作権情報等の補助情報を記録して、当該SBをビデオPESパケットに結合する。A/V混合部5はまた、データタイプがAUXであってAUXモードがAUX_AであるSBを生成し、そのデータ領域にオーディオPES化部4から入力された著作権情報等の補助情報を記録して、当該SBをオーディオPESパケットに結合する。
【0090】
ステップS13において、A/V混合部5は、データタイプがPES_VIDEOまたはPES_AUDIOのSBのデータ領域とするために、混合して配置したビデオのPESパケットとオーディオのPESパケットを、各PESパケットを95バイト毎に分割する。さらに、A/V混合部5は、図8を参照して上述したように、PESパケットを分割したものが95バイトであり、SBの全データ領域を占める場合には、Full/Partialフラグに0を記録したSBヘッダを生成する。PESパケットを分割したものが95バイトに満たず、SBのデータ領域(95バイト)を満たさない場合には、95バイトに満たないPESパケットを分割したものの先頭の1バイトにデータ長を記録し、また、Full/Partialフラグに1を記録したSBヘッダを生成する。
【0091】
ステップS14において、A/V混合部5は、データタイプがPES_VIDEOおよびPES_AUDIOのSB毎にそれぞれ、SBヘッダにコンティニティカウンタ値を記録してSBヘッダを完成し、ステップS13でPESパケットを95バイト毎に分割したものに付加してSBを生成する。生成されたSBは、A/V混合部5に内蔵されるインタリーブ単位のメモリに保持される。
【0092】
A/V混合部5はさらに、サーチ用データを記録したデータタイプがSEARCH_DATAであるSB、システム用の補助情報を記録したデータタイプがAUXであり、AUXモードがSYSTEMであるSB等を生成する。生成されたSBは、A/V混合部5に内蔵されるメモリの予め決められている位置に保持される。
【0093】
A/V混合部5はさらに、磁気テープ9に対する記録レートに対して、生成したSBが不足する場合、データタイプがNULLであるSBを生成する。生成されたSBは、A/V混合部5に内蔵されるメモリに保持される。
【0094】
なお、制御部16を介してデマルチプレクサ7からTSパケットのエラーや不連続を通知されている場合、ステップS13,S14において、A/V混合部5は、エラー直前までの半端なデータが残っているならば、PartialでSBに記録し、かつ、エラー以降のデータから新しいSBに記録する。さらに、当該新しいSBのヘッダのコンティニティカウンタには、再生時にエラーの位置を識別できるように、意図的に不連続な値を記録するようにする。
【0095】
ステップS15において、A/V混合部5は、1トラック分のSBに対するC2パリティを生成した後、各SBの最後尾にC1パリティを付加し、磁気テープ9に記録する順序で記録部6に出力を開始する。
【0096】
ステップS16において、記録部6は、A/V混合部5から順次入力されるSBを、既存の民生用ディジタルVCRに用いられているDVフォーマットと同様に、M系列でランドマイズした後、24/25変換によってランレングス制限とトラッキング用周波数の重畳を行い、磁気テープ9に記録する。
【0097】
第3の記録処理について、図18のフローチャートを参照して説明する。第3の記録処理は、デマルチプレクサ7にTSとともに入力されるPMTのdescriptor等に記録されている情報に基づいて、当該TSがNon-Nativeであり、且つ、第3の記録処理を適用できる条件を満たす(シングルプログラムであり、且つ、ビデオのESにvbv_delayが付加されている)と判定されたとき開始される。
【0098】
ステップS21において、デマルチプレクサ7は、入力されたTSをビデオTSパケットとオーディオTSパケットに分離して、それぞれをビデオPES化部2またはオーディオPES化部4に出力する。このとき、デマルチプレクサ7は、TSパケットのヘッダのトランスポートエラーインジケータおよびコンティニティカウンタに基づき、エラーが発生しているTSパケットや不連続のTSパケットを検出して廃棄し、エラーや不連続の発生を制御部16を介して、A/V混合部5に通知する。デマルチプレクサ7はさらに、TSからPSIのTSパケットを検出してA/V混合部5に供給する。デマルチプレクサ7はさらに、TSに含まれるPCRを廃棄する。
【0099】
ビデオPES化部2は、デマルチプレクサ7から入力されたビデオTSパケットからビデオPESパケットを復元して、当該ビデオPESパケットが1ビデオフレームで構成されているか否かを判定し、1ビデオフレームで構成されていないと判定した場合、ES化した後、PTSおよびDTSを補間して、1フレームで構成されるNativeと同様のPESパケットに変換し、A/V混合部5に出力する。ビデオPES化部2はまた、ビデオTSパケットから著作権情報等の補助情報を抽出してA/V混合部5に出力する。
【0100】
オーディオPES化部4は、デマルチプレクサ7から入力されたオーディオTSパケットからオーディオPESパケットを復元して、当該オーディオPESパケットが1オーディオフレーム(AAU)で構成されているか否かを判定し、1オーディオフレームで構成されていないと判定した場合、ES化した後、PTSを補間して、1フレームで構成されるNativeと同様のPESパケットに変換し、A/V混合部5に出力する。オーディオPES化部4はまた、オーディオTSパケットから著作権情報等の補助情報を抽出してA/V混合部5に出力する。
【0101】
ステップS22において、A/V混合部5は、ビデオPES化部2からのビデオPESパケットについて、Iピクチャ、Bピクチャ、およびBピクチャの3つのPESパケット、または、Pピクチャ、Bピクチャ、およびBピクチャの3つのPESパケットを結合して編集単位とする。A/V混合部5はまた、結合した当該3フレームの画像のPTS時刻のうち、最も早い値をPTS1とし、次の3フレームの画像の最も早い値をPTS2とした場合、PTS1以降であって、且つ、PTS2より前のPTSを有するオーディオのPESパケットを結合して編集単位とし、オーディオの編集単位、ビデオの編集単位の順序で交互に配置して混合PESを生成する。
【0102】
ステップS23において、A/V混合部5は、データタイプがAUXであってAUXモードがAUX_VであるSBを生成し、そのデータ領域にビデオPES化部2から入力された著作権情報等の補助情報を記録して、当該SBをビデオPESパケットに結合する。A/V混合部5はまた、データタイプがAUXであってAUXモードがAUX_AであるSBを生成し、そのデータ領域にオーディオPES化部4から入力された著作権情報等の補助情報を記録して、当該SBをオーディオPESパケットに結合する。A/V混合部5はさらに、データタイプがAUXであって、AUXモードがPSI-1であるSBとAUXモードがPSI-2であるSBを生成し、PSI-1のSBのデータ領域にデマルチプレクサ7からのPSIのTSパケットの前半部分を記録し、PSI-2のSBのデータ領域にPSIのTSパケットの後半部分を記録する。
【0103】
ステップS24において、A/V混合部5は、データタイプがPES_VIDEOまたはPES_AUDIOのSBのデータ領域とするために、混合して配置したビデオのPESパケットとオーディオのPESパケットを、各PESパケットを95バイト毎に分割する。さらに、A/V混合部5は、図8を参照して上述したように、PESパケットを分割したものが95バイトであり、SBの全データ領域を占める場合には、Full/Partialフラグに0を記録したSBヘッダを生成する。PESパケットを分割したものが95バイトに満たず、SBのデータ領域(95バイト)を満たさない場合には、95バイトに満たないPESパケットを分割したものの先頭の1バイトにデータ長を記録し、また、Full/Partialフラグに1を記録したSBヘッダを生成する。
【0104】
ステップS25において、A/V混合部5は、データタイプがPES_VIDEOであるSBおよびデータタイプがPES_AUDIOであるSBのSBヘッダにコンティニティカウンタ値を記録してSBヘッダを完成し、ステップS5でPESパケットを95バイト毎に分割したものに付加してSBを生成する。生成されたSBは、A/V混合部5に内蔵されるインタリーブ単位のメモリに保持される。
【0105】
A/V混合部5はさらに、サーチ用データを記録したデータタイプがSEARCH_DATAであるSB、システム用の補助情報を記録したデータタイプがAUXであり、AUXモードがSYSTEMであるSB等を生成する。生成されたSBは、A/V混合部5に内蔵されるメモリの予め決められている位置に保持される。
【0106】
A/V混合部5はさらに、磁気テープ9に対する記録レートに対して、生成したSBが不足する場合、データタイプがNULLであるSBを生成する。生成されたSBは、A/V混合部5に内蔵されるメモリに保持される。
【0107】
なお、制御部16を介してデマルチプレクサ7からTSパケットのエラーや不連続を通知されている場合、ステップS24,S25において、A/V混合部5は、エラー直前までの半端なデータが残っているならば、Partialフラグを立ててSBに記録し、かつ、エラー以降のデータから新しいSBに記録する。さらに、当該新しいSBのヘッダのコンティニティカウンタには、再生時にエラーの位置を識別できるように、意図的に不連続な値を記録するようにする。
【0108】
ステップS26において、A/V混合部5は、1トラック分のSBに対するC2パリティを生成した後、各SBの最後尾にC1パリティを付加し、磁気テープ9に記録する順序で記録部6に出力を開始する。
【0109】
ステップS27において、記録部6は、A/V混合部5から順次入力されるSBを、既存の民生用ディジタルVCRに用いられているDVフォーマットと同様に、M系列でランドマイズした後、24/25変換によってランレングス制限とトラッキング用周波数の重畳を行い、磁気テープ9に記録する。
【0110】
第4の記録処理について、図19のフローチャートを参照して説明する。第4の記録処理は、デマルチプレクサ7にTSとともに入力されるPMTのdescriptor等に記録されている情報に基づいて、当該TSがNon-Nativeであり、且つ、第3の記録処理を適用できる条件を満たさない(シングルプログラムではない、または、ビデオのESにvbv_delayが付加されていない)と判定されたとき開始される。
【0111】
ステップS31において、デマルチプレクサ7は、入力されたNon-NativeのTSを各TSパケットに分離して、A/V混合部5に出力する。A/V混合部5は、入力されたTSパケットから先頭のシンクバイトを除去した後、前半部分の92バイトと後半部分の95バイトに2分割し、前半部分の92バイトをデータ領域に記録したデータタイプがTS-1であるSBと、後半部分の95バイトをデータ領域に記録したデータタイプがTS-2であるSBを生成する。
【0112】
ステップS32において、A/V混合部5は、ステップS31で生成したデータタイプがTS-1であるSBのヘッダのLSB側の3ビットとデータ領域の先頭の3バイトからなる27ビットに、到着時刻を示すタイムスタンプを付加する。
【0113】
ステップS33において、A/V混合部5は、ステップS31で生成したデータタイプがTS-2であるSBのヘッダのLSB側の5ビットにTSパケットの連続性を示すコンティニティカウント値を記録する。生成されたSBは、A/V混合部5に内蔵されるメモリに保持される。なお、対応するTS-1のSBとTS-2のSBは、できる限り連続して配置する。またTSパケットにエラーや不連続が発生していても、そのままSBに記録する。
【0114】
A/V混合部5はさらに、サーチ用データを記録したデータタイプがSEARCH_DATAであるSB、システム用の補助情報を記録したデータタイプがAUXであり、AUXモードがSYSTEMであるSB等を生成する。生成されたSBは、A/V混合部5に内蔵されるメモリの予め決められている位置に保持される。
【0115】
A/V混合部5はさらに、磁気テープ9に対する記録レートに対して、生成したSBが不足する場合、データタイプがNULLであるSBを生成する。生成されたSBは、A/V混合部5に内蔵されるメモリに保持される。
【0116】
ステップS34において、A/V混合部5は、磁気テープ9に記録する順序でSBを、内蔵するメモリから記録部6に出力する。記録部6は、A/V混合部5から順次入力されるSBを、既存の民生用ディジタルVCRに用いられているDVフォーマットと同様に、M系列でランドマイズした後、24/25変換によってランレングス制限とトラッキング用周波数の重畳を行い、磁気テープ9に記録する。
【0117】
次に、本発明を適用したAV記録再生装置の再生処理について説明する。このAV記録再生装置は、上述した4種類の記録処理によって磁気テープ9に記録したPESまたはTSを読み出してデコードし、得られるビデオ信号およびオーディオ信号を出力する通常の再生処理の他、磁気テープ9に記録したPESを読み出し、TS化して出力するTS出力処理が可能である。
【0118】
AV記録再生装置のTS出力処理について、図20のフローチャートおよび図22を参照して説明する。このTS出力処理は、磁気テープ9から再生部10によって順次読み出されたSBがPESパケットに再生されて(パリティデータに基づくエラー訂正等を含む)TS化部14に供給され始め、且つ、IピクチャのPESパケットが検出されたとき開始される。なお、読み出されたPESがTSとして出力されるまでの遅延量を図21に示す。
【0119】
ステップS41(図22の▲1▼に相当する)において、TS出力部14は、IピクチャのPESヘッダからDTSを読み出し、ピクチャヘッダからvbv_delayを読み出してDTS-(vbv_delay)を演算し、さらにDTS-(vbv_delay)から所定の時間を減算した時刻を初期値をしてSTC(System Time Clock)を初期化し、STCカウンタの自走を開始させる。
【0120】
ステップS42(図22の▲2▼に相当する)において、TS出力部14は、PATおよびPMTのPSIパケットを生成して所定の間隔で出力する。これにより、当該TSの受信側においては、ビデオおよびオーディオのTSパケットを受信する以前にPATおよびPMTを受信して認識することができるので、先頭GOPの再生が欠けてしまうような不具合の発生を抑止することできる。
【0121】
ステップS43(図22の▲3▼に相当する)において、TS出力部14は、STCの値を記録したPCRパケットを任意の間隔で出力する。
【0122】
ステップS44(図22の▲4▼に相当する)において、TS出力部14は、ビデオについて、先頭のIピクチャのDTSからvbv_delayを減算した時刻(DTS-(vbv_delay))とSTCが一致したタイミングで、ビデオのPESパケットをTS化して出力を開始する。以降のピクチャについてもDTSからvbv_delayを減算した時刻がDTSと一致したタイミングで、PESパケットをTS化して出力する。なお、BピクチャにはDTSが記録されていないので、代わりにPTSを用いて同様に処理する。
【0123】
TS出力部14はまた(図22の▲5▼に相当する処理として)、オーディオについて、先頭のフレーム(AAU)のPTSからStart Up Delayを減算した時刻(PTS-(Start Up Delay))とSTCが一致したタイミングで、オーディオのPESパケットをTS化して出力を開始する。なお、オーディオの出力レートは、ヘッダのビットレートインデックス(Bitrate_index)に記録する値に正確に一致させるようにする。
【0124】
なお、AV記録再生装置はさらに、磁気テープ9に記録したTSをTSの状態で出力することが可能である。
【0125】
次に、TS化部14のTS出力処理における留意事項として、ビデオのTSパケットの出力間隔、AUXデータ(補助情報)の扱い、磁気テープ9に記録されているNon-NativeのTSを出力する処理、PES記録のエラー処理、および、TS記録のエラー処理について列記する。
【0126】
始めに、ビデオのTSパケットの出力間隔について説明する。磁気テープ9から読み出して再生したPESのピクチャヘッダに0xFFFF以外のvbv_delayが記録されており、且つ、シーケンスヘッダのビットレート(bit_rate)の値と出力レートが正確に一致する場合、すなわち、当該PESがNativeである場合、当該ビットレートよりも少し高めのレートでTS化し、各ピクチャのデータがなくなったら、次のピクチャのデータが入力されるまで待機すればよい。
【0127】
また、磁気テープ9から読み出して再生したPESのピクチャヘッダにvbv_delayが記録されていない(0xFFFFが記録されている)、または、シーケンスヘッダのビットレート(bit_rate)の値と出力レートが正確に一致しない場合、すなわち、当該PESがNon-Nativeである場合、ピクチャ毎に次のピクチャの(DTS-(vbv_delay))までの時間を、当該ピクチャのビット数で除算し、除算値の間隔で出力すればよい。
【0128】
次に、AUXデータ(補助情報)の扱いについて説明する。磁気テープ9から読み出して再生したPESがNativeである場合、AUXデータは、上述した第1または第2の記録処理によって、データタイプがAUX_VまたはAUX_AのSBに記録されているので、TS出力処理においては、AUX_VおよびAUX_Aに記録されているAUXデータをそのままTSパケットに載せて出力する。なお、AUX_VはビデオのPESと結合され、AUX_AはオーディオのPESと結合されているので、ビデオまたはオーディオのPESとタイミングを合わせてAUXデータをTS化して出力する。
【0129】
PMTはNative専用のものを生成する。PMTには、ビデオ、オーディオ、AUX、およびPCRの各PIDを記録する。PMTにはまた、AUXデータのうちの著作権情報等を記録し、汎用の機器においても著作権情報等を解釈できるようにする。PMTにはさらに、Nativeであることを表すdescriptorを記録する。
【0130】
磁気テープ9から読み出して再生したPESがNon-Nativeである場合、AUXデータであるPAT、PMT、およびSIT等は、データタイプがAUXであってAUXモードがPSI-1またはPSI-2であるSBに記録されているので、そのままTSパケットに戻して出力すればよい。なおTSパケットに戻すとき、ビデオ、オーディオ、およびPCRのPIDとして、PMTに記録されている値をそのまま使用するようにすれば、PMTおよびCRC(Cyclic Redundancy Check)を書き換える処理を省略できる。
【0131】
次に、磁気テープ9に記録されているNon-NativeのTSを出力する処理について説明する。上述した第4の記録処理によって磁気テープ9に記録されているTSには、タイムスタンプが記録されているので、再生時のSTCを基準として、当該タイムスタンプが一致したとき出力する。なお、磁気テープ9から再生されたTSヘッダには、第4の記録処理によりシンクバイトが存在しないので、これを付加して出力する。
【0132】
次に、PESで記録されたデータに対するSBヘッダのコンティニティカウンタに基づくエラー処理について、図23を参照して説明する。上述した第1乃至第3の記録処理により、SBのデータタイプはSBヘッダに記録される。したがって、SBにエラーが発生して訂正不能である場合、当該SBのデータタイプが不明となる。
【0133】
そこで、エラーが発生していないSBのSBヘッダに記録されているコンティニティカウンタ値の連続性に基づいて、エラーが発生して訂正不能であるSBのデータタイプを判別する。
【0134】
具体的には、データタイプがPES-VIDEOのSBのコンティニティカウンタ値を監視して、訂正不能なエラーが発生したSBの前後のSBのコンティニティカウンタ値の不連続を検知した場合、訂正不能なエラーが発生したSBのデータタイプはPES-VIDEOであると判別する。同様に、データタイプがPES-AUDIOのSBのコンティニティカウンタ値を監視して、訂正不能なエラーが発生したSBの前後のSBのコンティニティカウンタ値の不連続を検知した場合、訂正不能なエラーが発生したSBのデータタイプはPES-AUDIOであると判別する。
【0135】
このような判別により、PESが記録されているSBにエラーが発生したのか否かを識別することができるので、再生するビデオおよびオーディオに対してエラーの発生が与える影響を少なくすることができる。
【0136】
また、PES-VIDEOのSBとPES-AUDIOのSBとの境界でエラーが発生してた場合であっても、前の結合単位の最後のコンティニティカウンタ値との連続性を調べることにより、エラーを検出することができる。
【0137】
なお、コンティニティカウンタ値が連続しているときにはTSを連続して出力し、コンティニティカウンタ値が不連続であり、訂正不能なエラーと判別したときにはエラーコードを挿入する。エラーコードを挿入する方法は、ESレイヤではシーケンスエラーコード(Sequence Error Code)の0x000001B4を挿入すればよい。また、TSレイヤではトランスポートエラーインジケータ(transport_error_indicator)に1にセットしたパケットを出力すればよい。
【0138】
ところで、コンティニティカウンタ値は0乃至15を巡回する4ビットの値であるので、データタイプが同一であるSBが16の倍数個連続して欠落した場合、それを検知することができない。そこで、訂正不能なエラーが発生したSBが16個以上連続した場合、それらのSBのデータタイプに拘わらず、エラーコードを挿入するようにする。
【0139】
また、SBに訂正不能なエラーが発生していないときにも、このエラー処理を実行するようにすれば、記録時に意図的に記録した不連続なコンティニティカウンタ値を、再生時にエラーとして扱うことができる。
【0140】
次に、TSで記録されたデータに対するSBヘッダのコンティニティカウンタに基づくエラー処理について、図24を参照して説明する。上述した第4の記録処理により、SBのデータタイプはSBヘッダに記録される。したがって、SBにエラーが発生して訂正不能である場合、当該SBのデータタイプが不明となる。
【0141】
そこで、エラーが発生していないSBのSBヘッダに記録されているコンティニティカウンタ値の連続性に基づいて、エラーが発生して訂正不能であるSBのデータタイプを判別する。
【0142】
具体的には、訂正不能なSBを挟む正常なSBのデータタイプを監視し、データタイプがTS-1からTS-2に続いた場合、当該TS-2のSBヘッダに記録されてるコンティニティカウンタ値の、1つ前のTS-2のSBヘッダに記録されてるコンティニティカウンタ値との連続性を判定する。連続していると判定した場合、当該TS-1のSBと当該TS-2のSBはペアであるので、1つのTSパケットに復元して出力する。反対に、連続していないと判定した場合、当該TS-1のSBと当該TS-2のSBはペアではなく、両者ともペアが欠落したSBであるので両者を捨てる。
【0143】
ここでTSが捨てられたことは、前後する出力されたTSのTSヘッダに記録されるコンティニティカウンタ値に基づいて、受信側で検出されるので、再生するビデオおよびオーディオに対してエラーの発生が与える影響を少なくすることができる。
【0144】
データタイプがTS-2からTS-1に続いた場合、エラー処理を実行せずにそのまま出力する。すなわち、訂正不能なSBのデータタイプがTS-1またはTS-2であったとしても、そのことは、再生側においてTSヘッダのコンティニティカウンタ値の不連続に基づいて識別される。
【0145】
データタイプがTS-1からTS-1に続いた場合、先に読み出されたTS-1のSBを捨てる。先に読み出されたTS-1のSBを捨てたことは、再生側において、TSヘッダのコンティニティカウンタ値の不連続に基づいて識別される。
【0146】
データタイプがTS-2からTS-2に続いた場合、後に読み出されたTS-2のSBを捨てる。後に読み出されたTS-2のSBを捨てたことは、再生側において、TSヘッダのコンティニティカウンタ値の不連続に基づいて識別される。
【0147】
以上のことが留意されてTS出力処理は実行される。
次に、本発明を適用したAV記録再生装置に期待できる効果を列記する。
【0148】
記録時においては、ESで記録した場合、記録レートのオーバヘッドを最も少なくすることができる。PESで記録した場合、TSに容易に変換できるように記録できる。ESまたはPESで記録した場合、ジョグ再生時の処理が少ない。ESまたはPESで記録した場合、TSヘッダやTS到着時刻を示すタイムスタンプを記録しないので、オーバヘッドが少なくて済む。したがって、記録容量を節約できる。または、記録時間を長くすることができる。PCRを記録しないようにしたので、オーバヘッドが少なくて済む。従って、記録容量を節約できる。または、記録時間を長くすることができる。
【0149】
また、1ビデオフレームで1つのPESパケットを構成するようにしたので、全てのフレームにPTSが付与される。これにより、TS化するときのタイミングが復元し易くなる。また、ジョグ再生が実現し易くなる。1ビデオフレームで1つのPESパケットを構成するようにしたので、全てのフレームにPTSが付与される。これにより、TS化するときのタイミングが復元し易くなる。また、編集時においてオーディオが分割し易くなる。Native以外であっても編集対象とすることができる。従来、PIDによって識別していたデータ種類(データタイプ)を、PIDよりも少ないビット数の識別コードで表すようにしたので、オーバヘッドが少なくて済む。
【0150】
さらに、SBのデータ領域の全体が有効なデータで占められる場合、データ長を示すLengthのバイトを記録しないので、オーバヘッドが少なくて済む。PSI情報のセクションが複数のTSパケットに分割されるとき、TSパケットヘッダのペイロードユニットスタートインジケータによって先頭が識別されるので、PSIはTSヘッダ毎にデータタイプがAUXである2つのSBに記録することでこれが保存される。
【0151】
TS出力時においては、TSの出力を(DTS-(vbv_delay))から開始するようにしたので、到着時刻が記録されていなくてもタイミングを復元できる。記録されているbit_rateよりも少し高めの出力レートでTSを出力するので、フレーム境界でぶつかることがない。等間隔でTSを出力することにより、bit_rateが実際のレートよりも相当高く記録されていても、平均的なレートで出力することができる。PCRを先行させるようにしたので、再生側において、STCにPCRをロードした後、最初のフレームを受けることができる、したがって、再生データの先頭が欠けることなく表示させることができる。PATおよびPMTを先行させるようにしたので、再生側においては、PCRパケットを取りこぼすことなく受け取ることができる。エラーの箇所を識別できるようにしたので、エラーが画質や音質に与える影響を減少させることができる。記録時に検出されたエラーをビットを増やすことなく、再生側に伝達することができる。
【0152】
なお、本発明は、磁気テープ以外の情報記録媒体に、AV信号を記録する場合にも適用することが可能である。
【0153】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0154】
この記録媒体は、図1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク18(フロッピディスクを含む)、光ディスク19(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク20(MD(Mini Disc)を含む)、もしくは半導体メモリ21などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【0155】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0156】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0157】
【発明の効果】
以上のように、本発明の記録装置および方法によれば、再生側でエラーの発生を正確に検知できるようにデータストリームを記録することが可能となる。
【0158】
また、本発明の再生装置および方法によれば、エラーの発生を正確に検出することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したAV記録再生装置の構成例を示すブロック図である。
【図2】ES記録方式を示す図である。
【図3】 PES記録方式を示す図である。
【図4】TSパケットのデータ構造を示す図である。
【図5】 PESパケットのデータ構造を示す図である。
【図6】1トラック内のSBを示す図である。
【図7】SBヘッダを示す図である。
【図8】データタイプがPES-VIDEOまたはPES-AUDIOであるSBのデータ構造を示す図である。
【図9】データタイプがAUXであるSBのデータ構造を示す図である。
【図10】データタイプがTS-1またはTS-2であるSBのデータ構造を示す図である。
【図11】第1の記録処理の概念を示す図である。
【図12】第2の記録処理の概念を示す図である。
【図13】第3の記録処理の概念を示す図である。
【図14】第4の記録処理の概念を示す図である。
【図15】第1の記録処理を説明するフローチャートである。
【図16】第2の記録処理を説明するフローチャートである。
【図17】第2の記録処理における遅延量を示す図である。
【図18】第3の記録処理を説明するフローチャートである。
【図19】第4の記録処理を説明するフローチャートである。
【図20】TS出力処理を説明するフローチャートである。
【図21】TS出力処理における遅延量を示す図である。
【図22】TS出力処理を説明するための図である。
【図23】 PES記録時におけるエラー処理を説明するための図である。
【図24】TS記録時におけるエラー処理を説明するための図である。
【符号の説明】
1 ビデオエンコード部, 2 ビデオPES化部, 3 オーディオエンコード部, 4 オーディオPES化部, 5 A/V混合部, 6 記録部, 7 デマルチプレクサ, 9 磁気テープ, 10 再生部, 11 A/V分離部, 12 ビデオデコード部, 13 オーディオデコード部, 14 TS化部, 16 制御部, 17 ドライブ, 18 磁気ディスク, 19 光ディスク, 20 光磁気ディスク, 21 半導体メモリ
Claims (6)
- ビデオのデータストリームおよび前記ビデオのデータストリームに対応するオーディオのデータストリームを情報記録媒体に記録する記録装置において、
パケットで構成される前記データストリームを所定のデータ長毎に分割してシンクブロックを生成する分割手段と、
前記ビデオのデータストリームから生成された前記シンクブロックに、前記ビデオのデータストリームであることを識別するための識別情報および前記ビデオのデータストリームにおける順序を識別するカウント値を付与するとともに、前記オーディオのデータストリームから生成された前記シンクブロックに、前記オーディオのデータストリームであることを識別するための識別情報および前記オーディオのデータストリームにおける順序を識別するカウント値を付与する付与手段と、
前記ビデオのデータストリームから生成された前記シンクブロックと前記オーディオのデータストリームから生成された前記シンクブロックを混合して前記情報記録媒体に記録する記録手段と
を含む記録装置。 - 前記付与手段は、前記データストリームにエラーが発生した場合、不連続な前記カウント値を前記シンクブロックに付与する
請求項1に記載の記録装置。 - 前記データストリームは、パケッタイズドエレメンタリストリームである
請求項1に記載の記録装置。 - ビデオのデータストリームおよび前記ビデオのデータストリームに対応するオーディオのデータストリームを情報記録媒体に記録する記録装置の記録方法において、
パケットで構成される前記データストリームを所定のデータ長毎に分割してシンクブロックを生成する分割ステップと、
前記ビデオのデータストリームから生成された前記シンクブロックに、前記ビデオのデータストリームであることを識別するための識別情報および前記ビデオのデータストリームにおける順序を識別するカウント値を付与するとともに、前記オーディオのデータストリームから生成された前記シンクブロックに、前記オーディオのデータストリームであることを識別するための識別情報および前記オーディオのデータストリームにおける順序を識別するカウント値を付与する付与ステップと、
前記ビデオのデータストリームから生成された前記シンクブロックと前記オーディオのデータストリームから生成された前記シンクブロックを混合して前記情報記録媒体に記録する記録ステップと
を含む記録方法。 - 情報記録媒体に記録されているビデオのデータストリームおよび前記ビデオのデータストリームに対応するオーディオのデータストリームを再生する再生装置において、
前記情報記録媒体から、前記データストリームが所定のデータ長毎に分割されて生成されているシンクブロックを読み出す読み出し手段と、
読み出された前記シンクブロックに付与されている前記ビデオまたは前記オーディオのいずれかを示す識別情報、および前記ビデオまたは前記オーディオのデータストリームにおける順序を識別するカウント値を抽出する抽出手段と、
抽出された前記識別情報および前記カウント値に基づき、読み出された前記シンクブロックから前記ビデオのデータストリームおよび前記オーディオのデータストリームを再生する再生手段と、
抽出された前記識別情報および前記カウント値の連続性に基づいて、前記ビデオのデータストリームにおけるエラーの有無を検出し、前記エラーを検出した場合、エラー発生情報を、再生された前記ビデオのデータストリームに挿入するとともに、前記オーディオのデータストリームにおけるエラーの有無を検出し、前記エラーを検出した場合、エラー発生情報を、再生された前記オーディオのデータストリームに挿入する挿入手段と
を含む再生装置。 - 情報記録媒体に記録されているビデオのデータストリームおよび前記ビデオのデータストリームに対応するオーディオのデータストリームを再生する再生装置の再生方法において、
前記情報記録媒体から、前記データストリームが所定のデータ長毎に分割されて生成されているシンクブロックを読み出す読み出しステップと、
読み出された前記シンクブロックに付与されている前記ビデオまたは前記オーディオのいずれかを示す識別情報、および前記ビデオまたは前記オーディオのデータストリームにおける順序を識別するカウント値を抽出する抽出ステップと、
抽出された前記識別情報および前記カウント値に基づき、読み出された前記シンクブロックから前記ビデオのデータストリームおよび前記オーディオのデータストリームを再生する再生ステップと、
抽出された前記識別情報および前記カウント値の連続性に基づいて、前記ビデオのデータストリームにおけるエラーの有無を検出し、前記エラーを検出した場合、エラー発生情報を、再生された前記ビデオのデータストリームに挿入するとともに、前記オーディオのデータストリームにおけるエラーの有無を検出し、前記エラーを検出した場合、エラー発生情報を、再生された前記オーディオのデータストリームに挿入する挿入ステップと
を含む再生方法。
Priority Applications (14)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000125229A JP4288549B2 (ja) | 2000-04-26 | 2000-04-26 | 記録装置および方法、並びに再生装置および方法 |
US09/841,420 US7088911B2 (en) | 2000-04-26 | 2001-04-24 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
EP08000203A EP1903806A2 (en) | 2000-04-26 | 2001-04-25 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
EP08000204A EP1903807A2 (en) | 2000-04-26 | 2001-04-25 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
CNB011170956A CN1251493C (zh) | 2000-04-26 | 2001-04-25 | 记录装置和方法、重放装置和方法 |
KR1020010022263A KR100811962B1 (ko) | 2000-04-26 | 2001-04-25 | 기록 장치 및 기록 방법, 재생 장치 및 재생 방법과 그기록 매체 |
EP08000205A EP1903808A2 (en) | 2000-04-26 | 2001-04-25 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
EP01303753A EP1150504A3 (en) | 2000-04-26 | 2001-04-25 | Apparatus, method and medium for recording and playback of audio and video signals |
US10/848,449 US7231137B2 (en) | 2000-04-26 | 2004-05-18 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
US10/848,475 US7379659B2 (en) | 2000-04-26 | 2004-05-18 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
US10/848,326 US7239801B2 (en) | 2000-04-26 | 2004-05-18 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
US11/083,193 US7221856B2 (en) | 2000-04-26 | 2005-03-17 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
US11/083,009 US7076156B2 (en) | 2000-04-26 | 2005-03-17 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
US12/126,093 US20080226261A1 (en) | 2000-04-26 | 2008-05-23 | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000125229A JP4288549B2 (ja) | 2000-04-26 | 2000-04-26 | 記録装置および方法、並びに再生装置および方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001309307A JP2001309307A (ja) | 2001-11-02 |
JP2001309307A5 JP2001309307A5 (ja) | 2006-12-14 |
JP4288549B2 true JP4288549B2 (ja) | 2009-07-01 |
Family
ID=18635214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000125229A Expired - Fee Related JP4288549B2 (ja) | 2000-04-26 | 2000-04-26 | 記録装置および方法、並びに再生装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4288549B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100539884B1 (ko) * | 2004-06-19 | 2005-12-28 | 삼성전자주식회사 | 디지털 방송 데이터 출력 중 수신된 문자메시지를처리하는 이동통신단말 및 그 방법 |
KR100871206B1 (ko) * | 2004-12-22 | 2008-12-01 | 삼성전자주식회사 | 리드-솔로몬 부호의 복호 장치 및 방법 |
US8208579B2 (en) * | 2005-09-16 | 2012-06-26 | Panasonic Corporation | Radio transmitting apparatus, radio receiving apparatus, and data placing method |
JP2007226892A (ja) * | 2006-02-23 | 2007-09-06 | Matsushita Electric Ind Co Ltd | 記録再生装置 |
JP2010171997A (ja) * | 2010-03-11 | 2010-08-05 | Hitachi Ltd | デジタル放送受信装置 |
JP2011086370A (ja) * | 2010-11-19 | 2011-04-28 | Panasonic Corp | 記録再生装置 |
-
2000
- 2000-04-26 JP JP2000125229A patent/JP4288549B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001309307A (ja) | 2001-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100811962B1 (ko) | 기록 장치 및 기록 방법, 재생 장치 및 재생 방법과 그기록 매체 | |
JP3197766B2 (ja) | Mpegオーディオデコーダ、mpegビデオデコーダおよびmpegシステムデコーダ | |
US8233776B2 (en) | After-recording apparatus | |
JP3094999B2 (ja) | オーディオ・ビデオ同期再生装置 | |
JP3133630B2 (ja) | Mpegシステムデコーダ | |
JP4288549B2 (ja) | 記録装置および方法、並びに再生装置および方法 | |
JP4254007B2 (ja) | 再生装置および方法、並びに記録媒体 | |
JP4284574B2 (ja) | 記録装置および方法、並びに記録媒体 | |
KR100340753B1 (ko) | 디지털 비트 스트림의 블록 형성방법 및 장치 | |
WO2003105473A1 (ja) | ビデオテープレコーダ及び記録方法 | |
JPWO2006075457A1 (ja) | 記録装置 | |
JP3380517B2 (ja) | 特殊再生データ作成装置、及び媒体 | |
WO2003105472A1 (ja) | ビデオテープレコーダ及び記録方法 | |
JP2004015384A5 (ja) | ||
JP4164769B2 (ja) | ビデオテープレコーダ及び記録方法 | |
JP4655101B2 (ja) | データ生成装置及びデータ生成方法 | |
WO2004095844A1 (ja) | 画像符号化装置および画像符号化方法 | |
JPH11136635A (ja) | デジタルデータ記録再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090305 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090318 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140410 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |