JP4217934B2 - トランスポートストリーム記録装置および方法、並びに記録媒体 - Google Patents

トランスポートストリーム記録装置および方法、並びに記録媒体 Download PDF

Info

Publication number
JP4217934B2
JP4217934B2 JP22072799A JP22072799A JP4217934B2 JP 4217934 B2 JP4217934 B2 JP 4217934B2 JP 22072799 A JP22072799 A JP 22072799A JP 22072799 A JP22072799 A JP 22072799A JP 4217934 B2 JP4217934 B2 JP 4217934B2
Authority
JP
Japan
Prior art keywords
packet
circuit
time
recording
transport
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP22072799A
Other languages
English (en)
Other versions
JP2001044957A (ja
Inventor
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP22072799A priority Critical patent/JP4217934B2/ja
Publication of JP2001044957A publication Critical patent/JP2001044957A/ja
Application granted granted Critical
Publication of JP4217934B2 publication Critical patent/JP4217934B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ランスポートストリーム記録装置および方法、並びに記録媒体に関し、特に、ビットレートが変動するエレメンタリストリームを多重化してトランスポートストリームを生成して、記する場合に用いて好適なランスポートストリーム記録装置および方法、並びに記録媒体に関する。
【0002】
【従来の技術】
図1は、従来のトランスポートストリーム生成装置の構成の一例を示している。このトランスポートストリーム生成装置は、入力されるビデオ信号およびオーディオ信号をMPEG(Moving Picture Experts Group)2方式でエンコードした後、トランスポートパケット(以下、TSパケットと記述する)化して時分割で多重化することにより、トランスポートストリームを生成するものである。
【0003】
このトランスポートストリーム生成装置のMPEGビデオエンコーダ1は、入力されるビデオ信号をMPEG2方式でエンコードして、得られたMPEGビデオストリームをビデオストリームバッファ2に出力する。MPEGビデオエンコーダ1はまた、得られたMPEGビデオストリームに対応するアクセスユニット情報を多重化スケジューラ5に出力する。MPEGビデオストリームに対応するアクセスユニット情報とは、MPEGビデオストリームを構成する各ピクチャのピクチャタイプ、符号化ビット量、およびデコードタイムスタンプである。ここで、ピクチャタイプとは、当該ピクチャがIピクチャ、Pピクチャ、またはBピクチャのうちのいずれであるかを示す情報であり、デコードタイムスタンプとは、MPEG2システムズ(ISO/IEC 13818-1)で規定されている情報である。
【0004】
ビデオストリームバッファ2は、MPEGビデオエンコーダ1から入力されるMPEGビデオストリームを一時的に蓄え、スイッチ6を介するトランスポートパケット化回路7から要求に対応して、蓄えたMPEGビデオストリームをスイッチ6の入力端子aを介してトランスポートパケット化回路(以下、TSパケット化回路と記述する)7に出力する。
【0005】
MPEGオーディオエンコーダ3は、入力されるオーディオ信号をMPEG2方式でエンコードして、得られたMPEGオーディオストリームをオーディオストリームバッファ4に出力する。MPEGオーディオエンコーダ3はまた、得られたMPEGオーディオストリームに対応するアクセスユニット情報を多重化スケジューラ5に出力する。MPEGオーディオストリームに対応するアクセスユニット情報とは、MPEGオーディオストリームを構成する各オーディオフレームの符号化ビット量、およびデコードタイムスタンプである。
【0006】
オーディオストリームバッファ4は、MPEGオーディオエンコーダ3から入力されるMPEGオーディオストリームを一時的に蓄え、スイッチ6を介するTSパケット化回路7から要求に対応して、蓄えたMPEGオーディオストリームをスイッチ6の入力端子bを介してTSパケット化回路7に出力する。
【0007】
多重化スケジューラ5は、MPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3から入力されるアクセスユニット情報に基づいて、MPEGビデオストリームおよびMPEGオーディオストリームからトランスポートストリームを生成する方法を決定し、決定結果に対応するパケット化制御情報を生成して、スイッチ6およびTSパケット化回路7に出力する。多重化スケジューラ5はまた、MPEG2システムズで規定されているPCR(Program Clock Reference、プログラム時刻基準参照値)を発生し、TSパケット化回路7に出力する。
【0008】
スイッチ6は、多重化スケジューラ5から入力されるパケット化制御情報に基づいて、ビデオストリームバッファ2からのMPEGビデオストリームが入力される入力端子a、オーディオストリームバッファ4からのMPEGオーディオストリームが入力される入力端子b、または、情報としては意味をなさない、トランスポートストリームのビットレートを一定とするために用いられるヌルデータ(Null data)が入力される入力端子cに切り替えられる。したがって、TSパケット化回路7には、MPEGビデオストリーム、MPEGオーディオストリーム、またはヌルデータのいずれかが入力される。
【0009】
TSパケット化回路7は、多重化スケジューラ5から入力されるパケット化制御情報に基づいて、スイッチ6から入力されるMPEGビデオストリーム、MPEGオーディオストリーム、ヌルデータ、または、多重化スケジューラ5から入力されるPCRをTSパケット化し、後段に出力する。
【0010】
次に、多重化スケジューラ5の動作について、図2にフローチャートを参照して説明する。このTSパケット化制御処理は、多重化スケジューラ5に、MPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3から最初のアクセスユニット情報が入力されたときに開始される。
【0011】
ステップS1において、多重化スケジューラ5は、TSパケット化回路7に生成させるトランスポートストリームのビットレートを決定する。トランスポートストリームのビットレートは、各入力ストリーム(MPEGビデオストリームおよびMPEGオーディオストリーム)のビットレートの最大値の総和よりも、少なくとも多重化のためにTSパケット化されて付加されるヘッダの分だけ大きい値に設定される。これ以降、決定されたトランスポートストリームのビットレートは固定値となる。
【0012】
ステップS2において、多重化スケジューラ5はMPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3からのアクセスユニット情報を受信して、TSパケットの符号化方法(ペイロードデータ長等)を決定する。この符号化方法は、MPEG2システムズで規定されているT-STD(Transport stream System Target Decorder)の条件を満たすものである。
【0013】
ステップS3において、多重化スケジューラ5は、PCRパケットを生成するタイミングであるか否かを判定する。PCRパケットを生成するタイミングであると判定された場合、ステップS4に進む。ここで、PCRパケットとは、トランスポートパケットのadaptation_fieldにMPEG2システムズで規定されているPCRが符号化されているパケットである。PCRパケットは、100ミリ秒以内の時間間隔で生成しなければならない。PCRは、トランスポートパケットが受信側に到着する時刻を27MHzの精度で表すものである。
【0014】
ステップS4において、多重化スケジューラ5は、PCRパケットの生成を指示するパケット化制御情報をTSパケット化回路7に出力する。
【0015】
次に、ステップS5に進み、多重化スケジューラ5は、MPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3のそれぞれから入力されたアクセスユニット情報に基づいて、当該トランスポートストリーム生成装置に対するビデオ信号およびオーディオ信号の入力が終了したか否かを判定する。ビデオ信号およびオーディオ信号の入力が終了していないと判定された場合、ステップS2に戻り、それ以降の処理が繰り返される。
【0016】
再び、ステップS3に進み、PCRパケットを生成するタイミングではないと判定された場合、ステップS6に進む。
【0017】
ステップS6において、多重化スケジューラ5は、MPEGオーディオエンコーダ3から入力されたアクセスユニット情報に基づいて、MPEGオーディオストリームをTSパケット化するタイミングであるか否かを判定する。MPEGオーディオストリームをTSパケット化するタイミングであると判定された場合、ステップS7に進む。
【0018】
ステップS7において、多重化スケジューラ5は、オーディオTSパケットの生成と、そのペイロードデータ長を指示するパケット化制御情報を、スイッチ6およびTSパケット化回路7に出力する。オーディオパケットの場合、そのペイロードは、所定の数のオーディオフレームをMPEGで規定されているPESパケットにパケット化したデータを184バイト(188バイトのトランスポートパケットから4バイトの必須ヘッダを除いたデータ長)ずつに分割したものである。従って、PESパケットの最後のデータを含む場合、ペイロードのデータ長は、そのPESパケットのデータ長を184で割ったときの余りであり、それ以外のときのペイロードのデータ長は184バイトである。
【0019】
また、ステップS6において、MPEGオーディオストリームをTSパケット化するタイミングではないと判定された場合、ステップS8に進む。ステップS8において、多重化スケジューラ5は、MPEGビデオエンコーダ1から入力されたアクセスユニット情報に基づいて、MPEGビデオストリームをTSパケット化するタイミングであるか否かを判定する。MPEGビデオストリームをTSパケット化するタイミングであると判定された場合、ステップS9に進む。
【0020】
ステップS9において、多重化スケジューラ5は、ビデオTSパケットの生成と、そのペイロードデータ長を指示するパケット化制御情報を、スイッチ6およびTSパケット化回路7に出力する。ビデオパケットの場合、そのペイロードは、1枚のピクチャをMPEGで規定されているPESパケットにパケット化したデータを184バイト(188バイトのトランスポートパケットから4バイトの必須ヘッダを除いたデータ長)ずつに分割したものである。従って、PESパケットの最後のデータを含む場合、ペイロードのデータ長は、そのPESパケットのデータ長を184で割ったときの余りであり、それ以外のときのペイロードのデータ長は184バイトである。
【0021】
なお、ステップS8において、MPEGビデオストリームをTSパケット化するタイミングではないと判定された場合、ステップS10に進む。ステップS10において、多重化スケジューラ5は、ヌルパケットの生成を指示するパケット化制御情報を、スイッチ6およびTSパケット化回路7に出力する。ここで、ヌルパケットとは、TSパケットのPIDがx1FFFであり、ペイロードに意味をなさないデータが記述されているパケットである。ヌルパケットは、PCRパケット、ビデオTSパケット、およびオーディオTSパケットが生成されないタイミングにおいて、トランスポートストリームのビットレートを一定化するために生成される。
【0022】
その後、ステップS5において、ビデオ信号およびオーディオ信号の入力が終了したと判定された場合、多重化スケジューラ5は、TSパケット化の終了を指示するパケット化制御情報をTSパケット化回路7に出力した後、このTSパケット化制御処理を終了する。
【0023】
次に、TSパケット化回路7の動作について、図3のフローチャートを参照して説明する。始めに、ステップS11において、TSパケット化回路7に、多重化スケジューラ5からのパケット化制御信号が入力される。ステップS12において、TSパケット化回路7は、ステップS11で入力されたパケット化制御信号に対応して、スイッチ6から入力されるデータをTSパケット化する。
【0024】
すなわち、パケット化制御信号がPCRパケットの生成を指示するものである場合、このパケット化制御信号に対応して、TSパケット化回路7は、多重化スケジューラ5から入力されるPCRを用いてPCRパケットを生成する。
【0025】
パケット化制御信号がビデオTSパケットの生成を指示するものである場合、このパケット化制御信号に対応して、TSパケット化回路7は、入力端子aに切り替えられたスイッチ6を介してビデオストリームバッファ3からMPEGビデオストリームを読み出し、ビデオTSパケットを生成する。
【0026】
パケット化制御信号がオーディオTSパケットの生成を指示するものである場合、このパケット化制御信号に対応して、TSパケット化回路7は、入力端子bに切り替えられたスイッチ6を介してオーディオストリームバッファ4からMPEGオーディオストリームを読み出し、オーディオTSパケットを生成する。
【0027】
パケット化制御信号がヌルパケットの生成を指示するものである場合、このパケット化制御信号に対応して、TSパケット化回路7は、入力端子cに切り替えられたスイッチ6を介して入力されるヌルデータを用いて、ヌルパケットを生成する。
【0028】
次に、図4は、図1のトランスポートストリーム生成装置により生成されたトランスポートストリームを記録するトランスポートストリーム記録装置の構成の一例を示している。ビットストリームパーサ11は、入力されるトランスポートストリーム(図1のトランスポートストリーム生成装置により生成されたトランスポートストリーム)をTSP_extra_header付加回路14に供給するとともに、トランスポートストリームを構成するPCRパケットからPCRを読み出してPLL(Phase Locked Loop)回路12に出力する。PLL回路12は、当該トランスポートストリーム記録装置のクロック信号(27MHz)をPCRにロックさせる。タイムスタンプ発生回路13は、PCRにロックされたクロック信号のクロックカウンタ値に基づいてタイムスタンプを発生し、TSP_extra_header付加回路14に出力する。
【0029】
TSP_extra_header付加回路14は、ビットストリームパーサ11からの各TSパケットの第1バイト目がスムージングバッファ15に入力されるときのタイムスタンプ発生回路13から供給されるタイムスタンプを、TSP_extra_headerとして各TSパケットに付加する。
【0030】
図5は、TSP_extra_headerが付加されたTSパケットの記録フォーマットを示している。同図に示すように、TSP_extra_header(3バイト)は、TSパケットの第1バイト目のsync_byte(=0x47)を除いた187バイトのMSB(Most Significant Bit)側に付加される。TSP_extra_headerは、3ビットのリザーブ(reserved)、および21ビットのタイムスタンプカウンタ(time_satmp_counter)から構成される。タイムスタンプカウンタは、MPEG2システムズ(ISO/IEC13818-1)で規定されているスムージングバッファ15の入力におけるTSパケットの第1バイト目の最初のビットの予定到着時刻を示す。
【0031】
タイムスタンプが付加されたTSパケットは、スムージングバッファ15にバッファリングされた後、例えば、磁気テープ等の記録媒体16に記録される。
【0032】
次に、図6は、図5のトランスポートストリーム記録装置によって記録媒体16に記録されたTSパケットを再生するトランスポートストリーム再生装置の構成の一例を示している。TSP_extra_header分離回路17は、記録媒体16から読み出した、TSP_extra_headerが付加されたTSパケットからTSP_extra_headerを分離してその中のタイムスタンプカウンタの値を、タイミング発生回路21および比較回路19に出力し、TSP_extra_headerが分離されたTSパケットを出力制御回路18に供給する。
【0033】
タイミング発生回路21は、発振回路20から供給されるクロック信号(27MHz)に基づいて、TSP_extra_header分離回路17から最初に供給されるタイムスタンプカウンタの値を初期値とする時間を計算する。比較回路19は、タイミング発生回路21からの時間と、TSP_extra_header分離回路17からのタイムスタンプカウンタの値を比較して、両者が等しい場合、出力制御回路18に制御信号を供給する。出力制御回路18は、比較回路19から制御信号が入力された場合、TSP_extra_header分離回路17からのTSP_extra_headerが除去されたTSパケットを後段に出力する。
【0034】
図7は、上述したトランスポートストリーム生成装置、およびトランスポートストリーム記録装置によるTSパケットの生成と記録の例を示している。ただし、同図においては、図示を簡略化するためにビデオ信号だけを入力した場合を示している。MPEGビデオエンコーダ1で生成された可変ビットレートのMPEGビデオストリームは、ビデオバッファ2およびスイッチ6を介してTSパケット化回路7に供給され、同図(A)に示すように、固定ビットレートのトランスポートストリームとして後段に出力される。
【0035】
すなわち、ビデオビットレートRvが6Mbpsである状態のときに、ヌルパケットが用いられない状態であるとすると、ビデオビットレートRvが2Mbpsであるときには、1個のビデオTSパケットが生成された後に、2個のヌルパケットが生成されることとなり、ビデオビットレートRvが3Mbpsであるときには、1個のビデオTSパケットが生成された後に、1個のヌルパケットが生成されることとなる。このようにして生成されたビデオTSパケットとヌルパケットには、同図(B)に示すように、TSP_extra_headerが付加されて、同図(C)に示すように、前詰めされて記録媒体16に記録される。
【0036】
【発明が解決しようとする課題】
以上のように、従来において生成されるトランスポートストリームには、そのビットレートを一定化させるためにヌルパケットが挿入されていた。すなわち、平均ビットレートがRAVであり、最大ビットレートがRMAXである可変ビットレートのストリームを用いて、固定ビットレートRMAXのトランスポートストリームを生成する場合、生成されるトランスポートストリームには、単位時間当たり、ビット量(RMAX−RAV)のヌルパケットが含まれることとなる。
【0037】
そのようなトランスポートストリームを記録する場合、情報としては意味をなさないヌルパケットも記録することになるので、ヌルパケットを記録する記録媒体の領域やその記録処理に費やす時間が無駄であって、実質的な情報の記録効率が悪い課題があった。
【0038】
本発明はこのような状況に鑑みてなされたものであり、間欠的なTSパケットに時刻情報を付加した後、間隔を詰めることにより、トランスポートストリームを効率的に記録できるようにするものである。
【0044】
【課題を解決するための手段】
本発明のトランスポートストリーム記録装置は、トランスポートストリームに含まれているヌルパケットを除去する除去手段と、ヌルパケットが除去されたトランスポートストリームを構成する全てのトランスポートパケットに時刻情報を付加する付加手段と、付加手段が時刻情報を付加したトランスポートパケットを一時的に記憶する記憶手段と、記憶手段が記憶した時刻情報が付加されたトランスポートパケットを所定のビットレートで読み出す読み出し手段と、読み出し手段が所定のビットレートで読み出した時刻情報が付加されたトランスポートパケットを情報記録媒体に記録する記録手段とを含
【0045】
本発明のトランスポートストリーム記録方法は、トランスポートストリームに含まれているヌルパケットを除去する除去ステップと、ヌルパケットが除去されたトランスポートストリームを構成する全てのトランスポートパケットに時刻情報を付加する付加ステップと、付加ステップの処理で時刻情報が付加されたトランスポートパケットを一時的に記憶する記憶ステップと、記憶ステップの処理で記憶した時刻情報が付加されたトランスポートパケットを所定のビットレートで読み出す読み出しステップと、読み出しステップの処理で所定のビットレートで読み出された時刻情報が付加されたトランスポートパケットを情報記録媒体に記録する記録ステップとを含
【0046】
本発明記録媒体に記録されたプログラムは、トランスポートストリームに含まれているヌルパケットを除去する除去ステップと、ヌルパケットが除去されたトランスポートストリームを構成する全てのトランスポートパケットに時刻情報を付加する付加ステップと、付加ステップの処理で時刻情報が付加されたトランスポートパケットを一時的に記憶する記憶ステップと、記憶ステップの処理で記憶した時刻情報が付加されたトランスポートパケットを所定のビットレートで読み出す読み出しステップと、読み出しステップの処理で所定のビットレートで読み出された時刻情報が付加されたトランスポートパケットを情報記録媒体に記録する記録ステップとを含む処理をトランスポートストリーム記録装置のコンピュータに実行させる。
【0048】
本発明においては、トランスポートストリームに含まれているヌルパケットが除去され、ヌルパケットが除去されたトランスポートストリームを構成する全てのトランスポートパケットに時刻情報が付加される。また、時刻情報が付加されたトランスポートパケットが一時的に記憶され、記憶された時刻情報が付加されたトランスポートパケットが所定のビットレートで読み出され、所定のビットレートで読み出された時刻情報が付加されたトランスポートパケットが情報記録媒体に記録される。
【0049】
【発明の実施の形態】
本発明を適用したトランスポートストリーム記録装置(以下、TS記録装置と記述する)の構成例について、図8を参照して説明する。このTS記録装置は、入力されるビデオ信号およびオーディオ信号を、MPEG2方式でエンコードした後、TSパケット化して時分割で多重化し、得られたトランスポートストリーム(以下、TSと記述する)を記録媒体に記録するものである。なお、当該TS記録装置を構成する回路のうちの、図1に示したトランスポートストリーム生成装置を構成する回路と共通するもの(MPEGビデオエンコーダ1乃至オーディオストリームバッファ4)については同一の符号を付しており、その説明は適宜省略する。
【0050】
TS記録装置の多重化スケジューラ5は、MPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3のそれぞれから入力されるアクセスユニット情報に基づいて、パケット化制御情報を生成し、スイッチ6およびTSパケット化回路7に出力する。多重化スケジューラ5はまた、MPEG2方式で規定されているPCRを発生し、TSパケット化回路7およびarrival_time_stamp計算回路32に出力する。
【0051】
スイッチ31は、多重化スケジューラ5から入力されるパケット化制御情報に基づいて、ビデオストリームバッファ2の出力が供給される入力端子a、オーディオストリームバッファ4の出力が供給される入力端子b、または中立に切り換えられる。TSパケット化回路7は、多重化スケジューラ5から入力されるパケット化制御情報に基づいて、スイッチ6を介してビデオストリームバッファ2からMPEGビデオストリームを、または、オーディオストリームバッファ4からMPEGオーディオストリームを読み出してTSパケット化し、arrival_time_stamp付加回路33に出力する。TSパケット化回路7はまた、多重化スケジューラ5から入力されるPCRをTSパケット化し、得られたPCRパケットをarrival_time_stamp付加回路33に出力する。
【0052】
arrival_time_stamp計算回路32は、多重化スケジューラ5から入力されるPCRに基づいて、TSパケットの第1バイト目が受信側に到着する時刻を27MHzの精度で示すタイムスタンプarrival_time_stampを計算し(詳細は図11を参照して後述する)、arrival_time_stamp付加回路33に出力する。arrival_time_stamp付加回路33は、TSパケット化回路7から入力されるTSパケットに、arrival_time_stamp計算回路32から入力されるarrival_time_stampを付加してスムージングバッファ34に出力する。
【0053】
スムージングバッファ34は、arrival_time_stamp付加回路33から入力される、arrival_time_stampが付加されたTSパケットを一時的に蓄える。書き込み回路35は、スムージングバッファ34が一時的に蓄えたarrival_time_stampが付加されたTSパケットを、固定のビットレートで読み出して記録媒体16に記録する。
【0054】
次に、TS記録装置の動作について説明する。TS記録装置に入力されたビデオ信号は、MPEGビデオエンコーダ1により、MPEGビデオストリームにエンコードされてビデオストリームバッファ2に一時的に蓄えられる。ビデオ信号に対応するオーディオ信号は、MPEGオーディオエンコーダ3により、MPEGオーディオストリームにエンコードされてオーディオストリームバッファ4に一時的に蓄えられる。
【0055】
ビデオストリームバッファ2に蓄えられたMPEGビデオストリーム、および、オーディオストリームバッファ4に蓄えられたMPEGオーディオストリームは、スイッチ31を介して、多重化スケジューラ5からの制御によって動作するTSパケット化回路7に読み出されてTSパケット化され、arrival_time_stamp付加回路33により、arrival_time_stampが付加されてスムージングバッファ34に一時的に蓄えられる。スムージングバッファ34に蓄えられた、arrival_time_stampが付加されたTSパケットは、書き込み回路35により所定のビットレートRrecで読み出されて記録媒体16に記録される。
【0056】
ここで、TSパケット化回路7から出力されるトランスポートストリームのビットレートをRtrとすると、Rrecは次に示す値となる。すなわち、スムージングバッファ34が空のとき、Rrecは0であり、スムージングバッファ34が空でないとき、Rrecは次式を満たす固定値である。
【0057】
Rrec>Rtr×192/188
次に、多重化スケジューラ5の詳細な動作について、図9のフローチャートを参照して説明する。このTSパケット化制御処理は、多重化スケジューラ5に、MPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3からの最初のアクセスユニット情報が入力されたときに開始される。
【0058】
ステップS21において、多重化スケジューラ5は、TSパケット化回路7に生成させるトランスポートストリーム(以下、TSと記述する)のビットレート(上述した、ビットレートRrec)を決定する。なお、このTSのビットレートとしては、TSに多重化する各エレメンタリストリームの最大ビットレートの総和よりも大きな値である必要がある。
【0059】
ステップS22において、多重化スケジューラ5は、MPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3のそれぞれから入力されたアクセスユニット情報に基づいて、TSパケットの符号化方法(ペイロードデータ長等)を決定する。
【0060】
ステップS23において、多重化スケジューラ5は、MPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3からのアクセスユニット情報の基づいて、PCRをTSパケット化するタイミングであるか否かを判定する。PCRをTSパケット化するタイミングであると判定された場合、ステップS24に進む。ステップS24において、多重化スケジューラ5は、PCRパケットの生成を指示するパケット化制御情報をTSパケット化回路7に出力する。
【0061】
ステップS25において、多重化スケジューラ5は、MPEGビデオエンコーダ1およびMPEGオーディオエンコーダ3のそれぞれから入力されたアクセスユニット情報に基づいて、当該TS記録装置に対するビデオ信号およびオーディオ信号の入力が終了したか否かを判定する。ビデオ信号およびオーディオ信号の入力が終了していないと判定された場合、ステップS22に戻り、それ以降の処理が繰り返される。
【0062】
再び、ステップS23に進み、PCRをTSパケット化するタイミングではないと判定された場合、ステップS26に進む。
【0063】
ステップS26において、多重化スケジューラ5は、MPEGオーディオエンコーダ3から入力されたアクセスユニット情報に基づいて、MPEGオーディオストリームをTSパケット化するタイミングであるか否かを判定する。MPEGオーディオストリームをTSパケット化するタイミングであると判定された場合、ステップS27に進む。ステップS27において、多重化スケジューラ5は、オーディオTSパケットの生成と、そのペイロードデータ長を指示するパケット化制御情報をTSパケット化回路27に出力する。
【0064】
なお、ステップS26において、MPEGオーディオストリームをTSパケット化するタイミングではないと判定された場合、ステップS28に進む。ステップS28において、多重化スケジューラ5は、MPEGビデオエンコーダ1から入力されたアクセスユニット情報に基づいて、MPEGビデオストリームをTSパケット化するタイミングであるか否かを判定する。MPEGビデオストリームをTSパケット化するタイミングであると判定された場合、ステップS29に進む。ステップS29において、多重化スケジューラ5は、ビデオTSパケットの生成と、そのペイロードデータ長を指示するパケット化制御情報をTSパケット化回路7に出力する。
【0065】
なお、ステップS28において、MPEGビデオストリームをTSパケット化するタイミングではないと判定された場合、ステップS30に進む。ステップS30において、多重化スケジューラ5は、パケット化処理の中断を指示するパケット化制御情報をTSパケット化回路7に出力する。
【0066】
その後、ステップS25において、ビデオ信号およびオーディオ信号の入力が終了したと判定された場合、多重化スケジューラ5は、TSパケット化の終了を指示するパケット化制御情報をTSパケット化回路7に出力した後、このTSパケット化制御処理を終了する。
【0067】
次に、上述したTSパケット化制御処理によって出力されたパケット化制御情報に対応するスイッチ31乃至arrival_time_stamp付加回路33の詳細な動作について、図10のフローチャートを参照して説明する。このTSパケット化処理は、TSパケット化回路7に、多重化スケジューラ5からのパケット化制御情報が入力されたときに開始される。
【0068】
ステップS41において、TSパケット化回路7は、多重化スケジューラ5から入力されたパケット化制御情報がTSパケット化処理の中断を指示するものであるか否かを判定し、TSパケット化処理中断を指示するものではないと判定した場合、ステップS42に進む。
【0069】
ステップS42において、スイッチ31は、多重化スケジューラ5から入力されたパケット化制御情報に対応してスイッチングする。すなわち、スイッチ31は、入力されたパケット化制御情報が、ビデオTSパケットの生成を指示するものであれば、入力端子a側にスイッチングし、オーディオTSパケットの生成を指示するものであれば、入力端子b側にスイッチングし、PCRパケットの生成を指示するものであれば、中立の位置にスイッチングする。
【0070】
ステップS43において、TSパケット化回路7は、多重化スケジューラ5から入力されたパケット化制御情報に対応し、スイッチ31を介してビデオストリームバッファ2からMPEGビデオストリームを、または、オーディオストリームバッファ4からMPEGオーディオストリームを、指示されたペイロードデータ長の分だけ読み出してTSパケットを生成し、arrival_time_stamp付加回路33に出力する。ただし、多重化スケジューラ5から入力されたパケット化制御情報がPCRパケットの生成を指示するものである場合、多重化スケジューラ5から入力されるPCRを用いてPCRパケットを生成し、arrival_time_stamp付加回路33に出力する。なお、PCRパケットのペイロードには、任意のスタッフィングデータが書き込まれる。
【0071】
ステップS44において、arrival_time_stamp付加回路33は、TSパケット化回路7から入力される全てのTSパケットに、arrival_time_stamp計算回路32から供給されたarrival_time_stampを付加してスムージングバッファ10に出力する。
【0072】
ここで、arrival_time_stamp計算回路32の、TSパケットの1バイト目が受信側に到着する時刻を示すarrival_time_stampを求める計算方法について説明する。TSパケット化回路7から入力されるTSパケットは、図11に示すように、"sync_byte"を先頭とする188バイトで構成されており、当該TSパケットに対応するPCRとして多重化スケジューラ5からarrival_time_stamp計算回路32に供給されるPCRは、TSパケット中の"PCR_base and PCR_extension"の5バイト目が受信側に到着する時刻を示している。したがって、arrival_time_stampが示す時刻は、PCRが示す時刻から10バイト前のデータが到着する時刻として、次式により計算することができる。
【0073】
arrival_time_stamp=PCR-27000000*10*8/Transport_rate
ここで、Transport_rateとは、上述したTSパケット化処理のステップS21で多重化スケジューラ5が決定したTSのビットレートである。
【0074】
図10に戻る。ステップS45において、TSパケット化回路7は、多重化スケジューラ5からTSパケット化処理の終了が指示されたか否かを判定し、TSパケット化処理の終了が指示されたと判定するまで、ステップS41に戻り、それ以降の処理を繰り返す。
【0075】
この繰り返し処理の間、ステップS43で生成されたTSパケットのうちの例えば、ビデオTSパケットだけに着目すれば、その生成のタイミングは、図12(A)に示すように、パケット化制御情報に対応して間欠的に行われる。また、ステップS44においては、図12(B)に示すように、全てのTSパケットにarrival_time_stampが付加される。
【0076】
なお、ステップS41において、多重化スケジューラ5から入力されたパケット化制御情報がTSパケット化処理の中断を指示するものであると判定された場合、ステップS42乃至S44はスキップされる。
【0077】
その後、ステップS45において、多重化スケジューラ5からTSパケット化処理の終了が指示されたと判定された場合、このTSパケット化処理は終了される。
【0078】
なお、arrival_time_stamp付加回路33によりarrival_time_stampが付加されたTSパケットは、スムージングバッファ34に一時的に蓄えられた後、図12(C)に示すように、書き込み回路35によって所定のビットレートRrecで読み出されて記録媒体16に記録される。
【0079】
次に、本発明を適用したデジタルテレビジョン放送波記録装置(以下、デジタルTV記録装置と記述する)の構成例について、図13を参照して説明する。このデジタルTV記録装置は、デジタル衛星放送(例えば、スカイパーフェクTV!(商標))や今後実施が予定されているデジタル地上放送の放送波としての、MPEGビデオストリームやMPEGオーディオストリーム等が多重化されたTSを受信して記録媒体に記録するものである。
【0080】
セットトップボックス41は、デジタルテレビジョン放送波としてのTSを受信してヌルパケット除去回路42に出力する。ヌルパケット除去回路42は、セットトップボックス41から入力されるTSから、ヌルパケット(送信レートを一定化させるために挿入されている情報としては意味をなさないパケット)を除去してビットストリームパーサ43に出力する。
【0081】
ビットストリームパーサ43は、ヌルパケット除去回路42からのヌルパケットが除去されたTSに含まれるPCRパケットからPCR(プログラム時刻基準参照値)を抽出してPLL回路45に供給する。ビットストリームパーサ43はまた、ヌルパケット除去回路42から供給されるヌルパケット以外のTSパケットをarrival_time_stamp付加回路44に出力する。
【0082】
PLL回路45は、当該デジタルTV記録装置のクロック信号(27MHz)を、ビットストリームパーサ43から入力されるPCRにロックさせてタイムスタンプ発生回路46に出力する。タイムスタンプ発生回路46は、クロック信号のクロックカウンタ値に基づいたarrival_time_stampを発生し、arrival_time_stamp付加回路44に供給する。
【0083】
arrival_time_stamp付加回路44は、ビットストリームパーサ43から入力される、各TSパケットに、タイムスタンプ発生回路46から供給されるarrival_time_stampを付加してスムージングバッファ47に出力する。
【0084】
スムージングバッファ47は、arrival_time_stamp付加回路44から入力される、arrival_time_stampが付加されたTSパケットを一時的に蓄える。書き込み回路48は、スムージングバッファ47が一時的に蓄えたarrival_time_stampが付加されたTSパケットを所定のビットレートRrecで読み出して記録媒体16に記録する。
【0085】
ここで、ビットレートRrecは、スムージングバッファ47が空のとき0であり、スムージングバッファ47が空でないとき、アプリケーションにより予め決められている固定値とされる。
【0086】
次に、デジタルTV記録装置の動作について説明する。セットトップボックス41で受信されたデジタルテレビジョン放送波としてのTSは、ヌルパケット除去回路42で、ヌルパケットが除去されてビットストリームパーサ43に供給される。ビットストリームパーサ43では、ヌルパケットが除去されたTSからPCRが抽出されてPLL回路45に供給され、その他のTSパケットはarrival_time_stamp付加回路44に供給される。
【0087】
PLL回路45では、27MHzのクロック信号がPCRにロックされ、そのクロックカウンタ値に基づいて、タイムスタンプ発生回路46では、arrival_time_stampが発生され、arrival_time_stamp付加回路44に供給される。
【0088】
ビットストリームパーサ43から出力される各TSパケットには、arrival_time_stamp付加回路44により、arrival_time_stampが付加されてスムージングバッファ47に一時的に蓄えられる。スムージングバッファ47に蓄えられた、arrival_time_stampが付加されたTSパケットは、書き込み回路48により所定のビットレートRrecで読み出されて記録媒体16に記録される。
【0089】
次に、図8に示したTS記録装置、または図13に示したデジタルTV記録装置により、図12(C)に示したように、TSパケットの間隔が詰められて記録媒体16に記録されたTSを、記録媒体16から再生するTS再生装置の構成例について、図14を参照して説明する。
【0090】
読み出し回路51は、記録媒体16からarrival_time_stampが付加されたTSパケットを順次読み出してarrival_time_stamp分離回路52に出力する。arrival_time_stamp分離回路52は、読み出し回路51から入力されるarrival_time_stampが付加されたTSパケットから、arrival_time_stampを分離して、arrival_time_stampを分離したTSパケットを出力制御回路53に供給し、arrival_time_stampを比較回路56およびタイミング発生回路55に供給する。
【0091】
出力制御回路53は、arrival_time_stamp分離回路52から入力されるTSパケットを、比較回路56からの制御信号に対応して後段に出力する。
【0092】
発振回路54は、27MHzのクロック信号を発振してタイミング発生回路55に出力する。タイミング発生回路55は、arrival_time_stamp分離回路52から最初に供給されるarrival_time_stampを初期値とする27MHzのクロックカウンタ値に基づいて時間と計算し、比較回路56に供給する。比較回路56は、arrival_time_stamp分離回路52から供給されるarrival_time_stampと、タイミング発生回路55から供給される時間を比較して両者が等しい場合、出力制御回路53にTSパケットの出力を指示する制御信号を出力する。
【0093】
次に、TS再生装置の動作について説明する。記録媒体16に記録されているarrival_time_stampが付加されたTSパケットは、読み出し回路51によって読み出され、arrival_time_stamp分離回路52で、arrival_time_stampとTSパケットに分離されて、TSパケットは出力制御回路53に供給され、arrival_time_stampは比較回路56およびタイミング発生回路55に供給される。出力制御回路53に供給されたTSパケットは、比較回路56からの制御信号に対応して後段に出力される。
【0094】
後段に出力されたTSパケットは、例えばMPEGデコーダ(不図示)によりデコードされてモニタ等に表示される。
【0095】
以上のように、本発明を適用したTS記録装置、またはデジタルTV記録装置によれば、図12(C)に示したように、間欠的なTSパケットの間隔が詰められて所定のビットレートRrecで記録媒体16に記録されるので、無駄なパケット(ヌルパケット)を記録することなく効率的にビデオTSパケットやオーディオTSパケットを記録することが可能となる。
【0096】
また、本発明を適用したTS再生装置によれば、TSパケットに付加されているarrival_time_stampを参照することにより、TSパケットを適切なタイミングで後段のMPEGデコーダ等に供給することが可能となる。
【0097】
なお、本発明を適用したTS記録装置またはデジタルTV記録装置と、TS再生装置を一体化することも可能である。
【0098】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしてのTS記録装置、デジタルTV記録装置、またはTS再生装置に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどにインストールされる。
【0099】
次に、図15を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について、そのコンピュータが汎用のパーソナルコンピュータである場合を例として説明する。
【0100】
プログラムは、図15(A)に示すように、パーソナルコンピュータ301に内蔵されている記録媒体としてのハードディスク302や半導体メモリ303に予めインストールした状態でユーザに提供することができる。
【0101】
あるいはまた、プログラムは、図15(B)に示すように、フロッピーディスク311、CD-ROM(Compact Disc-Read Only Memory)312、MO(Magneto Optical)ディスク313、DVD(Digital Versatile Disc)314、磁気ディスク315、半導体メモリ316などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【0102】
さらに、プログラムは、図15(C)に示すように、ダウンロードサイト321から、無線で衛星322を介して、パーソナルコンピュータ301に転送したり、ローカルエリアネットワーク、インターネットといったネットワーク331を介して、有線または無線でパーソナルコンピュータ301に転送し、パーソナルコンピュータ301において、内蔵するハードディスク302などに格納させることができる。
【0103】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【0104】
パーソナルコンピュータ301は、例えば、図16に示すように、CPU(Central Proccessing Unit)342を内蔵している。CPU342にはバス341を介して、入出力インタフェース345が接続されており、CPU342は、入出力インタフェース345を介して、ユーザから、キーボード、マウスなどよりなる入力部347から指令が入力されると、それに対応して、図15(A)の半導体メモリ303に対応するROM(Read Only Memory)343に格納されているプログラム、衛星322もしくはネットワーク331から転送され、通信部348により受信され、さらにハードディスク302にインストールされたプログラム、またはドライブ349に装着されたフロッピディスク311、CD-ROM312、MOディスク313、DVD314、もしくは磁気ディスク315から読み出され、ハードディスク302にインストールされたプログラムを、RAM(Random Access Memory) 344にロードして実行する。さらに、CPU342は、その処理結果を、例えば、入出力インタフェース345を介して、LCD(Liquid Crystal Display)などよりなる表示部346に必要に応じて出力する。
【0105】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0106】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0108】
【発明の効果】
本発明によれば、TSを効率的記録することが可能となる。
【図面の簡単な説明】
【図1】従来のトランスポートストリーム生成装置の構成の一例を示すブロック図である。
【図2】図1の多重化スケジューラ5の動作を説明するフローチャートである。
【図3】図1のTSパケット化回路7の動作を説明するフローチャートである。
【図4】従来のトランスポートストリーム記録装置の構成の一例を示すブロック図である。
【図5】 TSP_extra_headerが付加されたTSパケットの記録フォーマットを説明するための図である。
【図6】従来のトランスポートストリーム再生装置の構成の一例を示すブロック図である。
【図7】従来のTSの生成および記録を説明するための図である。
【図8】本発明を適用したTS記録装置の構成例を示すブロック図である。
【図9】図8の多重化スケジューラ5の動作を説明するフローチャートである。
【図10】TS記録装置のTSパケット化処理を説明するフローチャートである。
【図11】 arrival_time_stampを説明するための図である。
【図12】本発明を適用したTS記録装置のTS記録方法を説明するための図である。
【図13】本発明を適用したデジタルTV記録装置の構成例を示すブロック図である。
【図14】本発明を適用したTS再生装置の構成例を示すブロック図である。
【図15】プログラムをパーソナルコンピュータ301にインストールし、実行可能な状態とするために用いられる媒体について説明するための図である。
【図16】パーソナルコンピュータ301について説明するための図である。
【符号の説明】
5 多重化スケジューラ, 7 TSパケット化回路, 16 記録媒体, 31 スイッチ, 32 arrival_time_stamp計算回路, 33 arrival_time_stamp付加回路, 41 セットトップボックス, 42 ヌルパケット除去回路, 43 ビットストリームパーサ, 44 arrival_time_stamp付加回路,45 PLL回路, 46 タイムスタンプ発生回路, 51 読み出し回路,52 arrival_time_stamp分離回路, 53 出力制御回路, 55 タイミング発生回路, 56 比較回路

Claims (3)

  1. エレメンタリストリームが多重化されたトランスポートストリームを記録するトランスポートストリーム記録装置において、
    前記トランスポートストリームに含まれているヌルパケットを除去する除去手段と、
    前記ヌルパケットが除去されたトランスポートストリームを構成する全てのトランスポートパケットに時刻情報を付加する付加手段と、
    前記付加手段が前記時刻情報を付加した前記トランスポートパケットを一時的に記憶する記憶手段と、
    前記記憶手段が記憶した前記時刻情報が付加された前記トランスポートパケットを所定のビットレートで読み出す読み出し手段と、
    前記読み出し手段が所定のビットレートで読み出した前記時刻情報が付加された前記トランスポートパケットを情報記録媒体に記録する記録手段と
    を含むランスポートストリーム記録装置。
  2. エレメンタリストリームが多重化されたトランスポートストリームを記録するトランスポートストリーム記録装置のトランスポートストリーム記録方法において、
    前記トランスポートストリームに含まれているヌルパケットを除去する除去ステップと、
    前記ヌルパケットが除去されたトランスポートストリームを構成する全てのトランスポートパケットに時刻情報を付加する付加ステップと、
    前記付加ステップの処理で前記時刻情報が付加された前記トランスポートパケットを一時的に記憶する記憶ステップと、
    前記記憶ステップの処理で記憶した前記時刻情報が付加された前記トランスポートパケットを所定のビットレートで読み出す読み出しステップと、
    前記読み出しステップの処理で所定のビットレートで読み出された前記時刻情報が付加された前記トランスポートパケットを情報記録媒体に記録する記録ステップと
    を含むランスポートストリーム記録方法。
  3. エレメンタリストリームが多重化されたトランスポートストリームを記録するトランスポートストリーム記録装置の記録用のプログラムであって、
    前記トランスポートストリームに含まれているヌルパケットを除去する除去ステップと、
    前記ヌルパケットが除去されたトランスポートストリームを構成する全てのトランスポートパケットに時刻情報を付加する付加ステップと、
    前記付加ステップの処理で前記時刻情報が付加された前記トランスポートパケットを一時的に記憶する記憶ステップと、
    前記記憶ステップの処理で記憶した前記時刻情報が付加された前記トランスポートパケットを所定のビットレートで読み出す読み出しステップと、
    前記読み出しステップの処理で所定のビットレートで読み出された前記時刻情報が付加された前記トランスポートパケットを情報記録媒体に記録する記録ステップと
    を含む処理を、前記トランスポートストリーム記録装置のコンピュータに実行させるプログラムを記録した記録媒体。
JP22072799A 1999-08-04 1999-08-04 トランスポートストリーム記録装置および方法、並びに記録媒体 Expired - Lifetime JP4217934B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22072799A JP4217934B2 (ja) 1999-08-04 1999-08-04 トランスポートストリーム記録装置および方法、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22072799A JP4217934B2 (ja) 1999-08-04 1999-08-04 トランスポートストリーム記録装置および方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2001044957A JP2001044957A (ja) 2001-02-16
JP4217934B2 true JP4217934B2 (ja) 2009-02-04

Family

ID=16755586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22072799A Expired - Lifetime JP4217934B2 (ja) 1999-08-04 1999-08-04 トランスポートストリーム記録装置および方法、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4217934B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900448B1 (ko) * 2002-07-09 2009-06-02 엘지전자 주식회사 고밀도 광디스크의 패킷 엔코딩 타임 스탬프 기록방법
CN1817012A (zh) * 2003-06-03 2006-08-09 思达伦特网络公司 用于总线上通信的系统和方法
JP4506294B2 (ja) * 2004-06-11 2010-07-21 ソニー株式会社 多重化装置及び多重化方法
JP2009038704A (ja) * 2007-08-03 2009-02-19 Casio Comput Co Ltd 撮影データ記録装置
KR102484022B1 (ko) 2015-04-13 2023-01-03 소니 세미컨덕터 솔루션즈 가부시키가이샤 수신 장치, 수신 방법, 및 프로그램

Also Published As

Publication number Publication date
JP2001044957A (ja) 2001-02-16

Similar Documents

Publication Publication Date Title
JP4449270B2 (ja) トランスコード装置及び方法、並びに記録媒体
EP2186340B1 (en) A video data reproduction system
JPH10507597A (ja) マルチメディア・システムのためのプログラマブルなオーディオ−ビデオ同期方法および装置
JP2002010182A (ja) データ蓄積方法およびそれを実現した受信装置および放送システム
JPH09121322A (ja) ビット流の処理方法、ビデオ再生方法、データパケットの記録方法、トリックプレーデータの記録方法およびビデオ再生装置
JP3438223B2 (ja) 多重化装置および多重化方法、並びに伝送装置および伝送方法
JP2003169292A (ja) アフレコ装置、コンピュータプログラム、記録媒体、伝送方法及び再生装置
JP3558983B2 (ja) デジタル放送の記録再生装置
US6718119B1 (en) Video/audio decoding apparatus and method
JP4217934B2 (ja) トランスポートストリーム記録装置および方法、並びに記録媒体
JP2002015527A (ja) クロック生成装置および記録再生装置
JP2002354419A (ja) 記録再生装置および方法、記録媒体、並びにプログラム
US20030091331A1 (en) Method for implementing low-speed playback of a digital broadcast program
JP4763589B2 (ja) 再生装置、および、その再生方法
JP3652994B2 (ja) データ入出力装置
JP2005198350A (ja) アフレコ信号再生方法
JP3888204B2 (ja) 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
JPH09261237A (ja) エンコーダ装置、デコーダ装置及び信号伝送方法
EP1148723B1 (en) Special reproduction data generating device, medium, and information aggregate
JPH099215A (ja) データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置
JP4048809B2 (ja) データ処理装置および方法、記録媒体、並びにプログラム
JP3887949B2 (ja) 画像情報記録再生装置および方法、並びに記録媒体
JP4861221B2 (ja) 記録装置、記録方法、映像記録再生装置、および、その録画ファイル加工方法
JP2006014079A (ja) ディジタル信号処理装置及びディジタル信号処理方法
JP2005198349A (ja) 記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4217934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term