JP4168527B2 - データ多重化装置及びデータ多重化方法 - Google Patents

データ多重化装置及びデータ多重化方法 Download PDF

Info

Publication number
JP4168527B2
JP4168527B2 JP11248899A JP11248899A JP4168527B2 JP 4168527 B2 JP4168527 B2 JP 4168527B2 JP 11248899 A JP11248899 A JP 11248899A JP 11248899 A JP11248899 A JP 11248899A JP 4168527 B2 JP4168527 B2 JP 4168527B2
Authority
JP
Japan
Prior art keywords
reference time
input
output
stream
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11248899A
Other languages
English (en)
Other versions
JP2000307542A (ja
Inventor
哲夫 隅田
祥司 塩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP11248899A priority Critical patent/JP4168527B2/ja
Publication of JP2000307542A publication Critical patent/JP2000307542A/ja
Application granted granted Critical
Publication of JP4168527B2 publication Critical patent/JP4168527B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、複数プログラムの符号化された画像音声データや各種データを単一のビットストリームの形式に多重化するものであって、単一のストリームデータを反復して連結した形式の符号化ビットストリーム又は複数のストリームデータを切り替えて連結した形式の符号化ビットストリームを多重化して出力するデータ多重化装置及びデータ多重化方法に関し、特に、ディジタル放送システム等に適用して好適なデータ多重化装置及びデータ多重化方法に関する。
【0002】
【従来の技術】
近年、画像音声データやその他の各種データ等を送信する送信装置において例えばMPEG2(Moving Picture Experts Group phase 2)による情報圧縮技術及び多重化技術を用いて画像音声信号に対して符号化及び多重化を行い、限られた伝送帯域の下で複数プログラムの高品位の画像音声データやその他の各種データを1本のビットストリームにし、このビットストリームを通信衛星等を介して伝送するとともに、受信装置においてこのビットストリームを受信し、分離、復号するディジタル衛星放送システム等の画像音声信号伝送システムが普及しつつある。
【0003】
このような画像音声信号伝送システムにおける送信装置は、MPEG2等の符号化技術により画像音声データや各種データを符号化するとともに、同じく多重化技術によりこれらのディジタル符号化データを多重化してビットストリームを形成する。その後、送信装置は、このビットストリームに誤り訂正処理や変調処理を施し、このビットストリームを送信アンテナにより通信衛星に向かって伝送する。
【0004】
ここで、このような送信装置を構成する多重化装置について概要を説明する。
【0005】
図17に示す多重化装置200は、複数プログラムを構成する画像音声データやその他の各種データをMPEG2システムに準拠するように符号化して得られた複数のパケッタイズドエレメンタリストリーム(Packetized Elementary Stream;以下、PESと略記する。)を入力し、これらのPESをMPEG2システムにて規定されているトランスポートストリーム(Transport Stream;以下、TSと略記する。)に多重化するものである。一般に、1つのプログラムは、例えば映像データと音声データとがそれぞれ1チャンネルずつ割り当てられたPESとして構成される場合がある。そのため、多重化装置200は、1プログラムを構成する複数のPESを複数チャンネルから入力する入力チャンネル群を、複数プログラム分備え、複数プログラムを構成するPESを多重化する。
【0006】
多重化装置200は、同図に示すように、複数プログラム分のPESを入力する入力処理部2011,2012,・・・,201nと、プログラムに関する情報等を生成する制御データ生成部202と、いわゆるヌルパケットを生成するヌルパケット生成部203と、後述する多重化制御部205の制御により動作する多重スイッチ204と、この多重スイッチ204を動作させて多重チャンネルを制御する多重化制御部205と、所定の伝送レートでTSを出力する出力制御部206とを備える。
【0007】
入力処理部2011は、入力端子21011,21012,・・・から1プログラムを構成する複数のPESを入力し、各種処理を施して得られた多重化する対象となる出力を被選択端子21111,21112,・・・,2121から出力する。入力処理部2012,・・・,201nも入力処理部2011と同様に、それぞれ、1プログラムを構成する複数のPESを、入力端子21021,21022,・・・,210n1,210n2,・・・から入力し、各種処理を施して得られた多重化する対象となる出力を被選択端子21121,21122,・・・,2122,・・・,211n1,211n2,・・・,212nから出力する。なお、ここでは、入力処理部2011,2012,・・・,201nがそれぞれ同様の構成からなることから、入力処理部2012,・・・,201nの説明及び図示を省略し、入力処理部2011について代表して説明する。
【0008】
入力処理部2011は、1本のPESを入力する入力制御部20711,20712,・・・と、これらの入力制御部20711,20712,・・・からのPESをそれぞれ入力して一時記憶するバッファ20811,20812,・・・と、プログラム毎の基準時刻を示すプログラムクロックリファレンス(Program Clock Reference;以下、PCRと略記する。)を含むPCRパケットを生成するPCRパケット生成部2091とを備える。
【0009】
入力制御部20711,20712,・・・は、それぞれ、1プログラムを構成する映像データや音声データに例えばMPEG2ビデオにて規定されているような高能率圧縮符号化を施して生成したエレメンタリストリーム(Elementary Stream;ES)に、PESヘッダ(PES Header)を付加してあるコード長の固まり毎にパケット化して生成したPESパケットを、入力端子21011,21012,・・・から1バイトずつ入力する。そして、入力制御部20711,20712,・・・は、それぞれ、入力したPESパケットを後段のバッファ20811,20812,・・・に供給する。また、入力制御部20711,20712,・・・は、それぞれ、図示しないメモリを有しており、表示の最小単位であるPU(Presentation Unit)や符号化の最小単位であるAU(Access Unit)の制御開始後における入力順を示すインデックス番号と、各インデックス番号に対応するヘッダ情報とをメモリに保持し、多重化制御部205に供給する。さらに、入力制御部20711は、PESヘッダ内に重畳されている基準時刻情報であるエレメンタリストリームクロックリファレンス(Elementary Stream Clock Reference;以下、ESCRと略記する。)を取得し、このESCRを取得したタイミングを示すラッチ信号とESCRのデコード値とを、後段のPCRパケット生成部2091に出力する。
【0010】
バッファ20811,20812,・・・は、それぞれ、入力制御部20711,20712,・・・から供給されたPESパケットを一時記憶するものであり、書き込まれた順番でPESパケットを読み出すFIFO(First-In First-Out)形式のものである。バッファ20811,20812,・・・は、それぞれ、多重化制御部205の制御により動作する多重スイッチ204が被選択端子21111,21112,・・・のいずれかを選択することでPESが多重化されるタイミングまで、入力したPESパケットを一時記憶する。そして、バッファ20811,20812,・・・は、それぞれ、記憶・保持しているPESパケットを被選択端子21111,21112,・・・へと供給する。被選択端子21111,21112,・・・に供給されたPESパケットは、それぞれ、多重スイッチ204の選択によりトランスポートストリームパケット(Transport Stream Packet;以下、TPと略記する。)長単位で読み出され多重化される。
【0011】
PCRパケット生成部2091は、入力制御部20711で取得したESCRのデコード値に基づいて基準時刻を再生し、この基準時刻を上述したPCRとしてエンコードしてペイロードデータを有さないPCRパケットを生成する。このPCRパケット生成部2091は、生成したPCRパケットを多重化するタイミングに至ると、多重化制御部205に対して多重要求を送信して、多重化するPCRパケットを被選択端子2121に供給する。被選択端子2121に供給されたPCRパケットは、多重スイッチ204の選択により読み出され多重化される。なお、このPCRパケット生成部2091は、1プログラムにつき1つ備えられるものであって、入力制御部20711で取得したESCRのデコード値ではなく、例えば入力制御部20712で取得したESCRのデコード値に基づいて基準時刻を再生してもよい。
【0012】
多重化装置200は、このような入力処理部2011と同様の構成である入力処理部2012,・・・,201nを備え、複数プログラム分のPESを入力して処理する。
【0013】
制御データ生成部202は、受信側にてプログラムを再生する際に必要となるいわゆるPAT、PMT、CAT等の制御データを作成してTPを生成する。この制御データ生成部202は、制御データを作成するためのパラメータを入力端子213を介して外部から入力する。また、制御データ生成部202は、任意の制御データを多重化すべきタイミングに至ったときに、この制御データを被選択端子214に供給する。被選択端子214に供給された制御データは、多重スイッチ204の選択により読み出され多重化される。
【0014】
ヌルパケット生成部203は、MPEG2で規定されているヌルパケットを生成する。ヌルパケット生成部203は、PESパケット、制御データパケット、PCRパケットのいずれも多重化する必要のないタイミング、或いはこれらのパケットのいずれも多重化することが禁止されたタイミングにおいて多重化するためのペイロードデータを有さないヌルパケットを生成し、被選択端子215へと供給する。被選択端子215に供給されたヌルパケットは、多重スイッチ204の選択により読み出され多重化される。
【0015】
多重化制御部205は、PESパケット、制御データパケット、PCRパケット、ヌルパケットのうち、いずれのパケットを選択するかを決定する。多重化制御部205は、多重スイッチ204に対して選択信号を送信して多重スイッチ204を動作させ、選択したパケットを出力する被選択端子と多重スイッチ204とを接続させることにより、多重チャンネルを制御する。多重化制御部205は、多重化するパケットを選択するために、入力制御部20711,20712,・・・からPESやAUのストリーム情報を読み出すとともに、バッファ20811,20812,・・・から占有量情報を読み出す。また、多重化制御部205は、制御データ生成部202で生成された制御データパケットを選択する際には、所定の最大出力間隔を満たすことができるように、出力時刻を内部で管理する。さらに、多重化制御部205は、PESパケット、制御データパケット、PCRパケットのいずれも多重化する必要のないタイミング、或いはこれらのパケットのいずれも多重化することが禁止されたタイミングであると判断した場合には、ヌルパケット生成部203からのヌルパケットを多重化するように多重化スイッチ204を制御する。
【0016】
出力制御部206は、多重化制御部205の制御のもとに選択されたパケットを入力し、出力端子216を介して所定の出力ビットレートで複数のTPから構成されるTSを図示しない伝送路へ出力する。出力制御部206は、多重化制御部205から多重化するデータの種別を読み出すとともに、そのデータを入力した入力制御部からデータの属性を読み出し、TPヘッダを付加してTPを生成する。
【0017】
このような多重化装置200は、多重化制御部205の制御にしたがって、多重スイッチ204を動作させ、多重化するPESや制御データを選択し、この選択したPESや制御データをTP単位で多重化する。また、多重化装置200は、多重化制御部205によって、有効データを多重化するタイミングではないと判別された際には、ヌルパケットを多重化する。多重化装置200は、このようにして生成した1本のTSを出力端子200aを介して出力する。
【0018】
【発明が解決しようとする課題】
ところで、上述した従来の多重化装置は、例えば、任意の有限長のストリームを繰り返し再生する装置からのストリームを入力して多重化する場合には、当該多重化装置内で再生するストリームの基準時間が不連続になることがあった。
【0019】
この具体例としては、例えば、ハードディスクドライブ上にファイル化されているストリームを、単純に繰り返し出力する装置からのストリームを入力して多重化する場合がある。この場合、従来の多重化装置が取得するストリームの基準時刻情報は、当該ストリームの開始から終了までの間では連続的に推移するものの、繰り返し毎に再び開始時の時刻に戻ってしまう。したがって、このストリームを入力する従来の多重化装置において、入力したストリームの基準時刻情報により再生した基準時間は、2回目以降の繰り返し出力時に不連続が生じるものとなっていた。
【0020】
また、同様の問題が生じる場合として、例えば、個々のストリームは連続的であるが、互いに不連続である複数のストリームを入力して多重化する場合が挙げられる。
【0021】
この具体例としては、例えば、メインストリームとサブストリームとがあり、各ストリームの基準時刻情報については特に変更を施さず、両ストリームを交互に切り替えて出力する装置からの出力を入力して多重化する場合がある。この場合、従来の多重化装置が取得するストリームの基準時刻情報は、両ストリームが交互に切り替わる毎に不連続的に変化する。したがって、このようなストリーム群を入力する従来の多重化装置において、入力したストリームの基準時刻情報により再生した基準時間は、ストリームが切り替わる毎に不連続が生じるものとなっていた。
【0022】
このように基準時間が不連続であるストリームを多重化する従来の多重化装置からのビットストリームを受信してデコードする受信側は、基準時間について予期せぬ不連続が生じてしまい、画像音声の正常な連続再生ができなくなるといった問題があった。
【0023】
本発明は、このような実情に鑑みてなされたものであり、上述した従来の多重化装置の問題点を解決し、入力するストリーム毎に基準時刻情報が付加された形式のストリームを入力して多重化する際に、基準時間に不連続が生じる場合に、その情報を受信側に通知するデータ多重化装置及びデータ多重化方法を提供することを目的とするものである。
【0024】
【課題を解決するための手段】
上述した目的を達成する本発明にかかるデータ多重化装置は、単一の時間軸を再生するための入力基準時刻情報がヘッダ領域に付加された少なくとも1つ以上の符号化入力ストリームを入力して読み込むとともに、入力基準時刻情報により再生した基準時間が不連続であるか否かが検出された結果を識別する識別子を保持する入力制御手段と、符号化入力ストリームを単一の符号化出力ストリームに多重化して出力するとともに、符号化出力ストリームを出力する際に、入力制御手段から識別子を読み出し、符号化出力ストリームのヘッダ領域に識別子を付加する出力制御手段とを備えることを特徴としている。
【0025】
このように構成された本発明にかかるデータ多重化装置は、符号化入力ストリームにおける入力基準時刻情報により再生した基準時間が不連続であるか否かを検出して得られた結果を識別する識別子がヘッダ領域に付加された単一の符号化出力ストリームを出力する。
【0026】
また、上述した目的を達成する本発明にかかるデータ多重化方法は、単一の時間軸を再生するための入力基準時刻情報がヘッダ領域に付加された少なくとも1つ以上の符号化入力ストリームを入力して読み込むとともに、入力基準時刻情報により再生した基準時間が不連続であるか否かが検出された結果を識別する識別子を保持し、符号化入力ストリームを単一の符号化出力ストリームに多重化して出力する際に、識別子を読み出し、符号化出力ストリームのヘッダ領域に識別子を付加して符号化出力ストリームを出力することを特徴としている。
【0027】
このような本発明にかかるデータ多重化方法は、符号化入力ストリームを単一の符号化出力ストリームに多重化して出力する際に、符号化入力ストリームにおける入力基準時刻情報により再生した基準時間が不連続であるか否かを検出して得られた結果を識別する識別子を、符号化出力ストリームのヘッダ領域に付加する。
【0028】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【0029】
本発明を適用した実施の形態として図1に示す多重化装置20は、複数プログラムを構成する画像音声データやその他の各種データをMPEG2(Moving Picture Experts Group phase 2)システムに準拠するように符号化して得られた符号化入力ストリームである複数のパケッタイズドエレメンタリストリーム(Packetized Elementary Stream;以下、PESと略記する。)を入力し、これらのPESをMPEG2システムにて規定されている符号化出力ストリームであるトランスポートストリーム(Transport Stream;以下、TSと略記する。)に多重化するものである。多重化装置20は、1プログラムを構成する複数のPESを複数チャンネルから入力する入力チャンネル群を、複数プログラム分備え、複数プログラムを構成するPESを多重化することができる。
【0030】
ここでまず、上述したPES及びTSの構成について、図2及び図3を用いて説明する。
【0031】
PESは、図2に示すように、例えばプログラム構成する映像データや音声データにMPEG2ビデオにて規定されているような高能率圧縮符号化を施して生成したエレメンタリストリーム(Elementary Stream;以下、ESと略記する。)をペイロードデータ(PES Payload data)1とし、このESにPESヘッダ(PES Header)2を付加してあるコード長の固まり毎にパケット化して生成したPESパケットから構成される。PESヘッダ2には、図示しない受信装置が、受信したPESからその基準クロックを再生し、このPESを同期再生可能なストリームとして扱うことができるように、PESの基準時刻を示す基準時刻情報であるエレメンタリストリームクロックリファレンス(Elementary Stream Clock Reference;以下、ESCRと略記する。)がESCRフィールド3に重畳されている場合がある。特に、最初にデコードすべきPESには、このESCRが重畳される必要がある。また、PESヘッダ2には、受信側(受信装置)における表示時刻やデコード時刻を指定するための同期再生情報として、再生出力の時刻管理情報であるプレゼンテーションタイムスタンプ(Presentation Time Stamp;以下、PTSと略記する。)や復号の時刻管理情報であるデコードタイムスタンプ(Decode Time Stamp;以下、DTSと略記する。)がそれぞれPTSフィールド4及びDTSフィールド5に符号化データとして重畳されている場合がある。これらのPTSやDTSは、ESCRと同様に、最初にデコードすべきPESには必ず重畳される。
【0032】
一方、TSは、図3に示すようなトランスポートストリームパケット(Transport Stream Packet;以下、TPと略記する。)から構成される。TPは、上述したPESを分割してペイロードデータ(TP Payload data)6とし、このPESにTPヘッダ(TP Header)7を付加して188バイト固定長としたものである。TPヘッダ7には、ユニット開始インディケータ(Payload unit start indicator)フィールド8が設けられ、このユニット開始インディケータフィールド8には、PESパケットの先頭を含むパケットを多重化した場合に“1”がセットされる。また、TPヘッダ7には、PID(Packet IDentification)フィールド9が設けられ、このPIDフィールド9には、多重化したパケットに対応する個別ストリームの属性であるパケットIDが書き込まれる。さらに、TPヘッダ7には、後述する不連続インディケータフラグを書き込むための不連続インディケータ(Discontinuity indicator)フィールド10や、プログラム毎の基準時刻を示す基準時刻情報であるプログラムクロックリファレンス(Program Clock Reference;以下、PCRと略記する。)を書き込むPCRフィールド11等が設けられる。
【0033】
さて図1に示す多重化装置20は、複数プログラム分のPESを入力する入力処理部211,212,・・・,21nと、受信側にてプログラムを選択したりデコードするために必要となるプログラムに関する制御データを生成する制御データ生成部22と、いわゆるヌルパケットを生成するヌルパケット生成部23と、後述する多重化制御部25の制御により動作する多重スイッチ24と、この多重スイッチ24を動作させて多重チャンネルを制御する多重化制御部25と、所定の伝送レートでTSを出力する出力制御部26とを備える。また、多重化装置20は、PESを入力する入力端子3111,3112,・・・,3121,3122,・・・,31n1,31n2,・・・と、制御データを作成するためのパラメータを入力する入力端子32と、被選択端子3311,3312,・・・,3321,3322,・・・,33n1,33n2・・・,341,・・・,342,・・・,34n,・・・,35,36と、出力制御部26からTSを出力する出力端子37とを備える。
【0034】
入力処理部211は、入力端子3111,3112,・・・から1プログラムを構成する複数のPESを入力し、後述する各種処理を施して得られた多重化する対象となる出力を被選択端子3311,3312,・・・,341から出力する。入力処理部212,・・・,21nも入力処理部211と同様に、それぞれ、1プログラムを構成する複数のPESを、入力端子3121,3122,・・・,31n1,31n2,・・・から入力し、各種処理を施して得られた多重化する対象となる出力を被選択端子3321,3322,・・・,342,・・・,33n1,33n2,・・・,34nから出力する。
【0035】
なお、ここでは、入力処理部211,212,・・・,21nがそれぞれ同様の構成からなり且つ同様の動作を行うことから、入力処理部212,・・・,21nの説明及び図示を省略し、入力処理部211について代表して説明する。
【0036】
入力処理部211は、それぞれ1本のPESを入力する入力制御部2711,2712,・・・と、これらの入力制御部2711,2712,・・・からのPESをそれぞれ入力して一時記憶するバッファ2811,2812,・・・と、入力制御部2711に付随する基準時間不連続点検出部291と、上述したPCRを含むPCRパケットを生成するPCRパケット生成部301とを備える。
【0037】
入力制御部2711,2712,・・・は、それぞれ、PESパケットを入力端子3111,3112,・・・から1バイトずつ入力する。そして、入力制御部2711,2712,・・・は、それぞれ、入力したPESパケットを後段のバッファ2811,2812,・・・に供給する。また、入力制御部2711,2712,・・・は、それぞれ、図示しないメモリを有しており、表示の最小単位であるPU(Presentation Unit)や符号化の最小単位であるAU(Access Unit)の制御開始後における入力順を示すインデックス番号と、各インデックス番号に対応するヘッダ情報とをメモリに保持し、多重化制御部25に供給する。さらに、入力制御部2711は、PESヘッダ内に重畳されている上述したESCRを取得し、このESCRを取得したタイミングを示すラッチ信号とESCRのデコード値とを、後段の基準時間不連続点検出部291及びPCRパケット生成部301に出力する。
【0038】
バッファ2811,2812,・・・は、それぞれ、データが書き込まれた順番でデータを読み出すFIFO(First-In First-Out)形式のものであり、入力制御部2711,2712,・・・から供給されたPESパケットを一時記憶する。バッファ2811,2812,・・・は、それぞれ、多重化制御部25の制御により動作する多重スイッチ24が被選択端子3311,3312,・・・のいずれかを選択することでPESが多重化されるタイミングまで、入力したPESパケットを一時記憶する。そして、バッファ2811,2812,・・・は、それぞれ、記憶・保持しているPESパケットを被選択端子3311,3312,・・・へと供給する。被選択端子3311,3312,・・・に供給されたPESパケットは、それぞれ、多重スイッチ24の選択によりTP長単位で読み出され多重化される。
【0039】
基準時間不連続点検出部291は、入力制御部2711で取得されたPESのESCRデコード値と、このESCRが取得されたタイミングを示すラッチ信号とを入力し、後述するように、ESCRにより再生した基準時間が不連続となる点を検出する。なお、この基準時間不連続点検出部291は、1プログラムにつき1つ備えられるものであって、入力制御部2711で取得したESCRデコード値とそのラッチ信号とではなく、例えば入力制御部2712で取得したESCRデコード値とそのラッチ信号を入力するようにしてもよい。
【0040】
PCRパケット生成部301は、入力制御部2711で取得したESCRデコード値に基づいて基準時刻を再生し、この基準時刻を上述したPCRとしてエンコードしてペイロードデータを有さないPCRパケットを生成するとともに、所定の伝送仕様により定められている多重間隔についての制約を守るように、生成したPCRを多重化するタイミングを管理する。このPCRパケット生成部301は、図4に示すような各部を備える。
【0041】
すなわち、PCRパケット生成部301は、図4に示すように、ESCRを取得したタイミングを示すラッチ信号とESCRデコード値とを入力し後述するローカルタイムクロック(Local Time Clock;以下、LTCと略記する。)を再生するLTC再生部38と、このLTC再生部38により得られた出力をPCRデータとしてエンコードするPCRエンコーダ39と、得られたPCRデータをパケット化して保持するPCRパケットレジスタ40とを備える。
【0042】
LTC再生部38は、例えば図5に示すようなディジタルPLL(Phase Locked Loop)回路で構成され、任意のタイミングにおける基準時刻を出力する。LTC再生部38は、上述した入力制御部2711で取得したESCRデコード値と、ESCRラッチ信号により指定された時刻における後述するLTCカウンタ46からのLTCカウンタ値との差分値をとる減算器41と、この減算器41からの出力をフィルタリングするディジタルフィルタ42と、ディジタル−アナログコンバータ(Digital-Analog Converter;以下、DACと略記する。)43と、このDAC43からの出力の直流成分を取り出すためのローパスフィルタ(Low Pass Filter;以下、LPFと略記する。)44と、27MHzのクロックを発振させるボルテージコントロールドオシレータ(Voltage Controlled Oscillator;以下、VCOと略記する。)45と、このVCO45により得られた27MHzのLTCをカウントするLTCカウンタ46とを備える。
【0043】
このようなLTC再生部38は、同図中破線矢印に示すように、入力制御部2711から入力したESCRデコード値を、制御開始時のみLTCカウンタ46にロードし、減算器41からの出力初期値として“0”を得る。それ以後、LTC再生部38は、入力制御部2711がESCRを捕捉する度に、ESCRデコード値を減算器41に入力し、この減算器41によって、ESCRデコード値と、LTCカウンタ46の出力との差分値をとり、その差分値に対してディジタルフィルタ42を通過させる。そして、LTC再生部38は、ディジタルフィルタ42を通過させて得られた出力を、DAC43によりアナログ信号に変換し、このアナログ信号の直流成分を取り出すためにLPF44を通過させる。さらに、LTC再生部38は、LPF44を通過させて得られた信号の電圧を制御電圧として、27MHzのクロックを発振させるVCO45へと入力して、27MHzのLTCを生成する。そして、LTC再生部38は、得られたLTCをLTCカウンタ46へと入力し、このLTCカウンタ46の出力であるLTCカウンタ値を、図4に示したPCRエンコーダ39及び減算器41に供給する。
【0044】
このようなLTC再生部38は、以後同様の処理を繰り返すことによって、LPF44によるVCO45への制御電圧の調整によりフィードバック制御が作用し、安定したLTCを得る。その結果、LTC再生部38は、VCO45からのLTCをLTCカウンタ46でカウントすることで、ESCRから再生された基準時刻値を得る。
【0045】
PCRエンコーダ39は、LTC再生部38により得られた任意のタイミングにおける出力をPCRデータとしてエンコードする。
【0046】
PCRパケットレジスタ40は、PCRエンコーダ39により得られたPCRデータをパケット化し、保持する。
【0047】
このような各部を備えるPCRパケット生成部301は、生成したPCRパケットを多重化するタイミングに至ると、多重化制御部25に対して多重要求を送信して、多重化するPCRパケットを被選択端子341に供給する。被選択端子341に供給されたPCRパケットは、多重スイッチ24の選択により読み出され多重化される。なお、このPCRパケット生成部301は、1プログラムにつき1つ備えられるものであって、入力制御部2711で取得したESCRデコード値ではなく、例えば入力制御部2712で取得したESCRデコード値に基づいて基準時刻を再生してもよい。
【0048】
多重化装置20は、このような入力処理部211と同様の構成である入力処理部212,・・・,21nを備え、複数プログラム分のPESを入力して処理する。
【0049】
なお、以下の説明では、例えば、入力処理部211,212,・・・,21nを入力処理部21と総称するように、各部を示す符号に付した添え字を省略する。
【0050】
図1に示した制御データ生成部22は、受信側にてプログラムを再生する際に必要となるいわゆるPAT、PMT、CAT等の制御データを作成してTPを生成する。この制御データ生成部22は、制御データを作成するためのパラメータを入力端子32を介して外部から入力する。また、制御データ生成部22は、任意の制御データを多重化すべきタイミングに至ったときに、この制御データを被選択端子35に供給する。被選択端子35に供給された制御データは、多重スイッチ24の選択により読み出され多重化される。
【0051】
ヌルパケット生成部23は、MPEG2で規定されているヌルパケットを生成する。ヌルパケット生成部23は、PESパケット、制御データパケット、PCRパケットのいずれも多重化する必要のないタイミング、或いはこれらのパケットのいずれも多重化することが禁止されたタイミングにおいて多重化するためのペイロードデータを有さないヌルパケットを生成し、被選択端子36へと供給する。被選択端子36に供給されたヌルパケットは、多重スイッチ24の選択により読み出され多重化される。ヌルパケットは、その内容が無意味であり、受信側にてデコードされるものではない。
【0052】
多重化制御部25は、PESパケット、制御データパケット、PCRパケット、ヌルパケットのうち、いずれのパケットを選択するかを決定する。多重化制御部25は、多重スイッチ24に対して選択信号を送信して多重スイッチ24を動作させ、選択したパケットを出力する被選択端子と多重スイッチ24とを接続させることにより、多重チャンネルを制御する。多重化制御部25は、多重化するパケットを選択するために、入力制御部27からPESやAUのストリーム情報を読み出すとともに、バッファ28から保持しているデータに関する占有量情報を読み出す。また、多重化制御部25は、制御データ生成部22で生成された制御データパケットを選択する際には、所定の最大出力間隔を満たすことができるように、出力時刻を内部で管理する。さらに、多重化制御部25は、PESパケット、制御データパケット、PCRパケットのいずれも多重化する必要のないタイミング、或いはこれらのパケットのいずれも多重化することが禁止されたタイミングであると判断した場合には、ヌルパケット生成部23からのヌルパケットを多重化するように多重化スイッチ24を制御する。
【0053】
出力制御部26は、多重化制御部25の制御のもとに選択されたパケットを入力し、出力端子37を介して所定の出力ビットレートで複数のTPから構成されるTSを図示しない伝送路へ出力する。出力制御部26は、多重化制御部25から多重化するデータの種別を読み出すとともに、そのデータを入力した入力制御部からデータの属性を読み出し、これらに基づいたTPヘッダを付加してTPを生成して出力する。
【0054】
このような多重化装置20は、多重化制御部25の制御にしたがって、多重スイッチ24を動作させ、多重化するPESや制御データを選択し、この選択したPESや制御データをTP単位で多重化して1本のTSを生成し、出力端子37を介して出力する。その際、多重化装置20は、図6に示すような一連の処理を基準時間不連続点検出部29により行うことによって、入力したPESのESCRにより再生した基準時間が不連続であるかを否かを検出する。
【0055】
すなわち、多重化装置20は、同図に示すように、ステップS1において、基準時間不連続点検出部29によって、入力したPESにおけるESCRのラッチ信号に応じて、入力制御部27からのESCRデコード値とこのESCRより再生した基準時間であるLTCとを取得する。
【0056】
続いて、多重化装置20は、ステップS2において、基準時間不連続点検出部29によって、次式(1)及び次式(2)にそれぞれ示すように、取得したLTC及びESCRデコード値のそれぞれの初期値からの増分を算出する。
【0057】
ΔLTC=LTC−LTC0 ・・・(1)
ΔESCR=ESCR−ESCR0 ・・・(2)
上式(1)及び上式(2)において、LTC及びESCRは、それぞれ、取得したLTC及びESCRデコード値を示し、LTC0及びESCR0は、それぞれ、LTC及びESCRデコード値の初期値を示し、ΔLTC及びΔESCRは、それぞれ、LTC及びESCRデコード値の増分を示している。
【0058】
そして、多重化装置20は、ステップS3において、基準時間不連続点検出部29によって、次式(3)に示すように、LTC及びESCRデコード値の増分間の距離が、予め設定された閾値TH以下であるかを判別する。
【0059】
|ΔESCR−ΔLTC|≦TH ・・・(3)
【0060】
ここで、上式(3)を満たさない場合、すなわち、LTC及びESCRデコード値の増分間の距離が閾値THよりも大きいと判別した場合には、多重化装置20は、ステップS4へと処理を移行する。多重化装置20は、ステップS4において、基準時間不連続点検出部29によって、取得したLTC及びESCRデコード値をそれぞれ、以後入力するPESに対するLTC及びESCRデコード値の初期値に設定するとともに、図3に示したTPヘッダ7中の不連続インディケータフィールド10に、ESCRにより再生した基準時間が不連続であることを識別する識別子である不連続インディケータフラグ“1”を付与するため、入力制御部27が有して管理する図示しないメモリに、不連続インディケータフィールド10に付与する不連続インディケータフラグ“1”を、入力したPESのエントリとして書き込む。多重化装置20において基準時間不連続点検出部29は、このようにして一連の処理を終了し、次に入力するPESに関する検査を行うまで待機する。
【0061】
一方、上式(3)を満たす場合には、多重化装置20において基準時間不連続点検出部29は、入力したPESに関する一連の処理を終了し、次に入力するPESに関する検査を行うまで待機する。この場合、不連続インディケータフィールド10には、“0”が付与されることになる。
【0062】
多重化装置20は、入力したPESに関する上述した処理を繰り返し、検査を完了する度に入力制御部27が管理するメモリに、不連続インディケータフィールド10に付与する不連続インディケータフラグをPES毎のエントリとして書き込む。
【0063】
そして、多重化装置20は、出力制御部26が入力制御部27から不連続インディケータフィールド10に付与すべき不連続インディケータフラグを読み出し、不連続点を検出したPESを多重化して出力する直前に、このPESが属するプログラムのPCRパケットの不連続インディケータフィールド10に不連続インディケータフラグ“1”を付与し、多重化してTSとして出力する。
【0064】
このようにして、多重化装置20は、入力したPESのESCRにより再生した基準時間が不連続となる点を検出することができ、基準時間に不連続点が発生することを受信側に通知することができる。したがって、このようなTSを受信する受信側は、基準時間が不連続となっているTSを受信した場合にも、破綻することなく、再生することができる。
【0065】
つぎに、上述した多重化装置20の他の構成について図7を参照して説明する。図7に示す多重化装置50は、基本構成を図1に示した多重化装置20と同様とし、外部から入力した基準時間不連続インディケータ信号に基づいて、受信側に不連続点を通知することに特徴を有している。したがって、先に図1に示した多重化装置20と同様の構成については同一符号を付して詳細な説明を省略する。なお、ここでも、例えば、入力処理部211,212,・・・,21nを入力処理部21と総称するように、各部を示す符号に付した添え字を省略して説明する。
【0066】
多重化装置50は、外部から複数プログラム分のPESを入力し、これらのPESを1本のTSに多重化するものである。
【0067】
多重化装置50は、PESを入力する経路とは異なる経路から、PESに対応する基準時間不連続インディケータ信号を入力制御部27に入力する。この基準時間不連続インディケータ信号は、例えば、多重化装置50に入力するPESのESCRにより再生される基準時間が不連続であることを検出する多重化装置50とは異なる図示しない基準時間不連続点検出部から、入力するPESと同期して送られてくるものである。多重化装置50は、入力制御部27にPESとともに基準時間不連続インディケータ信号が入力されたことを判別すると、図3に示したTPヘッダ7中の不連続インディケータフィールド10に不連続インディケータフラグ“1”を付与するため、入力制御部27が有して管理する図示しないメモリに、不連続インディケータフィールド10に付与する情報としての不連続インディケータフラグ“1”を、入力したPESのエントリとして書き込む。
【0068】
そして、多重化装置50は、出力制御部26が入力制御部27から不連続インディケータフィールド10に付与すべき不連続インディケータフラグを読み出し、不連続点を検出したPESを多重化して出力する直前に、このPESが属するプログラムのPCRパケットの不連続インディケータフィールド10に不連続インディケータフラグ“1”を付与し、多重化してTSとして出力する。
【0069】
このようにすることによって、多重化装置50は、入力したPESのESCRにより再生した基準時間が不連続であることを認識し、この情報をTSに重畳して出力することによって、基準時間に不連続点が発生することを受信側に通知することができる。したがって、このようなTSを受信する受信側は、基準時間が不連続となっているTSを受信した場合にも、破綻をきたすことなく、再生することができる。
【0070】
以上のように、本発明を適用した実施の形態として示す多重化装置20,50は、検出された基準時間の不連続情報を受信側に通知することができ、受信側における再生時の破綻を防止することができる。
【0071】
なお、以下に説明するように、多重化装置において検出した基準時間の不連続を積極的に解消したTSを受信側に送信するように構成することもできる。
【0072】
この場合、多重化装置は、例えば図8に示すような構成からなる。なお、多重化装置60は、基本構成を図1に示した多重化装置20と同様とするため、多重化装置20と同様の構成については同一符号を付して詳細な説明を省略する。また、ここでも、例えば、入力処理部211,212,・・・,21nを入力処理部21と総称するように、各部を示す符号に付した添え字を省略して説明する。
【0073】
多重化装置60は、外部から複数プログラム分のPESを入力し、これらのPESを1本のTSに多重化する。多重化装置60は、入力制御部27に対応して付随する基準時間不連続点検出部29を備え、この基準時間不連続点検出部29とPCRパケット生成部30との間でのデータの送受信を可能とするように構成される。
【0074】
入力制御部27は、入力したPESに重畳されているESCRを取得し、このESCRデコード値を後段の基準時間不連続点検出部29に出力するとともに、ESCRを取得したタイミングを示すラッチ信号を後段のPCRパケット生成部30に出力する。
【0075】
そして、ESCRラッチ信号が供給されたPCRパケット生成部30は、そのタイミングにおけるLTCカウンタ値を取得し、このLTCカウンタ値を基準時間不連続点検出部29に出力する。
【0076】
基準時間不連続点検出部29は、後述するように、ESCRにより再生した基準時間が不連続となる点を検出するとともに、再生する基準時間が連続となるように、不連続であるESCRデコード値を変換し、この変換した値ESCR’をPCRパケット生成部30に出力する。
【0077】
このような多重化装置60は、図9に示すような一連の処理を行うことによって、入力したPESのESCRにより再生した基準時間の不連続点を検出し、出力基準時刻情報であるPCRが連続となるように、ESCRデコード値を変換してESCR’を求めるとともに、上述したPTSやDTSの付け替えを行うために、これらのPTS及びDTSのシフト量ΔTSを決定する。
【0078】
すなわち、多重化装置60は、同図に示すように、ステップS11において、基準時間不連続点検出部29によって、入力したPESにおけるESCRのラッチ信号に応じて、入力制御部27からのESCRデコード値と、このESCRより再生した基準時間であるPCRパケット生成部30からのLTCとを取得する。
【0079】
続いて、多重化装置60は、ステップS12において、基準時間不連続点検出部29によって、上式(1)及び上式(2)に示したように、取得したLTC及びESCRデコード値のそれぞれの初期値からの増分を算出する。
【0080】
そして、多重化装置60は、ステップS13において、基準時間不連続点検出部29によって、上式(3)に示したように、LTC及びESCRデコード値の増分間の距離が、予め設定された閾値TH以下であるかを判別する。
【0081】
ここで、上式(3)を満たす場合、すなわち、LTC及びESCRデコード値の増分間の距離が閾値TH以下であると判別した場合には、多重化装置60は、ステップS14へと処理を移行する。多重化装置60は、ステップS14において、基準時間不連続点検出部29によって、次式(4)に示すようにLTCの初期値LTC0とESCRデコード値の初期値からの増分ΔESCRとに基づいて、ESCRデコード値を変換してESCR’を求める。
【0082】
ESCR’=LTC0+ΔESCR ・・・(4)
【0083】
多重化装置60において基準時間不連続点検出部29は、求めたESCR’をPCRパケット生成部30に出力して一連の処理を終了し、次に入力するPESに関する処理を行うまで待機する。
【0084】
一方、上式(3)を満たさない場合、すなわち、LTC及びESCRデコード値の増分間の距離が閾値THよりも大きいと判別した場合には、多重化装置60は、ステップS15へと処理を移行する。多重化装置60は、ステップS15において、基準時間不連続点検出部29によって、取得したLTCをESCR’とするとともに、取得したLTC及びESCRデコード値をそれぞれ、以後入力するPESに対するLTC及びESCRデコード値の初期値に設定し、さらにPTSやDTSを変換するためのシフト量ΔTSを次式(5)により算出する。
【0085】
ΔTS=LTC0−ESCR0 ・・・(5)
【0086】
多重化装置60において基準時間不連続点検出部29は、求めたESCR’をPCRパケット生成部30に出力するとともに、求めたΔTSを入力制御部27が有して管理する図示しないメモリに、PESの属性データとして追加エントリし、出力制御部26がこのΔTSを読み出せる状態にして一連の処理を終了し、次に入力するPESに関する処理を行うまで待機する。
【0087】
多重化装置60は、PCRパケット生成部30が有する上述したLTC再生部38によって、入力されたESCR’を用いて基準時間を再生する。この基準時間は、連続的に推移する。したがって、PCRパケット生成部30で生成されて多重化されたPCRパケットを受信する受信側における基準時間は、連続的に推移するものとなる。
【0088】
また、多重化装置60は、PTSやDTSを含むPESパケットを多重化して出力する際には、出力制御部26が入力制御部27からこれらのPTS及び/又はDTSに対応するΔTSを読み込み、PTS及び/又はDTSのデコード値にΔTSを加算してエンコードしたものを、適正なPTS及び/又はDTSとして、上述したPESヘッダ2中のPTSフィールド4及び/又はDTSフィールド5の値を付け替え、多重化してTSとして出力する。
【0089】
このようにして、多重化装置60は、入力したPESのESCRにより再生した基準時間が不連続となる点を検出するとともに、基準時間や同期再生情報の不連続を解消したTSを出力することができる。
【0090】
なお、多重化装置60は、上述したTPヘッダ7中の不連続インディケータフィールド10に不連続インディケータフラグをたて、基準時間に不連続点が発生することを受信側に通知するようにしてもよい。このようにすることによって、TSを受信する受信側は、多重化装置60で検出できなかった隠れたシーンチェンジ等にも対応することが可能となる。
【0091】
また、多重化装置60の他の構成として、図10に示す多重化装置70が考えられる。なお、多重化装置70は、基本構成を図8に示した多重化装置60と同様とし、各プログラムに共通のPCRを生成することに特徴を有している。したがって、先に図8に示した多重化装置60と同様の構成については同一符号を付して詳細な説明を省略する。また、ここでも、例えば、入力処理部211,212,・・・,21nを入力処理部21と総称するように、各部を示す符号に付した添え字を省略して説明する。
【0092】
多重化装置70は、外部から複数プログラム分のPESを入力し、これらのPESを1本のTSに多重化する。多重化装置70は、各プログラム毎に付随するのではなく、各プログラムに共通のPCRを生成するPCRパケット生成部71を備え、PCRパケット生成部71は、入力制御部27に付随する基準時間不連続点検出部29と接続している。
【0093】
PCRパケット生成部71は、例えば図11に示すように、多重化装置70が自発的にLTCを生成するLTC生成部73と、このLTC生成部73により得られた出力をPCRデータとしてエンコードするPCRエンコーダ74と、得られたPCRデータをパケット化して保持するPCRパケットレジスタ75とを備える。
【0094】
LTC生成部73は、図12に示すように、27MHzのクロックを発振させる27MHzクロック発振器76と、この27MHzクロック発振器76により得られた27MHzのクロックをLTCとしてカウントするLTCカウンタ77とを備える。LTC生成部73は、27MHzクロック発振器76により27MHzの基準クロックであるLTCを発振し、このLTCをLTCカウンタ77によりカウントして得られるLTCカウンタ値を後段のPCRエンコーダ74に供給する。
【0095】
PCRエンコーダ74は、LTC生成部73により得られた任意のタイミングにおける出力をPCRデータとしてエンコードする。
【0096】
PCRパケットレジスタ75は、PCRエンコーダ74により得られたPCRデータをパケット化し、保持する。
【0097】
このような各部を備えるPCRパケット生成部71は、生成したPCRパケットを多重化するタイミングに至ると、多重化制御部25に対して多重要求を送信して、多重化するPCRパケットを被選択端子72に供給する。被選択端子72に供給されたPCRパケットは、多重スイッチ24の選択により読み出され多重化される。
【0098】
このような多重化装置70は、基準時間の不連続点を検出すると、PESに重畳されている上述したPTSやDTSの付け替えを行う。多重化装置70は、図13に示すような一連の処理を行うことによって、入力したPESのESCRにより再生した基準時間の不連続点を検出し、PTSやDTSの付け替えを行うために、これらのPTS及びDTSのシフト量ΔTSを決定する。
【0099】
すなわち、多重化装置70は、同図に示すように、ステップS21において、入力制御部27が検出したESCRデコード値を、基準時間不連続点検出部29が取得する。また、多重化装置70は、入力制御部27がESCRを検出すると同時にPCRパケット生成部71に供給したESCRラッチ信号のタイミングにおけるLTCを、基準時間不連続点検出部29が取得する。
【0100】
続いて、多重化装置70は、ステップS22において、基準時間不連続点検出部29によって、上式(1)及び上式(2)に示したように、取得したLTC及びESCRデコード値のそれぞれの初期値からの増分を算出する。
【0101】
そして、多重化装置70は、ステップS23において、基準時間不連続点検出部29によって、上式(3)に示したように、LTC及びESCRデコード値の増分間の距離が、予め設定された閾値TH以下であるかを判別する。
【0102】
ここで、上式(3)を満たさない場合、すなわち、LTC及びESCRデコード値の増分間の距離が閾値THよりも大きいと判別した場合には、多重化装置70は、ステップS24へと処理を移行する。多重化装置70は、ステップS24において、基準時間不連続点検出部29によって、取得したLTC及びESCRデコード値をそれぞれ、以後入力するPESに対するLTC及びESCRデコード値の初期値に設定するとともに、PTSやDTSを変換するためのシフト量ΔTSを上式(5)により算出する。
【0103】
多重化装置60において基準時間不連続点検出部29は、求めたΔTSを入力制御部27が有して管理する図示しないメモリに、PESの属性データとして追加エントリし、出力制御部26がこのΔTSを読み出せる状態にして一連の処理を終了し、次に入力するPESに関する処理を行うまで待機する。
【0104】
一方、上式(3)を満たす場合には、多重化装置70において基準時間不連続点検出部29は、入力したPESに関する一連の処理を終了し、次に入力するPESに関する処理を行うまで待機する。
【0105】
多重化装置70は、PTSやDTSを含むPESパケットを多重化して出力する際には、出力制御部26が入力制御部27からこれらのPTS及び/又はDTSに対応するΔTSを読み込み、PTS及び/又はDTSのデコード値にΔTSを加算してエンコードしたものを、適正なPTS及び/又はDTSとして、上述したPESヘッダ2中のPTSフィールド4及び/又はDTSフィールド5の値を付け替え、多重化してTSとして出力する。
【0106】
このようにして、多重化装置70は、入力したPESのESCRにより再生した基準時間が不連続となる点を検出するとともに、基準時間や同期再生情報の不連続を解消したTSを出力することができる。
【0107】
なお、多重化装置70は、PCRパケット生成部71が有するLTC生成部73が発振する基準クロックとして、多重化装置70が自発的に発振する27MHzクロック発振器76からのクロックを用いたが、これに限定されることはなく、例えば、先に図4に示したように、LTC再生部を設け、任意のPESを入力するチャンネルのESCRにより再生したLTCを用いるようにしてもよい。また、多重化装置70は、LTC生成部73やLTC再生部を備えず、例えば、PESを発生して当該多重化装置70に入力する装置が有する27MHzのクロックといったように、外部から供給されるクロックを基準クロックとして用いるようにしてもよい。
【0108】
また、多重化装置70は、上述したTPヘッダ7中の不連続インディケータフィールド10に不連続インディケータフラグをたて、基準時間に不連続点が発生することを受信側に通知するようにしてもよい。このようにすることによって、TSを受信する受信側は、多重化装置70で検出できなかった隠れたシーンチェンジ等にも対応することが可能となる。
【0109】
つぎに、上述した多重化装置20の他の構成について図14乃至図16を参照して説明する。
【0110】
図14に示す再多重化装置80は、基本構成を図1に示した多重化装置20と同様とし、複数のTSを入力して1本のTSに再び多重化して出力することに特徴を有している。したがって、先に図1に示した多重化装置20と同様の構成については同一符号を付して詳細な説明を省略する。
【0111】
再多重化装置80は、図14に示すように、符号化入力ストリームとして複数のTSを入力し、これらのTSを符号化出力ストリームである1本のTSに再び多重化するものである。
【0112】
再多重化装置80は、上述した制御データ生成部22と、ヌルパケット生成部23と、多重スイッチ24と、多重化制御部25との他に、複数のTSを入力する入力制御部811,812,・・・と、これらの入力制御部811,812,・・・からのTSをそれぞれ入力して一時記憶するバッファ821,822,・・・と、入力制御部811,812,・・・にそれぞれ付随する基準時間不連続点検出部831,832,・・・と、LTCを生成するLTC生成部84と、所定の伝送レートでTSを出力する出力制御部85とを備える。また、再多重化装置80は、上述した入力端子32と、被選択端子35,36との他に、TSを入力する入力端子861,862,・・・と、バッファ821,822,・・・からの各出力を出力する被選択端子871,872,・・・と、LTC生成部84からの出力を出力する被選択端子88と、制御データを作成するためのパラメータを出力制御部85に入力する入力端子89と、出力制御部85からTSを出力する出力端子90とを備える。
【0113】
入力制御部811,812,・・・は、それぞれ、入力端子861,862,・・・からTSを1バイトずつ入力し、入力したTSを後段のバッファ821,822,・・・に供給する。また、入力制御部811,812,・・・は、それぞれ、図示しないメモリを有しており、PCRを含むTPを取得し、このPCRの制御開始後における入力順を示すインデックス番号と、入力基準時刻情報であるPCRデコード値と、先に図3に示したTPヘッダ7中の不連続インディケータフィールド10に付与された値とをメモリに保持する。さらに、入力制御部811,812,・・・は、それぞれ、PCRを取得すると、このPCRを取得したタイミングを示すラッチ信号と、PCRデコード値とを後段の基準時間不連続点検出部831,832,・・・に出力する。さらにまた、入力制御部811,812,・・・は、それぞれ、TSやAUのスタートコードを検出してメモリに保持する。また、入力制御部811,812,・・・は、それぞれ、制御開始後に入力したTPの入力順を示すインデックス番号と、各インデックス番号に対応するヘッダ情報とをメモリに保持し、多重化制御部25に供給する。
【0114】
バッファ821,822,・・・は、それぞれ、データが書き込まれた順番でデータを読み出すFIFO形式のものであり、入力制御部811,812,・・・から供給されたTPを一時記憶する。バッファ821,822,・・・は、それぞれ、多重化制御部25の制御により動作する多重スイッチ24が被選択端子871,872,・・・のいずれかを選択することでTPが多重化されるタイミングまで、入力したTPを一時記憶する。そして、バッファ821,822,・・・は、それぞれ、記憶・保持しているTPを被選択端子871,872,・・・へと供給する。被選択端子871,872,・・・に供給されたTPは、それぞれ、多重スイッチ24の選択により読み出され多重化される。
【0115】
基準時間不連続点検出部831,832,・・・は、それぞれ、入力制御部811,812,・・・で取得されたPCRデコード値と、このPCRが取得されたタイミングを示すラッチ信号とを入力し、後述するように、PCRにより再生した基準時間が不連続となる点を検出する。
【0116】
LTC生成部84は、先に図12に示したような構成からなり、27MHzのクロックを発振させ、このクロックをカウントして得られたLTCカウンタ値を被選択端子88及び基準時間不連続点検出部831,832,・・・に出力する。
【0117】
出力制御部85は、多重化制御部25の制御のもとに選択されたパケットを入力してTPデータの確定を行い、出力端子90を介して所定の出力ビットレートで複数のTPから構成されるTSを図示しない伝送路へ出力する。出力制御部85は、例えば、TPヘッダ7中のPIDフィールド9の確定を行う際には、入力したTS間での重複を避けるために、外部から指定された制御データパラメータを入力端子89を介して入力し、この制御データパラメータに基づいて、PIDの付け替えを行う。また、PIDの付け替え等にともない、制御データパケット内のデータの一部を変更する必要性が生じる場合には、出力制御部85は、必要に応じて制御データパケット内のデータの付け替えを行う。さらに、出力制御部85は、必要に応じて、TPヘッダ7中のPCRフィールド11におけるPCRや、PTS、DTS等の付け替えも行う。出力制御部85は、このようにして確定したTPをバイト単位で所定の出力ビットレートにしたがって出力する。
【0118】
このような再多重化装置80は、多重化制御部25の制御にしたがって、多重スイッチ24を動作させ、多重化するTPや制御データを選択し、この選択したTPや制御データを多重化して1本のTSを生成し、出力端子90を介して出力する。なお、以下の説明では、例えば、入力制御部811,812,・・・を入力制御部81と総称するように、各部を示す符号に付した添え字を省略するものとする。
【0119】
再多重化装置80は、図15に示すような一連の処理を基準時間不連続点検出部83により行うことによって、入力したTSのPCRにより再生した基準時間が不連続であるかを否かを検出する。
【0120】
すなわち、再多重化装置80は、同図に示すように、ステップS31において、入力制御部81が検出したPCRデコード値を、基準時間不連続点検出部83が取得する。また、再多重化装置80は、入力制御部81がPCRを検出すると同時にLTC生成部84に供給したPCRラッチ信号のタイミングにおけるLTCを、基準時間不連続点検出部83が取得する。
【0121】
続いて、再多重化装置80は、ステップS32において、基準時間不連続点検出部83によって、上式(1)及び次式(6)にそれぞれ示すように、取得したLTC及びPCRデコード値のそれぞれの初期値からの増分を算出する。
【0122】
ΔPCR=PCR−PCR0 ・・・(6)
上式(6)において、PCRは、取得したPCRデコード値を示し、PCR0は、PCRデコード値の初期値を示し、ΔPCRは、PCRデコード値の増分を示している。
【0123】
そして、再多重化装置80は、ステップS33において、基準時間不連続点検出部83によって、次式(7)に示すように、LTC及びPCRデコード値の増分間の距離が、予め設定された閾値TH以下であるかを判別する。
【0124】
|ΔPCR−ΔLTC|≦TH ・・・(7)
【0125】
ここで、上式(7)を満たさない場合、すなわち、LTC及びPCRデコード値の増分間の距離が閾値THよりも大きいと判別した場合には、再多重化装置80は、ステップS34へと処理を移行する。再多重化装置80は、ステップS34において、基準時間不連続点検出部83によって、取得したLTC及びPCRデコード値をそれぞれ、以後入力するTSに対するLTC及びPCRデコード値の初期値に設定するとともに、図3に示したTPヘッダ7中の不連続インディケータフィールド10に不連続インディケータフラグ“1”を付与するため、入力制御部81が有して管理する図示しないメモリに、不連続インディケータフィールド10に付与する情報としての不連続インディケータフラグ“1”を、入力したTSのエントリとして書き込む。再多重化装置80において基準時間不連続点検出部83は、このようにして一連の処理を終了し、次に入力するTSに関する処理を行うまで待機する。
【0126】
一方、上式(7)を満たす場合には、再多重化装置80において基準時間不連続点検出部83は、入力したTSに関する一連の処理を終了し、次に入力するTSに関する処理を行うまで待機する。この場合、不連続インディケータフィールド10には、“0”が付与されることになる。
【0127】
再多重化装置80は、入力したTSに関する上述した処理を繰り返し、検査を完了する度に入力制御部81が管理するメモリに、不連続インディケータフィールド10に付与する不連続インディケータフラグをTS毎のエントリとして書き込む。
【0128】
そして、再多重化装置80は、出力制御部85が入力制御部81から不連続インディケータフィールド10に付与すべき不連続インディケータフラグを読み出し、不連続点を検出したTSを多重化して出力する直前に、PCRを含むTPの不連続インディケータフィールド10に不連続インディケータフラグ“1”を付与し、多重化してTSとして出力する。
【0129】
このようにして、再多重化装置80は、入力したTSのPCRにより再生した基準時間が不連続となる点を検出することができ、基準時間に不連続点が発生することを受信側に通知することができる。したがって、このようなTSを受信する受信側は、基準時間が不連続となっているTSを受信した場合にも、破綻することなく、再生することができる。
【0130】
なお、再多重化装置80は、図16に示すような一連の処理を行うことによって、先に図8に示した多重化装置60及び図10に示した多重化装置70と同様に、検出した基準時間の不連続を積極的に解消したTSを受信側に送信することもできる。
【0131】
すなわち、再多重化装置80は、図16に示すように、ステップS41において、入力制御部81が検出したPCRデコード値を、基準時間不連続点検出部83が取得する。また、再多重化装置80は、入力制御部81がPCRを検出すると同時にLTC生成部84に供給したPCRラッチ信号のタイミングにおけるLTCを、基準時間不連続点検出部83が取得する。
【0132】
続いて、再多重化装置80は、ステップS42において、基準時間不連続点検出部83によって、上式(1)及び上式(6)にそれぞれ示すように、取得したLTC及びPCRデコード値のそれぞれの初期値からの増分を算出する。
【0133】
そして、再多重化装置80は、ステップS43において、基準時間不連続点検出部83によって、上式(7)に示したように、LTC及びPCRデコード値の増分間の距離が、予め設定された閾値TH以下であるかを判別する。
【0134】
ここで、上式(7)を満たす場合、すなわち、LTC及びPCRデコード値の増分間の距離が閾値TH以下であると判別した場合には、再多重化装置80は、ステップS44へと処理を移行する。再多重化装置80は、ステップS44において、基準時間不連続点検出部83によって、出力基準時刻情報であるPCRが連続となるように、次式(8)に示すようにLTCの初期値LTC0とPCRデコード値の初期値からの増分ΔPCRとに基づいて、PCRデコード値を変換してPCR’を求めて一連の処理を終了し、次に入力するTSに関する処理を行うまで待機する。
【0135】
PCR’=LTC0+ΔPCR ・・・(8)
【0136】
一方、上式(7)を満たさない場合、すなわち、LTC及びPCRデコード値の増分間の距離が閾値THよりも大きいと判別した場合には、再多重化装置80は、ステップS45へと処理を移行する。再多重化装置80は、ステップS45において、基準時間不連続点検出部83によって、取得したLTCをPCR’とするとともに、取得したLTC及びPCRデコード値をそれぞれ、以後入力するTSに対するLTC及びPCRデコード値の初期値に設定し、さらにPTSやDTSを変換するためのシフト量ΔTSを次式(9)により算出する。
【0137】
ΔTS=LTC0−PCR0 ・・・(9)
【0138】
再多重化装置80において基準時間不連続点検出部83は、先にステップS42にて求めたΔPCRとステップS45にて求めたΔTSとを入力制御部81が有して管理する図示しないメモリに書き込み、出力制御部85がこれらのΔPCR及びΔTSを読み出せる状態にして一連の処理を終了し、次に入力するTSに関する処理を行うまで待機する。
【0139】
再多重化装置80は、PCRを含むTPを多重化して出力する際には、出力制御部85が入力制御部81からΔPCRを読み込み、PCRデコード値にΔPCRを加算してエンコードしたものを、適正なPCRとして上述したTPヘッダ7中のPCRフィールド11の値を付け替え、多重化してTSとして出力する。また、再多重化装置80は、PTSやDTSを含むTPを多重化して出力する際には、出力制御部85が入力制御部81からこれらのPTS及び/又はDTSに対応するΔTSを読み込み、PTS及び/又はDTSのデコード値にΔTSを加算してエンコードしたものを、適正なPTS及び/又はDTSとして付け替え、多重化してTSとして出力する。
【0140】
このようにして、再多重化装置80は、入力したTSのPCRにより再生した基準時間が不連続となる点を検出するとともに、基準時間や同期再生情報の不連続を解消したTSを出力することができる。
【0141】
なお、再多重化装置80は、上述したTPヘッダ7中の不連続インディケータフィールド10に不連続インディケータフラグをたて、基準時間に不連続点が発生することを受信側に通知するようにしてもよい。このようにすることによって、TSを受信する受信側は、再多重化装置80で検出できなかった隠れたシーンチェンジ等にも対応することが可能となる。
【0142】
以上説明したように、本発明を適用した実施の形態として示す多重化装置及び再多重化装置は、ビットストリームの基準時刻情報が付加された複数のストリームを入力し、その基準時間が不連続であることを検出することができ、受信側に不連続情報を通知することができる。したがって、ストリームを受信する受信側は、不連続が解消された連続的な基準時間に変更して再生出力することが可能となり、基準時間が不連続となっているストリームを受信した場合にも、破綻することなく、正常な再生を行うことが可能となる。
【0143】
なお、上述した多重化装置及び再多重化装置における基準時間不連続点検出部は、いずれも、上述した処理をソフトウェアで行うように構成してもよく、上述した処理が可能である手段をハードウェアで構成してもよい。
【0144】
その他、本発明は、上述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々の変更が可能であることはいうまでもない。
【0145】
【発明の効果】
以上詳細に説明したように、本発明にかかるデータ多重化装置は、符号化入力ストリームにおける入力基準時刻情報により再生した基準時間が不連続であるか否かを検出して得られた結果を識別する識別子がヘッダ領域に付加された単一の符号化出力ストリームを出力することができる。したがって、本発明にかかるデータ多重化装置は、符号化出力ストリームを受信する受信側に、符号化入力ストリームにおける入力基準時刻情報により再生した基準時間が不連続であることを通知することができ、受信側が、符号化入力ストリームにおける入力基準時刻情報により再生した基準時間が不連続である符号化出力ストリームを受信した場合にも、正常な再生出力を行わせることができる。
【0146】
また、本発明にかかるデータ多重化方法は、符号化入力ストリームを単一の符号化出力ストリームに多重化して出力する際に、符号化入力ストリームにおける入力基準時刻情報により再生した基準時間が不連続であるか否かを識別する識別子を、符号化出力ストリームのヘッダ領域に付加することができる。したがって、本発明にかかるデータ多重化方法は、符号化出力ストリームを受信する受信側に、符号化入力ストリームにおける入力基準時刻情報により再生した基準時間が不連続であることを通知することを可能とし、受信側が、符号化入力ストリームにおける入力基準時刻情報により再生した基準時間が不連続である符号化出力ストリームを受信した場合にも、正常な再生出力を行わせることが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態として示す多重化装置の構成を説明するブロック図である。
【図2】PESパケットの構成を説明する図であって、特にPESヘッダの構成を説明する図である。
【図3】TPの構成を説明する図であって、特にTPヘッダの構成を説明する図である。
【図4】図1に示す多重化装置が備えるPCRパケット生成部の内部構成を説明するブロック図である。
【図5】図4に示すPCRパケット生成部が備えるLTC再生部の内部構成を説明するブロック図である。
【図6】図1に示す多重化装置において、再生した基準時間が不連続であるかを検出する際の基準時間不連続点検出部における一連の工程を説明するフローチャートである。
【図7】図1に示す多重化装置の他の構成を説明するブロック図である。
【図8】図1に示す多重化装置のさらに他の構成を説明するブロック図である。
【図9】図8に示す多重化装置において、再生した基準時間の不連続点を検出し、同期再生情報のシフト量を決定する際の基準時間不連続点検出部における一連の工程を説明するフローチャートである。
【図10】図8に示す多重化装置の他の構成を説明するブロック図である。
【図11】図10に示す多重化装置が備えるPCRパケット生成部の内部構成を説明するブロック図である。
【図12】図11に示すPCRパケット生成部が備えるLTC生成部の内部構成を説明するブロック図である。
【図13】図10に示す多重化装置において、再生した基準時間の不連続点を検出し、同期再生情報のシフト量を決定する際の基準時間不連続点検出部における一連の工程を説明するフローチャートである。
【図14】図1に示す多重化装置のさらに他の構成である再多重化装置の構成を説明するブロック図である。
【図15】図14に示す再多重化装置において、再生した基準時間が不連続であるかを検出する際の基準時間不連続点検出部における一連の工程を説明するフローチャートである。
【図16】図14に示す再多重化装置において、再生した基準時間の不連続点を検出し、同期再生情報のシフト量を決定する際の基準時間不連続点検出部における一連の工程を説明するフローチャートである。
【図17】従来の多重化装置の他の構成を説明するブロック図である。
【符号の説明】
2 PESヘッダ、 3 ESCRフィールド、 4 PTSフィールド、 5 DTSフィールド、 7 TPヘッダ、 10 不連続インディケータフィールド、 11 PCRフィールド、 20,50,60,70 多重化装置、21 入力処理部、 22 制御データ生成部、 23 ヌルパケット生成部、 24 多重スイッチ、 25 多重化制御部、 26,85 出力制御部、27,81 入力制御部、 28,82 バッファ、 29,83 基準時間不連続点検出部、 30,71 PCRパケット生成部、 38 LTC再生部、 39,74 PCRエンコーダ、 40,75 PCRパケットレジスタ、41 減算器、 42 ディジタルフィルタ、 43 DAC、 44 LPF、 45 VCO、 46,77 LTCカウンタ、 73,84 LTC生成部、 76 27MHzクロック発振器、 80 再多重化装置

Claims (11)

  1. 単一の時間軸を再生するための入力基準時刻情報がヘッダ領域に付加された少なくとも1つ以上の符号化入力ストリームを入力して読み込むとともに、上記入力基準時刻情報により再生した基準時間が不連続であるか否かが検出された結果を識別する識別子を保持する入力制御手段と、
    上記符号化入力ストリームを単一の符号化出力ストリームに多重化して出力するとともに、上記符号化出力ストリームを出力する際に、上記入力制御手段から上記識別子を読み出し、上記符号化出力ストリームのヘッダ領域に上記識別子を付加する出力制御手段とを備えること
    を特徴とするデータ多重化装置。
  2. 上記入力制御手段に付随し、上記基準時間が不連続であることを検出する基準時間不連続点検出手段を備え、
    上記基準時間不連続点検出手段は、上記基準時間が不連続であるか否かを検出した結果に応じて、上記入力制御手段に上記識別子を供給することを特徴とする請求項1記載のデータ多重化装置。
  3. 上記基準時間不連続点検出手段は、上記入力基準時刻情報における初期値からの増分と、上記基準時間における初期値からの増分との差分が、所定の範囲内であるかを判別することを特徴とする請求項2記載のデータ多重化装置。
  4. 上記入力制御手段は、上記基準時間が不連続であることを示し且つ上記符号化入力ストリームと同期して外部から送られてくる信号を入力し、この信号に基づいた上記識別子を保持することを特徴とする請求項1記載のデータ多重化装置。
  5. 上記符号化入力ストリームを構成するプログラム毎に独立であり、上記符号化出力ストリームのヘッダ領域に重畳する出力基準時刻情報を生成する出力基準時刻情報生成手段を備え、
    上記基準時間不連続点検出手段は、上記出力基準時刻情報が連続となるように、上記入力基準時刻情報における初期値と、上記入力基準時刻情報における初期値からの増分とに基づいて、上記入力基準時刻情報を変換して上記出力基準時刻情報生成手段に供給するとともに、上記基準時間の初期値と、上記入力基準時刻情報における初期値とに基づいて、上記符号化出力ストリームのヘッダ領域に重畳する再生出力時刻及び/又は復号時刻を指定するための同期再生情報に対する偏位量を求めて上記入力制御手段に供給し、
    上記出力制御手段は、上記符号化出力ストリームを出力する際に、上記入力制御手段から上記偏位量を読み出し、上記偏位量を上記同期再生情報に加算して上記符号化出力ストリームのヘッダ領域に重畳することを特徴とする請求項2記載のデータ多重化装置。
  6. 上記符号化入力ストリームを構成するプログラム間で共通であり、上記符号化出力ストリームのヘッダ領域に重畳する出力基準時刻情報を生成する出力基準時刻情報生成手段を備え、
    上記基準時間不連続点検出手段は、上記基準時間の初期値と、上記入力基準時刻情報における初期値とに基づいて、上記符号化出力ストリームのヘッダ領域に重畳する再生出力時刻及び/又は復号時刻を指定するための同期再生情報に対する偏位量を求めて上記入力制御手段に供給し、
    上記出力制御手段は、上記符号化出力ストリームを出力する際に、上記入力制御手段から上記偏位量を読み出し、上記偏位量を上記同期再生情報に加算して上記符号化出力ストリームのヘッダ領域に重畳することを特徴とする請求項2記載のデータ多重化装置。
  7. 単一の時間軸を再生するための入力基準時刻情報がヘッダ領域に付加された少なくとも1つ以上の符号化入力ストリームを入力して読み込むとともに、上記入力基準時刻情報により再生した基準時間が不連続であるか否かが検出された結果を識別する識別子を保持し、
    上記符号化入力ストリームを単一の符号化出力ストリームに多重化して出力する際に、上記識別子を読み出し、上記符号化出力ストリームのヘッダ領域に上記識別子を付加して上記符号化出力ストリームを出力すること
    を特徴とするデータ多重化方法。
  8. 上記入力基準時刻情報における初期値からの増分と、上記基準時間における初期値からの増分との差分が、所定の範囲内であるかを判別し、上記基準時間が不連続であるか否かを検出することを特徴とする請求項7記載のデータ多重化方法。
  9. 上記基準時間が不連続であることを示し且つ上記符号化入力ストリームと同期して外部から送られてくる信号を入力し、この信号に基づいた上記識別子を保持することを特徴とする請求項7記載のデータ多重化方法。
  10. 上記基準時間の初期値と、上記入力基準時刻情報における初期値とに基づいて、上記符号化出力ストリームのヘッダ領域に重畳する再生出力時刻及び/又は復号時刻を指定するための同期再生情報に対する偏位量を求め、上記符号化出力ストリームを出力する際に、上記偏位量を読み出し、上記偏位量を上記同期再生情報に加算して上記符号化出力ストリームのヘッダ領域に重畳することを特徴とする請求項8記載のデータ多重化方法。
  11. 上記符号化入力ストリームを構成するプログラム毎に独立であり、上記符号化出力ストリームのヘッダ領域に重畳する出力基準時刻情報が連続となるように、上記入力基準時刻情報における初期値と、上記入力基準時刻情報における初期値からの増分とに基づいて、上記入力基準時刻情報を変換することを特徴とする請求項10記載のデータ多重化方法。
JP11248899A 1999-04-20 1999-04-20 データ多重化装置及びデータ多重化方法 Expired - Fee Related JP4168527B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11248899A JP4168527B2 (ja) 1999-04-20 1999-04-20 データ多重化装置及びデータ多重化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11248899A JP4168527B2 (ja) 1999-04-20 1999-04-20 データ多重化装置及びデータ多重化方法

Publications (2)

Publication Number Publication Date
JP2000307542A JP2000307542A (ja) 2000-11-02
JP4168527B2 true JP4168527B2 (ja) 2008-10-22

Family

ID=14587907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11248899A Expired - Fee Related JP4168527B2 (ja) 1999-04-20 1999-04-20 データ多重化装置及びデータ多重化方法

Country Status (1)

Country Link
JP (1) JP4168527B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8042176B2 (en) 2005-03-15 2011-10-18 Fuji Xerox Co., Ltd. Computer readable medium on which is stored a program for preventing the unauthorized use of program data

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2425671B (en) * 2003-09-29 2007-12-27 Victor Company Of Japan Encoding apparatus and method, recording apparatus and method, and decoding apparatus and method
JP2006128823A (ja) * 2004-10-26 2006-05-18 Oki Electric Ind Co Ltd 符号化装置、復号装置及び映像伝送システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8042176B2 (en) 2005-03-15 2011-10-18 Fuji Xerox Co., Ltd. Computer readable medium on which is stored a program for preventing the unauthorized use of program data

Also Published As

Publication number Publication date
JP2000307542A (ja) 2000-11-02

Similar Documents

Publication Publication Date Title
US6292621B1 (en) Recording apparatus for newly recording a second encoded data train on a recording medium on which an encoded data train is recorded
KR100226528B1 (ko) 다중화 압축화상/음성데이타의 복호장치
US8238383B2 (en) Method and apparatus for generating information signal to be recorded
US6359910B1 (en) Clock conversion apparatus and method
US8233780B2 (en) Reproducing apparatus and method, and recording medium
US20090028515A1 (en) After-recording apparatus
WO2002019584A1 (fr) Multiplexeur, recepteur et procede de transmission en multiplexage
JPH11317768A (ja) 伝送システム、送信装置、記録再生装置、および記録装置
US7346054B2 (en) Method and system for co-relating transport packets on different channels using a cyclic redundancy check (CRC)
US7092411B2 (en) Transport stream multiplexing method, transport stream multiplexing apparatus, and storage and reproduction system
US20040042459A1 (en) Method and system for co-relating transport packets on different channels using a packet prioritization scheme
US7434248B2 (en) Broadcast system and apparatus, sync information replacing apparatus and method, program, and recording medium recording the program
JP4168527B2 (ja) データ多重化装置及びデータ多重化方法
JP3893643B2 (ja) 信号多重化方法およびそれを用いた伝送信号生成装置
JP3400681B2 (ja) データパケット再多重方法及び再多重装置
JPH11205789A (ja) Mpeg2トランスポートストリーム伝送レート変換装 置
WO2004086396A1 (en) Reproducing apparatus and method, and recording medium
JP3792770B2 (ja) 記録再生装置
JP2000244437A (ja) データ多重化装置及びデータ多重化方法
JP2000244433A (ja) データ多重化装置及びデータ多重化方法
JP2000049726A (ja) 多重化装置及び方法
JP2000187940A (ja) 記録再生装置、および記録装置
JPH11340936A (ja) データ多重化方法及び装置
JP2005027006A (ja) データ伝送装置
JPH1051496A (ja) 多重化装置及び多重化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080728

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees