JP3736396B2 - ストリーム送信装置および受信装置 - Google Patents
ストリーム送信装置および受信装置 Download PDFInfo
- Publication number
- JP3736396B2 JP3736396B2 JP2001224420A JP2001224420A JP3736396B2 JP 3736396 B2 JP3736396 B2 JP 3736396B2 JP 2001224420 A JP2001224420 A JP 2001224420A JP 2001224420 A JP2001224420 A JP 2001224420A JP 3736396 B2 JP3736396 B2 JP 3736396B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- packet
- reference value
- stream
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Synchronisation In Digital Transmission Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【発明の属する技術分野】
本発明は、動画像や音声、あるいはその他のディジタル信号が、例えばMPEG(Moving Picture Experts Group)方式に従って符号化および多重化された時系列のデータを、ディジタルネットワークなどの伝送路を介して伝送するストリーム送信装置および受信装置、ならびに送受信方法に関する。
【0002】
【従来の技術】
従来より、メディア信号の組合せ、例えば1つのテレビジョン番組を構成する動画像や音声その他のディジタル信号について、これらを多重化して1本の多重化ストリームとし、ディジタル衛星放送やATM・IPネットワークなどのディジタル伝送媒体を介して伝送するシステムが存在している。例えば、MPEG−2符号化されたビデオやオーディオその他の信号を、それぞれ188バイトの固定長パケット(トランスポートストリームパケット)に収容し、それらのパケットを混合して1本の多重化ストリーム(トランスポートストリーム)とする方法が、ISO/IEC13818−1に規定されており、このトランスポートストリームを使用してMPEG−2符号化情報を多重伝送するシステムが広く用いられている。
【0003】
図14は、従来における多重化ストリームを伝送する一般的な系の構成図である。
符号化装置1において、映像や音声その他の付加情報信号は、対応するエンコーダ101〜103により圧縮および符号化が行われる。多重化器104は、これらのエレメンタリーストリーム(メディア別のストリーム)をパケット化して多重化し、1本の多重化ストリームとして出力する。
この時、各メディアを同期させるための時刻情報として、発振器105によって駆動されるクロックカウンタ106の値が使用される。使用方法の一つ目は、クロックカウンタ106の現在の値が、時刻基準参照値として多重化ストリームに埋め込まれる。二つ目は、各メディアを復号すべき時刻、および提示すべき時刻が、タイムスタンプとして付加される。
【0004】
符号化装置1から多重化ストリームを受け取った送信装置2は、これをパケットないしセルのペイロードに格納し、ディジタル伝送網3を介して受信装置4へ伝送する。受信装置4は、受信したパケットないしセルのペイロードから多重化ストリームを取り出し、復号装置5へ供給する。
復号装置5は、多重化ストリームを受け取り、分離器504で各メディア別のエレメンタリーストリームに分離して、対応するデコーダ501〜503に供給する。さらに、分離器504は、多重化ストリームに埋め込まれた時刻基準参照値が到着した瞬間に、当該時刻基準参照値を基準時刻再生器507に供給する。
【0005】
デコーダ501〜503は、クロックカウンタ506を逐次参照し、クロックカウンタ506の値が前述のタイムスタンプ(当該メディアを復号すべき時刻、および提示すべき時刻を示す)と同一になった瞬間に、当該メディアの復号および提示を行う。従って、クロックカウンタ506の値は、符号化装置1にあるクロックカウンタ106の値が正確に再現されたものでなければならない。例えば、クロックカウンタ106の値と比較して、クロックカウンタ506の値が次第に遅れたとすると、デコーダ501〜503によるメディアの復号および表示が次第に遅れて、受信装置4および復号装置5内部のバッファには未復号のストリームが次第に蓄積して、ついにはバッファのオーバランを来たす。逆の場合には、バッファのアンダーランが生じる。
そのため、基準時刻再生器507は、分離器504から供給される時刻基準参照値をもとに、符号化装置1にあるクロックカウンタ106の値が、正確にクロックカウンタ506で再現されるように制御を行う。
【0006】
図15は、図14における基準時刻再生器の動作説明図である。
分離器504から供給された時刻基準参照値と自己のクロックカウンタ506との差分、すなわち誤差を演算して、急激な周波数変動を防ぐための低域通過フィルタ508を通じてD/A変換器509でアナログ電圧信号に変換し、VCO505へ当該電圧信号を供給する。VCO505は、印加する電圧により発振周波数を制御できる電圧制御発振器であって、自己のクロックカウンタ506が時刻基準参照値に比べて遅れ気味の場合には発振周波数を上昇させる方向に、進み気味の場合には発振周波数を減少させる方向にそれぞれ制御される。このようにして、復号装置5のクロックカウンタ506には、符号化装置1のクロックカウンタ106と同一の時刻が再生される。このような時刻再生機構を、一般的にPLL(Phase Locked Loop)と呼んでいる。
【0007】
ISO/IEC13818−1で規定されているMPEG−2トランスポートストリームでは、時刻基準参照値をPCR(Program Clock Reference)としてトランスポートストリームパケット(以下、TSパケットと呼ぶ)に付加し、100ミリ秒以内の間隔で送信することが規定されている。
PCRは、時間解像度27MHzの時刻値を42ビットで表示する。PCRの基本部33ビットが時間解像度90kHzの値を示し、拡張部9ビットは時間解像度27MHzの値を0〜299の値で示す。すなわち、27MHzでカウントアップされる拡張部の値が300に達した時点で、拡張部の値は0にリセットされ、基本部の値が1つインクリメントされる。
【0008】
TSパケットは、符号情報をメディア別に収めた188バイト固定長のパケットである。PCRの付加に際しては、PCR専用のTSパケットを用意するか、あるいはビデオなどのTSパケットにPCRを付加して送信される。当該TSパケットにPCR情報が含まれる判断基準は、
(1)当該TSパケットのPID(パケットID)が、PCRを付加することを事前に示し合わせたPIDであること、
(2)アダプテーションフィールド制御(2ビット)の上位1ビットが「1」であること、
(3)アダプテーションフィールド長の値が1以上であること、
(4)PCRフラグが「1」であること、
であり、以上の条件を満たすTSパケットにPCRが含まれる。
図16は、TSパケット中の各フィールドの位置を示した配置図の例である。
この例では、PCR専用のTSパケットを用いている。メディア毎のTSパケット(188バイト)中に、PCR専用のパケットがある。PCRを含むパケットにおける各フィールドは、図のような構成をとる。
【0009】
【発明が解決しようとする課題】
このように、MPEG−2に代表される多重化ストリームの符号化・復号システムにおいては、符号化装置1と復号装置5の時刻を同期させる手法が用意されている。
しかしながら、この同期手法を有効に動作させるためには、符号化装置1から復号装置5までの伝送遅延が常に一定でなければならない。換言すれば、符号化装置1から出力される多重化ストリームは、そのままの時刻間隔を保持して復号装置5に入力される必要がある。例えば、ISO/IEC13818−1では、PCRの伝送遅延揺らぎは±0.5μsecを超えてはならないと規定されている。
しかしながら、一般的にディジタル伝送網3を介してパケットないしセルを伝送する際には、その遅延時間が一定とならず不規則に変動する、いわゆる遅延揺らぎを生じることが知られている。そして、これらの遅延揺らぎを受けた多重化ストリームをそのまま復号装置5に入力すると、前述のPLL回路によりVCO505の発振周波数が不規則に揺らぎ、クロックカウンタ506で正確な時刻が再生できない。また、VCO505の発振周波数は、アナログ映像出力を生成する回路の基準クロックとしても用いられるため、その結果として、出力画像の歪や色ずれなどの問題を引き起こすことが指摘されている。
【0010】
そこで、この不規則な遅延揺らぎを吸収するために、例えばPLL回路を利用することが考えられる。しかしながら、大きな遅延揺らぎをPLL回路のみで吸収しようとすると、時定数を大きくとらなくてはならず、同期に長い時間を要してしまう、という問題がある。
また、受信装置4にバッファを持ち、遅延揺らぎを平滑化した上で復号装置5に伝達する各種の手法が提案されている。平滑化の代表的な手法としては、アダプティブクロック方式が知られている。
アダプティブクロック方式では、ネットワークから受信したデータを一旦FIFOバッファに格納する。そして、FIFOバッファ内に滞留するデータが常に一定量(通常は、全バッファ量の半分)に保たれるように、FIFOバッファからの読み出し速度を調整する。このようにして遅延揺らぎが平滑化されるが、その結果として、短周期の遅延揺らぎを平均化して出力しているに過ぎず、遅延揺らぎの長周期成分が残留することになる。その結果、PCRの伝送遅延揺らぎを±0.5μsecに抑えることはできない、という問題がある。
【0011】
その他にも、ITU−T H.222.0付属書Jには、ジッタ吸収のために受信装置側にバッファを持ち、揺らぎを吸収した後に復号装置へ伝達する手法が記載されている。しかしながら、ジッタを除去する具体的な制御方法については記述されていない。
また、ATM回線などで供給される網共通クロックを使用する方法も考えられる。網共通クロックは、1つのクロック発振源から全端末に一斉に配信され、揺らぎや誤差を生じない。この網共通クロックを使用して、例えば網共通クロックを基にPCRと同じ時間解像度(27MHz)のクロックを各端末で生成し、送信装置はこのクロックとPCRとの差分を多重化ストリームに載せて送ることで、受信装置では、この差分情報を基にバッファで遅延を吸収したり、PCRの値を書き換えてジッタを補正することができる。しかしながら、PCRと同じ時間解像度のクロックを発生させるためにPLL回路が必要であること、複数のチャネルの複数PCRに対応するためにはパケットのID番号を識別して個別に情報を管理しなくてはならないこと、あるいは符号化装置がリセットしてPCRが不連続となった場合には、送信装置と受信装置のジッタ補正装置もリセットして初期動作を繰り返さなくてはならないため、装置規模が大きくなったり、動作が不安定になったりするという問題があった。
【0012】
そこで、本発明の目的は、これら従来の課題を解決し、多重化ストリームをパケットないしセル化してディジタル伝送網経由で伝送する送信装置および受信装置において、遅延揺らぎによる時刻基準参照値の揺らぎを補正して復号装置に供給する機構を、小さな装置規模で実現できるストリーム送信装置および受信装置、ならびに送受信方法を提供することにある。
【0013】
【課題を解決するための手段】
上記目的を達成するため、本発明のストリーム送信装置および受信装置は、送信装置および受信装置内に共通のクロックを受けて動作する同期計時器を有し、送信装置では多重化ストリームに含まれる時刻基準参照値に、同期計時器の時刻を付加情報として添えて伝送し、受信装置では付加情報が示す時刻と自己の同期計時器の時刻との差分値を基に多重化ストリームに含まれる時刻基準参照値を書き換える。
また、送信装置と受信装置の同期計時器に含まれるクロックカウンタは、共通のクロックを分周した信号によりカウントアップされる基本部と内部の発振器でカウントアップされる拡張部で構成される。
また、符号化装置から出力される多重化ストリーム中の付加情報パケットを示すビット列を含むパケットを検出し、当該パケットにおける付加情報パケットを示すビット列を書き換える違反パケットフィルタを設ける。
このように、同期計時器におけるクロックカウンタの基本部は、網共通クロックを基にして動作し、拡張部はPCRと同一の内蔵発振器を基にして動作するため、送信側と受信側で誤差を生じることがなく、かつPCRと同一の27MHzの時間解像度の時刻情報を生成することができる。従って、同期計時器の時刻情報を時刻基準参照値修正のための正確な時計として用いることができる。
【0014】
【発明の実施の形態】
以下、本発明の実施例を、図面により詳細に説明する。
(第1の実施例)
図1は、本発明の第1の実施例を示す送信装置および受信装置を用いた多重化ストリーム伝送システムの構成図である。
送信装置2において、多重化ストリーム送信部201が従来の送信装置(図14の送信装置2に相当)と同等の機能を提供し、この前段に付加情報重畳部202を設置する。また、受信装置4においては、多重化ストリーム受信部401が従来の受信装置(図14の受信装置4に相当)と同等の機能を提供し、この後段に時刻基準参照値補正部402を設置する。
以下、付加情報重畳部202および時刻基準参照値補正部402の詳細な動作について説明する。
【0015】
図2は、図1における送信装置の具体的構成図である。
網共通クロック211は、送信装置2と受信装置4が共通して得ることができるクロックである。図2では、網共通クロック211はディジタル伝送網3(具体的には、ATM網)から供給され、多重化ストリーム送信部201を通じて得られるものとする。同期計時器210は、この網共通クロック211に同期して、PCRと同一の時間解像度である27MHzで計時を行うものである。
【0016】
図3は、図2における同期計時器の詳細構成図である。
同期計時器210において、クロックカウンタの拡張部217eは27MHzの時間解像度を持ち、PCRと同一の9ビット長を持つ。一方、クロックカウンタの基本部217bは90kHzの時間解像度を持ち、ビット長は想定される遅延揺らぎの最大値に対してカウンタのクリアが起こらない程度とする。例としては、遅延揺らぎの最大値を±100msecとすると、90kHzの時間解像度で100msecは13ビット程度に相当するから、基本部217bは15ビット程度を用意するとよい。
【0017】
発振器213は、27MHzの周波数を発生し、クロックカウンタの拡張部217eをカウントアップさせる(214)。ATM網より供給される19.44MHzの網共通クロック211は、先ず分周器212において1/216に分周され、90kHzの信号となってクロックカウンタの基本部217bをカウントアップする(216)とともに、拡張部217eをゼロにリセットする(215)。この一連の動作により、クロックカウンタの拡張部217eは、0〜299の範囲で27MHzの計時を繰り返すとともに、基本部217bが90kHzでカウントアップされる。
【0018】
いま、発振器213の発振周波数のずれが、MPEG−2符号化器で基準時刻を発生する発振器の許容偏差と同等の±30ppm(perts per million)程度であるとすると、300カウント中の誤差は10-2カウントにとどまるため、クロックカウンタの拡張部217eが一時的に299を超える値となったり、299に達しないままゼロにリセットされたりすることはない。
このように、同期計時器210におけるクロックカウンタの基本部は、19.44MHzの網共通クロックを基にして動作し、拡張部はPCRと同一の27MHzの内蔵発振器を基にして動作するため、送信側と受信側で誤差を生じず、かつ、PCRと同一の27MHzの時間解像度の時刻情報を作り出すことができる。従って、同期計時器210および410の時刻情報を時刻基準参照値修正のための正確な時計として用いることができる。
そして、外部からの参照に応じて、それぞれのクロックカウンタから時刻情報218を読み出して、現在時刻223として出力する。
【0019】
さて、符号化装置1で生成される多重化ストリームは、映像信号や音声信号などのビットストリームがパケット化されて時分割多重されている。ISO/IEC13818−1に規定されたMPEG−2トランスポートストリームの場合、188バイトのTSパケットが時分割多重されている。多重化ストリーム受取器220は、このパケット入力を受けて、1箇のパケットをバッファA230に格納する。同時に、パケットを受け取った瞬間に受信タイミングパルス221を出力する。スイッチ222は、受信タイミングパルス221を受け取ると、同期計時器210から現在時刻223を読み出して、バッファB231に格納する。このように、バッファA230とバッファB231には、多重化ストリームのパケット1箇とその入力時刻が対になって格納される。
【0020】
時刻基準参照値検出器240は、バッファA230に格納されたパケットに時刻基準参照値が含まれるか否かを判断し、判定信号241を出力する。TSパケットの場合、
(1)アダプテーションフィールド制御(2ビット)の上位1ビットが「1」であること、
(2)アダプテーションフィールド長の値が1以上であること、
(3)PCRフラグが「1」であること、
を検出する。上記(1)〜(3)が全て真であるときはPCRを含み、そうでないときはPCRを含まない。
【0021】
付加情報混合器250は、判定信号241に従って動作する。判定信号241が偽の(時刻基準参照値を含まない)場合には、バッファB231の時刻情報は破棄し、バッファA230に含まれるパケットを取り出して、多重化ストリーム送信部201に転送する。判定信号241が真(時刻基準参照値を含む)の場合には、先ずバッファB231の時刻情報を基に付加情報パケットを生成して多重化ストリーム送信部201に転送し、続いてバッファA230に含まれるパケットを取り出して多重化ストリーム送信部201に転送する。
【0022】
図4は、付加情報パケットのフォーマットとして、ヌルパケットを使用した場合の例を示す図である。
符号化装置1により生成される一般的なヌルパケットでは、ISO/IEC13818−1の規定に従って、ユニット開始表示フィールドおよびスクランブル制御フィールドのいずれも値は「0」である。そこで、付加情報パケットはヌルパケット(188バイト)の形態をとりながらも、ユニット開始表示フィールドないしスクランブル制御フィールドのいずれかの値を「1」とすることで、一般的なヌルパケットとの区別を可能にする。ここでは、スクランブル制御フィールドの上位1ビットを「1」としている。そして、ヌルパケットのペイロード部に、バッファB231から読み出した時刻情報(基本部および拡張部)を収容する。
【0023】
図5は、図4に示す付加情報パケットと、時刻基準参照値を含むパケットとの順序関係を示す配置図である。
付加情報パケットと時刻基準参照値を含むパケットとの関係は、図5に示すように、付加情報パケット、時刻基準参照値を含むパケットの順序で連続して伝送される。
一連の動作が終了したならば、再び多重化ストリーム受取器220から1箇のパケットをバッファA230に格納し、同様の処理を繰り返し行う。多重化ストリーム送信部201は、多重化ストリームのパケットを通信路符号化してディジタル伝送網3に送り出す。
【0024】
図6は、本発明の受信装置の具体的な構成図である。
図6においても、網共通クロック411はディジタル伝送網3(具体的には、ATM網)から供給され、多重化ストリーム受信部401を通じて得られるものとする。同期計時器410は、この網共通クロック411に同期して、PCRと同一の時間解像度である27MHzで計時を行うものである。
受信装置4のうちの時刻基準参照値補正部402は、バッテァ430、付加情報パケット検出器440、多重化ストリーム送出器480、入力スイッチ420、出力スイッチ470、時刻基準参照値読出器461、時刻基準参照値補正器463、時刻基準参照値書戻器464、時刻差分演算器450、同期計時器410、および時刻情報レジスタ442から構成される。
【0025】
図7は、図6における同期計時器の詳細構成図である。
図3の同期計時器210とほぼ同様の動作を行うが、「初期セット」機構を持つ点のみが図3と異なる。外部から初期セット443の値が与えられると、クロックカウンタの基本部417bに該当値がセットされる。ただし、拡張部417eにはセットされない。
【0026】
図8は、図6の時刻基準参照値補正部における処理フローチャートである。
バッファ430は、多重化ストリームパケットが1箇だけ格納できる容量を持っている(新たなパケットの入力により、バッファの内容は上書きされる)。また、入力スイッチ420および出力スイッチ470は、スイッチを閉じる(オンにする)毎に多重化ストリームパケットを1箇ずつ入出力する機能を有する。
送信装置2よりディジタル伝送網3を経由して到着した信号は、多重化ストリーム受信部401で通信路復号化される。このようにして得られた多重化ストリームは、先ず入力スイッチ420が閉じられ、1箇のパケットがバッファ430に導かれる(ステップS1)。次に、付加情報パケット検出器440は、バッファ430に格納されたパケットが付加情報パケットか否かを判別する(ステップS2)。ISO/IEC13818−1に規定されたヌルパケットを使用する本例においては、当該パケットがヌルパケットであり、かつスクランブル制御フィールドの上位1ビットが「1」であれば、付加情報パケットと判断される。
【0027】
バッファ430の内容が付加情報パケットでない場合には、出力スイッチ470が閉じられ、バッファ430に格納されたパケットを取り出して多重化ストリーム送出器480に伝達し(ステップS3)、一連の動作を終了する。
バッファA430の内容が付加情報パケットの場合には、付加情報パケット検出器440はバッファ430に格納されたパケットから時刻情報を読み出し、基本部と拡張部をそれぞれ時刻情報レジスタ442に格納する(ステップS4)。
なお、受信装置4が稼動し始めてから初めて到着した付加情報パケットであった場合に限り(ステップS5)、クロックカウンタの「初期セット」を行う(ステップS6)。すなわち、時刻情報レジスタ442のうち基本部の値を、クロックカウンタの基本部417bにセットして、一連の動作を終了する。
【0028】
既に「初期セット」作業が済んでいる場合には、入力スイッチ420が閉じられ、多重化ストリーム受信部401から得られる次のパケット1箇をバッファ430に格納する(ステップS7)。図5に示すように、付加情報パケットと時刻基準参照値を含むパケットは連続しているから、バッファ430に格納されたパケットは時刻基準参照値を含んでいる。
ただし、ディジタル伝送網3の伝送損失によるパケットロスが原因で、付加情報パケットに続くパケットに時刻基準参照値が含まれない可能性がある。そのため、時刻基準参照値を含むか否かを確認して(ステップS8)、万が一時刻基準参照値が含まれない場合には、ステップS9をスキップして時刻基準参照値の補正動作を中止し、出力スイッチ470を閉じてバッファ430に格納されたパケットを取り出し、多重化ストリーム送出器480に伝達して(ステップS10)、一連の動作を終了する。
異常がない場合には、時刻基準参照値を補正するための動作を行う(ステップS9)。
【0029】
時刻基準参照値を補正する動作の詳細な流れを、以下に説明する。
(1)時刻基準参照値読出器461は、バッファ430に格納されたパケットの時刻基準参照値を読み出して出力する。具体的には、TSパケットのPCRフィールドからPCRの値を読み出す。
(2)時刻差分演算器450は、同期計時器410より得られる現在時刻415の値から、時刻情報レジスタ442の値を減算し、差分値451として出力する。それぞれの値は基本部と拡張部から構成されるので、差分値の演算は、基本部の1が拡張部の300に相当することを考慮して行われる。差分値451は符号付きの値となって、後述のように、多重化ストリームが伝送中に受けた遅延揺らぎ(27MHzの時間解像度で計測した値)に相当する。
(3)時刻基準参照値補正器463は、時刻基準参照値462の値(具体的には、PCRの値)に差分値451を加算する。
それぞれの値は基本部と拡張部とから構成されるので、この演算も基本部の1が拡張部の300に相当することを考慮して行われる。これにより、多重化ストリームが伝送中に受けた遅延揺らぎに対応して、時刻基準参照値462が補正される。
【0030】
なお、これに加えて、時刻基準参照値補正器463は、時刻基準参照値462から常に一定の値を減算する機能が追加されてもよい。これは、復号装置5において、デコーダ501〜503のバッファに滞留するストリームの量を増加し、バッファのアンダーランを生じ難くする作用がある。この作用について、以下に説明する。
映像、音声など複数のメディア情報が多重化されたストリームでは、複数メディアを同期再生するために、それぞれのメディア情報を復号、ないし提示するタイミングを指定したタイムスタンプが存在する。例えば、MPEG−2ストリームでは、復号タイミングであるDTS(Decoding Time Stamp)、および提示タイミングであるPTS(Presentation Time Stamp)が、映像情報や音声情報のそれぞれに付加される。
【0031】
MPEG−2復号装置5のクロックカウンタ506(図14参照)には、時刻基準参照値PCRを基に再生した基準時刻(デコーダのシステムクロック)が存在するが、この基準時刻の値がDTSないしPTSが示す値になった瞬間に、該当する映像情報および音声情報を復号ないし提示することを意味している。このようにして、例えば人が会話する場面において、口の動きと音声とがずれたりすることなく、複数メディアの同期再生が可能になる。基準時刻(デコーダのシステムクロック)の値がDTSないしPTSが示す値になるまでの期間、多重化ストリームはデコーダ501〜503のバッファに滞留し、復号の開始を待つ。
【0032】
ここで、PCRの値から常に一定値を減算した場合、PCRの値と、DTSおよびPTSの値の間隔がより広がることになる。すなわち、基準時刻(デコーダのシステムクロック)の値がDTSないしPTSが示す値になるのを待つために、デコーダ501〜503のバッファに滞留する多重化ストリームの量がより多くなる。
伝送遅延揺らぎが復号装置5に与える影響として、一つには、これまで述べてきたPCRの揺らぎに起因してシステムクロックが揺らぐ問題、もう一つには、多重化ストリームの到着の一時的な遅れが原因でデコーダ501〜503のバッファが空になり(バッファアンダーラン)、復号すべきデータが未到着であるため符号化を停止せざるを得なくなる問題がある。ここで、デコーダ501〜503のバッファに滞留する多重化ストリームの量を増加させれば、バッファアンダーランが起こる可能性をより小さくできる。
このように、PCRの値から常に一定値を減算することにより、復号装置のバッファアンダーランの可能性を減少させ、その結果として、遅延揺らぎの影響を抑えることができる。
【0033】
(4)時刻基準参照値書戻器464は、補正された時刻基準参照値を、バッファ430に格納されたパケットの時刻基準参照値フィールド(具体的には、TSパケットのPCRフィールド)に書き戻す。
図8に戻り、最後に、出力スイッチ470を閉じてバッファ430に格納されたパケットを取り出し、多重化ストリーム送出器480に伝達して(ステップS10)、一連の動作を終了する。なお、時刻差分演算器450以降、多重化ストリーム送出器480からパケットが出力されるまでは、処理時間が一定となる構成(ハードウェアによる構成など)を採用する。
一連の動作が終了したならば、再びステップS1に戻り、入力スイッチ420から1箇のパケットがバッファ430に格納されて、同様の処理を繰り返し行う。
【0034】
図9は、本発明における時刻基準参照値から遅延揺らぎの影響が補正される仕組みの説明図である。
図9において、例えば時刻情報が「100:10」と表記されている場合には、時刻情報の基本部が100、拡張部が10であることを意味している。
図9(A)は、1つ目の付加情報パケットが送られた場合を示している。
いま、図9(A)において、送信側のクロックカウンタ212が‘100:0’の時に、PCRの値‘0:0’を含むTSパケットが入力されたとする。その結果、ディジタル伝送網3上では、「‘100:0’」の付加情報パケットと、PCR「‘0:0’」を含むTSパケットの2つが伝送される。
受信側では、最初に受けた付加情報パケットであるから、クロックカウンタ412の基本部に「‘100’」を初期セットする(443)。クロックカウンタ412の拡張部は、その構造上、網共通クロックを216分周した90kHzによりリセットされることが決定されているため、拡張部を初期セットすることはできない。ここでは、初期セットを行った際の拡張部の値がたまたま10であったとする。この影響については後述する。
クロックカウンタ412の基本部は、初期セットされた値‘100’を起点とし、網共通クロック411を216分周した90kHzによってカウントアップされる。PCR「‘0:0’」を含むTSパケットは、そのまま復号装置5へ出力される。
【0035】
次に、図9(B)は、2つ目の付加情報パケットが送られた場合を示している。図9(B)においては、送信側のクロックカウンタ212が‘200:0’の時に、PCR‘100:0’を含むTSパケットが入力されたとする。その結果、ディジタル伝送網3上では「‘200:0’」の付加情報パケットと、PCR「‘100:0’」を含むTSパケットの2つが伝送される。ここで、ディジタル伝送網3上の遅延揺らぎにより、パケットの到着が10:0の時間遅れたとする。
この場合、PCRが「‘100:0’」のままTSパケットを復号装置5へ転送すると、復号装置5が遅延揺らぎの影響を受ける。従って、遅延揺らぎを補正するためには、パケットの到着が遅れた分を補正し、PCRに10:0を加えて「‘110:0’」として復号装置5へ転送しなければならない。
さて、パケットの到着が10:0遅れたため、クロックカウンタ412の値は‘210:10’になっている。その結果、時刻差分演算器450は、クロックカウンタ412の値から付加情報パケットの値を減算し、値‘10:10’を得る。時刻基準参照値補正器463は、読み出したPCRの値‘100:0’に‘10:10’を加算して‘110:10’とし、書き戻す。このようにして、遅延揺らぎ分を補正した時刻基準参照値が、復号装置5へ伝達される。
【0036】
ここで、正しくは「‘110:0’」として復号装置5へ転送されるべきところを、「‘110:10’」に書き換えられてしまったのは、図9(A)においてクロックカウンタ412の拡張部をセットしていない影響である。しかしながら、図9(C)に示すように、2つ目以降の全ての付加情報パケットの処理において、この誤差は一定値で持続する。誤差が常に一定値であることから、遅延揺らぎの除去という本発明の目的では、2つ目以降の処理においてこの誤差が悪影響を及ぼすことはない。
【0037】
なお、以上の説明においては、符号化装置1内部の発振器によって生成されるPCRと、同期計時器210により生成される現在時刻が、双方とも正確に27MHzであることが前提となっている。しかしながら、実際にはこれらは正確な27MHzではなく、若干の誤差を含むことが考えられる。以下に、この影響について述べる。
ATM網で供給される網共通クロックは、原子時計などの信頼性の高いクロック供給源を持ったATM網の使用を前提とし、ほぼ正確な27MHzが得られるものとする。これに対して、ISO/IEC13818−1の規定においては、符号化装置の持つ発振器は±30ppm、すなわち27MHz±810Hz以内の偏差が許容されている。
【0038】
いま、符号化装置の持つ発振器の偏差が、規定内で最大の27MHz±810Hzであったとする。このとき、本発明の装置において、j(秒)の遅延揺らぎが起き、PCRの値をj(秒)だけ書き換えたとすると、書き換えたPCRの値に含まれる誤差は(810/27×106)×j(秒)となる。
この誤差を、ISO/IEC13818−1の規定である±0.5μsec以内に抑えるためには、
(810/(27×106))×j≦0.5×10−6
j≦0.016
となり、16ミリ秒以内の遅延揺らぎに対しては、本発明による方式でISO/IEC13818−1の規定を満たす遅延揺らぎ吸収が可能である。
【0039】
なお、16ミリ秒以内の遅延揺らぎを起こす網においても、多重化ストリーム受信部401と、時刻基準参照値補正部402との間に、例えば前述のアダプティブクロック方式に基づく遅延揺らぎ吸収機構を設けることができる。アダプティブクロック方式によって遅延揺らぎを数百マイクロ秒まで平滑化し、続いて本発明による時刻基準参照値補正部402でPCRの値を書き換えることにより、大きな遅延揺らぎを起こす網においても、本発明による方式を適用することができる。
【0040】
上記の実施例では、一つの符号化装置1から供給される一本の多重化ストリームを、一つの復号装置5に供給する系について記述したが、実際の送信装置2および受信装置4においては、符号化装置1および復号装置5を接続するコネクタを複数設け、複数本の多重化ストリームを伝送できるようにする場合も考えられる。その際に、複数本の多重化ストリームそれぞれに対して遅延揺らぎ補正機能を提供するため、一般的には上述した付加情報重畳部202および時刻基準参照値補正部402を複数持つ必要がある。しかしながら、本発明においては、同期計時器210および410は各装置に1つだけあればよく、その分ハードウェアコストを抑えることができる。
【0041】
さらに、同期計時器210および410が、多重化ストリームに含まれる時刻基準参照値に同期して動作する構成をとった場合(例えば、最初に得た時刻基準参照値をクロックカウンタ212および412にセットする等)、多重化ストリームにおいて時刻基準参照値が途切れたり不連続になったりすると、遅延揺らぎ吸収動作を中止して、同期計時器210および410を再同期しなければならない。さらに、複数チャネルに複数の時刻基準参照値を持つ多重化ストリームの場合には、そのそれぞれを識別して(例えば、TSパケットのパケットID番号で識別して)、個別の処理を行わなくてはならない。
これに対して、本発明における同期計時器210および410は、多重化ストリームに含まれる時刻基準参照値とは独立して動作するため、多重化ストリームにおいて時刻基準参照値が不連続となった場合にも、遅延揺らぎ吸収動作を継続することができる。また、複数チャネルに複数の時刻基準参照値が存在する多重化ストリームであっても、ID番号などによって個別のチャネルを区別する必要がなく、遅延揺らぎ補正を一括して処理できる。
【0042】
(第2の実施例)
図10は、本発明の第2の実施例を示す付加情報パケットと時刻基準参照値を含むパケットとの位置関係図である。
図10と第1の実施例の図5とを比較すると、図2の付加情報混合器250から出力されるパケットの送信順序が逆順となっている。すなわち、時刻基準参照値を含むパケット、付加情報パケット、の順序で送信されるものとする。
【0043】
図11は、本発明の第2の実施例を示す受信装置の構成図である。
図11と第1の実施例の図6に示した受信装置4とを比較すると、次の3点のみが異なっている。すなわち、
(a)多重化ストリームパケットを格納するバッファを、バッファA430およびバッファB431の2つに増設したこと、
(b)入力スイッチ420および出力スイッチ430に、上記の2つのバッファを切り替えてパケット入出力するための選択機能を追加したこと、
(c)付加情報パケットフィルタ475を設置したこと、このフィルタは、バッファA430から出力されるパケットが付加情報パケットか否かを判定し、付加情報パケットであれば当該パケットを破棄する機能を持つ。
【0044】
図12は、図11における受信装置の動作フローチャートである。
送信装置2よりディジタル伝送網3を経由して到着した信号は、多重化ストリーム受信部401で通信路復号化される。このようにして得られた多重化ストリームは、先ず入力スイッチ420が閉じられ、1箇のパケットがバッファ430に導かれる(ステップS21)。次に、付加情報パケット検出器440は、バッファ430に格納されたパケットが時刻基準参照値を含むか否かを判別する(ステップS22)。ISO/IEC13818−1に規定されたヌルパケットを使用する本例においては、当該パケットがヌルパケットであり、かつスクランブル制御フィールドの上位1ビットが「1」であれば、付加情報パケットと判断される。付加情報パケットの場合には、バッフア430からパケットを出力し、フィルタ475で破棄される(ステップS23)。
【0045】
続くパケットをバッファB431に格納する(ステップS24)。付加情報パケット検出器440は、バッファB431の内容が付加情報パケットか否かを判別する(ステップS25)。付加情報パケットの場合には、付加情報パケット検出器440はバッファ431に格納されたパケットから時刻情報を読み出し、基本部と拡張部をそれぞれ時刻情報レジスタ442に格納する(ステップS28)。付加情報パケットでない場合には、バッファA430からパケットを出力する(S26)とともに、バッファB431からもパケットを出力する(ステップS27)。受信装置4が稼動し始めてから初めて到着した付加情報パケットであった場合に限り(ステップS29)、クロックカウンタ412に時刻情報レジスタ442のうちの基本部の値を初期セットする(ステップS30)。付加情報パケットでない場合には、時刻基準参照値の補正動作を行う(ステップS31)。
次に、バッファA430からパケットを出力する(ステップS32)。
【0046】
(第3の実施例)
図13は、本発明の第3の実施例を示す送信装置の一部の構成図である。
本実施例においては、第1の実施例および第2の実施例の図2と比較して、多重化ストリーム受取器220とバッファA230との間に、違反パケットフィルタ225を設置する点のみが異なっている。
違反パケットフィルタ225は、符号化装置1から入力された多重化ストリームパケットの中に、付加情報パケットと混同するようなパケットが存在した場合、当該パケットを強制的に書き換える機能を持っている。
【0047】
一例として、第1の実施例および第2の実施例の図4と同様に、付加情報パケットとして、スクランブル制御フィールド上位1ビットを「1」としたヌルパケットを使用する場合を挙げる。ISO/IEC13818−1の規定に従い、符号化装置1が出力するヌルパケットのスクランブル制御フィールドは‘00’である。しかし、符号化装置1がISO/IEC13818−1の規定に反して、スクランブル制御フィールドが‘00’ではないヌルパケットを生成する可能性も考えられる。この場合、受信装置4において付加情報パケットとの区別が不可能となり、装置の動作が異常となる。
そこで、違反パケットフィルタ225は、スクランブル制御フィールドが‘00’ではないヌルパケットが符号化装置1から入力された場合には、当該フィールドを強制的に‘00’に書き換える。これにより、受信装置4における付加情報パケットとの混同を防ぎ、装置を安定に動作させることができる。
なお、第3の実施例において、送信装置の他の動作については、第1および第2の実施例と同様であるので、説明を省略する。
【0048】
【発明の効果】
以上説明したように、本発明によれば、ディジタル伝送網を介して伝送した多重化ストリームについて、遅延揺らぎによる時刻基準参照値の誤差を修正して復号装置に伝達することができるため、遅延揺らぎに起因する復号画像の色ずれや歪の問題を解消することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示す送信装置および受信装置を用いた多重化ストリーム伝送システムの構成図である。
【図2】図1における送信装置の構成を示す図である。
【図3】図2における同期計時器の詳細構成図である。
【図4】図2における付加情報混合器により生成される付加情報パケットの例を示す図である。
【図5】図2の付加情報混合器により出力される付加情報パケットと時刻基準参照値を含むパケットとの位置関係を示す図である。
【図6】図1における受信装置の構成を示すブロック図である。
【図7】図6における同期計時器の構成を示す図である。
【図8】図6における受信装置の処理フローチャートである。
【図9】図6の受信装置により時刻基準参照値が修正される手順の説明図である。
【図10】本発明の第2の実施例を示す付加情報パケットと時刻基準参照値を含むパケットとの位置関係図である。
【図11】本発明の第2の実施例を示す受信装置の構成図である。
【図12】図11における受信装置の処理フローチャートである。
【図13】本発明の第3の実施例を示す送信装置の要部の構成図である。
【図14】従来の多重化ストリーム伝送システムを示すブロック図である。
【図15】図14における基準時刻再生器の仕組みを説明する図である。
【図16】MPEG−2トランスポートストリームパケットにおけるPCRの配置を示す図である。
【符号の説明】
1…符号化装置、2…送信装置、3…ディジタル伝送網、4…受信装置、
5…復号装置、201…多重化ストリーム送信部、
202…付加情報重畳部、401…多重化ストリーム受信部、
402…時刻基準参照値補正部、210…同期計時器、
211…網共通クロック、220…多重化ストリーム受取器、
230,231…バッファA,B、240…時刻基準参照値検出器、
250…付加情報混合器、222…スイッチ、
221…受信タイミングパルス、212…分周器、223…現在時刻、
217b…クロックカウンタ(基本部)、
217e…クロックカウンタ(拡張部)、218b…時刻情報(基本部)、
218e…時刻情報(拡張部)、411…網共通クロック、
410…同期計時器、442…時刻情報レジスタ、441…時刻情報、
440…付加情報パケット検出器、430…バッファ、
420…入力スイッチ、470…出力スイッチ、
480…多重化ストリーム送出器、461…時刻基準参照値読出器、
462…時刻基準参照値、463…時刻基準参照値補正器、
464…時刻基準参照値書戻器、450…時刻差分演算器、
443…初期セット、451…差分値、415…現在時刻、412…分周器、
417b…クロックカウンタ(基本部)、
417e…クロックカウンタ(拡張部)、413…発振器、
414,416…カウントアップ、418b…時刻情報(基本部)、
418e…時刻情報(拡張部)、475…付加情報パケットフィルタ、
431…バッファB、225…違反パケットフィルタ。
Claims (5)
- 一つ以上のディジタル信号のビットストリームがパケット化されて時分割多重化され、かつ時刻基準参照値が付加された多重化ストリームをディジタル伝送網を介して伝送するストリーム送信装置において、
受信装置と共通のクロック信号をカウントして動作する同期計時器と、
時刻基準参照値を含むパケットの到来時刻を前記同期計時器から取得し、該到来時刻を記録した付加情報を生成して送信する付加情報生成手段と
を具備し、
前記同期計時器は、共通のクロック信号、ないしそれを一定値で分周した分周信号によりカウントアップされる基本部と、内蔵された発振器によりカウントアップされ、前記基本部をカウントアップする信号と同一の信号によりリセットされる拡張部とを有することを特徴とするストリーム送信装置。 - 請求項1に記載のストリーム送信装置において、
前記同期計時器が使用する共通のクロック信号は、網共通クロック信号を用いることを特徴とするストリーム送信装置。 - 請求項1もしくは請求項2のいずれかに記載のストリーム送信装置において、
符号化装置から出力される前記多重化ストリーム中の付加情報パケットを示すビット列を含むパケットを検出し、当該パケットにおける付加情報パケットを示すビット列を書き換えるパケットフィルタ手段を備えたことを特徴とするストリーム送信装置。 - 一つ以上のディジタル信号のビットストリームがパケット化されて時分割多重化され、かつ時刻基準参照値が付加された多重化ストリームをディジタル伝送網を介して受信するストリーム受信装置において、
送信装置と共通のクロック信号をカウントして動作する同期計時器と、
送信装置から送信された付加情報を検出して読み出す付加情報読み出し手段と、
時刻基準参照値を含むパケットを検出して、時刻基準参照値を読み出す時刻基準参照値読み出し手段と、
該付加情報読み出し手段から得た時刻と前記同期計時器から取得した時刻の差分を演算する時刻差分演算手段と、
該時刻差分演算手段で得た差分値を、前記時刻基準参照値に加算することで遅延揺らぎの影響を補正する時刻基準参照値補正手段と、
補正した時刻基準参照値をパケットに書き戻して出力する時刻基準参照値書き戻し手段とを備え、
前記同期計時器は、共通のクロック信号、ないしそれを一定値で分周した分周信号によりカウントアップされる基本部と、
内蔵された発振器によりカウントアップされ、前記基本部をカウントアップする信号と同一の信号によりリセットされる拡張部と
を有することを特徴とするストリーム受信装置。 - 請求項4に記載のストリーム受信装置において、
前記同期計時器が使用する共通のクロック信号は、網共通クロック信号を用いることを特徴とするストリーム受信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001224420A JP3736396B2 (ja) | 2001-07-25 | 2001-07-25 | ストリーム送信装置および受信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001224420A JP3736396B2 (ja) | 2001-07-25 | 2001-07-25 | ストリーム送信装置および受信装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005254582A Division JP4092705B2 (ja) | 2005-09-02 | 2005-09-02 | ストリーム送信装置および受信装置、ならびに送受信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003037574A JP2003037574A (ja) | 2003-02-07 |
JP3736396B2 true JP3736396B2 (ja) | 2006-01-18 |
Family
ID=19057575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001224420A Expired - Lifetime JP3736396B2 (ja) | 2001-07-25 | 2001-07-25 | ストリーム送信装置および受信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3736396B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3885068B2 (ja) * | 2003-07-18 | 2007-02-21 | キヤノン株式会社 | デジタルデータ受信装置、デジタルデータ受信方法、及びコンピュータプログラム |
CN101401373B (zh) | 2006-03-17 | 2011-09-28 | 日本电气株式会社 | 经编码流传输器 |
JP2008182711A (ja) * | 2008-01-24 | 2008-08-07 | Fujitsu Ltd | Atm装置間通信支援システム、データ送信支援装置、データ送信方法、およびコンピュータプログラム |
JP5972616B2 (ja) * | 2012-03-15 | 2016-08-17 | 日本放送協会 | 受信装置、クロック復元方法及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2861515B2 (ja) * | 1991-07-29 | 1999-02-24 | 日本電気株式会社 | パケット網における送受信間クロック同期方式及びクロック同期装置 |
JP3440390B2 (ja) * | 1995-03-01 | 2003-08-25 | 日本電信電話株式会社 | 等時性保証型連続メディア伝送装置及び等時性保証型連続メディア伝送方法及び受信装置 |
JP3278794B2 (ja) * | 1995-03-14 | 2002-04-30 | 日本電信電話株式会社 | 分散型実時間連続メディア処理装置 |
JPH11127145A (ja) * | 1997-10-21 | 1999-05-11 | Nec Corp | フレーム同期システムおよびフレーム同期方法 |
JP4081936B2 (ja) * | 1999-03-17 | 2008-04-30 | ソニー株式会社 | 通信装置、通信方法、および記録媒体 |
JP2001016267A (ja) * | 1999-07-01 | 2001-01-19 | Sony Corp | 通信装置および方法、並びに媒体 |
JP4193297B2 (ja) * | 1999-08-04 | 2008-12-10 | ソニー株式会社 | 通信装置および方法、通信システム、並びに記録媒体 |
JP4224749B2 (ja) * | 1999-11-24 | 2009-02-18 | ソニー株式会社 | 通信装置、通信方法、および記録媒体 |
JP2001244932A (ja) * | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 網遅延測定方法およびそのシステム |
JP2002374220A (ja) * | 2001-06-14 | 2002-12-26 | Nippon Telegr & Teleph Corp <Ntt> | ストリーム送受信システム、ストリーム送信装置および受信装置 |
-
2001
- 2001-07-25 JP JP2001224420A patent/JP3736396B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003037574A (ja) | 2003-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6493832B1 (en) | Communication apparatus which handles a time stamp | |
KR100298958B1 (ko) | 압축 비디오 신호용 동기화 장치 | |
JP4845156B2 (ja) | データ送信装置 | |
JP3976759B2 (ja) | 音声信号と映像信号を同期させる装置 | |
US7983345B2 (en) | Content receiving apparatus, video/audio output timing control method, and content provision system | |
US20050117583A1 (en) | Method and apparatus for receiving packets transmitted from transmission apparatus | |
US6377588B1 (en) | Method and apparatus for reducing jitter of a program clock reference in a transport stream of MPEG over ATM, and MPEG decoder | |
KR101343886B1 (ko) | Ip를 통해 mpeg 스트림을 전송하는 방법과, 대응하는 디바이스, 수신 방법 및 수신기 | |
JP4092705B2 (ja) | ストリーム送信装置および受信装置、ならびに送受信方法 | |
US20080307470A1 (en) | Control method for an information processing device | |
JP4081936B2 (ja) | 通信装置、通信方法、および記録媒体 | |
JP3736396B2 (ja) | ストリーム送信装置および受信装置 | |
US20030002540A1 (en) | MPEG data packet transmission through an ATM network with jitter free decoding | |
JP2003259365A (ja) | データストリーム処理装置 | |
JP4689231B2 (ja) | トランスポートストリーム切換装置 | |
JP3893643B2 (ja) | 信号多重化方法およびそれを用いた伝送信号生成装置 | |
JP3350365B2 (ja) | 映像同期信号補正装置 | |
US20090007201A1 (en) | Jitter Introduction In A Data Transmission System | |
JPH1141193A (ja) | データパケット再多重方法及び再多重装置 | |
JP3419607B2 (ja) | クロック再生装置 | |
JP2002374220A (ja) | ストリーム送受信システム、ストリーム送信装置および受信装置 | |
JP3018335B2 (ja) | MPEG over ATMのプログラムクロックレファレンスジッタ低減方法及び低減装置並びにMPEG復号化装置 | |
JP4224749B2 (ja) | 通信装置、通信方法、および記録媒体 | |
JP4026556B2 (ja) | データ伝送装置 | |
JP2000244437A (ja) | データ多重化装置及びデータ多重化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3736396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131104 Year of fee payment: 8 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |