JP4146104B2 - デジタル放送番組中継送出システム - Google Patents
デジタル放送番組中継送出システム Download PDFInfo
- Publication number
- JP4146104B2 JP4146104B2 JP2001160705A JP2001160705A JP4146104B2 JP 4146104 B2 JP4146104 B2 JP 4146104B2 JP 2001160705 A JP2001160705 A JP 2001160705A JP 2001160705 A JP2001160705 A JP 2001160705A JP 4146104 B2 JP4146104 B2 JP 4146104B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- information
- pes
- stream
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばネット受信放送として使用されるデジタル放送番組中継送出システムに係り、特に地方の遠隔局で映像信号や音声信号に同期して信号処理を行なうための信号同期制御技術に関する。
【０００２】
【従来の技術】
近年、デジタル放送では、種々の開発が進められており、特に従来のアナログ放送で実施されているような例えば親局及び遠隔局を中継回線により結ぶネット受信放送システムの構築が一つの課題となっている。
【０００３】
ここで、従来のアナログ放送で実施されていたネット受信放送では、制御信号をアナログ映像信号の垂直帰線期間に多重し、アナログ映像信号のまま中継回線で伝送する方法が採られている。この場合、遠隔局では、アナログ映像信号に多重された制御信号に基づいて、アナログ映像信号とアナログ音声信号とをフレーム精度で同期させて、ローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等を行なうようにしている。
【０００４】
しかしながら、デジタル放送で、ベースバンド系の先において映像信号及び音声信号に圧縮符号化を施してＭＰＥＧ２規格のストリームを形成し、このストリームを中継回線により各遠隔局に伝送するネット受信放送を実施する場合に、遠隔局において、アナログ放送のように単純にフレーム同期を行なって、ローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等を行なうことができない。
【０００５】
【発明が解決しようとする課題】
以上のようにデジタル放送においては、ネット受信放送を実施する場合に、アナログ放送の技術をそのまま適用できず、遠隔局で映像信号や音声信号に同期して信号処理を行なえるような有効な手段が望まれていた。
【０００６】
そこで、この発明の目的は、ネット受信放送を実施する場合に、遠隔局側で編成時刻に親局からの放送内容を処理できるように、番組制御を親局から伝送された番組に精度良く同期させることが可能なデジタル放送番組中継送出システムを提供することにある。
【０００７】
【課題を解決するための手段】
この発明に係るデジタル放送番組中継送出システムは、以下のように構成される。
【０００８】
（１）番組編成時刻に基づき、番組を構成しかつリアルタイム性が要求される第１の素材情報及び第２の素材情報を含む符号化データによる基本ストリームから、再生時刻情報を含むヘッダ領域と基本ストリームの内容を含む情報領域とを備える規格化された第１の情報ストリーム及び第２の情報ストリームを生成し、これら第１の情報ストリーム及び第２の情報ストリームを多重してデジタル放送信号を生成し、このデジタル放送信号を第１の放送サービスエリア内に送出する第１の放送局と、この第１の放送局と中継ネットワークを介して接続され、第１の放送局から中継ネットワークを介して送出されたデジタル放送信号を受信して復号し、この復号された第１の素材情報と第２の素材情報とを同期させて信号処理を加えた後、デジタル放送信号として第１の放送サービスエリアとは異なる第２の放送サービスエリア内に送出する第２の放送局とを備えたデジタル放送番組中継送出システムであって、
第１の放送局は、第２の放送局における信号処理時に第１の素材情報及び第２の素材情報に同期して処理するために必要な制御信号を符号化して再生時刻情報を含むヘッダ領域と制御信号の内容を含む情報領域とを備える制御ストリームに生成し、この制御ストリームを前記デジタル放送信号に多重して中継ネットワークにより送信する制御信号送信手段を備え、第２の放送局は、第１の放送局から中継ネットワークを介して到来したデジタル放送信号を第１の情報ストリームと第２の情報ストリームと制御ストリームとに分離する分離手段と、この分離手段により分離された第１の情報ストリーム、第２の情報ストリーム及び制御ストリームをそれぞれのヘッダ領域に含まれる再生時刻情報に基づいて、第１の素材情報信号、第２の素材情報信号及び制御信号に復号し出力する復号手段とを備えるようにしたものである。
【０００９】
なお、第１の素材情報信号は映像信号であり、第２の素材情報信号は音声信号である。
【００１０】
すなわち、この（１）の発明では、デジタル放送信号に多重される映像ストリーム及び音声ストリームそれぞれのヘッダ領域には再生時刻情報が含まれ、受信側でこの再生時刻情報に基づき、映像ストリーム及び音声ストリームを復号して出力することに着目し、送出側となる第１の放送局では、受信側で映像信号及び音声信号に同期して処理するために必要な制御信号を符号化して再生時刻情報を含むヘッダ領域と制御内容を含む情報領域とを備える制御ストリーム、つまりデジタル放送信号への多重化フォーマットに生成し、この制御ストリームをデジタル放送信号に多重して第２の放送局に送信するようにしている。
【００１１】
従って（１）の発明によれば、第２の放送局でデジタル放送信号を映像ストリーム、音声ストリーム及び制御ストリームに分離して、各ストリームに含まれる再生時刻情報を解析することにより、制御ストリームに含まれる再生時刻情報が映像ストリーム及び音声ストリームに含まれる再生時刻情報と同一であれば、番組編成時刻に任意の映像ストリーム及び任意の音声ストリームに同期させた状態で制御信号を利用して信号処理することができる。
【００１２】
（２）番組編成時刻に基づき、番組を構成しかつリアルタイム性が要求されるＭＰＥＧ２（Moving Picture Experts Group 2）規定の第１の素材情報用ＥＳ（Elementary Stream）及び第２の素材情報用ＥＳから、再生時刻情報としてＰＴＳ（Presentation Time Stamp）を含む第１の情報用ＰＥＳ（Packetized Elementary Stream）及び第２の情報用ＰＥＳを生成し、これら第１の情報用ＰＥＳ及び第２の情報用ＰＥＳを多重してＴＳ（Transport Stream）を生成し、このＴＳを第１の放送サービスエリア内に送出する第１の放送局と、この第１の放送局と中継ネットワークを介して接続され、第１の放送局から中継ネットワークを介して送出されたＴＳを受信して復号し、この復号された第１の素材情報信号と第２の素材情報信号とを同期させて信号処理を加えた後、ＴＳとして第１の放送サービスエリアとは異なる第２の放送サービスエリア内に送出する第２の放送局とを備えたデジタル放送番組中継送出システムであって、
第１の放送局は、第２の放送局における信号処理時に第１の素材情報信号及び第２の素材情報信号に同期して処理するために必要な制御信号を符号化してＰＴＳを含む制御用ＰＥＳに生成し、この制御用ＰＥＳを前記ＴＳに多重して中継ネットワークにより送信する制御信号送信手段を備え、第２の放送局は、第１の放送局から中継ネットワークを介して到来したＴＳを第１の情報用ＰＥＳと第２の情報用ＰＥＳと制御用ＰＥＳとに分離する分離手段と、この分離手段により分離された第１の情報用ＰＥＳ、第２の情報用ＰＥＳ及び制御用ＰＥＳをそれぞれに含まれるＰＴＳに基づいて、第１の素材情報信号、第２の素材情報信号及び制御信号に復号し出力する復号手段とを備えるようにしたものである。
【００１３】
従って（２）の発明によれば、第１の放送局において、第２の放送局で第１の素材情報信号及び第２の素材情報信号に同期して処理するために必要な制御信号をＰＴＳを含めたＭＰＥＧ２規格の制御ＰＥＳに生成してＴＳに多重し、第２の放送局でＴＳを第１の情報用ＰＥＳと第２の情報用ＰＥＳと制御用ＰＥＳとに分離した後に、各ＰＥＳに含まれるＰＴＳに基づいて復号して出力するので、この制御信号を利用して番組編成時刻に任意の映像ストリーム及び任意の音声ストリームに同期させて信号処理することができる。
【００１４】
【発明の実施の形態】
以下、この発明の実施形態について図面を参照して詳細に説明する。
【００１５】
図１はＭＰＥＧ２のＰＥＳ（Packetized Elementary Stream）構造を示すものである。ＰＥＳヘッダは可変長で、パケット・スタート・コード・プリフィックス（packet start code prefix）と呼ばれる固定パターンの開始コードから始まり、さらにストリームＩＤ（stream id）やＰＥＳパケット長（PES packet length）、ＰＴＳなどが付加される。ＰＥＳパケットデータ部も可変長で、ここにはＥＳそのものが存在する。
【００１６】
図２はＭＰＥＧ２のＴＳ（Transport Stream）構造を示すものである。ＴＳヘッダは４バイトの固定長で、同期バイト（sync byte）と呼ばれる固定パターンの開始コードから始まり、アダプテーションフィールド（Adaptation Field）の有無を示すアダプテーションフィールド制御情報（Adaptation Field Control）などが存在する。アダプテーションフィールドはＴＳヘッダのアダプテーションフィールド制御情報が２または３のときだけ存在する可変長のフィールドで、システムの時間情報を示すＰＣＲ（Program Clock Reference）などが存在する。ＴＳのバイト数は１８８バイトの固定長であるので、１８８からＴＳのヘッダ長（４バイト）とアダプテーションフィールドのバイト数を引いた値がペイロードのバイト数となる。ペイロードにはＰＥＳパケットそのものが存在するが、一つのＴＳのペイロードで全てのＰＥＳが伝送できない場合には、それに続くＴＳパケットのペイロードに残りのＰＥＳを乗せて伝送する。
【００１７】
図３はＥＳとＰＥＳとＴＳとの関係を示すものである。ＰＥＳパケットデータにはＥＳそのものが存在し、ＴＳのペイロードには必要なバイト数に分割されたＰＥＳが存在する。なお、図中ＡＦはアダプテーションフィールドの略である。
【００１８】
図４はこの発明に係るデジタル放送番組中継送出システムの一実施形態を示す概略構成図である。
【００１９】
図４において、符号１０は第１の放送局としての親局、符号２０は第２の放送局としての遠隔局を示している。親局１０は、デジタル放送信号、つまりＴＳをアンテナ１１から自局が属する放送サービスエリアに向けて送出する。また、親局１０には、放送中継ネットワークＮＷを介して遠隔局２０が接続される。遠隔局２０は、親局１０から放送中継ネットワークＮＷを介して伝送された中継番組情報と自局の番組情報とをＴＳに変換し、このＴＳをアンテナ２１から自局が属する放送サービスエリアに向けて送出する。
【００２０】
図５は上記親局１０の構成を示すブロック図である。
【００２１】
親局１０は、大別すると、映像エンコーダ（映像ＥＮＣ）１２と、音声エンコーダ（音声ＥＮＣ）１３と、ＰＥＳ生成部１４、１５、１６と、多重部１７とを備えている。
【００２２】
映像エンコーダ１２は、入力された映像信号をＭＰＥＧ２符号化方式に基づいて可変長圧縮符号化し、ＥＳに変換する。
【００２３】
音声エンコーダ１３は、入力された音声信号を可変長圧縮符号化し、ＥＳに変換する。
【００２４】
ＰＥＳ生成部１４は、映像エンコーダ１２から出力されたＥＳからＰＴＳを含むＰＥＳを生成する。ＰＥＳ生成部１５は、音声エンコーダ１３から出力されたＥＳからＰＴＳを含むＰＥＳを生成する。
【００２５】
ＰＥＳ生成部１６は、受信側で映像信号及び音声信号に同期して信号処理するために必要な制御信号を圧縮符号化してＰＴＳを含むＰＥＳに生成する。
【００２６】
多重部１７は、上記各ＰＥＳ生成部１４、１５、１６からそれぞれ出力されたＰＥＳを多重化し、システム時間情報であるＰＣＲを付加することによりデジタル放送信号としてのＴＳを生成する。そして、このＴＳをアンテナ１１から送出するとともに、放送中継ネットワークＮＷを介して遠隔局２０に送出する。
【００２７】
図６は上記遠隔局２０の構成を示すブロック図である。
【００２８】
遠隔局２０は、大別すると、分離部２２と、映像デコーダ（映像ＤＥＣ）２３と、音声デコーダ（音声ＤＥＣ）２４と、制御デコーダ（制御ＤＥＣ）２５とを備えている。
【００２９】
分離部２２は、親局１０から放送中継ネットワークＮＷを介して伝送されたＴＳを、映像用のＰＥＳ、音声用のＰＥＳ、制御用のＰＥＳに分離すると共に、ＴＳのアダプテーションフィールド部に含まれるＰＣＲに基づいてシステム時刻を再生する。そして、映像用のＰＥＳは映像デコーダ２３に供給され、音声用のＰＥＳは音声デコーダ２４に供給され、制御用のＰＥＳは制御デコーダ２５に供給される。
【００３０】
映像デコーダ２３は、ＰＥＳヘッダ部に含まれるＰＴＳの示す時刻にＰＥＳを元の映像信号に復号して出力する。
【００３１】
音声デコーダ２４は、ＰＥＳヘッダ部に含まれるＰＴＳの示す時刻にＰＥＳを元の音声信号に復号して出力する。
【００３２】
制御デコーダ２５は、ＰＥＳヘッダ部に含まれるＰＴＳの示す時刻にＰＥＳを元の制御信号に復号して出力する。
【００３３】
これら映像信号、音声信号及び制御信号は、図示しない信号処理部に供給される、この信号処理部は、制御信号を利用して、入力された映像信号及び音声信号に同期した状態で、信号処理する。この信号処理としては、ローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等が挙げられる。
【００３４】
次に、以上のように構成されたデジタル放送番組中継送出システムの動作を説明する。
すなわち、このシステムでは、親局１０でＴＳに多重される映像ＰＥＳ及び音声ＰＥＳの各ＰＥＳヘッダにＰＴＳが含まれており、遠隔局２０で親局１０から送られたＴＳを分離部２２にて映像ＰＥＳと音声ＰＥＳとに分離し、それぞれ映像デコーダ２３及び音声デコーダ２４に供給する。そして、映像デコーダ２３及び音声デコーダ２４にてＰＥＳヘッダに含まれるＰＴＳを解析し、ＰＴＳに基づいて映像ＰＥＳ及び音声ＰＥＳを映像信号及び音声信号に復号して出力する。
【００３５】
この遠隔局２０では、ローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等を容易にするために、映像デコーダ２３及び音声デコーダ２４にて復号された映像信号及び音声信号に同期させて信号処理する必要がある。このとき、映像信号及び音声信号に同期させるためには、映像信号及び音声信号に同期した制御系の装置が必要となる。
【００３６】
そこで、本実施形態では、親局１０により、遠隔局２０で映像信号及び音声信号に同期して信号処理するために必要な制御信号をＰＥＳ生成部１６で符号化してＰＴＳを含むＰＥＳ構造に変換し、この制御ＰＥＳを多重部１７にてＴＳに多重して遠隔局２０に送信するようにしている。このとき、制御ＰＥＳに打刻したＰＴＳが映像ＰＥＳと同じものであれば任意の映像フレームと完全に一致した制御時刻を遠隔局２０に伝送することができ、また制御ＰＥＳに打刻したＰＴＳが音声ＰＥＳと同じものであれば、任意の音声フレームと完全に一致した制御時刻を遠隔局２０に伝送することができる。
【００３７】
遠隔局２０では、親局１０から伝送されたＴＳから分離部２２にて映像ＰＥＳ、音声ＰＥＳ、制御ＰＥＳに分離し、映像デコーダ２３、音声デコーダ２４及び制御デコーダ２５にてそれぞれＰＴＳを解析し、ＰＴＳの時刻つまり親局１０における番組編成時刻に合わせて映像信号、音声信号及び制御信号に復号して出力する。このため、復号した映像信号及び音声信号に同期させた状態で制御信号を利用してローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等を行なうことができる。
【００３８】
以上述べたように上記実施形態では、ＴＳに多重される映像ＰＥＳ及び音声ＰＥＳそれぞれのＰＥＳヘッダにＰＴＳが含まれ、遠隔局２０でこのＰＴＳに基づき、映像ＰＥＳ及び音声ＰＥＳを復号して出力することに着目し、親局１０において、遠隔局２０で映像信号及び音声信号に同期して処理するために必要な制御信号をＰＥＳ生成部１６で符号化してＰＴＳを含む制御ＰＥＳに生成し、この制御ＰＥＳをＴＳに多重して遠隔局２０に送信するようにしている。
【００３９】
従って、遠隔局２０でＴＳを分離部２２により映像ＰＥＳ、音声ＰＥＳ及び制御ＰＥＳに分離して、各ＰＥＳに含まれるＰＴＳを映像デコーダ２３、音声デコーダ２４及び制御デコーダ２５にて解析することにより、制御ＰＥＳに含まれるＰＴＳが映像ＰＥＳ及び音声ＰＥＳに含まれるＰＴＳと同一であれば、親局１０の番組編成時刻に任意の映像ＰＥＳ及び任意の音声ＰＥＳを復号し、各復号出力に完全に同期した状態で制御信号を利用して信号処理することができる。
【００４０】
また、遠隔局２０の分離部２２では、親局１０から送出されたＴＳに含まれるＰＣＲに基づいて、映像ＰＥＳ、音声ＰＥＳ及び制御ＰＥＳを復号するので、復号した映像信号及び音声信号の制御を番組精度もしくは時間精度で行なうことができる。
【００４１】
なお、この発明は、上記実施形態に限定されるものではない。例えば映像信号及び音声信号以外にも、リアルタイム性が要求される例えば字幕データに同期させる場合にもこの発明を適用可能である。
【００４２】
また、ＭＰＥＧ２以外で、遠隔局にて番組を構成しリアルタイム性が要求される信号に同期させることを要求するシステムにもこの発明を適用可能である。
【００４３】
その他、親局の構成、遠隔局の構成、再生時刻情報の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００４４】
【発明の効果】
以上詳述したようにこの発明によれば、ネット受信放送を実施する場合に、遠隔局側で編成時刻に親局からの放送内容を処理できるように、番組制御を親局から伝送された番組に精度良く同期させることが可能なデジタル放送番組中継送出システムを提供することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２のＰＥＳ構造を示す図。
【図２】ＭＰＥＧ２のＴＳ構造を示す図。
【図３】ＭＰＥＧ２のＥＳとＰＥＳとＴＳとの関係を示す図。
【図４】この発明に係るデジタル放送番組中継送出システムの一実施形態を示す概略構成図。
【図５】図４に示した親局の構成を示すブロック図。
【図６】図４に示した遠隔局の構成を示すブロック図。
【符号の説明】
１０…親局、
１１…アンテナ、
１２…映像エンコーダ（映像ＥＮＣ）、
１３…音声エンコーダ（音声ＥＮＣ）、
１４、１５、１６…ＰＥＳ生成部、
１７…多重部、
２０…遠隔局、
２１…アンテナ、
２２…分離部、
２３…映像デコーダ（映像ＤＥＣ）、
２４…音声デコーダ（音声ＤＥＣ）、
２５…制御デコーダ（制御ＤＥＣ）、
ＮＷ…放送中継ネットワーク。
【発明の属する技術分野】
この発明は、例えばネット受信放送として使用されるデジタル放送番組中継送出システムに係り、特に地方の遠隔局で映像信号や音声信号に同期して信号処理を行なうための信号同期制御技術に関する。
【０００２】
【従来の技術】
近年、デジタル放送では、種々の開発が進められており、特に従来のアナログ放送で実施されているような例えば親局及び遠隔局を中継回線により結ぶネット受信放送システムの構築が一つの課題となっている。
【０００３】
ここで、従来のアナログ放送で実施されていたネット受信放送では、制御信号をアナログ映像信号の垂直帰線期間に多重し、アナログ映像信号のまま中継回線で伝送する方法が採られている。この場合、遠隔局では、アナログ映像信号に多重された制御信号に基づいて、アナログ映像信号とアナログ音声信号とをフレーム精度で同期させて、ローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等を行なうようにしている。
【０００４】
しかしながら、デジタル放送で、ベースバンド系の先において映像信号及び音声信号に圧縮符号化を施してＭＰＥＧ２規格のストリームを形成し、このストリームを中継回線により各遠隔局に伝送するネット受信放送を実施する場合に、遠隔局において、アナログ放送のように単純にフレーム同期を行なって、ローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等を行なうことができない。
【０００５】
【発明が解決しようとする課題】
以上のようにデジタル放送においては、ネット受信放送を実施する場合に、アナログ放送の技術をそのまま適用できず、遠隔局で映像信号や音声信号に同期して信号処理を行なえるような有効な手段が望まれていた。
【０００６】
そこで、この発明の目的は、ネット受信放送を実施する場合に、遠隔局側で編成時刻に親局からの放送内容を処理できるように、番組制御を親局から伝送された番組に精度良く同期させることが可能なデジタル放送番組中継送出システムを提供することにある。
【０００７】
【課題を解決するための手段】
この発明に係るデジタル放送番組中継送出システムは、以下のように構成される。
【０００８】
（１）番組編成時刻に基づき、番組を構成しかつリアルタイム性が要求される第１の素材情報及び第２の素材情報を含む符号化データによる基本ストリームから、再生時刻情報を含むヘッダ領域と基本ストリームの内容を含む情報領域とを備える規格化された第１の情報ストリーム及び第２の情報ストリームを生成し、これら第１の情報ストリーム及び第２の情報ストリームを多重してデジタル放送信号を生成し、このデジタル放送信号を第１の放送サービスエリア内に送出する第１の放送局と、この第１の放送局と中継ネットワークを介して接続され、第１の放送局から中継ネットワークを介して送出されたデジタル放送信号を受信して復号し、この復号された第１の素材情報と第２の素材情報とを同期させて信号処理を加えた後、デジタル放送信号として第１の放送サービスエリアとは異なる第２の放送サービスエリア内に送出する第２の放送局とを備えたデジタル放送番組中継送出システムであって、
第１の放送局は、第２の放送局における信号処理時に第１の素材情報及び第２の素材情報に同期して処理するために必要な制御信号を符号化して再生時刻情報を含むヘッダ領域と制御信号の内容を含む情報領域とを備える制御ストリームに生成し、この制御ストリームを前記デジタル放送信号に多重して中継ネットワークにより送信する制御信号送信手段を備え、第２の放送局は、第１の放送局から中継ネットワークを介して到来したデジタル放送信号を第１の情報ストリームと第２の情報ストリームと制御ストリームとに分離する分離手段と、この分離手段により分離された第１の情報ストリーム、第２の情報ストリーム及び制御ストリームをそれぞれのヘッダ領域に含まれる再生時刻情報に基づいて、第１の素材情報信号、第２の素材情報信号及び制御信号に復号し出力する復号手段とを備えるようにしたものである。
【０００９】
なお、第１の素材情報信号は映像信号であり、第２の素材情報信号は音声信号である。
【００１０】
すなわち、この（１）の発明では、デジタル放送信号に多重される映像ストリーム及び音声ストリームそれぞれのヘッダ領域には再生時刻情報が含まれ、受信側でこの再生時刻情報に基づき、映像ストリーム及び音声ストリームを復号して出力することに着目し、送出側となる第１の放送局では、受信側で映像信号及び音声信号に同期して処理するために必要な制御信号を符号化して再生時刻情報を含むヘッダ領域と制御内容を含む情報領域とを備える制御ストリーム、つまりデジタル放送信号への多重化フォーマットに生成し、この制御ストリームをデジタル放送信号に多重して第２の放送局に送信するようにしている。
【００１１】
従って（１）の発明によれば、第２の放送局でデジタル放送信号を映像ストリーム、音声ストリーム及び制御ストリームに分離して、各ストリームに含まれる再生時刻情報を解析することにより、制御ストリームに含まれる再生時刻情報が映像ストリーム及び音声ストリームに含まれる再生時刻情報と同一であれば、番組編成時刻に任意の映像ストリーム及び任意の音声ストリームに同期させた状態で制御信号を利用して信号処理することができる。
【００１２】
（２）番組編成時刻に基づき、番組を構成しかつリアルタイム性が要求されるＭＰＥＧ２（Moving Picture Experts Group 2）規定の第１の素材情報用ＥＳ（Elementary Stream）及び第２の素材情報用ＥＳから、再生時刻情報としてＰＴＳ（Presentation Time Stamp）を含む第１の情報用ＰＥＳ（Packetized Elementary Stream）及び第２の情報用ＰＥＳを生成し、これら第１の情報用ＰＥＳ及び第２の情報用ＰＥＳを多重してＴＳ（Transport Stream）を生成し、このＴＳを第１の放送サービスエリア内に送出する第１の放送局と、この第１の放送局と中継ネットワークを介して接続され、第１の放送局から中継ネットワークを介して送出されたＴＳを受信して復号し、この復号された第１の素材情報信号と第２の素材情報信号とを同期させて信号処理を加えた後、ＴＳとして第１の放送サービスエリアとは異なる第２の放送サービスエリア内に送出する第２の放送局とを備えたデジタル放送番組中継送出システムであって、
第１の放送局は、第２の放送局における信号処理時に第１の素材情報信号及び第２の素材情報信号に同期して処理するために必要な制御信号を符号化してＰＴＳを含む制御用ＰＥＳに生成し、この制御用ＰＥＳを前記ＴＳに多重して中継ネットワークにより送信する制御信号送信手段を備え、第２の放送局は、第１の放送局から中継ネットワークを介して到来したＴＳを第１の情報用ＰＥＳと第２の情報用ＰＥＳと制御用ＰＥＳとに分離する分離手段と、この分離手段により分離された第１の情報用ＰＥＳ、第２の情報用ＰＥＳ及び制御用ＰＥＳをそれぞれに含まれるＰＴＳに基づいて、第１の素材情報信号、第２の素材情報信号及び制御信号に復号し出力する復号手段とを備えるようにしたものである。
【００１３】
従って（２）の発明によれば、第１の放送局において、第２の放送局で第１の素材情報信号及び第２の素材情報信号に同期して処理するために必要な制御信号をＰＴＳを含めたＭＰＥＧ２規格の制御ＰＥＳに生成してＴＳに多重し、第２の放送局でＴＳを第１の情報用ＰＥＳと第２の情報用ＰＥＳと制御用ＰＥＳとに分離した後に、各ＰＥＳに含まれるＰＴＳに基づいて復号して出力するので、この制御信号を利用して番組編成時刻に任意の映像ストリーム及び任意の音声ストリームに同期させて信号処理することができる。
【００１４】
【発明の実施の形態】
以下、この発明の実施形態について図面を参照して詳細に説明する。
【００１５】
図１はＭＰＥＧ２のＰＥＳ（Packetized Elementary Stream）構造を示すものである。ＰＥＳヘッダは可変長で、パケット・スタート・コード・プリフィックス（packet start code prefix）と呼ばれる固定パターンの開始コードから始まり、さらにストリームＩＤ（stream id）やＰＥＳパケット長（PES packet length）、ＰＴＳなどが付加される。ＰＥＳパケットデータ部も可変長で、ここにはＥＳそのものが存在する。
【００１６】
図２はＭＰＥＧ２のＴＳ（Transport Stream）構造を示すものである。ＴＳヘッダは４バイトの固定長で、同期バイト（sync byte）と呼ばれる固定パターンの開始コードから始まり、アダプテーションフィールド（Adaptation Field）の有無を示すアダプテーションフィールド制御情報（Adaptation Field Control）などが存在する。アダプテーションフィールドはＴＳヘッダのアダプテーションフィールド制御情報が２または３のときだけ存在する可変長のフィールドで、システムの時間情報を示すＰＣＲ（Program Clock Reference）などが存在する。ＴＳのバイト数は１８８バイトの固定長であるので、１８８からＴＳのヘッダ長（４バイト）とアダプテーションフィールドのバイト数を引いた値がペイロードのバイト数となる。ペイロードにはＰＥＳパケットそのものが存在するが、一つのＴＳのペイロードで全てのＰＥＳが伝送できない場合には、それに続くＴＳパケットのペイロードに残りのＰＥＳを乗せて伝送する。
【００１７】
図３はＥＳとＰＥＳとＴＳとの関係を示すものである。ＰＥＳパケットデータにはＥＳそのものが存在し、ＴＳのペイロードには必要なバイト数に分割されたＰＥＳが存在する。なお、図中ＡＦはアダプテーションフィールドの略である。
【００１８】
図４はこの発明に係るデジタル放送番組中継送出システムの一実施形態を示す概略構成図である。
【００１９】
図４において、符号１０は第１の放送局としての親局、符号２０は第２の放送局としての遠隔局を示している。親局１０は、デジタル放送信号、つまりＴＳをアンテナ１１から自局が属する放送サービスエリアに向けて送出する。また、親局１０には、放送中継ネットワークＮＷを介して遠隔局２０が接続される。遠隔局２０は、親局１０から放送中継ネットワークＮＷを介して伝送された中継番組情報と自局の番組情報とをＴＳに変換し、このＴＳをアンテナ２１から自局が属する放送サービスエリアに向けて送出する。
【００２０】
図５は上記親局１０の構成を示すブロック図である。
【００２１】
親局１０は、大別すると、映像エンコーダ（映像ＥＮＣ）１２と、音声エンコーダ（音声ＥＮＣ）１３と、ＰＥＳ生成部１４、１５、１６と、多重部１７とを備えている。
【００２２】
映像エンコーダ１２は、入力された映像信号をＭＰＥＧ２符号化方式に基づいて可変長圧縮符号化し、ＥＳに変換する。
【００２３】
音声エンコーダ１３は、入力された音声信号を可変長圧縮符号化し、ＥＳに変換する。
【００２４】
ＰＥＳ生成部１４は、映像エンコーダ１２から出力されたＥＳからＰＴＳを含むＰＥＳを生成する。ＰＥＳ生成部１５は、音声エンコーダ１３から出力されたＥＳからＰＴＳを含むＰＥＳを生成する。
【００２５】
ＰＥＳ生成部１６は、受信側で映像信号及び音声信号に同期して信号処理するために必要な制御信号を圧縮符号化してＰＴＳを含むＰＥＳに生成する。
【００２６】
多重部１７は、上記各ＰＥＳ生成部１４、１５、１６からそれぞれ出力されたＰＥＳを多重化し、システム時間情報であるＰＣＲを付加することによりデジタル放送信号としてのＴＳを生成する。そして、このＴＳをアンテナ１１から送出するとともに、放送中継ネットワークＮＷを介して遠隔局２０に送出する。
【００２７】
図６は上記遠隔局２０の構成を示すブロック図である。
【００２８】
遠隔局２０は、大別すると、分離部２２と、映像デコーダ（映像ＤＥＣ）２３と、音声デコーダ（音声ＤＥＣ）２４と、制御デコーダ（制御ＤＥＣ）２５とを備えている。
【００２９】
分離部２２は、親局１０から放送中継ネットワークＮＷを介して伝送されたＴＳを、映像用のＰＥＳ、音声用のＰＥＳ、制御用のＰＥＳに分離すると共に、ＴＳのアダプテーションフィールド部に含まれるＰＣＲに基づいてシステム時刻を再生する。そして、映像用のＰＥＳは映像デコーダ２３に供給され、音声用のＰＥＳは音声デコーダ２４に供給され、制御用のＰＥＳは制御デコーダ２５に供給される。
【００３０】
映像デコーダ２３は、ＰＥＳヘッダ部に含まれるＰＴＳの示す時刻にＰＥＳを元の映像信号に復号して出力する。
【００３１】
音声デコーダ２４は、ＰＥＳヘッダ部に含まれるＰＴＳの示す時刻にＰＥＳを元の音声信号に復号して出力する。
【００３２】
制御デコーダ２５は、ＰＥＳヘッダ部に含まれるＰＴＳの示す時刻にＰＥＳを元の制御信号に復号して出力する。
【００３３】
これら映像信号、音声信号及び制御信号は、図示しない信号処理部に供給される、この信号処理部は、制御信号を利用して、入力された映像信号及び音声信号に同期した状態で、信号処理する。この信号処理としては、ローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等が挙げられる。
【００３４】
次に、以上のように構成されたデジタル放送番組中継送出システムの動作を説明する。
すなわち、このシステムでは、親局１０でＴＳに多重される映像ＰＥＳ及び音声ＰＥＳの各ＰＥＳヘッダにＰＴＳが含まれており、遠隔局２０で親局１０から送られたＴＳを分離部２２にて映像ＰＥＳと音声ＰＥＳとに分離し、それぞれ映像デコーダ２３及び音声デコーダ２４に供給する。そして、映像デコーダ２３及び音声デコーダ２４にてＰＥＳヘッダに含まれるＰＴＳを解析し、ＰＴＳに基づいて映像ＰＥＳ及び音声ＰＥＳを映像信号及び音声信号に復号して出力する。
【００３５】
この遠隔局２０では、ローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等を容易にするために、映像デコーダ２３及び音声デコーダ２４にて復号された映像信号及び音声信号に同期させて信号処理する必要がある。このとき、映像信号及び音声信号に同期させるためには、映像信号及び音声信号に同期した制御系の装置が必要となる。
【００３６】
そこで、本実施形態では、親局１０により、遠隔局２０で映像信号及び音声信号に同期して信号処理するために必要な制御信号をＰＥＳ生成部１６で符号化してＰＴＳを含むＰＥＳ構造に変換し、この制御ＰＥＳを多重部１７にてＴＳに多重して遠隔局２０に送信するようにしている。このとき、制御ＰＥＳに打刻したＰＴＳが映像ＰＥＳと同じものであれば任意の映像フレームと完全に一致した制御時刻を遠隔局２０に伝送することができ、また制御ＰＥＳに打刻したＰＴＳが音声ＰＥＳと同じものであれば、任意の音声フレームと完全に一致した制御時刻を遠隔局２０に伝送することができる。
【００３７】
遠隔局２０では、親局１０から伝送されたＴＳから分離部２２にて映像ＰＥＳ、音声ＰＥＳ、制御ＰＥＳに分離し、映像デコーダ２３、音声デコーダ２４及び制御デコーダ２５にてそれぞれＰＴＳを解析し、ＰＴＳの時刻つまり親局１０における番組編成時刻に合わせて映像信号、音声信号及び制御信号に復号して出力する。このため、復号した映像信号及び音声信号に同期させた状態で制御信号を利用してローカル番組、コマーシャルの差し替えやローカルスーパーの挿入等を行なうことができる。
【００３８】
以上述べたように上記実施形態では、ＴＳに多重される映像ＰＥＳ及び音声ＰＥＳそれぞれのＰＥＳヘッダにＰＴＳが含まれ、遠隔局２０でこのＰＴＳに基づき、映像ＰＥＳ及び音声ＰＥＳを復号して出力することに着目し、親局１０において、遠隔局２０で映像信号及び音声信号に同期して処理するために必要な制御信号をＰＥＳ生成部１６で符号化してＰＴＳを含む制御ＰＥＳに生成し、この制御ＰＥＳをＴＳに多重して遠隔局２０に送信するようにしている。
【００３９】
従って、遠隔局２０でＴＳを分離部２２により映像ＰＥＳ、音声ＰＥＳ及び制御ＰＥＳに分離して、各ＰＥＳに含まれるＰＴＳを映像デコーダ２３、音声デコーダ２４及び制御デコーダ２５にて解析することにより、制御ＰＥＳに含まれるＰＴＳが映像ＰＥＳ及び音声ＰＥＳに含まれるＰＴＳと同一であれば、親局１０の番組編成時刻に任意の映像ＰＥＳ及び任意の音声ＰＥＳを復号し、各復号出力に完全に同期した状態で制御信号を利用して信号処理することができる。
【００４０】
また、遠隔局２０の分離部２２では、親局１０から送出されたＴＳに含まれるＰＣＲに基づいて、映像ＰＥＳ、音声ＰＥＳ及び制御ＰＥＳを復号するので、復号した映像信号及び音声信号の制御を番組精度もしくは時間精度で行なうことができる。
【００４１】
なお、この発明は、上記実施形態に限定されるものではない。例えば映像信号及び音声信号以外にも、リアルタイム性が要求される例えば字幕データに同期させる場合にもこの発明を適用可能である。
【００４２】
また、ＭＰＥＧ２以外で、遠隔局にて番組を構成しリアルタイム性が要求される信号に同期させることを要求するシステムにもこの発明を適用可能である。
【００４３】
その他、親局の構成、遠隔局の構成、再生時刻情報の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００４４】
【発明の効果】
以上詳述したようにこの発明によれば、ネット受信放送を実施する場合に、遠隔局側で編成時刻に親局からの放送内容を処理できるように、番組制御を親局から伝送された番組に精度良く同期させることが可能なデジタル放送番組中継送出システムを提供することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２のＰＥＳ構造を示す図。
【図２】ＭＰＥＧ２のＴＳ構造を示す図。
【図３】ＭＰＥＧ２のＥＳとＰＥＳとＴＳとの関係を示す図。
【図４】この発明に係るデジタル放送番組中継送出システムの一実施形態を示す概略構成図。
【図５】図４に示した親局の構成を示すブロック図。
【図６】図４に示した遠隔局の構成を示すブロック図。
【符号の説明】
１０…親局、
１１…アンテナ、
１２…映像エンコーダ（映像ＥＮＣ）、
１３…音声エンコーダ（音声ＥＮＣ）、
１４、１５、１６…ＰＥＳ生成部、
１７…多重部、
２０…遠隔局、
２１…アンテナ、
２２…分離部、
２３…映像デコーダ（映像ＤＥＣ）、
２４…音声デコーダ（音声ＤＥＣ）、
２５…制御デコーダ（制御ＤＥＣ）、
ＮＷ…放送中継ネットワーク。
Claims (3)
- 番組編成時刻に基づき、番組を構成しかつリアルタイム性が要求される第１の素材情報信号及び第２の素材情報信号を含む符号化データによる基本ストリームから、再生時刻情報を含むヘッダ領域と前記基本ストリームの内容を含む情報領域とを備える規格化された第１の情報ストリーム及び第２の情報ストリームを生成し、これら第１の情報ストリーム及び第２の情報ストリームを多重してデジタル放送信号を生成し、このデジタル放送信号を第１の放送サービスエリア内に送出する第１の放送局と、
この第１の放送局と中継ネットワークを介して接続され、前記第１の放送局から中継ネットワークを介して送出されたデジタル放送信号を受信して復号し、この復号された第１の素材情報信号と第２の素材情報信号とを同期させて信号処理を加えた後、前記デジタル放送信号として前記第１の放送サービスエリアとは異なる第２の放送サービスエリア内に送出する第２の放送局とを備えたデジタル放送番組中継送出システムであって、
前記第１の放送局は、
前記第２の放送局における信号処理時に前記第１の素材情報信号及び前記第２の素材情報信号に同期して処理するために必要な制御信号を符号化して前記再生時刻情報を含むヘッダ領域と前記制御信号の内容を含む情報領域とを備える制御ストリームに生成し、この制御ストリームを前記デジタル放送信号に多重して前記中継ネットワークにより送信する制御信号送信手段を備え、
前記第２の放送局は、
前記第１の放送局から中継ネットワークを介して到来したデジタル放送信号を前記第１の情報ストリームと前記第２の情報ストリームと前記制御ストリームとに分離する分離手段と、
この分離手段により分離された前記第１の情報ストリーム、前記第２の情報ストリーム及び前記制御ストリームをそれぞれのヘッダ領域に含まれる再生時刻情報に基づいて、前記第１の素材情報信号、前記第２の素材情報信号及び前記制御信号に復号し出力する復号手段とを備え、
前記復号手段による復号前に再生時刻情報が同一の前記第１の情報ストリーム及び前記第２の情報ストリームを前記復号手段により復号された前記第１の素材情報信号及び前記第２の素材情報信号を同期させ、前記第１の情報ストリーム及び前記第２の情報ストリームと再生時刻情報が同一の制御ストリームを前記復号手段により復号された制御信号に基づいて、同期状態にある前記第１の素材情報信号及び前記第２の素材情報信号に対し前記デジタル放送信号として第２の放送サービスエリア内に送出すべく前記信号処理を施すことを特徴とするデジタル放送番組中継送出システム。 - 番組編成時刻に基づき、番組を構成しかつリアルタイム性が要求されるＭＰＥＧ２（Moving Picture Experts Group 2）規定の第１の素材情報用ＥＳ（Elementary Stream）及び第２の素材情報用ＥＳから、再生時刻情報としてＰＴＳ（Presentation Time Stamp）を含む第１の情報用ＰＥＳ（Packetized Elementary Stream）及び第２の情報用ＰＥＳを生成し、これら第１の情報用ＰＥＳ及び第２の情報用ＰＥＳを多重してＴＳ（Transport Stream）を生成し、このＴＳを第１の放送サービスエリア内に送出する第１の放送局と、
この第１の放送局と中継ネットワークを介して接続され、前記第１の放送局から中継ネットワークを介して送出されたＴＳを受信して復号し、この復号された第１の素材情報信号と第２の素材情報信号とを同期させて信号処理を加えた後、前記ＴＳとして前記第１の放送サービスエリアとは異なる第２の放送サービスエリア内に送出する第２の放送局とを備えたデジタル放送番組中継送出システムであって、
前記第１の放送局は、
前記第２の放送局における信号処理時に前記第１の素材情報信号及び前記第２の素材情報信号に同期して処理するために必要な制御信号を符号化して前記ＰＴＳを含む制御用ＰＥＳに生成し、この制御用ＰＥＳを前記ＴＳに多重して前記中継ネットワークにより送信する制御信号送信手段を備え、
前記第２の放送局は、
前記第１の放送局から中継ネットワークを介して到来したＴＳを前記第１の情報用ＰＥＳと前記第２の情報用ＰＥＳと前記制御用ＰＥＳとに分離する分離手段と、
この分離手段により分離された前記第１の情報用ＰＥＳ、前記第２の情報用ＰＥＳ及び前記制御用ＰＥＳをそれぞれに含まれるＰＴＳに基づいて、前記第１の素材情報信号、前記第２の素材情報信号及び前記制御信号に復号し出力する復号手段とを備え、
前記復号手段による復号前にＰＴＳが同一の前記第１の情報用ＰＥＳ及び前記第２の情報用ＰＥＳを前記復号手段により復号された前記第１の素材情報信号及び前記第２の素材情報信号を同期させ、前記第１の情報用ＰＥＳ及び前記第２の情報用ＰＥＳとＰＴＳが同一の制御用ＰＥＳを前記復号手段により復号された制御信号に基づいて、同期状態にある前記第１の素材情報信号及び前記第２の素材情報信号に対し前記デジタル放送信号として第２の放送サービスエリア内に送出すべく前記信号処理を施すことを特徴とするデジタル放送番組中継送出システム。 - 前記第１の素材情報信号は映像信号であり、前記第２の素材情報信号は音声信号であることを特徴とする請求項１または２に記載のデジタル放送番組中継送出システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001160705A JP4146104B2 (ja) | 2001-05-29 | 2001-05-29 | デジタル放送番組中継送出システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001160705A JP4146104B2 (ja) | 2001-05-29 | 2001-05-29 | デジタル放送番組中継送出システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002353922A JP2002353922A (ja) | 2002-12-06 |
| JP4146104B2 true JP4146104B2 (ja) | 2008-09-03 |
Family
ID=19004075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001160705A Expired - Fee Related JP4146104B2 (ja) | 2001-05-29 | 2001-05-29 | デジタル放送番組中継送出システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4146104B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100638138B1 (ko) | 2005-05-24 | 2006-10-24 | 주식회사 픽스트리 | 비디오/오디오 부호화 및 다중화 기능을 가진 하드웨어장치 및 그 작동 방법 |
| JP6823540B2 (ja) * | 2017-05-29 | 2021-02-03 | 日本電信電話株式会社 | 映像処理方法、映像処理システム及び映像送信装置 |
-
2001
- 2001-05-29 JP JP2001160705A patent/JP4146104B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002353922A (ja) | 2002-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100646851B1 (ko) | 오디오/비디오 서비스와 데이터 서비스의 동기화를 위한지상파 디지털멀티미디어방송 송/수신 시스템 | |
| JP3408469B2 (ja) | 受信システム | |
| JP2007006349A (ja) | データ伝送システム、送信装置、受信装置、およびデータ伝送方法 | |
| US7346055B2 (en) | Method and system for co-relating transport packets on different channels using a unique packet identifier | |
| JP2002344889A (ja) | 情報伝送装置及び方法、情報処理装置及び方法、並びに、情報処理システム | |
| US7415014B2 (en) | Method and system for co-relating transport packets on different channels using a packet prioritization scheme | |
| KR101131836B1 (ko) | 디지털 광고 삽입기를 위한 비동기 직렬 인터페이스 스위쳐 | |
| KR100501909B1 (ko) | 엠펙-4 데이터를 디지털 오디오 방송 데이터에 다중화하는 장치와 그 방법 및 그 역다중화 방법 | |
| JP4146104B2 (ja) | デジタル放送番組中継送出システム | |
| JP3400681B2 (ja) | データパケット再多重方法及び再多重装置 | |
| JP3893643B2 (ja) | 信号多重化方法およびそれを用いた伝送信号生成装置 | |
| JP2005176107A (ja) | デジタル放送受信装置およびその制御方法、デジタル放送送信装置、ならびにデジタル放送受信システム | |
| JP2002101395A (ja) | 多重化装置及び方法、並びに、復号装置及び方法 | |
| KR100698182B1 (ko) | 디지털 방송 시스템의 ａｖ 출력 방법 및 장치 | |
| JP2008245061A (ja) | Ｉｐストリーム伝送におけるｐｃｒ再生方式 | |
| WO2004034616A1 (ja) | 放送データ送受信システム及び放送データ送受信方法 | |
| JPH11112944A (ja) | 情報処理装置および方法、並びに伝送媒体 | |
| JP2000059325A (ja) | 遅延時間測定装置 | |
| JP4357070B2 (ja) | デジタル放送信号同期切替送出装置 | |
| JP3782006B2 (ja) | 放送データ伝送システム、放送データ伝送方法及びデータ変換装置 | |
| JP3748411B2 (ja) | デジタル放送信号中継システム、デジタル放送送信装置、デジタル放送受信装置 | |
| JP4704651B2 (ja) | ストリームを送信する方法、送信器、及び伝送システム | |
| JP2000244433A (ja) | データ多重化装置及びデータ多重化方法 | |
| JP3907422B2 (ja) | データ多重化伝送方法及びその装置 | |
| JP4330814B2 (ja) | デジタル放送番組中継送出システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080619 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |