JP3782006B2 - Broadcast data transmission system, broadcast data transmission method, and data conversion apparatus - Google Patents

Broadcast data transmission system, broadcast data transmission method, and data conversion apparatus Download PDF

Info

Publication number
JP3782006B2
JP3782006B2 JP2001380691A JP2001380691A JP3782006B2 JP 3782006 B2 JP3782006 B2 JP 3782006B2 JP 2001380691 A JP2001380691 A JP 2001380691A JP 2001380691 A JP2001380691 A JP 2001380691A JP 3782006 B2 JP3782006 B2 JP 3782006B2
Authority
JP
Japan
Prior art keywords
data
signal
time information
station
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001380691A
Other languages
Japanese (ja)
Other versions
JP2003189121A (en
Inventor
準一 久保木
正博 陶山
Original Assignee
株式会社フジテレビジョン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社フジテレビジョン filed Critical 株式会社フジテレビジョン
Priority to JP2001380691A priority Critical patent/JP3782006B2/en
Publication of JP2003189121A publication Critical patent/JP2003189121A/en
Application granted granted Critical
Publication of JP3782006B2 publication Critical patent/JP3782006B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Details Of Television Systems (AREA)
  • Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、発局で放送される映像信号とデータ信号とからなる放送データを、受局において放送するための放送データ伝送システム、放送データ伝送方法、及びデータ変換装置に関する。
【0002】
【従来の技術】
従来のアナログ地上放送においては、中央の本局等で放送される放送番組を、地方のローカル局でも放送する方式が採られている。一方、放送の新しい形態としてデジタル放送が開始されており、このデジタル放送においては、文字や静止画、動画、プログラム等のコンテンツをデジタルデータとして放送するデータ放送方式が採用されている。
【0003】
このデータ放送では、映像信号とデータ信号とからなる放送データを所定の帯域で放送するが、これらのデータを送出する方式としてVBR方式が採用されている。このVBR方式は、所定帯域を、映像信号用の帯域と、データ信号用の帯域とに分けて、各々の帯域で各信号をそれぞれ送出するが、映像信号のデータ量が減少しているときには、映像信号用の帯域を減少させ、データ信号の帯域を増大させるなどの可変的に帯域を調整する機能が備えられている。
【0004】
【発明が解決しようとする課題】
しかしながら、従来のデータカルーセルのVBR方式では、上述したように、映像ビットレートの減少に応じてデータ放送帯域を可変制御しているため、地方放送局のようなローカル局で映像の差替えがある場合には、発局からのVBR−TSをそのまま使うことができなかった。
【0005】
また、放送データを伝送する他の方式としては、データ信号と映像信号とを別の経路及び方式で伝送するものがあるが、これによると、ローカル局においてデータ信号と映像信号の同期を取る必要が生じるが、従来のデータカルーセル方式は時間同期がないことを特徴としていたため、映像ストリームとの時間同期は困難であり、地上デジタル放送におけるローカル局での映像データ放送同期方法は確立されていなかった。
【0006】
そこで、本発明では、本局で放送される放送データを地方局でそのまま利用することを可能とし、コンテンツの有効利用を図るとともに、地方局でのコンテンツ製作に関する負担を軽減することを目的とする。
【0007】
【課題を解決するための手段】
本願に係る発明は上記課題を解決すべくなされたものであり、発局で放送される映像信号とデータ信号とからなる放送データを、受局に伝送する際に、映像信号及びデータ信号を送出する送出時刻に関する時間情報を、映像信号及びデータ信号にそれぞれ付加し、映像信号及びデータ信号を受局に伝送し、受局において映像信号及びデータ信号に付加された時間情報をそれぞれ取得し、これらの時間情報を照合し、照合結果に基づくタイミングにより映像信号とデータ信号とを多重化し、伝送速度が異なる回線で送られた映像信号とデータ信号の送出タイミングを送出時刻によって受局で自動的に調整することを特徴とする。なお、この時間情報としては、例えば、発局におけるシステム時間やこれに基づいて算出される時間(実時間、NPT(Normal Play Time)時刻、STC(System time clock)、PCR(Program Clock
Reference)またはこれらの組み合わせ)が含まれる。
【0008】
このような本発明によれば、発局において映像信号及びデータ信号のそれぞれに時間情報を付加し、この時間情報に基づいて受局で、映像信号とデータ信号との同期を取りつつ多重化を行うことができるため、受局における放送データの利用が容易なものとなる。
【0009】
本発明では、受局において受信され、複製されたデータ信号のそれぞれ複数のバッファ手段に一時的に蓄積し、時間情報に基づいて、前記複数のバッファ手段のうちいずれかのバッファ手段からデータ信号を固定レートで出力し、帯域の未使用分を検出した際に帯域余剰信号を出力し、帯域余剰信号に基づいてバッファ手段からデータ信号を、帯域の未使用分量に応じた可変レートで出力することを特徴とする。
【0010】
このような本発明によれば、受局において映像信号とデータ信号とを多重化する際に、固定ビットレートと可変ビットレートとを併用することにより、未使用の帯域を有効利用することができる。
【0011】
本発明では、発局において、発局固有の送出時刻を時間情報として映像信号及びデータ信号に付加し、受局において、受局固有の送出時刻を時間情報として生成し、受局における多重処理に際し、発局側の時間情報を、受局側の時間情報に付け替えることを特徴とする。
【0012】
このような本発明によれば、発局と受局とが、それぞれ固有の時間情報で多重化及び放送を行うことができ、各局の環境に適応させつつ、コンテンツの有効利用を図ることができる。
【0013】
【発明の実施の形態】
(データ放送システムの構成)
本発明の実施形態について図面を参照しながら説明する。図1及び図2は、本実施形態に係るデータ放送方法の概要を示す説明図である。
【0014】
図1に示すように、本実施形態に係る放送データ伝送システムは、キー局である発局1と、ローカル局である受局2との間で、放送データを伝送する。具体的に、発局1は、実時間発生部11と、STC発生部12と、SDI補助信号エンコーダ13と、NPT時刻生成機14と、NPT参照記述子生成機15と、映像エンコーダ16と、データ放送ストリームパケタイザー17とを有する。
【0015】
実時間発生部11は、絶対時間を計時し、送出時刻を時間情報としてSDI補助信号エンコーダ13及びNPT時刻生成機14に出力するものである。STC発生部12は、発局1のシステム固有のシステム時間であるSTC(System time clock)を計時するものであり、STC値をNPT参照記述子生成機15及び映像エンコーダ16に出力する。
【0016】
SDI補助信号エンコーダ13は、映像信号に含まれるSDI補助信号領域に実時間を付加するものであり、SDI補助信号領域に付加された実時間は、映像エンコーダ16に出力される。
【0017】
NPT時刻生成機14は、実時間発生部11から入力された時間情報に基づいてNPT時刻を生成するものであり、このNPT時刻は、NPT参照記述子生成機15に出力される。NPT参照記述子生成機15は、NPT時刻生成機14及びSTC発生機12からの情報に基づいてNPT参照記述子を生成するものである。このNPT参照記述子は、NPT時刻とSTCとを対応付ける対応テーブルデータである。そして、生成されたNPT参照記述子は、データ放送ストリームパケタイザー17に出力される。このNPT参照記述子生成機15では、NPT時刻は送出実時間と同一となっている。
【0018】
映像エンコーダ16は、映像信号を放送可能なMPG−2TSに符号化変換するものであり、変換されたTSは、多重機18を介して放送されるとともに、受局2に対して伝送される。また、映像エンコーダ16は、PCR(Program Clock Reference)を生成し、データ放送ストリームパケタイザー17に出力する。また、この映像エンコーダ16は、STC発生機12で生成されたSTCを符号化された映像信号に付加する機能を有している。
【0019】
データ放送ストリームパケタイザー17は、データ放送ストリームを放送可能な形式でパケット化し、多重機18を介して送出するとともに、受局2に対して伝送を行うものであり、NPT参照記述子生成機15から入力されるNPT参照記述子と、映像エンコーダ16からのPCRとを、多重化したうえでTS化を行う。多重機18は、映像エンコーダ16とデータ放送ストリームパケタイザー17からの信号を多重化し、発局のサービスエリアの受信機に向けて放送するものである。
【0020】
一方、受局2は、映像デコーダ22と、SDI補助信号デコーダ23と、映像エンコーダ24と、STC発生機25と、多重器26と、VBRTSバッファー21とを有する。
【0021】
映像デコーダ22は、発局1から伝送されてきた符号化データを、復号変換するものであり、変換した映像をSDI補助信号デコーダ23に送出する。SDI補助信号デコーダ23は、複合化された映像信号に含まれているSDI補助信号を復号するとともに、SDI補助信号に含まれている時間情報を抽出し、これを読み出しNPT値として、VBRTSバッファー21に出力する。映像エンコーダ24は、復号変換された映像信号を再度符号化するものであり、この符号化は受局2独自に定められた変換レート及びシステム時間による。
【0022】
STC発生機25は、受局2独自のSTCであるネット局マスタSTCを発生させ、VBRTSバッファー21に出力するものである。多重器26は、映像エンコーダ24で符号化された映像信号を多重化して放送可能なTSを生成するものである。また、多重器26は、放送サービスの帯域に余裕がある場合には、サービス毎に帯域余剰信号を送信する。
【0023】
VBRTSバッファー21は、発局1から伝送されてきたデータ放送ストリームをバッファリングするとともに、受局2に適合したVBRに変換するものである。本実施形態に係るVBRTSバッファー21は、TS分離31と、オリジナルSTC再生部32と、NPT再生部33と、TSバッファー34と、カルーセルバッファー35と、ローカル局PCR生成部36と、STC付け替え部37と、TS合成部38とを有している。
【0024】
TS分離31は、発局1から伝送されてきたデータ放送ストリームからPCR、NPT参照記述子、データカルーセル及びイベント・メッセージに分離するものである。
【0025】
オリジナルSTC再生部32は、TS分離部31から入力されたPCRに基づいて発局1におけるSTCを発生させ、これをSTC値としてNPT再生部33とTSバッファー34に出力するものである。
【0026】
NPT再生部33は、オリジナルSTC再生部32から入力された発局1のSTC値に基づいてNPT参照記述子を照合し、入力されたSTC値に対応するNPT値を発生させるものである。生成されたNPT値は、TSバッファー34に出力される。また、NPT再生部33は、TS分離部31から受け取ったNPT参照記述子をSTC付け替え部37に送出される。
【0027】
TSバッファー34は、TS分離部31からのデータカルーセルを、オリジナルSTC再生部32からのSTC値、NPT再生部33及びSDI補助信号デコーダ23からの読み出しNPT値に基づいて読み出される。このデータカルーセルは、TS合成部38に送出される。
【0028】
具体的にこのTSバッファー34は、TS分離31からの複数のデータカルーセルESをセクションデータ形式で保存する。このとき、セクションデータには、オリジナルSTC値とNPT値とが属性値として記録される。そして、TSバッファー34は、SDI補助信号デコーダ23から入力された読み出しNPT値と、TSバッファーに記録されたPESの属性値である発局1のNPT値を比較し、一致したセクションデータを出力する。一致するNPT値を持つPESがない場合には、ヌルパケットを出力する。
【0029】
カルーセルバッファー35は、TS分離部31で分離されたデータカルーセルのVBR(可変ビットレート)化するものである。このVBR化されたデータカルーセルは、TS合成部38に送出される。具体的には、カルーセルバッファー35は、データカルーセルESをES毎に分離し、各ESを、モジュールIDに応じてセクション形式でバッファーに保存するとともに、多重機26からの帯域余剰信号を受信すると、その信号に応じたルールでセクションをTS合成部38に送出する。この帯域余剰信号は、多重機26において、未使用の帯域が検出された際に送出されるものであり、多重機26は、TS合成部26から送出されたデータ内のNULデータを監視し、未使用の帯域を検出し、未使用分の帯域量に応じた帯域余剰信号をカルーセルバッファー35に送出する。
【0030】
詳述すると、このセクションの送出は、セクションの中に含まれるDIIに応じて行う。先ず、カルーセルバッファー35は、セクションの中のDIIを抽出し、データカルーセルのモジュール構成を取得し、モジュールIDを属性値としてバッファーに保存する。そして、カルーセルバッファー35は、ESで伝送されるDIIのトランザクションIDの変化を検知すると、カルーセルの内容が更新されたと判断し、バッファー内のデータをクリアする。
【0031】
ローカル局PCR生成部36は、受局36独自のPCRを生成するものであり、STC発生機25から入力されるネット局マスタSTCに基づいてPCRを生成する。STC付け替え部37は、NPT再生部33からのNPT参照記述子を、STC発生機25からのネット局マスタSTCに基づいてNPT参照記述子を変更しTS合成部38に出力するものである。
【0032】
TS合成部38は、上記各部から送られてきたPCR、NPT参照記述子、データカルーセル及びイベント・メッセージからTSを合成するものであり、合成されたTSは、多重機26に出力される。
【0033】
(動作)
以上説明した構成を有する本実施形態に係る放送データ伝送システムは、以下のように動作する。
【0034】
先ず、発局1において映像信号が入力されると、SDI補助信号エンコーダ13においてSDI補助信号に実時間情報が付加されるとともに、映像エンコーダ16において映像信号を符号化する。この符号化の際に、STCから得られたDTS値とPTS値が付加される。また、映像信号の符号化に同期させてPCR値が生成され、これがデータ放送ストリームパケタイザー17に入力される。
【0035】
一方、データ信号については、先ず、NPT時刻生成機14において実時間情報からNPT値が生成され、これをNPT参照記述子生成機15に入力するとともに、STC発生機12で生成されたSTC値がNPT参照記述子生成機15に入力され、NPTとSTCの対応テーブルであるNPT参照記述子が生成される。
【0036】
このNPT参照記述子は、データ放送ストリームパケタイザー17に入力される。データ放送ストリームパケタイザー17では、データ信号にNPT参照記述子及びPCR値を付加したうえで、データ信号をパケット化する。
【0037】
そして、映像エンコーダ16において符号化された映像信号は、固定ビットレート若しくは可変レートにより受局2に伝送されるとともに、多重機18に入力される。また、データ放送ストリームパケタイザー17でパケット化されたデータ信号は、CBRにより受局2に伝送されるとともに、多重機18に入力される。多重機18では、映像信号とデータ信号とを多重化して、放送する。
【0038】
受局2に伝送された映像信号は、映像デコーダ22で復号化されるとともに、SDI補助信号デコーダ23においてSDI補助信号が抽出される。SDI補助信号デコーダ23では、抽出したSDI補助信号から実時間情報を取得するとともに、これに基づいてNPT値を生成し、VBRTSバッファー21に入力する。その後、映像信号を映像エンコーダにおいて符号化し、これを多重機26に入力する。
【0039】
一方、受局2に伝送されたデータ信号は、VBRTSバッファー21に入力される。このVBRTSバッファー21において、PCR、NPT参照記述子、データカルーセル及びイベント・メッセージに分離される。
【0040】
PCRは、オリジナルSTC再生32に入力され、ここにおいてSTC値が生成され、このSTC値は、各々NPT再生部33とTSバッファー34に入力される。NPT参照記述子は、NPT再生部33に入力される。このNPT再生部33において、NPT参照記述子とSTC値とを照合し、NPT値を生成し、このNPT値はTSバッファー34に入力される。また、NPT再生部33は、NPT参照記述子をSTC付け替え部37に転送する。
【0041】
データカルーセルは、複製されてTSバッファー34とカルーセルバッファー35に入力される。TSバッファー34では、受け取ったデータカルーセルをバッファーに蓄積するとともに、NPT再生部33からのNPT値とSDI補助信号デコーダ23からのNPT値とに基づいて、蓄積しているデータカルーセルをTS合成部38に出力する。
【0042】
カルーセルバッファー35は、受け取ったデータカルーセルをバッファーに蓄積するとともに、多重機26からの帯域余剰信号に応じて、蓄積したデータカルーセルを可変ビットレートにてTS合成部38に出力する。
【0043】
具体的に、カルーセルバッファー35は、多重機26からの帯域余剰信号を受信すると、カルーセル内のDII(Data Information Initiative)の有無に基づいて、以下の順序、ルールでセクションを送出する。
【0044】
(1)DIIが取得されていた場合
データカルーセル内にDIIが存在し、既にカルーセルバッファー35において取得されていた場合には、先ず、DIIをTS合成部38に対して送出し、これに続くDDB(DDI記載順)を送出する。このDDBを送出した際には、送出した最後のDDB(最終送出DDB)をメモリ(最終送出DDBメモリ)に記憶する。そして、次のDDBを送出するときには、最終送出DDBメモリの値より大きく且つ一番近いモジュール分のDDBを送出する。
【0045】
その後、DIIに記載されている一番大きいモジュールID(最終DDB)と最終送出DDBのモジュールIDが一致した場合には、DDIを送出し、最終送出DDBメモリをNULとする。また、放送運用規定に定められた周期でDIIを送出する。
【0046】
(2)DIIが取得されていない場合
一方、DIIが存在せず、DIIが取得されていない場合には、取得したモジュールを取得順に送出する。
【0047】
なお、イベントメッセージは、バッファーをスルーして直接TS合成部38に入力される。
【0048】
(効果)
以上説明した本実施形態に係る放送データ伝送システムによれば、発局1において映像信号及びデータ信号のそれぞれに時間情報(STC値,NPT値,PCR値)を付加し、この時間情報に基づいて受局2で、映像信号とデータ信号との同期を取りつつ多重化を行うことができるため、受局2における放送データの利用が容易なものとなる。
【0049】
また、本実施形態においては、受局2において映像信号とデータ信号とを多重化する際に、カルーセルバッファー35によりデータカルーセルを可変ビットレート化することにより、未使用の帯域を有効利用することができる。
【0050】
さらに、本実施形態では、STC付け替え部37において、NPT参照記述子のシステム時間情報(STC値)について、発局1固有のものと受局2固有のものとを付け替えるため、それぞれ固有の時間情報で多重化及び放送を行うことができ、各局の環境に適応させつつ、コンテンツの有効利用を図ることができる。
【0051】
【発明の効果】
以上説明したように本発明によれば、本局で放送される放送データを地方局でそのまま利用することを可能とし、コンテンツの有効利用を図るとともに、地方局でのコンテンツ製作に関する負担を軽減することができる。また、本発明によれば、発局と受局とで、映像信号とデータ信号との同期を図ることができるため、受局によるコンテンツの利用を容易なものとすることができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る放送データ伝送システムの概略構成を示すブロック図である。
【図2】実施形態に係る放送データ伝送システムにおけるVBRTSバッファーの概略構成を示すブロック図である。
【符号の説明】
1…発局、2…受局、11…実時間発生部、12…STC発生部、13…SDI補助信号エンコーダ、14…NPT時刻生成機、15点NPT参照記述子生成機、16…映像エンコーダ、17…データ放送ストリームパケタイザー、18…多重機、21…VBRTSバッファー、22…映像デコーダ、23…SDI補助信号デコーダ、24…映像エンコーダ、25…STC発生機、26…多重機
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a broadcast data transmission system, a broadcast data transmission method, and a data conversion device for broadcasting broadcast data composed of a video signal and a data signal broadcasted at a transmitting station at a receiving station.
[0002]
[Prior art]
Conventional analog terrestrial broadcasting employs a system in which a broadcast program broadcast at a central main station or the like is also broadcast at a local local station. On the other hand, digital broadcasting has been started as a new form of broadcasting. In this digital broadcasting, a data broadcasting method for broadcasting contents such as characters, still images, moving images, and programs as digital data is adopted.
[0003]
In this data broadcasting, broadcast data composed of a video signal and a data signal is broadcast in a predetermined band, and a VBR system is adopted as a system for transmitting these data. In this VBR method, a predetermined band is divided into a video signal band and a data signal band, and each signal is transmitted in each band. When the data amount of the video signal decreases, A function for variably adjusting the band such as decreasing the band for the video signal and increasing the band of the data signal is provided.
[0004]
[Problems to be solved by the invention]
However, in the conventional data carousel VBR system, as described above, since the data broadcasting band is variably controlled in accordance with the reduction in the video bit rate, there is a case where video is replaced at a local station such as a local broadcasting station. The VBR-TS from the originating station could not be used as it is.
[0005]
In addition, as another method for transmitting broadcast data, there is a method in which a data signal and a video signal are transmitted through different paths and methods. According to this, it is necessary to synchronize the data signal and the video signal in the local station. However, since the conventional data carousel method is characterized by the lack of time synchronization, time synchronization with the video stream is difficult, and a video data broadcast synchronization method at a local station in terrestrial digital broadcasting has not been established. It was.
[0006]
Therefore, an object of the present invention is to make it possible to use broadcast data broadcast at the main station as it is at the local station, to effectively use the content, and to reduce the burden on the content production at the local station.
[0007]
[Means for Solving the Problems]
The invention according to the present application has been made to solve the above-described problems, and transmits video signals and data signals when transmitting broadcast data composed of video signals and data signals broadcasted at the originating station to the receiving station. Time information on the transmission time to be added to the video signal and the data signal, respectively, the video signal and the data signal are transmitted to the receiving station, and the time information added to the video signal and the data signal is acquired at the receiving station, respectively. The video signal and the data signal are multiplexed at the timing based on the verification result, and the transmission timing of the video signal and the data signal sent on the lines with different transmission speeds is automatically determined by the receiving station according to the transmission time. It is characterized by adjusting. The time information includes, for example, the system time at the originating station and the time calculated based on the system time (real time, NPT (Normal Play Time) time, STC (System Time Clock), PCR (Program Clock).
Reference) or a combination thereof).
[0008]
According to the present invention, time information is added to each of the video signal and the data signal at the originating station, and multiplexing is performed while synchronizing the video signal and the data signal at the receiving station based on this time information. This makes it easy to use broadcast data at the receiving station.
[0009]
In the present invention, received at 受局, it replicated the respective data signals temporarily stored in a plurality of buffer means, based on the time information, the data signal from one of the buffer means of said plurality of buffer means Is output at a fixed rate, a band surplus signal is output when an unused part of the band is detected, and a data signal is output from the buffer means at a variable rate according to the unused part of the band based on the band surplus signal. It is characterized by that.
[0010]
According to the present invention, when the video signal and the data signal are multiplexed at the receiving station, the unused band can be effectively used by using the fixed bit rate and the variable bit rate in combination. .
[0011]
In the present invention, at the originating station, the transmission time unique to the originating station is added to the video signal and the data signal as time information, and at the receiving station, the sending time unique to the receiving station is generated as time information, and in the multiplexing process at the receiving station The time information on the originating side is replaced with the time information on the receiving side.
[0012]
According to the present invention as described above, the transmitting station and the receiving station can perform multiplexing and broadcasting with unique time information, respectively, and can effectively use the contents while adapting to the environment of each station. .
[0013]
DETAILED DESCRIPTION OF THE INVENTION
(Configuration of data broadcasting system)
Embodiments of the present invention will be described with reference to the drawings. 1 and 2 are explanatory diagrams showing an outline of the data broadcasting method according to the present embodiment.
[0014]
As shown in FIG. 1, the broadcast data transmission system according to the present embodiment transmits broadcast data between an originating station 1 that is a key station and a receiving station 2 that is a local station. Specifically, the originating station 1 includes a real time generator 11, an STC generator 12, an SDI auxiliary signal encoder 13, an NPT time generator 14, an NPT reference descriptor generator 15, a video encoder 16, And a data broadcast stream packetizer 17.
[0015]
The real time generator 11 measures the absolute time and outputs the transmission time to the SDI auxiliary signal encoder 13 and the NPT time generator 14 as time information. The STC generator 12 measures an STC (System time clock) that is a system time unique to the system of the originating station 1 and outputs the STC value to the NPT reference descriptor generator 15 and the video encoder 16.
[0016]
The SDI auxiliary signal encoder 13 adds real time to the SDI auxiliary signal area included in the video signal, and the real time added to the SDI auxiliary signal area is output to the video encoder 16.
[0017]
The NPT time generator 14 generates an NPT time based on the time information input from the real time generator 11, and this NPT time is output to the NPT reference descriptor generator 15. The NPT reference descriptor generator 15 generates an NPT reference descriptor based on information from the NPT time generator 14 and the STC generator 12. The NPT reference descriptor is correspondence table data that associates the NPT time with the STC. Then, the generated NPT reference descriptor is output to the data broadcast stream packetizer 17. In this NPT reference descriptor generator 15, the NPT time is the same as the actual transmission time.
[0018]
The video encoder 16 encodes and converts the video signal into a broadcastable MPG-2TS, and the converted TS is broadcast via the multiplexer 18 and transmitted to the receiving station 2. In addition, the video encoder 16 generates a PCR (Program Clock Reference) and outputs it to the data broadcast stream packetizer 17. The video encoder 16 has a function of adding the STC generated by the STC generator 12 to the encoded video signal.
[0019]
The data broadcast stream packetizer 17 packetizes the data broadcast stream in a broadcastable format, sends the packet through the multiplexer 18 and transmits the packet to the receiving station 2. The NPT reference descriptor generator 15 The NPT reference descriptor input from the video encoder 16 and the PCR from the video encoder 16 are multiplexed and converted to a TS. The multiplexer 18 multiplexes signals from the video encoder 16 and the data broadcast stream packetizer 17 and broadcasts them to the receiver in the service area of the originating station.
[0020]
On the other hand, the receiving station 2 includes a video decoder 22, an SDI auxiliary signal decoder 23, a video encoder 24, an STC generator 25, a multiplexer 26, and a VBRTS buffer 21.
[0021]
The video decoder 22 decodes and converts the encoded data transmitted from the originating station 1, and sends the converted video to the SDI auxiliary signal decoder 23. The SDI auxiliary signal decoder 23 decodes the SDI auxiliary signal included in the composite video signal, extracts the time information included in the SDI auxiliary signal, and uses this as a read NPT value as the VBRTS buffer 21. Output to. The video encoder 24 re-encodes the video signal that has been decoded and converted, and this encoding depends on the conversion rate and the system time determined independently by the receiving station 2.
[0022]
The STC generator 25 generates a net station master STC that is an STC unique to the receiving station 2 and outputs it to the VBRTS buffer 21. The multiplexer 26 multiplexes the video signal encoded by the video encoder 24 to generate a TS that can be broadcast. The multiplexer 26 transmits a band surplus signal for each service when there is a margin in the band of the broadcast service.
[0023]
The VBRTS buffer 21 buffers the data broadcast stream transmitted from the originating station 1 and converts it into a VBR suitable for the receiving station 2. The VBRTS buffer 21 according to the present embodiment includes a TS separation unit 31, an original STC playback unit 32, an NPT playback unit 33, a TS buffer 34, a carousel buffer 35, a local station PCR generation unit 36, and an STC replacement unit 37. And a TS synthesis unit 38.
[0024]
The TS separation 31 separates the data broadcast stream transmitted from the originating station 1 into a PCR, an NPT reference descriptor, a data carousel, and an event message.
[0025]
The original STC reproduction unit 32 generates an STC in the originating station 1 based on the PCR input from the TS separation unit 31, and outputs this to the NPT reproduction unit 33 and the TS buffer 34 as an STC value.
[0026]
The NPT playback unit 33 collates the NPT reference descriptor based on the STC value of the originating station 1 input from the original STC playback unit 32, and generates an NPT value corresponding to the input STC value. The generated NPT value is output to the TS buffer 34. In addition, the NPT playback unit 33 sends the NPT reference descriptor received from the TS separation unit 31 to the STC replacement unit 37.
[0027]
The TS buffer 34 reads the data carousel from the TS separation unit 31 based on the STC value from the original STC reproduction unit 32 and the read NPT value from the NPT reproduction unit 33 and the SDI auxiliary signal decoder 23. This data carousel is sent to the TS synthesis unit 38.
[0028]
Specifically, the TS buffer 34 stores a plurality of data carousels ES from the TS separation 31 in a section data format. At this time, the original STC value and the NPT value are recorded as attribute values in the section data. Then, the TS buffer 34 compares the read NPT value input from the SDI auxiliary signal decoder 23 with the NPT value of the originating station 1, which is the attribute value of the PES recorded in the TS buffer, and outputs matching section data. . If there is no PES having a matching NPT value, a null packet is output.
[0029]
The carousel buffer 35 converts the data carousel separated by the TS separation unit 31 into a VBR (variable bit rate). The data carousel converted to VBR is sent to the TS synthesis unit 38. Specifically, the carousel buffer 35 separates the data carousel ES for each ES, stores each ES in a buffer in a section format according to the module ID, and receives a band surplus signal from the multiplexer 26. The section is sent to the TS synthesis unit 38 according to the rule according to the signal. This band surplus signal is transmitted when an unused band is detected in the multiplexer 26. The multiplexer 26 monitors NUL data in the data transmitted from the TS combiner 26, and An unused band is detected, and a band surplus signal corresponding to the unused band amount is sent to the carousel buffer 35.
[0030]
More specifically, this section is sent in accordance with the DII included in the section. First, the carousel buffer 35 extracts the DII in the section, acquires the module configuration of the data carousel, and stores the module ID as an attribute value in the buffer. When the carousel buffer 35 detects a change in the transaction ID of the DII transmitted by the ES, the carousel buffer 35 determines that the contents of the carousel have been updated, and clears the data in the buffer.
[0031]
The local station PCR generation unit 36 generates a PCR unique to the receiving station 36, and generates a PCR based on the net station master STC input from the STC generator 25. The STC replacement unit 37 changes the NPT reference descriptor from the NPT playback unit 33 based on the net station master STC from the STC generator 25 and outputs it to the TS synthesis unit 38.
[0032]
The TS synthesizing unit 38 synthesizes the TS from the PCR, NPT reference descriptor, data carousel, and event message sent from each of the above units, and the synthesized TS is output to the multiplexer 26.
[0033]
(Operation)
The broadcast data transmission system according to this embodiment having the above-described configuration operates as follows.
[0034]
First, when a video signal is input at the originating station 1, real-time information is added to the SDI auxiliary signal at the SDI auxiliary signal encoder 13, and the video signal is encoded at the video encoder 16. At the time of this encoding, the DTS value and PTS value obtained from the STC are added. In addition, a PCR value is generated in synchronization with the encoding of the video signal, and this is input to the data broadcast stream packetizer 17.
[0035]
On the other hand, for the data signal, first, an NPT value is generated from real-time information in the NPT time generator 14 and input to the NPT reference descriptor generator 15, and the STC value generated by the STC generator 12 is The NPT reference descriptor generator 15 inputs the NPT reference descriptor, which is a correspondence table between NPT and STC.
[0036]
This NPT reference descriptor is input to the data broadcast stream packetizer 17. The data broadcast stream packetizer 17 packetizes the data signal after adding the NPT reference descriptor and the PCR value to the data signal.
[0037]
The video signal encoded by the video encoder 16 is transmitted to the receiving station 2 at a fixed bit rate or a variable rate, and is input to the multiplexer 18. Further, the data signal packetized by the data broadcast stream packetizer 17 is transmitted to the receiving station 2 by CBR and input to the multiplexer 18. In the multiplexer 18, the video signal and the data signal are multiplexed and broadcast.
[0038]
The video signal transmitted to the receiving station 2 is decoded by the video decoder 22 and the SDI auxiliary signal decoder 23 extracts the SDI auxiliary signal. The SDI auxiliary signal decoder 23 obtains real time information from the extracted SDI auxiliary signal, generates an NPT value based on the real time information, and inputs the NPT value to the VBRTS buffer 21. Thereafter, the video signal is encoded by the video encoder and input to the multiplexer 26.
[0039]
On the other hand, the data signal transmitted to the receiving station 2 is input to the VBRTS buffer 21. In this VBRTS buffer 21, it is separated into PCR, NPT reference descriptor, data carousel and event message.
[0040]
The PCR is input to the original STC playback 32, where an STC value is generated, and this STC value is input to the NPT playback unit 33 and the TS buffer 34, respectively. The NPT reference descriptor is input to the NPT playback unit 33. The NPT playback unit 33 collates the NPT reference descriptor with the STC value to generate an NPT value, and this NPT value is input to the TS buffer 34. Further, the NPT playback unit 33 transfers the NPT reference descriptor to the STC replacement unit 37.
[0041]
The data carousel is duplicated and input to the TS buffer 34 and the carousel buffer 35. The TS buffer 34 accumulates the received data carousel in the buffer, and also stores the accumulated data carousel on the basis of the NPT value from the NPT playback unit 33 and the NPT value from the SDI auxiliary signal decoder 23. Output to.
[0042]
The carousel buffer 35 accumulates the received data carousel in the buffer and outputs the accumulated data carousel to the TS synthesizing unit 38 at a variable bit rate according to the band surplus signal from the multiplexer 26.
[0043]
Specifically, when the carousel buffer 35 receives a band surplus signal from the multiplexer 26, the carousel buffer 35 transmits sections in the following order and rule based on the presence or absence of DII (Data Information Initiative) in the carousel.
[0044]
(1) When DII has been acquired If DII is present in the data carousel and has already been acquired in the carousel buffer 35, first, DII is sent to the TS synthesis unit 38, followed by DDB. (DDI description order) is sent out. When this DDB is sent, the last sent DDB (final send DDB) is stored in the memory (final send DDB memory). When the next DDB is sent, the DDB for the module closest to and larger than the value of the last send DDB memory is sent.
[0045]
Thereafter, when the largest module ID (final DDB) described in DII matches the module ID of the final transmission DDB, DDI is transmitted and the final transmission DDB memory is set to NUL. In addition, DII is transmitted at a period defined in the broadcast operation regulations.
[0046]
(2) When the DII is not acquired On the other hand, when the DII does not exist and the DII is not acquired, the acquired modules are transmitted in the order of acquisition.
[0047]
The event message passes through the buffer and is directly input to the TS synthesis unit 38.
[0048]
(effect)
According to the broadcast data transmission system according to the present embodiment described above, time information (STC value, NPT value, PCR value) is added to each of the video signal and the data signal at the originating station 1, and based on this time information. Since the receiving station 2 can perform multiplexing while synchronizing the video signal and the data signal, the broadcast data in the receiving station 2 can be easily used.
[0049]
In the present embodiment, when the video signal and the data signal are multiplexed in the receiving station 2, the data carousel is converted to a variable bit rate by the carousel buffer 35, so that an unused band can be effectively used. it can.
[0050]
Furthermore, in the present embodiment, the STC reassigning unit 37 reassigns the system time information (STC value) of the NPT reference descriptor to the unique time information of the originating station 1 and the unique time information of the receiving station 2. Thus, multiplexing and broadcasting can be performed, and content can be effectively used while adapting to the environment of each station.
[0051]
【The invention's effect】
As described above, according to the present invention, it is possible to use broadcast data broadcast at the main station as it is at the local station, to effectively use the content, and to reduce the burden on content production at the local station. Can do. Further, according to the present invention, since the video signal and the data signal can be synchronized between the originating station and the receiving station, the use of content by the receiving station can be facilitated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a broadcast data transmission system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a schematic configuration of a VBRTS buffer in the broadcast data transmission system according to the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Origination station, 2 ... Reception station, 11 ... Real time generation part, 12 ... STC generation part, 13 ... SDI auxiliary signal encoder, 14 ... NPT time generator, 15 point NPT reference descriptor generator, 16 ... Video encoder , 17 ... Data broadcast stream packetizer, 18 ... Multiplexer, 21 ... VBRTS buffer, 22 ... Video decoder, 23 ... SDI auxiliary signal decoder, 24 ... Video encoder, 25 ... STC generator, 26 ... Multiplexer

Claims (9)

発局で放送される映像信号とデータ信号とからなる放送データを、受局に伝送する放送データ伝送システムであって、
前記映像信号及びデータ信号を送出する送出時刻に関する時間情報を前記映像信号及び前記データ信号にそれぞれ付加する時間情報付加手段と、
前記映像信号及び前記データ信号を前記受局に伝送する手段と、
受局において映像信号及びデータ信号に付加された時間情報をそれぞれ取得し、これらの時間情報を照合する手段と、
前記照合結果に基づくタイミングにより前記映像信号と前記データ信号とを多重化する多重化手段と、
伝送速度が異なる回線で送られた映像信号とデータ信号の送出タイミングを送出時刻によって受局で自動的に調整する手段と
を有することを特徴とする放送データ伝送システム。
A broadcast data transmission system for transmitting broadcast data composed of a video signal and a data signal broadcast at a station to a receiving station,
Time information adding means for adding time information related to a transmission time for sending the video signal and the data signal to the video signal and the data signal, respectively.
Means for transmitting the video signal and the data signal to the receiving station;
Means for acquiring each time information added to the video signal and the data signal at the receiving station, and collating these time information;
Multiplexing means for multiplexing the video signal and the data signal at a timing based on the collation result;
A broadcast data transmission system, comprising: means for automatically adjusting a transmission timing of a video signal and a data signal transmitted through lines having different transmission speeds according to a transmission time.
前記受局において受信され、複製されたデータ信号のそれぞれを一時的に蓄積する複数のバッファ手段と、
前記時間情報に基づいて、前記複数のバッファ手段のうちいずれかのバッファ手段からデータ信号を固定レートで出力する手段と、
前記帯域の未使用分を検出した際に帯域余剰信号を出力する手段と、
前記帯域余剰信号に基づいて、前記複数のバッファ手段のうち他のバッファ手段からデータ信号を、前記帯域の未使用分量に応じた可変レートで出力する手段と
を有することを特徴とする請求項1に記載の放送データ伝送システム。
A plurality of buffer means for temporarily storing each of the replicated data signals received at the receiving station;
Means for outputting a data signal at a fixed rate from any one of the plurality of buffer means based on the time information;
Means for outputting a band surplus signal when an unused portion of the band is detected;
Based on the bandwidth excess signal, claim 1 of the data signal from the other buffer means of said plurality of buffer means, characterized in that it has a means for outputting at a variable rate in accordance with the unused amount of the band Broadcast data transmission system described in 1 .
発局において、発局固有の送出時刻を時間情報として前記映像信号及びデータ信号に付加する発局側時刻発生手段と、
受局において、受局固有の送出時刻を時間情報として生成する受局側時刻発生手段と、
受局における前記多重化手段による多重処理に際し、発局側の時間情報を、受局側の時間情報に付け替える手段と
を有することを特徴とする請求項1に記載の放送データ伝送システム。
In the originating station, the originating side time generating means for adding the transmission time unique to the originating station to the video signal and the data signal as time information,
In the receiving station, a receiving side time generating means for generating a receiving time unique to the receiving station as time information,
The broadcast data transmission system according to claim 1, further comprising means for replacing the time information on the originating station side with the time information on the receiving station side in the multiplexing process by the multiplexing means in the receiving station.
発局で放送される映像信号とデータ信号とからなる放送データを、受局で放送するための放送データ伝送方法あって、
発局において前記映像信号及びデータ信号を送出する送出時刻に関する時間情報を、前記映像信号及び前記データ信号にそれぞれ付加するステップと、
前記映像信号及び前記データ信号を他の放送局に伝送するステップと、
受局において映像信号及びデータ信号に付加された時間情報をそれぞれ取得し、これらの時間情報を照合するステップと、
前記照合結果に基づくタイミングにより前記映像信号と前記データ信号とを多重化するステップと、
伝送速度が異なる回線で送られた映像信号とデータ信号の送出タイミングを送出時刻によって受局で自動的に調整するステップと
を有することを特徴とする放送データ伝送方法。
There is a broadcast data transmission method for broadcasting broadcast data consisting of a video signal and a data signal broadcast at a station, at a receiving station,
Adding time information related to a transmission time at which the video signal and the data signal are transmitted at the originating station to the video signal and the data signal, respectively.
Transmitting the video signal and the data signal to another broadcast station;
Obtaining each time information added to the video signal and the data signal in the receiving station, and collating these time information;
Multiplexing the video signal and the data signal at a timing based on the verification result;
A broadcast data transmission method comprising: a step of automatically adjusting a transmission timing of a video signal and a data signal transmitted on lines having different transmission speeds according to a transmission time.
前記他の局において受信され、複製されたデータ信号を一時的に複数のバッファ手段のそれぞれに蓄積するステップと、
前記時間情報に基づいて、前記複数のバッファ手段のうちいずれかのバッファ手段からデータ信号を固定レートで出力するステップと、
前記帯域の未使用分を検出した際に帯域余剰信号を出力するステップと、
前記帯域余剰信号に基づいて、前記複数のバッファ手段のうち他のバッファ手段からデータ信号を、前記帯域の未使用分量に応じた可変レートで出力するステップと
を有することを特徴とする請求項4に記載の放送データ伝送方法。
Temporarily storing in each of the plurality of buffer means a data signal received and replicated at the other station;
Outputting a data signal at a fixed rate from any one of the plurality of buffer means based on the time information;
Outputting a band surplus signal when an unused portion of the band is detected;
Based on the bandwidth excess signal, according to claim 4 in which the data signal from the other buffer means of said plurality of buffer means, characterized by a step of outputting a variable rate according to the unused amount of the band Broadcast data transmission method described in 1 .
発局において、発局固有の送出時刻を時間情報として前記映像信号及びデータ信号に付加するステップと、
受局において、受局固有の送出時刻を時間情報として生成するステップと、
受局における前記多重化手段による多重処理に際し、発局側の時間情報を、受局側の時間情報に付け替えるステップと
を有することを特徴とする請求項4に記載の放送データ伝送方法。
At the originating station, adding a transmission time unique to the originating station to the video signal and data signal as time information;
In the receiving station, generating a sending time unique to the receiving station as time information;
5. The broadcast data transmission method according to claim 4, further comprising the step of replacing the time information on the originating station side with the time information on the receiving station side when performing multiplexing processing by the multiplexing means in the receiving station.
発局で放送される映像信号とデータ信号とからなる放送データを、受局において放送可能に変換するデータ変換装置であって、
前記映像信号及びデータ信号を送出する送出時刻に関する時間情報がそれぞれ付加された前記映像信号及び前記データ信号を受信する手段と、
映像信号及びデータ信号に付加された時間情報をそれぞれ取得し、これらの時間情報を照合する手段と、
前記照合結果に基づくタイミングにより前記映像信号と前記データ信号とを多重化する多重化手段と
を備えることを特徴とするデータ変換装置。
A data conversion device for converting broadcast data composed of a video signal and a data signal broadcast at a source station so as to be broadcastable at a receiver station,
Means for receiving the video signal and the data signal to which time information relating to a transmission time for transmitting the video signal and the data signal is added, respectively.
Means for acquiring time information added to the video signal and the data signal, respectively, and collating these time information;
A data conversion apparatus comprising: multiplexing means for multiplexing the video signal and the data signal at a timing based on the collation result.
前記受信され、複製されたデータ信号のそれぞれを一時的に蓄積する複数のバッファ手段と、
前記時間情報に基づいて、前記複数のバッファ手段のうちいずれかのバッファ手段からデータ信号を固定レートで出力する手段と、
前記帯域の未使用分を検出した際に帯域余剰信号を出力する手段と、
前記帯域余剰信号に基づいて、前記複数のバッファ手段のうち他のバッファ手段からデータ信号を、前記帯域の未使用分量に応じた可変レートで出力する手段と
を有することを特徴とする請求項7に記載のデータ変換装置。
A plurality of buffer means for temporarily storing each of the received and replicated data signals;
Means for outputting a data signal at a fixed rate from any one of the plurality of buffer means based on the time information;
Means for outputting a band surplus signal when an unused portion of the band is detected;
Based on the bandwidth excess signal, according to claim 7 in which the data signal from the other buffer means of said plurality of buffer means, characterized in that it has a means for outputting at a variable rate in accordance with the unused amount of the band The data converter described in 1 .
発局において前記映像信号及びデータ信号に付加された発局固有の時間情報を取得する手段と、
受局固有の送出時刻を時間情報として生成する手段と、
受局における前記多重化手段による多重処理に際し、発局側の時間情報を、受局側の時間情報に付け替える手段と
を有することを特徴とする請求項7に記載のデータ変換装置。
Means for acquiring time information unique to the station added to the video signal and data signal at the station;
Means for generating the receiving time specific to the receiving station as time information;
8. The data conversion apparatus according to claim 7, further comprising means for replacing the time information on the originating station side with the time information on the receiving station side in the multiplexing process by the multiplexing means in the receiving station.
JP2001380691A 2001-12-13 2001-12-13 Broadcast data transmission system, broadcast data transmission method, and data conversion apparatus Expired - Fee Related JP3782006B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001380691A JP3782006B2 (en) 2001-12-13 2001-12-13 Broadcast data transmission system, broadcast data transmission method, and data conversion apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001380691A JP3782006B2 (en) 2001-12-13 2001-12-13 Broadcast data transmission system, broadcast data transmission method, and data conversion apparatus

Publications (2)

Publication Number Publication Date
JP2003189121A JP2003189121A (en) 2003-07-04
JP3782006B2 true JP3782006B2 (en) 2006-06-07

Family

ID=27591638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001380691A Expired - Fee Related JP3782006B2 (en) 2001-12-13 2001-12-13 Broadcast data transmission system, broadcast data transmission method, and data conversion apparatus

Country Status (1)

Country Link
JP (1) JP3782006B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4509908B2 (en) * 2005-10-05 2010-07-21 東芝ソリューション株式会社 Receiving station data broadcast sending system and receiving station data broadcast sending method
JP4703431B2 (en) * 2006-02-21 2011-06-15 株式会社東芝 TS processing apparatus and TS processing method

Also Published As

Publication number Publication date
JP2003189121A (en) 2003-07-04

Similar Documents

Publication Publication Date Title
JP4481444B2 (en) Image encoding device
US7376155B2 (en) Method and apparatus for delivery of metadata synchronized to multimedia contents
JP5761446B2 (en) Encoding device, decoding device, encoding method, and decoding method
JP5399984B2 (en) Transmission device, server device, and reception device
WO2003084208A1 (en) Digital broadcast transmission device and method thereof, digital broadcast reception device and method thereof
JPH11340938A (en) Data multiplexer and its method
JP2538921B2 (en) Music performance information transmission method, transmission device, and reception device
JP3782006B2 (en) Broadcast data transmission system, broadcast data transmission method, and data conversion apparatus
US20040013270A1 (en) Apparatus and method for converting contents
CN103177725A (en) Method and device for transmitting aligned multichannel audio frequency
JP2008131570A (en) Digital broadcasting apparatus
WO2013145225A1 (en) Method, device, and program for encoding and multiplexing, or decoding elementary streams
WO2004034616A1 (en) Broadcast data transmission/reception system and broadcast data transmission/reception method
JP4146104B2 (en) Digital broadcast program relay transmission system
JP4357070B2 (en) Digital broadcast signal synchronization switching transmission device
WO2005020580A1 (en) Apparatus and method for converting media stream for multimedia service in dab system
JP3543716B2 (en) Stream generation method and apparatus
JP4550210B2 (en) Digital broadcast signal transmission system and service information processing apparatus thereof
JP2018207288A (en) Redistribution system, redistribution method and program
JP5084547B2 (en) Transmission-side device, transmission method in distribution control system, receiving terminal, reception method, program in distribution control system, and recording medium recording the program
JP2000244433A (en) Data multiplexer and data multiplexing method
KR100527843B1 (en) Apparatus and method for processing MPEG-2 audio/video transport stream, and service system and method of synchronized data using its
JP2003153214A (en) Caption program data converter
JP4177588B2 (en) Data broadcast signal transmission apparatus and data broadcast signal transmission method
JP2000013760A (en) Device and method for transmitting information, device and method for receiving information, providing medium and broadcasting system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060308

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090317

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090317

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090317

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110317

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130317

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130317

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140317

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees