JP3831323B2 - Stream receiving system and stream receiving method - Google Patents
Stream receiving system and stream receiving method Download PDFInfo
- Publication number
- JP3831323B2 JP3831323B2 JP2002258771A JP2002258771A JP3831323B2 JP 3831323 B2 JP3831323 B2 JP 3831323B2 JP 2002258771 A JP2002258771 A JP 2002258771A JP 2002258771 A JP2002258771 A JP 2002258771A JP 3831323 B2 JP3831323 B2 JP 3831323B2
- Authority
- JP
- Japan
- Prior art keywords
- stream
- synchronization
- clock
- network
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Television Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、ストリーム受信装置が非同期ネットワークを介して配信されてくる符号化ストリームを受信するストリーム受信システムと、そのストリーム受信システムで実行されるストリーム受信方法とに関する。
【0002】
本発明は、さらに具体的に説明するならば、IPネットワークなどのような2点間のパケットの伝送時間が一定でないような非同期ネットワークにおいて、サーバがクライアントからの提供要求データをストリーム伝送方式でクライアントに送信し、これを受けて、クライアントがそのデータを受信して復号化する場合に、その復号精度を向上させることができるようにするストリーム配信技術に関するものである。
【0003】
【従来の技術】
高品質のデジタル化された映像や音声を標準化された規格に従って伝送する際には、通常、MPEGなどの圧縮技術(ITU−T勧告H.222.0)を用いて圧縮して伝送するか、あるいはデジタル信号を変調した電波を用いて伝送することになる。
【0004】
デジタルデータを圧縮して伝送する場合には、実時間映像通信などのように時間的制約を受ける連続したデータであるストリームとして伝送するストリーム伝送型か、時間的制約を与えずにデータを一方的に伝送するダウンロード伝送型のどちらかの伝送方式を用いて伝送する。
【0005】
ストリーム型のデータ伝送を行うデータストリーム型クライアント・サーバシステムでは、符号化回路の出力データや蓄積データのようなサーバ側で生成される情報発生源に対して、クライアント側で復号化を行う場合には、情報発生源と同期を取りながら復号化を行う必要がある。
【0006】
クライアント側で復号化される際に、RTCP("RTP: A Transport Protocol for Real-Time Applications",RFC1889)などを用いてクライアントがサーバ側に対してデータのレートを調整することが可能であれば、情報発生源と同期を取ることが可能であるものの、実時間映像通信のように時間的制約がある場合、レートを制御すればその時間的制約が保たれなくなる。また、データがあらかじめ蓄積されたデータである場合には、再符号化が必要となる。
【0007】
クライアントがサーバに対してレート制御を行うことができない場合には、情報発生源と復号化回路ではそれぞれ独立したシステムクロックを用いて処理が行われる。それぞれのシステムクロックが共通のクロックを参照し、そのクロックに合わせたシステムクロックを生成できなければ、サーバ側のデータのレートとクライアント側の復号化レートとが異なる値で処理されることで、実際よりも早く再生されたり遅く再生され、これにより、復号化回路のバッファのオーバーフローやアンダーフローが発生し、その結果、クライアント側で利用者に提示される映像や音声が一時的に停止したりすることになる。
【0008】
こういった問題に対し、データをMPEG標準に従ったトランスポートストリーム(以下MPEG2−TSと略す)にカプセル化して送信する方法などが提案されている。
【0009】
BSデジタル放送でも利用されているMPEG2−TSを用いた伝送方式は、ストリーム中にPCR(プログラム・クロック・リファレンス)と呼ばれる時間インデックスが少なくとも100ミリ秒以内に1つ挿入されている。
【0010】
このPCRを受信したクライアントは、受信した時刻と受信した順番とPCRの値とからクロックを生成するPLL(フェーズ・ロック・ループ)と呼ばれる回路を使ってクロックを生成して、この生成したクロックを用いることで情報発生源と同じシステムクロックを用いて、受信、復号化、情報提示を行うことが可能である。
【0011】
現存のPLL回路を用いてクロックを生成するためには、クライアント側で受信するパケットのジッタ(例えば、非特許文献1参照)が数ミリ秒程度以内でなければならないため、BSデジタルなどのデジタル放送網や特殊なATM網や小規模ネットワークでは利用可能である。
【0012】
これに対し、伝送に際してルータなどの外部ネットワーク機器を複数経由するようなネットワークを利用する場合には、ジッタが大きくなることでPLL回路を利用してもクロックを生成することができないため、GPSからクロックを生成したり、ISDNのような広帯域デジタル通信網からクロックを生成したりする方法(例えば、特許文献1参照)などが提案されている。
【0013】
しかしながら、この方法は、IPネットワークのようなジッタが大きい非同期ネットワークに対して、ISDNのようなクロック生成源となる同期ネットワークも同時に施設しなければならないという問題がある。
【0014】
【非特許文献1】
ATMフォーラム "Audio/Visual Multimedia Services : Video on Demand v1.1" af-saa-0049.001,March 1997 のAnnex A
【特許文献1】
特開平8-251152 号公報
【0015】
【発明が解決しようとする課題】
このように、従来技術に従っていると次のような問題がある。
【0016】
すなわち、BSデジタル放送でも利用されているMPEG2−TSを用いた伝送方式は、ストリーム中にPCRと呼ばれる時間インデックスが少なくとも100ミリ秒以内に1つ挿入されている。
【0017】
このPCRを受信したクライアントは、受信した時刻と受信した順番とPCRの値とからクロックを生成するPLLと呼ばれる回路を使ってクロックを生成して、この生成したクロックを用いることで情報発生源と同じシステムクロックを用いて、受信、復号化、情報提示を行うことが可能である。
【0018】
しかしながら、現存のPLL回路を用いてクロックを生成するためには、クライアント側で受信するパケットのジッタが数ミリ秒程度以内でなければならないため、BSデジタルなどのデジタル放送網や特殊なATM網や小規模ネットワークでは利用可能であるものの、伝送に際してルータなどの外部ネットワーク機器を複数経由するようなネットワークでは利用不可能であるという問題がある。
【0019】
これに対し、伝送に際してルータなどの外部ネットワーク機器を複数経由するようなネットワークを利用する場合には、PLL回路を利用してもクロックを生成することができないことから、GPSからクロックを生成したり、ISDNのような広帯域デジタル通信網からクロックを生成したりする方法などが提案されている。
【0020】
しかしながら、この方法は、IPネットワークのようなジッタが大きい非同期ネットワークに対して、ISDNのようなクロック生成源となる同期ネットワークも同時に施設しなければならないという問題がある。
【0021】
本発明はかかる事情に鑑みてなされたものであって、IPネットワークのような2点間のパケットの伝送時間が一定でないような非同期ネットワークにおいて、サーバがクライアントからの提供要求データをストリーム伝送方式でクライアントに送信し、これを受けて、クライアントがそのデータを受信して復号化する場合に、その復号精度を向上させることができるようにする新たなストリーム配信技術の提供を目的とする。
【0022】
【課題を解決するための手段】
本発明のストリーム受信システムは、接続用同期ネットワークを介して互いに接続されるストリーム中継装置、同期信号中継装置およびストリーム受信装置を備える。
(1)ストリーム中継装置の構成
ストリーム中継装置は、(イ)ストリーム配信装置が放送局の用いるクロックに基づいて生成した時間インデックスの付加された符号化ストリームを、非同期ネットワークを介して接続された当該ストリーム配信装置から受信する受信手段と、(ロ)受信手段の受信した符号化ストリームを接続用同期ネットワークを介してストリーム受信装置に送信する送信手段とを備える。
(2)同期信号中継装置の構成
同期信号中継装置は、(イ)接続用同期ネットワークとは別に設けられる中継用同期ネットワークを介して、放送局が所定のクロックに基づいて生成した時間インデックスの付加された同期用ストリームを受信する受信手段と、(ロ)受信手段の受信した同期用ストリームをストリーム受信装置が受信できる形に整形する整形手段と、(ハ)整形手段の整形した同期用ストリームを接続用同期ネットワークを介してストリーム受信装置に送信する送信手段とを備える。
(3)ストリーム受信装置の構成
ストリーム受信装置は、(イ)接続用同期ネットワークを介して、同期信号中継装置から同期用ストリームを受信する第1の受信手段と、(ロ)第1の受信手段の受信した同期用ストリームから放送局の用いたクロックを生成する生成手段と、(ハ)接続用同期ネットワークを介して、ストリーム中継装置から符号化ストリームを受信する第2の受信手段と、(ニ)生成手段の生成したクロックを使って、第2の受信手段の受信した符号化ストリームを復号する復号手段とを備える。
この構成を採るときにあって、ストリーム中継装置の備える受信手段は、ストリーム配信装置が中継用同期ネットワークを介して放送局から受信した同期用ストリームから生成されるクロックに基づいて生成した時間インデックスの付加された符号化ストリームを受信することがある。
また、同期信号中継装置の備える受信手段は、放送局が標準クロックを用いる場合には、ストリーム配信装置が用いる放送局とは別の放送局から同期用ストリームを受信することがある。
また、ストリーム中継装置の備える受信手段は、放送局が標準クロックを用いる場合には、ストリーム配信装置が自装置の発生する標準クロックに基づいて生成した符号化ストリームをストリーム配信装置から受信することがある。
【0048】
このように構成される本発明のストリーム受信システムでは、同期信号中継装置は、放送局から同期用ストリームを受信すると、その受信した同期用ストリームをIPパケット化することで、その受信した同期用ストリームをストリーム受信装置が受信できる形に整形してストリーム受信装置に送信する。
このとき、同期信号中継装置は、ストリーム受信装置が必要とするストリーム部分である時間インデックスの付加された同期用ストリーム部分のみを送信することがある。
一方、ストリーム中継装置は、ストリーム配信装置が放送局の用いるクロックに基づいて生成した時間インデックスの付加された符号化ストリームを、非同期ネットワークを介して接続された当該ストリーム配信装置から受信する。
【0050】
このIPパケット化された同期用ストリームの送信を受けて、ストリーム受信装置は、同期信号中継装置から同期用ストリームを受信すると、その受信した同期用ストリームから、放送局の用いているクロックを生成する。そして、非同期ネットワークを介して接続されたストリーム配信装置から送られてくる受信対象のストリームの送信を受けて、その受信対象のストリームを受信すると、その同期用ストリームから生成したクロックを使って、その受信対象のストリームを復号する。
【0051】
このように、本発明のストリーム受信システムでは、放送局の放送する同期用ストリームを使うことで、放送局とストリーム配信装置とストリーム受信装置との間でクロックを共有することを実現し、これにより、ストリーム配信装置とストリーム受信装置とが同一クロックにより符号化と復号化とを行うことができるようになることで、バッファのオーバーランやアンダーランを防ぐことができるようになって、映像や音声を途切れさせずにユーザに提示できるようになる。
しかも、本発明のストリーム配信システムでは、放送局の放送する同期用ストリームを用いてクロック合わせを実現することから、放送局の放送を受信できる設備さえあればよく、ISDNのような広帯域デジタル通信網などを新たに施設する必要がないとともに、標準クロック(世界中のいずれの場所で測定しても常に同じ値を取得できるクロック)を用いなくても実現できることから、原子時計などのような高価な設備を用意する必要もない。
そして、この実現にあたって、同期信号中継装置が備えられない場合には、各ストリーム受信装置が同期用ストリームを受信するためのアンテナなどの設備を備える必要があるのに対して、本発明のストリーム受信システムでは同期信号中継装置を備える構成を採るので、その同期信号中継装置のみが同期用ストリームを受信するためのアンテナなどの設備を備えればよく、その同期信号中継装置に接続される複数のストリーム受信装置については同期用ストリームを受信するためのアンテナなどの設備を備える必要がなくなる。
【0052】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【0053】
ネットワークには、IPネットワークのようなジッタの大きい非同期ネットワークと、デジタル放送網のようなジッタの小さい同期ネットワークとが存在する。
【0054】
IPネットワークのようなジッタの大きい非同期ネットワークでは、▲1▼2つのホスト間は複数のゲートウェイやルータや中継器やハブなどのネットワーク装置を介して接続され、▲2▼2つのホスト間のパケット伝送に必要な時間は一定でなく、そのジッタは10ミリ秒よりもはるかに大きいという性質を持つ。
【0055】
一方、デジタル放送網のような同期ネットワークでは、▲1▼2つのホスト間は有線や無線を介して直接接続され、▲2▼2つのホスト間のパケット伝送に必要な時間はほぼ一定であり、そのジッタは10ミリ秒以内に収まり、MPEG2−TSを伝送した場合にはPLLを用いてクロックを抽出できるという性質を持つ。
【0056】
ここで、ATMのような非同期ネットワークでも、これらの特徴を持つことがあるため、本発明では、これらの特徴を持つATMネットワークなどについても特別に同期ネットワークとして扱うことにする。
【0057】
図1に、本発明の基本的なシステム構成を図示する。
【0058】
この図に示すように、本発明は、ビデオ・オン・デマンドのサービスを提供する発信サーバ1と、デジタル放送局2と、複数のクライアント3とで構成され、各クライアント3は、非同期ネットワーク4上の発信サーバ1に接続されるとともに、同期ネットワーク5上のデジタル放送局2に接続されている。
【0059】
発信サーバ1及びデジタル放送局2は、所定のクロック(標準クロックのこともある)を用いて時間インデックスを付加したストリームを送信するための送信機構を持つ。
【0060】
ここで、標準クロックとは、世界中のいずれの場所で測定しても常に同じ値を取得できるクロックのことを意味し、GPSや原子時計から取得できる標準時刻を基準としたクロックである。
【0061】
一方、クライアント3は、同期ネットワーク5上のデジタル放送局2からストリームを受信してクロックを生成する機構と、非同期ネットワーク4上の発信サーバ1からストリームを受信して、その生成したクロックを用いて復号化する機構とを持つ。
【0062】
〔イ〕本発明に関連する第1の技術
図2に、本発明に関連する第1の技術を実現するシステム構成の一例を図示する。
【0063】
この図2に示す本発明の関連する第1の技術を実現する場合には、発信サーバ1は、非同期ネットワーク4を介してクライアント3に接続されるとともに、デジタル放送局2とクライアント3との間を接続する同期ネットワーク5を介してデジタル放送局2に接続されることになる。
【0064】
図3に、この図2に示すシステム構成を実現するための発信サーバ1、デジタル放送局2及びクライアント3の詳細な装置構成の一例を図示する。
【0065】
図2に示す本発明に関連する第1の技術もまた、デジタル放送局2は、所定のクロックを用いて時間インデックスを付加した同期用のストリーム(特別のストリームを用意する必要はなく、通常の放送番組の符号化ストリームでもよい)を放送する処理を行うことになるので、発信サーバ1は、その同期用のストリームの放送を受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、クライアント3に提供するストリームの符号化を行うとともに、時間インデックスを付加して、それを非同期ネットワーク4を介してクライアント3に送信するように処理する。
【0066】
一方、クライアント3は、デジタル放送局2の放送する同期用のストリームの放送を受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、発信サーバ1から送信されてくる自分の要求した符号化ストリームを受信して復号するように処理する。
【0067】
このように、発信サーバ1は、所定のクロックを用いて符号化され時間インデックスが付加されたストリームを放送しているデジタル放送局2のいずれか1つからストリームを受信し、そのストリームからデジタル放送局2の用いているクロックを生成し、この生成したクロックを用いて動画データを符号化し、蓄積を行うか、そのままクライアント3に送信するように処理するのである。
【0068】
このときに行うクロック合わせの処理は、符号化をしている間、およびクライアント3にストリームを送信している間は絶え間なく続けられる。
【0069】
そして、クライアント3は、デジタル放送局2から受信した同期用のストリームからデジタル放送局2の用いているクロックを生成し、この生成したクロックを使って、発信サーバ1から送信されてくる自分の要求した符号化ストリームを受信して復号するように処理するのである。
【0070】
すなわち、クライアント3は、図4の処理フローに示すように、同期用のストリームとなる番組を放送しているチャンネルを選択すると、その選択したチャンネルからストリームを受信して、その受信したストリームからクロックを抽出し、自分の持っている自励水晶発振器のクロックをその抽出したクロックに合わせる処理に入って、そのクロック合わせを続行していく。
【0071】
このときに、ユーザからストリームのリクエスト要求が発行されると、発信サーバ1にそのストリームをリクエストし、このリクエストに応答して発信サーバ1から符号化レートの通知があるとそれを受信して、発信サーバ1から送信されてくるストリームの受信に入って、発信サーバ1からストリームが送信されてくる間、自分の持っている自励水晶発振器からクロックを抽出して、その抽出したクロックと受信した符号化レートとを用いて、受信したストリームを復号してモニタに出力する処理を行うのである。
【0072】
このようにして、図2に示す本発明の関連する第1の技術では、同一のデジタル放送局2の放送する同期用ストリームを使うことで、デジタル放送局2と発信サーバ1とクライアント3との間でクロックを共有することを実現し、これにより、同一クロックにて符号化と復号化とが行われることになるので、バッファのオーバーランやアンダーランを防ぐことができるようになることで、映像や音声を途切れさせずにユーザに提示できるようになる。
【0073】
ここで、クライアント3は、発信サーバ1から送信されてくるストリームの復号を行うために、発信サーバ1が受信している同期用ストリームの放送を行っているデジタル放送局2を特定する必要がある。
【0074】
そこで、発信サーバ1は、クライアント3に対して、どのデジタル放送局2の放送する同期用ストリームを受信しているのかを知らせるために、その同期用ストリームの放送を行っているデジタル放送局2を特定するための情報を通知し、これを受けて、クライアント3は、発信サーバ1から、その同期用ストリームの放送を行っているデジタル放送局2を特定するための情報を取得して、それに基づいて、デジタル放送局2から発信サーバ1の受信している同期用ストリームを受信できるようにしている。
【0075】
発信サーバ1がこのような通知機能を有していない場合には、クライアント3は、各デジタル放送局2が同期用となるストリームを放送しているのか否かを管理しているので、各デジタル放送局2に問い合わせることで、同期用として用いられるストリームの放送を行っているデジタル放送局2を検索するようにしている。
【0076】
図2に示すシステム構成に従う場合には、発信サーバ1及びクライアント3が共通のデジタル放送局2からのストリームを受信するという構成を採っているので、デジタル放送局2のクロックが標準クロックに合わせられている必要はないが、デジタル放送局2のクロックが標準クロックに合わせられている場合には、発信サーバ1は、クライアント3の接続するデジタル放送局2と同一のデジタル放送局2に接続されている必要はない。
【0077】
すなわち、各デジタル放送局2がGPSを受信したり原子時計からクロックを抽出することなどにより、標準クロックに合わせられている場合には、図5に示すように、発信サーバ1は、同期ネットワーク5aなどを介して、クライアント3の接続するデジタル放送局2とは別のデジタル放送局2aに接続されて、そのデジタル放送局2aから、同期用のストリーム(標準クロックに基づいて生成される時間インデックスが付加されている)を受信することで、クロック合わせを実行することが可能である。
【0078】
図6に、この図5に示すシステム構成を実現するための発信サーバ1、デジタル放送局2及びクライアント3の詳細な装置構成の一例を図示する。
【0079】
この図6に示すように、発信サーバ1、デジタル放送局2及びクライアント3の装置構成については、図2に示すシステム構成を用いる場合と基本的に同一である。
【0080】
従って、この図5に示すシステム構成を用いる場合の処理については、図2に示すシステム構成を用いる場合の処理と同様のものとなる。
【0081】
すなわち、デジタル放送局2,2aは、標準クロックを用いて符号化し、パケットに時間インデックスを記録することで同期用となるストリームを生成して、そのストリームの放送を行う。
【0082】
これを受けて、クライアント3は、同期ネットワーク5を介して、同期用のストリームを放送しているデジタル放送局のいずれか1つ(図5の場合にはデジタル放送局2)から同期用のストリームを受信し、そのストリームから標準クロックを生成する。そして、クライアント3は、自分の持っている自励水晶発振器のクロックを標準クロックに合わせる。この自励水晶発振器のクロック合わせの処理については、発信サーバ1からストリームを受信し、復号化している間は絶え間なく続けられることになる。
【0083】
一方、発信サーバ1は、同期用のストリームを放送しているデジタル放送局のいずれか1つ(図5の場合にはデジタル放送局2a)から同期用のストリームを受信し、そのストリームから標準クロックを生成する。そして、発信サーバ1は、クライアント3に提供することになるストリームを、この生成した標準クロックを用いて符号化し、パケットに時間インデックスを記録する。
【0084】
この発信サーバ1の処理を受けて、クライアント3は、所望のサービスを提供している発信サーバ1から、符号化され時間インデックスが付けられたストリームを符号化レートを含む復号に必要な情報とともに受信して、その復号を開始する。その際に、同期用のストリームから得られた標準クロックを用いて復号化の処理を行う。
【0085】
このようにして、図5に示すシステム構成を用いる場合にも、デジタル放送局2と発信サーバ1とクライアント3との間でクロックを共有することを実現し、これにより、同一クロックにて符号化と復号化とが行われることになるので、バッファのオーバーランやアンダーランを防ぐことができるようになることで、映像や音声を途切れさせずにユーザに提示できるようになる。
【0086】
ここで、図5に示すシステム構成を用いる場合には、発信サーバ1は、デジタル放送局2aの放送する同期用のストリームから標準クロックを生成するようにしたが、図7に示すように、発信サーバ1自身がGPSなどのような標準クロック発生機構を備えるようにしてもよい。
【0087】
図8に、この図7に示すシステム構成を実現するための発信サーバ1、デジタル放送局2、クライアント3の詳細な装置構成の一例を図示する。
【0088】
この図に示すように、発信サーバ1自身がGPSなどのような標準クロック発生機構を備える場合には、発信サーバ1は、デジタル放送局2aなどの放送する同期用のストリームから標準クロックを生成する処理を行う機構については備える必要はない。
【0089】
〔ロ〕本発明に関連する第2の技術
図9に、本発明に関連する第2の技術を実現するシステム構成の一例を図示する。
【0090】
この図9に示す本発明に関連する第2の技術はゲートウェイ6を備えることを特徴とする。
【0091】
このゲートウェイ6は、非同期ネットワーク7を介して発信サーバ1に接続されるとともに、同期ネットワーク9を介してデジタル放送局2に接続され、さらに、同期ネットワーク8を介してクライアント3に接続されることになる。
【0092】
ここで、発信サーバ1は、同期ネットワーク9を介して放送局2に接続されることになる。また、図9では図示していないが、1つのゲートウェイ6には、複数のクライアント3が接続されることになる。
【0093】
なお、この本発明に関連する第2の技術で備えられる同期ネットワーク8は、例えば、1つの家などで用いられている複数のクライアント3を接続するための小規模ネットワークなどである。
【0094】
図10に、この図9に示すシステム構成を実現するための発信サーバ1、デジタル放送局2、クライアント3及びゲートウェイ6の詳細な装置構成の一例を図示する。
【0095】
図9に示す本発明に関連する第2の技術もまた、デジタル放送局2は、所定のクロックを用いて時間インデックスを付加した同期用のストリームを放送する処理を行うことになるので、発信サーバ1は、その同期用のストリームの放送を受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、クライアント3に提供するストリームの符号化を行うとともに時間インデックスを付加して、それを非同期ネットワーク7を介して、ゲートウェイ6経由でクライアント3に送信するように処理する。
【0096】
一方、ゲートウェイ6は、デジタル放送局2の放送する同期用のストリームを受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行うことで、発信サーバ1から送信されてくるストリームのジッタを吸収して、等間隔でもってクライアント3に送信する処理を行う。
【0097】
このゲートウェイ6の介在を受けて、クライアント3は、既存のPLL回路を使って、ゲートウェイ6を経由して発信サーバ1から送信されてくるストリームからクロックを生成して、そのクロックに従ってそのストリームを復号するように処理する。
【0098】
このように、発信サーバ1は、所定のクロックを用いて符号化され時間インデックスが付加されたストリームを放送しているデジタル放送局2のいずれか1つからストリームを受信して、そのストリームからデジタル放送局2の用いているクロックを生成し、この生成したクロックを用いて動画データを符号化し、蓄積を行うか、そのままゲートウェイ6経由でクライアント3に送信するように処理するのである。
【0099】
このときに行うクロック合わせの処理は、符号化をしている間、およびクライアント3にストリームを送信している間は絶え間なく続けられる。
【0100】
そして、ゲートウェイ6は、デジタル放送局2から受信した同期用のストリームからデジタル放送局2の用いているクロックを生成し、この生成したクロックを使って、発信サーバ1から送信されてくるクライアント3の要求したストリームの送信間隔が等間隔になるようにと調整して、それをクライアント3に送信するように処理するのである。
【0101】
そして、このジッタの吸収された発信サーバ1から送信されてくるストリームを受けて、クライアント3は、既存のPLL回路を使って、ゲートウェイ6を経由して送信されてくる発信サーバ1からのストリームからクロックを生成して、そのクロックに従ってそのストリームを復号するように処理するのである。
【0102】
すなわち、図2に示す本発明に関連する第1の技術では、クライアント3は、デジタル放送局2の放送する同期用のストリームの放送を受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、発信サーバ1から送信されてくる自分の要求した符号化ストリームを復号するように処理するのに対して、図9に示す本発明に関連する第2の技術に従う場合には、クライアント3は、既存のPLL回路を使って、ゲートウェイ6を経由して送信されてくる発信サーバ1からのストリームからクロックを生成して、そのクロックに従ってそのストリームを復号するように処理するのである。
【0103】
この構成に従って、図9に示す本発明に関連する第2の技術に従うと、同一のデジタル放送局2の放送する同期用ストリームを使うことで、デジタル放送局2と発信サーバ1とクライアント3との間でクロックを共有することを実現し、これにより、同一クロックにて符号化と復号化とが行われることになるので、バッファのオーバーランやアンダーランを防ぐことができるようになることで、映像や音声を途切れさせずにユーザに提示できるようになることを実現するとともに、ゲートウェイ6のみが同期用ストリームを受信するためのアンテナなどの設備を備えればよく、ゲートウェイ6に接続される複数のクライアント3については従来構成のものを用いることができるようになる。
【0104】
図9に示すシステム構成に従う場合には、発信サーバ1及びゲートウェイ6が共通のデジタル放送局2からのストリームを受信するという構成を採っているので、デジタル放送局2のクロックが標準クロックに合わせられている必要はないが、デジタル放送局2のクロックが標準クロックに合わせられている場合には、発信サーバ1は、ゲートウェイ6の接続するデジタル放送局2と同一のデジタル放送局2に接続されている必要はない。
【0105】
すなわち、各デジタル放送局2がGPSを受信したり原子時計からクロックを抽出することなどにより、標準クロックに合わせられている場合には、図11に示すように、発信サーバ1は、同期ネットワーク9aなどを介して、ゲートウェイ6の接続するデジタル放送局2とは別のデジタル放送局2aに接続されて、そのデジタル放送局2aから、同期用のストリーム(標準クロックに基づいて生成される時間インデックスが付加されている)を受信することで、クロック合わせを実行することが可能である。
【0106】
図12に、この図11に示すシステム構成を実現するための発信サーバ1、デジタル放送局2、クライアント3及びゲートウェイ6の詳細な装置構成の一例を図示する。
【0107】
この図12に示すように、発信サーバ1、デジタル放送局2、クライアント3及びゲートウェイ6の装置構成については、図9に示すシステム構成を用いる場合と基本的に同一である。
【0108】
従って、この図11に示すシステム構成を用いる場合の処理については、図9に示すシステム構成を用いる場合の処理と同様のものとなる。
【0109】
すなわち、デジタル放送局2,2aは、標準クロックを用いて符号化し、パケットに時間インデックスを記録することで同期用となるストリームを生成して、そのストリームの放送を行う。
【0110】
これを受けて、ゲートウェイ6は、同期ネットワーク9を介して、同期用のストリームを放送しているデジタル放送局のいずれか1つ(図11の場合にはデジタル放送局2)から同期用のストリームを受信し、そのストリームから標準クロックを生成する。そして、ゲートウェイ6は、自分の持っている自励水晶発振器のクロックを標準クロックに合わせる。この自励水晶発振器のクロック合わせの処理については、発信サーバ1からストリームを受信している間は絶え間なく続けられることになる。
【0111】
一方、発信サーバ1は、同期用のストリームを放送しているデジタル放送局のいずれか1つ(図11の場合にはデジタル放送局2a)から同期用のストリームを受信し、そのストリームから標準クロックを生成する。そして、発信サーバ1は、クライアント3に提供することになるストリームを、この生成した標準クロックを用いて符号化し、パケットに時間インデックスを記録する。
【0112】
そして、クライアント3は、ゲートウェイ6を介して、所望のストリームを提供している発信サーバ1に対して、上述のように符号化され時間インデックスが付けられたストリームを要求する。
【0113】
この要求に応答して、発信サーバ1からストリームが送信されてくると、ゲートウェイ6は、そのストリームをバッファに蓄積しながら、それと同時に、受信した符号化レートの情報を元にバッファから一定の割合で読み出し、そのままクライアント3に送信する。
【0114】
これを受けて、クライアント3は、従来構成のPLL回路を使って、ゲートウェイ6から受信したストリームから標準クロックを抽出して、その抽出した標準クロックに従って復号化の処理を行う。
【0115】
このようにして、図11に示すシステム構成を用いる場合にも、デジタル放送局2と発信サーバ1とクライアント3との間でクロックを共有することを実現し、これにより、同一クロックにて符号化と復号化とが行われることになるので、バッファのオーバーランやアンダーランを防ぐことができるようになることで、映像や音声を途切れさせずにユーザに提示できるようになる。
【0116】
ここで、図11に示すシステムを構成を用いる場合には、発信サーバ1は、デジタル放送局2aの放送する同期用のストリームから標準クロックを生成するようにしたが、図13に示すように、発信サーバ1自身がGPSなどのような標準クロック発生機構を備えるようにしてもよい。
【0117】
図14に、この図13に示すシステム構成を実現するための発信サーバ1、デジタル放送局2及びクライアント3の詳細な装置構成の一例を図示する。
【0118】
この図に示すように、発信サーバ1自身がGPSなどのような標準クロック発生機構を備える場合には、発信サーバ1は、デジタル放送局2aなどの放送する同期用のストリームから標準クロックを生成する処理を行う機構については備える必要はない。
【0119】
〔ハ〕本発明の実施形態例
図15に、本発明の一実施形態例を実現するシステム構成の一例を図示する。
【0120】
この図15に示すように、本実施形態例ではブリッジ10を備えることを特徴とする。
【0121】
このブリッジ10は、同期ネットワーク9を介して放送局2に接続されるとともに、同期ネットワーク8を介してクライアント3に接続されることになる。
【0122】
ここで、本実施形態例でも、非同期ネットワーク7を介して発信サーバ1に接続されるとともに、同期ネットワーク8を介してクライアント3に接続されるゲートウェイ11が備えられているが、このゲートウェイ11は、図9に示す本発明に関連する第2の技術で備えるゲートウェイ6とは異なって、発信サーバ1から送信されてくる符号化ストリームを中継してクライアント3に送信するだけの処理を行う。
【0123】
なお、本実施形態例で備えられる同期ネットワーク8は、例えば、1つの家などで用いられている複数のクライアント3を接続するための小規模ネットワークなどである。
【0124】
図16に、この図15に示すシステム構成を実現するための発信サーバ1、デジタル放送局2、クライアント3、ゲートウェイ11及びブリッジ10の詳細な装置構成の一例を図示する。
【0125】
本発明では、デジタル放送局2は、所定のクロックを用いて時間インデックスを付加した同期用のストリームを放送する処理を行うことになるので、発信サーバ1は、その同期用のストリームの放送を受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、クライアント3に提供するストリームの符号化を行うとともに時間インデックスを付加して、それを非同期ネットワーク7を介して、ゲートウェイ11経由でクライアント3に送信するように処理する。
【0126】
一方、ブリッジ10は、デジタル放送局2の放送する同期用のストリームを受信すると、例えば、デジタル放送網のMPEG2−TSパケットにIPヘッダなどを付けることなどにより、そのストリームをIPパケット化して、同期ネットワーク8を介してクライアント3に送信することで、クライアント3がその同期用のストリームを受信できるようにする処理を行う。
【0127】
このとき、クライアント3は時間インデックスの付加された同期用ストリーム部分のみが必要となるので、ブリッジ10は、その同期用ストリーム部分のみをクライアント3に送信するように処理することがある。
【0128】
このブリッジ10の介在を受けて、クライアント3は、ブリッジ10から送信されてくる同期用のストリームの放送を受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、発信サーバ1から送信されてくる自分の要求した符号化ストリームを復号するように処理する。
【0129】
このように、発信サーバ1は、所定のクロックを用いて符号化され時間インデックスが付加されたストリームを放送しているデジタル放送局2のいずれか1つからストリームを受信し、そのストリームからデジタル放送局2の用いているクロックを生成して、この生成したクロックを用いて動画データを符号化し、蓄積を行うか、そのままゲートウェイ11経由でクライアント3に送信するように処理するのである。
【0130】
このときに行うクロック合わせの処理は、符号化をしている間、およびクライアント3にストリームを送信している間は絶え間なく続けられる。
【0131】
一方、ブリッジ10は、発信サーバ1が受信するデジタル放送局2(どのデジタル放送局2であるのかについては、例えばクライアント3から通知される)の放送する同期用のストリームを受信すると、そのストリームをIPパケット化して、同期ネットワーク8を介してクライアント3に送信することで、クライアント3がその同期用のストリームを受信できるようにする処理を行う。
【0132】
そして、クライアント3は、ブリッジ10から送信されてくる同期用のストリームの放送を受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、発信サーバ1から送信されてくる自分の要求した符号化ストリームを復号するように処理するのである。
【0133】
すなわち、図2に示す本発明に関連する第1の技術に従う場合には、クライアント3は、デジタル放送局2の放送する同期用のストリームの放送を受信して、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、発信サーバ1から送信されてくる自分の要求した符号化ストリームを復号するように処理するのに対して、図15に示す本実施形態例に従う場合には、クライアント3は、ブリッジ10の受信する同期用のストリームを受け取り、それからデジタル放送局2の用いているクロックを生成し、そのクロックを使って、自分の持っている自励水晶発振器のクロックをそのクロックに合わせる処理を行いながら、発信サーバ1から送信されてくる自分の要求した符号化ストリームを復号するように処理するのである。
【0134】
この構成に従って、本実施形態例に従うと、同一のデジタル放送局2の放送する同期用ストリームを使うことで、デジタル放送局2と発信サーバ1とクライアント3との間でクロックを共有することを実現し、これにより、同一クロックにて符号化と復号化とが行われることになるので、バッファのオーバーランやアンダーランを防ぐことができるようになることで、映像や音声を途切れさせずにユーザに提示できるようになることを実現するとともに、ブリッジ10のみが同期用ストリームを受信するためのアンテナなどの設備を備えればよく、クライアント3についてはそのようなアンテナなどの設備を備える必要がないことを実現できるようになる。
【0135】
図15に示すシステム構成に従う場合には、発信サーバ1及びクライアント3が共通のデジタル放送局2からのストリームを受信するという構成を採っているので、デジタル放送局2のクロックが標準クロックに合わせられている必要はないが、デジタル放送局2のクロックが標準クロックに合わせられている場合には、発信サーバ1は、クライアント3の接続するデジタル放送局2と同一のデジタル放送局2に接続されている必要はない。
【0136】
すなわち、各デジタル放送局2がGPSを受信したり原子時計からクロックを抽出することなどにより、標準クロックに合わせられている場合には、図17に示すように、発信サーバ1は、同期ネットワーク9aなどを介して、クライアント3の接続するデジタル放送局2とは別のデジタル放送局2aに接続されて、そのデジタル放送局2aから、同期用のストリーム(標準クロックに基づいて生成される時間インデックスが付加されている)を受信することで、クロック合わせを実行することが可能である。
【0137】
図18に、この図17に示すシステム構成を実現するための発信サーバ1、デジタル放送局2、クライアント3、ゲートウェイ11及びブリッジ10の詳細な装置構成の一例を図示する。
【0138】
この図18に示すように、発信サーバ1、デジタル放送局2、クライアント3、ゲートウェイ11及びブリッジ10の装置構成については、図16に示すシステム構成を用いる場合と基本的に同一である。
【0139】
従って、この図17に示すシステム構成を用いる場合の処理については、図15に示すシステム構成を用いる場合の処理と同様のものとなる。
【0140】
すなわち、デジタル放送局2,2aは、標準クロックを用いて符号化し、パケットに時間インデックスを記録することで同期用となるストリームを生成して、そのストリームの放送を行う。
【0141】
これを受けて、ブリッジ10は、同期ネットワーク9を介して、同期用のストリームを放送しているデジタル放送局のいずれか1つ(図17の場合にはデジタル放送局2)から同期用のストリームを受信し、その受信したストリームをIPパケット化して同期ネットワーク8を介してクライアント3に送信する。
【0142】
これを受けて、クライアント3は、ブリッジ10から送信されくる同期用のストリームを受信し、そのストリームから標準クロックを生成する。そして、クライアント3は、自分の持っている自励水晶発振器のクロックを標準クロックに合わせる。この自励水晶発振器のクロック合わせの処理については、発信サーバ1からストリームを受信し、復号化している間は絶え間なく続けられることになる。
【0143】
一方、発信サーバ1は、同期用のストリームを放送しているデジタル放送局のいずれか1つ(図17の場合にはデジタル放送局2a)から同期用のストリームを受信し、そのストリームから標準クロックを生成する。そして、発信サーバ1は、クライアント3に提供することになるストリームを、この生成した標準クロックを用いて符号化し、パケットに時間インデックスを記録する。
【0144】
そして、クライアント3は、ゲートウェイ11を介して、所望のストリームを提供している発信サーバ1に対して、上述のように符号化され時間インデックスが付けられたストリームを要求する。
【0145】
この要求に応答して、発信サーバ1からストリームが送信されてくると、クライアント3は、その符号化され時間インデックスが付けられたストリームを、符号化レートを含む復号に必要な情報とともに受信して、その復号を開始する。その際に、同期用のストリームから得られた標準クロックを用いて復号化の処理を行う。
【0146】
このようにして、図17に示すシステム構成を用いる場合にも、デジタル放送局2と発信サーバ1とクライアント3との間でクロックを共有することを実現し、これにより、同一クロックにて符号化と復号化とが行われることになるので、バッファのオーバーランやアンダーランを防ぐことができるようになることで、映像や音声を途切れさせずにユーザに提示できるようになる。
【0147】
ここで、図17に示すシステムを構成を用いる場合には、発信サーバ1は、デジタル放送局2aの放送する同期用のストリームから標準クロックを生成するようにしたが、図19に示すように、発信サーバ1自身がGPSなどのような標準クロック発生機構を備えるようにしてもよい。
【0148】
図20に、この図19に示すシステム構成を実現するための発信サーバ1、デジタル放送局2、クライアント3、ゲートウェイ11及びブリッジ10の詳細な装置構成の一例を図示する。
【0149】
この図に示すように、発信サーバ1自身がGPSなどのような標準クロック発生機構を備える場合には、発信サーバ1は、デジタル放送局2aなどの放送する同期用のストリームから標準クロックを生成する処理を行う機構については備える必要はない。
【0150】
【発明の効果】
以上説明したように、本発明では、ネットワークを介して実時間ストリームを配信する際に、デジタル放送網上のストリームを使ってデジタル放送局の用いるクロックをクライアントで生成し、そのクロックを用いて復号化することによって、符号化する際のレートと復号化する際のレートとを正確に合わせることができることで、バッファのオーバーランやアンダーランを防ぐことができるようになる。その結果、長時間のIPネットワーク上の映像配信サービスを受けていても、途中で映像や音声が途切れたり止まったりすることがなくなる。
【0151】
また、発信サーバとクライアントとが同一のデジタル放送局からストリームを受信してクロックを生成することで、標準クロックを用いることなく発信サーバとクライアントのクロックとを同じにすることができることを実現でき、これにより標準クロックに合わせるための高価な機器が必要なくなる。
【0153】
そして、この実現にあたって、本発明では、デジタル放送を受信して、その受信したストリームをIPパケット化しながらクライアントに転送するという処理を行うブリッジを用意するようにしており、この構成に従って、このブリッジのみが受信アンテナを装備すればよくなることで、コストの削減が図れるようになる。
【図面の簡単な説明】
【図1】 本発明の基本的なシステム構成を示す図である。
【図2】 本発明に関連する第1の技術を実現するシステム構成の一例を示す図である。
【図3】 本発明に関連する第1の技術を実現する各装置の装置構成の一例を示す図である。
【図4】 クライアントの実行する処理フローである。
【図5】 本発明に関連する第1の技術を実現するシステム構成の他の一例を示す図である。
【図6】 本発明に関連する第1の技術を実現する各装置の装置構成の他の一例を示す図である。
【図7】 本発明に関連する第1の技術を実現するシステム構成の他の一例を示す図である。
【図8】 本発明に関連する第1の技術を実現する各装置の装置構成の他の一例を示す図である。
【図9】 本発明に関連する第2の技術を実現するシステム構成の一例を示す図である。
【図10】 本発明に関連する第2の技術を実現する各装置の装置構成の一例を示す図である。
【図11】 本発明に関連する第2の技術を実現するシステム構成の他の一例を示す図である。
【図12】 本発明に関連する第2の技術を実現する各装置の装置構成の他の一例を示す図である。
【図13】 本発明に関連する第2の技術を実現するシステム構成の他の一例を示す図である。
【図14】 本発明に関連する第2の技術を実現する各装置の装置構成の他の一例を示す図である。
【図15】 本発明の実施形態例を実現するシステム構成の一例を示す図である。
【図16】 本発明の実施形態例を実現する各装置の装置構成の一例を示す図である。
【図17】 本発明の実施形態例を実現するシステム構成の他の一例を示す図である。
【図18】 本発明の実施形態例を実現する各装置の装置構成の他の一例を示す図である。
【図19】 本発明の実施形態例を実現するシステム構成の他の一例を示す図である。
【図20】 本発明の実施形態例を実現する各装置の装置構成の他の一例を示す図である。[0001]
BACKGROUND OF THE INVENTION
The present inventionA stream receiving system in which a stream receiving device receives an encoded stream distributed via an asynchronous network, and a stream receiving method executed in the stream receiving system;About.
[0002]
More specifically, the present invention provides a server that transmits request request data from a client using a stream transmission method in an asynchronous network such as an IP network in which the transmission time of a packet between two points is not constant. The present invention relates to a stream distribution technique that can improve the decoding accuracy when a client receives and decodes the data.
[0003]
[Prior art]
When high-quality digitized video and audio are transmitted in accordance with standardized standards, they are usually compressed using a compression technique such as MPEG (ITU-T recommendation H.222.0) or transmitted digitally. The signal is transmitted using a modulated radio wave.
[0004]
When digital data is compressed and transmitted, it is either a stream transmission type where data is transmitted as a stream that is continuous data subject to time constraints such as real-time video communication, or data is unilaterally without time constraints. Transmit using either the download transmission type transmission method.
[0005]
In a data stream type client / server system that performs stream type data transmission, when decoding is performed on the client side with respect to an information generation source generated on the server side such as output data and accumulated data of an encoding circuit. Needs to be decrypted while synchronizing with the information source.
[0006]
If it is possible for the client side to adjust the data rate to the server side using RTCP ("RTP: A Transport Protocol for Real-Time Applications", RFC1889) when decrypting on the client side Although it is possible to synchronize with the information generation source, if there is a time restriction such as real-time video communication, the time restriction cannot be maintained if the rate is controlled. If the data is data stored in advance, re-encoding is necessary.
[0007]
When the client cannot perform rate control on the server, the information generation source and the decoding circuit perform processing using independent system clocks. If each system clock refers to a common clock and a system clock that matches that clock cannot be generated, the data rate on the server side and the decryption rate on the client side are processed at different values. Plays back earlier or later, which causes a buffer overflow or underflow in the decoding circuit, and as a result, the video and audio presented to the user on the client side are temporarily stopped. It will be.
[0008]
For such a problem, a method of encapsulating data in a transport stream (hereinafter abbreviated as MPEG2-TS) in accordance with the MPEG standard has been proposed.
[0009]
In the transmission method using MPEG2-TS, which is also used in BS digital broadcasting, one time index called PCR (program clock reference) is inserted in the stream within at least 100 milliseconds.
[0010]
A client that has received this PCR generates a clock using a circuit called a PLL (phase lock loop) that generates a clock from the time of reception, the order of reception, and the value of the PCR. By using the same system clock as the information generation source, it is possible to receive, decode and present information.
[0011]
In order to generate a clock using an existing PLL circuit, the jitter (for example, see Non-Patent Document 1) of a packet received on the client side must be within several milliseconds. It can be used in networks, special ATM networks, and small networks.
[0012]
On the other hand, when using a network that goes through a plurality of external network devices such as routers during transmission, the clock cannot be generated even if a PLL circuit is used due to increased jitter. A method of generating a clock or a clock from a broadband digital communication network such as ISDN (for example, see Patent Document 1) has been proposed.
[0013]
However, this method has a problem that an asynchronous network such as an IP network having a large jitter must also have a synchronous network serving as a clock generation source such as ISDN at the same time.
[0014]
[Non-Patent Document 1]
Annex A of ATM Forum "Audio / Visual Multimedia Services: Video on Demand v1.1" af-saa-0049.001, March 1997
[Patent Document 1]
JP-A-8-251152
[0015]
[Problems to be solved by the invention]
As described above, there are the following problems in accordance with the prior art.
[0016]
That is, in the transmission method using MPEG2-TS, which is also used in BS digital broadcasting, one time index called PCR is inserted into the stream within at least 100 milliseconds.
[0017]
A client that has received this PCR generates a clock using a circuit called a PLL that generates a clock from the time of reception, the order of reception, and the value of the PCR, and uses this generated clock as an information source. Reception, decoding, and information presentation can be performed using the same system clock.
[0018]
However, in order to generate a clock using an existing PLL circuit, the jitter of a packet received on the client side must be within a few milliseconds, so a digital broadcasting network such as BS digital, a special ATM network, Although it can be used in a small-scale network, there is a problem that it cannot be used in a network that passes through a plurality of external network devices such as routers for transmission.
[0019]
On the other hand, when using a network that goes through multiple external network devices such as routers for transmission, a clock cannot be generated even if a PLL circuit is used. A method of generating a clock from a broadband digital communication network such as ISDN has been proposed.
[0020]
However, this method has a problem that an asynchronous network such as an IP network having a large jitter must also have a synchronous network serving as a clock generation source such as ISDN at the same time.
[0021]
The present invention has been made in view of such circumstances, and in an asynchronous network such as an IP network in which the transmission time of a packet between two points is not constant, a server sends request request data from a client in a stream transmission method. An object of the present invention is to provide a new stream distribution technique that can improve the decoding accuracy when the client receives the data and receives the data for decoding.
[0022]
[Means for Solving the Problems]
The stream of the present inventionThe system reception system includes a stream relay device, a synchronization signal relay device, and a stream reception device that are connected to each other via a connection synchronization network.
(1) Configuration of stream relay device
The stream relay apparatus receives (a) an encoded stream to which a time index is generated that is generated by the stream distribution apparatus based on a clock used by the broadcast station from the stream distribution apparatus connected via the asynchronous network. And (b) transmitting means for transmitting the encoded stream received by the receiving means to the stream receiving device via the connection synchronization network.
(2) Configuration of synchronization signal relay device
The synchronization signal relay apparatus receives (a) a synchronization stream to which a broadcast station has added a time index generated based on a predetermined clock via a relay synchronization network provided separately from the connection synchronization network. Means, (b) shaping means for shaping the synchronization stream received by the receiving means into a form that can be received by the stream receiving device, and (c) receiving the synchronization stream shaped by the shaping means via the connection synchronization network. Transmitting means for transmitting to the apparatus.
(3) Configuration of stream receiver
The stream receiving device includes (a) a first receiving means for receiving a synchronizing stream from the synchronizing signal relay device via the connection synchronizing network, and (b) broadcasting from the synchronizing stream received by the first receiving means. Generating means for generating the clock used by the station, (c) second receiving means for receiving the encoded stream from the stream relay device via the connection synchronization network, and (d) the clock generated by the generating means. And a decoding means for decoding the encoded stream received by the second receiving means.
When adopting this configuration, the receiving means included in the stream relay device is provided with a time index generated based on the clock generated from the synchronization stream received from the broadcasting station by the stream distribution device via the relay synchronization network. An added encoded stream may be received.
In addition, when the broadcast station uses a standard clock, the receiving means included in the synchronization signal relay apparatus may receive a synchronization stream from a broadcast station different from the broadcast station used by the stream distribution apparatus.
In addition, when the broadcasting station uses a standard clock, the receiving means included in the stream relay device may receive the encoded stream generated based on the standard clock generated by the stream distribution device from the stream distribution device. is there.
[0048]
In the stream receiving system of the present invention configured as described above,When the relay device receives the synchronization stream from the broadcasting station, it converts the received synchronization stream into an IP packet, thereby shaping the received synchronization stream into a form that can be received by the stream reception device. Send.
At this time, the synchronization signal relay device may transmit only the synchronization stream portion to which the time index is added, which is the stream portion required by the stream reception device.
On the other hand, the stream relay device receives the encoded stream to which the time index generated by the stream distribution device based on the clock used by the broadcast station is received from the stream distribution device connected via the asynchronous network.
[0050]
Upon receiving the IP packetized synchronization stream, a stream receiving deviceIs in sync signalWhen the synchronization stream is received from the relay device, the clock used by the broadcasting station is generated from the received synchronization stream. AndConnected via an asynchronous networkWhen receiving the reception target stream transmitted from the stream distribution apparatus and receiving the reception target stream, the reception target stream is decoded using the clock generated from the synchronization stream.
[0051]
Thus, in the stream reception system of the present invention, by using the synchronization stream broadcast by the broadcast station, it is possible to share the clock among the broadcast station, the stream distribution device, and the stream reception device, thereby Since the stream distribution device and the stream reception device can perform encoding and decoding with the same clock, buffer overrun and underrun can be prevented, and video and audio Can be presented to the user without interruption.
Moreover, in the stream distribution system of the present invention, since clock synchronization is realized using a synchronization stream broadcast by a broadcasting station, only a facility capable of receiving broadcasting from the broadcasting station is required, and a broadband digital communication network such as ISDN is required. Such as an atomic clock, because it can be realized without using a standard clock (a clock that can always obtain the same value regardless of where it is measured in the world). There is no need to prepare facilities.
And in realizing this, the synchronization signalIf no relay device is provided, each stream receiver must be equipped with an antenna and other equipment for receiving the synchronization stream.Since the stream reception system of the present invention employs a configuration including a synchronization signal relay device,Only the relay device needs to be equipped with an antenna and other equipment for receiving the synchronization stream.During sync signalThe plurality of stream receiving devices connected to the relay device do not need to be provided with equipment such as an antenna for receiving the synchronization stream.
[0052]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail according to embodiments.
[0053]
As the network, there are an asynchronous network having a large jitter such as an IP network and a synchronous network having a small jitter such as a digital broadcasting network.
[0054]
In an asynchronous network with large jitter such as an IP network, (1) two hosts are connected via a plurality of network devices such as gateways, routers, repeaters, and hubs, and (2) packet transmission between the two hosts. The time required for this is not constant, and its jitter is much larger than 10 milliseconds.
[0055]
On the other hand, in a synchronous network such as a digital broadcasting network, (1) two hosts are directly connected via wire or wireless, and (2) the time required for packet transmission between the two hosts is almost constant. The jitter is within 10 milliseconds, and the clock can be extracted using a PLL when MPEG2-TS is transmitted.
[0056]
Here, even an asynchronous network such as an ATM may have these characteristics. Therefore, in the present invention, an ATM network having these characteristics is also treated as a special synchronous network.
[0057]
FIG. 1 illustrates a basic system configuration of the present invention.
[0058]
As shown in this figure, the present invention comprises a transmission server 1 that provides a video-on-demand service, a
[0059]
The transmission server 1 and the
[0060]
Here, the standard clock means a clock that can always acquire the same value regardless of where it is measured in the world, and is a clock based on a standard time that can be acquired from a GPS or an atomic clock.
[0061]
On the other hand, the
[0062]
〔I〕First technique related to the present invention
Figure 2 shows theThe first technology related to Ming1 illustrates an example of a system configuration to be realized.
[0063]
This figure2Shown inThe first technology related to the present inventionWhen realized, the outgoing server 1 is connected to the
[0064]
FIG. 3 shows an example of detailed device configurations of the transmission server 1, the
[0065]
The first technique related to the present invention shown in FIG.The
[0066]
On the other hand, the
[0067]
As described above, the transmission server 1 receives a stream from any one of the
[0068]
The clock adjustment processing performed at this time is continuously performed while encoding and while transmitting a stream to the
[0069]
The
[0070]
That is, as shown in the processing flow of FIG. 4, when the
[0071]
At this time, when a stream request request is issued from the user, the stream is requested to the originating server 1, and when there is a notification of the encoding rate from the originating server 1 in response to this request, it is received, While receiving the stream sent from the outgoing server 1, while extracting the stream from the outgoing server 1, the clock was extracted from the self-excited crystal oscillator that I had, and the extracted clock and received Using the encoding rate, the received stream is decoded and output to the monitor.
[0072]
Like thisIn the first related technique of the present invention shown in FIG.Realizes sharing of a clock among the
[0073]
Here, in order to decode the stream transmitted from the transmission server 1, the
[0074]
Therefore, the transmission server 1 informs the
[0075]
When the transmission server 1 does not have such a notification function, the
[0076]
When the system configuration shown in FIG. 2 is followed, since the transmission server 1 and the
[0077]
In other words, when each
[0078]
FIG. 6 shows an example of detailed device configurations of the transmission server 1, the
[0079]
As shown in FIG. 6, the device configurations of the transmission server 1, the
[0080]
Therefore, the processing when the system configuration shown in FIG. 5 is used is the same as the processing when the system configuration shown in FIG. 2 is used.
[0081]
That is, the
[0082]
In response to this, the
[0083]
On the other hand, the transmission server 1 receives a synchronization stream from any one of the digital broadcast stations broadcasting the synchronization stream (in the case of FIG. 5, the
[0084]
In response to the processing of the transmission server 1, the
[0085]
In this way, even when the system configuration shown in FIG. 5 is used, it is possible to share the clock among the
[0086]
Here, when the system configuration shown in FIG. 5 is used, the transmission server 1 generates the standard clock from the synchronization stream broadcast by the
[0087]
FIG. 8 shows an example of detailed device configurations of the transmission server 1, the
[0088]
As shown in this figure, when the transmission server 1 itself has a standard clock generation mechanism such as GPS, the transmission server 1 generates a standard clock from a synchronization stream broadcasted by a
[0089]
[B]Second technique related to the present invention
In FIG.Second technology related to Ming1 illustrates an example of a system configuration to be realized.
[0090]
thisThe second technique related to the present invention shown in
[0091]
The
[0092]
Here, the transmission server 1 is connected to the
[0093]
NaIn the second technique related to this invention,The provided
[0094]
FIG. 10 illustrates an example of detailed apparatus configurations of the transmission server 1, the
[0095]
The second technique related to the present invention shown in FIG.Since the
[0096]
On the other hand, the
[0097]
In response to the intervention of the
[0098]
As described above, the transmission server 1 receives a stream from any one of the
[0099]
The clock adjustment processing performed at this time is continuously performed while encoding and while transmitting a stream to the
[0100]
Then, the
[0101]
Then, the
[0102]
SnowThat is, in the first technique related to the present invention shown in FIG.The
[0103]
Follow this configurationThe second technique related to the present invention shown in FIG.According to this, by using the synchronization stream broadcast by the same
[0104]
When the system configuration shown in FIG. 9 is followed, since the transmission server 1 and the
[0105]
That is, when each
[0106]
FIG. 12 illustrates an example of detailed apparatus configurations of the transmission server 1, the
[0107]
As shown in FIG. 12, the device configuration of the transmission server 1, the
[0108]
Therefore, the processing when the system configuration shown in FIG. 11 is used is the same as the processing when the system configuration shown in FIG. 9 is used.
[0109]
That is, the
[0110]
In response to this, the
[0111]
On the other hand, the transmission server 1 receives a synchronization stream from any one of the digital broadcast stations broadcasting the synchronization stream (in the case of FIG. 11, the
[0112]
Then, the
[0113]
When a stream is transmitted from the originating server 1 in response to this request, the
[0114]
In response to this, the
[0115]
In this way, even when the system configuration shown in FIG. 11 is used, it is possible to share the clock among the
[0116]
Here, when the configuration shown in FIG. 11 is used, the transmission server 1 generates the standard clock from the synchronization stream broadcast by the
[0117]
FIG. 14 shows an example of detailed device configurations of the transmission server 1, the
[0118]
As shown in this figure, when the transmission server 1 itself has a standard clock generation mechanism such as GPS, the transmission server 1 generates a standard clock from a synchronization stream broadcasted by a
[0119]
[C]Of the present inventionExample embodiment
FIG. 15 shows the present invention.The fruit of1 illustrates an example of a system configuration that realizes an embodiment.
[0120]
This figure15As shown inIn fact,The embodiment is characterized by including a
[0121]
The
[0122]
hereAnd in factAlso in the embodiment, a gateway 11 connected to the originating server 1 via the asynchronous network 7 and connected to the
[0123]
NaOh,
[0124]
FIG. 16 illustrates an example of detailed device configurations of the transmission server 1, the
[0125]
In the present invention, the
[0126]
On the other hand, when the
[0127]
At this time, since the
[0128]
Under the intervention of the
[0129]
As described above, the transmission server 1 receives a stream from any one of the
[0130]
The clock adjustment processing performed at this time is continuously performed while encoding and while transmitting a stream to the
[0131]
On the other hand, when the
[0132]
Then, the
[0133]
SnowThat is, in the first technique related to the present invention shown in FIG.In order to comply, the
[0134]
Follow this configurationActuallyAccording to the embodiment, by using a synchronization stream broadcast by the same
[0135]
When the system configuration shown in FIG. 15 is followed, since the transmission server 1 and the
[0136]
That is, when each
[0137]
FIG. 18 illustrates an example of detailed device configurations of the transmission server 1, the
[0138]
As shown in FIG. 18, the device configuration of the transmission server 1,
[0139]
Accordingly, the processing when the system configuration shown in FIG. 17 is used is the same as the processing when the system configuration shown in FIG. 15 is used.
[0140]
That is, the
[0141]
In response to this, the
[0142]
In response to this, the
[0143]
On the other hand, the transmission server 1 receives a synchronization stream from any one of the digital broadcast stations broadcasting the synchronization stream (in the case of FIG. 17, the
[0144]
Then, the
[0145]
When a stream is transmitted from the originating server 1 in response to this request, the
[0146]
In this way, even when the system configuration shown in FIG. 17 is used, it is possible to share the clock among the
[0147]
Here, when the configuration shown in FIG. 17 is used, the transmission server 1 generates the standard clock from the synchronization stream broadcast by the
[0148]
FIG. 20 shows an example of detailed device configurations of the transmission server 1, the
[0149]
As shown in this figure, when the transmission server 1 itself has a standard clock generation mechanism such as GPS, the transmission server 1 generates a standard clock from a synchronization stream broadcasted by a
[0150]
【The invention's effect】
As described above, in the present invention, when a real-time stream is distributed via a network, a clock used by a digital broadcasting station is generated by a client using the stream on the digital broadcasting network, and is decoded using the clock. By making it possible to accurately match the encoding rate and the decoding rate, buffer overruns and underruns can be prevented. As a result, even when receiving a video distribution service on an IP network for a long time, video and audio are not interrupted or stopped midway.
[0151]
In addition, by generating a clock by receiving a stream from the same digital broadcasting station, the transmission server and the client can realize that the clock of the transmission server and the client can be made the same without using a standard clock, This eliminates the need for expensive equipment to match the standard clock.
[0153]
In order to achieve this, the present inventionA bridge is prepared to receive digital broadcasts and process the received stream as an IP packet and transfer it to the client.According to this configuration.Since only the bridges need to be equipped with receiving antennas, the cost can be reduced.
[Brief description of the drawings]
FIG. 1 is a diagram showing a basic system configuration of the present invention.
[Figure 2]The first technique related to the present invention isIt is a figure which shows an example of the system configuration | structure implement | achieved.
[Fig. 3]The first technique related to the present invention isIt is a figure which shows an example of the apparatus structure of each apparatus implement | achieved.
FIG. 4 is a processing flow executed by a client.
[Figure 5]The first technique related to the present invention isIt is a figure which shows another example of the system configuration | structure implement | achieved.
[Fig. 6]The first technique related to the present invention isIt is a figure which shows another example of the apparatus structure of each apparatus implement | achieved.
[Fig. 7]The first technique related to the present invention isIt is a figure which shows another example of the system configuration | structure implement | achieved.
[Fig. 8]The first technique related to the present invention isIt is a figure which shows another example of the apparatus structure of each apparatus implement | achieved.
FIG. 9The second technique related to the present inventionIt is a figure which shows an example of the system structure to implement | achieve.
FIG. 10The second technique related to the present inventionIt is a figure which shows an example of the apparatus structure of each apparatus implement | achieved.
FIG. 11The second technique related to the present inventionIt is a figure which shows another example of the system configuration | structure implement | achieved.
FIG.The second technique related to the present inventionIt is a figure which shows another example of the apparatus structure of each apparatus implement | achieved.
FIG. 13The second technique related to the present inventionIt is a figure which shows another example of the system configuration | structure implement | achieved.
FIG. 14The second technique related to the present inventionIt is a figure which shows another example of the apparatus structure of each apparatus implement | achieved.
FIG. 15Reality of the present inventionIt is a figure which shows an example of the system configuration which implement | achieves an example of embodiment.
FIG. 16Reality of the present inventionIt is a figure which shows an example of the apparatus structure of each apparatus which implement | achieves an example of embodiment.
FIG. 17Reality of the present inventionIt is a figure which shows another example of the system configuration which implement | achieves an example of embodiment.
FIG. 18Reality of the present inventionIt is a figure which shows another example of the apparatus structure of each apparatus which implement | achieves an embodiment.
FIG. 19Reality of the present inventionIt is a figure which shows another example of the system configuration which implement | achieves an example of embodiment.
FIG. 20Reality of the present inventionIt is a figure which shows another example of the apparatus structure of each apparatus which implement | achieves an embodiment.
Claims (5)
上記ストリーム中継装置は、The stream relay device
ストリーム配信装置が放送局の用いるクロックに基づいて生成した時間インデックスの付加された符号化ストリームを、非同期ネットワークを介して接続された当該ストリーム配信装置から受信する手段と、Means for receiving, from the stream distribution apparatus connected via an asynchronous network, an encoded stream to which a time index generated based on a clock used by the broadcast station is transmitted by the stream distribution apparatus;
上記受信した符号化ストリームを上記接続用同期ネットワークを介して上記ストリーム受信装置に送信する手段とを備え、Means for transmitting the received encoded stream to the stream receiving device via the connection synchronization network;
上記同期信号中継装置は、The synchronous signal relay device is
上記接続用同期ネットワークとは別に設けられる中継用同期ネットワークを介して、上記放送局が所定のクロックに基づいて生成した時間インデックスの付加された同期用ストリームを受信する手段と、Means for receiving, via a relay synchronization network provided separately from the connection synchronization network, a synchronization stream with a time index added by the broadcasting station based on a predetermined clock;
上記受信した同期用ストリームを上記ストリーム受信装置が受信できる形に整形する手段と、Means for shaping the received synchronization stream into a form that can be received by the stream receiving device;
上記整形した同期用ストリームを上記接続用同期ネットワークを介して上記ストリーム受信装置に送信する手段とを備え、Means for transmitting the shaped synchronization stream to the stream receiving device via the connection synchronization network;
上記ストリーム受信装置は、The stream receiver is
上記接続用同期ネットワークを介して、上記同期信号中継装置から同期用ストリームを受信する手段と、Means for receiving a synchronization stream from the synchronization signal relay device via the connection synchronization network;
上記受信した同期用ストリームから上記放送局の用いたクロックを生成する手段と、Means for generating a clock used by the broadcast station from the received synchronization stream;
上記接続用同期ネットワークを介して、上記ストリーム中継装置から符号化ストリームを受信する手段と、Means for receiving an encoded stream from the stream relay device via the connection synchronization network;
上記生成したクロックを使って、上記受信した符号化ストリームを復号する手段とを備えるMeans for decoding the received encoded stream using the generated clock.
ことを特徴とするストリーム受信システム。A stream receiving system.
上記ストリーム中継装置の備える符号化ストリームを受信する手段は、上記ストリーム配信装置が上記中継用同期ネットワークを介して放送局から受信した同期用ストリームから生成されるクロックに基づいて生成した時間インデックスの付加された符号化ストリームを受信するThe means for receiving the encoded stream included in the stream relay device adds a time index generated by the stream distribution device based on a clock generated from a synchronization stream received from a broadcasting station via the relay synchronization network. Received encoded stream
ことを特徴とするストリーム受信システム。A stream receiving system.
上記同期信号中継装置の備える同期用ストリームを受信する手段は、放送局が標準クロックを用いる場合には、上記ストリーム配信装置が用いる放送局とは別の放送局から同期用ストリームを受信するThe means for receiving the synchronization stream included in the synchronization signal relay apparatus receives the synchronization stream from a broadcast station different from the broadcast station used by the stream distribution apparatus when the broadcast station uses a standard clock.
ことを特徴とするストリーム受信システム。A stream receiving system.
上記ストリーム中継装置の備える符号化ストリームを受信する手段は、放送局が標準クロックを用いる場合には、上記ストリーム配信装置が自装置の発生する標準クロックに基づいて生成した符号化ストリームを上記ストリーム配信装置から受信するWhen the broadcast station uses a standard clock, the means for receiving the encoded stream included in the stream relay device is configured to distribute the encoded stream generated based on the standard clock generated by the stream distribution device. Receive from device
ことを特徴とするストリーム受信システム。A stream receiving system.
上記ストリーム中継装置は、ストリーム配信装置が放送局の用いるクロックに基づいて生成した時間インデックスの付加された符号化ストリームを、非同期ネットワークを介して接続された当該ストリーム配信装置から受信して、その受信した符号化ストリームを上記接続用同期ネットワークを介して上記ストリーム受信装置に送信し、The stream relay device receives an encoded stream to which a time index is generated based on a clock used by a broadcast station from the stream distribution device from the stream distribution device connected via an asynchronous network, and receives the received stream. The encoded stream is transmitted to the stream receiving device via the connection synchronization network,
上記同期信号中継装置は、上記接続用同期ネットワークとは別に設けられる中継用同期ネットワークを介して、上記放送局が所定のクロックに基づいて生成した時間インデックスの付加された同期用ストリームを受信して、その受信した同期用ストリームを上記ストリーム受信装置が受信できる形に整形し、その整形した同期用ストリームを上記接続用同期ネットワークを介して上記ストリーム受信装置に送信し、The synchronization signal relay device receives a synchronization stream to which a time index is added generated by the broadcast station based on a predetermined clock via a relay synchronization network provided separately from the connection synchronization network. The received synchronization stream is shaped into a form that can be received by the stream receiving device, and the shaped synchronization stream is transmitted to the stream receiving device via the connection synchronization network,
上記ストリーム受信装置は、上記接続用同期ネットワークを介して、上記同期信号中継装置から同期用ストリームを受信して、その受信した同期用ストリームから上記放送局の用いたクロックを生成するとともに、上記接続用同期ネットワークを介して、上記ストリーム中継装置から符号化ストリームを受信して、その生成したクロックを使って、その受信した符号化ストリームを復号するThe stream reception device receives a synchronization stream from the synchronization signal relay device via the connection synchronization network, generates a clock used by the broadcast station from the received synchronization stream, and connects the connection The encoded stream is received from the stream relay device via the synchronous network for decoding, and the received encoded stream is decoded using the generated clock.
ことを特徴とするストリーム受信方法。And a stream receiving method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002258771A JP3831323B2 (en) | 2002-09-04 | 2002-09-04 | Stream receiving system and stream receiving method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002258771A JP3831323B2 (en) | 2002-09-04 | 2002-09-04 | Stream receiving system and stream receiving method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004096684A JP2004096684A (en) | 2004-03-25 |
JP3831323B2 true JP3831323B2 (en) | 2006-10-11 |
Family
ID=32063310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002258771A Expired - Fee Related JP3831323B2 (en) | 2002-09-04 | 2002-09-04 | Stream receiving system and stream receiving method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3831323B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8375137B2 (en) * | 2008-07-22 | 2013-02-12 | Control4 Corporation | System and method for streaming audio using a send queue |
JP5857840B2 (en) * | 2012-03-29 | 2016-02-10 | 株式会社Jvcケンウッド | Encoder and control method |
JP6157679B2 (en) * | 2016-04-12 | 2017-07-05 | 日本放送協会 | Signal processing apparatus and program |
-
2002
- 2002-09-04 JP JP2002258771A patent/JP3831323B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004096684A (en) | 2004-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6317872B2 (en) | Decoder for synchronizing the rendering of content received over different networks and method therefor | |
US8514705B2 (en) | Method and system for synchronizing a group of end-terminals | |
US8929403B2 (en) | Method and system for remote tuning and clock synchronization | |
EP2232812B1 (en) | Method and system for synchronizing the output of terminals | |
US8671302B2 (en) | Method and apparatus for wireless clock regeneration | |
EP1662793B1 (en) | Content reception device, video/audio output timing control method, and content providing system | |
JP2008283715A (en) | Transmitting streams over asynchronous networks | |
JP2004525545A (en) | Webcast method and system for synchronizing multiple independent media streams in time | |
US6470049B1 (en) | Method for dealing with missing or untimely synchronization signals in digital communications systems | |
JP2009010966A (en) | Reception of stream through asynchronous network | |
RU2369978C2 (en) | Method for transfer of packets in transfer system | |
JP2007281868A (en) | Transmission apparatus and receiving apparatus | |
JP3906712B2 (en) | Data stream processing device | |
JP3831323B2 (en) | Stream receiving system and stream receiving method | |
US7940801B2 (en) | Method and apparatus for synchronizing digital video using a beacon packet | |
Kawamoto et al. | Development of lightweight compressed 8K UHDTV over IP transmission device realizing live remote production | |
JP4192766B2 (en) | Receiving apparatus and method, recording medium, and program | |
KR101920051B1 (en) | Methods of Providing Timing Information for Synchronizing MMT Packet Streams in MMT Hybrid Delivery Service and Methods of Synchronizing MMT Packet Streams in MMT Hybrid Delivery Service | |
WO2005020580A1 (en) | Apparatus and method for converting media stream for multimedia service in dab system | |
JP7120399B2 (en) | Sending method | |
JP6504294B2 (en) | Transmission apparatus, transmission method, reception apparatus and reception method | |
KR20080041163A (en) | Broadcasting system and method for time-delayed broadcasting contents | |
Wagner et al. | A scalable fast channel change solution | |
JP2020170914A (en) | Switching method, ip retransmission system, ip retransmission device, and control device | |
JP2004096648A (en) | Content distribution system and content distribution method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060713 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090721 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110721 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |