JP4409454B2 - デジタルデータ伝送システムおよびデジタルデータ伝送方法 - Google Patents

デジタルデータ伝送システムおよびデジタルデータ伝送方法 Download PDF

Info

Publication number
JP4409454B2
JP4409454B2 JP2005021708A JP2005021708A JP4409454B2 JP 4409454 B2 JP4409454 B2 JP 4409454B2 JP 2005021708 A JP2005021708 A JP 2005021708A JP 2005021708 A JP2005021708 A JP 2005021708A JP 4409454 B2 JP4409454 B2 JP 4409454B2
Authority
JP
Japan
Prior art keywords
data
transmission
time
unit
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005021708A
Other languages
English (en)
Other versions
JP2006211380A (ja
Inventor
泰 松本
進 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Priority to JP2005021708A priority Critical patent/JP4409454B2/ja
Publication of JP2006211380A publication Critical patent/JP2006211380A/ja
Application granted granted Critical
Publication of JP4409454B2 publication Critical patent/JP4409454B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

本発明は、ネットワークを介して音声データを送信するデータ伝送方法およびデータ伝送システムに関する。
ネットワークを介してデジタルデータ通信を行うシステムでは、テキストや静止画像だけではなく、音声や動画像などのデータをパケット化して送受信される。このような通信システムにおいて、音声や動画像などを送信端末から送信し、受信端末においてリアルタイムで再生するような場合、受信端末において1つのパケットをアナログデータに復元して再生するまでに、次のパケットの受信を完了する必要がある。しかながら、ネットワークワークのトラフィック状況によっては、パケット伝送時間に揺らぎが生じて、受信端末でのパケットの受信間隔が一定しない場合があり、音切れや音飛びなどの不具合が生じる。
これらの不具合を解消するために、送信端末および受信端末にそれぞれ送信バッファおよび受信バッファを設け、ネットワーク上でのパケット伝送時間の揺らぎを吸収することが行われる。
たとえば、送信端末は、入力されるアナログ音声信号を、アナログ/デジタル変換器によりデジタル音声信号に変換し、場合によっては、このデジタル音声信号を圧縮した圧縮符号化データとして、送信バッファに格納する。送信端末は、送信バッファに格納されたデジタル音声信号または圧縮符号化データを、回線の通信速度に応じた所定容量のパケットに組み立てて、ネットワークを介して送信する。
受信端末は、受信したパケットを解析し、デジタル音声信号または圧縮符号化データを受信バッファに格納する。受信バッファに格納されたデータ蓄積量が一定以上になると、受信端末は受信バッファ内のパケットを読み出して、デジタル音声信号をデジタル/アナログ変換器によりアナログ音声データに変換して出力する。
このような構成とすることにより、送信バッファや受信バッファに格納可能なパケットの容量の範囲で、ネットワークの通信状態によるパケット送受信の遅延時間を吸収することができ、音切れや音飛びを軽減することが可能となる。
前述したようなデジタルデータ通信システムに用いられる送信端末は、所定のサンプリング周波数を生成するサンプリング周波数生成部を備えている。送信端末では、このサンプリング周波数生成部により生成されるサンプリング周波数を用いて、アナログ音声信号をデジタル音声信号に変換している。
また、受信端末は送信端末と同様のサンプリング周波数生成部を備えており、このサンプリング周波数生成部で生成されるサンプリング周波数を用いて、受信したデジタル音声信号をアナログ音声信号に復元している。
送信端末および受信端末に設けられるサンプリングクロック生成部は水晶発振回路などで構成されており、1×10-4〜10-6程度の周波数精度を維持している。
したがって、送信端末から複数の受信端末に対するデータ送信を行った場合、各受信端末までの伝送時間が同一であるとすれば、受信端末で出力されるアナログ音声信号は水晶発振回路の精度の範囲で同期すると考えられる。
しかしながら、複数の受信端末に対してデジタルデータの送信を行う場合、送信端末から受信端末までの伝送経路はそれぞれ異なっており、その伝送距離の差や回線状態により受信端末毎にパケット受信時刻が異なることとなる。特に、インターネットなどのネットワークを経由する場合、伝送経路には不確定な要素が多く、各受信端末におけるパケット受信間隔も異なることとなる。
受信端末に十分な容量の受信バッファを設け、各受信端末におけるパケット受信時刻のずれを吸収することが考えられるが、各受信端末が管理する時刻情報が完全に一致していない場合には、各受信端末における出力には位相差を生じることとなる。したがって、ネットワークを介して放送された音声を離れた受信端末間で聞くと、音ずれが生じてしまう。
このような複数の受信端末が管理する時刻情報を精確に一致させることは困難である。特に地球規模で離間して配置されている受信端末に対して時刻合わせを行うようなアプリケーションは難しく、ネットワークを介して複数の受信端末に精確な時刻情報を送信することは不可能である。このような受信端末間におけるデータ出力のずれの問題は、音声データだけではなく、映像データおよび映像データと音声データの組み合わせなどの場合も同様の問題がある。
本発明では、複数の受信端末が管理する時刻情報を精度良く一致させ、離れた位置にある受信端末間での出力ずれの発生を防止することを目的とする。
本発明の請求項1に係るデジタルデータ伝送システムは、送信端末から複数の受信端末にネットワークを介してデジタルデータを含む送信データを送信し、複数の受信端末にデジタルデータを同時に再生させるデジタルデータ伝送システムである。ここで、送信端末は、デジタルデータを所定容量毎にパケット化してタイムスタンプを付加した送信データを生成する送信データ生成部と、送信データ生成部で生成された送信データをネットワークを介して送信するデータ送信部とを備える。また、受信端末は、他の受信端末が受信する時刻情報と同一精度の時刻情報を管理する時刻管理部と、送信データを受信してから再生するまでの遅延時間を管理する遅延時間管理部と、ネットワークワークを介して送信されてくる送信データを受信するデータ受信部と、受信した送信データに含まれるデジタルデータを一時的に格納するデータ格納部と、受信した送信データからデジタルデータに付加されたタイムスタンプを抽出するタイムスタンプ抽出部と、時刻管理部で管理されている時刻情報、タイムスタンプ抽出部で抽出されたタイムスタンプおよび遅延時間管理部で管理されている遅延時間に基づいて再生タイミングを制御する再生制御部と、再生制御部による再生タイミングに基づいて、データ格納部に格納されたデジタルデータの読出を開始し、アナログデータに変換するデジタル・アナログ変換部と、デジタル・アナログ変換部で変換されたアナログデータを出力するデータ出力部とを備える。
この場合、各受信端末で管理される時刻情報が同一精度であるとともに、デジタルデータにタイムスタンプが付加されているため、送信端末から各受信端末までの送信時間に基づいて受信端末個々の遅延時間を設定しておくことで、各受信端末における再生時刻を一致させることが可能となり、再生時間のずれを防止することが可能となる。
本発明の請求項2に係るデジタルデータ伝送システムは請求項1に記載のデジタルデータ伝送システムであって、受信端末の時刻管理部は、外部から時刻情報を受信して管理することを特徴とする。
この場合、精度の高い時刻情報を外部から受信して、各受信端末における再生タイミングを精確に同期させることが可能となる。受信端末の時刻管理部が受信する時刻情報としては、長波帯日本標準時電波、GPS衛星からの電波、海外からの短波標準電波、各種放送の時報、電話回線を通じて送信されてくる時刻情報のうちのいずれかの電波を受信して管理するように構成できる。このような電波に含まれる時刻情報は非常に精度が高いとともに、各受信端末が遠隔地にある場合であっても、それぞれ同一の時刻情報または同一精度の時刻情報を得ることが可能となり、再生タイミングを精確に同期させることができる。
本発明の請求項3に係るデジタルデータ伝送システムは請求項1または2に記載のデジタルデータ伝送システムであって、送信端末は、各受信端末までの送信時間のうちの最大送信時間に基づいてデータ送信時から受信端末における再生時までの再生遅延時間を算出し、再生遅延時間と各受信端末までの送信時間との差分に基づいて各受信端末に対応する遅延時間を決定する遅延時間測定部をさらに備え、遅延時間測定部で決定した遅延時間をそれぞれ各受信端末に予め送信することを特徴とする。
この場合、送信端末から各受信端末までの送信時間に基づいて各受信端末での遅延時間を決定しているので、各受信端末における音飛びや無音状態などの受信エラーをなくし、各受信端末間での再生タイミングを精度よく合わせることが可能となる。
本発明の請求項4に係るデジタルデータ伝送システムは請求項1〜3のいずれかに記載のデジタルデータ伝送システムであって、送信端末は、受信端末が受信する時刻情報と同一精度の時刻情報を外部から受信して管理する時刻管理部をさらに備える。
この場合、送信端末でデジタルデータに付加されるタイムスタンプを、各受信端末が管理する時刻情報と整合させることができ、受信端末における再生タイミングを精度良く同期させることが可能となる。
本発明の請求項5に係るデジタルデータ伝送システムは請求項1〜4のいずれかに記載のデジタルデータ伝送システムであって、送信端末は、アナログデータの入力を受け付けるアナログデータ入力部と、外部からのクロック信号を受信する外部クロック受信部と、外部クロック受信部で受信したクロック信号に基づいて所定周波数のサンプリングクロックを生成するサンプリングクロック生成部と、サンプリングクロック生成部で生成されたサンプリングクロックによりアナログデータ入力部に受け付けたアナログデータをデジタルデータに変換するアナログ・デジタル変換部とを備え、受信端末は、送信端末の外部クロック受信部が受信するクロック信号と同一周波数精度のクロック信号を受信する外部クロック受信部と、外部クロック受信部で受信したクロック信号に基づいて所定周波数のサンプリングクロックを生成するサンプリングクロック生成部とを備え、デジタル・アナログ変換部は、再生制御部の再生タイミングで読出が開始されたデジタルデータをサンプリングクロック生成部で生成されたサンプリングクロックによりアナログデータに変換することを特徴とする。
この場合、送信端末においてアナログデータをデジタルデータに変換する際のサンプリング周波数と、受信端末においてデジタルデータをアナログデータに変換する際のサンプリング周波数とを精確に一致させ、受信端末において再生されるデータの質を向上させることができ、特に音声データの場合に再生される音声データの音質を高めることが可能となる。外部クロック受信部は、長波帯日本標準時電波、GPS衛星からの電波、TVカラーサブキャリアのうちいずれかを受信してクロック源とすることができ、受信端末において再生される音質を非常に高めることが可能となり、特にセシウム原子時計と同等の精度のクロック信号をクロック源とした場合には、非常に音質の高い良好な音声データを再生することが可能となる。
本発明の請求項6に係る受信装置は、送信端末から送信される送信データを受信して送信データに含まれるデジタルデータを再生する受信装置であって、ネットワークに接続された他の受信装置と同一精度の時刻情報を管理する時刻管理部と、送信データを受信してから再生するまでの遅延時間を管理する遅延時間管理部と、ネットワークを介して送信されてくる送信データを受信するデータ受信部と、受信した送信データに含まれるデジタルデータを一時的に格納するデータ格納部と、受信した送信データからデジタルデータに付加されたタイムスタンプを抽出するタイムスタンプ抽出部と、時刻管理部で管理されている時刻情報、タイムスタンプ抽出部で抽出されたタイムスタンプおよび遅延時間管理部で管理されている遅延時間に基づいて再生タイミングを制御する再生制御部と、再生制御部による再生タイミングに基づいて、データ格納部に格納されたデジタルデータの読出を開始し、アナログデータに変換するデジタル・アナログ変換部と、デジタル・アナログ変換部で変換されたアナログデータを出力するデータ出力部とを備える。
この場合、ネットワークに接続されている他の受信装置と再生タイミングを精確に合わせることが可能となり、各受信装置間の音ずれの問題を解消することができる。
本発明の請求項7に係る受信装置は請求項8に記載の受信装置であって、時刻管理部は外部から時刻情報を受信して管理することを特徴とする。
この場合、精度の高い時刻情報を受信することで、受信装置間の再生タイミングを精確に合わせることが可能である。時刻管理部は、長波帯日本標準時電波、GPS衛星からの電波、海外からの短波標準電波、各種放送の時報、電話回線を通じて送信されてくる時刻情報のうちのいずれかの電波を受信して時刻情報を管理するように構成できる。この場合、時刻管理部で管理される時刻情報を非常に精度の高いものとすることができ、特にセシウム原子時計と同等の精度の時刻情報を受信することで、受信装置における再生タイミングを精確に合わせることが可能となる。
本発明の請求項8に係る送信装置は、複数の受信端末にネットワークを介してデジタルデータを含む送信データを送信し、複数の受信端末に前記デジタルデータを同時に再生させる送信装置であって、各受信端末が管理する時刻情報と同一精度の時刻情報を管理する時刻管理部と、デジタルデータを所定容量毎にパケット化し時刻管理部が管理する時刻情報に基づくタイムスタンプを各パケットに付加した送信データを生成する送信データ生成部と、送信データを受信してから再生するまでの遅延時間を設定する受信装置であって、時刻情報、遅延時間およびタイムスタンプに基づいて再生タイミングを制御する受信装置に対し、送信データ生成部で生成された送信データをネットワークを介して送信するデータ送信部とを備える。
この場合、データ受信ら再生までの遅延時間を各受信端末に設定することで、デジタルデータに付加されたタイムスタンプと遅延時間と時刻情報に基づいて各受信端末における再生タイミングを精確に一致させることが可能となる。
本発明の請求項9に係る送信装置は請求項8に記載の送信装置であって、各受信端末までの送信時間のうちの最大送信時間に基づいてデータ送信時から受信端末における再生時までの再生遅延時間を算出し、再生遅延時間と各受信端末までの送信時間との差分に基づいて各受信端末に対応する遅延時間を決定する遅延時間測定部をさらに備え、遅延時間測定部で算出した遅延時間を前記受信端末に予め送信することを特徴とする。
この場合、各受信端末においてデータ受信から再生までの遅延時間を、送信装置側で設定することが可能であり、受信端末における再生タイミングを精確に一致させることが可能となる。
本発明の請求項10に係る送信装置は請求項8または9に記載の送信装置であって、アナログデータの入力を受け付けるアナログデータ入力部と、各受信端末が管理するクロック信号と同一精度のクロック信号を外部から受信する外部クロック受信部と、外部クロック受信部で受信したクロック信号に基づいて所定周波数のサンプリングクロックを生成するサンプリングクロック生成部と、サンプリングクロック生成部で生成されたサンプリングクロックによりアナログデータ入力部に受け付けたアナログデータをデジタルデータに変換するアナログ・デジタル変換部とをさらに備えることを特徴とする。
この場合、送信装置側でアナログデータをデジタルデータに変換する際のサンプリング周波数と、受信端末側でデジタルデータをアナログデータに変換する際のサンプリング周波数とを精確に一致させることで、受信端末で再生されるデータの精度を高めることができ、特に音声データを再生する際には音質の非常に高めることが可能となる。
本発明の請求項11に係るデジタルデータ送信方法は、送信端末から複数の受信端末にネットワークを介してデジタルデータを含む送信データを送信し、複数の受信端末にデジタルデータを同時に再生させるデジタルデータ伝送方法であって、各受信端末に共通する精度の時刻情報を管理する段階と、受信データを受信してから再生するまでの遅延時間を受信端末毎に管理する段階と、デジタルデータを所定容量毎にパケット化してタイムスタンプを付加した送信データを生成する段階と、生成された送信データをネットワークを介して送信する段階と、ネットワークを介して送信されてくる送信データを受信する段階と、受信した送信データからデジタルデータに付加されたタイムスタンプを抽出する段階と、送信データに含まれるデジタルデータを格納する段階と、時刻情報、遅延時間および抽出したタイムスタンプに基づいて再生タイミングを決定する段階と、再生タイミングに基づいて格納されたデジタルデータの読出を開始し、アナログデータに変換して出力する段階とを含む。
この場合、各受信端末での再生タイミングを精確に一致させることが可能となる。
本発明の請求項12に係るデジタルデータ伝送方法は請求項11に記載のデジタルデータ伝送方法であって、外部から時刻情報を受信して管理することを特徴とする。たとえば、長波帯日本標準時電波、GPS衛星からの電波、海外からの短波標準電波、各種放送の時報、電話回線を通じて送信される時刻情報のうちのいずれかの電波を受信して含まれる時刻情報を管理するように構成できる。この場合、精度の高い時刻情報を利用して受信端末での再生タイミングを精確に一致させることが可能となる。
本発明の請求項13に係るデジタルデータ伝送方法は請求項11または12に記載のデジタルデータ伝送方法であって、送信端末から各受信端末までの送信時間を計測する段階と、送信端末から各受信端末までの送信時間のうちの最大送信時間に基づいてデータ送信時から受信端末における再生時までの再生遅延時間を算出する段階と、再生遅延時間と各受信端末までの送信時間との差分に基づいて各受信端末に対応する遅延時間を決定し各受信端末に送信する段階とをさらに含むことを特徴とする。
この場合、各受信端末が送信データを受信して再生するために必要な時間を考慮して、再生遅延時間を設定することで、各受信端末における再生タイミングを精確に一致させることができる。
本発明によれば、複数の受信端末において、精度の高い時刻情報および周波数情報を外部から受信して管理することにより、伝送遅延に基づく受信端末間の再生タイミングのずれをなくし、再生信号の位相合わせを精確に行うことができる。
本発明の1実施形態が採用されるデータ伝送システムを図に基づいて説明する。
〔構成概略〕
図1は、本発明の1実施形態が採用されるデータ伝送システムの概念図である。
このデータ伝送システムでは、送信端末1と複数の受信端末3とがネットワーク2を介して接続されている。送信端末1から送信される送信データは、各受信端末3により受信され、送信データに含まれるデジタルデータが各受信端末3により同時に再生される。
送信端末1では、たとえばアナログ音声信号を含むアナログ信号を所定周波数でサンプリングしてデジタルデータに変換し、これにタイムスタンプを付加し、所定容量毎にパケットを作成してこれを時系列で送信する。
受信端末3では、ネットワーク2を介して送信されてくる送信データを受信し、これに含まれるデジタルデータを受信バッファなどのデータ格納部に一時的に格納し、予め設定された遅延時間に基づく再生タイミングでデータ格納部からデジタルデータを読み出して、送信端末1側と同一のサンプリング周波数でアナログ信号に変換して出力を行う。
このとき、各受信端末3はそれぞれ同一精度の時刻情報を管理しており、デジタルデータに付加されたタイムスタンプと、データ受信から再生までの遅延時間とに基づいて、各受信端末3における再生タイミングを精確に合わせることが可能となる。
各受信端末3は、時刻情報を含む電波を外部から受信して、この時刻情報を管理するように構成することが可能であり、たとえば、 日本標準時の電波送信所から送信されている電波を利用することが可能である。この日本標準時は、短波帯標準電波により提供されてきたが、電離層の影響を受けやすく、受信状態が不安定であり、外国電波との混信のおそれがあることから、長波帯標準電波に切り換えられている。長波帯標準電波は、独立行政法人通信総合研究所(CRL)が有する10台のセシウム原子時計をもとに国際的に定義された「秒」の定義に従って作られるもので、数十万年に1秒以下という精度を有しており、現在、福島県大鷹鳥谷山山頂および佐賀県と福岡県の県境羽金山山頂に設けられた独立行政法人通信総合研究所が運用する長波帯標準電波送信施設により提供されている。この長波帯標準電波は、10台のセシウム原子時計をもとに作られた日本標準時を示すもので、周波数、時刻の情報などを含み、国家標準に対し1×10-12以内の周波数精度が保証されている。したがって、各受信端末3が遠隔地にあっても日本国内であれば、このような同一の日本標準時の電波を利用するが可能であり、非常に精度の高い時刻情報を得ることが可能である。外部電波を受信して時刻情報を取得する方法として、日本標準時電波の他にも、カーナビゲーションなどで用いられるGPS衛星からの電波、海外の短波標準電波、各種放送の時報、電話の時報サービスなどを受信して利用することが考えられる。
送信端末1においても、時刻情報を含む電波を外部から受信して、この時刻情報を管理するように構成することができる。この場合も、受信端末3と同様に、日本標準時電波、GPS衛星からの電波、海外の短波標準電波、各種放送の時報、電話の時報サービスなどを利用することができ、各受信端末3と同一精度の時刻情報を用いて、デジタルデータにタイムスタンプを付加することで、各受信端末3における再生タイミングを精確に合わせることが可能となる。
〔送信端末〕
送信端末1の機能ブロック図を図2に示す。
送信端末1は、時刻情報管理部11、外部クロック受信部12、アナログデータ入力部13、サンプリングクロック生成部14、アナログ・デジタル変換部15、通信制御部16、メモリ17、タイムスタンプ生成部18、送信データ生成部19、データ送信部20、遅延時間測定部21を備えている。
時刻管理部11は、外部からの電波を受信してこれに含まれる時刻情報を管理するものである。受信する電波は、前述したように、日本標準時電波、GPS衛星からの電波、海外からの短波標準電波、各種放送の時報、電話による時報サービスなどの電波を用いることができる。
外部クロック受信部12は、外部からの電波を受信して内部クロックのずれを補完するものであって、たとえば、前述した日本標準時の電波送信所からの搬送波を受信するように構成できる。受信する外部クロックとしては、このような日本標準時電波の他にも、GPS衛星からの電波、海外の短波標準電波、テレビジョン放送の色信号を伝送するためのカラーサブキャリアなどを受信して利用することが可能である。
サンプリングクロック生成部14は、外部クロック受信部12で受信したクロック信号に基づいて所定周波数のサンプリングクロックを生成するものであり、たとえば、PLL(Phase Locked Loop)回路により所定周波数を生成するように構成できる。
アナログデータ入力部13は、アナログ音声信号の入力を受け付けるものであり、たとえば、マイクが拾うアナログ音声信号を増幅する増幅回路や音楽CDやテープレコーダ、その他の音響機器とラインで接続されるライン入力部で構成することができる。また、アナログデータ入力部13は、アナログ音声信号を伴う動画像データの入力を受け付けるように構成することも可能である。
アナログ・デジタル変換部15は、アナログデータ入力部13で入力を受け付けたアナログデータをサンプリングクロック生成部14で生成された所定周波数のサンプリングクロックによりデジタルデータに変換する。このアナログ・デジタル変換部15は、サンプリングクロックの周期で、アナログデータの強度を採取してデジタルデータに変換する。
メモリ17は、アナログ・デジタル変換部15で変換されたデジタルデータを一時的に格納する送信バッファで構成される。
送信制御部16は、時刻管理部11が管理する時刻情報に基づいて、メモリ17内に格納されているデジタルデータの読み出しおよびデジタルデータに付加するタイムスタンプを設定し、データ送信動作の制御を行う。
タイムスタンプ生成部18は、送信制御部16の制御に基づいて、送信するデジタルデータに付加するタイムスタンプとして生成する。
送信データ生成部19は、メモリ17に格納されているデジタルデータを送信制御部16の制御に従って読み出して、タイムスタンプ生成部18で生成されたタイムスタンプを付加し、所定容量毎にパケットを作成する。
送信データ生成部19で生成されるパケットデータは、たとえば、図4に示すような構成とすることができる。パケットには、IPヘッダ、UDPヘッダ、RTPヘッダおよびデジタルデータが含まれている。IPヘッダには、送信元のIPアドレス、送信先のIPアドレスなどが記述されている。UDPヘッダには、送信元ポート番号、送信先ポート番号、メッセージ長などが記述されている。ここでは、IPパケットのデータ部にUDPパケットを用いた場合を示しており、これに代えてTCPパケットを用いた場合には、UDPヘッダの代わりにTCPヘッダを用いる。RTPヘッダには、バージョン、パディング、CSRC:CSRC識別子の個数、ペイロードタイプ、パケットの順番を示すシーケンス番号、パケットの先頭データに対応するタイムスタンプ、送信装置の識別子、元の送信者の識別子リストなどを備えている。
データ送信部20は、送信データ生成部19で生成されたパケットを時系列でネットワークを介して送出する。
遅延時間測定部21は、各受信端末3までの送信時間を計測し、そのうち最大送信時間に基づいてデータ送信時から受信端末3における再生時までの再生遅延時間を決定し、各受信端末3がデータ受信から再生するまでの遅延時間を算出してこれを各受信端末3に送信する。たとえば、送信実時間を記録したネゴシエーションパケット(テストパケット)を各受信端末3に送信し、各受信端末3からの受信実時間を記録した返信パケットを受信し、各受信端末3までの送信時間を収集する。これから、最大送信時間を特定することができ、この最大送信時間に余裕を持たせるための所定時間を加算したものと、各受信端末3までの送信時間の差分を遅延時間として算出して、各受信端末3に送信するように構成できる。
〔受信端末〕
受信端末3の機能ブロック図を図3に示す。
受信端末3は、時刻管理部31、外部クロック受信部32、サンプリングクロック生成部33、データ受信部34、タイムスタンプ抽出部35、データ格納部36、再生制御部37、デジタル・アナログ変換部38、データ出力部39、遅延時間管理部40を備えている。
時刻管理部31は、外部からの電波を受信してこれに含まれる時刻情報を管理するものであり、送信端末1の時刻管理部11と同様に、日本標準時電波、GPS衛星からの電波、海外からの短波標準電波、各種放送の時報、電話による時報サービスなどの電波を受信してこれに含まれる時刻情報を管理するように構成できる。
外部クロック受信部32は、外部からの電波を受信して内部クロックのずれを補完するものであって、送信端末1の外部クロック受信部12と同様に、日本標準時電波、GPS衛星からの電波、海外の短波標準電波、テレビジョン放送の色信号を伝送するためのカラーサブキャリアなどを受信して利用することが可能である。
サンプリングクロック生成部33は、外部クロック受信部32で受信したクロック信号に基づいて所定周波数のサンプリングクロックを生成するものであり、送信端末1のサンプリングクロック生成部14と同様に、PLL(Phase Locked Loop)回路により所定周波数を生成するように構成できる。
データ受信部34は、送信端末1からネットワーク2を介して送信されてくるデータを受信する。前述したように、送信端末1のデータ送信部20では、所定容量毎にパケット化したデータを送出するように構成しており、データ受信部34は受信したパケットを解析してデジタルデータをデータ格納部36に格納する。
タイムスタンプ抽出部35は、データ受信部34で受信したパケットに含まれるタイムスタンプを抽出する。前述したように、パケットデータのRTPヘッダにタイムスタンプが含まれている場合には、このRTPヘッダ内に格納されているタイムスタンプを抽出してこれをメモリの所定領域に格納する。
データ格納部36は、受信したパケット中に含まれるデジタルデータを一時的に格納するための受信バッファで構成される。
遅延時間管理部40は、データ受信から再生までの遅延時間を管理するものであり、送信端末1からの伝送遅延を考慮して、他の受信端末3と再生タイミングが一致するように設定された遅延時間を記憶するメモリで構成することができる。この遅延時間管理部40で管理される遅延時間は、送信端末1の遅延時間測定部21で算出された各受信端末3の遅延時間を記憶するように構成することができる。
再生制御部37は、データ格納部36に格納されたデジタルデータを読み出して、再生するための制御を行うものであり、時刻管理部31で管理される時刻情報と、タイムスタンプ抽出部35で抽出されたタイムスタンプと、遅延時間管理部40で管理されている遅延時間とに基づいて、データ格納部36に格納されているデジタルデータを読み出してデジタル・アナログ変換部38に送出する。
デジタル・アナログ変換部38は、再生制御部37の制御によりデータ格納部36から読出が開始されたデジタルデータを、サンプリングクロック生成部33で生成される所定周波数のサンプリングクロックによりアナログデータに変換する。
データ出力部39は、デジタル・アナログ変換部38で変換されたアナログデータを出力するものであり、たとえば、アナログ音声信号を増幅器で増幅してスピーカで出力するように構成でき、また、記録媒体に録音機器などにライン出力するように構成できる。
〔遅延時間設定のためのネゴシエーション〕
送信端末1の遅延時間測定部21により各受信端末3の遅延時間を設定するための動作を図5のフローチャートに基づいて説明する。
前述したように、送信端末1の遅延時間測定部21では、各受信端末3までの送信時間を測定し、これに基づいて各受信端末3における遅延時間を算出するように構成できる。
まず、送信端末1では、送信実時間入りネゴシエーションパケットを各受信端末3に送信する(ステップS11)。ここでは受信端末3における受信実時間を記録したパケットを返送することを要求するパケットを生成し、これに送信実時間をタイムスタンプとして記録して各受信端末3に送信するようにする。
受信端末3では、送信端末1からのネゴシエーションパケットを受信して、受信実時間を記憶する(ステップS21)。
受信端末3は、受信したネゴシエーションパケットに対応する返信パケットを生成し、この返信パケットに受信実時間を記録して、送信端末1に送出する(ステップS22)。
送信端末1は、受信端末3からの受信実時間が記録された返信パケットを受信する(ステップS12)。送信端末1は、受信した返信パケットに記録されている受信実時間を所定のメモリ領域に格納して記憶する。
送信端末1は、ネットワークを介して接続されている全ての受信端末3から返信パケットを受信したか否かを判断する(ステップS13)。返信パケットを受信していない受信端末3が存在していると判断した場合には、このステップで待機状態を維持する。
送信端末1は、全ての受信端末3からの返信パケットを受信したと判断した場合、各返信パケットに含まれている受信実実時間とこれに対応する送信実時間から、各受信端末3への送信時間を算出し、このうちから最大送信時間を抽出する(ステップS14)。
送信端末1は、最大送信時間と各受信端末3への送信時間との差分を算出し、これに余裕を持たせるための所定時間αを加算して、各受信端末3におけるデータ受信から再生までの遅延時間tを算出する(ステップS15)。
送信端末1は、各受信端末3に対して算出した遅延時間tを送信するための遅延時間設定パケットを生成し、この遅延時間設定パケットを各受信端末3に送信する(ステップS16)。
受信端末3では、送信端末1から送信されてくる遅延時間設定パケットを受信し、このパケットに含まれる遅延時間tを遅延時間管理部40に設定する(ステップS23)。
ここでは、説明のために、遅延時間設定のためのネゴシエーションパケット送信動作を1回だけ行うように記載しているが、複数回のネゴシエーションパケットの送受信を行って、最大送信時間の精度を上げるように構成することも可能である。
また、遅延時間tに余裕を持たせるための所定時間αは、受信端末3側で付加するように構成すことも可能である。さらに、用途やネットワーク環境等に合わせて、所定時間αの値を手動設定できるように構成することが好ましい。
また、受信端末1側で最大送信時間と所定時間αを加算した再生遅延時間を管理しておき、実データの送信時においてパケットに付加するタイムスタンプに、送信実時間に再生遅延時間を加算するように構成することも可能である。この場合、受信端末3側では、パケットに付加されているタイムスタンプ通りに再生を行うことで、各受信端末3における再生タイミングを精確に合わせることが可能となる。
〔通信処理〕
送信端末1から受信端末3へのデジタルデータの送信処理について、図6のフローチャートに基づいて説明する。
送信端末1は、アナログデータ入力部13で受け付けたアナログデータを所定周波数のサンプリングクロックによりサンプリングしてデジタルデータを生成してメモリ17内に格納する(ステップS31)。
送信端末1の送信データ生成部19は、メモリ17に格納されているデジタルデータを送信制御部16の制御に従って読み出して、タイムスタンプ生成部18で生成されたタイムスタンプを付加し、所定容量毎にパケットを作成する(ステップS32)。遅延時間測定部21により各受信端末3における遅延時間を算出して、各受信端末3に対して遅延時間設定パケットを送信している場合には、各パケットに付加するタイムスタンプは送信実時間とすることができる。また、各受信端末3に対する遅延時間の設定を行わない場合には、最大送信時間に基づく再生遅延時間を送信実時間に加算したものをタイムスタンプしてパケットに付加するように構成することもできる。前述したように、タイムスタンプは、パケットのRTPヘッダ内に格納するように構成できる。
送信端末1のデータ送信部20は、各受信端末3に対してパケットされた送信データを時系列で送信する(ステップS33)。
受信端末3では、送信端末1から送信されてくるパケットをデータ受信部34により受信する(ステップS41)。
受信端末1のタイムスタンプ抽出部35は、受信したパケット中に含まれるタイムスタンプを抽出する。前述したように、パケットデータのRTPヘッダにタイムスタンプが含まれている場合には、このRTPヘッダ内に格納されているタイムスタンプを抽出してこれをメモリの所定領域に格納する。また、遅延時間管理部40で管理されている遅延時間tが存在する場合には、タイムスタンプにこの遅延時間tを加算して再生時刻を算出し、これをメモリの所定領域に格納する。さらに、パケット中に含まれるデジタルデータをデータ格納部36に格納する。
〔再生処理〕
受信端末3におけるデジタルデータの再生処理について図7のフローチャートに基づいて説明する。
受信端末3では、再生制御部37が、時刻管理部31の管理する時刻情報と、メモリの所定領域に格納されたデジタルデータの再生時刻とを比較して、再生タイミングに到達したデジタルデータがあるか否かを判別する(ステップS51)。
再生制御部37は、現在の実時間に対応する再生時刻のデジタルデータがあると判断した場合、データ格納部36に格納されている該当するデジタルデータをデジタル・アナログ変換部38に転送し、所定周波数のサンプリングクロックでアナログデータに変換してデータ出力部39を介して出力する(ステップS52)。
再生制御部37は、現在の実時間に対応する再生時刻のデジタルデータが存在しないと判断した場合には、1パケット分欠落処理を実行する(ステップS53)。この1パケット分欠落処理は、送受信を行うデジタルデータが音声データである場合には、データ出力部39から出力される音声データを無音にするか、あるいは直前に出力した音声データを出力するような無音処理を行う。また、動画像データの場合には、直前の動画像データの最終フレームを出力し、音声データについては無音にするなどの処理を行うことが考えられる。
パケットの欠落が生じたような場合には、ネゴシエーションの遅延時間の設定が不適切であるか、またはネットワークの回線状況に変換が生じた場合が考えられるため、パケット欠落が生じた旨の報告を送信端末1側に伝えて、遅延時間の変更要求を行うように構成できる。たとえば、設定された遅延時間からさらに所定時間後にパケットを受信した場合には、遅延時間設定ネゴシエーションにおいて設定されて遅延時間が短かったと判断して、遅延時間を長くする要求を送信端末1に送信するように構成できる。ただし、設定された遅延時間からさらに所定時間を経過してもパケットの受信を行うことができない場合には、ネットワーク上での衝突などによる伝送上の障害であると見なして、送信端末1側に遅延時間変更の要求を行わないようにすることができる。
遅延時間設定ネゴシエーション後のデータ再生中に遅延時間を変更を行う場合には、遅延時間変更する旨の通知を行った後、送信端末1側で無音中にマーカーを挿入するなどして、違和感なく遅延時間の変更を行うことができる。
〔他の実施形態〕
(A)送信端末1と各受信端末3までのネットワーク状況を仮想的に判断して、パケット欠落が生じないような十分な遅延時間を設定するように構成することができる。この場合、送信端末1側における遅延時間測定部21の構成を省力することが可能である。
(B)送信端末1と受信端末3において、外部からの電波を受信して内部クロックの補完を行うように構成しているが、通常の水晶発振回路などのクロック源を用いてサンプリングクロックを生成するように構成することが可能である。
(C)送信端末1において、送信実時間に再生遅延時間を加算した時刻をタイムスタンプして用いた場合には、受信端末3の遅延時間管理部40を省略することが可能となる。この場合、受信端末3では、パケットに付加されたタイムスタンプを再生タイミングにすることで、各受信端末3の再生タイミングを精確に合わせることが可能である。
本発明では、各受信端末で管理される時刻情報が同一精度であるとともに、デジタルデータにタイムスタンプが付加されているため、送信端末から各受信端末までの送信時間に基づいて受信端末個々の遅延時間を設定しておくことで、各受信端末における再生時刻を一致させることが可能となり、再生時間のずれを防止することが可能となる。
本発明のデジタルデータ伝送システムの概念構成を示す説明図。 本発明の1実施形態による送信端末の機能ブロック図。 本発明の1実施形態による受信端末の機能ブロック図。 パケット構成例を示す説明図。 遅延時間設定ネゴシエーションのフローチャート。 通信処理のフローチャート。 再生処理のフローチャート。

Claims (13)

  1. 送信端末から複数の受信端末にネットワークを介してデジタルデータを含む送信データを送信し、前記複数の受信端末に前記デジタルデータを同時に再生させるデジタルデータ伝送システムであって、
    前記送信端末は、
    デジタルデータを所定容量毎にパケット化してタイムスタンプを付加した送信データを生成する送信データ生成部と、
    前記送信データ生成部で生成された送信データをネットワークを介して送信するデータ送信部と、
    を備え、前記受信端末は、
    他の受信端末が受信する時刻情報と同一精度の時刻情報を管理する時刻管理部と、
    送信データを受信してから再生するまでの遅延時間を管理する遅延時間管理部と、
    ネットワークワークを介して送信されてくる送信データを受信するデータ受信部と、
    受信した送信データに含まれるデジタルデータを一時的に格納するデータ格納部と、
    受信した送信データからデジタルデータに付加されたタイムスタンプを抽出するタイムスタンプ抽出部と、
    前記時刻管理部で管理されている時刻情報、前記タイムスタンプ抽出部で抽出されたタイムスタンプおよび前記遅延時間管理部で管理されている遅延時間に基づいて再生タイミングを制御する再生制御部と、
    前記再生制御部による再生タイミングに基づいて、前記データ格納部に格納されたデジタルデータの読出を開始し、アナログデータに変換するデジタル・アナログ変換部と、
    前記デジタル・アナログ変換部で変換されたアナログデータを出力するデータ出力部と、
    を備える、デジタルデータ伝送システム。
  2. 前記受信端末の時刻管理部は、外部から時刻情報を受信して管理する、請求項1に記載のデジタルデータ伝送システム。
  3. 前記送信端末は、各受信端末までの送信時間のうちの最大送信時間に基づいてデータ送信時から受信端末における再生時までの再生遅延時間を算出し、前記再生遅延時間と各受信端末までの送信時間との差分に基づいて各受信端末に対応する遅延時間を決定する遅延時間測定部をさらに備え、前記遅延時間測定部で決定した遅延時間をそれぞれ各受信端末に予め送信することを特徴とする、請求項1または2に記載のデジタルデータ伝送システム。
  4. 前記送信端末は、受信端末が受信する時刻情報と同一精度の時刻情報を外部から受信して管理する時刻管理部をさらに備える請求項1〜3のいずれかに記載のデジタルデータ伝送システム。
  5. 前記送信端末は、アナログデータの入力を受け付けるアナログデータ入力部と、外部からのクロック信号を受信する外部クロック受信部と、前記外部クロック受信部で受信したクロック信号に基づいて所定周波数のサンプリングクロックを生成するサンプリングクロック生成部と、前記サンプリングクロック生成部で生成されたサンプリングクロックにより前記アナログデータ入力部に受け付けたアナログデータをデジタルデータに変換するアナログ・デジタル変換部とを備え、
    前記受信端末は、前記送信端末の外部クロック受信部が受信するクロック信号と同一周波数精度のクロック信号を受信する外部クロック受信部と、前記外部クロック受信部で受信したクロック信号に基づいて所定周波数のサンプリングクロックを生成するサンプリングクロック生成部とを備え、前記デジタル・アナログ変換部は、前記再生制御部の再生タイミングで読出が開始されたデジタルデータを前記サンプリングクロック生成部で生成されたサンプリングクロックによりアナログデータに変換する、請求項1〜4のいずれかに記載のデジタルデータ伝送システム。
  6. 送信端末から送信される送信データを受信して前記送信データに含まれるデジタルデータを再生する受信装置であって、
    ネットワークに接続された他の受信装置と同一精度の時刻情報を管理する時刻管理部と、
    送信データを受信してから再生するまでの遅延時間を管理する遅延時間管理部と、
    ネットワークを介して送信されてくる送信データを受信するデータ受信部と、
    受信した送信データに含まれるデジタルデータを一時的に格納するデータ格納部と、
    受信した送信データからデジタルデータに付加されたタイムスタンプを抽出するタイムスタンプ抽出部と、
    前記時刻管理部で管理されている時刻情報、前記タイムスタンプ抽出部で抽出されたタイムスタンプおよび前記遅延時間管理部で管理されている遅延時間に基づいて再生タイミングを制御する再生制御部と、
    前記再生制御部による再生タイミングに基づいて、前記データ格納部に格納されたデジタルデータの読出を開始し、アナログデータに変換するデジタル・アナログ変換部と、
    前記デジタル・アナログ変換部で変換されたアナログデータを出力するデータ出力部と、
    を備える受信装置。
  7. 前記時刻管理部は、外部からの時刻情報を受信して管理する、請求項6に記載の受信装置。
  8. 複数の受信端末にネットワークを介してデジタルデータを含む送信データを送信し、前記複数の受信端末に前記デジタルデータを同時に再生させる送信装置であって、
    各受信端末が管理する時刻情報と同一精度の時刻情報を管理する時刻管理部と、
    デジタルデータを所定容量毎にパケット化し前記時刻管理部が管理する時刻情報に基づくタイムスタンプを前記各パケットに付加した送信データを生成する送信データ生成部と、
    前記送信データを受信してから再生するまでの遅延時間を設定する受信装置であって、前記時刻情報、前記遅延時間および前記タイムスタンプに基づいて再生タイミングを制御する受信装置に対し、前記送信データ生成部で生成された送信データをネットワークを介して送信するデータ送信部と、
    を備える送信装置。
  9. 各受信端末までの送信時間のうちの最大送信時間に基づいてデータ送信時から受信端末における再生時までの再生遅延時間を算出し、前記再生遅延時間と各受信端末までの送信時間との差分に基づいて各受信端末に対応する遅延時間を決定する遅延時間測定部をさらに備え、前記遅延時間測定部で算出した遅延時間を前記受信端末に予め送信することを特徴とする、請求項8に記載の送信装置。
  10. アナログデータの入力を受け付けるアナログデータ入力部と、
    各受信端末が管理するクロック信号と同一精度のクロック信号を外部から受信する外部クロック受信部と、
    前記外部クロック受信部で受信したクロック信号に基づいて所定周波数のサンプリングクロックを生成するサンプリングクロック生成部と、
    前記サンプリングクロック生成部で生成されたサンプリングクロックにより前記アナログデータ入力部に受け付けたアナログデータをデジタルデータに変換するアナログ・デジタル変換部と
    をさらに備える、請求項8または9に記載の送信装置。
  11. 送信端末から複数の受信端末にネットワークを介してデジタルデータを含む送信データを送信し、前記複数の受信端末に前記デジタルデータを同時に再生させるデジタルデータ伝送方法であって、
    各受信端末に共通する精度の時刻情報を管理する段階と、
    受信データを受信してから再生するまでの遅延時間を受信端末毎に管理する段階と、
    デジタルデータを所定容量毎にパケット化してタイムスタンプを付加した送信データを生成する段階と、
    生成された送信データをネットワークを介して送信する段階と、
    ネットワークを介して送信されてくる送信データを受信する段階と、
    受信した送信データからデジタルデータに付加されたタイムスタンプを抽出する段階と、
    前記送信データに含まれるデジタルデータを格納する段階と、
    時刻情報、遅延時間および抽出したタイムスタンプに基づいて再生タイミングを決定する段階と、
    前記再生タイミングに基づいて格納されたデジタルデータの読出を開始し、アナログデータに変換して出力する段階と、
    を含むデジタルデータ伝送方法。
  12. 外部から時刻情報を受信して管理することを特徴とする請求項11に記載のデジタルデータ伝送方法。
  13. 送信端末から各受信端末までの送信時間を計測する段階と、送信端末から各受信端末までの送信時間のうちの最大送信時間に基づいてデータ送信時から受信端末における再生時までの再生遅延時間を算出する段階と、前記再生遅延時間と各受信端末までの送信時間との差分に基づいて各受信端末に対応する遅延時間を決定し各受信端末に送信する段階とをさらに含む、請求項11または12に記載のデジタルデータ伝送方法。
JP2005021708A 2005-01-28 2005-01-28 デジタルデータ伝送システムおよびデジタルデータ伝送方法 Active JP4409454B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005021708A JP4409454B2 (ja) 2005-01-28 2005-01-28 デジタルデータ伝送システムおよびデジタルデータ伝送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005021708A JP4409454B2 (ja) 2005-01-28 2005-01-28 デジタルデータ伝送システムおよびデジタルデータ伝送方法

Publications (2)

Publication Number Publication Date
JP2006211380A JP2006211380A (ja) 2006-08-10
JP4409454B2 true JP4409454B2 (ja) 2010-02-03

Family

ID=36967733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005021708A Active JP4409454B2 (ja) 2005-01-28 2005-01-28 デジタルデータ伝送システムおよびデジタルデータ伝送方法

Country Status (1)

Country Link
JP (1) JP4409454B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227687B2 (en) 2010-01-22 2022-01-18 Deka Products Limited Partnership System, method, and apparatus for communicating data
US10044791B2 (en) 2010-01-22 2018-08-07 Deka Products Limited Partnership System, method, and apparatus for communicating data
JP2014199648A (ja) * 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP7355609B2 (ja) * 2019-11-05 2023-10-03 日本放送協会 映像信号を受信する受信機

Also Published As

Publication number Publication date
JP2006211380A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
RU2418367C2 (ru) Способ и устройство для обработки транспортного потока, совместимого с форматом dvb-h (цифрового видеовещания для портативных устройств)
US8873928B2 (en) Audio and video synchronization apparatus and method in wireless communication network
US20200359071A1 (en) Data processing apparatus and data processing method
US20070008984A1 (en) Buffer management system, digital audio receiver, headphones, loudspeaker, method of buffer management
JP4409454B2 (ja) デジタルデータ伝送システムおよびデジタルデータ伝送方法
US20030118158A1 (en) Reproducing system and reproduction method, and data transmission device and data transmission method
JPWO2006064689A1 (ja) 無線通信システム
CA3001275A1 (en) Receiving apparatus, sending apparatus, and data processing method
JPWO2017073336A1 (ja) 送信装置、受信装置、及び、データ処理方法
AU2020244602A1 (en) Data processing device and data processing method
US20070230466A1 (en) Broadcast receiving apparatus and broadcast receiving method
JP5082715B2 (ja) 受信装置、受信方法およびコンピュータプログラム
JP2006157361A (ja) データ伝送方法およびデータ伝送システム
JP4219854B2 (ja) 受信装置
JP2007129518A (ja) デジタルデータ伝送システムおよびデジタルデータ伝送方法
JP2007129517A (ja) デジタルデータ伝送システムおよびデジタルデータ伝送方法
US11127434B2 (en) Timecode generator with global accuracy and flexible framerate
JP7255301B2 (ja) 切り替え方法、ip再送信システム、ip再送信装置および制御装置
JP7247706B2 (ja) 送信ノード、放送局システム、制御ノード及び送信制御方法
JP7069847B2 (ja) 同期処理装置、信号処理システム、同期処理方法、および同期処理用プログラム
JP2004254123A (ja) コンテンツ配信システムにおけるコンテンツ受信装置およびコンテンツ差分送信装置
JP7334442B2 (ja) 放送信号処理システム及び放送信号処理方法
KR20180050983A (ko) Rtp 패킷 전송 방법 및 장치
JPH036150A (ja) 衛星放送受信装置
KR100739740B1 (ko) 방송 녹화 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091111

R150 Certificate of patent or registration of utility model

Ref document number: 4409454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250