JP3833979B2 - 実時間伝送システムおよび実時間受信装置 - Google Patents
実時間伝送システムおよび実時間受信装置 Download PDFInfo
- Publication number
- JP3833979B2 JP3833979B2 JP2002272098A JP2002272098A JP3833979B2 JP 3833979 B2 JP3833979 B2 JP 3833979B2 JP 2002272098 A JP2002272098 A JP 2002272098A JP 2002272098 A JP2002272098 A JP 2002272098A JP 3833979 B2 JP3833979 B2 JP 3833979B2
- Authority
- JP
- Japan
- Prior art keywords
- real
- transmission
- time
- transmission line
- time signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＩＰ（Internet Protocol）を用いた仮想私設網（ＶＰＮ）網のように伝送コストは廉価ではあるが他の端末と網を共用しているために時々伝送誤りが増加する伝送路と、ＩＳＤＮ（Integrated Services Digital Network）網のように回線を占有できるので信頼性が高いが伝送コストも高い伝送路とを適応的に切替えることにより、伝送コストの低減と信頼性の確保を図ることを目的とする。
【０００２】
【従来の技術】
テレビカメラで撮像された画像信号を送出する伝送装置には、ＩＳＤＮ回線を利用したものやＩＰネットワークを利用したものがある。この伝送装置では、伝送路が切断されたりすることにより不通となり、切断された時以降の映像および音声が送られてこない。また、通常その切断されたとき以降の映像・音声は録画もされず、見ることができない（例えば、特許文献１参照）。
【０００３】
この問題に対処するには、回線の二重化およびその切替えが必要であった。伝送装置において、回線を二重化しておくことや、回線の切替えを手動で行なうことは、従来行なわれている（例えば、特許文献２参照）。
【０００４】
しかし、最近サービスが開始されているＩＰを用いたＶＰＮ網では、画像信号をＩＰパケット化してネットワークに送出することは従来行なわれている（例えば、特許文献３参照）。
【０００５】
【特許文献１】
特開平５−７３６３号公報
【特許文献２】
特開平８―７９７２７号公報
【特許文献３】
特開２００１−２３８１６０号公報
【０００６】
【発明が解決しようとする課題】
本発明の課題は、上記問題を解決するために、ＩＰを用いたＶＰＮ網において、伝送誤りの増加傾向を検知し、伝送誤りが多くて実時間信号の伝送に適さなくなる前に、ＩＳＤＮ網等の他の伝送路に切替えることができる実時間伝送装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明は、テレビカメラ等から入力された映像・音声等の実時間信号を符号化する手段と、符号化した実時間符号化信号をＩＳＤＮ等の信頼性が高い伝送路とＶＰＮ網等の低コストの伝送路に送出する手段と、ＶＰＮ網等の低コストの伝送路経由で受信した実時間符号化信号の通信品質を検査し、通信品質が低下している場合はＩＳＤＮ等の信頼性が高い伝送路の通信を開始し、ＩＳＤＮ等の信頼性が高い伝送路経由で伝送された実時間符号化信号に切り替える手段と、切替え後の実時間符号化信号を復号化して元の画像や音声信号を再生する手段とを有することを特徴とする。
【０００８】
ここで、通信品質の検査方法としては、パケットロス率、パケットの到着間隔の揺らぎ（ジッタ）等、ＩＰ通信の評価でしばしば使われている指標が考えられる。
【０００９】
【発明の実施の形態】
以下、図１を用いて本発明にかかる実時間送信装置である動画像送信装置と、実時間受信装置である動画像受信装置からなる実時間伝送システムの実施例を説明する。動画像送信装置１に接続された、テレビカメラ２１から入力された映像信号と、マイク２２から入力された音声信号は、動画像送信装置１によりデジタル化されたデータとしてＩＰネットワーク６１またはＩＳＤＮ回線６２により動画像受信装置３へ送信される。尚、この場合のテレビカメラとマイクの代わりにＶＴＲなどの映像機器に接続されてもよい。
【００１０】
送信されたデータは、動画像受信装置３で受信され、映像および音声として動画像受信装置３に接続されたテレビモニタ５１とスピーカ５２に出力される。この場合もテレビモニタとスピーカの代わりに他のＶＴＲなどの映像機器に接続されていてもよい。
【００１１】
図２を用いて、動画像送信装置１の内部構成を説明する。動画像送信装置１は、映像アナログ・デジタル変換器（Ａ／Ｄ）１０‐１と、映像符号化回路１１‐１と、音声アナログ・デジタル変換器（Ａ／Ｄ）１０‐２と、音声符号化回路１１‐２と、映像・音声多重化部（ＭＵＸ）１２と、バッファメモリ（Ｂｕｆ）１３と、ＩＰ網インタフェース（ＮＩＣ）１４と、ＩＳＤＮ回線インタフェース（ＮＣＵ）１５、蓄積部１６と、蓄積部動作制御部１７と、コネクタポート１８とを有して構成される。
【００１２】
映像アナログ・デジタル変換器１０‐１は、テレビカメラ２１から入力された映像信号をデジタル化する働きを有している。
【００１３】
映像符号化回路１１‐１は、デジタル化された映像信号を伝送や蓄積するのに適した形の符号化データとする働きを有している。
【００１４】
音声アナログ・デジタル変換器１０‐２は、マイク２２から入力された音声入力信号をデジタル化する働きを有している。
【００１５】
音声符号化回路１１‐２は、デジタル化された音声信号を伝送や蓄積するのに適した形の符号化データとする働きを有している。
【００１６】
映像・音声多重化部（ＭＵＸ）１２は、これら符号化された映像と音声の各符号化データを多重化する働きを有している。
【００１７】
バッファメモリ１３は、ＩＰ網インタフェース１４とＩＳＤＮ回線インタフェース１５の切替えのときにデータが一旦途切れるのを防止する緩衝器として働く。
【００１８】
ＩＰ網インタフェース（ＮＩＣ）１４は、ＩＰネットワーク６１とのインタフェースを取る。
【００１９】
ＩＳＤＮ回線インタフェース（ＮＣＵ）１５は、ＩＳＤＮ回線６２とのインタフェースを取る。
【００２０】
蓄積部１６は、ＩＰネットワーク６１およびＩＳＤＮ回線６２の双方の回線が不通となったときにデータを蓄積する働きを有する。
【００２１】
蓄積部動作制御部１７は、ＩＰ網インタフェース１４とＩＳＤＮ回線インタフェース１５を監視して蓄積部１６の動作を制御する働きを有している。
【００２２】
まず、テレビカメラ２１から入力された映像入力信号は、映像アナログ・デジタル変換器１０‐１によりデジタル化される。デジタル化された映像信号は映像符号化回路１１‐１により伝送や蓄積するのに適した形の符号化データとなる。一方、マイク２２から入力された音声入力信号も、音声アナログ・デジタル変換器１０‐２によりデジタル化される。デジタル化された音声信号は音声符号化回路１１‐２により伝送や蓄積するのに適した形の符号化データとなる。これら符号化された映像と音声の各符号化データは、映像・音声多重化部１２により多重化された符号化データとなる。
【００２３】
多重化された映像・音声符号化データはバッファメモリ（Ｂｕｆ）１３に一旦格納される。格納されたデータは、すぐに次のＩＰ網インタフェース１４とＩＳＤＮ回線インタフェース１５および蓄積部１６の各入口まで同時に送られる。
【００２４】
図３を用いて、動画像受信装置３の内部構成を説明する。動画像受信装置３は、ＩＰ網インタフェース（ＮＩＣ）３０と、ＩＳＤＮ網インタフェース（ＮＣＵ）３１と、ＩＰ網用バッファメモリ（Ｂｕｆ）３２‐１と、ＩＳＤＮ回線用バッファメモリ（Ｂｕｆ）３２‐２と、ＩＰ網同期検出部３３‐１と、ＩＳＤＮ回線同期検出部３３‐２と、遅延制御部３４と、切替器３５と、ネットワーク異常検出部３６と、遅延器３７と、映像音声多重化データ分離部（ＤＭＵＸ）３８と、映像復号化回路３９‐１と、音声復号化回路３９‐２と、映像信号デジタル・アナログ変換器（Ｄ／Ａ）４０‐１と、音声信号デジタル・アナログ変換器（Ｄ／Ａ）４０‐２とを有して構成される
【００２５】
ＩＰ網インタフェース３０は、ＩＰネットワーク６１とのインタフェースである。
【００２６】
ＩＳＤＮ網インタフェース３１は、ＩＳＤＮ回線６２とのインタフェースである。
【００２７】
ＩＰ網用バッファメモリ３２‐１は、ＩＰ網インタフェース３０が取り出した伝送データを一旦蓄積する働きを有している。
【００２８】
ＩＳＤＮ回線用バッファメモリ３２‐２は、ＩＳＤＮ回線インタフェース３１が取り出した伝送データを一旦蓄積する働きを有している。
【００２９】
ＩＰ網同期検出部３３‐１は、ＩＰ網の同期を検出する働きを有している。
【００３０】
ＩＳＤＮ回線同期検出部３３‐２は、ＩＳＤＮ回線の同期を検出する働きを有している。
【００３１】
遅延制御部３４は、ＩＰ網同期検出部３３‐１、ＩＳＤＮ回線同期検出部３３−２で検出したＩＰ網およびＩＳＤＮ回線の同期に基づいて、ＩＰ網用バッファメモリ３２‐１、ＩＳＤＮ回線用バッファメモリ３２‐２の読出タイミングを制御することによって遅延量を制御し切替えのタイミングをはかる働きを有している。
【００３２】
切替器３５は、遅延器３７からの制御によって、ＩＰネットワーク６１からの伝送データとＩＳＤＮ回線６２からの伝送データを切替えて出力する働きを有している。
【００３３】
ネットワーク異常検出部３６は、ＩＰネットワーク６１経由で受信した伝送データを監視しパケットロス率やジッタ等を計測して伝送誤りがさらに増加する徴候を検出し、ＩＳＤＮ回線インタフェース３１を起動してＩＳＤＮ回線６２に呼を設定すると共に、ＩＰネットワーク６１上の異常を、ＩＰネットワーク６１を介して動画像送信装置１に対して通知し、ＩＰ網インタフェース１４かＩＳＤＮ回線インタフェース１５への切替えを指示する働きを有している。さらに、ネットワーク異常検出部３６は、ＩＳＤＮ網６２経由で伝送データを伝送中にＩＰネットワーク６１を監視し、ＩＰネットワーク６１の異常が復旧したことを検出すると、ＩＳＤＮ網６２からＩＰネットワーク６１経由の伝送に戻す働きを有している。
【００３４】
遅延器３７は、伝送路切替時にＩＰネットワーク６１とＩＳＤＮ網６２の切替えタイミングを調整する働きを有している。
【００３５】
映像音声多重化データ分離部３８は、多重化データから映像データと音声データとを分離する働きを有している。
【００３６】
映像復号化回路３９‐１は、映像データを復号化してデジタル映像データとする働きを有している。
【００３７】
音声復号化回路３９‐２は、音声データを復号化してデジタル音声データとする働きを有している。
【００３８】
ＩＰネットワーク６１から入ってきた伝送データはＩＰ網インタフェース３０に入力される。ＩＰ網インタフェース３０で取り出された伝送データは、一旦ＩＰ網用バッファメモリ３２‐１を経由し、ＩＰ網同期検出部３３‐１へ入力される。ＩＳＤＮ回線６２から入ってきた伝送データはＩＳＤＮ網インタフェース３１に入力される。ＩＳＤＮ回線インタフェース３１で取り出された伝送データは一旦ＩＳＤＮ回線用バッファメモリ３２−２を経由し、ＩＳＤＮ回線同期検出部３３−２へ入力される。
【００３９】
このＩＰ網同期検出部３３‐１，ＩＳＤＮ回線同期検出部３３−２でそれぞれの同期を検出し、バッファからの読み出しタイミングを制御して遅延を制御し切替えのタイミングをはかる。
【００４０】
ネットワーク異状検出部３６は、受信した伝送データのパケットロス率およびパケットが到着する間隔の揺らぎ（ジッタ）を常時監視し、設定された設定値により切替器３５を制御する。遅延器３７は各同期を見ながら切替えタイミングの調整を行う。一方、ネットワーク異常検出部３６は、ＩＰネットワーク６１を通して動画像送信装置１へＩＰ網インタフェース１４かＩＳＤＮ回線インタフェース１５の切替えを指示する。
【００４１】
図２に戻り、動画像受信装置３から切替え指示を受け取った動画像送信装置１では、ＩＰ網インタフェース１４とＩＳＤＮ回線インタフェース１５の切替えを行う。切替えの期間の符号化データは、バッファメモリ１３に一時格納されており、切替え後をスムーズに行うことができる。
【００４２】
次に、図３の続きで切替え後のデータの流れについて説明する。切替器３５で選択され出力されたデータは、映像音声多重化データ分離部３８により映像符号化データと音声符号化データに分離される。分離された映像符号化データは、映像復号化回路３９‐１によりデジタル映像信号となる。デジタル映像信号は映像デジタル・アナログ変換器４０−１によりアナログの映像信号となりテレビモニタ５１へ出力される。
【００４３】
一方、音声についても同様に、映像音声多重化データ分離部３８により分離された音声符号化データは音声復号化回路３９‐２によりデジタル音声信号となる。デジタル音声信号は音声デジタル・アナログ変換器４０−２によりアナログの音声信号となりスピーカ５２へ出力される。テレビモニタ５１からはテレビカメラ２１から入力された映像が表示され、スピーカ５２からはマイク２２から入力された音声が再生される。
【００４４】
次に、本発明にかかる画像伝送装置１の切替え動作シーケンスについて図４及び図５を用いて説明する。まず、動画送受信装置３のネットワーク異常検出部３６において、ＩＰネットワーク６１上のデータロス率およびＲＴＴジッタ等を監視し（ステップＳ１）、その値が第１の値を超えたか否かを判断する（ステップＳ２）。ＩＰネットワーク６１上のデータロス率およびＲＴＴジッタ等の値が第１の閾値以上となった場合、ＩＳＤＮ回線インタフェース３１を立ち上げる（ステップＳ３）。
【００４５】
ＩＳＤＮ回線インタフェース３１にて回線状態を監視し（ステップＳ４）、状態が不適合の場合（ステップＳ５：Ｎｏ）、送信側へ蓄積開始命令を発行する（ステップＳ６）。それに基づいて送信側では蓄積を開始する（ステップＳ７）。引き続きロス率およびジッタを監視しておき、その値が第１の閾値以下となったか否かを判断し（ステップＳ８）、その値が第１の閾値以下となったとき（ステップＳ８：Ｙｅｓ）、送信側へ蓄積停止命令を発行する（ステップＳ９）。それに基づいて送信側では蓄積を停止する（ステップＳ１０）。その後、通常のステップＳ１のロス率およびジッタ監視状態に戻る。
【００４６】
一方、ロス率およびジッタが第１の閾値以上となった場合（ステップＳ２：Ｙｅｓ）で、ＩＳＤＮ回線インタフェースを立ち上げた（ステップＳ３）後、ＩＳＤＮ回線状態が良好な場合（ステップＳ５：Ｙｅｓ）、ＩＳＤＮ回線６２を接続する（ステップＳ１１）。
【００４７】
ＩＳＤＮ回線６２接続後もＩＰ網６１のロス率およびジッタを監視し、第１の閾値以下となった場合（ステップＳ１２：Ｙｅｓ）、ＩＳＤＮ回線６１を切断し、通常のステップＳ１のロス率およびジッタ監視状態に戻る。
【００４８】
また、ステップＳ１２で、第１の閾値以下とならず、第２の閾値以上となった場合（ステップＳ１４：Ｙｅｓ）、ＩＰ網６１とＩＳＤＮ回線６２の双方の伝送データの同期を検出し（ステップＳ１５）、バッファ量を調整して（ステップＳ１６）、データのタイミングが合ったとき、ＩＰネットワーク６１からのデータからＩＳＤＮ回線６１からのデータへの切替えを行う（ステップＳ１７）。それと同時に送信側へ蓄積開始命令を発行し（ステップＳ１８）、送信側では蓄積を開始する（ステップＳ１９）。
【００４９】
さらに、ネットワーク異常検出部３６において、引き続きＩＰネットワーク６１のロス率およびジッタを監視しておき、その値が第１の閾値以下となったとき（ステップＳ２０：Ｙｅｓ）、双方の伝送データの同期を検出し（図５：ステップＳ２１）、バッファ量を調整して（ステップＳ２２）、ＩＰネットワーク６１とＩＳＤＮ回線６２のデータのタイミングが合ったとき、ＩＳＤＮ回線６２経由のデータからＩＰネットワーク６１経由のデータへの切替えを行う（ステップＳ２３）。それと同時に送信側へ切替え命令および蓄積停止命令を発行し（ステップＳ２９）、送信側では蓄積を停止する（ステップＳ３０）。この後ＩＳＤＮ回線を切断し（ステップＳ３１）、通常のステップＳ１のロス率およびジッタ監視状態に戻る。
【００５０】
尚、ＩＰネットワーク６１の方は、ＩＳＤＮ回線６２使用中も、ＩＰネットワーク６２の復旧時にＩＰネットワーク６１側に切戻すために、常時接続されており、ＩＰネットワーク６１のロス率およびジッタを監視しなければならない。
【００５１】
送信側も、ＩＳＤＮ回線６２使用中も、ＩＰネットワーク６１の方にも伝送データを送信し続ける。
【００５２】
【発明の効果】
通信回線が伝送不通になったとき、呼の伝送路に自動切替えを行い支障なく動画像伝送を継続でき、さらに予備回線も不通となったとき、映像・音声蓄積手段にその間の映像・音声データを格納しておき、見逃すことがないようにすることができる。特に監視目的で使用する動画像伝送装置としての実用上効果が大きい。
【図面の簡単な説明】
【図１】本発明の実時間伝送システムの全体構成図。
【図２】本発明の動画像送信装置のブロック構成図。
【図３】本発明の動画像受信装置のブロック構成図。
【図４】本発明の動画像伝送システムにおけるシーケンス図。
【図５】図４の続きのシーケンス図。
【符号の説明】
１ 動画像送信装置
１０−１ 映像アナログ・デジタル変換器
１０−２ 音声アナログ・デジタル変換器
１１−１ 映像符号化回路
１１−２ 音声符号化回路
１２ 映像・音声多重化部
１３ バッファメモリ
１４ ＩＰ網インタフェース
１５ ＩＳＤＮ網インタフェース
１６ 蓄積部
１７ 蓄積部操作制御部
１８ コネクタポート
２１ テレビカメラ
２２ マイク
３ 動画像受信装置
３０ ＩＰ網インタフェース
３１ ＩＳＤＮ網インタフェース
３２‐１ ＩＰ網用バッファメモリ
３２−２ ＩＳＤＮ回線用バッファメモリ
３３−１ ＩＰ網同期検出部
３３−２ ＩＳＤＮ回線同期検出部
３４遅延制御部
３５ 切替器
３６ ネットワーク異常検出部
３７ 遅延器
３８ 映像音声多重化データ分離部
３９‐１ 映像復号化回路
３９‐２ 音声復号化回路
４０‐１ 映像デジタル・アナログ変換器
４０‐２ 音声デジタル・アナログ変換器
５１ テレビモニタ
５２ スピーカ
６１ ＩＰネットワーク
６２ ＩＳＤＮ回線
【発明の属する技術分野】
本発明は、ＩＰ（Internet Protocol）を用いた仮想私設網（ＶＰＮ）網のように伝送コストは廉価ではあるが他の端末と網を共用しているために時々伝送誤りが増加する伝送路と、ＩＳＤＮ（Integrated Services Digital Network）網のように回線を占有できるので信頼性が高いが伝送コストも高い伝送路とを適応的に切替えることにより、伝送コストの低減と信頼性の確保を図ることを目的とする。
【０００２】
【従来の技術】
テレビカメラで撮像された画像信号を送出する伝送装置には、ＩＳＤＮ回線を利用したものやＩＰネットワークを利用したものがある。この伝送装置では、伝送路が切断されたりすることにより不通となり、切断された時以降の映像および音声が送られてこない。また、通常その切断されたとき以降の映像・音声は録画もされず、見ることができない（例えば、特許文献１参照）。
【０００３】
この問題に対処するには、回線の二重化およびその切替えが必要であった。伝送装置において、回線を二重化しておくことや、回線の切替えを手動で行なうことは、従来行なわれている（例えば、特許文献２参照）。
【０００４】
しかし、最近サービスが開始されているＩＰを用いたＶＰＮ網では、画像信号をＩＰパケット化してネットワークに送出することは従来行なわれている（例えば、特許文献３参照）。
【０００５】
【特許文献１】
特開平５−７３６３号公報
【特許文献２】
特開平８―７９７２７号公報
【特許文献３】
特開２００１−２３８１６０号公報
【０００６】
【発明が解決しようとする課題】
本発明の課題は、上記問題を解決するために、ＩＰを用いたＶＰＮ網において、伝送誤りの増加傾向を検知し、伝送誤りが多くて実時間信号の伝送に適さなくなる前に、ＩＳＤＮ網等の他の伝送路に切替えることができる実時間伝送装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明は、テレビカメラ等から入力された映像・音声等の実時間信号を符号化する手段と、符号化した実時間符号化信号をＩＳＤＮ等の信頼性が高い伝送路とＶＰＮ網等の低コストの伝送路に送出する手段と、ＶＰＮ網等の低コストの伝送路経由で受信した実時間符号化信号の通信品質を検査し、通信品質が低下している場合はＩＳＤＮ等の信頼性が高い伝送路の通信を開始し、ＩＳＤＮ等の信頼性が高い伝送路経由で伝送された実時間符号化信号に切り替える手段と、切替え後の実時間符号化信号を復号化して元の画像や音声信号を再生する手段とを有することを特徴とする。
【０００８】
ここで、通信品質の検査方法としては、パケットロス率、パケットの到着間隔の揺らぎ（ジッタ）等、ＩＰ通信の評価でしばしば使われている指標が考えられる。
【０００９】
【発明の実施の形態】
以下、図１を用いて本発明にかかる実時間送信装置である動画像送信装置と、実時間受信装置である動画像受信装置からなる実時間伝送システムの実施例を説明する。動画像送信装置１に接続された、テレビカメラ２１から入力された映像信号と、マイク２２から入力された音声信号は、動画像送信装置１によりデジタル化されたデータとしてＩＰネットワーク６１またはＩＳＤＮ回線６２により動画像受信装置３へ送信される。尚、この場合のテレビカメラとマイクの代わりにＶＴＲなどの映像機器に接続されてもよい。
【００１０】
送信されたデータは、動画像受信装置３で受信され、映像および音声として動画像受信装置３に接続されたテレビモニタ５１とスピーカ５２に出力される。この場合もテレビモニタとスピーカの代わりに他のＶＴＲなどの映像機器に接続されていてもよい。
【００１１】
図２を用いて、動画像送信装置１の内部構成を説明する。動画像送信装置１は、映像アナログ・デジタル変換器（Ａ／Ｄ）１０‐１と、映像符号化回路１１‐１と、音声アナログ・デジタル変換器（Ａ／Ｄ）１０‐２と、音声符号化回路１１‐２と、映像・音声多重化部（ＭＵＸ）１２と、バッファメモリ（Ｂｕｆ）１３と、ＩＰ網インタフェース（ＮＩＣ）１４と、ＩＳＤＮ回線インタフェース（ＮＣＵ）１５、蓄積部１６と、蓄積部動作制御部１７と、コネクタポート１８とを有して構成される。
【００１２】
映像アナログ・デジタル変換器１０‐１は、テレビカメラ２１から入力された映像信号をデジタル化する働きを有している。
【００１３】
映像符号化回路１１‐１は、デジタル化された映像信号を伝送や蓄積するのに適した形の符号化データとする働きを有している。
【００１４】
音声アナログ・デジタル変換器１０‐２は、マイク２２から入力された音声入力信号をデジタル化する働きを有している。
【００１５】
音声符号化回路１１‐２は、デジタル化された音声信号を伝送や蓄積するのに適した形の符号化データとする働きを有している。
【００１６】
映像・音声多重化部（ＭＵＸ）１２は、これら符号化された映像と音声の各符号化データを多重化する働きを有している。
【００１７】
バッファメモリ１３は、ＩＰ網インタフェース１４とＩＳＤＮ回線インタフェース１５の切替えのときにデータが一旦途切れるのを防止する緩衝器として働く。
【００１８】
ＩＰ網インタフェース（ＮＩＣ）１４は、ＩＰネットワーク６１とのインタフェースを取る。
【００１９】
ＩＳＤＮ回線インタフェース（ＮＣＵ）１５は、ＩＳＤＮ回線６２とのインタフェースを取る。
【００２０】
蓄積部１６は、ＩＰネットワーク６１およびＩＳＤＮ回線６２の双方の回線が不通となったときにデータを蓄積する働きを有する。
【００２１】
蓄積部動作制御部１７は、ＩＰ網インタフェース１４とＩＳＤＮ回線インタフェース１５を監視して蓄積部１６の動作を制御する働きを有している。
【００２２】
まず、テレビカメラ２１から入力された映像入力信号は、映像アナログ・デジタル変換器１０‐１によりデジタル化される。デジタル化された映像信号は映像符号化回路１１‐１により伝送や蓄積するのに適した形の符号化データとなる。一方、マイク２２から入力された音声入力信号も、音声アナログ・デジタル変換器１０‐２によりデジタル化される。デジタル化された音声信号は音声符号化回路１１‐２により伝送や蓄積するのに適した形の符号化データとなる。これら符号化された映像と音声の各符号化データは、映像・音声多重化部１２により多重化された符号化データとなる。
【００２３】
多重化された映像・音声符号化データはバッファメモリ（Ｂｕｆ）１３に一旦格納される。格納されたデータは、すぐに次のＩＰ網インタフェース１４とＩＳＤＮ回線インタフェース１５および蓄積部１６の各入口まで同時に送られる。
【００２４】
図３を用いて、動画像受信装置３の内部構成を説明する。動画像受信装置３は、ＩＰ網インタフェース（ＮＩＣ）３０と、ＩＳＤＮ網インタフェース（ＮＣＵ）３１と、ＩＰ網用バッファメモリ（Ｂｕｆ）３２‐１と、ＩＳＤＮ回線用バッファメモリ（Ｂｕｆ）３２‐２と、ＩＰ網同期検出部３３‐１と、ＩＳＤＮ回線同期検出部３３‐２と、遅延制御部３４と、切替器３５と、ネットワーク異常検出部３６と、遅延器３７と、映像音声多重化データ分離部（ＤＭＵＸ）３８と、映像復号化回路３９‐１と、音声復号化回路３９‐２と、映像信号デジタル・アナログ変換器（Ｄ／Ａ）４０‐１と、音声信号デジタル・アナログ変換器（Ｄ／Ａ）４０‐２とを有して構成される
【００２５】
ＩＰ網インタフェース３０は、ＩＰネットワーク６１とのインタフェースである。
【００２６】
ＩＳＤＮ網インタフェース３１は、ＩＳＤＮ回線６２とのインタフェースである。
【００２７】
ＩＰ網用バッファメモリ３２‐１は、ＩＰ網インタフェース３０が取り出した伝送データを一旦蓄積する働きを有している。
【００２８】
ＩＳＤＮ回線用バッファメモリ３２‐２は、ＩＳＤＮ回線インタフェース３１が取り出した伝送データを一旦蓄積する働きを有している。
【００２９】
ＩＰ網同期検出部３３‐１は、ＩＰ網の同期を検出する働きを有している。
【００３０】
ＩＳＤＮ回線同期検出部３３‐２は、ＩＳＤＮ回線の同期を検出する働きを有している。
【００３１】
遅延制御部３４は、ＩＰ網同期検出部３３‐１、ＩＳＤＮ回線同期検出部３３−２で検出したＩＰ網およびＩＳＤＮ回線の同期に基づいて、ＩＰ網用バッファメモリ３２‐１、ＩＳＤＮ回線用バッファメモリ３２‐２の読出タイミングを制御することによって遅延量を制御し切替えのタイミングをはかる働きを有している。
【００３２】
切替器３５は、遅延器３７からの制御によって、ＩＰネットワーク６１からの伝送データとＩＳＤＮ回線６２からの伝送データを切替えて出力する働きを有している。
【００３３】
ネットワーク異常検出部３６は、ＩＰネットワーク６１経由で受信した伝送データを監視しパケットロス率やジッタ等を計測して伝送誤りがさらに増加する徴候を検出し、ＩＳＤＮ回線インタフェース３１を起動してＩＳＤＮ回線６２に呼を設定すると共に、ＩＰネットワーク６１上の異常を、ＩＰネットワーク６１を介して動画像送信装置１に対して通知し、ＩＰ網インタフェース１４かＩＳＤＮ回線インタフェース１５への切替えを指示する働きを有している。さらに、ネットワーク異常検出部３６は、ＩＳＤＮ網６２経由で伝送データを伝送中にＩＰネットワーク６１を監視し、ＩＰネットワーク６１の異常が復旧したことを検出すると、ＩＳＤＮ網６２からＩＰネットワーク６１経由の伝送に戻す働きを有している。
【００３４】
遅延器３７は、伝送路切替時にＩＰネットワーク６１とＩＳＤＮ網６２の切替えタイミングを調整する働きを有している。
【００３５】
映像音声多重化データ分離部３８は、多重化データから映像データと音声データとを分離する働きを有している。
【００３６】
映像復号化回路３９‐１は、映像データを復号化してデジタル映像データとする働きを有している。
【００３７】
音声復号化回路３９‐２は、音声データを復号化してデジタル音声データとする働きを有している。
【００３８】
ＩＰネットワーク６１から入ってきた伝送データはＩＰ網インタフェース３０に入力される。ＩＰ網インタフェース３０で取り出された伝送データは、一旦ＩＰ網用バッファメモリ３２‐１を経由し、ＩＰ網同期検出部３３‐１へ入力される。ＩＳＤＮ回線６２から入ってきた伝送データはＩＳＤＮ網インタフェース３１に入力される。ＩＳＤＮ回線インタフェース３１で取り出された伝送データは一旦ＩＳＤＮ回線用バッファメモリ３２−２を経由し、ＩＳＤＮ回線同期検出部３３−２へ入力される。
【００３９】
このＩＰ網同期検出部３３‐１，ＩＳＤＮ回線同期検出部３３−２でそれぞれの同期を検出し、バッファからの読み出しタイミングを制御して遅延を制御し切替えのタイミングをはかる。
【００４０】
ネットワーク異状検出部３６は、受信した伝送データのパケットロス率およびパケットが到着する間隔の揺らぎ（ジッタ）を常時監視し、設定された設定値により切替器３５を制御する。遅延器３７は各同期を見ながら切替えタイミングの調整を行う。一方、ネットワーク異常検出部３６は、ＩＰネットワーク６１を通して動画像送信装置１へＩＰ網インタフェース１４かＩＳＤＮ回線インタフェース１５の切替えを指示する。
【００４１】
図２に戻り、動画像受信装置３から切替え指示を受け取った動画像送信装置１では、ＩＰ網インタフェース１４とＩＳＤＮ回線インタフェース１５の切替えを行う。切替えの期間の符号化データは、バッファメモリ１３に一時格納されており、切替え後をスムーズに行うことができる。
【００４２】
次に、図３の続きで切替え後のデータの流れについて説明する。切替器３５で選択され出力されたデータは、映像音声多重化データ分離部３８により映像符号化データと音声符号化データに分離される。分離された映像符号化データは、映像復号化回路３９‐１によりデジタル映像信号となる。デジタル映像信号は映像デジタル・アナログ変換器４０−１によりアナログの映像信号となりテレビモニタ５１へ出力される。
【００４３】
一方、音声についても同様に、映像音声多重化データ分離部３８により分離された音声符号化データは音声復号化回路３９‐２によりデジタル音声信号となる。デジタル音声信号は音声デジタル・アナログ変換器４０−２によりアナログの音声信号となりスピーカ５２へ出力される。テレビモニタ５１からはテレビカメラ２１から入力された映像が表示され、スピーカ５２からはマイク２２から入力された音声が再生される。
【００４４】
次に、本発明にかかる画像伝送装置１の切替え動作シーケンスについて図４及び図５を用いて説明する。まず、動画送受信装置３のネットワーク異常検出部３６において、ＩＰネットワーク６１上のデータロス率およびＲＴＴジッタ等を監視し（ステップＳ１）、その値が第１の値を超えたか否かを判断する（ステップＳ２）。ＩＰネットワーク６１上のデータロス率およびＲＴＴジッタ等の値が第１の閾値以上となった場合、ＩＳＤＮ回線インタフェース３１を立ち上げる（ステップＳ３）。
【００４５】
ＩＳＤＮ回線インタフェース３１にて回線状態を監視し（ステップＳ４）、状態が不適合の場合（ステップＳ５：Ｎｏ）、送信側へ蓄積開始命令を発行する（ステップＳ６）。それに基づいて送信側では蓄積を開始する（ステップＳ７）。引き続きロス率およびジッタを監視しておき、その値が第１の閾値以下となったか否かを判断し（ステップＳ８）、その値が第１の閾値以下となったとき（ステップＳ８：Ｙｅｓ）、送信側へ蓄積停止命令を発行する（ステップＳ９）。それに基づいて送信側では蓄積を停止する（ステップＳ１０）。その後、通常のステップＳ１のロス率およびジッタ監視状態に戻る。
【００４６】
一方、ロス率およびジッタが第１の閾値以上となった場合（ステップＳ２：Ｙｅｓ）で、ＩＳＤＮ回線インタフェースを立ち上げた（ステップＳ３）後、ＩＳＤＮ回線状態が良好な場合（ステップＳ５：Ｙｅｓ）、ＩＳＤＮ回線６２を接続する（ステップＳ１１）。
【００４７】
ＩＳＤＮ回線６２接続後もＩＰ網６１のロス率およびジッタを監視し、第１の閾値以下となった場合（ステップＳ１２：Ｙｅｓ）、ＩＳＤＮ回線６１を切断し、通常のステップＳ１のロス率およびジッタ監視状態に戻る。
【００４８】
また、ステップＳ１２で、第１の閾値以下とならず、第２の閾値以上となった場合（ステップＳ１４：Ｙｅｓ）、ＩＰ網６１とＩＳＤＮ回線６２の双方の伝送データの同期を検出し（ステップＳ１５）、バッファ量を調整して（ステップＳ１６）、データのタイミングが合ったとき、ＩＰネットワーク６１からのデータからＩＳＤＮ回線６１からのデータへの切替えを行う（ステップＳ１７）。それと同時に送信側へ蓄積開始命令を発行し（ステップＳ１８）、送信側では蓄積を開始する（ステップＳ１９）。
【００４９】
さらに、ネットワーク異常検出部３６において、引き続きＩＰネットワーク６１のロス率およびジッタを監視しておき、その値が第１の閾値以下となったとき（ステップＳ２０：Ｙｅｓ）、双方の伝送データの同期を検出し（図５：ステップＳ２１）、バッファ量を調整して（ステップＳ２２）、ＩＰネットワーク６１とＩＳＤＮ回線６２のデータのタイミングが合ったとき、ＩＳＤＮ回線６２経由のデータからＩＰネットワーク６１経由のデータへの切替えを行う（ステップＳ２３）。それと同時に送信側へ切替え命令および蓄積停止命令を発行し（ステップＳ２９）、送信側では蓄積を停止する（ステップＳ３０）。この後ＩＳＤＮ回線を切断し（ステップＳ３１）、通常のステップＳ１のロス率およびジッタ監視状態に戻る。
【００５０】
尚、ＩＰネットワーク６１の方は、ＩＳＤＮ回線６２使用中も、ＩＰネットワーク６２の復旧時にＩＰネットワーク６１側に切戻すために、常時接続されており、ＩＰネットワーク６１のロス率およびジッタを監視しなければならない。
【００５１】
送信側も、ＩＳＤＮ回線６２使用中も、ＩＰネットワーク６１の方にも伝送データを送信し続ける。
【００５２】
【発明の効果】
通信回線が伝送不通になったとき、呼の伝送路に自動切替えを行い支障なく動画像伝送を継続でき、さらに予備回線も不通となったとき、映像・音声蓄積手段にその間の映像・音声データを格納しておき、見逃すことがないようにすることができる。特に監視目的で使用する動画像伝送装置としての実用上効果が大きい。
【図面の簡単な説明】
【図１】本発明の実時間伝送システムの全体構成図。
【図２】本発明の動画像送信装置のブロック構成図。
【図３】本発明の動画像受信装置のブロック構成図。
【図４】本発明の動画像伝送システムにおけるシーケンス図。
【図５】図４の続きのシーケンス図。
【符号の説明】
１ 動画像送信装置
１０−１ 映像アナログ・デジタル変換器
１０−２ 音声アナログ・デジタル変換器
１１−１ 映像符号化回路
１１−２ 音声符号化回路
１２ 映像・音声多重化部
１３ バッファメモリ
１４ ＩＰ網インタフェース
１５ ＩＳＤＮ網インタフェース
１６ 蓄積部
１７ 蓄積部操作制御部
１８ コネクタポート
２１ テレビカメラ
２２ マイク
３ 動画像受信装置
３０ ＩＰ網インタフェース
３１ ＩＳＤＮ網インタフェース
３２‐１ ＩＰ網用バッファメモリ
３２−２ ＩＳＤＮ回線用バッファメモリ
３３−１ ＩＰ網同期検出部
３３−２ ＩＳＤＮ回線同期検出部
３４遅延制御部
３５ 切替器
３６ ネットワーク異常検出部
３７ 遅延器
３８ 映像音声多重化データ分離部
３９‐１ 映像復号化回路
３９‐２ 音声復号化回路
４０‐１ 映像デジタル・アナログ変換器
４０‐２ 音声デジタル・アナログ変換器
５１ テレビモニタ
５２ スピーカ
６１ ＩＰネットワーク
６２ ＩＳＤＮ回線
Claims (9)
- 実時間送信装置と実時間受信装置とを、他のユーザーと回線を共有化しトラフィックが増えると伝送誤り(パケットロス)が増加する第１伝送路と呼接続により所定の伝送量が確保される第２伝送路の二通りの伝送路を介して接続する、映像音声実時間伝送システムにおいて、
実時間送信装置が、
実時間信号を第１伝送路に送出する第１通信制御手段と、
第２伝送路との呼接続を制御し実時間信号を第２伝送路に送出する第２通信制御手段とを有し、
実時間受信装置が、
第１伝送路との接続を制御する第１通信制御手段と、
第１伝送路から受信した実時間信号を一時記憶する第１バッファメモリと、
第１伝送路の同期を検出する第１同期検出手段と、
伝送路異常検出手段において伝送誤りがさらに増加する徴候を検出したときに第２伝送路の接続を確立し第２伝送路との接続を制御する第２通信制御手段と、
第２伝送路から受信した実時間信号を一時記憶する第２バッファメモリと、
第２伝送路の同期を検出する第２同期検出手段と、
第１同期検出手段および第２同期検出手段の検出結果に基づいて第１バッファメモリおよび第２バッファメモリの遅延量を制御する遅延制御手段と、
第１伝送路経由で受信した実時間信号のパケットロス率やジッタ等を計測して伝送誤りがさらに増加する徴候を検出する伝送路異常検出手段と、
第１の伝送路からの実時間信号と第２の伝送路からの実時間信号とを切替えて出力する切替手段と、
第１伝送路経由の実時間信号を第２伝送路へ切替える時期を調節する遅延手段とを有する
ことを特徴とする実時間伝送システム。 - 第１伝送路がＩＰを使ったＶＰＮ網であり、第２伝送路がＩＳＤＮ網であることを特徴とする請求項１に記載の実時間伝送システム。
- 実時間信号が映像信号と音声信号であることを特徴とする請求項１または請求項２に記載の実時間伝送システム。
- 実時間送信装置が実時間信号を符号化する符号化回路を備えたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の実時間伝送システム。
- 実時間送信装置と実時間受信装置とを、他のユーザーと回線を共有化しトラフィックが増えると伝送誤り(パケットロス)が増加する第１伝送路と呼接続により所定の伝送量が確保される第２伝送路の二通りの伝送路を介して接続する、映像音声実時間伝送システムを構成する実時間受信装置において、
第１伝送路との接続を制御する第１通信制御手段と、
第１伝送路から受信した実時間信号を一時記憶する第１バッファメモリと、
第１伝送路の同期を検出する第１同期検出手段と、
伝送路異常検出手段において伝送誤りがさらに増加する徴候を検出したときに第２伝送路の接続を確立し第２伝送路との接続を制御する第２通信制御手段と、
第２伝送路から受信した実時間信号を一時記憶する第２バッファメモリと、
第２伝送路の同期を検出する第２同期検出手段と、
第１同期検出手段および第２同期検出手段の検出結果に基づいて第１バッファメモリおよび第２バッファメモリの遅延量を制御する遅延制御手段と、
第１伝送路経由で受信した実時間信号のパケットロス率やジッタ等を計測して伝送誤りがさらに増加する徴候を検出する伝送路異常検出手段と、
第１の伝送路からの実時間信号と第２の伝送路からの実時間信号とを切替えて出力する切替手段と、
第１伝送路経由の実時間信号を第２伝送路へ切替える時期を調節する遅延手段とを有する
ことを特徴とする実時間受信装置。 - 第１伝送路がＩＰを使ったＶＰＮ網であり、第２伝送路がＩＳＤＮ網であることを特徴とする請求項５に記載の実時間受信装置。
- 実時間信号が映像信号と音声信号であることを特徴とする請求項５または請求項６に記載の実時間受信装置。
- 実時間信号を復号化する復号化回路を備えたことを特徴とする請求項５乃至請求項７のいずれか１項に記載の実時間受信装置。
- 伝送路異常検出手段において伝送誤りの増加が復旧したことを検出したときに第１伝送路経由で実時間信号を伝送することを特徴とする請求項５乃至請求項８のいずれか１項に記載の実時間受信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272098A JP3833979B2 (ja) | 2002-09-18 | 2002-09-18 | 実時間伝送システムおよび実時間受信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272098A JP3833979B2 (ja) | 2002-09-18 | 2002-09-18 | 実時間伝送システムおよび実時間受信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112334A JP2004112334A (ja) | 2004-04-08 |
| JP3833979B2 true JP3833979B2 (ja) | 2006-10-18 |
Family
ID=32269212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002272098A Expired - Fee Related JP3833979B2 (ja) | 2002-09-18 | 2002-09-18 | 実時間伝送システムおよび実時間受信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3833979B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108563129A (zh) * | 2018-05-30 | 2018-09-21 | 江苏师范大学 | 高速铁路cpiii高程控制网条件方程的快速建立方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4545109B2 (ja) * | 2006-03-28 | 2010-09-15 | 京セラ株式会社 | 通信経路制御装置 |
-
2002
- 2002-09-18 JP JP2002272098A patent/JP3833979B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108563129A (zh) * | 2018-05-30 | 2018-09-21 | 江苏师范大学 | 高速铁路cpiii高程控制网条件方程的快速建立方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004112334A (ja) | 2004-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6771594B1 (en) | Reliable/non-reliable transmission of voice using TCP/UDP based on network quality of service | |
| US5844600A (en) | Methods, apparatus, and systems for transporting multimedia conference data streams through a transport network | |
| JP3676979B2 (ja) | 電話回線による高速映像伝送 | |
| US7061863B2 (en) | Data communication system, data receiving terminal and data sending terminal | |
| US6646674B1 (en) | TV telephone system | |
| EP1855441B1 (en) | Multimedia data monitoring method | |
| JPH10336193A (ja) | Ａｔｍ通信端末およびａｔｍ通信システム | |
| JP4303535B2 (ja) | デコード表示装置、撮像装置及びそれらを備えた画像伝送システム | |
| JP3833979B2 (ja) | 実時間伝送システムおよび実時間受信装置 | |
| WO1999018728A1 (en) | Interconnecting multimedia data streams having different compressed formats | |
| JP3931594B2 (ja) | 多地点同報通信網用再送方法 | |
| JP4714074B2 (ja) | 伝送装置、送信装置及び受信装置 | |
| JP3259691B2 (ja) | マルチキャストシステム、及び受信装置 | |
| JP2001057675A (ja) | 遠隔監視システム | |
| JP2005210160A (ja) | 通信状態表示を有する映像受信端末 | |
| JP2006074359A (ja) | 遠隔会議システムにおける音声データの送受信システム及び制御方法 | |
| JP3945688B2 (ja) | フレーム同期方法 | |
| JPH0998397A (ja) | テレビ電話装置およびテレビ電話通信方法 | |
| JP2003169304A (ja) | マルチメディア通信の画像伝送方法 | |
| JP2003298676A (ja) | マルチメディア通信転送方法、マルチメディア通信端末、交換機、管理装置 | |
| JP2000197024A (ja) | 音声画像通信装置 | |
| JP3582140B2 (ja) | 通信試験システムおよび通信試験方法 | |
| JP2000115730A (ja) | テレビ電話装置とそのモード設定方法 | |
| JP2001024992A (ja) | 映像音声送受信装置 | |
| KR20030057505A (ko) | 실시간 전송 프로토콜을 이용한 멀티미디어 데이터 전송시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060720 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |