JP4146790B2 - 画像迂回制御サーバ - Google Patents

画像迂回制御サーバ Download PDF

Info

Publication number
JP4146790B2
JP4146790B2 JP2003421459A JP2003421459A JP4146790B2 JP 4146790 B2 JP4146790 B2 JP 4146790B2 JP 2003421459 A JP2003421459 A JP 2003421459A JP 2003421459 A JP2003421459 A JP 2003421459A JP 4146790 B2 JP4146790 B2 JP 4146790B2
Authority
JP
Japan
Prior art keywords
line
image
sub
router
multicast address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003421459A
Other languages
English (en)
Other versions
JP2005184387A (ja
Inventor
朋裕 山本
恭平 田中
教一 坂井
昇 松原
博 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003421459A priority Critical patent/JP4146790B2/ja
Publication of JP2005184387A publication Critical patent/JP2005184387A/ja
Application granted granted Critical
Publication of JP4146790B2 publication Critical patent/JP4146790B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、光回線とバックアップ用のマイクロ回線とで構成されるネットワークを介して遠隔地で撮影された画像を監視するシステムにおいて、光回線が使用不可能な際に優先度の高いデータをマイクロ回線を介して迂回させる設定を遠隔的に実行可能とする画像迂回制御サーバに関する。
光回線等によるネットワークにより、比較的データ量の大きい画像などをリアルタイムかつ高速に遠隔に送信することができるようになってきた。遠隔地に備えられたカメラによって撮影された画像をネットワークを介して受信し監視することができるようになった。更に、所定のネットワーク回線に障害が発生した場合においても遠隔地で撮影された画像を取り込むために、様々なバックアップ方法が提供されるようになった。
例えば、バックアップ回線の許容データ量を超えない範囲で、バックアップに回す回線の優先順位を変更する方法が提案されている(例えば、特許文献1)。また、光回線で障害発生が検出された場合、光回線に対応する無線現用回線の救済順位を、障害が発生していない光回線に対応する無線現用回線の救済順位より下位にする方法が提案されている(例えば、特許文献2)。
特開平06−37731号公報 特開平08−213965号公報
しかしながら、上記従来の方法では、送信内容の緊急度或いは重要度等を考慮した方法ではないため、緊急度或いは重要度の高い送信内容が優先的にバックアップ回線によって送信されるようになっていない。従って、最も必要とする緊急度或いは重要度の高い送信内容がなかなかバックアップ回線によって送信されないといった問題があった。
また、光回線を常時利用してリアルタイムで撮影画像を送信し、データの送受信に物理的な回線を必要としないため災害に強いとされるマイクロ回線を併用して適用している場合、マイクロ回線は光回線に比べ帯域が狭いため、バックアップ用として使用するためには、マイクロ帯域をオーバーしないように予め対象データを決めておき、ネットワークに障害が発生した際には、対象データのみをマイクロ回線で迂回させるように制御していた。このような場合、予め設定しておいた対象データ以外のデータをマイクロ回線で送信しようとする場合、その対象データを透過させるルータの設定を人が個別に手動で行う必要があった。
しかしながら、このような手動での設定は、マイクロ回線の帯域をオーバーして設定してしまうことも考えられ、システム全体を把握した上での設定が必須であり、実際には、手動での設定は非常に煩雑なものであった。
そこで、本発明の課題は、帯域幅の大きい主回線と帯域幅の小さい副回線とで構成されるネットワークを介して遠隔地で撮影された画像を監視するシステムにおいて、主回線が使用不可能な際に優先度の高いデータを副回線を介して迂回させる設定を遠隔的に実行可能とする画像迂回制御サーバを提供することである。
上記課題を解決するため、本発明は、帯域幅の大きい主回線と帯域幅の小さい副回線とで構成されるネットワークを介して、遠隔地に設置された複数のカメラで該遠隔地での状態を監視し、該遠隔地での状態に応じて該主回線から該副回線へ該複数のカメラによる画像の送信を迂回させる画像迂回制御サーバにおいて、上記ネットワークの状態を管理するネットワーク管理サーバから上記主回線の障害発生の通知を受信する障害発生通知手段と、上記カメラから送信された災害通知を受信する災害通知受信手段と、上記副回線によって送信可能な範囲内において、少なくとも上記災害通知を送信した上記カメラからの画像が送信されるように、上記複数のカメラからの画像を取り込むマルチキャストアドレスを決定し、上記副回線へ切り替えるべきマルチキャストアドレスの変更を指示する変更指示情報を作成する変更指示情報作成手段と、上記複数のカメラが撮影した画像を上記主回線又は上記副回線によって送信する上記遠隔地に設置されたルータに対して、上記変更指示情報を送信することによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させる迂回手段とを有するにように構成される。
このような画像迂回制御サーバでは、主回線に障害が発生及び遠隔地にて災害が発生した場合、自動的に副回線に迂回させて送信すべきカメラを選択することができる。
本発明によれば、帯域幅の大きい回線を主回線とし、帯域幅の小さい回線を副回線として構成されるネットワークにて、遠隔地の画像を提供するシステムにおいて、主回線に障害が発生した場合、自動的に副回線に迂回させて送信すべきカメラを選択することができる。
また、カメラに接続される各IPエンコーダが、画像を解析して災害が発生したと判断した場合、画像管理サーバに通知する仕組みによって、画像管理サーバでの処理負荷を軽減することができる。
以下、本発明の実施の形態を図面に基づいて説明する。
本発明の実施の一形態に係るシステムは、例えば、図1に示すように構成される。図1は、本発明の実施の一形態に係るシステムの構成を示す図である。図1に示すシステム100において、ネットワークを管理するネットワーク管理装置30と、遠隔地から受信した画像を管理する画像管理サーバ40と、画像管理サーバ40からの指示に応じて画像を蓄積する画像蓄積サーバ45と、主に遠隔地に設置され画像を送信するためのルータ(a)61と、主に遠隔地から画像を受信するためのルータ71とが、帯域幅の広い光回線を介して接続される。また、システム100では、光回線2に接続されるルータ(a)61及び71にバックアップ用としてマイクロ無線装置64及び74を夫々設置され、遠隔地からの画像が帯域幅の小さいマイクロ回線3を介して送受信される。
ネットワーク管理装置30と、画像管理サーバ40と、画像蓄積サーバ45とは、CPUによって制御されるサーバコンピュータである。
説明の便宜のため、システム100においてルータ(a)61とルータ71のみとするが、遠隔地にルータを適宜配置することが可能である。
ルータ(a)61には、撮影された画像を送信するためにエンコードして圧縮するIPエンコーダ(a)62a、IPエンコーダ(b)62b、IPエンコーダ(c)62c、・・・と、マイクロ無線装置64とが接続される。以下、3台のIPエンコーダ(a)62a、IPエンコーダ(b)62b、及びIPエンコーダ(c)62cがルータ(a)61に接続されるものとする。
バックアップ用のマイクロ回線3は帯域幅が小さいため、ルータ(a)61は、光回線2の障害時または現地で発生した災害時において、優先して送信すべきIPエンコーダを決定するための疎通設定情報611を備えている。
疎通設定情報611は、マイクロ回線3を疎通させるIPエンコーダのマルチキャストアドレスと、IPエンコーダ(a)62a、IPエンコーダ(b)62b、及びIPエンコーダ(c)62cのマルチキャストアドレスとを示す。
更に、各IPエンコーダ(a)62a、IPエンコーダ(b)62b、及びIPエンコーダ(c)62cには、夫々、現地を撮影するカメラ63a、63b、及び63cが接続される。例えば、カメラ63a、63b、及び63cは、国道等の状態を常時監視するために備えられたカメラであって、「国道○△号No.1カメラ」、「国道○△号No.2カメラ」、及び「国道○△号No.3カメラ」のように名前を付けて管理される。
ルータ71には、受信した画像をデーコードして伸張するIPデコーダ72と、マイクロ無線装置74とが接続される。更に、IPデコーダ72は、遠隔地の画像を表示するモニタとしてのPC50と接続され、伸張した画像をPC50に提供する。PC50は、CPUによって制御されるパーソナルコンピュータであって、IPデコーダ72によって提供された画像を表示する。
システム100では、正常時において、カメラ63a、63b、及び63cによって撮影された画像は、全て光回線2を介して画像管理サーバ40及びルータ71へ送信される。画像管理サーバ40は、受信した画像を画像蓄積サーバ45に蓄積する。一方、ルータ71に送信された画像は、IPデコーダ72で伸張され、ユーザが使用するPC50に表示される。つまり、正常時において、PC50を使用する管理者は、カメラ63a、63b、及び63cによって撮影されたいずれの画像も、光回線2を介して常時監視することができる。
図2は、図1に示す正常時における疎通設定情報の例を示す図である。図2に示される疎通設定情報611において、ルータ(a)61のマイクロ網接続ポートのフィルタ設定用としてのマルチキャストアドレスがないことを示し、また、IPエンコーダ(a)のマルチキャストアドレスa、IPエンコーダ(b)のマルチキャストアドレスb、及びIPエンコーダ(c)のマルチキャストアドレスcが設定されていることを示す。
図3は、光回線に障害が発生した場合の動作例を示す図である。図3において、ネットワーク状態を管理しているネットワーク管理装置30がシステム100の光回線100の障害を検知し、その障害によって画像の送信ができなくなると、障害発生を画像管理サーバ40に通知する。
画像管理サーバ40は、ルータ71のマイクロ無線装置74によってマイクロ回線3を介して、ルータ(a)61にマイクロ回線3を介して疎通させないIPエンコーダのマルチキャストアドレスをコンフィグ設定情報によって指示する。例えば、受信したコンフィグ設定情報によって、IPエンコーダ(b)62b及びIPエンコーダ(c)62cのマルチキャストアドレスb及びcが指示されると、ルータ(a)61は、そのコンフィグ設定情報に基づいて疎通設定情報611を変更する。つまり、コンフィグ設定情報によって指定されなかったIPエンコーダ(a)62aのマルチキャストアドレス「a」をマイクロ回線3を疎通させるマルチキャストアドレスとして設定する。
この設定変更によって、ルータ(a)61は、マルチキャストアドレス「a」(つまり、IPエンコーダ(a)62a)から提供される画像のみをマイクロ無線装置64によって送信することとなる。そして、マルチキャストアドレスが「a」ではないIPエンコーダ(b)62b及びIPエンコーダ(c)62cから提供される画像はマイクロ無線装置64によって送信されない。
したがって、PC50には、カメラ63aからの画像のみが表示される。
図4は、図3に示す動作によって設定が変更された疎通設定情報の例を示す図である。図4において、IPエンコーダ(a)62aのマルチキャストアドレス「a」が、マイクロ回線3を疎通させるマルチキャストアドレスとして設定されていることが分かる。フィルタ設定用のマルチキャストアドレスaは、システム100で実際に使用されているマルチキャストアドレスである。
図5は、光回線に障害が発生した場合の他の動作例を示す図である。図5において、ネットワーク状態を管理しているネットワーク管理装置30がシステム100の光回線100の障害を検知し、その障害によって画像の送信ができなくなると、障害発生を画像管理サーバ40に通知する。
画像管理サーバ40は、ルータ71のマイクロ無線装置74によってマイクロ回線3を介して、ルータ(a)61にマイクロ回線3を介して疎通させないIPエンコーダのマルチキャストアドレスをコンフィグ設定情報によって指示する。例えば、受信したコンフィグ設定情報によって、IPエンコーダ(b)62b及びIPエンコーダ(c)62cのマルチキャストアドレスcが指示されると、ルータ(a)61は、そのコンフィグ設定情報に基づいて疎通設定情報611を変更する。つまり、コンフィグ設定情報によって指定されなかったIPエンコーダ(a)62a及びIPエンコーダ(b)62bのマルチキャストアドレス「a」及び「b」をマイクロ回線3を疎通させるマルチキャストアドレスとして設定する。
この設定変更によって、ルータ(a)61は、マルチキャストアドレス「a」及び「b」(つまり、IPエンコーダ(a)62a及びIPエンコーダ(b)62b)から提供される画像のみをマイクロ無線装置64によって送信することとなる。そして、マルチキャストアドレスが「a」でもなく「b」でもないIPエンコーダ(c)62cから提供される画像はマイクロ無線装置64によって送信されない。
したがって、PC50には、カメラ63a及びカメラ63bからの画像のみが表示される。
図6は、図5に示す動作によって設定が変更された疎通設定情報の例を示す図である。図6において、IPエンコーダ(a)62a及びIPエンコーダ(b)62bのマルチキャストアドレス「a」及び「b」が、マイクロ回線3を疎通させるマルチキャストアドレスとして設定されていることが分かる。フィルタ設定用のマルチキャストアドレスaは、システム100で実際に使用されているマルチキャストアドレスである。
画像管理サーバ40は、IPエンコーダによって提供される画像のデータ量の総和がマイクロ回線3の伝送容量を超えないようにマイクロ回線3を疎通させる(或いは、疎通阻止させる)マルチキャストアドレスを決定する。その決定によっては、図3に示すようにIPエンコーダ(a)62aのみが疎通されるように制御され、或いは、図5に示すようにIPエンコーダ(a)62a及びIPエンコーダ(b)62bが疎通されるように制御されるように制御される。
上記コンフィグ設定情報は、例えば、図7に示されるように構成される。図7(A)は、コンフィグ設定情報の例を示す図である。図7(B)は、ポートとアドレスの位置関係を示す図である。図7(B)を参照しつつ、図7(A)でコンフィグ設定情報を説明する。
図7(A)において、コンフィグ設定情報は、ルータ(a)61のポート番号、IPアドレス、ポートEnable/Disable、疎通阻止マルチキャストアドレス等の項目で構成される。ポート1、2、3、4及び5に対応するIPアドレスは、A、B,C,D,E及びFであって、全てのポートが有効(Enable)であるように指定されている。そして、マイクロ回線3への疎通を阻止すべきマルチキャストアドレスとして a及びbが指定されている。
図7(B)を参照すると、マルチキャストアドレスがa又はbであるIPエンコーダは、IPエンコーダ(b)62b及びIPエンコーダ(c)62cであるので、これらIPエンコーダから提供された画像はマイクロ回線3の疎通を阻止されることとなる。そして、IPエンコーダ(a)62aからの画像のみがマイクロ回線3を疎通することになる。
図7(A)に示すコンフィグ設定情報において、疎通阻止マルチキャストアドレスの代わりに、疎通させるべきマルチキャストアドレスを設定するようにしてもよい。
次に、遠隔地にて災害(例えば、火災)が発生した場合の災害認識動作について図で説明する。図8は、災害認識動作を示す図である。図8において、例えば、カメラ63aの設置近辺で災害が発生すると、IPエンコーダ(a)62aは、IPエンコーダ(a)62aに備えられた災害解析部621によって、カメラ63aから提供される画像を解析して災害が発生していることを検知し、災害が発生したことをルータ(a)61によって光回線2を介して画像管理サーバ40へ通知する。
災害解析部621は、例えば、特開平5−46886号などの公知技術によって実現可能である。そして、災害解析部621は、全てのIPエンコーダ(a)62a、IPエンコーダ(b)62b及びIPエンコーダ(c)62cに備えられる。
通知された災害発生は、画像管理サーバ40によって認識され、更に、PC50にメッセージとして表示することによって管理者に通知される。
図9は、図1、図3及び図5で示す動作における画像管理サーバによる処理を説明するためのフローチャート図である。
図9において、光回線2に障害が発生すると(ステップS11)、ネットワーク管理装置30にて警報を検出し、画像管理サーバ40に警報情報を通知する(ステップS12)。画像管理サーバ40は、光回線2の障害によって影響を受けるルータを特定し(ステップS13)、更に、特定したルータは以下のIPエンコーダを特定する(ステップS14)。
そして、画像管理サーバ40は、ステップS14で特定された各IPエンコーダの災害状態を確認する(ステップS15)。少なくともステップS15で確認された災害状態を示すIPエンコーダを含むようにして、マイクロ回線3を介して迂回させるデータ量がマイクロ回線側の伝送容量未満であるようにIPエンコーダの数を調整することができたか否かを判断する(ステップS16)。調整できなかった場合、この処理を終了する。一方、調整できた場合、疎通させるマルチキャストアドレスを変更する対象となるマイクロ回線3のIPアドレスを決定する(ステップS17)。
画像管理サーバ40は、該当するルータを特定し(ステップS18),コンフィグ設定情報を作成する(ステップS19)。そして、画像管理サーバ40は、該当するルータへアクセスし(ステップS20)、ルータへコンフィグ設定情報を転送して、疎通するマルチキャストへの変更をルータに行わせる(ステップS21)。そして、この処理を終了する。
ステップS16でのマイクロ回線側の伝送容量を確認する処理において、例えば、マイクロ回線3の回線容量と、迂回させている画像数から伝送容量に余裕があるか否かを判断することができる。
このように、コンフィグ設定情報を画像管理サーバ40側に自動的に作成し、ルータ(a)62aへ送信することによって、ルータ(a)62aによって疎通させるべきマルチキャストアドレスを変更することができるようになる。
また、画像管理サーバ40は、光回線2が復旧した場合には、ネットワーク管理装置30からの指示に応じて、全てのIPエンコーダ(a)62a、(b)62b及び(c)62cの疎通阻止をコンフィグ設定情報をルータ(a)61に送信することによって図2に示すような正常時の疎通設定情報611に変更することができる。
次は、仮想のマルチキャストアドレスによってマイクロ回線3への疎通を制御する方法について説明する。
図10は、仮想のマルチキャストアドレスを使用した疎通制御における正常時のシステムの構成を示す図である。図10中、図1と同様の構成部分には同一の符号を付し、その説明を省略する。
図10において、正常時の動作は、図1と同様である。ただし、ルータ(a)61に備えられた疎通設定情報612のデータ構成は、図1に示す疎通設定情報611とは異なっている。
疎通設定情報612は、マイクロ回線3を疎通させる際に使用されるIPエンコーダの仮想のマルチキャストアドレスと、IPエンコーダ(a)62a、IPエンコーダ(b)62b、及びIPエンコーダ(c)62cの実際のマルチキャストアドレスとを示す。例えば、図11に示すような構成である。
図11は、図10に示す正常時における疎通設定情報の例を示す図である。図11に示される疎通設定情報612において、ルータ(a)61のマイクロ網接続ポートのフィルタ設定用として使用される仮想のマルチキャストアドレスを1つ以上示し、また、IPエンコーダ(a)のマルチキャストアドレスa、IPエンコーダ(b)のマルチキャストアドレスb、及びIPエンコーダ(c)の実際のマルチキャストアドレスcが設定されていることを示す。
図12は、仮想のマルチキャストアドレスを使用した疎通制御における光回線に障害が発生した場合の動作例を示す図である。図12において、ネットワーク状態を管理しているネットワーク管理装置30がシステム100の光回線100の障害を検知し、その障害によって画像の送信ができなくなると、障害発生を画像管理サーバ40に通知する。
画像管理サーバ40は、ルータ71のマイクロ無線装置74によってマイクロ回線3を介して、ルータ(a)61にマイクロ回線3を介して疎通させるIPエンコーダのマルチキャストアドレスを仮想のマルチキャストアドレスに変更する変更指示情報を送信する。例えば、受信した変更指示情報によって、IPエンコーダ(b)62b及びIPエンコーダ(c)62cのマルチキャストアドレスb及びcが指示されると、ルータ(a)61は、その変更指示情報に基づいて疎通設定情報612を変更する。つまり、変更指示情報によって指定されたIPエンコーダ(a)62aの実際のマルチキャストアドレス「a」をマイクロ回線3を疎通させる仮想のマルチキャストアドレス「z」に変更する。
この変更によって、ルータ(a)61は、マルチキャストアドレス「z」(つまり、IPエンコーダ(a)62a)から提供される画像のみをマイクロ無線装置64によって送信することとなる。そして、マルチキャストアドレスが「z」でもなく「y」でもないIPエンコーダ(b)62b及びIPエンコーダ(c)62cから提供される画像はマイクロ無線装置64によって送信されない。
したがって、PC50には、カメラ63aからの画像のみが表示される。
図13は、図12に示す動作によって設定が変更された疎通設定情報の例を示す図である。図13において、IPエンコーダ(a)62aのマルチキャストアドレスが仮想のマルチキャストアドレス「Z」に設定されていることが分かる。
図14は、仮想のマルチキャストアドレスを使用した疎通制御における光回線に障害が発生した場合の他の動作例を示す図である。図14において、ネットワーク状態を管理しているネットワーク管理装置30がシステム100の光回線100の障害を検知し、その障害によって画像の送信ができなくなると、障害発生を画像管理サーバ40に通知する。
画像管理サーバ40は、ルータ71のマイクロ無線装置74によってマイクロ回線3を介して、ルータ(a)61にIPエンコーダのマルチキャストアドレスの変更を指示する。例えば、ルータ(a)61がIPエンコーダ(a)62a及びIPエンコーダ(b)62bのマルチキャストアドレスの変更を指示されると、ルータ(a)61は、疎通設定情報612に基づいて、例えば、IPエンコーダ(a)62aの現在のマルチキャストアドレスを「a」から仮想のマルチキャストアドレス「z」に変更し、かつ、IPエンコーダ(b)62bの現在のマルチキャストアドレスを「b」から仮想のマルチキャストアドレス「y」に変更する。
IPエンコーダ(a)62a及びIPエンコーダ(b)62bのマルチキャストアドレスの変更の指示は、画像管理サーバ40から1度の通知でなされてもよいし、別々に指示してもよい。
この設定変更によって、ルータ(a)61は、マルチキャストアドレス「z」及び「y」(つまり、IPエンコーダ(a)62a及びIPエンコーダ(b)62b)から提供される画像のみをマイクロ無線装置64によって送信することとなる。そして、マルチキャストアドレスが「z」でもなく「y」でもないIPエンコーダ(c)62cから提供される画像はマイクロ無線装置64によって送信されない。
したがって、PC50には、カメラ63a及びカメラ63bからの画像のみが表示される。
図15は、図14に示す動作によって設定が変更された疎通設定情報の例を示す図である。図15において、IPエンコーダ(a)62a及びIPエンコーダ(b)62bのマルチキャストアドレスが「Z」及び「y」に夫々設定されていることが分かる。
仮想のマルチキャストアドレスを使用した疎通制御における災害認識動作について、図8に示す動作と同様であるので、その説明を省略する。
図16は、図10、図12及び図14で示す動作における画像管理サーバによる処理を説明するためのフローチャート図である。
図16において、光回線2に障害が発生すると(ステップS31)、ネットワーク管理装置30にて警報を検出し、画像管理サーバ40に警報情報を通知する(ステップS32)。画像管理サーバ40は、光回線2の障害によって影響を受けるルータを特定し(ステップS33)、更に、特定したルータは以下のIPエンコーダを特定する(ステップS34)。
画像管理サーバ40は、ステップS34で特性したIPエンコーダの災害状態をチェックする(ステップS35)。IPエンコーダが正常である場合、この処理を終了する。一方、災害である場合、迂回可能な仮想のマルチキャストアドレスが残っているか否かを判断する(ステップS36)。残っていない場合、この処理を終了する。
一方、残っている場合、対象IPエンコーダの実際のマルチキャストアドレスを迂回可能な仮想のマルチキャストアドレスに変更する(ステップS37)。つまり、画像管理サーバ40は、どのIPエンコーダの実際のマルチキャストアドレスを仮想のマルチキャストアドレスに変更するかを指定した変更指示情報をステップS33で特定したルータへ送信する。ルータは、この変更指示情報に基づいて、設定を変更する。
そして、画像管理サーバ40は、ステップS34で特定したIPエンコーダが残っているか否かを判断する(ステップS38)。残っている場合、ステップS35へ戻り、上記同様の処理を繰り返す。一方、残っていない場合、この処理を終了する。
このように、予め設定された仮想のマルチキャストアドレスの数に基づいて、画像管理サーバ40が迂回すべきIPエンコーダを特定した変更指示情報を、ルータ(a)62aへ送信することによって、ルータ(a)62aによって疎通させるべき実際のマルチキャストアドレスを仮想のマルチキャストアドレスに変更することができる。
また、画像管理サーバ40は、光回線2が復旧した場合には、ネットワーク管理装置30からの指示に応じて、全てのIPエンコーダ(a)62a、(b)62b及び(c)62cのマルチキャストアドレスを正常時のマルチキャストアドレスに変更する指示をルータ(a)61に送信することによって、図11に示すような正常時の疎通設定情報612に変更することができる。
上記ステップS35での画像管理サーバ40によるIPエンコーダの災害状態の判断処理は、例えば、図17に示すような災害状態データベースを参照することによって実行される。図17は、画像管理サーバで管理される災害状態データベースを示す図である。
図17において、災害状態データベース401は、カメラ名称、災害状態、IPエンコードアドレス、IPエンコードマルチキャストアドレス等の項目で構成される。
災害状態データベース401において、カメラ名称「国道○△号No.1カメラ」は、現在災害が発生していることを示し、対象となるIPエンコードアドレスは「A」であって、IPエンコードマルチキャストアドレスは「a」であることを示している。また、カメラ名称「国道○△号No.2カメラ」及び「国道○△号No.3カメラ」は、現在正常な状態であることを示し、対象となるIPエンコードアドレスは「B」及び「C」であって、IPエンコードマルチキャストアドレスは「b」及び「c」であることを示している。
上記ステップS36での画像管理サーバ40による迂回可能な仮想のマルチキャストアドレスに関する処理では、例えば、図18に示すようなフィルタ設定テーブルを参照することによって実行される。図18は、画像管理サーバで管理されるフィルタ設定テーブルの例を示す図である。
図18において、フィルタ設定テーブル402は、ルータ識別子と、疎通マルチキャストアドレス等の項目で構成され、ルータ毎に迂回可能な仮想のマルチキャストアドレスを管理している。例えば、ルータ識別子「ルータ(a)」には、疎通マルチキャストアドレスとして、正常時に使用することのない仮想のマルチキャストアドレス「z」及び「y」が割り当てられていることを示している。
次に、優先度に基づいて仮想のマルチキャストアドレスに変更すべきIPエンコーダを決定する方法について説明する。図19は、図10、図12及び図14で示す動作における画像管理サーバによる優先度に基づいた処理を説明するためのフローチャート図である。
図19において、光回線2に障害が発生すると(ステップS131)、ネットワーク管理装置30にて警報を検出し、画像管理サーバ40に警報情報を通知する(ステップS132)。画像管理サーバ40は、光回線2の障害によって影響を受けるルータを特定し(ステップS133)、更に、特定したルータは以下のIPエンコーダを特定する(ステップS134)。
画像管理サーバ40は、ステップS34で特性したIPエンコーダの災害状態をチェックする(ステップS135)。IPエンコーダが正常である場合、この処理を終了する。一方、災害である場合、迂回可能な仮想のマルチキャストアドレスが残っているか否かを判断する(ステップS136)。残っている場合、ステップS137へ進む。
残っていない場合、既に迂回させるように設定した既迂回IPエンコーダと処理の対象となっている対象IPエンコーダの優先度を比較する(ステップS136−2)。既迂回IPエンコーダの優先度が高い場合、ステップS138へ進む。一方、対象IPエンコーダの優先度が高い場合、既迂回IPエンコーダのマルチキャストアドレスを元のマルチキャストアドレスに変更して(ステップS136−4)、ステップS137へ進む。
画像管理サーバ40は、対象IPエンコーダの実際のマルチキャストアドレスを迂回可能な仮想のマルチキャストアドレスに変更する(ステップS137)。つまり、画像管理サーバ40は、どのIPエンコーダの実際のマルチキャストアドレスを仮想のマルチキャストアドレスに変更するかを指定した変更指示情報をステップS133で特定したルータへ送信する。ルータは、この変更指示情報に基づいて、設定を変更する。
そして、画像管理サーバ40は、ステップS134で特定したIPエンコーダが残っているか否かを判断する(ステップS138)。残っている場合、ステップS135へ戻り、上記同様の処理を繰り返す。一方、残っていない場合、この処理を終了する。
このように、予め設定された仮想のマルチキャストアドレスの数に基づいて、画像管理サーバ40が優先して迂回すべきIPエンコーダを特定することができる。
上記ステップS136−2にて画像管理サーバ40が優先度を比較するために参照する災害状態データベースについて説明する。
図20は、画像管理サーバで管理される災害状態データベースの他の例を示す図である。図20において、災害状態データベース403は、カメラ名称、災害状態、IPエンコードアドレス、IPエンコードマルチキャストアドレス、優先度等の項目で構成される。
災害状態データベース403において、カメラ名称「国道○△号No.1カメラ」は、現在災害が発生していることを示し、対象となるIPエンコードアドレスは「A」であって、IPエンコードマルチキャストアドレスは「a」であり、優先度は「1」である。また、カメラ名称「国道○△号No.2カメラ」は、現在災害が発生していることを示し、対象となるIPエンコードアドレスは「B」であって、IPエンコードマルチキャストアドレスは「b」であり、優先度は「2」である。更に、カメラ名称「国道○△号No.3カメラ」は、現在災害が発生していることを示し、対象となるIPエンコードアドレスは「C」であって、IPエンコードマルチキャストアドレスは「c」であり、優先度は「3」である。
災害状態データベース403にて示される優先度は、数値が小さいほど優先度が高く、数値が大きいほど優先度が低い。したがって、カメラ名称「国道○△号No.1カメラ」の優先度が最も高く、続いて、カメラ名称「国道○△号No.2カメラ」、そして、カメラ名称「国道○△号No.3カメラ」の順となる。
画像管理サーバ40は、このような災害状態データベース403に基づいて、PC50へ表示させ、管理者に閲覧するカメラを選択可能とするための画像選択リストを管理している。図21は、画像管理サーバで管理される画像選択リストの例を示す図である。
図21において、画像選択リスト404は、閲覧選択有無、カメラ名称、災害状態等を示す項目で構成される。画像選択リスト404において、カメラ名称「国道○△号No.1カメラ」は、管理者によって閲覧が選択され、災害が発生していることを示し、カメラ名称「国道○△号No.2カメラ」は、管理者によって閲覧が選択され、正常な状態であることを示し、カメラ名称「国道○△号No.3カメラ」は、管理者によって閲覧が選択され、正常な状態であることを示している。
画像管理サーバ40は、画像選択リスト404から表示画面を生成して、例えば、PC50に図22に示すような画面を表示させる。図22は、カメラ選択画面の例を示す図である。
図22において、PC50に表示されるカメラ選択画面405は、画像選択リスト404に基づいた画面を構成する。画像選択リスト404を構成する閲覧選択有無、カメラ名称、災害状態等を示す項目に従って、カメラの一覧が表示される。管理者は、このカメラ選択画面405から選択有無の項目をカメラを選択するか選択しないかを設定することができる。
次に、各地のルータ(例えば、ルータ(a)61)から送信される画像を蓄積する動作について図23で説明する。図23は、画像蓄積動作を示す図である。図23において、画像管理サーバ40は、ルータ(a)61から受信した災害状態を示す情報に基づいて、災害状態データベース403を更新し、画像蓄積サーバ45へその情報を通知する。
画像蓄積サーバ45では、管理者によって蓄積領域の閾値、蓄積上限数などの値が適宜更新される。また、画像蓄積サーバ45では、定期的に画像を蓄積するメディア残量を検出し、そのメディア残量を管理する。
画像蓄積サーバ45は、画像を受信すると、蓄積状況データベース451を参照して優先して蓄積すべき画像であるか否かを判断し蓄積を開始又は終了するなどの画像蓄積可否を自動的に判断して画像を蓄積するようにする自動蓄積処理を行う。
図24は、自動蓄積処理を説明するためのフローチャート図である。図24において、画像蓄積サーバ45は、蓄積状況データベース451のデータ(例えば、災害状態)が変更されると(ステップS101)、データに変更のあったカメラからの画像を処理対象とする(ステップS102)。
データに変更のあったカメラの「災害状態」が災害を示すか或いは正常を示すかを確認する(ステップS103)。正常を示す場合、そのカメラの「蓄積状況」を「停止」に設定し(ステップS104)、画像蓄積を停止する(ステップS205)。
一方、災害を示す場合、「蓄積中」のカメラ総数に、「災害」でかつ「停止」のカメラ台数を加えた数が「同時蓄積上限数」以下、又は、それより多いかをチェックする(ステップS106)。「同時蓄積上限数」以下である場合、ステップS108に進む。
一方、「同時蓄積上限数」より多い場合、「蓄積中」を示すカメラと「災害」かつ「停止」のカメラを優先度でソートし、「同時蓄積上限数」を超えるカメラと超えないカメラとを判断する(ステップS107)。「同時蓄積上限数」を超えるカメラと判断されるカメラについて、ステップS104を実行し、「蓄積状況」を「停止」に設定し、そのカメラから受信した画像を蓄積しない。「同時蓄積上限数」を超えないカメラと判断されるカメラについて、ステップS108へ進む。
「蓄積メディア残量」が「蓄積メディア残量閾値」未満又は以上であるかを判断する(ステップS108)。ここで、「蓄積メディア残量」は、前述したように定期的に検出されそのデータが更新されるため、現在の「蓄積メディア残量」との比較が行われる。「蓄積メディア残量」が「蓄積メディア残量閾値」以上である場合、ステップS104及びS105を実カメラの「蓄積状況」を「停止」に設定し、画像蓄積を停止する。
一方、「蓄積メディア残量」が「蓄積メディア残量閾値」未満である場合、該当カメラの「蓄積状況」を「蓄積中」にする(ステップS109)。そして、画像蓄積サーバ45は、マルチキャストアドレスを参照して画像の蓄積を開始する(ステップS110)。以後、蓄積状況データベース451のデータが更新されるまで、係属して画像を蓄積する。
図25は、画像蓄積サーバで管理される蓄積状況データベースを示す図である。図25において、蓄積状況データベース451は、カメラ名称、災害状態、IPエンコードアドレス、IPエンコードマルチキャストアドレス、優先度、蓄積状況などの項目で構成される。
蓄積状況データベース451において、カメラ名称「国道○△号No.1カメラ」は、「災害」が発生していることを示し、優先度「1」で、現在画像を「蓄積中」であることを示している。また、カメラ名称「国道○△号No.2カメラ」は、「正常」な状態であることを示し、優先度「2」で、現在画像の蓄積を「停止」していることを示している。カメラ名称「国道○△号No.3カメラ」は、「正常」な状態であることを示し、優先度「3」で、現在画像の蓄積を「停止」していることを示している。
図26は、画像蓄積サーバで管理される蓄積メディア管理テーブルの例を示す図である。図26において、蓄積メディア管理テーブル452は、蓄積メディア残量閾値、蓄積メディア残量、同時蓄積上限数などの項目で構成される。蓄積メディア残量閾値及び蓄積メディア残量は、例えば、記憶領域の容量を示す単位キロバイト、ギガバイトなどで示すようにすればよい。
蓄積メディア管理テーブル452において、画像を蓄積するメディアについて、蓄積メディア残量閾値が「75」、蓄積メディア残量が「80」、同時蓄積上限数が「20」であることを示している。
上記より、本発明は、メインに使用される光回線に障害が発生した場合、自動的に、遠隔地に設定された複数のIPエンコーダのうち、画像をバックアップ用マイクロ回線3(予備回線)に迂回させて送信すべきIPエンコーダを選択することができる。
また、カメラに接続される各IPエンコーダが、画像を解析して災害が発生したと判断した場合、画像管理サーバに通知する仕組みによって、画像管理サーバでの処理負荷を軽減することができる。
以下に付記する。
(付記1)帯域幅の大きい主回線と帯域幅の小さい副回線とで構成されるネットワークを介して、遠隔地に設置された複数のカメラで該遠隔地での状態を監視し、該遠隔地での状態に応じて該主回線から該副回線へ該複数のカメラによる画像の送信を迂回させる画像迂回制御サーバにおいて、
上記ネットワークの状態を管理するネットワーク管理サーバから上記主回線の障害発生の通知を受信する障害発生通知手段と、
上記カメラから送信された災害通知を受信する災害通知受信手段と、
上記副回線によって送信可能な範囲内において、少なくとも上記災害通知を送信した上記カメラからの画像が送信されるように、上記複数のカメラからの画像を取り込むマルチキャストアドレスを決定し、上記副回線へ切り替えるべきマルチキャストアドレスの変更を指示する変更指示情報を作成する変更指示情報作成手段と、
上記複数のカメラが撮影した画像を上記主回線又は上記副回線によって送信する上記遠隔地に設置されたルータに対して、上記変更指示情報を送信することによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させる迂回手段とを有するようにした画像迂回制御サーバ。
(付記2)上記ルータは、上記変更指示情報に基づいて、上記副回線へ切り替えるときのみに有効な仮想のマルチキャストアドレスを上記副回線へ切り替えるべきマルチキャストアドレスと置き換えることによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させようにした付記1記載の画像迂回制御サーバ。
(付記3)帯域幅の大きい主回線と帯域幅の小さい副回線とで構成されるネットワークを介して、遠隔地に設置された複数のカメラで該遠隔地での状態を監視し、該遠隔地での状態に応じて該主回線から該副回線へ該複数のカメラによる画像の送信を迂回させる画像迂回制御システムにおいて、
上記複数のカメラが撮影した画像を上記主回線又は上記副回線によって送信する上記遠隔地に設置されたルータと、
上記ネットワークの状態を管理するネットワーク管理サーバと、
上記カメラから送信された災害通知に基づいて、上記複数のカメラ毎に状態を管理し、上記ネットワーク管理サーバからの上記主回線の障害通知を受信した際には、該複数のカメラ毎に対応付けされたマルチキャストアドレスと上記副回線へ切り替えるための優先度とに基づいて、該副回線へ切り替えるべきマルチキャストアドレスの変更を指示する変更指示情報を作成し、該副回線を介して上記ルータへ送信することによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させる画像迂回制御サーバとを有するようにした画像迂回制御システム。
(付記4)帯域幅の大きい主回線と帯域幅の小さい副回線とで構成されるネットワークを介して、遠隔地に設置された複数のカメラで該遠隔地での状態を監視する画像迂回制御サーバにおける、該遠隔地での状態に応じて該主回線から該副回線へ該複数のカメラによる画像の送信を迂回させる画像迂回制御方法において、
上記画像迂回制御サーバに、
上記ネットワークの状態を管理するネットワーク管理サーバから上記主回線の障害発生の通知を受信する障害発生通知手順と、
上記カメラから送信された災害通知を受信する災害通知受信手順と、
上記副回線によって送信可能な範囲内において、少なくとも上記災害通知を送信した上記カメラからの画像が送信されるように、上記複数のカメラからの画像を取り込むマルチキャストアドレスを決定し、上記副回線へ切り替えるべきマルチキャストアドレスの変更を指示する変更指示情報を作成する変更指示情報作成手順と、
上記複数のカメラが撮影した画像を上記主回線又は上記副回線によって送信する上記遠隔地に設置されたルータに対して、上記変更指示情報を送信することによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させる迂回手順とを実行させるようにした画像迂回制御方法。
(付記5)上記ルータは、上記変更指示情報に基づいて、上記副回線へ切り替えるときのみに有効な仮想のマルチキャストアドレスを上記副回線へ切り替えるべきマルチキャストアドレスと置き換えることによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させようにした付記4記載の画像迂回制御方法。
本発明の実施の一形態に係るシステムの構成を示す図である。 図1に示す正常時における疎通設定情報の例を示す図である。 光回線に障害が発生した場合の動作例を示す図である。 図3に示す動作によって設定が変更された疎通設定情報の例を示す図である。 光回線に障害が発生した場合の他の動作例を示す図である。 図5に示す動作によって設定が変更された疎通設定情報の例を示す図である。 コンフィグ設定情報の例を示す図である。 災害認識動作を示す図である。 図1、図3及び図5で示す動作における画像管理サーバによる処理を説明するためのフローチャート図である。 仮想のマルチキャストアドレスを使用した疎通制御における正常時のシステムの構成を示す図である。 図10に示す正常時における疎通設定情報の例を示す図である。 仮想のマルチキャストアドレスを使用した疎通制御における光回線に障害が発生した場合の動作例を示す図である。 図12に示す動作によって設定が変更された疎通設定情報の例を示す図である。 仮想のマルチキャストアドレスを使用した疎通制御における光回線に障害が発生した場合の他の動作例を示す図である。 図14に示す動作によって設定が変更された疎通設定情報の例を示す図である。 図10、図12及び図14で示す動作における画像管理サーバによる処理を説明するためのフローチャート図である。 画像管理サーバで管理される災害状態データベースを示す図である。 画像管理サーバで管理されるフィルタ設定テーブルの例を示す図である。 図10、図12及び図14で示す動作における画像管理サーバによる優先度に基づいた処理を説明するためのフローチャート図である。 画像管理サーバで管理される災害状態データベースの他の例を示す図である。 画像管理サーバで管理される画像選択リストの例を示す図である。 カメラ選択画面の例を示す図である。 画像蓄積動作を示す図である。 自動蓄積処理を説明するためのフローチャート図である。 画像蓄積サーバで管理される蓄積状況データベースを示す図である。 画像蓄積サーバで管理される蓄積メディア管理テーブルの例を示す図である。
符号の説明
2 光回線
30 ネットワーク管理装置
40 画像管理サーバ
45 画像蓄積サーバ
61 ルータ(a)
62a、62b、62c IPエンコーダ
63a、63b、63c カメラ
64、74 マイクロ無線装置
71 ルータ
72 IPデコーダ
50 PC

Claims (3)

  1. 帯域幅の大きい主回線と帯域幅の小さい副回線とで構成されるネットワークを介して、遠隔地に設置された複数のカメラで該遠隔地での状態を監視し、該遠隔地での状態に応じて該主回線から該副回線へ該複数のカメラによる画像の送信を迂回させる画像迂回制御サーバにおいて、
    上記ネットワークの状態を管理するネットワーク管理サーバから上記主回線の障害発生の通知を受信する障害発生通知手段と、
    上記カメラから送信された災害通知を受信する災害通知受信手段と、
    上記副回線によって送信可能な範囲内において、少なくとも上記災害通知を送信した上記カメラからの画像が送信されるように、上記複数のカメラからの画像を取り込むマルチキャストアドレスを決定し、上記副回線へ切り替えるべきマルチキャストアドレスの変更を指示する変更指示情報を作成する変更指示情報作成手段と、
    上記複数のカメラが撮影した画像を上記主回線又は上記副回線によって送信する上記遠隔地に設置されたルータに対して、上記変更指示情報を送信することによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させる迂回手段とを有するようにした画像迂回制御サーバ。
  2. 上記ルータは、上記変更指示情報に基づいて、上記副回線へ切り替えるときのみに有効な仮想のマルチキャストアドレスを上記副回線へ切り替えるべきマルチキャストアドレスと置き換えることによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させようにした請求項1記載の画像迂回制御サーバ。
  3. 帯域幅の大きい主回線と帯域幅の小さい副回線とで構成されるネットワークを介して、遠隔地に設置された複数のカメラで該遠隔地での状態を監視し、該遠隔地での状態に応じて該主回線から該副回線へ該複数のカメラによる画像の送信を迂回させる画像迂回制御システムにおいて、
    上記複数のカメラが撮影した画像を上記主回線又は上記副回線によって送信する上記遠隔地に設置されたルータと、
    上記ネットワークの状態を管理するネットワーク管理サーバと、
    上記カメラから送信された災害通知に基づいて、上記複数のカメラ毎に状態を管理し、上記ネットワーク管理サーバからの上記主回線の障害通知を受信した際には、該複数のカメラ毎に対応付けされたマルチキャストアドレスと上記副回線へ切り替えるための優先度とに基づいて、該副回線へ切り替えるべきマルチキャストアドレスの変更を指示する変更指示情報を作成し、該副回線を介して上記ルータへ送信することによって、自動的に該ルータに該主回線から該副回線へ画像の送信を迂回させる画像迂回制御サーバとを有するようにした画像迂回制御システム。
JP2003421459A 2003-12-18 2003-12-18 画像迂回制御サーバ Expired - Fee Related JP4146790B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003421459A JP4146790B2 (ja) 2003-12-18 2003-12-18 画像迂回制御サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003421459A JP4146790B2 (ja) 2003-12-18 2003-12-18 画像迂回制御サーバ

Publications (2)

Publication Number Publication Date
JP2005184387A JP2005184387A (ja) 2005-07-07
JP4146790B2 true JP4146790B2 (ja) 2008-09-10

Family

ID=34782679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003421459A Expired - Fee Related JP4146790B2 (ja) 2003-12-18 2003-12-18 画像迂回制御サーバ

Country Status (1)

Country Link
JP (1) JP4146790B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4816388B2 (ja) * 2006-10-02 2011-11-16 富士ゼロックス株式会社 情報管理装置、画像処理制御装置、画像処理システム、及びプログラム
JP4893649B2 (ja) 2008-02-08 2012-03-07 富士通株式会社 帯域制御サーバ及び帯域制御プログラム並びに監視システム
JP2011215841A (ja) * 2010-03-31 2011-10-27 Sogo Keibi Hosho Co Ltd 警備システム
JP6119116B2 (ja) * 2012-05-30 2017-04-26 日本電気株式会社 無線通信システム、無線通信方法、サーバ、サーバの制御方法および制御プログラム、携帯通信端末、携帯通信端末の制御方法および制御プログラム
JP2016005095A (ja) * 2014-06-16 2016-01-12 三菱電機株式会社 通信装置及び通信レート調整装置及びアプリケーション実行装置及び通信システム及びプログラム

Also Published As

Publication number Publication date
JP2005184387A (ja) 2005-07-07

Similar Documents

Publication Publication Date Title
US8064080B2 (en) Control of data distribution apparatus and data distribution system
CN1758608B (zh) 用于处理计算机簇节点的故障的方法和系统
US5715394A (en) Method of supporting the management of a communications network, and network management facility therefor
US8209414B2 (en) Information collecting system
JP4590039B2 (ja) カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体
JP3689447B2 (ja) カメラ制御システム及び方法
JP2009188884A (ja) 帯域制御サーバ及び帯域制御プログラム並びに監視システム
JP2003319375A (ja) 監視カメラシステム
JP4146790B2 (ja) 画像迂回制御サーバ
JP2007221234A (ja) ダウンロード方法およびそれを用いた伝送装置
JP2003289528A (ja) 遠隔監視システムおよび同システムの監視制御方法
KR101454014B1 (ko) 네트워크 카메라/네트워크 비디오 레코더의 실시간 오류 모니터링 시스템 및 방법
JP2004280717A (ja) 遠隔制御監視システム及びそれに用いる情報通信方法
CN113645048A (zh) 网卡切换方法、装置以及现场可编程逻辑门阵列fpga
JP2007235914A (ja) デジタル映像監視システム
JP4247540B2 (ja) 防災ネットワークシステム
KR101672970B1 (ko) 신뢰성 유지 기능을 구비한 영상 감시 시스템
KR101868939B1 (ko) Ip 카메라의 실시간 이중화 중계시스템
CA2246818C (en) Geographic redundancy protection method and apparatus for a communications network
JP5005425B2 (ja) 制御装置復帰システム
KR101859598B1 (ko) 보안장비 원격 관리시스템
JP2007174501A (ja) ネットワーク監視システム及び映像監視装置
JP4191155B2 (ja) 監視制御プログラム、監視制御装置、監視制御方法
JP2001352333A (ja) ネットワーク接続機器
JP4655059B2 (ja) カメラサーバシステム、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080620

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees