JP4411248B2 - 移動監視ロボット - Google Patents

移動監視ロボット Download PDF

Info

Publication number
JP4411248B2
JP4411248B2 JP2005174693A JP2005174693A JP4411248B2 JP 4411248 B2 JP4411248 B2 JP 4411248B2 JP 2005174693 A JP2005174693 A JP 2005174693A JP 2005174693 A JP2005174693 A JP 2005174693A JP 4411248 B2 JP4411248 B2 JP 4411248B2
Authority
JP
Japan
Prior art keywords
stop
monitoring
stop position
unit
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005174693A
Other languages
English (en)
Other versions
JP2006350601A (ja
Inventor
忠 梶谷
哲也 高橋
洋正 大町
久史 沙魚川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2005174693A priority Critical patent/JP4411248B2/ja
Publication of JP2006350601A publication Critical patent/JP2006350601A/ja
Application granted granted Critical
Publication of JP4411248B2 publication Critical patent/JP4411248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、所定の移動経路を移動手段で移動して警備情報を収集する移動監視ロボットに関し、特に、ロボットの動きを予測困難にすることで監視能力を向上する技術に関する。
従来、各種の警備用センサを備え、所定の経路を巡回し、警備情報を収集する移動監視ロボットが知られている。
このような移動監視ロボットは、例えば特許文献1に開示されている。この従来文献には、所定の巡回経路を移動して警戒位置に到達すると所定時間停止して、この停止中に警備用センサを作動させて、警戒位置の異常事態を監視する移動体が開示されている。この移動体は、警戒位置において所定時間が経過すると巡回経路の移動を再開し、巡回終了位置に達すると全ての動作を終了する。
特開平8−44985号公報(第3−4ページ、図2、図3)
しかしながら、特許文献1に開示された移動体は、巡回経路中で停止するのは警戒位置のみであるため、巡回経路中で何処に重点をおいて監視しているかが、外部から観察する第三者に推測される可能性がある。このため、重点的に監視している場所と、そうでない場所が容易に見破られてしまい、セキュリティ上好ましくないという問題がある。
そこで、本発明は、巡回経路上の重点的な監視場所と、そうでない場所を推測困難とした移動監視ロボットの提供を目的とする。
本発明の移動監視ロボットは、所定の移動経路に沿って移動手段で自律移動して警備情報を収集する。この移動監視ロボットは、前記移動経路上において必ず停止する位置である重要監視位置を予め記憶している記憶部と、前記移動経路に沿って移動を開始する前に、前記重要監視位置以外に前記移動経路上において停止する所定数の停止位置をランダムに生成する停止位置生成部と、自己の現在位置を判定する位置判定部と、前記現在位置が前記重要監視位置または前記停止位置と一致すれば当該位置に所定時間停止するように前記移動手段を制御する移動制御部と、を備えている。
この構成により、重要監視位置以外に所定数の停止位置がランダムに設定され、重要監視位置と停止位置で停止するように移動手段が制御される。重要監視位置以外でも移動監視ロボットが停止し、停止位置がランダムに変わるので、巡回経路上の重点的な監視場所と、そうでない場所を推測困難とすることができる。
前記記憶部は、停止する候補の位置を複数の停止位置候補として予め記憶しており、前記停止位置生成部は、前記停止位置候補からランダムに選択して停止位置としてよい。この構成により、重要監視位置以外に複数の停止位置候補が設定され、これら複数の停止位置候補からランダムに停止位置が選択される。
より詳細には、移動監視ロボットは、移動経路に予め設定された少なくとも一の重要監視位置および複数の停止位置候補の情報と、前記複数の停止位置候補から選ばれた停止位置の情報を有する停止位置テーブルとを記憶する記憶部と、現在位置が前記重要監視位置または前記停止位置であることを判定する位置判定部と、前記位置判定部の判定結果に応じて前記重要監視位置または前記停止位置にて前記移動手段による移動を所定時間停止する移動制御部と、乱数を発生させる乱数生成部と、前記複数の停止位置候補のなかから停止位置を乱数に基づきランダムに選出して前記停止位置テーブルに記憶する停止位置テーブル生成部と、を備えてよい。このような構成により、停止位置テーブルの処理によって停止位置を好適にランダムに設定できる。
また、本発明の移動監視ロボットにおいて、前記記憶部は、更に複数の停止時間候補を記憶した停止時間リストを予め記憶し、前記所定時間は、当該停止位置に対して前記停止時間リストからランダムに停止時間を選出した時間でよい。より詳細には、停止位置生成部は、前記複数の停止位置候補から選出された停止位置に対して乱数に基づき前記停止時間リストのなかから停止時間を選出し、該停止位置の停止時間として記憶し、前記移動制御部は、現在の位置が前記停止位置であれば、該停止位置に対応して記憶された停止時間のあいだ前記移動手段による移動を停止してよい。
この構成により、各停止位置での停止時間がランダムに設定される。停止時間が場所によって変わるので、このことによっても巡回経路上の重点的な監視場所と、そうでない場所を推測困難とすることができる。また、停止時間がランダムに変わることで、移動監視ロボットの動きが不規則になってさらに予測困難になり、警備能力をさらに向上できる。
また、本発明の別態様は監視システムであり、この監視システムは、所定の移動経路に沿って移動手段で自律移動して警備情報を収集する移動監視ロボットと、該移動監視ロボットと通信する監視センタとを含む。
本発明の監視システムにおいては、移動監視ロボットが上記構成を備え、停止位置が移動監視ロボットで生成されてもよい。
また、監視システムは、監視センタで生成した停止位置テーブルを移動監視ロボットに提供するように構成されてもよい。この場合の監視システムの構成としては、前記監視センタは、前記移動経路上において前記移動監視ロボットが必ず停止する位置である重要監視位置を予め記憶している記憶部と、前記移動経路上において前記重要監視位置以外に前記移動監視ロボットが停止する所定数の停止位置をランダムに生成する停止位置生成部と、前記重要監視位置と前記停止位置生成部にて生成された前記停止位置とを前記移動監視ロボットに送信する通信部と、を備え、前記移動監視ロボットは、前記監視センタから前記重要監視位置と前記停止位置とを受信する通信部と、自己の現在位置を判定する位置判定部と、前記現在位置が前記重要監視位置または停止位置と一致すれば当該位置に所定時間停止するように前記移動手段を制御する移動制御部と、を備える。この構成では、監視センタにて停止位置が生成され、監視センタから移動監視ロボットに停止位置が送信される。この構成によっても、停止位置がランダムに変わり、上述の本発明の利点が得られる。
上述のように、本発明は、巡回経路上の重点的な監視場所と、そうでない場所を推測困難とすることができ、したがってセキュリティ性を向上できる。
以下、本発明の実施の形態について、図面を参照して説明する。
図1は、本発明に係る移動監視ロボットを用いた監視システムを示す構成図である。監視システム1は、移動監視ロボット2と監視センタ3を含み、移動監視ロボット2と監視センタ3は通信可能である。監視システム1の概要としては、移動監視ロボット2は、警備区域となる所定の環境内に設定された巡回経路を移動するとともに、移動中に予め設定された重要監視位置で所定時間停止し、このような移動および停止を含む巡回過程で警備情報の収集作業を行う。ここで、本実施の形態の移動監視ロボットは、重要監視位置の他に、巡回経路中に設定された複数の地点の中から移動停止する地点をランダムに選出し、該当位置で停止しながら警備情報を収集して巡回を行う。
移動監視ロボット2は、周囲の物体を検出する障害物検出部や、火災などの異常を検出する警備センサ、周囲の状況を撮影する撮像ユニット、撮像画像から移動物体を検出する画像処理部などにより警備情報を収集し、異常事態が発生したと判定すると遠隔の監視センタ3に異常信号を送信する。障害物検出部と警備センサ、撮像ユニットは第1の警備情報収集手段として作用し、画像処理部は第2の警備情報収集手段として作用する。本実施の形態の場合、第1の警備情報収集手段は重要監視位置に限らず巡回経路を巡回するあいだ常時警備情報を収集する構成である。これに対して、第2の警備情報収集手段は重要監視位置にて警備情報を収集する構成であり、第1の警備情報収集手段で収集される警備情報と別のタイプの警備情報を収集する。
上記の警備情報の収集のため、移動監視ロボット2は、警備区域内における既設の物体を予め記憶し、巡回時に周囲を空間走査して、既設物体以外を検知したとき、又は検出されるべき既設物体が検出されなかったときに異常発生と判定する。また、移動監視ロボット2は、巡回時に人体検出センサや火災センサなどからなる警備センサを作動させて、侵入者や火災を検出したときに異常発生と判定する。また更に、移動監視ロボット2は、巡回走行時に所定の重要監視位置に到達すると、走行を所定時間停止して、撮像画像を画像処理し画像センシングにより周囲を監視して移動物体を検出する。
監視センタ3にはセンタ装置4が設けられており、センタ装置4が通信網5に接続され、通信網5にはさらに無線基地局6が接続されており、無線基地局6は移動監視ロボット2と無線通信する。これにより、監視センタ3が、通信網5および無線基地局6を介して移動監視ロボット2と通信する。そして、管制員が、通信網5及び無線基地局6を介して移動監視ロボット2から伝送される情報により警備区域を監視している。
センタ装置4は、液晶モニタやCRTなどで構成される表示部と、キーボードやジョイスティック、ポインティングデバイスなどで構成される入力部と、CPU等を備えたコンピュータで構成されてセンタ装置4を制御する制御部と、移動監視ロボット2と通信する通信部とを含んでいる。表示部には、移動監視ロボット2の位置情報、移動監視ロボット2が撮影した画像、移動監視ロボット2が検出した異常の情報などが表示される。入力部は、管制員によって操作され、これにより、所定のコマンドや巡回の基準スケジュールなどの情報の入力が行われる。制御部は、移動監視ロボット2から受信した信号を伸張して表示部に表示するとともに、入力部から入力されたコマンドに基づき制御信号を移動監視ロボット2に送信する。
監視センタ3では、移動監視ロボット2から異常信号を受信すると、異常の情報を管制員が確認し、異常の存在が認められると移動監視ロボット2に制御信号を送信して異常に対処させる。この異常対処処理では、例えば、移動監視ロボット2を遠隔操作する制御信号が送られる。
次に、移動監視ロボット2の構成を詳細に説明する。図2は、本発明の移動監視ロボット2の構成を示す図である。図示のように、移動監視ロボット2は、移動手段11、ガイド検出部12、移動制御部13、自己位置検出部14、障害物検出部15、警備センサ16、撮像ユニット17、画像処理部18、異常判定部19、計時部20、記憶部21、停止位置テーブル処理部22、通信部23、これら各部を制御する制御部24、および各部に電力を供給するバッテリ25で構成されている。以下、各部構成を説明する。
移動手段11は、右輪31、左輪32と左右輪を独立に駆動するモータ33、34で構成されている。移動監視ロボット2は、図1に示すように4つの車輪を有しており、それらのうち右輪31、左輪32の2つが駆動輪として機能する。これら駆動輪が回転して移動監視ロボット2が走行する。そして、左右輪の回転速度により直進走行速度、旋回走行速度が制御され、旋回方向も制御される。左右輪の回転速度は、移動制御部13により独立して制御される。
なお、上記のように左右輪を独立に制御する代わりに、舵角を制御して旋回速度を制御する方式が採用されてもよい。また、車輪駆動でなく、左右のクローラを独立に制御する方式が採用されてもよい。
ガイド検出部12は、移動監視ロボット2の移動経路となる巡回経路を指示するガイド手段を検出する。図3は、移動監視ロボット2が使用される警備区域を示す図であり、図3にはガイド手段が示されている。図示のように、警備区域において、予め設定された移動ロボット2が巡回する巡回経路には、経路の全長にわたってガイド手段としての白線テープ101が固定的に設けられている。移動監視ロボット2は、ガイド検出部12にて白線テープを検出して、巡回経路を認識する。
また、巡回経路中の所定の地点には、白線テープ101とともに、地点指示手段としての指示マーカ103が固定的に設けられている。指示マーカ103は、巡回経路中に設定された区間の境界や重要監視位置など、巡回経路中の複数地点に設けられていて、各地点を移動ロボット2に教示する白色矩形のマークである。重要監視位置は、区間の境界を兼ねていてもよく、区間の境界とは別に設けられてもよい。移動監視ロボット2は、ガイド検出部12にて指示マーカ103を検出して、巡回経路中に設定された重要監視位置やその他の地点を認識する。
ここで、区間の境界とは、例えば直線からカーブに移る地点およびその逆の地点や、直線上やカーブ上など巡回経路における任意地点、経路が分岐する地点などである。また、重要監視位置とは、予め設定された重要な監視対象物が存在する位置であり、巡回中に移動監視ロボット2が所定時間停止して周囲を監視する位置である。
指示マーカ103が設置された位置の情報は、予め記憶部21に経路情報の一部として記憶される。経路情報では、各指示マーカ103に固有のマーカ番号が付与されており、各マーカ番号に対応して、該当指示マーカ103の情報が経路情報に含まれている。経路情報は、区間の境界の指示マーカ103および重要監視位置の指示マーカ103を特定する情報を持っている。その他、区間の番号などの情報や、各指示マーカ103の座標情報も、マーカ番号と関連づけられている。経路情報の詳細は後述する。
本実施の形態では、上記の重要監視位置以外のマーカ位置が、停止位置候補として扱われ、停止位置候補の中から停止位置が選択され、そして停止位置と重要監視位置で移動監視ロボット2が停止することになる。
ガイド検出部12は、白線検出カメラ41と路面情報抽出部42とから成る。白線検出カメラ41は、路面を撮影可能に移動監視ロボット2の底面に設置されている。路面情報抽出部42は、移動監視ロボット2のコンピュータにより実現され、画像処理機能を有しており、エッジ抽出やハフ変換などの処理により、白線検出カメラ41の撮影画像から、移動監視ロボット2の経路を誘導すべき白線テープ101、及び指示マーカ103を検出して、制御部24に出力する。
そして、制御部24は、巡回経路を走行しているときに、ガイド検出部12の路面情報抽出部42から入力される指示マーカ103の検出情報に基づき、巡回経路の各区間の始点と終点を検出する。すなわち、指示マーカ103の検知回数を計数し、この検知回数と経路情報に基づいて検出された指示マーカのマーカ番号を判別して現在の区間を判別する。
また、このとき、制御部24は、停止位置テーブルに基づいて、検出された指示マーカ103が重要監視位置であるか否か、停止位置であるか否かを判別する。停止位置テーブルは、重要監視位置マーカ、および、その他の指示マーカから選出された停止位置マーカを記録したテーブルである。ここでは、制御部24は、現在位置が重要監視位置または停止位置であることを判定する位置判定部として機能し、現在位置が重要監視位置または停止位置であれば、走行を停止して計時部20により停止時間の計時を開始する。また、重要監視位置であれば、画像処理部18を作動させて、撮像ユニット17から入力される撮像画像を画像処理することにより、周囲を監視して移動物体を検出する。画像処理部18は、撮像画像を画像処理して移動物体を抽出し、移動物体の画像特徴量に基づき侵入者を検出する。
なお、ガイド検出部12は上記構成に限定されず、また、ガイド手段や地点指示手段も上記の構成に限定されない。例えば、ガイド検出部12を、磁気センサ、電磁誘導センサ、などで構成してもよい。この場合、それぞれ巡回経路に設置されたガイド手段や地点指示手段としての磁気ガイド、電磁誘導ガイドやRFタグを検出するようにガイド検出部12が構成されてよい。ガイド手段や地点指示手段及びガイド検出部12は、設置する環境により選択できるようすることが好ましい。
また、巡回経路上にガイド手段や地点指示手段を設けることなく、環境地図上の座標情報のかたちで巡回経路と経路上の区間の境界や重要監視位置などの複数地点を記憶してもよい。そして、移動監視ロボット2がデッドレコニングやGPSにより算出する位置情報と、記憶部21に記憶した環境地図から、巡回経路と経路上の各地点を認識し、認識結果に従って走行するように移動監視ロボット2が構成されてもよい。この場合、制御部24は、ガイド検出部12からの入力に換えて自己位置検出部14や、不図示のGPS受信部からの入力により、現在位置や現在の区間を判別する。
移動制御部13は、移動手段11の駆動モータ33、34を制御するための手段である。移動制御部13は、ガイド検出部12による白線テープの検知出力に応じて、例えば周知のPID制御などにより、白線テープ101に沿って移動するよう駆動モータ33、34を制御する。
また、移動制御部13は、制御部24による現在の区間の検出に応じて、巡回情報に基づいて、移動速度を制御する。移動速度は、経路情報中に記憶されている。また、移動制御部13は、移動監視ロボット2が巡回経路を移動しているときに停止位置に到達すると、移動手段11の駆動を停止する。
自己位置検出部14は、レゾルバ51、52と位置算出部53からなり、位置認識部として機能する。レゾルバ51、52はそれぞれモータ33、34に設置されており、モータ回転軸の絶対位置を検出する。レゾルバ51、52は、回転量検出手段の一形態である。なお、回転量検出手段はこれに限定されるものではなく、ロータリーエンコーダなどで構成されていてもよい。
位置算出部53は、レゾルバ出力から得られるモータ回転軸の回転量から左右輪31、32それぞれの回転量を算出し、後述の環境地図上における現在のロボットの位置座標と姿勢(ロボットの向き)を算出する。この処理では、車輪回転量から走行距離と角度変化が求められ、これらの情報から各時点の位置と姿勢が捕捉される。角度変化は左右車輪の回転量の差と車輪間隔から算出される。このような位置検出は、デッドレコニング(自律航法)として一般に知られる手法である。
また、位置算出部53は、指示マーカ103の検出に応じて、デッドレコニングにて得られた自己位置の補正などを行う。
障害物検出部15は、障害物センサ61と障害物判定部62とから成る。障害物センサ61は、障害物の相対位置を検出するためのセンサ手段である。障害物センサ61は、移動監視ロボット2の進行方向や周囲にレーザ光線や可視光線、超音波、赤外線などの探査信号を照射して、障害物からの反射回帰信号を検出信号として受信する。
障害物判定部62は、障害物センサ61の出力より障害物の相対位置を算出し、制御部24に出力する。障害物判定部62は、障害物センサ61による探査信号の照射から反射回帰信号検出までの時間、及び、探査信号の照射角又は反射信号の入射角から障害物までの相対距離と相対角度を算出し、これらに基づき障害物の相対位置を算出して、制御部24に出力する。
警備センサ16は、警備区域における防犯防災の異常を検出する手段である。防犯防災の異常を検出するセンサ手段としては種々のセンサが知られているが、本実施例においては、警備センサとして、火災が発生した時に生じる紫外線を検出する紫外線センサを具備する例について説明する。
移動監視ロボット2は、警備センサ16の出力に基づき火災の発生を判定する。ここで、紫外線センサとしては、太陽光に含まれない波長190〜260nmの紫外線を検知する太陽光ブラインドタイプのものが好ましい。
なお、警備センサ16は、上述した構成に限られるものではなく、他の検出手段によるものであってもよい。例えば、警備センサ16は、周知の赤外線やマイクロ波により人体を検出する人体センサや熱や煙を検知する火災センサなどで構成され、侵入者や火災を検出するものでもよい。上述の2つ以上のセンサが警備センサ16として設けられてよいことはもちろんである。
撮像ユニット17は、移動監視ロボット2に搭載されてロボット周囲を撮像する撮像手段である。撮像ユニット17は、例えば、図1に示されるように、ロボット上部の六角柱型のハウジングに収納されている。ハウジングの中には、6つの撮像部が6方向に向けて収納されており、これにより、水平方向の全視野がカバーされる。撮像ユニット19にて撮像された画像は、記憶部21にバッファされて、通信部23から監視センタ3に送信される。
画像処理部18は、既に説明したように、撮像ユニット17から入力される撮像画像を画像処理することにより、周囲を監視して移動物体を検出する。画像処理部18は、撮像画像を画像処理して移動物体を抽出し、移動物体の画像特徴量に基づき侵入者を検出する。この処理では、撮像ユニット17から入力される撮像画像と過去の画像が比較されて差分が求められ、画像間の輝度値変化量が求められる。そして、輝度値変化がしきい値以上であれば、移動物体が検出される。さらに、移動物体の大きさや移動速度などの特徴量が求められ、この特徴量が、侵入者を表す基準特徴量と比較され、両者が一致すれば(相違が所定範囲内であれば)、侵入者が検出される。
異常判定部19は、障害物検出部15や警備センサ16の出力に基づき警備区域内に侵入した物体や消失した物体、火災の発生などを検出して異常事態の有無を判定する手段である。異常判定部19は、異常事態の発生を検出すると制御部24に異常信号を出力する。
異常判定部19は、記憶部21に記憶した警備区域内の既設物の位置を示す既設物情報と障害物検出部15の出力とを比較して異常事態の有無を判定する。即ち、異常判定部19は、既設物体が存在しない位置において障害物検出部15により物体が検出されると侵入物が存在しており異常が発生したと判定する。また、異常判定部19は、既設物体が障害物検出部により検出されなかったとき既設物体が消失する異常が発生したと判定する。
また、異常判定部19は、警備センサ16の出力が火災の発生と判定するためのしきい値を超えているか否かを判別し、しきい値を超えていれば異常が発生したと判定する。
さらにまた、異常判定部19は、画像処理部18により侵入者が検出されると異常が発生したと判定し、このときも異常信号を制御部24に出力する。
計時部20は、現在時刻を検出する手段である。また、計時部20は、所定の時間を計時する手段である。計時部20は、コンピュータの時計機能によって実現される。
記憶部21は、移動監視ロボット2での各種処理に使用される情報を記憶している。記憶部21が記憶する情報には、巡回経路の情報を示した経路情報71と、警備区域を二次元座標系で示した環境地図72と、停止時間候補のリストである停止時間リスト73と、重要監視位置と停止位置を示す停止位置テーブル74とが含まれる。
経路情報71としては、区間境界の指示マーカ103のマーカ番号に対応して、巡回経路中の各区間(ある区間境界の指示マーカ103から次の区間境界の指示マーカ103までの区間)の区間番号、区間終点(マーカ番号)、各区間の移動速度、分岐の移動方向、予め測量した区間距離、区間の始点終点間の方位角の差(角度差)が記憶されている。さらに、経路情報71には、重要監視位置となる指示マーカ103のマーカ番号と当該位置での監視時間の情報が含まれている(なお、既に説明したように、重要監視位置が区間境界に設定されてもよい)。また、経路情報71は、区間境界および重要監視位置の各指示マーカ103の座標情報を含んでいる。
経路情報71は、指示マーカ毎の情報のテーブルによって構成されてもよい。このテーブルでは、上記のような指示マーカ毎の各種情報が、マーカ番号と関連づけられ、これにより経路情報が表現される。なお、マーカ番号は、該当マーカまでに検出されるべき指示マーカ103の数(検出回数)と対応付けられており、制御部24では検出回数をカウントすることによって、逐次検出される各指示マーカ103のマーカ番号が特定される。
環境地図72は、警備区域の地図情報である。環境地図72には、警備区域における既設物体の位置情報である既設物情報が記憶されている。既設物情報は、環境地図72の座標により指定され記憶されており、これにより既設物体の位置が特定される。既設物情報は、事前に移動監視ロボット2を走行させたときの障害物検出部15の出力から取得されてもよい。警備区域の測量図面から予め既設物情報が入力されていてもよい。
なお、環境地図72を、所定距離ごとにグリッドで仕切り、各グリッドに識別番号を設定し、このようなグリッドと識別番号により環境地図72が構成されてもよい。この場合、既設物情報は環境地図72の各グリッドの属性情報であってよい。各グリッドの属性情報として既設物体の有無が登録されて、既設物体の位置が特定される。
停止時間リスト73は、複数の停止時間候補を記憶したデータである。停止時間リスト73は、停止位置における停止時間を決定する処理で使用される。停止時間が複数の停止時間候補の中からランダムに選出されることになる。
停止位置テーブル74は、図4に示されている。停止位置テーブル74は、停止位置を記憶した情報であり、巡回経路を巡回するときに各指示マーカ103上で停止するか否かを示す情報である。停止位置テーブル74には、各マーカ番号に対応して、位置座標、重要監視位置か否か(重要監視位置フラグのONまたはOFF)、停止位置か否か(停止位置フラグのONまたはOFF)、停止時間などが記憶されている。停止位置フラグがONとなるマーカ番号はランダムに選択され、また、停止時間は、予め複数の停止時間長を記憶して設定された停止時間リスト73の中からランダムに選択される。
その他、記憶部21は、巡回スケジュール情報などの巡回に用いる他の情報も記憶してよい。巡回スケジュール情報は、一日や一週間など、所定の期間内における巡回のスケジュールであり、巡回番号毎に規定された巡回開始時刻の情報を持っている。巡回番号は、所定期間内に複数回行われる巡回を各々区別するために、各巡回ごと個別に付与される番号である。
停止位置生成部に相当する停止位置テーブル処理部22は、記憶部21の経路情報71に基づき、実際に巡回経路を走行して巡回業務を行うときの制御情報として、停止位置テーブル74を生成する。停止位置テーブル74は、図4に示したように、巡回経路を巡回するときに各指示マーカ上で停止するか否かを示す情報である。
停止位置テーブル処理部22は、所定のタイミングで起動する。停止位置テーブル処理部22は、乱数生成部81と停止位置テーブル生成部82を含む。乱数生成部81は、停止位置テーブル生成部82の要求に応じて乱数を生成して出力する。停止位置テーブル生成部82は、停止位置生成部として機能し、重要監視位置以外に停止する指示マーカ103を乱数に基づきランダムに選択して停止位置を生成し、これを記憶した停止位置テーブルを生成し、記憶部21に記憶する。
この処理では、巡回経路に存在する重要監視位置以外の指示マーカ103の位置が、停止位置候補になっており、そして、複数の停止位置候補から停止位置が選択される。例えば、整数の乱数が生成されて、乱数に応じて停止位置が選択される。複数の停止位置候補(重要監視位置以外の指示マーカ103)のうちの何番目を選択するかが乱数により決定されてよい。選択された停止位置の指示マーカ103の停止位置フラグがONにされて停止位置として記憶される(デフォルトの停止位置フラグはOFFである)。この処理が、所定数の停止位置が選択されるまで繰り返される。
停止位置テーブル生成部82は、さらに、停止位置毎の停止時間を設定し、停止位置テーブル74に書き込む。停止時間は、予め複数の時間長からなる複数の停止時間候補を記憶して設定された停止時間リスト73の中から乱数に基づきランダムに選択される。このとき、例えば整数の乱数が生成され、そして、複数の停止時間候補のうちの何番目を選択するかが乱数により決定されてよい。
なお、停止位置テーブル74は巡回毎に別々に生成されることが好ましい。所定のタイミングで、次回の巡回に用いる停止位置テーブルを生成してもよい。また、複数回(例えば1日)の巡回数に対応して一度に複数の停止位置テーブル74を生成してもよい。
通信部23は、無線基地局5及び通信網6を介して監視センタ3と信号を送受信する無線通信手段である。通信部23は、撮像ユニット17が撮影した画像を圧縮して、自己位置検出部14が検出する位置情報とともに監視センタ3に送信する。また通信部23は、異常判定部19が異常と判定した場合、監視センタ3に異常信号を送信する。また、通信部23は、監視センタ3から受信した制御信号を復調して制御部24に入力する。
制御部24は、移動監視ロボット2の各部構成を制御する手段であり、CPU等を備えたコンピュータで構成される。なお、上述した各部構成で、コンピュータ処理可能なものも同コンピュータで実現されてよい。例えば、路面情報抽出部42や、移動制御部13、位置算出部53、障害物判定部62、画像処理部18、異常判定部19、計時部20、停止位置テーブル処理部22などは同コンピュータで実現されてよい。また、移動制御に関しても、モータ制御の上位指令値が算出されてモータ駆動回路に伝えられてよい。また、記憶部21は、同コンピュータのメモリおよび外部記憶装置などで実現されてよい。
次に、本実施の形態に係る移動監視ロボット2の動作を説明する。移動監視ロボット2の全体的な動作としては、巡回に先だって、停止位置テーブル74を生成する。そして、巡回タイミングが到来すると、予め生成した停止位置テーブル74に従って巡回動作を行う。以下、これらの動作を順次説明する。
まず、停止位置テーブル74の生成処理を説明する。移動監視ロボット2は、通常、バッテリ25を充電した状態で待機モードに設定されている。この状態で、計時部20で得られる現在時刻に基づき、予め設定された停止位置テーブル生成時刻の到来を制御部24が検知したときや、監視センタ3からの制御信号を受信することにより、停止位置テーブル処理部22にて停止位置テーブル74を生成する。
図5は、停止位置テーブル74の生成手順を示すフローチャートである。停止位置テーブル処理部22は、各巡回毎(巡回番号毎)に停止位置テーブル74を生成する。図5は、1つの巡回番号の停止位置テーブル74を生成する処理を示している。
まず、停止位置テーブル処理部22の停止位置テーブル生成部82は、停止位置テーブル74の生成を開始すると、記憶部21から経路情報71を読み出して(S11)、巡回経路に含まれる各指示マーカ103の情報を取得する。そして、停止位置テーブル生成部82は、経路情報71を参照して、重要監視位置となる指示マーカ103のマーカ番号に対応する重要監視位置フラグをONして、この重要監視位置の監視時間を該当位置の停止時間として停止位置テーブル74に書き込み、設定する(S12)。監視時間は経路情報から得られる。また、このとき、重要監視位置でない指示マーカ103のマーカ番号については重要監視位置フラグがOFFに設定される。
次に、停止位置テーブル生成部82は、停止位置テーブル74中の各指示マーカ103の停止位置フラグをOFFする(S13)。そして、停止位置テーブル生成部82は乱数生成部81に乱数を生成させ(S14)、この乱数に基づき停止位置となる指示マーカ103を選択する(S15)。ここでは、停止位置テーブル生成部82は、重要監視位置フラグ及び停止位置フラグがOFFの指示マーカ103(すなわち、重要監視位置として設定された指示マーカ103及び既に停止位置として設定された指示マーカ103を除くマーカ番号の指示マーカ103)の中から、乱数によりランダムに停止位置となる指示マーカ103を選択する。停止位置テーブル生成部82は、選択されたマーカ番号に対応する停止位置フラグをONに設定し(S16)、これによりランダムに選択され生成された停止位置が停止位置テーブル74に記録される。
次に、停止位置テーブル生成部82は、停止位置として選択された指示マーカ103(停止位置フラグがONになったマーカ番号)に対応する停止時間を設定する。停止時間として設定されるべき時間長の複数の候補が、停止時間候補として予め停止時間リスト73に記憶されている。ここでは、停止位置テーブル生成部82は再び乱数生成部81に乱数を生成させ(S17)、この乱数に基づき停止時間リストから時間長(停止時間候補)を選択して(S18)、ステップS16で停止位置フラグをONにしたマーカ番号に対応付けて停止時間を設定する(S19)。停止時間は停止位置テーブル74の該当箇所に書き込まれる。
次に、停止位置テーブル生成部82は、停止位置フラグがONのマーカ数が、所定の停止位置設定数nより小さいか否かを判定する(S20)。ステップS20の判定がYesであれば、停止位置の数が設定数nに達していないので、ステップS14に進む。再び乱数に基づき停止位置が選択され、停止位置の停止時間が選択される。停止位置の数が設定数nに達すると、ステップS20の判定がNoになり、停止位置テーブル74の生成処理が終了する。
こうして、移動監視ロボット2は、上記手順により、停止位置および停止時間の選択を設定数n回繰り返して、停止位置テーブル74を生成して記憶部21に記憶する。
停止位置テーブル生成部82は、必要に応じて上記処理を複数回繰り返して、複数の巡回番号に対応して複数の停止位置テーブル74を生成する。複数の停止位置テーブル74がまとめて生成されてもよい。各巡回番号の停止位置テーブル74が個別に、例えば、該当番号の巡回開始前の適当なタイミングで生成されてもよい。
このようにして、本発明の移動監視ロボット2は、巡回経路中において、必ず停止するよう設定された位置(重要監視位置)の他に、ランダムな地点で停止すべく、乱数に基づいて停止位置を設定して記憶する。
なお、上記の処理では、図5の各ループで停止位置と停止時間が設定された。変形例としては、まず、設定数n個の停止位置が選択される。ここでは、乱数生成と停止位置の選択がn回繰り返される。それから、n個の停止位置の停止時間が選択される。ここでも乱数生成と停止時間の選択がn回生成される。この処理によっても同様の停止位置テーブル74が生成される。
次に、巡回時の制御について説明する。移動監視ロボット2は、計時部20で得られる現在時刻に基づき、予め設定された巡回開始時刻の到来を制御部24が検知したときや、監視センタ3からの制御信号を受信することにより、巡回モードに設定され、巡回を開始する。
図6は、巡回時の制御手順を示すフローチャートである。移動監視ロボット2は、巡回を開始すると、障害物検出部15を作動させて周囲を空間走査する。また、移動監視ロボット2は、警備センサ16を作動させて侵入者や火災の有無を監視する。また更に、移動監視ロボット2は、撮像ユニット17を作動させて周囲の状況を撮像する。撮像ユニット17にて取得される撮像画像は、記憶部21にバッファされて監視センタ3に送信される。
そして、移動監視ロボット2は、巡回を開始すると、ガイド検出部12からの信号を入力とし、移動制御部13により移動手段11を駆動制御して、白線テープ101に沿って巡回経路の移動を開始する(S31)。このとき、ガイド検出部12による指示マーカ103の検出や自己位置検出部14の出力により、現在位置が検出される。白線テープ101が白線検出カメラ41の画像から検出され、白線テープ101が常に画像の所定位置で所定角度を向くように移動制御部13が両モータ33、34の回転を独立して制御する。
この巡回経路の走行中に、障害物検出部15や警備センサ16からの入力に基づき、異常判定部19が異常発生と判定すると(S32、Yes)、移動監視ロボット2は走行を停止して(S33)、監視センタ3に異常信号を送信する(S34)。
ステップS32で異常と判定されなければ、制御部24は、ガイド検出部12から入力される情報から現在位置を検出する(S35)。検出された現在位置より、設定された巡回経路の走行終了が判定されれば(S36、Yes)、移動を停止して(S37)、障害物検出部15や警備センサ16、撮像ユニット17の作動を停止し、巡回を終了して待機モードに移行する。また、このとき、今回の巡回の巡回番号に対応した停止位置テーブル74を消去する。
他方、巡回経路の走行が終了していなければ(S36、No)、記憶部21に記憶された今回の巡回の停止位置テーブル74に基づき、検出された位置が停止位置か否かが判定され(S38)、また、重要監視位置か否かが判定される(S39)。このとき、制御部24が、現在位置が重要監視位置または停止位置であることを判定する位置判定部として機能する。停止位置でもなく(S38、No)、重要監視位置でもなければ(S39、No)、即ち、ガイド検出部12が停止位置または重要監視位置となる指示マーカ103を検出していないとき、移動制御部13は移動手段11の駆動を継続する(S40)。所定の移動速度で移動監視ロボット2が移動するように駆動モータ33、34の回転が制御される。そして、ステップS32に戻り、巡回経路の移動が継続されることになる。
ステップS38で現在位置が停止位置であれば、即ち、ガイド検出部12からの入力が停止位置となる指示マーカ103を示していれば、移動監視ロボット2は走行を停止して(S51)、停止位置テーブル74に記憶された該当停止位置の停止時間を読み出し(S52)、計時部20の出力を用いて停止時間の計時を開始する(S53)。停止中に、障害物検出部15や警備センサ16からの入力に基づき、異常判定部19が異常発生と判定すると(S54、Yes)、計時が終了し(S55)、ステップS34に進んで制御部24が監視センタ3に異常信号を送信する。
ステップS54で異常が検知されなければ、計時が継続され、停止時間が経過したか否かが判定される(S56)。停止時間が経過していなければ、ステップS54に戻る。停止時間が経過すれば(S56、Yes)、計時が終了する(S57)。そして、予め設定された移動速度で移動監視ロボット2が走行するように、移動制御部13が、移動手段11の駆動を再開する(S58)。巡回経路の移動が再開され、ステップS32に戻る。
他方、ステップS39で現在位置が重要監視位置であれば、即ち、ガイド検出部12からの入力が重要監視位置の指示マーカ103を示していれば、移動監視ロボット2は走行を停止して(S61)、停止位置テーブル74に記憶された該当重要監視位置の監視時間となる停止時間を読み出し(S62)、計時部20の出力を用いて停止時間の計時を開始する(S63)。また、移動監視ロボット2の制御部24は、計時開始とともに画像処理部18を起動する(S64)。
画像処理部18は、撮像ユニット17が取得する撮像画像から移動物体を抽出して、この移動物体の画像特徴量に基づき侵入者を検出する。画像処理部18が侵入者を検出すると異常判定部19は異常発生と判定する(S65)。ステップS65では、異常判定部19は、障害物検出部15や警備センサ16からの入力に基づいても異常を判定する。
移動監視ロボット2は、重要監視位置での停止中に、障害物検出部15や警備センサ16、画像処理部18からの入力に基づき、異常判定部19が異常発生と判定すると(S65、Yes)、計時が終了し(S66)、ステップS34に進んで制御部24が監視センタ3に異常信号を送信する。
ステップS65で異常が検知されなければ、計時が継続され、停止時間が経過したか否かが判定される(S67)。停止時間が経過していなければ、ステップS65に戻る。停止時間が経過すれば(S67、Yes)、計時が終了し(S68)、制御部24が画像処理部18の作動を停止する(S69)。そして、予め設定された移動速度で移動監視ロボット2が走行するように、移動制御部13が、移動手段11の駆動を再開する(S70)。巡回経路に沿った移動が再開され、ステップS32に戻る。
そして、前述したように、巡回経路の走行が終了すると、ステップS36の判定がYesになり、移動監視ロボット2が停止して(S37)、障害物検出部や警備センサ、撮像ユニットの作動を停止し、巡回を終了して待機モードに移行する。また、このとき、当該巡回の停止位置テーブルを消去する。
このように、本発明の移動監視ロボットは、巡回経路中において、必ず停止して重点的に監視するよう設定された位置(重要監視位置)の他に、ランダムに設定された位置で停止するので、巡回経路上の重点的な監視場所と、そうでない場所を推測困難とすることができ、したがって、重点的な監視位置を外部から判別し難くすることができる。また、停止時間が不規則に設定されており、このことによっても、重要監視位置の推測やロボットの動きの推測を困難にすることができる。
以上に本実施の形態の移動監視ロボット2を含む監視システム1について説明した。次に、監視システム1の変形例を説明する。上述の実施の形態では、移動監視ロボット2が停止位置テーブル処理部22を備えており、移動監視ロボット2にて停止位置テーブルを生成する例について説明した。しかし、監視センタ3のセンタ装置4が、経路情報、停止時間リストおよび停止位置テーブルを記憶する記憶部を備え、更に、停止位置テーブル処理部22(乱数生成部81および停止位置テーブル生成部82)を備えて、センタ装置4にてランダムに停止位置を生成して停止位置テーブルを生成し、停止位置テーブルをセンタ装置4から移動監視ロボット2に送信するよう監視システムが構成されてもよい。移動監視ロボット2は、受信した停止位置テーブルを記憶し、その停止位置テーブルを参照して上述の巡回動作を行うように構成される。
以上に説明したように、本発明によれば、予め設定された重要監視位置以外に所定数の停止位置がランダムに設定され、重要監視位置と停止位置で停止するように移動手段が制御される。重要監視位置以外でも移動監視ロボットが停止し、停止位置がランダムに変わる。巡回経路中において、必ず停止して重点的に監視するよう設定された位置(重要監視位置)の他に、ランダムに設定された位置で停止するので、巡回経路中で何処に重点をおいて監視しているかを推測困難とすることができ、巡回経路上の重点的な監視場所と、そうでない場所を第三者に見破られることを防止できる。これにより、セキュリティ性を向上させることが可能となる。
また、本発明によれば、停止する候補の位置を複数の停止位置候補として予め記憶されており、停止位置生成部は、停止位置候補からランダムに選択して停止位置とする。これにより、重要監視位置以外に複数の停止位置候補が設定され、これら複数の停止位置候補からランダムに停止位置が選択され、適当な停止位置を設定できる。
さらに、本発明によれば、各停止位置での停止時間がランダムに設定される。停止時間が場所によって変わるので、このことによっても巡回経路上の重点的な監視場所と、そうでない場所を推測困難とすることができる。また、停止時間がランダムに変わることで、移動監視ロボットの動きが不規則になってさらに予測困難になり、警備能力をさらに向上できる。
また、本発明によれば、移動監視ロボットは、重要監視位置で停止したときに撮像部で生成される画像を処理して移動物体を検出する画像処理部とを備えてよく、これにより、重要監視位置では通常のセンサ等を使った監視に加えて画像処理によってさらなる警備情報を収集できる。
また、上述にて変形例として説明されたように、監視センタにて停止位置が生成され、監視センタから移動監視ロボットに送信されてよい。この構成によっても上述の利点が得られる。
その他、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
以上のように、本発明にかかる移動監視ロボットは、移動経路を移動して警備情報を収集するロボットとして有用である。
本発明の実施の形態に係る監視システムを示す図である。 本発明の実施の形態に係る移動監視ロボットを示すブロック図である。 移動監視ロボットが使用される警備区域の例を白線テープ等のガイド手段と共に示す図である。 停止位置テーブルの例を示す図である。 停止位置テーブルの作成処理を示すフローチャートである。 移動監視ロボットの巡回動作を示すフローチャートである。
符号の説明
1 監視システム
2 移動監視ロボット
3 監視センタ
11 移動手段
12 ガイド検出部
13 移動制御部
14 自己位置検出部
15 障害物検出部
16 警備センサ
17 撮像ユニット
18 画像処理部
19 異常判定部
20 計時部
21 記憶部
22 停止位置テーブル処理部
23 通信部
24 制御部
81 乱数生成部
82 停止位置テーブル生成部

Claims (4)

  1. 所定の移動経路に沿って移動手段で自律移動して警備情報を収集する移動監視ロボットであって、
    前記移動経路上において必ず停止する位置である重要監視位置を予め記憶している記憶部と、
    前記移動経路に沿って移動を開始する前に、前記重要監視位置以外に前記移動経路上において停止する所定数の停止位置をランダムに生成する停止位置生成部と、
    自己の現在位置を判定する位置判定部と、
    前記現在位置が前記重要監視位置または前記停止位置と一致すれば当該位置に所定時間停止するように前記移動手段を制御する移動制御部と、
    を備えたことを特徴とする移動監視ロボット。
  2. 前記記憶部は、停止する候補の位置を複数の停止位置候補として予め記憶しており、
    前記停止位置生成部は、前記停止位置候補からランダムに選択して停止位置とする請求項1に記載の移動監視ロボット。
  3. 前記記憶部は、更に複数の停止時間候補を記憶した停止時間リストを予め記憶し、
    前記所定時間は、当該停止位置に対して前記停止時間リストからランダムに停止時間を選出した時間である請求項1または2の何れか一の請求項に記載の移動監視ロボット。
  4. 所定の移動経路に沿って移動手段で自律移動して警備情報を収集する移動監視ロボットと、該移動監視ロボットと通信する監視センタとを含む監視システムであって、
    前記監視センタは、
    前記移動経路上において前記移動監視ロボットが必ず停止する位置である重要監視位置を予め記憶している記憶部と、
    前記移動経路上において前記重要監視位置以外に前記移動監視ロボットが停止する所定数の停止位置をランダムに生成する停止位置生成部と、
    前記重要監視位置と前記停止位置生成部にて生成された前記停止位置とを前記移動監視ロボットに送信する通信部と、
    を備え、
    前記移動監視ロボットは、
    前記監視センタから前記重要監視位置と前記停止位置とを受信する通信部と、
    自己の現在位置を判定する位置判定部と、
    前記現在位置が前記重要監視位置または停止位置と一致すれば当該位置に所定時間停止するように前記移動手段を制御する移動制御部と、
    を備えることを特徴とした監視システム。
JP2005174693A 2005-06-15 2005-06-15 移動監視ロボット Active JP4411248B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005174693A JP4411248B2 (ja) 2005-06-15 2005-06-15 移動監視ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005174693A JP4411248B2 (ja) 2005-06-15 2005-06-15 移動監視ロボット

Publications (2)

Publication Number Publication Date
JP2006350601A JP2006350601A (ja) 2006-12-28
JP4411248B2 true JP4411248B2 (ja) 2010-02-10

Family

ID=37646382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005174693A Active JP4411248B2 (ja) 2005-06-15 2005-06-15 移動監視ロボット

Country Status (1)

Country Link
JP (1) JP4411248B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5013995B2 (ja) * 2007-07-03 2012-08-29 綜合警備保障株式会社 監視システム
JP5523900B2 (ja) * 2009-03-31 2014-06-18 綜合警備保障株式会社 人物検索装置、人物検索方法、及び人物検索プログラム
CN105654648B (zh) * 2016-03-28 2018-07-06 浙江吉利控股集团有限公司 防盗监控装置及系统和方法
JPWO2018154633A1 (ja) 2017-02-21 2019-11-14 日本電気株式会社 制御装置、制御方法およびプログラム
JP6912946B2 (ja) * 2017-06-12 2021-08-04 株式会社野村総合研究所 状態判定装置
JP6684753B2 (ja) * 2017-06-16 2020-04-22 株式会社東芝 検知システム、情報処理装置、検知プログラム、及び検知方法
US11256259B2 (en) * 2018-09-19 2022-02-22 Locus Robotics Corp. Zone engine for providing context-augmented map layer
CN111443702A (zh) * 2018-12-29 2020-07-24 沈阳新松机器人自动化股份有限公司 一种用于验证机器人路径一致性的方法
WO2024005108A1 (ja) * 2022-06-29 2024-01-04 愛知製鋼株式会社 車両用システム及び制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3333906B2 (ja) * 1994-07-29 2002-10-15 綜合警備保障株式会社 移動体
JP3146150B2 (ja) * 1996-04-01 2001-03-12 スター精密株式会社 監視カメラシステム
JP3337435B2 (ja) * 1999-03-18 2002-10-21 綜合警備保障株式会社 警備移動体監視システム及び装置
JP2002254374A (ja) * 2001-02-28 2002-09-10 Toshiba Corp ロボットシステム

Also Published As

Publication number Publication date
JP2006350601A (ja) 2006-12-28

Similar Documents

Publication Publication Date Title
JP4411248B2 (ja) 移動監視ロボット
JP4425170B2 (ja) 移動ロボット及び移動ロボットによる監視システム
US20200333789A1 (en) Information processing apparatus, information processing method, and medium
JP2006285548A (ja) 移動ロボット及び遠隔操作システム
JP5136927B2 (ja) レーザエリアセンサ
JP4368317B2 (ja) 移動ロボット
US20200257821A1 (en) Video Monitoring Method for Mobile Robot
KR20180039438A (ko) 공항용 안내 로봇 및 그의 동작 방법
JP4530996B2 (ja) 移動ロボット
JP4745159B2 (ja) 移動ロボット
JP4732023B2 (ja) 移動監視ロボット
JP4377346B2 (ja) 移動ロボット
KR20180040255A (ko) 공항 로봇
JP2008012635A (ja) 人物識別システム
JP4745150B2 (ja) 移動ロボット
KR102012548B1 (ko) 로봇의 진입 가능 영역을 식별하는 방법 및 이를 구현하는 로봇
JP4745149B2 (ja) 移動ロボット
JP2019180024A (ja) 監視装置
JP2008012636A (ja) 人物識別システム
JP7176868B2 (ja) 監視装置
JP2007157032A (ja) 監視システム
TWM523862U (zh) 室內移動定位系統
JP6093596B2 (ja) 移動物体監視システム
US11410516B2 (en) Detection device, detection method, robot, and program
JP7342664B2 (ja) ロボット、制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080229

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4411248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250