JP4875313B2 - 監視装置 - Google Patents

監視装置 Download PDF

Info

Publication number
JP4875313B2
JP4875313B2 JP2005099606A JP2005099606A JP4875313B2 JP 4875313 B2 JP4875313 B2 JP 4875313B2 JP 2005099606 A JP2005099606 A JP 2005099606A JP 2005099606 A JP2005099606 A JP 2005099606A JP 4875313 B2 JP4875313 B2 JP 4875313B2
Authority
JP
Japan
Prior art keywords
monitoring
image sensor
image
image data
intruder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005099606A
Other languages
English (en)
Other versions
JP2006277639A (ja
Inventor
一樹 長澤
昌人 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2005099606A priority Critical patent/JP4875313B2/ja
Publication of JP2006277639A publication Critical patent/JP2006277639A/ja
Application granted granted Critical
Publication of JP4875313B2 publication Critical patent/JP4875313B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、監視領域に設置される画像センサ及び監視装置に関する。特に、異常状態を検出したときに、監視領域を撮影した画像(撮像画像)を解析して、解析結果及び撮像画像を送信する画像センサ、及び解析結果に応じて、監視センタ装置に監視領域の異常発生を伝え又は防犯装置等の各種設備を自動的に起動する監視装置に関する。
近年、住宅などで発生した異常を遠隔の監視センタ装置において監視する警備システムが普及している。このような警備システムとして、特許文献1には、建物内に扉開閉検知センサ、人体検知センサ、ガラス破壊センサ、壁破壊センサ等の各種センサ(以下、単に「センサ」と称する)、CCDカメラ、及び煙を放射する発煙装置等が接続されており、これらセンサ及びカメラからの警備情報を遠隔の監視センタに送信する監視装置、監視装置から受信した画像情報を表示し、発煙装置を起動する発煙起動装置を備える監視センタ装置とを備える盗難防止システムが開示されている。
このシステムでは、センサが検知すると、CCDカメラにより撮影された画像(以下単に「撮像画像」と称する)を遠隔の監視センタ装置に送信する。監視センタ装置は、撮像画像及び受信した情報を表示する表示装置を備えており、監視員が表示装置を監視している。監視員が表示装置の情報に基づいて人の侵入であると判断すると、監視領域に設置している発煙起動装置を起動する起動信号が監視装置に送信される。監視装置は、起動信号を受信すると、起動信号に対応する発煙装置を起動する。これにより、侵入領域において煙が噴出されて、侵入者の犯罪行為を阻止または牽制する。一方、ガラス破壊センサ、壁破壊センサ等の建物の破壊を検知するセンサが検知したときには、監視装置からの起動信号を受信しなくとも、警備装置自身が独自に侵入者ありと判断し、自動的に発煙装置を起動させる。
特開2000−171235号公報
しかしながら、上述した特許文献1の盗難防止システムでは、監視センタ装置に画像データを送信して監視員の判断に基づいて発煙装置を起動させる場合には、画像データの送信及び侵入か否かの判断に時間がかかるために、発煙装置の起動タイミングを逸してしまうことや、起動タイミングがずれてしまうおそれがあった。一般に侵入者は同じ場所にとどまることは少ないため、侵入者の位置に合わせてタイミングよく、発煙センサを起動しなければ、その効果は少ない。
また、ガラス破壊センサや壁破壊センサにより発煙装置を自動駆動させると、壁の振動等により誤って発煙装置が起動されるおそれがある。このようなタイミングのずれた発煙装置の起動または誤起動は、発煙ボンベを無駄に消費することになる。また、営業時間中に発煙装置が誤動作すると、業務が停止するだけでなく、顧客に迷惑をかけることもあり得る。
また、犯罪を抑止する装置として、発煙装置の他に音声による警告を行う装置等の防犯装置がある。これらの防犯装置を適切なタイミングで起動し、誤動作を防止するためには、人の侵入を正確に判断し、迅速に防犯装置を駆動することが求められる。
本発明は上記問題点に鑑みてなされたもので、監視領域の画像データに基づいて人の侵入者の存在の確度を段階的に判定して、判定結果を出力することのできる画像センサを提供することを目的とする。
本発明の他の目的は、人の侵入タイミングに合わせて適切なタイミングで防犯装置を起動させることができる監視装置を提供することである。
人の侵入の場合に現状画像をできるだけ早く監視センタに送信し、発煙装置等の防犯装置を効果的に起動することができる監視装置を提供することを目的とする。
画像センサは、撮像した監視領域の画像データの変化に基づいて侵入者存在の確度を複数段階に判定し、確度に応じた複数の侵入検出信号を出力する。本発明にかかる監視装置は、画像センサから受信した侵入検出信号の侵入者存在の確度が極めて高いときには、防犯設備を起動する。これにより、侵入者に対して迅速かつタイムリーに防犯設備を起動することができ、侵入者の犯罪行為を効果的に阻止また抑制可能となる。
画像センサは、監視領域を撮像した画像データに基づいて侵入者を検出する画像センサであって、前記監視領域の画像データを取得する撮像部と、前記撮像部にて取得した画像データを解析する画像解析部と、前記画像解析部の解析結果に基づいて侵入者存在の確度を複数段階に判定する侵入判定部と、前記侵入判定部の判定結果を出力する出力部とを備える。
この画像センサでは、侵入判定部において、画像データに変化があったときに、その変化が人の侵入である可能性(確度)を複数段階で判定する。このように、複数段階で判定することにより、判定結果(人の侵入の確度)に基づいて、監視装置、監視センタではきめ細かな対応処理を行うことが可能となる。
画像センサは、前記画像解析部が、前記画像データの特徴に基づき、人の侵入である属性を示す人属性値と、該人の侵入以外の属性を示すその他の属性値を算出し、解析結果とする。この態様は、画像解析部が画像データの特徴から人の属性と人以外の属性に区分けして画像データを解析することにより、侵入判定部が人であるか人以外のものであるかをより正確に判定することができる。例えば、画像データの特徴として、人の属性を多く含み、人以外の属性をあまり含んでいない場合には、人である確度が高くなる。
画像センサは、前記画像解析部が、その他の属性値として、小動物の属性を示す小動物属性値、光の属性を示す光属性値、および影の属性を示す影属性値を算出し、解析結果とする。この画像センサは、人の侵入以外の画像変化要素を実験等を通じて解析した結果、小動物の侵入、車のヘッドライト等による光や影の変化によるものが主であることをつきとめ、これらを人の侵入と誤認させる外乱要素としてその属性値を算出し、これらの外乱要素の属性値が大きいときには、人である確度を低下させる要因として評価し、判定するようにしている。
画像センサは、前記侵入判定部が、前記その他の属性値の内で最も大きい値を示した属性値を選択し、選択したその他の属性値と、前記人属性値に基づいて侵入者存在の確度を判定する。この画像センサでは、外乱要因の最も大きい値を取り出して評価する。これにより、判定精度を確保しつつ判定方法を簡素化することが可能となる。
画像センサは、前記侵入判定部が、前記人属性値が高くその他の属性値が低いほど前記侵入者存在の確度を高く判定する。
画像センサは、前記侵入判定部は、人検出・侵入者検出・侵入者確定の順に確度が高い3段階に侵入者存在の確度を判定する。3段階の確度で人の侵入をきめ細かく判定することにより、人の侵入の確度に応じた適切な対応が可能となる。
本発明の第1の態様に係る監視装置は、撮像部にて取得した監視領域の画像データの解析結果に基づいて侵入者存在の確度を複数段階に判定して判定結果として出力する画像センサ及び前記監視領域に煙状物質を噴出させる発煙装置を接続し、監視センタ装置を通信回線を介して接続した監視装置であって、前記画像センサが接続される画像センサインターフェースと、前記画像センサの判定結果を前記監視センタ装置に通報し、前記監視センタ装置から監視員の操作による発煙装置起動信号を受信する通信制御手段と、前記画像センサインターフェースから前記侵入者存在の角度が最高位の判定結果を受信すると前記発煙装置の起動信号を出力する対応処理選択手段と、前記通信制御手段が前記発煙装置起動信号を受信したとき、及び前記対応処理選択手段から起動信号が入力されたとき接続されている前記発煙装置を起動させる設備制御手段と、を具備することを特徴とする。この態様は、対応処理選択手段が画像センサからの侵入者存在の確度が最高位である侵入者確定の旨の判定結果を受信すると、監視センタ装置からの命令を待たずに即座に発煙装置を起動させるものである。これにより、タイムリーに防犯設備を起動させることができる。また、画像センサの判定結果が最高位のときのみ発煙装置を起動させるので、誤動作による起動を抑制することが可能である。
前記画像センサは、前記侵入者存在の確度を人検出・侵入者検出・侵入者確定の順に確度が高い3段階に判定して判定結果として出力し、前記対応処理選択手段は、前記画像センサから侵入者確定の旨の判定結果を受信すると、前記起動信号の出力とともに当該画像センサの現状画像データを前記監視センタ装置に送信し、画像センサから侵入者検出の旨の判定結果を受信すると、当該画像センサの現状画像データを前記監視センタ装置に送信する。すなわち、人検出よりも確度の高い侵入者検出以上の旨の判定結果を受信した場合は、すぐに監視センタ装置に現状画像データを送信する。これにより、監視センタの監視員は、すぐに現状画像を確認することが可能となり、画像センサが侵入者確定を判定したときには、防犯設備の起動以外の更なる対応(例えば、対処員の派遣、110番通報)をいち早く判断できる。また、画像センサが、防犯設備を自動起動しない侵入者検出を判定したときは、防犯設備を起動するか否かをいち早く判断できる。
監視装置は、前記対応処理選択手段、前記画像センサから人検出の旨の判定結果を受信すると、現状画像データの送信をすることなく、監視センタ装置に人検出の旨を含む異常信号を送信することを特徴とする。
本発明の他の態様に係る監視装置は、前記対応処理選択手段が、前記画像センサから前記侵入者確定の旨を受信したときに、現状画像データを前記監視センタ装置に送信していれば、前記起動信号の出力をしないことを特徴とする。これにより、監視員が監視領域の状況をすでに確認できる状態であるときは、画像センサが侵入者確定を判定しても防犯設備を自動起動せず、監視員に起動の判断が委ねられるので、誤作動を防止できる。
本発明の画像センサは、画像解析して人の侵入可能性を複数段階のレベルで判定し、その判定結果を外部に出力するので、画像センサによる判断情報のその確度に応じた適切な対応が可能となる。特に侵入者の存在が確実であると画像センサが判定すると、監視装置は防止設備を自動で起動するので、防犯設備をタイムリーかつ適切に制御することが可能となる。
本発明に係る画像センサ及び監視装置を図を用いて説明する。図1は本発明に係る画像センサ1a〜1e、及び監視装置2を用いた警備システム10の一例を示す構成ブロック図である。警備システム10は、監視対象領域内に監視装置2が設けられ、監視装置2には、建物、施設(庭等の所定の空間を含む)を対象とする監視対象内の複数の要所に設置されている、マグネットセンサや熱線センサ等の侵入センサ4、火災センサ5等の各種センサ、非常ボタン6、画像センサ1a〜1e、及び発煙装置3a〜3dが接続されている。
監視装置2は電話回線等の通信回線7を介して監視対象領域から離れた場所に設けられた監視センタ装置8に接続されている。さらに監視装置2には、監視装置2を監視モードまたは解除モードに設定するモード設定器9が設けられている。モード設定器9による監視モードまたは解除モードの設定には、磁気カード等の所定のカード操作または所定のキーが用いられる。監視装置2は、監視モードに設定されたときに、監視領域内に異常が発生していないかを監視し、所定の異常が発生すると監視センタ装置8に異常情報を通報する。なお、監視装置2は、監視モード又は解除モードに設定されるたびに、後述する画像センサ1にその旨を通知する。
監視センタ装置8は、監視装置2から受信した異常情報(後述する画像センサ1からの「侵入情報」を含む)を表示するモニタ装置(図示せず)を備えており、異常情報を受信すると、通報のあった監視対象の情報及び異常情報を表示する。監視センタ装置8は、監視対象に異常がないかを監視員が常時監視しており、異常が発生したら、異常情報に基づいて、必要な対応警備行動をとる。例えば、起動手段(図示せず)を監視員が操作することにより、防犯設備である発煙装置3(3a〜3d)を起動させ、対処者を監視対象に向かわせるなどの対応警備行動を行う。
尚、図1では、侵入者の犯罪行為を阻止または犯行意欲を減殺させる防犯設備として発煙装置3を設置した例を示しているが、防犯設備として、音声または光による威嚇装置、水、ペンキ、特殊塗料等を噴出する等のその他の物理的な威嚇装置を設置することも可能である。以下の実施形態においては、防犯設備として、発煙装置3を使用した例を説明するが、発煙装置3に代えて、または発煙装置に加えて、その他の防犯設備を設置することを排除する趣旨ではない。
画像センサ1は、例えばCCDやMOS型(CIS等)の撮像装置を備えており、監視対象領域を撮像した画像データを監視装置2に送信することができ、さらに、撮像した画像データを解析して、侵入者の存在を検出する。特に、本発明にかかる画像センサ1は、撮像した画像データを解析して、人の存在可能性の確度のレベルを段階的に判定し、人の存在可能性の確度を判定し、確度の段階に応じた侵入検出信号を監視装置2に出力する。この点についての詳細は、後述する。また、画像センサ1は、監視装置2から監視モード又は解除モードへのモード移行信号、後述する蓄積画像の削除要求等を受信し、監視装置2からの各種制御を実行する。
発煙装置3は、起動信号に基づいて、煙状物質を大量に噴出させて、侵入者の視野を遮り威嚇して犯意を喪失または行為不能にさせる防犯設備である。犯人に対する威嚇作用が強力であるため、誤動作をすると、顧客等に多大な迷惑や被害を与える可能性があるので、起動させるに当たっては、侵入者であることの確実な確認が求められる。
尚、画像センサ1と発煙装置3とは対応させて監視対象領域内に設置するのが望ましい。図1においては、破線で囲まれたブロックの中にある画像センサ1と発煙装置3とが互いに対応関係があることを示している。図1に破線ブロックで示すように、「画像センサ1と発煙装置3」の関係は必ずしも1対1で対応づけられて設置される必要はなく、1対1(画像センサ1a:発煙装置3a)、複数対1(画像センサ1b、1c:発煙装置3b)、1対複数(画像センサ1d:発煙装置3c、3d))、1対0(画像センサ1e:発煙装置無し)の関係で対応付けて設置しても良い。
画像センサ1と発煙装置3の具体な設置例としては、例えば、同じ部屋に画像センサ1と発煙装置3を1対1で対応づけて設置する場合、重要な監視対象物(金庫等)を撮影範囲内に納める1台の画像センサ1と、監視対象物の上の天井と監視対象物の近くに1台ずつ合計2台の発煙装置3を設けて1対2の関係で設置する場合等がある。画像センサ1と発煙装置3を1対複数の関係で設置すると、重要な監視対象物に関しては、複数回発煙装置3を起動することが可能となり、犯罪抑止効果を高めることが可能となる。また、1台の画像センサ1で監視できる広い範囲をカバーできる場合には、1台の画像センサ1に対応付けて複数の発煙装置3を設けることも可能である。
監視装置2は、前述したように、監視モード時において各種センサ4、5、6、画像センサ1からの情報に基づいて異常状態の発生を監視しており、異常状態が発生すると、異常信号(侵入検出信号を含む)及び異常情報(撮像した画像データを含む)を監視センタ装置8に送信する(以下においては、侵入検出信号と画像情報とを「侵入情報」と称することもある)。監視センタ装置8は監視装置2から受信した情報に基づいて、監視員に対して異常発生を報知する。監視員は、監視センタ装置8の報知、すなわち異常情報に応じて必要な警備行動を取る。例えば、監視員は、監視装置2から受信した監視対象領域の異常情報に基づいて、発煙装置3を起動させる起動信号を監視装置2に送信する等の所定の対応行動をとる。
(画像センサ)
次に、図2乃至図4を用いて、画像センサ1について説明する。図2は、本発明の一実施形態にかかる画像センサ1を示す機能ブロック図である。図3は、侵入判定処理手順の一例を示すフローチャートである。図4は、監視装置2との通信動作処理手順の一例を示すフローチャートである。
画像センサ1は、画像センサ全体を制御する制御手段100、撮像制御手段101、監視対象領域を撮像するCCD、CMOS(CIS)等からなる撮像部103、撮像範囲を照明する照明部102、撮像した画像データから侵入者を検出するための基礎データを抽出する画像解析部104、抽出された基礎データから侵入者存在の確度を複数段階に判定する侵入判定手段109、撮像した画像データを一時記憶する画像データ蓄積手段110、画像データを出力する画像データ出力手段111、及び監視装置2とのデータ通信を行う接続I/F(インタフェース)112とを備えている。
制御手段100は、画像センサ1の各部及び全体を制御する。撮像制御手段101は、制御手段100の制御の下、照明部102及び撮像部103を制御する。撮像部103は、撮像制御手段101の制御の下、定期的に監視対象領域を撮像し、撮像した画像データを画像データ蓄積部110に一時的に蓄積する。画像データ蓄積部110は、リング構造のバッファからなり、所定の枚数の画像データ(例えば10枚程度)を記憶し、古い画像を順次新しい画像に置き換えて循環記憶可能である。監視装置2が解除モードに設定されている場合、または監視モードに設定されていても侵入検出していない正常時には、このように循環記憶することにより、最新画像に更新しながら所定枚数を記憶している。また、撮像部103が撮像した画像データは、現状態の画像要求があれば画像データ出力手段111に並行出力されることもある。
さらに、撮像部103が撮像した画像データは、画像解析部104にも入力される。画像解析部104は、背景画像記憶手段105、差分抽出手段106、トラッキング手段107、及び画像属性算出手段108を備えており、撮像した最新画像データと背景画像とを比較することで移動物体の存在を検出し、さらに移動物体の検出領域における画像データの持つ人属性、小動物属性、光属性、影属性等の属性を算出する。
画像解析部104の背景画像記憶手段105には、撮像領域の背景画像(侵入者等の移動物体が存在していないときの画像)が予め記憶されている。差分抽出手段106は、撮像部103で得られた入力画像と背景画像記憶手段105に記憶されている背景画像との差分処理を行い、変化のある差分領域を抽出する。トラッキング手段107は差分抽出手段106で得られた差分領域が前フレームでの差分領域と同じ物体によるものであると判定すれば、今回の差分領域に前回までの追跡情報を付与する。同じ物体であるとの判定は、例えば、重心の移動量と差分領域の大きさの変化が一定範囲内である等の条件を用いることにより行う。
画像属性算出手段108は、例えば、人属性算出手段113、小動物属性算出手段114、光属性算出手段115、影属性算出手段116等を備えており、それぞれの属性を算出する。これ以外にも、人の侵入かどうかの判定精度を向上させることのできる他の種類の属性算出手段を用いることも可能である。人属性算出手段113は、差分抽出手段106で得られた差分領域が人である場合に高い値となる「人属性値」を算出する。人属性値は、人らしさを表す特徴量、例えば、差分領域の大きさ、背景画像との正規化関数(背景画像と入力画像との一致度)、背景画像と比較した場合のエッジの変化率等から算出される。
小動物属性算出手段114は、差分領域が小動物である場合に高い値となる「小動物属性値」を算出する。小動物属性値は、小動物らしさを表す特徴量、例えば、差分領域の大きさ、移動方向と長軸の一致度、背景画像と比較した場合のエッジの変化率から算出される。
光属性算出手段115は、差分領域が光である場合に高い値となる「光属性値」を算出する。光属性値は、光らしさを表す特徴量、例えば、無照明画像での差分領域の平均輝度値、背景画像との正規化相関、背景画像と比較した場合にエッジの変化率、から算出される。
影属性算出手段116は、差分領域が影である場合に高い値となる「影属性値」を算出する。影属性値は、影らしさを表す特徴量、例えば、無照明画像での差分領域の平均輝度値、背景画像との正規化相関、背景画像と比較した場合のエッジの変化率から算出される。
侵入判定手段109は、差分抽出手段106およびトラッキング手段107で得られた変化のあった差分領域を、人属性値と光属性値、影属性値、小動物属性値を用いて、人であるかどうかの判定をする。人属性値が高く、光、影、小動物属性値が低いときに、「人」と判定する。閾値は3段階に設定されており、差分領域が侵入者に起因するものであるかどうかの確度を3段階のレベルで判定する。例えば、画像データの解析により差分領域が侵入者に起因する可能性が十分にあるが確度が低い「人検出」レベルと判定したときに最下位の第1レベル侵入検出信号を出力し、「人検出」のレベルより確度の高い「侵入者検出」レベルと判定したときにその上位レベルの第2レベル侵入検出信号を出力し、「侵入者検出」レベルよりさらに高い確度であって侵入者であることがほぼ確実である「侵入者確定」レベルと判定したときにその上位レベルの第3レベル侵入検出信号を出力する。これらの侵入検出信号は、接続インタフェース112を介して、監視装置2に対してフラグ情報またはコード化されたデジタル情報として送信する。
このような判定を行うための各属性値の算出方法及びの判定閾値は、監視領域の地形、背景、天然光及び人工光と影の関係などの監視対象の環境に応じて、自由に設定することができるが、環境に応じた実験データから最適値を確定することが望ましい。例えば、様々な環境(屋内、屋外、天気、昼、夜等の環境)において、人を移動させたり誤報要因を出現させたりする実験またはシミュレーションを繰り返し、実験データまたはシミュレーションデータを集積して解析することにより、より精度の高い属性値の特徴及び閾値情報を得ることが可能となる。
判定結果である侵入検出信号は、制御手段100からの消去要求があるまで、侵入判定手段109内に保持される。最新の画像データに基づいて、より高レベルの判定が出た場合には、旧判定結果は、高レベルの段階の判定結果に置き換えられるように構成している。制御部100は、撮像した画像データ中に侵入者を検出しなくなったとき、侵入判定手段109内に保持している判定結果である侵入検出信号を消去する。
侵入判定手段109により「人検出」、「侵入者検出」または「侵入者確定」と判定され、かつ、監視モードになっていれば、制御手段100の制御により、画像データ蓄積手段110に蓄積する画像データを、判定直前の連続する数枚の画像データと、直後の数枚の画像データを記憶し保持する。例えば、画像データ蓄積手段110が10枚の画像データを保持可能だとすると、判定時を含む直前3枚の画像データと、直後の7枚の画像データを記憶し、この画像データを監視装置2から削除要求を受けるまで保持する。
画像データ出力手段111は、監視装置2からの要求に基づいて、画像データ蓄積手段110に記憶している画像データ(蓄積画像)、または撮像部103により撮像した最新画像データ(現状画像)を、接続インタフェース112を介して送信する。これらの画像データは監視装置2により監視センタ装置8に送信され、監視センタの監視員による侵入状況の確認に使用される。
次に、画像センサ1による判定処理手順の一例を、図3のフローチャートを用いて説明する。画像センサ1では、人属性値と平行して、人以外の属性値(光、影、小動物)を算出し、人属性値が高く、かつ、人以外の属性値が低い場合には、人と判断する。そして、変化領域が人である確度を3段階(侵入者確定>侵入者検出>人検出)のレベルで判定する。なお、「人検出」よりも確度が低い場合は、「人以外」との判定となる。
先ず、撮像制御手段101は、照明部102及び撮像部103を制御し、照明を点灯させたときの照明画像と、照明を消灯したときの無照明画像を取得する(S101、S102)。
取得された入力画像と背景画像記憶手段105に記憶されている背景画像との差分処理を行い、その輝度差分値が所定の閾値以上である画素を結合した差分領域を抽出する(S103)。抽出された差分領域が、トラッキング手段107により、前フレームの差分領域と同じ移動物体によるものであると判定されれば、今回の差分領域に前回までの差分領域情報(追跡情報)を付与する(S104)。同じ移動物体によるものであるかどうかは、重心の移動量と差分領域の大きさの変化が一定の範囲内であるかどうか等の条件により判定する。
これらの前処理が終わると、差分領域の属性算出処理が行われる(S105)。属性算出処理では、種々の属性が算出される。この実施形態では、人属性、小動物属性、光属性、影属性を算出する例を示す。各属性値が算出されると、それらの属性値に基づいて、人の侵入かどうかの判定が行われる(S106)。各属性値を算出する方法、及び人の侵入の判定方法の具体例について、以下に説明する。
(各属性値の算出方法の例示)
差分領域の人属性は、次の(1)〜(3)のような特徴量に重み付けをして、その総和を求めることにより算出する。
(1)差分領域の大きさ(T1)が、一定の範囲であると、人である可能性が高い
(2)差分領域における入力画像と背景画像の類似度が低いと、人の可能性が高い
(3)差分領域における背景画像と比較した入力画像のエッジの変化率が高いと、人の可能性が高い。
これらの特徴量は、人である可能性が高いほど1に近づき、低いほど0に近づくように正規化される。正規化後のこれらの特徴量をa1、a2、a3とし、それぞれの特徴量に対する重み付けをb1、b2、b3として、人属性値を次の式により求める。
・人属性値=a1×b1+a2×b2+a3×b3 但し、b1+b2+b3=1
小動物属性は、例えば、以下の(4)〜(6)の特徴量に重み付けをして、その総和を求めることにより算出する。
(4)差分領域の面積が小さいと、小動物である可能性が高い
(5)差分領域の長軸の傾きと移動方向の一致度合いが高いと、小動物の可能性が高い
(6)差分領域における背景画像と比較した入力画像のエッジの変化率が高いと、小動物である可能性が高い
このような特徴量から小動物属性値を算出する方法は、人属性値を算出する方法と同様の方法を用いる。但し、これらの特徴量に対する重み付けその他の条件は、環境に応じて、実験等を通じて確定する。
光属性値は、例えば、以下の(7)〜(9)の特徴量に重み付けをして、その総和を求めることにより算出する。
(7)無照明画像での差分領域の平均輝度が高いと、光の可能性が高い
(8)差分領域の入力画像と背景画像の類似度が高いと、光の可能性が高い
(9)差分領域の背景画像と比較した入力画像のエッジの変化率が低いと、光の可能性が高い
このような特徴量から光属性値を算出する方法は、人属性値を算出する方法と同様の方法を用いる。但し、これらの特徴量に対する重み付けその他の条件は、環境に応じて、実験等を通じて確定する。
影属性値は、例えば、(10)〜(12)の特徴量に重み付けをして、その総和を求めることにより算出する。
(10)無照明画像での差分領域の平均輝度値が低いと、影である可能性が高い
(11)差分領域での入力画像と背景画像の類似度が高いと、影である可能性が高い
(12)差分領域の背景画像と比較した入力画像のエッジの変化率が低いと、影の可能性が高い
このような特徴量から影属性値を算出する方法は、人属性値を算出する方法と同様の方法を用いる。但し、これらの特徴量に対する重み付けその他の条件は、環境に応じて、実験等を通じて確定する。
(「人の侵入」の判定方法の例示)
上述の方法により算出した各種属性値を用いて差分領域が「人の侵入」であるかどうか
の判定を行う。この判定は、「人の侵入」である場合を3段階のレベルに分けて判定する。人属性値を判定するための閾値X1、X2、X3と、他の属性値(例えば光、影、小動物属性値)を判定するための閾値Y1、Y2、Y3を用いて、「人の侵入」を判定する。これらの閾値は画像センサ1の侵入判定手段109に記憶されている。また、閾値相互はX1<X2<X3、Y1<Y2<Y3の関係を有する。
尚、上述の閾値(X1〜X3、Y1〜Y3)は、監視対象として想定される様々な環境において人を移動させて収集した多数の画像解析データ、及び検出実験により得た誤報データ等に基づいて、人の侵人の確率を統計的に算出して求めることができる。また、トラッキングによって追跡した差分領域の過去の情報に基づき、人属性値、光属性値、影属性値、小動物属性値の過去分を累積して、累積した属性値を用いて人の侵入可能性の判定を行ってもよい。
図10を参照して「人の侵入」の確度を複数段階に判定する方法について説明する。図10は、人属性値と人以外の属性値との関係に基づく判定結果を示している。なお、人以外の属性値は、算出された「小動物属性値」「光属性値」「影属性値」の中で最大値を用いて判定する。
同図において、「A」は、人の侵入がないと判定するいわゆる「正常」の場合を示している。すなわち、人属性値がX1より小さい、又は、その他の属性値がY3より大きい場合に、侵入判定手段109が「正常」と判定する。
同図において、「B]は、人以外の要因の可能性も十分に残っており、人の侵入がないと断定できない場合であって、いわゆる「人検出」(第1レベルの侵入検出)の場合を示している。すなわち、人属性値がX1とX2の間、且つその他の属性値がY3より大きい場合または、人属性値がX1より大きく、且つその他の属性値がY2とY3の間である場合に、侵入判定手段109が「人検出」と判定する。
同図において、「C」は、人以外の要因の可能性が若干残っており、確実に人の侵入があると断定できない場合であって、いわゆる「侵入者検出」(第2レベルの侵入検出)の場合を示している。すなわち、人属性値がX2とX3の間、且つその他の属性値がY2より小さい場合または、人属性値がX3より大きく、且つその他の属性値がY1とY2の間である場合に侵入判定手段109が「侵入者検出」と判定する。
同図において、「D」は、確実に侵入者であると断定できる場合であって、いわゆる「侵入者確定」(第3レベルの侵入検出)の場合を示している。すなわち、人属性値がX3より大きく、且つその他の属性値がY1より小さい場合に侵入判定手段109が「侵入者確定」と判定する。
図4を用いて、監視装置2からの要求に対する各画像センサ1の動作手順を説明する。画像センサ1は、監視装置2からの要求信号により、監視装置2へ要求に応じた情報を送信する。各画像センサ1は監視装置2の要求信号が自己宛の要求であるかどうかを確認して、自己宛の要求信号であると判断すると(S110;Yes)、受信した要求信号が蓄積画像データの要求信号であるかを判定する(S111)。蓄積画像データの要求信号であれば(S111;Yes)、画像データ出力手段111は、画像データ蓄積手段110に蓄積されている蓄積画像を監視装置2に送信する(S118)。そうでない場合(S111;No)は、工程S112に進む。工程S112では、受信した要求信号が現状画像データの要求信号であるかを判定する。現状画像データの要求信号である場合(S112;Yes)、画像データ出力手段111は、撮像部103により撮影した最新画像データ(現状画像データ)を、接続インタフェース112を介して監視装置2に送信する(S113)。
最新画像データの要求信号ではない場合(S112;No)、現状報告要求の信号であるかどうかが確認され(S114)、現状報告要求の信号でない場合には(S114;No)、工程S119に進む。工程S119では、受信した要求信号に応じた処理を行う。例えば、蓄積画像の削除要求の場合は、画像データ蓄積手段110に保持された画像データの保持を解除し、正常時の動作に戻す。あるいはモニタ終了信号又は送信停止コマンドを受信した場合は、現状画像の送信を停止する。
現状報告要求の信号である場合には(S114;Yes)、侵入判定手段109が判定結果である侵入検出信号を保持しているかどうかを確認し(S115)、保持しているときには、保持している侵入検出信号を監視装置2に送信する(S116)。侵入検出信号を保持していない場合には(S115;No)、正常信号を監視装置2に送信する(S117)。
なお、監視装置2からの現状報告の要求は、各画像センサ1を定期的にポーリングすることにより行われる。
(監視装置)
図5は、本発明の一実施形態にかかる監視装置2の機能ブロック図である。監視装置2全体を制御する主制御手段201、画像センサ1との接続インタフェースである画像センサインタフェース202(以下「画像センサI/F202」と称する)、画像センサ1からの侵入検出信号に基づいて、対応処理を選択する対応処理選択手段203、発煙装置3等の防犯設備の起動を制御する設備制御手段204、各種センサ4〜6の状態を監視するセンサ監視手段205、モード設定器9により設定された警備モード、画像センサ1から受信した侵入検出信号や画像データ、監視装置8への画像データの送信状況を示すフラグ及び各種プログラム等を記憶する記憶手段206、監視状態を画面上に表示し異常を検出したときにはブザーを鳴動させたり、画面上に異常発生箇所を表示する表示手段207、及び監視センタ装置8とのデータの送受信を行う通信制御手段208とを備えている。なお、記憶手段206に記憶された侵入検出信号は、画像センサ1ごとに記憶している。
監視装置2は、記憶手段206に図7に例示するような画像センサ1に対応する発煙装置3の対応テーブルを記憶している。設備制御手段204はこのようなテーブルを用いて、侵入検出した画像センサ1に対応する発煙装置3を駆動する。尚、画像センサ1と発煙装置3が複数:1の関係で設置されている場合には、テーブル中に発煙装置3と対応する1つの画像センサ1を特定しておき、特定された画像センサ1が侵入検知したときのみ発煙装置を駆動するようにしても、複数の画像センサ1のすべてと発煙装置3とを対応づけておくことにより、対応付けられた画像センサ1のいずれか一つが侵入検出したときでも発煙装置3を駆動するようにしてもよい。また、画像センサ1と発煙装置3とが1:複数の関係で設置されているときには、対応する画像センサ1が「侵入検出」状態となったときに、複数の発煙装置3を一定の時間間隔をおいて順次自動的に駆動させるようにしても、複数の発煙装置3の1台のみを監視装置2により自動的に駆動させ、残りの発煙装置3は、監視センタ装置8からの制御により駆動させるようにしてもよい。
モード設定器9により監視モードに設定されると、主制御手段201は画像センサ1及び各種センサ4〜6からの信号に基づき、センサ監視手段205、対応処理選択手段203は、各種センサ4〜6及び画像センサ1の状態を監視し、異常が発生すると侵入情報を監視センタ装置8に送信して知らせる。本発明は画像センサ1による「侵入検出」に関するものであるので、画像センサ1から侵入検出信号を受信した場合の対応処理選択手段203の動作について、詳細に説明する。
図6は、対応処理選択手段203の動作手順の一例を示すフローチャートである。対応処理選択手段203は、侵入検出信号及び蓄積画像を受信すると(S201)、画像センサ1の侵入検出レベルを確認する。画像センサ1による侵入検出が第1レベル侵入検出又は第2レベル侵入検出の場合には(S202;Yes)、対応処理選択手段203は、監視センタ装置8に対して、侵入検出信号及び蓄積画像データを送信する(S203)。これにより、監視センタでは、監視員が画像データ等に基づいて、人の侵入かどうかを確認し、必要な対応処理を行う。
画像センサ1から、第3レベル侵入検出信号を受信した場合には、対応処理選択手段203は、設備制御手段204に起動信号を出力して発煙装置3を起動させる(S204)。これは、第3レベル侵入検出と判定された場合には、侵入者の存在がほぼ確定的であるため、即座に発煙装置3等の防犯設備を起動させるものである。これにより、侵入者を検知したタイミングで即座に発煙装置3等を駆動することが可能となるので、駆動タイミングを逸することなく、効果的に防犯設備を駆動することが可能となる。従って、防犯設備の効果的な使用が可能となり、より犯罪抑止力の高い警備システムを提供可能となる。その後工程S203の処理を実行する。なお、工程S203とS204の順序を逆にしても良い。
図8は、対応処理選択手段203における動作処理手順の他の例を示すフローチャートである。この動作処理手順では、画像センサ1が第2レベルの侵入検出のときには、現状画像データを監視センタ装置8に送信することを特徴としている。すなわち、画像センサ1から第1レベル侵入検出信号を受信した場合に(S211、S212共にYes)、監視センタ装置8には蓄積画像を送信し、第2レベルまたは第3レベルの侵入検出信号を受信したときには(S212;No)、工程S214に進む。
次に、第2レベル侵入検出信号であるかどうかをチェックし(S214)、第2レベル侵入検出信号でない場合、すなわち第3レベル侵入検出の場合には(S214;No)、設備制御手段204に設備装置を起動する起動信号を出力する(S216)。また、第2レベル又は第3レベルの侵入検出信号のいずれの場合も、画像センサ1へ現状画像データ(最新画像データ)の送信を要求し、画像センサ1から現状画像データを受信すると、監視センタ装置8へ現状画像データを送信をする現状画像データの送信処理を実行する(S215)。かかる現状画像データの送信は、監視センタ装置8から現状画像データの送信停止コマンドを受信するまで続けられる。なお、本フローチャートでは省略したが、侵入検出信号のレベルを判定したとき(S212、S214)に、当該画像センサ1からすでに同一レベルの侵入検出信号を記憶手段206に記憶していれば、以降の処理をせずに、工程S211へ戻る。
本実施の形態では、第3レベル侵入検出信号を受信すると、必ず設備装置である発煙装置3を駆動するようにしているが、第3レベル侵入検出信号を受信したとき、既に監視装置2から監視センタ装置8へ現状画像データを送信していれば発煙装置3を起動しないようにしても良い。例えば、監視装置2が画像センサ1から第2レベル侵入検出信号を受信し、工程S215にて現状画像データを監視センタ装置8へ送信している最中に、当該画像センサ1から第3レベル侵入検出信号を受信した場合である。かかる場合は、監視センタの監視員が画像センサ1からの画像を見ているので、監視員の判断を優先するのが好ましい。そこで、監視員が監視センタ装置8から監視装置2に発煙装置3の起動信号を送信し、発煙装置3を起動させる。これにより、画像センサ1による判断より確かな判断で発煙装置3の起動ができる。
図9に、本発明にかかる画像センサ1及び監視装置2を用いた警備システムの各装置間のデータの送受信を示す。図9では、すでに監視装置2は、監視モードに設定されているものとして説明する。監視装置2は、画像センサ1に対して定期的に現状報告要求信号(状態呼出信号)を送信する。これに対して画像センサ1は、特に問題がなければ、監視装置2への応答として正常信号を送信する。
今、画像センサ1が第1レベル侵入検出信号を受信したとすると、第1レベル侵入検出信号を監視装置2に送信する。第1レベル侵入検出信号を受信した監視装置2は、第1レベル侵入検出信号を含む異常信号を監視センタ装置8に送信する。画像センサ1は第1レベル侵入検出信号と同時に蓄積画像を送信するように構成しても良いが、本実施の形態では図9に示すように、監視装置2から画像センサ1に対して蓄積画像の要求をするように構成している。画像センサ1は、監視装置2から蓄積画像要求信号を受信すると、蓄積画像データを監視装置2に送信する。監視装置2は、受信した蓄積画像データを監視センタ装置8に送信する。監視センタの監視員が、侵入確認のために最新の現状画像が必要であると判断すると、監視センタ装置8から現状画像データを要求する。監視装置2はこれを受けて現状画像データの送信を画像センサ1に要求する。これに基づき、画像センサ1から現状画像データが監視装置2を経由して監視センタ装置8に送信される。監視センタの監視員は、受信した現状画像データ等に基づいて発煙装置3の起動が適切と判断すれば、監視センタ装置8から発煙装置起動信号を送信させる。かかる発煙装置起動信号を受信すると、監視装置2は設備制御手段204の制御の下、対応する発煙装置3を起動させる。
監視センタでは、侵入検出に対する対応処理が終了すると、モニタ終了信号を監視装置2に送信する。これに基づき、監視装置2は、記憶手段206に記憶保持している侵入検出信号の削除し、現状画像データの送信を停止するとともに、画像センサ1にモニタ終了信号を送信する。なお、監視装置2は、モニタ終了信号を受信しなくとも、現状画像データの送信停止コマンドを受信すると停止される。モニタ終了信号を受信した画像センサ1は、現状画像データの送信を停止する。この処理は、送信停止コマンドを受信したときも同様である。
図9の破線の下の欄は、画像センサ1が第3レベル侵入検出と判定したときの対応処理を示している。現状報告信号を受信すると、画像センサ1は第3レベル侵入検出信号を監視装置2に送信する。監視装置2は、第3レベル侵入検出信号を含む異常信号を監視センタ装置8に送信するとともに、発煙装置起動信号を発煙装置3に送信する。発煙装置3は、発煙装置起動信号を受けると、発煙して侵入者の視野を遮断する。さらに、監視装置2から現状画像要求信号が画像センサ1に送信され、現状画像データが監視装置2を介して監視センタ装置8に送信される。所定の対応処理が終了すると、監視センタ装置8から監視装置2及び画像センサ1にモニタ終了信号が送信されて、処理を終了する。
図1は本発明に係る画像センサ、及び監視装置を用いた警備システムの一例を示す構成ブロック図である。 本発明の一実施形態にかかる画像センサを示す機能ブロック図である。 侵入判定処理手順の一例を示すフローチャートである。 画像センサの通信動作処理手順の一例を示すフローチャートである。 本発明の一実施形態にかかる監視装置の機能ブロック図である。 対応処理選択手段の動作手順の一例を示すフローチャートである。 監視装置の記憶手段が記憶する画像センサと発煙装置の対応テーブルの一例を示す図。 対応処理選択手段における動作手順の他の例を示すフローチャートである。 本発明にかかる画像センサ及び監視装置を用いた警備システムの各装置間のデータの送受信関係を示す図である。 人属性値と人以外の属性値との関係に基づく判定結果を示す図である。
符号の説明
1(1a〜1e) 画像センサ 2 監視装置
3(3a〜3d) 発煙装置(防犯設備) 4 侵入センサ
5 火災センサ 6 非常ボタン
7 通信回線(ネットワーク) 8 監視センタ装置
9 モード設定器 10 警備システム
100 制御手段 101 撮像制御手段
102 照明部 103 撮像部
104 画像解析部 105 背景画像記憶手段
106 差分抽出手段 107 トラッキング手段
108 画像属性算出手段 109 侵入判定手段
110 画像データ蓄積手段 111 画像データ出力手段
112 接続I/F 201 主制御手段
202 画像センサI/F 203 対応処理選択手段
204 設備制御手段 205 センサ監視手段
206 記憶手段 207 表示手段
208 通信制御手段

Claims (2)

  1. 撮像部にて取得した監視領域の画像データの解析結果に基づいて侵入者存在の確度を人検出・侵入者検出・侵入者確定の順に確度が高い3段階に判定して判定結果として出力する画像センサ及び前記監視領域に煙状物質を噴出させる発煙装置を接続し、監視センタ装置を通信回線を介して接続した監視装置であって、
    前記画像センサが接続される画像センサインターフェースと、
    前記画像センサの判定結果を前記監視センタ装置に通報し、前記監視センタ装置から監視員の操作による発煙装置起動信号を受信する通信制御手段と、
    前記画像センサインターフェースから前記侵入者確定の旨の判定結果を受信すると前記発煙装置の起動信号を出力するとともに当該判定結果を送信した画像センサの現状画像データを前記監視センタ装置に送信し、前記画像センサインターフェースから前記侵入者検出の旨の判定結果を受信すると当該判定結果を送信した画像センサの現状画像データを前記監視センタ装置に送信し、前記画像センサインターフェースから前記人検出の旨の判定結果を受信すると、現状画像データの送信をすることなく、前記監視センタ装置に人検出の旨を含む異常信号を送信する対応処理選択手段と、
    前記通信制御手段が前記発煙装置起動信号を受信したとき、及び前記対応処理選択手段から起動信号が入力されたときに前記発煙装置を起動させる設備制御手段と、
    を具備することを特徴とした監視装置。
  2. 前記対応処理選択手段は、前記画像センサから前記侵入者確定の旨を受信したときに、現状画像データを前記監視センタ装置に送信していれば、前記起動信号の出力をしない請求項1に記載の監視装置。
JP2005099606A 2005-03-30 2005-03-30 監視装置 Active JP4875313B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005099606A JP4875313B2 (ja) 2005-03-30 2005-03-30 監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005099606A JP4875313B2 (ja) 2005-03-30 2005-03-30 監視装置

Publications (2)

Publication Number Publication Date
JP2006277639A JP2006277639A (ja) 2006-10-12
JP4875313B2 true JP4875313B2 (ja) 2012-02-15

Family

ID=37212294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005099606A Active JP4875313B2 (ja) 2005-03-30 2005-03-30 監視装置

Country Status (1)

Country Link
JP (1) JP4875313B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5265265B2 (ja) * 2008-07-25 2013-08-14 パナソニック株式会社 自動点灯制御式照明システム
JP5759752B2 (ja) * 2011-02-28 2015-08-05 綜合警備保障株式会社 警備装置および警備動作切替え方法
JP5781327B2 (ja) * 2011-02-28 2015-09-16 能美防災株式会社 放火抑止システム
JP2013164774A (ja) * 2012-02-13 2013-08-22 Utechzone Co Ltd 自動通報機能を有するインテリジェント監視システム及びインテリジェント監視装置
JP5866524B2 (ja) * 2014-06-04 2016-02-17 パナソニックIpマネジメント株式会社 通知方法及び通知システム
JP2018045513A (ja) * 2016-09-15 2018-03-22 株式会社東芝 情報処理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056420A (ja) * 1991-06-27 1993-01-14 Mitsubishi Electric Corp 侵入監視装置
JP4259720B2 (ja) * 2000-02-25 2009-04-30 セコム株式会社 画像センサ
JP2001307251A (ja) * 2000-04-21 2001-11-02 Fenwall Controls Of Japan Ltd キャッシュポット用監視システム

Also Published As

Publication number Publication date
JP2006277639A (ja) 2006-10-12

Similar Documents

Publication Publication Date Title
KR102586752B1 (ko) 스마트 배리어 경보 장치
US7724133B2 (en) Pool video safety, security and intrusion surveillance and monitoring system
US20060117362A1 (en) System and method for vision-based security
US20070182543A1 (en) Intelligent Home Security System
JP4875313B2 (ja) 監視装置
CN1357134A (zh) 监视系统
KR101841882B1 (ko) 무인방범 시스템 및 방법
CN105118200B (zh) 防范翻越阳台或窗户入室的防入侵报警器及防入侵方法
US20060230434A1 (en) Security information notification system and notification method, and control unit for security information notification system
JP4709566B2 (ja) 遠隔監視装置及び遠隔監視システム
CN116457851B (zh) 用于地产监控的系统和方法
JP4713950B2 (ja) 監視装置
EP2333735A1 (en) Filtering video events in a secured area using loose coupling within a security system
CN106683328A (zh) 一种家居安防系统
KR101708017B1 (ko) 스마트 침입인식 및 대응 시스템
KR101440477B1 (ko) 스마트 시큐리티 시스템 및 방법
CN108986263A (zh) 一种家庭安全管理方法及系统
CN208506919U (zh) 一种智能安防系统
KR100321417B1 (ko) 침입자 퇴치 기능을 가지는 감시 시스템 및 그 제어 방법
JP3886246B2 (ja) 画像監視システム
JP4653480B2 (ja) 警備装置
EP2698773A1 (en) An intruder alarm system and a method of arming an intruder alarm system
KR102271728B1 (ko) 로고젝터와 qr코드를 이용한 빈집 관리 시스템
JP2005141456A (ja) 監視防犯方法及びシステム
US20230230463A1 (en) Methods and systems for monitoring and reporting security breach of a property

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4875313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250