JP5030882B2 - 監視用画像処理装置 - Google Patents
監視用画像処理装置 Download PDFInfo
- Publication number
- JP5030882B2 JP5030882B2 JP2008192181A JP2008192181A JP5030882B2 JP 5030882 B2 JP5030882 B2 JP 5030882B2 JP 2008192181 A JP2008192181 A JP 2008192181A JP 2008192181 A JP2008192181 A JP 2008192181A JP 5030882 B2 JP5030882 B2 JP 5030882B2
- Authority
- JP
- Japan
- Prior art keywords
- disturbance
- area
- monitoring
- change
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
図において、ビデオ入力部101は例えば監視カメラにより撮影された監視対象領域の映像を入力し、その映像をA/D変換部102に出力する処理を実施する。
A/D変換部102はビデオ入力部101から出力されたアナログの映像をディジタルデータに変換することにより、現在の監視対象領域を示すディジタルの画像データを取得する処理を実施する。
比較用画像データ蓄積部104は発報事象(例えば、侵入者)が出現していない状態の監視対象領域を示す比較用基準画像データ(例えば、発報事象が出現していないタイミングで、A/D変換部102により取得された画像データ)を記憶する処理を実施する。
変化領域抽出部105は現画像データ蓄積部103に記憶されている現在の監視対象領域を示す画像データと、比較用画像データ蓄積部104に記憶されている比較用基準画像データとを画素単位に比較して、監視対象領域内で変化している変化領域を検出する処理を実施する。
外乱判定部107は変化領域抽出部105の検出結果を解析して、外乱が発生しているか否かを判定する処理を実施する。
発報処理部108は外乱判定部107により外乱が発生していないと判定された場合、認識処理部106により発報事象が出現していると判定されると、発報事象が出現している旨を発報する処理を実施するが、外乱判定部107により外乱が発生していると判定された場合、認識処理部106により発報事象が出現していると判定されても、発報事象が出現している旨を発報する処理を中止する。
ビデオ入力部101は、例えば、監視カメラにより撮影された監視対象領域の映像を入力すると、その映像をA/D変換部102に出力する。
A/D変換部102は、ビデオ入力部101から監視対象領域の映像を受けると、その映像をA/D変換することにより、現在の監視対象領域を示すディジタルの画像データを取得する。
一般的には、1画素当り8ビットの多値データに変換される。
比較用画像データ蓄積部104は、発報事象が出現していない状態の監視対象領域を示す比較用基準画像データを記憶する。
例えば、比較用画像データ蓄積部104は、発報事象が出現していないタイミング(例えば、ユーザにより指定されたタイミング)で、A/D変換部102により取得された画像データを比較用基準画像データとして記憶する。
例えば、変化領域抽出部105は、画素の差分が一定以上である場合、その画素の位置が変化領域であると判断する。
例えば、認識処理部106は、変化領域抽出部105により検出された変化領域の特徴量(例えば、変化領域の面積、移動ベクトル、縦横寸法など)を算出し、その変化領域の特徴量が発報事象(例えば、侵入者)の特徴量と近似していれば、発報事象が出現していると判断する。
一方、その変化領域が所定の外乱判定用エリア内で検出されたものでなければ、外乱が発生していないと判定する。
一方、外乱判定部107により外乱が発生していると判定された場合、認識処理部106により発報事象が出現していると判定されても、発報事象が出現している旨を発報する処理を中止する。
これにより、外乱の発生を発報事象の出現と誤認して発報する誤報を抑えることができる。
図1はこの発明の実施の形態1による監視用画像処理装置を示す構成図であり、図において、ビデオ入力部1は例えば監視カメラにより撮影された現在の監視対象領域の映像を入力し、その映像をA/D変換部2に出力する処理を実施する。
ここでは、ビデオ入力部1が現在の監視対象領域の映像を入力するものとして説明するが、例えば、過去の発報事象(例えば、侵入者)の出現をチェックするような場合には、過去の監視対象領域の映像を入力するようにしてもよい。
A/D変換部2はビデオ入力部1から出力されたアナログの映像をディジタルデータに変換することにより、現在の監視対象領域を示すディジタルの画像データを取得する処理を実施する。
なお、ビデオ入力部1及びA/D変換部2から画像データ取得手段が構成されている。
比較用基準画像データ蓄積部4は発報事象(例えば、侵入者)が出現していない状態の監視対象領域を示す比較用基準画像データ(例えば、発報事象が出現していないタイミングで、A/D変換部2により取得された画像データ)を記憶する処理を実施する。
なお、比較用基準画像データ蓄積部4は比較用基準画像データ記憶手段を構成している。
なお、変化領域検出部5は変化領域検出手段を構成している。
外乱判定部6は変化領域検出部5の検出結果を解析して、外乱が発生しているか否かを判定する処理を実施する。
なお、外乱判定部6は外乱発生判定手段を構成している。
マスク処理部8は外乱判定部6により外乱が発生していると判定された場合、外乱マスクデータ保存部7に保存されている外乱マスクデータを用いて、変化領域検出部5により検出された変化領域の中で、外乱発生時監視不要領域内に存在している変化領域を遮蔽するマスク処理を実施する。
なお、外乱マスクデータ保存部7及びマスク処理部8からマスク処理手段が構成されている。
なお、発報事象出現判定部9は発報事象出現判定手段を構成している。
発報処理部10は発報事象出現判定部9により発報事象が出現していると判定された場合、発報事象が出現している旨を発報する処理を実施する。
なお、発報処理部10は発報手段を構成している。
ビデオ入力部1は、例えば、監視カメラにより撮影された現在の監視対象領域の映像を入力すると、その映像をA/D変換部2に出力する。
ここで、図2はビデオ入力部1により入力される現在の監視対象領域の映像を示す説明図である。
図2の例では、画面全体が監視対象領域である。
また、図2の例では、監視対象領域内に、風で動く要素(例えば、「木の枝」「提灯」「垂れ幕」など)が存在している。
したがって、風が吹くと、これらの要素が動くため、後述する変化領域検出部5により当該要素が存在している領域が変化領域として検出される。
しかし、当該要素は発報事象(例えば、侵入者)ではないため、この実施の形態1では、当該要素が存在している領域が変化領域として検出されても、発報事象が出現している旨を発報しないようにしている。詳細は後述する。
一般的には、1画素当り8ビットの多値データに変換される。
比較用基準画像データ蓄積部4は、発報事象が出現していない状態の監視対象領域を示す比較用基準画像データを記憶する。
例えば、発報事象が出現していないタイミング(例えば、ユーザにより指定されたタイミング)で、A/D変換部2により取得された画像データを比較用基準画像データとして記憶する。
あるいは、A/D変換部2により複数回取得された複数の画像データを平均化して、平均の画像データを比較用基準画像データとして記憶する。
ただし、これらは一例に過ぎず、他の方法で比較用基準画像データを算出して記憶するようにしてもよい。
例えば、変化領域検出部5は、画素の差分が一定以上である場合、その画素の位置が変化領域であると判断する。
現画像データ蓄積部3に記憶されている現在の監視対象領域を示す画像データには、侵入者が映っており、比較用基準画像データ蓄積部4に記憶されている比較用基準画像データには、侵入者が映っていないため、図3の侵入者が写っている領域は、変化領域として検出される。
また、風で動く要素である「木の枝」「提灯」「垂れ幕」は、無風あるいは微風であるために動いていなければ、変化領域として検出されないが、ある程度の強さの風が吹いているために動いていれば、変化領域として検出される。
即ち、外乱判定部6は、例えば、「変化領域の固まりがN個以上同時に現れている場合、外乱が発生していると判断する」というルールが設定されている場合、現在の状況が当該ルールに適合しているか否かを判断することにより、外乱が発生しているか否かを判定する。
図3の例では、同時に動いている「木の枝」「提灯」「垂れ幕」の個数がN個以上であれば、外乱が発生していると判断する。
なお、N個は適宜設定(例えば、8個)されるものであり、監視対象領域を広く取りたい場合には、大き目の値に設定する。一方、監視対象領域を広く取るよりも、外乱の発生を発報事象の出現と誤認する確率を下げることを優先する場合には、小さ目の値に設定する。
ここで、図4は外乱発生時監視不要領域を除外する外乱マスクデータを示す説明図である。
図4において、白抜き部分が「外乱発生時監視不要領域」であり、発報事象である侵入者と誤認する可能性がある風で動く要素(「木の枝」「提灯」「垂れ幕」)が存在している領域を外乱発生時監視不要領域としている。
一方、外乱判定部6により外乱が発生していると判定された場合、変化領域検出部5により風で動く要素(「木の枝」「提灯」「垂れ幕」)が存在している領域が変化領域として検出されているため、外乱マスクデータ保存部7に保存されている外乱マスクデータを用いて、変化領域検出部5により検出された変化領域の中で、外乱発生時監視不要領域内に存在している変化領域を遮蔽するマスク処理を実施する。
図4の例では、マスク処理部8のマスク処理によって、白抜き部分以外の領域が監視対象領域になるため、風で動く要素(「木の枝」「提灯」「垂れ幕」)が存在している領域が変化領域から除外され、侵入者が存在している領域のみが変化領域として残される。
一方、外乱判定部6により外乱が発生していると判定された場合、マスク処理部8からマスク処理後の変化領域(外乱発生時監視不要領域以外の監視対象領域に存在している変化領域)を取得して、その変化領域を解析することにより、発報事象が出現しているか否かを判定する。
発報事象出現判定部9は、マスク処理部8から変化領域を取得すると、その変化領域の特徴量を算出する。
変化領域の特徴量として、例えば、変化領域の面積、移動ベクトル、縦横寸法などを算出する。
発報事象出現判定部9は、変化領域の特徴量を算出すると、その変化領域の特徴量と予め記憶している発報事象(例えば、侵入者)の特徴量とを比較する。
発報事象出現判定部9は、変化領域の特徴量と発報事象の特徴量との差分が所定の閾値より小さければ、発報事象が出現していると判断する。
図5はこの発明の実施の形態2による監視用画像処理装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
通常マスクデータ保存部11は外乱判定部6により外乱が発生していないと判定された場合、監視対象領域から外乱発生時監視不要領域より狭い領域(外乱発生時監視不要領域の一部の領域であり、以下、「通常時監視不要領域」と称する)を除外する通常マスクデータを保存しているメモリである。
なお、外乱マスクデータ保存部7、通常マスクデータ保存部11及びマスク処理部12からマスク処理手段が構成されている。
なお、発報事象出現判定部13は発報事象出現判定手段を構成している。
具体的には、以下の通りである。
ここでは、風で動く要素である「木の枝」は、風の強さが例えばレベル1の弱風でも動く要素であるとする。
また、風で動く要素である「提灯」「垂れ幕」は、風の強さが例えばレベル1では動かないが、風の強さが例えばレベル2(レベル1<レベル2)であれば動く要素であるとする。
このように、風の強さによって、動きが異なる要素が混在している場合、ある程度の強さの風が吹かなければ動かない要素「提灯」「垂れ幕」が存在している領域と、極めて弱い風が吹いても動いてしまう要素「木の枝」が存在している領域とを一律に扱わず、「木の枝」が存在している領域については、常に監視対象領域から除外する方が、発報事象が出現しているか否かを精度良く判定することができる。即ち、外乱の発生を発報事象の出現と誤認して発報する誤報を低減することができる。
ここで、図6は通常時監視不要領域を除外する通常マスクデータを示す説明図である。
図6において、白抜き部分が「通常時監視不要領域」であり、極めて弱い風が吹いても動いてしまう要素である「木の枝」が存在している領域を通常時監視不要領域としている。
例えば、変化領域検出部5は、画素の差分が一定以上である場合、その画素の位置が変化領域であると判断する。
例えば、同時に動いている「木の枝」「提灯」「垂れ幕」の個数がN個以上であれば、外乱が発生していると判断する。
図6の例では、マスク処理部12のマスク処理によって、白抜き部分以外の領域が監視対象領域になるため、風で動く要素(「木の枝」)が存在している領域が変化領域から除外され、侵入者が存在している領域や、風で動く要素(「提灯」「垂れ幕」)が存在している領域が変化領域として残される。
図4の例では、マスク処理部12のマスク処理によって、白抜き部分以外の領域が監視対象領域になるため、風で動く要素(「木の枝」「提灯」「垂れ幕」)が存在している領域が変化領域から除外され、侵入者が存在している領域のみが変化領域として残される。
発報事象出現判定部13における発報事象の出現の判定処理は、上記実施の形態1で説明している発報事象出現判定部9における発報事象の出現の判定処理と同様であるため説明を省略する。
図7はこの発明の実施の形態3による監視用画像処理装置を示す構成図であり、図において、図5と同一符号は同一または相当部分を示すので説明を省略する。
外乱マスクデータ保存部14は監視対象領域から外乱発生時に監視が不要な領域である外乱発生時監視不要領域を除外する外乱マスクデータを保存しているメモリである。
ただし、外乱マスクデータ保存部14に保存されている外乱マスクデータが除外する外乱発生時監視不要領域は、外乱マスクデータ保存部7に保存されている外乱マスクデータが除外する外乱発生時監視不要領域と異なっている。
なお、外乱マスクデータ保存部7,14、通常マスクデータ保存部11及びマスク処理部15からマスク処理手段が構成されている。
具体的には、以下の通りである。
ただし、外乱マスクデータ保存部14に保存されている外乱マスクデータが除外する外乱発生時監視不要領域は、外乱マスクデータ保存部7に保存されている外乱マスクデータが除外する外乱発生時監視不要領域と異なっている。
ここで、図8は外乱マスクデータ保存部14に保存されている外乱マスクデータを示す説明図である。
図8において、白抜き部分が「外乱発生時監視不要領域」であり、画面上部の外乱発生時監視不要領域は、図4の画面上部における外乱発生時監視不要領域と同じ領域であるが、画面下部の外乱発生時監視不要領域は、図6の画面下部における通常時監視不要領域と同じ領域である。
即ち、画面下部の外乱発生時監視不要領域は、図4の画面下部における外乱発生時監視不要領域より狭い領域となっている。
例えば、変化領域検出部5は、画素の差分が一定以上である場合、その画素の位置が変化領域であると判断する。
即ち、外乱判定部6は、例えば、「変化領域の固まりがN個以上同時に現れている場合、外乱が発生していると判断する」というルールAが設定されている場合、現在の状況がルールAに適合しているか否かを判断することにより、外乱が発生しているか否かを判定する。
図3の例では、同時に動いている「木の枝」「提灯」「垂れ幕」の個数がN個以上であれば、ルールAが適合すると判断する。
なお、N個は適宜設定(例えば、8個)されるものであり、監視対象領域を広く取りたい場合には、大き目の値に設定する。一方、監視対象領域を広く取るよりも、外乱の発生を発報事象の出現と誤認する確率を下げることを優先する場合には、小さ目の値に設定する。
図3の例では、同時に動いている要素が「提灯」「垂れ幕」に集中しており、「木の枝」がほとんど動いていない場合には、ルールBが適合すると判断する。
図6の例では、マスク処理部12のマスク処理によって、白抜き部分以外の領域が監視対象領域になるため、風で動く要素(「木の枝」)が存在している領域が変化領域から除外され、侵入者が存在している領域や、風で動く要素(「提灯」「垂れ幕」)が存在している領域が変化領域として残される。
ここでは、通常マスクデータ保存部11に保存されている通常マスクデータを用いて、通常時監視不要領域内に存在している変化領域を遮蔽している例を示したが、上記実施の形態1と同様に、変化領域検出部5により検出された変化領域に対するマスク処理を実施せずに、その変化領域を発報事象出現判定部13に出力するようにしてもよい。
図4の例では、マスク処理部15のマスク処理によって、白抜き部分以外の領域が監視対象領域になるため、風で動く要素(「木の枝」「提灯」「垂れ幕」)が存在している領域が変化領域から除外され、侵入者が存在している領域のみが変化領域として残される。
図8の例では、マスク処理部15のマスク処理によって、白抜き部分以外の領域が監視対象領域になるため、風で動く要素(「木の枝」「提灯」「垂れ幕」)が存在している領域が変化領域から除外され、侵入者が存在している領域のみが変化領域として残される。
ただし、外乱マスクデータ保存部14に保存されている外乱マスクデータが除外する外乱発生時監視不要領域は、上述したように、外乱マスクデータ保存部7に保存されている外乱マスクデータが除外する外乱発生時監視不要領域より狭い領域となっているため、外乱マスクデータ保存部7に保存されている外乱マスクデータを用いる場合よりも、発報事象の出現を見つけることが可能なエリアが広がる。
発報処理部10は、発報事象出現判定部13が発報事象の出現の判定処理を実施して、発報事象出現判定部13により発報事象が出現していると判定された場合、発報事象が出現している旨を発報する。
Claims (5)
- 監視対象領域の映像を入力し、上記映像から監視対象領域を示す画像データを取得する画像データ取得手段と、発報事象が出現していない状態の監視対象領域を示す比較用基準画像データを記憶している比較用基準画像データ記憶手段と、上記画像データ取得手段により取得された画像データと上記比較用基準画像データ記憶手段に記憶されている比較用基準画像データを比較して、上記監視対象領域内で変化している変化領域を検出する変化領域検出手段と、上記変化領域検出手段の検出結果を解析して、外乱が発生しているか否かを判定する外乱発生判定手段と、上記外乱発生判定手段により外乱が発生していると判定された場合、上記変化領域検出手段により検出された変化領域の中で、外乱発生時に監視が不要な領域である外乱発生時監視不要領域内に存在している変化領域を遮蔽するマスク処理手段と、上記外乱発生判定手段により外乱が発生していないと判定された場合、上記変化領域検出手段により検出された変化領域を解析し、上記外乱発生判定手段により外乱が発生していると判定された場合、上記マスク処理手段により遮蔽されずに残っている変化領域を解析して、発報事象が出現しているか否かを判定する発報事象出現判定手段と、上記発報事象出現判定手段により発報事象が出現していると判定された場合、発報事象が出現している旨を発報する発報手段とを備えた監視用画像処理装置。
- マスク処理手段は、監視対象領域から外乱発生時監視不要領域を除外するマスクデータを用いて、外乱発生時監視不要領域内に存在している変化領域を遮蔽することを特徴とする請求項1記載の監視用画像処理装置。
- 監視対象領域の映像を入力し、上記映像から監視対象領域を示す画像データを取得する画像データ取得手段と、発報事象が出現していない状態の監視対象領域を示す比較用基準画像データを記憶している比較用基準画像データ記憶手段と、上記画像データ取得手段により取得された画像データと上記比較用基準画像データ記憶手段に記憶されている比較用基準画像データを比較して、上記監視対象領域内で変化している変化領域を検出する変化領域検出手段と、上記変化領域検出手段の検出結果を解析して、外乱が発生しているか否かを判定する外乱発生判定手段と、上記外乱発生判定手段により外乱が発生していると判定された場合、上記変化領域検出手段により検出された変化領域の中で、外乱発生時に監視が不要な領域である外乱発生時監視不要領域内に存在している変化領域を遮蔽し、上記外乱発生判定手段により外乱が発生していないと判定された場合、上記変化領域検出手段により検出された変化領域の中で、上記外乱発生時監視不要領域より狭い領域内に存在している変化領域を遮蔽するマスク処理手段と、上記マスク処理手段により遮蔽されずに残っている変化領域を解析して、発報事象が出現しているか否かを判定する発報事象出現判定手段と、上記発報事象出現判定手段により発報事象が出現していると判定された場合、発報事象が出現している旨を発報する発報手段とを備えた監視用画像処理装置。
- マスク処理手段は、外乱発生判定手段により外乱が発生していると判定された場合、監視対象領域から外乱発生時監視不要領域を除外するマスクデータを用いて、上記外乱発生時監視不要領域内に存在している変化領域を遮蔽し、上記外乱発生判定手段により外乱が発生していないと判定された場合、監視対象領域から上記外乱発生時監視不要領域より狭い領域を除外するマスクデータを用いて、上記外乱発生時監視不要領域より狭い領域内に存在している変化領域を遮蔽することを特徴とする請求項3記載の監視用画像処理装置。
- マスク処理手段は、監視対象領域から外乱発生時監視不要領域を除外するマスクデータが複数用意されている場合、上記複数のマスクデータの中から、発生している外乱に適しているマスクデータを選択し、上記マスクデータを用いて、外乱発生時監視不要領域内に存在している変化領域を遮蔽することを特徴とする請求項2または請求項4記載の監視用画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008192181A JP5030882B2 (ja) | 2008-07-25 | 2008-07-25 | 監視用画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008192181A JP5030882B2 (ja) | 2008-07-25 | 2008-07-25 | 監視用画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010034664A JP2010034664A (ja) | 2010-02-12 |
JP5030882B2 true JP5030882B2 (ja) | 2012-09-19 |
Family
ID=41738685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008192181A Active JP5030882B2 (ja) | 2008-07-25 | 2008-07-25 | 監視用画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5030882B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6533073B2 (ja) * | 2015-03-12 | 2019-06-19 | 株式会社情報技研 | ボール個別位置判別装置 |
JP6954070B2 (ja) * | 2017-12-08 | 2021-10-27 | 富士通株式会社 | 判別プログラム、判別方法および判別装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2612662B2 (ja) * | 1992-06-23 | 1997-05-21 | 日本無線株式会社 | 侵入者識別システム |
US6727938B1 (en) * | 1997-04-14 | 2004-04-27 | Robert Bosch Gmbh | Security system with maskable motion detection and camera with an adjustable field of view |
JP2002279429A (ja) * | 2001-03-15 | 2002-09-27 | Hitachi Kokusai Electric Inc | 侵入物体検出方法 |
JP2004005484A (ja) * | 2002-03-15 | 2004-01-08 | Hitachi Kokusai Electric Inc | 物体検出方法及び物体検出装置 |
JP4249967B2 (ja) * | 2002-09-26 | 2009-04-08 | 株式会社日立国際電気 | 物体検出方法及び物体検出装置 |
-
2008
- 2008-07-25 JP JP2008192181A patent/JP5030882B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010034664A (ja) | 2010-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4729610B2 (ja) | 煙検出装置 | |
JP5241782B2 (ja) | カメラ異常検出装置を有する監視カメラシステム | |
CN107679471A (zh) | 基于视频监控平台的室内人员空岗检测方法 | |
JP2010097412A (ja) | 煙検出装置 | |
JP5470187B2 (ja) | 画像処理装置、及び物体検出装置 | |
JP2011123742A (ja) | 侵入物体検知装置 | |
US11336869B2 (en) | Motion detection methods and motion sensors capable of more accurately detecting true motion event | |
JP5030882B2 (ja) | 監視用画像処理装置 | |
JP5235718B2 (ja) | 映像監視システム | |
JP2011215804A (ja) | 煙検出装置 | |
JP2007180932A (ja) | 画像センサ | |
JP2015158796A (ja) | 物体検出装置 | |
JP2014197290A (ja) | 煙検出装置および煙検出方法 | |
JP2004222200A (ja) | 侵入物体検出方法及び侵入物体検出装置 | |
JP2020184093A (ja) | 解析装置、監視システム及びプログラム | |
JP5710230B2 (ja) | 監視システムおよび監視方法 | |
JP5015838B2 (ja) | 煙検出装置 | |
JP4828265B2 (ja) | 画像センサ | |
JP5167186B2 (ja) | 煙検出装置 | |
JP5309069B2 (ja) | 煙検出装置 | |
JP4617905B2 (ja) | 監視装置および方法、記録媒体、並びにプログラム | |
JP5215707B2 (ja) | 煙検出装置 | |
JP5015839B2 (ja) | 煙検出装置 | |
JP4565738B2 (ja) | 画像センサ | |
JP6081786B2 (ja) | 煙検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120529 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5030882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |