JP5399756B2 - 複合型監視装置 - Google Patents
複合型監視装置 Download PDFInfo
- Publication number
- JP5399756B2 JP5399756B2 JP2009087210A JP2009087210A JP5399756B2 JP 5399756 B2 JP5399756 B2 JP 5399756B2 JP 2009087210 A JP2009087210 A JP 2009087210A JP 2009087210 A JP2009087210 A JP 2009087210A JP 5399756 B2 JP5399756 B2 JP 5399756B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- unit
- human body
- moving object
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 113
- 238000001514 detection method Methods 0.000 claims description 71
- 239000002131 composite material Substances 0.000 claims description 57
- 230000007423 decrease Effects 0.000 claims description 13
- 230000035945 sensitivity Effects 0.000 claims description 13
- 230000005855 radiation Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 39
- 238000000605 extraction Methods 0.000 description 36
- 238000012545 processing Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 18
- 241001465754 Metazoa Species 0.000 description 13
- 241000238631 Hexapoda Species 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Burglar Alarm Systems (AREA)
- Studio Devices (AREA)
- Geophysics And Detection Of Objects (AREA)
Description
図9は、図8に示したそれぞれの場合について、赤外線センサの出力(電圧値の大きさ)の時間tに対する変化を模式的にグラフ化したものである。
また、移動方向を、実際の監視領域における移動物体の位置を求めること無しに、入力画像中の移動方向に基づき赤外閾値を調整できる。
なお、移動方向に応じて赤外線センサの出力の大きさが異なる理由については後述する。
符号1002は、図1が屋外を監視する場合を示しているので、地面を表す。
符号2004は、プラス極性の検知エリア2004aとマイナス極性の検知エリア2004bから構成される監視ゾーンを横から見たものである。
夜間、図示しない警備装置本体により、警備状態に設定されている場合、人体1000は進入者と判断できるので、その旨を通信回線経由で警備センター(ともに不図示)に通報する。
赤外線センサ10の前方には図示しないフレネルレンズまたは分割ミラーが設けられ、これによって監視領域内に赤外線センサ10を中心にした放射線方向に複数の監視ゾーン2004が設定され、各監視ゾーン2004からの赤外線が赤外線センサ10によって受光される。これらの構成は、一般的な赤外線センサと同様な構成である。
ちなみに、本実施形態においては、監視領域内における物体の移動に伴う赤外線出力信号に基づいて人体判定処理が実行されている。
いずれの方法を用いる場合にも、入力画像中における抽出された変化領域の位置を記憶部40に記憶しておくものとする。本実施の形態では、変化領域の重心位置を、付与したラベル毎にその変化領域の位置として時刻毎に記憶部40に記憶しておく。
(1)変化領域の大きさが、一定の範囲であると、人である可能性が高い
(2)変化領域における入力画像と背景画像の類似度が低いと、人の可能性が高い
(3)変化領域における背景画像と比較した入力画像のエッジの変化率が高いと、人の可能性が高い。
人体属性値=a1×b1+a2×b2+a3×b3
但し、b1+b2+b3=1
以下の(4)〜(6)の特徴量に重み付けをして、その総和を求めることにより算出する。
(4)変化領域における基準画像と入力画像の輝度ヒストグラムまたは各色成分に関するヒストグラムの差が小さいほど植裁の可能性が高い
(5)変化領域における一定以上のエッジ強度を示した画素数が、変化領域の画素数に対して割合が高いほど植裁の可能性が高い
(6)変化領域における輝度値(入力画像がカラー画像の場合は公知の方法で白黒化する)に関する分散が高いほど植裁の可能性が高い
具体的には、記憶部40に記憶された各移動物体の移動物体情報42を、現時刻での各変化領域に対応づけることにより算出される評価値を、両者の対応付けの組み合わせ毎に算出し、それが最良の評価値となる組み合わせを求める。即ち、過去時点での移動物体情報42と、現時刻での変化領域との対応付けが判明することにより、いわゆる追跡処理が実現できることになる。
まず、統合判定部30は、画像センサ20の人体判定手段233と非人体判定手段234の判定結果を調べる。
変更するのは、移動物体情報検出手段236の、移動方向検出手段2361、移動速度検出手段2362、距離検出手段2363の検出結果に依る。
例えば、判定結果が人体を検出したことを表すものであった場合、その旨を表す電気信号を外部装置へ伝送する。
出力部60はブザーやLED等の報知手段を備えても良く、検出結果が進入者を検出したことを表すものであると、これらの報知手段に通電してブザーを鳴動させたりLEDを点灯させたりして周囲の者の注意を喚起することもできる。
例えば、人体1000が、複合型監視装置1から遠ざかる方向に動く場合には移動方向は90度、逆に近づく方向に動く場合には移動方向は270度、視野を横切るように動く場合は、移動方向は0度または180度として定義される。
なお、撮影条件が既知でない場合には、監視領域における移動物体の位置を精度良く算出できないので、入力画像での座標値の変化を速度としても良い。
ステップS900にて、特徴抽出手段232は、ステップS500にて算出された特徴量から、非人体属性値を算出する。非人体属性値は、変化領域が人以外によるものかどうかを判定するためのものであり、人以外らしさを表すものである。
なお、図5では図が煩雑になるので省略したが、ステップS300およびS400にて変化領域が抽出されても、ステップS1300またはS1400にてその変化領域が人体によるものではなく、人以外の要因によると判断できる場合には、特に外部に信号出力することはせずに、処理をステップS200に戻して、上記の処理を繰り返すようにしても良い。
ステップS1400の処理について、図6を参照して説明する。図6は、調整部50にて、移動方向検出手段2361が検出した入力画像中での移動方向を参照して、赤外閾値41を調整する場合を示している。
cosθ=(xn―xo)/√((xn―xo)^2 + (yn―yo)^2)・・・(式1)
ここで「^2」は2乗を表す。
|cosθ| > |cosθth1|・・・(式2)
を満たす場合には、変化領域抽出手段231にて抽出した変化領域は、入力画像中で概略左右方向に移動している場合であるので、赤外閾値Aを赤外閾値41として記憶し直す(ステップS1430)。
|cosθ| ≦ |cosθth1|・・・(式3)
を満たす場合には、概略左右方向には移動していない場合であるので、調整部50は、赤外閾値Bを赤外閾値41として記憶し直す(ステップS1440)。
なお、
赤外閾値A>赤外閾値B ・・・(式4)
を満たすものとし、赤外閾値Bは、ステップS100において赤外閾値41の初期値として設定した値をそのまま利用する。または、他の適切な値を使用しても良い。
図10には、プラス極性を持つ素子2001aとマイナス極性を持つ素子2001bから構成される焦電素子2000を用いた赤外線センサの検知原理が模式的に示されている。符号2002は分割ミラーであり、監視領域を、赤外線センサを中心にした放射線方向に複数の監視ゾーンを設定するものである。1つの監視ゾーンはプラス極性の検知エリア2004aとマイナス極性の検知エリア2004bから構成される。
一方、赤外線センサ10の出力が赤外閾値41より小さい場合(NOの分岐)、ステップS1470にて、統合判定部30は、変化領域が人体によるものではないと判定する。
本実施の形態における赤外閾値Aは図9に示す閾値th1(符号1021)に相当し、赤外閾値Bは同じく閾値th2(符号1023)に相当する。
即ち、変化領域抽出手段231にて抽出した変化領域が植裁や昆虫、その他小動物によるものである場合には、移動方向によらず人体ではないと判断され、誤報にはならない。
即ち、変化領域抽出手段231にて抽出した変化領域が人体によるものである場合には、移動方向によらず人であると判断され、失報を防ぐことができる。
更に、変化領域毎に赤外閾値41を設定するので、上下方向に移動する人体と左右方向に移動する小動物や植裁などが混在する場合においても、人体による変化領域とそれ以外の変化領域を区別して判定できるようになる。
ステップS1400の処理について、第2の実施形態を、図7を参照して説明する。第1の実施の形態と異なるのは、ステップS1420乃至S1440の代わりにステップS1490としたもので、その他は第1の実施の形態と同じなので説明は省略する。図7も、調整部50にて、移動方向検出手段2361が検出した入力画像中での移動方向を参照して、赤外閾値41を調整する場合を示している。
赤外閾値41 = α|cosθ| + β ・・・・(式5)
ここで、βはステップS100にて初期化される赤外閾値41であり、入力画像中で変化領域が上下方向、つまり移動方向の角度がほぼ90度または270度の場合でも失報しないように定められた値である。これに対しαは所定の重み係数であり、変化領域が入力画像中で左右方向に移動するほど赤外閾値41を大きく調整するために正数として、適宜実験により設定される。
更に、変化領域毎に赤外閾値41を設定するので、上下方向に移動する人体と左右方向に移動する小動物や植裁などが混在する場合においても、人体による変化領域とそれ以外の変化領域を区別して判定できるようになる。
ステップS1400の処理について、第3の実施形態を説明する。第3の実施形態では、入力画像中での移動方向を参照した、図6に示す処理のフローにおけるステップS1410とS1420の代わりに、移動物体の監視領域における移動速度を参照するものである。
この移動距離を撮影間隔で除算したものが速度vである。
赤外閾値A1>赤外閾値B1・・・(式6)
を満たすものとし、赤外閾値B1は、ステップS100において、赤外閾値41の初期値として設定した値をそのまま利用する。または、他の適切な値を使用しても良い。
よって、上記の移動速度が高いことは本出願の特許請求の範囲に記載した「高感度となる動き情報」に相当し、移動速度が低いことは本出願の特許請求の範囲に記載した「低感度となる動き情報」に相当する。
また、物体の位置は、撮像部21の撮影条件を用いることで、監視領域における実際の距離としても良いし、画像中の位置を用い、下方では複合型監視装置1の近傍であるとしてもよい。
例えば
赤外閾値41 = α’(vmax―v) + β’ ・・・・(式7)
として求めることができる。ここで、vmaxは、想定される人体の移動速度の最大値であり、α’とβ’は、赤外閾値41の最大値と最小値を規定するため、実験により適宜決めた正の係数である。
更に、移動物体毎に赤外閾値41を設定するので、素早く移動する人体とゆっくり移動する小動物や植裁が混在する場合においても、人体とそれ以外の移動物体を区別して判定できるようになる。
ステップS1400の処理について、第4の実施形態を説明する。第4の実施形態では、入力画像中での移動方向を参照した、図6に示す処理のフローにおけるステップS1410とS1420の代わりに、監視領域における複合型監視装置1から移動物体までの距離を参照するものである。
赤外閾値A2>赤外閾値B2・・・(式8)
を満たすものとし、赤外閾値B2は、ステップS100において、赤外閾値41の初期値として設定した値をそのまま利用する。または、他の適切な値を使用しても良い。
よって、上記の距離が長いことは本出願の特許請求の範囲に記載した「高感度となる動き情報」に相当し、距離が短いことは本出願の特許請求の範囲に記載した「低感度となる動き情報」に相当する。
また、物体の位置は、撮像部21の撮影条件を用いることで、監視領域における実際の距離としても良いし、画像中の位置を用いてもよい。
例えば
赤外閾値41 = α’’(dmax―d) + β’’ ・・・・(式9)
として求めることができる。ここで、dmaxは、赤外線センサ10が検知できる最大の距離であり、α’’とβ’’は、赤外閾値41の最大値と最小値を規定するため、実験により適宜決めた正の係数である。
更に、移動物体毎に赤外閾値41を設定するので、複合型監視装置1から遠方に存在する人体と近傍に存在する小動物や植裁などが混在する場合においても、人体とそれ以外の移動物体を区別して判定できるようになる。
上記の第1乃至第4の実施の形態に記載された赤外閾値41の調整方法は、移動方向(第1および第2の実施形態)、移動速度(第3の実施形態)、距離(第4の実施形態)について、組み合わせても実施できる。さらには、上記3種類の方法全てを組み合わせるのではなく、選択した2種類の方法を組み合わせても良い。
更に、移動物体毎に赤外閾値41を設定するので、移動方向、移動速度および複合型監視装置1からの距離がそれぞれ異なる人体と小動物が混在する場合においても、人体とそれ以外の移動物体を区別して判定できるようになる。
例えば、移動方向検出手段2361における移動方向の算出は、過去1時点のみの重心位置の参照ではなく、複数時点での位置を参照して、移動方向の傾向を把握して赤外閾値41を決定しても良い。
10 赤外線センサ
20 画像センサ
30 統合判定部
50 調整部
60 出力部
Claims (4)
- 移動物体を含む監視領域を撮影する画像センサ部と、
前記画像センサ部と略同一位置に設置され、前記監視領域と略同一の範囲からの赤外線に応じた赤外検出信号を出力する赤外線センサ部と、
少なくとも前記赤外検出信号と比較する赤外閾値を記憶する記憶部と、
前記赤外閾値を調整する調整部と、
前記赤外検出信号と赤外閾値との比較結果と前記画像センサの検出結果に基づいて、前記移動物体が進入者であるか否かを判定する統合判定部
を備えた複合型監視装置であって、
前記画像センサ部は、
入力画像から複数の移動物体の動き情報をそれぞれ検出する移動物体情報検出手段および前記入力画像から前記移動物体により背景と変化が生じている変化領域を抽出する変化領域抽出手段を備え、
前記移動物体情報検出手段は、前記入力画像中における前記変化領域の移動方向を検出する移動方向検出手段
を有し、
前記調整部は、前記移動方向検出手段が、前記赤外線センサ部が高感度となる移動方向を検出した場合に、前記赤外線センサ部が低感度となる移動方向を検出した場合よりも前記赤外閾値を大きくなるよう調整し、
前記統合判定部は、前記調整部が調整した前記赤外閾値と前記赤外検出信号との比較結果にて前記移動物体毎に人体の判定を行う
ことを特徴とする複合型監視装置。 - 前記赤外線センサ部は、
光学手段と、該光学手段により該赤外線センサ部を中心とする放射線方向に複数の監視ゾーンを形成する焦電素子を有し、
前記調整部は、前記画像センサ部の前記移動方向検出手段が検出した移動方向が、
該赤外線センサ部を中心とする環状方向に対応する方向であれば前記高感度となる移動方向とし、
該赤外線センサ部を中心とする放射線方向に対応する方向であれば前記低感度となる移動方向とする
ことを特徴とする請求項1に記載の複合型監視装置。 - 前記移動物体情報検出手段は、さらに、前記入力画像に基づいて、前記監視領域における前記移動物体の速度を検出する移動速度検出手段および前記移動物体までの距離を検出する距離検出手段を有し、
前記調整部は、さらに、前記移動速度検出手段が検出した速度が低いほど前記赤外閾値を大きくなるように調整し、前記距離検出手段が検出した距離が短いほど前記赤外閾値を大きくなるように調整し、
前記統合判定部は、前記調整部が調整した、前記移動方向検出手段に基づく調整結果、前記移動速度検出手段に基づく調整結果、前記距離検出手段に基づく調整結果のうち、最も小さく調整された前記赤外閾値と前記赤外検出信号との比較結果にて前記移動物体毎に人体の判定を行うことを特徴とする請求項1または2に記載の複合型監視装置。 - 前記画像センサ部および前記赤外線センサ部は、前記移動物体が移動する基底面の上方において、当該基底面に対して斜め方向に向けられて配置されていることを特徴とする請求項1〜3のいずれか1つに記載の複合型監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009087210A JP5399756B2 (ja) | 2009-03-31 | 2009-03-31 | 複合型監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009087210A JP5399756B2 (ja) | 2009-03-31 | 2009-03-31 | 複合型監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010237132A JP2010237132A (ja) | 2010-10-21 |
JP5399756B2 true JP5399756B2 (ja) | 2014-01-29 |
Family
ID=43091573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009087210A Active JP5399756B2 (ja) | 2009-03-31 | 2009-03-31 | 複合型監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5399756B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5679173B2 (ja) * | 2010-11-08 | 2015-03-04 | セコム株式会社 | 画像監視センサ |
JP5667844B2 (ja) * | 2010-11-08 | 2015-02-12 | セコム株式会社 | 複合型センサ |
JP5667843B2 (ja) * | 2010-11-08 | 2015-02-12 | セコム株式会社 | 複合型センサ |
JP5838587B2 (ja) * | 2011-05-18 | 2016-01-06 | 日産自動車株式会社 | 移動体監視装置及び移動体監視システム |
JP2013228289A (ja) * | 2012-04-26 | 2013-11-07 | Nippon Ceramic Co Ltd | 測距センサ |
DE112014001201T5 (de) | 2013-03-08 | 2016-03-31 | Denso Corporation | Vorrichtung und Methode zur Beobachtung sich bewegender Objekte |
JP6174872B2 (ja) * | 2013-03-08 | 2017-08-02 | 株式会社デンソーウェーブ | 監視装置の制御方法 |
JP6182331B2 (ja) * | 2013-03-08 | 2017-08-16 | 株式会社デンソーウェーブ | 監視装置の制御方法 |
CN105247856A (zh) * | 2013-03-08 | 2016-01-13 | 株式会社电装 | 监视移动体的装置以及方法 |
JP6174871B2 (ja) * | 2013-03-08 | 2017-08-02 | 株式会社デンソーウェーブ | 監視装置の制御方法 |
JP6182332B2 (ja) * | 2013-03-08 | 2017-08-16 | 株式会社デンソーウェーブ | 監視装置の制御方法 |
KR101493810B1 (ko) | 2013-06-21 | 2015-02-16 | (주) 유에스시큐리티 | 무인기계 경비시스템용 오경보 방지 카메라 |
US20160225160A1 (en) * | 2013-09-26 | 2016-08-04 | Mitsubishi Electric Corporation | Monitoring camera, monitoring system, and motion detection method |
JPWO2019244672A1 (ja) * | 2018-06-19 | 2021-06-24 | オプテックス株式会社 | 物体検知装置 |
WO2021075072A1 (ja) * | 2019-10-16 | 2021-04-22 | 新明和工業株式会社 | 対象検出装置、飛行体、対象検出方法、コンピュータプログラム及び学習モデルの生成方法 |
JP7414587B2 (ja) * | 2020-02-28 | 2024-01-16 | 株式会社東芝 | 監視方法および監視装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1172386A (ja) * | 1997-08-29 | 1999-03-16 | Matsushita Electric Works Ltd | 人体検知センサ |
JP2000209573A (ja) * | 1999-01-20 | 2000-07-28 | Fujitsu General Ltd | 侵入者検出システム |
JP4002365B2 (ja) * | 1999-05-28 | 2007-10-31 | セコム株式会社 | 複合型監視装置 |
JP2005100193A (ja) * | 2003-09-26 | 2005-04-14 | King Tsushin Kogyo Kk | 侵入監視装置 |
JP4580189B2 (ja) * | 2004-05-28 | 2010-11-10 | セコム株式会社 | センシング装置 |
JP4573590B2 (ja) * | 2004-07-09 | 2010-11-04 | 財団法人生産技術研究奨励会 | 画像処理による移動物体計測方法及び装置 |
JP4259419B2 (ja) * | 2004-07-30 | 2009-04-30 | パナソニック電工株式会社 | 人体検知センサ |
JP4702184B2 (ja) * | 2006-05-29 | 2011-06-15 | パナソニック電工株式会社 | 監視カメラ装置 |
JP4969291B2 (ja) * | 2007-03-30 | 2012-07-04 | セコム株式会社 | 移動物体追跡装置 |
-
2009
- 2009-03-31 JP JP2009087210A patent/JP5399756B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010237132A (ja) | 2010-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5399756B2 (ja) | 複合型監視装置 | |
JP5399755B2 (ja) | 複合型監視装置 | |
US10304306B2 (en) | Smoke detection system and method using a camera | |
US9047515B2 (en) | Method and system for wildfire detection using a visible range camera | |
US6246321B1 (en) | Movement detector | |
US10540552B2 (en) | Device and method surveilling abnormal behavior using 3D image information | |
WO2016133735A1 (en) | Fire detection apparatus utilizing a camera | |
KR101846074B1 (ko) | 인체의 형상 내지 동태 분석을 이용한 보안 감시장치, 보안 감시방법 및 쓰레기 투기 감시장치 | |
US20190266869A1 (en) | Smoke Detection System and Method Using a Camera | |
US20110058037A1 (en) | Fire detection device and method for fire detection | |
KR101048856B1 (ko) | 도트 조명을 이용한 영상 침입 감지 시스템 및 방법 | |
US11903113B2 (en) | Image analysis techniques | |
KR101453806B1 (ko) | 영상데이터를 이용한 조명장치의 디밍제어시스템 | |
WO2018005616A1 (en) | Smoke detection system and method using a camera | |
US11445132B2 (en) | Device and method for detecting objects | |
WO2020248543A1 (zh) | 异常目标的检测方法、设备及存储介质 | |
US20210201074A1 (en) | Method and system for detecting concealed objects using handheld thermal imager | |
JP4656977B2 (ja) | センシング装置 | |
JP2000184359A (ja) | 監視装置及び監視システム | |
JP2008541650A (ja) | モニタリング方法および装置 | |
CN110832496A (zh) | 图像处理装置、计算机程序和图像处理系统 | |
JP5586383B2 (ja) | 画像監視装置 | |
Zizi et al. | Aggressive movement detection using optical flow features base on digital & thermal camera | |
JP2015001836A (ja) | 画像センサ | |
JP2020028085A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5399756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |