JP4694589B2 - 自動監視システム - Google Patents
自動監視システム Download PDFInfo
- Publication number
- JP4694589B2 JP4694589B2 JP2008067242A JP2008067242A JP4694589B2 JP 4694589 B2 JP4694589 B2 JP 4694589B2 JP 2008067242 A JP2008067242 A JP 2008067242A JP 2008067242 A JP2008067242 A JP 2008067242A JP 4694589 B2 JP4694589 B2 JP 4694589B2
- Authority
- JP
- Japan
- Prior art keywords
- object detection
- information
- image
- environment
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Description
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従来より広く用いられている。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度(或いは、画素値)の差分を算出し、当該算出値が所定の閾値(しきい値)と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。
例えば、背景差分法では、静止している物体を安定に検出することができるが、一方で監視対象領域の照度などが変わることに起因する誤検出が発生する可能性がある。また、フレーム間差分法では、監視対象領域の照度変化に対しては誤検出が少ないが、静止している物体を検出することができないという問題がある。また、オプティカルフロー法では、監視対象領域内の検出すべき物体以外のものが複雑に動く場合(例えば、木々が揺れる場合など)には、検出すべき物体の動きを正確に検出することができないという問題がある。
しかしながら、監視対象領域の環境変化が生じたときには、実装した物体検出方法が最適ではなくなる場合があり、この場合、誤検出が発生して正確な監視が行われなくなってしまうという問題があった。
すなわち、画像取得手段が、所定の領域の画像を取得する。環境情報取得手段が、前記所定の領域の環境に関する情報を取得する。物体検出手段が、複数の異なる物体検出方法のうちの1つ以上の物体検出方法を使用して、前記画像取得手段により取得された画像に基づいて物体を検出する。制御手段が、前記環境情報取得手段により取得された環境に関する情報に基づいて、前記物体検出手段により使用する物体検出方法を切り替える。
また、画像を取得する態様としては、例えば、カメラにより画像を撮像して取得する態様が用いられてもよく、或いは、外部から画像を入力する態様が用いられてもよい。
また、環境に関する情報としては、例えば、雨量や降雪量などの種々な環境に関する情報が用いられてもよく、また、複数の環境に関する情報が用いられるのが好ましい。
また、環境に関する情報を取得する態様としては、例えば、センサや画像処理などにより環境に関する情報を検出して取得する態様が用いられてもよく、或いは、外部から環境に関する情報を入力する態様が用いられてもよい。
また、複数の物体検出方法のうちから選択される物体検出方法の数としては、1つであってもよく、或いは、複数であってもよい。複数の物体検出方法が選択されて使用される場合には、例えば、これら複数の物体検出方法による物体検出結果を別個に取得する態様が用いられてもよく、或いは、これら複数の物体検出方法による物体検出結果を総合したものを最終的な物体検出結果として取得する態様が用いられてもよい。
また、環境に関する情報に基づいて使用する物体検出方法を切り替える制御の態様としては、種々な態様が用いられてもよい。
すなわち、記憶手段が、物体検出条件情報を記憶する。この物体検出条件情報は、前記複数の物体検出方法のそれぞれについて、複数の環境のそれぞれに関する条件を規定する。
前記制御手段は、前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報に基づいて、前記複数の環境に関する条件について適合する数が多い物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を選択する。
すなわち、記憶手段が、物体検出条件情報を記憶する。この物体検出条件情報は、前記複数の物体検出方法のそれぞれについて、複数の環境のそれぞれに関する条件を規定する。また、記憶手段が、前記複数の環境のそれぞれに関する条件毎の重み付け度を記憶する。
前記制御手段は、前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報と重み付け度に基づいて、前記複数の環境に関する条件について適合するものの重み付け度の総和が大きい物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を選択する。
また、それぞれの環境条件毎の重み付け度を設定する態様としては、種々な態様が用いられてもよく、例えば、物体検出方法により物体検出を行うに際してその性能が大きく影響される環境条件ほど大きい重み付け度とするような態様を用いることができる。重み付け度としては、例えば、ポイント(点数)を用いることができる。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理を当該コンピュータに実行させる。
図1には、本発明の一実施例に係る監視システムの構成例を示してある。
本例の監視システムは、監視装置1と、撮像装置2と、センサ3と、表示装置4を備えている。
監視装置1は、環境変化判定部11と、物体検出テーブル12と、物体検出方法選択部13と、複数(本例では、4個)のスイッチA1〜A4と、複数(本例では、4個)の物体検出部B1〜B4を備えている。また、本例では、センサ3は、監視装置1の機能の一部として設けられている。
なお、本例では、監視対象(検出対象)となる物体としては、例えば、人或いは物など、任意のものが用いられてもよい。
なお、本例の監視システムにおいて、画像はアナログ信号或いはデジタル信号(デジタルの画像データ)として処理され、例えば、画像のデータに対して圧縮処理及び伸張処理が行われてもよい。
表示装置4は、例えばディスプレイ画面などから構成されており、監視装置1から受信した画像などを画面に表示する。
ここで、センサ3としては、種々なものが用いられてもよく、例えば、磁気センサや、赤外線センサや、圧力センサや、熱センサや、振動センサや、雨量センサや、降雪センサや、照度センサや、風速計や、ドアセンサや、フェンスセンサや、音感センサなどを用いることができる。なお、ドアセンサは例えば扉の開閉の状態を検出し、フェンスセンサは例えばフェンスに設けられた複数の振動計により人などの存在を検出する。
本例では、センサ3として、複数種類のセンサが備えられており、それぞれ異なる環境の状態を検出する。
それぞれのスイッチA1〜A4は、それぞれの物体検出部B1〜B4について、物体検出方法選択部13と接続された状態と非接続な状態(つまり、接続されない状態)とを切り替える機能を有している。本例では、いずれか1つの物体検出部B1〜B4が物体検出方法選択部13と接続される。
それぞれの物体検出部B1〜B4は、それぞれ異なる物体検出方法により画像に対して物体検出処理を行う機能を有しており、物体検出方法選択部13から入力された画像に対して物体検出処理を行い、その画像や物体検出処理の結果などを表示装置4へ送信する。
背景差分法(background subtraction method)による物体検出方法では、入力画像と検出すべき物体が映っていない基準となる背景画像との輝度(或いは、画素値)の差分を算出し、当該算出値が所定の閾値(しきい値)と比べて大きい変化領域に検出すべき物体(オブジェクト)が存在する或いはその可能性があるとして監視を行う。背景差分法は、静止している物体を安定に検出することができるという特徴を有するが、監視対象領域の照度などが変わる場合や動く背景物体が存在する場合のように背景が安定していない場合には、背景画像と実際の背景との差が大きくなり誤検出が発生するという問題がある。
物体検出テーブル12は、例えば監視装置1に備えられたメモリに記憶されており、この物体検出テーブル12には、複数の物体検出方法のうちから環境に適した物体検出方法を決定するための参照情報が設定されている。
本例の物体検出テーブル12では、4個の物体検出部B1〜B4のそれぞれにより使用される物体検出方法(物体検出方法1〜4)のそれぞれについて、監視対象領域の環境の状態を表すセンサによる検出結果の情報に対して、検出すべき物体を精度よく検出することが可能な物体検出条件が記述されている。
本例では、物体検出条件として、「コントラスト」、「オブジェクトの大きさ」、「オブジェクトの速さ」、「雨量」、「降雪量」の5つに関する条件を用いている。
「オブジェクトの大きさ」は、物体(オブジェクト)の見かけの大きさを表しており、例えば、オブジェクトが撮像装置2から遠ざかるなど「オブジェクトの大きさ」が小さくなるとオブジェクトを検出し難くなる。従って、物体検出テーブル12には、各物体検出方法において、オブジェクト検出が可能な最小のオブジェクトの、外接矩形の幅または高さの何れか小さい方の値が設定されている。
「雨量」は、監視対象領域の1時間雨量を表しており、「雨量」が多くなるほどコントラストが低下したり、雨粒を誤検出するなどでオブジェクトを検出し難くなる。従って、物体検出テーブル12には、各物体検出方法において、オブジェクト検出が可能な最大の「雨量」が設定されている。
なお、使用するセンサに応じて更に項目を増やすこと或いは減らすことが可能であり、項目を増やすことでより最適な物体検出方法を選択することが可能となる。
また、オブジェクト検出が可能な最大の「コントラスト」、オブジェクト検出が可能な最大の「オブジェクトの大きさ」、オブジェクト検出が可能な最大の「オブジェクトの速さ」、オブジェクト検出が可能な最小の「雨量」、オブジェクト検出が可能な最小の「降雪量」も設定しておき、各物体検出条件の最大値および最小値を用いて監視対象領域の環境の状態と照合することによって、より適切な物体検出方法を選択するようにしても良い。
本例では、現在におけるセンサ3による検出結果の情報(監視対象領域の環境の状態の情報)に基づく環境状態と物体検出テーブル12の情報に基づく物体検出条件とを照合して、現在の環境状態により満たされる物体検出条件の数を各物体検出方法について検出し、その数が最も多い物体検出方法を使用するように選択する。
本例の環境状態では、コントラストが10[%]であり、オブジェクトの大きさが20[pix]であり、オブジェクトの速さが10[pix/fr]であり、雨量が15[mm/h]であり、降雪量が0[cm/h]であるとした。
図3のテーブルでは、環境状態が物体検出条件を満たすところには丸印(“○”)を示してあり、満たさないところにはバツ印(“×”)を示してある。
本例では、環境状態により満たされる物体検出条件の数(丸印の数)が最も多いものとして、物体検出方法1が選択される。
本例では、各物体検出条件についてポイント(点数)が設定されており、現在におけるセンサ3による検出結果の情報(監視対象領域の環境の状態の情報)に基づく環境状態と物体検出テーブル12の情報に基づく物体検出条件とを照合して、現在の環境状態により満たされる物体検出条件のポイントの総和値を各物体検出方法について検出し、その値が最も大きい物体検出方法を使用するように選択する。
本例では、各物体検出条件毎の重要度に基づく重み付けとして、雨量以外の物体検出条件については満たされた場合に10ポイントを付与し、雨量の物体検出条件については満たされた場合に60ポイントを付与し、いずれの物体検出条件についても満たされなかった場合には0ポイントを付与する(つまり、ポイントを付与しない)という情報が監視装置1のメモリに予め設定されている。
本例では、各物体検出方法について複数の物体検出条件のポイントを加算し、当該加算結果の値(総和値)が最も大きい物体検出方法を選択する。図4の例では、現在の環境に最適な物体検出方法として、ポイントの合計値が90ポイントとなる物体検出方法1が選択される。
監視装置1では、まず、環境変化判定部11により、外部のセンサ3により検出された環境の状態の情報(センサ情報)を受信して取得する(ステップS1)。
次に、環境変化判定部11により、例えば、現在の画像フレームのタイミングで取得されたセンサ情報と、1つ前の画像フレームのタイミングで取得されたセンサ情報とを比較して、監視対象領域の環境の状態に所定の変化が発生したか否かを判定する(ステップS2)。
一例として、外部のセンサ3として雨量センサを用いる場合には、前フレームとの検出値の差が3[mm/h]以上になった時に変化があったと判定するようなことができる。
具体例として、標準的な検出すべき物体について背景構造物とのコントラストが20[%]である場合には、視程の低下によって白と黒のパターンの輝度値の差が80[%]に減少したとすると、検出すべき物体のコントラストは16[%]であるとみなすことができる。
そして、このような表示処理の後、以上と同様な処理(ステップS1〜ステップS6)が繰り返して行なわれる。
また、複数の物体検出方法で物体検出処理を行う場合には、例えば、これら各物体検出方法で取得された物体検出処理結果の論理和を最終的な物体検出処理結果として、物体の見逃しを少なくするような構成とすることもでき、或いは、これら各物体検出方法で取得された物体検出処理結果の論理積を最終的な物体検出処理結果として、誤検出を少なくするような構成とすることもできる。ここで、論理和では、複数の物体検出方法で検出された物体の全て(重複するものは同じであるとみなす)を最終的に検出されたものとし、また、論理積では、全ての物体検出方法で(重複して)検出された物体を最終的に検出されたものとする。
ここで、監視情報としては、種々な情報が用いられてもよく、例えば、撮像された画像に基づいて検出された物体の位置や大きさ(サイズ)や移動経路(軌跡)や数などの情報や、或いは、検出された物体を囲む線又は検出された物体を示すマークなどを表示するための情報などを用いることができる。
また、本例では、予め、監視装置1に備えられる全ての物体検出部B1〜B4のそれぞれについて、環境の状態或いはその変化に対する物体検出性能の評価(例えば、測定)をしておいて、その評価結果に基づいて物体検出テーブル12の内容を作成して監視装置1に記憶させる。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disc)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Claims (1)
- 所定の領域の画像を取得する画像取得手段と、
センサ及び前記画像に基づいて検出された前記所定の領域の環境に関する情報を取得する環境情報取得手段と、
複数の異なる物体検出方法のうちの1つ以上の物体検出方法を使用して前記画像取得手段により取得された画像に基づいて物体を検出する物体検出手段と、
前記複数の物体検出方法のそれぞれについて前記環境に関する複数の条件をそれぞれ規定する物体検出条件情報を記憶する記憶手段と、
前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報に基づいて、前記複数の条件について適合する数が多い物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を切り替える制御手段と、
を備え、
前記環境情報取得手段は、前記センサに基づいて検出される情報として、雨量もしくは降雪量の少なくとも一つを取得し、画像に基づいて検出される情報として、コントラスト、検出される物体の大きさ若しくは検出される物体の速さの少なくとも一つを取得し、
前記物体検出手段は、前記複数の異なる物体検出方法として、背景差分法と、フレーム差分法と、オプティカルフロー法と、テンプレートマッチング法の少なくとも3つを使用し、
前記制御手段は、前記複数の条件について適合する数が多い方から2つの物体検出方法を選択し、それぞれの物体検出方法で取得された物体検出処理結果の論理積若しくは論理和を最終的な検出結果とすることを特徴とする自動監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008067242A JP4694589B2 (ja) | 2008-03-17 | 2008-03-17 | 自動監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008067242A JP4694589B2 (ja) | 2008-03-17 | 2008-03-17 | 自動監視システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006219128A Division JP4664878B2 (ja) | 2006-08-11 | 2006-08-11 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008241707A JP2008241707A (ja) | 2008-10-09 |
JP4694589B2 true JP4694589B2 (ja) | 2011-06-08 |
Family
ID=39913210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008067242A Active JP4694589B2 (ja) | 2008-03-17 | 2008-03-17 | 自動監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4694589B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8571274B2 (en) | 2008-12-22 | 2013-10-29 | Nec Corporation | Person-judging device, method, and program |
JP5208893B2 (ja) * | 2009-09-14 | 2013-06-12 | セコム株式会社 | 移動物体追跡装置 |
JP5710230B2 (ja) * | 2010-12-07 | 2015-04-30 | 株式会社日立国際電気 | 監視システムおよび監視方法 |
JP5529784B2 (ja) * | 2011-03-01 | 2014-06-25 | 日本電信電話株式会社 | 検出装置、負荷低減方法およびプログラム |
JP5792091B2 (ja) * | 2012-02-16 | 2015-10-07 | 富士通テン株式会社 | 物体検出装置及び物体検出方法 |
JP2014006057A (ja) * | 2012-06-21 | 2014-01-16 | Tanita Corp | 生体測定装置 |
WO2014118872A1 (ja) * | 2013-01-29 | 2014-08-07 | 有限会社ラムロック映像技術研究所 | 監視システム |
JP5954212B2 (ja) * | 2013-02-15 | 2016-07-20 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5708689B2 (ja) * | 2013-03-13 | 2015-04-30 | 株式会社デンソー | 物体検出装置 |
JP2014215877A (ja) * | 2013-04-26 | 2014-11-17 | 株式会社デンソー | 物体検出装置 |
JP2015058747A (ja) * | 2013-09-17 | 2015-03-30 | 本田技研工業株式会社 | 車両灯体制御装置 |
JP6469975B2 (ja) * | 2014-06-27 | 2019-02-13 | 株式会社 日立産業制御ソリューションズ | 映像監視装置、映像監視システムおよび映像監視方法 |
KR101842488B1 (ko) * | 2017-07-11 | 2018-03-27 | 한국비전기술주식회사 | 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템 |
WO2024180768A1 (ja) * | 2023-03-02 | 2024-09-06 | 日本電信電話株式会社 | 解析システム、および解析方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08241414A (ja) * | 1995-03-07 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 動物体検出・追跡装置と閾値決定装置 |
JPH10289393A (ja) * | 1997-04-15 | 1998-10-27 | Fujitsu Ltd | 道路監視用事象検知装置 |
JP2002176640A (ja) * | 2000-09-28 | 2002-06-21 | Hitachi Kokusai Electric Inc | 物体検出方法及び侵入物体監視装置 |
JP2002352340A (ja) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | 画像監視装置 |
JP2005149143A (ja) * | 2003-11-14 | 2005-06-09 | Konica Minolta Holdings Inc | 物体検出装置、物体検知方法、およびコンピュータプログラム |
JP2005286503A (ja) * | 2004-03-29 | 2005-10-13 | Toshiba Corp | 移動物体検出装置およびプログラム |
JP2006099611A (ja) * | 2004-09-30 | 2006-04-13 | Nissan Motor Co Ltd | 人物検出装置及び方法 |
-
2008
- 2008-03-17 JP JP2008067242A patent/JP4694589B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08241414A (ja) * | 1995-03-07 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 動物体検出・追跡装置と閾値決定装置 |
JPH10289393A (ja) * | 1997-04-15 | 1998-10-27 | Fujitsu Ltd | 道路監視用事象検知装置 |
JP2002176640A (ja) * | 2000-09-28 | 2002-06-21 | Hitachi Kokusai Electric Inc | 物体検出方法及び侵入物体監視装置 |
JP2002352340A (ja) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | 画像監視装置 |
JP2005149143A (ja) * | 2003-11-14 | 2005-06-09 | Konica Minolta Holdings Inc | 物体検出装置、物体検知方法、およびコンピュータプログラム |
JP2005286503A (ja) * | 2004-03-29 | 2005-10-13 | Toshiba Corp | 移動物体検出装置およびプログラム |
JP2006099611A (ja) * | 2004-09-30 | 2006-04-13 | Nissan Motor Co Ltd | 人物検出装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2008241707A (ja) | 2008-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4694589B2 (ja) | 自動監視システム | |
JP7163945B2 (ja) | 移動状況推定装置、移動状況推定方法およびプログラム記録媒体 | |
EP2549738B1 (en) | Method and camera for determining an image adjustment parameter | |
CN105611230B (zh) | 图像处理装置及图像处理方法 | |
JP4730431B2 (ja) | 目標追尾装置 | |
TWI482123B (zh) | 多狀態目標物追蹤方法及系統 | |
JP5274216B2 (ja) | 監視システム及び監視方法 | |
US10334150B2 (en) | Camera system and method of tracking object using the same | |
JP4664878B2 (ja) | 画像処理装置 | |
CN105469054B (zh) | 正常行为的模型构建方法及异常行为的检测方法 | |
CN107105193B (zh) | 基于人体信息的机器人监控系统 | |
JP7125843B2 (ja) | 障害検知システム | |
JP2019029935A (ja) | 画像処理装置およびその制御方法 | |
JP2006311578A (ja) | 映像監視システム | |
JP5177068B2 (ja) | 目標追尾装置、目標追尾方法 | |
JP2001160146A (ja) | 画像認識方法および画像認識装置 | |
JP7524713B2 (ja) | 情報処理装置および情報処理方法 | |
JP2004222200A (ja) | 侵入物体検出方法及び侵入物体検出装置 | |
JP7243372B2 (ja) | 物体追跡装置および物体追跡方法 | |
JP2021007055A (ja) | 識別器学習装置、識別器学習方法およびコンピュータプログラム | |
JP5710230B2 (ja) | 監視システムおよび監視方法 | |
JP2007336431A (ja) | 映像監視装置及び方法 | |
JP2002092751A (ja) | 監視システム | |
JP4645321B2 (ja) | 画像を用いた移動物体検知装置 | |
JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080820 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090325 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110223 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4694589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |