JP4894002B2 - 移動体検知装置及び移動体検知システム - Google Patents

移動体検知装置及び移動体検知システム Download PDF

Info

Publication number
JP4894002B2
JP4894002B2 JP2007062645A JP2007062645A JP4894002B2 JP 4894002 B2 JP4894002 B2 JP 4894002B2 JP 2007062645 A JP2007062645 A JP 2007062645A JP 2007062645 A JP2007062645 A JP 2007062645A JP 4894002 B2 JP4894002 B2 JP 4894002B2
Authority
JP
Japan
Prior art keywords
standard deviation
bed
area
detected
body detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007062645A
Other languages
English (en)
Other versions
JP2008224396A (ja
Inventor
諒子 豊田
Original Assignee
サクサ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サクサ株式会社 filed Critical サクサ株式会社
Priority to JP2007062645A priority Critical patent/JP4894002B2/ja
Publication of JP2008224396A publication Critical patent/JP2008224396A/ja
Application granted granted Critical
Publication of JP4894002B2 publication Critical patent/JP4894002B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Geophysics And Detection Of Objects (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、移動体の移動体検知装置、例えば病院などの要介護者などのベッドからの離床を検する離床検知装置に使用される移動体検知装置及び移動体検知システムに関する。
移動体の検知装置として、例えば、入院患者などの検知対象者の離床を検知するための種々の装置が開発されてきている。これらの検知装置では、検知領域として例えばセンサ付きマットを用い、これをベッド脇やベッド上にマットを敷き、検知対象である被検知者の動作を感知したり、或いは被検知者にクリップを付けて、被検知者がベッドを離れるとクリップが外れて、離床を検知するようにしている。
しかし、ベッド脇やベッド上にマットを設置するマットセンサでは誤検が多く、被検知者の睡眠に影響を及ぼしたり、介護者にとってもセンサに触れないようにするのなどの注意が必要である。クリップを付ける方法も、被検知者に負担を掛けるため、被検者が取り外してしまう可能性がある。
そこで、被検知者や介護者に負担を掛けることなく離床を検知するため、被検知者の体動の赤外線パターンモデルを記憶しておき、被検知者から放出される赤外線を検知する焦電センサを被検知者から離して配置しておくことで、焦電センサで検知した赤外線のパターンから被検知者の体動を検知するようにしたものが提案されている(特許文献1参照)。
しかしながら、この焦電センサを用いて検知を行う場合、ノイズを廃して被検知者から発する赤外線だけでその体動を判断するのは必ずしも容易ではなく誤認の可能性がある。
そこで、監視カメラによる検知が考えられるが、1台の監視カメラでベッドにいる人の離床を検知するためには、ベッドとそれ以外の領域を監視領域に設定する必要がある。そのため、例えば、ベッドやベッド外領域に予め決められた色や模様のシートを載せて領域を設定することが行われる。しかし、カメラの撮影画像は周囲の環境によって大きく変化するため、この方法では確実な領域設定ができず、結果として精度よく離床を検知することが困難である。
そこで、ベッドを含む撮像画面を例えばベッド領域とベッド外領域とに分割して、それぞれの領域内における人体の移動を検知して離床を検知する装置も知られている(例えば、特許文献2参照)。この離床検知装置では、予めベッド領域とベッドが置かれる領域以外の床面領域と、ベッド領域と床面領域との境界を表す境界辺を設定しておき、床面領域から、境界辺を通過して、ベッド領域への人体移動を検知すると、この事象を入床事象と判断し、ベッド領域から境界辺を通過して、床面領域への人体移動を検知すると、この事象を離床事象と判断する。このとき、境界辺を通過しない場合は、単にベッドの中で手足を動かしたり、寝返りをうったなどのベッド空間内での動きとみなし、離床とは判定しないようにしている。
しかし、この離床検知装置では、病院のベッドのように複数の患者や介護者が出入りする場所では、ベッド内にいる患者とベッド付近にいる人の動きを区別できずに誤検したり、起き上がりやベッドに腰掛けている場合なども離床と検する可能性がある。
特開2006−136666号公報 特開2002−230533号公報
本発明は、上記従来の問題を解決するためなされたものであって、その目的は、被検知体の検知すべき動作を、被検知体による大きな非継続的な動作(撮影画像の階調の分散(標準偏差)の時間的変化の分散(標準偏差)が所定の閾値より大きくなる動作)に限定することで誤動作を最小にすると共に、これを離床検知手段として用いたときには、離床をより正確に検知できるようにすることである。
請求項1の発明は、監視カメラの撮像画像監視領域複数の領域に分割する手段と、分割領域内の階調値を抽出する手段と、抽出した階調値の標準偏差値を求める手段と、取得した各標準偏差値毎の時間的変化量の標準偏差を取得する手段と、得られた前記時間的変化量の標準偏差値に基づき当該領域における被検知体の動作を検知する手段、とを有する移動体検知装置であって、前記被検知体の動作を検知する手段は、前記時間的変化量の標準偏差値と所定の閾値とを比較し、前記時間的変化量の標準偏差値を前記閾値で2値化したパターンを作成し、前記パターンの経時的変化に基づき被検知体の動作を検知することを特徴とする
求項の発明は、請求項1に記載された移動体検知装置において、前記撮像画像の監視領域を複数の領域に分割する手段は、ベッド領域とベッド外領域に分割し、前記被検知体の動作は被検知者の離床であることを特徴とする。
請求項の発明は、請求項1又は2に記載された移動体検知装置と、撮像カメラと、前記移動体検知装置で異常を検知したときに警報を発生する警報手段を有することを特徴とする。
(作用)
本発明によれば、被検知体の動作を分割した領域毎の階調の変化により検知し、その際、とくに検知のためのパラメータとして各領域毎の階調の標準偏差の経時的な変化量の標準偏差(ここでは、時間的標準偏差という)を採用した。また、時間的標準偏差を閾値を基準に各領域毎に2値化したパターンを形成し、このパターンの時間的変化で被検知体の動作を判断する。これにより被検知体の連続する小さな継続的な動きには左右されることがなく、監視領域における被検知体の大きな断続的な動きが発生したときのみ、これを確実に検知する。
本発明は、監視カメラによる被検知体の検知すべき動作を、大きな非継続的な動作のみに限定できるため、移動体検知装置の誤検知を最小にできるとともに、より被検知体の詳細な検知が可能である。また、これを離床検知手段として用いたときには、離床をより正確に検知できるようにすることである。
本発明を図面に示す実施形態について図面を参照して説明する。
図1は、本発明の移動体検知システムの1実施形態の構成を概略的に示すブロック図である。
本離床検知システムは、図示のように移動体検知装置1と、監視カメラ2と、メモリ4と、警報発報部5とからなっている。
移動体検知装置1は、監視カメラで撮像した画像を処理する画像処理部3と、上記システム全体を制御する制御部6とからなっている。
画像処理部3は領域内変化検部32を備え、領域内変化検部32は、さらに領域内輝度値抽出部321と、領域内分散(標準偏差)算出部322と、領域内分散(標準偏差)の時間分散(標準偏差)算出部323を備えており、撮影画面を監視領域設定部30で分割した設定した領域内における被検知体の変化を、分割した各領域内の階調(本実施形態では輝度)の標準偏差の時間的変化の標準偏差として抽出する。
メモリ4は、監視カメラ2で撮像した画像を保存しておく画像メモリである。
警報発報部5は、被検知者が例えば離床したときに、制御部6の指示により可視又は可聴の警報を発生させる。
制御部6は、CPU61、RAM62、ROM63からなるマイクロコンピュータからなり、監視カメラ2に撮像の指示をしたり、画像処理部3に監視カメラ2で撮像した画像の処理を指示するなど、本離床検知システム全体の制御を行う。
ROM63には、本離床検知システムを実行するためのプログラムなどが格納されており、RAM62にはCPU61の処理に必要なデータを一時的に格納したり、或いは後述する各標準偏差値毎の変化量の標準偏差の閾値や、被検知体の移動や動きに伴う前記標準偏差値の変化量の標準偏差が所定の閾値を越えるか否で2値化して各領域毎にパターンを形成し、そのパターンの時系列的な変動と、被検知体の実際の動作とを関連付けたテーブルを格納しておく。
本実施形態では、監視カメラ2を例えば要介護者などの被検知者のベッドの上部に設置して、まず、ベッド上やその周辺を撮像した画像に必要な処理を加えて上記メモリ4に格納する。
本実施形態では、監視領域設定部30で設定された監視領域にしたがって、監視カメラ2で撮像したベッドを含むその周辺領域の画像をベッド領域とベッド外領域とに分割し、それぞれの領域における各画素の輝度の分散値を求め、その分散値から標準偏差を算出する。次に、得られた各領域の標準偏差値の経時的変動(時間変化)の標準偏差値(時間的標準偏差)を求め、この時間的標準偏差値を基に、各領域おける被検知体、ここでは被検知者のベッド又はベッド外領域における動きや移動を検知し、その離床を監視する。離床と判断されたときには警報発報部5から可視又は可聴警報等を発報する。
次に本実施形態に係る移動体検知装置で用いる撮影画像の各領域における検知を移動体検知装置で実行するアルゴリズムについて説明する。
本実施形態では、まず監視領域を設定されたベッド領域とベッド外領域にしたがって、撮影画像から各領域の画素当たりの明るさを示す輝度値を検する。
ここで、各領域の輝度の分散、及び分散値の時間的変化は以下の式1ないし4により求める。
Figure 0004894002
上記分散値σから標準偏差σを求める。ここで、σは各領域の輝度の標準偏差の時間変化の標準偏差(時間的標準偏差という)を表し、この時間的標準偏差σを各領域(ベッド領域、ベッド外領域)毎に算出し、ベッド領域の時間的標準偏差をσt1、ベッド外領域の標準偏差をσt2とする。
図2Aは、縦軸に標準偏差σ(又は時間的標準偏差σ)を、また横軸に時間をとって、ある領域における輝度の標準偏差σ(又は時間的標準偏差σ)の時間変化を示したグラフである。
例えば、ベッド領域内において絶えず動きがあると、その領域の標準偏差σは、図2Aの曲線Aに示すように絶えず変化し大きくなる。
しかし、この変化を上記時間的標準偏差σでみると、その動きが継続的なものであれば、ベッド領域内の動きが継続しても、それ以上に大きい変化が生じない場合は、同図2Aの曲線Bで示すようにやがて一定値に収束していく。
なお、ベッド領域が明るい安定した状態から真っ暗な状態に変化する(例えば消灯がこれに当たる)照明変化では、当該領域における輝度が一様に変化するため、その輝度の標準偏差σは大きくならない。
図2Bは、図2Aと同様のグラフであるが、ベッド領域内において被検知者の動きに大きな変化が生じた状態を示している。この場合には輝度の標準偏差σに大きな変化が現れると共に、時間的標準偏差σも予め定めた閾値(TH)よりも大きくなっている。なお、閾値は被検者の実際の動きをモニターして実験的に定めるなど、適宜決定する。
本実施形態では、時間的標準偏差σを検知して、これが予め定めた閾値(TH)を越えたとき、当該領域内に検知すべき変化が生じていると判断し、閾値を越えないときは当該領域内に検知すべき変化は生じていないと判断する。
次に、以上で説明した検知アルゴリズムを実際に被検知者の離床検知を行う場合について説明する。
図3は、監視領域を説明するための図であり、図3Aはベッドと監視カメラの取り付け位置の関係を示す側面図であり、図3Bは監視領域を説明するための平面図である。
即ち、ベッドに臥床する人の頭上に監視カメラが設置されており、このカメラは、その撮像範囲にベッドを含むその周りの領域が入るように、レンズが斜め下方に向けられている。図3Bに示すように、撮像領域としてベッド領域とベッド外領域とが設定されており、ここではベッドの一方は壁に接している。
監視カメラ2は、所定時間毎に或いは制御部6からの指令により撮像を行い、撮像された画像は画像処理部3に送られる。画像処理部3では送られ画像から領域内の輝度値を抽出し、領域内における輝度の分散(標準偏差)を求め、これをメモリに蓄積する。領域内分散(標準偏差)算出部では、メモリに蓄積された各領域内標準偏差(又は分散)の時間的変化から当該領域内の標準偏差の時間的標準偏差を求める。この時間的標準偏差を各領域毎に所定の閾値と対比して、その閾値を越えるか越えないかで二値化する。この各領域の二値化した値に基づく全領域の二値化パターンを形成し、このパターンの時間的変化から被検知体の挙動を判別する。
図4は、以上で述べた原理に基づき実際に被検知体であるベッドに臥床する人の離床を検知する場合の手順を各状態と共に説明する図である。
即ちベッド領域の時間的標準偏差σt1が閾値(TH)よりも大きく、かつベッド外領域の時間的標準偏差σt2が閾値(TH)よりも小さい場合、即ち、その二値化したパターンがσt1=1、σt2=0であれば、被検者の動きはベッド領域内に止まることが明らかであるから、その直前の時間的標準偏差のパターンが、例えばベッド領域の時間的標準偏差σt1が閾値(TH)よりも小さく、かつベッド外領域の時間的標準偏差σt2が閾値(TH)よりも小さい場合であれば、即ちその二値化したパターンがσt1=0、σt2=0であれば、制御部6のCPU61は、例えば、RAM62内に格納された対照テーブルを参照して、被検知者はベッドで就寝の状態又は横臥している状態から、起床や寝返り等の変化が起きたと判断する。この状態は図中では、状態1から2の変化である。
この状態(状態2)から、次に、ベッド外領域の時間的標準偏差σt2が閾値(TH)よりも大きくなると(図中3の状態)、時間的標準偏差の二値化したパターンはσt1=1、σt2=0からσt1=1、σt2=1に変わる(図中では状態2から3への変化である)から、制御部6のCPU61は、同様にRAM62内に格納されている対照テーブルを参照して、上記状態2から3へのパターン変更に対応した動作、つまり、被検知者が例えばベッドに腰掛けた状態であると判断する。
上記3の状態から次にベッド内領域の時間的標準偏差σt1が閾値(TH)よりも小さくなると(図中4の状態)、その時間的標準偏差の二値化したパターンはσt1=1、σt2=1からσt1=0、σt2=1に変わる(図中では状態3から4への変化である)から、制御部6のCPU61は、同様にRAM62内に格納されている対照テーブルを参照して、被検者が離床したと判断する。
上記2の状態から、ベッド内領域の時間的標準偏差σt1も閾値(TH)よりも小さくなると(図中1の状態)、その時間的標準偏差の二値化したパターンはσt1=1、σt2=0からσt1=0、σt2=0に変わる(図中では状態2から1への変化である)から、制御部6のCPU61は、同様にRAM62内に格納されている対照テーブルを参照して、被検者が就寝したと判断する。
次に、上記1の状態からベッド外領域の時間的標準偏差σt2が閾値(TH)よりも大きくなると、時間的標準偏差の二値化したパターンはσt1=0、σt2=0からσt1=0、σt2=1に変わる(図中では状態1から5への変化である)から、制御部6のCPU61は、同様にRAM62内に格納されている対照テーブルを参照して、被検者が就寝しているベッドのりに誰かが侵入してきたと判断し、必要に応じて警報発報部を作動する。
上記5の状態から、再度ベッド外領域の時間的標準偏差σt2が閾値(TH)よりも小さくなると、時間的標準偏差の二値化したパターンはσt1=0、σt2=1からσt1=0、σt2=0に変わる(図中では状態5から1への変化である)から、制御部6のCPU61は、RAM62内に格納されている対照テーブルを参照して、ベッドのりに侵入した人がそのまま通り抜けたと判断して上記警報発報部の作動を中止する。
上記5の状態から、ベッド内領域の時間的標準偏差σt1が閾値(TH)よりも大きくなると(図中6の状態)、時間的標準偏差の二値化したパターンはσt1=0、σt2=1からσt1=1、σt2=1に変わる(図中では状態5から6への変化である)から、CPU61は、次にどの状態に移行するかにしたがって判断する。即ち、次にベッド内領域の時間的標準偏差σt1のみが閾値(TH)よりも小さくなると(図中5の状態)、時間的標準偏差の二値化したパターンはσt1=1、σt2=1からσt1=0、σt2=1に戻る(図中では状態6から5への変化である)から、CPU61は前記対照テーブルを参照して、侵入してきた人がベッドメキングなどの介護を行ったものと判断する。
上記6の状態から、再度ベッド外領域の時間的標準偏差σt2が閾値(TH)よりも小さくなると、時間的標準偏差の二値化したパターンはσt1=1、σt2=1からσt1=1、σt2=0に変わる(図中では状態6から7への変化である)から、この変化のパターンからCPU61は前記対照テーブルを参照して、人が入床したものと判断する。
同様に、上記3の状態(つまり離床の状態)から、上記2の状態に移行すれば被検知者がベッド内で起き上がったり寝返りをうっているのが分かる。
本発明の実施形態によれば、ベッド領域とベッド外領域とに分けて、それぞれの撮影画像の画素毎の輝度の分散値の標準偏差の時間変化の標準偏差値つまり時間的標準偏差値に注目して、その大きさの変化の変化分で被検者の行動を検知するようにしたから、消灯や、点灯に惑わされずに、被検者が絶えず動いていても、その行動が大きく変化しなければ、監視領域における変化から除外することができ、より正確に被検者の離床を検知することができる。
以上、本移動装置を人の離床検知装置として用いた場合について説明したが、本発明はこれに限ることなく、他の移動体検知に適用することができる。例えば、特定の領域内における人の動きを監視したり、或いは、上記領域を3以上に設定して各領域の時間的標準偏差の二値化したパターンから、より複雑な人や物体の動きを正確に検知することができる。例えば、予め移動パターンが決められた移動体の移動を監視して、その移動が予め決められたものかどうかなどの判断に供することもできる。
本発明の移動体検知システムの1実施形態として離床検知システムを概略的に示すブロック図である。 縦軸に標準偏差σ(又は単に時間的標準偏差σ)を、また横軸に時間をとって、ある領域における輝度の標準偏差σ(又は標準偏差の時間的標準偏差σ)の時間変化を示したグラフである。 監視領域を説明するための図であり、図3Aはベッドと監視カメラの取り付け位置の関係を示す側面図であり、図3Bは監視領域を説明するための平面図である。 本実施形態に係る検知を説明するための図である。
1・・・移動体検知装置、2・・・監視カメラ、3・・・画像処理、4・・・メモリ、5・・・警報発報部、6・・・制御部、30・・・監視領域設定部、32・・・領域内変化検部、321・・・領域内輝度値抽出部、322・・・領域内分散(標準偏差)算出部、323・・・領域内分散(標準偏差)の時間分散(標準偏差)算出部。

Claims (3)

  1. 監視カメラの撮像画像の監視領域を複数の領域に分割する手段と、分割領域内の階調値を抽出する手段と、抽出した階調値の標準偏差値を求める手段と、取得した各標準偏差値毎の時間的変化量の標準偏差を取得する手段と、得られた前記時間的変化量の標準偏差値に基づき当該領域における被検知体の動作を検知する手段、とを有する移動体検知装置であって、
    前記被検知体の動作を検知する手段は、前記時間的変化量の標準偏差値と所定の閾値とを比較し、前記時間的変化量の標準偏差値を前記閾値で2値化したパターンを作成し、前記パターンの経時的変化に基づき被検知体の動作を検知することを特徴とする移動体検知装置。
  2. 請求項1に記載された移動体検知装置において、
    前記撮像画像の監視領域を複数の領域に分割する手段は、ベッド領域とベッド外領域に分割し、前記被検知体の動作は被検知者の離床であることを特徴とする移動体検知装置。
  3. 請求項1又は2に記載された移動体検知装置と、撮像カメラと、前記移動体検知装置で異常を検知したときに警報を発生する警報手段を有することを特徴とする移動体検知システム
JP2007062645A 2007-03-12 2007-03-12 移動体検知装置及び移動体検知システム Active JP4894002B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007062645A JP4894002B2 (ja) 2007-03-12 2007-03-12 移動体検知装置及び移動体検知システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007062645A JP4894002B2 (ja) 2007-03-12 2007-03-12 移動体検知装置及び移動体検知システム

Publications (2)

Publication Number Publication Date
JP2008224396A JP2008224396A (ja) 2008-09-25
JP4894002B2 true JP4894002B2 (ja) 2012-03-07

Family

ID=39843206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007062645A Active JP4894002B2 (ja) 2007-03-12 2007-03-12 移動体検知装置及び移動体検知システム

Country Status (1)

Country Link
JP (1) JP4894002B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5799219B2 (ja) * 2011-03-17 2015-10-21 パナソニックIpマネジメント株式会社 物体検出装置
JP2015139550A (ja) * 2014-01-29 2015-08-03 シャープ株式会社 離床判定装置および離床判定方法
JP6303779B2 (ja) * 2014-04-30 2018-04-04 富士通株式会社 見守り装置、プログラム及び見守り方法
JP6361394B2 (ja) * 2014-09-16 2018-07-25 沖電気工業株式会社 状態判定装置及びプログラム
TWI668665B (zh) * 2017-11-15 2019-08-11 合盈光電科技股份有限公司 Health care monitoring system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4590745B2 (ja) * 2001-01-31 2010-12-01 パナソニック電工株式会社 画像処理装置
JP4189229B2 (ja) * 2003-02-05 2008-12-03 住友大阪セメント株式会社 動き検出装置
JP2006136666A (ja) * 2004-11-15 2006-06-01 Asahi Kasei Corp 体動認識装置、体動認識方法、及び、プログラム

Also Published As

Publication number Publication date
JP2008224396A (ja) 2008-09-25

Similar Documents

Publication Publication Date Title
JP3941227B2 (ja) 異常監視装置
EP3170125B1 (en) Occupancy detection
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6150207B2 (ja) 監視システム
US11116423B2 (en) Patient monitoring system and method
JP4894002B2 (ja) 移動体検知装置及び移動体検知システム
JP2019020993A (ja) 見守り支援システム及びその制御方法
JP2011086286A (ja) ベッド上及び室内の見守りシステム
US10410062B2 (en) Systems and methods for occupancy monitoring
JP6822328B2 (ja) 見守り支援システム及びその制御方法
JP2752335B2 (ja) 病室内患者監視装置
JP2017523402A (ja) モニタされる対象の運動及び/又は位置を検出すること
US20210219873A1 (en) Machine vision to predict clinical patient parameters
JP7120238B2 (ja) 発報制御システム、検知ユニット、ケアサポートシステムおよび発報制御方法
KR20160130680A (ko) 환자 낙상예방 모니터링 장치
JPH1199140A (ja) 就寝状態異常検知装置
JP2007072964A (ja) 離床予測自動感知通報方法と同自動感知通報システム
CN113366529A (zh) 护理记录装置、护理记录系统、护理记录程序及护理记录方法
US20190012546A1 (en) Occupancy detection
JP6822326B2 (ja) 見守り支援システム及びその制御方法
WO2018159039A1 (ja) 見守り支援システム及びその制御方法、並びにプログラム
JP6870514B2 (ja) 見守り支援システム及びその制御方法
JP2017018455A (ja) 状態検出装置及び状態検出方法
JP6729512B2 (ja) 見守り支援システム及びその制御方法
JP6635074B2 (ja) 見守り支援システム及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111208

R150 Certificate of patent or registration of utility model

Ref document number: 4894002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3