JP4471866B2 - 人物検出方法 - Google Patents

人物検出方法 Download PDF

Info

Publication number
JP4471866B2
JP4471866B2 JP2005050109A JP2005050109A JP4471866B2 JP 4471866 B2 JP4471866 B2 JP 4471866B2 JP 2005050109 A JP2005050109 A JP 2005050109A JP 2005050109 A JP2005050109 A JP 2005050109A JP 4471866 B2 JP4471866 B2 JP 4471866B2
Authority
JP
Japan
Prior art keywords
person
detection method
person detection
stereo
stereo camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005050109A
Other languages
English (en)
Other versions
JP2006236025A (ja
Inventor
健太郎 林
敬秀 平井
耕一 笹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005050109A priority Critical patent/JP4471866B2/ja
Publication of JP2006236025A publication Critical patent/JP2006236025A/ja
Application granted granted Critical
Publication of JP4471866B2 publication Critical patent/JP4471866B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、人物検出方法に関し、特に、床面上に起立した人物をステレオカメラを用いて検出する技術に関する。
従来から、ステレオカメラ等を用いて得られた画像を処理することによる人物検出が行われている。
例えば、特許文献1には、横断歩道上の人物をステレオカメラを用いて検出する手法が開示されている。また、特許文献2には、3次元データを特定平面に投影し、投影された面積より混雑度を計測する手法が開示されている。また、特許文献3には、ステレオ画像から3次元情報を抽出し、人物等の物体が存在する地面などの基準平面を推定し、この基準平面より上にある物体を追跡する手法が開示されている。また、非特許文献1には、複数のステレオカメラを用いて人物検出および人物追跡を行う手法が開示されている。
特開2002−24986号公報 特開2001−34883号公報 特開2000−115810号公報 依田 育士、他1名、"ユビキタスステレオビジョンによる実時間実環境ヒューマンセンシング"、[online]、平成15年6月13日、画像センシング技術研究会、[平成16年1月9日検索]、インターネット<URL: http://www.media.eng.hokudai.ac.jp/~liuxj/bak/pdf/F-19.pdf>
ステレオカメラを用いて得られた画像を処理する場合には、計測される人物とステレオカメラとの距離が大きくなると、誤差が大きくなってしまうという問題点があった。
本発明は以上の問題点を解決するためになされたものであり、人物とステレオカメラとの距離が大きい場合の誤差を低減できる人物検出方法を提供することを目的とする。
本発明に係る人物検出方法は、人物をステレオカメラを用いて検出する人物検出方法であって、ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の世界座標系における点とステレオカメラとの距離であるステレオ距離を求める工程と、点を床面上のヒストグラムのビンへ人物の起立方向に投影したときの点数を加算することにより点数の和を得る工程と、ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、所定の領域内において和に基づく特徴量を求める特徴量算出工程と、特徴量に基づき人物を検出する人物検出工程とを備える。
本発明に係る人物検出方法は、人物をステレオカメラを用いて検出する人物検出方法であって、ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の世界座標系における点とステレオカメラとの距離であるステレオ距離を求める工程と、点を床面上のヒストグラムのビンへ人物の起立方向に投影したときの点数を加算することにより点数の和を得る工程と、ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、所定の領域内において和に基づく特徴量を求める特徴量算出工程と、特徴量に基づき人物を検出する人物検出工程とを備えるので、ステレオ距離による誤差を低減できる。従って、ヒストグラム上に安定したピークを得ることができるので、精度をより高めることができる。また、ステレオ距離による誤差を低減できることにより、ステレオカメラを設置するときに、人物との距離を考慮する必要がなくなるので、ステレオカメラの設置場所に関する制限を緩和することができる。

<実施の形態1>
実施の形態1に係る人物検出方法においては、起立した人物は基準平面(以下では床面とも呼ぶ)に対して垂直方向に長い棒状の物体であると仮定できることに着目し、人物表面上の点を床面に投影しその点の個数のヒストグラムを作成する。また、ステレオカメラからの距離が大きい点ほど視差に対する誤差が大きくなることを考慮し、ステレオカメラからの距離に基づく大きさを与えられた所定の領域(ウィンドウ)において、ヒストグラム値の平均値またはばらつき等からなる特徴量を求め、この特徴量を用いて人物を検出することを特徴とする。
図1において、ステレオカメラ10は、ベースラインDだけ離れたカメラ10Lおよびカメラ10Rを有し、床面30上に起立した人物40の身長よりも高い高さBを有する位置に固定されている。また、ステレオカメラ10には、ステレオカメラ10から得られる画像情報を処理するコンピュータ20が接続されている。
次に、図2のフローチャートを用いて、本実施の形態に係る人物検出方法を説明する。
まず、ステップS1において、コンピュータ20は、ステレオカメラ10から得られる画像情報に基づき、人物40表面上の点に対して、視差dの計測を行う。ここで、点とは、三次元空間を所定の解像度に基づき分割した場合の計測の最小単位のことである。また、この視差dは、人物40表面上の全ての点(人物40の表面のうち影で計測できない点や黒塗り部分等の画像情報の存在しない点を除く)において、計測される。これにより、コンピュータ20は、人物40について、解像度に等しい分解能を有する視差画像すなわち密な視差画像を得る。この視差画像は、カメラ10L,10Rに対応した二枚の画像から計算により得られる一枚の画像である。
次に、ステップS2において、コンピュータ20は、得られた視差画像から、各点において、ステレオカメラ10と人物40との距離であるステレオ距離を算出する。
なお、算出されたこのステレオ距離と、人物40の実身長Hとからは、図1に示されるような立体視画像45が得られる。ここで、人物40の実身長Hは、既存の手法により観測してもよく、または一般的な平均値(日本人であれば約164cm)を用いてもよい。この立体視画像45から、人物40の画像上の身長である画像身長hが得られる。
次に、ステップS3において、コンピュータ20は、算出された各点のステレオ距離を用いて、世界座標系における上記の人物40表面上の全ての点の座標を算出する。図1においては、この世界座標系は、XYZ座標系として示されている。図1において、床面30はXY平面に対応し、ベースラインDはY軸に平行であり、ステレオカメラ10から見て奥行方向がX軸に一致し、人物40はZ軸方向に起立している。
次に、ステップS4において、コンピュータ20は、上記の人物40表面上の全ての点(以下では、これらの点を任意の点Pで代表させ説明を行う)を、床面30上すなわちXY平面上に投影することによりヒストグラムを作成する。具体的には、図3に示すように、床面30を、ヒストグラムを作成する単位となる領域であるビン50(図3においては、点線で囲まれた矩形)に分割し、全てのビン50上の全てのZ座標において、それぞれ、点Pが存在するかどうか(すなわち、任意のビン50の任意のZ座標において、人物40表面が計測されるかどうか)を確認する。そして、確認された点Pの個数をビン50毎にZ軸方向に加算する。これにより、加算された点Pの個数が比較的に多いビン50においては、人物40(の表面)が存在していると判断することができる。即ち、投影される点Pの個数のヒストグラムのピークから人物40の位置を求めることができる。
このとき、上述したように、ステレオ距離が大きくなるほど、算出される点Pの座標の誤差は大きくなる。図4に、ステレオ距離と点Pの座標の誤差との関係を示す。視差dの誤差Δdに対する点Pの誤差は、矩形60の各辺の長さで表され、ステレオ距離が大きくなるほど大きくなる。
そこで、上記の誤差の影響を低減するために、本発明においては、以下に説明するように、点Pの座標に、誤差に対応させて、ステレオ距離に基づく広がりを与える。
図3に示すように、点Pの広がり70は、ステレオカメラ10からの距離に基づく長さσcx,σcyを有する辺からなる矩形で表される。このσcx,σcyは、図4における矩形60各辺の長さにそれぞれ対応している。すなわち、広がり70は、ステレオ距離が大きい場合には大きく、ステレオ距離が小さい場合には小さい。
ステップS5においては、図4におけるステレオカメラ10と矩形60との幾何関係(即ち、ステレオカメラ10と広がり70との幾何関係)から導かれる以下の式(1),(2)を用いることによりσcx,σcyを算出する。
σcx=ξσd/d2・・・(1)
σcy=Dσd/d・・・(2)
ここで、ξは、ξ=dz(zは点PのZ座標)を満たす定数であり、σdは、一般的なステレオ計測における誤差標準偏差を表す定数である。また、式(1)は、z=ξ/dで表される式に対してdの1次のテーラー展開を行うことにより求められる。式(1),(2)において、ステレオ距離が大きい場合には、視差dは小さくなるので、σcx,σcyは、いずれも大きくなる。すなわち、広がり70は、ステレオ距離に基づき点Pを床面30に平行な平面上に面として広げたものである。
図5には、式(1),(2)から算出されたσcx,σcyと、加算された点の個数の特徴量(例えば平均値)を求めるための矩形状の所定の領域(ウィンドウ)90の大きさであるウィンドウサイズ(X方向の長さ=ww,Y方向の長さ=hw)との関係が示されている。ウィンドウ90は、例えば、その中心がヒストグラムのピークに重なるような位置に定められるとする。
図5に示されるように、ウィンドウサイズ(ww,hw)は、人物40の肩幅Wと人物40の胸厚WDと定数Fqとを用いて、以下の式(3),(4)で表される。
w=FqσCX・・・(3)
qσcy+WD≦hw≦Fqσcy+W・・・(4)
ここで、定数Fqは、図5においてウィンドウ90がヒストグラムのピークおよびその周辺領域を十分にカバーできるような値(例えば、Fq=6)に定められるとする。
図5に示されるように人物40がステレオカメラ10に対して前向きで起立している場合には、hw=Fqσcy+Wとなるが、人物40がステレオカメラ10に対して横向きで起立している場合には、hw=Fqσcy+WDとなる。すなわち、hwは、式(4)に示されるように、所定の幅を有し不等式で表される。従って、hwとしては、これらの間の任意の値(例えば、hw=Fqσcy+(W+WD)/2)に定めてよい。一方、wwは、ステレオカメラ10とウィンドウ90との距離のみに依存し人物40の向きにはほとんど依存せず、式(3)に示されるように一定となる。
上述したように、σCXおよびσcyはステレオ距離が大きくなると大きくなるので、式(3)〜(4)で示されるウィンドウサイズ(ww,hw)も、ステレオ距離が大きくなると大きくなる。これにより、ステップS7において後述するように、判定の際のステレオ距離による誤差を低減することが可能となる。
なお、図5において、例えば、人物40が、ステレオカメラ10に対して横向きになることがなく且つステレオカメラ10の光軸付近(すなわちステレオカメラ10の正面付近)でのみ観測されるとすると、式(4)におけるσcyは無視できるので、hw=W(日本人であれば約42.5cm)と近似してもよい。
次に、ステップS6において、ステップS4〜5でそれぞれ位置および大きさ(ウィンドウサイズ)が定められたウィンドウ90内において、加算された点の個数(ヒストグラム値)について、実際に観測される平均値(実測平均値)および理論上で推定(期待)される平均値(推定平均値)のそれぞれを求める。そして、ステップS7において、実測平均値と推定平均値とを比較することにより、ウィンドウ90内に人物40が存在するかどうかを判定する。以下では、図6を用いて、この判定手法について説明する。
図6(a)においては、簡単のために、人物40を、ヒストグラムのピークを通りYZ平面に平行な平面92と仮定する。この平面92は、高さHおよび幅wwを有する。また、図6(b)に示されるように、この平面92は、ステレオカメラ10へ投影されることにより、高さn[pixel]および幅m[pixel]を有する画像94が生成される。図6においては、n=6,m=4,ww=3ξyである場合について示されている(なお、ビン50のX方向およびY方向の長さをそれぞれξxおよびξyとしている)。
画像94に含まれる(n×m)個の点は、計測誤差(例えば人物40と背景との色が同一である場合等に発生する)およびステレオカメラ10の画面上におけるランダムノイズが無視できれば、全てXY平面上に投影されヒストグラムに反映されるはずである。すなわち、真のヒストグラム値kは、以下の式(5)で表される。
k=m×n・・・(5)
しかし、実際には、計測誤差およびノイズにより、投票値は変動する。従って、観測が成功する確率すなわち計測精度ρ(例えば、0.5とする)およびノイズに起因する投票値の変動ν(例えば、1とする)を用いると、投票値k’=k×ρ+ν=6×4×0.5+1=13となる。上述したように、平面92は、幅ww=3ξyを有するので、この投票値が幅ww=3ξyに分散してXY平面に投影されると考えると、ウィンドウ90内において1個のビン50あたり観測されることが推定される推定ヒストグラム値の平均値すなわち推定平均値μkは、以下の式(6)で表される。
μk=k’/(ww/ξy)=13/3≒4.3・・・(6)
このようにして求められた推定平均値μkを、実際の観測により求められた実測平均値Akと比較することにより、ステップS7において、ウィンドウ90内に人物40が存在するかどうかを判定することができる。具体的には、推定平均値μkと実測平均値Akとの差が、予め定められた閾値より小さい場合には(すなわち、実測平均値Akが推定平均値μkを中心とした所定の範囲内にある場合には)、ウィンドウ90内に人物40が存在すると判定する。
次に、ステップS8において、全ての点PについてステップS5〜S7が実行されたかどうかを確認する。実行されていない場合にはステップS5に進み、実行された場合には一連の処理が終了する。
上述の説明においては、ウィンドウ90内のヒストグラム値の平均値を用いて、ウィンドウ90内に人物40が存在するかどうかを判定する場合について説明したが、判定は、ウィンドウ90内のヒストグラム値の平均値に限らず、例えばウィンドウ90内のヒストグラム値のばらつき(分散または標準偏差)を用いて行ってもよい。以下、図5,7を用いて、ステップS6〜S7において、平均値に代えてばらつきを用いた判定手法について説明する。
図5に太線で示される線分96は、その長さをFqLとすると、以下の式(7)で表される。
Figure 0004471866
ここで、視差dには、真の視差を中心として分散σd 2を有する正規分布で表される計測誤差が加わっていると仮定できる。図7(a)に示されるように、この観測点をヒストグラムとしてXY平面上に投影すると、投影後のヒストグラム値は、線分96上で人物40の重心P’を中心として(−FqL/2)〜(FqL/2)の範囲に分布する。なお、図7(a)においては、この分布を、平均値0を有する正規分布N(0,σd 2)で表している。
図7(b)には、図7に示される正規分布N(0,σd 2)を累積(積分)することにより得られた累積確率分布P(x,σd 2)が示されている。なお、図7(a)と図7(b)とは、定性的な特性を示すためのものであるので、これらの縦軸の比は変えている。図7(b)を用いることにより、ウィンドウ90内のヒストグラム値の分散(すなわち線分96に沿ったヒストグラム値の分散)を求めることが可能となる。線分96に沿ったビン50の個数J=ww/ξxであり、1個のビン50あたりの線分96の長さ(すなわち1個のビン50内に含まれる線分96の部分の長さ)ξL=FqL/Jである。このとき、線分96の端点から数えてi番目のビン50における推定ヒストグラム値kiは、真のヒストグラム値kおよび計測精度ρを用いて、以下の式(8)で表される。
Figure 0004471866
なお、図7においては、J=6およびi=2である場合について、推定ヒストグラム値kiが示されている。
式(8)で表される推定ヒストグラム値kiの期待値は、式(6)から求められる推定平均値μkに等しい。従って、計測誤差に起因したウィンドウ90内における推定ヒストグラム値kiのばらつきを表す推定計測分散値σkd 2は、以下の式(9)で表される。
Figure 0004471866
また、上記の推定計測分散値σkd 2とは別に、ステレオカメラ10の画面上におけるランダムノイズに起因して、ヒストグラム値がばらつく。このばらつきを二項分布と仮定することにより、既存の手法を用いて、推定ノイズ標準偏差ζが求めることができる。推定計測分散値σkd 2と推定ノイズ標準偏差ζkとは独立であるので、推定されるヒストグラム値のばらつきの合計を表す推定標準偏差σk=σkd+ζkで表される。
このようにして求められた推定標準偏差σkを、実際の観測により求められた実測標準偏差Skと比較することにより、ステップS7において、ウィンドウ90内に人物40が存在するかどうかを判定することができる。具体的には、推定標準偏差σkと実測標準偏差Skとの差が、予め定められた閾値より小さい場合には(すなわち、実測標準偏差Skが推定標準偏差σkを中心とした所定の範囲内にある場合には)、ウィンドウ90内に人物40が存在すると判定する。
このように、本実施の形態に係る人物検出方法においては、ステレオ距離に基づく広がりを与えられた所定の領域(ウィンドウ)において、ヒストグラム値の平均値またはばらつき等からなる特徴量を用いて人物が存在するかどうかを判定するので、ステレオ距離による誤差を低減できる。従って、ヒストグラム上に安定したピークを得ることができるので、精度をより高めることができる。また、ステレオ距離による誤差を低減できることにより、ステレオカメラ10を設置するときに、人物40との距離を考慮する必要がなくなるので、ステレオカメラ10の設置場所に関する制限を緩和することができる。
また、実際に観測される実測特徴量と理論上で推定される推定特徴量との差を所定の閾値と比較する手法を用いることにより、人物の検出を容易に行うことが可能となる。
なお、上述においては、特徴量としてヒストグラム値の平均値またはばらつきを用いた場合について説明したが、ヒストグラム値の平均値またはばらつきに限らず、点を加算することにより得られた和(ヒストグラム値)に基づきウィンドウ内において求められる特徴量であればよい。
また、上述においては、実測特徴量と推定特徴量との差を所定の閾値と比較する手法を用いて人物を検出する場合について説明したが、このような手法に限らず、例えば、実測特徴量のみを用いて人物を検出してもよい。
実施の形態1に係る人物検出方法を示す斜視図である。 実施の形態1に係る人物検出方法を示すフローチャートである。 実施の形態1に係る人物検出方法を示す上面図である。 実施の形態1に係る人物検出方法を示す上面図である。 実施の形態1に係る人物検出方法を示す上面図である。 実施の形態1に係る人物検出方法を示す斜視図である。 実施の形態1に係る人物検出方法を示すグラフである。
符号の説明
10 ステレオカメラ、10L,10R カメラ、20 コンピュータ、30 床面、40 人物、45 立体視画像、50 ビン、60 矩形、70 広がり、90 ウィンドウ、92 平面、94 画像、96 線分、B 高さ、d 視差、D ベースライン、h 画像身長、H 実身長(高さ)、P 点。

Claims (5)

  1. 人物をステレオカメラを用いて検出する人物検出方法であって、
    前記ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の世界座標系における点と前記ステレオカメラとの距離であるステレオ距離を求める工程と、
    前記点を床面上のヒストグラムのビンへ前記人物の前記起立方向に投影したときの点数を加算することにより点数の和を得る工程と、
    前記ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、
    前記所定の領域内において前記和に基づく特徴量を求める特徴量算出工程と、
    前記特徴量に基づき前記人物を検出する人物検出工程と
    を備える人物検出方法。
  2. 請求項1に記載の人物検出方法であって、
    前記所定の領域は矩形状であり、前記領域設定工程において、位置および大きさを定められる
    人物検出方法。
  3. 請求項1又は請求項2に記載の人物検出方法であって、
    前記特徴量算出工程においては、実際に観測される実測特徴量と理論上で推定される推定特徴量とが求められ、
    前記人物検出工程においては、前記実測特徴量と前記推定特徴量との差を所定の閾値と比較することにより前記人物が検出される
    人物検出方法。
  4. 請求項1乃至請求項3のいずれかに記載の人物検出方法であって、
    前記特徴量は、前記和の平均値である
    人物検出方法。
  5. 請求項1乃至請求項3のいずれかに記載の人物検出方法であって、
    前記特徴量は、前記和のばらつきである
    人物検出方法。
JP2005050109A 2005-02-25 2005-02-25 人物検出方法 Expired - Fee Related JP4471866B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005050109A JP4471866B2 (ja) 2005-02-25 2005-02-25 人物検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005050109A JP4471866B2 (ja) 2005-02-25 2005-02-25 人物検出方法

Publications (2)

Publication Number Publication Date
JP2006236025A JP2006236025A (ja) 2006-09-07
JP4471866B2 true JP4471866B2 (ja) 2010-06-02

Family

ID=37043602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005050109A Expired - Fee Related JP4471866B2 (ja) 2005-02-25 2005-02-25 人物検出方法

Country Status (1)

Country Link
JP (1) JP4471866B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4853186B2 (ja) 2006-08-31 2012-01-11 ミツミ電機株式会社 アナログ−ディジタル変換装置
JP4675368B2 (ja) * 2007-11-21 2011-04-20 日本電信電話株式会社 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体
JP5478419B2 (ja) * 2009-10-22 2014-04-23 三菱電機株式会社 車軸検知システム
JP5694834B2 (ja) * 2011-04-12 2015-04-01 グローリー株式会社 物体認識方法及び物体認識装置
JP7020359B2 (ja) * 2018-09-28 2022-02-16 株式会社豊田自動織機 警告装置
JP7361441B2 (ja) * 2019-02-01 2023-10-16 株式会社Fuji 作業車両の安全システム

Also Published As

Publication number Publication date
JP2006236025A (ja) 2006-09-07

Similar Documents

Publication Publication Date Title
CN107016705B (zh) 计算机视觉系统中的地平面估计
US9183432B2 (en) People counting device and people trajectory analysis device
TWI498580B (zh) 長度量測方法與長度量測裝置
RU2621480C1 (ru) Устройство оценки положения движущегося тела и способ оценки положения движущегося тела
US20160117824A1 (en) Posture estimation method and robot
KR101467847B1 (ko) 영역 기반의 물체 계수 장치 및 방법
JP4471866B2 (ja) 人物検出方法
CN107079093B (zh) 校准装置
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
US20220067973A1 (en) Camera calibration apparatus and operating method
US20160292888A1 (en) Image measurement device, and recording medium
JP6620443B2 (ja) 監視プログラム、監視装置、及び監視方法
KR20140056790A (ko) 영상 인식 장치 및 그 방법
JP2020056644A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2011209794A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
US20180082129A1 (en) Information processing apparatus, detection system, and information processing method
JP2006318064A (ja) 画像センサ
JP4628910B2 (ja) 長さ測定装置および身長測定装置
JP5981284B2 (ja) 対象物検出装置、及び対象物検出方法
JP6096601B2 (ja) 駅ホーム転落検知装置
JP5891802B2 (ja) 車両位置算出装置
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
JP2012181063A (ja) 計算装置、計算方法及び計算プログラム
JP4265977B2 (ja) 人物検出方法およびそれを用いた人物追跡方法
WO2019116518A1 (ja) 物体検出装置及び物体検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100302

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4471866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees