JP3904106B2 - 人体検知装置 - Google Patents

人体検知装置 Download PDF

Info

Publication number
JP3904106B2
JP3904106B2 JP2000145938A JP2000145938A JP3904106B2 JP 3904106 B2 JP3904106 B2 JP 3904106B2 JP 2000145938 A JP2000145938 A JP 2000145938A JP 2000145938 A JP2000145938 A JP 2000145938A JP 3904106 B2 JP3904106 B2 JP 3904106B2
Authority
JP
Japan
Prior art keywords
human body
body detection
sensor
detection
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000145938A
Other languages
English (en)
Other versions
JP2001325677A (ja
Inventor
健児 河井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritz Corp
Original Assignee
Noritz Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritz Corp filed Critical Noritz Corp
Priority to JP2000145938A priority Critical patent/JP3904106B2/ja
Publication of JP2001325677A publication Critical patent/JP2001325677A/ja
Application granted granted Critical
Publication of JP3904106B2 publication Critical patent/JP3904106B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は人体の動きを撮像して画像処理する人体検出センサと、熱感知により作動する赤外線センサとを有する人体検知装置に関するものである。
【0002】
【従来の技術】
出願人は既に人体の動きを撮像して画像処理する人体検出センサと、熱感知により作動する赤外線センサとを有する人体検知装置の提案を行った。人体検出センサの他に赤外線センサを設けたのは、画像処理を要する人体検出センサによる画像処理の遅れを検出速度の速い赤外線センサで補完して、センサ性能を向上させるためである。
【0003】
【発明が解決しようとする課題】
しかし、赤外線センサは熱感知方式であるため、赤外線センサが感知しうる検知エリア内に温度差が生じると、検知出力が生じて制御装置に信号を入力し、制御装置の判定部で人がいるものと誤判定されるおそれがあった。
例えば、図9に示されるように、浴室Aの天井に赤外線センサBを設け、この赤外線センサの検知範囲Fが浴槽C、洗場DのみならずドアEの下方部まで及んでいる場合には、人がドアE近傍の脱衣場で脱衣をしている最中であるにもかかわらず、赤外線センサBはガラスドアを介して脱衣中の人の体温を感知して出力信号を発してしまい、浴室で人がいないにもかかわらず人が浴室にいるものと誤判定してしまう問題を有していた。また、センサの設置が水平方向にずれて設置された場合には、検知エリアもずれるため、誤検知し易くなる問題も有していた。
【0004】
本発明は上記問題に鑑み、脱衣場等における人の動きを赤外線センサが誤検知しないようにしたものである。またセンサの取付け位置が多少ずれたとしても、迅速に校正できる人体検知装置を提供することを課題とする。
【0005】
【課題を解決するための手段】
上記課題を解決するために、本発明の人体検知装置は、人体の動きを撮像して画像処理する人体検出センサと、熱感知により作動する赤外線センサと、該赤外線センサの検知部にセンサの検知エリアの一部を制限する制限部材とを設、制限部材は浴室のドア側の検知エリアを制限するものであり、赤外線センサのオンと共に人体検出センサが一定時間内に洗場において人を検知すると入室したものと判断し、洗場において人を検知しなかった場合でも人体検出センサが浴槽において人を検知すると所定時間内に赤外線センサ及び人体検出センサが共に人を検知している場合には入室しているものと判断する制御装置を設けたことを第1の特徴としている。
この第1の特徴によれば、人体検出センサの検出遅れを赤外線センサで補完することができると共に赤外線センサの誤検知の防止を図ることができたものである。また、脱衣場における人の動きを赤外線センサが誤検知しないようにできる利点がある。
【0006】
さらに、本発明の請求項に記載の人体検知装置において、前記制限部材は水平回動方向に対して調節自在であることを第の特徴としている。この第の特徴によれば、上記の特徴に加え、人体検出装置が多少最適取付け位置からずれても、水平回動方向に対して調節自在であるので、人体検出装置の取付け位置のずれに対して迅速に校正できる利点がある。
【0007】
さらに、本発明の請求項1〜2に記載の人体検知装置において、前記人体検出センサは低解像度の撮像装置からなることを第の特徴としている。この第3の特徴によれば、上記の特徴に加え、画像処理の迅速化、処理ソフトの簡素化を図ることができる。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。図1は本発明の一実施形態を示す浴室の全体構成図である。図2は本発明の一実施形態を示す天井側から見たセンサと検知領域との関係を示す説明図である。図3は本発明の一実施形態を示す赤外線センサの検知エリアを制限する制限部材の説明図である。図4は本発明の一実施形態を示す電気回路のブロック図である。図5は人体検出センサの画像検出部の1画素を構成する画像コア回路の構成を示す回路図である。図6はセンサの撮像範囲と検知範囲及び検知領域との関係を示す説明図である。図7は制御フローチャートである。図8は人体検出装置の概略を示す断面図である。図9は従来例を示すものである。
【0009】
図1は浴室1を側方から見た断面図であり、本発明の一実施形態の概略を示すものであって、浴室1内部には浴槽2及び洗場3を設けてある。4は浴室への出入口のドアで図示しない脱衣場に通じている。そして、浴室1の天井には人体検知装置5が設置されている。浴室1がシステムバスルームの場合には保守点検上、天井に開口した点検口に取り付けることが望ましい。天井の人体検知装置5は、人工網膜を利用した撮像装置を有し浴室1における人体の動きを撮像して画像処理する人体検出センサ51と、撮像装置以外の手段である熱感知により人体を検知する赤外線センサ52とから構成している。
【0010】
人体検知装置5の出力は、図示しない信号線を通じて浴室用リモコンや台所用リモコンへ接続される。そして、給湯器を制御するリモコンには浴室1に入浴者がいることを知らせるランプ等の表示部を有しており、人体検知装置5が入浴者を検知して信号線から検知信号を出力すると表示部が点灯するようになっている。
【0011】
図4は人工網膜チップを利用した人体検出センサ51と、赤外線センサ52とからなる人体検出装置5の具体的構成を示したものである。人体検出センサ51は人体を検出すると共に検出した画像を処理する撮像装置6と、撮像装置6に制御信号を与えると共に処理情報を判定する制御装置7とから構成されている。そして、人体検出センサ51の他に赤外線センサ52を同一のケース内に設け、その制御装置7を共用し浴室1が暗い場合の監視の補填を行なうようにしてある。そして、天井であって下方に向かって取付けられた赤外線センサ52の検知部60の近傍には、センサの検知エリアの一部を制限する制限部材61を設けてある。この制限部材61は図4に示されるように人体検出装置5のケースと一体的に形成してもよく、また図8に示されるように人体検出装置5のケース下面に設けた枠体62内に水平方向に回動自在に設けることも推奨できる。一体的とは接着も含む概念である。
この制限部材61の具体例について図3を用いて説明する。図3は制限部材61を下方から見た拡大図であり、円形レール状の枠体62の内部に、月状のプレート体からなる制限部材61を水平方向に対して回動自在となるように収納してある。プレート体の部分では放射熱が遮られるので、この部分の熱は検知部には至らない。
すなわち、赤外線センサ52は制御装置7を有する基板面に対して検知角度が垂直方向に振り分けられており、検知エリアはセンサを原点として円錐状となるため、制限部材61により赤外線センサ52の検知範囲63は図2に示されるような範囲となり、赤外線センサ52の検知エリアは制限され、浴室1のドア4側からの熱は検知されないこととなる。
また、制限部材は61水平回動方向に対して調節自在としているので、人体検出装置5の取付け位置が多少最適取付け位置からずれたとしても、水平回動方向に対して回動自在であるので、取り付け固定後であってもプレート体を回動して調節すれば、人体検出装置の取付け位置のずれに対して迅速に校正できる。この結果、浴室のドア4側からの放射熱を遮蔽することができる。
【0012】
次に、前記撮像装置6の撮像部8は、縦128×横128画素のC−MOSアレイ等のうち、制御装置7のマイクロコンピュータのRAM容量上縦32×横32画素(=1024画素)からなる画像検出部9、結像レンズ10、スキャナ11、マルチプレクサ12及びスキャナ駆動制御部13から構成されている。RAM容量が許せば、もっと多くの画素を用いても良く、また多数の画素を間引いて検出処理しても良い。画像検出部9の画素はそれぞれモノクロ256階調「レベル0(黒)〜255(白)の256階調」で表現される。
【0013】
そして、撮像部8においては、浴室内の画像は、結像レンズ10によって画像検出部9に結像される。スキャナ11は、スキャナ駆動制御部13によって駆動制御されており、画像検出部9の各画素列を順次一定周期毎に受光状態(オン状態)となるように制御している。受光状態となった1列の各画素から同時に出力された光電流は、マルチプレクサ12によってアナログデータからシリアルデータに変換され、増幅器14で増幅された後、画像処理部15へ入力される。なお、アナログデータからシリアルデータへの変換等は外部に設けた制御装置7部あるいは別途設けたICにより行っても良い。
また、画像検出部9の各画素は、図5に示すように画素コア回路17によって構成されている。画素コア回路17は受光素子18、電荷蓄積回路19、感度可変回路20から構成されており、感度可変端子21及びリセット端子22がスキャナ11に接続され、光電流出力端子23がマルチプレクサ12に接続されている。
図4においてゲイン調整部16は、画像処理部15における画像平均値(画像の明るさ)をチェックし、画像平均値が適切な範囲から外れていれば、増幅器14によって撮像装置6のゲインを調整すると共にスキャナ駆動制御部13によって画像検出部9の蓄積時間を調整し、適正な明るさの画像が得られるように調光する。
【0014】
人工網膜を用いた撮像装置6では、画像平均値は、画像検出部9を構成する32×32個の全画素における階調(0階調(黒)〜255階調(白)の256階調)の平均値であり、0〜255の値で表わさせる。この画像平均値は増幅器14のゲインと画像検出部9の蓄積時間によって決定される。ここで、ゲインはカメラの絞りに相当し、蓄積時間はカメラのシャッタースピードに相当する。従って、撮像装置6の適正な画像平均値を得ようとすれば、適当なゲインに固定しておき、蓄積時間を調整すればよい。あるいは、適当な蓄積時間を固定しておき、ゲインを調整すればよい。
【0015】
そして、図4において少なくとも撮像をおこなう画像検出部9と画像処理を行なう画像処理部15とは1チップで構成されている。このチップは人工網膜チップと称される。低解像度であるため処理速度は比較的速く処理できる。また、このチップの裏面位置には、制御装置7を設けてあり、制御装置7はマイクロコンピュータからなりこの内部には人体検出センサに51よる検知処理を行なう検知領域を複数の領域に分割する領域分割手段24をソフトウエアーとして組込んである。
具体的には、図6に示すように、画像処理部15に入力された画像情報を処理するためのポイントテーブル25を複数域に分割するものである。すなわち人体検出センサによる検出可能な撮像能力範囲(ポイントテーブル25全体に相当)を、まず画像処理の必要な検知領域26と、画像処理を行なわない非検知領域27とに区画している。すなわち、撮像能力範囲のすべてを検知領域とはしていない。これにより検出処理可能な検出処理領域のうちの一部を、実際に検知し処理するセンサ検知領域として使用することで画像の処理範囲を限定して、画像処理の速度を早めている。
さらに前記の検知領域26を、浴室1のドア4下部を含む洗場領域30及び浴槽領域31の2つの領域に分割したものである。なお、前記赤外線センサ52の検知範囲63と人体検出センサ51の検知領域26とは、ほぼ重複しているが、赤外線センサ52の検知範囲63には浴室1のドア4下部は含まない。
【0016】
そして、人体検出センサ51を構成する結像レンズ10と撮像装置6と制御装置7とは、前記赤外線センサ52と共に1つのケースに納められ、人体検出装置5として浴室1の天井に取り付けられる。図2は人体検出装置5の取り付け位置を示すものである。
【0017】
図2において、人体検出装置5は、浴室1の洗場領域30と浴槽領域31との境界位置に取り付けられる。標準的な浴室におけるこのセンサの撮像エリアは、図2に示されるような範囲となることが実験により確認された。
【0018】
そして、撮像装置6の検知出力と赤外線センサ52の検知出力はそれぞれ判定手段32へ出力される。判定手段32は撮像装置6からの出力と赤外線センサ52からの出力に基づき、浴室1における入浴者の有無や入浴者の動きなどを総合的に判断する。
【0019】
人工網膜により検出した画像は次のように画像処理される。画像処理部15は、画像検出部9を構成する全画素から画像情報を一定時間毎に受信する。画像処理部15は、一定時間毎に画像情報を受け取ると、該画像情報を処理し、判定手段32に出力して入浴者の動きを監視するのである。
【0020】
具体的には、まず画像検出部9で検出した一定時間前の画像(前画像)と現時点での画像(現画像)との受光量の差(差分)を画像処理部15で演算する。差分が正の画素は+で表わし、負の画素は−で表わし、差が0の画素は0で表わす。
対象物の動きは画像の境界によって判定できるので、画像の境界の移動はそこでの差分の正または負となって表れる。これにより画像境界の移動の方向が推定される。そして差分の総和を見ることで大まかな人の動きが把握できる。
また、上記解析方法を2次元の画像に適用して、具体的には画素上の方向を縦方向、横方向、右上がり斜め方向、右下がり斜め方向の4つに分けて、この4つの方向毎に現画像と前画像との差分(スカラー)を求めて、この差分の画像から各方向ごとの動きを判定し、各方向の差分をベクトルとして表わすようにしてもよい。
そして該画素とその周辺の3×3画素の差分ベクトルを平均化することで(オプチカルフロー)、浴室における人の存在や人の動きを検知することができる。
【0021】
図6に示すように人体検出センサ51の検知領域26は、洗場領域30、浴槽領域31の2つのエリアに分け、各エリア毎に前記差分の総和または動き量を検知している。ここで、動き量とは、各領域30、31毎に各画素のオプチカルフローのスカラー量を平均したもの(スカラー平均)、もしくはスカラー量の和(スカラー和)である。
【0022】
次に、浴室1に人が入室したか否か等の判別について図7において説明する。まず、脱衣場において人がいるときであっても、赤外線センサ52の検知部には検知エリアを制限する制限部材61を設けているので、脱衣場における人体を検知するおそれはない。
次に、人が浴室1に入り始めると、まず待機状態にある赤外線センサ52が人体を検知してオンとなる(ステップS1)。赤外線センサ52のオンと共にタイマセットされ(ステップS2)、人体検出センサ51が一定時間内に洗場において人を検知すると(ステップS3)、入室したものと判断する(ステップS4)。この入室判定において、人体検出センサ51による人体検知には撮像及び動き量の演算等に時間を要すること、あるいは浴室が暗い場合には監視感度が鈍いことから、赤外線センサ52を併用し、赤外線センサ52が検出した後、人体検出センサ51が共に人を検出することで、人体検出センサ51の弱点を補い、入室の確実を期しているものである。
【0023】
また、浴室からの退出時においても、赤外線センサ52がオフとなった場合(ステップS5においてノーの場合)で、かつ、人体検出センサ51が動き量を検知しない場合(ステップS6においてノーの場合)に、浴室1から退出したものと判断させている。赤外線センサ52では浴槽湯温を人体温度と誤って判断することが有り得るので、この赤外線センサ52の弱点を他のセンサを使用することで補完している。
そして、人体検出センサ51が洗場3において人を検知しなかった場合(ステップS3でノーの場合)でも、浴槽2において人を検知すると(ステップS8)、所定時間内に赤外線センサ52及び人体検出センサ51が共に人を検知している場合には(ステップS9、S10)、入室しているものと判断することとしている(ステップS4)。
なお、入室したものと判定したのちはセンサの検知継続時間を平均的な入浴時間に見合うようにタイマセット(ステップS11)している。このタイマセット時間は、浴室に人が居ることを検知して延長するようにしてもよい。
【0024】
また、人体検出装置5の取り付けは、浴室1の天井であって、浴室1の洗場領域30と浴槽領域31との境界位置に取付けられる。この位置は標準的な浴室において洗場3及び浴槽2を設けた浴室内の人の動きを監視できる最適位置である。特に、浴槽2と洗場3との境界に取付けることで、浴槽2及び洗場3での人の動きに対して、境界が明確化できる。人体検出装置5はそれ自体の取付け角度を任意にできるように、左右方向に対して揺動自在としてもよい。検知エリア、検知領域の調節が容易となる。
【0025】
また、ユニットバス等からなるシステムバスルームの場合には、バスルームの天井にその点検用の点検口が位置しており、この点検蓋である点検口に前記人体検知装置5を取り付けることを推奨する。点検口は取り付け、取り外しができるので、人体検出装置5の設置、点検、制限部材61の調節が容易に行なえるのみならず、前記センサの最適取付け位置の条件を満足するものである。
【0026】
なお、上述した実施形態は本発明の好適な実施形態を示すものであって、本発明はこれに限定されることなく、その範囲内で各種設計変更可能である。例えば、本実施形態ではシステムバスルームについて説明したが、この例に限られることなくこれ以外の既存の浴室にも設置できるものである。
【0027】
【発明の効果】
本発明は以上の構成、作用からなり、本発明の人体検出装置によれば、人体の動きを撮像して画像処理する人体検出センサと、熱感知により作動する赤外線センサと、赤外線センサの検知エリアの一部を制限する制限部材とを設けたことで、人体検出センサの検出遅れを赤外線センサで補完することができると共に赤外線センサの誤検知の防止を図ることができたものである。
また、本発明の人体検出装置は、人体の動きを撮像して画像処理する人体検出センサと、熱感知により作動する赤外線センサと、該赤外線センサの検知部にセンサの検知エリアの一部を制限する制限部材とを設けたものであって、制限部材は浴室のドア側の検知エリアを制限するようにしたので、上記の特徴に加え、脱衣場における人の動きを赤外線センサが誤検知しないようにできる。
さらに、本発明の人体検出装置は、請求項1〜2に記載の人体検出装置において、前記制限部材は水平回動方向に対して調節自在としたので、上記の特徴に加え、人体検出装置が多少最適取付け位置からずれても、水平回動方向に対して調節自在であるので、人体検出装置の取付け位置のずれに対して迅速に校正できる利点がある。
さらに、本発明の人体検出装置は、前記人体検出センサは低解像度の撮像装置から構成したことで、上記の特徴に加え、画像処理の迅速化、処理ソフトの簡素化を図ることができる。
【図面の簡単な説明】
【図1】図1は本発明の一実施形態を示す浴室の全体構成図である。
【図2】図2は本発明の一実施形態を示す天井側から見たセンサと検知範囲、検知領域との関係を示す説明図である。
【図3】図3は本発明の一実施形態を示す制限部材の説明図である。
【図4】図4は本発明の一実施形態を示す電気回路のブロック図である。
【図5】図5は人体検出センサの画像検出部の1画素を構成する画像コア回路の構成を示す回路図である。
【図6】図6は人体検出センサの撮像範囲と検知範囲及び検知領域との関係を示す説明図である。
【図7】図7は本発明の一実施形態を示すフローチャートである。
【図8】図8は人体検出装置の概略を示す断面図である。
【図9】図9は従来例を示す説明図である。
【符号の説明】
1 浴室
2 浴槽
3 洗場
4 ドア
5 人体検出装置
6 撮像装置
7 制御装置
9 画像検出部
15 画像処理部
17 画像コア回路
24 領域分割手段
26 検知領域
30 洗場領域
31 浴槽領域
32 判定手段
51 人体検出センサ
52 赤外線センサ
60 検知部
61 制限部材
62 枠体

Claims (3)

  1. 人体の動きを撮像して画像処理する人体検出センサと、熱感知により作動する赤外線センサと、該赤外線センサの検知部にセンサの検知エリアの一部を制限する制限部材とを設、制限部材は浴室のドア側の検知エリアを制限するものであり、赤外線センサのオンと共に人体検出センサが一定時間内に洗場において人を検知すると入室したものと判断し、洗場において人を検知しなかった場合でも人体検出センサが浴槽において人を検知すると所定時間内に赤外線センサ及び人体検出センサが共に人を検知している場合には入室しているものと判断する制御装置を設けたことを特徴とする人体検知装置。
  2. 前記制限部材は水平回動方向に対して調節自在であることを特徴とする請求項1に記載の人体検知装置。
  3. 前記人体検出センサは低解像度の撮像装置からなることを特徴とする請求項1〜2に記載の人体検知装置。
JP2000145938A 2000-05-18 2000-05-18 人体検知装置 Expired - Fee Related JP3904106B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000145938A JP3904106B2 (ja) 2000-05-18 2000-05-18 人体検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000145938A JP3904106B2 (ja) 2000-05-18 2000-05-18 人体検知装置

Publications (2)

Publication Number Publication Date
JP2001325677A JP2001325677A (ja) 2001-11-22
JP3904106B2 true JP3904106B2 (ja) 2007-04-11

Family

ID=18652373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000145938A Expired - Fee Related JP3904106B2 (ja) 2000-05-18 2000-05-18 人体検知装置

Country Status (1)

Country Link
JP (1) JP3904106B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294801B2 (ja) * 2008-10-30 2013-09-18 三菱電機株式会社 空気調和機
CN102640196B (zh) 2010-01-07 2015-11-25 株式会社尼康 图像判定装置
JP6489477B2 (ja) 2015-03-13 2019-03-27 パナソニックIpマネジメント株式会社 検知装置、負荷制御装置、及び負荷制御システム
JP6447915B2 (ja) 2015-03-13 2019-01-09 パナソニックIpマネジメント株式会社 負荷制御装置
JP6681590B2 (ja) 2015-03-13 2020-04-15 パナソニックIpマネジメント株式会社 センサ制御装置、センサシステム及び負荷制御システム

Also Published As

Publication number Publication date
JP2001325677A (ja) 2001-11-22

Similar Documents

Publication Publication Date Title
JP3904106B2 (ja) 人体検知装置
JP4003398B2 (ja) 浴室
JP3747457B2 (ja) 浴室
JP2002081667A (ja) 浴室暖房機
JP3902431B2 (ja) 浴室
JP3965943B2 (ja) 人体検出装置
JP2001311549A (ja) 温水機器
JP2001299622A (ja) 温水機器
JP2001307258A (ja) 浴 室
JP2002015384A (ja) 洗面室に隣接する浴室
JP2002006057A (ja) 人体検出装置
JP2001299623A (ja) 浴 室
JP2002031689A (ja) 人体検出センサ
JP2003037839A (ja) 人体検出装置
JP2002074372A (ja) 部屋監視装置
JP2002028096A (ja) 浴室における人体検出方法
JP3747459B2 (ja) 人体検出装置
JP2001351097A (ja) 人体検出装置
JP2001337177A (ja) 人体検出装置
JP2001299620A (ja) 浴 室
JP2002112870A (ja) 鏡の曇り止め装置
JP2001317111A (ja) 便 所
JP2004053456A (ja) 人体検出装置
JP3975706B2 (ja) 人体検出装置
JP2002125818A (ja) 鏡の曇り止め装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070103

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees