JP3965943B2 - 人体検出装置 - Google Patents
人体検出装置 Download PDFInfo
- Publication number
- JP3965943B2 JP3965943B2 JP2001212222A JP2001212222A JP3965943B2 JP 3965943 B2 JP3965943 B2 JP 3965943B2 JP 2001212222 A JP2001212222 A JP 2001212222A JP 2001212222 A JP2001212222 A JP 2001212222A JP 3965943 B2 JP3965943 B2 JP 3965943B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- image
- dimming
- control
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を有し、人体の動きを検出し異常が生じた場合には、遠隔場所に居る他者に警報を発する人体検出装置に関するものである。
【０００２】
【従来の技術】
従来、例えば特願平１１―２４６５５７に示されるように、撮像対象物や撮像環境の明るさの変化による人体検出の誤検知を防止するため、撮像画像の画像平均値を演算し、この画像平均値を参照して最適なゲインを確定し、このゲインにおいて画像平均値が所望の値となるように撮像素子の画像蓄積時間を調整する調光手段を備えた自動調光装置が知られている。また、画像平均値を微調整するために蓄積時間微調整の処理を行っている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような自動調光装置を有する人体検出装置においては、浴室の照明機器を点灯し、自動調光装置による調光を行い、光量を調節した後に、人が浴室に入ると撮像した画像の階調が変化してこの変化を人体検出装置の自動調光機能が感知してしまうため、浴室内の光量が変化していないにもかかわらず、自動調光装置が作動して不必要な調光を行うという問題があった。そして、調光が始まると、調光が行われている時間中は、人体の動きを演算する制御には移行しないため、人体の動き検出を行うことができず、検出が不安定となる等の難点を有していた。また、自動調光が行われ自動調光が収束した後に、画像平均値を微調整するために蓄積時間微調整処理の制御を行っているが、人が浴室に入ると撮像した画像の階調が変化してこの変化を感知して蓄積時間微調整処理手段が作動してしまうため、浴室内の光量が変化していないにもかかわらず、蓄積時間微調整処理手段が作動して不必要な微調整を行うという問題があった。そして、微調整が始まると、微調整が行われている時間中は、人体の動きを演算する制御には移行しないため、人体の動き検出を行うことができず、前記と同様に検出が不安定となる等の難点を有していた。
【０００４】
そこで、本発明は上記問題点に鑑み、安定した人体の動きの検出を行うことができる人体検出装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明の人体検出装置は、監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段とからなるものであって、分割した各領域毎の画像階調の変化を捉えて前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段を設けたことを第１の特徴としている。この第１の特徴によれば、分割した各領域毎の画像階調の変化を捉えることで、人の移動による画像階調の変化による場合は領域毎に大きく階調変化するので、この各領域毎の画像階調の変化を捉えることにより、光量の変化であるか、あるいは人の入室による移動であるかの判別を確実に行うことができる。すなわち、人の移動による変化の場合は、領域毎に与える画像階調の変化の寄与度合いは照明による変化に比べ相対的に大きいので、この人の移動による変化の場合は制御対象から除外して、蓄積時間微調整処理制御手段の制御を阻止するようにしている。また、照明による変化の場合は、各領域に与える画像階調の変化の寄与度合いは人の移動による変化に比べ相対的に小さいので、この照明による変化の場合は制御対象として、蓄積時間微調整処理制御手段を制御させるようにしている。これにより、人が浴室に入っても人体検出装置の蓄積時間微調整処理手段が作動してしまうことがなくなり、不必要な蓄積時間微調整処理を行うことはなくなった。また、本発明の人体検出装置は、監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段と、赤外線により人体を検出する赤外線センサとからなるものにおいて、調光後調光収束範囲外の場合であって、赤外線センサにより人体を検出したとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段を設けたことを第２の特徴としている。この第２の特徴によれば、調光後調光収束範囲外の場合であって赤外線センサにより人体を検出したときには、蓄積時間微調整処理制御手段の制御を阻止するようにし、赤外線センサによる人の移動を検出して、この人の移動による変化の場合は制御対象から除外して、蓄積時間微調整処理制御手段の制御を阻止するようにしている。これにより、人が浴室に入っても人体検出装置の蓄積時間微調整処理手段が作動してしまうことがなくなり、不必要な蓄積時間微調整処理を行うことはなくなった。
【０００７】
また、本発明の人体検出装置は、監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段とからなるものであって、分割された各領域毎の階調平均値を演算する平均値演算手段と、該平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により 算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段とを設けたことを第３の特徴としている。この第３の特徴によれば、上記の特徴に加え、前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段により光量の変化を演算することで、実際に撮像した事実に基づいて判定でき、後刻の蓄積時間微調整処理の制御を確実に行うことができる。また、一定値以上か否かを判定する比較判定手段により、照明による画像階調の変化か、あるいは人の移動による画像階調の変化かを峻別することが可能となる。また、本発明の人体検出装置は、監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、前記検知領域全域の階調平均値を演算するエリア全域平均値演算手段と、該エリア全域平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記調光手段を自動的に制御する自動調光制御手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段と、分割された各領域毎の階調平均値を演算する平均値演算手段と、該平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段とを設けたことを第４の特徴としている。この第４の特徴によれば、上記の特徴に加え、自動調光制御は検知領域全域の階調平均値を用いて演算し、さらに蓄積時間微調整処理制御は分割された各領域毎の階調平均値を用いて演算している。即ち、照明等光量の変化による場合は検知領域全体が大きく階調変化するので、この検知領域全体の画像階調の変化を捉えることにより、光量の変化であるか、あるいは人の入室による移動であるかの判別が行いやすく、さらに、人の移動による画像階調の変化による場合は各領域毎に大きく階調変化するので、この各領域毎の画像階調の変化を捉えることにより、光量の変化であるか、あるいは人の入室による移動であるかの判別を確実に行うことができる。換言すれば、検知領域全域と各領域との双方の階調データを使用して判定することで、不必要な制御をすることなく、さらに安定した人体の動きの検出を行うことができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は本発明の一実施形態を示す全体構成図である。図２は本発明の一実施形態を示す電気回路のブロック図である。図３は人体検出センサの画像検出部の１画素を構成する画像コア回路の構成を示す回路図である。図４はセンサの撮像範囲と検知範囲及び検知領域との関係を示す説明図である。図５は本発明の一実施形態を示す制御フローチャートである。図６は本発明の一実施形態を示す制御のフローチャートである。図７は一実施形態を示す制御のフローチャート。図８は一実施形態を示す制御のフローチャートである。図９は制御装置の内容を示す説明図である。図１０の（ａ）は右下方へ向けて移動した物体の現画像と前画像を示す図、（ｂ）は前画像の明暗を各画素毎に示す図、（ｃ）は現画像の明暗を各画素毎に示す図である。図１１は画像の境界に対応する画素における明暗の変化を示す差分画像を表わした図である。図１２は一実施形態を示す電気回路ブロック図、図１３は他実施形態を示す電気回路ブロック図である。
【０００９】
図１は本発明の一実施形態の概略を示すものであって、浴室１の内部には浴槽２及び洗場３を設けてある。４は浴室１への出入口である。５は人体検出装置であり、その詳細については後述するが、浴室１の内壁面上部に取り付けてある。具体的には、浴槽２の長手方向に接する浴室壁面と対向する浴室壁面の上部位置に取り付けてある。温水機器４０には、該温水機器４０を遠隔位置から操作する浴室に設置した風呂リモコン６０及び台所に設置した台所リモコン７０を接続してある。
そして人体検出装置５は、本実施形態では浴室１の壁面に取り付けているが、この例に限ることなく、浴室１の天井面に取り付けても良い。
人体検出装置５は、人工網膜チップを組み込んだ撮像装置を有し、浴室１における人体の動きを撮像して画像処理する人体検出センサ５１と、赤外線による熱検知により人体を検知する赤外線センサ５２とから構成している。
この人体検出装置５の設置は浴室に限られず、トイレ、洗面所等密閉空間であってもよい。
【００１０】
浴室１には温水機器４０を遠隔操作する風呂リモコン６０を設置し、また台所には温水機器４０を遠隔操作する台所リモコン７０を設置している。
ここに、温水機器４０とは、浴槽に給湯等水を加熱するための機器であり、具体的には給湯器付風呂釜、給湯器付暖房機、温水暖房機、給湯器等により構成されている。
温水機器にはガスを燃料とするもののみならず石油を燃料とするものでもよい。
温水機器４０と、リモコン６０、７０と、人体検出センサ５１との接続については、図１のものにおいては、まず温水機器４０と台所リモコン７０とがケーブル４１により接続され、次に台所リモコン７０と風呂リモコン６０とがケーブル４１で接続され、さらに風呂リモコン６０と人体検出センサ５１とがケーブル４１で接続されている。
そして、給湯器等を制御する前記リモコン６０、７０には、浴室１に入浴者がいることを知らせる液晶表示パネル等の表示部を有しており、人体検出装置５が入浴者を検知して、検知信号を出力すると、表示部が点灯等表示するようにしてもよい。
表示部は上記のものに限られず、入浴者の動きが一定時間無かった場合、浴槽で寝ているかまたは倒れたと推測し、まず風呂リモコン６０で警報音あるいは音声により注意を喚起し、浴室側から応答が所定時間内にない場合には、台所リモコン７０において警報音あるいは音声により家族等他者に警報報知するようにしておけばよい。
また、人体検出装置をトイレに設置する場合には、温水便座を遠隔操作するリモコン等に報知手段を設けておけばよい。
さらに、人体検出装置を洗面所に設置する場合には、洗面所の給湯カランの湯温等を遠隔操作する機器あるいは洗面所の暖房機のリモコン等に報知手段を設けておけばよい。
【００１１】
そして、温水機器４０の内部には熱交換器及びバーナが内蔵されており、制御のための各種センサを設けてある。
また、温水機器４０から浴槽２に対して給湯落しこみ管４６が接続配管されている。また、人体検出装置５を作動させるための電源は、温水機器４０の電源プラグ４７から導入され、温水機器４０のコントローラ４２部の図示しないトランスを介して降圧され低電圧化されて供給される。
【００１２】
図２は人工網膜チップを利用した人体検出センサ５１と、赤外線センサ５２とからなる人体検出装置５の具体構成を示したものである。
人体検出センサ５１は監視領域を撮像する撮像装置６と、撮像装置６を制御すると共に処理情報を判定等する制御装置７とから構成されている。
また、制御装置７と外部のリモコン６０、７０とは例えば後述する通信ＩＣ等の通信部５３により送受信するようにしてある。
そして、人体検出センサ５１の他に赤外線センサ５２を同一のケース体内に設け、その制御装置７を共用し、浴室１が暗い場合の監視の相互補填を行なうようにしてある。
【００１３】
前記撮像装置６の撮像部８は、縦１２８×横１２８画素からなる画像検出部９、結像レンズ１０、スキャナ１１、マルチプレクサ１２及びスキャナ駆動制御部１３から構成されている。画像検出部９の画素はそれぞれモノクロ２５６階調「レベル０（黒）〜２５５（白）の２５６階調」で表現される。
【００１４】
そして、撮像部８においては、浴室内の画像は、結像レンズ１０によって画像検出部９に結像される。スキャナ１１は、スキャナ駆動制御部１３によって駆動制御されており、スキャナ駆動制御部１３は画像検出部９の各画素列を順次一定周期毎に受光状態（オン状態）となるように制御している。
受光状態となった１列の各画素から同時に出力された光電流は、マルチプレクサ１２によって複数の電気信号は１つの電気信号にまとめられ、増幅器１４で増幅された後、アナログ電圧として出力される。アナログデータからデジタルデータへの変換は制御装置７により行うようにしてある。
【００１５】
また、画像検出部９の各画素は、図３に示すように画素コア回路１７によって構成されている。画素コア回路１７は受光素子１８、電荷蓄積回路１９、感度可変回路２０から構成されており、感度可変端子２１及びリセット端子２２がスキャナ１１に接続され、光電流出力端子２３がマルチプレクサ１２に接続されている。
【００１６】
図２においてゲイン調整部１６は、画像出力部１５における画像平均値（画像の明るさ）をチェックし、画像平均値が適切な範囲から外れていれば、増幅器１４によって撮像装置６のゲインを調整すると共にスキャナ駆動制御部１３によって画像検出部９の蓄積時間を調整し、適正な明るさの画像が得られるように調光する。
【００１７】
人工網膜チップを用いた撮像装置６では、画像の階調平均値は、画像検出部９を構成する全画素における階調（０階調（黒）〜２５５階調（白）の２５６階調）の平均値であり、０〜２５５の値で表わさせる。
この画像平均値は増幅器１４のゲインと画像検出部９の画像蓄積時間によって決定される。
ここで、ゲインはカメラの絞りに相当し、画像蓄積時間はカメラのシャッタースピードに相当する。従って、撮像装置６の適正な画像階調平均値を得ようとすれば、適当なゲインに固定しておき、画像蓄積時間を調整すればよい。あるいは、適当な画像蓄積時間を固定しておき、ゲインを調整するようにすればよい。
【００１８】
そして、図２において少なくとも撮像をおこなう画像検出部９とスキャナ１１とスキャナ駆動部１３とゲイン調整部１６とは１チップで構成されている。このチップは人工網膜チップと称される。
また、このチップの裏面位置には、制御装置７を設けてあり、この制御装置７はマイクロコンピュータからなり、この内部には人体検出センサ５１による検知処理を行なう検知領域を複数の領域に分割する領域分割手段２４等をソフトウエアとして組み込んである。
【００１９】
具体的には、図４に示すように、制御装置７に入力された画像情報を処理するためのポイントテーブル２５を複数域に分割するものである。
すなわち人体検出センサ５１による検出可能な撮像能力範囲（ポイントテーブル２５全体に相当）を、まず画像処理の必要な検知領域２６と、画像処理を行なわない非検知領域２７とに区画している。
すなわち、撮像能力範囲のすべてを検知領域とはしていない。
これにより検出処理可能な検出処理領域のうちの一部を、実際に検知し処理するセンサ検知領域として使用することで画像の処理範囲を限定して、画像処理の速度を早めている。
【００２０】
さらに前記の検知領域２６を、図４のように、入口領域２９と洗場領域３０と浴槽領域３１との３つの領域に分割するようにしてある。検知領域２６の分割については、この例に限られることなく、入口領域２９と該入口領域２９以外の領域の２つに分割してもよい。例えば、洗場領域３０及び浴槽領域３１を合わせて１つの領域に設定しても差しつかえない。ここに入口領域とは、浴室の場合には浴室内であって浴室への出入口ドアの近傍に位置する領域をいう。洗場領域とは、主として頭や体を洗う床部の領域をいい、また、浴槽領域とは浴槽が位置している領域をさす。このように分割された領域毎に、順次画像情報が制御装置に入力されて、領域毎および分割したエリア全体について検出、演算等の処理がなされるのである。
【００２１】
そして、人体検出センサ５１を構成する結像レンズ１０と撮像装置６と制御装置７とは、前記赤外線センサ５２と共に１つのケースに納められ、人体センサセットとして壁面等に取り付けられる。取り付け位置は浴室への出入口４を含め、浴室１全体を監視領域として視野角内におさめるようにすれば良い。
【００２２】
そして、撮像装置６の検出出力と赤外線センサ５２の検知出力はそれぞれ判定手段３２へ入力される。判定手段３２は撮像装置６からの出力と赤外線センサからの出力に基づき、浴室における入浴者の有無や入浴者の動きなどを総合的に判断するようになっている。
【００２３】
人工網膜により検出した画像は次のように画像処理される。
画像を制御、処理する制御装置７は、画像検出部９を構成する全画素から画像情報を所定時間毎に受信し、所定時間毎に画像情報を受け取ると、該画像情報を処理し、判定手段３２により入浴者の動きを判定するのである。
【００２４】
次に、撮像装置６でとらえた画像から人の動きを抽出するための画像処理方法を説明する。
マイクロコンピュータで構成される制御装置７は、所定時間毎に画像情報を受け取ると、当該画像情報から入浴者の動きを所定の解析アルゴリズムに従って解析し、入浴者の動きを監視する。
【００２５】
具体的には、いま図１０（ａ）のように正方形の物体の画像（明画像）Ｐが位置Ｐ１から位置Ｐ２へ移動したとする。このとき、明るい画素を記号Ｂ、暗い画素を記号Ｄで表わせば、前画像は図１０（ｂ）で表わされ、現画像は図１０（ｃ）で表わされる。この前後の画像は、画像記憶手段により一旦記憶される。撮像された画像は順次更新され常に最新の両画像が記憶されるようになっている。そして制御装置７に設けた動き量を演算する手段により、分割された領域毎に前記２枚の画像が比較されて、各領域の各画素（ｘ、ｙ）毎に、前画像ｐの受光量Ｐp（ｘ、ｙ）と現画像ｎの受光量Ｐn（ｘ、ｙ）との差分（動き量）
Ｄ（ｘ、ｙ）＝Ｐn（ｘ、ｙ）−Ｐp（ｘ、ｙ）
が演算され、演算結果は図１１のような差分画像として得ることができる。
【００２６】
図１１の差分画像においては、差分Ｄ（ｘ、ｙ）が正の画素は＋記号で表わし、負の画素は−記号で表わし、Ｄ（ｘ、ｙ）がゼロの画素は０記号で表わしている。このような差分の総和を捉えることで、動きがあるか否かを領域毎に判定することができ、この判定は制御装置７に設けた動き有無判定手段にて行われる。動き量が生じていなければ動き無しと判定され、動き量が生じていれば動き有りと判定される。
【００２７】
そして、マイクロコンピュータからなる制御装置７には図９に示すように、各種の演算、制御手段がプログラムされている。エリア全域平均値演算手段８０は、前述した検知領域２６全域の画像の階調平均値を演算するものである。具体的には、その領域の階調の平均値であり、検知領域における撮像データを加算したものを、検知領域の画素数で割ったものであり、０〜２５５の値で表わされる。また、調光手段８１は画像の平均値を参照して最適なゲインを確定し、このゲインにおいて画像平均値が所望の値となるように画像蓄積時間を調整するものである。
【００２８】
例えば、対象物やその環境に急激な明るさの変化があった場合（浴室内で入浴者を監視している場合に、太陽が急に雲に隠れて急激な光量変化があった場合）に、最適な画像階調平均値となるように蓄積時間を自動調整し、また、より大きな光量変化が生じた場合には、それに応じて撮像装置のゲインを変化させ、ゲインの変化に応じて最適な蓄積時間となるように調整している。そして、常に、最適な画像平均値となるように自動調光することにより、安定した撮像動作や検出動作を行わせることができる。
【００２９】
本実施形態においては、画像平均値のみならず、前回画像の階調平均値と今回画像の階調平均値との差分を算出し、この算出値を一定の基準値と比較して、自動調光に入るか否かを判定させている。すなわち、制御装置７には、差分演算手段８２を設け、エリア全域平均値演算手段８０による前回画像の階調平均値と、今回画像の階調平均値との差を算出させている。また、比較判定手段８３により、算出した値が一定値以上か否かを判定するようにしてある。そして、比較判定手段８３による判定が一定値以上のとき前記調光手段８１を自動的に制御する自動調光制御手段８４を設けている。
【００３０】
この自動調光制御のフローを図６について説明する。
図６においてまず、撮像装置６により所定時間間隔で検知領域の画像を制御装置７に取り込む（ステップＳ１１）。次に、エリア全域平均値演算手段８０により前回画像の階調平均値を演算する（ステップＳ１２）。さらに、エリア全域平均値演算手段８０により今回画像の階調平均値を演算する（ステップＳ１３）。この後、差分演算手段８２により前回と今回の画像階調平均値の差を算出し（ステップＳ１４）、この平均値の差が一定値以上か否かを比較判定手段８３によって判定する（ステップＳ１５）。照明による階調変化の場合は、浴室全域が大きく光量変化するので、これに見合うように基準となる一定値を設定しておけば、この一定値を超えた場合は照明による階調変化であることを判断できる。この場合には自動調光制御を行うようにすればよい（ステップＳ１６）。
【００３１】
また、比較判定手段８３により一定値未満であると判定された場合は（ステップＳ１５でノーの場合）、調光制御を行なわないようにしている（ステップＳ１７）。これにより、人体の移動による階調変化の場合には、調光制御されないので、調光途中における動き量の演算が阻害されず、継続して人の動きの検出が行われることとなり、動きの検出が安定することとなる。つまり、画像階調の平均値演算と動き量の演算とは、同じ撮像装置を使用して演算しているので、いずれか一方しか演算できないためである。
【００３２】
次に、浴室１に人が入室したか否か等の判別について説明する。
図５において、人が浴室１に入り始めると、まず待機状態にある赤外線センサ５２が人体を検知してオンとなる（ステップＳ１）と共にタイマセットされ（ステップＳ２）、人体検出センサ５１が一定時間内に洗場において人を検知すると（ステップＳ３）、入室したものと判断する（ステップＳ４）。
【００３３】
この入室判定において、人体検出センサ５１による人体検知には撮像及び動き量の演算等に時間を要すること、あるいは浴室１が暗い場合には監視感度が鈍いことから、赤外線センサ５２を併用し、赤外線センサ５２が検出した後、人体検出センサ５１が共に人を検出することで、人体検出センサ５１の弱点を補い、入室の確実を期しているものである。
【００３４】
また、浴室１からの退出時においても、赤外線センサ５２がオフとなった場合（ステップＳ５においてノーの場合）で、かつ、人体検出センサ５１が動き量を検知しない場合（ステップＳ６においてノーの場合）に、浴室１から退出したものと判断させている（ステップＳ７）。
赤外線センサ５２のみでは入口部に立ち止まったままであるとオフとなり、退出したものと誤って判断することが有り得るので、両センサの人体非検出により退出判定して、この赤外線センサ５２の弱点を他のセンサを使用することで補完している。
【００３５】
そして、人体検出センサ５１が洗場３において人を検知しなかった場合（ステップＳ３でノーの場合）でも、浴槽２において人を検知すると（ステップＳ８）、所定時間内に赤外線センサ５２及び人体検出センサ５１が共に人を検知している場合には（ステップＳ９、Ｓ１０）、入室しているものと判断することとしている（ステップＳ４）。
【００３６】
次に、前述した自動調光後における蓄積時間微調整処理の制御を行うか否かの判定について説明する。
ここに蓄積時間微調整処理とは、実際の最適な画像平均値と自動調光により得た画像平均値との間には誤差が生じる場合があるので、これを解消するために、画像平均値が所望の値よりも小さい場合には画像蓄積時間を所定割合増加させ、画像平均値が所望の値よりも大きい場合には画像蓄積時間を所定割合減少させるようにする制御である。
【００３７】
すなわち、調光後において調光収束範囲に入っていない場合に、調光の制御目標値に収束させる制御である。この微調整を行うことにより高い精度で画像平均値を適正値に一致させることができるものである。本発明はこの蓄積時間微調整処理制御を人の移動による階調変化の場合には行わせないようにしたものである。
【００３８】
図１２において、蓄積時間微調整処理制御手段８５は、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる制御手段である。入口領域平均値演算手段８６は、入口領域２９における画像の階調平均値を演算するものである。洗場領域平均値演算手段８７は、洗場領域３０における画像の階調平均値を演算するものである。また浴槽領域平均値演算手段８８は、浴槽領域３１における画像の階調平均値を演算するものである。このように分割された各領域の画像階調平均値を演算させている。そして、差分演算手段８９は、各領域の平均値演算手段８６、８７、８８によるそれぞれの前回画像の階調平均値と、今回画像の階調平均値との差を算出するようになっている。
【００３９】
比較判定手段９０は、算出されたそれぞれの階調平均値の差が一定値以上か否かを判定するようにしてある。そして、算出値が一定値以上のとき前記蓄積時間微調整処理制御手段８５の制御を阻止する制御阻止手段９１を設けている。
【００４０】
この蓄積時間微調整処理制御手段８５の制御を阻止するフローを図７について説明する。
図７において、前記した自動調光が収束した後（ステップＳ１８）、調光収束範囲に入っていない場合には（ステップＳ１９でイエスの場合）、入口領域平均値演算手段８６により入口領域の前回画像の階調平均値を演算する。次に洗場領域平均値演算手段８７により洗場領域の前回画像の階調平均値を演算する。さらに、浴槽領域平均値演算手段８８により浴槽領域の前回画像の階調平均値を演算する。このように各領域毎に前回画像の階調平均値を演算する（ステップ２０）。
【００４１】
次に、入口領域平均値演算手段８６により入口領域の今回画像の階調平均値を演算する。次に洗場領域平均値演算手段８７により洗場領域の今回画像の階調平均値を演算する。さらに、浴槽領域平均値演算手段８８により浴槽領域の今回画像の階調平均値を演算する。このように各領域毎に今回画像の階調平均値を演算する（ステップＳ２１）。この後、差分演算手段８９によりそれぞれの領域毎に前回と今回の画像階調平均値の差を算出し（ステップＳ２２）、算出した値を比較判定手段９０によって一定値以上か否かを判定する（ステップＳ２３）。
【００４２】
人の移動による階調変化の場合は、分割された特定の領域が大きく光量変化する。例えば入室した場合は入口領域２９が人の移動により大きく階調が変化する。従ってこの変化に見合うように一定値を設定しておけば、この一定値を超えた場合は人の移動による階調変化であると判断できる。この場合には蓄積時間微調整処理の制御を阻止して取り止めるようにしている（ステップＳ２４）。これにより、人体の移動による階調変化の場合には、微調整制御されないので、微調整処理途中における動き量の演算が阻害されず、継続して人の動きの検出が行われることとなり、動きの検出が安定することとなる。また、比較判定手段９０により一定値未満であると判定された場合は（ステップＳ２３でノーの場合）、蓄積時間微調整処理の制御を行なうようにしている（ステップＳ２５）。照明機器の光量の変化の場合には、検知領域全域で階調変化するので、特定領域のみが大きく変化することがないからである。
【００４３】
本案の実施に際しては、図７のフローと前述した図６のフローとを併せて、調光制御することを推奨する。これにより、検知領域全域と各領域との双方の階調データを使用して判定することで、不必要な制御をすることなく、さらに安定した人体の動きの検出を行うことができる。
【００４４】
また、図１３は他実施形態を示すものであり、図１２との違いは監視領域を所定時間間隔で撮像する撮像装置６のみならず赤外線センサ５２を活用して、赤外線センサ５２により人体を検出したとき蓄積時間微調整処理制御手段８５の制御を阻止する制御阻止手段９１を設けたものである。
【００４５】
これにより、図８に示すように、自動調光が収束した後（ステップＳ１８）、調光収束範囲に入っていない場合には（ステップＳ１９でイエスの場合）、赤外線センサ５２がオンしたか否かで場合分けすることとしている（ステップＳ２６）。
人の移動による場合（例えば浴室に入室した場合）は、赤外線センサ５２が人体を感知してオンするので、この場合には蓄積時間微調整処理の制御を阻止して取り止めるようにしている（ステップＳ２４）。これにより、人体の移動による場合には、微調整制御されないので、微調整処理途中における動き量の演算が阻害されず、継続して人の動きの検出が行われることとなり、動きの検出が安定することとなる。また、赤外線センサが検出しない場合は（ステップＳ２６でノーの場合）、蓄積時間微調整処理の制御を行なうようにしている（ステップＳ２５）。
【００４６】
次に、前述したように入室判断がされると、人体停止の検出フローに入り、撮像装置６によって前述したように所定時間間隔で監視領域を撮像して、前画像と現画像とを一旦制御装置７に記憶させる。次に、制御装置７にプログラムされた動き量演算手段により、各領域毎の各画素毎に、前画像の受光量と現画像の受光量との差分（動き量）を演算する。
そして、これらの情報は制御装置７の判定手段３２に送られ、人体の動き停止の判定がなされるのである。
【００４７】
なお、上述した実施形態は本発明の好適な実施形態を示すものであって、本発明はこれに限定されることなく、その範囲内で各種設計変更可能である。
例えば、本実施形態ではシステムバスルームについて説明したが、この例に限られることなくこれ以外の既存の浴室にも設置できるものである。さらに、浴室以外にトイレ、洗面所等においても用いることができるものである。
【００４８】
【発明の効果】
以上のように本発明は、人が浴室に入っても人体検出装置の蓄積時間微調整処理手段が作動してしまうことがなくなり、不必要な蓄積時間微調整処理を行うことはなくなった。さらに本発明は、検知領域全域と各領域との双方の階調データを使用して判定することで、不必要な制御をすることなく、安定した人体の動きの検出を行うことができる。
【図面の簡単な説明】
【図１】図１は本発明の一実施形態を示す全体構成図である。
【図２】図２は本発明の一実施形態を示す電気回路のブロック図である。
【図３】図３は人体検出センサの画像検出部の１画素を構成する画像コア回路の構成を示す回路図である。
【図４】図４はセンサの撮像範囲と検知範囲及び検知領域との関係を示す説明図である。
【図５】図５は本発明の一実施形態を示すフローチャートである。
【図６】図６は本発明の制御フローを示すフローチャートである。
【図７】図７は本発明の制御フローを示すフローチャートである。
【図８】図８は本発明の制御フローを示すフローチャートである。
【図９】図９は制御装置の概要を示す電気ブロック図である。
【図１０】図１０の（ａ）は右下方へ向けて移動した物体の現画像と前画像を示す図、（ｂ）は前画像の明暗を各画素毎に示す図、（ｃ）は現画像の明暗を各画素毎に示す図である。
【図１１】図１１は画像の境界に対応する画素における明暗の変化を示す差分画像を表わした図である。
【図１２】図１２は一実施形態を示す電気ブロック図である。
【図１３】図１３は他実施形態を示す電気ブロック図である。
【符号の説明】
１ 浴室
２ 浴槽
３ 洗場
４ 出入口
５ 人体センサ
６ 撮像装置
７ 制御装置
９ 画像検出部
１５ 画像出力部
１７ 画像コア回路
２４ 領域分割手段
２６ 検知領域
２９ 入口領域
３０ 洗場領域
３１ 浴槽領域
３２ 判定手段
４０ 温水機器
４１ ケーブル
４２ コントローラ
４７ 電源プラグ
５１ 人体検出センサ
５２ 赤外線センサ
６０ 風呂リモコン
７０ 台所リモコン
８０ エリア全域平均値演算手段
８１ 調光手段
８２ 差分演算手段
８３ 比較判定手段
８４ 自動調光制御
８５ 蓄積時間微調整処理制御手段
８９ 差分演算手段
９０ 比較判定手段
９１ 制御阻止手段
【発明の属する技術分野】
本発明は、撮像装置を有し、人体の動きを検出し異常が生じた場合には、遠隔場所に居る他者に警報を発する人体検出装置に関するものである。
【０００２】
【従来の技術】
従来、例えば特願平１１―２４６５５７に示されるように、撮像対象物や撮像環境の明るさの変化による人体検出の誤検知を防止するため、撮像画像の画像平均値を演算し、この画像平均値を参照して最適なゲインを確定し、このゲインにおいて画像平均値が所望の値となるように撮像素子の画像蓄積時間を調整する調光手段を備えた自動調光装置が知られている。また、画像平均値を微調整するために蓄積時間微調整の処理を行っている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような自動調光装置を有する人体検出装置においては、浴室の照明機器を点灯し、自動調光装置による調光を行い、光量を調節した後に、人が浴室に入ると撮像した画像の階調が変化してこの変化を人体検出装置の自動調光機能が感知してしまうため、浴室内の光量が変化していないにもかかわらず、自動調光装置が作動して不必要な調光を行うという問題があった。そして、調光が始まると、調光が行われている時間中は、人体の動きを演算する制御には移行しないため、人体の動き検出を行うことができず、検出が不安定となる等の難点を有していた。また、自動調光が行われ自動調光が収束した後に、画像平均値を微調整するために蓄積時間微調整処理の制御を行っているが、人が浴室に入ると撮像した画像の階調が変化してこの変化を感知して蓄積時間微調整処理手段が作動してしまうため、浴室内の光量が変化していないにもかかわらず、蓄積時間微調整処理手段が作動して不必要な微調整を行うという問題があった。そして、微調整が始まると、微調整が行われている時間中は、人体の動きを演算する制御には移行しないため、人体の動き検出を行うことができず、前記と同様に検出が不安定となる等の難点を有していた。
【０００４】
そこで、本発明は上記問題点に鑑み、安定した人体の動きの検出を行うことができる人体検出装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明の人体検出装置は、監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段とからなるものであって、分割した各領域毎の画像階調の変化を捉えて前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段を設けたことを第１の特徴としている。この第１の特徴によれば、分割した各領域毎の画像階調の変化を捉えることで、人の移動による画像階調の変化による場合は領域毎に大きく階調変化するので、この各領域毎の画像階調の変化を捉えることにより、光量の変化であるか、あるいは人の入室による移動であるかの判別を確実に行うことができる。すなわち、人の移動による変化の場合は、領域毎に与える画像階調の変化の寄与度合いは照明による変化に比べ相対的に大きいので、この人の移動による変化の場合は制御対象から除外して、蓄積時間微調整処理制御手段の制御を阻止するようにしている。また、照明による変化の場合は、各領域に与える画像階調の変化の寄与度合いは人の移動による変化に比べ相対的に小さいので、この照明による変化の場合は制御対象として、蓄積時間微調整処理制御手段を制御させるようにしている。これにより、人が浴室に入っても人体検出装置の蓄積時間微調整処理手段が作動してしまうことがなくなり、不必要な蓄積時間微調整処理を行うことはなくなった。また、本発明の人体検出装置は、監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段と、赤外線により人体を検出する赤外線センサとからなるものにおいて、調光後調光収束範囲外の場合であって、赤外線センサにより人体を検出したとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段を設けたことを第２の特徴としている。この第２の特徴によれば、調光後調光収束範囲外の場合であって赤外線センサにより人体を検出したときには、蓄積時間微調整処理制御手段の制御を阻止するようにし、赤外線センサによる人の移動を検出して、この人の移動による変化の場合は制御対象から除外して、蓄積時間微調整処理制御手段の制御を阻止するようにしている。これにより、人が浴室に入っても人体検出装置の蓄積時間微調整処理手段が作動してしまうことがなくなり、不必要な蓄積時間微調整処理を行うことはなくなった。
【０００７】
また、本発明の人体検出装置は、監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段とからなるものであって、分割された各領域毎の階調平均値を演算する平均値演算手段と、該平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により 算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段とを設けたことを第３の特徴としている。この第３の特徴によれば、上記の特徴に加え、前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段により光量の変化を演算することで、実際に撮像した事実に基づいて判定でき、後刻の蓄積時間微調整処理の制御を確実に行うことができる。また、一定値以上か否かを判定する比較判定手段により、照明による画像階調の変化か、あるいは人の移動による画像階調の変化かを峻別することが可能となる。また、本発明の人体検出装置は、監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、前記検知領域全域の階調平均値を演算するエリア全域平均値演算手段と、該エリア全域平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記調光手段を自動的に制御する自動調光制御手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段と、分割された各領域毎の階調平均値を演算する平均値演算手段と、該平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段とを設けたことを第４の特徴としている。この第４の特徴によれば、上記の特徴に加え、自動調光制御は検知領域全域の階調平均値を用いて演算し、さらに蓄積時間微調整処理制御は分割された各領域毎の階調平均値を用いて演算している。即ち、照明等光量の変化による場合は検知領域全体が大きく階調変化するので、この検知領域全体の画像階調の変化を捉えることにより、光量の変化であるか、あるいは人の入室による移動であるかの判別が行いやすく、さらに、人の移動による画像階調の変化による場合は各領域毎に大きく階調変化するので、この各領域毎の画像階調の変化を捉えることにより、光量の変化であるか、あるいは人の入室による移動であるかの判別を確実に行うことができる。換言すれば、検知領域全域と各領域との双方の階調データを使用して判定することで、不必要な制御をすることなく、さらに安定した人体の動きの検出を行うことができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は本発明の一実施形態を示す全体構成図である。図２は本発明の一実施形態を示す電気回路のブロック図である。図３は人体検出センサの画像検出部の１画素を構成する画像コア回路の構成を示す回路図である。図４はセンサの撮像範囲と検知範囲及び検知領域との関係を示す説明図である。図５は本発明の一実施形態を示す制御フローチャートである。図６は本発明の一実施形態を示す制御のフローチャートである。図７は一実施形態を示す制御のフローチャート。図８は一実施形態を示す制御のフローチャートである。図９は制御装置の内容を示す説明図である。図１０の（ａ）は右下方へ向けて移動した物体の現画像と前画像を示す図、（ｂ）は前画像の明暗を各画素毎に示す図、（ｃ）は現画像の明暗を各画素毎に示す図である。図１１は画像の境界に対応する画素における明暗の変化を示す差分画像を表わした図である。図１２は一実施形態を示す電気回路ブロック図、図１３は他実施形態を示す電気回路ブロック図である。
【０００９】
図１は本発明の一実施形態の概略を示すものであって、浴室１の内部には浴槽２及び洗場３を設けてある。４は浴室１への出入口である。５は人体検出装置であり、その詳細については後述するが、浴室１の内壁面上部に取り付けてある。具体的には、浴槽２の長手方向に接する浴室壁面と対向する浴室壁面の上部位置に取り付けてある。温水機器４０には、該温水機器４０を遠隔位置から操作する浴室に設置した風呂リモコン６０及び台所に設置した台所リモコン７０を接続してある。
そして人体検出装置５は、本実施形態では浴室１の壁面に取り付けているが、この例に限ることなく、浴室１の天井面に取り付けても良い。
人体検出装置５は、人工網膜チップを組み込んだ撮像装置を有し、浴室１における人体の動きを撮像して画像処理する人体検出センサ５１と、赤外線による熱検知により人体を検知する赤外線センサ５２とから構成している。
この人体検出装置５の設置は浴室に限られず、トイレ、洗面所等密閉空間であってもよい。
【００１０】
浴室１には温水機器４０を遠隔操作する風呂リモコン６０を設置し、また台所には温水機器４０を遠隔操作する台所リモコン７０を設置している。
ここに、温水機器４０とは、浴槽に給湯等水を加熱するための機器であり、具体的には給湯器付風呂釜、給湯器付暖房機、温水暖房機、給湯器等により構成されている。
温水機器にはガスを燃料とするもののみならず石油を燃料とするものでもよい。
温水機器４０と、リモコン６０、７０と、人体検出センサ５１との接続については、図１のものにおいては、まず温水機器４０と台所リモコン７０とがケーブル４１により接続され、次に台所リモコン７０と風呂リモコン６０とがケーブル４１で接続され、さらに風呂リモコン６０と人体検出センサ５１とがケーブル４１で接続されている。
そして、給湯器等を制御する前記リモコン６０、７０には、浴室１に入浴者がいることを知らせる液晶表示パネル等の表示部を有しており、人体検出装置５が入浴者を検知して、検知信号を出力すると、表示部が点灯等表示するようにしてもよい。
表示部は上記のものに限られず、入浴者の動きが一定時間無かった場合、浴槽で寝ているかまたは倒れたと推測し、まず風呂リモコン６０で警報音あるいは音声により注意を喚起し、浴室側から応答が所定時間内にない場合には、台所リモコン７０において警報音あるいは音声により家族等他者に警報報知するようにしておけばよい。
また、人体検出装置をトイレに設置する場合には、温水便座を遠隔操作するリモコン等に報知手段を設けておけばよい。
さらに、人体検出装置を洗面所に設置する場合には、洗面所の給湯カランの湯温等を遠隔操作する機器あるいは洗面所の暖房機のリモコン等に報知手段を設けておけばよい。
【００１１】
そして、温水機器４０の内部には熱交換器及びバーナが内蔵されており、制御のための各種センサを設けてある。
また、温水機器４０から浴槽２に対して給湯落しこみ管４６が接続配管されている。また、人体検出装置５を作動させるための電源は、温水機器４０の電源プラグ４７から導入され、温水機器４０のコントローラ４２部の図示しないトランスを介して降圧され低電圧化されて供給される。
【００１２】
図２は人工網膜チップを利用した人体検出センサ５１と、赤外線センサ５２とからなる人体検出装置５の具体構成を示したものである。
人体検出センサ５１は監視領域を撮像する撮像装置６と、撮像装置６を制御すると共に処理情報を判定等する制御装置７とから構成されている。
また、制御装置７と外部のリモコン６０、７０とは例えば後述する通信ＩＣ等の通信部５３により送受信するようにしてある。
そして、人体検出センサ５１の他に赤外線センサ５２を同一のケース体内に設け、その制御装置７を共用し、浴室１が暗い場合の監視の相互補填を行なうようにしてある。
【００１３】
前記撮像装置６の撮像部８は、縦１２８×横１２８画素からなる画像検出部９、結像レンズ１０、スキャナ１１、マルチプレクサ１２及びスキャナ駆動制御部１３から構成されている。画像検出部９の画素はそれぞれモノクロ２５６階調「レベル０（黒）〜２５５（白）の２５６階調」で表現される。
【００１４】
そして、撮像部８においては、浴室内の画像は、結像レンズ１０によって画像検出部９に結像される。スキャナ１１は、スキャナ駆動制御部１３によって駆動制御されており、スキャナ駆動制御部１３は画像検出部９の各画素列を順次一定周期毎に受光状態（オン状態）となるように制御している。
受光状態となった１列の各画素から同時に出力された光電流は、マルチプレクサ１２によって複数の電気信号は１つの電気信号にまとめられ、増幅器１４で増幅された後、アナログ電圧として出力される。アナログデータからデジタルデータへの変換は制御装置７により行うようにしてある。
【００１５】
また、画像検出部９の各画素は、図３に示すように画素コア回路１７によって構成されている。画素コア回路１７は受光素子１８、電荷蓄積回路１９、感度可変回路２０から構成されており、感度可変端子２１及びリセット端子２２がスキャナ１１に接続され、光電流出力端子２３がマルチプレクサ１２に接続されている。
【００１６】
図２においてゲイン調整部１６は、画像出力部１５における画像平均値（画像の明るさ）をチェックし、画像平均値が適切な範囲から外れていれば、増幅器１４によって撮像装置６のゲインを調整すると共にスキャナ駆動制御部１３によって画像検出部９の蓄積時間を調整し、適正な明るさの画像が得られるように調光する。
【００１７】
人工網膜チップを用いた撮像装置６では、画像の階調平均値は、画像検出部９を構成する全画素における階調（０階調（黒）〜２５５階調（白）の２５６階調）の平均値であり、０〜２５５の値で表わさせる。
この画像平均値は増幅器１４のゲインと画像検出部９の画像蓄積時間によって決定される。
ここで、ゲインはカメラの絞りに相当し、画像蓄積時間はカメラのシャッタースピードに相当する。従って、撮像装置６の適正な画像階調平均値を得ようとすれば、適当なゲインに固定しておき、画像蓄積時間を調整すればよい。あるいは、適当な画像蓄積時間を固定しておき、ゲインを調整するようにすればよい。
【００１８】
そして、図２において少なくとも撮像をおこなう画像検出部９とスキャナ１１とスキャナ駆動部１３とゲイン調整部１６とは１チップで構成されている。このチップは人工網膜チップと称される。
また、このチップの裏面位置には、制御装置７を設けてあり、この制御装置７はマイクロコンピュータからなり、この内部には人体検出センサ５１による検知処理を行なう検知領域を複数の領域に分割する領域分割手段２４等をソフトウエアとして組み込んである。
【００１９】
具体的には、図４に示すように、制御装置７に入力された画像情報を処理するためのポイントテーブル２５を複数域に分割するものである。
すなわち人体検出センサ５１による検出可能な撮像能力範囲（ポイントテーブル２５全体に相当）を、まず画像処理の必要な検知領域２６と、画像処理を行なわない非検知領域２７とに区画している。
すなわち、撮像能力範囲のすべてを検知領域とはしていない。
これにより検出処理可能な検出処理領域のうちの一部を、実際に検知し処理するセンサ検知領域として使用することで画像の処理範囲を限定して、画像処理の速度を早めている。
【００２０】
さらに前記の検知領域２６を、図４のように、入口領域２９と洗場領域３０と浴槽領域３１との３つの領域に分割するようにしてある。検知領域２６の分割については、この例に限られることなく、入口領域２９と該入口領域２９以外の領域の２つに分割してもよい。例えば、洗場領域３０及び浴槽領域３１を合わせて１つの領域に設定しても差しつかえない。ここに入口領域とは、浴室の場合には浴室内であって浴室への出入口ドアの近傍に位置する領域をいう。洗場領域とは、主として頭や体を洗う床部の領域をいい、また、浴槽領域とは浴槽が位置している領域をさす。このように分割された領域毎に、順次画像情報が制御装置に入力されて、領域毎および分割したエリア全体について検出、演算等の処理がなされるのである。
【００２１】
そして、人体検出センサ５１を構成する結像レンズ１０と撮像装置６と制御装置７とは、前記赤外線センサ５２と共に１つのケースに納められ、人体センサセットとして壁面等に取り付けられる。取り付け位置は浴室への出入口４を含め、浴室１全体を監視領域として視野角内におさめるようにすれば良い。
【００２２】
そして、撮像装置６の検出出力と赤外線センサ５２の検知出力はそれぞれ判定手段３２へ入力される。判定手段３２は撮像装置６からの出力と赤外線センサからの出力に基づき、浴室における入浴者の有無や入浴者の動きなどを総合的に判断するようになっている。
【００２３】
人工網膜により検出した画像は次のように画像処理される。
画像を制御、処理する制御装置７は、画像検出部９を構成する全画素から画像情報を所定時間毎に受信し、所定時間毎に画像情報を受け取ると、該画像情報を処理し、判定手段３２により入浴者の動きを判定するのである。
【００２４】
次に、撮像装置６でとらえた画像から人の動きを抽出するための画像処理方法を説明する。
マイクロコンピュータで構成される制御装置７は、所定時間毎に画像情報を受け取ると、当該画像情報から入浴者の動きを所定の解析アルゴリズムに従って解析し、入浴者の動きを監視する。
【００２５】
具体的には、いま図１０（ａ）のように正方形の物体の画像（明画像）Ｐが位置Ｐ１から位置Ｐ２へ移動したとする。このとき、明るい画素を記号Ｂ、暗い画素を記号Ｄで表わせば、前画像は図１０（ｂ）で表わされ、現画像は図１０（ｃ）で表わされる。この前後の画像は、画像記憶手段により一旦記憶される。撮像された画像は順次更新され常に最新の両画像が記憶されるようになっている。そして制御装置７に設けた動き量を演算する手段により、分割された領域毎に前記２枚の画像が比較されて、各領域の各画素（ｘ、ｙ）毎に、前画像ｐの受光量Ｐp（ｘ、ｙ）と現画像ｎの受光量Ｐn（ｘ、ｙ）との差分（動き量）
Ｄ（ｘ、ｙ）＝Ｐn（ｘ、ｙ）−Ｐp（ｘ、ｙ）
が演算され、演算結果は図１１のような差分画像として得ることができる。
【００２６】
図１１の差分画像においては、差分Ｄ（ｘ、ｙ）が正の画素は＋記号で表わし、負の画素は−記号で表わし、Ｄ（ｘ、ｙ）がゼロの画素は０記号で表わしている。このような差分の総和を捉えることで、動きがあるか否かを領域毎に判定することができ、この判定は制御装置７に設けた動き有無判定手段にて行われる。動き量が生じていなければ動き無しと判定され、動き量が生じていれば動き有りと判定される。
【００２７】
そして、マイクロコンピュータからなる制御装置７には図９に示すように、各種の演算、制御手段がプログラムされている。エリア全域平均値演算手段８０は、前述した検知領域２６全域の画像の階調平均値を演算するものである。具体的には、その領域の階調の平均値であり、検知領域における撮像データを加算したものを、検知領域の画素数で割ったものであり、０〜２５５の値で表わされる。また、調光手段８１は画像の平均値を参照して最適なゲインを確定し、このゲインにおいて画像平均値が所望の値となるように画像蓄積時間を調整するものである。
【００２８】
例えば、対象物やその環境に急激な明るさの変化があった場合（浴室内で入浴者を監視している場合に、太陽が急に雲に隠れて急激な光量変化があった場合）に、最適な画像階調平均値となるように蓄積時間を自動調整し、また、より大きな光量変化が生じた場合には、それに応じて撮像装置のゲインを変化させ、ゲインの変化に応じて最適な蓄積時間となるように調整している。そして、常に、最適な画像平均値となるように自動調光することにより、安定した撮像動作や検出動作を行わせることができる。
【００２９】
本実施形態においては、画像平均値のみならず、前回画像の階調平均値と今回画像の階調平均値との差分を算出し、この算出値を一定の基準値と比較して、自動調光に入るか否かを判定させている。すなわち、制御装置７には、差分演算手段８２を設け、エリア全域平均値演算手段８０による前回画像の階調平均値と、今回画像の階調平均値との差を算出させている。また、比較判定手段８３により、算出した値が一定値以上か否かを判定するようにしてある。そして、比較判定手段８３による判定が一定値以上のとき前記調光手段８１を自動的に制御する自動調光制御手段８４を設けている。
【００３０】
この自動調光制御のフローを図６について説明する。
図６においてまず、撮像装置６により所定時間間隔で検知領域の画像を制御装置７に取り込む（ステップＳ１１）。次に、エリア全域平均値演算手段８０により前回画像の階調平均値を演算する（ステップＳ１２）。さらに、エリア全域平均値演算手段８０により今回画像の階調平均値を演算する（ステップＳ１３）。この後、差分演算手段８２により前回と今回の画像階調平均値の差を算出し（ステップＳ１４）、この平均値の差が一定値以上か否かを比較判定手段８３によって判定する（ステップＳ１５）。照明による階調変化の場合は、浴室全域が大きく光量変化するので、これに見合うように基準となる一定値を設定しておけば、この一定値を超えた場合は照明による階調変化であることを判断できる。この場合には自動調光制御を行うようにすればよい（ステップＳ１６）。
【００３１】
また、比較判定手段８３により一定値未満であると判定された場合は（ステップＳ１５でノーの場合）、調光制御を行なわないようにしている（ステップＳ１７）。これにより、人体の移動による階調変化の場合には、調光制御されないので、調光途中における動き量の演算が阻害されず、継続して人の動きの検出が行われることとなり、動きの検出が安定することとなる。つまり、画像階調の平均値演算と動き量の演算とは、同じ撮像装置を使用して演算しているので、いずれか一方しか演算できないためである。
【００３２】
次に、浴室１に人が入室したか否か等の判別について説明する。
図５において、人が浴室１に入り始めると、まず待機状態にある赤外線センサ５２が人体を検知してオンとなる（ステップＳ１）と共にタイマセットされ（ステップＳ２）、人体検出センサ５１が一定時間内に洗場において人を検知すると（ステップＳ３）、入室したものと判断する（ステップＳ４）。
【００３３】
この入室判定において、人体検出センサ５１による人体検知には撮像及び動き量の演算等に時間を要すること、あるいは浴室１が暗い場合には監視感度が鈍いことから、赤外線センサ５２を併用し、赤外線センサ５２が検出した後、人体検出センサ５１が共に人を検出することで、人体検出センサ５１の弱点を補い、入室の確実を期しているものである。
【００３４】
また、浴室１からの退出時においても、赤外線センサ５２がオフとなった場合（ステップＳ５においてノーの場合）で、かつ、人体検出センサ５１が動き量を検知しない場合（ステップＳ６においてノーの場合）に、浴室１から退出したものと判断させている（ステップＳ７）。
赤外線センサ５２のみでは入口部に立ち止まったままであるとオフとなり、退出したものと誤って判断することが有り得るので、両センサの人体非検出により退出判定して、この赤外線センサ５２の弱点を他のセンサを使用することで補完している。
【００３５】
そして、人体検出センサ５１が洗場３において人を検知しなかった場合（ステップＳ３でノーの場合）でも、浴槽２において人を検知すると（ステップＳ８）、所定時間内に赤外線センサ５２及び人体検出センサ５１が共に人を検知している場合には（ステップＳ９、Ｓ１０）、入室しているものと判断することとしている（ステップＳ４）。
【００３６】
次に、前述した自動調光後における蓄積時間微調整処理の制御を行うか否かの判定について説明する。
ここに蓄積時間微調整処理とは、実際の最適な画像平均値と自動調光により得た画像平均値との間には誤差が生じる場合があるので、これを解消するために、画像平均値が所望の値よりも小さい場合には画像蓄積時間を所定割合増加させ、画像平均値が所望の値よりも大きい場合には画像蓄積時間を所定割合減少させるようにする制御である。
【００３７】
すなわち、調光後において調光収束範囲に入っていない場合に、調光の制御目標値に収束させる制御である。この微調整を行うことにより高い精度で画像平均値を適正値に一致させることができるものである。本発明はこの蓄積時間微調整処理制御を人の移動による階調変化の場合には行わせないようにしたものである。
【００３８】
図１２において、蓄積時間微調整処理制御手段８５は、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる制御手段である。入口領域平均値演算手段８６は、入口領域２９における画像の階調平均値を演算するものである。洗場領域平均値演算手段８７は、洗場領域３０における画像の階調平均値を演算するものである。また浴槽領域平均値演算手段８８は、浴槽領域３１における画像の階調平均値を演算するものである。このように分割された各領域の画像階調平均値を演算させている。そして、差分演算手段８９は、各領域の平均値演算手段８６、８７、８８によるそれぞれの前回画像の階調平均値と、今回画像の階調平均値との差を算出するようになっている。
【００３９】
比較判定手段９０は、算出されたそれぞれの階調平均値の差が一定値以上か否かを判定するようにしてある。そして、算出値が一定値以上のとき前記蓄積時間微調整処理制御手段８５の制御を阻止する制御阻止手段９１を設けている。
【００４０】
この蓄積時間微調整処理制御手段８５の制御を阻止するフローを図７について説明する。
図７において、前記した自動調光が収束した後（ステップＳ１８）、調光収束範囲に入っていない場合には（ステップＳ１９でイエスの場合）、入口領域平均値演算手段８６により入口領域の前回画像の階調平均値を演算する。次に洗場領域平均値演算手段８７により洗場領域の前回画像の階調平均値を演算する。さらに、浴槽領域平均値演算手段８８により浴槽領域の前回画像の階調平均値を演算する。このように各領域毎に前回画像の階調平均値を演算する（ステップ２０）。
【００４１】
次に、入口領域平均値演算手段８６により入口領域の今回画像の階調平均値を演算する。次に洗場領域平均値演算手段８７により洗場領域の今回画像の階調平均値を演算する。さらに、浴槽領域平均値演算手段８８により浴槽領域の今回画像の階調平均値を演算する。このように各領域毎に今回画像の階調平均値を演算する（ステップＳ２１）。この後、差分演算手段８９によりそれぞれの領域毎に前回と今回の画像階調平均値の差を算出し（ステップＳ２２）、算出した値を比較判定手段９０によって一定値以上か否かを判定する（ステップＳ２３）。
【００４２】
人の移動による階調変化の場合は、分割された特定の領域が大きく光量変化する。例えば入室した場合は入口領域２９が人の移動により大きく階調が変化する。従ってこの変化に見合うように一定値を設定しておけば、この一定値を超えた場合は人の移動による階調変化であると判断できる。この場合には蓄積時間微調整処理の制御を阻止して取り止めるようにしている（ステップＳ２４）。これにより、人体の移動による階調変化の場合には、微調整制御されないので、微調整処理途中における動き量の演算が阻害されず、継続して人の動きの検出が行われることとなり、動きの検出が安定することとなる。また、比較判定手段９０により一定値未満であると判定された場合は（ステップＳ２３でノーの場合）、蓄積時間微調整処理の制御を行なうようにしている（ステップＳ２５）。照明機器の光量の変化の場合には、検知領域全域で階調変化するので、特定領域のみが大きく変化することがないからである。
【００４３】
本案の実施に際しては、図７のフローと前述した図６のフローとを併せて、調光制御することを推奨する。これにより、検知領域全域と各領域との双方の階調データを使用して判定することで、不必要な制御をすることなく、さらに安定した人体の動きの検出を行うことができる。
【００４４】
また、図１３は他実施形態を示すものであり、図１２との違いは監視領域を所定時間間隔で撮像する撮像装置６のみならず赤外線センサ５２を活用して、赤外線センサ５２により人体を検出したとき蓄積時間微調整処理制御手段８５の制御を阻止する制御阻止手段９１を設けたものである。
【００４５】
これにより、図８に示すように、自動調光が収束した後（ステップＳ１８）、調光収束範囲に入っていない場合には（ステップＳ１９でイエスの場合）、赤外線センサ５２がオンしたか否かで場合分けすることとしている（ステップＳ２６）。
人の移動による場合（例えば浴室に入室した場合）は、赤外線センサ５２が人体を感知してオンするので、この場合には蓄積時間微調整処理の制御を阻止して取り止めるようにしている（ステップＳ２４）。これにより、人体の移動による場合には、微調整制御されないので、微調整処理途中における動き量の演算が阻害されず、継続して人の動きの検出が行われることとなり、動きの検出が安定することとなる。また、赤外線センサが検出しない場合は（ステップＳ２６でノーの場合）、蓄積時間微調整処理の制御を行なうようにしている（ステップＳ２５）。
【００４６】
次に、前述したように入室判断がされると、人体停止の検出フローに入り、撮像装置６によって前述したように所定時間間隔で監視領域を撮像して、前画像と現画像とを一旦制御装置７に記憶させる。次に、制御装置７にプログラムされた動き量演算手段により、各領域毎の各画素毎に、前画像の受光量と現画像の受光量との差分（動き量）を演算する。
そして、これらの情報は制御装置７の判定手段３２に送られ、人体の動き停止の判定がなされるのである。
【００４７】
なお、上述した実施形態は本発明の好適な実施形態を示すものであって、本発明はこれに限定されることなく、その範囲内で各種設計変更可能である。
例えば、本実施形態ではシステムバスルームについて説明したが、この例に限られることなくこれ以外の既存の浴室にも設置できるものである。さらに、浴室以外にトイレ、洗面所等においても用いることができるものである。
【００４８】
【発明の効果】
以上のように本発明は、人が浴室に入っても人体検出装置の蓄積時間微調整処理手段が作動してしまうことがなくなり、不必要な蓄積時間微調整処理を行うことはなくなった。さらに本発明は、検知領域全域と各領域との双方の階調データを使用して判定することで、不必要な制御をすることなく、安定した人体の動きの検出を行うことができる。
【図面の簡単な説明】
【図１】図１は本発明の一実施形態を示す全体構成図である。
【図２】図２は本発明の一実施形態を示す電気回路のブロック図である。
【図３】図３は人体検出センサの画像検出部の１画素を構成する画像コア回路の構成を示す回路図である。
【図４】図４はセンサの撮像範囲と検知範囲及び検知領域との関係を示す説明図である。
【図５】図５は本発明の一実施形態を示すフローチャートである。
【図６】図６は本発明の制御フローを示すフローチャートである。
【図７】図７は本発明の制御フローを示すフローチャートである。
【図８】図８は本発明の制御フローを示すフローチャートである。
【図９】図９は制御装置の概要を示す電気ブロック図である。
【図１０】図１０の（ａ）は右下方へ向けて移動した物体の現画像と前画像を示す図、（ｂ）は前画像の明暗を各画素毎に示す図、（ｃ）は現画像の明暗を各画素毎に示す図である。
【図１１】図１１は画像の境界に対応する画素における明暗の変化を示す差分画像を表わした図である。
【図１２】図１２は一実施形態を示す電気ブロック図である。
【図１３】図１３は他実施形態を示す電気ブロック図である。
【符号の説明】
１ 浴室
２ 浴槽
３ 洗場
４ 出入口
５ 人体センサ
６ 撮像装置
７ 制御装置
９ 画像検出部
１５ 画像出力部
１７ 画像コア回路
２４ 領域分割手段
２６ 検知領域
２９ 入口領域
３０ 洗場領域
３１ 浴槽領域
３２ 判定手段
４０ 温水機器
４１ ケーブル
４２ コントローラ
４７ 電源プラグ
５１ 人体検出センサ
５２ 赤外線センサ
６０ 風呂リモコン
７０ 台所リモコン
８０ エリア全域平均値演算手段
８１ 調光手段
８２ 差分演算手段
８３ 比較判定手段
８４ 自動調光制御
８５ 蓄積時間微調整処理制御手段
８９ 差分演算手段
９０ 比較判定手段
９１ 制御阻止手段
Claims (4)
- 監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段とからなるものであって、分割した各領域毎の画像階調の変化を捉えて前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段を設けたことを特徴とする人体検出装置。
- 監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段と、赤外線により人体を検出する赤外線センサとからなるものにおいて、調光後調光収束範囲外の場合であって、赤外線センサにより人体を検出したとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段を設けたことを特徴とする人体検出装置。
- 監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段とからなるものであって、分割された各領域毎の階調平均値を演算する平均値演算手段と、該平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により 算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段とを設けたことを特徴とする人体検出装置。
- 監視領域を所定時間間隔で撮像する撮像装置と、検知領域を複数の領域に分割する領域分割手段と、ゲイン及び画像蓄積時間を調整する調光手段と、前記検知領域全域の階調平均値を演算するエリア全域平均値演算手段と、該エリア全域平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記調光手段を自動的に制御する自動調光制御手段と、調光後において調光収束範囲に入っていない場合に調光の制御目標値に収束させる蓄積時間微調整処理制御手段と、分割された各領域毎の階調平均値を演算する平均値演算手段と、該平均値演算手段による前回画像の階調平均値と今回画像の階調平均値との差を算出する差分演算手段と、該差分演算手段により算出した値が一定値以上か否かを判定する比較判定手段と、一定値以上のとき前記蓄積時間微調整処理制御手段の制御を阻止する制御阻止手段とを設けたことを特徴とする人体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212222A JP3965943B2 (ja) | 2001-07-12 | 2001-07-12 | 人体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212222A JP3965943B2 (ja) | 2001-07-12 | 2001-07-12 | 人体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003030764A JP2003030764A (ja) | 2003-01-31 |
| JP3965943B2 true JP3965943B2 (ja) | 2007-08-29 |
Family
ID=19047416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001212222A Expired - Fee Related JP3965943B2 (ja) | 2001-07-12 | 2001-07-12 | 人体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965943B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108600649B (zh) * | 2018-04-26 | 2020-09-29 | 温州米诺实业有限公司 | 一种智能家居照明亮度采集与控制方法 |
| CN108650455B (zh) * | 2018-04-26 | 2020-11-06 | 莆田市烛火信息技术有限公司 | 一种智能家居照明数据采集终端 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3298025B2 (ja) * | 1993-02-08 | 2002-07-02 | コニカ株式会社 | 証明写真撮影装置 |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| JPH1196477A (ja) * | 1997-09-24 | 1999-04-09 | Sharp Corp | 情報処理システムのセキュリティ装置 |
| JP3570198B2 (ja) * | 1998-01-07 | 2004-09-29 | オムロン株式会社 | 画像処理方法およびその装置 |
| JP2000013780A (ja) * | 1998-06-19 | 2000-01-14 | Fujitsu General Ltd | 物体識別装置 |
| JP3697082B2 (ja) * | 1998-09-25 | 2005-09-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
| JP3986193B2 (ja) * | 1998-12-28 | 2007-10-03 | セコム株式会社 | 画像センサ、及び、画像監視システム |
| JP3839982B2 (ja) * | 1999-01-29 | 2006-11-01 | 松下電器産業株式会社 | 人体検知装置及び人体検知方法 |
| JP2001043463A (ja) * | 1999-08-03 | 2001-02-16 | Noritz Corp | 人検知装置 |
-
2001
- 2001-07-12 JP JP2001212222A patent/JP3965943B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003030764A (ja) | 2003-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3965943B2 (ja) | 人体検出装置 | |
| JP2002130694A (ja) | 台所用監視装置 | |
| JP3747459B2 (ja) | 人体検出装置 | |
| JP3904106B2 (ja) | 人体検知装置 | |
| JP3902431B2 (ja) | 浴室 | |
| JP2002081667A (ja) | 浴室暖房機 | |
| JP2004108789A (ja) | 人体検出装置 | |
| JP3975706B2 (ja) | 人体検出装置 | |
| JP2003037839A (ja) | 人体検出装置 | |
| JP3678274B2 (ja) | 人体検出装置 | |
| JP4003398B2 (ja) | 浴室 | |
| JP2001272103A (ja) | 人検知装置及び人検知機能付き給湯器 | |
| JP2002303681A (ja) | 人体検出装置 | |
| JP2001311549A (ja) | 温水機器 | |
| JP3747457B2 (ja) | 浴室 | |
| JP3972590B2 (ja) | 人体検出装置 | |
| JP2002288758A (ja) | 人体検出装置 | |
| JP2001299622A (ja) | 温水機器 | |
| JP2004053456A (ja) | 人体検出装置 | |
| JP2001351097A (ja) | 人体検出装置 | |
| JP2002015384A (ja) | 洗面室に隣接する浴室 | |
| JP2003051080A (ja) | 人体検出装置 | |
| JP2003085670A (ja) | 人体検出装置 | |
| JP2003085668A (ja) | 浴 室 | |
| JP2004073600A (ja) | 入浴装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070215 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |