JP3887279B2 - 監視装置 - Google Patents
監視装置 Download PDFInfo
- Publication number
- JP3887279B2 JP3887279B2 JP2002208866A JP2002208866A JP3887279B2 JP 3887279 B2 JP3887279 B2 JP 3887279B2 JP 2002208866 A JP2002208866 A JP 2002208866A JP 2002208866 A JP2002208866 A JP 2002208866A JP 3887279 B2 JP3887279 B2 JP 3887279B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- edge
- dimensional space
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視装置に関し、特に対象領域内の物体や人物の存在及びその姿勢を検出する監視装置に関するものである。
【０００２】
【従来の技術】
近年、人口構成の高齢化に伴い、特に浴室での事故が社会問題として注目されつつある。浴室では、心臓麻痺や脳卒中を起こすことが多く、それに伴って浴槽内で溺れる等のケースが目立つ。これらのトラブルは、いずれも１分、1秒でも早く発見し、蘇生術を施すことが、救命及び後潰症の軽減に必要であり、また一般家庭では、浴室が個室であることが多く、浴室内でのトラブルの早期発見には、それを迅速に検出する検出装置が必要となる。
【０００３】
上記のような検出装置として、動き検出センサが提案されている。代表的な例は、浴室内の画像を撮像し、取得した画像を複数の部分画像に分けて、各部分画像毎に明るさと色の変化から対象物の動きがあるかどうかを検出し、各部分画像の動きの状況により、入浴中の人物が動いているか否かを判定する物である。また、浴室専用ではないが、転倒を含む個室内の人物の状態を検出する装置として、天井に取り付けた赤外線画像センサと、壁面に取り付け一定の高さを検知エリアとする熱線高さセンサを組み合わせて相互の出力から室内の人物の状態を判定する装置が提案されている。この装置は、壁面のセンサの検出高さエリアを適当に設定することにより、在室中の人物が低い姿勢をとっているか、高い姿勢をとっているか、即ち、転倒状態にあるか、そうでないかを検出することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、浴室で使用した場合には、例えば湯気によるくもりが発生することにより、人物の状態の検出精度が低下する傾向があった。
【０００５】
本発明は、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視装置１は、例えば図１、図３に示すように、湯気を発生し得る三次元空間３内における対象物２を監視する監視装置において；三次元空間３内の対象物２を撮像する撮像装置１１と；撮像装置１１からの出力を受信して処理し、対象物２の画像を取得する画像処理装置４１と；前記取得された画像のエッジの鋭さを判定するエッジ判定手段４２と；エッジ判定手段４２の判定結果に基き三次元空間３内の湯気を除去する湯気除去手段８を動作可能とする信号を発信する信号発信手段４２を備える。
【０００７】
このように構成すると、撮像装置１１と、画像処理装置４１と、エッジ判定手段４２とを備えているので、例えば、撮像装置１１からの出力を受信して処理し、対象物２の画像を取得し、前記取得された画像のエッジの鋭さを判定することができる。さらに、エッジ判定手段４２の判定結果に基き三次元空間内の湯気を除去する湯気除去手段を動作可能とする信号を発信する信号発信手段４２を備えているので、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することができる。また、前記信号発信手段からの信号により、湯気除去手段例えば換気扇を始動するようにし、このときは、湯気を消滅または薄くすることができ、検出精度を回復することができる。
【０００８】
上記目的を達成するために、請求項２に係る発明による監視装置１は、例えば図１、図３に示すように、湯気を発生し得る三次元空間３内における対象物２を監視する監視装置において；三次元空間３内の対象物２を撮像する撮像装置１１と；撮像装置１１からの出力を受信して処理し、対象物２の画像を取得する画像処理装置４１と；前記取得された画像のエッジの鋭さを判定するエッジ判定手段４２と；対象物２の動きの有無を検出する動き検出手段４４とを備え；エッジ判定手段４２が数値により前記エッジの鋭さを判定し、前記エッジの鋭さが一定未満のときに、動き検出手段４４の検出結果に基づいて、対象物２の異常有無判定を行うように構成される。
【０００９】
このように構成すると、撮像装置１１と、画像処理装置４１と、エッジ判定手段４２とを備えているので、例えば、撮像装置１１からの出力を受信して処理し、対象物２の画像を取得し、前記取得された画像のエッジの鋭さを判定することができる。さらに、動き検出手段４４とを備え、エッジ判定手段４２が数値により前記エッジの鋭さを判定し、前記エッジの鋭さが一定未満のときに、動き検出手段４４の検出結果に基づいて、対象物２の異常有無判定を行うように構成されるので、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することができる。
【００１０】
上記目的を達成するために、請求項３に係る発明による監視装置１は、例えば図１、図３に示すように、湯気を発生し得る三次元空間３内における対象物２を監視する監視装置において；三次元空間３内の対象物２を撮像する撮像装置１１と；撮像装置１１からの出力を受信して処理し、対象物２の画像を取得する画像処理装置４１と；前記取得された画像のエッジの鋭さを判定するエッジ判定手段４２と；対象物２の存在を検出する存在検出手段４３と；対象物２の動きの有無を検出する動き検出手段４４とを備え；エッジ判定手段４２の判定結果に基き、前記エッジの鋭さが一定以上のときは、存在検出手段４３の検出結果に基づいて、対象物２の異常有無判定を行い、前記エッジの鋭さが一定未満のときは、動き検出手段４４の検出結果に基づいて、対象物２の異常有無判定を行うように構成される。
【００１１】
このように構成すると、撮像装置１１と、画像処理装置４１と、エッジ判定手段４２とを備えているので、例えば、撮像装置１１からの出力を受信して処理し、対象物２の画像を取得し、前記取得された画像のエッジの鋭さを判定することができる。さらに、存在検出手段４３と、動き検出手段４４とを備え、エッジ判定手段４２の判定結果に基き、前記エッジの鋭さが一定以上のときは、存在検出手段４３の検出結果に基づいて、対象物２の異常有無判定を行い、前記エッジの鋭さが一定未満のときは、動き検出手段４４の検出結果に基づいて、対象物２の異常有無判定を行うように構成されるので、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することができる。
【００１２】
また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視装置１では、撮像装置１１は、上方から三次元空間３内の対象物２を撮像するように構成するとよい。
【００１３】
このように構成すると、撮像装置１１は、上方から三次元空間３内の対象物２を撮像するので、例えば、上方から撮像することで、三次元空間３内の広範囲を撮像した画像を容易に取得することができ、対象物２の存在を検出しやすくなる。
【００１４】
また請求項５に記載のように、請求項４に記載の監視装置１では、例えば図１２、図１６に示すように、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内に光束を射出する光束発生手段１２１と、光束発生手段１２１から射出される光束により照射される位置に配置された再帰反射素子１２２と、再帰反射素子１２２で反射された前記光束を検知する光束検知手段１２１とを備え；光束発生手段１２１は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段１２７を有するとよい。
【００１５】
このように構成すると、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内に光束を射出する光束発生手段１２１と、光束発生手段１２１から射出される光束により照射される位置に配置された再帰反射素子１２２と、再帰反射素子１２２で反射された前記光束を検知する光束検知手段１２１とを備え、光束発生手段１２１は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段１２７を有するので、例えば、単純な構成でありながら、特定の平面内の対象物２の存在を検出できる。
【００１６】
また請求項６に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視装置１では、例えば図１に示すように、撮像装置１１は、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内の対象物２を撮像するように構成してもよい。
【００１７】
このように構成すると、撮像装置１１は、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内の対象物２を撮像するように構成されているので、例えば、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内を撮像した画像を取得することで、特定の平面内の対象物２の存在を検出しやすくなる。言い換えれば、特定の平面の高さの対象物２の存在を容易に検出できる。
【００１８】
また請求項７に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視装置１では、撮像装置１１は複数備えられ；さらに前記複数の撮像装置１１のうち少なくとも１は、上方から三次元空間３内の対象物２を撮像し、他の少なくとも１は、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内の対象物２を撮像するように構成してもよい。
【００１９】
このように構成すると、撮像装置１１は複数備えられ、さらに前記複数の撮像装置１１のうち少なくとも１は、上方から三次元空間３内の対象物２を撮像し、他の少なくとも１は、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内の対象物２を撮像するように構成されているので、例えば、上方から三次元空間３内を撮像した画像と、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内を撮像した画像とを容易に取得することができ、対象物２の存在の検出精度を高めることができる。即ち対象物２を高い精度で監視できる監視装置とすることができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２１】
図１は、本発明による第１の実施の形態である監視装置１の模式的斜視図である。また、図２（ａ）は図１の正面図、図２（ｂ）は図１の平面図である。監視装置１は、湯気の発生し得る三次元空間としての浴室３内における対象物２を監視するものである。また図中対象物２が浴室３内に存在している。対象物２は、本実施の形態では人物である（以下対象物を人物２という。）。また、浴室３には、浴室３内の人物２を撮像する撮像装置が設置されている。本実施の形態では、撮像装置は、複数備えられ、さらに複数の撮像装置のうち少なくとも１は、上方から浴室３内の人物２を撮像し、他の少なくとも１は、浴室３内の特定の平面内の人物２を撮像するように構成されている。なお、監視装置１の各構成の詳細については後で説明する。
【００２２】
浴室３は、四方を壁面６に囲まれた閉空間であり、上方に天井５が形成されている。壁面６は、正面壁面６１、左側面壁面６２、裏面壁面６３、右側面壁面６４（以下単に壁面６１、６２、６３、６４という、また区別しないときは単に壁面６という）で構成されている。さらに浴室３は、浴槽４と、洗い場７とを有している。そして、浴槽４は洗い場７と隣接して設置されている。また、浴室３には、図３を参照して後述するエッジ処理部３２からの信号を受信し、浴室３内に発生した湯気を除去する湯気除去手段としての換気扇８が取り付けられている。換気扇８は、浴室３の裏面壁面６３上部に取り付けられ、浴室３内の換気を行うことができる。換気扇８は、演算装置３０に接続されている。また換気扇８は、図３で後述するエッジ処理部４２の換気扇作動信号を受信することで、運転を開始（始動）する即ち湯気の除去を開始するように構成されている。また、換気扇８は、後述のエッジ処理部４２によるエッジの鋭さの判定結果が、一定以上に回復した場合には、運転を停止するように構成するとよい。また、換気扇８は、換気扇作動信号を受信することで、一定時間運転した後に自動的に運転を停止するように構成してもよい。
【００２３】
さらに、天井５には、浴室３内の人物２を撮像する撮像装置としての天井カメラ１１が設置されている。また、天井カメラ１１は、複数の撮像装置のうち、上方から浴室３内の人物２を撮像するものでもある。本実施の形態では、天井カメラ１１は、天井５の図中右端部中央に、天井カメラ１１を保護する撮像装置保護手段としての保護カバー１２（図中破線で表示）に覆われて、取り付けられている。天井カメラ１１は、保護カバー１２により保護されているので、例えば天井カメラ１１にお湯がかかるような場合でも、壊れたり、作動不良を発生することなく、安定して撮像することができる。また、本実施の形態では、撮像装置保護手段としては保護カバー１２を用いるが、例えば、撮像装置保護手段として、カメラ本体に防滴処理を施してもよい。防滴処理とは例えばカメラ内部に水分の侵入を防ぐために、部材の隙間等をシールする処理である。
【００２４】
さらに、撮像装置保護手段は、撮像装置と三次元空間即ち浴室３との界面で、撮像に係る光が透過する部位には、水滴の形成を防止する手段例えば親水性の薄膜を形成してすることが好ましい。言い換えれば、保護カバー１２の撮像に係る光が透過する部位に親水性の薄膜を形成することが好ましい。このようにすると、該部位が一様に濡れるので水滴が形成されにくい。また、上述のようにカメラに防滴処理を施す場合には、撮像装置の対物レンズに親水性の薄膜を形成するとよい。ここでいう水滴の形成は、くもりを含む概念である。このようにすることで、例えば水滴の形成により画像の画質が悪くなることを防止することができるので有効である。
【００２５】
また天井カメラ１１の取付場所は、本実施の形態では、上記のように天井５の右端部であるが、中央部であってもよい。さらに、取付場所は、天井５であることが好ましいが、浴室３内に存在する人物２を検出しやすい場所であればどこでもよく、例えば壁面６の上部であってもよい。
【００２６】
また壁面６には、浴室３内の人物２を撮像する撮像装置としての壁面カメラ２１が設置されている。また、壁面カメラ２１は、複数の撮像装置のうち、浴室３内の特定の平面内の人物２を撮像するように構成されたものでもある。本実施の形態では、壁面カメラ２１は、壁面６が形成する角部（図中正面壁面６１と右側面壁面６４とが形成する角部）に取り付けられている。言い換えれば、浴槽４近傍に取り付けられている。壁面カメラ２１は、撮像装置保護手段としての保護カバー２２（図中破線で表示）に覆われて、取り付けられている。壁面カメラ２１は、保護カバー２２により保護されているので、例えば壁面カメラ２１にお湯がかかるような場合でも、壊れたり、作動不良を発生することなく、安定して撮像することができる。これにより、監視装置１の信頼性が向上する。なお、壁面カメラ２１は、少なくとも浴室３内の特定の平面内を撮像すればよく、例えば、浴室３内の特定の平面内を含む浴室３全体を撮像してもよい。
【００２７】
また特定平面は、所定の高さに設定する。所定の高さとは、例えば、人物２が座っているときの頭の高さ程度とする。さらに所定の高さは、図２（ａ）に示すように、浴槽４の上端と同じ高さ、または上端より僅かに高い位置に設定することがさらに好ましい。このように所定の高さに設定すれば、後述の状態判定処理部４５での人物２の状態の判定で、容易かつ確実に、例えば人物２の浴槽４内の水没状態、洗い場７での転倒状態を判定することができる。さらに特定平面は、高さ方向に適当な幅を有するように設定することが好ましい。適当な幅は、好ましくは５ｍｍ〜１００ｍｍ程度、さらに好ましくは５ｍｍから２０ｍｍ程度である。なお、図示では適当な幅は、一定の大きさ（図中一点鎖線で表示）で示してあるが、実際には、壁面カメラ２１から離れる程、大きくなる傾向にある。このため、適当な幅は、人物２が主に存在する場所、例えば浴槽４周辺の位置で上記の値になるように調整するとよい。
以下、天井カメラ１１と壁面カメラ２１とを特に区別しないときには単にカメラ１０という。
【００２８】
カメラ１０は、結像レンズと撮像素子とを含んで構成されたものであり、典型的にはＣＣＤカメラである。さらにカメラ１０は、色の３成分を検出し、３成分で構成されるカラー画像を取得できるものとする。即ちカメラ１０は、カラーＣＣＤカメラとする。検出する色の３成分は、典型的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）（以下単にＲＧＢという）であるが、３成分のうちどの２成分を混色しても残りの１成分にならない、即ち３成分が独立な組み合わせならよい。また、他の３成分としては、例えばＣＭＹ、ＨＳＶ、ＹＣｂＣｒ、ＹＵＶ、ＹＩＱ、ＸＹＺ、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊等があり、これらのいずれでも構わない。またこれらは、いずれもＲＧＢから容易に変換することができる。ここでは、検出する色の３成分は、ＲＧＢカラーとして説明する。
【００２９】
図３のブロック図を参照して、監視装置１の構成の一例についてさらに説明する。監視装置１は、前述した天井カメラ１１、壁面カメラ２１と、演算装置３０とを含んで構成される。演算装置３０は、典型的にはパソコンやマイコン等のコンピュータある。演算装置３０は、制御部３１を備えており、監視装置１を制御している。また制御部３１には、インターフェース３２が接続されており、天井カメラ１１、壁面カメラ２１、換気扇８、通報装置４０は、インターフェース３２を介して制御部３１に接続され、制御されている。
【００３０】
また、制御部３１には、記憶部３４が接続されており、入力した情報や算出された情報等のデータが記憶できる。さらに演算装置３０は、天井カメラ１１、壁面カメラ２１から、それぞれ取得した画像、及びそれぞれ後述の画像処理部３２を介して取得した画像を、記憶部３４に時系列で保存できるように構成されている。
【００３１】
また制御部３１には、監視装置１を操作するための情報を入力する入力装置３６、監視装置１で処理された結果を出力する出力装置３７が接続されている。入力装置３６は例えばタッチパネル、キーボードあるいはマウスであり、出力装置３７は例えばディスプレイやプリンタである。本図では、入力装置３６、出力装置３７は演算装置３０に外付けするものとして図示されているが、内蔵されていてもよい。また、入力装置３６は、例えば監視の開始や解除を行なえるスイッチ、出力装置３７は、例えば動作インジケータとしてのＬＥＤとしてもよい。このようにすると、監視装置１を単純に構成できる。
【００３２】
また監視装置１は、カメラ１０からの出力を受信して処理し、人物２の画像を取得する画像処理装置としての画像処理部４１と、画像処理部４１により取得された画像のエッジの鋭さを判定するエッジ判定手段としてのエッジ処理部４２とを有している。画像処理部４１と、エッジ処理部４２は、典型的には、制御部３１内に備えられる。また、エッジ処理部４２は、エッジ処理部４２の判定結果に基き一定の信号を発信する信号発信手段でもある。以下上記各構成について説明する。
【００３３】
画像処理部４１は、カメラ１０から受信した出力信号を処理し、画像を取得するものである。また、画像処理部４１による画像の取得間隔は、例えば装置の処理速度や、監視したい人物の動きの内容により適宜決めるとよいが、例えば０．１〜１０秒、好ましくは、０．５〜３秒、最も好ましくは１秒程度とするとよい。カメラ１０から出力される画像は、画像処理部４１により取り込まれる。取り込まれた画像は、デジタル画像であり各ピクセル（画素）の情報は、次式（１）のように、Ｒ、Ｇ、Ｂの輝度値の集合として表される。
Ｉ(ｉ,ｊ)＝{Ｒ(ｉ,ｊ), Ｇ(ｉ,ｊ), Ｂ(ｉ,ｊ)} ・・・・・・・・・・（１）
【００３４】
また、画像処理部４１が取得する画像は、モザイク化した画像である。ここでのモザイク化とは、例えば画像の解像度を下げることである。解像度は、例えば取得した画像の１／１０程度に下げるとよい。これは、例えばカメラ１０から出力される画像の解像度が、例えば２４０×３２０ｐｉｘｅｌ（ピクセル）であった画像を、２４×３２ｐｉｘｅｌに変換することである。このようにすることで、画像が軽くなり、計算量を減らすことができるので、処理の高速化が可能になる。さらに、取得された画像上での人物２の細部が判らなくなるので、撮像される人物２のプライバシーを保護することができる。
【００３５】
エッジ処理部４２は、上述の画像処理部４１により取得された画像のエッジの鋭さを判定するものである。ところで、一般的に、ぼやけた画像はエッジが少ない。このことに注目して、画像全体のエッジの鋭さを求めることで、画像のぼやけ具合を検知することができる。また、例えば湯気によるくもりが激しく、ぼやけてしまった画像から後述のような存在検出部４３による人物２の存在の検出を行うと、正確な検出ができず、人物２の状態の誤判定を起こす可能性がある。監視装置１は、エッジ処理部４２でエッジの鋭さを判定することにより、例えば、湯気によりくもりが激しいか否かを検知でき、判定の信頼性を高めることができる。
【００３６】
エッジ処理部４２は、エッジの鋭さの判定を、画像処理装置４１で取得した色の３成分（ＲＧＢ）で表現される画像から、輝度だけで表現される画像に変換し、その変換した画像で行うようにするとよい。ここでいう、画像を変換するとは、Ｒ、Ｇ、Ｂのそれぞれの成分に、各々所定の係数をかけて加算した画像とすることである。所定の係数は、例えば必要な色が強調されるように各々設定するようにすることが好ましい。このようにすることで、必要な色が強調された画像でエッジの鋭さの判定を行なえるので、判定の信頼性が増す。
【００３７】
エッジの鋭さは、画像からエッジを抽出する方法として一般的に用いられているラプラシアンフィルタを用いて算出することが好ましい。ラプラシアンフィルタは、２つの変数によって変化するスカラー値I (x, y)に対して、次式（２）によって求めることができる。
【数１】
具体的には、注目画素の輝度（明度）I (i, j)に対して、次式（３）の計算を行うことになる。
そして、この計算を画像の全画素に対して行い、その総和をとる。但し、ラプラシアンフィルタは、エッジの方向により、負の値もとり得るので、次式（４）に示すように、絶対値の総和Ｅ (i, j)を求める。
Ｅ(i,j)＝Σ｜∇2Ｉ｜ ・・・・・・・・・・・・・・・・・・・・・（４）
この絶対値の総和Ｅ (i, j)をエッジの鋭さとする。
【００３８】
エッジ処理部４２は、エッジの鋭さが一定未満のとき、即ちエッジの鋭さの値が一定値より小さくなったときに、湯気によるくもりが激しいと判定するように構成されている。具体的には、例えば、一定値として第１の閾値Ｔｈ１を設定する。そして、エッジ処理部４２は、エッジの鋭さの値が第１の閾値Ｔｈ１より小さくなったときに、湯気によるくもりが激しいと判定するように構成するとよい。
【００３９】
また、エッジ処理部４２は、上記の判定結果に基づき一定の信号としての換気扇作動信号を発信するように構成される。エッジ処理部４２は、換気扇作動信号を発信することで、湯気除去手段としての換気扇８を作動させることができるように構成される。即ち、発生した湯気を除去できる。また、エッジ処理部４２は、エッジの鋭さの判定結果が、一定未満のときには、湯気除去手段としての換気扇８の運転を行うように構成するとよい。ここで、換気扇８の運転を行うとは、運転の開始（始動）であってもよいし、運転の継続であってもよい。
【００４０】
例えば、図４に示すように、エッジ処理部４２は、湯気によりくもりが発生した状態（図４（ａ）の状態）であっても、エッジ処理部４２によるエッジの鋭さの判定によりくもりが激しいと判定することで、換気扇８が作動される。換気扇８が作動することで、浴室３内の湯気によるくもりが軽減され、くもりが少ない状態（図４（ｂ）の状態）に戻る。このように、監視装置１は、湯気によるくもりが激しい場合に、エッジ処理部４２によりそれを判定し、換気扇８を作動させることで、くもりを軽減し、低下したエッジの鋭さの値を高めることができる。さらに、エッジの鋭さの値を高めることで、人物２の存在の検出が高精度に行なえるようになる。
【００４１】
また、エッジ処理部４２は、エッジの鋭さの判定結果が、一定以上に回復した場合には、湯気除去手段としての換気扇８の運転を停止するように構成するとよい。即ちくもりが激しいと判定し、換気扇８を作動させた後に、エッジの鋭さの値が第１の閾値Ｔｈ１（又は頻繁な発停を避けるために第１の閾値Ｔｈ１より僅かに大きい閾値Ｔｈ１’）以上になったときには、湯気によるくもり軽減されたと判定して、換気扇８を停止させるように構成するとよい。
【００４２】
図３に戻って、監視装置１についてさらに説明する。さらに監視装置１は、画像処理部４１により取得された画像に基いて人物２の存在を検出する存在検出手段としての存在検出部４３と、画像処理部４１により取得された画像に基いて人物２の動きの有無を検出する動き検出手段としての動き検出部４４とを有している。存在検出部４３と、動き検出部４４は、典型的には制御部２１内に備えられている。また監視装置１は、エッジ処理部４２の判定結果に基き、エッジの鋭さが一定以上のときは、存在検出部４３の検出結果に基づいて、人物２の異常有無判定を行い、エッジの鋭さが一定未満のときは、動き検出部４４の検出結果に基づいて、人物２の異常有無判定を行うように構成されている。上記異常有無判定は、制御部３１内に備えられた状態判定処理部４５で行うようにする。以下上記各構成について説明する。
【００４３】
図５を参照して、存在検出部４３について説明する。存在検出部４３は、カメラ１０より取得した異なる２時点の画像から人物２が抽出された画像であるシルエット画像を生成するように構成されている。異なる２時点のうち１時点は、例えば、人物２が浴室３内に存在しない時点である。即ち、本実施の形態では、異なる２時点の画像とは、任意の検出時点に取得した画像と、人物２が存在しない時点の画像である。また、人物２が存在しない時点の画像を基準画像とする。基準画像は、記憶部３４内に保存される。以下、異なる２時点の画像を、取得画像、基準画像として説明する。
【００４４】
また、異なる２時点の画像は、任意の検出時点とそのわずかに前の時点としてもよい。わずかに前とは、人物２の移動を監視するのに十分な時間間隔だけ前であればよい。この場合、人物２のわずかな移動も監視したいときは短く、例えば人物２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０〜１／３）とする。また、人物２の大まかな移動を監視したいとき、または動きの少ない人物２を監視したいときは長く、例えば１０秒程度としてもよい。ただし、高齢者の監視等では長くし過ぎると、状態の検出が遅くなり大事に到ることがあり得るので、例えば５分などにするのは適切でない。
【００４５】
存在検出部４３は、画像処理部４１により取得されたカラー画像の３成分即ちＲＧＢから選択される２乃至３成分により構成されるベクトルの差を算出してシルエット画像を生成するように構成されている。本実施の形態では、選択される成分は、３成分である。ベクトルの差とは、例えばベクトル間距離又はベクトルのなす角である。本実施の形態では、ベクトルのなす角θを算出する。また、存在検出手段４３は、ＲＧＢカラー画像から、対応する各々の画素毎に、３成分の場合にはＲＧＢ色空間を形成し、２成分の場合には、色平面を形成する。本実施の形態は、３成分であるので、色空間を形成する。ここでは、注目画素のＲ、Ｇ、Ｂの輝度値（式（１）参照）を成分とするベクトルをＲＧＢバランスと呼ぶ。
【００４６】
ＲＧＢバランスは、上記ベクトルの向きが色そのものの情報を、ベクトルの長さが色の明るさの情報をそれぞれ反映する。従って、ＲＧＢバランスの差、即ちＲＧＢバランスのなす角θの大きさは、色の明るさに関係しない、色そのものの差に相当する。これにより、例えば照明変動によってある画素が影になっても、明るさ、即ちＲＧＢバランスの長さ（ベクトルの大きさ）の変動に過ぎず、ＲＧＢバランスの向きには影響しないので、本実施の形態のように浴室を監視するような場合には特に有効である。
【００４７】
図６を参照して、ＲＧＢバランスについて説明する。図６の線図は、ＲＧＢ色空間を直交座標系で示したものである。ＲＧＢバランスは、取得画像、基準画像共に、各画素について算出する。存在検出部４３は、取得画像と基準画像の２つの画像の対応する画素のＲＧＢバランスの差、即ち２つのＲＧＢバランス（ベクトル）のなす角θを算出する。ここで、２つの画像の対応する画素とは、典型的には、２つの画像の同じ位置にある画素であるが、例えば２つの画像各々で任意に定めた位置にある画素であってもよい。存在検出部４３は、ＲＧＢバランスのなす角θの算出を、全ての画素に対して行う。
【００４８】
ここで、例えば、基準画像上の対応する点のＲＧＢバランスを
Ｉｂ(ｉ,ｊ)＝{Ｒｂ(ｉ,ｊ), Ｇｂ(ｉ,ｊ), Ｂｂ(ｉ,ｊ)} ・・・・・・（５）
とし、取得画像上の対応する点のＲＧＢバランスを
Ｉｃ(ｉ,ｊ)＝{Ｒｃ(ｉ,ｊ), Ｇｃ(ｉ,ｊ), Ｂｃ(ｉ,ｊ)} ・・・・・・（６）
とすると、この２つのＲＧＢバランスのなす角θは、次式（７）となる。
【数２】
【００４９】
図５に戻って説明する。存在検出部４３は、算出されたベクトルの差、即ちＲＧＢバランスのなす角θに対応する画素が、一定値以上のときには、人物２の部分と判定し、一定値未満のときには、背景の部分と判定するように構成される。具体的には、一定値として第２の閾値Ｔｈ２を設定し、存在検出部４３は、ＲＧＢバランスのなす角θに対応する取得画像の画素が、第２の閾値Ｔｈ２以上のときには、人物２の部分と判定し、第２の閾値Ｔｈ２より小さいときには、背景の部分と判定するように構成される。この判定値Ｂ (ｉ, ｊ)を、次式（８）と定義する。
【数３】
即ち、シルエット画像は、０、１の２階調で表現される画像となる。
【００５０】
このようして、人物２か、背景部分かの判定を、取得画像と基準画像の２つの画像の対応する各画素について行うと、人物２の分布を示したシルエット画像が得られる。シルエット画像は前述しようにモザイク化した取得画像と基準画像から生成するので、シルエット画像もモザイク化された即ち、取得画像と基準画像と同じ解像度の画像となる。なお図示では、取得画像と基準画像は通常の画像で示しているが、前述のようにモザイク化された画像からシルエット画像は生成される。モザイク化された画像からシルエット画像を生成することで、画像の処理量を低減でき、処理の高速化が図れる。
【００５１】
また以上のようにシルエット画像を生成することで、例えば、画像の明度（各画素の輝度）による差分を用いて、濃淡（白黒）の差により、人物２と背景部分の判定を行う場合と比較して、人物２の形を正しく抽出したシルエット画像を生成することができる。
【００５２】
ここで、本実施の形態では、存在検出部４３による人物２の存在の検出には、天井カメラ１１で撮像された画像に基づいて行う、浴槽４内の人物２の存在位置検出と、壁面カメラ２１で撮像された画像に基づいて行う、浴室３内の特定の平面内の人物２の存在検出（以下遮断検出という）とがある。まず、前者について説明する。
【００５３】
まず、浴槽４内の人物２の存在位置検出について説明する。存在検出部４３は、生成されたシルエット画像に基づいて、人物２の存在位置検出を行うように構成される。存在位置検出とは、人物２が浴室３内のどの位置に存在しているかを検出するものである。また、ここでいう位置検出は、例えば、人物２の存在が浴室３内のどの位置でも検出されない、即ち人物２が浴室３内に存在しないと検出することも含むものとする。以下、存在検出部４３による人物２の存在位置検出について説明する。
【００５４】
まず、存在検出部４３は、生成されたシルエット画像内に存在する各領域（シルエット）にそれぞれラベリング処理を行うようにする。ラベリング処理は、人物２の存在位置検出の際に行うものである。シルエット画像には、例えば洗面器や椅子等の入浴用道具の位置が移動することにより、これらのシルエットがシルエット画像内に残っている場合がある。このため、人物２のシルエットと、入浴用道具とを区別する必要がある。存在検出部４３は、この区別をラベリング処理により行う。
【００５５】
ラベリング処理は、まず各シルエットにラベリングを行う。そして、各ラベルに含まれる画素数（面積）を求め、一定値以上のラベル面積を有するラベルを人物２のシルエットと見なす処理である。具体的には、ラベル面積に対して第３の閾値Ｔｈ３を設け、第３の閾値Ｔｈ３以上のラベル面積を有するシルエットを人物２と判定する。また、第３の閾値Ｔｈ３よりラベル面積が小さいシルエットは、人物２ではないものとして対象から外す。さらにシルエット画像内に第３の閾値Ｔｈ３以上のラベル面積を有するシルエットが存在しない場合には、浴室３内に人物２が存在しない（人物存在無し）と検出するようにするとよい。また上記以外の方法として、第３の閾値Ｔｈ３以上のラベル面積を有するラベルのうち、最大のラベル面積を有するラベルを人物２のシルエットとみなすようにしてもよい。
【００５６】
次に、存在検出部４３は、ラベリング処理により抽出された人物の領域（シルエット）の重心位置を算出する。ここで、人物２のシルエットのデータが、前記式（８）のように求まっているとき、その重心座標（Ｇｉ, Ｇｊ）は、次式（９）に示すように、
【数４】
となる。ここでＮはシルエット画像の全画素数である。このようにして人物２のシルエットの重心位置を算出できる。
【００５７】
そして、存在検出部４３は、人物２のシルエットの重心位置に基づいて、人物２の存在位置検出を行う。これは、例えば重心位置が、シルエット画像上の浴槽４（図１参照）の位置にあるか、洗い場７（図１参照）の位置にあるかの検出である。このようにして、存在検出部４３は、生成されたシルエット画像に基づいて、人物２の存在位置検出を行うことができる。また、この検出の結果は、前述の出力装置３７により、人物２が洗い場７に存在するときには、「洗い場使用」、浴槽４にある場合は「入浴」と表示するように構成してもよい。
【００５８】
次に、図７を参照して、遮断検出について説明する。存在検出部４３は、生成されたシルエット画像に基づいて、浴室３内の特定の平面内の人物２の存在検出、即ち人物２の遮断検出を行うように構成される。遮断検出は、浴室３内の特定の平面内の人物２の存在、即ち人物２の所定の高さの存在の検出である。このような遮断検出を行うことにより、例えば人物２の転倒や、水没を判定することが容易にできる。以下、存在検出部４３による人物２の遮断検出について説明する。
【００５９】
存在検出部４３は、壁面カメラ２１で撮像した画像から前述したように取得したシルエット画像の、特定の平面に相当する部分を切り出す。そして、切り出した画像上で、次式（１０）を満たす列の数（貫通ライン数）が、第４の閾値Ｔｈ４を越えた場合に、遮断があった、即ち特定平面内の人物２の存在を検出する。
Ｂ(ｉ,ｌ)・Ｂ(ｉ,ｌ+1)・Ｂ(ｉ,ｌ+2)・・・Ｂ(ｉ,ｍ)＝１ ・・・・（１０）
ただし、シルエット画像上での特定平面の部分がｌ≦ｊ≦ｍであるとする。また、この検出の結果は、前述の出力装置３７により、遮断があったと検出した場合には、「遮断あり」、遮断が無かったと検出した場合には、「遮断なし」と表示するように構成してもよい。また、以上では、シルエット画像を切り出す場合で説明したが、壁面カメラ２１で撮像した画像を画像処理部４１から取得する際に、上記の切り出し画像部分のみを取得するようにしてもよい。この場合には、この切り出し画像からシルエット画像を生成するようにする。なお、この場合には、基準画像もこの切り出し画像に対応する部分の画像である。このようにすると、シルエット画像を生成する際の画像の処理量を低減できる。
【００６０】
図３に戻って、動き検出部４４について説明する。動き検出部４４は、画像処理部４１により取得した異なる２時点の画像の差分（フレーム間差分）を算出するように構成される。異なる２時点の画像間のフレーム間差分を算出することで、画像上の動きの無かった部分は背景とともに除去され、動きのあった部分が抽出された画像となる。即ち、動きのある人物２の部分の像を抽出できる。なお、ここでの異なる２時点の画像は、撮像された最新の画像と、この画像よりの過去の時点に撮像された画像とであればよく、例えば１フレームだけずれた画像である。さらに、異なる２時点の画像は、エッジ処理部４２によるエッジの鋭さの判定で用いた画像と同様な画像を用いるとよい。即ち異なる２時点の画像は、画像処理装置４１で取得した色の３成分（ＲＧＢ）で表現される画像から、輝度だけで表現される画像に変換したものである。このようにすることで、必要な色が強調された画像で動きの検出を行なえるので、検出の信頼性が増す。
【００６１】
フレーム間差分Ｄは、最新の取得画像の輝度値（明度）をＩn（ｉ，ｊ） 、過去の取得画像の輝度値をＩn-１（ｉ，ｊ）として、次式（１１）で表される。
【数５】
動き検出部４４は、このフレーム間差分Ｄが、第５の閾値Ｔｈ５以上であれば、浴室３内に人物２の動きがあると検出するようにする。即ち、フレーム間差分Ｄが、第５の閾値Ｔｈ５より小さければ、浴室３内に人物２の動きが無いと検出する。なお、本実施の形態では、動き検出部４４による人物２の動きの検出は、天井カメラ１１で撮像した画像と、壁面カメラ２１で撮像した画像とに基づいて行うが、天井カメラ１１で撮像した画像に基づいて行うようにしてもよい。この場合には、画像の処理量を低減できるので処理の高速化が図れる。
【００６２】
さらに監視装置１は、状態判定処理部４５を備えている。状態判定処理部４５は、典型的には制御部３１内に備えられる。状態判定処理部４５は、浴室３内の人物２の状態を判定するものである。
【００６３】
図８に示すように、状態判定処理部４５は、存在検出部４３の検出結果に基づいて、浴室３内の人物２の状態を判定する。本実施の形態では、洗い場の床は浴槽上端部より１段低い位置にある場合であり、例えば、存在検出部４３の存在位置検出で、人物２の浴室３内に存在しないことが検出された場合には（人物検出無し）、人物２が浴室３内に存在しない、即ち人物２が不在であると判定する。また、存在位置検出で、人物検出無しと検出され、遮断検出で、遮断有りと検出された場合には、どちらかの検出結果が誤っていることになるが、本実施の形態では、この場合も人物２が不在であると判定する。また、存在検出部４３の存在位置検出で、人物２が洗い場で検出され、遮断検出で、遮断有りと検出された場合には、人物２が洗い場を使用していると判定する。また、存在検出部４３の存在位置検出で、人物２が浴槽で検出され、遮断検出で、遮断有りと検出された場合には、人物２が入浴中であると判定する。そして、存在位置検出で、人物２が洗い場で検出され、遮断検出で遮断無しと検出された場合には、人物２が転倒しており危険だと判定する。さらに、存在位置検出で、人物２が浴槽で検出され、遮断検出で遮断無しと検出された場合には、人物２が水没しており危険だと判定する。
【００６４】
さらにここでは、状態判定処理部４５は、上記の人物２が不在、洗い場使用、入浴と判定した場合には、異常無しと判定する。また状態判定処理部４５は、人物２が転倒、水没と判定した場合には、異常有りと判定するように構成してある。即ち、状態判定処理部４５は、存在検出部４３の検出結果に基づいて、人物２が危険な状態にあるのを判定した場合には、異常有りと判定するように構成してある。
【００６５】
また、状態判定処理部４５は、人物２に異常有りと判定した際には、警報を発するように構成される。この警報は、異常有りと判定されている状態が、第１の所定期間経過した際に第１の警報としての内部警報を発し、第１の所定期間より長い期間の第２の所定期間経過した際に、第２の警報としての外部警報を発するように構成してある。外部警報を発する場合には、第２の所定期間内に内部警報が発せられたことが条件となる。第１の所定期間、第２の所定期間は、例えば時間で定めてもよいし、撮像されたフレーム数で定めでもよい。時間で定めた場合には、第１の所定期間は、例えば、３〜１５秒、好ましくは５〜１０秒程度とし、第２の所定期間は、例えば、１０〜３０秒、好ましくは１０〜２０秒程度である。例えば、これをフレーム数で示した場合には、第１の所定期間を８秒、第２の所定期間を１５秒、撮像間隔を毎秒１フレームとすると、内部警報は８フレーム、外部警報は１５フレームである。また、上記警報は、異常有りと判定された回数が、所定の回数のうち、第１の回数あった際に第１の警報としての内部警報を発し、第１の回数より多い回数の第２の回数あった際に第２の警報としての外部警報を発するように構成してもよい。所定の回数は、例えば１５〜２５回とした場合に、第１の回数は、５〜１０回程度、第２の回数は、１０〜２０程度とするとよい。
【００６６】
内部警報は、比較的軽度な警報例えば人物２に異常の有無を確認する、あるいは注意を促す為の警報である。状態判定処理部４５は、内部警報を発した際には、例えば、浴室３に備えられた不図示のスピーカにより、「大丈夫ですか」等のメッセージを音声出力するように構成される。外部警報は、内部警報と比較して重度な警報である。状態判定処理部４５は、外部警報を発した際には、後述の通報装置５０に警報信号を送信するように構成される。
【００６７】
さらに、状態判定処理部４５は、エッジ処理部４２の判定結果に基き、エッジの鋭さが一定即ち第１の閾値Ｔｈ１以上のときは、存在検出部４３の検出結果に基づいて、人物２の異常有無判定を行い、エッジの鋭さが第１の閾値Ｔｈ１未満のときは、動き検出部４４の検出結果に基づいて、人物２の異常有無判定を行うように構成されている。
【００６８】
さらに状態判定処理部４５は、動き検出部４４による動きの検出で、人物２の動きが検出されない期間が、第３の所定期間経過した際に、異常有りと判定するように構成される。さらに、異常有りと判定した際には、警報を発するように構成してもよい。第３の所定期間は、例えば２０〜６０秒である。この警報は、典型的には、上述の内部警報よりさらに軽度な第３の警報である。状態判定処理部４５は、第３の警報を発した際には、例えば、浴室３に備えられた不図示のスピーカにより、「お風呂に人はいませんか」等のメッセージを音声出力するように構成するとよい。また、第３の警報が発せられた後、異常有りと判定されている状態が、一定時間（例えば２０〜６０秒）経過した際に内部警報を発し、さらに内部警報から一定時間（例えば２０〜６０秒）経過した際に、外部警報を発するように構成してもよい。
【００６９】
さらに状態判定処理部４５は、存在検出部４３、又は動き検出部４４の検出結果の変化に基づいて、人物２の状態を判定するように構成するとよい。このように人物２の変化追っていれば、人物２の位置をより確実に判定することができる。例えば、人物２の存在位置が浴槽４内で終息していれば、浴槽４の位置に人物２の存在が検出できなくとも、浴槽４内に存在することになり、浴槽４外で終息していれば、洗い場７または浴室３の外へ出ていったことになり、少なくとも浴槽４内には存在しないことがわかる。
【００７０】
ここで、通報装置５０について説明する。通報装置５０は、状態判定処理部４５により送信された警報信号により、外部へ人物２の状態を通報するように構成されている。即ち、通報装置５０は、例えば状態判定処理部４５により浴室３内の人物２に異常がある（危険な状態にある）と判定された際に、このことを外部へ通報するように構成される。通報装置５０には、状態判定処理部４５で判定された人物２の異常や、浴室３に備えられた不図示のマイクより取得した音の情報等を、浴室３の外や、居間や食堂、寝室等の別の場所へ届けるための無線通信を用いた無線通信装置、電力線または専用線を用いた有線通信装置を含んで構成される。これらの通信装置によって送られた情報により、緊急を知らせるメッセージを流したり、警報音を出したり、光によるサインを出したりすることができる。また、これらの情報やメッセージ等は、固定電話回線やデータ通信回線、ＣＡＴＶ回線、移動電話回線等を通じて、離れた場所にいる人物２や装置に送ることも可能である。このようにすることで、人物２に異常があること即ち人物２が危険な状態にあることを第三者に逸速く知らせることができるので、危険な状態に迅速に対応できる。即ち、監視装置１は、監視の信頼性を高めることができる。本図では、通報装置５０は、外付けとして図示してあるが演算装置３０に内蔵としてもよい。
【００７１】
図９、図１０、図１１のフローを参照して、監視装置１の作用について説明する。
図９を参照して、図１、図３を適宜参照して、天井カメラ１１で撮像された画像に基づいての人物２の存在検出の作用について説明する。
【００７２】
まず、天井カメラ１１は、浴室３内の人物２を上方から撮像する（Ｓ１）。撮像された画像は、天井カメラ１１から出力信号として送信され、インターフェース３２を介して、画像処理部４１で受信する。そして、この出力信号を受信した画像処理部４１は、出力信号を処理してモザイク化した画像を取得する（Ｓ３）。次に、画像処理部４１により取得された画像は、エッジ処理部４２により、エッジの鋭さが算出される（Ｓ５）。さらにエッジ処理部４２は、算出したエッジの鋭さが、第１の閾値Ｔｈ１以上かを判定する（Ｓ７）。
【００７３】
エッジの鋭さが第１の閾値Ｔｈ１以上の場合には（Ｓ７がＹＥＳ）、まず換気扇８が運転中か否かを判定する（Ｓ９）。換気扇８が運転中の場合には（Ｓ９がＹＥＳ）、換気扇８の運転を停止し（Ｓ１１）、次に、存在検出部４３により、取得された画像のシルエット画像を生成する（Ｓ１３）。換気扇８が運転中でない場合には（Ｓ９がＮＯ）、そのまま、存在検出部４３により、取得された画像のシルエット画像を生成する（Ｓ１３）。そして、存在検出部４３は、生成されたシルエット画像上のシルエットにラベリング処理を行ない、人物２のシルエットを区別する（Ｓ１５）。さらに、全てのラベリングされたシルエットの面積（ラベル面積）が、第３の閾値Ｔｈ３より小さいかを判定する（Ｓ１７）。全てのラベル面積が第３の閾値Ｔｈ３より小さい場合には（Ｓ１７がＹＥＳ）、存在検出部４３は、人物２の存在無しと検出する（Ｓ１９）。
【００７４】
また、第３の閾値Ｔｈ３以上のラベル面積を有するシルエット即ち人物２のシルエットが存在する場合には（Ｓ１７がＮＯ）、人物２のシルエットの重心位置を算出する。そして、算出された重心位置に基づいて、重心位置が浴槽４に存在するか、洗い場７に存在するかを検出する（Ｓ２１）。人物２のシルエットの重心位置が浴槽４で検出された場合には（Ｓ２１が浴槽）、存在検出部４３は、人物２が浴槽４に存在することを検出する（Ｓ２３）。また、人物２のシルエットの重心位置が洗い場７で検出された場合には（Ｓ２１が洗い場）、存在検出部４３は、人物２が洗い場７に存在することを検出する（Ｓ２５）。
【００７５】
また、エッジの鋭さが第１の閾値Ｔｈ１より小さい場合には（Ｓ７がＮＯ）、まず、換気扇８を始動させ、湯気の除去を開始する（Ｓ２７）。また、既に換気扇８が運転している場合には、その運転を継続させる。次に、動き検出部４４により、フレーム間差分を算出する（Ｓ２９）。さらに、フレーム間差分が、第５の閾値Ｔｈ５以上であるかを判定する（Ｓ３１）。フレーム間差分が、第５の閾値Ｔｈ５以上である場合には（Ｓ３１がＹＥＳ）、動きが有ると検出する（Ｓ３３）。また、フレーム間差分が、第５の閾値Ｔｈ５より小さい場合には（Ｓ３１がＮＯ）、動きが無いと検出する（Ｓ３５）。
【００７６】
また、上述の換気扇８の運転中かの判定は、毎回判定しないようにしてもよく、例えば、所定回数に１回判定するようにしてもよい。このようにすれば、換気扇８の頻繁な発停を回避できる。
【００７７】
次に、図１０を参照して、図１、図３を適宜参照して、壁面カメラ２１で撮像された画像に基づいての人物２の遮断検出の作用について説明する。
【００７８】
まず、壁面カメラ２１は、浴室３内の特定の平面内を含む浴室３内を撮像する（Ｓ４１）。撮像された画像は、前述の天井カメラ１１の場合と同様に、モザイク化した画像を取得し（Ｓ４３）、エッジ処理部４２により、エッジの鋭さが算出される（Ｓ４５）。そして、エッジ処理部４２は、算出したエッジの鋭さが、第１の閾値Ｔｈ１以上かを判定する（Ｓ４７）。
【００７９】
エッジの鋭さが第１の閾値Ｔｈ１以上の場合には（Ｓ４７がＹＥＳ）、まず換気扇８が運転中か否かを判定する（Ｓ４９）。換気扇８が運転中の場合には（Ｓ４９がＹＥＳ）、換気扇８の運転を停止し（Ｓ５１）、次に、存在検出部４３により、取得された画像のシルエット画像を生成する（Ｓ５３）。換気扇８が運転中でない場合には（Ｓ４９がＮＯ）、そのまま、存在検出部４３により、取得された画像のシルエット画像を生成する（Ｓ５３）。そして、存在検出部４３は、生成されたシルエット画像から、特定の平面に相当する部分を切り出す（Ｓ５５）。さらに、切り出したシルエット画像の貫通ライン数が、第４の閾値Ｔｈ４を越えているかを判定する（Ｓ５７）。貫通ライン数が、第４の閾値Ｔｈ４を越えている場合には（Ｓ５７がＹＥＳ）、遮断有りと検出する（Ｓ５９）。また、貫通ライン数が、第４の閾値Ｔｈ４を越えていない場合には（Ｓ５７がＮＯ）、遮断無しと検出する（Ｓ６１）。
【００８０】
さらに、エッジの鋭さが第１の閾値Ｔｈ１より小さい場合には（Ｓ４７がＮＯ）、まず、換気扇８を始動させ、湯気の除去を開始する（Ｓ６３）。また、既に換気扇８が運転している場合には、その運転を継続させる。次に、動き検出部４４により、フレーム間差分を算出し（Ｓ６５）、さらに、フレーム間差分が、第５の閾値Ｔｈ５以上であるかを判定する（Ｓ６７）。フレーム間差分が、第５の閾値Ｔｈ５以上である場合には（Ｓ６７がＹＥＳ）、動きが有ると検出する（Ｓ６９）。また、フレーム間差分が、第５の閾値Ｔｈ５より小さい場合には（Ｓ６７がＮＯ）、動きが無いと検出する（Ｓ７１）。
【００８１】
そして、状態判定処理部４５は、存在検出部４３、又は動き検出部４４の検出結果の基づき、人物２の監視を行う。
【００８２】
次に、図１１の表に、本発明の第１の実施の形態の監視装置１を使用して、実際に行った人物２の状態の判定実験の結果について述べる。表の数値は判定精度を百分率で表したものである。実験は、画像取得間隔（撮像間隔）毎秒１フレームで、４０２１フレームを対象に行った。この結果が示すように、監視装置１は、判定精度９０％という高い精度持つことが判った。また、この４０２１フレーム中、誤った判定をしたフレームが２０２フレームあったので、データ全体の判定精度を算出すると、９５％以上という結果が得られた。また、この結果では人物２の水没の判定では、２％の誤判定があるが、これはフレーム毎の判定結果であり、各シーンによる警報については誤作動することなく１００％で発せられたので非常に信頼性が高い。
【００８３】
以上のように、監視装置１は、ＲＧＢバランスのなす角θ、即ち色の変化により、人物２の存在を検出できるので、例えば、浴室にこもった湯気や浴槽の湯面の反射、及び、交流電源による照明の周期的変動などに起因する悪影響を軽減しながらの人物２の存在する領域を抽出した画像を得ることが可能である。また、浴室壁面がべージュ色などのように、一見して肌の色に近い場合であっても、的確に人物２の存在を検出することが可能である。
【００８４】
以上のような第１の実施の形態の監視装置１によれば、浴室でも、人物２の状態を判断して、人物２の倒れ等の危険な状態を確実かつ迅速に検出することができる。また、浴槽での水没状態を正確に検出できるので、早期発見が可能であり、その際の誤報を低減することができる。また、洗い場に人物２がいるときは、倒れを検出しても、浴室内への呼びかけをゆっくり行ない、不要な呼びかけや通報を低減し、浴槽に人物２がいるときは、迅速な通報を優先する等、人物２の居場所によって、対応を選択することが可能であり、安静で快適な浴室の利用と救急対応とが両立できる。
【００８５】
また、監視装置１は、浴室３内の人物２の存在の検出を、上方から浴室３内の人物を撮像した画像と、浴室３内の特定の平面内を撮像した画像とに基づいて行っているので、人物２の監視を精度良く行うことができる。また、浴室３内の湯気等によるくもりを、エッジ処理部４２によるエッジの鋭さの判定により検出できる。これにより、例えば、くもりが激しい場合でも、エッジの鋭さの判定によりそれを検出し、換気扇８を作動させることで、くもりが低減されるので、監視の精度を低下させることなく、信頼性が高い。
【００８６】
以上では、撮像装置は複数の場合で説明したが、１つであってもよい。例えば前述した天井カメラ１１、壁面カメラ２１のどちらか１方であってもよい。この場合には、監視装置１の構成を単純化できる。このような場合では、例えば天井カメラ１１のみのときには、存在検出部４３は、前述した存在位置検出のみを行うといった具合に、それぞれのカメラから取得する画像に合わせた人物２の存在の検出を行うようにする。
【００８７】
また、撮像装置は複数の場合であっても、例えば、存在検出部４３は、前述した存在位置検出のみを行ない、遮断検出は行わないようにしてもよい。逆の場合も同じである。このようにすることで、処理を単純化することもできる。
【００８８】
さらに、以上では、エッジの鋭さが第１の閾値Ｔｈ１未満のときには、換気扇８を始動し、浴室３内のくもりを低減する場合で説明したが、監視装置１は、仮に、換気扇８を始動せずに、くもりが激しい状態のままであっても、動き検出部４４による人物２の動きの検出を行うので、人物２の監視を継続して行うことができる。即ち信頼性が高い。
【００８９】
また、本実施の形態では、図１に示すように、洗い場７の床は、浴槽４上端部より１段低い位置にある場合で説明したが、洗い場７の床と浴槽４の上端部とがほぼ同じ高さの場合には、特定の平面を複数例えば２つ設けることにより対処すればよい。即ちこの場合には、特定の平面の高さを浴槽４の上端部に設定すると、人物２の洗い場７での転倒を判定できなくなるので、高さの異なる複数例えば２つの特定の平面内の人物２の存在をそれぞれ検出するようにし、これら２つの特定の平面内の遮断検出と、存在位置検出との検出結果に基づいて人物２の転倒と水没を判定するようにするとよい。
【００９０】
図１２、図１３を参照して、本発明による第２の実施の形態である監視装置１０１について説明する。図１２は模式的斜視図であり、また、図１３（ａ）は図１２の正面図、図１３（ｂ）は図１２の平面図である。本実施の形態では、人物２の存在を検出する存在検出手段は、第１の存在検出手段と、第２の存在検出手段とがある。第１の存在検出手段は、図１４に示す存在検出部４３であり、第２の存在検出手段は、面内検出装置１２０である。存在検出部４３は、第１の実施の形態で前述したものと同様なものであるが、本実施の形態では遮断検出を行わない。監視装置１０１は、基本的に第１の実施の形態で説明した監視装置１と同様な構成であるが、壁面カメラ２１を備えおらず、第２の存在検出手段としての面内検出装置１２０を備えている。以下、第１の実施の形態と重複する説明を省略して説明する。
【００９１】
図１４に示すように、面内検出装置１２０は、第１の実施の形態で説明した演算装置３０の制御部３１にインターフェース３２を介して接続される。
【００９２】
図１２、図１３に戻って説明する。監視装置１と同様に、天井５には、天井カメラ１１が設置されている。また壁面６には、三次元空間としての浴室３内の特定の平面内での人物２の存在を検出する面内検出装置２０が設置されている。また特定平面は、所定の高さに設定する。所定の高さは、図１３（ａ）に示すように、浴槽４の上端より少し高い位置に設定することが好ましい。このように所定の高さに設定すれば、後述の人物２の状態の判定で、容易かつ確実に人物２の浴槽４内の水没状態を判定することができる。
【００９３】
ここで、面内検出装置１２０について説明する。面内検出装置２０は、浴室３内の特定の平面内に光束を射出する光束発生手段としての光検出装置１２１と、光検出装置１２１から射出される光束により照射される位置に配置された再帰反射素子１２２とを含んで構成されている。また光検出装置１２１は、再帰反射素子１２２で反射された光束を検知する光束検知手段でもあり、光束の伝搬方向を特定の平面内で偏向角度可変に偏向する光束偏向手段でもある。光検出装置１２１は、壁面６の所定の高さに設置される。
【００９４】
また、再帰反射素子１２２は、光検出装置１２１に対向する壁面６に、光検出装置１２１とほぼ同じ高さで帯状に設置される。また光検出装置１２１は、検出範囲の特に角の部分、例えば壁面６１と壁面６２との角部に設置するとよい。このように設置することで、浴室３全体を検出範囲とすることができる。またこの場合には、後述の光検出装置１２１の光束２００の偏向ミラーによる偏向角は、浴室３のおよそ中央部の壁面６に設置した場合に、１８０度に近い偏向角が必要なの対して、およそ９０度で済むことになるので、大変有利である。以上では、面内検出装置１２０は、以上のように設置したが、これに限られるものではなく、検出したい範囲、設置環境により適宜決めるようにするとよい。
【００９５】
再帰反射素子１２２は、入射した光束２００を、主に入射してきた方向に反射させるものである。再帰反射素子１２２は、例えばベースの上に小さいガラス球をちりばめたものや、小型の三角プリズムを多数細密に配置したものであり、一般に市販されているものを利用可能である。
【００９６】
また図１５（ａ）に示すように、再帰反射素子１２２は、反射面に複数の段部１２２ａを形成してもよい。再帰反射素子１２２は、光束２００が入射する角度が浅くなるにつれて、入射してきた方向に反射する光量が減少する傾向ある。このため再帰反射素子１２２は、複数の段部１２２ａを形成することにより、光束２００が入射する角度を垂直に近づけることができ、反射する光量の減少を抑えることができる。また、段部１２２ａは、光束２００が入射する角度にあわせて、（ａ）に示すように、反射面の角度を変えるようにしてもよいし、（ｂ）に示すように、入射する角度が極端に浅くなる部分だけに一定の角度で形成してもよい。また（ｃ）に示すように、再帰反射素子１２２は、反射面に曲面１２２ｂを形成して、光束２００が入射する角度を垂直に近づけてもよい。
【００９７】
図１６の模式図を参照して、光検出装置１２１の構成例を説明する。光検出装置１２１は、光源１２３、照射レンズ１２４、ビームスプリッタ１２５、受光素子１２６、偏向ミラー１２７、コントローラ１２８を含んで構成される。光検出装置１２１は、ほぼ水平に光束２００を射出する。また光検出装置１２１は、コントローラ１２８により制御されている。
【００９８】
光源１２３は、典型的には半導体レーザやＬＥＤである。光検出装置１２１は、光源１２３に、半導体レーザやＬＥＤを使用することで、装置の小型化を図ることができる。光束２００は、光源１２３から照射レンズ１２４を介してやや集束気味の集束光束として射出される。また、射出される光束２００としては、半導体レーザのようなコヒーレント光を使っても良いが、特に無収差光学系であったり、大きな輝度を必要とするわけではないので、一般的な光源を用いても構わない。以上では光束２００は、集束光束としたが平行光束または緩やかに拡散した拡散光束であってもよい。また、光束２００の光束径は、適当な光束径で再帰反射素子１２２に入射するように設定するとよい。光束２００の光束径は、再帰反射素子１２２の幅より小さく設定することがさらに好ましい。
【００９９】
また、光束２００には、赤外光を用いるとよい。このようにすることで、射出される光束２００が人間には見えず、不快感を与えることがない。
【０１００】
さらに光源１２３は、後で説明する受光素子１２６による光束２００の検知の際に外乱光と区別するために、一定の周波数で変調を行う。変調は、例えば周期的に光束２００の発生（射出）停止を繰り返し行うような動作である。この場合、光束２００の発生停止は、例えば光源１２３を発光停止してもよいし、遮光板やスリットを回転させることにより、発生停止をするようにしてもよい。さらに変調は、上述に加え、外乱光の強さにより、光源１２３の出力も変化させるようにしてもよい。変調は、コントローラ１２８により行うようにするとよい。
【０１０１】
光源１２３から照射レンズ１２４を介してやや集束気味の集束光束として射出された光束２００は、ビームスプリッタ１２５を透過し、偏向ミラー１２７に到達して、反射する。反射した光束２００は、緩やかな拡散光束となり再帰反射素子１２２の幅に近い適当な光束径となって再帰反射素子１２２に入射する。再帰反射素子１２２で反射した光束２００は、元の光路を戻り、偏向ミラー１２７で反射し、ビームスプリッタ１２５に入射する。そして、ビームスプリッタ１２５に入射した光束２００は、ビームスプリッタ１２５で反射して受光素子１２６に入射し、受光素子１２６により検出される。偏向ミラー１２７は、典型的にはポリゴンミラーであり、受光素子１２６は、典型的にはフォトダイオードである。
【０１０２】
また、偏向ミラー１２７としては、ポリゴンミラー的な構成の他に、共振ミラー、ガルバノミラー等があるが、特に高速の偏向を必要としない場合、平面ミラーを水平面に対してほぼ垂直に設置し、水平面に対してほぼ垂直な軸で回転させても良い。
【０１０３】
また図１７の模式図に示すように、平面ミラー１２７を水平面に対してほぼ４５度に設置し、水平面に対してほぼ垂直な軸で回転させ、この回転軸を含む直線上に光軸を設けてミラーの回転と共に反射光を偏向するように構成してもよい。また、偏向ミラー１２７の代わりとして、透過型の偏向器である超音波偏向器を使用してもよい。
【０１０４】
図１６に戻って説明する。偏向ミラー１２７は、不図示のモーターにより、水平面に対してほぼ垂直方向を回転軸として回転可能となっている。光束２００は、偏向ミラー１２７が回転によって１２７’または１２７”の位置に来たときに、光束２００はそれぞれ２００’、２００”の方向に反射される。従って、光検出装置１２１を射出した光束２００は、偏向ミラー１２７により、浴室３の壁面６に帯状に設置した再帰反射素子１２２に沿って偏向され、この高さにおいて浴室３内のほぼ全体を走査することができる。
【０１０５】
光検出装置１２１は、コントローラ１２８により想定された光量が受光素子１２６に戻ってきたかどうかにより人物２の存在を検出する。また光検出装置１２１は、受光素子１２６が受光した光のうち、光源１２３からの変調された周波数の光を増幅し、検出するようにしてもよい。このようにすると、光検出装置１２１は、再帰反射素子１２２で反射された光束２００と外乱光とを区別することができるので、より正確に人物２の存在を検出できる。光検出装置１２１には、例えばフォトディテクタを用いるとよい。
【０１０６】
想定された光量が受光素子１２６に戻ってきた場合には、コントローラ１２８は、人物２の存在の検出を、第１の実施の形態で説明した遮断検出の検出結果として演算装置３０に出力する。即ち、人物２が存在すると検出した場合には、遮断有り、人物２が存在しないと検出した場合には、遮断無しという検出結果を演算装置３０の状態判定処理部４５に出力する。また検出結果には、人物２の存在の検出位置を含めてもよい。検出位置は、偏向角度から求めることができ、偏向角度は、モーターの回転角や、光束２００が再帰反射素子１２２の端部等の一定位置を通過してからの時間等から知ることができる。
【０１０７】
光検出装置１２１から再帰反射素子１２２に至る光路の途中に人物２がいた場合には、射出された光束２００が人物２にあたることによって散乱されるため、光検出装置１２１に戻ってくる光束２００の光量は光路途中に人物２がいなかった場合に比べて非常に小さくなる。従って光検出装置１２１は、検出範囲のいずれかの場所で特定平面に人物２が存在する場合には、受光素子１２６に戻ってくる光量が想定よりも少なくなり、そのことを知ることができる。受光素子１２６に入射する光量は、人物２がいる場合といない場合で、非常に大きい差となるので、浴室３内の湯気等の外乱物質があってもその影響を受けにくい。
【０１０８】
以上では、面内検出装置１２０の検出範囲は浴室３全体として説明したが、検出範囲を浴槽４としてもよい。これは、浴室３の場合、洗い場７での転倒事故も頻繁に発生するが、生命に関わったり、後遺障害を残す事故は、浴槽４内での水没事故がほとんどであるためである。
【０１０９】
図１８の模式図に示すように、面内検出装置１２０を、浴槽４と洗い場７の境界付近に設置し、浴槽４の上だけを検出範囲即ち特定平面とすれば、シャワー等の影響を受ける検知領域を最小限にすることができ、より確実に水没事故を検出することができる。
【０１１０】
以上のような第２の実施の形態の監視装置１によれば、例えば、第１の実施の形態と比較して、壁面カメラ２１により特定の平面内を撮像した画像を処理しないので、画像の処理量を低減できることで、処理を単純化できる。
【０１１１】
【発明の効果】
以上のように本発明によれば、湯気を発生し得る三次元空間内における対象物を監視する監視装置において、前記三次元空間内の前記対象物を撮像する撮像装置と、前記撮像装置からの出力を受信して処理し、前記対象物の画像を取得する画像処理装置と、前記取得された画像のエッジの鋭さを判定するエッジ判定手段と、前記エッジ判定手段の判定結果に基き前記三次元空間内の湯気を除去する湯気除去手段を動作可能とする信号を発信する信号発信手段を備えるので、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態である監視装置の概要を示す模式的斜視図である。
【図２】図１の場合における、監視装置の正面図（ａ）と平面図（ｂ）である。
【図３】本発明の第１の実施の形態である監視装置の構成を説明するブロック図である。
【図４】本発明の第１の実施の形態で用いるエッジ処理部について説明する模式的正面図である。
【図５】本発明の第１の実施の形態で用いる存在検出部について説明する模式図である。
【図６】本発明の第１の実施の形態で用いるＲＧＢバランスについて説明する線図である。
【図７】本発明の第１の実施の形態で用いる壁面カメラから取得した画像に基づいて行う遮断検出について説明する模式図である。
【図８】本発明の第１の実施の形態である人物の状態の判定について説明するブロック図である。
【図９】本発明の第１の実施の形態である天井カメラで撮像された画像に基づいての人物の存在検出の作用について説明するフロー図である。
【図１０】本発明の第１の実施の形態である壁面カメラで撮像された画像に基づいての人物の遮断検出の作用について説明するフロー図である。
【図１１】本発明の第１の実施の形態である監視装置を用いた実験の結果を示す表の図である。
【図１２】本発明の第２の実施の形態である監視装置の概要を示す模式的斜視図である。
【図１３】図１２の場合における、監視装置の正面図（ａ）と平面図（ｂ）である。
【図１４】本発明の第２の実施の形態である監視装置の構成を説明するブロック図である。
【図１５】本発明の第２の実施の形態で用いる再帰反射素子の形状を説明する模式図である。
【図１６】本発明の第２の実施の形態で用いる光検出装置の構成例を示す模式図である。
【図１７】本発明の第２の実施の形態で用いる光検出装置の別の構成例を示す模式図である。
【図１８】図１２の場合における、面内検出装置の検出範囲を浴槽上のみにした場合の監視装置の正面図（ａ）と平面図（ｂ）である。
【符号の説明】
１ 監視装置
２ 人物
３ 浴室
４ 浴槽
６ 壁面
７ 洗い場
１１ 天井カメラ
２１ 壁面カメラ
３０ 演算装置
３１ 制御部
３２ インターフェース
３４ 記憶部
３６ 入力装置
３７ 出力装置
４１ 画像処理部
４２ エッジ処理部
４３ 存在検出部
４４ 動き検出部
４５ 状態判定処理部
５０ 通報装置
１０１ 監視装置
１２０ 面内検出装置
１２１ 光検出装置
１２２ 再帰反射素子
１２３ 光源
１２４ 照射レンズ
１２５ ビームスプリッタ
１２６ 受光素子
１２７ 偏向ミラー
２００ 光束
【発明の属する技術分野】
本発明は、監視装置に関し、特に対象領域内の物体や人物の存在及びその姿勢を検出する監視装置に関するものである。
【０００２】
【従来の技術】
近年、人口構成の高齢化に伴い、特に浴室での事故が社会問題として注目されつつある。浴室では、心臓麻痺や脳卒中を起こすことが多く、それに伴って浴槽内で溺れる等のケースが目立つ。これらのトラブルは、いずれも１分、1秒でも早く発見し、蘇生術を施すことが、救命及び後潰症の軽減に必要であり、また一般家庭では、浴室が個室であることが多く、浴室内でのトラブルの早期発見には、それを迅速に検出する検出装置が必要となる。
【０００３】
上記のような検出装置として、動き検出センサが提案されている。代表的な例は、浴室内の画像を撮像し、取得した画像を複数の部分画像に分けて、各部分画像毎に明るさと色の変化から対象物の動きがあるかどうかを検出し、各部分画像の動きの状況により、入浴中の人物が動いているか否かを判定する物である。また、浴室専用ではないが、転倒を含む個室内の人物の状態を検出する装置として、天井に取り付けた赤外線画像センサと、壁面に取り付け一定の高さを検知エリアとする熱線高さセンサを組み合わせて相互の出力から室内の人物の状態を判定する装置が提案されている。この装置は、壁面のセンサの検出高さエリアを適当に設定することにより、在室中の人物が低い姿勢をとっているか、高い姿勢をとっているか、即ち、転倒状態にあるか、そうでないかを検出することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、浴室で使用した場合には、例えば湯気によるくもりが発生することにより、人物の状態の検出精度が低下する傾向があった。
【０００５】
本発明は、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視装置１は、例えば図１、図３に示すように、湯気を発生し得る三次元空間３内における対象物２を監視する監視装置において；三次元空間３内の対象物２を撮像する撮像装置１１と；撮像装置１１からの出力を受信して処理し、対象物２の画像を取得する画像処理装置４１と；前記取得された画像のエッジの鋭さを判定するエッジ判定手段４２と；エッジ判定手段４２の判定結果に基き三次元空間３内の湯気を除去する湯気除去手段８を動作可能とする信号を発信する信号発信手段４２を備える。
【０００７】
このように構成すると、撮像装置１１と、画像処理装置４１と、エッジ判定手段４２とを備えているので、例えば、撮像装置１１からの出力を受信して処理し、対象物２の画像を取得し、前記取得された画像のエッジの鋭さを判定することができる。さらに、エッジ判定手段４２の判定結果に基き三次元空間内の湯気を除去する湯気除去手段を動作可能とする信号を発信する信号発信手段４２を備えているので、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することができる。また、前記信号発信手段からの信号により、湯気除去手段例えば換気扇を始動するようにし、このときは、湯気を消滅または薄くすることができ、検出精度を回復することができる。
【０００８】
上記目的を達成するために、請求項２に係る発明による監視装置１は、例えば図１、図３に示すように、湯気を発生し得る三次元空間３内における対象物２を監視する監視装置において；三次元空間３内の対象物２を撮像する撮像装置１１と；撮像装置１１からの出力を受信して処理し、対象物２の画像を取得する画像処理装置４１と；前記取得された画像のエッジの鋭さを判定するエッジ判定手段４２と；対象物２の動きの有無を検出する動き検出手段４４とを備え；エッジ判定手段４２が数値により前記エッジの鋭さを判定し、前記エッジの鋭さが一定未満のときに、動き検出手段４４の検出結果に基づいて、対象物２の異常有無判定を行うように構成される。
【０００９】
このように構成すると、撮像装置１１と、画像処理装置４１と、エッジ判定手段４２とを備えているので、例えば、撮像装置１１からの出力を受信して処理し、対象物２の画像を取得し、前記取得された画像のエッジの鋭さを判定することができる。さらに、動き検出手段４４とを備え、エッジ判定手段４２が数値により前記エッジの鋭さを判定し、前記エッジの鋭さが一定未満のときに、動き検出手段４４の検出結果に基づいて、対象物２の異常有無判定を行うように構成されるので、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することができる。
【００１０】
上記目的を達成するために、請求項３に係る発明による監視装置１は、例えば図１、図３に示すように、湯気を発生し得る三次元空間３内における対象物２を監視する監視装置において；三次元空間３内の対象物２を撮像する撮像装置１１と；撮像装置１１からの出力を受信して処理し、対象物２の画像を取得する画像処理装置４１と；前記取得された画像のエッジの鋭さを判定するエッジ判定手段４２と；対象物２の存在を検出する存在検出手段４３と；対象物２の動きの有無を検出する動き検出手段４４とを備え；エッジ判定手段４２の判定結果に基き、前記エッジの鋭さが一定以上のときは、存在検出手段４３の検出結果に基づいて、対象物２の異常有無判定を行い、前記エッジの鋭さが一定未満のときは、動き検出手段４４の検出結果に基づいて、対象物２の異常有無判定を行うように構成される。
【００１１】
このように構成すると、撮像装置１１と、画像処理装置４１と、エッジ判定手段４２とを備えているので、例えば、撮像装置１１からの出力を受信して処理し、対象物２の画像を取得し、前記取得された画像のエッジの鋭さを判定することができる。さらに、存在検出手段４３と、動き検出手段４４とを備え、エッジ判定手段４２の判定結果に基き、前記エッジの鋭さが一定以上のときは、存在検出手段４３の検出結果に基づいて、対象物２の異常有無判定を行い、前記エッジの鋭さが一定未満のときは、動き検出手段４４の検出結果に基づいて、対象物２の異常有無判定を行うように構成されるので、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することができる。
【００１２】
また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視装置１では、撮像装置１１は、上方から三次元空間３内の対象物２を撮像するように構成するとよい。
【００１３】
このように構成すると、撮像装置１１は、上方から三次元空間３内の対象物２を撮像するので、例えば、上方から撮像することで、三次元空間３内の広範囲を撮像した画像を容易に取得することができ、対象物２の存在を検出しやすくなる。
【００１４】
また請求項５に記載のように、請求項４に記載の監視装置１では、例えば図１２、図１６に示すように、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内に光束を射出する光束発生手段１２１と、光束発生手段１２１から射出される光束により照射される位置に配置された再帰反射素子１２２と、再帰反射素子１２２で反射された前記光束を検知する光束検知手段１２１とを備え；光束発生手段１２１は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段１２７を有するとよい。
【００１５】
このように構成すると、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内に光束を射出する光束発生手段１２１と、光束発生手段１２１から射出される光束により照射される位置に配置された再帰反射素子１２２と、再帰反射素子１２２で反射された前記光束を検知する光束検知手段１２１とを備え、光束発生手段１２１は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段１２７を有するので、例えば、単純な構成でありながら、特定の平面内の対象物２の存在を検出できる。
【００１６】
また請求項６に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視装置１では、例えば図１に示すように、撮像装置１１は、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内の対象物２を撮像するように構成してもよい。
【００１７】
このように構成すると、撮像装置１１は、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内の対象物２を撮像するように構成されているので、例えば、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内を撮像した画像を取得することで、特定の平面内の対象物２の存在を検出しやすくなる。言い換えれば、特定の平面の高さの対象物２の存在を容易に検出できる。
【００１８】
また請求項７に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視装置１では、撮像装置１１は複数備えられ；さらに前記複数の撮像装置１１のうち少なくとも１は、上方から三次元空間３内の対象物２を撮像し、他の少なくとも１は、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内の対象物２を撮像するように構成してもよい。
【００１９】
このように構成すると、撮像装置１１は複数備えられ、さらに前記複数の撮像装置１１のうち少なくとも１は、上方から三次元空間３内の対象物２を撮像し、他の少なくとも１は、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内の対象物２を撮像するように構成されているので、例えば、上方から三次元空間３内を撮像した画像と、三次元空間３内の所定の基準面から所定の距離に設定された特定の平面内を撮像した画像とを容易に取得することができ、対象物２の存在の検出精度を高めることができる。即ち対象物２を高い精度で監視できる監視装置とすることができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２１】
図１は、本発明による第１の実施の形態である監視装置１の模式的斜視図である。また、図２（ａ）は図１の正面図、図２（ｂ）は図１の平面図である。監視装置１は、湯気の発生し得る三次元空間としての浴室３内における対象物２を監視するものである。また図中対象物２が浴室３内に存在している。対象物２は、本実施の形態では人物である（以下対象物を人物２という。）。また、浴室３には、浴室３内の人物２を撮像する撮像装置が設置されている。本実施の形態では、撮像装置は、複数備えられ、さらに複数の撮像装置のうち少なくとも１は、上方から浴室３内の人物２を撮像し、他の少なくとも１は、浴室３内の特定の平面内の人物２を撮像するように構成されている。なお、監視装置１の各構成の詳細については後で説明する。
【００２２】
浴室３は、四方を壁面６に囲まれた閉空間であり、上方に天井５が形成されている。壁面６は、正面壁面６１、左側面壁面６２、裏面壁面６３、右側面壁面６４（以下単に壁面６１、６２、６３、６４という、また区別しないときは単に壁面６という）で構成されている。さらに浴室３は、浴槽４と、洗い場７とを有している。そして、浴槽４は洗い場７と隣接して設置されている。また、浴室３には、図３を参照して後述するエッジ処理部３２からの信号を受信し、浴室３内に発生した湯気を除去する湯気除去手段としての換気扇８が取り付けられている。換気扇８は、浴室３の裏面壁面６３上部に取り付けられ、浴室３内の換気を行うことができる。換気扇８は、演算装置３０に接続されている。また換気扇８は、図３で後述するエッジ処理部４２の換気扇作動信号を受信することで、運転を開始（始動）する即ち湯気の除去を開始するように構成されている。また、換気扇８は、後述のエッジ処理部４２によるエッジの鋭さの判定結果が、一定以上に回復した場合には、運転を停止するように構成するとよい。また、換気扇８は、換気扇作動信号を受信することで、一定時間運転した後に自動的に運転を停止するように構成してもよい。
【００２３】
さらに、天井５には、浴室３内の人物２を撮像する撮像装置としての天井カメラ１１が設置されている。また、天井カメラ１１は、複数の撮像装置のうち、上方から浴室３内の人物２を撮像するものでもある。本実施の形態では、天井カメラ１１は、天井５の図中右端部中央に、天井カメラ１１を保護する撮像装置保護手段としての保護カバー１２（図中破線で表示）に覆われて、取り付けられている。天井カメラ１１は、保護カバー１２により保護されているので、例えば天井カメラ１１にお湯がかかるような場合でも、壊れたり、作動不良を発生することなく、安定して撮像することができる。また、本実施の形態では、撮像装置保護手段としては保護カバー１２を用いるが、例えば、撮像装置保護手段として、カメラ本体に防滴処理を施してもよい。防滴処理とは例えばカメラ内部に水分の侵入を防ぐために、部材の隙間等をシールする処理である。
【００２４】
さらに、撮像装置保護手段は、撮像装置と三次元空間即ち浴室３との界面で、撮像に係る光が透過する部位には、水滴の形成を防止する手段例えば親水性の薄膜を形成してすることが好ましい。言い換えれば、保護カバー１２の撮像に係る光が透過する部位に親水性の薄膜を形成することが好ましい。このようにすると、該部位が一様に濡れるので水滴が形成されにくい。また、上述のようにカメラに防滴処理を施す場合には、撮像装置の対物レンズに親水性の薄膜を形成するとよい。ここでいう水滴の形成は、くもりを含む概念である。このようにすることで、例えば水滴の形成により画像の画質が悪くなることを防止することができるので有効である。
【００２５】
また天井カメラ１１の取付場所は、本実施の形態では、上記のように天井５の右端部であるが、中央部であってもよい。さらに、取付場所は、天井５であることが好ましいが、浴室３内に存在する人物２を検出しやすい場所であればどこでもよく、例えば壁面６の上部であってもよい。
【００２６】
また壁面６には、浴室３内の人物２を撮像する撮像装置としての壁面カメラ２１が設置されている。また、壁面カメラ２１は、複数の撮像装置のうち、浴室３内の特定の平面内の人物２を撮像するように構成されたものでもある。本実施の形態では、壁面カメラ２１は、壁面６が形成する角部（図中正面壁面６１と右側面壁面６４とが形成する角部）に取り付けられている。言い換えれば、浴槽４近傍に取り付けられている。壁面カメラ２１は、撮像装置保護手段としての保護カバー２２（図中破線で表示）に覆われて、取り付けられている。壁面カメラ２１は、保護カバー２２により保護されているので、例えば壁面カメラ２１にお湯がかかるような場合でも、壊れたり、作動不良を発生することなく、安定して撮像することができる。これにより、監視装置１の信頼性が向上する。なお、壁面カメラ２１は、少なくとも浴室３内の特定の平面内を撮像すればよく、例えば、浴室３内の特定の平面内を含む浴室３全体を撮像してもよい。
【００２７】
また特定平面は、所定の高さに設定する。所定の高さとは、例えば、人物２が座っているときの頭の高さ程度とする。さらに所定の高さは、図２（ａ）に示すように、浴槽４の上端と同じ高さ、または上端より僅かに高い位置に設定することがさらに好ましい。このように所定の高さに設定すれば、後述の状態判定処理部４５での人物２の状態の判定で、容易かつ確実に、例えば人物２の浴槽４内の水没状態、洗い場７での転倒状態を判定することができる。さらに特定平面は、高さ方向に適当な幅を有するように設定することが好ましい。適当な幅は、好ましくは５ｍｍ〜１００ｍｍ程度、さらに好ましくは５ｍｍから２０ｍｍ程度である。なお、図示では適当な幅は、一定の大きさ（図中一点鎖線で表示）で示してあるが、実際には、壁面カメラ２１から離れる程、大きくなる傾向にある。このため、適当な幅は、人物２が主に存在する場所、例えば浴槽４周辺の位置で上記の値になるように調整するとよい。
以下、天井カメラ１１と壁面カメラ２１とを特に区別しないときには単にカメラ１０という。
【００２８】
カメラ１０は、結像レンズと撮像素子とを含んで構成されたものであり、典型的にはＣＣＤカメラである。さらにカメラ１０は、色の３成分を検出し、３成分で構成されるカラー画像を取得できるものとする。即ちカメラ１０は、カラーＣＣＤカメラとする。検出する色の３成分は、典型的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）（以下単にＲＧＢという）であるが、３成分のうちどの２成分を混色しても残りの１成分にならない、即ち３成分が独立な組み合わせならよい。また、他の３成分としては、例えばＣＭＹ、ＨＳＶ、ＹＣｂＣｒ、ＹＵＶ、ＹＩＱ、ＸＹＺ、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊等があり、これらのいずれでも構わない。またこれらは、いずれもＲＧＢから容易に変換することができる。ここでは、検出する色の３成分は、ＲＧＢカラーとして説明する。
【００２９】
図３のブロック図を参照して、監視装置１の構成の一例についてさらに説明する。監視装置１は、前述した天井カメラ１１、壁面カメラ２１と、演算装置３０とを含んで構成される。演算装置３０は、典型的にはパソコンやマイコン等のコンピュータある。演算装置３０は、制御部３１を備えており、監視装置１を制御している。また制御部３１には、インターフェース３２が接続されており、天井カメラ１１、壁面カメラ２１、換気扇８、通報装置４０は、インターフェース３２を介して制御部３１に接続され、制御されている。
【００３０】
また、制御部３１には、記憶部３４が接続されており、入力した情報や算出された情報等のデータが記憶できる。さらに演算装置３０は、天井カメラ１１、壁面カメラ２１から、それぞれ取得した画像、及びそれぞれ後述の画像処理部３２を介して取得した画像を、記憶部３４に時系列で保存できるように構成されている。
【００３１】
また制御部３１には、監視装置１を操作するための情報を入力する入力装置３６、監視装置１で処理された結果を出力する出力装置３７が接続されている。入力装置３６は例えばタッチパネル、キーボードあるいはマウスであり、出力装置３７は例えばディスプレイやプリンタである。本図では、入力装置３６、出力装置３７は演算装置３０に外付けするものとして図示されているが、内蔵されていてもよい。また、入力装置３６は、例えば監視の開始や解除を行なえるスイッチ、出力装置３７は、例えば動作インジケータとしてのＬＥＤとしてもよい。このようにすると、監視装置１を単純に構成できる。
【００３２】
また監視装置１は、カメラ１０からの出力を受信して処理し、人物２の画像を取得する画像処理装置としての画像処理部４１と、画像処理部４１により取得された画像のエッジの鋭さを判定するエッジ判定手段としてのエッジ処理部４２とを有している。画像処理部４１と、エッジ処理部４２は、典型的には、制御部３１内に備えられる。また、エッジ処理部４２は、エッジ処理部４２の判定結果に基き一定の信号を発信する信号発信手段でもある。以下上記各構成について説明する。
【００３３】
画像処理部４１は、カメラ１０から受信した出力信号を処理し、画像を取得するものである。また、画像処理部４１による画像の取得間隔は、例えば装置の処理速度や、監視したい人物の動きの内容により適宜決めるとよいが、例えば０．１〜１０秒、好ましくは、０．５〜３秒、最も好ましくは１秒程度とするとよい。カメラ１０から出力される画像は、画像処理部４１により取り込まれる。取り込まれた画像は、デジタル画像であり各ピクセル（画素）の情報は、次式（１）のように、Ｒ、Ｇ、Ｂの輝度値の集合として表される。
Ｉ(ｉ,ｊ)＝{Ｒ(ｉ,ｊ), Ｇ(ｉ,ｊ), Ｂ(ｉ,ｊ)} ・・・・・・・・・・（１）
【００３４】
また、画像処理部４１が取得する画像は、モザイク化した画像である。ここでのモザイク化とは、例えば画像の解像度を下げることである。解像度は、例えば取得した画像の１／１０程度に下げるとよい。これは、例えばカメラ１０から出力される画像の解像度が、例えば２４０×３２０ｐｉｘｅｌ（ピクセル）であった画像を、２４×３２ｐｉｘｅｌに変換することである。このようにすることで、画像が軽くなり、計算量を減らすことができるので、処理の高速化が可能になる。さらに、取得された画像上での人物２の細部が判らなくなるので、撮像される人物２のプライバシーを保護することができる。
【００３５】
エッジ処理部４２は、上述の画像処理部４１により取得された画像のエッジの鋭さを判定するものである。ところで、一般的に、ぼやけた画像はエッジが少ない。このことに注目して、画像全体のエッジの鋭さを求めることで、画像のぼやけ具合を検知することができる。また、例えば湯気によるくもりが激しく、ぼやけてしまった画像から後述のような存在検出部４３による人物２の存在の検出を行うと、正確な検出ができず、人物２の状態の誤判定を起こす可能性がある。監視装置１は、エッジ処理部４２でエッジの鋭さを判定することにより、例えば、湯気によりくもりが激しいか否かを検知でき、判定の信頼性を高めることができる。
【００３６】
エッジ処理部４２は、エッジの鋭さの判定を、画像処理装置４１で取得した色の３成分（ＲＧＢ）で表現される画像から、輝度だけで表現される画像に変換し、その変換した画像で行うようにするとよい。ここでいう、画像を変換するとは、Ｒ、Ｇ、Ｂのそれぞれの成分に、各々所定の係数をかけて加算した画像とすることである。所定の係数は、例えば必要な色が強調されるように各々設定するようにすることが好ましい。このようにすることで、必要な色が強調された画像でエッジの鋭さの判定を行なえるので、判定の信頼性が増す。
【００３７】
エッジの鋭さは、画像からエッジを抽出する方法として一般的に用いられているラプラシアンフィルタを用いて算出することが好ましい。ラプラシアンフィルタは、２つの変数によって変化するスカラー値I (x, y)に対して、次式（２）によって求めることができる。
【数１】
Ｅ(i,j)＝Σ｜∇2Ｉ｜ ・・・・・・・・・・・・・・・・・・・・・（４）
この絶対値の総和Ｅ (i, j)をエッジの鋭さとする。
【００３８】
エッジ処理部４２は、エッジの鋭さが一定未満のとき、即ちエッジの鋭さの値が一定値より小さくなったときに、湯気によるくもりが激しいと判定するように構成されている。具体的には、例えば、一定値として第１の閾値Ｔｈ１を設定する。そして、エッジ処理部４２は、エッジの鋭さの値が第１の閾値Ｔｈ１より小さくなったときに、湯気によるくもりが激しいと判定するように構成するとよい。
【００３９】
また、エッジ処理部４２は、上記の判定結果に基づき一定の信号としての換気扇作動信号を発信するように構成される。エッジ処理部４２は、換気扇作動信号を発信することで、湯気除去手段としての換気扇８を作動させることができるように構成される。即ち、発生した湯気を除去できる。また、エッジ処理部４２は、エッジの鋭さの判定結果が、一定未満のときには、湯気除去手段としての換気扇８の運転を行うように構成するとよい。ここで、換気扇８の運転を行うとは、運転の開始（始動）であってもよいし、運転の継続であってもよい。
【００４０】
例えば、図４に示すように、エッジ処理部４２は、湯気によりくもりが発生した状態（図４（ａ）の状態）であっても、エッジ処理部４２によるエッジの鋭さの判定によりくもりが激しいと判定することで、換気扇８が作動される。換気扇８が作動することで、浴室３内の湯気によるくもりが軽減され、くもりが少ない状態（図４（ｂ）の状態）に戻る。このように、監視装置１は、湯気によるくもりが激しい場合に、エッジ処理部４２によりそれを判定し、換気扇８を作動させることで、くもりを軽減し、低下したエッジの鋭さの値を高めることができる。さらに、エッジの鋭さの値を高めることで、人物２の存在の検出が高精度に行なえるようになる。
【００４１】
また、エッジ処理部４２は、エッジの鋭さの判定結果が、一定以上に回復した場合には、湯気除去手段としての換気扇８の運転を停止するように構成するとよい。即ちくもりが激しいと判定し、換気扇８を作動させた後に、エッジの鋭さの値が第１の閾値Ｔｈ１（又は頻繁な発停を避けるために第１の閾値Ｔｈ１より僅かに大きい閾値Ｔｈ１’）以上になったときには、湯気によるくもり軽減されたと判定して、換気扇８を停止させるように構成するとよい。
【００４２】
図３に戻って、監視装置１についてさらに説明する。さらに監視装置１は、画像処理部４１により取得された画像に基いて人物２の存在を検出する存在検出手段としての存在検出部４３と、画像処理部４１により取得された画像に基いて人物２の動きの有無を検出する動き検出手段としての動き検出部４４とを有している。存在検出部４３と、動き検出部４４は、典型的には制御部２１内に備えられている。また監視装置１は、エッジ処理部４２の判定結果に基き、エッジの鋭さが一定以上のときは、存在検出部４３の検出結果に基づいて、人物２の異常有無判定を行い、エッジの鋭さが一定未満のときは、動き検出部４４の検出結果に基づいて、人物２の異常有無判定を行うように構成されている。上記異常有無判定は、制御部３１内に備えられた状態判定処理部４５で行うようにする。以下上記各構成について説明する。
【００４３】
図５を参照して、存在検出部４３について説明する。存在検出部４３は、カメラ１０より取得した異なる２時点の画像から人物２が抽出された画像であるシルエット画像を生成するように構成されている。異なる２時点のうち１時点は、例えば、人物２が浴室３内に存在しない時点である。即ち、本実施の形態では、異なる２時点の画像とは、任意の検出時点に取得した画像と、人物２が存在しない時点の画像である。また、人物２が存在しない時点の画像を基準画像とする。基準画像は、記憶部３４内に保存される。以下、異なる２時点の画像を、取得画像、基準画像として説明する。
【００４４】
また、異なる２時点の画像は、任意の検出時点とそのわずかに前の時点としてもよい。わずかに前とは、人物２の移動を監視するのに十分な時間間隔だけ前であればよい。この場合、人物２のわずかな移動も監視したいときは短く、例えば人物２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０〜１／３）とする。また、人物２の大まかな移動を監視したいとき、または動きの少ない人物２を監視したいときは長く、例えば１０秒程度としてもよい。ただし、高齢者の監視等では長くし過ぎると、状態の検出が遅くなり大事に到ることがあり得るので、例えば５分などにするのは適切でない。
【００４５】
存在検出部４３は、画像処理部４１により取得されたカラー画像の３成分即ちＲＧＢから選択される２乃至３成分により構成されるベクトルの差を算出してシルエット画像を生成するように構成されている。本実施の形態では、選択される成分は、３成分である。ベクトルの差とは、例えばベクトル間距離又はベクトルのなす角である。本実施の形態では、ベクトルのなす角θを算出する。また、存在検出手段４３は、ＲＧＢカラー画像から、対応する各々の画素毎に、３成分の場合にはＲＧＢ色空間を形成し、２成分の場合には、色平面を形成する。本実施の形態は、３成分であるので、色空間を形成する。ここでは、注目画素のＲ、Ｇ、Ｂの輝度値（式（１）参照）を成分とするベクトルをＲＧＢバランスと呼ぶ。
【００４６】
ＲＧＢバランスは、上記ベクトルの向きが色そのものの情報を、ベクトルの長さが色の明るさの情報をそれぞれ反映する。従って、ＲＧＢバランスの差、即ちＲＧＢバランスのなす角θの大きさは、色の明るさに関係しない、色そのものの差に相当する。これにより、例えば照明変動によってある画素が影になっても、明るさ、即ちＲＧＢバランスの長さ（ベクトルの大きさ）の変動に過ぎず、ＲＧＢバランスの向きには影響しないので、本実施の形態のように浴室を監視するような場合には特に有効である。
【００４７】
図６を参照して、ＲＧＢバランスについて説明する。図６の線図は、ＲＧＢ色空間を直交座標系で示したものである。ＲＧＢバランスは、取得画像、基準画像共に、各画素について算出する。存在検出部４３は、取得画像と基準画像の２つの画像の対応する画素のＲＧＢバランスの差、即ち２つのＲＧＢバランス（ベクトル）のなす角θを算出する。ここで、２つの画像の対応する画素とは、典型的には、２つの画像の同じ位置にある画素であるが、例えば２つの画像各々で任意に定めた位置にある画素であってもよい。存在検出部４３は、ＲＧＢバランスのなす角θの算出を、全ての画素に対して行う。
【００４８】
ここで、例えば、基準画像上の対応する点のＲＧＢバランスを
Ｉｂ(ｉ,ｊ)＝{Ｒｂ(ｉ,ｊ), Ｇｂ(ｉ,ｊ), Ｂｂ(ｉ,ｊ)} ・・・・・・（５）
とし、取得画像上の対応する点のＲＧＢバランスを
Ｉｃ(ｉ,ｊ)＝{Ｒｃ(ｉ,ｊ), Ｇｃ(ｉ,ｊ), Ｂｃ(ｉ,ｊ)} ・・・・・・（６）
とすると、この２つのＲＧＢバランスのなす角θは、次式（７）となる。
【数２】
図５に戻って説明する。存在検出部４３は、算出されたベクトルの差、即ちＲＧＢバランスのなす角θに対応する画素が、一定値以上のときには、人物２の部分と判定し、一定値未満のときには、背景の部分と判定するように構成される。具体的には、一定値として第２の閾値Ｔｈ２を設定し、存在検出部４３は、ＲＧＢバランスのなす角θに対応する取得画像の画素が、第２の閾値Ｔｈ２以上のときには、人物２の部分と判定し、第２の閾値Ｔｈ２より小さいときには、背景の部分と判定するように構成される。この判定値Ｂ (ｉ, ｊ)を、次式（８）と定義する。
【数３】
【００５０】
このようして、人物２か、背景部分かの判定を、取得画像と基準画像の２つの画像の対応する各画素について行うと、人物２の分布を示したシルエット画像が得られる。シルエット画像は前述しようにモザイク化した取得画像と基準画像から生成するので、シルエット画像もモザイク化された即ち、取得画像と基準画像と同じ解像度の画像となる。なお図示では、取得画像と基準画像は通常の画像で示しているが、前述のようにモザイク化された画像からシルエット画像は生成される。モザイク化された画像からシルエット画像を生成することで、画像の処理量を低減でき、処理の高速化が図れる。
【００５１】
また以上のようにシルエット画像を生成することで、例えば、画像の明度（各画素の輝度）による差分を用いて、濃淡（白黒）の差により、人物２と背景部分の判定を行う場合と比較して、人物２の形を正しく抽出したシルエット画像を生成することができる。
【００５２】
ここで、本実施の形態では、存在検出部４３による人物２の存在の検出には、天井カメラ１１で撮像された画像に基づいて行う、浴槽４内の人物２の存在位置検出と、壁面カメラ２１で撮像された画像に基づいて行う、浴室３内の特定の平面内の人物２の存在検出（以下遮断検出という）とがある。まず、前者について説明する。
【００５３】
まず、浴槽４内の人物２の存在位置検出について説明する。存在検出部４３は、生成されたシルエット画像に基づいて、人物２の存在位置検出を行うように構成される。存在位置検出とは、人物２が浴室３内のどの位置に存在しているかを検出するものである。また、ここでいう位置検出は、例えば、人物２の存在が浴室３内のどの位置でも検出されない、即ち人物２が浴室３内に存在しないと検出することも含むものとする。以下、存在検出部４３による人物２の存在位置検出について説明する。
【００５４】
まず、存在検出部４３は、生成されたシルエット画像内に存在する各領域（シルエット）にそれぞれラベリング処理を行うようにする。ラベリング処理は、人物２の存在位置検出の際に行うものである。シルエット画像には、例えば洗面器や椅子等の入浴用道具の位置が移動することにより、これらのシルエットがシルエット画像内に残っている場合がある。このため、人物２のシルエットと、入浴用道具とを区別する必要がある。存在検出部４３は、この区別をラベリング処理により行う。
【００５５】
ラベリング処理は、まず各シルエットにラベリングを行う。そして、各ラベルに含まれる画素数（面積）を求め、一定値以上のラベル面積を有するラベルを人物２のシルエットと見なす処理である。具体的には、ラベル面積に対して第３の閾値Ｔｈ３を設け、第３の閾値Ｔｈ３以上のラベル面積を有するシルエットを人物２と判定する。また、第３の閾値Ｔｈ３よりラベル面積が小さいシルエットは、人物２ではないものとして対象から外す。さらにシルエット画像内に第３の閾値Ｔｈ３以上のラベル面積を有するシルエットが存在しない場合には、浴室３内に人物２が存在しない（人物存在無し）と検出するようにするとよい。また上記以外の方法として、第３の閾値Ｔｈ３以上のラベル面積を有するラベルのうち、最大のラベル面積を有するラベルを人物２のシルエットとみなすようにしてもよい。
【００５６】
次に、存在検出部４３は、ラベリング処理により抽出された人物の領域（シルエット）の重心位置を算出する。ここで、人物２のシルエットのデータが、前記式（８）のように求まっているとき、その重心座標（Ｇｉ, Ｇｊ）は、次式（９）に示すように、
【数４】
【００５７】
そして、存在検出部４３は、人物２のシルエットの重心位置に基づいて、人物２の存在位置検出を行う。これは、例えば重心位置が、シルエット画像上の浴槽４（図１参照）の位置にあるか、洗い場７（図１参照）の位置にあるかの検出である。このようにして、存在検出部４３は、生成されたシルエット画像に基づいて、人物２の存在位置検出を行うことができる。また、この検出の結果は、前述の出力装置３７により、人物２が洗い場７に存在するときには、「洗い場使用」、浴槽４にある場合は「入浴」と表示するように構成してもよい。
【００５８】
次に、図７を参照して、遮断検出について説明する。存在検出部４３は、生成されたシルエット画像に基づいて、浴室３内の特定の平面内の人物２の存在検出、即ち人物２の遮断検出を行うように構成される。遮断検出は、浴室３内の特定の平面内の人物２の存在、即ち人物２の所定の高さの存在の検出である。このような遮断検出を行うことにより、例えば人物２の転倒や、水没を判定することが容易にできる。以下、存在検出部４３による人物２の遮断検出について説明する。
【００５９】
存在検出部４３は、壁面カメラ２１で撮像した画像から前述したように取得したシルエット画像の、特定の平面に相当する部分を切り出す。そして、切り出した画像上で、次式（１０）を満たす列の数（貫通ライン数）が、第４の閾値Ｔｈ４を越えた場合に、遮断があった、即ち特定平面内の人物２の存在を検出する。
Ｂ(ｉ,ｌ)・Ｂ(ｉ,ｌ+1)・Ｂ(ｉ,ｌ+2)・・・Ｂ(ｉ,ｍ)＝１ ・・・・（１０）
ただし、シルエット画像上での特定平面の部分がｌ≦ｊ≦ｍであるとする。また、この検出の結果は、前述の出力装置３７により、遮断があったと検出した場合には、「遮断あり」、遮断が無かったと検出した場合には、「遮断なし」と表示するように構成してもよい。また、以上では、シルエット画像を切り出す場合で説明したが、壁面カメラ２１で撮像した画像を画像処理部４１から取得する際に、上記の切り出し画像部分のみを取得するようにしてもよい。この場合には、この切り出し画像からシルエット画像を生成するようにする。なお、この場合には、基準画像もこの切り出し画像に対応する部分の画像である。このようにすると、シルエット画像を生成する際の画像の処理量を低減できる。
【００６０】
図３に戻って、動き検出部４４について説明する。動き検出部４４は、画像処理部４１により取得した異なる２時点の画像の差分（フレーム間差分）を算出するように構成される。異なる２時点の画像間のフレーム間差分を算出することで、画像上の動きの無かった部分は背景とともに除去され、動きのあった部分が抽出された画像となる。即ち、動きのある人物２の部分の像を抽出できる。なお、ここでの異なる２時点の画像は、撮像された最新の画像と、この画像よりの過去の時点に撮像された画像とであればよく、例えば１フレームだけずれた画像である。さらに、異なる２時点の画像は、エッジ処理部４２によるエッジの鋭さの判定で用いた画像と同様な画像を用いるとよい。即ち異なる２時点の画像は、画像処理装置４１で取得した色の３成分（ＲＧＢ）で表現される画像から、輝度だけで表現される画像に変換したものである。このようにすることで、必要な色が強調された画像で動きの検出を行なえるので、検出の信頼性が増す。
【００６１】
フレーム間差分Ｄは、最新の取得画像の輝度値（明度）をＩn（ｉ，ｊ） 、過去の取得画像の輝度値をＩn-１（ｉ，ｊ）として、次式（１１）で表される。
【数５】
【００６２】
さらに監視装置１は、状態判定処理部４５を備えている。状態判定処理部４５は、典型的には制御部３１内に備えられる。状態判定処理部４５は、浴室３内の人物２の状態を判定するものである。
【００６３】
図８に示すように、状態判定処理部４５は、存在検出部４３の検出結果に基づいて、浴室３内の人物２の状態を判定する。本実施の形態では、洗い場の床は浴槽上端部より１段低い位置にある場合であり、例えば、存在検出部４３の存在位置検出で、人物２の浴室３内に存在しないことが検出された場合には（人物検出無し）、人物２が浴室３内に存在しない、即ち人物２が不在であると判定する。また、存在位置検出で、人物検出無しと検出され、遮断検出で、遮断有りと検出された場合には、どちらかの検出結果が誤っていることになるが、本実施の形態では、この場合も人物２が不在であると判定する。また、存在検出部４３の存在位置検出で、人物２が洗い場で検出され、遮断検出で、遮断有りと検出された場合には、人物２が洗い場を使用していると判定する。また、存在検出部４３の存在位置検出で、人物２が浴槽で検出され、遮断検出で、遮断有りと検出された場合には、人物２が入浴中であると判定する。そして、存在位置検出で、人物２が洗い場で検出され、遮断検出で遮断無しと検出された場合には、人物２が転倒しており危険だと判定する。さらに、存在位置検出で、人物２が浴槽で検出され、遮断検出で遮断無しと検出された場合には、人物２が水没しており危険だと判定する。
【００６４】
さらにここでは、状態判定処理部４５は、上記の人物２が不在、洗い場使用、入浴と判定した場合には、異常無しと判定する。また状態判定処理部４５は、人物２が転倒、水没と判定した場合には、異常有りと判定するように構成してある。即ち、状態判定処理部４５は、存在検出部４３の検出結果に基づいて、人物２が危険な状態にあるのを判定した場合には、異常有りと判定するように構成してある。
【００６５】
また、状態判定処理部４５は、人物２に異常有りと判定した際には、警報を発するように構成される。この警報は、異常有りと判定されている状態が、第１の所定期間経過した際に第１の警報としての内部警報を発し、第１の所定期間より長い期間の第２の所定期間経過した際に、第２の警報としての外部警報を発するように構成してある。外部警報を発する場合には、第２の所定期間内に内部警報が発せられたことが条件となる。第１の所定期間、第２の所定期間は、例えば時間で定めてもよいし、撮像されたフレーム数で定めでもよい。時間で定めた場合には、第１の所定期間は、例えば、３〜１５秒、好ましくは５〜１０秒程度とし、第２の所定期間は、例えば、１０〜３０秒、好ましくは１０〜２０秒程度である。例えば、これをフレーム数で示した場合には、第１の所定期間を８秒、第２の所定期間を１５秒、撮像間隔を毎秒１フレームとすると、内部警報は８フレーム、外部警報は１５フレームである。また、上記警報は、異常有りと判定された回数が、所定の回数のうち、第１の回数あった際に第１の警報としての内部警報を発し、第１の回数より多い回数の第２の回数あった際に第２の警報としての外部警報を発するように構成してもよい。所定の回数は、例えば１５〜２５回とした場合に、第１の回数は、５〜１０回程度、第２の回数は、１０〜２０程度とするとよい。
【００６６】
内部警報は、比較的軽度な警報例えば人物２に異常の有無を確認する、あるいは注意を促す為の警報である。状態判定処理部４５は、内部警報を発した際には、例えば、浴室３に備えられた不図示のスピーカにより、「大丈夫ですか」等のメッセージを音声出力するように構成される。外部警報は、内部警報と比較して重度な警報である。状態判定処理部４５は、外部警報を発した際には、後述の通報装置５０に警報信号を送信するように構成される。
【００６７】
さらに、状態判定処理部４５は、エッジ処理部４２の判定結果に基き、エッジの鋭さが一定即ち第１の閾値Ｔｈ１以上のときは、存在検出部４３の検出結果に基づいて、人物２の異常有無判定を行い、エッジの鋭さが第１の閾値Ｔｈ１未満のときは、動き検出部４４の検出結果に基づいて、人物２の異常有無判定を行うように構成されている。
【００６８】
さらに状態判定処理部４５は、動き検出部４４による動きの検出で、人物２の動きが検出されない期間が、第３の所定期間経過した際に、異常有りと判定するように構成される。さらに、異常有りと判定した際には、警報を発するように構成してもよい。第３の所定期間は、例えば２０〜６０秒である。この警報は、典型的には、上述の内部警報よりさらに軽度な第３の警報である。状態判定処理部４５は、第３の警報を発した際には、例えば、浴室３に備えられた不図示のスピーカにより、「お風呂に人はいませんか」等のメッセージを音声出力するように構成するとよい。また、第３の警報が発せられた後、異常有りと判定されている状態が、一定時間（例えば２０〜６０秒）経過した際に内部警報を発し、さらに内部警報から一定時間（例えば２０〜６０秒）経過した際に、外部警報を発するように構成してもよい。
【００６９】
さらに状態判定処理部４５は、存在検出部４３、又は動き検出部４４の検出結果の変化に基づいて、人物２の状態を判定するように構成するとよい。このように人物２の変化追っていれば、人物２の位置をより確実に判定することができる。例えば、人物２の存在位置が浴槽４内で終息していれば、浴槽４の位置に人物２の存在が検出できなくとも、浴槽４内に存在することになり、浴槽４外で終息していれば、洗い場７または浴室３の外へ出ていったことになり、少なくとも浴槽４内には存在しないことがわかる。
【００７０】
ここで、通報装置５０について説明する。通報装置５０は、状態判定処理部４５により送信された警報信号により、外部へ人物２の状態を通報するように構成されている。即ち、通報装置５０は、例えば状態判定処理部４５により浴室３内の人物２に異常がある（危険な状態にある）と判定された際に、このことを外部へ通報するように構成される。通報装置５０には、状態判定処理部４５で判定された人物２の異常や、浴室３に備えられた不図示のマイクより取得した音の情報等を、浴室３の外や、居間や食堂、寝室等の別の場所へ届けるための無線通信を用いた無線通信装置、電力線または専用線を用いた有線通信装置を含んで構成される。これらの通信装置によって送られた情報により、緊急を知らせるメッセージを流したり、警報音を出したり、光によるサインを出したりすることができる。また、これらの情報やメッセージ等は、固定電話回線やデータ通信回線、ＣＡＴＶ回線、移動電話回線等を通じて、離れた場所にいる人物２や装置に送ることも可能である。このようにすることで、人物２に異常があること即ち人物２が危険な状態にあることを第三者に逸速く知らせることができるので、危険な状態に迅速に対応できる。即ち、監視装置１は、監視の信頼性を高めることができる。本図では、通報装置５０は、外付けとして図示してあるが演算装置３０に内蔵としてもよい。
【００７１】
図９、図１０、図１１のフローを参照して、監視装置１の作用について説明する。
図９を参照して、図１、図３を適宜参照して、天井カメラ１１で撮像された画像に基づいての人物２の存在検出の作用について説明する。
【００７２】
まず、天井カメラ１１は、浴室３内の人物２を上方から撮像する（Ｓ１）。撮像された画像は、天井カメラ１１から出力信号として送信され、インターフェース３２を介して、画像処理部４１で受信する。そして、この出力信号を受信した画像処理部４１は、出力信号を処理してモザイク化した画像を取得する（Ｓ３）。次に、画像処理部４１により取得された画像は、エッジ処理部４２により、エッジの鋭さが算出される（Ｓ５）。さらにエッジ処理部４２は、算出したエッジの鋭さが、第１の閾値Ｔｈ１以上かを判定する（Ｓ７）。
【００７３】
エッジの鋭さが第１の閾値Ｔｈ１以上の場合には（Ｓ７がＹＥＳ）、まず換気扇８が運転中か否かを判定する（Ｓ９）。換気扇８が運転中の場合には（Ｓ９がＹＥＳ）、換気扇８の運転を停止し（Ｓ１１）、次に、存在検出部４３により、取得された画像のシルエット画像を生成する（Ｓ１３）。換気扇８が運転中でない場合には（Ｓ９がＮＯ）、そのまま、存在検出部４３により、取得された画像のシルエット画像を生成する（Ｓ１３）。そして、存在検出部４３は、生成されたシルエット画像上のシルエットにラベリング処理を行ない、人物２のシルエットを区別する（Ｓ１５）。さらに、全てのラベリングされたシルエットの面積（ラベル面積）が、第３の閾値Ｔｈ３より小さいかを判定する（Ｓ１７）。全てのラベル面積が第３の閾値Ｔｈ３より小さい場合には（Ｓ１７がＹＥＳ）、存在検出部４３は、人物２の存在無しと検出する（Ｓ１９）。
【００７４】
また、第３の閾値Ｔｈ３以上のラベル面積を有するシルエット即ち人物２のシルエットが存在する場合には（Ｓ１７がＮＯ）、人物２のシルエットの重心位置を算出する。そして、算出された重心位置に基づいて、重心位置が浴槽４に存在するか、洗い場７に存在するかを検出する（Ｓ２１）。人物２のシルエットの重心位置が浴槽４で検出された場合には（Ｓ２１が浴槽）、存在検出部４３は、人物２が浴槽４に存在することを検出する（Ｓ２３）。また、人物２のシルエットの重心位置が洗い場７で検出された場合には（Ｓ２１が洗い場）、存在検出部４３は、人物２が洗い場７に存在することを検出する（Ｓ２５）。
【００７５】
また、エッジの鋭さが第１の閾値Ｔｈ１より小さい場合には（Ｓ７がＮＯ）、まず、換気扇８を始動させ、湯気の除去を開始する（Ｓ２７）。また、既に換気扇８が運転している場合には、その運転を継続させる。次に、動き検出部４４により、フレーム間差分を算出する（Ｓ２９）。さらに、フレーム間差分が、第５の閾値Ｔｈ５以上であるかを判定する（Ｓ３１）。フレーム間差分が、第５の閾値Ｔｈ５以上である場合には（Ｓ３１がＹＥＳ）、動きが有ると検出する（Ｓ３３）。また、フレーム間差分が、第５の閾値Ｔｈ５より小さい場合には（Ｓ３１がＮＯ）、動きが無いと検出する（Ｓ３５）。
【００７６】
また、上述の換気扇８の運転中かの判定は、毎回判定しないようにしてもよく、例えば、所定回数に１回判定するようにしてもよい。このようにすれば、換気扇８の頻繁な発停を回避できる。
【００７７】
次に、図１０を参照して、図１、図３を適宜参照して、壁面カメラ２１で撮像された画像に基づいての人物２の遮断検出の作用について説明する。
【００７８】
まず、壁面カメラ２１は、浴室３内の特定の平面内を含む浴室３内を撮像する（Ｓ４１）。撮像された画像は、前述の天井カメラ１１の場合と同様に、モザイク化した画像を取得し（Ｓ４３）、エッジ処理部４２により、エッジの鋭さが算出される（Ｓ４５）。そして、エッジ処理部４２は、算出したエッジの鋭さが、第１の閾値Ｔｈ１以上かを判定する（Ｓ４７）。
【００７９】
エッジの鋭さが第１の閾値Ｔｈ１以上の場合には（Ｓ４７がＹＥＳ）、まず換気扇８が運転中か否かを判定する（Ｓ４９）。換気扇８が運転中の場合には（Ｓ４９がＹＥＳ）、換気扇８の運転を停止し（Ｓ５１）、次に、存在検出部４３により、取得された画像のシルエット画像を生成する（Ｓ５３）。換気扇８が運転中でない場合には（Ｓ４９がＮＯ）、そのまま、存在検出部４３により、取得された画像のシルエット画像を生成する（Ｓ５３）。そして、存在検出部４３は、生成されたシルエット画像から、特定の平面に相当する部分を切り出す（Ｓ５５）。さらに、切り出したシルエット画像の貫通ライン数が、第４の閾値Ｔｈ４を越えているかを判定する（Ｓ５７）。貫通ライン数が、第４の閾値Ｔｈ４を越えている場合には（Ｓ５７がＹＥＳ）、遮断有りと検出する（Ｓ５９）。また、貫通ライン数が、第４の閾値Ｔｈ４を越えていない場合には（Ｓ５７がＮＯ）、遮断無しと検出する（Ｓ６１）。
【００８０】
さらに、エッジの鋭さが第１の閾値Ｔｈ１より小さい場合には（Ｓ４７がＮＯ）、まず、換気扇８を始動させ、湯気の除去を開始する（Ｓ６３）。また、既に換気扇８が運転している場合には、その運転を継続させる。次に、動き検出部４４により、フレーム間差分を算出し（Ｓ６５）、さらに、フレーム間差分が、第５の閾値Ｔｈ５以上であるかを判定する（Ｓ６７）。フレーム間差分が、第５の閾値Ｔｈ５以上である場合には（Ｓ６７がＹＥＳ）、動きが有ると検出する（Ｓ６９）。また、フレーム間差分が、第５の閾値Ｔｈ５より小さい場合には（Ｓ６７がＮＯ）、動きが無いと検出する（Ｓ７１）。
【００８１】
そして、状態判定処理部４５は、存在検出部４３、又は動き検出部４４の検出結果の基づき、人物２の監視を行う。
【００８２】
次に、図１１の表に、本発明の第１の実施の形態の監視装置１を使用して、実際に行った人物２の状態の判定実験の結果について述べる。表の数値は判定精度を百分率で表したものである。実験は、画像取得間隔（撮像間隔）毎秒１フレームで、４０２１フレームを対象に行った。この結果が示すように、監視装置１は、判定精度９０％という高い精度持つことが判った。また、この４０２１フレーム中、誤った判定をしたフレームが２０２フレームあったので、データ全体の判定精度を算出すると、９５％以上という結果が得られた。また、この結果では人物２の水没の判定では、２％の誤判定があるが、これはフレーム毎の判定結果であり、各シーンによる警報については誤作動することなく１００％で発せられたので非常に信頼性が高い。
【００８３】
以上のように、監視装置１は、ＲＧＢバランスのなす角θ、即ち色の変化により、人物２の存在を検出できるので、例えば、浴室にこもった湯気や浴槽の湯面の反射、及び、交流電源による照明の周期的変動などに起因する悪影響を軽減しながらの人物２の存在する領域を抽出した画像を得ることが可能である。また、浴室壁面がべージュ色などのように、一見して肌の色に近い場合であっても、的確に人物２の存在を検出することが可能である。
【００８４】
以上のような第１の実施の形態の監視装置１によれば、浴室でも、人物２の状態を判断して、人物２の倒れ等の危険な状態を確実かつ迅速に検出することができる。また、浴槽での水没状態を正確に検出できるので、早期発見が可能であり、その際の誤報を低減することができる。また、洗い場に人物２がいるときは、倒れを検出しても、浴室内への呼びかけをゆっくり行ない、不要な呼びかけや通報を低減し、浴槽に人物２がいるときは、迅速な通報を優先する等、人物２の居場所によって、対応を選択することが可能であり、安静で快適な浴室の利用と救急対応とが両立できる。
【００８５】
また、監視装置１は、浴室３内の人物２の存在の検出を、上方から浴室３内の人物を撮像した画像と、浴室３内の特定の平面内を撮像した画像とに基づいて行っているので、人物２の監視を精度良く行うことができる。また、浴室３内の湯気等によるくもりを、エッジ処理部４２によるエッジの鋭さの判定により検出できる。これにより、例えば、くもりが激しい場合でも、エッジの鋭さの判定によりそれを検出し、換気扇８を作動させることで、くもりが低減されるので、監視の精度を低下させることなく、信頼性が高い。
【００８６】
以上では、撮像装置は複数の場合で説明したが、１つであってもよい。例えば前述した天井カメラ１１、壁面カメラ２１のどちらか１方であってもよい。この場合には、監視装置１の構成を単純化できる。このような場合では、例えば天井カメラ１１のみのときには、存在検出部４３は、前述した存在位置検出のみを行うといった具合に、それぞれのカメラから取得する画像に合わせた人物２の存在の検出を行うようにする。
【００８７】
また、撮像装置は複数の場合であっても、例えば、存在検出部４３は、前述した存在位置検出のみを行ない、遮断検出は行わないようにしてもよい。逆の場合も同じである。このようにすることで、処理を単純化することもできる。
【００８８】
さらに、以上では、エッジの鋭さが第１の閾値Ｔｈ１未満のときには、換気扇８を始動し、浴室３内のくもりを低減する場合で説明したが、監視装置１は、仮に、換気扇８を始動せずに、くもりが激しい状態のままであっても、動き検出部４４による人物２の動きの検出を行うので、人物２の監視を継続して行うことができる。即ち信頼性が高い。
【００８９】
また、本実施の形態では、図１に示すように、洗い場７の床は、浴槽４上端部より１段低い位置にある場合で説明したが、洗い場７の床と浴槽４の上端部とがほぼ同じ高さの場合には、特定の平面を複数例えば２つ設けることにより対処すればよい。即ちこの場合には、特定の平面の高さを浴槽４の上端部に設定すると、人物２の洗い場７での転倒を判定できなくなるので、高さの異なる複数例えば２つの特定の平面内の人物２の存在をそれぞれ検出するようにし、これら２つの特定の平面内の遮断検出と、存在位置検出との検出結果に基づいて人物２の転倒と水没を判定するようにするとよい。
【００９０】
図１２、図１３を参照して、本発明による第２の実施の形態である監視装置１０１について説明する。図１２は模式的斜視図であり、また、図１３（ａ）は図１２の正面図、図１３（ｂ）は図１２の平面図である。本実施の形態では、人物２の存在を検出する存在検出手段は、第１の存在検出手段と、第２の存在検出手段とがある。第１の存在検出手段は、図１４に示す存在検出部４３であり、第２の存在検出手段は、面内検出装置１２０である。存在検出部４３は、第１の実施の形態で前述したものと同様なものであるが、本実施の形態では遮断検出を行わない。監視装置１０１は、基本的に第１の実施の形態で説明した監視装置１と同様な構成であるが、壁面カメラ２１を備えおらず、第２の存在検出手段としての面内検出装置１２０を備えている。以下、第１の実施の形態と重複する説明を省略して説明する。
【００９１】
図１４に示すように、面内検出装置１２０は、第１の実施の形態で説明した演算装置３０の制御部３１にインターフェース３２を介して接続される。
【００９２】
図１２、図１３に戻って説明する。監視装置１と同様に、天井５には、天井カメラ１１が設置されている。また壁面６には、三次元空間としての浴室３内の特定の平面内での人物２の存在を検出する面内検出装置２０が設置されている。また特定平面は、所定の高さに設定する。所定の高さは、図１３（ａ）に示すように、浴槽４の上端より少し高い位置に設定することが好ましい。このように所定の高さに設定すれば、後述の人物２の状態の判定で、容易かつ確実に人物２の浴槽４内の水没状態を判定することができる。
【００９３】
ここで、面内検出装置１２０について説明する。面内検出装置２０は、浴室３内の特定の平面内に光束を射出する光束発生手段としての光検出装置１２１と、光検出装置１２１から射出される光束により照射される位置に配置された再帰反射素子１２２とを含んで構成されている。また光検出装置１２１は、再帰反射素子１２２で反射された光束を検知する光束検知手段でもあり、光束の伝搬方向を特定の平面内で偏向角度可変に偏向する光束偏向手段でもある。光検出装置１２１は、壁面６の所定の高さに設置される。
【００９４】
また、再帰反射素子１２２は、光検出装置１２１に対向する壁面６に、光検出装置１２１とほぼ同じ高さで帯状に設置される。また光検出装置１２１は、検出範囲の特に角の部分、例えば壁面６１と壁面６２との角部に設置するとよい。このように設置することで、浴室３全体を検出範囲とすることができる。またこの場合には、後述の光検出装置１２１の光束２００の偏向ミラーによる偏向角は、浴室３のおよそ中央部の壁面６に設置した場合に、１８０度に近い偏向角が必要なの対して、およそ９０度で済むことになるので、大変有利である。以上では、面内検出装置１２０は、以上のように設置したが、これに限られるものではなく、検出したい範囲、設置環境により適宜決めるようにするとよい。
【００９５】
再帰反射素子１２２は、入射した光束２００を、主に入射してきた方向に反射させるものである。再帰反射素子１２２は、例えばベースの上に小さいガラス球をちりばめたものや、小型の三角プリズムを多数細密に配置したものであり、一般に市販されているものを利用可能である。
【００９６】
また図１５（ａ）に示すように、再帰反射素子１２２は、反射面に複数の段部１２２ａを形成してもよい。再帰反射素子１２２は、光束２００が入射する角度が浅くなるにつれて、入射してきた方向に反射する光量が減少する傾向ある。このため再帰反射素子１２２は、複数の段部１２２ａを形成することにより、光束２００が入射する角度を垂直に近づけることができ、反射する光量の減少を抑えることができる。また、段部１２２ａは、光束２００が入射する角度にあわせて、（ａ）に示すように、反射面の角度を変えるようにしてもよいし、（ｂ）に示すように、入射する角度が極端に浅くなる部分だけに一定の角度で形成してもよい。また（ｃ）に示すように、再帰反射素子１２２は、反射面に曲面１２２ｂを形成して、光束２００が入射する角度を垂直に近づけてもよい。
【００９７】
図１６の模式図を参照して、光検出装置１２１の構成例を説明する。光検出装置１２１は、光源１２３、照射レンズ１２４、ビームスプリッタ１２５、受光素子１２６、偏向ミラー１２７、コントローラ１２８を含んで構成される。光検出装置１２１は、ほぼ水平に光束２００を射出する。また光検出装置１２１は、コントローラ１２８により制御されている。
【００９８】
光源１２３は、典型的には半導体レーザやＬＥＤである。光検出装置１２１は、光源１２３に、半導体レーザやＬＥＤを使用することで、装置の小型化を図ることができる。光束２００は、光源１２３から照射レンズ１２４を介してやや集束気味の集束光束として射出される。また、射出される光束２００としては、半導体レーザのようなコヒーレント光を使っても良いが、特に無収差光学系であったり、大きな輝度を必要とするわけではないので、一般的な光源を用いても構わない。以上では光束２００は、集束光束としたが平行光束または緩やかに拡散した拡散光束であってもよい。また、光束２００の光束径は、適当な光束径で再帰反射素子１２２に入射するように設定するとよい。光束２００の光束径は、再帰反射素子１２２の幅より小さく設定することがさらに好ましい。
【００９９】
また、光束２００には、赤外光を用いるとよい。このようにすることで、射出される光束２００が人間には見えず、不快感を与えることがない。
【０１００】
さらに光源１２３は、後で説明する受光素子１２６による光束２００の検知の際に外乱光と区別するために、一定の周波数で変調を行う。変調は、例えば周期的に光束２００の発生（射出）停止を繰り返し行うような動作である。この場合、光束２００の発生停止は、例えば光源１２３を発光停止してもよいし、遮光板やスリットを回転させることにより、発生停止をするようにしてもよい。さらに変調は、上述に加え、外乱光の強さにより、光源１２３の出力も変化させるようにしてもよい。変調は、コントローラ１２８により行うようにするとよい。
【０１０１】
光源１２３から照射レンズ１２４を介してやや集束気味の集束光束として射出された光束２００は、ビームスプリッタ１２５を透過し、偏向ミラー１２７に到達して、反射する。反射した光束２００は、緩やかな拡散光束となり再帰反射素子１２２の幅に近い適当な光束径となって再帰反射素子１２２に入射する。再帰反射素子１２２で反射した光束２００は、元の光路を戻り、偏向ミラー１２７で反射し、ビームスプリッタ１２５に入射する。そして、ビームスプリッタ１２５に入射した光束２００は、ビームスプリッタ１２５で反射して受光素子１２６に入射し、受光素子１２６により検出される。偏向ミラー１２７は、典型的にはポリゴンミラーであり、受光素子１２６は、典型的にはフォトダイオードである。
【０１０２】
また、偏向ミラー１２７としては、ポリゴンミラー的な構成の他に、共振ミラー、ガルバノミラー等があるが、特に高速の偏向を必要としない場合、平面ミラーを水平面に対してほぼ垂直に設置し、水平面に対してほぼ垂直な軸で回転させても良い。
【０１０３】
また図１７の模式図に示すように、平面ミラー１２７を水平面に対してほぼ４５度に設置し、水平面に対してほぼ垂直な軸で回転させ、この回転軸を含む直線上に光軸を設けてミラーの回転と共に反射光を偏向するように構成してもよい。また、偏向ミラー１２７の代わりとして、透過型の偏向器である超音波偏向器を使用してもよい。
【０１０４】
図１６に戻って説明する。偏向ミラー１２７は、不図示のモーターにより、水平面に対してほぼ垂直方向を回転軸として回転可能となっている。光束２００は、偏向ミラー１２７が回転によって１２７’または１２７”の位置に来たときに、光束２００はそれぞれ２００’、２００”の方向に反射される。従って、光検出装置１２１を射出した光束２００は、偏向ミラー１２７により、浴室３の壁面６に帯状に設置した再帰反射素子１２２に沿って偏向され、この高さにおいて浴室３内のほぼ全体を走査することができる。
【０１０５】
光検出装置１２１は、コントローラ１２８により想定された光量が受光素子１２６に戻ってきたかどうかにより人物２の存在を検出する。また光検出装置１２１は、受光素子１２６が受光した光のうち、光源１２３からの変調された周波数の光を増幅し、検出するようにしてもよい。このようにすると、光検出装置１２１は、再帰反射素子１２２で反射された光束２００と外乱光とを区別することができるので、より正確に人物２の存在を検出できる。光検出装置１２１には、例えばフォトディテクタを用いるとよい。
【０１０６】
想定された光量が受光素子１２６に戻ってきた場合には、コントローラ１２８は、人物２の存在の検出を、第１の実施の形態で説明した遮断検出の検出結果として演算装置３０に出力する。即ち、人物２が存在すると検出した場合には、遮断有り、人物２が存在しないと検出した場合には、遮断無しという検出結果を演算装置３０の状態判定処理部４５に出力する。また検出結果には、人物２の存在の検出位置を含めてもよい。検出位置は、偏向角度から求めることができ、偏向角度は、モーターの回転角や、光束２００が再帰反射素子１２２の端部等の一定位置を通過してからの時間等から知ることができる。
【０１０７】
光検出装置１２１から再帰反射素子１２２に至る光路の途中に人物２がいた場合には、射出された光束２００が人物２にあたることによって散乱されるため、光検出装置１２１に戻ってくる光束２００の光量は光路途中に人物２がいなかった場合に比べて非常に小さくなる。従って光検出装置１２１は、検出範囲のいずれかの場所で特定平面に人物２が存在する場合には、受光素子１２６に戻ってくる光量が想定よりも少なくなり、そのことを知ることができる。受光素子１２６に入射する光量は、人物２がいる場合といない場合で、非常に大きい差となるので、浴室３内の湯気等の外乱物質があってもその影響を受けにくい。
【０１０８】
以上では、面内検出装置１２０の検出範囲は浴室３全体として説明したが、検出範囲を浴槽４としてもよい。これは、浴室３の場合、洗い場７での転倒事故も頻繁に発生するが、生命に関わったり、後遺障害を残す事故は、浴槽４内での水没事故がほとんどであるためである。
【０１０９】
図１８の模式図に示すように、面内検出装置１２０を、浴槽４と洗い場７の境界付近に設置し、浴槽４の上だけを検出範囲即ち特定平面とすれば、シャワー等の影響を受ける検知領域を最小限にすることができ、より確実に水没事故を検出することができる。
【０１１０】
以上のような第２の実施の形態の監視装置１によれば、例えば、第１の実施の形態と比較して、壁面カメラ２１により特定の平面内を撮像した画像を処理しないので、画像の処理量を低減できることで、処理を単純化できる。
【０１１１】
【発明の効果】
以上のように本発明によれば、湯気を発生し得る三次元空間内における対象物を監視する監視装置において、前記三次元空間内の前記対象物を撮像する撮像装置と、前記撮像装置からの出力を受信して処理し、前記対象物の画像を取得する画像処理装置と、前記取得された画像のエッジの鋭さを判定するエッジ判定手段と、前記エッジ判定手段の判定結果に基き前記三次元空間内の湯気を除去する湯気除去手段を動作可能とする信号を発信する信号発信手段を備えるので、湯気を発生し得る三次元空間内でも、対象物の状態を迅速かつ正確に検出することができる監視装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態である監視装置の概要を示す模式的斜視図である。
【図２】図１の場合における、監視装置の正面図（ａ）と平面図（ｂ）である。
【図３】本発明の第１の実施の形態である監視装置の構成を説明するブロック図である。
【図４】本発明の第１の実施の形態で用いるエッジ処理部について説明する模式的正面図である。
【図５】本発明の第１の実施の形態で用いる存在検出部について説明する模式図である。
【図６】本発明の第１の実施の形態で用いるＲＧＢバランスについて説明する線図である。
【図７】本発明の第１の実施の形態で用いる壁面カメラから取得した画像に基づいて行う遮断検出について説明する模式図である。
【図８】本発明の第１の実施の形態である人物の状態の判定について説明するブロック図である。
【図９】本発明の第１の実施の形態である天井カメラで撮像された画像に基づいての人物の存在検出の作用について説明するフロー図である。
【図１０】本発明の第１の実施の形態である壁面カメラで撮像された画像に基づいての人物の遮断検出の作用について説明するフロー図である。
【図１１】本発明の第１の実施の形態である監視装置を用いた実験の結果を示す表の図である。
【図１２】本発明の第２の実施の形態である監視装置の概要を示す模式的斜視図である。
【図１３】図１２の場合における、監視装置の正面図（ａ）と平面図（ｂ）である。
【図１４】本発明の第２の実施の形態である監視装置の構成を説明するブロック図である。
【図１５】本発明の第２の実施の形態で用いる再帰反射素子の形状を説明する模式図である。
【図１６】本発明の第２の実施の形態で用いる光検出装置の構成例を示す模式図である。
【図１７】本発明の第２の実施の形態で用いる光検出装置の別の構成例を示す模式図である。
【図１８】図１２の場合における、面内検出装置の検出範囲を浴槽上のみにした場合の監視装置の正面図（ａ）と平面図（ｂ）である。
【符号の説明】
１ 監視装置
２ 人物
３ 浴室
４ 浴槽
６ 壁面
７ 洗い場
１１ 天井カメラ
２１ 壁面カメラ
３０ 演算装置
３１ 制御部
３２ インターフェース
３４ 記憶部
３６ 入力装置
３７ 出力装置
４１ 画像処理部
４２ エッジ処理部
４３ 存在検出部
４４ 動き検出部
４５ 状態判定処理部
５０ 通報装置
１０１ 監視装置
１２０ 面内検出装置
１２１ 光検出装置
１２２ 再帰反射素子
１２３ 光源
１２４ 照射レンズ
１２５ ビームスプリッタ
１２６ 受光素子
１２７ 偏向ミラー
２００ 光束
Claims (7)
- 湯気を発生し得る三次元空間内における対象物を監視する監視装置において；
前記三次元空間内の前記対象物を撮像する撮像装置と；
前記撮像装置からの出力を受信して処理し、前記対象物の画像を取得する画像処理装置と；
前記取得された画像のエッジの鋭さを判定するエッジ判定手段と；
前記エッジ判定手段の判定結果に基き前記三次元空間内の湯気を除去する湯気除去手段を動作可能とする信号を発信する信号発信手段を備える；
監視装置。 - 湯気を発生し得る三次元空間内における対象物を監視する監視装置において；
前記三次元空間内の前記対象物を撮像する撮像装置と；
前記撮像装置からの出力を受信して処理し、前記対象物の画像を取得する画像処理装置と；
前記取得された画像のエッジの鋭さを判定するエッジ判定手段と；
前記対象物の動きの有無を検出する動き検出手段とを備え；
前記エッジ判定手段が数値により前記エッジの鋭さを判定し、前記エッジの鋭さが一定未満のときに、前記動き検出手段の検出結果に基づいて、前記対象物の異常有無判定を行うように構成された；
監視装置。 - 湯気を発生し得る三次元空間内における対象物を監視する監視装置において；
前記三次元空間内の前記対象物を撮像する撮像装置と；
前記撮像装置からの出力を受信して処理し、前記対象物の画像を取得する画像処理装置と；
前記取得された画像のエッジの鋭さを判定するエッジ判定手段と；
前記対象物の存在を検出する存在検出手段と；
前記対象物の動きの有無を検出する動き検出手段とを備え；
前記エッジ判定手段の判定結果に基き、前記エッジの鋭さが一定以上のときは、前記存在検出手段の検出結果に基づいて、前記対象物の異常有無判定を行い、前記エッジの鋭さが一定未満のときは、前記動き検出手段の検出結果に基づいて、前記対象物の異常有無判定を行うように構成された；
監視装置。 - 前記撮像装置は、上方から前記三次元空間内の前記対象物を撮像するように構成された；
請求項１乃至請求項３のいずれか１項に記載の監視装置。 - 前記三次元空間内の所定の基準面から所定の距離に設定された特定の平面内に光束を射出する光束発生手段と、前記光束発生手段から射出される光束により照射される位置に配置された再帰反射素子と、前記再帰反射素子で反射された前記光束を検知する光束検知手段とを備え；
前記光束発生手段は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段を有する；
請求項４に記載の監視装置。 - 前記撮像装置は、前記三次元空間内の所定の基準面から所定の距離に設定された特定の平面内の前記対象物を撮像するように構成された；
請求項１乃至請求項３のいずれか１項に記載の監視装置。 - 前記撮像装置は複数備えられ；
さらに前記複数の撮像装置のうち少なくとも１は、上方から前記三次元空間内の前記対象物を撮像し、他の少なくとも１は、前記三次元空間内の所定の基準面から所定の距離に 設定された特定の平面内の前記対象物を撮像するように構成された；
請求項１乃至請求項３のいずれか１項に記載の監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002208866A JP3887279B2 (ja) | 2002-07-17 | 2002-07-17 | 監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002208866A JP3887279B2 (ja) | 2002-07-17 | 2002-07-17 | 監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004056318A JP2004056318A (ja) | 2004-02-19 |
| JP3887279B2 true JP3887279B2 (ja) | 2007-02-28 |
Family
ID=31932901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002208866A Expired - Lifetime JP3887279B2 (ja) | 2002-07-17 | 2002-07-17 | 監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3887279B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6954522B2 (ja) * | 2016-08-15 | 2021-10-27 | 株式会社木村技研 | セキュリティ管理システム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09276237A (ja) * | 1996-04-18 | 1997-10-28 | Matsushita Electric Ind Co Ltd | 監視装置 |
| JP3956484B2 (ja) * | 1998-05-26 | 2007-08-08 | 株式会社ノーリツ | 入浴監視装置 |
| JP2000099863A (ja) * | 1998-09-18 | 2000-04-07 | Mitsubishi Electric Corp | 異常検出装置 |
| JP4122634B2 (ja) * | 1999-06-23 | 2008-07-23 | 株式会社Ｉｈｉ | 遠隔監視システム及び遠隔監視方法 |
| JP2001238204A (ja) * | 2000-02-23 | 2001-08-31 | Takenaka Engineering Co Ltd | 妨害検知機能付監視カメラ |
| JP4953502B2 (ja) * | 2000-10-02 | 2012-06-13 | 日本信号株式会社 | ２次元走査型光レーダセンサ |
| JP2002183861A (ja) * | 2000-12-14 | 2002-06-28 | Noritz Corp | 人体検出装置 |
-
2002
- 2002-07-17 JP JP2002208866A patent/JP3887279B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004056318A (ja) | 2004-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7106885B2 (en) | Method and apparatus for subject physical position and security determination | |
| JP4587067B2 (ja) | 物体の転倒をモニターする方法および装置 | |
| JP4460782B2 (ja) | 侵入監視装置 | |
| JP6717235B2 (ja) | 見守り支援システム及びその制御方法 | |
| US20110313325A1 (en) | Method and system for fall detection | |
| JP5127531B2 (ja) | 画像監視装置 | |
| JP4448304B2 (ja) | 顔検知装置 | |
| JP2005109540A (ja) | 投影表示装置 | |
| WO2022080353A1 (ja) | 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム | |
| JP6119938B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
| JP2012043021A (ja) | 移動物体検出装置 | |
| CN107851185A (zh) | 占用检测 | |
| Inoue et al. | Vision-based bed detection for hospital patient monitoring system | |
| JP4463450B2 (ja) | 状態検出装置 | |
| JP3887279B2 (ja) | 監視装置 | |
| JP2023084685A (ja) | 対象をモニタリングするための方法及びシステム | |
| KR20130094488A (ko) | 영상 기반 이상 동작 감시 시스템 및 방법 | |
| JP6645503B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
| JP2012048691A (ja) | 画像監視装置 | |
| JP7351339B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
| JP2005269473A (ja) | 監視システム | |
| JP2009085618A (ja) | 人体検出装置 | |
| JP2012118716A (ja) | 画像監視装置 | |
| JP2022102691A (ja) | 異常通報装置 | |
| JPH09276237A (ja) | 監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040412 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061124 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3887279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131201 Year of fee payment: 7 |
|
| S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S303 | Written request for registration of pledge or change of pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316303 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |