JP4463450B2 - 状態検出装置 - Google Patents
状態検出装置 Download PDFInfo
- Publication number
- JP4463450B2 JP4463450B2 JP2001294488A JP2001294488A JP4463450B2 JP 4463450 B2 JP4463450 B2 JP 4463450B2 JP 2001294488 A JP2001294488 A JP 2001294488A JP 2001294488 A JP2001294488 A JP 2001294488A JP 4463450 B2 JP4463450 B2 JP 4463450B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- plane
- light
- light beam
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、状態検出装置に関し、特に対象領域内の物体や人物の存在及びその姿勢を検出する状態検出装置に関するものである。
【０００２】
【従来の技術】
近年、人口構成の高齢化に伴い、浴室における事故が社会問題として注目されつつある。特に浴室では、心臓麻痺や脳卒中を起こすことが多く、それに伴って浴槽内で溺れる等のケースが目立つ。これらのトラブルは、いずれも１分、1秒でも早く発見し、蘇生術を施すことが、救命及び後潰症の軽減に必要であり、また一般家庭では、浴室が個室であることが多く、浴室内でのトラブルの早期発見には、それを迅速に検出する検出装置が必要となる。
【０００３】
上記のような検出装置として、動き検出センサが提案されている。代表的な例は、浴室内の画像を撮像し、取得した画像を複数の部分画像に分けて、各部分画像毎に明るさと色の変化から対象物の動きがあるかどうかを検出し、各部分画像の動きの状況により、入浴中の人物が動いているか否かを判定する物である。また、浴室用ではないが、転倒を含む個室内の人物の状態を検出する装置として、天井に取り付けた赤外線画像センサと、壁面にとりつけ一定の高さを検知エリアとする熱線高さセンサを組み合わせて相互の出力から室内の人物の状態を判定する装置が提案されている。この装置は、壁面のセンサの検出高さエリアを適当に設定することにより、在室中の人物が低い姿勢をとっているか、高い姿勢をとっているか、即ち、転倒状態にあるか、そうでないかを検出することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、動きセンサは、あくまで動きの有無を検出する物であるため、例えば入浴中の人物に全くトラブルが無くても、動いていなければ危険状態であると判定してしまう。このため必要以上に危険状態であると判断しないようにするには、動きのない状態が長時間続いたときに危険状態であると判断することが考えられるが、これでは、迅速な危険状態の判断ができず、トラブルの発見が遅れてしまうことになる。
【０００５】
一方、前述の赤外線画像センサと熱線高さセンサの組み合わせは、通常の室内現境では、在室中の人物が転倒状態にあるか、そうでないかを検出することができるが、浴室では、温かいお湯があるため、熱線高さセンサは有効に機能しにくく、状態の検出が難しいかった。
【０００６】
本発明は、対象物の状態を迅速かつ正確に検出することができ、浴室でも使用可能な状態検出装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による状態検出装置１は、例えば図１、図７に示すように、三次元の検出範囲内における対象物２の存在を検出する存在検出手段１０と；前記検出範囲内の特定の平面内における対象物２の存在を検出する面内検出手段２０と；存在検出手段１０からの出力と面内検出手段２０からの出力とを受信して処理し、対象物２の状態を判定する判定処理手段３０とを備え；存在検出手段１０は、前記検出範囲内の前記特定平面を見込む撮像装置１１と、撮像装置１１により得られた、異なる２時点の画像の差画像を生成する画像処理装置１２とを有する。
【０００８】
このように構成すると、存在検出手段１０と、面内検出手段２０と、判定処理手段３０とを備えるので、存在検出手段１０からの出力と面内検出手段２０からの出力とを受信して処理し、対象物２の状態を判定することで、対象物の状態を迅速かつ正確に検出することができ、浴室でも使用可能な状態検出装置を提供することができる。
【０００９】
また請求項２に記載のように、請求項１に記載の状態検出装置１では、撮像装置１１は、色空間を構成する色の３成分を検出するカラー撮像装置であり、画像処理装置１２は、前記３成分から選択される１乃至３成分それぞれの差画像を生成するように構成されている。
【００１０】
また請求項３に記載のように、請求項１に記載の状態検出装置１では、撮像装置１１は、色空間を構成する色の３成分を検出するカラー撮像装置であり、画像処理装置１２は、前記３成分から選択される２乃至３成分により構成されるベクトルのベクトル間距離又はベクトルのなす角を算出して差画像を生成するように構成してもよい。
【００１１】
また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の状態検出装置１では、前記異なる２時点のうち１時点は、対象物２が前記検出範囲内に存在しない時点であるものとしてもよい。
【００１２】
また請求項５に記載のように、請求項１乃至請求項３のいずれか１項に記載の状態検出装置１では、前記異なる２時点は、任意の検出時点とそのわずかに前の時点であるものとしてもよい。
【００１３】
上記目的を達成するために、請求項６に係る発明による面内検出手段２０は、例えば図１、図４に示すように、三次元検出範囲内の特定の平面内における対象物２の存在を検出する面内検出手段２０であって；前記検出範囲の所定の位置に設置された、前記特定の平面内に光束を射出する光束発生手段２１と；光束発生手段２１から射出される光束により照射される位置に配置された再帰反射素子２２と；再帰反射素子２２で反射された前記光束を検知する光束検知手段２１とを備え；光束発生手段２１は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段２７を有する。
【００１４】
また請求項７に記載のように、請求項６に記載の面内検出手段２０では、前記光束は特定の周波数で変調された光束であり；光束検知手段２１は、前記変調周波数付近の周波数帯域の光束を検出し増幅するように構成してもよい。
【００１５】
上記目的を達成するために、請求項８に係る発明による状態検出装置１は、例えば図１、図４に示すように、三次元の検出範囲内における対象物２の存在を検出する存在検出手段１０と；前記検出範囲内の特定の平面内における前記対象物の存在を検出する面内検出手段２０と；存在検出手段１０からの出力と面内検出手段２０からの出力とを受信して処理し、対象物２の状態を判定する判定処理手段３０とを備え；存在検出手段１０は、前記検出範囲内の前記特定平面を見込む撮像装置１１と、撮像手段１１により得られた、異なる２時点の画像の差画像を生成する画像処理装置１２とを有し；面内検出手段２０は、前記検出範囲の所定の位置に設置された前記特定の平面内に光束を射出する光束発生手段２１と、光束発生手段２１から射出される光束により照射される位置に配置された再帰反射素子２２と、再帰反射素子２２で反射された前記光束を検知する光束検知手段２１とを有し、光束発生手段２１は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段２７を有する。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１７】
図１は、本発明による実施の形態である状態検出装置１の模式的斜視図である。また、図２（a）は図１の正面図、図２（ｂ）は図１の上面図である。図中対象物２が浴室３の検出範囲内に存在している。検出範囲は、浴室３全体である。対象物２は、本実施の形態では人物である。また、浴室３は、浴槽４、天井５、壁面６、洗い場７を含んで構成されている。また壁面６は、正面壁面６１、左側面壁面６２、裏面壁面６３、右側面壁面６４（以下単に壁面６１、６２、６３、６４という、また区別しないときは単に壁面６という）で構成されている。また、浴槽４は洗い場７と隣接して設置されている。
【００１８】
天井５には、検出範囲のおける人物２の存在を検出する存在検出手段としての存在検出装置１０が設置されている。また、壁面６には、検出範囲の特定の平面内における人物２の存在を検出する面内検出手段としての面内検出装置２０が設置されている。また特定平面は、所定の高さに設定する。所定の高さとは、例えば、人物２が座っている時の頭の高さ程度とする。また所定の高さは、図２（ａ）に示すように、浴槽４の上端より少し高い位置に設定することがさらに好ましい。このように所定の高さに設定すれば、後述の人物２の状態の判定で、容易かつ確実に人物２の浴槽４内の水没状態を判定することができる。また、状態検出装置１は、存在検出装置１０と、面内検出装置２０と、判定処理手段としての演算装置３０と、通報装置４０とを含んで構成されている。
【００１９】
ここで、第１の実施の形態としての面内検出装置２０について説明する。面内検出装置２０は、光束発生手段としての光検出装置２１と再帰反射素子２２とを含んで構成されている。また光検出装置２１は、光束検知手段でもあり、光束偏向手段でもある。光検出装置２１は、壁面６の所定の高さに設置される。
【００２０】
また、再帰反射素子２２は、光検出装置２１に対向する壁面６に、光検出装置２１とほぼ同じ高さで帯状に設置される。また光検出装置２１は、検出範囲の特に角の部分、例えば壁面６１と壁面６２との角部に設置するとよい。このように設置することで、浴室３全体を検出範囲とすることができる。またこの場合には、後述の光検出装置２１の光束２００の偏向ミラーによる偏向角は、浴室３のおよそ中央部の壁面６に設置した場合に、１８０度に近い偏向角が必要なの対して、およそ９０度で済むことになるので、大変有利である。以上では、面内検出装置２０は、以上のように設置したが、これに限られるものではなく、検出したい範囲、設置環境により適宜決めるようにするとよい。
【００２１】
再帰反射素子２２は、入射した光束２００を、主に入射してきた方向に反射させるものである。再帰反射素子２２は、例えばベースの上に小さいガラス球をちりばめたものや、小型の三角プリズムを多数細密に配置したものであり、一般に市販されているものを利用可能である。
【００２２】
また図３（ａ）に示すように、再帰反射素子２２は、反射面に複数の段部２２ａを形成してもよい。再帰反射素子２２は、光束２００が入射する角度が浅くなるにつれて、入射してきた方向に反射する光量が減少する傾向ある。このため再帰反射素子２２は、複数の段部２２ａを形成することにより、光束２００が入射する角度を垂直に近づけることができ、反射する光量の減少を抑えることができる。また、段部２２ａは、光束２００が入射する角度にあわせて、（ａ）に示すように、反射面の角度を変えるようにしてもよいし、（ｂ）に示すように、入射する角度が極端に浅くなる部分だけに一定の角度で形成してもよい。また図３（ｃ）に示すように、再帰反射素子２２は、反射面に曲面２２ｂを形成して、光束２００が入射する角度を垂直に近づけてもよい。
【００２３】
図４の模式図を参照して、光検出装置２１の構成例を説明する。光検出装置２１は、光源２３、照射レンズ２４、ビームスプリッタ２５、受光素子２６、偏向ミラー２７、コントローラ２８を含んで構成される。光検出装置２１は、ほぼ水平に光束２００を射出する。また光検出装置２１は、コントローラ２８により制御されている。
【００２４】
光源２３は、典型的には半導体レーザやＬＥＤである。光検出装置２１は、光源２３に、半導体レーザやＬＥＤを使用することで、装置の小型化を図ることができる。光束２００は、光源２３から照射レンズ２４を介してやや集束気味の集束光束として射出される。また、射出される光束２００としては、半導体レーザのようなコヒーレント光を使っても良いが、特に無収差光学系であったり、大きな輝度を必要とするわけではないので、一般的な光源を用いても構わない。以上では光束２００は、集束光束としたが平行光束または緩やかに拡散した拡散光束であってもよい。また、光束２００の光束径は、適当な光束径で再帰反射素子２２に入射するように設定するとよい。光束２００の光束径は、再帰反射素子２２の幅より小さく設定することがさらに好ましい。
【００２５】
さらに光源２３は、後で説明する受光素子２６による光束２００の検知の際に外乱光と区別するために、一定の周波数で変調を行なう。変調は、例えば周期的に光束２００の発生（射出）停止を繰り返し行なうような動作である。この場合、光束２００の発生停止は、例えば光源２３を発光停止してもよいし、遮光板やスリットを回転させることにより、発生停止をするようにしてもよい。さらに変調は、上述に加え、外乱光の強さにより、光源２３の出力も変化させるようにしてもよい。変調は、コントローラ２８により行なうようにするとよい。
【００２６】
光源２３から照射レンズ２４を介してやや集束気味の集束光束として射出された光束２００は、ビームスプリッタ２５を透過し、備向ミラー２７に到達して、反射する。反射した光束２００は、緩やかな拡散光束となり再帰反射素子２２の幅に近い適当な光束径となって再帰反射素子２２に入射する。再帰反射素子２２で反射した光束２００は、元の光路を戻り、偏向ミラー２７で反射し、ビームスプリッタ２５に入射する。そして、ビームスプリッタ２５に入射した光束２００は、ビームスプリッタ２５で反射して受光素子２６に入射し、受光素子２６により検出される。偏向ミラー２７は、典型的にはポリゴンミラーであり、受光素子２６は、典型的にはフォトダイオードである。
【００２７】
また、偏向ミラー２７としては、ポリゴンミラー的な構成の他に、共振ミラー、ガルバノミラー等があるが、特に高速の偏向を必要としない場合、平面ミラーを水平面に対してほぼ垂直に設置し、水平面に対してほぼ垂直な軸で回転させても良い。
【００２８】
また図５の模式図に示すように、平面ミラー２７を水平面に対してほぼ４５度に設置し、水平面に対してほぼ垂直な軸で回転させ、この回転軸を含む直線上に光軸を設けてミラーの回転と共に反射光を偏向するように構成してもよい。また、偏向ミラー２７の代わりとして、透過型の偏向器である超音波偏向器を使用してもよい。
【００２９】
偏向ミラー２７は、不図示のモーターにより、水平面に対してほぼ垂直方向を回転軸として回転可能となっている。光束２００は、偏向ミラー２７が回転によって２７’または２７”の位置に来たときに、光束２００はそれぞれ２００’、２００”の方向に反射される。従って、光検出装置２１を射出した光束２００は、偏向ミラー２７により、浴室３の壁面６に帯状に設置した再帰反射素子２２に沿って偏向され、この高さにおいて浴室３内のほぼ全体を走査することができる。
【００３０】
光検出装置２１は、コントローラ２８により想定された光量が受光素子２６に戻ってきたかどうかにより人物２の存在を検出する。また光検出装置２１は、受光素子２６が受光した光のうち、光源２３からの変調された周波数の光を増幅し、検出するようにしてもよい。このようにすると、光検出装置２１は、再帰反射素子２２で反射された光束２００と外乱光とを区別することができるので、より正確に人物２の存在を検出できる。
【００３１】
想定された光量が受光素子２６に戻ってきた場合には、コントローラ２８は、人物２の存在を検出した旨を演算装置３０に第１の検出信号として出力する。また第１の検出信号には、人物２の存在の検出位置も含まれるものとする。検出位置は、偏向角度から求めることができ、偏向角度は、モーターの回転角や、光束２００が再帰反射素子２２の端部等の一定位置を通過してからの時間等から知ることができる。また、光検出装置２１は、特定平面の人物２の存在のみを第１の検出信号として出力してもよい。
【００３２】
光検出装置２１から再帰反射素子２２に至る光路の途中に人物２がいた場合には、射出された光束２００が人物２にあたることによって散乱されるため、光検出装置２１に戻ってくる光束２００の光量は光路途中に人物２がいなかった場合に比べて非常に小さくなる。従って光検出装置２１は、検出範囲のいずれかの場所で特定平面に人物２が存在する場合には、受光素子２６に戻ってくる光量が想定よりも少なくなり、そのことを知ることができる。受光素子２６に入射する光量は、人物２がいる場合といない場合で、非常に大きい差となるので、浴室３内の湯気等の外乱物質があってもその影響を受けにくい。
【００３３】
また、面内検出装置２０は、結像素子と、特定平面内に受光領域を持つ受光素子とで構成される一次元受光部としてもよい。以下、この場合の構成例を説明する。
【００３４】
図６の模式図を参照して、第２の実施の形態としての面内検出装置２０’を説明する。に示すように、一次元受光部５１は、結像レンズ５３と、受光素子として一次元受光素子アレイ５４と、信号処理部５２とを含んで構成される。光検出装置２１は、壁面６の所定の高さに設置される。一次元受光素子アレイ５４は、典型的にはリニアセンサである。また一次元受光部５１は、検出範囲の特に角の部分、例えば壁面６１と壁面６２との角部に設置するとよい。このように設置することで、浴室３全体を検出範囲とすることができる。またこの場合には、一次元受光部５１の画角は、浴室３のおよそ中央部の壁面６に設置した場合に、１８０度に近い画角が必要なの対して、およそ９０度で済むことになる。
【００３５】
リニアセンサ５４は、ＣＣＤを用いた物が一般的であり、入手も容易である。またリニアセンサ５４は、複数のフォトダイオードを小領域として直列に並べ、各素子からそれぞれ出力を取り出すことができるようにしたものでも、十分に使用可能である。リニアセンサ５４は、対象物が結像した部分で対象物があるときと無いときで大きな差となるので、確実に存在の検出を行なえる。また本実施の形態では、リニアセンサ５４を用いたが、特定平面の広さをカバーする長方形の受光領域を持つ１つの受光素子でも良い。このような１つの受光素子の場合には、対象物の像がその受光素子の一部分にかかることになるので、対象物の有無による受光素子の出力の変化が小さくなるが、構成は単純化することができる。
【００３６】
また、本実施例では、結像素子として結像レンズ５３を用いたが、特定平面内から出射する光をリニアセンサ５４へ入射させる効果がある素子であれば何でも良く、例えば検知したい領域が非常に明るく、リニアセンサ５４の感度が十分であれば、ピンホールを用いることもできる。また、シリンドリカルレンズをその稜線が特定平面内に含まれるように配置することにより、特定平面内から出射した光束のみがリニアセンサ５４に入射するようになり、特定平面内の対象物の存在を検出することができる。
【００３７】
一次元受光部５１は、特定平面に存在する人物２の像をリニアセンサ５４上に結像させる。特定平面に存在する人物２の像は、結像レンズ５３によりリニアセンサ５４を含む結像面上に結ばれた場合には、結像レンズ５３の光軸とリニアセンサ５４を含む特定平面内に存在する人物２の一部がリニアセンサ５４上に結像する。信号処理部５２は、リニアセンサ５４上に結像した人物２の一部の像の光量が想定された範囲にあるか、又は、その像の変化により、特定平面内の人物２の存在を検出する。これにより信号処理部５２は、人物２が所定の高さより高い姿勢をとっていた場合には、特定平面内に人物２が存在していると検出する。
【００３８】
特定平面内に人物２が存在していると検出した場合には、信号処理部５２は、人物２の存在を検出した旨を演算装置３０に第１の検出信号として出力する。また第１の検出信号には、人物２の存在の検出位置も含まれるものとする。検出位置は、リニアセンサ５４上の人物２の像の位置から求めることができる。また、一次元受光部５１は、特定平面の人物２の存在のみを第１の検出信号として出力してもよい。
【００３９】
図７のブロック図を参照して、存在検出装置１０について説明する。存在検出装置１０は、天井５のほぼ中央部に、光軸をおよそ鉛直下方に向けて設置されている。存在検出装置１０は、撮像装置１１と画像処理装置１２とを含んで構成されている。
【００４０】
撮像装置１１は、天井５のほぼ中央部に、光軸をおよそ鉛直下方に向けて設置されている。撮像装置１１は、結像レンズと撮像素子とを含んで構成されたものであり、典型的にはＣＣＤカメラである。さらにＣＣＤカメラ１１は、色の３成分を検出し、３成分で構成されるカラー画像を取得できるものとする。検出する色の３成分は、典型的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）（以下単にＲＧＢという）であるが、３成分のうちどの２成分を混色しても残りの１成分にならない、即ち３成分が独立な組み合わせならよい。また、他の３成分としては、例えばＣＭＹ、ＨＳＶ、ＹＣｂＣｒ、ＹＵＶ、ＹＩＱ、ＸＹＺ、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊等があり、これらのいずれでも構わない。またこれらは、いずれもＲＧＢから容易に変換することができる。
【００４１】
ＣＣＤカメラ１１は、画像処理装置１２に接続され、制御されている。画像処理装置１２は、例えばマイコンのようなものである。また画像処理装置１２は、後述の演算装置３０に備えるようにしてもよい。
【００４２】
画像処理装置１２は、ＣＣＤカメラ１１より取得した異なる２時点の画像の差画像を生成するように構成されている。また、画像処理装置１２内には、ＣＣＤカメラ１１より取得したカラー画像を保存する画像記憶部１３が備えられている。異なる２時点の画像とは、異なる２時点のうち１時点は、人物２が浴室３の検出範囲内に存在しない時点である。即ち、任意の検出時点と、人物２が存在しない時点の画像である。また、人物２が存在しない時点の画像を基準画像とする。
【００４３】
また、異なる２時点の画像は、任意の検出時点とそのわずかに前の時点としてもよい。わずかに前とは、人物２の移動を監視するのに十分な時間間隔だけ前であればよい。この場合、人物２のわずかな移動も監視したいときは短く、例えば人物２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０〜１／３）とする。また、人物２の大まかな移動を監視したいとき、または動きの少ない人物２を監視したいときは長く、例えば１０秒程度としてもよい。ただし、高齢者の監視等では長くし過ぎると、状態の検出が遅くなり大事に到ることがあり得るので、５分などにするのは適切でない。
【００４４】
画像処理装置１２は、カラー画像のＲＧＢから選択される２乃至３成分により構成されるベクトルのベクトル間距離又はベクトルのなす角を算出して差画像を生成するように構成されている。まず、画像処理装置１２は、カラー画像から、対応する各々の画素毎に、３成分の場合にはＲＧＢ色空間を形成し、２成分の場合には、色平面を形成する。
【００４５】
図８の線図は、ＲＧＢ色空間を直交座標系で示したものである。ここで、２時点の画像からそれぞれ得られた色の色空間ベクトルをＣ１、Ｃ２は、次式で表すことができる。
Ｃ１＝α１Ｒ＋β１Ｇ＋γ１Ｂ
Ｃ２＝α２Ｒ＋β２Ｇ＋γ２Ｂ ・・・・・（１）
α、β、γは、ＲＧＢの各々の明るさである。
【００４６】
画像処理装置１２は、色空間ベクトルＣ１とＣ２とのなす角度の値が大きい領域を人物２が存在する領域として、差画像を生成する。また、色空間ベクトルＣ１とＣ２とのベクトル間距離が大きい領域を抽出して、差画像を生成してもよい。これにより、検出領域内で色が変化した領域を抽出することができるので、人物２の存在する領域を抽出した差画像を得ることができる。
【００４７】
また、画像処理装置１２は、カラー画像のＲＧＢから選択される１乃至３成分それぞれの差画像を生成するように構成してもよい。画像処理装置１２は、２時点の画像から、対応する各々の画素毎に、それぞれ成分毎に差をとる。そして画像処理装置１２は、それぞれの成分の差から差画像を生成することにより、人物２の存在する領域を抽出した画像を得ることができる。また、差を取る成分を１成分とすると、計算量を減らすことができ高速処理が可能であり、差を取る成分を３成分とすると、人物２の像の抽出が正確になる。
【００４８】
さらに画像処理装置１２は、これにより得られた差画像から、検出範囲内の人物２の検出を行なう。この検出は、差画像上の人物２の有無で判定される。人物２の有無の判定は、差画像上の抽出された領域の大きさ、色から判断するとよい。同時に画像処理装置１２は、検出範囲内の人物２の検出された位置の検出も行なう。位置の検出は、差画像上の人物２が存在する領域の位置より検出する。また、検出される位置は、正確に検出するが、およその位置例えば浴槽４に存在するのか洗い場７に存在するのかを検出するようにしてもよく、また存在のみを検出するようにしてもよい。
【００４９】
そして画像処理装置１２は、人物２の存在を検出した旨を演算装置３０に第２の検出信号として出力する。また第２の検出信号には、人物２の存在の検出位置も含まれるものとする。さらに画像処理装置１２は、人物２の動きを追っていれば、人物２の位置をより確実に検出することができる。例えば、人物２の動きが検出され、それが浴槽４内で終息していれば、浴槽４内に存在することになり、動きが浴槽４外で終息していれば、洗い場７または浴室３の外へ出ていったことになり、少なくとも浴槽４内には存在しないことがわかる。
【００５０】
これにより画像処理装置１２は、色の変化により、人物２の存在を検出できるので、例えば、浴室にこもった湯気や浴槽の湯面の反射、および、交流電源による照明の周期的変動などに起因する悪影響を軽減しながらの人物２の存在する領域を抽出した画像を得ることが可能である。また、浴室壁面がべージュ色などのように、一見して肌の色に近い場合であっても、的確に人物２の存在を検出することが可能である。
【００５１】
この場合、前述のように、２時点の画像が、任意の検出時点と人物２が存在しない時点の基準画像としても、任意の検出時点とそのわずかに前の時点としても、いずれの場合でも、時系列的にその画像の変動を追跡することにより、人物２の存在を検出することができる。また、存在検出装置１０は、超音波や赤外線を用いた動きセンサを用いて構成することもできるが、特に浴室では、水面の動きやお湯の温度が外乱要因となるため存在を検出することが難しくなるので、以上のように検出範囲を撮像し、色成分や明るさ変化等により人物２の存在を検出するのが好適である。
【００５２】
図９のブロック図を参照して、演算装置３０の構成の一例について説明する。演算装置３０は、典型的にはパソコンやマイコンある。演算装置３０は、制御部３１を備えており、状態検出装置１を制御している。また制御部３１には、インターフェース３５が接続されており、存在検出装置１０、面内検出装置２０、通報装置４０は、インターフェース３５を介して制御部３１に接続され、制御されている。また、制御部３１には、記憶部３４が接続されており、入力した情報や算出された情報等のデータが記憶できる。さらに演算装置３０は、存在検出装置１０、面内検出装置２０からインターフェース３５を介して入力した検出情報を、記憶部３４に時系列で保存するように構成されている。検出情報は、第１の検出信号と存在検出装置１０から出力される第１の検出信号と、面内検出装置２０から出力される第２の検出信号である。
【００５３】
また制御部３１には、状態検出装置１を操作するための情報を入力する入力装置３６、状態検出装置１で処理された結果を出力する出力装置３７が接続されている。入力装置３６は例えばタッチパネル、キーボードあるいはマウスであり、出力装置３７は例えばディスプレイやプリンタあるいは警報装置である。本図では、入力装置３６、出力装置３７は演算装置３０に外付けするものとして図示されているが、内蔵されていてもよい。
【００５４】
さらに制御部３１内には、存在検出装置１０と、面内検出装置２０とからインターフェース３５を介して検出情報を入力して処理し、人物２の状態を判断する判定処理部３２が備えられている。
【００５５】
判定処理部３２は、検出情報としての第１の検出信号と第２の検出信号とから、検出範囲内の人物２の状態を判定する。この判定は、例えば存在検出装置１０で人物２の存在が検出されている状態で、面内検出装置２０で人物２の存在が検出されない場合、浴室３に人物２が存在しているにもかかわらず特定平面に存在しないので、倒れているものとして判定する。さらにこの場合、存在検出装置１０で人物２の位置も検出しているので、人物２が洗い場７で倒れているのか、浴槽４で倒れている即ち水没しているかも判定する。さらに人物２が倒れている状態と判定した場合には、判定処理部３２は、緊急事態であると判定し、インターフェース３５を介して、通報装置４０により、早急に外部通報を行なう等の動作を行なうことができる。また、緊急事態であると判定した場合には、浴室３に備えられた不図示のスピーカより人物２への呼びかけを行なうようにして、応答が無いときに外部通報を行なうようにしてもよい。
【００５６】
ここで、判定処理部３２による人物２の状態の判定結果を外部に通報する。通報装置４０について説明する。通報装置４０は、判定処理部３２による人物２の状態の判定結果を外部に通報する。通報装置４０には、判定処理部３２で判定された検出範囲内の人物２の状態や、浴室３に備えられた不図示のマイクより取得した音の情報等を、浴室３の外や、居間や食堂、寝室等の別の場所へ届けるための無線通信を用いた無線通信装置、電力線または専用線を用いた有線通信装置を含んで構成される。これらの通信装置によって送られた情報により、緊急を知らせるメッセージを流したり、警報音を出したり、光によるサインを出したりすることができる。また、これらの情報やメッセージ等は、固定電話回線やデータ通信回線、ＣＡＴＶ回線、移動電話回線等を通じて、離れた場所にいる人物２や装置に送ることも可能である。
【００５７】
以上では、検出範囲は浴室３全体として説明したが、検出範囲を浴槽４としてもよい。これは、浴室３の場合、洗い場７での転倒事故も頻繁に発生するが、生命に関わったり、後遺障害を残す事故は、浴槽４内での水没事故がほとんどであるためである。
【００５８】
図１０の模式図に示すように、面内検出装置２０を、浴槽４と洗い場７の境界付近に設置し、浴槽４の上だけを検出範囲即ち特定平面とすれば、シャワー等の影響を受ける検知領域を最小限にすることができ、より確実に水没事故を検出することができる。また存在検出装置１０は、浴槽４の部分だけを検知エリアとしても良いが、浴室３全体を検出範囲としてもよい。
【００５９】
また、状態検出装置１は、浴槽４内の人物２の存在の検出を存在検出装置１０だけでなく、面内検出装置２０でも行なっているので、直前の人物２が浴槽４内の特定平面に存在していたかどうかでも検出できる。このようにして、状態検出装置１は、浴槽４内の人物２の存在を確実に検出できるので、浴室３に備えられた不図示のスピーカより不必要な人物２への呼びかけを最小限にして、より正確に人物２の浴槽４内での水没状態を判定することができ、迅速な外部通報をすることができる。
【００６０】
以上のような本実施の形態によれば、浴室でも、人物２の状態を判断して、人物２の倒れ等の危険な状態を確実かつ迅速に検出することができる。また、浴槽での水没状態を正確に検出できるので、早期発見が可能であり、その際の誤報を低減することができる。また、洗い場に人物２がいるときは、倒れを検出しても、浴室内への呼びかけをゆっくり行ない、不要な呼びかけや通報を低減し、浴槽に人物２がいるときは、迅速な通報を優先する等、人物２の居場所によって、対応を選択することが可能であり、安静で快適な浴室の利用と救急対応とが両立できる。
【００６１】
【発明の効果】
以上のように本発明によれば、三次元の検出範囲内における対象物の存在を検出する存在検出手段と、前記検出範囲内の特定の平面内における前記対象物の存在を検出する面内検出手段と、前記存在検出手段からの出力と前記面内検出手段からの出力とを受信して処理し、前記対象物の状態を判定する判定処理手段とを備え、前記存在検出手段は、前記検出範囲内の前記特定平面を見込む撮像装置と、前記撮像装置により得られた、異なる２時点の画像の差画像を生成する画像処理装置とを有するので、対象物の状態を迅速かつ正確に検出することができ、浴室でも使用可能な状態検出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である状態検出装置の概要を示す模式的斜視図である。
【図２】図１の場合における、状態検出装置の正面図（ａ）と側面図（ｂ）である。
【図３】本発明の実施の形態で用いる再帰反射素子の形状を説明する模式図である。
【図４】本発明の第１の実施の形態で用いる光検出装置の構成例を示す模式図である。
【図５】図４の場合における、面内検出装置の構成例を示す模式図である。
【図６】本発明の第２の実施の形態で用いる面内検出装置の構成例を示す模式図である。
【図７】本発明の実施の形態で用いる存在検出装置の構成例を示す模式図である。
【図８】本発明の実施の形態で用いる色空間ベクトルを説明する線図である。
【図９】本発明の実施の形態で用いる演算装置の構成例を示す模式図である。
【図１０】図１の場合における、面内検出装置の検出範囲を浴槽上のみにした場合の状態検出装置の正面図（ａ）と側面図（ｂ）である。
【符号の説明】
１ 状態検出装置
２ 人物
３ 浴室
４ 浴槽
６ 壁面
７ 洗い場
１０ 存在検出装置
１１ ＣＣＤカメラ
１２ 画像処理装置
２０ 面内検出装置
２１ 光検出装置
２２ 再帰反射素子
２３ 光源
２４ 照射レンズ
２５ ビームスプリッタ
２６ 受光素子
２７ 偏向ミラー
３０ 演算装置
３１ 制御部
３２ 判定処理部
４０ 通報装置
５１ 一次元受光部
５２ 処理部
５３ 結像レンズ
５４ リニアセンサ
２００ 光束
【発明の属する技術分野】
本発明は、状態検出装置に関し、特に対象領域内の物体や人物の存在及びその姿勢を検出する状態検出装置に関するものである。
【０００２】
【従来の技術】
近年、人口構成の高齢化に伴い、浴室における事故が社会問題として注目されつつある。特に浴室では、心臓麻痺や脳卒中を起こすことが多く、それに伴って浴槽内で溺れる等のケースが目立つ。これらのトラブルは、いずれも１分、1秒でも早く発見し、蘇生術を施すことが、救命及び後潰症の軽減に必要であり、また一般家庭では、浴室が個室であることが多く、浴室内でのトラブルの早期発見には、それを迅速に検出する検出装置が必要となる。
【０００３】
上記のような検出装置として、動き検出センサが提案されている。代表的な例は、浴室内の画像を撮像し、取得した画像を複数の部分画像に分けて、各部分画像毎に明るさと色の変化から対象物の動きがあるかどうかを検出し、各部分画像の動きの状況により、入浴中の人物が動いているか否かを判定する物である。また、浴室用ではないが、転倒を含む個室内の人物の状態を検出する装置として、天井に取り付けた赤外線画像センサと、壁面にとりつけ一定の高さを検知エリアとする熱線高さセンサを組み合わせて相互の出力から室内の人物の状態を判定する装置が提案されている。この装置は、壁面のセンサの検出高さエリアを適当に設定することにより、在室中の人物が低い姿勢をとっているか、高い姿勢をとっているか、即ち、転倒状態にあるか、そうでないかを検出することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、動きセンサは、あくまで動きの有無を検出する物であるため、例えば入浴中の人物に全くトラブルが無くても、動いていなければ危険状態であると判定してしまう。このため必要以上に危険状態であると判断しないようにするには、動きのない状態が長時間続いたときに危険状態であると判断することが考えられるが、これでは、迅速な危険状態の判断ができず、トラブルの発見が遅れてしまうことになる。
【０００５】
一方、前述の赤外線画像センサと熱線高さセンサの組み合わせは、通常の室内現境では、在室中の人物が転倒状態にあるか、そうでないかを検出することができるが、浴室では、温かいお湯があるため、熱線高さセンサは有効に機能しにくく、状態の検出が難しいかった。
【０００６】
本発明は、対象物の状態を迅速かつ正確に検出することができ、浴室でも使用可能な状態検出装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による状態検出装置１は、例えば図１、図７に示すように、三次元の検出範囲内における対象物２の存在を検出する存在検出手段１０と；前記検出範囲内の特定の平面内における対象物２の存在を検出する面内検出手段２０と；存在検出手段１０からの出力と面内検出手段２０からの出力とを受信して処理し、対象物２の状態を判定する判定処理手段３０とを備え；存在検出手段１０は、前記検出範囲内の前記特定平面を見込む撮像装置１１と、撮像装置１１により得られた、異なる２時点の画像の差画像を生成する画像処理装置１２とを有する。
【０００８】
このように構成すると、存在検出手段１０と、面内検出手段２０と、判定処理手段３０とを備えるので、存在検出手段１０からの出力と面内検出手段２０からの出力とを受信して処理し、対象物２の状態を判定することで、対象物の状態を迅速かつ正確に検出することができ、浴室でも使用可能な状態検出装置を提供することができる。
【０００９】
また請求項２に記載のように、請求項１に記載の状態検出装置１では、撮像装置１１は、色空間を構成する色の３成分を検出するカラー撮像装置であり、画像処理装置１２は、前記３成分から選択される１乃至３成分それぞれの差画像を生成するように構成されている。
【００１０】
また請求項３に記載のように、請求項１に記載の状態検出装置１では、撮像装置１１は、色空間を構成する色の３成分を検出するカラー撮像装置であり、画像処理装置１２は、前記３成分から選択される２乃至３成分により構成されるベクトルのベクトル間距離又はベクトルのなす角を算出して差画像を生成するように構成してもよい。
【００１１】
また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の状態検出装置１では、前記異なる２時点のうち１時点は、対象物２が前記検出範囲内に存在しない時点であるものとしてもよい。
【００１２】
また請求項５に記載のように、請求項１乃至請求項３のいずれか１項に記載の状態検出装置１では、前記異なる２時点は、任意の検出時点とそのわずかに前の時点であるものとしてもよい。
【００１３】
上記目的を達成するために、請求項６に係る発明による面内検出手段２０は、例えば図１、図４に示すように、三次元検出範囲内の特定の平面内における対象物２の存在を検出する面内検出手段２０であって；前記検出範囲の所定の位置に設置された、前記特定の平面内に光束を射出する光束発生手段２１と；光束発生手段２１から射出される光束により照射される位置に配置された再帰反射素子２２と；再帰反射素子２２で反射された前記光束を検知する光束検知手段２１とを備え；光束発生手段２１は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段２７を有する。
【００１４】
また請求項７に記載のように、請求項６に記載の面内検出手段２０では、前記光束は特定の周波数で変調された光束であり；光束検知手段２１は、前記変調周波数付近の周波数帯域の光束を検出し増幅するように構成してもよい。
【００１５】
上記目的を達成するために、請求項８に係る発明による状態検出装置１は、例えば図１、図４に示すように、三次元の検出範囲内における対象物２の存在を検出する存在検出手段１０と；前記検出範囲内の特定の平面内における前記対象物の存在を検出する面内検出手段２０と；存在検出手段１０からの出力と面内検出手段２０からの出力とを受信して処理し、対象物２の状態を判定する判定処理手段３０とを備え；存在検出手段１０は、前記検出範囲内の前記特定平面を見込む撮像装置１１と、撮像手段１１により得られた、異なる２時点の画像の差画像を生成する画像処理装置１２とを有し；面内検出手段２０は、前記検出範囲の所定の位置に設置された前記特定の平面内に光束を射出する光束発生手段２１と、光束発生手段２１から射出される光束により照射される位置に配置された再帰反射素子２２と、再帰反射素子２２で反射された前記光束を検知する光束検知手段２１とを有し、光束発生手段２１は、前記光束の伝搬方向を前記特定の平面内で偏向角度可変に偏向する光束偏向手段２７を有する。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１７】
図１は、本発明による実施の形態である状態検出装置１の模式的斜視図である。また、図２（a）は図１の正面図、図２（ｂ）は図１の上面図である。図中対象物２が浴室３の検出範囲内に存在している。検出範囲は、浴室３全体である。対象物２は、本実施の形態では人物である。また、浴室３は、浴槽４、天井５、壁面６、洗い場７を含んで構成されている。また壁面６は、正面壁面６１、左側面壁面６２、裏面壁面６３、右側面壁面６４（以下単に壁面６１、６２、６３、６４という、また区別しないときは単に壁面６という）で構成されている。また、浴槽４は洗い場７と隣接して設置されている。
【００１８】
天井５には、検出範囲のおける人物２の存在を検出する存在検出手段としての存在検出装置１０が設置されている。また、壁面６には、検出範囲の特定の平面内における人物２の存在を検出する面内検出手段としての面内検出装置２０が設置されている。また特定平面は、所定の高さに設定する。所定の高さとは、例えば、人物２が座っている時の頭の高さ程度とする。また所定の高さは、図２（ａ）に示すように、浴槽４の上端より少し高い位置に設定することがさらに好ましい。このように所定の高さに設定すれば、後述の人物２の状態の判定で、容易かつ確実に人物２の浴槽４内の水没状態を判定することができる。また、状態検出装置１は、存在検出装置１０と、面内検出装置２０と、判定処理手段としての演算装置３０と、通報装置４０とを含んで構成されている。
【００１９】
ここで、第１の実施の形態としての面内検出装置２０について説明する。面内検出装置２０は、光束発生手段としての光検出装置２１と再帰反射素子２２とを含んで構成されている。また光検出装置２１は、光束検知手段でもあり、光束偏向手段でもある。光検出装置２１は、壁面６の所定の高さに設置される。
【００２０】
また、再帰反射素子２２は、光検出装置２１に対向する壁面６に、光検出装置２１とほぼ同じ高さで帯状に設置される。また光検出装置２１は、検出範囲の特に角の部分、例えば壁面６１と壁面６２との角部に設置するとよい。このように設置することで、浴室３全体を検出範囲とすることができる。またこの場合には、後述の光検出装置２１の光束２００の偏向ミラーによる偏向角は、浴室３のおよそ中央部の壁面６に設置した場合に、１８０度に近い偏向角が必要なの対して、およそ９０度で済むことになるので、大変有利である。以上では、面内検出装置２０は、以上のように設置したが、これに限られるものではなく、検出したい範囲、設置環境により適宜決めるようにするとよい。
【００２１】
再帰反射素子２２は、入射した光束２００を、主に入射してきた方向に反射させるものである。再帰反射素子２２は、例えばベースの上に小さいガラス球をちりばめたものや、小型の三角プリズムを多数細密に配置したものであり、一般に市販されているものを利用可能である。
【００２２】
また図３（ａ）に示すように、再帰反射素子２２は、反射面に複数の段部２２ａを形成してもよい。再帰反射素子２２は、光束２００が入射する角度が浅くなるにつれて、入射してきた方向に反射する光量が減少する傾向ある。このため再帰反射素子２２は、複数の段部２２ａを形成することにより、光束２００が入射する角度を垂直に近づけることができ、反射する光量の減少を抑えることができる。また、段部２２ａは、光束２００が入射する角度にあわせて、（ａ）に示すように、反射面の角度を変えるようにしてもよいし、（ｂ）に示すように、入射する角度が極端に浅くなる部分だけに一定の角度で形成してもよい。また図３（ｃ）に示すように、再帰反射素子２２は、反射面に曲面２２ｂを形成して、光束２００が入射する角度を垂直に近づけてもよい。
【００２３】
図４の模式図を参照して、光検出装置２１の構成例を説明する。光検出装置２１は、光源２３、照射レンズ２４、ビームスプリッタ２５、受光素子２６、偏向ミラー２７、コントローラ２８を含んで構成される。光検出装置２１は、ほぼ水平に光束２００を射出する。また光検出装置２１は、コントローラ２８により制御されている。
【００２４】
光源２３は、典型的には半導体レーザやＬＥＤである。光検出装置２１は、光源２３に、半導体レーザやＬＥＤを使用することで、装置の小型化を図ることができる。光束２００は、光源２３から照射レンズ２４を介してやや集束気味の集束光束として射出される。また、射出される光束２００としては、半導体レーザのようなコヒーレント光を使っても良いが、特に無収差光学系であったり、大きな輝度を必要とするわけではないので、一般的な光源を用いても構わない。以上では光束２００は、集束光束としたが平行光束または緩やかに拡散した拡散光束であってもよい。また、光束２００の光束径は、適当な光束径で再帰反射素子２２に入射するように設定するとよい。光束２００の光束径は、再帰反射素子２２の幅より小さく設定することがさらに好ましい。
【００２５】
さらに光源２３は、後で説明する受光素子２６による光束２００の検知の際に外乱光と区別するために、一定の周波数で変調を行なう。変調は、例えば周期的に光束２００の発生（射出）停止を繰り返し行なうような動作である。この場合、光束２００の発生停止は、例えば光源２３を発光停止してもよいし、遮光板やスリットを回転させることにより、発生停止をするようにしてもよい。さらに変調は、上述に加え、外乱光の強さにより、光源２３の出力も変化させるようにしてもよい。変調は、コントローラ２８により行なうようにするとよい。
【００２６】
光源２３から照射レンズ２４を介してやや集束気味の集束光束として射出された光束２００は、ビームスプリッタ２５を透過し、備向ミラー２７に到達して、反射する。反射した光束２００は、緩やかな拡散光束となり再帰反射素子２２の幅に近い適当な光束径となって再帰反射素子２２に入射する。再帰反射素子２２で反射した光束２００は、元の光路を戻り、偏向ミラー２７で反射し、ビームスプリッタ２５に入射する。そして、ビームスプリッタ２５に入射した光束２００は、ビームスプリッタ２５で反射して受光素子２６に入射し、受光素子２６により検出される。偏向ミラー２７は、典型的にはポリゴンミラーであり、受光素子２６は、典型的にはフォトダイオードである。
【００２７】
また、偏向ミラー２７としては、ポリゴンミラー的な構成の他に、共振ミラー、ガルバノミラー等があるが、特に高速の偏向を必要としない場合、平面ミラーを水平面に対してほぼ垂直に設置し、水平面に対してほぼ垂直な軸で回転させても良い。
【００２８】
また図５の模式図に示すように、平面ミラー２７を水平面に対してほぼ４５度に設置し、水平面に対してほぼ垂直な軸で回転させ、この回転軸を含む直線上に光軸を設けてミラーの回転と共に反射光を偏向するように構成してもよい。また、偏向ミラー２７の代わりとして、透過型の偏向器である超音波偏向器を使用してもよい。
【００２９】
偏向ミラー２７は、不図示のモーターにより、水平面に対してほぼ垂直方向を回転軸として回転可能となっている。光束２００は、偏向ミラー２７が回転によって２７’または２７”の位置に来たときに、光束２００はそれぞれ２００’、２００”の方向に反射される。従って、光検出装置２１を射出した光束２００は、偏向ミラー２７により、浴室３の壁面６に帯状に設置した再帰反射素子２２に沿って偏向され、この高さにおいて浴室３内のほぼ全体を走査することができる。
【００３０】
光検出装置２１は、コントローラ２８により想定された光量が受光素子２６に戻ってきたかどうかにより人物２の存在を検出する。また光検出装置２１は、受光素子２６が受光した光のうち、光源２３からの変調された周波数の光を増幅し、検出するようにしてもよい。このようにすると、光検出装置２１は、再帰反射素子２２で反射された光束２００と外乱光とを区別することができるので、より正確に人物２の存在を検出できる。
【００３１】
想定された光量が受光素子２６に戻ってきた場合には、コントローラ２８は、人物２の存在を検出した旨を演算装置３０に第１の検出信号として出力する。また第１の検出信号には、人物２の存在の検出位置も含まれるものとする。検出位置は、偏向角度から求めることができ、偏向角度は、モーターの回転角や、光束２００が再帰反射素子２２の端部等の一定位置を通過してからの時間等から知ることができる。また、光検出装置２１は、特定平面の人物２の存在のみを第１の検出信号として出力してもよい。
【００３２】
光検出装置２１から再帰反射素子２２に至る光路の途中に人物２がいた場合には、射出された光束２００が人物２にあたることによって散乱されるため、光検出装置２１に戻ってくる光束２００の光量は光路途中に人物２がいなかった場合に比べて非常に小さくなる。従って光検出装置２１は、検出範囲のいずれかの場所で特定平面に人物２が存在する場合には、受光素子２６に戻ってくる光量が想定よりも少なくなり、そのことを知ることができる。受光素子２６に入射する光量は、人物２がいる場合といない場合で、非常に大きい差となるので、浴室３内の湯気等の外乱物質があってもその影響を受けにくい。
【００３３】
また、面内検出装置２０は、結像素子と、特定平面内に受光領域を持つ受光素子とで構成される一次元受光部としてもよい。以下、この場合の構成例を説明する。
【００３４】
図６の模式図を参照して、第２の実施の形態としての面内検出装置２０’を説明する。に示すように、一次元受光部５１は、結像レンズ５３と、受光素子として一次元受光素子アレイ５４と、信号処理部５２とを含んで構成される。光検出装置２１は、壁面６の所定の高さに設置される。一次元受光素子アレイ５４は、典型的にはリニアセンサである。また一次元受光部５１は、検出範囲の特に角の部分、例えば壁面６１と壁面６２との角部に設置するとよい。このように設置することで、浴室３全体を検出範囲とすることができる。またこの場合には、一次元受光部５１の画角は、浴室３のおよそ中央部の壁面６に設置した場合に、１８０度に近い画角が必要なの対して、およそ９０度で済むことになる。
【００３５】
リニアセンサ５４は、ＣＣＤを用いた物が一般的であり、入手も容易である。またリニアセンサ５４は、複数のフォトダイオードを小領域として直列に並べ、各素子からそれぞれ出力を取り出すことができるようにしたものでも、十分に使用可能である。リニアセンサ５４は、対象物が結像した部分で対象物があるときと無いときで大きな差となるので、確実に存在の検出を行なえる。また本実施の形態では、リニアセンサ５４を用いたが、特定平面の広さをカバーする長方形の受光領域を持つ１つの受光素子でも良い。このような１つの受光素子の場合には、対象物の像がその受光素子の一部分にかかることになるので、対象物の有無による受光素子の出力の変化が小さくなるが、構成は単純化することができる。
【００３６】
また、本実施例では、結像素子として結像レンズ５３を用いたが、特定平面内から出射する光をリニアセンサ５４へ入射させる効果がある素子であれば何でも良く、例えば検知したい領域が非常に明るく、リニアセンサ５４の感度が十分であれば、ピンホールを用いることもできる。また、シリンドリカルレンズをその稜線が特定平面内に含まれるように配置することにより、特定平面内から出射した光束のみがリニアセンサ５４に入射するようになり、特定平面内の対象物の存在を検出することができる。
【００３７】
一次元受光部５１は、特定平面に存在する人物２の像をリニアセンサ５４上に結像させる。特定平面に存在する人物２の像は、結像レンズ５３によりリニアセンサ５４を含む結像面上に結ばれた場合には、結像レンズ５３の光軸とリニアセンサ５４を含む特定平面内に存在する人物２の一部がリニアセンサ５４上に結像する。信号処理部５２は、リニアセンサ５４上に結像した人物２の一部の像の光量が想定された範囲にあるか、又は、その像の変化により、特定平面内の人物２の存在を検出する。これにより信号処理部５２は、人物２が所定の高さより高い姿勢をとっていた場合には、特定平面内に人物２が存在していると検出する。
【００３８】
特定平面内に人物２が存在していると検出した場合には、信号処理部５２は、人物２の存在を検出した旨を演算装置３０に第１の検出信号として出力する。また第１の検出信号には、人物２の存在の検出位置も含まれるものとする。検出位置は、リニアセンサ５４上の人物２の像の位置から求めることができる。また、一次元受光部５１は、特定平面の人物２の存在のみを第１の検出信号として出力してもよい。
【００３９】
図７のブロック図を参照して、存在検出装置１０について説明する。存在検出装置１０は、天井５のほぼ中央部に、光軸をおよそ鉛直下方に向けて設置されている。存在検出装置１０は、撮像装置１１と画像処理装置１２とを含んで構成されている。
【００４０】
撮像装置１１は、天井５のほぼ中央部に、光軸をおよそ鉛直下方に向けて設置されている。撮像装置１１は、結像レンズと撮像素子とを含んで構成されたものであり、典型的にはＣＣＤカメラである。さらにＣＣＤカメラ１１は、色の３成分を検出し、３成分で構成されるカラー画像を取得できるものとする。検出する色の３成分は、典型的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）（以下単にＲＧＢという）であるが、３成分のうちどの２成分を混色しても残りの１成分にならない、即ち３成分が独立な組み合わせならよい。また、他の３成分としては、例えばＣＭＹ、ＨＳＶ、ＹＣｂＣｒ、ＹＵＶ、ＹＩＱ、ＸＹＺ、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊等があり、これらのいずれでも構わない。またこれらは、いずれもＲＧＢから容易に変換することができる。
【００４１】
ＣＣＤカメラ１１は、画像処理装置１２に接続され、制御されている。画像処理装置１２は、例えばマイコンのようなものである。また画像処理装置１２は、後述の演算装置３０に備えるようにしてもよい。
【００４２】
画像処理装置１２は、ＣＣＤカメラ１１より取得した異なる２時点の画像の差画像を生成するように構成されている。また、画像処理装置１２内には、ＣＣＤカメラ１１より取得したカラー画像を保存する画像記憶部１３が備えられている。異なる２時点の画像とは、異なる２時点のうち１時点は、人物２が浴室３の検出範囲内に存在しない時点である。即ち、任意の検出時点と、人物２が存在しない時点の画像である。また、人物２が存在しない時点の画像を基準画像とする。
【００４３】
また、異なる２時点の画像は、任意の検出時点とそのわずかに前の時点としてもよい。わずかに前とは、人物２の移動を監視するのに十分な時間間隔だけ前であればよい。この場合、人物２のわずかな移動も監視したいときは短く、例えば人物２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０〜１／３）とする。また、人物２の大まかな移動を監視したいとき、または動きの少ない人物２を監視したいときは長く、例えば１０秒程度としてもよい。ただし、高齢者の監視等では長くし過ぎると、状態の検出が遅くなり大事に到ることがあり得るので、５分などにするのは適切でない。
【００４４】
画像処理装置１２は、カラー画像のＲＧＢから選択される２乃至３成分により構成されるベクトルのベクトル間距離又はベクトルのなす角を算出して差画像を生成するように構成されている。まず、画像処理装置１２は、カラー画像から、対応する各々の画素毎に、３成分の場合にはＲＧＢ色空間を形成し、２成分の場合には、色平面を形成する。
【００４５】
図８の線図は、ＲＧＢ色空間を直交座標系で示したものである。ここで、２時点の画像からそれぞれ得られた色の色空間ベクトルをＣ１、Ｃ２は、次式で表すことができる。
Ｃ１＝α１Ｒ＋β１Ｇ＋γ１Ｂ
Ｃ２＝α２Ｒ＋β２Ｇ＋γ２Ｂ ・・・・・（１）
α、β、γは、ＲＧＢの各々の明るさである。
【００４６】
画像処理装置１２は、色空間ベクトルＣ１とＣ２とのなす角度の値が大きい領域を人物２が存在する領域として、差画像を生成する。また、色空間ベクトルＣ１とＣ２とのベクトル間距離が大きい領域を抽出して、差画像を生成してもよい。これにより、検出領域内で色が変化した領域を抽出することができるので、人物２の存在する領域を抽出した差画像を得ることができる。
【００４７】
また、画像処理装置１２は、カラー画像のＲＧＢから選択される１乃至３成分それぞれの差画像を生成するように構成してもよい。画像処理装置１２は、２時点の画像から、対応する各々の画素毎に、それぞれ成分毎に差をとる。そして画像処理装置１２は、それぞれの成分の差から差画像を生成することにより、人物２の存在する領域を抽出した画像を得ることができる。また、差を取る成分を１成分とすると、計算量を減らすことができ高速処理が可能であり、差を取る成分を３成分とすると、人物２の像の抽出が正確になる。
【００４８】
さらに画像処理装置１２は、これにより得られた差画像から、検出範囲内の人物２の検出を行なう。この検出は、差画像上の人物２の有無で判定される。人物２の有無の判定は、差画像上の抽出された領域の大きさ、色から判断するとよい。同時に画像処理装置１２は、検出範囲内の人物２の検出された位置の検出も行なう。位置の検出は、差画像上の人物２が存在する領域の位置より検出する。また、検出される位置は、正確に検出するが、およその位置例えば浴槽４に存在するのか洗い場７に存在するのかを検出するようにしてもよく、また存在のみを検出するようにしてもよい。
【００４９】
そして画像処理装置１２は、人物２の存在を検出した旨を演算装置３０に第２の検出信号として出力する。また第２の検出信号には、人物２の存在の検出位置も含まれるものとする。さらに画像処理装置１２は、人物２の動きを追っていれば、人物２の位置をより確実に検出することができる。例えば、人物２の動きが検出され、それが浴槽４内で終息していれば、浴槽４内に存在することになり、動きが浴槽４外で終息していれば、洗い場７または浴室３の外へ出ていったことになり、少なくとも浴槽４内には存在しないことがわかる。
【００５０】
これにより画像処理装置１２は、色の変化により、人物２の存在を検出できるので、例えば、浴室にこもった湯気や浴槽の湯面の反射、および、交流電源による照明の周期的変動などに起因する悪影響を軽減しながらの人物２の存在する領域を抽出した画像を得ることが可能である。また、浴室壁面がべージュ色などのように、一見して肌の色に近い場合であっても、的確に人物２の存在を検出することが可能である。
【００５１】
この場合、前述のように、２時点の画像が、任意の検出時点と人物２が存在しない時点の基準画像としても、任意の検出時点とそのわずかに前の時点としても、いずれの場合でも、時系列的にその画像の変動を追跡することにより、人物２の存在を検出することができる。また、存在検出装置１０は、超音波や赤外線を用いた動きセンサを用いて構成することもできるが、特に浴室では、水面の動きやお湯の温度が外乱要因となるため存在を検出することが難しくなるので、以上のように検出範囲を撮像し、色成分や明るさ変化等により人物２の存在を検出するのが好適である。
【００５２】
図９のブロック図を参照して、演算装置３０の構成の一例について説明する。演算装置３０は、典型的にはパソコンやマイコンある。演算装置３０は、制御部３１を備えており、状態検出装置１を制御している。また制御部３１には、インターフェース３５が接続されており、存在検出装置１０、面内検出装置２０、通報装置４０は、インターフェース３５を介して制御部３１に接続され、制御されている。また、制御部３１には、記憶部３４が接続されており、入力した情報や算出された情報等のデータが記憶できる。さらに演算装置３０は、存在検出装置１０、面内検出装置２０からインターフェース３５を介して入力した検出情報を、記憶部３４に時系列で保存するように構成されている。検出情報は、第１の検出信号と存在検出装置１０から出力される第１の検出信号と、面内検出装置２０から出力される第２の検出信号である。
【００５３】
また制御部３１には、状態検出装置１を操作するための情報を入力する入力装置３６、状態検出装置１で処理された結果を出力する出力装置３７が接続されている。入力装置３６は例えばタッチパネル、キーボードあるいはマウスであり、出力装置３７は例えばディスプレイやプリンタあるいは警報装置である。本図では、入力装置３６、出力装置３７は演算装置３０に外付けするものとして図示されているが、内蔵されていてもよい。
【００５４】
さらに制御部３１内には、存在検出装置１０と、面内検出装置２０とからインターフェース３５を介して検出情報を入力して処理し、人物２の状態を判断する判定処理部３２が備えられている。
【００５５】
判定処理部３２は、検出情報としての第１の検出信号と第２の検出信号とから、検出範囲内の人物２の状態を判定する。この判定は、例えば存在検出装置１０で人物２の存在が検出されている状態で、面内検出装置２０で人物２の存在が検出されない場合、浴室３に人物２が存在しているにもかかわらず特定平面に存在しないので、倒れているものとして判定する。さらにこの場合、存在検出装置１０で人物２の位置も検出しているので、人物２が洗い場７で倒れているのか、浴槽４で倒れている即ち水没しているかも判定する。さらに人物２が倒れている状態と判定した場合には、判定処理部３２は、緊急事態であると判定し、インターフェース３５を介して、通報装置４０により、早急に外部通報を行なう等の動作を行なうことができる。また、緊急事態であると判定した場合には、浴室３に備えられた不図示のスピーカより人物２への呼びかけを行なうようにして、応答が無いときに外部通報を行なうようにしてもよい。
【００５６】
ここで、判定処理部３２による人物２の状態の判定結果を外部に通報する。通報装置４０について説明する。通報装置４０は、判定処理部３２による人物２の状態の判定結果を外部に通報する。通報装置４０には、判定処理部３２で判定された検出範囲内の人物２の状態や、浴室３に備えられた不図示のマイクより取得した音の情報等を、浴室３の外や、居間や食堂、寝室等の別の場所へ届けるための無線通信を用いた無線通信装置、電力線または専用線を用いた有線通信装置を含んで構成される。これらの通信装置によって送られた情報により、緊急を知らせるメッセージを流したり、警報音を出したり、光によるサインを出したりすることができる。また、これらの情報やメッセージ等は、固定電話回線やデータ通信回線、ＣＡＴＶ回線、移動電話回線等を通じて、離れた場所にいる人物２や装置に送ることも可能である。
【００５７】
以上では、検出範囲は浴室３全体として説明したが、検出範囲を浴槽４としてもよい。これは、浴室３の場合、洗い場７での転倒事故も頻繁に発生するが、生命に関わったり、後遺障害を残す事故は、浴槽４内での水没事故がほとんどであるためである。
【００５８】
図１０の模式図に示すように、面内検出装置２０を、浴槽４と洗い場７の境界付近に設置し、浴槽４の上だけを検出範囲即ち特定平面とすれば、シャワー等の影響を受ける検知領域を最小限にすることができ、より確実に水没事故を検出することができる。また存在検出装置１０は、浴槽４の部分だけを検知エリアとしても良いが、浴室３全体を検出範囲としてもよい。
【００５９】
また、状態検出装置１は、浴槽４内の人物２の存在の検出を存在検出装置１０だけでなく、面内検出装置２０でも行なっているので、直前の人物２が浴槽４内の特定平面に存在していたかどうかでも検出できる。このようにして、状態検出装置１は、浴槽４内の人物２の存在を確実に検出できるので、浴室３に備えられた不図示のスピーカより不必要な人物２への呼びかけを最小限にして、より正確に人物２の浴槽４内での水没状態を判定することができ、迅速な外部通報をすることができる。
【００６０】
以上のような本実施の形態によれば、浴室でも、人物２の状態を判断して、人物２の倒れ等の危険な状態を確実かつ迅速に検出することができる。また、浴槽での水没状態を正確に検出できるので、早期発見が可能であり、その際の誤報を低減することができる。また、洗い場に人物２がいるときは、倒れを検出しても、浴室内への呼びかけをゆっくり行ない、不要な呼びかけや通報を低減し、浴槽に人物２がいるときは、迅速な通報を優先する等、人物２の居場所によって、対応を選択することが可能であり、安静で快適な浴室の利用と救急対応とが両立できる。
【００６１】
【発明の効果】
以上のように本発明によれば、三次元の検出範囲内における対象物の存在を検出する存在検出手段と、前記検出範囲内の特定の平面内における前記対象物の存在を検出する面内検出手段と、前記存在検出手段からの出力と前記面内検出手段からの出力とを受信して処理し、前記対象物の状態を判定する判定処理手段とを備え、前記存在検出手段は、前記検出範囲内の前記特定平面を見込む撮像装置と、前記撮像装置により得られた、異なる２時点の画像の差画像を生成する画像処理装置とを有するので、対象物の状態を迅速かつ正確に検出することができ、浴室でも使用可能な状態検出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である状態検出装置の概要を示す模式的斜視図である。
【図２】図１の場合における、状態検出装置の正面図（ａ）と側面図（ｂ）である。
【図３】本発明の実施の形態で用いる再帰反射素子の形状を説明する模式図である。
【図４】本発明の第１の実施の形態で用いる光検出装置の構成例を示す模式図である。
【図５】図４の場合における、面内検出装置の構成例を示す模式図である。
【図６】本発明の第２の実施の形態で用いる面内検出装置の構成例を示す模式図である。
【図７】本発明の実施の形態で用いる存在検出装置の構成例を示す模式図である。
【図８】本発明の実施の形態で用いる色空間ベクトルを説明する線図である。
【図９】本発明の実施の形態で用いる演算装置の構成例を示す模式図である。
【図１０】図１の場合における、面内検出装置の検出範囲を浴槽上のみにした場合の状態検出装置の正面図（ａ）と側面図（ｂ）である。
【符号の説明】
１ 状態検出装置
２ 人物
３ 浴室
４ 浴槽
６ 壁面
７ 洗い場
１０ 存在検出装置
１１ ＣＣＤカメラ
１２ 画像処理装置
２０ 面内検出装置
２１ 光検出装置
２２ 再帰反射素子
２３ 光源
２４ 照射レンズ
２５ ビームスプリッタ
２６ 受光素子
２７ 偏向ミラー
３０ 演算装置
３１ 制御部
３２ 判定処理部
４０ 通報装置
５１ 一次元受光部
５２ 処理部
５３ 結像レンズ
５４ リニアセンサ
２００ 光束
Claims (8)
- 三次元の検出範囲内における対象物の存在と位置を検出する存在検出手段と；
前記検出範囲内の特定の平面内における前記対象物の存在を検出する面内検出手段と；
前記存在検出手段からの出力と前記面内検出手段からの出力とを受信して処理し、前記対象物の状態を判定する判定処理手段とを備え；
前記三次元の検出範囲は浴室であって、前記存在検出手段は、前記検出範囲内の前記特定平面を見込む撮像装置と、前記撮像装置により得られた、異なる２時点の画像の差画像を生成し、前記差画像から前記対象物の存在位置を追跡検出する画像処理装置とを有し；
前記面内検出手段は、浴槽内の水没状態を判定することができる浴槽の上端より少し高い位置に設置された、前記特定の平面内に光束を射出する光束発生手段と、前記光束発生手段から射出される光束により照射される前記光束発生手段とほぼ同じ高さに配置された帯状の再帰反射素子と、前記再帰反射素子で反射された前記光束を検知する光束検知手段とを有し、前記光束発生手段は、前記光束の伝搬方向を前記特定の平面内で前記浴室内全体を検出範囲とするように可変に偏向する光束偏向手段を有する；
状態検出装置。 - 前記撮像装置は、色空間を構成する色の３成分を検出するカラー撮像装置であり、前記画像処理装置は、前記３成分から選択される１乃至３成分それぞれの差画像を生成するように構成された、
請求項１に記載の状態検出装置。 - 前記撮像装置は、色空間を構成する色の３成分を検出するカラー撮像装置であり、前記画像処理装置は、前記３成分から選択される２乃至３成分により構成されるベクトルのベクトル間距離又はベクトルのなす角を算出して差画像を生成するように構成された、
請求項１に記載の状態検出装置。 - 前記異なる２時点のうち１時点は、前記対象物が前記検出範囲内に存在しない時点である、
請求項１乃至請求項３のいずれか１項に記載の状態検出装置。 - 前記異なる２時点は、任意の検出時点とそのわずかに前の時点である、
請求項１乃至請求項３のいずれか１項に記載の状態検出装置。 - 三次元検出範囲内の特定の平面内における対象物の存在を検出する面内検出手段を備える状態検出装置であって；
前記三次元の検出範囲は浴室であって、前記面内検出手段は、浴槽内の水没状態を判定することができる浴槽の上端より少し高い位置に設置された、前記特定の平面内に光束を射出する光束発生手段と；
前記光束発生手段から射出される光束により照射される前記光束発生手段とほぼ同じ高さに配置された帯状の再帰反射素子と；
前記再帰反射素子で反射された前記光束を検知する光束検知手段とを有し；
前記光束発生手段は、前記光束の伝搬方向を前記特定の平面内で前記浴室内全体を検出範囲とするように可変に偏向する光束偏向手段を有する；
状態検出装置。 - 前記光束は特定の周波数で変調された光束であり；
前記光束検知手段は、前記変調周波数付近の周波数帯域の光束を検出し増幅するように構成された；
請求項１乃至請求項６のいずれか１項に記載の状態検出装置。 - 前記再帰反射素子は、反射面に、前記光束が入射する角度を垂直に近づける曲面または複数の段部が形成された、
請求項１乃至請求項７のいずれか１項に記載の状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001294488A JP4463450B2 (ja) | 2001-09-26 | 2001-09-26 | 状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001294488A JP4463450B2 (ja) | 2001-09-26 | 2001-09-26 | 状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003098265A JP2003098265A (ja) | 2003-04-03 |
| JP4463450B2 true JP4463450B2 (ja) | 2010-05-19 |
Family
ID=19116081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001294488A Expired - Fee Related JP4463450B2 (ja) | 2001-09-26 | 2001-09-26 | 状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4463450B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7783380B2 (en) | 2003-12-31 | 2010-08-24 | Kimberly-Clark Worldwide, Inc. | System and method for measuring, monitoring and controlling washroom dispensers and products |
| JP5838262B2 (ja) * | 2012-05-23 | 2016-01-06 | パイオニア株式会社 | 送電装置 |
| JP6593860B2 (ja) * | 2014-01-30 | 2019-10-23 | 国立大学法人山口大学 | 輝度分布センサ |
| JP6472670B2 (ja) * | 2015-01-26 | 2019-02-20 | 国立大学法人山口大学 | 一次元輝度分布検知装置 |
| US10342395B2 (en) | 2015-08-28 | 2019-07-09 | Gpcp Ip Holdings Llc | Sheet product dispenser with product level gauge system |
| KR102041873B1 (ko) | 2015-12-17 | 2019-11-08 | 킴벌리-클라크 월드와이드, 인크. | 동적 제품 사용 보고 시스템 |
| JPWO2019093034A1 (ja) * | 2017-11-13 | 2020-11-26 | コニカミノルタ株式会社 | 見守りシステム、見守りシステム用プログラム、および見守り方法 |
| CN109669362B (zh) * | 2019-01-29 | 2024-01-30 | 柳州工学院 | 一种与家用浴缸配套的物联网智能控制装置 |
-
2001
- 2001-09-26 JP JP2001294488A patent/JP4463450B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003098265A (ja) | 2003-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7144117B2 (en) | Projection type image display apparatus | |
| KR100294425B1 (ko) | 영상표시장치 | |
| KR101205039B1 (ko) | 눈 검출 시스템 및 그 동작 방법 | |
| US7679579B2 (en) | Projection type image display apparatus | |
| CN105247414B (zh) | 影像投射装置 | |
| US20160189387A1 (en) | Methods and Apparatus for Depth Sensing | |
| JP4463450B2 (ja) | 状態検出装置 | |
| JP2002208073A (ja) | 侵入監視装置 | |
| US10408625B2 (en) | Vision-assist systems with room scanners to detect and notify users of out-of-order room states | |
| KR20200130810A (ko) | 정보 처리 장치, 정보 처리 방법, 및 기록 매체 | |
| US20090244497A1 (en) | Projection Display Apparatus and Control Method Thereof | |
| JP2002208493A (ja) | 照明制御装置 | |
| US11904869B2 (en) | Monitoring system and non-transitory storage medium | |
| JP2006227083A (ja) | 画像表示装置および検知方法 | |
| JP2021525026A (ja) | プロジェクタコントローラおよび関連方法 | |
| JP2008293926A (ja) | 照明装置 | |
| JP2023084685A (ja) | 対象をモニタリングするための方法及びシステム | |
| JP2004239729A (ja) | 動き検出装置 | |
| JP2002130694A (ja) | 台所用監視装置 | |
| JP3887279B2 (ja) | 監視装置 | |
| JP7248527B2 (ja) | 投射型映像表示装置および障害物検出方法 | |
| JP6591647B2 (ja) | 画像処理装置 | |
| JP2002340540A (ja) | 監視システム | |
| JP2020512552A (ja) | 物体検出装置および物体の侵入に関する光投影面のモニタ方法 | |
| WO2019187491A1 (ja) | 転倒検知装置および該方法ならびに被監視者監視支援システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080218 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100217 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4463450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |