JP3631154B2 - 異常検出装置 - Google Patents
異常検出装置 Download PDFInfo
- Publication number
- JP3631154B2 JP3631154B2 JP2001073764A JP2001073764A JP3631154B2 JP 3631154 B2 JP3631154 B2 JP 3631154B2 JP 2001073764 A JP2001073764 A JP 2001073764A JP 2001073764 A JP2001073764 A JP 2001073764A JP 3631154 B2 JP3631154 B2 JP 3631154B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- person
- image
- state
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、たとえば、浴室、トイレなどの部屋内において人が倒れるといった異常が発生した場合に、そのことを検出する異常検出装置に関する。
【０００２】
【従来の技術】
浴室内において入浴者が入浴中に死亡する事故が年々増加しており、入浴者の入浴中での死亡者数が交通事故による死亡者数以上になり、入浴中での事故が注目されてきている。
【０００３】
入浴中での事故の直接的な原因は、入浴中に心不全や脳卒中などで倒れたり、バスタブ中で意識障害が生じて溺死するというものである。しかし、そのような状態となる要因は、原因究明が進んではいるものの、現在の生活様式の変化も重なりなかなか特定できないのが現状である。従って、入浴中の心不全や脳卒中などを防止することはなかなか容易ではない。
【０００４】
しかし、症状が発生するのを防止することができなくても、早期発見により、一命を取り留める可能性はかなり高くなる。
【０００５】
【発明が解決しようとする課題】
そこで、本出願人は、次のような異常検出装置を開発した。つまり、浴室内の映像を撮像手段によって撮像する。撮像手段で撮像した映像を複数の特徴量算出領域に分割し、各特徴量算出領域毎に撮像手段で撮像した映像から画像特徴量を抽出する。
【０００６】
各特徴量算出領域毎に抽出された画像特徴量の所定時間間隔毎の時間的変化量を検出する。各特徴量算出領域毎に検出された画像特徴量の時間的変化量と動き判定用閾値とを各特徴量算出領域毎に比較し、画像特徴量の時間的変化量が動き判定用閾値以下である場合にはその特徴量算出領域に動きが無いと判定し、動き判定用閾値より大きい場合にその特徴量算出領域に動きが有ると判定する。
【０００７】
動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値以下の場合に入浴者が静止状態であると判定し、動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値より多い場合に入浴者が動状態であると判定する。そして、過去所定回数の動状態／静止状態の判定結果に基づいて、入浴者に異常が発生したか否かを判定する。
【０００８】
このような異常検出装置では、入浴者の静止状態が一定時間以上継続した場合には、入浴者に安否確認のための音声メッセージや警報音を出力することが考えられる。しかしながら、安否確認のための音声メッセージや警報音をいきなり出力すると、入浴者を驚かすことにもなりかねない。
【０００９】
また、安否確認のための音声メッセージや警報音を出力した後、入浴者が動くと、入浴者が動いたことが検出され、異常状態ではないことが異常検出装置側では認識されるが、入浴者は自分の動きが異常検出装置によって検出されたかどうか分からないため、疑心暗鬼状態で不要な動きを続けることになる。
【００１１】
この発明は、監視対象者に安否確認のための音声メッセージや警報音を出力した後に、監視対象者が動いたことが検出された場合に、その旨を監視対象者に通知することができる異常検出装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
この発明による第１の異常検出装置は、部屋内の映像を撮像する撮像手段、撮像手段で撮像した映像から画像特徴量を抽出する抽出手段、抽出手段で抽出した画像特徴量の所定時間間隔毎の時間的変化量を検出する検出手段、ならびに検出手段によって検出された画像特徴量の時間的変化量と動き判定用閾値とを比較し、画像特徴量の時間的変化量が動き判定用閾値以下である場合に部屋内の監視対象者が静止状態であると判定し、動き判定用閾値より大きい場合に部屋内の監視対象者が動状態であると判定する動き判定手段を備えている異常検出装置において、監視対象者の静止状態が第１の所定時間継続した場合に、監視対象者に対して安否確認用メッセージを出力する第１手段、監視対象者の静止状態が第１の所定時間より長い第２の所定時間継続した場合に、部屋外の人に監視対象者の異常を通知する第２手段、および第１手段によって監視対象者に対して安否確認用メッセージが出力された後に、監視対象者が動状態であると初めて判定されたときに、監視対象者が動状態であると判定されたことを監視対象者に通知する第３手段を備えていることを特徴とする。
【００１３】
この発明による第２の異常検出装置は、部屋内の映像を撮像する撮像手段、撮像手段で撮像した映像を複数の特徴量算出領域に分割し、各特徴量算出領域毎に撮像手段で撮像した映像から画像特徴量を抽出する抽出手段、各特徴量算出領域毎に抽出手段で抽出した画像特徴量の所定時間間隔毎の時間的変化量を検出する検出手段、検出手段によって各特徴量算出領域毎に検出された画像特徴量の時間的変化量と動き判定用閾値とを各特徴量算出領域毎に比較し、画像特徴量の時間的変化量が動き判定用閾値以下である場合にはその特徴量算出領域に動きが無いと判定し、動き判定用閾値より大きい場合にその特徴量算出領域に動きが有ると判定する第１動き判定手段、ならびに動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値以下の場合に部屋内の監視対象者が静止状態であると判定し、動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値より多い場合に部屋内の監視対象者が動状態であると判定する第２動き判定手段を備えた異常検出装置において、監視対象者の静止状態が第１の所定時間継続した場合に、監視対象者に対して安否確認用メッセージを出力する第１手段、監視対象者の静止状態が第１の所定時間より長い第２の所定時間継続した場合に、部屋外の人に監視対象者の異常を通知する第２手段、および第１手段によって監視対象者に対して安否確認用メッセージが出力された後に、監視対象者が動状態であると初めて判定されたときに、監視対象者が動状態であると判定されたことを監視対象者に通知する第３手段を備えていることを特徴とする。
【００１８】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１９】
図１は、異常状態検出装置の配置例を示す模式図である。
図１において、１は浴室である。２は脱衣場である。３は廊下である。４は台所である。
【００２０】
浴室１と脱衣場２との間の壁には、ドア５が開閉自在に設けられており、ドア５を開けて人が脱衣場２から浴室１内に入室または浴室１から脱衣場２へ退室することができる。浴室１と脱衣場２との間の壁の脱衣場２側には、浴室１内に接地された照明灯７をオンオフさせるための照明スイッチ６が配置されている。
【００２１】
９は、入浴者が異常状態になったことを検出するための異常状態検出装置である。より具体的には、異常状態検出装置９は、浴室１内の映像を撮像するカメラ８（図２参照）を内蔵しており、カメラ８の映像に基づいて、入浴者が異常状態になったことを検出する。
【００２２】
異常状態検出装置９の電源は、照明スイッチ６のオンオフに連動してオンオフされる。つまり、照明スイッチ６がオンされると、照明灯７が点灯されるとともに、異常状態検出装置９の電源がオンとなる。そして、照明スイッチ６がオフされると、照明灯７が消灯されるとともに、異常状態検出装置９の電源がオフとなる。
【００２３】
１０は、浴室１に入室している人（入浴者）に対して、安否確認等の音声メッセージを出力したり、異常状態検出装置９の動作状態を提示するための第１警報器である。２０は浴室１外の人に入浴者の異常を通知するために、例えば台所４に配置された第２警報器である。
【００２４】
図２は、異常状態検出装置９の構成を示している。
カメラ８は、レンズ８ａとＣＣＤ８ｂとからなる。ＣＣＤ８ｂは、レンズ８ａを通して浴室内の光学像を光電変換し、電気信号として出力する。ＣＣＤ８ｂの出力信号は、前処理回路９１に送られる。前処理回路は、ＣＤＳ回路、ＡＧＣ回路およびＡＤＣを備えている。
【００２５】
ＣＣＤ８ｂの出力信号は、ＣＤＳ回路で相関二重サンプリング処理され、さらに、ＡＧＣ回路で最適な振幅にゲイン調整された後、ＡＤＣによりデジタル信号に変換されて、ＹＣ分離回路９２に入力する。
【００２６】
ＹＣ分離回路９２は、デジタルＣＣＤ信号から輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する。ＹＣ分離回路９２によって生成された信号Ｙ，Ｒ−Ｙ，Ｂ−Ｙは、領域毎積算回路９３に送られる。
【００２７】
領域毎積算回路９３は、図３に示すように、１画面を複数の同一面積の領域（特徴量算出領域）Ｄ１１〜Ｄ４４に分割し、各特徴量算出領域において、信号Ｙ，Ｒ−Ｙ，Ｂ−Ｙ毎に積算処理または平均処理を行なう。この例では、信号Ｙ，Ｒ−Ｙ，Ｂ−Ｙ毎に積算処理を行なうものとする。領域毎に積算した結果（以下、画像特徴量という）Ｄ１１〜Ｄ４４は、画像特徴量ＲＡＭ９６に格納される。
【００２８】
タイミング制御部９９は、ＣＣＤ８ｂを駆動するためのＣＣＤ駆動パルスを出力する。また、タイミング制御部９９は、ＣＤＳ回路用にサンプリングパルスを、ＡＤＣ用にサンプリングクロックを出力する。
【００２９】
タイミング制御部９９によって一定のタイミングで入力されるＣＣＤデジタル信号に対し、所定のＹＣ分離、領域毎積算、高周波成分積算および画像特徴ＲＡＭへの書き込みが正常が行なわれるように、タイミング制御部９９は各回路に制御信号を送る。また、タイミング制御部９９は、動き判定を行なうマイクロコンピュータ（以下、マイコン）９７に対して、割り込み信号として映像の垂直同期信号であるＶｓｙｎｃ 信号を出力する。
【００３０】
マイコン９７は、タイミング制御部９９に対し、領域の位置設定などのパラメータ設定を行なう。また、マイコン９７は、映像の明るさを最適化するために、ＡＧＣ回路のゲイン制御や、ＣＰＵＩ／Ｆ９８を通じてタイミング制御を行い、ＣＣＤ８ｂの露光時間制御を行なう。さらに、マイコン９７は、タイミング制御部９９から割り込み信号を受け、映像の出力に同期して動き判定を行なう。
【００３１】
図２に示すように、第１警報器１０は、スピーカ１１、赤色ＬＥＤ１２および緑色ＬＥＤ１３を備えている。マイコン９７は、音声出力ＬＳＩ１００を制御して、スピーカ１１から状況に応じた音声メッセージを出力させる。また、マイコン９７は、異常検出装置９の動作状態に応じて赤色ＬＥＤ１２および緑色ＬＥＤ１３を制御する。また、マイコン９７は、入浴者が異常であると判定した場合には、第２警報器（外部警報器）２０を駆動させる。
【００３２】
図４は、マイコン９７が行なう動き判定処理手順を示している。
【００３３】
動き判定処理を説明する前に、動き判定処理で用いられるフラグと変数とについて説明する。
【００３４】
フラグには、状態フラグＳＴ＿ＦＬＧ 、曇りフラグＣＬ＿ＦＬＧ および故障フラグＴＲ＿ＦＬＧ がある。
【００３５】
状態フラグＳＴ＿ＦＬＧ は、表１に示すように、入室待状態であること（ＳＴ＿ＦＬＧ ＝０）、入室が検知されたこと（ＳＴ＿ＦＬＧ ＝１）、入浴者が動状態であること（ＳＴ＿ＦＬＧ ＝２）、入浴者が静止状態であること（ＳＴ＿ＦＬＧ ＝３）を識別するためのフラグである。
【００３６】
【表１】
【００３７】
曇りフラグＣＬ＿ＦＬＧ は、表２に示すように、カメラ８のレンズ８ａが曇っていたり、部屋の明るさが足りないために動き検知が不能であるか否かを識別するためのフラグである。動き検知が不能であれば、ＣＬ＿ＦＬＧ ＝１となり、動き検知が可能であれば、ＣＬ＿ＦＬＧ ＝０となる。
【００３８】
【表２】
【００３９】
故障フラグＴＲ＿ＦＬＧ は、表３に示すように、カメラ８の電源がＯＦＦまたはカメラ８が故障中であるか否かを識別するためのフラグである。カメラ８の電源がＯＦＦまたはカメラ８が故障中である場合にはＴＲ＿ＦＬＧ ＝１となり、カメラ８が通常動作状態である場合にはＴＲ＿ＦＬＧ ＝０となる。
【００４０】
【表３】
【００４１】
表４に示すように、これら３種類のフラグＳＴ＿ＦＬＧ 、ＣＬ＿ＦＬＧ およびＴＲ＿ＦＬＧ の値に基づいて、赤色ＬＥＤ１２および緑色ＬＥＤ１３が制御される。
【００４２】
【表４】
【００４３】
したがって、異常検出装置の状態と、赤色ＬＥＤ１２および緑色ＬＥＤ１３の状態と、入浴者に知らせる内容との関係は、表５に示すようになる。
【００４４】
【表５】
【００４５】
変数としては、次の３種類がある。
ＣＬ＿ＴＩＭＥ：レンズ８ａが曇っていると判定されている状態の継続時間
ＳＴ＿ＴＩＭＥ：入浴者の静止状態が継続している時間
ＣｏｕｎｔＭ ：動き有りと判定された特徴量算出領域の数
【００４６】
照明スイッチ６がオンされることによって電源が入ると（ステップ１）、マイコン９７は、３種類のフラグＳＴ＿ＦＬＧ 、ＣＬ＿ＦＬＧ およびＴＲ＿ＦＬＧ および３種類の変数ＣＬ＿ＴＩＭＥ、ＳＴ＿ＴＩＭＥ、ＣｏｕｎｔＭ の値を０にする（ステップ２）。そして、マイコン９７は、Ｖｓｙｎｃ 信号が入力するまで入力待機状態となり（ステップ３）、Ｖｓｙｎｃ 信号が入力されると、以下の処理を行なう。
【００４７】
Ｖｓｙｎｃ 信号が入力されると、マイコン９７は、ＣＰＵＩ／Ｆ９８を通して、タイミング制御回路９９にパラメータ設定を行なう（ステップ４）。その後、画像特徴量ＲＡＭ９６に格納されている前フィールドの全特徴量算出領域の画像特徴量をＣＰＵＩ／Ｆ９８を通して読み出し（ステップ５）、マイコン９７内部のＲＡＭに格納する（ステップ６）。
【００４８】
全特徴量算出領域の画像特徴量がマイコン９７内部のＲＡＭに格納されると（ステップ７）、マイコン９７は、上記ステップ６でマイコン９７内部のＲＡＭに格納された前フィールドの全特徴量算出領域の画像特徴量に基づいて、曇り度判定用データを生成する（ステップ８）。
【００４９】
曇り度判定用データの生成方法の詳細については後述する。曇り度判定用データは、レンズ面８ａの曇り度を判定するためのデータであり、曇り度判定用データが小さい程、曇り度は高くなる。
【００５０】
曇り度判定用データを生成すると、マイコン９７は、曇り度判定用データが所定値より小さいか否かを判定する（ステップ９）。
【００５１】
曇り度判定用データが所定値より小さい場合には、マイコン９７はレンズ面８ａの曇り度が高く、動き判定が不可能であると判断し、曇りフラグＣＬ＿ＦＬＧ の値を１にするとともに、変数ＣＬ＿ＴＩＭＥをカウントアップ（＋１）する（ステップ１０）。そして、マイコン９７は、変数ＣＬ＿ＴＩＭＥが故障判定用基準値ＣＬＴ ＿ＴＨより大きいか否かを判定する（ステップ１１）。
【００５２】
変数ＣＬ＿ＴＩＭＥが故障判定用基準値ＣＬＴ ＿ＴＨ以下である場合には、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。ステップ３５のＬＥＤ表示制御では、３種類のフラグＳＴ＿ＦＬＧ 、ＣＬ＿ＦＬＧ およびＴＲ＿ＦＬＧ の値に基づいて、表４の規則にしたがって、赤色ＬＥＤ１２および緑色ＬＥＤ１３が制御される。
【００５３】
ＣＬ＿ＴＩＭＥが故障判定用基準値ＣＬＴ ＿ＴＨより大きい場合には、故障フラグＴＲ＿ＦＬＧ の値が１にされる（ステップ１２）。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００５４】
上記ステップ９において、曇り度判定用データが所定値以上であると判定された場合には、マイコン９７はレンズ面８ａの曇り度が低く、動き判定が可能であると判断し、故障フラグＴＲ＿ＦＬＧ の値を０にするとともに、曇りフラグＣＬ＿ＦＬＧ の値を０にする。また、変数ＣＬ＿ＴＩＭＥを０にするとともに、変数ＣｏｕｎｔＭを０ にする（ステップ１３）。
【００５５】
そして、各特徴量算出領域の特徴量の変化量から、各特徴量算出領域毎の動き判定を行なう。つまり、マイコン９７は、各算出領域毎に画像特徴量ＲＡＭ９６から今回読み出した画像特徴量Ｄｘｙ（ｔ）と画像特徴量ＲＡＭ９６から前回読み出した画像特徴量Ｄｘｙ（ｔ−１）との差の絶対値｜Ｄｘｙ（ｔ）−Ｄｘｙ（ｔ−１）｜が閾値ＳＵＢＴＨより大きいか否かを判定する（ステップ１４）。
【００５６】
この判定は、各特徴量算出領域に対して、輝度信号Ｙの積算値の変化量、色差信号Ｒ−Ｙの積算値の変化量および色差信号Ｂ−Ｙの積算値の変化量それぞれについて行われ、いずれか１つでも変化量がＳＵＢＴＨより大きければ、その特徴量算出領域に動きが有ったと判定する。
【００５７】
特徴量算出領域において動きが有ると判定した場合には、マイコン９７は、変数ＣｏｕｎｔＭを１だけインクリメントする（ステップ１５）。そして、入室判定処理を行なう（ステップ１６）。
【００５８】
入室判定処理とは、浴室に人が入室したか否かを判定するものである。この実施の形態では、電源ＯＮの後に、全特徴量算出領域Ｄ１１〜Ｄ４４（図３参照）のうち中央部の４つの特徴量算出領域Ｄ２２、Ｄ２３、Ｄ３２、Ｄ３３のいずれかにおいて動き有りと判定された場合に、浴室に人が入室したと判定する。
【００５９】
入室判定処理においては、まず、状態フラグＳＴ＿ＦＬＧ の値が０であるか否かを判別する（ステップ１６ａ）。状態フラグＳＴ＿ＦＬＧ の値が１、すなわち、入室待ち状態でない場合には、入室判定を行なう必要がないので、ステップ１７に移行する。
【００６０】
状態フラグＳＴ＿ＦＬＧ の値が０、すなわち、入室待ち状態である場合には、今回動き有りと判定された領域が、中央部の領域Ｄ２２、Ｄ２３、Ｄ３２またはＤ３３であるか否かを判定する（ステップ１６ｂ）。今回動き有りと判定された領域が、中央部の領域でないときには、ステップ１７に移行する。
【００６１】
今回動き有りと判定された領域が、中央部の領域である場合には、状態フラグＳＴ＿ＦＬＧ の値を１にする（ステップ１６ｃ）。そして、ステップ１７に移行する。
【００６２】
ステップ１７では、マイコン９７は、全ての特徴量算出領域についての動き判定が終了したか否かを判定する。全ての特徴量算出領域についての動き判定が終了していない場合には、ステップ１４に戻り、次の特徴量算出領域について動き判定を行なう。
【００６３】
全ての特徴量算出領域についての動き判定が終了すると、マイコン９７は、再び、状態フラグＳＴ＿ＦＬＧ の値が０であるか否かを判別する（ステップ１８）。状態フラグＳＴ＿ＦＬＧ の値が０、すなわち、入室待ち状態である場合には、ステップ１９以降の異常判定処理を行なうことなく、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００６４】
上記ステップ１８において、状態フラグＳＴ＿ＦＬＧ の値が０でない場合、すなわち、入室待ち状態でない場合には、ステップ１９に移行する。
【００６５】
ステップ１９では、マイコン９７は、動きが有ると判定された領域数ＣｏｕｎｔＭが動状態／静止状態判定用基準値ＴＨ＿Ｃｏｕｎｔ より大きいか否かを判定する。
【００６６】
動きが有ると判定された領域数ＣｏｕｎｔＭが動状態／静止状態判定用基準値ＴＨ＿Ｃｏｕｎｔ 以下である場合には、マイコン９７は、入浴者に動きが無いと判定し（ステップ２０）、動きが有ると判定された領域数ＣｏｕｎｔＭが動状態／静止状態判定用基準値ＴＨ＿Ｃｏｕｎｔ より多い場合には、マイコン９７は、入浴者に動きが有ると判定する（ステップ２１）。そして、ステップ２２に進む。
【００６７】
ステップ２２では、マイコン９７は、過去Ｎ回（Ｎフィールド）分の動き判定において所定のＭ回以上入浴者に動きがあると判定されたか否かを判定する。過去Ｎ回分の動き判定においてＭ回以上入浴者に動きがある場合には、マイコン９７は入浴者が動状態であると判定し（ステップ２３）、そうでない場合にはマイコン９７は入浴者が静止状態であると判定する（ステップ２４）。
【００６８】
入浴者が静止状態であると判定した場合には、状態フラグＳＴ＿ＦＬＧ の値を３にするとともに、変数ＳＴ＿ＴＩＭＥをカウントアップ（ ＋１）する（ステップ２５）。そして、変数ＳＴ＿ＴＩＭＥが所定の第３時間ＳＴ＿ＴＨ３ を越えているか否かを判定する（ステップ２６）。
【００６９】
変数ＳＴ＿ＴＩＭＥが第３時間ＳＴ＿ＴＨ３ 以下であると判定された場合には、変数ＳＴ＿ＴＩＭＥが第３時間ＳＴ＿ＴＨ３ より短い所定の第２時間ＳＴ＿ＴＨ２ を越えているか否かを判定する（ステップ２８）。
【００７０】
変数ＳＴ＿ＴＩＭＥが第２時間ＳＴ＿ＴＨ２ 以下であると判定された場合には、変数ＳＴ＿ＴＩＭＥが第２時間ＳＴ＿ＴＨ２ より短い所定の第１時間ＳＴ＿ＴＨ１ に等しいか否かを判定する（ステップ３０）。
【００７１】
変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿ＴＨ１ と等しくないと判定された場合には、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００７２】
上記ステップ３０において、変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿ＴＨ１ と等しいと判定された場合、つまり、入浴者の静止状態の継続時間が第１時間に達した場合には、マイコン９７は安否確認第１要求を音声出力ＬＳＩ１００に出力する（ステップ３１）。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００７３】
音声出力ＬＳＩ１００は、安否確認第１要求を受信すると、入浴者に対する安否確認第１要求用音声メッセージをスピーカ１１を介して出力する。安否確認第１要求用音声メッセージとしては、たとえば、「大丈夫ですか？動いてみて下さい」というメッセージが用いられる。
【００７４】
上記ステップ２８において、変数ＳＴ＿ＴＩＭＥが第２時間ＳＴ＿ＴＨ２ を越えていると判定された場合、つまり、入浴者の静止状態の継続時間が第３時間は越えていないが第２時間を越えた場合には、マイコン９７は安否確認第２要求を音声出力ＬＳＩ１００に出力する（ステップ２９）。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００７５】
音声出力ＬＳＩ１００は、安否確認第２要求を受信すると、入浴者に対する安否確認第２要求用音声メッセージをスピーカ１１を介して出力する。安否確認第２要求メッセージとしては、たとえば、「大丈夫ですか？、大丈夫ですか？…」というように、「大丈夫ですか？」というメッセージが連呼される。この際、マイコン９７は、音声出力ＬＳＩ１００に、音量を徐々に上げるように、音量制御信号を出力する。
【００７６】
上記ステップ２６において、変数ＳＴ＿ＴＩＭＥが第３時間ＳＴ＿ＴＨ３ を越えていると判定された場合、つまり、入浴者の静止状態の継続時間が第３時間を越えた場合には、マイコン９７は警報要求を音声出力ＬＳＩ１００および警報器２０に出力する（ステップ２７）。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００７７】
音声出力ＬＳＩ１００は、警報要求を受信すると、入浴者に対する警報をスピーカ１１を介して出力する。この警報としては、たとえば、「ブー、ブー…」というように、「ブー」という警報音が連呼される。この際、マイコン９７は、音声出力ＬＳＩ１００に、音量を徐々に上げるように、音量制御信号を出力する。一方、外部の警報器２０は、警報要求を受信すると、外部の人に緊急事態を通知するために警報を出力する。
【００７８】
上記ステップ２２において、入浴者が動状態であると判定した場合には（ステップ２３）、マイコン９７は、変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿ＴＨ１ 以上であるか否かを判定する（ステップ３２）。変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿ＴＨ１ 以上である場合には、マイコン９７は、チャイム要求を音声出力ＬＳＩ１００に出力した後（ステップ３３）、ステップ３４に移行する。音声出力ＬＳＩ１００は、チャイム要求を受信すると、たとえば、「ピロン」というようなチャイム音をスピーカ１１を介して出力する。
【００７９】
ステップ３３でチャイム音を出力している理由について説明する。上記ステップ３１において安否確認のための音声メッセージを出力した後、入浴者が動くと、ステップ２２で入浴者か動状態であると判定される。このように、安否確認のための音声メッセージを出力した後、ステップ２２で入浴者か動状態であると判定されたことを、チャイムによって入浴者に通知することにより、入浴者の不安を解消する。
【００８０】
上記ステップ３２において、変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿Ｔ１を越えていない場合には、ステップ３４に移行する。ステップ３４では、マイコン９７は、状態フラグＳＴ＿ＦＬＧ の値を２にするとともに、変数ＳＴ＿ＴＩＭＥを０にする。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００８１】
上記ステップ８で行なわれる曇り度判定用データの算出方法について説明する。
【００８２】
まず、基本的な考え方について説明する。レンズ面８ａの曇り度が高くなると、隣接する領域間の画像データ（輝度積算値）の差が小さくなる。そこで、全ての隣接する領域間の画像データの差分を積算し、その積算結果を曇り度判定用データとする。積算結果が小さい程曇り度は高くなる。
【００８３】
全ての隣接する領域間の画像データの差分を積算すると処理量が多くなるため、ここでは、一部の隣接する領域間の画像データの差分を積算するようにする。曇り度判定用データの算出方法には、２つの方法があるので、各方法について説明する。
【００８４】
（１）第１方法
第１方法では、まず、図５に示すように、各特徴量算出領域Ｄ１１〜Ｄ４４を、最も外側の領域（ハッチング無し）と、それらに囲まれた中央領域（ハッチング有りの領域；Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３）とに分ける。
【００８５】
次に、最も外側の領域以外の各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に、その領域とその周辺領域との間の画像特徴量の差分に関する値を算出する。第１方法では、最も外側の領域以外の各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に、その領域とその周辺領域の平均値との差分データの絶対値を算出する。
【００８６】
例えば、領域がＤ２２の場合には、その周辺領域の平均値との差分データの絶対値ΔＤ２２は、次式（１）に基づいて算出される。Ｄｘｙは、領域Ｄｘｙの輝度積算値とする。
【００８７】
ΔＤ２２ ＝｜Ｄ２２−｛（Ｄ１１＋Ｄ１２＋Ｄ１３＋Ｄ２１＋Ｄ２３＋Ｄ３１＋Ｄ３２＋Ｄ３３）／８ ｝ …（１）
【００８８】
つまり、ΔＤ２２は、領域Ｄ２２の周辺の８つの領域の輝度積算値の平均値と、領域Ｄ２２の輝度積算値との差の絶対値として求められる。
【００８９】
各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に求められた、周辺領域の平均値との差分データの絶対値ΔＤ２２、ΔＤ２３、ΔＤ３２、ΔＤ３３を積算し、その積算結果を曇り度判定用データとする。
【００９０】
なお、曇り度の変化の度合いを急峻にしたい場合には、ΔＤ２２、ΔＤ２３、ΔＤ３２、ΔＤ３３をそれぞれ２乗したものを積算し、その積算結果を曇り度判定用データとすればよい。
【００９１】
（２）第２方法
第２方法では、まず、図５に示すように、各特徴量算出領域Ｄ１１〜Ｄ４４を、最も外側の領域（ハッチング無し）と、それらに囲まれた中央領域（ハッチング有りの領域；Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３）とに分ける。
【００９２】
次に、最も外側の領域以外の各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に、その領域とその周辺領域との間の画像特徴量の差分に関する値を算出する。第２方法では、最も外側の領域以外の各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に、その領域とその周辺領域との差分の絶対値のうちの最大値を算出する。
【００９３】
例えば、領域がＤ２２の場合には、その周辺領域との差分の絶対値のうちの最大値ΔＤ２２は、次式（２）に基づいて算出される。Ｄｘｙは、領域Ｄｘｙの輝度積算値とする。
【００９４】
ΔＤ２２ ＝ＭＡＸ〔｜ Ｄ２２−Ｄ１１｜， ｜ Ｄ２２−Ｄ１２｜， ｜ Ｄ２２−Ｄ１３｜， ｜ Ｄ２２−Ｄ２１｜， ｜ Ｄ２２−Ｄ２３｜， ｜ Ｄ２２−Ｄ３１｜， ｜ Ｄ２２−Ｄ３２｜， ｜ Ｄ２２−Ｄ３３｜〕 …（２）
【００９５】
各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に求められた、周辺領域との差分の絶対値のうちの最大値ΔＤ２２、ΔＤ２３、ΔＤ３２、ΔＤ３３を積算し、その積算結果を曇り度判定用データとする。
【００９６】
なお、曇り度の変化の度合いを急峻にしたい場合には、ΔＤ２２、ΔＤ２３、ΔＤ３２、ΔＤ３３をそれぞれ２乗したものを積算し、その積算結果を曇り度判定用データとすればよい。
【００９７】
なお、上記実施の形態では、画像特徴量は、１画面に設定された複数の特徴量算出領域毎に抽出されているが、１画面内に設定された１つの領域でのみ抽出するようにしてもよい。この場合には、１つの領域で抽出された画像特徴量の時間的変化が所定の動き判定用閾値より大きいか否かに基づいて、入浴者が動状態であるか静止状態であるかを判定すればよい。
【００９９】
【発明の効果】
この発明によれば、監視対象者に安否確認のための音声メッセージや警報音を出力した後に、監視対象者が動いたことが検出された場合に、その旨を監視対象者に通知することができるようになる。
【図面の簡単な説明】
【図１】異常状態検出装置の配置例を示す模式図である。
【図２】異常状態検出装置の構成を示すブロック図である。
【図３】１画面内に設定された複数の特徴量算出領域を示す模式図である。
【図４】マイコンの動作を示すフローチャートである。
【図５】曇り度判定用データの生成方法を説明するための説明図である。
【符号の説明】
８ カメラ
８ａ レンズ
８ｂ ＣＣＤ
９ 異常状態検出装置
１０ 第１警報器
１１ スピーカ
１２ 赤色ＬＥＤ
１３ 緑色ＬＥＤ
２０ 第２警報器
９１ 前処理回路
９２ ＹＣ分離回路
９３ 領域毎積算回路
９６ 画像特徴量ＲＡＭ
９７ マイコン
９８ ＣＰＵＩ／Ｆ
９９ タイミング制御部
１００ 音声出力ＬＳＩ
【発明の属する技術分野】
この発明は、たとえば、浴室、トイレなどの部屋内において人が倒れるといった異常が発生した場合に、そのことを検出する異常検出装置に関する。
【０００２】
【従来の技術】
浴室内において入浴者が入浴中に死亡する事故が年々増加しており、入浴者の入浴中での死亡者数が交通事故による死亡者数以上になり、入浴中での事故が注目されてきている。
【０００３】
入浴中での事故の直接的な原因は、入浴中に心不全や脳卒中などで倒れたり、バスタブ中で意識障害が生じて溺死するというものである。しかし、そのような状態となる要因は、原因究明が進んではいるものの、現在の生活様式の変化も重なりなかなか特定できないのが現状である。従って、入浴中の心不全や脳卒中などを防止することはなかなか容易ではない。
【０００４】
しかし、症状が発生するのを防止することができなくても、早期発見により、一命を取り留める可能性はかなり高くなる。
【０００５】
【発明が解決しようとする課題】
そこで、本出願人は、次のような異常検出装置を開発した。つまり、浴室内の映像を撮像手段によって撮像する。撮像手段で撮像した映像を複数の特徴量算出領域に分割し、各特徴量算出領域毎に撮像手段で撮像した映像から画像特徴量を抽出する。
【０００６】
各特徴量算出領域毎に抽出された画像特徴量の所定時間間隔毎の時間的変化量を検出する。各特徴量算出領域毎に検出された画像特徴量の時間的変化量と動き判定用閾値とを各特徴量算出領域毎に比較し、画像特徴量の時間的変化量が動き判定用閾値以下である場合にはその特徴量算出領域に動きが無いと判定し、動き判定用閾値より大きい場合にその特徴量算出領域に動きが有ると判定する。
【０００７】
動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値以下の場合に入浴者が静止状態であると判定し、動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値より多い場合に入浴者が動状態であると判定する。そして、過去所定回数の動状態／静止状態の判定結果に基づいて、入浴者に異常が発生したか否かを判定する。
【０００８】
このような異常検出装置では、入浴者の静止状態が一定時間以上継続した場合には、入浴者に安否確認のための音声メッセージや警報音を出力することが考えられる。しかしながら、安否確認のための音声メッセージや警報音をいきなり出力すると、入浴者を驚かすことにもなりかねない。
【０００９】
また、安否確認のための音声メッセージや警報音を出力した後、入浴者が動くと、入浴者が動いたことが検出され、異常状態ではないことが異常検出装置側では認識されるが、入浴者は自分の動きが異常検出装置によって検出されたかどうか分からないため、疑心暗鬼状態で不要な動きを続けることになる。
【００１１】
この発明は、監視対象者に安否確認のための音声メッセージや警報音を出力した後に、監視対象者が動いたことが検出された場合に、その旨を監視対象者に通知することができる異常検出装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
この発明による第１の異常検出装置は、部屋内の映像を撮像する撮像手段、撮像手段で撮像した映像から画像特徴量を抽出する抽出手段、抽出手段で抽出した画像特徴量の所定時間間隔毎の時間的変化量を検出する検出手段、ならびに検出手段によって検出された画像特徴量の時間的変化量と動き判定用閾値とを比較し、画像特徴量の時間的変化量が動き判定用閾値以下である場合に部屋内の監視対象者が静止状態であると判定し、動き判定用閾値より大きい場合に部屋内の監視対象者が動状態であると判定する動き判定手段を備えている異常検出装置において、監視対象者の静止状態が第１の所定時間継続した場合に、監視対象者に対して安否確認用メッセージを出力する第１手段、監視対象者の静止状態が第１の所定時間より長い第２の所定時間継続した場合に、部屋外の人に監視対象者の異常を通知する第２手段、および第１手段によって監視対象者に対して安否確認用メッセージが出力された後に、監視対象者が動状態であると初めて判定されたときに、監視対象者が動状態であると判定されたことを監視対象者に通知する第３手段を備えていることを特徴とする。
【００１３】
この発明による第２の異常検出装置は、部屋内の映像を撮像する撮像手段、撮像手段で撮像した映像を複数の特徴量算出領域に分割し、各特徴量算出領域毎に撮像手段で撮像した映像から画像特徴量を抽出する抽出手段、各特徴量算出領域毎に抽出手段で抽出した画像特徴量の所定時間間隔毎の時間的変化量を検出する検出手段、検出手段によって各特徴量算出領域毎に検出された画像特徴量の時間的変化量と動き判定用閾値とを各特徴量算出領域毎に比較し、画像特徴量の時間的変化量が動き判定用閾値以下である場合にはその特徴量算出領域に動きが無いと判定し、動き判定用閾値より大きい場合にその特徴量算出領域に動きが有ると判定する第１動き判定手段、ならびに動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値以下の場合に部屋内の監視対象者が静止状態であると判定し、動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値より多い場合に部屋内の監視対象者が動状態であると判定する第２動き判定手段を備えた異常検出装置において、監視対象者の静止状態が第１の所定時間継続した場合に、監視対象者に対して安否確認用メッセージを出力する第１手段、監視対象者の静止状態が第１の所定時間より長い第２の所定時間継続した場合に、部屋外の人に監視対象者の異常を通知する第２手段、および第１手段によって監視対象者に対して安否確認用メッセージが出力された後に、監視対象者が動状態であると初めて判定されたときに、監視対象者が動状態であると判定されたことを監視対象者に通知する第３手段を備えていることを特徴とする。
【００１８】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１９】
図１は、異常状態検出装置の配置例を示す模式図である。
図１において、１は浴室である。２は脱衣場である。３は廊下である。４は台所である。
【００２０】
浴室１と脱衣場２との間の壁には、ドア５が開閉自在に設けられており、ドア５を開けて人が脱衣場２から浴室１内に入室または浴室１から脱衣場２へ退室することができる。浴室１と脱衣場２との間の壁の脱衣場２側には、浴室１内に接地された照明灯７をオンオフさせるための照明スイッチ６が配置されている。
【００２１】
９は、入浴者が異常状態になったことを検出するための異常状態検出装置である。より具体的には、異常状態検出装置９は、浴室１内の映像を撮像するカメラ８（図２参照）を内蔵しており、カメラ８の映像に基づいて、入浴者が異常状態になったことを検出する。
【００２２】
異常状態検出装置９の電源は、照明スイッチ６のオンオフに連動してオンオフされる。つまり、照明スイッチ６がオンされると、照明灯７が点灯されるとともに、異常状態検出装置９の電源がオンとなる。そして、照明スイッチ６がオフされると、照明灯７が消灯されるとともに、異常状態検出装置９の電源がオフとなる。
【００２３】
１０は、浴室１に入室している人（入浴者）に対して、安否確認等の音声メッセージを出力したり、異常状態検出装置９の動作状態を提示するための第１警報器である。２０は浴室１外の人に入浴者の異常を通知するために、例えば台所４に配置された第２警報器である。
【００２４】
図２は、異常状態検出装置９の構成を示している。
カメラ８は、レンズ８ａとＣＣＤ８ｂとからなる。ＣＣＤ８ｂは、レンズ８ａを通して浴室内の光学像を光電変換し、電気信号として出力する。ＣＣＤ８ｂの出力信号は、前処理回路９１に送られる。前処理回路は、ＣＤＳ回路、ＡＧＣ回路およびＡＤＣを備えている。
【００２５】
ＣＣＤ８ｂの出力信号は、ＣＤＳ回路で相関二重サンプリング処理され、さらに、ＡＧＣ回路で最適な振幅にゲイン調整された後、ＡＤＣによりデジタル信号に変換されて、ＹＣ分離回路９２に入力する。
【００２６】
ＹＣ分離回路９２は、デジタルＣＣＤ信号から輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する。ＹＣ分離回路９２によって生成された信号Ｙ，Ｒ−Ｙ，Ｂ−Ｙは、領域毎積算回路９３に送られる。
【００２７】
領域毎積算回路９３は、図３に示すように、１画面を複数の同一面積の領域（特徴量算出領域）Ｄ１１〜Ｄ４４に分割し、各特徴量算出領域において、信号Ｙ，Ｒ−Ｙ，Ｂ−Ｙ毎に積算処理または平均処理を行なう。この例では、信号Ｙ，Ｒ−Ｙ，Ｂ−Ｙ毎に積算処理を行なうものとする。領域毎に積算した結果（以下、画像特徴量という）Ｄ１１〜Ｄ４４は、画像特徴量ＲＡＭ９６に格納される。
【００２８】
タイミング制御部９９は、ＣＣＤ８ｂを駆動するためのＣＣＤ駆動パルスを出力する。また、タイミング制御部９９は、ＣＤＳ回路用にサンプリングパルスを、ＡＤＣ用にサンプリングクロックを出力する。
【００２９】
タイミング制御部９９によって一定のタイミングで入力されるＣＣＤデジタル信号に対し、所定のＹＣ分離、領域毎積算、高周波成分積算および画像特徴ＲＡＭへの書き込みが正常が行なわれるように、タイミング制御部９９は各回路に制御信号を送る。また、タイミング制御部９９は、動き判定を行なうマイクロコンピュータ（以下、マイコン）９７に対して、割り込み信号として映像の垂直同期信号であるＶｓｙｎｃ 信号を出力する。
【００３０】
マイコン９７は、タイミング制御部９９に対し、領域の位置設定などのパラメータ設定を行なう。また、マイコン９７は、映像の明るさを最適化するために、ＡＧＣ回路のゲイン制御や、ＣＰＵＩ／Ｆ９８を通じてタイミング制御を行い、ＣＣＤ８ｂの露光時間制御を行なう。さらに、マイコン９７は、タイミング制御部９９から割り込み信号を受け、映像の出力に同期して動き判定を行なう。
【００３１】
図２に示すように、第１警報器１０は、スピーカ１１、赤色ＬＥＤ１２および緑色ＬＥＤ１３を備えている。マイコン９７は、音声出力ＬＳＩ１００を制御して、スピーカ１１から状況に応じた音声メッセージを出力させる。また、マイコン９７は、異常検出装置９の動作状態に応じて赤色ＬＥＤ１２および緑色ＬＥＤ１３を制御する。また、マイコン９７は、入浴者が異常であると判定した場合には、第２警報器（外部警報器）２０を駆動させる。
【００３２】
図４は、マイコン９７が行なう動き判定処理手順を示している。
【００３３】
動き判定処理を説明する前に、動き判定処理で用いられるフラグと変数とについて説明する。
【００３４】
フラグには、状態フラグＳＴ＿ＦＬＧ 、曇りフラグＣＬ＿ＦＬＧ および故障フラグＴＲ＿ＦＬＧ がある。
【００３５】
状態フラグＳＴ＿ＦＬＧ は、表１に示すように、入室待状態であること（ＳＴ＿ＦＬＧ ＝０）、入室が検知されたこと（ＳＴ＿ＦＬＧ ＝１）、入浴者が動状態であること（ＳＴ＿ＦＬＧ ＝２）、入浴者が静止状態であること（ＳＴ＿ＦＬＧ ＝３）を識別するためのフラグである。
【００３６】
【表１】
曇りフラグＣＬ＿ＦＬＧ は、表２に示すように、カメラ８のレンズ８ａが曇っていたり、部屋の明るさが足りないために動き検知が不能であるか否かを識別するためのフラグである。動き検知が不能であれば、ＣＬ＿ＦＬＧ ＝１となり、動き検知が可能であれば、ＣＬ＿ＦＬＧ ＝０となる。
【００３８】
【表２】
故障フラグＴＲ＿ＦＬＧ は、表３に示すように、カメラ８の電源がＯＦＦまたはカメラ８が故障中であるか否かを識別するためのフラグである。カメラ８の電源がＯＦＦまたはカメラ８が故障中である場合にはＴＲ＿ＦＬＧ ＝１となり、カメラ８が通常動作状態である場合にはＴＲ＿ＦＬＧ ＝０となる。
【００４０】
【表３】
表４に示すように、これら３種類のフラグＳＴ＿ＦＬＧ 、ＣＬ＿ＦＬＧ およびＴＲ＿ＦＬＧ の値に基づいて、赤色ＬＥＤ１２および緑色ＬＥＤ１３が制御される。
【００４２】
【表４】
したがって、異常検出装置の状態と、赤色ＬＥＤ１２および緑色ＬＥＤ１３の状態と、入浴者に知らせる内容との関係は、表５に示すようになる。
【００４４】
【表５】
変数としては、次の３種類がある。
ＣＬ＿ＴＩＭＥ：レンズ８ａが曇っていると判定されている状態の継続時間
ＳＴ＿ＴＩＭＥ：入浴者の静止状態が継続している時間
ＣｏｕｎｔＭ ：動き有りと判定された特徴量算出領域の数
【００４６】
照明スイッチ６がオンされることによって電源が入ると（ステップ１）、マイコン９７は、３種類のフラグＳＴ＿ＦＬＧ 、ＣＬ＿ＦＬＧ およびＴＲ＿ＦＬＧ および３種類の変数ＣＬ＿ＴＩＭＥ、ＳＴ＿ＴＩＭＥ、ＣｏｕｎｔＭ の値を０にする（ステップ２）。そして、マイコン９７は、Ｖｓｙｎｃ 信号が入力するまで入力待機状態となり（ステップ３）、Ｖｓｙｎｃ 信号が入力されると、以下の処理を行なう。
【００４７】
Ｖｓｙｎｃ 信号が入力されると、マイコン９７は、ＣＰＵＩ／Ｆ９８を通して、タイミング制御回路９９にパラメータ設定を行なう（ステップ４）。その後、画像特徴量ＲＡＭ９６に格納されている前フィールドの全特徴量算出領域の画像特徴量をＣＰＵＩ／Ｆ９８を通して読み出し（ステップ５）、マイコン９７内部のＲＡＭに格納する（ステップ６）。
【００４８】
全特徴量算出領域の画像特徴量がマイコン９７内部のＲＡＭに格納されると（ステップ７）、マイコン９７は、上記ステップ６でマイコン９７内部のＲＡＭに格納された前フィールドの全特徴量算出領域の画像特徴量に基づいて、曇り度判定用データを生成する（ステップ８）。
【００４９】
曇り度判定用データの生成方法の詳細については後述する。曇り度判定用データは、レンズ面８ａの曇り度を判定するためのデータであり、曇り度判定用データが小さい程、曇り度は高くなる。
【００５０】
曇り度判定用データを生成すると、マイコン９７は、曇り度判定用データが所定値より小さいか否かを判定する（ステップ９）。
【００５１】
曇り度判定用データが所定値より小さい場合には、マイコン９７はレンズ面８ａの曇り度が高く、動き判定が不可能であると判断し、曇りフラグＣＬ＿ＦＬＧ の値を１にするとともに、変数ＣＬ＿ＴＩＭＥをカウントアップ（＋１）する（ステップ１０）。そして、マイコン９７は、変数ＣＬ＿ＴＩＭＥが故障判定用基準値ＣＬＴ ＿ＴＨより大きいか否かを判定する（ステップ１１）。
【００５２】
変数ＣＬ＿ＴＩＭＥが故障判定用基準値ＣＬＴ ＿ＴＨ以下である場合には、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。ステップ３５のＬＥＤ表示制御では、３種類のフラグＳＴ＿ＦＬＧ 、ＣＬ＿ＦＬＧ およびＴＲ＿ＦＬＧ の値に基づいて、表４の規則にしたがって、赤色ＬＥＤ１２および緑色ＬＥＤ１３が制御される。
【００５３】
ＣＬ＿ＴＩＭＥが故障判定用基準値ＣＬＴ ＿ＴＨより大きい場合には、故障フラグＴＲ＿ＦＬＧ の値が１にされる（ステップ１２）。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００５４】
上記ステップ９において、曇り度判定用データが所定値以上であると判定された場合には、マイコン９７はレンズ面８ａの曇り度が低く、動き判定が可能であると判断し、故障フラグＴＲ＿ＦＬＧ の値を０にするとともに、曇りフラグＣＬ＿ＦＬＧ の値を０にする。また、変数ＣＬ＿ＴＩＭＥを０にするとともに、変数ＣｏｕｎｔＭを０ にする（ステップ１３）。
【００５５】
そして、各特徴量算出領域の特徴量の変化量から、各特徴量算出領域毎の動き判定を行なう。つまり、マイコン９７は、各算出領域毎に画像特徴量ＲＡＭ９６から今回読み出した画像特徴量Ｄｘｙ（ｔ）と画像特徴量ＲＡＭ９６から前回読み出した画像特徴量Ｄｘｙ（ｔ−１）との差の絶対値｜Ｄｘｙ（ｔ）−Ｄｘｙ（ｔ−１）｜が閾値ＳＵＢＴＨより大きいか否かを判定する（ステップ１４）。
【００５６】
この判定は、各特徴量算出領域に対して、輝度信号Ｙの積算値の変化量、色差信号Ｒ−Ｙの積算値の変化量および色差信号Ｂ−Ｙの積算値の変化量それぞれについて行われ、いずれか１つでも変化量がＳＵＢＴＨより大きければ、その特徴量算出領域に動きが有ったと判定する。
【００５７】
特徴量算出領域において動きが有ると判定した場合には、マイコン９７は、変数ＣｏｕｎｔＭを１だけインクリメントする（ステップ１５）。そして、入室判定処理を行なう（ステップ１６）。
【００５８】
入室判定処理とは、浴室に人が入室したか否かを判定するものである。この実施の形態では、電源ＯＮの後に、全特徴量算出領域Ｄ１１〜Ｄ４４（図３参照）のうち中央部の４つの特徴量算出領域Ｄ２２、Ｄ２３、Ｄ３２、Ｄ３３のいずれかにおいて動き有りと判定された場合に、浴室に人が入室したと判定する。
【００５９】
入室判定処理においては、まず、状態フラグＳＴ＿ＦＬＧ の値が０であるか否かを判別する（ステップ１６ａ）。状態フラグＳＴ＿ＦＬＧ の値が１、すなわち、入室待ち状態でない場合には、入室判定を行なう必要がないので、ステップ１７に移行する。
【００６０】
状態フラグＳＴ＿ＦＬＧ の値が０、すなわち、入室待ち状態である場合には、今回動き有りと判定された領域が、中央部の領域Ｄ２２、Ｄ２３、Ｄ３２またはＤ３３であるか否かを判定する（ステップ１６ｂ）。今回動き有りと判定された領域が、中央部の領域でないときには、ステップ１７に移行する。
【００６１】
今回動き有りと判定された領域が、中央部の領域である場合には、状態フラグＳＴ＿ＦＬＧ の値を１にする（ステップ１６ｃ）。そして、ステップ１７に移行する。
【００６２】
ステップ１７では、マイコン９７は、全ての特徴量算出領域についての動き判定が終了したか否かを判定する。全ての特徴量算出領域についての動き判定が終了していない場合には、ステップ１４に戻り、次の特徴量算出領域について動き判定を行なう。
【００６３】
全ての特徴量算出領域についての動き判定が終了すると、マイコン９７は、再び、状態フラグＳＴ＿ＦＬＧ の値が０であるか否かを判別する（ステップ１８）。状態フラグＳＴ＿ＦＬＧ の値が０、すなわち、入室待ち状態である場合には、ステップ１９以降の異常判定処理を行なうことなく、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００６４】
上記ステップ１８において、状態フラグＳＴ＿ＦＬＧ の値が０でない場合、すなわち、入室待ち状態でない場合には、ステップ１９に移行する。
【００６５】
ステップ１９では、マイコン９７は、動きが有ると判定された領域数ＣｏｕｎｔＭが動状態／静止状態判定用基準値ＴＨ＿Ｃｏｕｎｔ より大きいか否かを判定する。
【００６６】
動きが有ると判定された領域数ＣｏｕｎｔＭが動状態／静止状態判定用基準値ＴＨ＿Ｃｏｕｎｔ 以下である場合には、マイコン９７は、入浴者に動きが無いと判定し（ステップ２０）、動きが有ると判定された領域数ＣｏｕｎｔＭが動状態／静止状態判定用基準値ＴＨ＿Ｃｏｕｎｔ より多い場合には、マイコン９７は、入浴者に動きが有ると判定する（ステップ２１）。そして、ステップ２２に進む。
【００６７】
ステップ２２では、マイコン９７は、過去Ｎ回（Ｎフィールド）分の動き判定において所定のＭ回以上入浴者に動きがあると判定されたか否かを判定する。過去Ｎ回分の動き判定においてＭ回以上入浴者に動きがある場合には、マイコン９７は入浴者が動状態であると判定し（ステップ２３）、そうでない場合にはマイコン９７は入浴者が静止状態であると判定する（ステップ２４）。
【００６８】
入浴者が静止状態であると判定した場合には、状態フラグＳＴ＿ＦＬＧ の値を３にするとともに、変数ＳＴ＿ＴＩＭＥをカウントアップ（ ＋１）する（ステップ２５）。そして、変数ＳＴ＿ＴＩＭＥが所定の第３時間ＳＴ＿ＴＨ３ を越えているか否かを判定する（ステップ２６）。
【００６９】
変数ＳＴ＿ＴＩＭＥが第３時間ＳＴ＿ＴＨ３ 以下であると判定された場合には、変数ＳＴ＿ＴＩＭＥが第３時間ＳＴ＿ＴＨ３ より短い所定の第２時間ＳＴ＿ＴＨ２ を越えているか否かを判定する（ステップ２８）。
【００７０】
変数ＳＴ＿ＴＩＭＥが第２時間ＳＴ＿ＴＨ２ 以下であると判定された場合には、変数ＳＴ＿ＴＩＭＥが第２時間ＳＴ＿ＴＨ２ より短い所定の第１時間ＳＴ＿ＴＨ１ に等しいか否かを判定する（ステップ３０）。
【００７１】
変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿ＴＨ１ と等しくないと判定された場合には、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００７２】
上記ステップ３０において、変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿ＴＨ１ と等しいと判定された場合、つまり、入浴者の静止状態の継続時間が第１時間に達した場合には、マイコン９７は安否確認第１要求を音声出力ＬＳＩ１００に出力する（ステップ３１）。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００７３】
音声出力ＬＳＩ１００は、安否確認第１要求を受信すると、入浴者に対する安否確認第１要求用音声メッセージをスピーカ１１を介して出力する。安否確認第１要求用音声メッセージとしては、たとえば、「大丈夫ですか？動いてみて下さい」というメッセージが用いられる。
【００７４】
上記ステップ２８において、変数ＳＴ＿ＴＩＭＥが第２時間ＳＴ＿ＴＨ２ を越えていると判定された場合、つまり、入浴者の静止状態の継続時間が第３時間は越えていないが第２時間を越えた場合には、マイコン９７は安否確認第２要求を音声出力ＬＳＩ１００に出力する（ステップ２９）。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００７５】
音声出力ＬＳＩ１００は、安否確認第２要求を受信すると、入浴者に対する安否確認第２要求用音声メッセージをスピーカ１１を介して出力する。安否確認第２要求メッセージとしては、たとえば、「大丈夫ですか？、大丈夫ですか？…」というように、「大丈夫ですか？」というメッセージが連呼される。この際、マイコン９７は、音声出力ＬＳＩ１００に、音量を徐々に上げるように、音量制御信号を出力する。
【００７６】
上記ステップ２６において、変数ＳＴ＿ＴＩＭＥが第３時間ＳＴ＿ＴＨ３ を越えていると判定された場合、つまり、入浴者の静止状態の継続時間が第３時間を越えた場合には、マイコン９７は警報要求を音声出力ＬＳＩ１００および警報器２０に出力する（ステップ２７）。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００７７】
音声出力ＬＳＩ１００は、警報要求を受信すると、入浴者に対する警報をスピーカ１１を介して出力する。この警報としては、たとえば、「ブー、ブー…」というように、「ブー」という警報音が連呼される。この際、マイコン９７は、音声出力ＬＳＩ１００に、音量を徐々に上げるように、音量制御信号を出力する。一方、外部の警報器２０は、警報要求を受信すると、外部の人に緊急事態を通知するために警報を出力する。
【００７８】
上記ステップ２２において、入浴者が動状態であると判定した場合には（ステップ２３）、マイコン９７は、変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿ＴＨ１ 以上であるか否かを判定する（ステップ３２）。変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿ＴＨ１ 以上である場合には、マイコン９７は、チャイム要求を音声出力ＬＳＩ１００に出力した後（ステップ３３）、ステップ３４に移行する。音声出力ＬＳＩ１００は、チャイム要求を受信すると、たとえば、「ピロン」というようなチャイム音をスピーカ１１を介して出力する。
【００７９】
ステップ３３でチャイム音を出力している理由について説明する。上記ステップ３１において安否確認のための音声メッセージを出力した後、入浴者が動くと、ステップ２２で入浴者か動状態であると判定される。このように、安否確認のための音声メッセージを出力した後、ステップ２２で入浴者か動状態であると判定されたことを、チャイムによって入浴者に通知することにより、入浴者の不安を解消する。
【００８０】
上記ステップ３２において、変数ＳＴ＿ＴＩＭＥが第１時間ＳＴ＿Ｔ１を越えていない場合には、ステップ３４に移行する。ステップ３４では、マイコン９７は、状態フラグＳＴ＿ＦＬＧ の値を２にするとともに、変数ＳＴ＿ＴＩＭＥを０にする。そして、ＬＥＤ表示制御を行なった後（ステップ３５）、ステップ３に戻る。
【００８１】
上記ステップ８で行なわれる曇り度判定用データの算出方法について説明する。
【００８２】
まず、基本的な考え方について説明する。レンズ面８ａの曇り度が高くなると、隣接する領域間の画像データ（輝度積算値）の差が小さくなる。そこで、全ての隣接する領域間の画像データの差分を積算し、その積算結果を曇り度判定用データとする。積算結果が小さい程曇り度は高くなる。
【００８３】
全ての隣接する領域間の画像データの差分を積算すると処理量が多くなるため、ここでは、一部の隣接する領域間の画像データの差分を積算するようにする。曇り度判定用データの算出方法には、２つの方法があるので、各方法について説明する。
【００８４】
（１）第１方法
第１方法では、まず、図５に示すように、各特徴量算出領域Ｄ１１〜Ｄ４４を、最も外側の領域（ハッチング無し）と、それらに囲まれた中央領域（ハッチング有りの領域；Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３）とに分ける。
【００８５】
次に、最も外側の領域以外の各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に、その領域とその周辺領域との間の画像特徴量の差分に関する値を算出する。第１方法では、最も外側の領域以外の各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に、その領域とその周辺領域の平均値との差分データの絶対値を算出する。
【００８６】
例えば、領域がＤ２２の場合には、その周辺領域の平均値との差分データの絶対値ΔＤ２２は、次式（１）に基づいて算出される。Ｄｘｙは、領域Ｄｘｙの輝度積算値とする。
【００８７】
ΔＤ２２ ＝｜Ｄ２２−｛（Ｄ１１＋Ｄ１２＋Ｄ１３＋Ｄ２１＋Ｄ２３＋Ｄ３１＋Ｄ３２＋Ｄ３３）／８ ｝ …（１）
【００８８】
つまり、ΔＤ２２は、領域Ｄ２２の周辺の８つの領域の輝度積算値の平均値と、領域Ｄ２２の輝度積算値との差の絶対値として求められる。
【００８９】
各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に求められた、周辺領域の平均値との差分データの絶対値ΔＤ２２、ΔＤ２３、ΔＤ３２、ΔＤ３３を積算し、その積算結果を曇り度判定用データとする。
【００９０】
なお、曇り度の変化の度合いを急峻にしたい場合には、ΔＤ２２、ΔＤ２３、ΔＤ３２、ΔＤ３３をそれぞれ２乗したものを積算し、その積算結果を曇り度判定用データとすればよい。
【００９１】
（２）第２方法
第２方法では、まず、図５に示すように、各特徴量算出領域Ｄ１１〜Ｄ４４を、最も外側の領域（ハッチング無し）と、それらに囲まれた中央領域（ハッチング有りの領域；Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３）とに分ける。
【００９２】
次に、最も外側の領域以外の各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に、その領域とその周辺領域との間の画像特徴量の差分に関する値を算出する。第２方法では、最も外側の領域以外の各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に、その領域とその周辺領域との差分の絶対値のうちの最大値を算出する。
【００９３】
例えば、領域がＤ２２の場合には、その周辺領域との差分の絶対値のうちの最大値ΔＤ２２は、次式（２）に基づいて算出される。Ｄｘｙは、領域Ｄｘｙの輝度積算値とする。
【００９４】
ΔＤ２２ ＝ＭＡＸ〔｜ Ｄ２２−Ｄ１１｜， ｜ Ｄ２２−Ｄ１２｜， ｜ Ｄ２２−Ｄ１３｜， ｜ Ｄ２２−Ｄ２１｜， ｜ Ｄ２２−Ｄ２３｜， ｜ Ｄ２２−Ｄ３１｜， ｜ Ｄ２２−Ｄ３２｜， ｜ Ｄ２２−Ｄ３３｜〕 …（２）
【００９５】
各領域Ｄ２２，Ｄ２３，Ｄ３２，Ｄ３３毎に求められた、周辺領域との差分の絶対値のうちの最大値ΔＤ２２、ΔＤ２３、ΔＤ３２、ΔＤ３３を積算し、その積算結果を曇り度判定用データとする。
【００９６】
なお、曇り度の変化の度合いを急峻にしたい場合には、ΔＤ２２、ΔＤ２３、ΔＤ３２、ΔＤ３３をそれぞれ２乗したものを積算し、その積算結果を曇り度判定用データとすればよい。
【００９７】
なお、上記実施の形態では、画像特徴量は、１画面に設定された複数の特徴量算出領域毎に抽出されているが、１画面内に設定された１つの領域でのみ抽出するようにしてもよい。この場合には、１つの領域で抽出された画像特徴量の時間的変化が所定の動き判定用閾値より大きいか否かに基づいて、入浴者が動状態であるか静止状態であるかを判定すればよい。
【００９９】
【発明の効果】
この発明によれば、監視対象者に安否確認のための音声メッセージや警報音を出力した後に、監視対象者が動いたことが検出された場合に、その旨を監視対象者に通知することができるようになる。
【図面の簡単な説明】
【図１】異常状態検出装置の配置例を示す模式図である。
【図２】異常状態検出装置の構成を示すブロック図である。
【図３】１画面内に設定された複数の特徴量算出領域を示す模式図である。
【図４】マイコンの動作を示すフローチャートである。
【図５】曇り度判定用データの生成方法を説明するための説明図である。
【符号の説明】
８ カメラ
８ａ レンズ
８ｂ ＣＣＤ
９ 異常状態検出装置
１０ 第１警報器
１１ スピーカ
１２ 赤色ＬＥＤ
１３ 緑色ＬＥＤ
２０ 第２警報器
９１ 前処理回路
９２ ＹＣ分離回路
９３ 領域毎積算回路
９６ 画像特徴量ＲＡＭ
９７ マイコン
９８ ＣＰＵＩ／Ｆ
９９ タイミング制御部
１００ 音声出力ＬＳＩ
Claims (2)
- 部屋内の映像を撮像する撮像手段、撮像手段で撮像した映像から画像特徴量を抽出する抽出手段、抽出手段で抽出した画像特徴量の所定時間間隔毎の時間的変化量を検出する検出手段、ならびに検出手段によって検出された画像特徴量の時間的変化量と動き判定用閾値とを比較し、画像特徴量の時間的変化量が動き判定用閾値以下である場合に部屋内の監視対象者が静止状態であると判定し、動き判定用閾値より大きい場合に部屋内の監視対象者が動状態であると判定する動き判定手段を備えている異常検出装置において、
監視対象者の静止状態が第１の所定時間継続した場合に、監視対象者に対して安否確認用メッセージを出力する第１手段、
監視対象者の静止状態が第１の所定時間より長い第２の所定時間継続した場合に、部屋外の人に監視対象者の異常を通知する第２手段、および
第１手段によって監視対象者に対して安否確認用メッセージが出力された後に、監視対象者が動状態であると初めて判定されたときに、監視対象者が動状態であると判定されたことを監視対象者に通知する第３手段、
を備えていることを特徴とする異常検出装置。 - 部屋内の映像を撮像する撮像手段、撮像手段で撮像した映像を複数の特徴量算出領域に分割し、各特徴量算出領域毎に撮像手段で撮像した映像から画像特徴量を抽出する抽出手段、各特徴量算出領域毎に抽出手段で抽出した画像特徴量の所定時間間隔毎の時間的変化量を検出する検出手段、検出手段によって各特徴量算出領域毎に検出された画像特徴量の時間的変化量と動き判定用閾値とを各特徴量算出領域毎に比較し、画像特徴量の時間的変化量が動き判定用閾値以下である場合にはその特徴量算出領域に動きが無いと判定し、動き判定用閾値より大きい場合にその特徴量算出領域に動きが有ると判定する第１動き判定手段、ならびに動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値以下の場合に部屋内の監視対象者が静止状態であると判定し、動きが有ると判定された特徴量算出領域数が動状態／静止状態判定用基準値より多い場合に部屋内の監視対象者が動状態であると判定する第２動き判定手段を備えた異常検出装置において、
監視対象者の静止状態が第１の所定時間継続した場合に、監視対象者に対して安否確認用メッセージを出力する第１手段、
監視対象者の静止状態が第１の所定時間より長い第２の所定時間継続した場合に、部屋外の人に監視対象者の異常を通知する第２手段、および
第１手段によって監視対象者に対して安否確認用メッセージが出力された後に、監視対象者が動状態であると初めて判定されたときに、監視対象者が動状態であると判定されたことを監視対象者に通知する第３手段、
を備えていることを特徴とする異常検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001073764A JP3631154B2 (ja) | 2001-03-15 | 2001-03-15 | 異常検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001073764A JP3631154B2 (ja) | 2001-03-15 | 2001-03-15 | 異常検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002279553A JP2002279553A (ja) | 2002-09-27 |
| JP3631154B2 true JP3631154B2 (ja) | 2005-03-23 |
Family
ID=18931141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001073764A Expired - Fee Related JP3631154B2 (ja) | 2001-03-15 | 2001-03-15 | 異常検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3631154B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2574953A1 (en) * | 2011-09-30 | 2013-04-03 | General Electric Company | Method for providing remote health monitoring data and associated system |
| WO2017008239A1 (zh) * | 2015-07-14 | 2017-01-19 | 张阳 | Ktv点歌系统呼叫控制方法及系统 |
| JP6655908B2 (ja) * | 2015-08-19 | 2020-03-04 | 三菱電機株式会社 | 冷蔵庫およびプログラム |
| CN110543803A (zh) * | 2018-05-29 | 2019-12-06 | 菜鸟智能物流控股有限公司 | 监控方法、装置、服务器和存储介质 |
| JP7014982B2 (ja) * | 2020-07-14 | 2022-02-15 | ダイキン工業株式会社 | 画像処理装置、空気処理システム、画像処理プログラム、及び画像処理方法 |
-
2001
- 2001-03-15 JP JP2001073764A patent/JP3631154B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002279553A (ja) | 2002-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100737656B1 (ko) | 이상 검출 장치 및 이상 검출 방법 | |
| JP2006522959A (ja) | 転倒防止および検出用の方法および装置 | |
| JP2008052626A (ja) | 浴室異常検知システム | |
| JP3631154B2 (ja) | 異常検出装置 | |
| CN106416237A (zh) | 监视系统 | |
| JPH06270711A (ja) | 覚醒状態検知装置 | |
| JP3103931B2 (ja) | 室内監視装置 | |
| JP2016210567A (ja) | 乗客コンベアの監視システムおよび乗客コンベアの監視方法 | |
| JP4155159B2 (ja) | 複合型人感スイッチ | |
| JP2000099863A (ja) | 異常検出装置 | |
| JP2001307246A (ja) | 人体検知装置 | |
| JPH0674114B2 (ja) | エレベ−タ−の防犯装置 | |
| JP4337727B2 (ja) | 人体検知装置 | |
| JP2004179971A (ja) | 監視カメラ | |
| JP2007091462A (ja) | エレベータの監視装置 | |
| JP3625775B2 (ja) | 異常検出装置 | |
| JP3557180B2 (ja) | 異常検出装置 | |
| JPH10282133A (ja) | 監視装置 | |
| JP2003115088A (ja) | 人体検出装置 | |
| JP2002232870A (ja) | 検知装置及び検知方法 | |
| JP4325544B2 (ja) | 人体検知装置 | |
| JP2003109012A (ja) | 異常検出装置 | |
| JPH11337386A (ja) | 浴槽センサ | |
| JP3972590B2 (ja) | 人体検出装置 | |
| JP2003042536A (ja) | 浴室内異常監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040217 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |