JP4790148B2 - 監視システム - Google Patents
監視システム Download PDFInfo
- Publication number
- JP4790148B2 JP4790148B2 JP2001146926A JP2001146926A JP4790148B2 JP 4790148 B2 JP4790148 B2 JP 4790148B2 JP 2001146926 A JP2001146926 A JP 2001146926A JP 2001146926 A JP2001146926 A JP 2001146926A JP 4790148 B2 JP4790148 B2 JP 4790148B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- monitoring
- distance information
- difference
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、監視システムに関し、特に対象領域内の物体や人物の動きの有無を監視するための監視システムに関するものである。
【０００２】
【従来の技術】
病院の病室内あるいはトイレ内の患者のプライバシーを損なわずに、異常を知るための監視装置として、従来から、監視対象領域に輝点を投影してその画像を撮影し、撮影された画像中の輝点の基準位置からの位置変化によって対象領域の高さ変化を検出し、対象領域内の物体や人物の有無や動きの有無を監視する装置が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、対象領域の監視は撮像された画像を処理しなければならないため、計算量が多く処理に時間がかかるだけでなく、複雑な装置を必要としていた。
【０００４】
そこで本発明は、正確な対象領域内の監視を行えるだけでなく、単純で、かつ高速処理が可能な監視システムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、第１の態様に係る発明による監視システム１は、例えば図１、図３に示すように、監視対象物２までの距離を測定する、複数の距離センサ１１と；複数の距離センサ１１で取得した距離情報を保存する距離情報保存部２５と；距離情報保存部２５に保存された距離情報に基づいて監視対象物２の状態を判断する判断部２２とを備え；距離情報保存部２５は、距離センサ１１で取得した距離情報を時系列で保存するよう構成され；判断部２２は、距離センサ１１で取得された距離情報と前記時系列で保存された直前の距離情報との距離情報差を演算し、該距離情報差と第１の所定の閾値とを比較して、前記距離情報差が前記所定の閾値より大のとき監視対象物２に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき監視対象物２は静止していると判断するように構成されている。
【０００６】
このように構成すると、複数の距離センサ１１と、距離情報保存部２５と、判断部２２とを備えるので、距離センサ１１で取得された距離情報と時系列で保存された直前の距離情報との距離情報差を演算し、距離情報差と第１の所定の閾値とを比較して、距離情報差が第１の所定の閾値より大のとき監視対象物２に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき監視対象物２は静止していると判断することで、高速処理が可能な監視システム１とすることができる。
【０００７】
また第２の態様では、第１の態様に記載の監視システム１において、判断部２２は、前記第１の所定の閾値との比較を前記複数の距離センサ１１の各々について、一定の期間にわたって行ない、該一定の期間内に動きがあったと判断した回数と、静止していると判断した回数との回数差を求め、前記回数差が第２の所定の閾値よりも大なるセンサの監視対象点６に動きがあったと判断するように構成されている。
【０００８】
また第３の態様では、第２の態様に記載の監視システム１において、判断部２２は、前記動きがあったと判断された監視対象点６の数と、静止していると判断された監視対象点６の数との差を求め、前記点の数の差に基づいて、監視対象物２が全体として動いているか、静止しているかを判断するように構成されている。
【０００９】
また第４の態様では、第１の態様乃至第３の態様のいずれか１の態様に記載の監視システム１において、判断部２２は、監視対象物２の存在する監視領域面３に対する距離センサ１１の相対的な位置と、監視領域面３に対する距離センサ１１の相対的な距離測定方向とに基づき、監視対象物２の監視領域面３からの高さ及び距離センサ１１からの監視領域面３に平行な方向の奥行を算出するように構成されている。
【００１０】
また第５の態様では、第４の態様に記載の監視システム１において、前記高さと前記奥行は、距離センサ１１で時系列的に取得した複数の距離情報の平均値であり、前記平均値は、ある一定の時間間隔毎に各時間間隔内に生じた距離情報の平均値、または、ある一定の個数の距離情報に関する移動平均値である。
【００１１】
また第６の態様では、第１の態様乃至第５の態様のいずれか１の態様に記載の監視システム１において、複数の距離センサ１１は、監視対象物２の主な移動方向に対して直角な方向に２列以上配置されている。
【００１２】
上記目的を達成するために、第７の態様に係る発明による監視方法は、複数の距離センサで取得した、監視対象物までの距離情報を時系列で保存する情報保存工程と；前記保存された距離情報に基づいて前記監視対象物の状態を判断する判断工程とを備え；前記判断工程は、前記距離センサで取得された距離情報と前記時系列で保存された直前の距離情報との距離情報差を演算する工程と、該距離情報差と第１の所定の閾値とを比較する工程と、前記距離情報差が前記所定の閾値より大のとき前記監視対象物に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき前記監視対象物は静止していると判断する工程とを含み；前記距離情報差と第１の所定の閾値とを比較する工程では、前記複数の距離センサの各々について、一定の期間にわたって比較を行ない、該一定の期間内に動きがあったと判断した回数と、静止していると判断した回数との回数差を求め、前記回数差が第２の所定の閾値よりも大なるセンサの監視対象点に動きがあったと判断する。
【００１３】
また第８の態様では、第７の態様に記載の監視方法において、前記判断工程では、前記動きがあったと判断された監視対象点の数と、静止していると判断された監視対象点の数との差を求め、前記点の数の差に基づいて、前記監視対象物が全体として動いているか、静止しているかを判断する。
【００１４】
上記目的を達成するために、第９の態様に係る発明による監視方法は、複数の距離センサにより、監視対象物までの距離情報を取得する情報取得工程と；前記取得された距離情報に基づいて前記監視対象物の状態を判断する判断工程とを備え；前記判断工程では、前記監視対象物の存在する監視領域面に対する前記距離センサの相対的な位置と、前記監視領域面に対する前記距離センサの相対的な距離測定方向とに基づき、前記監視対象物の前記監視領域面からの高さを算出し、前記高さに基づいて、前記監視対象物の姿勢を判断する。
【００１５】
また第１０の態様では、第９の態様に記載の監視方法において、前記判断工程では、前記相対的な位置と、前記相対的な距離測定方向とに基づき、前記監視対象物の前記距離センサからの前記監視領域面に平行な方向の奥行を算出し、前記高さと前記奥行とに基づいて、前記監視対象物の姿勢を判断する。
【００１６】
また、前記高さと前記奥行は、前記距離センサで時系列的に取得した複数の距離情報の平均値であり、前記平均値は、ある一定の時間間隔毎に各時間間隔内に生じた距離情報の平均値、または、ある一定の個数の距離情報に関する移動平均値であるとよい。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１８】
図１は、本発明による実施の形態である監視システム１の模式的斜視図である。図中監視対象物２が監視領域面としての床面３上に存在している。ＸＹ軸を床面３内に置くように、直交座標系ＸＹＺがとられている。また床面３と垂直即ちＹＺ平面上に壁４が形成されている。監視対象物２は、本実施の形態では人物である。
【００１９】
一方、図中壁４には、人物２の距離を測定するための複数の距離センサ１１を含んで構成される筐体１０が設置されており、筐体１０には、複数の距離センサ１１が、複数の監視対象点としての監視エリア６に対応して設置されている。また、筐体１０は、人物２の主な移動方向即ち床面３に平行方向に対して直角な方向即ち壁４に平行方向に配置する。さらに距離センサ１１は、筐体１０に２列以上配置することが好ましい。
【００２０】
図２の模式的平面図の監視エリア６の配置例を参照して、監視エリア６について説明する。図２（ａ）に示すように、複数の監視エリアは、監視する場所である監視ゾーン６０に、監視エリア６１、６２、６３、６４、６５、６６（以下監視エリアを区別しない場合は単に監視エリア６という）が、お互いに重ならないように碁盤目状に配置されている。監視エリア６の各々の配置は、筐体１０から遠い列にある監視エリア６を監視エリア６１、６２、６３とし、筐体１０に近い列にある監視エリア６を監視エリア６４、６５、６６とする。配置する数は、２列以上であり、本実施の形態では３行２列（以下３×２という）であるが、監視する場所、人物２などの条件により適宜決めてよく、例えば２×２もしくは３×３としてもよい。このように配置することで、各監視エリア６の後で説明する状態から人物２が筐体１０に対して近づく状態か遠ざかる状態かを判断することが容易にできる。また、隣接する監視エリア６の行間距離Ｐ１、列間距離Ｐ２は、それぞれ対象物即ち人物２の最小幅より狭く設定するようにする。このように複数の監視エリア６を配置すると、監視ゾーン６０内の死角を、実質的に少なくすることができるので、精度の高い監視を行なうことができる。
【００２１】
また図２（ｂ）の模式的平面図の監視エリア６の配置例に示すように、隣合う監視エリア６が重なっていてもよい。このようにすると、監視ゾーン６０内の死角を少なくすることができるので、より精度の高い監視に有効である。このとき距離センサ１１に、光や超音波を照射することにより距離を測定する照射型センサを使用する場合には、重なり合う監視エリア６に対応する距離センサ１１は、お互いに影響がないように、同時に照射しないように制御する必要がある。これは、複数の距離センサ１１から同時に例えば照射光を照射した場合、本来受光しなければならない照射光に他の距離センサ１１から照射された照射光が混入し、監視エリア６の距離の測定が困難になるためである。
【００２２】
ここで、図２（ｂ）に示すように、距離センサ１１に照射型センサを使用し、かつ複数の距離センサ１１に対応する監視エリア６が重複する場合の作動の制御について説明する。この制御は、後述の演算装置２０の制御部２１で行なうようにする。照射型センサの場合には、１つの距離センサ１１の距離の測定の後で、次の距離センサ１１の距離の測定を行うように制御する。即ち複数の距離センサ１１が同時に距離の測定をしないように制御する。このような動作が、備えられた全ての距離センサ１１の距離の測定が行われるまで繰り返される。この一連の動作を１サイクルとし、１サイクルの時間をＴとする。
【００２３】
また、上述のように１つずつ距離センサ１１による距離の測定を行うのではなく、隣接する監視エリア６の距離の測定を同時に行わないように制御する（例えば同時に距離測定を行なう監視エリアを１つおきとする）ことで、複数の距離センサ１１に同時に距離の測定を行わせることができる。このようにすれば、１サイクルの時間Ｔを大幅に短縮できる。
【００２４】
図３を参照して、監視システム１の構成の一例を説明する。監視システム１は、複数の距離センサ１１が設置された筐体１０と、演算装置２０とを含んで構成される。演算装置２０は、典型的にはパソコンやマイコンである。そして複数の距離センサ１１は、演算装置２０に接続されており、それぞれの距離センサ１１から距離情報を取得できるように構成されている。距離センサ１１からの距離情報の取得は、好ましくは１０ｍｓ〜５００ｍｓ毎に、さらに好ましくは５０ｍｓ〜２００ｍｓ毎に取得するできるように構成する。また距離情報は、それぞれの距離センサ１１から時系列的に取得するように構成されている。本実施の形態では、距離情報は、図５を参照して後で説明する測距信号値ｘであるが、対象とする人物２までの距離そのものとしてもよい。
【００２５】
また距離センサ１１は、本実施の形態では、図２で説明したように３×２に配置された監視エリア６に対応するように、筐体１０に３×２に設置している。
【００２６】
使用する距離センサ１１としては、赤外線照射型の距離センサ、超音波センサ、電磁波パルス距離センサ、パッシブ型光学距離センサ等がある。赤外線照射型の距離センサ、超音波センサ、電磁波パルス距離センサはアクティブ型距離センサ（照射型センサ）である。本実施の形態では、赤外線照射型の距離センサを用いる。
【００２７】
ここで、図４のブロック図を参照して、距離センサ１１の実施例としての赤外線照射型の距離センサ３０（以下赤外線距離センサ３０という）について説明する。赤外線距離センサ３０は、いわゆるアクティブ型光学センサであり、ビーム光照射装置としての赤外光照射部３１、結像素子としての赤外光受光部３２、赤外線距離センサ３０全体を制御するセンサ制御部３３を含んで構成されている。またセンサ制御部３３は、後述の演算装置２０の制御部２１内（図３参照）に備えるようにしてもよい。
【００２８】
赤外光照射部３１には、赤外ＬＥＤ３４と照射レンズ３５とが備えられており、赤外ＬＥＤ３４から照射された赤外光は照射レンズ３５を介して細い平行光束のビーム光として人物２に照射される。赤外光受光部３２には、１次元の位置検出素子３６（以下ＰＳＤという）と受光レンズ３７とが備えられており、赤外光照射部３１から照射され、人物２で反射したビーム光は、受光レンズ３７を介してＰＳＤ３６に結像される。受光レンズ３７は、照射された波長帯域の光のみを透過させるコーティングが施されている。従って、外乱光の影響が少なく位置検出をすることができる。また以上ではビーム光は細い平行光束としたがある程度拡散した拡散光束であってもよい。拡散光束の場合は、後述のＰＳＤ３６による重心位置の補足に差支えない程度の拡散があってもよい。
【００２９】
ＰＳＤ３６は、結像ビームの重心位置を出力するので、後述のように、人物２までの距離を測定することができる。また、照射されるビーム光は、赤外線であるので人間には見えず、不快感を与えることがない。
【００３０】
図５の模式図を参照して、赤外線距離センサ３０についてさらに説明する。赤外線距離センサ３０のセンサ制御部３３は、ＰＳＤ３６により結像ビームの重心位置を検出する際に、外乱光と区別するために、変調を行う。変調は、例えば周期的にビーム光の発光（照射）停止を繰り返し行なうような動作である。この場合、ビーム光の発光停止は、例えば光源を発光停止してもよいし、遮光板やスリットを回転させることにより、発光停止をするようにしてもよい。さらに変調は、上述に加え、外乱光の強さにより、ビーム光の出力も変化させるようにしてもよい。そしてセンサ制御部３３は、ビーム光を照射している時のＰＳＤ３６の出力値からビーム光を照射していない時のＰＳＤ３６の出力値を差し引いた出力値を算出する。またセンサ制御部３３は、信頼性を確保するために、このような動作を複数回行ない、その平均出力値を重心補足信号（以下測距信号という）とする。センサ制御部３３は、測距信号の値である測距信号値ｘを距離情報として演算装置２０へ出力する。
【００３１】
また、対象とする人物２までの距離値Ａは、この測距信号値ｘに基づいて、次式で算出することができる。
Ａ ＝ ｆ ×ｗ／（ｘ−ｂ） ………（１）
ｆは、赤外光受光部３２の受光レンズ３７を単一レンズとしたときそのレンズの焦点距離、ｗは、赤外ＬＥＤ３４とＰＳＤ３６との間の距離、言い換えれば、照射レンズ３５と受光レンズ３７の光軸間の距離（基線長）、ｂはＰＳＤ３６の受光素子の配置に依存するバイアス値を示す。またここでの焦点距離は、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とする。上述のような距離Ａの算出は、演算装置２０の制御部２１で行なわれる。
【００３２】
以上では、赤外線距離センサ３０は、距離情報として測距信号値ｘを出力する場合について説明したが、距離情報として上述の方法で算出された距離値Ａそのものを出力するように構成してもよい。
【００３３】
各々の赤外線距離センサ３０から出力される測距信号値ｘは、前述のように変調されているが、それでも僅かに外乱光の影響が残っており、変動をしている。この変動を吸収するために、時系列的に取得した測距信号値ｘを平均して、その時点のデータとする。このデータは、測距信号値ｘから算出した距離値Ａの平均値でも良いし、後で説明する距離値Ａから算出した高さＨ１の平均値である高さＨ２や奥行Ｌ１の平均値である奥行Ｌ２でも良い。平均のとり方は、色々と考えられるが、予め一定の時間間隔を定め、その間のデータを平均化してもよいし、予め、平均化する個数を定め、時系列的に移動平均値を算出する方法でもよい。前者の場合には、データ数が少なくて済み、大まかな状態把握に適する。後者の場合には、データ数は多少多くなるが、細かい挙動を追うことができる。
【００３４】
図３に戻って演算装置２０について説明する。演算装置２０は、制御部２１を備えており、監視システム１全体を制御している。また複数の距離センサ１１は制御部２１に接続され、制御されている。制御部２１には、記憶部２４が接続されており、算出された情報等のデータが記憶できる。さらに記憶部２４内には、距離センサ１１で取得した測距信号値ｘを時系列で保存する距離情報保存部２５が備えられている。
【００３５】
また制御部２１には、監視システム１を操作するための情報を入力する入力装置２６、監視システム１で処理された結果を出力する出力装置２７が接続されている。入力装置２６は例えばタッチパネル、キーボードあるいはマウスであり、出力装置２７は例えばディスプレイやプリンタあるいは警報装置である。本図では、入力装置２６、出力装置２７は演算装置２０に外付けするものとして図示されているが、内蔵されていてもよい。
【００３６】
さらに制御部２１内には、複数の距離センサ１１と、距離情報保存部２５に保存された測距信号値ｘとに基づいて人物２の状態を判断する判断部２２が備えられている。以下、判断部２２の構成について説明する。
【００３７】
判断部２２は、距離センサ１１で取得された測距信号値ｘと距離情報保存部２５に保存された直前の測距信号値ｘとの距離情報差を演算する。そして判断部２２は、この距離情報差と第１の所定の閾値とを比較して、距離情報差が第１の所定の閾値より大のとき人物２に動きがあったと判断し、第１の所定の閾値より小のとき人物２は静止していると判断するように構成されている。第１の所定の閾値については後で詳しく説明する。
【００３８】
さらに判断部２２は、上述の判断を複数の距離センサ１１の各々について、一定の期間にわたって行なう。一定期間は、距離センサ１１による距離の測定間隔が１００ｍｓ（０．１ｓ）とすると５００ｍｓ（０．５ｓ）程度とすることが好ましい。また、一定期間は、距離センサ１１による距離の測定が５回程度行われる期間としてもよいし、システムの仕様や監視状況等に合わせて適宜決めるようにしてもよい。
【００３９】
そして判断部２２は、一定の期間内に動きがあったと判断した回数と、静止していると判断した回数との回数差を求め、回数差が第２の所定の閾値よりも大なる距離センサ１１に対応する監視エリア６に動きがあったと判断するように構成されている。第２の所定の閾値は、例えば少なくとも動きあったと判断した回数が、静止していると判断した回数より多いときに、動きがあったと判断するように設定することが好ましい。このような場合は、第２の所定の閾値は１ということになる。
【００４０】
さらに判断部２２は、上述の判断で動きがあったと判断された監視エリア６の数と、静止していると判断された監視エリア６の数との差を求め、この差に基づいて、人物２が全体として動いているか、静止しているかを判断するように構成されている。この判断は、例えば動作状態と判断した監視エリア数が１つでもあれば、人物２が全体として動きがあったと判断するようにするとよい。また、動きあったと判断した監視エリア数が３つ以上あれば、人物２が全体として動きがあったと判断するようにしてもよい。
【００４１】
また判断部２２は、人物２の存在する床面３に対するそれぞれの距離センサ１１の相対的な位置と、相対的な距離測定方向とに基づき、人物２の床面３からの高さ及び距離センサ１１からの床面３に平行な方向（図１ではＸ軸方向）の奥行を算出するように構成されている。また高さと奥行は、複数の距離センサ１１からそれぞれ一定の期間毎に取得される距離情報の平均値である。または、ある一定の個数の距離情報に関する移動平均値としてもよい。
【００４２】
ここで図６の模式的側面図を参照して、人物２の高さ、位置を算出する方法の一例を説明する。床面３から高さＨの壁４に設置された距離センサ１１が、壁４から奥行Ｌ（Ｘ軸方向）の監視エリア６を監視しているとする。この監視エリア６に存在する人物２の距離センサ１１からの距離をＡとすると、人物２の高さＨ１と、奥行Ｌ１は、次式で求めることができる。
Ｈ１＝ＡＨ／（Ｈ２＋Ｌ２)１ / ２ ………（２）
Ｌ１＝ＡＬ／（Ｈ２＋Ｌ２)１ / ２ ………（３）
奥行Ｌに直交する床面３と平行方向（Ｙ軸方向（図１参照））の位置は、算出した高さＨ１、奥行Ｌ１や距離センサ１１の３次元空間内の距離測定方向により算出できる。また位置は、設定された複数の監視エリア６の位置からも大まかに捉えることができる。さらに、どの監視エリア６の距離を測定した距離センサ１１かにより大まかに捉えることができる。このように、監視エリア６に存在する人物２の位置情報を算出することができる。さらに、例えば床面３に垂直な方向に距離センサ１１を配置すれば、センサの取り付けた位置そのものを、位置とし、距離を高さとすることで、位置情報を簡単に取得することもできる。
【００４３】
ここで、図７を参照して、また図２、図３を適宜参照して、人物２が静止状態にあるか動作状態にあるかの判断について説明する。図７は、この判断を一定の期間毎に表したものである。この判断は、制御部２１内の判断部２２で行なわれる。また、距離センサ１１による距離の測定即ち測距信号値ｘの出力は、０．１ｓ（１００ｍｓ）毎に行う場合で説明する。またここでは、一定の期間を０．５ｓ（５００ｍｓ）即ち距離センサ１１による距離の測定が５回行われる（測距信号値ｘが５回入力される）期間とする。さらに監視エリア６は、前に図２を参照して説明した配置とする。
【００４４】
赤外線距離センサ３０より入力した測距信号値ｘは、ノイズ例えば回路ノイズ、外乱光ノイズ等の混入により変動が発生する。このような測距信号値ｘの変動は、距離センサ１１で測定される人物２の距離値Ａにそのまま反映されるため、誤判断の原因となってしまう場合がある。したがって以下のような方法で静止状態にあるか動き状態にあるかの判断を行う。
【００４５】
まずは、測距信号値ｘのノイズによる変動値を、予め測定しておく。そして測定した変動値にさらにある余裕度をもった値を第１の所定の閾値として設定する。次に、判断部２２は、距離センサ１１より入力した測距信号値ｘと距離情報保存部２５に保存された測距信号値ｘとを比較する。また、測距信号値ｘで比較を行うのは、前述の方法により測距信号値ｘから算出した距離値Ａで比較するよりも、測距信号値ｘのノイズによる影響を軽減することができるためである。これは、距離センサ１１から出力される測距信号値ｘと、算出した距離値Ａとは線形関係ではなく、距離値Ａは、測定する距離が遠くなるにつれてノイズによる変動の影響が大きくなる即ち距離の測定誤差が大きくなる傾向があるためである。
【００４６】
この比較により判断部２２は、距離情報保存部２５に保存された測距信号値ｘと距離センサ１１より入力した測距信号値ｘとの信号値差が第１の所定の閾値より大きいとき、この距離センサ１１に対応する監視エリア６に動きがあった（動作状態）と判断する。また、判断部２２は、距離情報保存部２５に保存された測距信号値ｘと距離センサ１１より入力した測距信号値ｘとの信号値差が第１の所定の閾値より小さいとき、この距離センサ１１に対応する監視エリア６に動きが無かった（静止状態）と判断する。この判断は、それぞれの監視エリア６毎即ち距離センサ１１毎に行われる。これにより、判断部２２は、例えばランダム的に混入するノイズに対しても、誤判断を起こすことがない。
【００４７】
そして判断部２２は、このような判断を一定の期間行う。制御部２２は、この一定の期間に動きあったと判断した回数と、静止していると判断した回数との回数差を求める。
【００４８】
判断部２２は、回数差が第２の所定の閾値より大きいとき、この一定の期間内にこの距離センサ１１に対応する監視エリア６が動作状態と判断する。また、判断部２２は、回数差が第２の所定の閾値よりより小さいとき、この一定の期間内にこの距離センサ１１に対応する監視エリア６が静止状態と判断する。この判断は、それぞれの監視エリア６毎に行われる。ここでは、第２の所定の閾値は、動作状態と判断した回数が、静止状態と判断した回数より多いときに、動きがあったと判断するように設定している。
【００４９】
これにより、判断部２２は、例えば窓から差し込む日光のちらつき等によるショット的、突発的なノイズに対しても、誤判断を起こすことがない。これは、実際には静止状態にありながら、突発的なノイズにより、瞬間的に動作状態であると判断しても、一定の期間にわたって、動作状態と判断した回数と、静止状態と判断した回数とを比較しているので、静止状態と判断できるからである。
【００５０】
さらに判断部２２は、上述の判断で、動きあったと判断した監視エリア数と、静止していると判断した監視エリア数との監視エリア数の差から、人物２が全体として動いているか、静止しているかを判断する。ここでは、この判断は、動作状態と判断した監視エリア数が１つでもあれば、人物２が全体として動きがあったと判断する。
【００５１】
以上のように、判断部２２は、人物２が静止状態にあるか動作状態にあるかを、一定の期間毎に判断する。また、このような方法で人物２が静止状態にあるか動作状態にあるかの判断を行うと、測距信号値ｘに混入しているノイズによる影響を軽減することができる。
【００５２】
さらに、人物２の姿勢の状態を判断する方法について説明する。この判断は、制御部２１内の判断部２２で行なわれる。
【００５３】
まず、制御部２１は、距離センサ１１より０．１ｓ毎に取得した測距信号値ｘから、図５で説明した方法で、距離値Ａを算出する。
図８に算出された距離値Ａの例を示す。
【００５４】
次に制御部２１は、この距離値Ａに基づき、図６で説明した方法で算出した高さＨ１、奥行Ｌ１を算出する。さらに制御部２１は、高さＨ１、奥行Ｌ１の０．５ｓ毎の平均値Ｈ２、Ｌ２を算出する。
図９、図１０に算出された平均値Ｈ２、Ｌ２の例をそれぞれ示す。
【００５５】
制御部２１は、高さの平均値Ｈ２を幾つかの区分データに変換する。例えば、−４００ｍｍ以下を区分０、−４００〜２００ｍｍを区分１、２００〜５００ｍｍを区分２、５００ｍｍから１０００ｍｍを区分３、１０００ｍｍ以上を区分４とする。
【００５６】
図１１に高さの平均値Ｈ２を区分データに変換した結果例を示す。ここで、区分０は、例えば赤外線距離センサ３０が受光したビーム光のビーム欠けにより、距離の測定が正常に行われなかった状態を示す。即ち監視エリア６に人物２と特定できない物体は存在するが、高さＨ１が特定できなかったことを示す。区分１は、基準高さ（例えば、床）から２００ｍｍ以内で、通常は、物体あるいは人物２の存在していない状態を示す。区分２は、人物２が倒れた状態に近い状態を示す。また、区分３は、何かに寄りかかった状態に近い状態を示す。区分４は、立っている状態に近い状態を示す区分とする。
【００５７】
図１２に奥行の平均値Ｌ２を区分データに変換した結果例を示す。高さＨ２と同様に、奥行の平均値Ｌ２を幾つかの区分データに変換することで、人物２の存在する位置の距離センサ１１からおよその奥行を知ることができる。奥行の区分は、例えば前述の高さの区分を比例配分したものでよい。
【００５８】
判断部２２は、以上で説明した高さと奥行の区分データと、人物２が静止状態にあるか動き状態にあるかの判断を加味して、人物２の状態を判断する。例えば、全体として静止しており、かつ全ての高さ区分１であれば、何もない状態。即ち、閉鎖空間であれば、空室状態を示している。また、静止状態であり高さの区分状態が２の状態が、予め定めた時間以上続けば、人物２が倒れていると判断する。また、区分４の状態であれば、立っている状態であると判断できる。
【００５９】
さらに判断部２２は、それぞれの監視エリア６で人物２が動いている状態か静止している状態かの判断結果と、高さの区分の変化より、人物２が、筐体１０に対して、近づいてくる状態であるか、または、遠ざかっていく状態であるかを判断することができる。
【００６０】
また判断部２２は、人物２が倒れていたり、何かに寄りかかっている状態がある一定以上継続していれば、人物２に異常が発生した（例えば気分が悪くなった）と判断する。さらにその状態で、かつ静止している状態にあれば、人物２が危険な状態（例えば意識を失っている）と判断するなど、きめこまかい状態の判断をすることができる。これにより、例えば本システムの管理者は、いち早く、監視ゾーンの異変を知ることができることで、例えば急病人に対し適切な救急処置を行うことができる。また判断部２２は、この判断により、例えば監視ゾーンに備えられたスピーカから警告を発したり、外部例えば消防署等に通報するようにしてもよい。このとき判断部２２は、それぞれの監視エリア６の奥行の区分データから、倒れている場所の特定をすることができ、さらにきめこまかい状態の判断が可能であり、情報提供をすることができる。
【００６１】
以上のように監視システム１は、監視エリア６にどの程度の大きさの人物２が進入し、その人物２はどのような状態（どの位置で、立っている、座っている、倒れている）にあるか、また、その人物２は動いているか、また退出したかといった一連の動きを簡単な装置で追従することができる。この場合、人物２の動きと、高さ、奥行の区分から状態を判断するので、距離がそれほど正確でなくても状態の判断を行うことができる。従って、赤外線距離センサ３０の１つの欠点である人物２に照明したビーム光がある程度欠けて誤測定になっても、一連の動きからの判断と複数の監視エリア６からの総合判断で人物２の状態の判定をすることができる。
【００６２】
また監視ゾーン６０が閉空間（トイレ、風呂、エレベーター内、オフィース内）においては、壁等で囲まれているので、人物２が不在の場合の床面３や壁４までの距離を基準距離、即ち人物２が存在しない状態のいわば背景の距離として設定しておき、その状態からの変化を追うことで、人物２の状態を判断することができる。
【００６３】
以上のような本実施の形態によれば、人物２の状態を判断して、人物２が倒れたとか、不法侵入者が存在しているといった監視を非常に容易に行うことができる。しかも、心理的に違和感のあるカメラを用いた画像処理を使用していないので、トイレや風呂等での状態監視において非常に有効であり、さらに簡易な装置で高速処理が可能である。
【００６４】
【発明の効果】
以上のように本発明によれば、監視対象物までの距離を測定する、複数の距離センサと；前記複数の距離センサで取得した距離情報を保存する距離情報保存部と；前記距離情報保存部に保存された距離情報に基づいて前記監視対象物の状態を判断する判断部とを備え；前記距離情報保存部は、前記距離センサで取得した距離情報を時系列で保存するよう構成され；前記判断部は、前記距離センサで取得された距離情報と前記時系列で保存された直前の距離情報との距離情報差を演算し、該距離情報差と第１の所定の閾値とを比較して、前記距離情報差が前記所定の閾値より大のとき前記監視対象物に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき前記監視対象物は静止していると判断するように構成されているので、正確な対象領域内の監視を行えるだけでなく、単純で、かつ高速処理が可能な監視システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視システムの概要を示す模式的斜視図である。
【図２】本発明の実施の形態である監視エリアの配置例（ａ）と監視エリアが重複する配置例（ｂ）を説明する模式的平面図である。
【図３】本発明の実施の形態で用いる監視システムの構成例を示すブロック図である。
【図４】本発明の実施の形態で用いる赤外線距離センサの構成例を示すブロック図である。
【図５】本発明の実施の形態で、監視対象物の距離を算出する方法を説明する模式図である。
【図６】本発明の実施の形態で、監視対象物の距離から監視対象物の高さと奥行を算出する方法を説明する模式的側面図である。
【図７】本発明の実施の形態で、判断部による判断結果を示す図である。
【図８】図７の場合における、距離センサで取得した距離情報から算出した距離値を示す図である。
【図９】図８の場合における、距離センサで取得した距離情報から算出した高さの平均値を示す図である。
【図１０】図８の場合における、距離センサで取得した距離情報から算出した奥行の平均値を示す図である。
【図１１】図９の場合における、高さの区分を示す図である。
【図１２】図１０の場合における、奥行の区分を示す図である。
【符号の説明】
１ 監視システム
２ 人物
３ 床面
４ 壁
６ 監視対象エリア
１０ 筐体
１１ 距離センサ
２０ 演算装置
２１ 制御部
２２ 判断部
２４ 記憶部
２５ 距離情報保存部
２６ 入力装置
２７ 出力装置
３０ 赤外線距離センサ
３１ 赤外光照射部
３２ 赤外光受光部
６０ 監視ゾーン
【発明の属する技術分野】
本発明は、監視システムに関し、特に対象領域内の物体や人物の動きの有無を監視するための監視システムに関するものである。
【０００２】
【従来の技術】
病院の病室内あるいはトイレ内の患者のプライバシーを損なわずに、異常を知るための監視装置として、従来から、監視対象領域に輝点を投影してその画像を撮影し、撮影された画像中の輝点の基準位置からの位置変化によって対象領域の高さ変化を検出し、対象領域内の物体や人物の有無や動きの有無を監視する装置が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、対象領域の監視は撮像された画像を処理しなければならないため、計算量が多く処理に時間がかかるだけでなく、複雑な装置を必要としていた。
【０００４】
そこで本発明は、正確な対象領域内の監視を行えるだけでなく、単純で、かつ高速処理が可能な監視システムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、第１の態様に係る発明による監視システム１は、例えば図１、図３に示すように、監視対象物２までの距離を測定する、複数の距離センサ１１と；複数の距離センサ１１で取得した距離情報を保存する距離情報保存部２５と；距離情報保存部２５に保存された距離情報に基づいて監視対象物２の状態を判断する判断部２２とを備え；距離情報保存部２５は、距離センサ１１で取得した距離情報を時系列で保存するよう構成され；判断部２２は、距離センサ１１で取得された距離情報と前記時系列で保存された直前の距離情報との距離情報差を演算し、該距離情報差と第１の所定の閾値とを比較して、前記距離情報差が前記所定の閾値より大のとき監視対象物２に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき監視対象物２は静止していると判断するように構成されている。
【０００６】
このように構成すると、複数の距離センサ１１と、距離情報保存部２５と、判断部２２とを備えるので、距離センサ１１で取得された距離情報と時系列で保存された直前の距離情報との距離情報差を演算し、距離情報差と第１の所定の閾値とを比較して、距離情報差が第１の所定の閾値より大のとき監視対象物２に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき監視対象物２は静止していると判断することで、高速処理が可能な監視システム１とすることができる。
【０００７】
また第２の態様では、第１の態様に記載の監視システム１において、判断部２２は、前記第１の所定の閾値との比較を前記複数の距離センサ１１の各々について、一定の期間にわたって行ない、該一定の期間内に動きがあったと判断した回数と、静止していると判断した回数との回数差を求め、前記回数差が第２の所定の閾値よりも大なるセンサの監視対象点６に動きがあったと判断するように構成されている。
【０００８】
また第３の態様では、第２の態様に記載の監視システム１において、判断部２２は、前記動きがあったと判断された監視対象点６の数と、静止していると判断された監視対象点６の数との差を求め、前記点の数の差に基づいて、監視対象物２が全体として動いているか、静止しているかを判断するように構成されている。
【０００９】
また第４の態様では、第１の態様乃至第３の態様のいずれか１の態様に記載の監視システム１において、判断部２２は、監視対象物２の存在する監視領域面３に対する距離センサ１１の相対的な位置と、監視領域面３に対する距離センサ１１の相対的な距離測定方向とに基づき、監視対象物２の監視領域面３からの高さ及び距離センサ１１からの監視領域面３に平行な方向の奥行を算出するように構成されている。
【００１０】
また第５の態様では、第４の態様に記載の監視システム１において、前記高さと前記奥行は、距離センサ１１で時系列的に取得した複数の距離情報の平均値であり、前記平均値は、ある一定の時間間隔毎に各時間間隔内に生じた距離情報の平均値、または、ある一定の個数の距離情報に関する移動平均値である。
【００１１】
また第６の態様では、第１の態様乃至第５の態様のいずれか１の態様に記載の監視システム１において、複数の距離センサ１１は、監視対象物２の主な移動方向に対して直角な方向に２列以上配置されている。
【００１２】
上記目的を達成するために、第７の態様に係る発明による監視方法は、複数の距離センサで取得した、監視対象物までの距離情報を時系列で保存する情報保存工程と；前記保存された距離情報に基づいて前記監視対象物の状態を判断する判断工程とを備え；前記判断工程は、前記距離センサで取得された距離情報と前記時系列で保存された直前の距離情報との距離情報差を演算する工程と、該距離情報差と第１の所定の閾値とを比較する工程と、前記距離情報差が前記所定の閾値より大のとき前記監視対象物に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき前記監視対象物は静止していると判断する工程とを含み；前記距離情報差と第１の所定の閾値とを比較する工程では、前記複数の距離センサの各々について、一定の期間にわたって比較を行ない、該一定の期間内に動きがあったと判断した回数と、静止していると判断した回数との回数差を求め、前記回数差が第２の所定の閾値よりも大なるセンサの監視対象点に動きがあったと判断する。
【００１３】
また第８の態様では、第７の態様に記載の監視方法において、前記判断工程では、前記動きがあったと判断された監視対象点の数と、静止していると判断された監視対象点の数との差を求め、前記点の数の差に基づいて、前記監視対象物が全体として動いているか、静止しているかを判断する。
【００１４】
上記目的を達成するために、第９の態様に係る発明による監視方法は、複数の距離センサにより、監視対象物までの距離情報を取得する情報取得工程と；前記取得された距離情報に基づいて前記監視対象物の状態を判断する判断工程とを備え；前記判断工程では、前記監視対象物の存在する監視領域面に対する前記距離センサの相対的な位置と、前記監視領域面に対する前記距離センサの相対的な距離測定方向とに基づき、前記監視対象物の前記監視領域面からの高さを算出し、前記高さに基づいて、前記監視対象物の姿勢を判断する。
【００１５】
また第１０の態様では、第９の態様に記載の監視方法において、前記判断工程では、前記相対的な位置と、前記相対的な距離測定方向とに基づき、前記監視対象物の前記距離センサからの前記監視領域面に平行な方向の奥行を算出し、前記高さと前記奥行とに基づいて、前記監視対象物の姿勢を判断する。
【００１６】
また、前記高さと前記奥行は、前記距離センサで時系列的に取得した複数の距離情報の平均値であり、前記平均値は、ある一定の時間間隔毎に各時間間隔内に生じた距離情報の平均値、または、ある一定の個数の距離情報に関する移動平均値であるとよい。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１８】
図１は、本発明による実施の形態である監視システム１の模式的斜視図である。図中監視対象物２が監視領域面としての床面３上に存在している。ＸＹ軸を床面３内に置くように、直交座標系ＸＹＺがとられている。また床面３と垂直即ちＹＺ平面上に壁４が形成されている。監視対象物２は、本実施の形態では人物である。
【００１９】
一方、図中壁４には、人物２の距離を測定するための複数の距離センサ１１を含んで構成される筐体１０が設置されており、筐体１０には、複数の距離センサ１１が、複数の監視対象点としての監視エリア６に対応して設置されている。また、筐体１０は、人物２の主な移動方向即ち床面３に平行方向に対して直角な方向即ち壁４に平行方向に配置する。さらに距離センサ１１は、筐体１０に２列以上配置することが好ましい。
【００２０】
図２の模式的平面図の監視エリア６の配置例を参照して、監視エリア６について説明する。図２（ａ）に示すように、複数の監視エリアは、監視する場所である監視ゾーン６０に、監視エリア６１、６２、６３、６４、６５、６６（以下監視エリアを区別しない場合は単に監視エリア６という）が、お互いに重ならないように碁盤目状に配置されている。監視エリア６の各々の配置は、筐体１０から遠い列にある監視エリア６を監視エリア６１、６２、６３とし、筐体１０に近い列にある監視エリア６を監視エリア６４、６５、６６とする。配置する数は、２列以上であり、本実施の形態では３行２列（以下３×２という）であるが、監視する場所、人物２などの条件により適宜決めてよく、例えば２×２もしくは３×３としてもよい。このように配置することで、各監視エリア６の後で説明する状態から人物２が筐体１０に対して近づく状態か遠ざかる状態かを判断することが容易にできる。また、隣接する監視エリア６の行間距離Ｐ１、列間距離Ｐ２は、それぞれ対象物即ち人物２の最小幅より狭く設定するようにする。このように複数の監視エリア６を配置すると、監視ゾーン６０内の死角を、実質的に少なくすることができるので、精度の高い監視を行なうことができる。
【００２１】
また図２（ｂ）の模式的平面図の監視エリア６の配置例に示すように、隣合う監視エリア６が重なっていてもよい。このようにすると、監視ゾーン６０内の死角を少なくすることができるので、より精度の高い監視に有効である。このとき距離センサ１１に、光や超音波を照射することにより距離を測定する照射型センサを使用する場合には、重なり合う監視エリア６に対応する距離センサ１１は、お互いに影響がないように、同時に照射しないように制御する必要がある。これは、複数の距離センサ１１から同時に例えば照射光を照射した場合、本来受光しなければならない照射光に他の距離センサ１１から照射された照射光が混入し、監視エリア６の距離の測定が困難になるためである。
【００２２】
ここで、図２（ｂ）に示すように、距離センサ１１に照射型センサを使用し、かつ複数の距離センサ１１に対応する監視エリア６が重複する場合の作動の制御について説明する。この制御は、後述の演算装置２０の制御部２１で行なうようにする。照射型センサの場合には、１つの距離センサ１１の距離の測定の後で、次の距離センサ１１の距離の測定を行うように制御する。即ち複数の距離センサ１１が同時に距離の測定をしないように制御する。このような動作が、備えられた全ての距離センサ１１の距離の測定が行われるまで繰り返される。この一連の動作を１サイクルとし、１サイクルの時間をＴとする。
【００２３】
また、上述のように１つずつ距離センサ１１による距離の測定を行うのではなく、隣接する監視エリア６の距離の測定を同時に行わないように制御する（例えば同時に距離測定を行なう監視エリアを１つおきとする）ことで、複数の距離センサ１１に同時に距離の測定を行わせることができる。このようにすれば、１サイクルの時間Ｔを大幅に短縮できる。
【００２４】
図３を参照して、監視システム１の構成の一例を説明する。監視システム１は、複数の距離センサ１１が設置された筐体１０と、演算装置２０とを含んで構成される。演算装置２０は、典型的にはパソコンやマイコンである。そして複数の距離センサ１１は、演算装置２０に接続されており、それぞれの距離センサ１１から距離情報を取得できるように構成されている。距離センサ１１からの距離情報の取得は、好ましくは１０ｍｓ〜５００ｍｓ毎に、さらに好ましくは５０ｍｓ〜２００ｍｓ毎に取得するできるように構成する。また距離情報は、それぞれの距離センサ１１から時系列的に取得するように構成されている。本実施の形態では、距離情報は、図５を参照して後で説明する測距信号値ｘであるが、対象とする人物２までの距離そのものとしてもよい。
【００２５】
また距離センサ１１は、本実施の形態では、図２で説明したように３×２に配置された監視エリア６に対応するように、筐体１０に３×２に設置している。
【００２６】
使用する距離センサ１１としては、赤外線照射型の距離センサ、超音波センサ、電磁波パルス距離センサ、パッシブ型光学距離センサ等がある。赤外線照射型の距離センサ、超音波センサ、電磁波パルス距離センサはアクティブ型距離センサ（照射型センサ）である。本実施の形態では、赤外線照射型の距離センサを用いる。
【００２７】
ここで、図４のブロック図を参照して、距離センサ１１の実施例としての赤外線照射型の距離センサ３０（以下赤外線距離センサ３０という）について説明する。赤外線距離センサ３０は、いわゆるアクティブ型光学センサであり、ビーム光照射装置としての赤外光照射部３１、結像素子としての赤外光受光部３２、赤外線距離センサ３０全体を制御するセンサ制御部３３を含んで構成されている。またセンサ制御部３３は、後述の演算装置２０の制御部２１内（図３参照）に備えるようにしてもよい。
【００２８】
赤外光照射部３１には、赤外ＬＥＤ３４と照射レンズ３５とが備えられており、赤外ＬＥＤ３４から照射された赤外光は照射レンズ３５を介して細い平行光束のビーム光として人物２に照射される。赤外光受光部３２には、１次元の位置検出素子３６（以下ＰＳＤという）と受光レンズ３７とが備えられており、赤外光照射部３１から照射され、人物２で反射したビーム光は、受光レンズ３７を介してＰＳＤ３６に結像される。受光レンズ３７は、照射された波長帯域の光のみを透過させるコーティングが施されている。従って、外乱光の影響が少なく位置検出をすることができる。また以上ではビーム光は細い平行光束としたがある程度拡散した拡散光束であってもよい。拡散光束の場合は、後述のＰＳＤ３６による重心位置の補足に差支えない程度の拡散があってもよい。
【００２９】
ＰＳＤ３６は、結像ビームの重心位置を出力するので、後述のように、人物２までの距離を測定することができる。また、照射されるビーム光は、赤外線であるので人間には見えず、不快感を与えることがない。
【００３０】
図５の模式図を参照して、赤外線距離センサ３０についてさらに説明する。赤外線距離センサ３０のセンサ制御部３３は、ＰＳＤ３６により結像ビームの重心位置を検出する際に、外乱光と区別するために、変調を行う。変調は、例えば周期的にビーム光の発光（照射）停止を繰り返し行なうような動作である。この場合、ビーム光の発光停止は、例えば光源を発光停止してもよいし、遮光板やスリットを回転させることにより、発光停止をするようにしてもよい。さらに変調は、上述に加え、外乱光の強さにより、ビーム光の出力も変化させるようにしてもよい。そしてセンサ制御部３３は、ビーム光を照射している時のＰＳＤ３６の出力値からビーム光を照射していない時のＰＳＤ３６の出力値を差し引いた出力値を算出する。またセンサ制御部３３は、信頼性を確保するために、このような動作を複数回行ない、その平均出力値を重心補足信号（以下測距信号という）とする。センサ制御部３３は、測距信号の値である測距信号値ｘを距離情報として演算装置２０へ出力する。
【００３１】
また、対象とする人物２までの距離値Ａは、この測距信号値ｘに基づいて、次式で算出することができる。
Ａ ＝ ｆ ×ｗ／（ｘ−ｂ） ………（１）
ｆは、赤外光受光部３２の受光レンズ３７を単一レンズとしたときそのレンズの焦点距離、ｗは、赤外ＬＥＤ３４とＰＳＤ３６との間の距離、言い換えれば、照射レンズ３５と受光レンズ３７の光軸間の距離（基線長）、ｂはＰＳＤ３６の受光素子の配置に依存するバイアス値を示す。またここでの焦点距離は、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とする。上述のような距離Ａの算出は、演算装置２０の制御部２１で行なわれる。
【００３２】
以上では、赤外線距離センサ３０は、距離情報として測距信号値ｘを出力する場合について説明したが、距離情報として上述の方法で算出された距離値Ａそのものを出力するように構成してもよい。
【００３３】
各々の赤外線距離センサ３０から出力される測距信号値ｘは、前述のように変調されているが、それでも僅かに外乱光の影響が残っており、変動をしている。この変動を吸収するために、時系列的に取得した測距信号値ｘを平均して、その時点のデータとする。このデータは、測距信号値ｘから算出した距離値Ａの平均値でも良いし、後で説明する距離値Ａから算出した高さＨ１の平均値である高さＨ２や奥行Ｌ１の平均値である奥行Ｌ２でも良い。平均のとり方は、色々と考えられるが、予め一定の時間間隔を定め、その間のデータを平均化してもよいし、予め、平均化する個数を定め、時系列的に移動平均値を算出する方法でもよい。前者の場合には、データ数が少なくて済み、大まかな状態把握に適する。後者の場合には、データ数は多少多くなるが、細かい挙動を追うことができる。
【００３４】
図３に戻って演算装置２０について説明する。演算装置２０は、制御部２１を備えており、監視システム１全体を制御している。また複数の距離センサ１１は制御部２１に接続され、制御されている。制御部２１には、記憶部２４が接続されており、算出された情報等のデータが記憶できる。さらに記憶部２４内には、距離センサ１１で取得した測距信号値ｘを時系列で保存する距離情報保存部２５が備えられている。
【００３５】
また制御部２１には、監視システム１を操作するための情報を入力する入力装置２６、監視システム１で処理された結果を出力する出力装置２７が接続されている。入力装置２６は例えばタッチパネル、キーボードあるいはマウスであり、出力装置２７は例えばディスプレイやプリンタあるいは警報装置である。本図では、入力装置２６、出力装置２７は演算装置２０に外付けするものとして図示されているが、内蔵されていてもよい。
【００３６】
さらに制御部２１内には、複数の距離センサ１１と、距離情報保存部２５に保存された測距信号値ｘとに基づいて人物２の状態を判断する判断部２２が備えられている。以下、判断部２２の構成について説明する。
【００３７】
判断部２２は、距離センサ１１で取得された測距信号値ｘと距離情報保存部２５に保存された直前の測距信号値ｘとの距離情報差を演算する。そして判断部２２は、この距離情報差と第１の所定の閾値とを比較して、距離情報差が第１の所定の閾値より大のとき人物２に動きがあったと判断し、第１の所定の閾値より小のとき人物２は静止していると判断するように構成されている。第１の所定の閾値については後で詳しく説明する。
【００３８】
さらに判断部２２は、上述の判断を複数の距離センサ１１の各々について、一定の期間にわたって行なう。一定期間は、距離センサ１１による距離の測定間隔が１００ｍｓ（０．１ｓ）とすると５００ｍｓ（０．５ｓ）程度とすることが好ましい。また、一定期間は、距離センサ１１による距離の測定が５回程度行われる期間としてもよいし、システムの仕様や監視状況等に合わせて適宜決めるようにしてもよい。
【００３９】
そして判断部２２は、一定の期間内に動きがあったと判断した回数と、静止していると判断した回数との回数差を求め、回数差が第２の所定の閾値よりも大なる距離センサ１１に対応する監視エリア６に動きがあったと判断するように構成されている。第２の所定の閾値は、例えば少なくとも動きあったと判断した回数が、静止していると判断した回数より多いときに、動きがあったと判断するように設定することが好ましい。このような場合は、第２の所定の閾値は１ということになる。
【００４０】
さらに判断部２２は、上述の判断で動きがあったと判断された監視エリア６の数と、静止していると判断された監視エリア６の数との差を求め、この差に基づいて、人物２が全体として動いているか、静止しているかを判断するように構成されている。この判断は、例えば動作状態と判断した監視エリア数が１つでもあれば、人物２が全体として動きがあったと判断するようにするとよい。また、動きあったと判断した監視エリア数が３つ以上あれば、人物２が全体として動きがあったと判断するようにしてもよい。
【００４１】
また判断部２２は、人物２の存在する床面３に対するそれぞれの距離センサ１１の相対的な位置と、相対的な距離測定方向とに基づき、人物２の床面３からの高さ及び距離センサ１１からの床面３に平行な方向（図１ではＸ軸方向）の奥行を算出するように構成されている。また高さと奥行は、複数の距離センサ１１からそれぞれ一定の期間毎に取得される距離情報の平均値である。または、ある一定の個数の距離情報に関する移動平均値としてもよい。
【００４２】
ここで図６の模式的側面図を参照して、人物２の高さ、位置を算出する方法の一例を説明する。床面３から高さＨの壁４に設置された距離センサ１１が、壁４から奥行Ｌ（Ｘ軸方向）の監視エリア６を監視しているとする。この監視エリア６に存在する人物２の距離センサ１１からの距離をＡとすると、人物２の高さＨ１と、奥行Ｌ１は、次式で求めることができる。
Ｈ１＝ＡＨ／（Ｈ２＋Ｌ２)１ / ２ ………（２）
Ｌ１＝ＡＬ／（Ｈ２＋Ｌ２)１ / ２ ………（３）
奥行Ｌに直交する床面３と平行方向（Ｙ軸方向（図１参照））の位置は、算出した高さＨ１、奥行Ｌ１や距離センサ１１の３次元空間内の距離測定方向により算出できる。また位置は、設定された複数の監視エリア６の位置からも大まかに捉えることができる。さらに、どの監視エリア６の距離を測定した距離センサ１１かにより大まかに捉えることができる。このように、監視エリア６に存在する人物２の位置情報を算出することができる。さらに、例えば床面３に垂直な方向に距離センサ１１を配置すれば、センサの取り付けた位置そのものを、位置とし、距離を高さとすることで、位置情報を簡単に取得することもできる。
【００４３】
ここで、図７を参照して、また図２、図３を適宜参照して、人物２が静止状態にあるか動作状態にあるかの判断について説明する。図７は、この判断を一定の期間毎に表したものである。この判断は、制御部２１内の判断部２２で行なわれる。また、距離センサ１１による距離の測定即ち測距信号値ｘの出力は、０．１ｓ（１００ｍｓ）毎に行う場合で説明する。またここでは、一定の期間を０．５ｓ（５００ｍｓ）即ち距離センサ１１による距離の測定が５回行われる（測距信号値ｘが５回入力される）期間とする。さらに監視エリア６は、前に図２を参照して説明した配置とする。
【００４４】
赤外線距離センサ３０より入力した測距信号値ｘは、ノイズ例えば回路ノイズ、外乱光ノイズ等の混入により変動が発生する。このような測距信号値ｘの変動は、距離センサ１１で測定される人物２の距離値Ａにそのまま反映されるため、誤判断の原因となってしまう場合がある。したがって以下のような方法で静止状態にあるか動き状態にあるかの判断を行う。
【００４５】
まずは、測距信号値ｘのノイズによる変動値を、予め測定しておく。そして測定した変動値にさらにある余裕度をもった値を第１の所定の閾値として設定する。次に、判断部２２は、距離センサ１１より入力した測距信号値ｘと距離情報保存部２５に保存された測距信号値ｘとを比較する。また、測距信号値ｘで比較を行うのは、前述の方法により測距信号値ｘから算出した距離値Ａで比較するよりも、測距信号値ｘのノイズによる影響を軽減することができるためである。これは、距離センサ１１から出力される測距信号値ｘと、算出した距離値Ａとは線形関係ではなく、距離値Ａは、測定する距離が遠くなるにつれてノイズによる変動の影響が大きくなる即ち距離の測定誤差が大きくなる傾向があるためである。
【００４６】
この比較により判断部２２は、距離情報保存部２５に保存された測距信号値ｘと距離センサ１１より入力した測距信号値ｘとの信号値差が第１の所定の閾値より大きいとき、この距離センサ１１に対応する監視エリア６に動きがあった（動作状態）と判断する。また、判断部２２は、距離情報保存部２５に保存された測距信号値ｘと距離センサ１１より入力した測距信号値ｘとの信号値差が第１の所定の閾値より小さいとき、この距離センサ１１に対応する監視エリア６に動きが無かった（静止状態）と判断する。この判断は、それぞれの監視エリア６毎即ち距離センサ１１毎に行われる。これにより、判断部２２は、例えばランダム的に混入するノイズに対しても、誤判断を起こすことがない。
【００４７】
そして判断部２２は、このような判断を一定の期間行う。制御部２２は、この一定の期間に動きあったと判断した回数と、静止していると判断した回数との回数差を求める。
【００４８】
判断部２２は、回数差が第２の所定の閾値より大きいとき、この一定の期間内にこの距離センサ１１に対応する監視エリア６が動作状態と判断する。また、判断部２２は、回数差が第２の所定の閾値よりより小さいとき、この一定の期間内にこの距離センサ１１に対応する監視エリア６が静止状態と判断する。この判断は、それぞれの監視エリア６毎に行われる。ここでは、第２の所定の閾値は、動作状態と判断した回数が、静止状態と判断した回数より多いときに、動きがあったと判断するように設定している。
【００４９】
これにより、判断部２２は、例えば窓から差し込む日光のちらつき等によるショット的、突発的なノイズに対しても、誤判断を起こすことがない。これは、実際には静止状態にありながら、突発的なノイズにより、瞬間的に動作状態であると判断しても、一定の期間にわたって、動作状態と判断した回数と、静止状態と判断した回数とを比較しているので、静止状態と判断できるからである。
【００５０】
さらに判断部２２は、上述の判断で、動きあったと判断した監視エリア数と、静止していると判断した監視エリア数との監視エリア数の差から、人物２が全体として動いているか、静止しているかを判断する。ここでは、この判断は、動作状態と判断した監視エリア数が１つでもあれば、人物２が全体として動きがあったと判断する。
【００５１】
以上のように、判断部２２は、人物２が静止状態にあるか動作状態にあるかを、一定の期間毎に判断する。また、このような方法で人物２が静止状態にあるか動作状態にあるかの判断を行うと、測距信号値ｘに混入しているノイズによる影響を軽減することができる。
【００５２】
さらに、人物２の姿勢の状態を判断する方法について説明する。この判断は、制御部２１内の判断部２２で行なわれる。
【００５３】
まず、制御部２１は、距離センサ１１より０．１ｓ毎に取得した測距信号値ｘから、図５で説明した方法で、距離値Ａを算出する。
図８に算出された距離値Ａの例を示す。
【００５４】
次に制御部２１は、この距離値Ａに基づき、図６で説明した方法で算出した高さＨ１、奥行Ｌ１を算出する。さらに制御部２１は、高さＨ１、奥行Ｌ１の０．５ｓ毎の平均値Ｈ２、Ｌ２を算出する。
図９、図１０に算出された平均値Ｈ２、Ｌ２の例をそれぞれ示す。
【００５５】
制御部２１は、高さの平均値Ｈ２を幾つかの区分データに変換する。例えば、−４００ｍｍ以下を区分０、−４００〜２００ｍｍを区分１、２００〜５００ｍｍを区分２、５００ｍｍから１０００ｍｍを区分３、１０００ｍｍ以上を区分４とする。
【００５６】
図１１に高さの平均値Ｈ２を区分データに変換した結果例を示す。ここで、区分０は、例えば赤外線距離センサ３０が受光したビーム光のビーム欠けにより、距離の測定が正常に行われなかった状態を示す。即ち監視エリア６に人物２と特定できない物体は存在するが、高さＨ１が特定できなかったことを示す。区分１は、基準高さ（例えば、床）から２００ｍｍ以内で、通常は、物体あるいは人物２の存在していない状態を示す。区分２は、人物２が倒れた状態に近い状態を示す。また、区分３は、何かに寄りかかった状態に近い状態を示す。区分４は、立っている状態に近い状態を示す区分とする。
【００５７】
図１２に奥行の平均値Ｌ２を区分データに変換した結果例を示す。高さＨ２と同様に、奥行の平均値Ｌ２を幾つかの区分データに変換することで、人物２の存在する位置の距離センサ１１からおよその奥行を知ることができる。奥行の区分は、例えば前述の高さの区分を比例配分したものでよい。
【００５８】
判断部２２は、以上で説明した高さと奥行の区分データと、人物２が静止状態にあるか動き状態にあるかの判断を加味して、人物２の状態を判断する。例えば、全体として静止しており、かつ全ての高さ区分１であれば、何もない状態。即ち、閉鎖空間であれば、空室状態を示している。また、静止状態であり高さの区分状態が２の状態が、予め定めた時間以上続けば、人物２が倒れていると判断する。また、区分４の状態であれば、立っている状態であると判断できる。
【００５９】
さらに判断部２２は、それぞれの監視エリア６で人物２が動いている状態か静止している状態かの判断結果と、高さの区分の変化より、人物２が、筐体１０に対して、近づいてくる状態であるか、または、遠ざかっていく状態であるかを判断することができる。
【００６０】
また判断部２２は、人物２が倒れていたり、何かに寄りかかっている状態がある一定以上継続していれば、人物２に異常が発生した（例えば気分が悪くなった）と判断する。さらにその状態で、かつ静止している状態にあれば、人物２が危険な状態（例えば意識を失っている）と判断するなど、きめこまかい状態の判断をすることができる。これにより、例えば本システムの管理者は、いち早く、監視ゾーンの異変を知ることができることで、例えば急病人に対し適切な救急処置を行うことができる。また判断部２２は、この判断により、例えば監視ゾーンに備えられたスピーカから警告を発したり、外部例えば消防署等に通報するようにしてもよい。このとき判断部２２は、それぞれの監視エリア６の奥行の区分データから、倒れている場所の特定をすることができ、さらにきめこまかい状態の判断が可能であり、情報提供をすることができる。
【００６１】
以上のように監視システム１は、監視エリア６にどの程度の大きさの人物２が進入し、その人物２はどのような状態（どの位置で、立っている、座っている、倒れている）にあるか、また、その人物２は動いているか、また退出したかといった一連の動きを簡単な装置で追従することができる。この場合、人物２の動きと、高さ、奥行の区分から状態を判断するので、距離がそれほど正確でなくても状態の判断を行うことができる。従って、赤外線距離センサ３０の１つの欠点である人物２に照明したビーム光がある程度欠けて誤測定になっても、一連の動きからの判断と複数の監視エリア６からの総合判断で人物２の状態の判定をすることができる。
【００６２】
また監視ゾーン６０が閉空間（トイレ、風呂、エレベーター内、オフィース内）においては、壁等で囲まれているので、人物２が不在の場合の床面３や壁４までの距離を基準距離、即ち人物２が存在しない状態のいわば背景の距離として設定しておき、その状態からの変化を追うことで、人物２の状態を判断することができる。
【００６３】
以上のような本実施の形態によれば、人物２の状態を判断して、人物２が倒れたとか、不法侵入者が存在しているといった監視を非常に容易に行うことができる。しかも、心理的に違和感のあるカメラを用いた画像処理を使用していないので、トイレや風呂等での状態監視において非常に有効であり、さらに簡易な装置で高速処理が可能である。
【００６４】
【発明の効果】
以上のように本発明によれば、監視対象物までの距離を測定する、複数の距離センサと；前記複数の距離センサで取得した距離情報を保存する距離情報保存部と；前記距離情報保存部に保存された距離情報に基づいて前記監視対象物の状態を判断する判断部とを備え；前記距離情報保存部は、前記距離センサで取得した距離情報を時系列で保存するよう構成され；前記判断部は、前記距離センサで取得された距離情報と前記時系列で保存された直前の距離情報との距離情報差を演算し、該距離情報差と第１の所定の閾値とを比較して、前記距離情報差が前記所定の閾値より大のとき前記監視対象物に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき前記監視対象物は静止していると判断するように構成されているので、正確な対象領域内の監視を行えるだけでなく、単純で、かつ高速処理が可能な監視システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視システムの概要を示す模式的斜視図である。
【図２】本発明の実施の形態である監視エリアの配置例（ａ）と監視エリアが重複する配置例（ｂ）を説明する模式的平面図である。
【図３】本発明の実施の形態で用いる監視システムの構成例を示すブロック図である。
【図４】本発明の実施の形態で用いる赤外線距離センサの構成例を示すブロック図である。
【図５】本発明の実施の形態で、監視対象物の距離を算出する方法を説明する模式図である。
【図６】本発明の実施の形態で、監視対象物の距離から監視対象物の高さと奥行を算出する方法を説明する模式的側面図である。
【図７】本発明の実施の形態で、判断部による判断結果を示す図である。
【図８】図７の場合における、距離センサで取得した距離情報から算出した距離値を示す図である。
【図９】図８の場合における、距離センサで取得した距離情報から算出した高さの平均値を示す図である。
【図１０】図８の場合における、距離センサで取得した距離情報から算出した奥行の平均値を示す図である。
【図１１】図９の場合における、高さの区分を示す図である。
【図１２】図１０の場合における、奥行の区分を示す図である。
【符号の説明】
１ 監視システム
２ 人物
３ 床面
４ 壁
６ 監視対象エリア
１０ 筐体
１１ 距離センサ
２０ 演算装置
２１ 制御部
２２ 判断部
２４ 記憶部
２５ 距離情報保存部
２６ 入力装置
２７ 出力装置
３０ 赤外線距離センサ
３１ 赤外光照射部
３２ 赤外光受光部
６０ 監視ゾーン
Claims (7)
- 監視対象物までの距離を測定する、複数の距離センサと；
前記複数の距離センサで取得した距離情報を保存する距離情報保存部と；
前記距離情報保存部に保存された距離情報に基づいて前記監視対象物の状態を判断する判断部とを備え；
前記距離情報保存部は、前記距離センサで取得した距離情報を時系列で保存するよう構成され；
前記判断部は、前記距離センサで取得された距離情報と前記時系列で保存された直前の距離情報との距離情報差を演算し、該距離情報差と第１の所定の閾値とを比較して、前記距離情報差が前記所定の閾値より大のとき前記監視対象物に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき前記監視対象物は静止していると判断するように構成され；
前記判断部は、前記第１の所定の閾値との比較を前記複数の距離センサの各々について、一定の期間にわたって行ない、前記距離センサに対応する監視対象点の各々について、該一定の期間内に動きがあったと判断した回数と、静止していると判断した回数との回数差を求め、前記回数差が第２の所定の閾値よりも大なるセンサの監視対象点に動きがあったと判断するように構成された、
監視システム。 - 前記判断部は、前記距離センサの各々の監視対象点のうち、前記動きがあったと判断された監視対象点の数と、静止していると判断された監視対象点の数との差を求め、前記点の数の差に基づいて、前記監視対象物が全体として動いているか、静止しているかを判断するように構成された、
請求項１に記載の監視システム。 - 前記判断部は、前記監視対象物の存在する監視領域面に対する前記距離センサの相対的な位置と、前記監視領域面に対する前記距離センサの相対的な距離測定方向とに基づき、前記監視対象物の前記監視領域面からの高さ及び前記距離センサからの前記監視領域面に平行な方向の奥行を算出するように構成された、
請求項１または請求項２に記載の監視システム。 - 前記高さと前記奥行は、前記距離センサで時系列的に取得した複数の距離情報の平均値であり、前記平均値は、ある一定の時間間隔毎に各時間間隔内に生じた距離情報の平均値、または、ある一定の個数の距離情報に関する移動平均値である、
請求項３に記載の監視システム。 - 前記複数の距離センサは、前記監視対象物の主な移動方向に対して直角な方向に２列以上配置された、
請求項１乃至請求項４のいずれか１項に記載の監視システム。 - 複数の距離センサで取得した、監視対象物までの距離情報を時系列で保存する情報保存工程と；
前記保存された距離情報に基づいて前記監視対象物の状態を判断する判断工程とを備え；
前記判断工程は、前記距離センサで取得された距離情報と前記時系列で保存された直前の距離情報との距離情報差を演算する工程と、該距離情報差と第１の所定の閾値とを比較する工程と、前記距離情報差が前記所定の閾値より大のとき前記監視対象物に動きがあったと判断し、前記距離情報差が前記第１の所定の閾値より小のとき前記監視対象物は静止していると判断する工程とを含み；
前記距離情報差と第１の所定の閾値とを比較する工程では、前記複数の距離センサの各々について、一定の期間にわたって比較を行ない、前記距離センサに対応する監視対象点の各々について、該一定の期間内に動きがあったと判断した回数と、静止していると判断した回数との回数差を求め、前記回数差が第２の所定の閾値よりも大なるセンサの監視対象点に動きがあったと判断する；
監視方法。 - 前記判断工程では、前記距離センサの各々の監視対象点のうち、前記動きがあったと判断された監視対象点の数と、静止していると判断された監視対象点の数との差を求め、前記点の数の差に基づいて、前記監視対象物が全体として動いているか、静止しているかを判断する、
請求項６に記載の監視方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001146926A JP4790148B2 (ja) | 2001-05-16 | 2001-05-16 | 監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001146926A JP4790148B2 (ja) | 2001-05-16 | 2001-05-16 | 監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002340540A JP2002340540A (ja) | 2002-11-27 |
| JP4790148B2 true JP4790148B2 (ja) | 2011-10-12 |
Family
ID=18992484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001146926A Expired - Fee Related JP4790148B2 (ja) | 2001-05-16 | 2001-05-16 | 監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4790148B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4975071B2 (ja) * | 2009-08-26 | 2012-07-11 | 株式会社ナナオ | 動体判別機能付き電子機器 |
| JP5430707B2 (ja) * | 2012-04-10 | 2014-03-05 | Ｅｉｚｏ株式会社 | 動体判別機能付き電子機器 |
| EP3025316A2 (de) * | 2012-10-29 | 2016-06-01 | Markus Schori | Sicherheitsystem mit integrierter notruf-funktion |
| US11662433B2 (en) * | 2017-12-22 | 2023-05-30 | Denso Corporation | Distance measuring apparatus, recognizing apparatus, and distance measuring method |
| JP2020024545A (ja) * | 2018-08-07 | 2020-02-13 | コイト電工株式会社 | 非接触入力装置 |
| CN114674365A (zh) * | 2022-03-07 | 2022-06-28 | 武汉奋进智能机器有限公司 | 上甑布料方法与上甑机器人 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03130898A (ja) * | 1989-10-17 | 1991-06-04 | Kenji Oe | 警報装置 |
| JP3337872B2 (ja) * | 1995-06-13 | 2002-10-28 | セイコープレシジョン株式会社 | 物体検知装置 |
| JPH09287913A (ja) * | 1996-04-19 | 1997-11-04 | Matsushita Electric Ind Co Ltd | 物体位置検出装置、人体検出方法 |
| JP3710548B2 (ja) * | 1996-05-08 | 2005-10-26 | 松下電器産業株式会社 | 車両検出装置 |
| JP3826245B2 (ja) * | 1997-04-01 | 2006-09-27 | 富士電機デバイステクノロジー株式会社 | 乗員の姿勢判別装置 |
| JP3420079B2 (ja) * | 1998-09-29 | 2003-06-23 | 松下電器産業株式会社 | 状態検知システム |
-
2001
- 2001-05-16 JP JP2001146926A patent/JP4790148B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002340540A (ja) | 2002-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4058286B2 (ja) | 監視装置 | |
| EP1645840B1 (en) | Condition-analyzing device | |
| US7428468B2 (en) | Monitoring apparatus | |
| JP5753509B2 (ja) | 被測定物情報取得装置 | |
| JP4668684B2 (ja) | 監視装置及びソフトウエアプログラム | |
| JP3816404B2 (ja) | 監視システム | |
| CA2533508A1 (en) | Method of monitoring sleeping infant | |
| JP4576416B2 (ja) | 監視装置 | |
| JP2752335B2 (ja) | 病室内患者監視装置 | |
| JP3922694B2 (ja) | 監視装置 | |
| JP3939224B2 (ja) | 領域監視装置 | |
| JP4790148B2 (ja) | 監視システム | |
| JP4738888B2 (ja) | 三次元位置測定装置及びソフトウエアプログラム | |
| JP3979238B2 (ja) | 空間内監視装置 | |
| JP4588515B2 (ja) | 状態解析装置及びソフトウエアプログラム | |
| JP4422580B2 (ja) | 動き検出装置 | |
| JP4189229B2 (ja) | 動き検出装置 | |
| JP2003066079A (ja) | 電磁妨害波測定装置 | |
| JP2003225210A (ja) | 監視装置 | |
| JP2004093376A (ja) | 高さ計測装置及び監視装置 | |
| US11172848B2 (en) | System and process for monitoring a position stability | |
| JP2005005912A (ja) | 監視装置 | |
| JP4230287B2 (ja) | 動き検出装置 | |
| JP2986403B2 (ja) | 病室内患者監視装置 | |
| JP2004037274A (ja) | 高さ計測装置及び監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110712 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110720 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |