JP3862977B2 - ステレオ画像を用いた監視システム - Google Patents
ステレオ画像を用いた監視システム Download PDFInfo
- Publication number
- JP3862977B2 JP3862977B2 JP2001237605A JP2001237605A JP3862977B2 JP 3862977 B2 JP3862977 B2 JP 3862977B2 JP 2001237605 A JP2001237605 A JP 2001237605A JP 2001237605 A JP2001237605 A JP 2001237605A JP 3862977 B2 JP3862977 B2 JP 3862977B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scanning line
- distance information
- scanning
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視システムに関し、特にＣＣＤカメラやＣＭＯＳセンサ等を用いて対象領域内の物体や人物の高さや姿勢の変化を監視するための監視システムに関するものである。
【０００２】
【従来の技術】
病院の病室内あるいはトイレ内等の異常を知るための監視システムとして、従来から、２つのカメラで監視対象領域の画像を撮影し、対象領域内の物体や人物の状態を監視する装置があった。
【０００３】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、対象領域の監視は、２つのカメラにより撮像されたステレオ画像から各々の画像の対応点の検出等の処理をしなければならないため、計算量が多くなり煩雑な処理を必要とするだけでなく、複雑な装置を必要としていた。
【０００４】
そこで本発明は、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視システム１は、例えば図１、図２、図３に示すように、監視対象領域を撮像する第１の本数の走査線１３を有する第１の撮像素子１１と；第１の撮像素子１１と走査線方向に並列に設けられ、前記監視対象領域を撮像する第２の本数の走査線１４を有する第２の撮像素子１２と；第１の撮像素子１１と第２の撮像素子１２との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線１５、１６を抽出する走査線抽出手段２２と；走査線抽出手段２２により抽出された前記走査線上に形成された画像に基づいて、対象物２までの距離情報を取得する距離情報取得手段２３と；距離情報取得手段２３により取得された距離情報を用いて、対象物２を監視する検出処理手段２７とを備え；距離情報取得手段２３は；２つの撮像素子１１、１２の各々について、異なる時間に撮像された画像の抽出された走査線１５、１６の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段２４と；差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段２５と；２つの撮像素子１１、１２により撮像された各々の画像に対応する差画像から領域抽出手段２５により抽出された最大の領域同士の相関出力値を、領域抽出手段２５で抽出された領域内の画素値の変化に基づいて算出する相関出力算出手段２６とを含んで構成され；相関出力値に基づき対象物までの距離情報を取得することを特徴とする。
【０００６】
このように構成すると、第１の撮像素子１１と、第２の撮像素子１２と、走査線抽出手段２２と、距離情報取得手段２３と、検出処理手段２７とを備えるので、第１の撮像素子１１と第２の撮像素子１２との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線１５、１６を抽出し、抽出された前記走査線上に形成された画像に基づいて、対象物２までの距離情報を取得して、取得された距離情報を用いて、対象物２を監視することで、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することができる。
【０００７】
また、監視システム１は、距離情報取得手段２３により取得された距離情報から、対象物２の位置情報を算出する手段２７を備え、検出処理手段２７は、対象物２までの距離情報と前記位置情報とに基づいて、対象物２を監視するように構成してもよい。
【００１０】
上記目的を達成するために、請求項２に係る発明による監視システム１は、例えば図１、図２、図３に示すように、監視対象領域を撮像する第１の本数の走査線１３を有する第１の撮像素子１１と；第１の撮像素子１１と走査線方向に並列に設けられ、前記監視対象領域を撮像する第２の本数の走査線１４を有する第２の撮像素子１２と；第１の撮像素子１１と第２の撮像素子１２との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線１５、１６を抽出する走査線抽出手段２２と；走査線抽出手段２２により抽出された前記走査線上に形成された画像に基づいて、対象物２までの距離情報を取得する距離情報取得手段２３と；距離情報取得手段２３により取得された距離情報を用いて、対象物２を監視する検出処理手段２７とを備え；距離情報取得手段２３は；２つの撮像素子１１、１２の各々について、異なる時間に撮像された画像の抽出された走査線１５、１６の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段２４と；差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段２５とを含んで構成され；２つの撮像素子１１、１２により撮像された各々の画像に対応する差画像から領域抽出手段２５により抽出された前記最大の領域の中で、それぞれ前記閾値より大なる画素の対応を求め、対応する画素の位置ずれに基づき対象物２までの距離情報を取得することを特徴とする。
このように構成すると、第１の撮像素子１１と、第２の撮像素子１２と、走査線抽出手段２２と、距離情報取得手段２３と、検出処理手段２７とを備えるので、第１の撮像素子１１と第２の撮像素子１２との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線１５、１６を抽出し、抽出された前記走査線上に形成された画像に基づいて、対象物２までの距離情報を取得して、取得された距離情報を用いて、対象物２を監視することで、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することができる。
【００１１】
また請求項３に記載のように、請求項１又は請求項２のいずれか１項に記載の監視システム１では、互いに対応する走査線１５、１６上に形成された画像は、同期して抽出されることを特徴とする。
【００１２】
また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視システム１では、走査線抽出手段２２は、少なくとも２本の走査線を抽出することを特徴とする。
【００１３】
また請求項５に記載のように、請求項１乃至請求項４のいずれか１項に記載の監視システム１では、さらに、第１の撮像素子１１における対象物２を走査する走査線１３と、第２の撮像素子１２における対象物２を走査する走査線１４に対して、相関値を演算する手段２８を備え；前記演算された相関値が最大化されるように、第１の撮像素子１１と第２の撮像素子１２の位置関係を定めることを特徴とする。
【００１４】
また請求項６に記載のように、請求項１乃至請求項４のいずれか１項に記載の監視システム１では、さらに、第１の撮像素子１１における対象物２を走査する走査線１３と、第２の撮像素子１２における対象物２を走査する走査線１４に対して、相関値を演算する手段２８と；前記演算された相関値が最大化されるように、第１の撮像素子１１の走査線１３と第２の撮像素子１２の走査線１４との位置対応関係を定める対応走査線選択手段２９とを備えるとよい。
【００１５】
また請求項７に記載のように、請求項１乃至請求項６のいずれか１項に記載の監視システム１では、撮像素子１１、１２はＣＣＤカメラ、若しくはＣＭＯＳセンサであることを特徴とする。
【００１６】
上記目的を達成するために、請求項８に係る発明による監視システム１は、例えば図４に示すように、監視対象領域を撮像する２つの撮像素子１１、１２であって、２つの撮像素子１１、１２間で互いに対応させた複数の１次元受光素子アレイ１７、１８から構成される撮像素子１１、１２と；１次元受光素子アレイ１７、１８上に形成された画像に基づいて、対象物２までの距離情報を取得する距離情報取得手段２３と；距離情報取得手段２３により取得された距離情報を用いて、対象物２を監視する検出処理手段２７とを備え；前記距離情報取得手段２３は；前記２つの撮像素子１１、１２の各々について、異なる時間に撮像された画像の各々の前記１次元受光素子アレイ１７、１８上に形成された画像の画像情報から差画像を形成する差画像形成手段２４と；前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段２５と；前記２つの撮像素子１１、１２により撮像された各々の画像に対応する差画像から前記領域抽出手段２５により抽出された前記最大の領域同士の相関出力値を、前記領域抽出手段２５で抽出された領域内の画素値の変化に基づいて算出する相関出力算出手段２６とを含んで構成され；前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とする。
【００１７】
このように構成すると、２つの撮像素子１１、１２間で互いに対応させた複数の１次元受光素子アレイ１７、１８から構成される撮像素子１１、１２と、距離情報取得手段２３と、検出処理手段２７とを備えるので、１次元受光素子アレイ１７、１８上に形成された画像に基づいて、対象物２までの距離情報を取得し、取得された距離情報を用いて、対象物２を監視することで、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することができる。
【００１８】
上記目的を達成するために、請求項９に係る発明による監視方法は、第１の本数の走査線を有する第１の撮像素子と、第２の本数の走査線を有する第２の撮像素子との２つの撮像素子により監視対象領域を撮像する撮像工程と；前記２つの撮像素子から、第１の本数と第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線を抽出する走査線抽出工程と；前記走査線抽出工程により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得する距離情報取得工程と；前記距離情報取得工程により取得された距離情報を用いて、前記対象物を監視する検出処理工程とを備え；前記距離情報取得工程は；前記２つの撮像素子の各々について、異なる時間に撮像された画像の前記抽出された走査線の各々の上に形成される画像の画像情報から差画像を形成する差画像形成工程と；前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出工程と；前記２つの撮像素子により撮像された各々の画像に対応する差画像から前記領域抽出工程により抽出された前記最大の領域同士の相関出力値を、前記領域抽出工程で抽出された領域内の画素値の変化に基づいて算出する相関出力算出工程とを含んで構成され；前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とする。
【００１９】
このように構成すると、撮像工程と、走査線抽出工程と、距離情報取得工程と、検出処理工程とを備えるので、前記２つの撮像素子から、第１の本数と第２の本数のいずれよりも第３の本数の互いに対応する走査線を抽出し、前記走査線抽出工程により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得し、取得された距離情報を用いて、前記対象物を監視することで、正確な対象領域内の監視を行えるだけでなく、高速処理が可能である監視方法を提供することができる。
【００２０】
また請求項１０に記載のように、請求項９に記載の監視方法では、前記２つの撮像素子のうち、第１の撮像素子における前記対象物を走査する走査線と、前記走査線に対応する第２の撮像素子における前記対象物を走査する走査線とが同一平面上に存在するように、前記第１の撮像素子と第２の撮像素子の位置関係を定めるとよい。
【００２１】
また請求項１１に記載のように、請求項９又は請求項１０に記載の監視方法では、前記２つの撮像素子のうち、第１の撮像素子における前記対象物を走査する走査線と、第２の撮像素子における前記対象物を走査する走査線に対して、相関値を演算する工程を備え；前記演算された相関値が最大化されるように、前記第１の撮像素子と第２の撮像素子の位置関係を定めるとよい。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２３】
図１は、本発明による実施の形態である監視システム１の模式的斜視図である。図中対象物２が床面３上に存在している。ＸＹ軸を床面３内に置くように、直交座標系ＸＹＺがとられている。また床面３と垂直即ちＹＺ平面上に壁４が形成されている。対象物２は、本実施の形態では人物である。
【００２４】
一方、図中壁４には、監視対象領域を撮像する第１の本数の走査線１３（図３参照）を有する第１の撮像素子１１と、第２の本数の走査線１４（図３参照）を有する第２の撮像素子１２とが設置されている。第１の撮像素子１１と第２の撮像素子１２とは、走査線方向に並列に設置されている。第１の撮像素子１１と第２の撮像素子１２は、典型的にはＣＣＤカメラであるが、ＣＭＯＳセンサを用いてもよい。また本実施の形態では、第１の撮像素子１１と第２の撮像素子１２とは、別体として説明するが一体として構成してもよい。また、第１の本数と第２の本数は、典型的には同数であり、さらに典型的には５００本程度である。また本実施の形態では、第１の撮像素子１１と第２の撮像素子１２は、壁に設置しているが、天井が存在する場合は天井でもよく、設置場所は監視システムの目的や仕様等により適宜決めてよい。
【００２５】
図２を参照して、監視システム１の構成の一例を説明する。監視システム１は、第１の撮像素子としての第１のＣＣＤカメラ１１と、第２の撮像素子としての第２のＣＣＤカメラ１２と、演算装置２０とを含んで構成される。そして第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、演算装置２０に接続されている。演算装置２０は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２によりそれぞれ撮像された画像を取得できるように構成されている。また撮像された画像は、時系列的に取得するように構成するとよい。演算装置２０は、典型的にはパソコンやマイコンである。
【００２６】
演算装置２０は、制御部２１を備えており、監視システム１全体を制御している。制御部２１には、インターフェース３３が接続されており、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、インターフェース３３を介して制御部２１に接続され、制御されている。
【００２７】
また制御部２１には、記憶部３１が接続されており、後述の第３の本数の走査線１５、１６で測定する測定距離と比較すべき基準距離を保存する基準距離保存部３２が備えられている。また記憶部３１には算出された情報等のデータが記憶できる。基準距離とは、監視時点の過去の時点の距離であればよく、典型的には監視対象領域に人物２が存在しない状態のいわば背景の距離であるが、それに限らず、例えば周期的に距離を検知している場合の１コマ分だけ前の距離であってもよい。
【００２８】
また制御部２１には、監視システム１を操作するための情報を入力する入力装置３５、監視システム１で処理された結果を出力する出力装置３６が接続されている。入力装置３５は例えばタッチパネル、キーボードあるいはマウスであり、出力装置３６は例えばディスプレイやプリンタあるいは警報装置である。本図では、入力装置３５、出力装置３６は演算装置２０に外付けするものとして図示されているが、内蔵されていてもよい。
【００２９】
制御部２１内には、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との２つのＣＣＤカメラ１１、１２から、第１の本数と第２の本数とのいずれかより少ない第３の本数の互いに対応する走査線１５、１６（図３参照）を抽出する走査線抽出手段としての走査線抽出部２２が備えられている。このとき、互いに対応する走査線上に形成された画像は、同期して抽出される。また、走査線抽出部２２は、少なくとも２本の走査線１５、１６を抽出するようにする。さらに、走査線抽出部２２は、走査線１５、１６を時系列的に抽出するとよい。また、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２とから走査線１５、１６を抽出するには、外部からの同期信号で行うようにすると、対応する走査線１５、１６を抽出して処理する回路を簡単にすることができ、ソフト処理も容易となる。
【００３０】
図３の模式図に示すように、走査線１３及び走査線１４上にそれぞれ形成された画像は、走査線の１本又は複数本の上に形成されるものである。また、第３の本数は、人物２のプライバシーを守れる程度、または処理量が大きく増えない程度であり、２〜２０本程度でよいが、さらに好ましくは第１の本数、第２の本数を５００本程度とした場合に、等間隔に２０本程度である。
【００３１】
また図４の模式図に示すように、２つのＣＣＤカメラ１１、１２は、２つの撮像素子１１、１２間で互いに対応させた複数の１次元受光素子アレイ１７、１８から構成される２つのＣＣＤカメラ１１’、１２’とするようにしてもよい。この場合、１次元受光素子アレイ１７、１８がそれぞれ走査線１５、１６に対応する。また１次元受光素子アレイ１７、１８の本数は、上述の第３の本数と同じ即ち２０本程度とする。１次元受光素子アレイは、典型的にはラインＣＣＤ、またはＣＭＯＳセンサである。このようにすると、２つのＣＣＤカメラ１１’、１２’は、前述のＣＣＤカメラ１１、１２を用いた場合に比べて、前述の走査線抽出部２２が必要でなくなるため、より簡易な構成とすることも可能である。また、監視システム１に第３の本数と同数の距離センサを用いて構成した場合に比べて小型化することができる。
【００３２】
また制御部２１内には、走査線抽出部２２により抽出された走査線１５、１６上に形成された画像に基づいて、人物２までの距離情報を取得する距離情報取得手段としての距離演算部２３が備えられている。以下、本実施の形態では、距離情報取得手段が、距離を算出する距離演算部であるものとして説明する。
【００３３】
距離演算部２３は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２の各々について、異なる時間に撮像された画像の、走査線抽出部２２により抽出された走査線１５、１６の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段としての差画像形成部２４を備えている。画像情報は、典型的には画像を構成する画素の画素値である。差画像を形成するための２つの画像は時間をずらして取得するが、ずらす時間は、人物２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０〜１／３）とする。このような差画像をとると背景が除去され動きのある人物２の像を抽出することができる。
【００３４】
また距離演算部２３は、差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段としての領域抽出部２５を備えている。
【００３５】
走査線１５及び走査線１６上にそれぞれ形成された画像は、背景は動くことがないので、動いている人物２の境界部は画素値が急激に変化する。そこで、距離演算部２３は、差画像形成部２４により形成された差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を人物２の境界とみなすことができる。ここで、最大の領域としたのは、服装等の模様の動きにより、境界部以外にも区切られた領域の中で、画素値が変化する場合があるからである。
【００３６】
また距離演算部２３は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により撮像された各々の画像に対応する差画像から領域抽出部２５により抽出された最大の領域同士の相関出力値を算出する相関出力算出手段としての相関出力算出部２６を備えている。距離演算部２３は、相関出力値に基づき人物２までの距離を算出する。
【００３７】
図５の模式図に示すように、距離演算部２３は、例えば走査線１５から形成された差画像から領域抽出部２５により抽出された最大の領域の画像情報として、（ａ）の状態のように抽出したとする。図示の曲線の端点は、各々動きによって、コントラストの変化が激しかった点である。また走査線１５と同様に、走査線１６から形成された差画像の最大領域の画像情報は、（ｂ）の状態のように抽出されたとする。ここで、（ａ）、（ｂ）のそれぞれの曲線の僅かに異なるのは、異なる２つのＣＣＤカメラ１１、１２で同じ対象を見ているので、視差の関係から僅かに異なった領域画像が、それぞれ抽出されたためである。
【００３８】
このように、距離演算部２３は、（ａ）、（ｂ）それぞれの曲線に相関処理を施し、その相関ピークが最大になった位置を計測することにより、２つのライン間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を取得することができる。
【００３９】
ここで相関出力値とは、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との視差により発生する相対的結像位置差のことであり、相関処理により、典型的には画素数で出力される値である。距離演算部２３は、この相関出力値により即ち走査線１５と走査線１６との視差から三角法により距離を算出する。視差からの距離の算出方法は、図６を参照して後で説明する。また、相関処理とは、走査線１５と走査線１６からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまでずらして、そのずらした量例えば画素数を算出する処理である。一致の判断は、全体の信号の強さで行う。信号がピークなったところが一致点即ち相関ピーク位置である。
【００４０】
また相関処理は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により撮像された各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すようにしてもよい。このようにすると、相関処理は、２値化した差画像を用いるので、処理がしやすくなる。
【００４１】
また距離演算部２３は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により撮像された各々の画像に対応する差画像から領域抽出部２５により抽出された最大の領域の中で、それぞれ閾値より大なる画素の対応を求め、対応する画素の位置ずれに基づき前記対象物までの距離を算出するようにしてもよい。この場合には、距離演算部２３は、前述のように差画像から領域抽出部２５により抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大なる画素の対応を求め、対応する画素の位置ずれを算出する。距離演算部２３は、対応する画素の位置ずれ即ち視差から三角法により距離を算出する。視差からの距離の算出方法は、図６を参照して後で説明する。これにより、距離演算部２３は、例えば閾値を超えた画素に対して、同じ方向から番号付けを行い、対応した番号の画素同士の位置ずれから視差を求めることができる。
【００４２】
このようにすると、距離演算部２３は、相関処理を行う必要性が無く、非常に簡単な処理で視差を算出することができる。また距離演算部２３は、例えば抽出した領域内の模様等によるコントラストの変化によって、閾値を超える画素が多い場合には、上述の端点（図５参照）には番号付けを行なわないようにする。これにより、視差による影響で対応する番号の画素が、本来対応すべき画素とずれてしまうことにより、位置ずれの値に誤差が生じてしまう現象を低減することができる。これは、人物２までの距離が短いことで視差が大きくなった場合にも有効である。
【００４３】
ここで、図６の模式図を参照して、三角法を用いた人物２の距離の算出方法について、鉛直上方から人物２の距離を測定する場合を例として説明する。ここで、ｗは第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との光軸間距離（基線長）、ｆはＣＣＤカメラの受光レンズを単一レンズとしたときそのレンズの焦点距離、ｄはＣＣＤカメラの結像面上の視差である。ここでの焦点距離は、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とする。これにより対象とする人物２の距離Ａは次式で算出できる。
Ａ ＝ ｗ × ｆ／ｄ ………（１）
このようにして、距離演算部２３は、走査線抽出部２２により抽出された走査線１５、１６上に形成された画像に基づいて、人物２までの距離を算出することができる。
【００４４】
図２に戻って、さらに監視システム１について説明する。制御部２１内には、距離演算部２３により算出された距離により、人物２を監視する検出処理手段としての検出処理部２７が備えられている。
【００４５】
また、検出処理部２７は、第３の本数の互いに対応する走査線１５、１６のそれぞれの距離演算部２３により算出された距離と、それぞれの第３の本数の走査線１５、１６に対応する基準距離とを比較するように構成するとよい。この場合、検出処理部２７による比較結果は、典型的には時系列的に取得され、それに基づき人物２の位置情報、移動、姿勢等を判断できるように構成する。即ち、基準距離と、ある時点の距離とを比較することにより、人物２の存在、その位置情報、移動、姿勢等を判断することができるように構成する。さらに、最終的な人物２の存在、その位置情報、移動、姿勢等の判断は、第３の本数の走査線１５、１６それぞれに対応する判断結果から総合的になされる。また人物２の移動は、人物２の位置の変化だけでなく、例えば人物２が立ったり座ったりするような変化も含むものとする。
【００４６】
ここで図７の模式的側面図を参照して、人物２の位置情報である高さ、位置を算出する方法の一例を説明する。床面３から高さＨの壁４に設置された２つのＣＣＤカメラ１１、１２が、壁４から距離Ｌ（Ｘ軸方向）の監視対象領域を監視しているとする。この監視対象領域に存在する人物２の２つのＣＣＤカメラ１１、１２からの距離がＡと測定されたとすると、人物２からＣＣＤカメラ１１、１２までの高さＨ１と、壁４からの距離Ｌ１は、次式で求めることができる。
Ｈ１＝ＡＨ／（Ｈ２＋Ｌ２）１ / ２ ………（２）
Ｌ１＝ＡＬ／（Ｈ２＋Ｌ２）１ / ２ ………（３）
Ｘ軸及びＺ軸に直交する方向（Ｙ軸方向（図１参照））の位置は、算出した高さＨ１、距離Ｌ１や２つのＣＣＤカメラ１１、１２の距離測定方向により算出できる。また位置は、第３の本数の走査線１５、１６の各々に対応する監視対象領域の位置からも大まかに捉えることができる。このように、監視対象領域に存在する人物２の位置情報を算出することができる。さらに、例えば床面３に垂直な方向に２つのＣＣＤカメラ１１、１２を配置すれば、カメラの取り付けた位置そのものを、位置とし、距離を高さとすることで、位置情報を簡単に取得することもできる。
【００４７】
また検出処理部２７は、同一又は同一ではない走査線１５、１６で直前に算出されたこの人物２の位置情報、例えば１つ前の位置情報があれば、さらにその位置情報と比較し、この人物２の移動情報である移動距離と平均移動速度を算出する。例えば移動距離は、最新の位置情報と１つ前の位置情報のＨ１やＬ１のデータの差より、また、平均移動速度は、このデータの差を距離の測定間隔時間で除算した値となる。さらに、これにより得られた人物２の位置情報と移動情報は、記憶部３１内の基準距離保存部３２に基準距離として保存するようにするとよい。
【００４８】
このようにして、検出処理部２７は、算出した位置情報と移動情報から、人物２の存在、その姿勢、位置、移動状態を判断することができる。例えば、人物２の移動がなく、かつ高さが低くなった場合は、この人物２が座ったと判断でき、また、人物２が低い高さで存在し、かつ移動が無い場合には、この人物２は倒れている状態にあると判断できる。このようにして監視システム１は、監視対象領域内の人物２の進入、存在と存在状態等を監視することができる。
【００４９】
ＣＣＤカメラは、容易に画角を広くとること可能であるので、画角の広いものを用いることで、横方向の監視対象領域を十分に大きく取ることができる。このような監視システム１を、閉空間例えばトイレ等に設置した場合には、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２の画角を閉空間の監視対象領域の幅になるように設定すれば、次に説明するような利点がある。
【００５０】
図８の模式図を参照して、トイレに監視システム１を設置した例を説明する。図８（ａ）はトイレの側面図、図８（ｂ）はトイレの２つのＣＣＤカメラ側から見た正面図であり、図８（ｃ）は走査線１５、１６上の画像である。図示のように閉空間であるトイレの監視に監視システム１を設置する場合、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２の画角をトイレの幅になるように設定する。
【００５１】
このように設定した２つのＣＣＤカメラ１１、１２を、壁４’に水平面に対してやや傾斜させて設置する。この際、走査線抽出部２２は、立っている人物２のおよそ頭部から床面３’までの像が、適当な間隔で配分されるような第３の本数の走査線１５、１６を抽出するようにする。また、人物２が不在の場合の床面３’や壁４’までの距離を基準距離として設定しておくとよい。
【００５２】
このように、２つのＣＣＤカメラ１１、１２を設定することで、人物２までの距離を測定すると同時に、どの走査線１５、１６が人物２を検出したかで、人物２の存在、床面からの高さ即ちその姿勢を判断することができる。また差画像を取得し、撮像された画像上の人物２の像を抽出することにより、抽出された人物２の像の画像上の位置から、トイレ幅方向（Ｙ軸方向）の位置も得ることができる。
【００５３】
ここで、図９を参照して、２つのＣＣＤカメラ１１、１２の設置について説明する。まず監視システム１は、第１のＣＣＤカメラ１１の走査線１３と、走査線１３に対応する第２のＣＣＤカメラ１２の走査線１４とがおよそ同一平面上に存在するように、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２の位置関係を定めるようにする。
【００５４】
また、監視システム１には、演算装置２０の制御部２１内に、第１のＣＣＤカメラ１１での人物２を走査する走査線１３と、第２のＣＣＤカメラ１２での人物２を走査する走査線１４に対して、相関値を演算する手段としての相関演算部２８と、演算された相関値が最大化されるように、第１のＣＣＤカメラ１１の走査線１３と第２のＣＣＤカメラ１２の走査線１４との位置対応関係を定める対応走査線選択手段としての対応走査線選択部２９とを備えるようにする。
【００５５】
ここで図示のように、走査線１３、走査線１４上のそれぞれ人物２が結像していたとする。この場合、２つのＣＣＤカメラ１１、１２は、わずかに違う方向から人物２を見ているので、ほとんど変わらない画像が両方の走査線上に結像している。ここで、相関演算部２８は、例えば走査線１３の４ライン目を選択するとする。この場合、まず相関演算部２８は、走査線１３の４ライン目のライン信号と、走査線１４の１ライン目のライン信号との前述の相関処理を行う。相関演算部２８は、走査線１３の４ライン目のライン信号との相関処理を、走査線１４の１ライン目から順番に最終ラインまで行なう。ここでの相関処理は、全体の信号の強さである相関値をみる。また相関演算部２８は、走査線１３の４ライン目のライン信号と、走査線１４のｎライン目のライン信号との相関値が最大となるまで相関処理を行なうようにしてもよい。ｎは、走査線１４の本数（第２の本数）が例えば５００本の場合、１〜５００の自然数である。
【００５６】
対応走査線選択部２９は、この相関値が最大となるライン同士が対応している走査線であると判定し、第１のＣＣＤカメラ１１の走査線１３と第２のＣＣＤカメラ１２の走査線１４との位置対応関係を定めるする。例えば、走査線１３の４ライン目と走査線１４の７ライン目が対応している走査線であると判定した場合には、位置対応関係は、そのまま走査線１３の５ライン目と走査線１４の８ライン目、走査線１３の１００ライン目と走査線１４の１０３ライン目と定められる。
【００５７】
また、監視システム１は、第１のＣＣＤカメラ１１の走査線１３と第２のＣＣＤカメラ１２の走査線１４の同じライン、例えば走査線１３の４ライン目と走査線１４の４ライン目との相関演算部２８による相関値が最大となるように位置関係を定めてもよい。このようにすると、第１の撮像素子と第２の撮像素子との同じラインがおよそ同一平面の走査線が対応するように設置し、さらに相関値が最大となるように位置関係を定めるので、２つのＣＣＤカメラ１１、１２を効率良く、高精度に設置することができる。
【００５８】
また、監視システム１は、２つのＣＣＤカメラ１１、１２の位置関係または、走査線１３と走査線１４との位置対応関係を定めた後に、２つのＣＣＤカメラ１１、１２の基線長ｗが設定値よりもずれた場合でも、予め定めた距離Ａ１を測定すれば、走査線方向のずれ分の補正を行うこともできる。この場合には、第１のＣＣＤカメラ１１の光軸と第２のＣＣＤカメラ１２の光軸の位置が走査線方向にＳだけずれているとすると、前述の式（１）を
Ａ ＝ ｗ × ｆ／（ｄ＋Ｓ） ………（４）
とすることで走査線方向のずれを補正できる。
【００５９】
このようにすれば、監視システム１は、正確に人物２までの距離を測定できるだけでなく、温度変化や経時変化があってＣＣＤカメラが僅かに動いたとしても、例えば、壁の模様等を使って予め定めた距離Ａ１を測定することにより、正確さを維持することができる。また、この補正は、一定間隔毎に行うようにするとよい。
【００６０】
以上では、２つのＣＣＤカメラ１１、１２の各々の走査線が対応するように設置する、または対応する走査線を選択する場合で説明したが、予め２つのＣＣＤカメラ１１、１２の各々の走査線が対応するように調整し、固定したものを用いるようにしてもよい。このようにすると、２つのＣＣＤカメラ１１、１２は、距離センサと同じような感覚で扱うことができるので、２つのＣＣＤカメラ１１、１２の設置が非常に簡便になる。
【００６１】
以上のように監視システム１は、監視対象領域にどの程度の大きさの人物２が進入し、どのような人物２の状態（どの位置で、立っている、座っている、倒れている）にあるか、また、その人物２は動いているか、また退出したかといった一連の動きを簡単な装置で追従することができる。この場合、基準距離からの差異を取得していくので、距離が比較的正確でなくても状態の判断に使うことはできる。また、監視システム１は、差画像を用いるので、例えば、人物２に動きが無くなった場合には、領域の特定ができなくなるが、一連の動きから総合的に人物２の状態の判定をすることができるので、静止しているまたは動きがゆっくりである人物２の存在も監視できる。これは、例えばトイレに座っている人物２や風呂にゆっくり浸かっている人物２等動きの少ない人物２を監視する場合に有効である。
【００６２】
また監視対象領域が閉空間（トイレ、風呂、エレベーター内、オフィース内）においては、壁等で囲まれているので、人物２が不在の場合の床面３や壁４までの距離を基準距離として設定しておき、その状態からの変化を追うことで、人物２の状態を判断することができる。
【００６３】
以上のような本実施の形態によれば、人物２の状態を判断して、人物２が倒れたとか、不法侵入者が存在しているといった監視を正確かつ非常に容易に行うことができる。しかも、ＣＣＤカメラよりフレーム全体を取得するのではないので、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。また抽出する走査線は、人物２のプライバシーを守れる程度であるので、トイレや風呂等での状態監視において非常に有効である。
【００６４】
【発明の効果】
以上のように本発明によれば、監視対象領域を撮像する第１の本数の走査線を有する第１の撮像素子と、前記第１の撮像素子と走査線方向に並列に設けられ、前記監視対象領域を撮像する第２の本数の走査線を有する第２の撮像素子と、前記第１の撮像素子と前記第２の撮像素子との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線を抽出する走査線抽出手段と、前記走査線抽出手段により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得する距離情報取得手段と、前記距離情報取得手段により取得された距離情報を用いて、前記対象物を監視する検出処理手段とを備え、前記距離情報取得手段は、前記２つの撮像素子の各々について、異なる時間に撮像された画像の前記抽出された走査線の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段と、前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段と、前記２つの撮像素子により撮像された各々の画像に対応する差画像から前記領域抽出手段により抽出された前記最大の領域同士の相関出力値を、前記領域抽出手段で抽出された領域内の画素値の変化に基づいて算出する相関出力算出手段とを含んで構成され、前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とするので、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視システムの概要を示す模式的斜視図である。
【図２】本発明の実施の形態で用いる監視システムの構成例を示すブロック図である。
【図３】本発明の実施の形態で用いる第１のＣＣＤカメラの走査線と第２のＣＣＤカメラの走査線とを説明する模式図である。
【図４】本発明の実施の形態で用いる複数の１次元受光素子アレイを説明する模式図である。
【図５】本発明の実施の形態での相関処理を説明する線図である。
【図６】本発明の実施の形態で、２つのＣＣＤカメラの視差から、監視対象物の距離を算出する方法を説明する模式図である。
【図７】本発明の実施の形態で、監視対象物の距離から監視対象物の位置情報を算出する方法を説明する模式的側面図である。
【図８】本発明の実施の形態である監視システムをトイレに設置する場合を説明する模式的側面図（ａ）、模式的正面図（ｂ）、走査線上の画像（ｃ）であるである。
【図９】本発明の実施の形態である監視システムの設置について説明する模式図である。
【符号の説明】
１ 監視システム
２ 人物
３ 床面
４ 壁
１１ 第１の撮像素子
１２ 第２の撮像素子
１３ 第１の撮像素子の走査線
１４ 第２の撮像素子の走査線
１５ 第１の撮像素子のから抽出された走査線
１６ 第２の撮像素子のから抽出された走査線
１７ 第１の撮像素子の１次元受光素子アレイ
１８ 第２の撮像素子の１次元受光素子アレイ
２０ 演算装置
２１ 制御部
２２ 走査線抽出部
２３ 距離演算部
２４ 差画像形成部
２５ 領域抽出部
２６ 相関出力算出部
２７ 検出処理部
２８ 相関演算部
２９ 対応走査線選択部
３１ 記憶部
３２ 基準距離保存部
３３ インターフェース
３５ 入力装置
３６ 出力装置
【発明の属する技術分野】
本発明は、監視システムに関し、特にＣＣＤカメラやＣＭＯＳセンサ等を用いて対象領域内の物体や人物の高さや姿勢の変化を監視するための監視システムに関するものである。
【０００２】
【従来の技術】
病院の病室内あるいはトイレ内等の異常を知るための監視システムとして、従来から、２つのカメラで監視対象領域の画像を撮影し、対象領域内の物体や人物の状態を監視する装置があった。
【０００３】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、対象領域の監視は、２つのカメラにより撮像されたステレオ画像から各々の画像の対応点の検出等の処理をしなければならないため、計算量が多くなり煩雑な処理を必要とするだけでなく、複雑な装置を必要としていた。
【０００４】
そこで本発明は、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視システム１は、例えば図１、図２、図３に示すように、監視対象領域を撮像する第１の本数の走査線１３を有する第１の撮像素子１１と；第１の撮像素子１１と走査線方向に並列に設けられ、前記監視対象領域を撮像する第２の本数の走査線１４を有する第２の撮像素子１２と；第１の撮像素子１１と第２の撮像素子１２との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線１５、１６を抽出する走査線抽出手段２２と；走査線抽出手段２２により抽出された前記走査線上に形成された画像に基づいて、対象物２までの距離情報を取得する距離情報取得手段２３と；距離情報取得手段２３により取得された距離情報を用いて、対象物２を監視する検出処理手段２７とを備え；距離情報取得手段２３は；２つの撮像素子１１、１２の各々について、異なる時間に撮像された画像の抽出された走査線１５、１６の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段２４と；差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段２５と；２つの撮像素子１１、１２により撮像された各々の画像に対応する差画像から領域抽出手段２５により抽出された最大の領域同士の相関出力値を、領域抽出手段２５で抽出された領域内の画素値の変化に基づいて算出する相関出力算出手段２６とを含んで構成され；相関出力値に基づき対象物までの距離情報を取得することを特徴とする。
【０００６】
このように構成すると、第１の撮像素子１１と、第２の撮像素子１２と、走査線抽出手段２２と、距離情報取得手段２３と、検出処理手段２７とを備えるので、第１の撮像素子１１と第２の撮像素子１２との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線１５、１６を抽出し、抽出された前記走査線上に形成された画像に基づいて、対象物２までの距離情報を取得して、取得された距離情報を用いて、対象物２を監視することで、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することができる。
【０００７】
また、監視システム１は、距離情報取得手段２３により取得された距離情報から、対象物２の位置情報を算出する手段２７を備え、検出処理手段２７は、対象物２までの距離情報と前記位置情報とに基づいて、対象物２を監視するように構成してもよい。
【００１０】
上記目的を達成するために、請求項２に係る発明による監視システム１は、例えば図１、図２、図３に示すように、監視対象領域を撮像する第１の本数の走査線１３を有する第１の撮像素子１１と；第１の撮像素子１１と走査線方向に並列に設けられ、前記監視対象領域を撮像する第２の本数の走査線１４を有する第２の撮像素子１２と；第１の撮像素子１１と第２の撮像素子１２との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線１５、１６を抽出する走査線抽出手段２２と；走査線抽出手段２２により抽出された前記走査線上に形成された画像に基づいて、対象物２までの距離情報を取得する距離情報取得手段２３と；距離情報取得手段２３により取得された距離情報を用いて、対象物２を監視する検出処理手段２７とを備え；距離情報取得手段２３は；２つの撮像素子１１、１２の各々について、異なる時間に撮像された画像の抽出された走査線１５、１６の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段２４と；差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段２５とを含んで構成され；２つの撮像素子１１、１２により撮像された各々の画像に対応する差画像から領域抽出手段２５により抽出された前記最大の領域の中で、それぞれ前記閾値より大なる画素の対応を求め、対応する画素の位置ずれに基づき対象物２までの距離情報を取得することを特徴とする。
このように構成すると、第１の撮像素子１１と、第２の撮像素子１２と、走査線抽出手段２２と、距離情報取得手段２３と、検出処理手段２７とを備えるので、第１の撮像素子１１と第２の撮像素子１２との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線１５、１６を抽出し、抽出された前記走査線上に形成された画像に基づいて、対象物２までの距離情報を取得して、取得された距離情報を用いて、対象物２を監視することで、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することができる。
【００１１】
また請求項３に記載のように、請求項１又は請求項２のいずれか１項に記載の監視システム１では、互いに対応する走査線１５、１６上に形成された画像は、同期して抽出されることを特徴とする。
【００１２】
また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視システム１では、走査線抽出手段２２は、少なくとも２本の走査線を抽出することを特徴とする。
【００１３】
また請求項５に記載のように、請求項１乃至請求項４のいずれか１項に記載の監視システム１では、さらに、第１の撮像素子１１における対象物２を走査する走査線１３と、第２の撮像素子１２における対象物２を走査する走査線１４に対して、相関値を演算する手段２８を備え；前記演算された相関値が最大化されるように、第１の撮像素子１１と第２の撮像素子１２の位置関係を定めることを特徴とする。
【００１４】
また請求項６に記載のように、請求項１乃至請求項４のいずれか１項に記載の監視システム１では、さらに、第１の撮像素子１１における対象物２を走査する走査線１３と、第２の撮像素子１２における対象物２を走査する走査線１４に対して、相関値を演算する手段２８と；前記演算された相関値が最大化されるように、第１の撮像素子１１の走査線１３と第２の撮像素子１２の走査線１４との位置対応関係を定める対応走査線選択手段２９とを備えるとよい。
【００１５】
また請求項７に記載のように、請求項１乃至請求項６のいずれか１項に記載の監視システム１では、撮像素子１１、１２はＣＣＤカメラ、若しくはＣＭＯＳセンサであることを特徴とする。
【００１６】
上記目的を達成するために、請求項８に係る発明による監視システム１は、例えば図４に示すように、監視対象領域を撮像する２つの撮像素子１１、１２であって、２つの撮像素子１１、１２間で互いに対応させた複数の１次元受光素子アレイ１７、１８から構成される撮像素子１１、１２と；１次元受光素子アレイ１７、１８上に形成された画像に基づいて、対象物２までの距離情報を取得する距離情報取得手段２３と；距離情報取得手段２３により取得された距離情報を用いて、対象物２を監視する検出処理手段２７とを備え；前記距離情報取得手段２３は；前記２つの撮像素子１１、１２の各々について、異なる時間に撮像された画像の各々の前記１次元受光素子アレイ１７、１８上に形成された画像の画像情報から差画像を形成する差画像形成手段２４と；前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段２５と；前記２つの撮像素子１１、１２により撮像された各々の画像に対応する差画像から前記領域抽出手段２５により抽出された前記最大の領域同士の相関出力値を、前記領域抽出手段２５で抽出された領域内の画素値の変化に基づいて算出する相関出力算出手段２６とを含んで構成され；前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とする。
【００１７】
このように構成すると、２つの撮像素子１１、１２間で互いに対応させた複数の１次元受光素子アレイ１７、１８から構成される撮像素子１１、１２と、距離情報取得手段２３と、検出処理手段２７とを備えるので、１次元受光素子アレイ１７、１８上に形成された画像に基づいて、対象物２までの距離情報を取得し、取得された距離情報を用いて、対象物２を監視することで、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することができる。
【００１８】
上記目的を達成するために、請求項９に係る発明による監視方法は、第１の本数の走査線を有する第１の撮像素子と、第２の本数の走査線を有する第２の撮像素子との２つの撮像素子により監視対象領域を撮像する撮像工程と；前記２つの撮像素子から、第１の本数と第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線を抽出する走査線抽出工程と；前記走査線抽出工程により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得する距離情報取得工程と；前記距離情報取得工程により取得された距離情報を用いて、前記対象物を監視する検出処理工程とを備え；前記距離情報取得工程は；前記２つの撮像素子の各々について、異なる時間に撮像された画像の前記抽出された走査線の各々の上に形成される画像の画像情報から差画像を形成する差画像形成工程と；前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出工程と；前記２つの撮像素子により撮像された各々の画像に対応する差画像から前記領域抽出工程により抽出された前記最大の領域同士の相関出力値を、前記領域抽出工程で抽出された領域内の画素値の変化に基づいて算出する相関出力算出工程とを含んで構成され；前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とする。
【００１９】
このように構成すると、撮像工程と、走査線抽出工程と、距離情報取得工程と、検出処理工程とを備えるので、前記２つの撮像素子から、第１の本数と第２の本数のいずれよりも第３の本数の互いに対応する走査線を抽出し、前記走査線抽出工程により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得し、取得された距離情報を用いて、前記対象物を監視することで、正確な対象領域内の監視を行えるだけでなく、高速処理が可能である監視方法を提供することができる。
【００２０】
また請求項１０に記載のように、請求項９に記載の監視方法では、前記２つの撮像素子のうち、第１の撮像素子における前記対象物を走査する走査線と、前記走査線に対応する第２の撮像素子における前記対象物を走査する走査線とが同一平面上に存在するように、前記第１の撮像素子と第２の撮像素子の位置関係を定めるとよい。
【００２１】
また請求項１１に記載のように、請求項９又は請求項１０に記載の監視方法では、前記２つの撮像素子のうち、第１の撮像素子における前記対象物を走査する走査線と、第２の撮像素子における前記対象物を走査する走査線に対して、相関値を演算する工程を備え；前記演算された相関値が最大化されるように、前記第１の撮像素子と第２の撮像素子の位置関係を定めるとよい。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２３】
図１は、本発明による実施の形態である監視システム１の模式的斜視図である。図中対象物２が床面３上に存在している。ＸＹ軸を床面３内に置くように、直交座標系ＸＹＺがとられている。また床面３と垂直即ちＹＺ平面上に壁４が形成されている。対象物２は、本実施の形態では人物である。
【００２４】
一方、図中壁４には、監視対象領域を撮像する第１の本数の走査線１３（図３参照）を有する第１の撮像素子１１と、第２の本数の走査線１４（図３参照）を有する第２の撮像素子１２とが設置されている。第１の撮像素子１１と第２の撮像素子１２とは、走査線方向に並列に設置されている。第１の撮像素子１１と第２の撮像素子１２は、典型的にはＣＣＤカメラであるが、ＣＭＯＳセンサを用いてもよい。また本実施の形態では、第１の撮像素子１１と第２の撮像素子１２とは、別体として説明するが一体として構成してもよい。また、第１の本数と第２の本数は、典型的には同数であり、さらに典型的には５００本程度である。また本実施の形態では、第１の撮像素子１１と第２の撮像素子１２は、壁に設置しているが、天井が存在する場合は天井でもよく、設置場所は監視システムの目的や仕様等により適宜決めてよい。
【００２５】
図２を参照して、監視システム１の構成の一例を説明する。監視システム１は、第１の撮像素子としての第１のＣＣＤカメラ１１と、第２の撮像素子としての第２のＣＣＤカメラ１２と、演算装置２０とを含んで構成される。そして第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、演算装置２０に接続されている。演算装置２０は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２によりそれぞれ撮像された画像を取得できるように構成されている。また撮像された画像は、時系列的に取得するように構成するとよい。演算装置２０は、典型的にはパソコンやマイコンである。
【００２６】
演算装置２０は、制御部２１を備えており、監視システム１全体を制御している。制御部２１には、インターフェース３３が接続されており、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、インターフェース３３を介して制御部２１に接続され、制御されている。
【００２７】
また制御部２１には、記憶部３１が接続されており、後述の第３の本数の走査線１５、１６で測定する測定距離と比較すべき基準距離を保存する基準距離保存部３２が備えられている。また記憶部３１には算出された情報等のデータが記憶できる。基準距離とは、監視時点の過去の時点の距離であればよく、典型的には監視対象領域に人物２が存在しない状態のいわば背景の距離であるが、それに限らず、例えば周期的に距離を検知している場合の１コマ分だけ前の距離であってもよい。
【００２８】
また制御部２１には、監視システム１を操作するための情報を入力する入力装置３５、監視システム１で処理された結果を出力する出力装置３６が接続されている。入力装置３５は例えばタッチパネル、キーボードあるいはマウスであり、出力装置３６は例えばディスプレイやプリンタあるいは警報装置である。本図では、入力装置３５、出力装置３６は演算装置２０に外付けするものとして図示されているが、内蔵されていてもよい。
【００２９】
制御部２１内には、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との２つのＣＣＤカメラ１１、１２から、第１の本数と第２の本数とのいずれかより少ない第３の本数の互いに対応する走査線１５、１６（図３参照）を抽出する走査線抽出手段としての走査線抽出部２２が備えられている。このとき、互いに対応する走査線上に形成された画像は、同期して抽出される。また、走査線抽出部２２は、少なくとも２本の走査線１５、１６を抽出するようにする。さらに、走査線抽出部２２は、走査線１５、１６を時系列的に抽出するとよい。また、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２とから走査線１５、１６を抽出するには、外部からの同期信号で行うようにすると、対応する走査線１５、１６を抽出して処理する回路を簡単にすることができ、ソフト処理も容易となる。
【００３０】
図３の模式図に示すように、走査線１３及び走査線１４上にそれぞれ形成された画像は、走査線の１本又は複数本の上に形成されるものである。また、第３の本数は、人物２のプライバシーを守れる程度、または処理量が大きく増えない程度であり、２〜２０本程度でよいが、さらに好ましくは第１の本数、第２の本数を５００本程度とした場合に、等間隔に２０本程度である。
【００３１】
また図４の模式図に示すように、２つのＣＣＤカメラ１１、１２は、２つの撮像素子１１、１２間で互いに対応させた複数の１次元受光素子アレイ１７、１８から構成される２つのＣＣＤカメラ１１’、１２’とするようにしてもよい。この場合、１次元受光素子アレイ１７、１８がそれぞれ走査線１５、１６に対応する。また１次元受光素子アレイ１７、１８の本数は、上述の第３の本数と同じ即ち２０本程度とする。１次元受光素子アレイは、典型的にはラインＣＣＤ、またはＣＭＯＳセンサである。このようにすると、２つのＣＣＤカメラ１１’、１２’は、前述のＣＣＤカメラ１１、１２を用いた場合に比べて、前述の走査線抽出部２２が必要でなくなるため、より簡易な構成とすることも可能である。また、監視システム１に第３の本数と同数の距離センサを用いて構成した場合に比べて小型化することができる。
【００３２】
また制御部２１内には、走査線抽出部２２により抽出された走査線１５、１６上に形成された画像に基づいて、人物２までの距離情報を取得する距離情報取得手段としての距離演算部２３が備えられている。以下、本実施の形態では、距離情報取得手段が、距離を算出する距離演算部であるものとして説明する。
【００３３】
距離演算部２３は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２の各々について、異なる時間に撮像された画像の、走査線抽出部２２により抽出された走査線１５、１６の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段としての差画像形成部２４を備えている。画像情報は、典型的には画像を構成する画素の画素値である。差画像を形成するための２つの画像は時間をずらして取得するが、ずらす時間は、人物２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０〜１／３）とする。このような差画像をとると背景が除去され動きのある人物２の像を抽出することができる。
【００３４】
また距離演算部２３は、差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段としての領域抽出部２５を備えている。
【００３５】
走査線１５及び走査線１６上にそれぞれ形成された画像は、背景は動くことがないので、動いている人物２の境界部は画素値が急激に変化する。そこで、距離演算部２３は、差画像形成部２４により形成された差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を人物２の境界とみなすことができる。ここで、最大の領域としたのは、服装等の模様の動きにより、境界部以外にも区切られた領域の中で、画素値が変化する場合があるからである。
【００３６】
また距離演算部２３は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により撮像された各々の画像に対応する差画像から領域抽出部２５により抽出された最大の領域同士の相関出力値を算出する相関出力算出手段としての相関出力算出部２６を備えている。距離演算部２３は、相関出力値に基づき人物２までの距離を算出する。
【００３７】
図５の模式図に示すように、距離演算部２３は、例えば走査線１５から形成された差画像から領域抽出部２５により抽出された最大の領域の画像情報として、（ａ）の状態のように抽出したとする。図示の曲線の端点は、各々動きによって、コントラストの変化が激しかった点である。また走査線１５と同様に、走査線１６から形成された差画像の最大領域の画像情報は、（ｂ）の状態のように抽出されたとする。ここで、（ａ）、（ｂ）のそれぞれの曲線の僅かに異なるのは、異なる２つのＣＣＤカメラ１１、１２で同じ対象を見ているので、視差の関係から僅かに異なった領域画像が、それぞれ抽出されたためである。
【００３８】
このように、距離演算部２３は、（ａ）、（ｂ）それぞれの曲線に相関処理を施し、その相関ピークが最大になった位置を計測することにより、２つのライン間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を取得することができる。
【００３９】
ここで相関出力値とは、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との視差により発生する相対的結像位置差のことであり、相関処理により、典型的には画素数で出力される値である。距離演算部２３は、この相関出力値により即ち走査線１５と走査線１６との視差から三角法により距離を算出する。視差からの距離の算出方法は、図６を参照して後で説明する。また、相関処理とは、走査線１５と走査線１６からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまでずらして、そのずらした量例えば画素数を算出する処理である。一致の判断は、全体の信号の強さで行う。信号がピークなったところが一致点即ち相関ピーク位置である。
【００４０】
また相関処理は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により撮像された各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すようにしてもよい。このようにすると、相関処理は、２値化した差画像を用いるので、処理がしやすくなる。
【００４１】
また距離演算部２３は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により撮像された各々の画像に対応する差画像から領域抽出部２５により抽出された最大の領域の中で、それぞれ閾値より大なる画素の対応を求め、対応する画素の位置ずれに基づき前記対象物までの距離を算出するようにしてもよい。この場合には、距離演算部２３は、前述のように差画像から領域抽出部２５により抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大なる画素の対応を求め、対応する画素の位置ずれを算出する。距離演算部２３は、対応する画素の位置ずれ即ち視差から三角法により距離を算出する。視差からの距離の算出方法は、図６を参照して後で説明する。これにより、距離演算部２３は、例えば閾値を超えた画素に対して、同じ方向から番号付けを行い、対応した番号の画素同士の位置ずれから視差を求めることができる。
【００４２】
このようにすると、距離演算部２３は、相関処理を行う必要性が無く、非常に簡単な処理で視差を算出することができる。また距離演算部２３は、例えば抽出した領域内の模様等によるコントラストの変化によって、閾値を超える画素が多い場合には、上述の端点（図５参照）には番号付けを行なわないようにする。これにより、視差による影響で対応する番号の画素が、本来対応すべき画素とずれてしまうことにより、位置ずれの値に誤差が生じてしまう現象を低減することができる。これは、人物２までの距離が短いことで視差が大きくなった場合にも有効である。
【００４３】
ここで、図６の模式図を参照して、三角法を用いた人物２の距離の算出方法について、鉛直上方から人物２の距離を測定する場合を例として説明する。ここで、ｗは第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との光軸間距離（基線長）、ｆはＣＣＤカメラの受光レンズを単一レンズとしたときそのレンズの焦点距離、ｄはＣＣＤカメラの結像面上の視差である。ここでの焦点距離は、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とする。これにより対象とする人物２の距離Ａは次式で算出できる。
Ａ ＝ ｗ × ｆ／ｄ ………（１）
このようにして、距離演算部２３は、走査線抽出部２２により抽出された走査線１５、１６上に形成された画像に基づいて、人物２までの距離を算出することができる。
【００４４】
図２に戻って、さらに監視システム１について説明する。制御部２１内には、距離演算部２３により算出された距離により、人物２を監視する検出処理手段としての検出処理部２７が備えられている。
【００４５】
また、検出処理部２７は、第３の本数の互いに対応する走査線１５、１６のそれぞれの距離演算部２３により算出された距離と、それぞれの第３の本数の走査線１５、１６に対応する基準距離とを比較するように構成するとよい。この場合、検出処理部２７による比較結果は、典型的には時系列的に取得され、それに基づき人物２の位置情報、移動、姿勢等を判断できるように構成する。即ち、基準距離と、ある時点の距離とを比較することにより、人物２の存在、その位置情報、移動、姿勢等を判断することができるように構成する。さらに、最終的な人物２の存在、その位置情報、移動、姿勢等の判断は、第３の本数の走査線１５、１６それぞれに対応する判断結果から総合的になされる。また人物２の移動は、人物２の位置の変化だけでなく、例えば人物２が立ったり座ったりするような変化も含むものとする。
【００４６】
ここで図７の模式的側面図を参照して、人物２の位置情報である高さ、位置を算出する方法の一例を説明する。床面３から高さＨの壁４に設置された２つのＣＣＤカメラ１１、１２が、壁４から距離Ｌ（Ｘ軸方向）の監視対象領域を監視しているとする。この監視対象領域に存在する人物２の２つのＣＣＤカメラ１１、１２からの距離がＡと測定されたとすると、人物２からＣＣＤカメラ１１、１２までの高さＨ１と、壁４からの距離Ｌ１は、次式で求めることができる。
Ｈ１＝ＡＨ／（Ｈ２＋Ｌ２）１ / ２ ………（２）
Ｌ１＝ＡＬ／（Ｈ２＋Ｌ２）１ / ２ ………（３）
Ｘ軸及びＺ軸に直交する方向（Ｙ軸方向（図１参照））の位置は、算出した高さＨ１、距離Ｌ１や２つのＣＣＤカメラ１１、１２の距離測定方向により算出できる。また位置は、第３の本数の走査線１５、１６の各々に対応する監視対象領域の位置からも大まかに捉えることができる。このように、監視対象領域に存在する人物２の位置情報を算出することができる。さらに、例えば床面３に垂直な方向に２つのＣＣＤカメラ１１、１２を配置すれば、カメラの取り付けた位置そのものを、位置とし、距離を高さとすることで、位置情報を簡単に取得することもできる。
【００４７】
また検出処理部２７は、同一又は同一ではない走査線１５、１６で直前に算出されたこの人物２の位置情報、例えば１つ前の位置情報があれば、さらにその位置情報と比較し、この人物２の移動情報である移動距離と平均移動速度を算出する。例えば移動距離は、最新の位置情報と１つ前の位置情報のＨ１やＬ１のデータの差より、また、平均移動速度は、このデータの差を距離の測定間隔時間で除算した値となる。さらに、これにより得られた人物２の位置情報と移動情報は、記憶部３１内の基準距離保存部３２に基準距離として保存するようにするとよい。
【００４８】
このようにして、検出処理部２７は、算出した位置情報と移動情報から、人物２の存在、その姿勢、位置、移動状態を判断することができる。例えば、人物２の移動がなく、かつ高さが低くなった場合は、この人物２が座ったと判断でき、また、人物２が低い高さで存在し、かつ移動が無い場合には、この人物２は倒れている状態にあると判断できる。このようにして監視システム１は、監視対象領域内の人物２の進入、存在と存在状態等を監視することができる。
【００４９】
ＣＣＤカメラは、容易に画角を広くとること可能であるので、画角の広いものを用いることで、横方向の監視対象領域を十分に大きく取ることができる。このような監視システム１を、閉空間例えばトイレ等に設置した場合には、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２の画角を閉空間の監視対象領域の幅になるように設定すれば、次に説明するような利点がある。
【００５０】
図８の模式図を参照して、トイレに監視システム１を設置した例を説明する。図８（ａ）はトイレの側面図、図８（ｂ）はトイレの２つのＣＣＤカメラ側から見た正面図であり、図８（ｃ）は走査線１５、１６上の画像である。図示のように閉空間であるトイレの監視に監視システム１を設置する場合、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２の画角をトイレの幅になるように設定する。
【００５１】
このように設定した２つのＣＣＤカメラ１１、１２を、壁４’に水平面に対してやや傾斜させて設置する。この際、走査線抽出部２２は、立っている人物２のおよそ頭部から床面３’までの像が、適当な間隔で配分されるような第３の本数の走査線１５、１６を抽出するようにする。また、人物２が不在の場合の床面３’や壁４’までの距離を基準距離として設定しておくとよい。
【００５２】
このように、２つのＣＣＤカメラ１１、１２を設定することで、人物２までの距離を測定すると同時に、どの走査線１５、１６が人物２を検出したかで、人物２の存在、床面からの高さ即ちその姿勢を判断することができる。また差画像を取得し、撮像された画像上の人物２の像を抽出することにより、抽出された人物２の像の画像上の位置から、トイレ幅方向（Ｙ軸方向）の位置も得ることができる。
【００５３】
ここで、図９を参照して、２つのＣＣＤカメラ１１、１２の設置について説明する。まず監視システム１は、第１のＣＣＤカメラ１１の走査線１３と、走査線１３に対応する第２のＣＣＤカメラ１２の走査線１４とがおよそ同一平面上に存在するように、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２の位置関係を定めるようにする。
【００５４】
また、監視システム１には、演算装置２０の制御部２１内に、第１のＣＣＤカメラ１１での人物２を走査する走査線１３と、第２のＣＣＤカメラ１２での人物２を走査する走査線１４に対して、相関値を演算する手段としての相関演算部２８と、演算された相関値が最大化されるように、第１のＣＣＤカメラ１１の走査線１３と第２のＣＣＤカメラ１２の走査線１４との位置対応関係を定める対応走査線選択手段としての対応走査線選択部２９とを備えるようにする。
【００５５】
ここで図示のように、走査線１３、走査線１４上のそれぞれ人物２が結像していたとする。この場合、２つのＣＣＤカメラ１１、１２は、わずかに違う方向から人物２を見ているので、ほとんど変わらない画像が両方の走査線上に結像している。ここで、相関演算部２８は、例えば走査線１３の４ライン目を選択するとする。この場合、まず相関演算部２８は、走査線１３の４ライン目のライン信号と、走査線１４の１ライン目のライン信号との前述の相関処理を行う。相関演算部２８は、走査線１３の４ライン目のライン信号との相関処理を、走査線１４の１ライン目から順番に最終ラインまで行なう。ここでの相関処理は、全体の信号の強さである相関値をみる。また相関演算部２８は、走査線１３の４ライン目のライン信号と、走査線１４のｎライン目のライン信号との相関値が最大となるまで相関処理を行なうようにしてもよい。ｎは、走査線１４の本数（第２の本数）が例えば５００本の場合、１〜５００の自然数である。
【００５６】
対応走査線選択部２９は、この相関値が最大となるライン同士が対応している走査線であると判定し、第１のＣＣＤカメラ１１の走査線１３と第２のＣＣＤカメラ１２の走査線１４との位置対応関係を定めるする。例えば、走査線１３の４ライン目と走査線１４の７ライン目が対応している走査線であると判定した場合には、位置対応関係は、そのまま走査線１３の５ライン目と走査線１４の８ライン目、走査線１３の１００ライン目と走査線１４の１０３ライン目と定められる。
【００５７】
また、監視システム１は、第１のＣＣＤカメラ１１の走査線１３と第２のＣＣＤカメラ１２の走査線１４の同じライン、例えば走査線１３の４ライン目と走査線１４の４ライン目との相関演算部２８による相関値が最大となるように位置関係を定めてもよい。このようにすると、第１の撮像素子と第２の撮像素子との同じラインがおよそ同一平面の走査線が対応するように設置し、さらに相関値が最大となるように位置関係を定めるので、２つのＣＣＤカメラ１１、１２を効率良く、高精度に設置することができる。
【００５８】
また、監視システム１は、２つのＣＣＤカメラ１１、１２の位置関係または、走査線１３と走査線１４との位置対応関係を定めた後に、２つのＣＣＤカメラ１１、１２の基線長ｗが設定値よりもずれた場合でも、予め定めた距離Ａ１を測定すれば、走査線方向のずれ分の補正を行うこともできる。この場合には、第１のＣＣＤカメラ１１の光軸と第２のＣＣＤカメラ１２の光軸の位置が走査線方向にＳだけずれているとすると、前述の式（１）を
Ａ ＝ ｗ × ｆ／（ｄ＋Ｓ） ………（４）
とすることで走査線方向のずれを補正できる。
【００５９】
このようにすれば、監視システム１は、正確に人物２までの距離を測定できるだけでなく、温度変化や経時変化があってＣＣＤカメラが僅かに動いたとしても、例えば、壁の模様等を使って予め定めた距離Ａ１を測定することにより、正確さを維持することができる。また、この補正は、一定間隔毎に行うようにするとよい。
【００６０】
以上では、２つのＣＣＤカメラ１１、１２の各々の走査線が対応するように設置する、または対応する走査線を選択する場合で説明したが、予め２つのＣＣＤカメラ１１、１２の各々の走査線が対応するように調整し、固定したものを用いるようにしてもよい。このようにすると、２つのＣＣＤカメラ１１、１２は、距離センサと同じような感覚で扱うことができるので、２つのＣＣＤカメラ１１、１２の設置が非常に簡便になる。
【００６１】
以上のように監視システム１は、監視対象領域にどの程度の大きさの人物２が進入し、どのような人物２の状態（どの位置で、立っている、座っている、倒れている）にあるか、また、その人物２は動いているか、また退出したかといった一連の動きを簡単な装置で追従することができる。この場合、基準距離からの差異を取得していくので、距離が比較的正確でなくても状態の判断に使うことはできる。また、監視システム１は、差画像を用いるので、例えば、人物２に動きが無くなった場合には、領域の特定ができなくなるが、一連の動きから総合的に人物２の状態の判定をすることができるので、静止しているまたは動きがゆっくりである人物２の存在も監視できる。これは、例えばトイレに座っている人物２や風呂にゆっくり浸かっている人物２等動きの少ない人物２を監視する場合に有効である。
【００６２】
また監視対象領域が閉空間（トイレ、風呂、エレベーター内、オフィース内）においては、壁等で囲まれているので、人物２が不在の場合の床面３や壁４までの距離を基準距離として設定しておき、その状態からの変化を追うことで、人物２の状態を判断することができる。
【００６３】
以上のような本実施の形態によれば、人物２の状態を判断して、人物２が倒れたとか、不法侵入者が存在しているといった監視を正確かつ非常に容易に行うことができる。しかも、ＣＣＤカメラよりフレーム全体を取得するのではないので、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。また抽出する走査線は、人物２のプライバシーを守れる程度であるので、トイレや風呂等での状態監視において非常に有効である。
【００６４】
【発明の効果】
以上のように本発明によれば、監視対象領域を撮像する第１の本数の走査線を有する第１の撮像素子と、前記第１の撮像素子と走査線方向に並列に設けられ、前記監視対象領域を撮像する第２の本数の走査線を有する第２の撮像素子と、前記第１の撮像素子と前記第２の撮像素子との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線を抽出する走査線抽出手段と、前記走査線抽出手段により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得する距離情報取得手段と、前記距離情報取得手段により取得された距離情報を用いて、前記対象物を監視する検出処理手段とを備え、前記距離情報取得手段は、前記２つの撮像素子の各々について、異なる時間に撮像された画像の前記抽出された走査線の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段と、前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段と、前記２つの撮像素子により撮像された各々の画像に対応する差画像から前記領域抽出手段により抽出された前記最大の領域同士の相関出力値を、前記領域抽出手段で抽出された領域内の画素値の変化に基づいて算出する相関出力算出手段とを含んで構成され、前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とするので、正確な対象領域内の監視を行えるだけでなく、高速処理が可能で、かつ簡易である監視システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視システムの概要を示す模式的斜視図である。
【図２】本発明の実施の形態で用いる監視システムの構成例を示すブロック図である。
【図３】本発明の実施の形態で用いる第１のＣＣＤカメラの走査線と第２のＣＣＤカメラの走査線とを説明する模式図である。
【図４】本発明の実施の形態で用いる複数の１次元受光素子アレイを説明する模式図である。
【図５】本発明の実施の形態での相関処理を説明する線図である。
【図６】本発明の実施の形態で、２つのＣＣＤカメラの視差から、監視対象物の距離を算出する方法を説明する模式図である。
【図７】本発明の実施の形態で、監視対象物の距離から監視対象物の位置情報を算出する方法を説明する模式的側面図である。
【図８】本発明の実施の形態である監視システムをトイレに設置する場合を説明する模式的側面図（ａ）、模式的正面図（ｂ）、走査線上の画像（ｃ）であるである。
【図９】本発明の実施の形態である監視システムの設置について説明する模式図である。
【符号の説明】
１ 監視システム
２ 人物
３ 床面
４ 壁
１１ 第１の撮像素子
１２ 第２の撮像素子
１３ 第１の撮像素子の走査線
１４ 第２の撮像素子の走査線
１５ 第１の撮像素子のから抽出された走査線
１６ 第２の撮像素子のから抽出された走査線
１７ 第１の撮像素子の１次元受光素子アレイ
１８ 第２の撮像素子の１次元受光素子アレイ
２０ 演算装置
２１ 制御部
２２ 走査線抽出部
２３ 距離演算部
２４ 差画像形成部
２５ 領域抽出部
２６ 相関出力算出部
２７ 検出処理部
２８ 相関演算部
２９ 対応走査線選択部
３１ 記憶部
３２ 基準距離保存部
３３ インターフェース
３５ 入力装置
３６ 出力装置
Claims (11)
- 監視対象領域を撮像する第１の本数の走査線を有する第１の撮像素子と；
前記第１の撮像素子と走査線方向に並列に設けられ、前記監視対象領域を撮像する第２の本数の走査線を有する第２の撮像素子と；
前記第１の撮像素子と前記第２の撮像素子との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線を抽出する走査線抽出手段と；
前記走査線抽出手段により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得する距離情報取得手段と；
前記距離情報取得手段により取得された距離情報を用いて、前記対象物を監視する検出処理手段とを備え；
前記距離情報取得手段は；
前記２つの撮像素子の各々について、異なる時間に撮像された画像の前記抽出された走査線の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段と；
前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段と；
前記２つの撮像素子により撮像された各々の画像に対応する差画像から前記領域抽出手段により抽出された前記最大の領域同士の相関出力値を、前記領域抽出手段で抽出された領域内の画素値の変化に基づいて算出する相関出力算出手段とを含んで構成され；
前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とする；
監視システム。 - 監視対象領域を撮像する第１の本数の走査線を有する第１の撮像素子と；
前記第１の撮像素子と走査線方向に並列に設けられ、前記監視対象領域を撮像する第２の本数の走査線を有する第２の撮像素子と；
前記第１の撮像素子と前記第２の撮像素子との２つの撮像素子から、前記第１の本数と前記第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線を抽出する走査線抽出手段と；
前記走査線抽出手段により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得する距離情報取得手段と；
前記距離情報取得手段により取得された距離情報を用いて、前記対象物を監視する検出処理手段とを備え；
前記距離情報取得手段は；
前記２つの撮像素子の各々について、異なる時間に撮像された画像の前記抽出された走査線の各々の上に形成される画像の画像情報から差画像を形成する差画像形成手段と；
前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段とを含んで構成され；
前記２つの撮像素子により撮像された各々の画像に対応する差画像から前記領域抽出手段により抽出された前記最大の領域の中で、それぞれ前記閾値より大なる画素の対応を求め、対応する画素の位置ずれに基づき前記対象物までの距離情報を取得することを特徴とする；
監視システム。 - 前記互いに対応する走査線上に形成された画像は、同期して抽出されることを特徴とする請求項１又は請求項２に記載の監視システム。
- 前記走査線抽出手段は、少なくとも２本の走査線を抽出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の監視システム。
- さらに、前記第１の撮像素子における前記対象物を走査する走査線と、前記第２の撮像素子における前記対象物を走査する走査線に対して、相関値を演算する手段を備え；
前記演算された相関値が最大化されるように、前記第１の撮像素子と前記第２の撮像素子の位置関係を定めることを特徴とする請求項１乃至請求項４のいずれか１項に記載の監視システム。 - さらに、前記第１の撮像素子における前記対象物を走査する走査線と、前記第２の撮像素子における前記対象物を走査する走査線に対して、相関値を演算する手段と；
前記演算された相関値が最大化されるように、前記第１の撮像素子の走査線と前記第２の撮像素子の走査線との位置対応関係を定める対応走査線選択手段とを備える請求項１乃至請求項４のいずれか１項に記載の監視システム。 - 前記撮像素子はＣＣＤカメラ、若しくはＣＭＯＳセンサであることを特徴とする請求項１項乃至請求項６のいずれか１項に記載の監視システム。
- 監視対象領域を撮像する２つの撮像素子であって、前記２つの撮像素子間で互いに対応させた複数の１次元受光素子アレイから構成される撮像素子と；
前記１次元受光素子アレイ上に形成された画像に基づいて、前記対象物までの距離情報を取得する距離情報所得手段と；
前記距離情報取得手段により取得された距離情報を用いて、前記対象物を監視する検出処理手段とを備え；
前記距離情報取得手段は；
前記２つの撮像素子の各々について、異なる時間に撮像された画像の各々の前記１次元受光素子アレイ上に形成された画像の画像情報から差画像を形成する差画像形成手段と；
前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段と；
前記２つの撮像素子により撮像された各々の画像に対応する差画像から前記領域抽出手段により抽出された前記最大の領域同士の相関出力値を、前記領域抽出手段で抽出された領域内の画素値の変化に基づいて算出する相関出力算出手段とを含んで構成され；
前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とする；
監視システム。 - 第１の本数の走査線を有する第１の撮像素子と、第２の本数の走査線を有する第２の撮像素子との２つの撮像素子により監視対象領域を撮像する撮像工程と；
前記２つの撮像素子から、第１の本数と第２の本数のいずれよりも少ない第３の本数の互いに対応する走査線を抽出する走査線抽出工程と；
前記走査線抽出工程により抽出された前記走査線上に形成された画像に基づいて、前記対象物までの距離情報を取得する距離情報取得工程と；
前記距離情報取得工程により取得された距離情報を用いて、前記対象物を監視する検出処理工程とを備え；
前記距離情報取得工程は；
前記２つの撮像素子の各々について、異なる時間に撮像された画像の前記抽出された走査線の各々の上に形成される画像の画像情報から差画像を形成する差画像形成工程と；
前記差画像を構成する各画素値の絶対値が、所定の閾値よりも大なる画素で区切られた領域の中で、最大の領域を抽出する領域抽出工程と；
前記２つの撮像素子により撮像された各々の画像に対応する差画像から前記領域抽出工程により抽出された前記最大の領域同士の相関出力値を、前記領域抽出工程で抽出された領域内の画素値の変化に基づいて算出する相関出力算出工程とを含んで構成され；
前記相関出力値に基づき前記対象物までの距離情報を取得することを特徴とする；
監視方法。 - 前記２つの撮像素子のうち、第１の撮像素子における前記対象物を走査する走査線と、前記走査線に対応する第２の撮像素子における前記対象物を走査する走査線とが同一平面上に存在するように、前記第１の撮像素子と第２の撮像素子の位置関係を定める；
請求項９に記載の監視方法。 - 前記２つの撮像素子のうち、第１の撮像素子における前記対象物を走査する走査線と、第２の撮像素子における前記対象物を走査する走査線に対して、相関値を演算する工程を備え；
前記演算された相関値が最大化されるように、前記第１の撮像素子と第２の撮像素子の位置関係を定める；
請求項９又は請求項１０に記載の監視方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001237605A JP3862977B2 (ja) | 2001-08-06 | 2001-08-06 | ステレオ画像を用いた監視システム |
| PCT/JP2002/007980 WO2003015411A1 (fr) | 2001-08-06 | 2002-08-05 | Systeme de surveillance a image stereoscopique et procede associe |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001237605A JP3862977B2 (ja) | 2001-08-06 | 2001-08-06 | ステレオ画像を用いた監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003052034A JP2003052034A (ja) | 2003-02-21 |
| JP3862977B2 true JP3862977B2 (ja) | 2006-12-27 |
Family
ID=19068662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001237605A Expired - Fee Related JP3862977B2 (ja) | 2001-08-06 | 2001-08-06 | ステレオ画像を用いた監視システム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3862977B2 (ja) |
| WO (1) | WO2003015411A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4877503B2 (ja) * | 2006-10-27 | 2012-02-15 | サクサ株式会社 | 警備装置 |
| KR20120104711A (ko) * | 2011-03-14 | 2012-09-24 | 주식회사 아이티엑스시큐리티 | 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07225126A (ja) * | 1994-02-14 | 1995-08-22 | Mitsubishi Motors Corp | 車両用路上物体認識装置 |
| JPH08178637A (ja) * | 1994-12-27 | 1996-07-12 | Mitsubishi Electric Corp | 画像処理装置及び画像処理方法 |
| JP3497929B2 (ja) * | 1995-09-29 | 2004-02-16 | 富士重工業株式会社 | 侵入物監視装置 |
| JP3050283B2 (ja) * | 1996-03-29 | 2000-06-12 | 日本電気株式会社 | 動物体認識装置 |
| JPH10122819A (ja) * | 1996-10-21 | 1998-05-15 | Omron Corp | キャリブレーション方法およびその装置 |
-
2001
- 2001-08-06 JP JP2001237605A patent/JP3862977B2/ja not_active Expired - Fee Related
-
2002
- 2002-08-05 WO PCT/JP2002/007980 patent/WO2003015411A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003015411A1 (fr) | 2003-02-20 |
| JP2003052034A (ja) | 2003-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106488115B (zh) | 用于追踪并传感追踪目标的图像传感设备的控制装置及方法 | |
| EP0919184A1 (en) | Region-of-interest setting apparatus for respiration monitoring and a respiration monotoring system | |
| JP2008298685A (ja) | 計測装置及びプログラム | |
| JP5300694B2 (ja) | 検出装置 | |
| JP2007235485A (ja) | 映像監視装置及び方法 | |
| JP3643157B2 (ja) | ステレオ画像による物体の高さ測定方法 | |
| JPH09282459A (ja) | 物体検出装置 | |
| JP6602286B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN110692085B (zh) | 用于摄像机设备的控制装置、摄像机组件和用于立体地拍摄监测区域的方法 | |
| JP3862977B2 (ja) | ステレオ画像を用いた監視システム | |
| JP2001167276A (ja) | 撮影装置 | |
| JP4238042B2 (ja) | 監視装置および監視方法 | |
| JP4628910B2 (ja) | 長さ測定装置および身長測定装置 | |
| JP3491029B2 (ja) | 自動監視装置 | |
| JP2008217330A (ja) | 速度推定方法および速度推定プログラム | |
| JP6452738B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2020088840A (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
| JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
| JP3996864B2 (ja) | ステレオ画像を用いた監視装置 | |
| JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| EP4248442A1 (en) | Device and method for controlling a camera | |
| JP7269130B2 (ja) | 画像処理装置 | |
| WO2020111053A1 (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
| JP2004069497A (ja) | 監視装置および監視方法 | |
| JP4765726B2 (ja) | 画像処理装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051013 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060927 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3862977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091006 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131006 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |