JP4400527B2 - 共入り検出装置 - Google Patents

Description

本発明は、検出エリアにおける１又はそれ以上の物理対象を個々に検出するための個体検出器を装備する共入り検出装置に関するものである。

最先端の入／退管理システムは、バイオメトリック情報を利用することで正確な識別を可能にするが、そのようなハイテクによるセキュリティでさえもすり抜ける簡単な方法が存在する。即ち、認証によって正当と認められた個体（例えば、従業員又は住人等）が、解錠されたドアを通って入るときに、侵入が、いわるゆる“共入り”によってそのドアが開いている間、許される。

特許文献１記載の従来技術システムは、人の三次元シルエットの数を計数することによって共入りを検出する。そのシルエットは、２又はそれ以上の視点に対応する視体積の共通領域(visual hull) の内側に物理対象が存在するという原理に基づく視体積交差法によって、コンピュータ上で仮想的に具現化される。即ち、その方法は、２又はそれ以上のカメラを使用し、そして各カメラの出力から得られる二次元のシルエットを実空間に仮想的に投影して、物理対象全周の形状に対応する三次元シルエットを構成する。

しかしながら、上記システムでは、視体積交差法のために２又はそれ以上のカメラを使用する必要がある。また、システムは、２つのカメラの一方によって人の顔をとるが、視体積交差法は検出エリア（１又はそれ以上の物理対象）を各カメラの視界領域に収めることを要するので、システムは、顔又はその正面が視界領域内にある間、三次元シルエットを構成することができない。このため、検出エリアにおける１又はそれ以上の物理対象の移動の軌跡を追跡することが困難となる。この問題は、カメラを加えることによって解決可能であるが、システムの設置面積及びコストの増大につながる。特に、カメラの数は、ドアの数が増大するにつれて、勢い増大する。

さらに、視体積交差法は、重なり合う物理対象を分離するための技術ではないので、重なり合う物理対象で三次元シルエットが構成されるときに別の課題を持つ。従来技術システムは、一つの物理対象に対応する基準サイズによって、２又はそれ以上の物理対象が重なっている状態を検出することができるが、人及び荷物が重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができない。前者は、警報を発する必要がないが、後者は警報を発する必要がある。また、従来技術システムは、予め記録された背景画像と現在の画像との差分を取ることによりノイズを除去するが、壁又は植物等の静的な物理対象（以下「静的ノイズ」という）を除去することができても、荷物及び台車等の動的な物理対象（以下「動的ノイズ」という）を除去することができない。
特開２００４−１２４４９７号公報

そこで、本発明の目的は、人及び動的ノイズが重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することにある。

上記課題を解決するために、請求項１の発明は、検出エリアに面して配置され、距離画像を生成するものであって、その距離画像の各画像要素は、１又はそれ以上の物理対象が前記エリアにあるとき、その１又はそれ以上の物理対象までの各距離値をそれぞれ含む、距離画像センサと、前記センサによって生成された距離画像に基づいて、前記エリアにおける１又はそれ以上の物理対象を個々に検出する対象検出段とを備え、前記距離画像センサは、下方の前記検出エリアに対して下向きに面して配置され、前記対象検出段は、前記エリアにおける検出されるべき１又はそれ以上の物理対象を、前記距離画像から得られる、その検出されるべき１又はそれ以上の物理対象の特定又は各高度における部分のデータに基づいて、個々に検出する個体検出器と、共入り検出段とを備え、前記距離画像センサは、前記距離画像を連続的に生成し、前記共入り検出段は、共入り警戒時に、前記対象検出段によって検出された１又はそれ以上の人の移動軌跡を個々に追跡し、２又はそれ以上の人が所定の方向に前記検出エリアに又はから移動したときに共入りの発生を検出して、警報信号を出力することを特徴とする。

この構成では、検出エリアにおける１又はそれ以上の物理対象が、距離画像センサによって生成された距離画像に基づいて、個々に検出されるので、そのエリアにおける１又はそれ以上の物理対象を、その１又はそれ以上の物理対象を検出するための構成要素（センサ）の数を増やすことなく、個々に検出することができる。例えば、動的ノイズが現れないような高度における物理対象の部分を検出したり、検出されるべき各物理対象の所定部分を検出したりすることができる。この結果、人及び動的ノイズが重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。また、２又はそれ以上の人が所定方向に検出エリアに又はから移動したときに警報信号が出力されるので、共入りを抑制することができる。また、複数の人を検出しても、２又はそれ以上の人が所定の方向に検出エリアに又はから移動しないときには警報信号が出力されないので、誤報を防止することができる。

上記課題を解決するために、請求項２の発明は、検出エリアに面して配置され、距離画像を生成するものであって、その距離画像の各画像要素は、１又はそれ以上の物理対象が前記エリアにあるとき、その１又はそれ以上の物理対象までの各距離値をそれぞれ含む、距離画像センサと、前記センサによって生成された距離画像に基づいて、前記エリアにおける１又はそれ以上の物理対象を個々に検出する対象検出段とを備え、前記距離画像センサは、下方の前記検出エリアに対して下向きに面して配置され、前記対象検出段は、前記エリアにおける検出されるべき１又はそれ以上の物理対象を、前記距離画像から得られる、その検出されるべき１又はそれ以上の物理対象の特定又は各高度における部分のデータに基づいて、個々に検出する個体検出器と、共入り検出段とを備え、
前記距離画像センサは、前記距離画像を連続的に生成し、
前記共入り検出段は、前記対象検出段によって検出された１又はそれ以上の人の入及び出とその入及び出の各方向とを監視し、共入り警戒用に設定された規定時間内に、２又はそれ以上の人が所定方向に前記検出エリアに又はから移動したときに共入りの発生を検出して、警報信号を出力することを特徴とする。この構成では、検出エリアにおける１又はそれ以上の物理対象が、距離画像センサによって生成された距離画像に基づいて、個々に検出されるので、そのエリアにおける１又はそれ以上の物理対象を、その１又はそれ以上の物理対象を検出するための構成要素（センサ）の数を増やすことなく、個々に検出することができる。例えば、動的ノイズが現れないような高度における物理対象の部分を検出したり、検出されるべき各物理対象の所定部分を検出したりすることができる。この結果、人及び動的ノイズが重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。また、２又はそれ以上の人が所定方向に検出エリアに又はから移動したときに警報信号が出力されるので、共入りを抑制することができる。また、複数の人を検出しても、２又はそれ以上の人が所定方向に検出エリアに又はから移動しないときには警報信号が出力されないので、誤報を防止することができる。

請求項３の発明は、請求項１又は２の発明において、対象検出段は、前記センサから予め得られた距離画像である背景距離画像と前記センサから得られた現在の距離画像との差分に基づいて、前景距離画像を生成し、その前景距離画像に基づいて、前記エリアにおける検出されるべき１又はそれ以上の物理対象としての１又はそれ以上の人を個々に検出することを特徴とする。この発明によれば、前景距離画像が静的ノイズを含まないので、静的ノイズを除去することができる。

請求項４の発明は、請求項３の発明において、対象検出段は、前記現在の距離画像の各画像要素から特定の画像要素を抽出することによって、前記前景距離画像を生成し、その特定の画像要素は、前記現在の距離画像の画像要素を背景距離画像の対応する画像要素から引いて得られる距離差分が、所定の距離しきい値よりも大きいときに、抽出されることを特徴とする。この構成では、背景距離画像に該当する位置から所定の距離しきい値に該当する距離前方の位置よりも後方にある１又はそれ以上の物理対象を除去することができるので、動的ノイズ（例えば、荷物及び台車等）が、所定の距離しきい値が適切な値に設定されるときに、除去される。その結果、人及び動的ノイズが重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。

請求項５の発明は、請求項４の発明において、距離画像センサは、光学系と、その光学系を介して前記検出エリアに面して配置される２次元感光アレイとで構成されるカメラ構造を持ち、対象検出段は、予め記録された前記距離画像センサに対するカメラ・キャリブレーション・データに基づいて、前記カメラ構造に依存する前景距離画像のカメラ座標系を直交座標系に変換して、物理対象の存在／不存在の各位置を示す直交座標変換画像を生成することを特徴とする。

請求項６の発明は、請求項５の発明において、対象検出段は、直交座標変換画像の直交座標系を、実空間上に仮想的に設定されるワールド座標系に変換して、物理対象の存在／不存在の各位置を実位置及び実寸で示すワールド座標変換画像を生成することを特徴とする。この構成では、直交座標変換画像の直交座標系が、例えば、センサの位置及び俯角等のデータに基づいて、回転及び平行移動等によってワールド座標系に変換される結果、ワールド座標変換画像における１又はそれ以上の物理対象のデータを実位置及び実寸（距離、大きさ）で取り扱うことができる。

請求項７の発明は、請求項６の発明において、対象検出段は、ワールド座標変換画像を平行投影で所定平面上に投影して、ワールド座標変換画像における前記平面から見た各画像要素から構成される平行投影画像を生成することを特徴とする。この構成では、平行投影画像を生成することによって、ワールド座標変換画像のデータ量を削減することができる。また例えば、平面が天井側の水平面であるとき、平行投影画像から、検出されるべき１又はそれ以上の人のデータを個々に抽出することができる。平面が垂直面であるとき、平行投影画像から人の側面の２次元シルエットを得ることができ、そのシルエットに対応するパターンを使用すれば、平行投影画像に基づいて人を検出することができる。

請求項８の発明は、請求項５から７のいずれかの発明において、対象検出段は、前記画像から１又はそれ以上の物理対象の部分に該当するサンプリング・データを抽出し、そして、そのデータが、人の部位に基づいて予め記録された基準データに該当するか否かを識別して、それぞれそのサンプリング・データに対応する物理対象が人であるか否かを判別することを特徴とする。この構成では、基準データは、静的ノイズ及び動的ノイズ（例えば、荷物及び台車等）が除去された画像においてほぼ人特徴のデータの役割を果たすので、検出エリアにおける１又はそれ以上の人を個々に検出することができる。

請求項９の発明は、請求項８の発明において、サンプリング・データは、前記変換画像に仮想的に表される１又はそれ以上の物理対象の部分の体積、又は幅と奥行きと高さとの比であり、基準データは、１又はそれ以上の人の部位に基づいて予め記録され、その部位の体積、又は幅と奥行きと高さとの比についての値又は値の範囲であることを特徴とする。この発明によれば、検出エリアにおける人の数を検出することができる。

請求項１０の発明は、請求項８の発明において、サンプリング・データは、平行投影画像に仮想的に表される１又はそれ以上の物理対象の部分の面積、又は幅と奥行きとの比であり、基準データは、１又はそれ以上の人の部位に基づいて予め記録され、その部位の面積、又は幅と奥行きとの比についての値又は値の範囲であることを特徴とする。この発明によれば、検出エリアにおける人の数を検出することができる。

請求項１１の発明は、請求項８の発明において、サンプリング・データは、前記画像に仮想的に表される１又はそれ以上の物理対象の部分のパターンであり、基準データは、１又はそれ以上の人の部位に基づいて予め記録された少なくとも一つのパターンであることを特徴とする。この構成では、例えば、人の肩からその頭部までの部分に対応するパターンを、基準データに選定することによって、検出エリアにおける人の数を検出することができ、また人の動く手の影響も排除することができる。しかも、人の頭部のパターンを、基準データに選定することによって、各人の体格に関係なく、１又はそれ以上の人を個々に検出することができる。

請求項１２の発明は、請求項５又は６の発明において、距離画像センサは、強度変調光を検出エリアに発する光源を更に含み、画像要素毎の受光強度に基づいて、距離画像に加えて強度画像を生成し、対象検出段は、前記変換画像に基づいて、１又はそれ以上の物理対象の部分に該当するサンプリング・データを抽出し、そして強度画像に基づいて、サンプリング・データに該当する物理対象の部分に所定強度よりも低い箇所があるか否かを判別することを特徴とする。この構成では、所定強度よりも低い物理対象の部分を検出することができる。

請求項１３の発明は、請求項５又は６の発明において、距離画像センサは、強度変調赤外光を検出エリアに発する光源を更に含み、前記エリアからの前記赤外光に基づいて、距離画像に加えて赤外光の強度画像を生成し、対象検出段は、前記変換画像に基づいて、１又はそれ以上の物理対象の部分に該当するサンプリング・データを抽出し、そして強度画像に基づいて、サンプリング・データに該当する物理対象の部分からの前記赤外光の平均強度が所定強度よりも低いか否かを識別して、それぞれそのサンプリング・データに対応する物理対象の部分が人の頭部であるか否かを判別することを特徴とする。この構成では、赤外光に対する人の頭髪の反射率は、通常、人の肩側のそれよりも低いので、人の頭部を検出することができる。

請求項１４の発明は、請求項８から１３のいずれかの発明において、対象検出段は、人として判別された物理対象の数を基に、平行投影画像における人として判別された物理対象の部分の位置をクラスタの構成要素に割り当て、クラスタリングのＫ−平均アルゴリズムによって得られる分割領域に基づいて、前記物理対象の数を検証することを特徴とする。この構成では、人として判別された物理対象の数を検証することができる上、その人の位置を推定することができる。

請求項１５の発明は、請求項１又は２の発明において、対象検出段は、距離画像の各画像要素から特定の画像要素を抽出することによって、前景距離画像を生成し、その前景距離画像に基づいて、前記エリアにおける検出されるべき１又はそれ以上の物理対象としての１又はそれ以上の人を個々に検出し、特定の画像要素は、距離画像の画像要素の距離値が所定の距離しきい値よりも小さいときに、抽出されることを特徴とする。この構成では、距離画像センサの位置とそのセンサから（所定の距離しきい値に対応する距離）離れた前方の位置との間の物理対象を検出することができるので、所定の距離しきい値が適切な値に設定されるとき、人及び動的ノイズ（例えば、荷物及び台車等）が重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。

請求項１６の発明は、請求項１又は２の発明において、対象検出段は、距離画像の距離値分布の極小値を持つ画像要素付近の距離画像が、人の部位に基づいて予め記録された特定形状及びその特定形状の大きさに該当するか否かを識別して、それぞれ前記極小値を持つ画像要素付近の距離画像に対応する物理対象が人であるか否かを判別することを特徴とする。この構成では、人及び動的ノイズ（例えば、荷物及び台車等）が重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。

請求項１７の発明は、請求項１又は２の発明において、対象検出段は、距離画像の各距離値から分布画像を生成し、その分布画像に基づいて、検出エリアにおける１又はそれ以上の物理対象を個々に検出し、分布画像は、１又はそれ以上の物理対象が検出エリアにあるとき、１又はそれ以上の分布領域を含み、分布領域は、距離画像における所定の距離しきい値よりも小さい距離値を持つ各画像要素から形成され、所定の距離しきい値は、距離画像の各距離値の極小値に所定の距離値を加算して得られることを特徴とする。この構成では、検出エリアにおける検出されるべき１又はそれ以上の人の頭部を検出することができるので、人及び動的ノイズ（例えば、荷物及び台車等）が重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。

本発明によれば、人及び動的ノイズが重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。

図１は、本発明による第１参考例の共入り検出装置を装備する管理システムを示す。

管理システムは、図１及び２に示されるように、少なくとも１つの共入り検出装置１、セキュリティ装置２及び少なくとも１つの入力装置３を、管理されるべき部屋のドア２０毎に備え、また各共入り検出装置１、各セキュリティ装置２及び各入力装置３と通信する制御装置４を備える。なお、入管理システムに限らず、本発明の管理システムは、入／退管理システムでもよい。

セキュリティ装置２は、オート・ロック機能を有し、制御装置４からの解錠制御信号に従って、ドア２０を解錠する電子錠である。電子錠は、ドア２０を施錠した後、閉通知信号を制御装置４に送信する。

一代替例において、セキュリティ装置２は、自動ドア・システムにおける開閉制御装置である。開閉制御装置は、制御装置４からの開又は閉制御信号に従って、それぞれドア２０を開き又は閉じ、ドア２０を閉じた後、閉通知信号を制御装置４に送信する。

入力装置３は、ドア２０外側の隣の壁に設置され、ＩＤカードのＩＤ情報を読み取って制御装置４に送信するカード・リーダである。管理システムが入／退管理システムである場合には、別の入力装置３、例えばカード・リーダがドア２０内側の管理されるべき部屋の壁にも設置される。

制御装置４は、ＣＰＵ及び予め登録された各ＩＤ情報及びプログラム等を記憶する記憶装置等により構成され、システム全般の制御を実行する。

例えば、装置４は、入力装置３からのＩＤ情報が、記憶装置に予め記録されたＩＤ情報と一致したとき、対応するセキュリティ装置２に解錠制御信号を送信し、また対応する共入り検出装置１に入許可信号を送信する。また、装置４は、セキュリティ装置２から閉通知信号を受信したとき、対応する共入り検出装置１に入禁止信号を送信する。

セキュリティ装置２が開閉制御装置である代替例では、装置４は、入力装置３からのＩＤ情報が、記憶装置に記録されたＩＤ情報と一致したとき、対応する開閉制御装置に開制御信号を送信し、一定時間後、対応する開閉制御装置に閉制御信号を送信する。また、装置４は、開閉制御装置から閉通知信号を受信したとき、対応する共入り検出装置１に入禁止信号を送信する。

また、装置４は、共入り検出装置１から警報信号を受信したとき、例えば、管理者への通知及びカメラ（図示せず）の作動時間の延長等の所定の処理を実行し、警報信号を受信した後、所定の解除操作が行われるか、所定時間が経過すれば、対応する共入り検出装置１に解除信号を送信する。

共入り検出装置１は、距離画像センサ１０及び対象検出段１６により構成される個体検出器、共入り検出段１７及び警報段１８を備える。対象検出段１６及び共入り検出段１７は、ＣＰＵ及びプログラム等を記憶する記憶装置等により構成される。

距離画像センサ１０は、下方の検出エリアＡ１に対して下向きに面して配置され、距離画像を連続的に生成する。１又はそれ以上の物理対象がエリアＡ１にあるとき、距離画像の各画像要素は、図３に示されるように、その１又はそれ以上の物理対象までの各距離値をそれぞれ含む。例えば、図４（ａ）に示すように、人Ｂ１及び台車Ｃ１が検出エリアにあるときには、図４（ｂ）に示すような距離画像Ｄ１が得られる。

第１参考例では、センサ１０は、強度変調赤外光をエリアＡ１に発する光源（図示せず）を含み、レンズ及び赤外線透過フィルタ等の光学系と、光学系を介してエリアＡ１に面して配置される２次元感光アレイとにより構成されるカメラ構造（図示せず）を持つ。またカメラ構造を持つセンサ１０は、エリアＡ１からの赤外光に基づいて、距離画像に加えて赤外光の強度画像を生成する。

対象検出段１６は、エリアＡ１における検出されるべき１又はそれ以上の物理対象としての１又はそれ以上の人を、センサ１０によって生成された距離画像から得られる、その検出されるべき１又はそれ以上の人の特定又は各高度における部分（部位）に基づいて、個々に検出する。このため、対象検出段１６は、以下の各処理を実行する。

第１の処理では、対象検出段１６は、図４（ｃ）に示されるように、センサ１０から予め得られた距離画像である背景距離画像Ｄ０とセンサ１０から得られた現在の距離画像Ｄ１との差分に基づいて、前景距離画像Ｄ２を生成する。背景距離画像Ｄ０は、ドア２０を閉じた状態で取られる。また、背景距離画像は、距離値のばらつきを抑えるため、時間及び空間方向の平均距離値を含んでもよい。

第１の処理を更に詳述すると、前景距離画像は、現在の距離画像の各画像要素から特定の画像要素を抽出することによって、生成される。その特定の画像要素は、現在の距離画像の画像要素を背景距離画像の対応する画像要素から引いて得られる距離差分が、所定の距離しきい値よりも大きいときに、抽出される。このとき、前景距離画像は静的ノイズを含まないので、静的ノイズが除去される。また、背景距離画像に該当する位置から所定の距離しきい値に該当する距離前方の位置よりも後方にある１又はそれ以上の物理対象を除去することができるので、所定の距離しきい値が適切な値に設定されるとき、図４（ｃ）に示されるように、動的ノイズとしての台車Ｃ１が除去される。また、ドア２０が開いていたとしても、そのドア２０の後方の物理対象も除去される。従って、人及び動的ノイズ（台車Ｃ１及びドア２０後方の物理対象等）が重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。

第２の処理では、対象検出段１６は、図５に示されるように、予め記録されたセンサ１０に対するカメラ・キャリブレーション・データ（例えば、画素ピッチ及びレンズ歪等）に基づいて、カメラ構造に依存する前景距離画像Ｄ２のカメラ座標系を３次元直交座標系（ｘ，ｙ，ｚ）に変換して、物理対象の存在／不存在の各位置を示す直交座標変換画像Ｅ１を生成する。即ち、直交座標変換画像Ｅ１の各画像要素（ｘｉ，ｘｊ，ｘｋ）は、“ＴＲＵＥ”又は“ＦＡＬＳＥ”で表される。“ＴＲＵＥ”は、物理対象の存在を示し、“ＦＡＬＳＥ”はその不存在を示す。

第２の処理の代替例では、前景距離画像の画像要素が“ＴＲＵＥ”に該当するとき、その画像要素値が可変高度のしきい値よりも小さければ、その画像要素に対応する直交座標変換画像の画像要素に“ＦＡＬＳＥ”を格納する。これにより、その可変高度のしきい値の高度よりも低い動的ノイズを適応的に除去することができる。

第３の処理では、対象検出段１６は、予め記録されたカメラ・キャリブレーション・データ（例えば、センサ１０の位置、俯角及び画素ピッチの実距離等）に基づいて、回転及び平行移動等によって、直交座標変換画像の直交座標系を、実空間上に仮想的に設定される３次元ワールド座標系に変換して、物理対象の存在／不存在の各位置を実位置及び実寸で示すワールド座標変換画像を生成する。この場合、ワールド座標変換画像における１又はそれ以上の物理対象のデータを実位置及び実寸（距離、大きさ）で取り扱うことができる。

第４の処理では、対象検出段１６は、ワールド座標変換画像を、平行投影で水平面又は垂直面等の所定平面上に投影して、ワールド座標変換画像における所定平面から見た各画像要素から構成される平行投影画像を生成する。第１参考例では、図５に示されるように、平行投影画像Ｆ１は、天井面側の水平面から見た各画像要素から構成され、検出されるべき物理対象を示す各画像要素は、最高高度の位置にある。

第５の処理では、対象検出段１６は、図６に示されるように、平行投影画像Ｆ１から対象抽出エリアＡ２内の１又はそれ以上の物理対象の部分(Blob)に該当するサンプリング・データを抽出してラベリング処理を行い、サンプリング・データ（物理対象の部分）の位置（例えば重心位置）を特定する。サンプリング・データがエリアＡ２の境界に重なる場合、そのデータはエリアＡ２内外の各面積のうち大きい面積のエリアに属するように処理してもよい。図６の例では、エリアＡ２外の人Ｂ２に該当するサンプリング・データは除外される。この場合、対象抽出エリアＡ２内の物理対象の部分だけを抽出することができるので、例えばガラス戸等への映り込みによる動的ノイズを除去することができ、また管理されるべき部屋に合った個体検出が可能である。

次いで、第６の処理及び第７の処理が並列で実行される。第６，第７の処理では、対象検出段１６は、第５の処理で抽出されたサンプリング・データが、１又はそれ以上の人の部位に基づいて予め記録された基準データに該当するか否かを識別して、それぞれそのサンプリング・データに対応する物理対象が人であるか否かを判別する。

第６の処理では、図７（ａ）及び（ｂ）に示されるように、サンプリング・データは、平行投影画像に仮想的に表される１又はそれ以上の物理対象の部分の面積Ｓ、又は幅及び奥行きの比である。比は、物理対象の部分を含む外接四角形の幅Ｗ及び奥行きＤの比（Ｗ：Ｄ）である。基準データは、１又はそれ以上の人の部位に基づいて予め記録され、その部位の面積、又は幅及び奥行きの比についての値又は値の範囲である。これにより、検出エリアＡ１における対象抽出エリアＡ２内の人の数を検出することができる。

第７の処理では、図８（ａ）に示されるように、サンプリング・データは、平行投影画像に仮想的に表される１又はそれ以上の物理対象の部分の２次元パターンである。基準データは、図８（ｂ）及び（ｃ）に示されるように、１又はそれ以上の人の部位に基づいて予め記録された少なくとも一つの２次元パターンである。第１参考例では、図８（ｂ）及び（ｃ）に示されるようなパターンが使用され、パターン・マッチングにより得られる相関値が所定値より大きければ、そのパターンに対応する人数が加算される。これにより、例えば、人の肩とその頭部との間の各パターンを、基準データに選定することによって、検出エリアにおける人の数を検出することができ、また人の動く手の影響も排除することができる。しかも、人の頭部の２次元輪郭パターンを、基準データに選定することによって、各人の体格に関係なく、１又はそれ以上の人を個々に検出することができる。

第１参考例では、第６の処理で計数された人数及び第７の処理で計数された人数が同一であるとき、次の処理が第１の処理に戻される一方、それらの双方が異なるとき、第８から第１１の処理が更に実行される。

第８の処理では、対象検出段１６は、３次元の直交座標変換画像又は３次元のワールド座標変換画像の各画像要素から所定平面上の各画像要素を抽出することによって、断面画像を生成する。図９に示されるように、第１の処理における距離しきい値の高度から上方に各高度（例えば、１０ｃｍ）毎に水平面の各画像要素を抽出することによって、水平断面画像Ｇ１−Ｇ５が生成される。そして、対象検出段１６は、水平断面画像を生成する毎に、水平断面画像から１又はそれ以上の物理対象の部分に該当するサンプリング・データを抽出して記録する。

第９処理では、対象検出段１６は、第８の処理で抽出されたサンプリング・データが、１又はそれ以上の人の部位に基づいて予め記録された基準データに該当するか否かを識別して、それぞれサンプリング・データに対応する物理対象が人であるか否かを判別する。サンプリング・データは、水平断面画像に仮想的に表される１又はそれ以上の物理対象の部分の断面積である。基準データは、１又はそれ以上の人の頭部の断面積についての値又は値の範囲である。対象検出段１６は、水平断面画像が生成される毎に、サンプリング・データが基準データよりも小さくなったか否かを識別し、サンプリング・データが基準データよりも小さくなったときに（Ｇ４，Ｇ５）、その極大高度のサンプリング・データを人の頭部に該当するデータとして計数する。

第１０の処理では、対象検出段１６は、水平断面画像の高度が所定高度に達した後、水平断面画像が生成される毎に、センサ１０によって生成された強度画像に基づいて、サンプリング・データに該当する物理対象の部分からの赤外光の平均強度が所定強度よりも低いか否かを識別して、それぞれそのサンプリング・データに対応する物理対象の部分が人の頭部であるか否かを判別する。サンプリング・データに対応する物理対象の部分が人の頭部であるとき、そのサンプリング・データが人の頭部に該当するデータとして計数される。赤外光に対する人の頭髪の反射率は、通常、人の肩側のそれよりも低いので、所定強度が適切な値に設定されるとき、人の頭部を検出することができる。

第１１の処理では、対象検出段１６は、図１０（ａ）に示されるように、第９の処理で判別された極大高度となる人Ｂ３の頭部の位置Ｂ３１及び第１０の処理で判別された人Ｂ３の頭部の位置Ｂ３２が、互いに同一であれば、人Ｂ３は直立し、頭髪を有していると判定する。そうでなければ、対象検出段１６は、図１０（ａ）及び（ｂ）に示されるように、第９の処理のみで極大高度となる人Ｂ４の頭部の位置Ｂ４１が判別されれば、人Ｂ４は直立し、頭髪を有していないか着帽していると判定し、図１０（ｂ）に示されるように、第１０の処理のみで人Ｂ５の頭部の位置Ｂ５２が判別されれば、人Ｂ５は頭部を傾け、頭髪を有していると判定する。そして対象検出段１６は人数を集計する。

図１の共入り検出段１７は、制御装置４から入許可信号を受信した後、対象検出段１６により検出された人数に基づいて、共入りが発生したか否かを検出する。第１参考例では、共入り検出段１７は、対象検出段１６により検出された人数が２以上であれば、共入りが発生したと検出して、警報信号を、装置４から解除信号を受信するまで装置４及び警報段１８に送信する。また、共入り検出段１７は、警報信号を装置４及び警報段１８に送信していなければ、制御装置４から入禁止信号を受信した後、待機モードに移行する。警報段１８は、共入り検出段１７から警報信号を受信している間、警報を出す。

次に、第１参考例の動作を説明する。待機モードにおいて、入力装置３がＩＤカードのＩＤ情報を読み取ったとき、装置３はＩＤ情報を制御装置４に送信する。次いで、装置４は、ＩＤ情報が予め記録されたＩＤ情報と一致するか否かを認証し、それら双方が互いに一致したとき、対応する共入り検出装置１に入許可信号を、そして対応するセキュリティ装置２に解錠制御信号を送信する。これにより、ＩＤカードの携帯者は、ドア２０を開けて、管理されるべき部屋に入ることができる。

図１１及び１２を参照して、共入り検出装置１が制御装置４から入許可信号を受信した後の動作を説明する。共入り検出装置１において、距離画像及び赤外光の強度画像が距離画像センサ１０によって生成される（図１１のＳ１０を参照）。

次いで、対象検出段１６は、距離画像、背景距離画像及び距離しきい値に基づいて前景距離画像を生成し（Ｓ１１）、前景距離画像から直交座標変換画像を生成し（Ｓ１２）、直交座標変換画像からワールド座標変換画像を生成し（Ｓ１３）、そしてワールド座標変換画像から平行投影画像を生成する（Ｓ１４）。次いで、段１６は、平行投影画像から物理対象の部分（輪郭）のデータ（サンプリング・データ）を抽出する（Ｓ１５）。

対象検出段１６は、ステップＳ１６で、基準データ（人の基準部位の面積及び比についての値又は値の範囲）に基づいて、サンプリング・データ（輪郭の面積及び比）に対応する物理対象が人であるか否かを判別する。段１６は、いずれかの物理対象が人として判別されれば（Ｓ１６で“ＹＥＳ”）、ステップＳ１７で、対象抽出エリアＡ２内の人数（Ｎ１）を計数し、またどの物理対象も人として判別されなければ（Ｓ１６で“ＮＯ”）、ステップＳ１８で、Ｎ１としてゼロを計数する。

また、対象検出段１６は、ステップＳ１９で、基準データ（人の基準部位のパターン）に基づいて、サンプリング・データ（輪郭のパターン）に対応する物理対象が人であるか否かを判別する。段１６は、いずれかの物理対象が人として判別されれば（Ｓ１９で“ＹＥＳ”）、ステップＳ２０で、対象抽出エリアＡ２内の人数（Ｎ２）を計数し、またどの物理対象も人として判別されなければ（Ｓ１９で“ＮＯ”）、ステップＳ２１で、Ｎ２としてゼロを計数する。

次いで、共入り検出段１７は、Ｎ１及びＮ２が互いに一致するか否かを判別する（Ｓ２２）。段１７は、Ｎ１及びＮ２が互いに一致すれば（Ｓ２２で“ＹＥＳ”）、ステップＳ２３で、Ｎ１又はＮ２に基づいて、共入りが発生したか否かを検出し、またそうでなければ（Ｓ２２で“ＮＯ”）、対象検出段１６による図１２のステップＳ３０に進む。

共入りが発生しているとして検出されたとき（Ｓ２３で“ＹＥＳ”）、共入り検出段１７は、警報信号を制御装置４及び警報段１８に装置４から解除信号を受信するまで送信する（Ｓ２４，Ｓ２５）。これにより、警報段１８が警報を出す。共入り検出段１７が装置４から解除信号を受信した後、共入り検出装置１は待機モードに戻る。

共入りが発生しているとして検出されなかったとき（Ｓ２３で“ＮＯ”）、共入り検出装置１は、共入り検出段１７が制御装置４から入禁止信号を受信すれば（Ｓ２６で“ＹＥＳ”）、待機モードに戻り、またそうでなければ（Ｓ２６で“ＮＯ”）、ステップＳ１０に戻る。

図１２のステップＳ３０で、対象検出段１６は、第１の処理における距離しきい値の高度から水平断面画像を生成する。次いで、段１６は、ステップＳ３１で、水平断面画像から物理対象の部分（断面の輪郭）のデータ（サンプリング・データ）を抽出し、ステップＳ３２で、基準データ（人の頭部の断面積についての値又は値の範囲）に基づいて、サンプリング・データ（輪郭の面積）に対応する物理対象の部分が人の頭部であるか否かを判別することによって、人の頭部の位置（Ｍ１）を検出する。次いで、段１６は、全ての水平断面画像が生成されれば（Ｓ３３で“ＹＥＳ”）、ステップＳ３５に進み、またそうでなければ（Ｓ３３で“ＮＯ”）、ステップＳ３０に戻る。

また、対象検出段１６は、ステップＳ３４で、強度画像及び所定強度に基づいて、人の頭部の位置（Ｍ２）を検出し、次いでステップＳ３５に進む。

ステップＳ３５で、対象検出段１６は、Ｍ１をＭ２と比較し、双方が一致すれば（Ｓ３６で“ＹＥＳ”）、ステップＳ３７で、直立し、頭髪を有する人を検出する。そうではなく（Ｓ３６で“ＮＯ”）、Ｍ１のみが検出されれば（Ｓ３８で“ＹＥＳ”）、段１６は、ステップＳ３９で、直立し、頭髪を有さない人を検出する。そうではなく（Ｓ３８で“ＮＯ”）、Ｍ２のみが検出されれば（Ｓ４０で“ＹＥＳ”）、段１６は、ステップＳ４１で、頭部を傾け、頭髪を有する人を検出する。そうでなければ（Ｓ４０で“ＮＯ”）、段１６は、ステップＳ４２で人を検出しない。

次いで、対象検出段１６は、ステップＳ４３で、人数を集計し、図１１のステップＳ２３に戻る。

一代替参考例において、共入り検出装置１は、ドア２０の外側に設けられる。この場合、待機モードにおいて、入力装置３がＩＤカードのＩＤ情報を読み取って制御装置４に送信したとき、制御装置４は、共入り検出装置１を起動する。ドア２０の外側において共入りの状態が発生していれば、共入り検出装置１は、警報信号を制御装置４及び警報段１８に送信し、制御装置４は、共入り検出装置１からの警報信号に基づいて、ＩＤカードのＩＤ情報に関係なくドア２０のロックを維持する。これにより、共入りを防止することができる。ドア２０の外側において共入りの状態が発生していなければ、制御装置４は、セキュリティ装置２に解錠制御信号を送信する。これにより、ＩＤカードの携帯者は、ドア２０を開けて、管理されるべき部屋に入ることができる。

図１３は、本発明による第２参考例の共入り検出装置における対象検出段の動作説明図である。第２参考例の対象検出段は、第１の処理から第７の処理を第１参考例のそれらと同様に実行し、第２参考例の特徴として、第７の処理の後、第６の処理で計数された人数Ｎ１及び第７の処理で計数された人数Ｎ２が異なるとき、Ｋ−平均アルゴリズムのクラスタリング処理を実行する。

即ち、第２参考例の対象検出段は、人として判別された物理対象の数を基に、平行投影画像における人として判別された物理対象の部分の位置をクラスタの構成要素に割り当て、クラスタリングのＫ−平均アルゴリズムによって、上記人として判別された物理対象の数を検証する。

クラスタリングの分割数の初期値は、例えばＮ１，Ｎ２の大きい方が使用される。対象検出段は、Ｋ−平均アルゴリズムによって、各分割領域を得て、その分割領域の面積を計算し、その分割領域の面積と予め記録された人の面積との差が所定しきい値と等しいか小さいとき、その分割領域を人の部位として計数する。その差が所定しきい値より大きいとき、対象検出段は、分割数の初期値を増減してＫ−平均アルゴリズムを再度実行する。このＫ−平均アルゴリズムによれば、各人位置を推定することができる。

図１４は、本発明による第３参考例の共入り検出装置における対象検出段の動作説明図である。

第３参考例の対象検出段は、図１４に示されるように、第１参考例の各処理に代えて、距離画像センサ１０からの距離画像の各画像要素から特定の画像要素を抽出することによって、前景距離画像Ｄ２０を生成する。特定の画像要素は、距離画像の画像要素の距離値が所定の距離しきい値よりも小さいときに、抽出される。次いで、対象検出段は、前景距離画像Ｄ２０に基づいて、検出エリアにおける検出されるべき１又はそれ以上の物理対象としての１又はそれ以上の人を個々に検出する。図１４の例において、黒色の部分は、所定の距離しきい値よりも小さい距離値を持つ画像要素から形成され、白色の部分は、所定の距離しきい値よりも大きい距離値を持つ画像要素から形成される。

第３参考例では、距離画像センサの位置とそのセンサから（所定の距離しきい値に対応する距離）離れた前方の位置との間の物理対象を検出することができる。従って、所定の距離しきい値が適切な値に設定されるとき、人及び動的ノイズ（例えば、荷物及び台車等）が重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。図１４の例では、検出エリアにおける人Ｂ６の肩から上の部位及び人Ｂ７の頭部の部位を個々に検出することができる。

図１５は、本発明による第４参考例の共入り検出装置における対象検出段の動作説明図である。

第４参考例の対象検出段は、図１５に示されるように、第１参考例の各処理に代えて、距離画像センサ１０によって生成された距離画像の各距離値から分布画像Ｊを生成し、分布画像Ｊにおける１又はそれ以上の分布領域が、人の部位に基づいて予め記録されたデータに該当するか否かを識別して、それぞれ分布画像Ｊにおける１又はそれ以上の分布領域に対応する物理対象が人であるか否かを判別する。分布画像は、１又はそれ以上の物理対象が検出エリアにあるとき、１又はそれ以上の分布領域を含む。分布領域は、距離画像における所定の距離しきい値よりも小さい距離値を持つ各画像要素から形成される。所定の距離しきい値は、距離画像の各距離値の極小値に所定の距離値（例えば、平均的な顔の長さの半分程度の値）を加算して得られる。

図１５の例において、分布画像Ｊは２値画像であり、黒色の部分は、分布領域であり、白色の部分は、距離画像における特定距離値よりも大きい各距離値から形成される。予め記録されたデータは、分布画像Ｊが２値画像であるので、人の部位の輪郭の面積又は直径であり、パターン・マッチングを用いる場合は、人の頭部の輪郭から得られる形状（例えば円等）のパターンである。

第４参考例では、検出エリアにおける検出されるべき１又はそれ以上の人の頭部が検出されるので、人及び動的ノイズ（例えば、荷物及び台車等）が重なりあっている状態を２又はそれ以上の人が重なりあっている状態と区別することができる。図１５の例では、検出エリアにおける人Ｂ８，Ｂ９の各頭部を個々に検出することができる。

図１６は、本発明による第１実施形態の共入り検出装置における共入り検出段の動作説明図である。

第１実施形態の共入り検出段は、図１６に示されるように、共入り警戒時に、対象検出段によって検出された１又はそれ以上の人の移動軌跡を個々に追跡し、２又はそれ以上の人が所定の方向に検出エリアに又はから移動したときに共入りの発生を検出して、警報信号を制御装置４及び警報段１８に送信する。図１６において、２０は、自動ドアである。

第１実施形態では、所定の方向は、ドア２０側における検出エリアＡ１の境界線を横切って検出エリアＡ１に移動する方向に設定される。例えば図１６に示されるように、１人のＢ１1 ，Ｂ１2 ，Ｂ１3 の移動軌跡及び他の人のＢ２1 ，Ｂ２2 の移動軌跡は、共にその所定の方向に該当するので、警報信号が出力される。この際、各人の移動軌跡をＢ１3 及びＢ２2 の時点で判断でき、この時点で警報信号が出力されることになる。また、Ｂ１の人がドアを横切ってから、Ｂ２の人がドアを横切るまでの時間に基づいて、共入り警戒用規定時間（例えば、２秒間）が定められる。この規定時間は、例えば自動ドア２０が開いてから閉じるまでの時間に設定することも可能である。

第１実施形態では、２又はそれ以上の人が、ドア２０側における検出エリアＡ１の境界線を横切って検出エリアＡ１に移動したとき、警報信号が出力されるので、共入りを即座に発見することができる。また、複数の人を検出しても、２又はそれ以上の人が所定の方向に検出エリアに移動しなければ、警報信号が出力されないので、誤報を防止することができる。

一代替実施形態において、共入り検出装置１は、ドア２０の外側に設けられる。この場合、所定の方向は、検出エリアから、ドア２０側における検出エリアの境界線に移動する方向に設定される。

図１７は、本発明による第２実施形態の共入り検出装置における距離画像センサ１０を示す。第２実施形態の距離画像センサ１０は、光源１１、光学系１２、光検出素子１３、センサ制御段１４及び画像生成段１５を備え、上記各実施形態及び参考例で利用可能である。

光源１１は、光の強度を確保するために、例えば、一平面に配列された赤外ＬＥＤアレイ、又は赤外半導体レーザ及び発散レンズ等で構成され、図１８に示されるように、センサ制御段１４からの変調信号に応じて赤外光の強度Ｋ１を一定周期で周期的に変化するように変調して、強度変調赤外光を検出エリアに照射する。なお、強度変調赤外光の強度波形は、正弦波に限らず、三角波又は鋸歯状波等の形状でもよい。

光学系１２は、受光光学系であり、例えば、レンズ及び赤外線透過フィルタ等で構成され、検出エリアからの赤外光を光検出素子１３の受光面（各感光ユニット１３１）に集光する。光学系１２は、例えばその光軸が光検出素子１３の受光面と直交するように配置される。

光検出素子１３は、半導体装置に形成され、複数の感光ユニット１３１、複数の感度制御ユニット１３２、複数の電荷集積ユニット１３３及び電荷取出ユニット１３４を含む。各感光ユニット１３１、各感度制御ユニット１３２及び各電荷集積ユニット１３３は、光学系１２を介して検出エリアに面して配置される受光面としての２次元感光アレイを構成する。

各感光ユニット１３１は、図１９（ａ）及び（ｂ）に示されるように、半導体基板における不純物が添加された半導体層１３ａにより、例えば１００×１００の２次元感光アレイの各感光素子として形成され、対応する感度制御ユニット１３２により制御される感光感度で、検出エリアからの赤外光量に応じた量の電荷を生成する。例えば、半導体層１３ａはｎ型であり、生成される電荷は電子である。

光学系１２の光軸が受光面と直交するとき、受光面の垂直方向（縦方向）及び水平方向（横方向）の両軸と光軸とを直交座標系の３軸に設定して、その原点を光学系１２の中心に設定すれば、各感光ユニット１３１は、方位角及び仰角で表される方向からの光量に応じた量の電荷を生成する。検出エリアに１又はそれ以上の物理対象があるとき、光源１１から照射された赤外光が物理対象で反射して感光ユニット１３１で受光されるので、感光ユニット１３１は、図１８に示されるように、物理対象との間の往復距離に対応する位相ψだけ遅れた強度変調赤外光を受光し、その強度Ｋ２に応じた量の電荷を生成する。その強度変調赤外光は、
Ｋ２・ｓｉｎ（ωｔ−ψ）＋Ｂ （式１）
で表され、ここで、ωは角振動数、Ｂは外光成分である。

感度制御ユニット１３２は、半導体層１３ａの表面に絶縁膜（酸化膜）１３ｅを介して積層される複数の制御電極１３ｂにより形成され、センサ制御段１４の感度制御信号に従って、対応する感光ユニット１３１の感度を制御する。図１９（ａ）及び（ｂ）において、制御電極１３ｂの左右方向の幅寸法は約１μｍに設定される。制御電極１３ｂ及び絶縁膜１３ｅは、光源１１の赤外光に対して透光性を有する材料により形成される。感度制御ユニット１３２は、図１９（ａ）及び（ｂ）に示されるように、対応する感光ユニット１３１に対し複数（例えば５つ）の制御電極により構成される。例えば、生成される電荷が電子であるとき、電圧（＋Ｖ，０Ｖ）が感度制御信号として各制御電極１３ｂに印加される。

電荷集積ユニット１３３は、対応する各制御電極１３ｂに印加される感度制御信号に応じて変化するポテンシャル井戸（空乏層）１３ｃにより構成され、ポテンシャル井戸１３ｃの近傍の電子（ｅ）を捕獲して集積する。電荷集積ユニット１３３に集積されない電子は、ホールとの再結合により消滅する。従って、ポテンシャル井戸１３ｃの領域の大きさを感度制御信号によって変えることにより、光検出素子１３の感光感度を制御することができる。例えば、図１９（ａ）の状態の感度は、図１９（ｂ）の状態のそれよりも高い。

電荷取出ユニット１３４は、例えば図２０に示されるように、フレーム・トランスファ（ＦＴ）方式のＣＣＤイメージ・センサと類似した構造を持つ。複数の感光ユニット１３１により構成される撮像領域Ｌ１及びその領域Ｌ１の隣の遮光された蓄積領域Ｌ２において、各垂直方向（縦方向）に一体に連続する半導体層１３ａが、垂直方向への電荷の転送経路として使用される。垂直方向は、図１９（ａ）及び（ｂ）の左右方向に対応する。

電荷取出ユニット１３４は、蓄積領域Ｌ２と、各転送経路と、各転送経路の一端から電荷を受け取って電荷を水平方向に転送するＣＣＤの水平転送部１３ｄとで構成される。撮像領域Ｌ１から蓄積領域Ｌ２への電荷の転送は、垂直ブランキング期間に１度に実行される。即ち、電荷がポテンシャル井戸１３ｃに集積された後、感度制御信号の電圧パターンと異なる電圧パターンが垂直転送信号として各制御電極１３ｂに印加され、ポテンシャル井戸１３ｃに集積された電荷が、垂直方向に転送される。水平転送部１３ｄから画像生成段１５への転送については、水平転送信号が水平転送部１３ｄに供給され、１水平ライン分の電荷が１水平期間に転送される。一代替例において、水平転送部は、図１９（ａ）及び（ｂ）の面に対する法線方向に電荷を転送する。

センサ制御段１４は、動作タイミング制御回路であり、光源１１、各感度制御ユニット１３２及び電荷取出ユニット１３４の動作タイミングを制御する。即ち、上記往復距離の光の伝播時間がナノ秒レベルの非常に短い時間であるので、センサ制御段１４は、所定の変調周波数（例えば、２０ＭＨｚ）である変調信号を光源１１に供給して、強度変調赤外光の強度の変化タイミングを制御する。

また、センサ制御段１４は、感度制御信号として電圧（＋Ｖ，０Ｖ）を各制御電極１３ｂに印加して、光検出素子１３の感度を高感度又は低感度に切り替える。

さらに、センサ制御段１４は、垂直ブランキング期間に垂直転送信号を各制御電極１３Ｂに供給し、１水平期間に水平転送信号を水平転送部１３ｄに供給する。

画像生成段１５は、例えばＣＰＵ及びプログラム等を記憶する記憶装置等により構成され、光検出素子１３からの信号に基づいて、距離画像及び強度画像を生成する。

以下、センサ制御段１４及び画像生成段１５の動作原理を説明する。図１８の位相（位相差）ψは、光検出素子１３の受光面と検出エリアにおける物理対象との間の往復距離に対応するので、位相ψを算出することで物理対象までの距離を算出することができる。位相ψは、上記（式１）で表される曲線の時間積分値（例えば、期間Ｔｗの積分値Ｑ０、Ｑ１、Ｑ２及びＱ３）から計算することができる。時間積分値（受光量）Ｑ０、Ｑ１、Ｑ２及びＱ３は、それぞれ位相０度、９０度、１８０度及び２７０度を始点とする。Ｑ０、Ｑ１、Ｑ２、Ｑ３の瞬時値ｑ０、ｑ１、ｑ２、ｑ３は、それぞれ
ｑ０＝Ｋ２・ｓｉｎ（−ψ）＋Ｂ
＝−Ｋ２・ｓｉｎ（ψ）＋Ｂ
ｑ１＝Ｋ２・ｓｉｎ（π／２−ψ）＋Ｂ
＝Ｋ２・ｃｏｓ（ψ）＋Ｂ
ｑ２＝Ｋ２・ｓｉｎ（π−ψ）＋Ｂ
＝Ｋ２・ｓｉｎ（ψ）＋Ｂ
ｑ３＝Ｋ２・ｓｉｎ（３π／２−ψ）＋Ｂ
＝−Ｋ２・ｃｏｓ（ψ）＋Ｂ
により与えられる。従って、位相ψは以下の（式２）で与えられ、時間積分値の場合も、（式２）により位相ψを求めることができる。

ψ＝ｔａｎ^−１｛（ｑ２−ｑ０）／（ｑ１−ｑ３）｝ （式２）
強度変調赤外光の１周期の間に感光ユニット１３１で発生される電荷量は少ないので、センサ制御段１４は、光検出素子１３の感度を制御して、強度変調赤外光の複数周期の間に感光ユニット１３１で発生された電荷を電荷集積ユニット１３３に集積する。強度変調赤外光の複数周期の期間において、位相ψ及び物理対象の反射率はほとんど変化しないので、例えば、時間積分値Ｑ０に対応する電荷を電荷集積ユニット１３３に集積するとき、Ｑ０に対応する期間の間、光検出素子１３の感度を上げ、それ以外の期間の間、光検出素子１３の感度を下げる。

感光ユニット１３１が受光量に比例する電荷を生成するとすれば、電荷集積ユニット１３３がＱ０の電荷を集積するとき、αＱ０＋β（Ｑ１＋Ｑ２＋Ｑ３）＋βＱｘに比例する電荷が集積され、ここで、αはＱ０〜Ｑ３に対応する期間の感度、βはそれ以外の期間の感度、ＱｘはＱ０、Ｑ１、Ｑ２、Ｑ３が得られる期間以外の受光量である。同様に、電荷集積ユニット１３３がＱ２の電荷を集積するとき、αＱ２＋β（Ｑ０＋Ｑ１＋Ｑ３）＋βＱｘに比例する電荷が集積される。Ｑ２−Ｑ０＝（α−β）（Ｑ２−Ｑ０）及びＱ１−Ｑ３＝（α−β）（Ｑ１−Ｑ３）により、（式２）から（Ｑ２−Ｑ０）／（Ｑ１−Ｑ３）が不要な電荷の混入の有無によらず理論上同じ値になるので、不要な電荷が混入しても求める位相ψは同じ値になる。

強度変調赤外光の複数周期の期間の後、センサ制御段１４は、電荷集積ユニット１３３に集積された電荷を取り出すために、垂直ブランキング期間に垂直転送信号を各制御電極１３Ｂに供給し、１水平期間に水平転送信号を水平転送部１３ｄに供給する。

また、Ｑ０〜Ｑ３は物理対象の明るさを反映するので、Ｑ０〜Ｑ３の加算値又は平均値は赤外線の強度画像（濃淡画像）における強度（濃度）値に相当する。従って、画像生成段１５は、Ｑ０〜Ｑ３から距離画像及び強度画像を生成することができる。しかも、Ｑ０〜Ｑ３から距離画像及び強度画像を生成することにより、同じ位置の距離値及び強度値を得ることができる。画像生成段１５は、（式２）によりＱ０〜Ｑ３から距離値を算出し、各距離値から距離画像を生成する。このとき、各距離値から検出エリアの三次元情報を算出し、三次元情報から距離画像を生成してもよい。強度画像はＱ０〜Ｑ３の平均値を強度値として含むので、光源１１からの光の影響を除去できる。

図２１は、本発明による第３実施形態の共入り検出装置における距離画像センサの動作説明図である。

第３実施形態の距離画像センサは、第２実施形態の距離画像センサとの相違点として、２個の感光ユニットを１画素として使用し、変調信号の１周期内でＱ０〜Ｑ３に対応する電荷を２種類ずつ生成する。

Ｑ０〜Ｑ３に対応する電荷を１つの感光ユニット１３１で生成すれば、視線方向に関する分解能は高くなるが、時間差の問題が生じるのに対し、Ｑ０〜Ｑ３に対応する電荷を４つの感光ユニットで生成すれば、時間差は小さくなるが、視線方向に関する分解能が低下する。

第３実施形態は、その問題を解決するため、図２２（ａ）及び（ｂ）に示されるように、２つの感光ユニットが１画素として使用される。第２実施形態の図１９（ａ）及び１９（ｂ）における両側の２つの制御電極は、電荷が感光ユニット１３１で生成される間、隣接する感光ユニット１３１に電荷が流出するのを防止するためのポテンシャルの障壁を形成する役割を担う。第３実施形態では、隣接する感光ユニット１３１のポテンシャル井戸の間にはいずれかの感光ユニット１３１で障壁が形成されるから、各感光ユニットに対して３つの制御電極が設けられ、１単位に対して６つの制御電極１３ｂ−１、１３ｂ−２、１３ｂ−３、１３ｂ−４、１３ｂ−５、１３ｂ−６が設けられる。

次に、第３実施形態の動作を説明する。図２２（ａ）においては、＋Ｖ（所定の正電圧）の電圧が、制御電極１３ｂ−１、１３ｂ−２、１３ｂ−３，１３ｂ−５の各々に印加され、０Ｖの電圧が、制御電極１３ｂ−４、１３ｂ−６の各々に印加される。図２２（ｂ）においては、＋Ｖの電圧が、制御電極１３ｂ−２、１３ｂ−４、１３ｂ−５，１３ｂ−６の各々に印加され、０Ｖの電圧が、制御電極１３ｂ−１、１３ｂ−３の各々に印加される。これら電圧パターンは、変調信号の位相が逆位相（１８０度）に変わる毎に、交互に切り替えられる。また、他の期間においては、＋Ｖの電圧が、制御電極１３ｂ−２、１３ｂ−５の各々に印加され、０Ｖの電圧が、残りの各制御電極に印加される。これにより、光検出素子は、例えば図２１に示されるように、図２２（ａ）の電圧パターンで、Ｑ０に対応する電荷を生成することができ、図２２（ｂ）の電圧パターンで、Ｑ２に対応する電荷を生成することができる。また、＋Ｖの電圧が、制御電極１３ｂ−２、１３ｂ−５の各々に常に印加されので、Ｑ０に対応する電荷及びＱ２に対応する電荷が集積されて保持されることになる。同様に、図２２（ａ）及び（ｂ）の両電圧パターンを使用し、両電圧パターンが印加するタイミングを９０度シフトすれば、Ｑ１に対応する電荷及びＱ３に対応する電荷を生成し保持することができる。

Ｑ０，Ｑ２に対応する電荷を生成する期間と、Ｑ１，Ｑ３に対応する電荷を生成する期間との間で撮像領域Ｌ１から蓄積領域Ｌ２に電荷が転送される。即ち、Ｑ０に対応する電荷が制御電極１３ｂ−１、１３ｂ−２、１３ｂ−３に対応するポテンシャル井戸１３ｃに蓄積され、またＱ２に対応する電荷が制御電極１３ｂ−４、１３ｂ−５，１３ｂ−６に対応するポテンシャル井戸１３ｃに蓄積されると、Ｑ０，Ｑ２に対応する電荷が取り出される。次いで、Ｑ１に対応する電荷が制御電極１３ｂ−１、１３ｂ−２、１３ｂ−３に対応するポテンシャル井戸１３ｃに蓄積され、またＱ３に対応する電荷が制御電極１３ｂ−４、１３ｂ−５，１３ｂ−６に対応するポテンシャル井戸１３ｃに蓄積されると、Ｑ１，Ｑ３に対応する電荷が取り出される。このような動作を繰り返すことによって、Ｑ０〜Ｑ３に対応する電荷を２回の読出動作で取り出すことができ、取り出した電荷を用いて位相ψを求めることができる。例えば３０フレーム毎秒の画像が必要とされるとき、Ｑ０，Ｑ２に対応する電荷を生成する期間及びＱ１，Ｑ３に対応する電荷を生成する期間の合計期間は、６０分の１秒よりも短い期間となる。

一代替実施形態において、図２３（ａ）に示されるように、＋Ｖの電圧が、制御電極１３ｂ−１、１３ｂ−２、１３ｂ−３の各々に印加され、＋Ｖ〜０Ｖの間の電圧が、制御電極１３ｂ−５に印加され、０Ｖの電圧が、制御電極１３ｂ−４、１３ｂ−６の各々に印加される一方、図２３（ｂ）に示されるように、＋Ｖ〜０Ｖの間の電圧が、制御電極１３ｂ−２に印加され、＋Ｖの電圧が、１３ｂ−４、１３ｂ−５，１３ｂ−６の各々に印加され、０Ｖの電圧が、制御電極１３ｂ−１、１３ｂ−３の各々に印加される。このように、主として電荷を生成するポテンシャル井戸を、主として電荷を保持するポテンシャル井戸よりも深くすることにより、０Ｖの電圧を印加する各制御電極に対応する領域で生じた電荷が、深い方のポテンシャル井戸に流れ込みやすくなるので、電荷を保持するポテンシャル井戸に流れ込む雑音成分を低減することができる。

なお、例えば、第２及び第３実施形態において、ＦＴ方式のＣＣＤイメージセンサと類似する構成に代えて、インターライン・トランスファ（ＩＴ）方式、フレーム・インターライン・トランスファ（ＦＩＴ）方式と類似する構成を使用してもよい。

本発明による第１参考例の共入り検出装置が組み込まれた管理システムを示す図である。 図１の管理システムにより管理されるべき部屋のドア近傍を示す図である。 共入り検出装置の距離画像センサから得られる距離画像又は前景距離画像の各画像要素の３次元への展開図である。 （ａ）は検出エリアの状況の例を示し、（ｂ）は（ａ）の距離画像を示し、（ｃ）はその距離画像から生成される前景距離画像を示す図である。 前景距離画像から生成される直交座標変換画像及び平行投影画像を示す図である。 平行投影画像から抽出される各部位を示す図である。 （ａ）及び（ｂ）の各々は図６の抽出された部位の例を示す図である。 （ａ）は図６の抽出された部位の例を示し、（ｂ）及び（ｃ）の各々は予め記録されたパターンの例を示す図である。 ３次元の直交座標変換画像又は３次元のワールド座標変換画像から得られる各水平断面画像を示す図である。 （ａ）及び（ｂ）の各々は頭部の断面積及び頭髪を基に検出された頭部の位置を示す図である。 対象検出段及び共入り検出段を構成するＣＰＵにより実行されるフロー図である。 そのＣＰＵにより実行されるフロー図である。 本発明による第２参考例の共入り検出装置における対象検出段により実行されるクラスタリング処理を示す図である。 本発明による第３参考例の共入り検出装置における対象検出段の動作説明図である。 本発明による第４参考例の共入り検出装置における対象検出段の動作説明図である。 本発明による第１実施形態の共入り検出装置における共入り検出段の動作説明図である。 本発明による第２実施形態の共入り検出装置における距離画像センサの構成図である。 図１７の距離画像センサの動作説明図である。 （ａ）及び（ｂ）は、図１７の距離画像センサにおける一感光部に対応する領域を示す図である。 図１７の距離画像センサにおける電荷取出ユニットの説明図である。 本発明による第３実施形態の共入り検出装置における距離画像センサの動作説明図である。 （ａ）及び（ｂ）は、図２１の距離画像センサの動作説明図である。 （ａ）及び（ｂ）は、図２１の距離画像センサの代替実施形態を示す図である。

１ 共入り検出装置
１０ 距離画像センサ
１６ 対象検出段
１７ 共入り検出段
１８ 警報段
２ セキュリティ装置
２０ ドア
３ 入力装置
４ 制御装置

Claims (17)

1. 検出エリアに面して配置され、距離画像を生成するものであって、その距離画像の各画像要素は、１又はそれ以上の物理対象が前記エリアにあるとき、その１又はそれ以上の物理対象までの各距離値をそれぞれ含む、距離画像センサと、前記センサによって生成された距離画像に基づいて、前記エリアにおける１又はそれ以上の物理対象を個々に検出する対象検出段とを備え、前記距離画像センサは、下方の前記検出エリアに対して下向きに面して配置され、前記対象検出段は、前記エリアにおける検出されるべき１又はそれ以上の物理対象を、前記距離画像から得られる、その検出されるべき１又はそれ以上の物理対象の特定又は各高度における部分のデータに基づいて、個々に検出する個体検出器と、共入り検出段とを備え、前記距離画像センサは、前記距離画像を連続的に生成し、前記共入り検出段は、共入り警戒時に、前記対象検出段によって検出された１又はそれ以上の人の移動軌跡を個々に追跡し、２又はそれ以上の人が所定の方向に前記検出エリアに又はから移動したときに共入りの発生を検出して、警報信号を出力することを特徴とする共入り検出装置。
2. 検出エリアに面して配置され、距離画像を生成するものであって、その距離画像の各画像要素は、１又はそれ以上の物理対象が前記エリアにあるとき、その１又はそれ以上の物理対象までの各距離値をそれぞれ含む、距離画像センサと、前記センサによって生成された距離画像に基づいて、前記エリアにおける１又はそれ以上の物理対象を個々に検出する対象検出段とを備え、前記距離画像センサは、下方の前記検出エリアに対して下向きに面して配置され、前記対象検出段は、前記エリアにおける検出されるべき１又はそれ以上の物理対象を、前記距離画像から得られる、その検出されるべき１又はそれ以上の物理対象の特定又は各高度における部分のデータに基づいて、個々に検出する個体検出器と、共入り検出段とを備え、
   前記距離画像センサは、前記距離画像を連続的に生成し、
   前記共入り検出段は、前記対象検出段によって検出された１又はそれ以上の人の入及び出とその入及び出の各方向とを監視し、共入り警戒用に設定された規定時間内に、２又はそれ以上の人が所定方向に前記検出エリアに又はから移動したときに共入りの発生を検出して、警報信号を出力することを特徴とする共入り検出装置。
3. 前記対象検出段は、前記センサから予め得られた距離画像である背景距離画像と前記センサから得られた現在の距離画像との差分に基づいて、前景距離画像を生成し、その前景距離画像に基づいて、前記エリアにおける検出されるべき１又はそれ以上の物理対象としての１又はそれ以上の人を個々に検出することを特徴とする請求項１又は２記載の共入り検出装置。
4. 前記対象検出段は、前記現在の距離画像の各画像要素から特定の画像要素を抽出することによって、前記前景距離画像を生成し、その特定の画像要素は、前記現在の距離画像の画像要素を前記背景距離画像の対応する画像要素から引いて得られる距離差分が、所定の距離しきい値よりも大きいときに、抽出されることを特徴とする請求項３記載の共入り検出装置。
5. 前記距離画像センサは、光学系と、その光学系を介して前記検出エリアに面して配置される２次元感光アレイとで構成されるカメラ構造を持ち、前記対象検出段は、予め記録された前記距離画像センサに対するカメラ・キャリブレーション・データに基づいて、前記カメラ構造に依存する前記前景距離画像のカメラ座標系を直交座標系に変換して、前記物理対象の存在／不存在の各位置を示す直交座標変換画像を生成することを特徴とする請求項４記載の共入り検出装置。
6. 前記対象検出段は、前記直交座標変換画像の直交座標系を、実空間上に仮想的に設定されるワールド座標系に変換して、前記物理対象の存在／不存在の各位置を実位置及び実寸で示すワールド座標変換画像を生成することを特徴とする請求項５記載の共入り検出装置。
7. 前記対象検出段は、前記ワールド座標変換画像を平行投影で所定平面上に投影して、前記ワールド座標変換画像における前記平面から見た各画像要素から構成される平行投影画像を生成することを特徴とする請求項６記載の共入り検出装置。
8. 前記対象検出段は、前記画像から１又はそれ以上の物理対象の部分に該当するサンプリング・データを抽出し、そして、そのデータが、人の部位に基づいて予め記録された基準データに該当するか否かを識別して、それぞれそのサンプリング・データに対応する物理対象が人であるか否かを判別することを特徴とする請求項５から７のいずれかに記載の共入り検出装置。
9. 前記サンプリング・データは、前記変換画像に仮想的に表される１又はそれ以上の物理対象の部分の体積、又は幅と奥行きと高さとの比であり、前記基準データは、１又はそれ以上の人の部位に基づいて予め記録され、その部位の体積、又は幅と奥行きと高さとの比についての値又は値の範囲であることを特徴とする請求項８記載の共入り検出装置。
10. 前記サンプリング・データは、前記平行投影画像に仮想的に表される１又はそれ以上の物理対象の部分の面積、又は幅と奥行きとの比であり、前記基準データは、１又はそれ以上の人の部位に基づいて予め記録され、その部位の面積、又は幅と奥行きとの比についての値又は値の範囲であることを特徴とする請求項８記載の共入り検出装置。
11. 前記サンプリング・データは、前記画像に仮想的に表される１又はそれ以上の物理対象の部分のパターンであり、前記基準データは、１又はそれ以上の人の部位に基づいて予め記録された少なくとも一つのパターンであることを特徴とする請求項８記載の共入り検出装置。
12. 前記距離画像センサは、強度変調光を前記検出エリアに発する光源を更に含み、画像要素毎の受光強度に基づいて、前記距離画像に加えて強度画像を生成し、前記対象検出段は、前記変換画像に基づいて、１又はそれ以上の物理対象の部分に該当するサンプリング・データを抽出し、そして前記強度画像に基づいて、前記サンプリング・データに該当する物理対象の部分に所定強度よりも低い箇所があるか否かを判別することを特徴とする請求項５又は６記載の共入り検出装置。
13. 前記距離画像センサは、強度変調赤外光を前記検出エリアに発する光源を更に含み、前記エリアからの前記赤外光に基づいて、前記距離画像に加えて前記赤外光の強度画像を生成し、前記対象検出段は、前記変換画像に基づいて、１又はそれ以上の物理対象の部分に該当するサンプリング・データを抽出し、そして前記強度画像に基づいて、前記サンプリング・データに該当する物理対象の部分からの前記赤外光の平均強度が所定強度よりも低いか否かを識別して、それぞれそのサンプリング・データに対応する物理対象の部分が人の頭部であるか否かを判別することを特徴とする請求項５又は６記載の共入り検出装置。
14. 前記対象検出段は、人として判別された物理対象の数を基に、前記平行投影画像における人として判別された物理対象の部分の位置をクラスタの構成要素に割り当て、クラスタリングのＫ−平均アルゴリズムによって得られる分割領域に基づいて、前記物理対象の数を検証することを特徴とする請求項８から１３のいずれかに記載の共入り検出装置。
15. 前記対象検出段は、前記距離画像の各画像要素から特定の画像要素を抽出することによって、前景距離画像を生成し、その前景距離画像に基づいて、前記エリアにおける検出されるべき１又はそれ以上の物理対象としての１又はそれ以上の人を個々に検出し、前記特定の画像要素は、前記距離画像の画像要素の距離値が所定の距離しきい値よりも小さいときに、抽出されることを特徴とする請求項１又は２記載の共入り検出装置。
16. 前記対象検出段は、前記距離画像の距離値分布の極小値を持つ画像要素付近の距離画像が、人の部位に基づいて予め記録された特定形状及びその特定形状の大きさに該当するか否かを識別して、それぞれ前記極小値を持つ画像要素付近の距離画像に対応する物理対象が人であるか否かを判別することを特徴とする請求項１又は２記載の共入り検出装置。
17. 前記対象検出段は、前記距離画像の各距離値から分布画像を生成し、その分布画像に基づいて、前記検出エリアにおける１又はそれ以上の物理対象を個々に検出し、前記分布画像は、１又はそれ以上の物理対象が前記検出エリアにあるとき、１又はそれ以上の分布領域を含み、前記分布領域は、前記距離画像における所定の距離しきい値よりも小さい距離値を持つ各画像要素から形成され、前記所定の距離しきい値は、前記距離画像の各距離値の極小値に所定の距離値を加算して得られることを特徴とする請求項１又は２記載の共入り検出装置。