JP5838355B2 - 空間情報検出装置、人位置検出装置 - Google Patents

Description

本発明は、３次元計測の対象である対象空間における基準面を自動的に定める空間情報検出装置、および空間情報検出装置が定めた基準面に基づいて対象空間に存在する人の位置を検出する人位置検出装置に関するものである。

従来から、対象空間の形状や対象空間に存在する物体の位置や形状を計測するために、対象空間の３次元計測を行う技術が提案されている。たとえば、日本国公開特許第２００９−１７４８３０号公報（以下「文献１」という）では、冷暖房を行う対象空間の３次元計測を行うことにより、対象空間に存在する人の位置を検出し、人の位置に合わせて送風方向や送風速度を調節する技術が提案されている。

文献１に記載された技術では、投射光を出射してから、物体で反射された反射光を受光するまでの時間を用いて物体までの距離を計測する飛行時間法（Time of Flight）を用いた距離計測を行っている。また、文献１に記載された技術では、対象空間における人の存否を、計測した距離の時間変化により求めている。また、人か否かを判別するために人の形状の特徴を用いている。すなわち、文献１に記載された技術では、人の形状を頭部、胴体、足部、手部の各部位に分割し、部位ごとの寸法ないし寸法比を用いることによって、距離変化が生じた部位について、形状の特徴から人か否かを判別している。

文献１に記載された技術は、３次元計測により得られた距離の時間変化を用いて人が存在する領域の候補を求め、候補の領域における形状の特徴により人を判断している。したがって、文献１に記載された技術を採用した場合、人体の一部が机や棚のような什器で遮蔽されている状態では、人を検出できない可能性がある。たとえば、オフィスのような対象空間において、広範囲な３次元計測を行うために、計測装置を天井のような高所に配置すると、計測装置からは机や棚のような什器に隠れて死角になる領域が生じやすくなる。

人の一部が死角になる領域に隠れていると、３次元計測により得られる距離の時間変化が生じる領域の範囲が小さくなり、また形状の特徴を判別できない可能性が生じる。そのため、距離の時間変化を精度よく把握できなくなり、人が存在するにもかかわらず人の検出に失敗する可能性が生じる。距離の時間変化を判断する基準を緩和すれば、人の検出に失敗する可能性が低減されるが、その一方で、人が移動させた椅子やゴミ箱などを人の候補と誤判断する可能性が高くなる。

ただし、人の検出に失敗するか、人以外の物体を誤検出するかは、トレードオフの関係であるから、判断の基準を調節するだけでは、判定の精度を高めることは困難である。すなわち、文献１に記載された技術のように、距離の時間変化と形状の特徴とを用いるだけでは、対象空間に机や棚などの什器が多く存在する場合に人を精度よく検出することは困難である。

ところで、対象空間には３次元計測を行う際の基準面になる床面や壁面が存在しているのが一般的である。このような基準面について、計測装置に対する向きや位置を求めておけば、計測装置に設定された座標系と対象空間における座標系との相対関係がわかる。計測装置が計測した３次元データを用いると、対象空間に存在する物体の相対位置が求められる。したがって、計測装置が計測した３次元データから基準面が求められていれば、物体の寸法および形状が求められ、結果的に物体の種類を特定することが可能になる。

たとえば、人の頭部は通常は床面から所定の高さ範囲に存在すると考えられるから、床面が求められていれば、床面に対する高さ範囲を規定することにより、人の存否を精度よく検出することが可能になる。

しかしながら、対象空間において、計測装置を取り付ける位置や向きは定まっていないから、計測装置の設置時には、計測装置の位置および向きに関するデータを校正用のデータとして人手によって与えなければならない。つまり、計測装置の設置毎に計測装置の位置および向きを入力する手間が必要になる。

本発明は、３次元計測の対象である対象空間における基準面を自動的に定めることにより、計測装置の設置毎に校正用のデータを入力する手間を省いて計測装置の設置時の作業効率を高め、また、基準面からの高さを用いることによって物体の計測を容易にした空間情報検出装置を提供することを目的とし、さらに、基準面を用いることにより、対象空間における人の存否および位置を精度よく検出する人位置検出装置を提供することを目的とする。

本発明に係る空間情報検出装置は、対象空間に関して計測装置が計測した第１の３次元データを取得する取得部と、前記対象空間における着目領域に複数個の小平面を設定し、前記着目領域における前記第１の３次元データを用いて前記複数個の小平面の各々について、前記計測装置に規定した装置座標系での向き、および前記計測装置からの距離を求める面素算出部と、前記面素算出部が求めた前記複数個の小平面の各々の向きおよび距離に基づいて前記対象空間を計測するための基準面を定める基準設定部とを備えることを特徴とする。

この空間情報検出装置において、前記面素算出部が算出した前記複数個の小平面の向きについて度数分布を求める分布抽出部をさらに備え、前記基準設定部は、前記分布抽出部が求めた度数分布において規定した向き閾値以上の度数である向きから前記基準面の向きを求めることが好ましい。

この空間情報検出装置において、前記分布抽出部は、前記複数個の小平面の向きのうち、指定された向き範囲内の向きについて前記度数分布を求めることが好ましい。

この空間情報検出装置において、前記計測装置は、広角レンズを備えるカメラで撮像した前記対象空間の画像を用いて前記第１の３次元データを出力する構成であって、前記分布抽出部は、前記複数個の小平面のうち前記画像の中心側の領域における小平面の向きの度数に、前記複数個の小平面のうち前記画像の周辺側の領域における小平面の向きの度数よりも大きい重みを付与して前記度数分布を求めることが好ましい。

この空間情報検出装置において、前記基準設定部は、前記複数個の小平面のうち、前記計測装置からの距離が最大である小平面から前記基準面を求めることが好ましい。

この空間情報検出装置において、前記対象空間は建物の空間であって、前記基準面は前記建物の床面であることが好ましい。

この空間情報検出装置において、前記第１の３次元データを用いることにより、前記対象空間に存在する物体に関して前記基準面からの高さを算出する高さ算出部をさらに備えることが好ましい。

この空間情報検出装置において、前記取得部が異なる時刻に取得した複数の前記第１の３次元データを記憶する記憶部をさらに備え、前記面素算出部は、前記記憶部に記憶された前記複数の前記第１の３次元データの変化が規定した誤差範囲内である領域から前記着目領域を抽出することが好ましい。

この空間情報検出装置において、前記面素算出部は、前記計測装置が異なる時刻に計測した複数組の前記第１の３次元データから前記複数個の小平面の各々の向きの候補を複数回ずつ求め、前記複数個の小平面の各々の向きの候補についての統計的処理により前記複数個の小平面の各々の向きを決定することが好ましい。

本発明の人位置検出装置は、床面からの高さを算出する空間情報検出装置と、前記取得部が前記対象空間に人が存在しないときに前記計測装置が計測した第２の３次元データを記憶する記憶部と、前記対象空間を監視する期間に前記計測装置が計測した第３の３次元データを用いて求めた距離と、前記記憶部が記憶している前記第２の３次元データを用いて求めた距離との差分を算出する差分演算部と、前記差分演算部により算出された前記差分が規定の判定閾値を超える領域について前記基準面に対する高さを評価することにより人が存在する位置を推定する人位置推定部とを備えることを特徴とする。

この人位置検出装置において、前記人位置推定部は、前記基準面に対する前記高さが指定された高さ範囲内である領域から前記人が存在する位置を求めることが好ましい。

本発明に係る空間情報検出装置の構成によれば、３次元計測の対象である対象空間における基準面が自動的に定められるから、計測装置の設置毎に校正用のデータを入力する手間を省いて計測装置の設置時の作業効率が高められ、また、基準面からの高さを用いることによって物体の計測が容易になるという利点がある。

本発明に係る人位置検出装置の構成によれば、空間情報検出装置が求めた基準面を用いることにより、対象空間における人の存否および位置が精度よく検出されるという利点がある。

本発明の好ましい実施形態をより詳細に記載する。本発明の他の特徴および利点は、以下の詳細な記載および添付図面に関連して一層よく理解される。
実施形態に係る空間情報検出装置および人位置検出装置を示すブロック図である。 実施形態に係る空間情報検出装置および人位置検出装置の使用例を示す概略構成図である。 図３Ａ，３Ｂは実施形態に用いる計測装置の原理を説明する図である。 図４Ａ，４Ｂは実施形態に用いる計測装置の原理を説明する図である。 図５Ａ，５Ｂは実施形態に用いる計測装置の原理を説明する図である。 図６Ａ〜６Ｅは実施形態に用いる計測装置における画像例を示す図である。 実施形態に係る空間情報検出装置の動作説明図である。 実施形態に係る空間情報検出装置の動作説明図である。 実施形態に係る空間情報検出装置および人位置検出装置の処理手順をフローチャートで示す動作説明図である。

（計測装置）
以下に説明する実施形態では、ステレオビジョンの技術を用いて対象空間の３次元データを計測する計測装置を例示するが、３次元データを計測する技術は、ステレオビジョンに限らず、飛行時間や位相シフトなどの周知の種々の技術を採用可能である。

本実施形態の計測装置２０は、ステレオビジョンの技術を用いているから、図２のように、対象空間を撮像する複数台（図示例は２台）のカメラ２１，２２を備える。カメラ２１，２２は濃淡画像を出力することを想定しているが、カメラ２１，２２がカラー画像を出力する場合も以下に説明する技術思想は適用可能である。

カメラ２１は、撮像素子２１１と受光光学系２１２とを備える。カメラ２２は、撮像素子２２１と受光光学系２２２とを備える。撮像素子２１１，２２１は、ＣＣＤイメージセンサ、ＣＭＯＳセンサのような周知の固体撮像素子が用いられる。また、受光光学系２１２，２２２は、対象空間から光を受ける光学系である。受光光学系２１２，２２２は、広角レンズであり、望ましくは魚眼レンズであるか魚眼レンズに相当する機能を有するレンズであり、カメラ２１，２２は、それぞれの画角が１８０度に近くなる。図示例では、受光光学系２１２，２２２がそれぞれ半球状の１個のレンズで模式的に表されている。受光光学系２１２，２２２の射影方式は、等距離射影方式、立体射影方式、等立体角射影方式、正射影方式のいずれでもよいが、以下では等距離射影方式を用いて説明する。

本実施形態は、図３Ａ，３Ｂのように、２台のカメラ２１，２２が、光軸を平行にし、かつ両カメラ２１，２２の光学中心Ｏ１，Ｏ２を結ぶ線分（以下、「ベースライン」という）を両光軸に直交させて配置された平行ステレオ法を採用している。したがって、２台のカメラ２１，２２の視野はほぼ全体が重複する。また、本実施形態は、ベースラインの方向をカメラ２１，２２の各々の撮像によって得られた画像（以下、「撮像画像」という）の水平方向に一致させている。これらの制約条件を課すことにより、２台のカメラ２１，２２で撮像した撮像画像を用いて対象空間の３次元計測を行う際の処理負荷が低減される。ただし、これらの制約条件は必須というわけではない。

２枚の撮像画像を用いて光学中心Ｏ１，Ｏ２の各々から対象空間における着目点Ｑまでの距離を計測するには、ベースラインの長さ（以下、「ベースライン長」という）と、２枚の撮像画像の中で対象空間における着目点Ｑに対応する像の位置のずれの距離との情報が必要である。像の位置のずれの距離は、対象空間において着目する部位を２台のカメラ２１，２２から見込んだときの視差であって、２枚の撮像画像にそれぞれ規定した基準位置から像の位置までの距離差を用いる。すなわち、像の位置のずれの距離は、カメラ２１で撮像された撮像画像の中における基準位置から像の位置までの距離と、カメラ２２で撮像された撮像画像の中における基準位置から像の位置までの距離との差である。着目点Ｑに対応する像の位置のずれの距離は、着目点Ｑを２台のカメラ２１，２２から見込んだときの視差になる。

２枚の撮像画像から視差を求めるには、２枚の撮像画像の中で対象空間において着目する部位に対応する像の位置を探し出す必要がある。すなわち、２枚の撮像画像において同部位に対応する対応点を特定する必要がある。２枚の撮像画像から対応点を探索する処理をステレオマッチングと呼んでいる。２台のカメラ２１，２２のそれぞれの光学中心Ｏ１，Ｏ２と対象空間における着目点Ｑとを含むエピポーラ面を考えると、ステレオマッチングにおいて２枚の撮像画像上で対応点を探索する範囲は、撮像画像にエピポーラ面を投影した線上に限定することができる。

計測装置２０には、受光面の水平方向（つまり、撮像画像の水平方向）に沿う方向をｘ方向、受光面におけるｘ方向に対する垂直方向（つまり、撮像画像の垂直方向）に沿う方向をｙ方向、受光面に直交する方向をｚ方向とする装置座標系を規定する。ｘ方向（装置座標系の第１の方向）はベースラインの方向に一致し、撮像画像の水平方向における右向き（画像座標系の第１の方向の第１の側）がｘ方向の正の向き（装置座標系の第１の方向の第１の側）、撮像画像の水平方向における左向き（画像座標系の第１の方向の第２の側）がｘ方向の負の向き（装置座標系の第１の方向の第２の側）、撮像画像の垂直方向における下向き（画像座標系の第２の方向の第１の側）がｙ方向の正の向き（装置座標系の第２の方向の第１の側）、撮像画像の垂直方向における上向き（画像座標系の第２の方向の第２の側）がｙ方向の負の向き（装置座標系の第２の方向の第２の側）になるように規定され、受光面から遠ざかる向きをｚ方向の正の向き（装置座標系の第３の方向の第１の側）とする。装置座標系の原点は、ベースライン上であって一方のカメラ２１の光学中心Ｏ１に設定される。

また、以下の説明において、カメラ２１，２２ごとのカメラ座標系を規定する。カメラ座標系は、装置座標系の座標軸と平行な座標軸を持つが、原点はカメラ２１，２２ごとの光学中心Ｏ１，Ｏ２を用いる。カメラ座標系の座標軸を装置座標系の座標軸と区別するために、カメラ２１に規定するカメラ座標系の座標軸をｘ１，ｙ１，ｚ１で表し、カメラ２２に規定するカメラ座標系の座標軸をｘ２，ｙ２，ｚ２で表す。ｚ１軸は、カメラ２１の光軸に一致し、ｚ２軸は、カメラ２２の光軸に一致する。本実施形態では、上述したように装置座標系の原点を設定しているから、装置座標系はカメラ２１に設定したカメラ座標系と一致する。

一方のカメラ２１に関するカメラ座標系において、原点である光学中心Ｏ１から対象空間の着目点Ｑを見込む方向は、図４Ａに示すように、ｚ１軸に対する角度θ１と、光学中心Ｏ１から着目点Ｑを見込む方向をｘ１ｙ１平面に投影したときのｘ１軸からｚ１軸周りの角度φ１とを用いて表される。カメラ２１に関するカメラ座標系では、着目点Ｑの位置を記述するために、角度（θ１，φ１）以外に、着目点Ｑをｘ１ｙ１平面に投影した点までの光学中心Ｏ１からの距離ｒ１を用いる。図４Ｂに示すように、他方のカメラ２２に関するカメラ座標系についても同様の関係になる。すなわち、カメラ２２に関するカメラ座標系では、着目点Ｑの位置を記述するために、ｚ２軸に対する角度θ２と、光学中心Ｏ２から着目点Ｑを見込む方向をｘ２ｙ２平面に投影したときのｘ２軸からｚ２軸周りの角度φ２と、着目点Ｑをｘ２ｙ２平面に投影した点までの光学中心Ｏ２からの距離ｒ２とを用いる。なお、カメラ２１に関するカメラ座標系の極座標（ｒ１，θ１，φ１）とカメラ２２に関するカメラ座標系の極座標（ｒ２，θ２，φ２）とを区別せずに説明する場合、極座標（ｒ，θ，φ）と表す。

図４Ａ，４Ｂにおいて、上部に示した平行四辺形は撮像画像を表している。撮像画像については、カメラ２１，２２ごとに得られた撮像画像における画素の位置を表すために、撮像画像の左上隅を原点とした２次元の直交座標系である画像座標系が用いられる。図４Ａに示すように、カメラ２１で得られた撮像画像の画像座標系は、撮像画像の水平方向（画像座標系の第１の方向）がｘ１方向（装置座標系の第１の方向）に沿っており、撮像画像における水平方向に対する垂直方向（画像座標系の第２の方向）がｙ１方向（装置座標系の第２の方向）に沿うように設定され、撮像画像中の任意の座標位置は（ｕ１，ｖ１）で表される。図４Ｂに示すように、カメラ２２で得られた撮像画像の画像座標系は、撮像画像の水平方向がｘ２方向に沿っており、撮像画像における水平方向に対する垂直方向がｙ２方向に沿うように設定され、撮像画像中の任意の座標位置は（ｕ２，ｖ２）で表される。なお、カメラ２１で得られた撮像画像の画像座標系の座標位置（ｕ１，ｖ１）とカメラ２２で得られた撮像画像の画像座標系の座標位置（ｕ２，ｖ２）とを区別せずに説明する場合、座標位置（ｕ，ｖ）と表す。

計測装置２０は、カメラ２１，２２ごとに撮像した撮像画像を用いて対象空間の３次元データを算出する演算処理部２３を備える。演算処理部２３は、ハードウェア資源としてのプロセッサおよびメモリと、データの入出力のためのインターフェイス部とを備え、以下に説明する処理を行う装置として機能させるためのプログラムを実行する。演算処理部２３を構成するデバイスは、マイコンのほか、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などでもよい。要するに、演算処理部２３には、プログラムを実行する機能を有したデバイス（つまり、コンピュータに相当するデバイス）が用いられる。ただし、演算処理部２３は専用のハードウェアにより構成してもよい。

上述のように条件が設定されているから、撮像画像に投影した光学中心Ｏ１，Ｏ２の座標を（ｕｃ，ｖｃ）とすると、カメラ座標系の極座標（ｒ，θ，φ）と画像座標系における座標（ｕ，ｖ）との間に数１の関係が成立する。なお、ｆは等距離射影方式における比例定数である。なお、カメラ２１とカメラ２２とを区別する場合、カメラ２１で撮像された撮像画像に投影した光学中心Ｏ１の座標を（ｕｃ１，ｖｃ１）とし、カメラ２２で撮像された撮像画像に投影した光学中心Ｏ２の座標を（ｕｃ２，ｖｃ２）とする。

また、等距離射影方式を用いているから、対象空間における着目点Ｑは、カメラ２１，２２の光学中心Ｏ１，Ｏ２を中心とする半径１の球面上に射影される。着目点Ｑが当該球面上に射影された点のカメラ座標系の直交座標（ｘａ，ｙａ，ｚａ）は、上述したカメラ座標系の極座標（ｒ，θ，φ）を用いると、数２のように表される。カメラ２１，２２のいずれについても同様の関係が得られる。すなわち、カメラ２１については、着目点Ｑが当該球面上に射影された点のカメラ座標系の直交座標（ｘａ１，ｙａ１，ｚａ１）は、カメラ座標系の極座標（ｒ１，θ１，φ１）を用いて表される。カメラ２２については、着目点Ｑが当該球面上に射影された点のカメラ座標系の直交座標（ｘａ２，ｙａ２，ｚａ２）は、カメラ座標系の極座標（ｒ２，θ２，φ２）を用いて表される。

ここで、本実施形態の演算処理部２３は、座標（ｕ，ｖ）で表された画像を角度（α，β）を用いて表される画像に変換する機能を有する。いま、一方のカメラ２１のカメラ座標系を用いて説明する。図５Ａ，５Ｂに示すように、角度α１は、ｘ１軸と着目点Ｑとを含む平面（エピポーラ平面ＥＰ１に相当する）内において、光学中心Ｏ１から着目点Ｑを見込む直線Ｌａ１がｙ１ｚ１平面に対してなす角度である。また、角度β１は、光学中心Ｏ１から着目点Ｑを見込む直線Ｌａ１をｙ１ｚ１平面に投影した直線Ｌａ２がｚ１軸に対してなす角度である。言い換えると、角度β１はエピポーラ平面ＥＰ１がｚ１軸に対してなす角度である。角度α１はｙ１ｚ１平面を０度とし、角度β１はｚ軸を０度とする。したがって、座標（ｘａ，ｙａ，ｚａ）を用いて角度（α，β）を表すと、数３の関係が得られる。

撮像画像の全画素について数１から数３の関係を適用すると、画像座標系の座標（ｕ，ｖ）を用いて表される座標（ｘａ，ｙａ，ｚａ）の関係が角度（α，β）で表されることになる。角度αを水平方向とし角度βを垂直方向とする画像を生成すると、画素の位置が座標（ｕ，ｖ）で表される撮像画像から、画素の位置が角度（α，β）で表される画像に変換される。以下、角度（α，β）で画素の位置を表した画像を「変換画像」と呼ぶ。

演算処理部２３は、他方のカメラ２２で撮像した撮像画像についても同様の変換を行って変換画像を生成する。図６Ａはカメラ２１で撮像された撮像画像の例を示し、図６Ｂはカメラ２２で撮像された撮像画像の例を示している。また、図６Ｃは図６Ａに示す撮像画像に対応する変換画像の例を示し、図６Ｄは図６Ｂに示す撮像画像に対応する変換画像の例を示している。

カメラ２１，２２は、光軸が平行であり、かつｘ１軸とｘ２軸とが一直線上に並ぶように配置されているから、２台のカメラ２１，２２の撮像画像からそれぞれ求めた２枚の変換画像において、同じ着目点Ｑを見込む角度β１，β２（図３Ａ参照）は一致する。すなわち、後述するステレオマッチングの際に、変換画像の角度α１，α２（図３Ａ参照）に着目すればよく、ステレオマッチングの処理が簡素化されることになる。

演算処理部２３は、求めた２枚の変換画像を用いてカメラ２１，２２の視差を推定し、推定した視差を対象空間の３次元データの算出に利用する。カメラ２１，２２の視差を推定するために、演算処理部２３は、２枚の変換画像から対象空間の同位置に対応する対応点を抽出する。対応点を抽出する技術はとくに限定しないが、本実施形態では、ブロックマッチングの技術を採用している。つまり、演算処理部２３は、ブロックマッチングにより、カメラ２１の撮像画像に対する変換画像から抽出した点の座標（α１，β１）に対して、カメラ２２の撮像画像に対する変換画像から対応点の座標（α２，β２）を抽出する。

上述したように、カメラ２１，２２の配置により、β１＝β２の制約条件があるから、ブロックマッチングでは、角度α１に対応する角度α２を求めるだけでよく、視差Ｄｑは、Ｄｑ＝α２−α１と表される。ブロックマッチングを行うには、適宜大きさのブロックを変換画像の中で走査し、輝度値の差を評価する数４で示す評価値Ｒを算出する。そして、評価値Ｒが最小になる位置を、座標（α１，β１）で表される点に対する対応点の座標（α２，β２）とする。数４において、Ｉ１（α１＋ｉ，β１＋ｊ），Ｉ２（α２＋ｉ，β２＋ｊ）は変換画像ごとの輝度値であり、ブロックの大きさは水平方向に（２Ｎ＋１）画素、垂直方向に（２Ｍ＋１）画素としている。なお、Ｎ，Ｍは適宜に定めた自然数である。

数４は変換画像に設定したブロックの画素の位置（ｉ，ｊ）について、画素値（輝度値）Ｉ１（α１＋ｉ，β１＋ｊ）、Ｉ２（α２＋ｉ，β２＋ｊ）の差分（絶対値）の総和を評価値Ｒに用いている。すなわち、評価値Ｒとして、ＳＡＤ（Sum of Absolute Difference）を用いている。ただし、評価値Ｒとしては、ＳＳＤ（Sum of Squared Difference）や正規化した相互相関関数などを用いることも可能である。また、対応点を求めるためにブロックマッチングを行っているが、ステレオマッチングの他の技術を採用することも可能であり、変換画像を用いずにステレオマッチングを行ってもよい。また、変換画像は画像の横軸をα、縦軸をβとする画像としたが、他の変換方法で変換した画像を用いてもよい。

演算処理部２３は、上述した評価値Ｒを用いることにより、２枚の変換画像から対応点を抽出し、視差Ｄｑ（＝α２−α１）を算出し、算出した視差Ｄｑを装置座標系（すなわち、カメラ２１のカメラ座標系）にマッピングすることにより、図６Ｅのような視差画像を生成する。つまり、視差画像は対応点の座標（α１，β１）に視差Ｄｑを対応付けた画像になる。

演算処理部２３は、対応点を求めた後、三角測量法の原理を用いることにより、対象空間における対応点（つまり、着目点Ｑ）の３次元座標を算出する。図３Ａ，３Ｂに示すように、２台のカメラ２１，２２にそれぞれ設定したカメラ座標系の原点から着目点Ｑを見込む角度（α１，β１）、（α２，β２）を用いると、装置座標系での着目点Ｑの３次元座標（ｘｑ，ｙｑ，ｚｑ）は、数５のように表される。数５において、ｂはベースラインの長さである。

以上のようにして、対象空間におけるすべての対応点について３次元座標を求めると、対象空間に関する３次元データが得られる。また、数５により求めた着目点Ｑの３次元座標（ｘｑ，ｙｑ，ｚｑ）を用いると、装置座標系における原点（カメラ２１の光学中心Ｏ１）から着目点Ｑまでの距離が求められる。演算処理部２３は、対象空間のすべての着目点Ｑについて数６の演算を行って距離Ｌｑを求め、変換画像の座標（α１，β１）における画素値を距離Ｌｑとした距離画像を生成する。

以上説明したように、計測装置２０は、対象空間の３次元データを求め、さらに、画素値が視差Ｄｑである視差画像と、画素値が距離Ｌｑである距離画像とを生成する。

（空間情報検出装置）
以下では、上述した計測装置２０から出力される３次元データを用いて対象空間の３次元計測を行うために、対象空間において計測の基準となる基準面を定める技術について説明する。以下では、対象空間が建物の室内空間であって、基準面が床面である場合を例として説明する。ただし、対象空間は、建物の屋外空間や、建物以外に形成される空間であってもよい。また、基準面が壁面、天井面、机上面などであっても、以下に説明する技術と同様の技術を採用可能である。

以下の説明では、対象空間が建物の室内空間であり、かつ基準面が床面である場合を想定する。また、以下では、計測装置２０が対象空間のほぼ全域を計測範囲とするように、図２に示すように、計測装置２０が天井５１の中央付近にカメラ２１，２２の光軸を下向きにして配置される場合を基本にして説明する。ただし、計測装置２０の施工状態によっては、計測装置２０に規定した装置座標系におけるｘｙ平面が床面５０と平行になるとは限らず、また、場合によっては計測装置２０を天井５１に配置できずに壁面に配置する場合もある。

計測装置２０が計測した３次元データは、空間情報検出装置１０に入力される。空間情報検出装置１０は、図１に示すように、計測装置２０から３次元データを取得する取得部１１と、取得部１１が取得した３次元データを記憶する記憶部１２とを備える。取得部１１は、計測装置２０を接続するためのインターフェイス部であり、計測装置２０が３次元データを出力する通信仕様に応じて構成される。記憶部１２は、計測装置２０による計測毎の３次元データ（第１の３次元データ）を記憶する第１記憶部１２１を備える。また、記憶部１２は、計測装置２０が所定のタイミングで計測した基準となる３次元データ（第２の３次元データ）と、計測装置２０が対象空間での変化を検出するために計測した比較用の３次元データ（第３の３次元データ）とを記憶する第２記憶部１２２を備える。

第１記憶部１２１に記憶させる３次元データは、カメラ２１，２２が撮像した撮像画像のフレーム毎に取得される。撮像画像のフレームレートは、一般的な動画像のように３０フレーム毎秒であってもよいが、許容される処理負荷の程度に応じて、０．１〜３０フレーム毎秒程度の範囲で適宜に設定される。

一方、第２記憶部１２２に記憶させる基準の３次元データ（第２の３次元データ）は、計測装置２０の視野内に移動する物体が存在しないタイミングで計測装置２０が計測して取得部１１が計測装置２０から取得することが望ましい。もし、移動物体が存在する場合には、連続する異なる時間に撮影された画像の輝度の中央値を画素値とする画像を作成し、その画像から基準の３次元データを求めてもよい。基準となる３次元データはいわば背景の３次元データであり、比較用の３次元データ（第３の３次元データ）と背景の３次元データとの差を求めると、対象空間での変化の有無と、変化が生じた場所とが検出される。第２記憶部１２２は、後述する人位置検出装置３０の一部の構成要素として用いられる。

さらに、空間情報検出装置１０は、第１記憶部１２１に記憶されている３次元データを用いて、撮像画像に含まれる床面５０を特定し、対象空間の床面５０の全面を基準面として定める基準設定部１３を備える。撮像画像に含まれる床面５０に関するデータは、第１記憶部１２１に記憶されている３次元データに含まれている。基準設定部１３が定める基準面は、撮像画像に含まれる床面５０だけではなく、対象空間に配置された什器などで隠されている床面５０も含まれる。すなわち、基準設定部１３は、計測装置２０に設けられたカメラ２１，２２が撮像した撮像画像で見えている床面５０の情報に基づいて、撮像画像では見えていない領域の床面５０を推定し、推定した床面５０を含めて基準面とする。

計測装置２０を設置した状態では、装置座標系は既知であるが、対象空間に規定される空間座標系は未知である。したがって、基準設定部１３が基準面を定めるには、計測装置２０に設定された装置座標系における基準面の向きと基準面までの距離との情報が必要になる。

そのため、空間情報検出装置１０は、対象空間において床面５０を含む着目領域に複数個の小平面を設定し、計測装置２０に規定した座標系において複数個の小平面の各々の向きを求める面素算出部１４を備える。複数個の小平面は、着目領域の全体を分割して設定されるか、あるいは、着目領域に適宜の間隔で設定される。面素算出部１４は、着目領域における３次元データを用いて小平面ごとに法線ベクトルを求め、法線ベクトルが表す向きを小平面の向きとする。着目領域は、対象空間を計測するための基準面を定めるために対象空間の中の一部領域であり、面素算出部１４が複数個の小平面の向きを求める前に予め抽出される。

なお、一般に面素の法線ベクトルの大きさは面素の面積を表すが、本実施形態では、小平面の面積は利用しない。いま、計測装置２０が天井５１に対して正確に位置を合わせて配置されていると仮定する。つまり、計測装置２０が、カメラ２１，２２の光軸（つまり、装置座標系のｚ軸）を、対象空間に規定される空間座標系の１つの軸（Ｚ軸）と平行になるように配置されていると仮定する。ここに、空間座標系のＺ軸は床面５０に直交し、空間座標系のＸ軸およびＹ軸は、互いに直交し、かつＺ軸に直交する適宜の方向に設定される。

面素算出部１４は、図７に示すように、取得部１１が計測装置２０から取得した３次元データから隣接する３点Ｐ０ｉ，Ｐ１ｉ，Ｐ２ｉずつの組合せを抽出し（ｉは自然数である）、抽出した３点で規定される小平面の法線ベクトル［Ｎｉ］を算出する。図７における丸印は３次元データが得られた点を表している。小平面を規定する３点Ｐ０ｉ，Ｐ１ｉ，Ｐ２ｉの距離はできるだけ小さいほうが望ましいが、３点間の距離が最小であることは必須ではなく、基準面の評価が可能な程度の距離であれば許容される。たとえば、３点Ｐ０ｉ，Ｐ１ｉ，Ｐ２ｉを選択する際に、１つの点Ｐ０ｉから規定した距離範囲である２点Ｐ１ｉ，Ｐ２ｉを選択してもよい。また、小平面を規定する３点Ｐ０ｉ，Ｐ１ｉ，Ｐ２ｉは、対象空間の中で３次元データが求められている領域の一部である着目領域において求めているが、対象空間の中で３次元データが求められている全領域から求めてもよい。

いま、抽出した３点Ｐ０ｉ，Ｐ１ｉ，Ｐ２ｉのうちの１つの点Ｐ０ｉから他の２点Ｐ１ｉ，Ｐ２ｉに向かうベクトル［Ｖ１ｉ］，［Ｖ２ｉ］を規定すると、３点Ｐ０ｉ，Ｐ１ｉ，Ｐ２ｉで規定される小平面の法線ベクトル［Ｎｉ］は、ベクトル［Ｖ１ｉ］，［Ｖ２ｉ］の外積［Ｖ１ｉ］×［Ｖ２ｉ］で表される。

上述したように、装置座標系のｚ軸は空間座標系のＺ軸と平行であると仮定している。したがって、小平面が床面５０の一部であるとすれば、ベクトル［Ｖ１ｉ］，［Ｖ２ｉ］の外積［Ｖ１ｉ］×［Ｖ２ｉ］は、装置座標系のｚ軸と平行になる。

ここに、ベクトル［Ｖ１ｉ］，［Ｖ２ｉ］の向きによって、外積［Ｖ１ｉ］×［Ｖ２ｉ］の向きが変化するから、［Ｖ１ｉ］，［Ｖ２ｉ］の設定の仕方によって小平面の向きが反対向きになることが考えられるが、床面５０を基準面に用いるから床面５０の法線ベクトル［Ｎｉ］は同じ向きでなければならない。また、対象空間における物体は床面５０の下には存在しないから、基準面を定めるために用いる小平面の法線ベクトル［Ｎｉ］は、小平面から計測装置２０に向かう向きを正とする。このことから、小平面の法線ベクトル［Ｎｉ］の向きが、下向きになる場合には上向きとなるように符号を反転させる。

なお、小平面は、床面５０以外の部位にも形成される場合があり、床面５０以外の小平面は、実空間であれば向きを考慮する必要があるが、面素算出部１４は基準面を定めるための小平面に着目しているから、床面５０以外の小平面についても同じルールを適用する。つまり、すべての小平面について符号は無視する。

撮像画像をモニタ装置に表示し、着目領域を人が選択する場合は、着目領域を床面５０のみとすることが可能であるから、着目領域から求めた複数個の小平面の法線ベクトル［Ｎｉ］は、ほぼ同じ向きであると考えられる。このような場合は、求めた複数個の小平面の法線ベクトル［Ｎｉ］の向きについて平均を求めれば、基準面の向きが定められる。

ただし、省力のために着目領域を人手によって指定せず、撮像画像の適宜の範囲を着目領域とする場合や、３次元データが求められている全領域を着目領域とする場合には、着目領域から基準面である床面５０を抽出する必要がある。本実施形態の空間情報検出装置１０は、面素算出部１４が算出した複数個の小平面の法線ベクトル［Ｎｉ］の向きについて度数分布を用いることにより、着目領域から床面５０を抽出する。

ここに、着目領域を自動的に設定する場合、計測装置２０において複数回の撮像により得られた３次元データを第１記憶部１２１に格納し、第１記憶部１２１に格納された撮像毎の３次元データがほとんど変化していない領域を着目領域として用いればよい。すなわち、面素算出部１４は、計測装置２０のカメラ２１，２２が撮像した複数フレームの撮像画像から得られる複数組の３次元データを用いて着目領域を決定すればよい。面素算出部１４は、対象空間のうち、第１記憶部１２１に記憶された３次元データの変化が規定した誤差範囲内である領域から着目領域を抽出する。面素算出部１４は、複数の３次元データの変化としてｘｙ平面上の同位置ごとにｚ座標の差分を求め、この差分が誤差範囲内である部位を着目領域として抽出する。

言い換えると、複数の３次元データの各々は、装置座標系として計測装置２０の受光面に平行する方向の位置を表すｘ座標（第１の座標）およびｙ座標（第２の座標）と、装置座標系において上記受光面に直交する方向の位置を表すｚ座標（第３の座標）とを含む。そして、面素算出部１４は、複数の３次元データの変化として、ｘ座標およびｙ座標が同じ位置のｚ座標の差分を求め、上記差分が誤差範囲内である領域を着目領域として抽出する。

ところで、計測装置２０において不規則に発生する計測誤差や対象空間における移動物体の存在により、３次元データから得られる法線ベクトル［Ｎｉ］の信頼性が低下する場合がある。そこで、複数組の３次元データからそれぞれ法線ベクトル［Ｎｉ］を求め、法線ベクトル［Ｎｉ］の向きについて、統計的処理（たとえば、平均化や異常値の除去）を行うことにより、法線ベクトル［Ｎｉ］の向きの信頼性を高めることが望ましい。すなわち、面素算出部１４は、計測装置２０が異なる時刻に計測した複数組の３次元データから複数個の小平面の各々の向き候補を複数回ずつ求め、複数個の小平面の各々の向き候補についての統計的処理により複数個の小平面の各々の向きを決定することが望ましい。

小平面の法線ベクトル［Ｎｉ］の向きは、球座標による装置座標系を用いて、伏角の余角（θ）と方位角（φ）とにより表される。角度θは、装置座標系の原点から法線ベクトル［Ｎｉ］の始点を見込む直線が装置座標系のｚ軸に対してなす角度であり、角度φは、装置座標系のｘｙ平面への法線ベクトル［Ｎｉ］の射影がｘ軸に対してなす角度である。小平面ごとの法線ベクトル［Ｎｉ］の向きを表す角度（θ，φ）は下式で定義される。なお、０≦θ≦π／２、０≦φ＜２πである。
θ＝cos−１｛ｚ／（ｘ２＋ｙ２＋ｚ２）１／２｝
φ＝cos−１｛ｘ／（ｘ２＋ｙ２）１／２｝
空間情報検出装置１０は、小平面ごとの法線ベクトル［Ｎｉ］の向きについて度数分布を求める分布抽出部１５を備える。分布抽出部１５は、図８に示すように、法線ベクトル［Ｎｉ］の向きを表す角度（θ，φ）を所定幅の区間に区分して度数分布を求める。言い換えると、角度（θ，φ）を量子化し、量子化後の角度（θ，φ）について度数分布を求めていることに相当する。

量子化を簡便に行うには、角度（θ，φ）の単位を［度］として、整数値に量子化すればよい。この場合、１度刻みの区間に区分して度数を求めることになる。ただし、量子化の刻み幅は適宜に設定することが可能であって、精度を高める場合は刻み幅を狭くすればよい。

着目領域において床面５０の占める面積が大きい場合、あるいは対象空間に存在する物体に設定される小平面の向きが揃っていない場合、床面５０に対応する第１の法線ベクトル［Ｎｉ］の度数が第１の法線ベクトル［Ｎｉ］とは異なる第２の法線ベクトル［Ｎｉ］の度数よりも大きくなると考えられる。したがって、上述のように第１の法線ベクトル［Ｎｉ］の度数が第２の法線ベクトル［Ｎｉ］の度数よりも大きいという条件が成立している場合には、基準設定部１３は、分布抽出部１５が求めた度数分布において、規定した向き閾値以上の度数である向きを床面５０の向きと判断することができる。

ただし、上述した条件がつねに成立するとは限らないから、分布抽出部１５は、複数個の小平面の向きのうち、指定された向き範囲内の向きについて度数分布を求めるように制約条件を設定しておくことが望ましい。ここでは、床面５０を抽出することが目的であり、計測装置２０は天井５１に配置されているから（図２参照）、角度θについては０付近に集中すると考えられる。したがって、分布抽出部１５が複数個の小平面の法線ベクトル［Ｎｉ］のうち、角度θについて、０から所定の角度範囲内である法線ベクトル［Ｎｉ］のみについて度数分布を求めると、処理負荷を大幅に軽減することが可能になる上に、床面５０以外を抽出する可能性が低減される。

ここに、計測装置２０の配置によっては、装置座標系のｚ軸と空間座標系のＺ軸とが平行であるという仮定が成立しない場合がある。このような場合でも、カメラ２１，２２の光軸のおおよその向きがわかっている場合は、角度θについて角度範囲を制限することにより、上述した効果が期待できる。なお、ｚ軸とＺ軸とが平行ではない場合に備えて、空間情報検出装置１０は、入力手段による角度範囲の指示を受け付ける通信手段と、制約条件を記憶する記憶手段とを備えていることが望ましい。角度θについて、角度範囲を制限すれば、基準面とは明らかに異なる方向の法線ベクトル［Ｎｉ］が除外される。したがって、計測装置２０の計測範囲内に基準面とは異なる方向の法線ベクトル［Ｎｉ］が多数存在するような複雑な形状でも基準面を精度よく定めることが可能になる。

ところで、角度（θ，φ）の度数分布に基づいて床面５０と同方向の面が存在する領域は抽出されるが、たとえば、机上面４１や椅子の座面４２と床面５０とは略平行と考えられるから（図２参照）、角度（θ，φ）の度数分布の情報だけでは机上面４１や座面４２が床面５０と誤認される可能性がある。ただし、計測装置２０が天井５１のような対象空間の上部に配置されている場合、床面５０との距離は、机上面４１、座面４２、棚の上面などとの間の距離よりも大きいと考えられる。

この特性を利用し、基準設定部１３は、角度（θ，φ）の度数分布で向き閾値以上の度数に含まれる小平面を抽出し、抽出した小平面ごとに法線の向きにおける計測装置２０の距離（つまり、高さ）を求め、求めた距離が最大となる小平面を決定する。

距離が最大となる小平面は、たとえば、以下の方法で決定する。まず、基準設定部１３は、抽出した小平面の距離（高さ）を横軸とする度数分布を求める。続いて、基準設定部１３は、求めた度数分布に、一般的な混合正規分布の当て嵌めを行い、複数の正規分布を当て嵌める。そして、基準設定部１３は、当て嵌めた各正規分布の平均における度数が閾値以上である正規分布において、平均にもっとも近い小平面を、距離が最大となる小平面とする。この方法は一例であって、距離が最大となる小平面は他の方法で決定してもよい。

求められた距離が最大である小平面は、基準面に含まれると推定される。要するに、基準設定部１３は、複数個の小平面の向きを用いて基準面の候補となる小平面を抽出し、基準面の候補である小平面の法線の向きにおける計測装置２０との距離を用いて基準面に含まれる小平面を抽出する。

ここに、小平面の法線の向きにおける計測装置２０と小平面との距離は、小平面の法線ベクトルを［Ｎｉ］＝（ｎｘ，ｎｙ，ｎｚ）とするとき、装置座標系における法線ベクトルの始点の３次元データ（ｘｐ，ｙｐ，ｚｐ）を用いることにより、ｎｘ・ｘｐ＋ｎｙ・ｙｐ＋ｎｚ・ｚｐとして求められる。つまり、小平面の法線ベクトルと、法線ベクトルの始点の位置を表す位置ベクトルとの内積により、法線ベクトルの向きにおける計測装置２０の高さが求められる。

上述した例では、小平面の法線方向における計測装置２０と小平面との距離を、距離閾値と比較しているが、距離の度数分布を用いて度数が所定の閾値以上になり、かつ度数分布において距離が最大である区間に属する小平面を抽出してもよい。言い換えると、求めた距離を量子化して度数を求め、度数が比較的多く、かつ量子化した距離が最大になる小平面を抽出してもよい。

基準設定部１３は、複数個の小平面から、基準面に含まれると推定される小平面を抽出した後、抽出した小平面を用いて基準面を設定する。つまり、基準設定部１３は、抽出した小平面を１枚の平面に当て嵌め、この平面を基準面（床面５０）に用いる。複数の小平面を１枚の平面に当て嵌めるには、最小二乗法やＲＡＮＳＡＣ（RANdom SAmple Consensus）などの周知の技術が用いられる。

基準設定部１３が基準面を抽出すると、度数が最大になった向きをＺ方向（空間座標系の第３の方向）とし、Ｚ方向に直交する平面をＸＹ平面とする空間座標系を規定することが可能になる。ここに、Ｘ方向（空間座標系の第１の方向）およびＹ方向（空間座標系の第２の方向）は、ＸＹ平面内で適宜に設定することが可能であるが、たとえば対象空間における壁面などを基準にしてＸ方向およびＹ方向を設定することが望ましい。あるいはまた、計測装置２０の装置座標系におけるｘ軸およびｙ軸をＸＹ平面に投影し、ｘ軸の射影をＸ軸とし、ｙ軸の射影をＹ軸としてもよい。設定された空間座標系の座標値は、装置座標系の座標値と対応付けられて記憶部１２に格納される。したがって、記憶部１２は、装置座標系から空間座標系への座標変換のためのデータを格納する。

空間座標系が定まることにより、装置座標系の３次元データから空間座標系への座標変換が可能になる。すなわち、対象空間に存在する物体の３次元データを用いて、基準面（床面５０）に対する物体に関する高さを求めることが可能になる。基準面に対する物体の高さを算出する演算は、空間情報検出装置１０に設けられた高さ算出部１６が行う。高さ算出部１６が床面５０に対する物体の高さを求めるから、床面５０に沿った物体の外周形状と併せることによって、物体の３次元形状が求められる。

ところで、計測装置２０の受光光学系２１２，２２２は、魚眼レンズであるか魚眼レンズに相当する機能を有するレンズであるから、撮像画像において、カメラ２１，２２の光軸付近である中央側の領域より周辺側の領域のほうが単位面積当たりの情報量が多くなっている。そのため、撮像画像の中央側の領域は撮像画像の周辺側の領域と比較すると計測精度が高くなる。すなわち、角度θの可変範囲は、０≦θ≦π／２であるから、角度θが０付近である場合に計測精度が高くなり、角度θがπ／２付近になると計測精度が低下する。

このことを踏まえて、分布抽出部１５は、角度（θ，φ）の度数分布を生成する際に、角度（θ，φ）を求めた３次元データの位置に応じて度数に重み係数を乗じることが望ましい。重み係数は、撮像画像の中央側の領域に対応する３次元データに対して、撮像画像の周辺側の領域に対応する３次元データよりも大きい重み係数を乗じることが望ましい。重み係数ｗは、たとえば以下のように定められる。
ｗ＝−（２／π）θ＋１ （０≦θ≦π／２）
このように、広角レンズを用いて得られる撮像画像における領域ごとの情報量の相違に着目し、情報量に応じて重み係数を設定して度数分布を求めることにより、度数分布から得られる情報の信頼性を高めることが可能になる。つまり、度数分布に基づく基準面の抽出の信頼性が高くなる。

上述した動作例では、１回の撮像により得られた３次元データを用いて角度（θ，φ）の度数分布が生成されているが、計測装置２０の位置は固定されているから、複数回の撮像により得られた３次元データを用いて度数分布を生成してもよい。ただし、度数分布の生成には、カメラ２１，２２の視野内に移動する物体が存在しない期間の３次元データを用いる必要がある。計測装置２０から取得した複数組の３次元データを用いて度数分布が生成されると、度数差が広がるから向き閾値による判別がより容易になる。

上述のように、小平面の法線の方向（つまり、角度（θ，φ））の度数分布を用いて基準面を検出するから、基準面を簡単かつ精度よく検出することが可能になる。しかも、計測装置２０から基準面までの距離も考慮して基準面を推定するから、床面５０を検出する場合に、机上面４１、椅子の座面４２、棚の上面のような床面５０と平行な面を誤検出することが防止される。すなわち、後述する人位置の検出の際には、机や棚が配置されている領域を除外して人４０（図２参照）の位置を検出することが可能になる。

（人位置検出装置）
空間情報検出装置１０は、計測装置２０に対する基準面の傾きおよび距離を自動的に求め、対象空間における基準面と計測装置２０との関係を自動的に抽出するから、計測装置２０を設置するだけで、装置座標系から空間座標系への変換が可能になる。また、装置座標系の３次元データを空間座標系の３次元データに変換することにより、基準面に対する物体の高さを検出することが可能になっている。

このような空間情報検出装置１０の機能を用いることにより、対象空間における人４０（図２参照）の存否および人４０の位置を検出することが可能になる。以下では、図１を用いて、空間情報検出装置１０を用いて人４０の存否および位置を検出する人位置検出装置３０について説明する。

人位置検出装置３０は、いずれも第２記憶部１２２に記憶された基準の３次元データ（第２の３次元データ）および比較用の３次元データ（第３の３次元データ）を用いて人４０の存否および位置を検出する。第２記憶部１２２は、取得部１１が異なる時刻に取得した複数の３次元データを記憶している。具体的には、第２記憶部１２２には、対象空間に人４０が存在しないことが保証されている期間に得られた基準の３次元データと、対象空間を監視する期間に得られた比較用の３次元データとが格納される。対象空間に人４０が存在しない期間に得られた基準の３次元データは、対象空間の背景に相当する３次元データであるから、以下では「背景データ」と呼ぶ。また、対象空間を監視する期間に得られた比較用の３次元データは、監視対象となる３次元データであるから、「監視データ」と呼ぶ。

人位置検出装置３０は、監視データを用いて求めた距離と背景データを用いて求めた距離との差分を算出する差分演算部３１と、差分演算部３１により算出された差分を用いて人４０が存在する位置を推定する人位置推定部３２とを備える。

差分演算部３１は、監視データと背景データとについて距離画像における同座標（α，β）ごとに距離Ｌｑの値の差分を求める。つまり、差分演算部３１は、計測装置２０からの距離Ｌｑの差分を求めることにより、背景データに対して変化が生じた部位を抽出する。

監視データにおいて背景データに対して距離Ｌｑが変化した領域は、移動した物体に対応すると考えられ、移動した物体は人４０である可能性を有しているから、監視データと背景データとの差分に変化が生じた領域があれば、この領域は人４０の候補領域すなわち人４０が存在する候補領域とみなされる。ただし、差分が小さい場合には誤差の可能性があり、また対象空間を小動物が移動した場合も差分に変化が生じる可能性がある。

したがって、人位置推定部３２は、誤差や小動物などによる差分の変化を除去して人４０を検出するために、差分演算部３１が求めた差分（監視データと背景データとの差分）が規定した判定閾値を超える場合に、差分が変化した領域を人４０の候補となる領域と判断する。すなわち、人位置推定部３２は、監視データと背景データとの差分を判定閾値によって２値化していることになる。ここで、２値化後のデータは、閾値を超える画素に１を対応付け、閾値以下の画素に０を対応付けた２値画像になる。つまり、この２値画像において画素値が１である領域は人４０の候補となる領域になる。

人位置推定部３２は、人４０の候補となる領域に対して、記憶部１２に格納されているデータを適用し、装置座標系から空間座標系への座標変換を行う。この座標変換により、人４０の候補となる領域について基準面からの高さが求められる。したがって、人位置推定部３２は、人４０の候補となる領域から求めた基準面からの高さを、人４０の身長に基づいて指定される高さ範囲と比較することにより、人４０と他の物体とに判別する。この処理により、椅子、ゴミ箱、ノートパソコンなど、移動する物体であっても、基準面からの高さが指定した高さ範囲ではない物体は人４０の候補から除外される。

すなわち、人位置推定部３２は、推定した基準面の向きおよび距離を利用して対象空間に存在する物体の基準面からの高さを計測するから、人４０と他の物体とを高さの相違によって区別し、他の物体を誤検出する可能性が低減される。しかも、基準面である床面５０からの高さ範囲を定めているから、人４０の身長とは明らかに異なる高さの物体を誤検出することが防止される。

人位置推定部３２は、検出された人４０の候補である領域のうち、クラスタを形成する領域について重心を求め、重心を基準面に投影した位置を人４０の位置とする。ここに、クラスタを形成する領域とは、当該領域に含まれる点（画素に対応する点）の距離を評価し、所定の閾値内の距離である点の集合を意味する。クラスタを求めるには、Mean-Shiftクラスタリングのような周知のクラスタリング方法を採用してもよい。

上述した動作例は、３次元データである監視データと背景データとの差分を用いる技術について説明したが、計測装置２０で生成された視差画像の差分を用いて人４０の候補の領域を求めることが可能である。視差画像を用いる場合、記憶部１２は、角度（α１，β１）で表した座標ごとに画素値として視差Ｄｑを格納する。また、差分演算部３１は、同座標（α１，β１）の画素値（視差Ｄｑ）の差分を求める。人位置推定部３２が行う処理は、３次元データを用いる場合と同様であって、差分が変化した領域を２値化して抽出し、この領域について基準面からの高さの情報に変換し、クラスタの重心位置を人４０の位置とすればよい。

さらに、３次元データと視差画像とを併用して人４０の候補の領域を求めてもよい。すなわち、上述したように３次元データの差分を２値化することにより抽出した人４０の候補である領域と、視差画像の差分を２値化することにより抽出した人４０の候補の領域とを、座標変換後に合成し、合成された領域を人４０の候補の領域に用いてもよい。領域の合成には、論理和を用いれば人４０の候補の領域が検出されやすくなり、論理積を用いれば人４０の候補の領域を絞り込むことになる。

空間情報検出装置１０と連携した人位置検出装置３０の動作を図９にまとめて示す。図示例は、３次元データ（距離画像）を用いる場合を示している。空間情報検出装置１０の取得部１１は、背景データ（第２の３次元データ）を取得し（Ｓ１１）、背景データを第２記憶部１２２に記憶する（Ｓ１２）。また、空間情報検出装置１０の基準設定部１３は、床面５０の向きおよび距離を算出し（Ｓ１３，Ｓ１４）、記憶部１２に装置座標系から空間座標系への座標変換のためのデータを格納する（Ｓ１５）。

その後、空間情報検出装置１０の取得部１１は監視データ（第３の３次元データ）を取得し（Ｓ１６）、人位置検出装置３０の差分演算部３１は、監視データと背景データとの差分により人４０の候補となる領域を抽出する（Ｓ１７）。人位置検出装置３０の人位置推定部３２は、この領域について床面５０からの高さにより人４０が存在するか否かを評価し（Ｓ１８）、この領域に人４０が存在すると評価した場合、人位置検出装置３０は、クラスタを形成している領域の重心を人４０の位置として算出する（Ｓ１９）。監視データの取得を含むステップＳ１６〜Ｓ１９の動作は、監視が終了するまで（Ｓ２０：Ｙｅｓ）、適宜の時間間隔で繰り返し行われる。

上述した構成例では、計測装置２０と空間情報検出装置１０（人位置検出装置３０）とを別体として説明しているが、これらを一体化して１つの筐体に収納した装置を構成してもよい。

本発明を好ましい実施形態によって記載したが、本発明の本来の精神および範囲、すなわち請求の範囲を逸脱することなく、当業者によってさまざまな修正および変形が可能である。

Claims (11)

1. 対象空間に関して計測装置が計測した第１の３次元データを取得する取得部と、
   前記対象空間における着目領域に複数個の小平面を設定し、前記着目領域における前記第１の３次元データを用いて前記複数個の小平面の各々について、前記計測装置に規定した装置座標系での向き、および前記計測装置からの距離を求める面素算出部と、
   前記面素算出部が求めた前記複数個の小平面の各々の向きおよび距離に基づいて前記対象空間を計測するための基準面を定める基準設定部とを備える
   ことを特徴とする空間情報検出装置。
2. 前記面素算出部が算出した前記複数個の小平面の向きについて度数分布を求める分布抽出部をさらに備え、
   前記基準設定部は、前記分布抽出部が求めた度数分布において規定した向き閾値以上の度数である向きから前記基準面の向きを求める
   ことを特徴とする請求項１記載の空間情報検出装置。
3. 前記分布抽出部は、前記複数個の小平面の向きのうち、指定された向き範囲内の向きについて前記度数分布を求める
   ことを特徴とする請求項２記載の空間情報検出装置。
4. 前記計測装置は、広角レンズを備えるカメラで撮像した前記対象空間の画像を用いて前記第１の３次元データを出力する構成であって、
   前記分布抽出部は、前記複数個の小平面のうち前記画像の中心側の領域における小平面の向きの度数に、前記複数個の小平面のうち前記画像の周辺側の領域における小平面の向きの度数よりも大きい重みを付与して前記度数分布を求める
   ことを特徴とする請求項２又は３記載の空間情報検出装置。
5. 前記基準設定部は、前記複数個の小平面のうち、前記計測装置からの距離が最大である小平面から前記基準面を求める
   ことを特徴とする請求項１〜４のいずれか１項に記載の空間情報検出装置。
6. 前記対象空間は建物の空間であって、前記基準面は前記建物の床面である
   ことを特徴とする請求項１〜５のいずれか１項に記載の空間情報検出装置。
7. 前記第１の３次元データを用いることにより、前記対象空間に存在する物体に関して前記基準面からの高さを算出する高さ算出部をさらに備える
   ことを特徴とする請求項６記載の空間情報検出装置。
8. 前記取得部が異なる時刻に取得した複数の前記第１の３次元データを記憶する記憶部をさらに備え、
   前記面素算出部は、前記記憶部に記憶された前記複数の前記第１の３次元データの変化が規定した誤差範囲内である領域から前記着目領域を抽出する
   ことを特徴とする請求項１〜７のいずれか１項に記載の空間情報検出装置。
9. 前記面素算出部は、前記計測装置が異なる時刻に計測した複数組の前記第１の３次元データから前記複数個の小平面の各々の向きの候補を複数回ずつ求め、前記複数個の小平面の各々の向きの候補についての統計的処理により前記複数個の小平面の各々の向きを決定する
   ことを特徴とする請求項１〜８のいずれか１項に記載の空間情報検出装置。
10. 請求項７記載の空間情報検出装置と、
    前記対象空間に人が存在しないときに前記計測装置が計測した第２の３次元データを記憶する記憶部と、
    前記対象空間を監視する期間に前記計測装置が計測した第３の３次元データを用いて求めた距離と、前記記憶部が記憶している前記第２の３次元データを用いて求めた距離との差分を算出する差分演算部と、
    前記差分演算部により算出された前記差分が規定の判定閾値を超える領域について前記基準面に対する高さを評価することにより人が存在する位置を推定する人位置推定部とを備える
    ことを特徴とする人位置検出装置。
11. 前記人位置推定部は、前記基準面に対する前記高さが指定された高さ範囲内である領域から前記人が存在する位置を求める
    ことを特徴とする請求項１０記載の人位置検出装置。

Images