JP4471866B2

JP4471866B2 - 人物検出方法

Info

Publication number: JP4471866B2
Application number: JP2005050109A
Authority: JP
Inventors: 健太郎林; 敬秀平井; 耕一笹川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-02-25
Filing date: 2005-02-25
Publication date: 2010-06-02
Anticipated expiration: 2025-02-25
Also published as: JP2006236025A

Description

本発明は、人物検出方法に関し、特に、床面上に起立した人物をステレオカメラを用いて検出する技術に関する。

従来から、ステレオカメラ等を用いて得られた画像を処理することによる人物検出が行われている。

例えば、特許文献１には、横断歩道上の人物をステレオカメラを用いて検出する手法が開示されている。また、特許文献２には、３次元データを特定平面に投影し、投影された面積より混雑度を計測する手法が開示されている。また、特許文献３には、ステレオ画像から３次元情報を抽出し、人物等の物体が存在する地面などの基準平面を推定し、この基準平面より上にある物体を追跡する手法が開示されている。また、非特許文献１には、複数のステレオカメラを用いて人物検出および人物追跡を行う手法が開示されている。

特開２００２−２４９８６号公報特開２００１−３４８８３号公報特開２０００−１１５８１０号公報依田育士、他１名、"ユビキタスステレオビジョンによる実時間実環境ヒューマンセンシング"、［online］、平成１５年６月１３日、画像センシング技術研究会、［平成１６年１月９日検索］、インターネット＜ＵＲＬ： http://www.media.eng.hokudai.ac.jp/~liuxj/bak/pdf/F-19.pdf＞

ステレオカメラを用いて得られた画像を処理する場合には、計測される人物とステレオカメラとの距離が大きくなると、誤差が大きくなってしまうという問題点があった。

本発明は以上の問題点を解決するためになされたものであり、人物とステレオカメラとの距離が大きい場合の誤差を低減できる人物検出方法を提供することを目的とする。

本発明に係る人物検出方法は、人物をステレオカメラを用いて検出する人物検出方法であって、ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の世界座標系における点とステレオカメラとの距離であるステレオ距離を求める工程と、点を床面上のヒストグラムのビンへ人物の起立方向に投影したときの点数を加算することにより点数の和を得る工程と、ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、所定の領域内において和に基づく特徴量を求める特徴量算出工程と、特徴量に基づき人物を検出する人物検出工程とを備える。

本発明に係る人物検出方法は、人物をステレオカメラを用いて検出する人物検出方法であって、ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の世界座標系における点とステレオカメラとの距離であるステレオ距離を求める工程と、点を床面上のヒストグラムのビンへ人物の起立方向に投影したときの点数を加算することにより点数の和を得る工程と、ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、所定の領域内において和に基づく特徴量を求める特徴量算出工程と、特徴量に基づき人物を検出する人物検出工程とを備えるので、ステレオ距離による誤差を低減できる。従って、ヒストグラム上に安定したピークを得ることができるので、精度をより高めることができる。また、ステレオ距離による誤差を低減できることにより、ステレオカメラを設置するときに、人物との距離を考慮する必要がなくなるので、ステレオカメラの設置場所に関する制限を緩和することができる。

＜実施の形態１＞
実施の形態１に係る人物検出方法においては、起立した人物は基準平面（以下では床面とも呼ぶ）に対して垂直方向に長い棒状の物体であると仮定できることに着目し、人物表面上の点を床面に投影しその点の個数のヒストグラムを作成する。また、ステレオカメラからの距離が大きい点ほど視差に対する誤差が大きくなることを考慮し、ステレオカメラからの距離に基づく大きさを与えられた所定の領域（ウィンドウ）において、ヒストグラム値の平均値またはばらつき等からなる特徴量を求め、この特徴量を用いて人物を検出することを特徴とする。

図１において、ステレオカメラ１０は、ベースラインＤだけ離れたカメラ１０Ｌおよびカメラ１０Ｒを有し、床面３０上に起立した人物４０の身長よりも高い高さＢを有する位置に固定されている。また、ステレオカメラ１０には、ステレオカメラ１０から得られる画像情報を処理するコンピュータ２０が接続されている。

次に、図２のフローチャートを用いて、本実施の形態に係る人物検出方法を説明する。

まず、ステップＳ１において、コンピュータ２０は、ステレオカメラ１０から得られる画像情報に基づき、人物４０表面上の点に対して、視差ｄの計測を行う。ここで、点とは、三次元空間を所定の解像度に基づき分割した場合の計測の最小単位のことである。また、この視差ｄは、人物４０表面上の全ての点（人物４０の表面のうち影で計測できない点や黒塗り部分等の画像情報の存在しない点を除く）において、計測される。これにより、コンピュータ２０は、人物４０について、解像度に等しい分解能を有する視差画像すなわち密な視差画像を得る。この視差画像は、カメラ１０Ｌ，１０Ｒに対応した二枚の画像から計算により得られる一枚の画像である。

次に、ステップＳ２において、コンピュータ２０は、得られた視差画像から、各点において、ステレオカメラ１０と人物４０との距離であるステレオ距離を算出する。

なお、算出されたこのステレオ距離と、人物４０の実身長Ｈとからは、図１に示されるような立体視画像４５が得られる。ここで、人物４０の実身長Ｈは、既存の手法により観測してもよく、または一般的な平均値（日本人であれば約１６４ｃｍ）を用いてもよい。この立体視画像４５から、人物４０の画像上の身長である画像身長ｈが得られる。

次に、ステップＳ３において、コンピュータ２０は、算出された各点のステレオ距離を用いて、世界座標系における上記の人物４０表面上の全ての点の座標を算出する。図１においては、この世界座標系は、ＸＹＺ座標系として示されている。図１において、床面３０はＸＹ平面に対応し、ベースラインＤはＹ軸に平行であり、ステレオカメラ１０から見て奥行方向がＸ軸に一致し、人物４０はＺ軸方向に起立している。

次に、ステップＳ４において、コンピュータ２０は、上記の人物４０表面上の全ての点（以下では、これらの点を任意の点Ｐで代表させ説明を行う）を、床面３０上すなわちＸＹ平面上に投影することによりヒストグラムを作成する。具体的には、図３に示すように、床面３０を、ヒストグラムを作成する単位となる領域であるビン５０（図３においては、点線で囲まれた矩形）に分割し、全てのビン５０上の全てのＺ座標において、それぞれ、点Ｐが存在するかどうか（すなわち、任意のビン５０の任意のＺ座標において、人物４０表面が計測されるかどうか）を確認する。そして、確認された点Ｐの個数をビン５０毎にＺ軸方向に加算する。これにより、加算された点Ｐの個数が比較的に多いビン５０においては、人物４０（の表面）が存在していると判断することができる。即ち、投影される点Ｐの個数のヒストグラムのピークから人物４０の位置を求めることができる。

このとき、上述したように、ステレオ距離が大きくなるほど、算出される点Ｐの座標の誤差は大きくなる。図４に、ステレオ距離と点Ｐの座標の誤差との関係を示す。視差ｄの誤差Δｄに対する点Ｐの誤差は、矩形６０の各辺の長さで表され、ステレオ距離が大きくなるほど大きくなる。

そこで、上記の誤差の影響を低減するために、本発明においては、以下に説明するように、点Ｐの座標に、誤差に対応させて、ステレオ距離に基づく広がりを与える。

図３に示すように、点Ｐの広がり７０は、ステレオカメラ１０からの距離に基づく長さσ_cx，σ_cyを有する辺からなる矩形で表される。このσ_cx，σ_cyは、図４における矩形６０各辺の長さにそれぞれ対応している。すなわち、広がり７０は、ステレオ距離が大きい場合には大きく、ステレオ距離が小さい場合には小さい。

ステップＳ５においては、図４におけるステレオカメラ１０と矩形６０との幾何関係（即ち、ステレオカメラ１０と広がり７０との幾何関係）から導かれる以下の式（１），（２）を用いることによりσ_cx，σ_cyを算出する。

σ_cx＝ξσ_d／ｄ²・・・（１）
σ_cy＝Ｄσ_d／ｄ・・・（２）

ここで、ξは、ξ＝ｄｚ（ｚは点ＰのＺ座標）を満たす定数であり、σ_dは、一般的なステレオ計測における誤差標準偏差を表す定数である。また、式（１）は、ｚ＝ξ／ｄで表される式に対してｄの１次のテーラー展開を行うことにより求められる。式（１），（２）において、ステレオ距離が大きい場合には、視差ｄは小さくなるので、σ_cx，σ_cyは、いずれも大きくなる。すなわち、広がり７０は、ステレオ距離に基づき点Ｐを床面３０に平行な平面上に面として広げたものである。

図５には、式（１），（２）から算出されたσ_cx，σ_cyと、加算された点の個数の特徴量（例えば平均値）を求めるための矩形状の所定の領域（ウィンドウ）９０の大きさであるウィンドウサイズ（Ｘ方向の長さ＝ｗ_w，Ｙ方向の長さ＝ｈ_w）との関係が示されている。ウィンドウ９０は、例えば、その中心がヒストグラムのピークに重なるような位置に定められるとする。

図５に示されるように、ウィンドウサイズ（ｗ_w，ｈ_w）は、人物４０の肩幅Ｗと人物４０の胸厚Ｗ_Dと定数Ｆｑとを用いて、以下の式（３），（４）で表される。

ｗ_w＝Ｆ_qσ_CX・・・（３）
Ｆ_qσ_cy＋Ｗ_D≦ｈ_w≦Ｆ_qσ_cy＋Ｗ・・・（４）

ここで、定数Ｆ_qは、図５においてウィンドウ９０がヒストグラムのピークおよびその周辺領域を十分にカバーできるような値（例えば、Ｆ_q＝６）に定められるとする。

図５に示されるように人物４０がステレオカメラ１０に対して前向きで起立している場合には、ｈ_w＝Ｆ_qσ_cy＋Ｗとなるが、人物４０がステレオカメラ１０に対して横向きで起立している場合には、ｈ_w＝Ｆ_qσ_cy＋Ｗ_Dとなる。すなわち、ｈ_wは、式（４）に示されるように、所定の幅を有し不等式で表される。従って、ｈ_wとしては、これらの間の任意の値（例えば、ｈ_w＝Ｆ_qσ_cy＋（Ｗ＋Ｗ_D）／２）に定めてよい。一方、ｗ_wは、ステレオカメラ１０とウィンドウ９０との距離のみに依存し人物４０の向きにはほとんど依存せず、式（３）に示されるように一定となる。

上述したように、σ_CXおよびσ_cyはステレオ距離が大きくなると大きくなるので、式（３）〜（４）で示されるウィンドウサイズ（ｗ_w，ｈ_w）も、ステレオ距離が大きくなると大きくなる。これにより、ステップＳ７において後述するように、判定の際のステレオ距離による誤差を低減することが可能となる。

なお、図５において、例えば、人物４０が、ステレオカメラ１０に対して横向きになることがなく且つステレオカメラ１０の光軸付近（すなわちステレオカメラ１０の正面付近）でのみ観測されるとすると、式（４）におけるσ_cyは無視できるので、ｈ_w＝Ｗ（日本人であれば約４２．５ｃｍ）と近似してもよい。

次に、ステップＳ６において、ステップＳ４〜５でそれぞれ位置および大きさ（ウィンドウサイズ）が定められたウィンドウ９０内において、加算された点の個数（ヒストグラム値）について、実際に観測される平均値（実測平均値）および理論上で推定（期待）される平均値（推定平均値）のそれぞれを求める。そして、ステップＳ７において、実測平均値と推定平均値とを比較することにより、ウィンドウ９０内に人物４０が存在するかどうかを判定する。以下では、図６を用いて、この判定手法について説明する。

図６（ａ）においては、簡単のために、人物４０を、ヒストグラムのピークを通りＹＺ平面に平行な平面９２と仮定する。この平面９２は、高さＨおよび幅ｗ_wを有する。また、図６（ｂ）に示されるように、この平面９２は、ステレオカメラ１０へ投影されることにより、高さｎ［ｐｉｘｅｌ］および幅ｍ［ｐｉｘｅｌ］を有する画像９４が生成される。図６においては、ｎ＝６，ｍ＝４，ｗ_w＝３ξ_yである場合について示されている（なお、ビン５０のＸ方向およびＹ方向の長さをそれぞれξ_xおよびξ_yとしている）。

画像９４に含まれる（ｎ×ｍ）個の点は、計測誤差（例えば人物４０と背景との色が同一である場合等に発生する）およびステレオカメラ１０の画面上におけるランダムノイズが無視できれば、全てＸＹ平面上に投影されヒストグラムに反映されるはずである。すなわち、真のヒストグラム値ｋは、以下の式（５）で表される。

ｋ＝ｍ×ｎ・・・（５）

しかし、実際には、計測誤差およびノイズにより、投票値は変動する。従って、観測が成功する確率すなわち計測精度ρ（例えば、０．５とする）およびノイズに起因する投票値の変動ν（例えば、１とする）を用いると、投票値ｋ’＝ｋ×ρ＋ν＝６×４×０．５＋１＝１３となる。上述したように、平面９２は、幅ｗ_w＝３ξ_yを有するので、この投票値が幅ｗ_w＝３ξ_yに分散してＸＹ平面に投影されると考えると、ウィンドウ９０内において１個のビン５０あたり観測されることが推定される推定ヒストグラム値の平均値すなわち推定平均値μ_kは、以下の式（６）で表される。

μ_k＝ｋ’／（ｗ_w／ξ_y）＝１３／３≒４．３・・・（６）

このようにして求められた推定平均値μ_kを、実際の観測により求められた実測平均値Ａ_kと比較することにより、ステップＳ７において、ウィンドウ９０内に人物４０が存在するかどうかを判定することができる。具体的には、推定平均値μ_kと実測平均値Ａ_kとの差が、予め定められた閾値より小さい場合には（すなわち、実測平均値Ａ_kが推定平均値μ_kを中心とした所定の範囲内にある場合には）、ウィンドウ９０内に人物４０が存在すると判定する。

次に、ステップＳ８において、全ての点ＰについてステップＳ５〜Ｓ７が実行されたかどうかを確認する。実行されていない場合にはステップＳ５に進み、実行された場合には一連の処理が終了する。

上述の説明においては、ウィンドウ９０内のヒストグラム値の平均値を用いて、ウィンドウ９０内に人物４０が存在するかどうかを判定する場合について説明したが、判定は、ウィンドウ９０内のヒストグラム値の平均値に限らず、例えばウィンドウ９０内のヒストグラム値のばらつき（分散または標準偏差）を用いて行ってもよい。以下、図５，７を用いて、ステップＳ６〜Ｓ７において、平均値に代えてばらつきを用いた判定手法について説明する。

図５に太線で示される線分９６は、その長さをＦ_qＬとすると、以下の式（７）で表される。

ここで、視差ｄには、真の視差を中心として分散σ_d ²を有する正規分布で表される計測誤差が加わっていると仮定できる。図７（ａ）に示されるように、この観測点をヒストグラムとしてＸＹ平面上に投影すると、投影後のヒストグラム値は、線分９６上で人物４０の重心Ｐ’を中心として（−Ｆ_qＬ／２）〜（Ｆ_qＬ／２）の範囲に分布する。なお、図７（ａ）においては、この分布を、平均値０を有する正規分布Ｎ（０，σ_d ²）で表している。

図７（ｂ）には、図７に示される正規分布Ｎ（０，σ_d ²）を累積（積分）することにより得られた累積確率分布Ｐ（ｘ，σ_d ²）が示されている。なお、図７（ａ）と図７（ｂ）とは、定性的な特性を示すためのものであるので、これらの縦軸の比は変えている。図７（ｂ）を用いることにより、ウィンドウ９０内のヒストグラム値の分散（すなわち線分９６に沿ったヒストグラム値の分散）を求めることが可能となる。線分９６に沿ったビン５０の個数Ｊ＝ｗ_w／ξ_xであり、１個のビン５０あたりの線分９６の長さ（すなわち１個のビン５０内に含まれる線分９６の部分の長さ）ξ_L＝Ｆ_qＬ／Ｊである。このとき、線分９６の端点から数えてｉ番目のビン５０における推定ヒストグラム値ｋ_iは、真のヒストグラム値ｋおよび計測精度ρを用いて、以下の式（８）で表される。

なお、図７においては、Ｊ＝６およびｉ＝２である場合について、推定ヒストグラム値ｋ_iが示されている。

式（８）で表される推定ヒストグラム値ｋ_iの期待値は、式（６）から求められる推定平均値μ_kに等しい。従って、計測誤差に起因したウィンドウ９０内における推定ヒストグラム値ｋ_iのばらつきを表す推定計測分散値σ_kd ²は、以下の式（９）で表される。

また、上記の推定計測分散値σ_kd ²とは別に、ステレオカメラ１０の画面上におけるランダムノイズに起因して、ヒストグラム値がばらつく。このばらつきを二項分布と仮定することにより、既存の手法を用いて、推定ノイズ標準偏差ζが求めることができる。推定計測分散値σ_kd ²と推定ノイズ標準偏差ζ_kとは独立であるので、推定されるヒストグラム値のばらつきの合計を表す推定標準偏差σ_k＝σ_kd＋ζ_kで表される。

このようにして求められた推定標準偏差σ_kを、実際の観測により求められた実測標準偏差Ｓ_kと比較することにより、ステップＳ７において、ウィンドウ９０内に人物４０が存在するかどうかを判定することができる。具体的には、推定標準偏差σ_kと実測標準偏差Ｓ_kとの差が、予め定められた閾値より小さい場合には（すなわち、実測標準偏差Ｓ_kが推定標準偏差σ_kを中心とした所定の範囲内にある場合には）、ウィンドウ９０内に人物４０が存在すると判定する。

このように、本実施の形態に係る人物検出方法においては、ステレオ距離に基づく広がりを与えられた所定の領域（ウィンドウ）において、ヒストグラム値の平均値またはばらつき等からなる特徴量を用いて人物が存在するかどうかを判定するので、ステレオ距離による誤差を低減できる。従って、ヒストグラム上に安定したピークを得ることができるので、精度をより高めることができる。また、ステレオ距離による誤差を低減できることにより、ステレオカメラ１０を設置するときに、人物４０との距離を考慮する必要がなくなるので、ステレオカメラ１０の設置場所に関する制限を緩和することができる。

また、実際に観測される実測特徴量と理論上で推定される推定特徴量との差を所定の閾値と比較する手法を用いることにより、人物の検出を容易に行うことが可能となる。

なお、上述においては、特徴量としてヒストグラム値の平均値またはばらつきを用いた場合について説明したが、ヒストグラム値の平均値またはばらつきに限らず、点を加算することにより得られた和（ヒストグラム値）に基づきウィンドウ内において求められる特徴量であればよい。

また、上述においては、実測特徴量と推定特徴量との差を所定の閾値と比較する手法を用いて人物を検出する場合について説明したが、このような手法に限らず、例えば、実測特徴量のみを用いて人物を検出してもよい。

実施の形態１に係る人物検出方法を示す斜視図である。実施の形態１に係る人物検出方法を示すフローチャートである。実施の形態１に係る人物検出方法を示す上面図である。実施の形態１に係る人物検出方法を示す上面図である。実施の形態１に係る人物検出方法を示す上面図である。実施の形態１に係る人物検出方法を示す斜視図である。実施の形態１に係る人物検出方法を示すグラフである。

符号の説明

１０ステレオカメラ、１０Ｌ，１０Ｒカメラ、２０コンピュータ、３０床面、４０人物、４５立体視画像、５０ビン、６０矩形、７０広がり、９０ウィンドウ、９２平面、９４画像、９６線分、Ｂ高さ、ｄ視差、Ｄベースライン、ｈ画像身長、Ｈ実身長（高さ）、Ｐ点。

Claims

人物をステレオカメラを用いて検出する人物検出方法であって、
前記ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の世界座標系における点と前記ステレオカメラとの距離であるステレオ距離を求める工程と、
前記点を床面上のヒストグラムのビンへ前記人物の前記起立方向に投影したときの点数を加算することにより点数の和を得る工程と、
前記ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、
前記所定の領域内において前記和に基づく特徴量を求める特徴量算出工程と、
前記特徴量に基づき前記人物を検出する人物検出工程と
を備える人物検出方法。
請求項１に記載の人物検出方法であって、
前記所定の領域は矩形状であり、前記領域設定工程において、位置および大きさを定められる
人物検出方法。
請求項１又は請求項２に記載の人物検出方法であって、
前記特徴量算出工程においては、実際に観測される実測特徴量と理論上で推定される推定特徴量とが求められ、
前記人物検出工程においては、前記実測特徴量と前記推定特徴量との差を所定の閾値と比較することにより前記人物が検出される
人物検出方法。
請求項１乃至請求項３のいずれかに記載の人物検出方法であって、
前記特徴量は、前記和の平均値である
人物検出方法。
請求項１乃至請求項３のいずれかに記載の人物検出方法であって、
前記特徴量は、前記和のばらつきである
人物検出方法。