JP6276519B2 - 人数計測装置および人物動線解析装置 - Google Patents

Description

本発明は、監視カメラ中の人物を画像認識して、人物の人数を画像認識によって把握する人数計測装置および人物の動線を解析できる人物動線解析装置に関する。

カメラの映像から画像認識によって検知領域内に居る人数の情報を活用することで、商業施設や公共施設等の安全管理や交通量調査等を実現するシステムへのニーズが高まっている。例えば、入退室システムにおける個人認証前に共連れがいるか否かを判定する共連れ検知や、立ち入り禁止場所等に人がいるか否かを判定する有人検知等が、この人数の情報を活用したシステムの代表例である。これらは比較的検知領域内の人数が少ない状況を対象とする。他にも、大まかな人数を計測することで混雑の度合いを推定する混雑度推定も、人数の情報を活用したシステムの代表例である。これらは検知領域内の人数が多い状況を対象とする。すなわち、閑散とした状況を対象とする人数計測は高い精度の人数計測が求められる一方、混雑した状況を対象とする人数計測では、閑散とした状況と比較して高い精度は求められない。

また、人数計測システムの有効性を高めかつコストを削減するためには、１台のカメラおよび信号処理装置で閑散時と混雑時の両者をカバーすることが求められる。

特許文献１では、人物同士の重なりの影響を無くすために人物の真上に特別なカメラを設置して、画像中にあらかじめ設定した検知領域内の人物の頭部の数を計測することで人数計測を実現している。

しかし、このようなカメラは、人数計測専用であるものが多くコスト面への負担が大きくなるため、通常の監視カメラの映像を用いた人数計測技術が求められている。

監視カメラ映像による人数計測技術は、専用カメラのときと同様、画像中の人物を検出するために比較的人体の中でも検出が容易である頭部を検出することが多い。しかし、監視カメラには通常俯角を斜め下にして設置するため、頭の位置と床面上の足元の位置とがカメラ画像座標軸系と、実世界座標軸系では異なり、検出した頭部の位置と画像中に設定した検知領域内との整合性を取ることが必要となる。そのため、監視カメラの映像での人数計測技術では、画像中の人物における頭部の位置から足元の位置を推定した後に、その足元位置が設定した検知領域内に存在するが否かを判定し、検知領域内に存在すると判定された足元の数を計測することで人数計測を実現する。

特許文献２では、画像中の人物における頭部の位置から足元の位置を推定する技術として、背景差分処理によって画像から抽出した人体と思われる領域の下端と検出した頭部の位置との整合性を取ることで足元の位置を推定する。

また、その他にも、幾何学変換により検出した画像上の頭部の位置から３次元空間上の頭部の位置を導出して、そこから平均身長だけ真下の位置を３次元空間上の足元の位置と仮定し、再び幾何学変換を利用することで画像上の足元の位置を推定する技術も存在する。

非特許文献１では、人物同士の重なりが定常的に発生する混雑時の状況において、おおよその足元の位置を推定することができる。

特開２０１１−８６０４５号公報 特開２００１−０５６８５３号公報

小川雄三、藤吉弘亘、"実空間に対応したMaster-Slavingによる追尾カメラシステム"、第９回画像センシングシンポジウム、Ｐ.２１１−２１６、２００３年６月

特許文献２の技術では、人物同士の重なる頻度が少ない閑散時の状況であれば、人物の身長の差や姿勢の違いによる影響を受けず正確に足元の位置を推定することができる。しかし、人物同士の重なりが定常的に発生する混雑時の状況であれば、背景差分処理によって抽出する人体と思われる領域が複数の人物で連結して巨大なものとなり、推定した足元の位置が真値と大きく異なるという課題がある。

非特許文献１の技術では、人物同士の重なる頻度が少ない閑散時の状況においても平均身長により足元の位置を推定するために、標準の体形から大きく外れた子供等の人物や、検知領域内で座り込む人物では真値と大きく異なってしまい、足元を推定する精度が特許文献２の技術に比べて低いという課題がある。

本発明は、前記の課題を解決するための発明であって、監視カメラを用いた人数計測において、検知領域内で人物同士の重なる頻度が少ない閑散時の状況では正確に足元を推定して、人物同士の重なりが定常的に発生する混雑時の状況ではおおよその足元を推定することで、閑散時には高精度に人数を計測し、混雑時にはおおよその人数を計測できる人数計測装置および人物の動線を解析できる人物動線解析装置を提供することを目的とする。

前記目的を達成するため、本発明の人数計測装置は、撮像装置（例えば、カメラ２０）から画像を取得する画像取得手段と、画像から対象人物の頭部座標を検出する頭部座標検出手段と、検出された頭部座標から対象人物の足元座標を推定する足元座標推定手段と、画像を領域分割して各領域に属性を付与する際に、画像上の輝度値の時間変化に基づいて、静止状態にある静態の属性および運動状態にある動的の属性を各領域に付与する個人別領域抽出手段と、頭部座標検出手段により検出した頭部座標から、足元座標推定手段で推定した足元座標までの間の直線上の付与された属性を探索して、付与された属性から対象人物が他の人物と重なっているか否かを判定し、人物が重なっていると判定した場合、足元座標推定手段が推定した対象人物の足元座標を補正する足元座標補正手段と、画像内に設定した検出領域に、足元座標が存在するか否かを判定する足元座標領域内外判定手段と、足元座標領域内外判定手段が検出領域内に存在すると判定した足元座標を計測する人数計測手段と、を有することを特徴とする。

本発明によれば、監視カメラを用いた人数計測において、人物同士の重なりが少ない閑散時には高精度に人数を計測して、人物同士の重なりが多い混雑時にはおおよその人数を計測することができる。

本発明の実施形態１に係る機能ブロックを示す図である。 画像取得手段が取得する画像を説明する図である。 頭部座標検出手段を説明する図である。 足元座標推定手段を説明する図である。 個人別領域抽出手段が領域分割する画像の一例を示す図である。 個人別領域抽出手段の領域分割手法のフローを説明する図である。 ピクセル状態分析法以外の画像を領域に分割して領域毎に属性を付与する一例の方法を説明する図である。 足元座標補正手段のフローを説明する図である。 足元座標補正手段が足元座標を補正する画像の一例を示す図である。 足元座標補正手段の処理Ｓ４を説明する図である。 足元座標補正手段の処理Ｓ６を説明する図である。 足元座標領域内外判定手段を説明する図である。 本発明の実施形態２に係る機能ブロックを示す図である。 動線抽出手段により動線を抽出する画像の一例を示す図である。 動線抽出手段が抽出した動線を説明する図である。 動線解析手段を説明する図である。 混雑時の状況の一例を示す図である。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。
<<実施形態１>>
図１は、本発明の実施形態１に係る機能ブロックを示す図である。図１に示す人数計測装置１０は、カメラ２０（撮像装置、図２参照）中の人物を画像認識して、人物の人数を画像認識によって把握する人数計測装置である。

人数計測装置１０は、少なくとも１つ以上のカメラ２０（図２参照）から画像を取得する画像取得手段１、画像上における人物の頭部の位置を検出する頭部座標検出手段２、人物の頭部の位置から足元の位置を推定する足元座標推定手段３、画像特徴量等から画像上における人物が含まれる領域を個人ごとに抽出する個人別領域抽出手段４、足元座標推定手段３によって推定した足元の位置を個人別領域抽出手段４によって抽出した個人ごとの領域を用いて補正する足元座標補正手段５、人物の足元の位置が画像上に設定した検知領域内に存在するか否かを判定する足元座標領域内外判定手段６、画像上に設定した検知領域内に足元の位置が存在する人物の数を計測する人数計測手段７を有している。なお、人数計測装置１０は、各手段の演算を行う演算装置、主記憶装置、外部記憶装置を有す計算機において実現される。

以下、各手段の詳細について説明する。
（画像取得手段１）
画像取得手段１は、所定の時間周期で天井付近に設置されたカメラ２０から入力画像を取得する。

図２は、画像取得手段１で取得する画像を説明する図である。図２(ａ)は空間中において、カメラ２０が、被写体２１をカメラ２０の画角２２に捉えた状況の一例であり、図２（ｂ）は、入力画像２３を示す図である。カメラ２０は、人物の頭部の位置よりも上の高さに備え付けられており、カメラ２０の画角は被写体２１の全身を捉えている。図２（ｂ）において、入力画像２３はカメラ２０から画像取得手段１により取得した入力画像、人物２４は入力画像中の被写体２１を示す。なお、カメラ２０は、通常の監視カメラを用いることができる。

（頭部座標検出手段２）
図３は、頭部座標検出手段２を説明する図である。頭部座標検出手段２は、入力画像２３を受け取ると、図３に示す入力画像２３中のあらゆる位置・サイズの検知枠２７に対して、非特許文献２のHaar-like特徴量によって頭部である信頼度が高いか低いかを判定していくことで人物２４の顔を検出して、検出した顔から画像座標軸２５における頭部座標２６を取得する。検出した顔から頭部座標２６を取得する手段としては、例えば、人物２４を検出した検知枠２７の上辺中央の画像座標を用いることで容易に求まる。なお、非特許文献２以外にも、検知枠２７内が頭部か頭部以外かを判定できる方法であれば、他の方法でもよい。

［非特許文献２］P.Viola, and M.Jones,“Robust Real-time face detection”, International Journal of Computer Vision, Vol.57, no.2, pp.137-154,2004.

（足元座標推定手段３）
図４は、足元座標推定手段３を説明する図である。図４（ａ）は入力画像２３内の足元座標３４の抽出を説明する図であり、図４（ｂ）は図４（ａ）に示す鉛直の方向３０の推定方法を示す図である。足元座標推定手段３は、頭部座標検出手段２により抽出した画像座標軸２５（画像座標軸系）の頭部座標２６から、人物と床が接していると考えられる図４(ａ)に示す鉛直の方向３０に直線３１を伸ばし、直線３１と背景差分処理等によって抽出した人体領域３２と背景領域３３との境界線との交点を足元座標３４として抽出する。

図４（ｂ）を参照して、足元座標推定手段３において、方向３０の推定方法について説明する。なお、方向３０の推定に必要であるカメラ２０の高さ、俯角、画角、カメラ２０のレンズの焦点距離等のカメラパラメータはあらかじめ用意されているものとする。

方向３０の推定方法において、図４（ｂ）に示すカメラ画像座標軸２８（カメラ画像座標軸系）の頭部座標３５である(x_ch,y_ch,z_ch)は、画像座標軸２５上の頭部座標２６である(u_h,v_h)に対して式（１）で一意に定まる。

式（１）において（u_c,v_c)は画像２３の中心座標、fはカメラのレンズの焦点距離である。また、実世界座標軸３９（実世界座標軸系）の頭部座標３６である(x_wh,y_wh,z_wh)は、カメラ画像座標軸２８上の頭部座標３５である(x_ch,y_ch,z_ch)に対して、式（２）で一意に定まる。

式（２）において、Ｒは実世界座標からカメラ座標に変換するための回転行列であり、カメラパラメータから求めたピッチ回転行列Ｒ_x、ヨー回転行列Ｒ_y、ロール回転行列Ｒ_zに対して、式（３）で一意に定まる。なお、Ｒ^ＴはＲの転置行列である。

式（２）において、Ｔは実世界座標上のカメラの高さＣ_ｈに対してＴ=[0 0 Ｃ_ｈ]と表される平行移動ベクトルである。また、式（２）において、z_whは実世界座標軸上の頭部座標のｚ座標であるためその値は必ず１以上であり、z_whを任意の１以上の実数として定めることで実数αは容易に求められる。ここでは、z_whを人の平均身長３８と定めて、式（２）を実数αについて解くことで実数αを求める。

実世界座標軸３９の頭部座標３６である(x_wh,y_wh,z_wh)において、対象の人物が床面に対して垂直に立ち頭部の真下に足元があると仮定すると、実世界座標軸３９上で頭部座標３６の鉛直下方向に存在する足元座標３７である(x_wf,y_wf,z_wf)は、式（４）により一意に定まる。

式（４）で定めた足元座標３７である(x_wf,y_wf,z_wf)に対して、式(２)、式(１)の逆変換を順に行うと、画像座標軸２５上における足元座標３４である(u_f,v_f)が一意に定まり、画像座標軸２５上における頭部座標２６である(u_h,v_h)と足元座標３４である(u_f,v_f)との傾きを求めることで、方向３０を推定できる。

図４で説明した座標をまとめると以下となる。
画像座標軸２５上の頭部座標２６である(u_h,v_h)
画像座標軸２５上の足元座標３４である(u_f,v_f)
カメラ画像座標軸２８上の頭部座標３５である(x_ch,y_ch,z_ch)
実世界座標軸３９上の頭部座標３６である(x_wh,y_wh,z_wh)
実世界座標軸３９上の足元座標３７である(x_wf,y_wf,z_wf)

（個人別領域抽出手段４）
図５は、個人別領域抽出手段４が領域分割する画像の一例を示す図である。図５(ａ)は入力画像４０の例を示す図であり、図５（ｂ）は画像取得手段１で得られた時系列の連続したフレームにおける映像の一例を示す図である。個人別領域抽出手段４は、画像特徴量等から画像を領域分割して各領域に属性を付与し、各人物の画像座標軸２５上の頭部座標２６がどの属性の領域に含まれるか判定することで、個人の領域を抽出する。

ここでは、画像を領域分割する手法として、画像上の輝度値の長期的変化および短期的変化を参照することで、静態の属性の領域(画像内に進入した、静止状態にある物体の領域)あるいは動態の属性の領域(画像内に進入した、運動状態にある物体の領域)に分割する手法を使用する。

個人別領域抽出手段４における処理方法である、図５（ａ）に示すように入力画像４０を、静態の属性（ＳＴ）を持つ領域４５、動態の属性（ＴＲ）を持つ領域４６、背景の属性（ＢＧ）を持つ領域４７に領域分割するピクセル状態分析法について説明する。

図５（ｂ）は図１における画像取得手段１によって得られた時刻Ｔにおける入力画像４０と、画像取得手段１によって得られた時刻Ｔよりも過去の時刻Ｔ-１，Ｔ-２における過去入力画像４１ａ，４１ｂと、画像取得手段１によって得られた時刻Ｔよりも未来の時刻Ｔ+１，Ｔ+２における未来入力画像４２ａ，４２ｂとの連続したフレームにおける映像の一例である。

図５（ｂ）の時刻Ｔにおける人物は、静態人物４４ａ，４４ｂ、動態人物４３である。ピクセル状態分析法では、輝度値の急激な変化（画像上の輝度値の短期的変化）と不安定な状態から安定した状態への遷移（画像上の輝度値の長期的変化）によって、ＳＴ、ＴＲ、ＢＧという属性の領域に画像を分割する。まず、輝度値の急激な変化量Ｄは、式（５）で一意に定まる。

式（５）において、Ｉ_ｔは時刻Ｔにおける輝度値、ｎは輝度値の急激な変化量Ｄを求めるために使用する時刻Ｔよりも過去の時刻に取得したフレームの使用枚数を表し、図５（ｂ）の例ではｎ＝２となる。式（５）において、急激な輝度値の変化がピクセル上に生じたとき、変化量Ｄの値は大きくなる。次に、不安定な状態から安定した状態への遷移を捉えるために、ピクセルの安定度Ｓは式（６）で一意に定まる。

式（６）において、ｋはピクセルの安定度Ｓを求めるために使用する時刻Ｔよりも未来の時刻に取得したフレームの使用枚数を表し、図５（ｂ）の例ではｋ＝２となる。式（６）において、ピクセルの安定度Ｓは時刻Ｔから時刻Ｔ＋ｋまでに取得したフレーム間における輝度値の分散であり、ピクセルが安定した状態のときＳは小さくなる。

図６は、個人別領域抽出手段４の領域分割手法のフローを説明する図である。図６を参照して、ピクセル状態分析法における各ピクセルに属性を付与する方法について説明する。ピクセル状態分析法において、各ピクセルに付与する属性は静態の属性（ＳＴ）、動態の属性（ＴＲ）、背景の属性（ＢＧ）の３つである。

これら３つの属性を各ピクセルに付与する方法としては、まず、個人別領域抽出手段４は、各ピクセルにおいて前フレームにおけるピクセルの属性М_ｂを読み込み（処理Ｔ１）、属性М_ｂが静態の属性（ＳＴ）あるいは動態の属性（ＢＧ）、かつ、式（５）により求めた輝度値の急激な変化量Ｄが閾値th_Ｄ以上であるか否かを判定する（処理Ｔ２）。個人別領域抽出手段４は、判定条件を満たす場合（処理Ｔ２，yes）、現在のピクセルの属性М_ａを動態の属性（ＴＲ）とし（処理Ｔ３）、判定条件を満たさない場合（処理Ｔ２，no）、処理Ｔ４に進む。

次に、個人別領域抽出手段４は、属性М_ｂが動態の属性（ＴＲ）、かつ、式（６）により求めたピクセルの安定度Ｓが閾値th_Ｓ以下か否かを判定し（処理Ｔ４）、判定条件を満たさない場合（処理Ｔ４，no）、現在のピクセルの属性М_aを属性М_ｂとし（処理Ｔ５）、判定条件を満たす場合（処理Ｔ４，yes）、処理Ｔ６に進む。

次に、個人別領域抽出手段４は、あらかじめ用意した背景画像の輝度値Ｉ_bgと時刻Ｔの輝度値I_ｔの差が微小であるか否かを判定して（処理Ｔ６）、判定条件を満たす場合（処理Ｔ６，yes）、現在のピクセルの属性М_ａを背景の属性（ＢＧ）とし（Ｔ７）、判定条件を満たさない場合（処理Ｔ６，no）、現在のピクセルの属性М_ａを静態の属性（ＳＴ）とする（Ｔ８）。

個人別領域抽出手段４は、処理Ｔ１から処理Ｔ８までの処理を全ピクセルについて行い同じ属性М_ａを持つピクセル群を領域と見なすことで、入力画像４０を静態の属性（ＳＴ）を持つ領域４５、動態の属性（ＴＲ）を持つ領域４６、背景の属性（ＢＧ）を持つ領域４７に分割する。なお使用する背景画像は環境変化に追従するよう適応的に更新する。また、個人別領域抽出手段４において、領域分割の手法はピクセル状態分析法以外にも、画像を領域に分割して領域毎に属性を付与できる方法であれば、他の方法を用いてもよい。

図７は、ピクセル状態分析法以外の画像を領域に分割して領域毎に属性を付与する一例の方法を説明する図である。この一例の方法では、頭部座標検出手段２によって検出した頭部座標２６において、頭部座標２６を上辺の中央座標とした縦幅が人の平均身長、横幅が人の平均肩幅である長方形の領域４８にＡ、Ｂ、Ｃ、…と順番に属性を付与していくことで画像を、領域４８ａ，４８ｂ，４８ｃ，…と領域分割できる。

なお、図７に示す長方形の領域４８ａと領域４８ｂが重なることで複数の属性が付与された領域４９は、画像座標軸上で最も低い頭部座標２６を持つ人物が含まれる長方形の領域４８ａの属性を優先する。この一例の方法以外にも、画像中の色情報あるいはテクスチャ情報あるいはその両方の情報を用いて画像を領域分割して、その情報に基づきそれぞれの領域に属性を付与することで、例えば、ある店舗内で撮影された画像において、特定の色や形の制服を着た店員という属性の領域と店舗内のお客という属性の領域に分割できる。

（足元座標補正手段５）
図８は、足元座標補正手段５のフローを説明する図である。図９は、足元座標補正手段５が足元座標を補正する画像の一例を示す図である。図９（ａ）は個人別領域抽出手段４で属性が与えられた状態を示す図であり、図９（ｂ）は足元座標補正手段５が足元座標推定手段３によって推定した足元座標を補正することを説明する図である。

図８の概要をまず説明すると、図９(ａ)に示す入力画像４０上の動態人物４３、静態人物４４ａ、４４ｂにおいて、足元座標補正手段５は、頭部座標検出手段２によって検出した各頭部座標５０，５１ａ，５１ｂから、図９（ｂ）に示す足元座標推定手段３によって推定した足元座標５２，５３ａ，５３ｂを必要に応じて補正することができる（処理Ｓ１から処理Ｓ８のループ）。

処理Ｓ１から処理Ｓ８のループの中身を説明すると、まず、足元座標補正手段５は、頭部座標検出手段２によって検出した頭部座標から足元座標推定手段３によって推定した足元座標を読み込み（処理Ｓ２）、次に検出した頭部座標が図５（ａ）に示す個人別領域抽出手段４によって抽出した静態の属性（ＳＴ）の領域４５あるいは動態の属性（ＴＲ）の領域４６のいずれの領域内に存在するか否かを判定する（処理Ｓ３）。なお、頭部座標は必ず人体領域３２（図９（ｂ）参照）に存在するため、処理Ｓ３によって頭部座標が背景の属性の領域４７と判定されることはない。

次に足元座標補正手段５は、処理Ｓ３によって静態あるいは動態の属性が付与された領域中に頭部座標が存在する人物が、異なる属性が付与された領域中に頭部座標が存在する人物と重なっているか否かを判定する(処理Ｓ４)。足元座標補正手段５は、重なっていない場合（処理Ｓ４，no）、処理Ｓ２によって受け取った足元座標を補正せず（処理Ｓ５）、重なっている場合（処理Ｓ４，yes）、処理Ｓ２によって受け取った足元座標を以降に述べる所定の方法で補正する（処理Ｓ６）。最後に、足元座標補正手段５は、処理Ｓ５あるいは処理Ｓ６から受け取った足元座標を足元座標として出力する（処理Ｓ７）。以下、詳細の説明が必要な処理Ｓ４、処理Ｓ６の処理を述べる。

図１０は、足元座標補正手段５の処理Ｓ４を説明する図である。適宜図８を参照して説明する。入力画像４０を個人別領域抽出手段４によって静態の属性の領域４５、動態の属性の領域４６、背景の属性の領域４７に領域分割した画像において、図１０（ａ）は図９（ａ）から静態人物４４ａを中心に切り出した画像であり、図１０（ｂ）は図９（ａ）から静態人物４４ｂを中心に切り出した画像である。

図１０（ａ）の静態人物４４ａにおいて、足元座標補正手段５は、処理Ｓ４は頭部座標検出手段２により検出した頭部座標５１ａから、足元座標推定手段３で求めた鉛直下の方向６０に直線６１を伸ばし、頭部座標５１ａを始点としてその直線６１上の各ピクセルの属性を探索する。

足元座標補正手段５は、処理Ｓ４において頭部座標５１ａを始点、足元座標５３ａを終点として直線６１上の各ピクセルの属性を探索する中で、処理Ｓ３によって頭部座標５１ａが存在すると判定された領域が持つ属性（図１０（ａ）の例では静態の属性（ＳＴ））と異なる属性（図１０（ａ）の例では動態の属性（ＴＲ））を持つピクセル６２が検出された場合（図１０（ａ））は、頭部座標５１ａの人物が異なる属性の領域中に存在する人物と重なっていると判定する。

一方、足元座標補正手段５は、ピクセル６２が検出されなかった場合（図１０（ｂ））は頭部座標５１ｂの人物が異なる属性の領域中に存在する人物と重なっていないと判定する。なお、図１０（ａ）の例では静態の属性（ＳＴ）の領域中の人物の上に動態の属性(ＴＲ）の領域中の人物が重なっていたが、動態の属性（ＴＲ）の領域中の人物の上に静態の属性（ＳＴ）の領域中の人物が重なっている場合も、処理Ｓ１から処理Ｓ８のループによって異なる属性の領域中に存在する人物同士が重なっていると判定する。

図１１は、足元座標補正手段５の処理Ｓ６を説明する図である。適宜図８を参照して説明する。処理Ｓ６は図９に示す頭部座標５１ａの人物が、異なる属性の領域中に存在する人物と重なっていると処理Ｓ４によって判定された場合に、足元座標推定手段３によって推定した足元座標５３ａを頭部座標５１ａと平均身長３８から以降に述べる方法により補正足元座標７１に補正する。

足元座標補正手段５の処理Ｓ６について、図１１における頭部座標検出手段２によって検出された頭部座標５１ａ、背景差分処理等によって抽出した人体候補領域７０、足元座標推定手段３によって頭部座標５１ａから推定された足元座標５３ａを参照して説明する。処理Ｓ６において、頭部座標５１ａに対する実世界座標軸３９（図４（ｂ）参照）上の頭部座標(x_wh,y_wh,z_wh)は、式（１）と式（２）により一意に定まり、z_whを任意の１以上の実数として定めることで実数αは容易に求められる。

ここで、z_whを平均身長３８として求めた実数αから、図４で示した実世界座標軸３９上の頭部座標３６である(x_wh,y_wh,z_wh)を一意に定め、式（４）により実世界座標軸３９上でその頭部座標３６である(x_wh,y_wh,z_wh)の鉛直下方向に存在する座標である(x_wf,y_wf,z_wf)を求める。この座標(x_wf,y_wf,z_wf)は、実世界座標軸３９上における頭部座標３６から平均身長３８だけ鉛直下方向に存在する座標である。さらに、座標(x_wf,y_wf,z_wf)に対して式（２）、式（１）の逆変換により求めた画像座標軸２５上での座標(u_f,v_f)は、図９に示す頭部座標５１ａから実世界上では平均身長３８だけ鉛直下である座標の画像座標軸２５上の足元座標を示し、処理Ｓ６ではこの座標を補正足元座標７１とする。

なお、平均身長３８はあらかじめ定めた対象とする人物の平均身長からカメラパラメータ値を用いることで求めることができる。また、補正足元座標７１の検出手法は平均身長を用いる以外にも、人体候補領域を使用せずに人物のおおよその足元の位置を検出できる方法であれば、他の方法でもよい。例えば、人物同士が重なる前に足元座標推定手段３によって求めた足元座標と頭部座標を人物ごとに保存してそれら人物を連続フレームにおいてそれぞれ追跡することで、人物同士が重なった場合はその人物における重なる前の足元座標と頭部座標の情報を用いて重なった際の頭部座標からおおよその足元座標を検出する。これにより、さらに足元座標の検出精度を高めることができる。

（足元座標領域内外判定手段６）
図１２は、足元座標領域内外判定手段６を説明する図である。図１２（ａ）は、入力画像２３に対する設定した計測対象領域８０を示す図であり、図１２（ｂ）は、本実施形態の足元座標領域内外判定手段６を説明するための図である。足元座標領域内外判定手段６は、まず図１２(ａ)に示す入力画像２３にあらかじめ設定した計測対象領域８０（検出領域）に対して、図１２（ｂ）に示す例のように三角形領域８２、８３に分割する。図１２（ｂ）において、1つの三角形領域８３の各頂点をＡ、Ｂ、Ｃとし、頂点Ａを始点とすると、足元座標補正手段５によって抽出した補正足元座標８１の位置ベクトル８４は、式（７）で一意に定まる。

式（７）において、実数ｓ、ｔが式（８）を満たすならば、補正足元座標８１が三角形ＡＢＣ領域内部の点であると判定する。

足元座標領域内外判定手段６は、三角形領域ごとに式（７）、式（８）により補正足元座標８１が三角形領域内部の点であるか否かを判定して、いずれかの三角形領域内部の点であると判定されたならば補正足元座標８１が計測対象領域８０内に存在すると判定する。

なお、図１２（ｂ）の例では計測対象領域８０の形が四角形のため２つに分割しているが、計測対象領域８０がn角形の場合は（n−2）個の三角形領域に、円形の場合は近似等を利用して複数の三角形領域に分割する。また、領域内外判定の手法はベクトルを利用する以外にも、多角形あるいは円形の中にある１点が存在するか否かを判定できる手法であれば、他の方法でもよい。

（人数計測手段７）
人数計測手段７は、足元座標領域内外判定手段６によって、図１２に示す計測対象領域８０内に存在すると判定された補正足元座標８１の数を計測する。

実施形態１では、以上説明した機能構成により、通行者（例えば、図５（ｂ）の動態人物４３）と滞留者（例えば、図５（ｂ）の静態人物４４ａ）の間で重なりが発生していないかを画像特徴量により判定して（例えば、図８の処理Ｓ４）、重なりの発生の有無によって足元推定の手法を切り替えることができる（例えば、図８の処理Ｓ５、処理Ｓ６）。これにより、通行者と滞留者の重なりが少ない閑散時においては正確な足元位置を推定することで人数を高精度に計測し、通行者と滞留者の重なりが多い混雑時においてはおおよその足元位置を推定することで人数を大まかに計測できる。

また、本発明の実施形態１では以上説明した機能構成により特定属性（例えば、静態の属性（ＳＴ）、動態の属性（ＴＲ））の人物の人数を計測することができる。

本実施形態の適用例としてエレベータ群管理で説明する。本実施形態の課題である閑散時と混雑時の人数計測の両立は、例えばエレベータ群管理でも求められる。エレベータ群管理は、人流情報を利用してエレベータの配車台数やタイミングを制御することで、利用者の待ち時間短縮等の利便性の向上や消費電力量の抑制等の省エネ化を実現する。

エレベータ群管理の１つの機能としては、人数計測技術により求めた各階毎のエレベータホールの待ち人数と前もって取得したエレベータ乗車可能人数から、エレベータを各階へ停止あるいは通過させるかを判定することにより、効率良くエレベータの配車を制御する機能が挙げられる。この機能では、特にエレベータ乗車可能人数が少ないときに、エレベータを停止させる階と通過させる階を正確に判定してエレベータの配車の効率性を向上させることが重要となる。

そのため、エレベータホールの待ち人数が少人数である閑散とした状況では高い精度の人数計測が求められる。一方、エレベータホールの待ち人数が大人数である混雑した状況では、エレベータ乗車可能人数が少ないときにエレベータを停止させるか通過させるかの判定は大まかな人数を計測できれば可能であるので、閑散とした状況よりもそれほど高い精度の人数計測は求められない。よって、閑散時と混雑時の両者をカバーできる人数計測技術が必要となる。

すなわち、本実施形態では、静態人物である滞留者のみの人数を計測する場合、通行者との重なりが少ない閑散時においてはその人数を高精度に計測し、通行者との重なりが多い混雑時においてはその人数をおおよそに計測することができる。これをエレベータホールの待ち人数を計測するシステムに適用すると、閑散時や混雑時を通じて待ち人数が計測でき、集計した人数からエレベータの運行制御に利用できる。

また、エレベータの運用制御の他の例としては、カメラ２０は、店舗内を撮影し、人数計測手段７は、店舗内の人数を計測することができる。これにより、閑散時および混雑時の店員の配置計画に適宜適用することができる。

なお、足元座標補正手段５は、属性ごとの領域の分布から頭部座標検出手段２によって検出した頭部座標を削除してもよい。頭部座標を削除する領域の分布の条件としては、例えば、図１０(ａ)に示す直線６１上のピクセルの属性を処理Ｓ４によって探索する中でピクセルの属性が頻繁に変化した場合、属性の異なる領域同士の重なり度合いが明らかに実世界上で人物が重なる範囲から外れているため領域の分布は異常であると判定して、その属性の領域に含まれる頭部座標を削除する。これにより、人数計測の精度を高めることができる。

また、足元座標補正手段５は、属性ごとの領域の分布から頭部座標検出手段２の補助手段によって頭部座標を追加してもよい。頭部座標検出手段２の補助手段としては、頭部座標検出手段２において頭部である信頼度が低いと判定されて使用しなかった検知枠２７を追加する、あるいはコーナー点のような簡易な画像特徴から検出される検知枠２７を新たに追加する方法がある。また、頭部座標を追加する領域の分布の条件としては、例えば、図１０(ａ)に直線６１上のピクセルの属性を処理Ｓ４によって探索する中で頭部座標の属性４５と異なる属性４６のピクセルが極めて早く見つかり、かつその後はしばらく直線６１上のピクセルの属性４６が変化しなかった場合、人が重なり合っていると判定して、属性４６の領域中に頭部座標が存在しない場合でも頭部座標をその領域中に追加する。これにより、人数計測の精度を高めることができる。

本実施形態では、足元座標補正手段５において、図１０は静態人物４４ａの上に動態人物４３が１人重なる場合について説明したが、これに限定されるものではない。

図１７は、混雑時の状況の一例を示す図である。図１７（ａ）は、混雑時の状況の一例を示す図であり、図１７（ｂ）は、図１７（ａ）の一部を説明のために抽出した図である。図１７（ｂ）は、静態人物１００の前を二人の動態人物１０１ａ，１０１ｂが存在する場合を示す。静態人物１００の上に動態人物１０１ａと１０１ｂが重なった場合においても、図８と同様の処理により静態人物１００の足元座標を補正することができる。

本実施形態によれば、人数計測装置１０は、足元座標推定手段３により足元座標を推定し、しかも、足元座標補正手段５が人物同士の重なりがあると判断した場合、先に推定した足元座標を補正して出力し、人物同士の重なりがないと判断した場合、先に推定した足元座標を出力することができる。その結果、人物同士の重なりが少ない閑散時には高精度に人数を計測して、人物同士の重なりが多い混雑時にはおおよその人数を計測することができる。なお、人物同士の重なりの判断は、属性領域が異なる属性領域と重なっているか否かで判断している。

<<実施形態２>>
図１３は、本発明の実施形態２に係る機能ブロックを示す図である。図１３に示す人物動線解析装置１１は、カメラ２０（図２参照）で撮影した人物を画像認識して、人物の行動のパターンを解析する人物動線解析装置である。図１に示した第１の実施の形態と同一要素には同一符号を付し重複する説明は省略する。

人物動線解析装置１１は、画像取得手段１、頭部座標検出手段２、足元座標推定手段３、個人別領域抽出手段４、足元座標補正手段５、足元座標補正手段５によって出力された足元座標をフレームごとに保存することで、連続画像において同一人物を追跡してその動線を抽出する動線抽出手段９０、動線抽出手段９０によって抽出した動線から、対象人物の行動のパターンを解析する動線解析手段９１とを有している。なお、人物動線解析装置１１は、各手段の演算を行う演算装置、主記憶装置、外部記憶装置を有す計算機において実現される。以下、動線抽出手段９０と動線解析手段９１の機能について説明する。

（動線抽出手段９０）
図１４は、動線抽出手段９０により動線を抽出する画像の一例を示す図である。図１５は、動線抽出手段９０が抽出した動線を説明する図である。図１４における連続したフレームにおいて、画像中に３人の人物９５ａ，９５ｂ，９５ｃが検出されている。検出されている人物９５ａは、頭部座標検出手段２が検出した頭部座標９６ａ、足元座標推定手段３が推定した足元座標９７ａを有する。同様に、人物９５ｂは、頭部座標検出手段２が検出した頭部座標９６ｂ、足元座標推定手段３が推定した足元座標９７ｂを有する。人物９５ｃは、頭部座標検出手段２が検出した頭部座標９６ｃ、足元座標推定手段３が推定した足元座標９７ｃを有する。

なお、時刻Ｔ＋２において、人物９５ｂは、足元座標補正手段５が補正した足元座標９８を有している。

動線抽出手段９０において、フレームごとに同一人物の頭部座標から足元座標補正手段５により出力された足元座標を保存して、それらの座標を結ぶことで図１５に示す人物９５ａの動線９９ａ、人物９５ｂの動線９９ｂ、人物９５ｃの動線９９ｃをそれぞれ出力する。なお、フレームごとに同一人物と判定する技術としては、頭部座標検出手段２によって頭部座標を検出する際に利用した頭部の画像特徴量や、人物が存在する領域の属性情報等を利用することで実現できる。

（動線解析手段９１）
図１６は、動線解析手段を説明する図である。動線解析手段９１は、動線抽出手段９０によって抽出された動線を画像座標上における点群の集まりと見なし、その座標値の変化から人物の行動パターンを判定する。例えば、連続フレーム間における動きが通常よりも極めて短い図１６に示す動線９９ｄや動線９９e、あるいは常に画像内もしくは画像内の一定領域に収まっている動線９９ｆや動線９９ｇを描く行動をする人物は一定の範囲内（所定範囲内）に滞留していると判定、動線９９ｄと動線９９eあるいは動線９９ｈと動線９９ｉのように同じ動線を描く行動をする複数の人物は集団で行動していると判定できる。

すなわち、動線解析手段９１は、集団で行動している人物の存在を検知し、検知された人物らの人数を集団毎に計測し、画像内における集団数および集団内の人数を取得するとよい。

また、具体的な適用例としては、カメラ２０（撮像装置）（図２参照）は、エレベータホールを撮影し、動線解析手段９１は、所定範囲内に滞留している人物の存在を検知し、検知された人物について待ち時間を計測する。これにより、エレベータの運行制御の基礎データとすることができる。

実施形態２では以上説明した機能構成により、人物の間で重なりが発生していないかを画像特徴量により判定して、重なりの発生の有無によって足元推定の手法を切り替えその足元位置から動線を抽出する。このため、人物同士の重なりが少ない閑散時においては正確に動線を抽出して人物の行動を高精度に解析し、人物同士の重なりが多い混雑時においては平均的な動線を抽出して人物の行動を大まかに解析できる。

本実施形態の人数計測装置１０、人物動線解析装置１１は、モニタリング映像統合管理、エレベータ群管理等に適用することができる。

１ 画像取得手段
２ 頭部座標検出手段
３ 足元座標推定手段
４ 個人別領域抽出手段
５ 足元座標補正手段
６ 足元座標領域内外判定手段
７ 人数計測手段
１０ 人数計測装置
１１ 人物動線解析装置
２０ カメラ（撮像装置）
２５ 画像座標軸
２６，３５，３６ 頭部座標
２８ カメラ画像座標軸
３４，３７ 足元座標
３９ 実世界座標軸
８０ 計測対象領域（検出領域）
９０ 動線抽出手段
９１ 動線解析手段

Claims (10)

1. 撮像装置から画像を取得する画像取得手段と、
   前記画像から対象人物の頭部座標を検出する頭部座標検出手段と、
   前記検出された頭部座標から対象人物の足元座標を推定する足元座標推定手段と、
   前記画像を領域分割して各領域に属性を付与する際に、画像上の輝度値の時間変化に基づいて、静止状態にある静態の属性および運動状態にある動的の属性を各領域に付与する個人別領域抽出手段と、
   前記頭部座標検出手段により検出した頭部座標から、前記足元座標推定手段で推定した足元座標までの間の直線上の前記付与された属性を探索して、前記付与された属性から対象人物が他の人物と重なっているか否かを判定し、人物が重なっていると判定した場合、前記足元座標推定手段が推定した前記対象人物の足元座標を補正する足元座標補正手段と、
   前記画像内に設定した検出領域に、前記足元座標が存在するか否かを判定する足元座標領域内外判定手段と、
   前記足元座標領域内外判定手段が前記検出領域内に存在すると判定した足元座標を計測する人数計測手段と、を有する
   ことを特徴とする人数計測装置。
2. 前記足元座標補正手段が前記対象人物の足元座標を補正する際に、前記対象人物の頭部座標と平均身長に基づいて補正する
   ことを特徴とする請求項１に記載の人数計測装置。
3. 前記足元座標補正手段は、前記属性ごとの領域の分布が異常であるか否かを判定し、異常であると判定した場合、前記頭部座標検出手段が検出した頭部座標を前記属性ごとの領域の分布から削除する
   ことを特徴とする請求項１に記載の人数計測装置。
4. 前記足元座標補正手段は、前記属性ごとの領域の分布から頭部であるか否かを判定し、頭部であると判定した場合、新たに頭部座標を前記属性ごとの領域の分布に追加する
   ことを特徴とする請求項１に記載の人数計測装置。
5. 前記足元座標補正手段は、前記対象人物が他の人物と重なっていないと判定された際、前記検出された頭部座標と足元座標を保存して連続フレーム中でその人物を追跡し、
   前記対象人物が他の人物と重なっていると判定された際、前記保存した頭部座標と足元座標に基づいて前記検出された足元座標を補正する
   ことを特徴とする請求項１に記載の人数計測装置。
6. 前記撮像装置は、エレベータホールを撮影し、
   前記人数計測手段は、前記エレベータホール内の人数を計測する
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の人数計測装置。
7. 前記撮像装置は、店舗内を撮影し、
   前記人数計測手段は、前記店舗内の人数を計測する
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の人数計測装置。
8. 撮像装置から画像を取得する画像取得手段と、
   前記画像取得手段が取得した画像から対象人物の頭部座標を検出する頭部座標検出手段と、
   前記検出された頭部座標から対象人物の足元座標を推定する足元座標推定手段と、
   前記画像を領域分割して各領域に属性を付与する際に、画像上の輝度値の時間変化に基づいて、静止状態にある静態の属性および運動状態にある動的の属性を各領域に付与する個人別領域抽出手段と、
   前記頭部座標検出手段により検出した頭部座標から、前記足元座標推定手段で推定した足元座標までの間の直線上の属性を探索して、前記属性から対象人物が他の人物と重なっているか否かを判定し、人物が重なっていると判定した場合には前記足元座標推定手段が推定した対象人物の足元座標を補正する足元座標補正手段と、
   前記足元座標をフレーム毎に保存し、保存した足元座標に基づいて前記対象人物の動線を抽出する動線抽出手段と、
   前記対象人物の動線から前記対象人物の行動パターンを解析する動線解析手段と、を有する
   ことを特徴とする人物動線解析装置。
9. 前記撮像装置は、エレベータホールを撮影し、
   前記動線解析手段は、所定範囲内に滞留している人物の存在を検知し、前記検知された人物について待ち時間を計測する
   ことを特徴とする請求項８に記載の人物動線解析装置。
10. 前記動線解析手段は、集団で行動している人物の存在を検知し、前記検知された人物らの人数を前記集団毎に計測し、前記画像内における集団数および集団内の人数を取得する
    ことを特徴とする請求項８に記載の人物動線解析装置。