JP6786837B2 - 動体計数装置及びプログラム - Google Patents

Description

本発明は、動体計数装置及びプログラムに関する。

特許文献１に記載の人検出装置は、カメラの撮像画像から検出された床面の着色部分の面積を、人がいない状態で撮像された撮像画像から検出された床面の着色部分の面積と比較して、撮像領域に滞在する人により隠された部分の面積を検出することによって滞在者数を求めている。

特開２００９−２３０７２４号公報

本発明は、滞在している人を検出するための予め定められた領域を事前に設定しておく場合と比較して、撮像装置により撮像された画像から動体を計数する基準となる位置を設定する手間を簡略化することを目的とする。

本発明の請求項１に係る動体計数装置は、予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部とを備え、前記仮想線設定部は、前記仮想線の角度であって、前記第１撮像画像取得部により取得された画像において予め設定される基準線との間でなす角度を、前記動体移動軌跡特定部により特定された移動軌跡が示す移動方向に基づいて設定することを特徴とする。

本発明の請求項２に係る動体計数装置は、請求項１に記載の構成において、前記仮想線設定部は、前記仮想線と前記移動方向とが予め定められた角度をなすように前記仮想線の角度を設定することを特徴とする。

本発明の請求項３に係る動体計数装置は、予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部とを備え、前記動体移動軌跡特定部は、前記第１撮像画像取得部により取得された複数の画像の各々において、動体が位置する領域である動体領域を検出し、前記仮想線設定部は、前記検出された複数の動体領域のうち属性値又は当該属性値の変化量が最小となる動体領域の座標を、前記画像上において前記仮想線が通過する座標として設定することを特徴とする。

本発明の請求項４に係る動体計数装置は、予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部とを備え、前記動体移動軌跡特定部は、前記第１撮像画像取得部により取得された複数の画像の各々において、動体が位置する領域である動体領域と、前記動体の頭部が位置する領域である頭部領域とを検出し、前記仮想線設定部は、前記複数の画像の各々について検出された動体領域と頭部領域の相対的な位置関係に基づいて、前記画像上において前記仮想線が通過する座標を設定することを特徴とする。

本発明の請求項５に係る動体計数装置は、請求項４に記載の構成において、前記仮想線設定部は、前記複数の画像の各々について検出された動体領域と頭部領域の組のうち、動体領域の中心部から頭部領域の中心部までの距離が最小となる組の動体領域又は頭部領域の座標を、前記画像上において前記仮想線が通過する座標として設定することを特徴とする。

本発明の請求項６に係る動体計数装置は、請求項１乃至５のいずれか１項に記載の構成において、前記予め定められた領域は施設の出入口の前の領域であり、前記第１撮像装置とは異なる位置に配置された第２撮像装置により撮像された、前記予め定められた位置を通過した動体を表す画像を取得する第２撮像画像取得部と、前記第２撮像画像取得部により取得された画像に基づいて、前記動体の顔部分が向いている方向を特定する顔部分方向特定部と、前記顔部分方向特定部により特定された前記顔部分が向いている方向が予め定められた方向である場合に、前記動体を、前記施設に進入した動体として計数する第２動体計数部とを備えることを特徴とする。

本発明の請求項７に係るプログラムは、コンピュータを、予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部ととして機能させるためのプログラムであって、前記仮想線設定部は、前記仮想線の角度であって、前記第１撮像画像取得部により取得された画像において予め設定される基準線との間でなす角度を、前記動体移動軌跡特定部により特定された移動軌跡が示す移動方向に基づいて設定することを特徴とする。

本発明の請求項８に係るプログラムは、コンピュータを、予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部ととして機能させるためのプログラムであって、前記動体移動軌跡特定部は、前記第１撮像画像取得部により取得された複数の画像の各々において、動体が位置する領域である動体領域を検出し、前記仮想線設定部は、前記検出された複数の動体領域のうち属性値又は当該属性値の変化量が最小となる動体領域の座標を、前記画像上において前記仮想線が通過する座標として設定することを特徴とする。

本発明の請求項９に係るプログラムは、コンピュータを、予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部ととして機能させるためのプログラムであって、前記動体移動軌跡特定部は、前記第１撮像画像取得部により取得された複数の画像の各々において、動体が位置する領域である動体領域と、前記動体の頭部が位置する領域である頭部領域とを検出し、前記仮想線設定部は、前記複数の画像の各々について検出された動体領域と頭部領域の相対的な位置関係に基づいて、前記画像上において前記仮想線が通過する座標を設定することを特徴とする。

請求項１、２又は７に係る発明によれば、滞在している人を検出するための予め定められた領域を事前に設定しておく場合と比較して、撮像装置により撮像された画像から動体を計数する基準となる位置を設定する手間を簡略化することができる。また、仮想線の角度を手動により設定する手間を省略することができる。
請求項３乃至５、８及び９のいずれか１項に係る発明によれば、仮想線の座標を手動により設定する手間を省略することができる。
請求項６に係る発明によれば、予め定められた位置を通過した動体のうち、施設に進入した動体を計数することができる。

動体計数装置１の構成の一例を示す図である。 撮像装置２Ａ及び２Ｂの設置例を示す図である。 動体計数動作の一例を示すフローチャートである。 移動軌跡特定処理の一例を示すフローチャートである。 仮想線角度設定処理の一例を示すフローチャートである。 移動軌跡の一例を示す図である。 移動方向の分類の一例を示す図である。 移動軌跡の集計表の一例を示す図である。 仮想線座標設定処理の一例を示すフローチャートである。 移動軌跡の座標に対応する人領域の変遷の一例を示す図である。 移動軌跡を構成する各座標に対応する人領域の面積の一例を示す図である。 仮想線の一例を示す図である。 撮像装置２Ａにより撮像された画像の一例を示す図である。 撮像装置２Ｂにより撮像された画像の一例を示す図である。 仮想線座標設定処理の一例を示すフローチャートである。 移動軌跡の座標に対応する人領域と頭部領域の変遷の一例を示す図である。 移動軌跡を構成する各座標に対応する人領域と、その頭部領域との距離の一例を示す図である。 仮想領域の一例を示す図である。

以下、本発明の実施の形態について図面を参照しつつ説明する。
１．実施形態
１−１．構成
図１は、本発明の一実施形態に係る動体計数装置１の構成の一例を示す図である。動体計数装置１は、撮像装置２Ａにより撮像された画像に基づいて移動物体（以下、「動体」という。）を計数する装置である。ここで動体とは、具体的には人である。動体計数装置１は、制御部１０と、記憶部２０と、出力部３０と、外部インタフェース４０Ａ及び４０Ｂとを備える。

制御部１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置とメモリとを備え、記憶部２０に記憶されるプログラムを実行する。記憶部２０は、ハードディスク等の記憶装置であり、制御部１０に実行されるプログラムの他、各種データを記憶する。出力部３０は、記憶部２０に記憶される各種データを出力する。出力部３０は、例えば、液晶ディスプレイ等の表示装置や、データ通信カード等の通信装置や、Bluetooth（登録商標）等の近距離無線通信規格に準拠した通信モジュールである。外部インタフェース４０Ａは、第１撮像装置である撮像装置２Ａを動体計数装置１に接続するためのインタフェースである。外部インタフェース４０Ｂは、第２撮像装置である撮像装置２Ｂを動体計数装置１に接続するためのインタフェースである。

撮像装置２Ａ及２Ｂは、予め定められた領域を撮像するカメラである。ここで予め定められた領域とは、具体的には施設の出入口の前の領域である。ここで施設とは、具体的には店舗である。

図２は、撮像装置２Ａ及び２Ｂの設置例を示す図である。撮像装置２Ａは、店舗内の天井Ｃに設置され、店舗の出入口Ｅ前の領域を俯瞰で撮像する。天井Ｃに設置される際、撮像装置２Ａは、シャッタ等の障害物Ｏが写り込まないように傾けて設置される。言い換えると、撮像装置２Ａの光軸が床面Ｆ法線と平行とならないように設置される。撮像装置２Ａは、撮像した動画データを外部インタフェース４０Ａに出力する。一方、撮像装置２Ｂは、店舗内に設置され、店舗の出入口Ｅ前の領域を水平方向から撮像する。撮像装置２Ｂは、撮像した動画データを外部インタフェース４０Ｂに出力する。

制御部１０は、記憶部２０に記憶されるプログラムを実行することにより、第１撮像画像取得部１１と、動体移動軌跡特定部１２と、仮想線設定部１３と、第１動体計数部１４と、第２撮像画像取得部１５と、顔部分方向特定部１６と、第２動体計数部１７という機能を実現する。

第１撮像画像取得部１１は、撮像装置２Ａにより各々異なる時点に撮像された複数の画像を取得する。ここで複数の画像とは、具体的には、連続的に撮像された複数の静止画像である。ただし、複数の画像は、必ずしも連続的な静止画像である必要はなく、非連続の静止画像であってもよい。

動体移動軌跡特定部１２は、第１撮像画像取得部１１により取得された複数の画像に基づいて、店舗の出入口前の領域を移動する１以上の人の各々について移動の軌跡である移動軌跡を特定する。具体的には、動体移動軌跡特定部１２は、まず、背景差分法を用いて、第１撮像画像取得部１１により取得された複数の画像の各々において、動体が位置する領域である動体領域を検出する。次に、動体移動軌跡特定部１２は、検出した各動体領域からＨＯＧ（Histograms of Oriented Gradients）特徴量を抽出し、事前学習により人物を識別するために構築された人物識別器を用いて、検出した動体領域の中から、人が位置する人領域を判別する。最後に、動体移動軌跡特定部１２は、人領域と判別された各動体領域に基づいて、パーティクルフィルタを用いて人の移動軌跡を特定する。

仮想線設定部１３は、第１撮像画像取得部１１により取得された画像上に仮想される仮想線であって、施設の出入口前の領域内に予め定められた位置を通過した人を計数する際の基準となる仮想線を、動体移動軌跡特定部１２により特定された移動軌跡に基づいて設定する。ここで、予め定められた位置とは、具体的には撮像装置２Ａの真下の位置である。

具体的には、仮想線設定部１３は、仮想線の角度であって、第１撮像画像取得部１１により取得された画像において予め設定される基準線との間でなす角度を、動体移動軌跡特定部１２により特定された移動軌跡が示す移動方向に基づいて設定する。ここで、画像において予め設定される基準線とは、具体的には画像の一辺である。仮想線の角度を設定する際、仮想線設定部１３は、仮想線と移動方向とが予め定められた角度をなすように仮想線の角度を設定する。ここで予め定められた角度とは、具体的には９０度である。

また、仮想線設定部１３は、第１撮像画像取得部１１により取得された複数の画像の各々において動体移動軌跡特定部１２により検出された複数の人領域の属性値に基づいて、上記画像上において仮想線が通過する座標を設定する。ここで、人領域の属性値とは、具体的には人領域の面積である。その際、仮想線設定部１３は、前記仮想線設定部は、検出された複数の人領域のうち面積が最小となる人領域の座標を、上記の座標として設定する。ここで人領域の座標とは、具体的には人領域の重心の座標である。

第１動体計数部１４は、動体移動軌跡特定部１２により特定された移動軌跡のうち、仮想線設定部１３により設定された仮想線と交差する移動軌跡を計数することにより、撮像装置２Ａの真下の位置を通過した人を計数する。

第２撮像画像取得部１５は、撮像装置２Ｂにより撮像された画像を取得する。第２撮像画像取得部１５は、特に、撮像装置２Ａの真下の位置を通過した人を撮像した画像を取得する。

顔部分方向特定部１６は、第２撮像画像取得部１５により取得された画像に基づいて、撮像装置２Ａの真下の位置を通過した人の顔部分が向いている方向を特定する。具体的には、顔部分方向特定部１６は、事前学習により正面顔を識別するために構築された正面顔識別器と、事前学習により後頭部を識別するために構築された後頭部識別器とを用いて、取得された画像から正面顔が検出されるのか、それとも後頭部が検出されるのかを判定する。言い換えると、顔部分方向特定部１６は、当該人が撮像装置２Ｂの方を向いているのか、それとも撮像装置２Ｂとは逆の方向を向いているのかを判定する。

第２動体計数部１７は、顔部分方向特定部１６により特定された方向が予め定められた方向である場合に、撮像装置２Ａの真下の位置を通過した人を、店舗に進入した人として計数する。ここで、予め定められた方向とは、具体的には、撮像装置２Ｂが存在する方向である。言い換えると、店舗内の方向である。

１−２．動作
動体計数装置１の動作について説明する。図３は、動体計数装置１により実行される動体計数動作の一例を示すフローチャートである。この動体計数動作では、撮像装置２Ａ及び２Ｂにより撮像される画像に基づいて、店舗に入店する人と店舗から退店する人とを計数する。

動体計数装置１の第１撮像画像取得部１１は、撮像装置２Ａにより連続的に撮像された複数の画像を取得する（Ｓ１）。複数の画像が取得されると、動体移動軌跡特定部１２は、移動軌跡特定処理を実行する（Ｓ２）。図４は、移動軌跡特定処理の一例を示すフローチャートである。

移動軌跡特定処理において、動体移動軌跡特定部１２は、ステップＳ１において取得された複数の画像の各々において、動体が位置する領域である動体領域を検出する（Ｓ２１）。動体領域を検出すると、動体移動軌跡特定部１２は、検出した各動体領域からＨＯＧ特徴量を抽出し、事前学習により人物を識別するために構築された人物識別器を用いて、検出した動体領域の中から、人が位置する人領域を判別する（Ｓ２２）。人領域を判別すると、動体移動軌跡特定部１２は、人領域と判別された各動体領域（より具体的には、各動体領域の重心）に対してパーティクルフィルタを適用して人の移動軌跡を特定する（Ｓ２３）。

移動軌跡特定処理の完了後、仮想線が設定されていない場合には（Ｓ３のＮＯ）、処理はステップＳ４に進む。一方、仮想線が設定されている場合には（Ｓ３のＹＥＳ）、処理はステップＳ７に進む。

ステップＳ３の判定において仮想線が設定されていない場合には、仮想線設定部１３は仮想線角度設定処理を実行する（Ｓ４）。図５は、仮想線角度設定処理の一例を示すフローチャートである。

仮想線角度設定処理において、仮想線設定部１３は、ステップＳ２において特定された各移動軌跡を、移動方向に応じて複数のグループに分類し、グループごとに移動軌跡の数を集計する（Ｓ４１）。図６は、ステップＳ２において特定される各移動軌跡の一例を示す図である。同図に示す矢印Ａｒは人の移動軌跡を表している。同図は１０人分の移動軌跡を示している。各移動軌跡は、画像の左下隅を原点とするｘｙ座標系により表現される。図７は、移動軌跡を分類する際に参照される、移動方向の分類の一例を示す図である。同図に示す分類では、移動方向は、０度から４５度刻みで３１５度までの８方向に分類される。０度の移動方向は、画像の重心Ｇを起点とし、ｘ軸に平行な方向とされる。なお、同図に示す８方向の中に移動軌跡と一致する移動方向が存在しない場合には、仮想線設定部１３は、最も近い移動方向に移動軌跡を分類する。また、移動軌跡が一直線でない場合には（すなわち、複数のベクトルにより構成される場合には）、合成ベクトルを算出して、算出した合成ベクトルをいずれかの移動方向に分類する。図８は、図６に示す移動軌跡を、図７に示す８方向に分類した場合に生成される集計表の一例を示す図である。同図に示す集計表によれば、移動方向を９０度とする移動軌跡が最も多いことがわかる。仮想線設定部１３は、移動軌跡を分類し集計すると、最も多くの移動軌跡が分類された移動方向を特定する（Ｓ４２）。図８に示す例によれば、移動方向「９０度」を特定する。移動方向を特定すると、仮想線設定部１３は、特定した移動方向に対して直角となる角度を、仮想線の角度（０度≦θ＜１８０度）として算出する（Ｓ４３）。仮に移動方向として９０度が特定されたとすると、仮想線設定部１３は、仮想線の角度として０度を算出する。

仮想線の角度を設定すると、仮想線設定部１３は仮想線座標設定処理を実行する（Ｓ５）。図９は、仮想線座標設定処理の一例を示すフローチャートである。

仮想線座標設定処理において、仮想線設定部１３は、ステップＳ４２において特定した移動方向に分類された一の移動軌跡について、移動軌跡を構成する各座標に対応する人領域の面積を算出する（Ｓ５１）。図１０は、移動軌跡の座標に対応する人領域の変遷の一例を示す図である。同図に示す画像ＩＭ１は、ｔ秒時点に撮像装置２Ａにより撮像された画像である。一方、画像ＩＭ２は、ｔ＋１秒時点に撮像装置２Ａにより撮像された画像である。各画像に示す人領域Ａ１、Ａ２は、人Ｐを表す画像部分を囲む外接矩形により表現される。人領域Ａ１、Ａ２は、画像の左下隅を原点とするｘｙ座標系により表現される。人領域Ａ１の重心Ｇ１と人領域Ａ２の重心Ｇ２は、それぞれ移動軌跡を構成する座標上に位置する。図１１は、移動軌跡を構成する各座標に対応する人領域の面積の一例を示す図である。同図によれば、人Ｐが出入口Ｅを通過後１．５０秒が経過するまでは、ｙ座標の値が増加するにつれて、すなわち人Ｐが出入口Ｅから離れるにつれて、面積が減少する。出入口Ｅを通過後１．５０秒を経過すると、ｙ座標の値が増加するにつれて、すなわち人Ｐが出入口Ｅから離れるにつれて、面積が増加する。仮想線設定部１３は、各人領域の面積を算出すると、算出した面積の中で最小の面積に対応する座標を特定する（Ｓ５２）。図１１に示す例によれば、面積「１００」に対応する座標「（２００，１５０）」を特定する。ここで、最小の面積に対応する座標とは、店舗の出入口Ｅ前の領域において撮像装置２Ａの真下の位置に対応する座標である。

仮想線の座標を設定すると、仮想線設定部１３は、ステップＳ４で設定した角度とステップＳ５で設定した座標とに基づいて仮想線を設定する（Ｓ６）。具体的には、画像のｘ軸に対して、ステップＳ４で設定した角度をなし、且つステップＳ５で設定した座標を通る線分を仮想線として設定する。図１２は、設定される仮想線の一例を示す図である。同図に示す例では、ステップＳ４で角度「０度」が設定され、ステップＳ５で座標「（２００，１５０）」が設定された場合に設定される仮想線Ｌが示されている。仮想線Ｌは、画像の左下隅を原点とするｘｙ座標系により表現される。

仮想線が設定されると、第１動体計数部１４は、ステップＳ２において特定された各移動軌跡が、ステップＳ６で設定された仮想線と交差するか否かを判定する（Ｓ７）。この判定の結果、移動軌跡が仮想線と交差しない場合には、すなわち人が撮像装置２Ａの真下を通過していない場合には（Ｓ７のＮＯ）、処理はステップＳ１に戻る。一方、この判定の結果、移動軌跡が仮想線と交差する場合には、すなわち人が撮像装置２Ａの真下を通過した場合には（Ｓ７のＹＥＳ）、第１動体計数部１４は、当該人を入退店者としてカウントする（Ｓ８）。具体的には、記憶部２０に記憶される入退店者数の値をインクリメントする。図１３は、撮像装置２Ａの真下を通過する人を撮像した画像の一例を示す図である。同図に示す画像では、人Ｐ１の人領域Ａ３と、人Ｐ２の人領域Ａ４とが検出されている。これらの人領域のうち、人領域Ａ３の重心Ｇ３が、座標（１５０，２００）において仮想線Ｌと交差している。

人が入退店者としてカウントされると、第２撮像画像取得部１５は、当該人を撮像した画像であって、撮像装置２Ｂにより撮像された画像を取得する（Ｓ９）。具体的には、当該人が撮像装置２Ａの真下を通過した時点に撮像装置２Ｂにより撮像された画像を取得する。ここで、当該人が撮像装置２Ａの真下を通過した時点は、当該人の人領域の重心が仮想線上に位置している画像のタイムスタンプを参照することにより特定される。図１４は、図１３に例示した画像が撮像された時点に撮像装置２Ｂにより撮像された画像の一例を示す図である。図１４に示す画像において各人の位置は、ｘ軸とｚ軸からなる直交座標系により表現される。ここでｘ軸は、図１３に示すｘ軸と対応している。例えば人Ｐ１の位置は、ｘ座標「１５０」により識別される。図１４に示す画像によれば、人Ｐ１及びＰ２の顔部分が向いている方向が特定される。

入退店者を撮像した画像が取得されると、顔部分方向特定部１６は、取得された画像に基づいて、当該人の顔部分が向いている方向を特定する（Ｓ１０）。具体的には、事前学習により正面顔を識別するために構築された正面顔識別器と、事前学習により後頭部を識別するために構築された後頭部識別器とを用いて、取得された画像から正面顔が検出されるのか、それとも後頭部が検出されるのかを判定する。言い換えると、顔部分方向特定部１６は、当該人が撮像装置２Ｂの方を向いているのか、それとも撮像装置２Ｂとは逆の方向を向いているのかを判定する。この判定の結果、正面顔が検出された場合には（Ｓ１１のＹＥＳ）、第２動体計数部１７は、当該人を入店者としてカウントする（Ｓ１２）。具体的には、記憶部２０に記憶される入店者数の値をインクリメントする。一方、この判定の結果、後頭部が検出された場合には（Ｓ１１のＮＯ）、第２動体計数部１７は、当該人を退店者としてカウントする（Ｓ１３）。具体的には、記憶部２０に記憶される退店者数の値をインクリメントする。
以上が、動体計数動作についての説明である。

以上説明した動体計数装置１によれば、撮像装置２Ａにより撮像された画像に基づいて仮想線が設定されるため、利用者が手動で仮想線を設定する必要がない。また、仮想線が画像上において、撮像装置２Ａの真下に対応する位置に配置されるように設定されるため、そのように設定されない場合と比較して、人が精度よく計数される。また、人の顔部分の向きに応じて入店者と退店者とが判別されるため、入店者と退店者とが別々に計数される。

２．変形例
上記の実施形態は下記のように変形してもよい。また、下記の変形例は他の１以上の変形例と組み合わせてもよい。

２−１．変形例１
上記の実施形態に係る人は動体の一例である。動体は、人以外の動物であってもよい。または、動体は、人により操作されて移動する物体（例えば、自動車）であってもよい。

２−２．変形例２
上記の実施形態に係る店舗の出入口前の領域は、撮像装置２Ａにより撮像される予め定められた領域の一例である。この予め定められた領域は、店舗内の他の領域（例えば、通路）であってもよいし、店舗外の領域であってもよい。また、上記の実施形態に係る店舗は、入退出者が計数対象となる施設の一例である。入退出者が計数対象となる施設は、住宅やオフィス等、店舗以外であってもよい。

２−３．変形例３
上記の実施形態に係る動体移動軌跡特定部１２は、上述した技術とは異なる周知の技術を利用して、第１撮像画像取得部１１により取得された複数の画像から移動軌跡を特定するようにしてもよい。例えば、動体移動軌跡特定部１２は、画像から検出した各動体領域から、ＨＯＧ特徴量以外の他の特徴量（例えば、ＥＯＨ（Edge of Orientation Histograms）特徴量やEdgelet特徴量）を抽出して、人物識別器を用いて人領域を判別してもよい。また、動体移動軌跡特定部１２は、パーティクルフィルタ以外の他の物体追跡技術（例えば、Mean Shift）を人領域に適用して、人の移動軌跡を特定するようにしてもよい。

２−４．変形例４
上記の実施形態に係る仮想線角度設定処理では、１０人分の移動軌跡に基づいて仮想線の角度を設定しているが（図６参照）、仮想線の角度を設定するために参照される移動軌跡の本数は１０未満であっても、１１以上であってもよい。また、同処理では、１０人分の移動軌跡が８方向に分類されているが（図７参照）、移動軌跡が分類される方向の数は８未満であっても、９以上であってもよい。また、同処理では、最も多くの移動軌跡が分類された移動方向に対して直角となる角度を仮想線の角度として算出しているが、仮想線の角度は、当該移動方向に対して厳密に直角である必要はない。すなわち仮想線の角度は、当該移動方向に対して略直角であればよい。また、同処理では、仮想線と画像の一辺（具体的には、ｘ軸）とがなす角度を、仮想線の角度として設定しているが、この画像の一辺は、画像に予め設定される基準線の一例である。この画像に予め設定される基準線は、線分（例えば、画像の対角線）であってもよい。

２−５．変形例５
上記の実施形態に係る仮想線座標設定処理では、画像において検出される人領域は外接矩形で表現されているが、外接矩形は人領域の形状の一例である。人領域の形状は、外接矩形以外の他の形状（例えば、外接円）であってもよい。また、同処理では、面積が最小である人領域の重心の座標が仮想線の座標として設定されているが、人領域の重心の座標は、人領域を示す座標の一例である。人領域を示す座標は、重心以外の点（例えば、人領域の頂点）の座標であってもよい。また、同処理では、面積が最小である人領域の座標が仮想線の座標として設定されているが、面積の変化量が最小である人領域の座標を仮想線の座標として設定してもよい。ここで、面積の変化量が最小である人領域とは、その変化量が最小となる変化の前又は後の面積を有する人領域である。また、同処理では、面積が最小である人領域の座標が仮想線の座標として設定されているが、人領域の面積は、仮想線の座標を設定するために参照される属性値の一例である。仮想線の座標を設定するために参照される属性値は、面積以外の属性値（例えば、人領域の幅、高さ、対角線長）であってもよい。

２−６．変形例６
上記の実施形態に係る仮想線座標設定処理では、移動軌跡を構成する各座標に対応する人領域の面積を算出し、最小の面積を有する人領域の座標を仮想線の座標として設定している。しかし、この方法は、仮想線の座標を設定するための方法の一例である。別の方法として、仮想線設定部１３は、動体移動軌跡特定部１２により複数の画像の各々について検出された人領域と、人の頭部が位置する頭部領域の相対的な位置関係に基づいて、仮想線の座標を設定するようにしてもよい。より具体的には、複数の画像の各々について検出された人領域と頭部領域の組のうち、人領域の中心部から頭部領域の中心部までの距離が最小となる組の人領域又は頭部領域の座標を仮想線の座標として設定してもよい。ここで、人領域の中心部から頭部領域の中心部までの距離が最小となる場合とは、例えば、人領域と頭部領域の各々の中心部が重なる場合である。ここで中心部とは、具体的には各領域の重心である。なお、この仮想線座標の設定方法を採用する場合には、動体移動軌跡特定部１２は、第１撮像画像取得部１１により取得された複数の画像の各々において、人領域に加えて頭部領域を検出する。

図１５は、本変形例に係る仮想線座標設定処理の一例を示すフローチャートである。同図に示す仮想線座標設定処理において、仮想線設定部１３は、ステップＳ４２において特定した移動方向に分類された一の移動軌跡について、移動軌跡を構成する各座標に対応する人領域と、その頭部領域との距離を算出する（Ｓ５３）。図１６は、移動軌跡の座標に対応する人領域と頭部領域の変遷の一例を示す図である。同図に示す画像ＩＭ３は、ｔ秒時点に撮像装置２Ａにより撮像された画像である。一方。画像ＩＭ４は、ｔ＋１秒時点に撮像装置２Ａにより撮像された画像である。各画像に示す人領域Ａ５、Ａ７は、人Ｐを表す画像部分を囲む外接矩形により表現される。各画像に示す頭部領域Ａ６、Ａ８は、人Ｐの頭部を表す画像部分を囲む外接矩形により表現される。人領域Ａ５、Ａ７と、頭部領域Ａ６、Ａ８は、画像の左下隅を原点とするｘｙ座標系により表現される。人領域Ａ５の重心Ｇ５と人領域Ａ７の重心Ｇ７は、それぞれ移動軌跡を構成する座標上に位置する。図１７は、移動軌跡を構成する各座標に対応する人領域と、その頭部領域との距離の一例を示す図である。同図によれば、人Ｐが出入口Ｅを通過後１．５０秒が経過するまでは、人領域のｙ座標の値が増加するについて、すなわち人Ｐが出入口Ｅから離れるにつれて、距離が減少する。出入口Ｅを通過後１．５０秒を経過すると、人領域のｙ座標の値が増加するについて、すなわち人Ｐが出入口Ｅから離れるにつれて、距離が増加する。仮想線設定部１３は、各座標について人領域と頭部領域との距離を算出すると、算出した距離の中で最小の距離に対応する座標を特定する（Ｓ５４）。図１７に示す例によれば、距離「０」に対応する座標「（２００，１５０）」を特定する。ここで、最小の距離に対応する座標とは、店舗の出入口Ｅ前の領域において撮像装置２Ａの真下の位置に対応する座標である。
以上が、本変形例に係る仮想線座標設定処理についての説明である。

なお、以上説明した仮想線座標設定処理において、頭部領域の形状は、外接矩形以外の他の形状（例えば、外接円）であってもよい。また、同処理において、距離の変化量が最小である人領域の座標を仮想線の座標として設定してもよい。ここで、距離の変化量が最小である人領域とは、その変化量が最小となる変化の前又は後の距離を頭部領域との間で有する人領域である。また、同処理において、最小の距離に対応する人領域の座標に代えて、最小の距離に対応する頭部領域の座標を、仮想線の座標として設定してもよい。

２−７．変形例７
上記の実施形態に係る撮像装置２Ａは、店舗の天井Ｃに傾けて設置されている（図２参照）。そのため、撮像装置２Ａにより撮像される画像では、その中央で検出される人領域の面積が最小とはならない。そこで、上記の実施形態に係る動体計数動作では、仮想線座標特定処理を行って、面積が最小となる人領域の座標を特定している。しかし、撮像装置２Ａが傾けて設置されない場合には（言い換えると、撮像装置２Ａの光軸が床面法線と平行となるように設置された場合には）、撮像される画像の中央で検出される人領域の面積が最小となる。そのため、撮像装置２Ａが傾けて設置されない場合には、上記の仮想線座標特定処理は省略されてもよい。代わりに、仮想線の座標（ｎ，２００）（０≦ｎ≦６００）が固定的に設定される。

２−８．変形例８
上記の実施形態に係る動体計数動作において、仮想線の設定後、当該仮想線を境界とする２つの仮想領域を設定し、第１動体計数部１４は、これら２つの仮想領域を通過する移動軌跡を計数することにより、入退店者を計数するようにしてもよい。図１８は、仮想領域の一例を示す図である。同図に示す例では、出入口Ｅに近い側に仮想領域Ａ９が設定され、出入口Ｅから遠い側に仮想領域Ａ１０が設定されている。各仮想領域は、画像の左下隅を原点とするｘｙ座標系により表現される。

２−９．変形例９
上記の実施形態に係る動体計数装置１の制御部１０により実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光ディスク、光磁気ディスク、メモリ等の記憶媒体に記憶された状態で提供されてもよい。また、当該プログラムは、インターネット等の通信回線を介してダウンロードされてもよい。

１…動体計数装置、２Ａ、２Ｂ…撮像装置、１０…制御部、１１…第１撮像画像取得部、１２…動体移動軌跡特定部、１３…仮想線設定部、１４…第１動体計数部、１５…第２撮像画像取得部、１６…顔部分方向特定部、１７…第２動体計数部、２０…記憶部、３０…出力部、４０Ａ、４０Ｂ…外部インタフェース

Claims (9)

1. 予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、
   前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、
   前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、
   前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部と
   を備え、
   前記仮想線設定部は、前記仮想線の角度であって、前記第１撮像画像取得部により取得された画像において予め設定される基準線との間でなす角度を、前記動体移動軌跡特定部により特定された移動軌跡が示す移動方向に基づいて設定することを特徴とする動体計数装置。
2. 前記仮想線設定部は、前記仮想線と前記移動方向とが予め定められた角度をなすように前記仮想線の角度を設定することを特徴とする請求項１に記載の動体計数装置。
3. 予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、
   前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、
   前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、
   前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部と
   を備え、
   前記動体移動軌跡特定部は、前記第１撮像画像取得部により取得された複数の画像の各々において、動体が位置する領域である動体領域を検出し、
   前記仮想線設定部は、前記検出された複数の動体領域のうち属性値又は当該属性値の変化量が最小となる動体領域の座標を、前記画像上において前記仮想線が通過する座標として設定することを特徴とする動体計数装置。
4. 予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、
   前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、
   前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、
   前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部と
   を備え、
   前記動体移動軌跡特定部は、前記第１撮像画像取得部により取得された複数の画像の各々において、動体が位置する領域である動体領域と、前記動体の頭部が位置する領域である頭部領域とを検出し、
   前記仮想線設定部は、前記複数の画像の各々について検出された動体領域と頭部領域の相対的な位置関係に基づいて、前記画像上において前記仮想線が通過する座標を設定する
   ことを特徴とする動体計数装置。
5. 前記仮想線設定部は、前記複数の画像の各々について検出された動体領域と頭部領域の組のうち、動体領域の中心部から頭部領域の中心部までの距離が最小となる組の動体領域又は頭部領域の座標を、前記画像上において前記仮想線が通過する座標として設定することを特徴とする請求項４に記載の動体計数装置。
6. 前記予め定められた領域は施設の出入口の前の領域であり、
   前記第１撮像装置とは異なる位置に配置された第２撮像装置により撮像された、前記予め定められた位置を通過した動体を表す画像を取得する第２撮像画像取得部と、
   前記第２撮像画像取得部により取得された画像に基づいて、前記動体の顔部分が向いて
   いる方向を特定する顔部分方向特定部と、
   前記顔部分方向特定部により特定された前記顔部分が向いている方向が予め定められた方向である場合に、前記動体を、前記施設に進入した動体として計数する第２動体計数部と
   を備えることを特徴とする請求項１乃至５のいずれか１項に記載の動体計数装置。
7. コンピュータを、
   予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、
   前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、
   前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、
   前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部と
   として機能させるためのプログラムであって、
   前記仮想線設定部は、前記仮想線の角度であって、前記第１撮像画像取得部により取得された画像において予め設定される基準線との間でなす角度を、前記動体移動軌跡特定部により特定された移動軌跡が示す移動方向に基づいて設定することを特徴とするプログラム。
8. コンピュータを、
   予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、
   前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、
   前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、
   前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部と
   として機能させるためのプログラムであって、
   前記動体移動軌跡特定部は、前記第１撮像画像取得部により取得された複数の画像の各々において、動体が位置する領域である動体領域を検出し、
   前記仮想線設定部は、前記検出された複数の動体領域のうち属性値又は当該属性値の変化量が最小となる動体領域の座標を、前記画像上において前記仮想線が通過する座標として設定することを特徴とするプログラム。
9. コンピュータを、
   予め定められた領域を撮像する第１撮像装置により各々異なる時点に撮像された複数の画像を取得する第１撮像画像取得部と、
   前記第１撮像画像取得部により取得された複数の画像に基づいて、前記予め定められた領域内を移動する１以上の動体の各々について移動の軌跡である移動軌跡を特定する動体移動軌跡特定部と、
   前記第１撮像画像取得部により取得された画像上に仮想される仮想線であって、前記予め定められた領域内に予め定められた位置を通過した動体を計数する際の基準となる仮想線を、前記動体移動軌跡特定部により特定された移動軌跡に基づいて設定する仮想線設定部と、
   前記動体移動軌跡特定部により特定された移動軌跡のうち、前記設定された仮想線と交差する移動軌跡を計数することにより、前記予め定められた位置を通過した動体を計数する第１動体計数部と
   として機能させるためのプログラムであって、
   前記動体移動軌跡特定部は、前記第１撮像画像取得部により取得された複数の画像の各々において、動体が位置する領域である動体領域と、前記動体の頭部が位置する領域である頭部領域とを検出し、
   前記仮想線設定部は、前記複数の画像の各々について検出された動体領域と頭部領域の相対的な位置関係に基づいて、前記画像上において前記仮想線が通過する座標を設定する
   ことを特徴とするプログラム。

Images