JP7278197B2 - 属性別人数集計システムおよび属性別人数集計装置 - Google Patents

Description

本発明は、属性別人数集計システムおよび属性別人数集計装置に関する。

従来、カメラで撮像した画像を、適宜のゾーンに区切り、画像処理手段によりそのゾーン内に滞在する人数や人の出入り数をカウントしたデータを求め、このデータとＰＯＳ（Point of Sale）システムを関連付けるシステムが提案されている（特許文献１参照）。

特開２００６－２８５４０９号公報

特許文献１に開示されている技術は、カメラで撮像した画像を、システム上で適宜なゾーンに区切ることで、各ゾーン内に滞在する時間とその人数をカウントしている。しかしながら、特許文献１に記載の技術では、各テナントで働くスタッフを入店者として誤カウントしてしまうことがあり、また、入店者に関する情報も解析した性別や年齢のみであるため、各テナントの運営に生かしづらいという問題があった。

本発明の目的は、ショッピングモールやデパート等、複数のテナントが入る複合的商業施設において、売上げ改善や集客率の向上のための対策を講じる際に、有益かつ正確な情報を管理の手間をかけずに得られる属性別人数集計システムおよび属性別人数集計装置を提供することにある。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、本発明は、カメラからの撮像画像が入力される画像解析装置と、画像解析装置と広域ネットワークにより接続されるセンター装置とから構成される属性別人数集計システムである。
本発明の属性別人数集計システムに用いられる画像解析装置は、カメラで撮像した撮像画像の中の人と推定される形状の人物を検出する人物検出部と、撮像された人物を、カメラで撮像された人物の顔画像及び背格好を基に、記憶部に記録されている予め登録された複数の人物の顔の特徴量と比較し、一致または類似の判定を行い、カメラで撮像した画像の中の人物に対して、予め登録されている会員である来店者の画像と、各テナントの店舗スタッフの画像の登録情報を基にして、撮像された人物が店舗スタッフかどうかを判定する人物特定部と、カメラで撮像された人物の画像を基に、人物特定部で特定された人物の顔や背格好により、当該人物の性別及び年齢を推定する属性推定部と、カメラで撮像された人物が予め各テナントが設定した仮想ラインを通過したことを検出して、カメラで撮像した人物が入店したことを判定する入店判定部と、カメラで撮像した人物が、各テナントが予め設定した仮想ラインを通過したか否かの仮想ライン通過検出処理、またはカメラで撮像した人物が、仮想エリア内に一定時間を超えて滞在したことを判定する仮想エリア滞留判定処理により、同一テナントのみを繰り返し入店する人物を各テナントのスタッフとみなすと共に、仮想エリア内に一定時間を超えて滞在している人物を各テナントの店舗スタッフの画像の登録情報と照合して、各テナントの店舗スタッフと来店者とを区別する動線解析部と、を備える。

また、本発明の属性別人数集計システムに用いられるセンター装置は、画像解析装置の人物特定部から出力される人物特定の結果と、属性推定部から出力される属性判定の結果と、入店判定部から出力される入店判定の結果に基づいて、各テナントの店舗に入店した人数を計数し、人物特定部で判定した店舗スタッフを除いて、各テナントの店舗ごとの来店者を、属性推定部が推定した属性別に集計する集計部と、集計部による集計結果を出力する集計結果出力部と、を備える。

本発明によれば、ショッピングモールやデパート等、複数のテナントが入る複合的商業施設において、出店するテナントと商業施設の管理者に対して、売上げ改善や集客率の向上のための有益かつ正確な情報を提供することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態における属性別人数集計システムの構成および機能を示すブロック図である。 本発明の第１の実施形態における属性別人数集計システムの主要な構成である画像処理装置のハードウェア構成を示す図である。 本発明の第１の実施形態における属性別人数集計システムの主要な構成であるセンター装置のハードウェア構成を示す図である。 本発明の第１の実施形態の属性別人数集計システムにおける属性・人物解析結果のデータ構造を示すテーブルである。 本発明の第１の実施形態の属性別人数集計システムにおける動線履歴情報のデータ構造を示すテーブルである。 本発明の第１の実施形態の属性別人数集計システムにおけるテナントの出入口付近の仮想ラインおよび仮想エリアの設定例を示す図である。 本発明の第１の実施形態の属性別人数集計システムにおける商業施設の出入口付近の仮想ラインの設定例を示す図である。 本発明の第１の実施形態の属性別人数集計システムにおける属性・人物解析処理および動線履歴作成処理の流れを示すフローチャートである。 本発明の第２の実施形態における属性別人数集計システムの構成および機能を示すブロック図である。

＜本発明の第１の実施の形態例の説明＞
以降、本発明を実施するための第１の実施形態の例（以下、「本例」と称する）を、図１～図８を参照して説明する。
［全体構成の説明］
図１は、本例の属性別人数集計システムを示す機能ブロック図である。本例の属性別人数集計システムは、商業施設１０に設置されている画像解析装置２０およびカメラ３０、およびセンター装置５０に設置されているデータ集計サーバ５１、Ｗｅｂサーバ５２およびデータベース（ＤＢ）５３を備えている。カメラ３０は１台でもよいが、図１に示すように複数台設置されている方が望ましい。

商業施設１０に設置されている画像解析装置２０は、広域ネットワーク４０を介してセンター装置５０と接続されている。
カメラ３０は、商業施設１０において、商業施設１０に出店しているテナントの出入口やエレベータホールなど、来客の動線を確認したいエリアに向けて取り付けられる。
画像解析装置２０は、制御部２１、カメラ管理部２２、画像解析部２３、動線解析部２４、記憶部２５、および通信部２８を備える。

制御部２１には、カメラ管理部２２、画像解析部２３、動線解析部２４、記憶部２５、および通信部２８が接続されている。制御部２１は、記憶部２５に格納されている制御プログラムを実行することによって画像解析装置２０の動作を制御する。
カメラ管理部２２には、制御部２１と複数のカメラ３０が接続されている。カメラ管理部２２には、カメラ３０で撮像した画像が入力され、カメラ管理部２２は、撮像画像を撮像したカメラ３０ごとに撮影画像を管理する。

画像解析部２３は、制御部２１に接続されている。画像解析部２３は、入力される撮像画像の中の人物を検出する人物検出部２３１、人物を特定する人物特定部２３２、人物の属性を分析する属性推定部２３３を有する。

人物検出部２３１は、撮像画像内に存在する「人と推定される形状の人物」を検出する処理（人物検出処理）を行う。人物特定部２３２は、人物検出部２３１で検出された人物に対し、予め登録されている複数の人物の顔の特徴量と比較し、一致または極めて類似する人物が存在するか否かを判定する処理（人物特定処理）を行う。属性推定部２３３は、人物検出部２３１で検出された人物に対し、顔や背格好などにより性別および年齢を推定する処理（属性分析処理）を行う。

動線解析部２４は、制御部２１に接続されている。動線解析部２４は、カメラ３０で撮像された人物がテナントの店舗に入店したことを判定する入店判定部２４１を有する。
入店判定部２４１は、入力される連続的な撮像画像を基に、対象となる人物が予めテナントが設定した仮想ラインを通過したこと、つまり入店したことを検出する仮想ライン通過検出処理を行う。

また、動線解析部２４は、対象となる人物が所定期間、予めテナントが設定した仮想エリアに滞在したこと、つまり対象人物が入店する可能性が高いことを示す仮想エリア滞留判定処理を行う。仮想ライン通過検出処理は、テナントが撮像画像上に予め設定した仮想的な線（仮想ライン）を、対象となる人物が横断したことを検出する処理である。なお、仮想ライン通過検出処理の詳細は、図６で後述する。

仮想エリア滞留判定処理は、撮像画像上にテナントが予め設定した仮想的なエリア内に人物が一定時間滞留し続けたことを検出する処理である。なお、動線解析部２４では、仮想ライン通過検出処理と仮想エリア滞留判定処理とから、同一テナントのみを繰り返し入店する人物をテナントのスタッフと見なすスタッフ判定処理を行い、来店者とテナントのスタッフとを区別するようにしている。

記憶部２５には、属性・人物解析結果２６および動線履歴情報２７が格納されている。
通信部２８は、制御部２１および広域ネットワーク４０に接続されている。通信部２８は、記憶部２５に格納されている情報を、広域ネットワーク４０を介してセンター装置５０などの外部の装置に送信する。

センター装置５０は、データ集計サーバ５１、Ｗｅｂサーバ５２およびデータベース（ＤＢ：Data Base）５３を備える。データ集計サーバ５１およびＷｅｂサーバ５２は、広域ネットワーク４０を介して画像解析装置２０に接続されている。データベース（ＤＢ）５３は、データ集計サーバ５１およびＷｅｂサーバ５２に接続されている。

本例の属性別人数集計システムでは、センター装置５０に設けられるデータ集計サーバ５１とＷｅｂサーバ５２は、用途ごとに分けられたサーバ構成としているが、これに限らず、単一のサーバで構成し、単一のサーバにデータ集計サーバ５１とＷｅｂサーバ５２の両方の役割を持たせるようにしてもよい。

データ集計サーバ５１は、集計部５１１および集計結果出力部５１２を備える。集計部５１１は、画像解析装置２０で得られる商業施設１０への来場者情報および各テナントへの来店情報を集計し、これをデータベース（ＤＢ）５３に格納する。
このとき、データ集計サーバ５１の集計部５１１は、図４で後述する属性および人物解析情報の人物ＩＤをキーとして来場者を紐付けした情報を、データベース（ＤＢ）５３に格納する。このデータベース（ＤＢ）５３に格納される情報は、場所ごと、時間帯ごと、人物の性別や年齢ごとに集計された、商業施設１０および各テナントへの来客数となる。

データ集計サーバ５１の集計結果出力部５１２は、集計部５１１で集計した結果を、Ｗｅｂサーバ５２を介して商業施設１０の管理者およびテナントに提供する。なお、Ｗｅｂサーバ５２は、図６で後述するように、各テナントが自分の店に来る来店者を判定する仮想ラインおよび自店の前に仮想領域を設定する際にも利用される。

［画像解析装置２０およびセンター装置５０のハードウェア構成］
図２は、本例の属性別人数集計システムに用いられる、画像解析装置２０のハードウェア構成を示す。
図２に示すように、画像解析装置２０は、バス３１に接続されたＣＰＵ（Central Processing Unit）３２、ＲＯＭ（Read Only Memory）３３、ＲＡＭ（Random Access Memory）３４、不揮発性ストレージ３５を備える。また、外部との通信を行うための通信インタフェース（通信ＩＦ）３６および入力部３７を備える。

図２の入力部３７には、図１に示す商業施設１０の複数のカメラ３０が接続されており、カメラ３０で撮像された画像はバス３１を経由して不揮発性ストレージ３５に格納される。
ＣＰＵ３２は、画像解析装置２０（図１）のカメラ管理部２２、画像解析部２３および動線解析部２４等の各部の機能を実現するソフトウェアのプログラムコードをＲＯＭ３３から読み出して実行する。

ＲＡＭ３４には、画像解析装置２０内で行われる演算処理の途中で発生した変数等が一時的に書き込まれる。ＣＰＵ３２は、ＲＯＭ３３に記録されているプログラムコードを実行することにより、図１の制御部２１の機能を実現する。

通信インタフェース（Ｉ／Ｆ）３６は、図１に示す通信部２８に相当するものであり、通信Ｉ／Ｆ３６としては、例えば、ＮＩＣ（Network Interface Card）等が用いられる。この通信Ｉ／Ｆ３６を通して、画像解析装置２０は、図１に示す広域ネットワーク４０を介してデータ集計サーバ５１およびＷｅｂサーバ５２との通信を行う。なお、広域ネットワーク４０は、インターネットやＬＴＥ（Long Term Evolution）、ＬＡＮ（Local Area Network）等に代表される広域通信回線網であり、画像解析装置２０は、この広域ネットワーク４０を介してデータ集計サーバ５１およびＷｅｂサーバ５２と各種データをやり取りする。

不揮発性ストレージ３５は、ＳＳＤ（Solid State Drive）等の不揮発性のメモリで構成され、ＣＰＵ３２が動作するために必要なプログラムやデータ等が記憶され格納される。この不揮発性ストレージ３５には、図１に示す記憶部２５の中の属性・人物解析結果２６および動線履歴情報２７の各記憶領域が設けられている。

図３は、本例の属性別人数集計システムのセンター装置５０のハードウェア構成を示す。具体的には、データ集計サーバ５１とデータベース（ＤＢ）５３を接続したハードウェア構成、およびはＷｅｂサーバ５２とデータベース（ＤＢ）５３を接続したハードウェア構成を示している。
センター装置５０も、バス４１で接続されたＣＰＵ４２、ＲＯＭ４３、ＲＡＭ４４、不揮発性ストレージ４５（図１のデータベース（ＤＢ）５３に相当）、通信部Ｉ／Ｆ４６を備える。これらの構成および機能は、図２で説明した画像解析装置２０のハードウェア構成および機能と同じなので、説明は省略する。
ただし、センター装置５０は、図２に示すカメラ３０からの撮像信号を受け取る入力部３７に相当する構成は有しない。

［データ構造テーブルの説明］
図４は、図１に示す本例の属性別人数集計システムの記憶部２５に記憶されている、本実施形態における属性・人物解析結果２６のデータ構造のテーブルを示す。属性・人物解析結果２６は、人物ＩＤ２６ａの項目、氏名２６ｂの項目、性別２６ｃの項目、年齢２６ｄの項目、推定確度２６ｅの項目、および人物特定状況２６ｆの項目を有している。

人物ＩＤ２６ａの項目には、当該属性・人物解析結果のレコードを一意に特定する固有の文字列のＩＤ情報が格納されている。このＩＤ情報は、画像解析部２３が行う人物検出処理で検出された人物ごとに割り当てられる情報である。
氏名２６ｂの項目には、画像解析部２３が行う人物特定処理で、撮像された人物が予め登録された情報と一致または極めて類似すると判断された場合に、予め登録された氏名が格納される。
性別２６ｃの項目には、画像解析部２３が行う属性分析処理で、撮像された人物から推定される性別が格納される。

年齢２６ｄの項目には、画像解析部２３が行う属性分析処理で、撮像された人物から推定される年齢が格納される。
推定確度２６ｅの項目には、画像解析部２３が行う属性分析処理で、撮像された人物から性別および年齢を推定した際、撮像した画像の確度や解像度など推定の元とした撮像画像から推定した結果の精度が格納される。
人物特定状況２６ｆの項目には、画像解析部２３が行う人物特定処理で、撮像された人物が予め登録された情報と一致または極めて類似すると判断されたかどうかを表す情報が格納される。

図５は、図１に示す本例の属性別人数集計システムにおいて、同じく記憶部２５に記憶されている、動線履歴情報２７のデータ構造を示すテーブルである。動線履歴情報２７は、人物ＩＤ２７ａの項目、日時２７ｂの項目、および場所２７ｃの項目を有している。
人物ＩＤ２７ａの項目には、画像解析部２３が行う人物検出処理で検出された人物ごとに割り当てられるＩＤ情報が格納される。

日時２７ｂの項目には、動線解析部２４が行う仮想ライン通過検出処理または仮想エリア滞留判定処理により、人物ＩＤ２７ａがテナントへの入店もしくは特定エリアの通過をした日時が格納される。
場所２７ｃの項目には、動線解析部２４が行う仮想ライン通過検出処理または仮想エリア滞留判定処理により、人物ＩＤ２７ａが入店したテナントの名称もしくは通過した特定エリアの名称が格納される。

［仮想ライン・仮想エリアの設定例］
図６は、本例の属性別人数集計システムにおけるテナントの入り口付近の仮想ライン・仮想エリア設定例を示す。仮想ラインおよび仮想エリアの設定は、センター装置５０のＷｅｂサーバ５２が提供するＷｅｂ画面で商業施設１０の管理者もしくはテナントが行う。このＷｅｂサーバ５２で設定された仮想ラインおよび仮想エリアの情報は、センター装置５０から画像解析装置２０へ送信される。

なお、商業施設１０の管理者もしくはテナントは、Ｗｅｂサーバ５２のＷｅｂ画面上での仮想ラインおよび仮想エリアの設定に当たって、商業施設１０に設置されたカメラ３０の撮像画像を参照しながら撮像画面上で設定する。

図６は、テナントＡからテナントＥの出入口を見渡せるカメラ３０の撮像画像上に、テナントＡからテナントＥが、それぞれ独自の仮想ラインおよび仮想エリアを設定した例である。この例では、テナントＡとテナントＣとテナントＥは、仮想ラインのみをテナントの出入口に設定している。テナントＢとテナントＤとは、仮想ラインをテナントの出入口に設定し、仮想エリアを店頭に設定している。

人物ａがテナントＣの設定した仮想ラインを入店方向へ横断すると、人物ａはテナントＣに入店したものと見なされる。また、人物ｂがテナントＤの設定した仮想エリアに一定時間滞留し続けると、人物ｂはテナントＤへ入店したと見なされる。

図７は、本例の属性別人数集計システムにおける商業施設１０の出入口付近に仮想ラインを設定する例を示す。すなわち、商業施設１０の出入口を見渡せるカメラ３０の撮像画像上に、商業施設１０の管理者が全来場者数を把握するために仮想ラインを設定した例である。この例では、商業施設１０の２つ出入口である出入口１と出入口２に対して、それぞれ仮想ラインを設定している。人物ｃが商業施設１０の出入口１に設定した仮想ラインを商業施設１０内へ横断すると、人物ｃは商業施設１０へ来場したと見なされる。

以上、図６、図７で説明したように、仮想ラインと仮想エリアとを使って各テナントへの入店者数と商業施設１０への来場者数を把握することで、商業施設１０に入場した全来場者数の何パーセントが各テナントへ入店したかを把握することができる。

［本例の属性別人数集計システムの処理手順］
次に、この実施形態に係る属性別人数集計システムの動作について図面を参照しながら説明する。図８は、本例において、画像解析装置２０で行う画像解析処理を示すフローチャートである。
本例の属性別人数集計システムが行う処理は、図４に示す属性・人物解析結果２６と、図５に示す動線履歴情報２７に関するレコードの作成および更新する処理である。この処理は、カメラ３０で撮像した撮像画像を基にして行われる。

画像解析装置２０がカメラ３０から撮像画像を受信すると図８に示す処理が開始される。
処理を開始すると、画像解析部２３の人物検出部２３１は、受信した撮像画像を基に人物検出処理を行う（ステップＳ１０１）。なお、ステップＳ１０２からステップＳ１１０までの処理は、繰り返し処理（ループ処理）である。この繰り返し処理は、ステップＳ１０１で検出した人物の数だけ繰り返えされて行われる。

まず、撮像されたカメラ画像の中で検出された人物一覧から一人ずつ人物情報を取得する（ステップＳ１０２）。このステップＳ１０２では、人物一覧のｎ人目の人物情報が記憶部２５の属性・人物解析結果（図４参照）に存在するかどうかが判断される。すなわち、図４に示す属性・人物解析結果の中にカメラ画像の中で検出されて人物一覧のｎ人目の人物情報が存在する場合に、画像解析部２３の人物検出部２３１は、図４に示す人物特定状況２６ｆにおいて、ｎ人目の人物が確定済みであるか、あるいは未確定であるかを判断する（ステップＳ１０３）。ここで、カメラ画像としては、１台のカメラ３０で撮像された画像でもよいが、複数台のカメラ３０で撮像した画像またはこれらの画像を合成した画像であってもよい。

つまり、このステップＳ１０３では、ｎ人目の人物情報の人物ＩＤをもとに、図４の属性・人物解析結果を検索し、一意に特定されるレコードの人物特定状況２６ｆの項目に格納された内容を取得したことになる。なお、ステップＳ１０１で検出したカメラ画像の人物一覧の中にｎ人目の人物情報が存在しない場合、つまりカメラ画像の中の全ての人物（ｎ－１）人について、ステップＳ１０２～Ｓ１１０の処理が終わった場合には、ステップＳ１０２～Ｓ１１０の繰り返し処理を終了する。なお、ｎは１から始まる自然数である。

ステップＳ１０３で、人物特定状況２６ｆの項目に格納された内容が「未確定」であれば（ステップＳ１０３のＹｅｓ）、画像解析部２３の属性推定部２３３は、ｎ人目の人物情報の属性分析処理を行う（ステップＳ１０４）。すなわち、ステップＳ１０４の属性分析処理では、ｎ人目の人物情報に対する性別推定と年齢推定とを行い、その推定確度を算出する。性別と年齢とを推定できない場合は「不明」とする。

そして、属性推定部２３３は、ｎ人目の人物について、得られた性別、年齢および推定確度を、図１の記憶部２５の属性・人物解析結果２６に格納する。この格納された結果が、図４に示されたものとなる。但し、ステップＳ１０４で、推定結果として「不明」以外の情報が格納されている場合であって、既に格納済みの推定確度が今回算出した推定確度より大きい場合には、今回算出した推定確度の情報を優先して格納するようにする。

ステップＳ１０４の属性分析処理に続いて、画像解析部２３の人物特定部２３２は、カメラ画像の中のｎ人目の人物情報に対し、顔認証による人物特定処理を行う（ステップＳ１０５）。ステップＳ１０５の人物特定処理では、人物特定部２３２は、カメラ画像の中のｎ人目の人物情報に対して、予め登録されている来店者の会員情報の画像と店舗スタッフ情報の画像の登録情報を基にして、登録情報との一致あるいは不一致を推定する。

そして、ステップＳ１０５で、カメラ画像の中のｎ人目の人物情報が登録情報と一致し、人物の特定を行うことができた場合には、登録情報から氏名、性別および年齢を、図１の記憶部２５の属性・人物解析結果２６に格納する。その際、カメラ画像の中のｎ人目の人物情報の人物ＩＤをもとに、図４の属性・人物解析結果のデータベースを検索し、図４の人物特定状況２６ｆの項目に「確定済」を格納する。

ステップＳ１０３で、人物特定状況２６ｆの項目に格納された内容が「未確定」ではない、つまり「確定済み」であると判断された場合には（ステップＳ１０３のＮｏ）、続いて、属性推定部２３３は、カメラ画像の中のｎ人目の人物が一般来店者か否かを判断する（ステップＳ１１１）。ステップＳ１１１で一般来店者ではないと判断された場合、例えばテナントの店舗のスタッフ等であると判定された場合には（ステップＳ１１１のＮｏ）は、ステップＳ１１０に進み、処理を終了する。

ステップＳ１０５で、カメラ画像の中のｎ人目の人物情報から、当該人物が特定された場合、およびステップＳ１１１で一般来店者であると判断された場合には、続いて、動線解析部２４により、カメラ画像の中のｎ人目の人物情報に対し、動線解析処理を行う（ステップＳ１０６）。
このステップＳ１０６の動線解析処理では、仮想ライン通過検出処理、仮想エリア滞留判定処理、およびスタッフ判定処理が行われる。

まず、カメラ画像の中のｎ人目の人物情報に対し、予め各テナントが設定した仮想ラインの通過が検出されたか否か、あるいはｎ人目の人物が仮想エリア内に一定時間滞留していることが検出されたか否かが判断される（ステップＳ１０７）。

そして、ステップＳ１０７で、カメラ画像の中のｎ人目の人物情報に対し、仮想ライン通過が検出されたか、または仮想エリア内に一定時間の滞留が検出されたと判断された場合（ステップＳ１０７のＹｅｓ）には、次に、動線解析部２４は、仮想ラインを通過した人物、または仮想エリア内の一定時間の滞留が検出された人物がスタッフでないか否かを判断する（ステップＳ１０８）。

ステップＳ１０８で、仮想ラインを通過したｎ人目の人物または仮想エリア内の一定時間の滞留が検出されたｎ人目の人物がスタッフではないと判断された場合（ステップＳ１０８のＹｅｓ）には、動線解析部２４は、カメラ画像の中のｎ人目の人物情報に対し、動線履歴登録処理を行う（ステップＳ１０９）。このステップＳ１０９の動線履歴登録処理では、ステップＳ１０６で検出した仮想ライン通過検出または仮想エリア滞留判定を基に、図１の記憶部２５の動線履歴情報２７にレコードの追加登録が行われる（ステップＳ１１０）。

この追加登録は、図５の動線履歴情報に対するレコードの追加登録に相当する。すなわち、動線解析部２４は、カメラ画像の中のｎ人目の人物情報の人物ＩＤ、仮想ライン通過検出または仮想エリア滞留判定を行った日時、および仮想ライン通過検出または仮想エリア滞留判定を行った場所を、図１の記憶部２５の動線履歴情報２７（図５参照）に格納する。

ステップＳ１０７で、カメラ画像の中のｎ人目の人物情報に対し、仮想ライン通過が検出されなかったか、または仮想エリア内に一定時間の滞留が検出されなかったと判断された場合（ステップＳ１０７のＮｏ）、およびステップＳ１０８で、仮想ラインを通過した人物または仮想エリア内の一定時間の滞留が検出されたｎ人目の人物がスタッフであると判断された場合（ステップＳ１０８のＮｏ）には、ステップＳ１０３～Ｓ１０９のループ処理を終了する。

以上説明したように、図８に示す画像解析処理フローにより、図４に示す属性・人物解析結果２６と、図５に示す動線履歴情報２７とへ、撮像画像の解析結果が格納される。
センター装置５０のデータ集計サーバ５１は、定期的に図４に示す属性・人物解析結果２６と、図５に示す動線履歴情報２７とに格納された情報を取得し、集計した結果をセンター装置６０のデータベース（ＤＢ）５３へ格納する。

データ集計サーバ５１による集計処理では、例えば、図５の動線履歴情報に、図４の属性・人物解析結果の人物ＩＤをキーとして結合した情報が、データベース（ＤＢ）５３に格納される。データベース（ＤＢ）５３に格納された情報は、場所ごと、そして時間帯ごとに計数されて、各テナントの時間帯別来客数が得られる。さらに、来客者を性別や年齢で分けることで属性別の来客者数が得られる。また、自テナントに来店した各人物ＩＤが、訪れた他のテナントをテナント別に計数することで、自テナントへ来店する来客者の動線傾向が得られる。

＜本発明の第２の実施の形態例の説明＞
図９は、本発明の第２の実施形態における属性別人数集計システムの構成および機能を示すブロック図である。
図１に示す第１の実施形態と異なる点は、第１の実施形態では、センター装置５０のデータ集計サーバ５１が集計部５１１を持って、画像解析装置２０から送信された各種データを収集しているのに対し、図９に示す第２の実施形態では、画像解析装置２０内に集計部２９を設けた点である。

したがって、第２の実施形態におけるセンター装置５０のデータサーバ５１’は、第１の実施形態のデータ集計サーバ５１の集計結果出力部５１２のみを備えることになる。それ以外の構成は全て同じなので、ここでは重複する説明は省略する。

図９の集計部２９は、図１の実施形態のデータ集計サーバ５１の集計部５１１の機能を画像解析装置２０側に移したものと考えてよい。したがって、図９の集計部２９は、図４で後述する属性、人物解析情報の人物ＩＤをキーとして来場者を紐付けした情報を、場所ごと、時間帯ごと、人物の性別や年齢ごとに計数して記憶部２５に格納する。なお、集計結果に関する分析情報は、Ｗｅｂサーバ５２のＷｅｂ画面により商業施設１０の管理者およびテナントに提供される。

本発明の第１及び第２の実施形態によれば、商業施設１０に出店するテナントは、時間帯ごと属性ごとの来店者数の提供を受けることができる。また、どの方面から来た人が入店する傾向にあるとか、他の特定の店舗へ寄ってから入店する来場者多いなどといった、来店者の動線傾向の提供を受けることができる。

また、商業施設１０の管理者は、各テナントへの入店者数の推移を把握することができ、これにより、テナントの退店が推測可能となる。さらに、各テナントに対して、仮想ライン・仮想エリアの設定、店舗スタッフの登録などのシステム設定を委ねることができるので、管理の手間が少ないという利点もある。

なお、本発明は前述した実施の形態に限定されるものではなく、様々な変形態様が含まれる。前述した実施の形態は、本発明を分かりやすく説明するために説明したものであり、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではなく、適宜、その他の構成にも応用できる。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、図面において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実施には殆ど全ての構成が相互に接続されていると考えてもよい。

１０…商業施設、２０…画像解析装置、２１…制御部、２２…カメラ管理部、２３…画像解析部、２３１…人物検出部、２３２…人物特定部、２３３…属性推定部、２４…動線解析部、２４１…入店判定部、２５…記憶部、２６…属性・人物解析結果、２７…動線履歴情報、２８…通信部、３０…カメラ、４０…広域ネットワーク、５０…センター装置、５１…データ集計サーバ、５１１…集計部

Claims (3)

1. カメラからの撮像画像が入力される画像解析装置と、前記画像解析装置と広域ネットワークにより接続されるセンター装置とから構成される属性別人数集計システムであって、
   前記画像解析装置は、
   前記カメラで撮像した撮像画像の中の人と推定される形状の人物を検出する人物検出部と、
   前記撮像された前記人物を、前記カメラで撮像された前記人物の顔画像及び背格好を基に、記憶部に記録されている予め登録された複数の人物の顔の特徴量と比較し、一致または類似の判定を行い、前記カメラで撮像した画像の中の人物に対して、予め登録されている会員である来店者の画像と、各テナントの店舗スタッフの画像の登録情報を基にして、撮像された人物が店舗スタッフかどうかを判定する人物特定部と、
   前記カメラで撮像された前記人物の画像を基に、前記人物特定部で特定された人物の顔や背格好により、当該人物の性別及び年齢を推定する属性推定部と、
   前記カメラで撮像された人物が予め各テナントが設定した仮想ラインを通過したことを検出して、前記人物が入店したことを判定する入店判定部と、
   前記カメラで撮像した前記人物が、前記各テナントが予め設定した前記仮想ラインを通過したか否かの仮想ライン通過検出処理、または前記カメラで撮像した前記人物が、仮想エリア内に一定時間を超えて滞在したことを判定する仮想エリア滞留判定処理により、同一テナントのみを繰り返し入店する人物を前記各テナントのスタッフとみなすと共に、前記仮想エリア内に一定時間を超えて滞在している前記人物を前記各テナントの店舗スタッフの画像の登録情報と照合して、前記各テナントの店舗スタッフと来店者とを区別する動線解析部と、を備え、
   前記センター装置は、
   前記画像解析装置の前記人物特定部から出力される人物特定の結果と、前記属性推定部から出力される属性判定の結果と、前記入店判定部から出力される入店判定の結果に基づいて、前記各テナントの店舗に入店した人数を計数し、前記人物特定部で判定した店舗スタッフを除いて、前記各テナントの店舗ごとの来店者を、前記属性推定部が推定した属性別に集計する集計部と、
   前記集計部による集計結果を出力する集計結果出力部と、を備える
   属性別人数集計システム。
2. 前記入店判定部は、１台または複数のカメラが撮像する、前記各テナントの１つまたは複数の店舗に対して、前記１台または複数のカメラで撮像された人物が前記各テナントの店舗に入店したことを判定する
   請求項１記載の属性別人数集計システム。
3. カメラで撮像した撮像画像の中の人と推定される形状の人物を検出する人物検出部と、
   前記撮像された前記人物を、前記カメラで撮像された前記人物の顔画像及び背格好を基に、記憶部に記録されている予め登録された複数の人物の顔の特徴量と比較し、一致または類似の判定を行い、前記カメラで撮像した画像の中の人物に対して、予め登録されている会員である来店者の画像と、各テナントの店舗スタッフの画像の登録情報を基にして、撮像された人物が店舗スタッフかどうかを判定する人物特定部と、
   前記カメラで撮像された前記人物の画像を基に、前記人物特定部で特定された人物の顔や背格好により、当該人物の性別及び年齢を推定する属性推定部と、
   前記カメラで撮像された人物が予め各テナントが設定した仮想ラインを通過したことを検出して、前記人物が入店したことを判定する入店判定部と、
   前記カメラで撮像した前記人物が、前記各テナントが予め設定した前記仮想ラインを通過したか否かの仮想ライン通過検出処理、または前記カメラで撮像した前記人物が、仮想エリア内に一定時間を超えて滞在したことを判定する仮想エリア滞留判定処理により、同一テナントのみを繰り返し入店する人物を前記各テナントのスタッフとみなすと共に、前記仮想エリア内に一定時間を超えて滞在している前記人物を前記各テナントの店舗スタッフの画像の登録情報と照合して、前記各テナントの店舗スタッフと来店者とを区別する動線解析部と、
   前記人物特定部から出力される人物特定の結果と、前記属性推定部から出力される属性判定の結果と、前記入店判定部から出力される入店判定の結果に基づいて、前記各テナントの店舗に入店した人数を計数し、前記人物特定部で判定した前記店舗スタッフを除いて、前記各テナントの店舗ごとに属性別に集計する集計部と、を備える
   属性別人数集計装置。

Images