JPH11175730A - 人間検出追跡システム - Google Patents

Abstract

(57)【要約】 【課題】この発明は、定められた通行利用領域で人の動
きを追跡する際、一人一人の身体的特徴を自動的に読取
って取得し、この身体的特徴を照合要素に用いて各人を
区別して特定するため、この特定した同一人物を完全自
動化して正確に追跡することができる人間検出追跡シス
テムの提供を目的とする。 【解決手段】この発明は、通路を通過利用した人の動き
を検出する人間検出追跡システムであって、上記通路の
複数の検出位置に配設して、各々の人の画像を取得する
画像取得手段と、この画像取得手段で取得した画像から
人の身体的特徴を抽出してデータベースに登録する画像
登録手段と、上記画像取得手段で取得した身体的特徴と
上記画像登録手段で登録した身体的特徴とから類似度を
求め、この類似度に基づいて登録者か否かを識別する識
別手段とを備えたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばデパート
やスーパーマーケットに備えられるような人間検出追跡
システムに関し、さらに詳しくは顧客の一人一人の動き
を正確に捉えてマーケッティングリサーチを行う人間検
出追跡システムに関する。

【０００２】

【従来の技術】一般に、人が自由に通行利用する広範囲
の領域から人の動きを特定して追跡する人間検出追跡シ
ステムとしては主に、 （１）赤外線センサで人の温度放射を検出して人の動き
を追跡する手段 （２）撮像カメラで取得した広域の画像から動く物体を
人と判定して追跡する手段 （３）撮像カメラで取得した広域画像の濃淡情報及び色
情報から人の頭髪を検出して追跡する手段 が知られている。

【０００３】しかし、このような追跡手段は動く対象物
が、人か物体かを正確に識別して検出できないため追跡
精度が不正確で信頼性の低いものであった。また、同一
人を正確に捉えて追跡しているか否かはシステム側では
不明なため、追跡途中で異なる人を追跡しても分から
ず、特に人が混み合ったり、人の多い所では追跡者の特
定が困難となっていた。

【０００４】このため、通行利用する人の顔画像を識別
して本人を追跡するシステムが考えられるが、この場合
はシステム側が追跡利用を図るために人の顔画像を意図
的に取得して事前に登録する必要があり、この人の追跡
システムを完全自動化することができなかった。

【０００５】

【発明が解決しようとする課題】そこでこの発明は、定
められた通行利用領域で人の動きを追跡する際、一人一
人の身体的特徴を自動的に読取って取得し、この身体的
特徴を照合要素に用いて各人を区別して特定するため、
この特定した同一人物を完全自動化して正確に追跡する
ことができる人間検出追跡システムの提供を目的とす
る。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
通路を通過利用した人の動きを検出する人間検出追跡シ
ステムであって、上記通路の複数の検出位置に配設し
て、各々の人の画像を取得する画像取得手段と、この画
像取得手段で取得した画像から人の身体的特徴を抽出し
てデータベースに登録する画像登録手段と、上記画像取
得手段で取得した身体的特徴と上記画像登録手段で登録
した身体的特徴とから類似度を求め、この類似度に基づ
いて登録者か否かを識別する識別手段とを備えたことを
特徴とする。

【０００７】請求項２記載の発明は、画像取得手段で取
得した画像が人の身体的特徴を補正するのに適している
媒介変数値と判定したとき追加登録する画像登録手段を
備えたことを特徴とする。

【０００８】請求項３記載の発明は、登録者識別データ
と画像取得手段で取得した位置および時刻を識別データ
とする識別手段を備えたことを特徴とする。

【０００９】

【発明の作用及び効果】この発明によれば、通路の複数
の位置に配設した画像取得手段で自動的に人の画像を取
得し、この取得した画像から画像登録手段が人の身体的
特徴を抽出してデータベースに登録し、これに基づいて
識別手段は画像取得手段で取得した身体的特徴と、画像
登録手段で登録した身体的特徴とを比較して類似度を求
め、この類似度から登録者か否かを自動的に識別する。

【００１０】この結果、追跡すべき人の登録操作を自動
的に行って登録作業を完全自動化し、また登録した身体
的特徴を画像取得毎に照合して確認するだけで本人を確
実に特定することができ、信頼性の高い照合利用が図れ
る。従って、デパートやスーパーマーケットのような定
められた通行利用領域で人の動きを追跡する際は、同一
人物を完全自動化して正確に追跡することができる。

【００１１】また、自動的に取得した画像が同一人物の
身体的特徴を補正するのに適している媒介変数値と認め
たときだけ追加登録するように設定すれば、照合性を高
めるデータだけを追加登録して精度のよい登録データに
更新することができる。

【００１２】さらに、登録者識別データと画像取得手段
で取得した位置および時刻を識別データに用いれば、本
人の移動範囲や移動方向及び移動速度から照合対応が正
確にとれるため、本人照合性が高まり、信頼性の高い追
跡ができ、マーケッティングリサーチや各種会場内での
人の流れ等の貴重なデータを完全自動化して収集するこ
とができる。

【００１３】

【実施例】この発明の一実施例を以下図面に基づいて詳
述する。図１はスーパーマーケット１１に適用したマー
ケッティングリサーチ用の人間検出追跡システムを示
し、このマーケッティングリサーチ用の人間検出追跡シ
ステムは店内に商品棚１２…が縦横に区画して整列配置
されており、この商品棚１２…間で形成される通路１３
の交差位置や出入口１４及びレジカウンタ１５近傍位置
のそれぞれに撮像カメラ１６…を配設して構成する。

【００１４】上述の撮像カメラ１６は、顧客の通行に支
障のない通路１３の上方位置に取付けて顧客の顔画像デ
ータを取得するのに適した向きに設定し、また店内の顧
客の動きを追跡調査できるように多数個の撮像カメラ１
６…を配設している。

【００１５】さらに、顧客の顔画像データを撮像カメラ
１６で取得する際、顧客が撮像カメラ１６の撮像エリア
に入ったとき、その顧客の顔を撮像して取得し、この取
得した顔画像データから目、鼻、口…等の各部分および
顔全体の形状や大きさ、髪型、眼鏡の有無、色、皺、化
粧度合い等の本人固有の顔特徴量を取得する。

【００１６】この顔特徴量を顧客の照合要素として用
い、出入口１４から入ってきた顧客の最初の取得データ
を同客の登録データに設定し、これを照合基準に用いて
その後に他の撮像カメラ１６…で取得したデータを照合
し、一致したとき同客と検出し、この検出動作を続けて
顧客を追跡する。

【００１７】図２は人間検出追跡システムの制御回路ブ
ロック図を示し、店内に多数配設された第１〜第ｎ撮像
カメラ１６−1 〜１６−ｎは、同カメラとそれぞれ対応
する第１〜第ｎ画像入力部２１−1 〜２１−ｎ、第１〜
第ｎ識別処理部２２−1 〜２２−ｎを通してシステム制
御部２３とデータベース２４とに接続される。

【００１８】そして、各々の第１〜第ｎ撮像カメラ１６
−1 〜１６−ｎが取得した画像データは、第１〜第ｎ画
像入力部２１−1 〜２１−ｎで各フレーム毎に静止画像
あるいは動画像としてフレームメモリに記憶し、この記
憶した画像から第１〜第ｎ識別処理部２２−1 〜２２−
ｎで人の検出、顔の検出、顔画像の切出し、顔特徴量の
抽出を行って最後にデータベース２４に記憶設定された
値と比較して類似度を計算し、その類似度に基づいて識
別する。

【００１９】システム制御部２３は制御プログラムに沿
って各回路装置を制御し、登録データの追加あるいは抹
消等の管理、追跡できた人の動きの計算、表示、記録を
行い、また撮像カメラ１６−1 〜１６−ｎのズーム操
作、カメラの向きを変えるパン操作、露出操作等のコン
トロールも行う。

【００２０】データベース２４は一元化して全ての識別
処理部２２−1 〜２２−ｎがアクセスして、取得した画
像データからの顔特徴量の登録処理及び照合毎の識別処
理を許容している。 図３は顔情報の類似度判定処理
動作を示し、撮像カメラ１６から顧客の顔情報を取得し
た生画像を一旦画像メモリ３１に蓄積する。蓄積された
生画像から顔検出部３２で顔領域の検索を行って、撮像
した顔領域を検出する。ここでは、顔とその周辺の概略
を検出し、この顔領域の検出手法に際しては １．背景画像と取得画像の差を抽出する背景差分手法 ２．カラーを用いた肌色検出手法 ３．オプチカルフローやフレーム差分を用いた動き検出
手法 ４．顔らしさをニューラルネットワークやパターンマッ
チングによって求める手法 のいずれかを用いて顔領域を検出する。

【００２１】この顔領域を検出した後、顔位置検出部３
３で目、鼻、口…等の特徴モデルを元にマッチングによ
って顔の位置を正確に検出する。顔の位置を正確に検出
して位置決めすると、顔特徴抽出部３４で顔画像から切
出された顔特徴量を抽出する。この顔特徴量は平均顔と
の差を主成分分析等の統計的手法を用いて抽出するか、
あるいは目、鼻、口…等の濃淡画像からテンプレートマ
ッチングにより抽出する。

【００２２】この抽出された顔特徴量と、登録特徴メモ
リ３５に予め登録されている特徴とを類似度判定部３６
で比較照合して類似度を判定し、この類似度の基準しき
い値（スレッショルダレベル）を満たすときは同一客と
照合確認する。

【００２３】図４は人間検出追跡システムの追跡状態を
示し、今、人の動きを示す動線４１に沿って第１〜第３
人物Ａ〜Ｃが特定方向に移動したとき、第１撮像カメラ
１６−１が第１人物Ａと第２人物Ｂとの２人を同時に撮
像した場合、これらの人物Ａ、Ｂ毎にデータベース２４
から読出して照合し、このとき登録データがない未登録
客と判定すれば、その取得した画像データをデータベー
ス２４に登録する。

【００２４】また、第２撮像カメラ１６−２及び第３撮
像カメラ１６−３が第１人物Ａを撮像した場合は、この
人物Ａの登録データをデータベース２４から読出して照
合し、照合すれば、同一客と判定して追跡確認する。

【００２５】さらに、第４撮像カメラ１６−４が第３人
物Ｃを撮像した場合、この人物Ｃの登録データをデータ
ベース２４から読出して照合し、このとき登録データが
ない未登録客と判定すれば、その取得した画像データを
データベース２４に登録する。

【００２６】続いて、第５撮像カメラ１６−５が第２人
物Ｂを撮像した場合は、この人物Ｂの登録データをデー
タベース２４から読出して照合し、照合すれば、同一客
と判定して追跡確認する。

【００２７】同じく、第６撮像カメラ１６−６が第３人
物Ｃを撮像した場合は、この人物Ｃの登録データをデー
タベース２４から読出して照合し、照合すれば、同一客
と判定して追跡確認する。

【００２８】このように、通路１３の複数の位置に配設
した撮像カメラ１６−１…で自動的に人の顔画像を取得
してデータベース２４に登録し、これと他の撮像カメラ
で取得したときに、その顔特徴量を比較して登録者か否
かを自動的に識別するため、追跡すべき人を完全自動化
して追跡できる。従って、スーパーマーケットのように
定められた通行利用領域では、同一人物を完全自動化し
て正確に追跡することができる。

【００２９】また、登録データは最初に登録設定したま
まではなく、画像取得する毎に元の登録データを自動的
に更新して登録精度を高めるように再登録許容してい
る。この再登録に際しては、データベースが記憶する顧
客の特徴量を撮像カメラが読取ったとき、その読取った
最新の特徴量を再登録するか否かを識別し、再登録する
と識別した場合は、システム制御部２３が顔の特徴量を
データベース２４に再登録し、この再登録を行うことに
よって登録データの照合精度及び信頼性が高まり、常に
精度のよい登録データを維持する。

【００３０】また、撮像カメラにより自動的に取得した
画像が、同一人物の顔特徴量を登録更新用に補正するの
に適している顔の大きさ（ドット数）、顔傾き、明る
さ、濃淡等の媒介変数値（パラメータ）と認めたときだ
け追加登録するように設定すれば、精度のよい登録デー
タに更新することができる。従って、登録補正に不適な
パラメータのとき、例えば顔画像が小さく画像分解能が
確保できないときは登録回避する。

【００３１】さらに、登録客識別データ、撮像カメラで
取得した位置および時刻を識別データに用いれば、登録
順序等から登録客の移動範囲や移動方向及び移動速度を
特定することができ、その登録客との照合対応が正確に
とれ、照合性が高まり、信頼性の高い追跡ができる。

【００３２】このように構成された人間検出追跡システ
ムの追跡処理動作を図５に示すフローチャートを参照し
て説明する。今、１台または複数台の撮像カメラ１６，
１６−１〜１６−ｎから顔の画像データを取得すると、
その画像データから顔領域の検索を行って、撮像した顔
領域を検出し（ステップｎ1 〜ｎ2 ）、この顔領域を検
出した後、目、鼻、口…等の特徴から顔の位置を検出し
て位置決めし、この位置決めされた顔画像から顔特徴量
を抽出する（ステップｎ3 〜ｎ4 ）。

【００３３】このとき、予め登録された特徴量があれ
ば、抽出された顔特徴量と一つ一つ比較照合して類似度
を求める（ステップｎ5 〜ｎ6 ）。

【００３４】データベース２４に登録された全ての顔特
徴量との比較を行い、基準しきい値以下のときは、顔画
像が識別不能であったか、未登録者のため、このときは
特徴データの画像が鮮明であることを確認して未登録者
としてデータベース２４に新規登録する（ステップｎ7
〜ｎ9 ）、基準しきい値以上の同一客と認めたときは、
撮像カメラの位置、識別者のＩＤ番号、識別時刻等を記
録しておき、その人の動きを動線４１として表示あるい
は記録しておくことができる。これらの情報を元にすれ
ば、何時、何処で、どのような人が何人いたか、どのよ
うに動いたか等の店舗経営にとって有効なマーケット情
報が正確に得られる（ステップｎ10〜ｎ11）。

【００３５】上述のように、通路の複数の位置に配設し
た撮像カメラで自動的に人の顔画像を取得して登録し、
その後に他の撮像カメラで取得した顔画像とを比較して
登録者か否かを自動的に識別するため、追跡すべき人の
登録操作を自動的に行って登録作業を完全自動化し、ま
た登録した顔特徴量を画像取得毎に照合して確認するだ
けで本人を追跡することができる。

【００３６】また、自動的に取得した画像が、同一人物
の顔特徴量を登録更新用に補正するのに適している媒介
変数値と認めたときだけ追加登録するように設定すれ
ば、照合性を高めるデータだけを追加登録でき、精度の
よい登録データに更新することができる。さらに、登録
客識別データや撮像カメラで取得した位置および時刻を
識別データに用いれば、その登録客の移動範囲や移動方
向及び移動速度を特定でき、その登録客の照合対応が正
確にとれ、照合性が高まり、信頼性の高い追跡ができ
る。ことに、顧客の購買行動、売れ筋の予測、不審者チ
ェック、循環客との区別によって得られる真の入場者
数、レイアウトやテナントの配置決定等のマーケッティ
ングリサーチや各種会場内での人の流れ、入場者数、行
列の待ち時間等の貴重なデータを完全自動化して収集す
ることができる。

【００３７】この発明と、上述の一実施例の構成との対
応において、この発明の画像取得手段は、実施例の撮像
カメラ１６と、第１〜第ｎ撮像カメラ１６−1 〜１６−
ｎ…に対応し、以下同様に、身体的特徴は、顔の特徴量
に対応し、画像登録手段は、システム制御部２３に対応
し、識別手段は、第１〜第ｎ識別処理部２２−1 〜２２
−ｎに対応するも、この発明は、請求項に示される技術
思想に基づいて応用することができ、上述の実施例の構
成のみに限定されるものではない。

【００３８】例えば、身体的特徴は顔の特徴量に限ら
ず、服装、服装の色、身長等の属性情報を用いたり、併
用して総合的に識別するように設定することもできる。

【図面の簡単な説明】

【図１】 この発明のスーパーマーケットに適用した人
間検出追跡システムの概略平面図。

【図２】 この発明の人間検出追跡システムの制御回路
ブロック図。

【図３】 この発明の人間検出追跡システムの顔情報の
類似度判定処理動作を示す説明図。

【図４】 この発明の人間検出追跡システムの追跡状態
を示す追跡説明図。

【図５】 この発明の人間検出追跡システムの追跡処理
動作を示すフローチャート。

【符号の説明】

１１…スーパーマーケット １３…通 路 １６，１６−1 〜１６−ｎ…撮像カメラ ２１−1 〜２１−ｎ…画像入力部 ２２−1 〜２２−ｎ…識別処理部 ２３…システム制御部 ２４…データベース Ａ〜Ｃ…人 物

Claims (3)

【特許請求の範囲】
1. 【請求項１】通路を通過利用した人の動きを検出する人
   間検出追跡システムであって、上記通路の複数の検出位
   置に配設して、各々の人の画像を取得する画像取得手段
   と、上記画像取得手段で取得した画像から人の身体的特
   徴を抽出してデータベースに登録する画像登録手段と、
   上記画像取得手段で取得した身体的特徴と上記画像登録
   手段で登録した身体的特徴とから類似度を求め、この類
   似度に基づいて登録者か否かを識別する識別手段とを備
   えた人間検出追跡システム。
2. 【請求項２】画像登録手段は、画像取得手段で取得した
   画像が人の身体的特徴を補正するのに適している媒介変
   数値と判定したとき追加登録する請求項１記載の人間検
   出追跡システム。
3. 【請求項３】識別手段は、登録者識別データと画像取得
   手段で取得した位置および時刻を識別データとすること
   を特徴とする請求項１記載の人間検出追跡システム。