JP3584334B2

JP3584334B2 - 人間検出追跡システムおよび人間検出追跡方法

Info

Publication number: JP3584334B2
Application number: JP35226997A
Authority: JP
Inventors: 浩二十河; 澄昭安達
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1997-12-05
Filing date: 1997-12-05
Publication date: 2004-11-04
Anticipated expiration: 2017-12-05
Also published as: JPH11175730A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばデパートやスーパーマーケットに備えられるような人間検出追跡システムに関し、さらに詳しくは顧客の一人一人の動きを正確に捉えてマーケッティングリサーチを行う人間検出追跡システムおよび人間検出追跡方法に関する。
【０００２】
【従来の技術】
一般に、人が自由に通行利用する広範囲の領域から人の動きを特定して追跡する人間検出追跡システムとしては主に、
（１）赤外線センサで人の温度放射を検出して人の動きを追跡する手段
（２）撮像カメラで取得した広域の画像から動く物体を人と判定して追跡する手段
（３）撮像カメラで取得した広域画像の濃淡情報及び色情報から人の頭髪を検出して追跡する手段
が知られている。
【０００３】
しかし、このような追跡手段は動く対象物が、人か物体かを正確に識別して検出できないため追跡精度が不正確で信頼性の低いものであった。また、同一人を正確に捉えて追跡しているか否かはシステム側では不明なため、追跡途中で異なる人を追跡しても分からず、特に人が混み合ったり、人の多い所では追跡者の特定が困難となっていた。
【０００４】
このため、通行利用する人の顔画像を識別して本人を追跡するシステムが考えられるが、この場合はシステム側が追跡利用を図るために人の顔画像を意図的に取得して事前に登録する必要があり、この人の追跡システムを完全自動化することができなかった。
【０００５】
【発明が解決しようとする課題】
そこでこの発明は、定められた通行利用領域で人の動きを追跡する際、一人一人の身体的特徴を自動的に読取って取得し、この身体的特徴を照合要素に用いて各人を区別して特定するため、この特定した同一人物を完全自動化して正確に追跡することができる人間検出追跡システムおよび人間検出追跡方法の提供を目的とする。
【０００６】
【課題を解決するための手段】
この発明は、通過利用した人の動きを検出する人間検出追跡システムであって、複数の検出位置に配設して、各々の人の画像を取得する画像取得手段と、前記画像取得手段で取得した画像から人の身体的特徴を抽出してデータベースに登録する画像登録手段と、前記画像取得手段で取得した身体的特徴と前記画像登録手段で登録した身体的特徴とから類似度を求め、この類似度に基づいて登録者か否かを識別する識別手段とを備えると共に、前記画像取得手段で取得した画像中の顔画像が前記画像登録手段に登録された身体的特徴を登録更新するのに適したものであるか否かを判定する判定手段を備え、前記画像取得手段で取得した画像から抽出した身体的特徴に基づいて該画像が登録者であると前記識別手段で識別し、該画像中の顔画像が前記画像登録手段に登録された身体的特徴を登録更新するのに適したものであると前記判定手段で判定したとき、前記画像登録手段により、該画像から抽出した身体的特徴を前記データベースに登録更新することを特徴とする。
【０００７】
実施の形態として、前記判定手段は、取得した前記画像中の人の顔の大きさ、顔の傾き、顔の明るさ、顔の濃淡の少なくともいずれかを用いることを特徴とすることができる。
【０００８】
この発明は、複数の検出位置に配設して、各々の人の画像を取得する画像取得ステップと、前記画像取得ステップで取得した画像から人の身体的特徴を抽出してデータベースに登録する画像登録ステップと、前記画像取得ステップで取得した身体的特徴と前記画像登録ステップで登録した身体的特徴とから類似度を求め、この類似度に基づいて登録者か否かを識別する識別ステップを有して通過利用した人の動きを検出する人間検出追跡方法であって、前記画像取得ステップで取得した画像から抽出した身体的特徴に基づいて該画像が登録者であると前記識別ステップで識別し、該画像中の顔画像が前記画像登録ステップで登録された身体的特徴を登録更新するのに適したものであるか否かを判定する判定ステップと、前記判定ステップで該登録更新するのに適したものであると判定された場合に、該画像から抽出した身体的特徴を前記データベースに登録更新する登録更新ステップとを有することを特徴とする人間検出追跡方法であることを特徴とする。
【０００９】
【発明の作用及び効果】
この発明によれば、複数の位置に配設した画像取得手段で自動的に人の画像を取得し、この取得した画像から画像登録手段が人の身体的特徴を抽出してデータベースに登録し、これに基づいて識別手段は画像取得手段で取得した身体的特徴と、画像登録手段で登録した身体的特徴とを比較して類似度を求め、この類似度から登録者か否かを自動的に識別する。
【００１０】
この結果、追跡すべき人の登録操作を自動的に行って登録作業を完全自動化し、また登録した身体的特徴を画像取得毎に照合して確認するだけで本人を確実に特定することができ、信頼性の高い照合利用が図れる。従って、デパートやスーパーマーケットのような定められた通行利用領域で人の動きを追跡する際は、同一人物を完全自動化して正確に追跡することができる。
【００１１】
また、自動的に取得した画像中の顔画像が同一人物の身体的特徴を登録更新するのに適していると認めたときだけ追加登録するように設定するので、照合性を高めるデータだけを追加登録して精度のよい登録データに更新することができる。
【００１２】
【実施例】
この発明の一実施例を以下図面に基づいて詳述する。
図１はスーパーマーケット１１に適用したマーケッティングリサーチ用の人間検出追跡システムを示し、このマーケッティングリサーチ用の人間検出追跡システムは店内に商品棚１２…が縦横に区画して整列配置されており、この商品棚１２…間で形成される通路１３の交差位置や出入口１４及びレジカウンタ１５近傍位置のそれぞれに撮像カメラ１６…を配設して構成する。
【００１３】
上述の撮像カメラ１６は、顧客の通行に支障のない通路１３の上方位置に取付けて顧客の顔画像データを取得するのに適した向きに設定し、また店内の顧客の動きを追跡調査できるように多数個の撮像カメラ１６…を配設している。
【００１４】
さらに、顧客の顔画像データを撮像カメラ１６で取得する際、顧客が撮像カメラ１６の撮像エリアに入ったとき、その顧客の顔を撮像して取得し、この取得した顔画像データから目、鼻、口…等の各部分および顔全体の形状や大きさ、髪型、眼鏡の有無、色、皺、化粧度合い等の本人固有の顔特徴量を取得する。
【００１５】
この顔特徴量を顧客の照合要素として用い、出入口１４から入ってきた顧客の最初の取得データを同客の登録データに設定し、これを照合基準に用いてその後に他の撮像カメラ１６…で取得したデータを照合し、一致したとき同客と検出し、この検出動作を続けて顧客を追跡する。
【００１６】
図２は人間検出追跡システムの制御回路ブロック図を示し、店内に多数配設された第１〜第ｎ撮像カメラ１６−1 〜１６−ｎは、同カメラとそれぞれ対応する第１〜第ｎ画像入力部２１−1 〜２１−ｎ、第１〜第ｎ識別処理部２２−1 〜２２−ｎを通してシステム制御部２３とデータベース２４とに接続される。
【００１７】
そして、各々の第１〜第ｎ撮像カメラ１６−1 〜１６−ｎが取得した画像データは、第１〜第ｎ画像入力部２１−1 〜２１−ｎで各フレーム毎に静止画像あるいは動画像としてフレームメモリに記憶し、この記憶した画像から第１〜第ｎ識別処理部２２−1 〜２２−ｎで人の検出、顔の検出、顔画像の切出し、顔特徴量の抽出を行って最後にデータベース２４に記憶設定された値と比較して類似度を計算し、その類似度に基づいて識別する。
【００１８】
システム制御部２３は制御プログラムに沿って各回路装置を制御し、登録データの追加あるいは抹消等の管理、追跡できた人の動きの計算、表示、記録を行い、また撮像カメラ１６−1 〜１６−ｎのズーム操作、カメラの向きを変えるパン操作、露出操作等のコントロールも行う。
【００１９】
データベース２４は一元化して全ての識別処理部２２−1 〜２２−ｎがアクセスして、取得した画像データからの顔特徴量の登録処理及び照合毎の識別処理を許容している。
図３は顔情報の類似度判定処理動作を示し、撮像カメラ１６から顧客の顔情報を取得した生画像を一旦画像メモリ３１に蓄積する。
蓄積された生画像から顔検出部３２で顔領域の検索を行って、撮像した顔領域を検出する。ここでは、顔とその周辺の概略を検出し、この顔領域の検出手法に際しては
１．背景画像と取得画像の差を抽出する背景差分手法
２．カラーを用いた肌色検出手法
３．オプチカルフローやフレーム差分を用いた動き検出手法
４．顔らしさをニューラルネットワークやパターンマッチングによって求める手法
のいずれかを用いて顔領域を検出する。
【００２０】
この顔領域を検出した後、顔位置検出部３３で目、鼻、口…等の特徴モデルを元にマッチングによって顔の位置を正確に検出する。
顔の位置を正確に検出して位置決めすると、顔特徴抽出部３４で顔画像から切出された顔特徴量を抽出する。この顔特徴量は平均顔との差を主成分分析等の統計的手法を用いて抽出するか、あるいは目、鼻、口…等の濃淡画像からテンプレートマッチングにより抽出する。
【００２１】
この抽出された顔特徴量と、登録特徴メモリ３５に予め登録されている特徴とを類似度判定部３６で比較照合して類似度を判定し、この類似度の基準しきい値（スレッショルダレベル）を満たすときは同一客と照合確認する。
【００２２】
図４は人間検出追跡システムの追跡状態を示し、今、人の動きを示す動線４１に沿って第１〜第３人物Ａ〜Ｃが特定方向に移動したとき、
第１撮像カメラ１６−１が第１人物Ａと第２人物Ｂとの２人を同時に撮像した場合、これらの人物Ａ、Ｂ毎にデータベース２４から読出して照合し、このとき登録データがない未登録客と判定すれば、その取得した画像データをデータベース２４に登録する。
【００２３】
また、第２撮像カメラ１６−２及び第３撮像カメラ１６−３が第１人物Ａを撮像した場合は、この人物Ａの登録データをデータベース２４から読出して照合し、照合すれば、同一客と判定して追跡確認する。
【００２４】
さらに、第４撮像カメラ１６−４が第３人物Ｃを撮像した場合、この人物Ｃの登録データをデータベース２４から読出して照合し、このとき登録データがない未登録客と判定すれば、その取得した画像データをデータベース２４に登録する。
【００２５】
続いて、第５撮像カメラ１６−５が第２人物Ｂを撮像した場合は、この人物Ｂの登録データをデータベース２４から読出して照合し、照合すれば、同一客と判定して追跡確認する。
【００２６】
同じく、第６撮像カメラ１６−６が第３人物Ｃを撮像した場合は、この人物Ｃの登録データをデータベース２４から読出して照合し、照合すれば、同一客と判定して追跡確認する。
【００２７】
このように、通路１３の複数の位置に配設した撮像カメラ１６−１…で自動的に人の顔画像を取得してデータベース２４に登録し、これと他の撮像カメラで取得したときに、その顔特徴量を比較して登録者か否かを自動的に識別するため、追跡すべき人を完全自動化して追跡できる。従って、スーパーマーケットのように定められた通行利用領域では、同一人物を完全自動化して正確に追跡することができる。
【００２８】
また、登録データは最初に登録設定したままではなく、画像取得する毎に元の登録データを自動的に更新して登録精度を高めるように再登録許容している。この再登録に際しては、データベースが記憶する顧客の特徴量を撮像カメラが読取ったとき、その読取った最新の特徴量を再登録するか否かを識別し、再登録すると識別した場合は、システム制御部２３が顔の特徴量をデータベース２４に再登録し、この再登録を行うことによって登録データの照合精度及び信頼性が高まり、常に精度のよい登録データを維持する。
【００２９】
また、撮像カメラにより自動的に取得した画像が、同一人物の顔特徴量を登録更新用に補正するのに適している顔の大きさ（ドット数）、顔傾き、明るさ、濃淡等の媒介変数値（パラメータ）と認めたときだけ追加登録するように設定すれば、精度のよい登録データに更新することができる。従って、登録補正に不適なパラメータのとき、例えば顔画像が小さく画像分解能が確保できないときは登録回避する。
【００３０】
さらに、登録客識別データ、撮像カメラで取得した位置および時刻を識別データに用いれば、登録順序等から登録客の移動範囲や移動方向及び移動速度を特定することができ、その登録客との照合対応が正確にとれ、照合性が高まり、信頼性の高い追跡ができる。
【００３１】
このように構成された人間検出追跡システムの追跡処理動作を図５に示すフローチャートを参照して説明する。
今、１台または複数台の撮像カメラ１６，１６−１〜１６−ｎから顔の画像データを取得すると、その画像データから顔領域の検索を行って、撮像した顔領域を検出し（ステップｎ1 〜ｎ2 ）、
この顔領域を検出した後、目、鼻、口…等の特徴から顔の位置を検出して位置決めし、この位置決めされた顔画像から顔特徴量を抽出する（ステップｎ3 〜ｎ4 ）。
【００３２】
このとき、予め登録された特徴量があれば、抽出された顔特徴量と一つ一つ比較照合して類似度を求める（ステップｎ5 〜ｎ6 ）。
【００３３】
データベース２４に登録された全ての顔特徴量との比較を行い、基準しきい値以下のときは、顔画像が識別不能であったか、未登録者のため、このときは特徴データの画像が鮮明であることを確認して未登録者としてデータベース２４に新規登録する（ステップｎ7 〜ｎ9 ）、
基準しきい値以上の同一客と認めたときは、撮像カメラの位置、識別者のＩＤ番号、識別時刻等を記録しておき、その人の動きを動線４１として表示あるいは記録しておくことができる。これらの情報を元にすれば、何時、何処で、どのような人が何人いたか、どのように動いたか等の店舗経営にとって有効なマーケット情報が正確に得られる（ステップｎ10〜ｎ11）。
【００３４】
上述のように、通路の複数の位置に配設した撮像カメラで自動的に人の顔画像を取得して登録し、その後に他の撮像カメラで取得した顔画像とを比較して登録者か否かを自動的に識別するため、追跡すべき人の登録操作を自動的に行って登録作業を完全自動化し、また登録した顔特徴量を画像取得毎に照合して確認するだけで本人を追跡することができる。
【００３５】
また、自動的に取得した画像が、同一人物の顔特徴量を登録更新用に補正するのに適していると認めたときだけ追加登録するように設定するので、照合性を高めるデータだけを追加登録でき、精度のよい登録データに更新することができる。さらに、登録客識別データや撮像カメラで取得した位置および時刻を識別データに用いれば、その登録客の移動範囲や移動方向及び移動速度を特定でき、その登録客の照合対応が正確にとれ、照合性が高まり、信頼性の高い追跡ができる。ことに、顧客の購買行動、売れ筋の予測、不審者チェック、循環客との区別によって得られる真の入場者数、レイアウトやテナントの配置決定等のマーケッティングリサーチや各種会場内での人の流れ、入場者数、行列の待ち時間等の貴重なデータを完全自動化して収集することができる。
【００３６】
この発明と、上述の一実施例の構成との対応において、
この発明の画像取得手段は、実施例の撮像カメラ１６と、第１〜第ｎ撮像カメラ１６−1 〜１６−ｎ…に対応し、
以下同様に、
身体的特徴は、顔の特徴量に対応し、
画像登録手段は、システム制御部２３に対応し、
識別手段は、第１〜第ｎ識別処理部２２−1 〜２２−ｎに対応するも、
この発明は、請求項に示される技術思想に基づいて応用することができ、上述の実施例の構成のみに限定されるものではない。
【００３７】
例えば、身体的特徴は顔の特徴量に限らず、服装、服装の色、身長等の属性情報を用いたり、併用して総合的に識別するように設定することもできる。
【図面の簡単な説明】
【図１】この発明のスーパーマーケットに適用した人間検出追跡システムの概略平面図。
【図２】この発明の人間検出追跡システムの制御回路ブロック図。
【図３】この発明の人間検出追跡システムの顔情報の類似度判定処理動作を示す説明図。
【図４】この発明の人間検出追跡システムの追跡状態を示す追跡説明図。
【図５】この発明の人間検出追跡システムの追跡処理動作を示すフローチャート。
【符号の説明】
１１…スーパーマーケット
１３…通路
１６，１６−1 〜１６−ｎ…撮像カメラ
２１−1 〜２１−ｎ…画像入力部
２２−1 〜２２−ｎ…識別処理部
２３…システム制御部
２４…データベース
Ａ〜Ｃ…人物

Claims

通過利用した人の動きを検出する人間検出追跡システムであって、
複数の検出位置に配設して、各々の人の画像を取得する画像取得手段と、
前記画像取得手段で取得した画像から人の身体的特徴を抽出してデータベースに登録する画像登録手段と、
前記画像取得手段で取得した身体的特徴と前記画像登録手段で登録した身体的特徴とから類似度を求め、この類似度に基づいて登録者か否かを識別する識別手段とを備えると共に、
前記画像取得手段で取得した画像中の顔画像が前記画像登録手段に登録された身体的特徴を登録更新するのに適したものであるか否かを判定する判定手段を備え、
前記画像取得手段で取得した画像から抽出した身体的特徴に基づいて該画像が登録者であると前記識別手段で識別し、
該画像中の顔画像が前記画像登録手段に登録された身体的特徴を登録更新するのに適したものであると前記判定手段で判定したとき、
前記画像登録手段により、該画像から抽出した身体的特徴を前記データベースに登録更新することを特徴とする
人間検出追跡システム。
前記判定手段は、取得した前記画像中の人の顔の大きさ、顔の傾き、顔の明るさ、顔の濃淡の少なくともいずれかを用いることを特徴とする
請求項１記載の人間検出追跡システム。
複数の検出位置に配設して、各々の人の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像から人の身体的特徴を抽出してデータベースに登録する画像登録ステップと、
前記画像取得ステップで取得した身体的特徴と前記画像登録ステップで登録した身体的特徴とから類似度を求め、この類似度に基づいて登録者か否かを識別する識別ステップを有して
通過利用した人の動きを検出する人間検出追跡方法であって、
前記画像取得ステップで取得した画像から抽出した身体的特徴に基づいて該画像が登録者であると前記識別ステップで識別し、該画像中の顔画像が前記画像登録ステップで登録された身体的特徴を登録更新するのに適したものであるか否かを判定する判定ステップと、
前記判定ステップで該登録更新するのに適したものであると判定された場合に、該画像から抽出した身体的特徴を前記データベースに登録更新する登録更新ステップとを有することを特徴とする
人間検出追跡方法。
前記判定ステップは、取得した前記画像中の人の顔の大きさ、顔の傾き、顔の明るさ、顔の濃淡の少なくともいずれかを用いることを特徴とする
請求項３記載の人間検出追跡方法。