JP3800257B2 - Attention information measurement method and apparatus, and various systems using the same - Google Patents

Attention information measurement method and apparatus, and various systems using the same Download PDF

Info

Publication number
JP3800257B2
JP3800257B2 JP21909996A JP21909996A JP3800257B2 JP 3800257 B2 JP3800257 B2 JP 3800257B2 JP 21909996 A JP21909996 A JP 21909996A JP 21909996 A JP21909996 A JP 21909996A JP 3800257 B2 JP3800257 B2 JP 3800257B2
Authority
JP
Japan
Prior art keywords
attention
person
data
measurement range
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21909996A
Other languages
Japanese (ja)
Other versions
JPH1048008A (en
Inventor
佳誠 麻生川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP21909996A priority Critical patent/JP3800257B2/en
Publication of JPH1048008A publication Critical patent/JPH1048008A/en
Application granted granted Critical
Publication of JP3800257B2 publication Critical patent/JP3800257B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、ある領域を通過した人の中で、陳列している商品等の注目対象に対して注目した人間を検出したり、注目の度合いを求めることのできる注目情報計測方法及び装置並びにそれを用いた各種システムに関するものである。
【０００２】
【従来の技術】
従来、陳列棚並びにショーケース等におかれた商品や、展示品・広告等に対する注目度や集客力を計測しようとした場合には、その商品等の注目度を求めるエリアを直接または監視カメラを介して間接的に見ることのできる場所に監視員をを配置する。そして、その監視員が上記エリア内を常時監視し、商品の前に立ち止まって見ている人間や、その商品を手に持ってみている人間の有無等を判断し、係る行為を行っている人間がいた場合には、その商品に対して注目していると判断し、注目している人数に１加算するようにしている。
【０００３】
また、自動的に注目の有無を計測する方法としては、通路や出入口を通行する人数を計測するためのセンサを設置し、注目対象の商品の前を通行した人数や、施設内の滞在者数を求め、それらの人数が多いと、注目している人も多いと推定する方法がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記した従来のものでは、次のような問題点があった。すなわち、人手でカウントする方法では継続的な計測が困難である。また、注目している人か否かを判断する際の基準がそれぞれの計測者で統一できないばかりか、同じ計測者でも時間とともに基準が変動することがあり、安定した計測結果が得られない。
【０００５】
一方、通行人数や滞在者数によって注目度や集客力に代用する方法では、注目度・集客力を計測した対象の周辺を単に通過しただけの人と、立ち止まって広告に注目したり、商品を手にとったりした人との区別ができず、正確な判断が行えなかった。
【０００６】
本発明は、上記した背景に鑑みてなされたもので、その目的とするところは、上記した問題を解決し、陳列棚・ショーケース・展示物・広告等を計測対象（以後、注目対象という）として、その注目対象に注目しているか否かの判断や、注目している度合い（注目度）を求めることを画像処理に基づいて自動的に行うことができ、さらに、左右前後方向の人間の重なりや、日照変動・影等に影響されずに確実に注目した人間を抽出して所定の注目情報を得ることができ、また設置場所の制約の少ない注目情報計測方法及び装置並びにそれを用いた各種システムを提供することにある。さらに、上記したいずれかの目的を達成しつつ、販売管理等に適した情報を得ることのできる注目情報計測方法及び装置並びにそれを用いた各種システムを提供することも目的としている。
【０００７】
【課題を解決するための手段】
上記した目的を達成するために、本発明に係る注目情報計測装置では、計測範囲の映像を取り込むための撮像手段と、前記撮像手段により撮像された画像から計測範囲内の人間を抽出する抽出手段と、前記抽出手段により抽出された人間を、前記撮像手段にて異なる時間に撮像された前記計測範囲の画像を用いて追跡する追跡手段と、前記追跡手段により追跡された個々の人間の前記計測範囲内の滞在時間を求める滞在時間計測手段と、その滞在時間計測手段により求めた滞在時間に基づいて前記抽出された人間が計測範囲周辺に注目したのか否かを判定する判定手段を備えて構成した（請求項１）。なお、実施の形態では、滞在時間計測手段と、判定手段がともに判定部７で実現されている。
【０００８】
このように、本発明では、第１の実施の形態で説明するように、テレビカメラ等の撮像手段によって計測対象周辺を撮像し、撮像された画像から人間を抽出し、抽出したそれぞれの人間を追跡し、計測範囲周辺での個別の人間の動き（以下、人の動線という）を抽出し、計測範囲内でのそれぞれの人の滞在時間（実施の形態では移動経路も）がわかる構成とした。
【０００９】
その結果、滞在時間が長い場合には、その計測範囲内のどこかで立ち止まったり、通常の単に通過する際の移動・歩行速度よりもゆっくりと移動したり、計測範囲内をうろうろしていたと推定でき、その計測範囲内及びまたはその周辺のどこかに注目していたと判定できる。よって、滞在時間に基づいて注目した人間か否かを判別できる。
【００１０】
なお、追跡手段により、それぞれの人間が計測範囲内をどのように移動したかを把握することができるため、計測範囲内での移動経路情報を加味することにより、より精度良く注目しているか否かの判定が行え、さらに、より詳細な情報を得ることも可能となる。
【００１１】
また、好ましくは、前記抽出した人間が計測範囲周辺に注目したと判定した場合に、その人間が計測エリアに存在している画像を蓄積する画像蓄積手段をさらに備えて構成することである（請求項２）。係る構成にすると、第３の実施の形態で説明するように、常時人が監視していなくても、注目した人間を画像として自動的に蓄積されるので、管理者等がその蓄積されたデータを後で表示してチェックすることで、注目した人間のデータ（年齢層・男女別・服装の傾向等）をより詳しく分析することができるようになる。
【００１２】
さらに好ましくは、前記計測範囲を撮像する撮像手段が、光軸を平行にした複数の撮像手段からなり、前記抽出手段が、前記複数の撮像手段により同一のタイミングで得られた複数画像間の対応付けによる空間座標データを利用して人間を抽出するように構成することである（請求項３）。
【００１３】
すなわち、第２の実施の形態で説明するように、光軸がほぼ平行な複数の撮像手段（実施の形態では、水平に配置しているが、光軸がほぼ平行であれば、垂直に並べても、さらには斜め方向に並べても良い）を用い、同一のタイミングで同一の測定対象物（人間）を撮像して得られた各画像上での座標は異なる。そして、係る異なりである視差は、撮像面から被撮像物（撮像した測定対象物）までの距離が近いほど大きくなり、視差とレンズの焦点距離・撮像素子の大きさ・撮像体の間隔がわかれば被撮像物までの距離が計算でき、さらに撮像手段の設置高さ・設置角度がわかれば被撮像物の空間座標値（空間座標データ）が求められる。すなわち、１枚の画像上で重なっている場合であっても、空間座標値を求めることにより、それが、本当に同一人物であるか、或いは、たまたま重なって見えるが奥行き方向に離れた別の人物かを容易に分離特定できる。
【００１４】
このように、人間の通過人数を計測するに際し、複数の撮像手段で撮像して得られた複数の画像間の対応付けによって得られる空間座標データを利用することにより、
▲１▼照明や日照の変動の影響によって計測精度が低下することが無い；
▲２▼高さがわかるので影の影響を受けて計測精度が低下することが無い；
▲３▼計測範囲を撮像手段の設置位置の真下以外に設定した場合（所定の俯角を持たせる）に、前後左右方向に人間が重なったとしても個々の人間を精度良く分離することができる；
等の効果を得るので、より正確な注目情報を取得することができる。
【００１５】
また、前記注目した人間に関する情報を積算し、前記計測範囲周辺に対する注目度を求める手段をさらに備えると、より好ましい（請求項４）。そして、この注目度を求める手段も、実施の形態では、判定部７が実現している。そして、前記注目度としては、例えば前記注目した人間の数の総和により規定したり（請求項５）、前記注目した人間の前記計測範囲内の滞在時間の総和により規定したり（請求項６）、さらには、前記注目した人間の前記計測範囲内における停止した時間の総和により規定する（請求項７）ことができる。これが、第１の実施の形態における図６，図７に対応している。
【００１６】
また、抽出された人間の画像から視線方向を判定する視線方向判定手段をさらに備え、前記視線方向判定手段により判定された視線の方向によって、前記抽出された人間が計測範囲周辺のどの方向に注目したのかを判定するようにするとなおよい（請求項８）。その場合に、具体的な前記視線方向判定手段の処理機能としては、例えば与えられた画像データ中に存在する人間の頭部の部分を抽出し、画像認識処理を行って頭の向きを認識することにより顔の方向を特定し、その顔の方向を視線方向とするようにしてもよく（請求項９）、或いは、前記抽出された人間の移動軌跡を取得し、その移動方向を視線方向とするようにしてもよい（請求項１０）。係る構成にすると、第４の実施の形態に説明するように、範囲を限定することができ、より詳細な注目度評価が可能になる。
【００１７】
一方、抽出・追跡した人間から特定の人間を排除する排除手段をさらに設けるとよい（請求項１１）。つまり、係る構成にすると店員，掃除係等の特定人物を注目した人間から除外することができるので、本来の注目度を精度良く測定することができるので好ましい。これが、第５の実施の形態に対応している。
【００１８】
また、本発明に係る注目情報計測方法では、計測範囲を撮像し得られた画像からその計測範囲内に存在する人間を抽出し、時系列的に前記計測範囲を撮像して得られた複数の画像を用いて全抽出した人間を追跡し、その追跡した個々の人間が前記計測範囲内に滞在している滞在時間を求め、その滞在時間が、一定の基準より長い時に前記抽出された人間が計測範囲周辺に注目していると判定するようにした（請求項１２）。すなわち、本例では、簡単な画像処理により、注目した人間を抽出できる。その結果、所定の注目度情報も精度良く取得できる。
【００１９】
一方、本発明に係る注目度解析システムでは、請求項４〜１１のいずれかに記載の少なくとも注目度を求めることのできる注目情報計測装置と、その注目情報計測装置から出力される少なくとも注目度のデータを蓄積する蓄積手段と、その蓄積されたデータを解析する解析手段とを備えて構成した（請求項１３）。係る構成にすると、第６の実施の形態で詳しく説明しているように、注目度を時間ごとに蓄積していくことで、時間ごとの変化・日々の変化・季節による変化・長期的な傾向等を簡単・正確に把握でき、販売促進・品揃え等を容易に定量的・客観的に評価することができる。
【００２０】
また、注目度が変動する要因となる様々なデータの変動要因データを入力する手段をさらに備え、前記変動要因データを、前記注目情報計測装置から出力される注目度とともに前記蓄積手段に蓄積するようにしてもよい（請求項１４）。係る構成にすると、第７の実施の形態で説明するように、天候や地域のイベント情報等を入力し、注目度とあわせて蓄積していくことで天候や地域のイベントの注目度への影響を正確に把握することができる。ここで、変動要因データとは、来店する人の数に影響を与えるもので、例えば、温度・湿度・雨量等の天候情報や、祭り・遠足・修学旅行・試験等の地域のイベント情報や、広告を出す等の販促の情報等がある。
【００２１】
さらにまた、蓄積・解析されたデータに基づいて注目度の予測を行う注目度予測手段をさらに備えて構成するとより好ましい（請求項１５）。係る構成にすると、第８の実施の形態で詳しく説明しているように、注目度（特に注目者数）を予測できることにより、店員・警備員・掃除係等の配置計画、仕入れ等の検討に活用することができ、店舗・ホール等を効率よく運営することができる。
【００２２】
また、本発明に係る経営管理システムでは、請求項１３〜１５に記載の注目度解析システムに、さらに売上げデータを入力する売上げデータ入力手段を備え、前記解析手段で売上げデータと注目度のデータの関連を解析するように構成した（請求項１６）。係る構成にすると、第９の実施の形態で説明するように、売上げのデータを例えばＰＯＳ等から入力し、注目度と関連付けて検討することで「注目度が高くても売上げが上がらない」、「注目度が少なくても売上げが上がる」というようなデータが客観的に正確かつ短時間で容易に把握することができ、品揃えやレイアウト等の店舗運営に有効活用することができる。
【００２３】
さらに本発明に係る経営管理システムでは、請求項１３または１４に記載の注目度解析システムと、蓄積・解析されたデータに基づいて注目度を予測する注目度予測手段と、売上げデータを入力する売上げデータ入力手段と、予測された入場者数と蓄積された過去の入場者数と売上げデータから売上げを予測する売上予測手段とをさらに備えて構成した（請求項１７）。係る構成にすると、第１０の実施の形態で説明するように、過去の注目度の変動と売上げの変動、その他の情報（天候・イベント等）から売上げを予測することができ、店舗・ホール等を効率よく運営することができる。
【００２４】
また、上記構成に在庫データを入力する在庫データ入力手段と、前記売上予測手段で予測された売上げと在庫データから仕入品目，仕入量の推奨値を決定する仕入支援手段をさらに備えて構成した（請求項１８）。係る構成にすると、第１１の実施の形態で説明するように、在庫を持つ小売店のような場合には、売上げ予測に在庫データを合わせて活用することで店員・警備員等の配置計画だけではなく、仕入の計画においても自動化もしくは半自動化の後アドバイスを行うシステムとすることができ店舗運営を更に効率よく行うことができる。
【００２５】
＊用語の定義
ここで、「注目情報」とは、請求項１等に規定するように、判定対象の人間が、ある注目対象に対して「注目しているか否か」の情報と、「注目度」の両者を含む。そして、注目度は、ある注目対象に対してどれくらい注目しているかの度合いを表すもので、請求項５〜７に示すように、注目した人数（注目者数）や総時間等により規定できる。さらに、それらの情報を適宜組み合わせて規定してももちろん良い。
【００２６】
【発明の実施の形態】
図１は本発明の第１の実施の形態の構成図を示している。同図に示すように、撮像手段たるテレビカメラ１から出力されるビデオ信号をＡ／Ｄ変換器２を介してバスに接続している。このバスには、テレビカメラ１で撮像した画像データ中に存在する人間を抽出する抽出部５と、連続して与えられる画像データに基づいて、上記抽出部５で抽出した人間を追跡する追跡部６と、抽出した人間が、所定の注目対象を注目しているか否かを判定し、注目している人間の場合にはその注目人数等の注目度を求めることのできる判定部７が接続されている。そして、その判定結果等を出力する出力部８もさらに接続されている。
【００２７】
次に各部について説明する。テレビカメラ１は、本例では１個のカメラを用いており、注目対象周辺の人が通行する領域を撮像できるように、天井・壁等に設置して計測範囲の画像を撮像するようにしている。そして、隣接する人間同士を分離しやすくするため、計測範囲の真上にカメラを設置し、その真下を撮像するようにしている。これにより、例えば図２に示すように、撮像して得られた画像は、平面図のようになる。そして、テレビカメラ１で撮像された画像データは、Ａ／Ｄ変換器２でディジタル画像データに変換後、抽出部５を構成する画像メモリ５ａ内に格納される。
【００２８】
抽出部５は、撮像した画像データ等を格納する画像メモリ５ａと、その画像メモリ５ａに格納された画像データ中から、個々の人間の部分を相互に分離し抽出する分離部５ｃとを備えている。そして、この撮像された画像から人間を抽出する抽出部５の機能としては、例えば図２（Ａ）に示すように人間がいないときの背景画像を基本画像として画像メモリ５ａに格納しておく。そして、計測中にはテレビカメラ１で撮像した同図（Ｂ）に示すような画像（撮像画像）が、画像メモリ５ａに順次格納されてくるので、分離部５ｃでは、画像メモリ５ａに格納された基本画像と撮像画像とを読み出すとともに、両者の差分（背景差分）を求める。これにより例えば同図（Ｃ）に示す差分画像を得る。そして、その差が大きい部分を変化領域として抽出し、変化領域の大きさからその領域が一人か複数人かの判定をしてそれぞれの人の位置を決定する。
【００２９】
つまり、図示の場合には、Ｐ１は、独立しているため一人の人間と判定する。また、Ｐ２とＰ３は重なっているため、１人なのか複数人なのかを判別する必要があるが、本例では、大きさに基づいて判別しているため、図示の例では、２人分の面積があるので、２人（Ｐ２，Ｐ３）いるとし、それらを分離抽出するようになる。なお、このように面積に基づいて分離するようにしても、その後に追跡部６で追跡処理するため、最後まで形状等を変えずに移動した場合には、結局１人であったと判定し、注目人数に加算する場合に１加算するようにすれば問題がない。そして、個々の人間の位置情報を追跡部６に送るようになっている。
【００３０】
次に、追跡部６について説明する。ある時刻Ｔ１に撮像した画像データが、図３（Ａ）のようになっている場合に、上記したように抽出部５で個々の人間を分離抽出するので、その抽出した人間Ｐ１を含む所定領域Ｒを設定し、その領域Ｒ内の画像データを切り出してモデル画像として登録する。そして、このモデル画像の登録は、すべての人間Ｐ２，Ｐ３について行う。なお、領域Ｒの大きさは、撮像された人間の画像上での大きさはある程度わかっているので、係る大きさに合わせて設定する。
【００３１】
そして、次の時刻Ｔ２に撮像した画像データに対し、探索領域を設定し、その探索領域内を操作してモデル画像と最も違いの少ない領域を時刻Ｔ２における移動後の人間の位置として判定する。すなわち、時刻Ｔ２の画像データが図３（Ｂ）に示すようになっているとすると、時刻Ｔ１の時に存在していた位置を含み、人間の移動速度を考慮して比較的大きめに探索領域Ｒ′を設定する。そして、その探索領域Ｒ′に対して走査し、モデル画像と同一・類似する領域を探索する。この探索の手法としては、モデル画像と探索対象画像との画素ごとの差の絶対値の和を用いることが一般的に行われるが、画素ごとの差の自乗和や、正規化相互相関を用いても同じような結果が得られる。このように探索領域Ｒ′を走査することにより、探索時間を短くするとともに、精度の向上が図れる。
【００３２】
また、追跡部６の機能としては、上記したものに限らず、例えば、以下に示す手法を採っても良い。すなわち、ある時刻Ｔ１に撮像した画像データに基づいて抽出部５で抽出された結果（各人間の存在位置）が、図４（Ａ）中星印で示すようになっており、次の時刻Ｔ２における同様の抽出結果が同図（Ｂ）中の丸印のようになっている場合に、同図（Ｂ）中矢印で示すように、時刻Ｔ１の時の各代表値（星印）と対応する（移動先の）時刻Ｔ２の時の各代表値（丸印）とを関連付けるようにしている。
【００３３】
そして、係る処理を行うための追跡部６の機能としては、前回抽出位置と最も近いものを関連付け、軌跡として抽出する。また前回或いは前回までの追跡結果を用いて移動方向・速度を推定し関連付けの精度向上を図ることも考えられる。そして、サンプリング時間を短く（人間の移動速度に比べて十分早く）することにより、上記のような簡単な処理でもって、誤動作を可及的に抑制できる。
【００３４】
そして、一定距離以内で移動前後の関係を見つけられない場合は、計測範囲から退出した・計測範囲に進入してきたと考える。また移動前後の関係を決定するときに時刻Ｔ１以前の移動情報（方向・速度）から関係付けを補正することも考えられる。
【００３５】
上記した各種の手法により求めた各人間に対する移動軌跡を所定の記憶部に格納するようにする。なお、この移動軌跡に関する記憶するデータとしては、その移動軌跡をすべて記憶するようにしてももちろん良いが、本例では、後述する判定部７における判定機能との関係で、移動軌跡（動線）の始点と終点の座標を記憶保持するようにしている。これにより、記憶容量が削減でき、メモリの使用効率が増すばかりでなく、判定処理も容易に行える。さらに、本例では、内蔵する時計に基づいて、始点と終点のそれぞれの時刻データも関連づけて格納するようにしている。
【００３６】
次に、判定部６の機能について説明する。まず、図５を用いて注目判定を説明する。通路と注目対象が同図に示されたような位置関係にある場合に、計測範囲を破線に囲まれた領域と設定し、その中を通行する人間をそれぞれ追跡して抽出した動線と、通過中に一定時間以上同じ位置にいた場合を図中星印で表している。この場合は動線Ａ，Ｂの人間については注目対象に注目したと考え、動線Ｃの人間については単に通過しただけと考える。
【００３７】
そして、本例では、上記した原理に基づき、判定部７として図６に示すようなフローチャートを実行する機能を設けた。すなわち、まず追跡部６で得られた動線データを取得する（ＳＴ１）。この取得する動線データの具体的な内容としては、始点座標とその時刻及び終点座標とその時刻である。
【００３８】
次に、始点座標及び終点座標のそれぞれが計測範囲外の領域に存在しているか否かを判断し（ＳＴ２）、いずれか一方或いは双方が計測範囲内に存在する場合には、エラーとし、判定対象の動線から除外する。一方、ステップ２の分岐判断でＹｅｓとなった場合には、判定対象の動線（人間）となるので、ステップ３に進み、終点座標の時刻と始点座標の時刻との差を求める。つまり、その差が、計測範囲内に存在していた時間ｔとなる。
【００３９】
そして、その時間ｔが基準時間Ｔ以上か否かを判断し、Ｔ以上の時には、一定時間以上計測範囲内に滞在したため、その途中で注目対象の前で立ち止まったことがある（図５中星印）と推定できるので、注目した人の動線と認定し、注目人数を１加算する（ＳＴ４，５）。すなわち、このステップ５の判断を行うことにより、注目しているか否かの判断を行うことになる。
【００４０】
一方、滞在時間ｔがＴに満たない場合には、計測範囲を素通りしただけと考えられるので、通過人数を１加算するようにした（ＳＴ６）。なお、ステップ６で、通過人数を求めるようにしたのは、注目した人と注目しなかった人の比率等を求めたりする等の解析を行えるようにするためである。よって、必ずしもステップ６は設ける必要はなく、ステップ４の分岐判断でＮｏとなったならば、そのまま終了するようにしてももちろん良い。
【００４１】
なお、図示したフローチャートでは、人数を加算した後終了となっているが、これは、１つの動線に対する判定処理が終了したことを意味し、実際には抽出される動線データに対し、順次フローチャートに示す処理を実行するようになる。そして、当然のことながら、次の動線に対する判定処理に移行する際に、注目人数等はクリアしない。
【００４２】
そして、ステップ５で求めた注目人数が多いほど、注目対象に対する注目度は高いと判定できる。つまり、本例では、注目度の程度を注目人数に置き換えるようにしている。
【００４３】
また、判定部７の別の機能としては、図７に示すようなフローチャートを実行するようにしても良い。つまり、図６と図７を比較すると明らかなように、ステップ１〜ステップ４までの処理は同じで、ステップ４の分岐判断でＹｅｓになった場合に注目対象に注目している人間であると判断するまでは同じである。そして、本例では、注目していると判定後、その注目度を求める処理が異なる。つまり、ステップ７に示すように、一定時間Ｔ以上計測エリア内に滞在した人間の滞在時間の累計ｔ０を求め、その累計（滞在総時間）ｔ０が大きいほど注目度が高いと判断するようにしている。
【００４４】
そして、図６，図７のいずれの場合も、本例における判定部７は、注目対象に注目している人間か否かを判定する判定手段と、どれくらい注目しているかの注目度を求める手段の２つの機能を兼用している。
【００４５】
また、注目度を求めるに際し、例えば図６，図７を合体させ、例えばステップ７で求めた総時間ｔ０をステップ５で求めた注目人数で割ることにより、１人あたりの注目時間を求めることができ、係る値を注目度とすることもできる。
【００４６】
さらにまた、具体的な図示は省略するが、追跡部６において抽出する動線データとして、上記した例では始点と終点に関するものであったが、本発明はこれに限ることはなく、抽出部５で抽出した同一の人間が移動した際の各座標とその時刻を対にしたものを関連づけて記憶保持するようにしてもよい。その場合に、判定部７では、連続した移動軌跡とその各部での時刻データに基づいて、所定の場所に停止している時間が一定以上の場合に注目対象を注目している人間と判定するようにすることもできる。そして、注目度は、その注目した人の人数であったり、停止した時間の総和等により求めることができる。
【００４７】
さらに、出力部８は、モニタ，プリンタ等で構成され、上記判定部７で最終的に求めた注目情報（注目人数等の注目度）を出力するようになっている。また、必要に応じて、ビデオカメラ１で撮像した画像や、画像メモリに格納された画像データさらには、移動軌跡等各種の中間処理での画像も表示可能とすることができるようにしている。
【００４８】
図８は、本発明に係る注目情報計測方法の実施の形態の一例を示している。本例は、上記した図１に示す装置を用いて実施した例である。まず、１つのテレビカメラを用いて計測範囲を撮像し、画像データを取得する（ＳＴ１１）。そして、その得られた画像データに基づいて、抽出部５にて画像データ中に存在する人間の部分を抽出するとともに、個々の人間同士の分離を行う（ＳＴ１２）。
【００４９】
次に、撮像して得られた画像から抽出された個々の人間の移動状況を追跡する（ＳＴ２５）。そして、この追跡処理は、それぞれの人間に対して画像中に出現してからいなくなるまで行われ、始点の座標と終点の座標及びそれらの時刻を関連づけて格納する。この処理が、追跡部６で行われる。
【００５０】
判定部７にて、各人間の移動した軌跡の始点と終点の座標及び時刻に基づいて計測範囲に一定の時間以上滞在していたか否かを判断し、滞在している場合には注目対象に注目していると判定する（ＳＴ１４）。さらに、注目している人間の人数を計数し、その注目対象に対する注目度を求める（ＳＴ１５）。なお、注目度の算出は、人数の積算に限らず、注目人間の滞在時間の総和などの他、各種の情報に基づいて評価・計測できる。
【００５１】
図９は、本発明の第２の実施の形態を示している。本実施の形態では、まず、撮像手段としてのテレビカメラを、図１０に示すように２個設けた点で第１の実施の形態と相違する。そして、それら２個のカメラ１ａ，１ｂから得られるステレオ画像に基づいて、人間を抽出するようにしたため、抽出部５の構成も第１の実施の形態と相違する。そこで、その相違点のみ詳述すると、以下のようになっている。
【００５２】
テレビカメラ１は、実際には図１０に示すように、光軸をほぼ平行にした焦点距離ｆがほぼ同じの２つのカメラ１ａ，１ｂを備え、係る両カメラ１ａ，１ｂを、陳列棚等の注目対象を含む領域の上方に真下もしくは一定の俯角を持たせて設置する。そして、両カメラ１ａ，１ｂは同期信号により同期がとられ、同一のタイミングで計測領域を撮像するようにしている。そして、各カメラ１ａ，１ｂで撮像して得られた映像信号が、Ａ／Ｄ変換器２，バスを介して抽出部５内の画像メモリ５ａに格納されるようになっている。
【００５３】
両カメラ１ａ，１ｂを水平に並べた（カメラ１ａが左側）とした場合に、あるタイミングで両カメラ１ａ，１ｂで同一物を撮像したとする。すると、図１１に示すように、物体のある頂点Ｐ（ｘ，ｙ，ｚ：実空間上での三次元座標（空間座標）位置）は、一方のカメラ１ａ（Ｌ）で撮像した画像上では、座標ＰL 上に位置し、他方のカメラ１ｂ（Ｒ）で撮像した画像上では、座標ＰR 上に位置する。図から明らかなように、両カメラで撮像した同一物に対する画像上の座標は異なり、係る異なりを視差という。そして、この視差は、撮像面（図中Ｌ，Ｒの位置）から被撮像物の点Ｐが近いほど大きくなり、視差とレンズの焦点距離・撮像素子の大きさ・撮像体の間隔がわかれば点Ｐまでの距離が計算でき、さらに撮像体の設置高さ・設置角度がわかれば点Ｐの空間座標値が求められる。
【００５４】
そこで、抽出部５では、画像メモリ５ａに格納された２つのカメラ１ａ，１ｂで撮像して得られた２枚の画像データに基づいて、画像データ中に存在する各点の空間座標を求めるとともに、求めた各点を個々の人間を構成するもの同士をまとめることにより、人間同士を分離するとともに人間の存在位置を求めるようになっている。
【００５５】
特徴点抽出部５ｂでは、（１）まず、対応付けを行う２枚の画像データに対し、それぞれ所定の特徴量抽出処理を用いて、人間の候補点となる特徴点を抽出する。（２）次いで、２枚の画像データでそれぞれ抽出された特徴点（実際には、その周辺画素を含む画像パターン）同士を比較し、類似するものを同一の場所（図１１でいう点Ｐ）を撮像したものとして対応付ける。このように、特徴点抽出部５ｂは、上記した（１）と（２）の２つの処理を行うようになっており、各処理のより具体的な手法としては、以下のようになっている。
【００５６】
＊＊特徴点抽出処理
この抽出処理は、例えば、画像中の任意の範囲（４×４画素，８×８画素の局所領域等）でエッジ強度が強い点、背景（あらかじめ記憶されてある通行者がいないときの画像）との違いが大きい点、任意の時間間隔で撮像された複数の画像の差分の大きい点等を抽出する。この抽出方法は、上記した３つをすべて使用する必要がないのはもちろんで、１または複数の任意の特徴量抽出方式を選択して使用すれば良く、また、上記以外の他の方法を用いてももちろん良い。
【００５７】
＊＊対応付け処理
対応付けを行う手法としては、一方の画像データを基準とし、他方の画像データ中に対応するものがあるか否かを判断するようにしてる。つまり、一方の画像に着目し、その画像中で前工程で抽出した特徴点を含みその周辺の任意の範囲（特徴点決定のための範囲と同じことが多い）の画像を基準画像として切り出し、他方の画像中で基準画像と最も違いの少ないところを抽出し、そこを対応点とする。そして、係る違いの少ない所を抽出するための手法としては、基準画像と対象画像の差分絶対値の和・差分の自乗和・正規化相互相関等を利用することができる。
【００５８】
さらに、本例のように、２つのカメラ１ａ，１ｂを水平に並べた場合には、図１１に示すように、同一の点Ｐを撮像して得られる画像上の座標ＰL ，ＰR の座標値のうち、カメラの配置方向と直交する縦方向の座標（ＸL とＸR ）はほぼ同じになる。よって、基準画像と比較する対応画像のサーチ対象を、基準画像のＸ座標値と同一あるはその近傍の領域とし、係る範囲について基準画像との比較を行うようにしても良い。係る構成にすると、より正確かつ短時間で対応付けを行うことができる。
【００５９】
上記した特徴点抽出・対応付け処理により、検出対象の人間を構成する部分の特徴点抽出及び対応付けが行われるが、人数を計測するためには、最終的に１人の人間について１つの特徴点（存在位置）を抽出・決定する必要がある。そこで、抽出された複数の特徴点は、同一の人間に対してのものか、別の人間に対してのものかを判別する必要がある。係る処理を行うのが、分離部５ｃである。
【００６０】
分離部５ｃは、２枚の画像間で対応付けされた２つの特徴点の各画像中の座標値等に基づいて、３次元の空間座標を求める。つまり、ステレオ画像による３次元計測により特徴点の３次元座標を求める。
【００６１】
そして、カメラ１ａ，１ｂに対し奥行き方向（Ｚ方向）と横方向（Ｘ方向）を座標軸系とした二次平面上（上方から見た平面図）に、求めた各特徴点をプロットする。この時、人間を抽出することから、高さ方向（Ｙ軸方向）については、分類分けをするとともに、一定の高さ以上のものを抽出するようにした。すなわち、抽出した特徴点のＹ軸座標が極端に低い物体は人間でない可能性が高いため、Ｙ座標が所定の高さ以上のもに限ることにより、不要な人間でないデータを抽出してしまう可能性を可及的に抑制するようにしている。
【００６２】
そして、上記したプロットの一例を示すと、図１２のようになる。人間の場合には、頭部が最も高いとともに、平面図で示すと係る頭部は中央に来る。よって、図示するように複数の特徴点がある範囲に纏まって存在するとともに、その一塊の特徴点の中で中央に位置する特徴点の高さが最も高い分類に属することがわかる。なお、本例では、１．５ｍ以上はすべて抽出するようしているが、例えば上限を適宜の値に設定し、それ以上の高さを有する特徴点は、プロットから除外するようにしても良い。
【００６３】
次いで、求めた空間座標上の各特徴点に対し、クラスタリング処理を行い、同一の人間に基づいて抽出された特徴点を１つのクラスタとして、他の特徴点と分離し、一纏めとする。つまり、クラスタリングは各データ間の距離を計算し、距離の小さいものから一つのクラスタに統合していき、全てのデータについてそれ以上統合が発生しなくなれば終了し、それぞれのクラスタの位置を人の存在位置とし、そのクラスタの数を計測範囲内に存在する人数とする。
【００６４】
各データ間の距離を評価する方法としては、図１３のように座標値を採るとすると、
【００６５】
【数１】

Figure 0003800257
そして、すでに形成されたクラスタと、判定対象のデータの統合を行う（データをクラスタの仲間に入れる）かどうかを決定する方法は、以下のようにすることができる。すなわち、図１４に示すように、すでに存在するあるクラスタ（Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ）と、一つの計測点（Ｐｘ）との間で前記の距離を算出する際に、予め定めた以下のいずれかの距離を求め、その距離が一定以下の場合には、クラスタに加え、一定より離れている場合に別のクラスタと認定し、判定対象としたクラスタには加えないようにする。
【００６６】
【数２】
Figure 0003800257
上記のようにして、一定の基準以下の距離にある特徴点同士を一纏めにしてクラスタリングを行ったなら、その中の代表点を一つ選択し、人間の存在位置座標とする。この代表点の選択方法は、例えばＹ座標値が最も高い特徴点（頭部部分）を選んだり、複数の特徴点の中の重心や中心の座標値、或いは、１つのクラスタに属する複数の特徴点のうちの任意の一つを選択する等、種々の方式に基づいて代表点を選択すればよい。そして、少なくともその様にして得られた各代表点データを所定のメモリ内に格納するようになっている。
【００６７】
なお、上記のようにして各人間の代表位置が抽出されたならば、それを追跡部６に与え、所定の追跡処理を行う。そして、追跡部６での追跡処理は、本例では、すでに個々の人間に分離され、その代表位置がわかっているので、座標同士を比較する図４の方式を採用するとよい。なおまた、上記のように個々の人間の存在位置を抽出するまでが、第１の実施の形態と相違するため、その後の追跡部６及び判定部７の機能は、上記した第１の実施の形態のものと同様に行うことができる。よって、その各部の詳細な説明は省略する。
【００６８】
図１５は、本発明に係る注目情報計測方法の実施の形態の他の例を示している。本例は、上記した図９に示す第２の実施の形態の装置を用いて実施した例である。まず、同期駆動する２つのカメラを用いて計測範囲を同一タイミングで撮像し、ステレオ画像データを取得する（ＳＴ２１）。
【００６９】
そして、その得られた２枚の画像データに基づいて、抽出部５にて各画素の特徴点の抽出及び抽出した特徴点同士の対応付けを行う（ＳＴ２２）。さらに、対応付けした２つの画像に存在する特徴点の座標に基づいて、空間座標系での座標値を求め（ＳＴ２３）、さらに、人間の分離を行う（ＳＴ２４）。つまり、空間座標系における座標値の近い特徴点同士を同一のクラスタに纏めることにより、個々の人間同士に分離するとともに、個々のクラスタ毎に代表の座標値をつける。そして、このステップ２２〜２４までの処理を、抽出部５で行う。
【００７０】
次に、撮像して得られ、各フレーム毎に上記した空間座標系での特徴点（人間）の位置を求めたものを蓄積し、個々の人間の移動状況を追跡する（ＳＴ２５）。そして、この追跡処理は、それぞれの人間に対して画像中に出現してからいなくなるまで行われ、始点の座標と終点の座標を対にして格納する。また、この時各座標が得られたときの時刻も関連づけて合わせて格納する。この処理が、追跡部６で行われる。
【００７１】
判定部７にて、各人間の移動した軌跡（動線）の始点と終点の座標及び時刻に基づいて計測範囲に一定の時間以上滞在していたか否かを判断し、滞在している場合には注目対象に注目していると判定する（ＳＴ２６）。さらに、注目している人間の人数を計数し、その注目対象に対する注目度を求める（ＳＴ２７）。なお、注目度の算出は、人数の積算に限らず、注目人間の滞在時間の総和などの他、各種の情報に基づいて評価・計測できる。
【００７２】
本例では、２つのカメラ１ａ，１ｂを用いて撮像し取得したステレオ画像に基づいて特徴点の空間座標値を求め、その空間座標値に基づいてクラスタリングして個々の人間に分離するようにしたため、たとえ奥行き方向（Ｚ軸方向）で重なっている人間が存在していても、それらを分離できるので、正確に人間を抽出し、注目情報を得るための各種の判定処理を行うことができる。
【００７３】
さらには、ステレオ画像処理を利用しているので日照変動や降雨時の水たまり等の影響を受けにくく、計測範囲から斜め方向にカメラを設置することで天井のない領域に対しても判定ラインを設定することが可能になり、設置条件を緩和することができる。
【００７４】
また、上記した実施の形態では、ビデオカメラ１として２個のカメラ１ａ，１ｂを用いた例を示したが、本発明はこれに限ることはなく、３個以上のカメラを用いてももちろん良い。すなわち、例えば図１６（Ａ）に示すように３個のカメラ１ａ〜１ｃを用いた場合には、仮に点線で示すようにカメラ１ａの撮像領域内に障害物１１があると、対象物Ｐをカメラ１ａで撮像できないので、上記した２個のカメラを用いる方式では、視差を求めることができず、人間を抽出できない。しかし、係る場合であっても、別の２つのカメラ１ｂと１ｃで対象物Ｐを撮像できるので、係る撮像された画像データから視差を求め、空間座標系での座標値を求めることができる。このように、死角が少なくなるので、より正確な計測が行えるようになる。
【００７５】
さらには、３つの画像の相関を採ることにより、空間座標値を求めることもできる。また、同図（Ｂ）に示すように、例えば任意の２つからなるカメラを複数組（カメラ１ａと１ｂ，カメラ１ｂと１ｃ）選択し、一方のカメラ組（１ａと１ｂ）で撮像したステレオ画像に基づいて特徴点Ｐ′の空間座標位置を特定するとともに、他方のカメラ組（１ｂと１ｃ）で撮像したステレオ画像に基づいて特徴点Ｐ′を求め、それぞれ求めた２つの座標値に基づいて空間座標値を求めるようにしてももちろん良い。そして、上記したように障害物による死角のみならず、追跡処理中に追跡不能となるおそれがあるが、２組のステレオ画像に基づいて特徴点の空間座標値を求めるようにすると、係る追跡不能となる可能性が可及的に抑制され、より精度の良い計測ができる。また、逆に２組のカメラ対から得られるステレオ画像からともに同一（近い）位置に空間座標値が抽出されたときに本物と判定するようにしても良い。
【００７６】
図１７は、本発明の第３の実施の形態を示している。本装置が設置されて注目情報を取得する箇所としては、例えば、コンビニエンスストアその他の各種商品を販売する小売店等がある。すると、係る小売店等では、一般に図１８に示すように通路９の両側にそれぞれ陳列棚１０ａ，１０ｂが設置され、各陳列棚に別々の商品（商品Ａ，商品Ｂ）が陳列されていることが多い（通路９に、両商品Ａ，Ｂが面している）。従って、上記した第１，第２の実施の形態に基づく注目度計測では、計測範囲に滞在した時間が一定時間の場合に、商品Ａまたは商品Ｂの少なくとも一方に着目したことは検出できるものの、商品Ａと商品Ｂのどちらに注目したのかを弁別することはできない。
【００７７】
そこで、本実施の形態では、動線Ａ〜Ｃのそれぞれの人がどちらの商品に注目したのかを分離して計測することができるようにしている。つまり、図１７に示すように、バスに対し、視線方向判定部１１を設けており、抽出部５で分離抽出された人間が、どちらの方向を向いているかを判断できるようにしている。これにより、例えば、判定部７における判定処理の際に、商品Ａに注目しているか商品Ｂに注目しているかを弁別し、それぞれを分けて積算処理等することにより、商品Ａ注目度と、商品Ｂ注目度を別々に計測できるようになり、計測結果の情報価値を高めることができる。
【００７８】
そして、具体的には、視線方向判定部１１は、頭部抽出部１ａと、視線方向推定部１１ｂとを備えて構成（厳密には、画像メモリ５ａも含む）できる。つまり、人間の場合には、頭部部分に着目すると、その後側は髪の毛が存在するため全体的に黒くなり、前側に存在する顔は、後側に比べて全体的に明るくなるとともに、目・口等の特徴がある。そして、顔の向いている方向にある商品を見ていると推定できる。
【００７９】
そこで、係る原理に基づき、頭部抽出部１１ａでは、人間の位置を特定した後、各特徴点の空間座標系のＹ座標値を取得し、その人間に分類された特徴点データの中でもっとも高い座標を持つあたりを頭部と推定し、例えば一方のカメラで撮像した画像データの頭部に対応する座標の周辺の所定の大きさの領域内に存在する画像データを抽出し、視線方向推定部１１ｂに与えるようになっている。
【００８０】
視線方向推定部１１ｂは、与えられた画像データに対し、所定の画像認識処理を行い、処理対象の人間が、カメラの方を向いているか反対側を向いているかを判断する。つまり、全体的に暗い場合には、髪の毛を撮像しており、カメラと反対側を向いていると判定し、処理対象の画像が、全体的に明るいとともに目・口等の特徴が得られる場合には、カメラの方を向いていると判定し、これにより視線方向を推定・決定する。すなわち、図１８に示すように、テレビカメラ１にて商品Ｂが設置された陳列棚１０ｂの後方より、陳列棚１０ａ側を撮像している場合に、カメラの方を向いていると判定した場合には、商品Ｂを注目しており、カメラと反対側を向いていると判定した場合には商品Ａを注目していると推定し、その結果を判定部７に送るようになる。
【００８１】
なお、上記した例では、人間を抽出するためのカメラと、人間の視線方向を判定するための画像を得るためのカメラを共通化したが、それらを別々のカメラで行うようにしてももちろん良い。
【００８２】
また、そのように画像処理により顔の向きを判定することにより視線方向を決定するのではなく、抽出された動線から移動方向の前方を視線方向と考えて処理を行うようにしてもよい。つまり、一例を示すと、図１８に示す動線Ｃの場合には、その移動軌跡を見ると、陳列棚１０ａ側に近づくように進んでいるので、商品Ａを注目していると判定するようになる。なお、その他の構成並びに作用効果は、上記した実施の形態と同様であるので、その詳細な説明を省略する。
【００８３】
図１９は、本発明の第４の実施の形態を示している。本実施の形態では、上記した第２の実施の形態を基本とし、さらに特定人物の排除機能を設けている。つまり、同図に示すように、バスに対し、排除部１５を設けており、抽出部５で分離抽出された人間のうち、所定の条件に合致する場合には、注目している人間と判定せず、注目人数等の注目度に関する値に加えないようにしている。これにより、例えば、店員が商品を陳列棚に置いたり、掃除等をすることにより、一定の時間以上計測範囲に滞在しても、注目していると判定しないことで、真の来客者に基づく注目人数等の注目情報を求めることができ、計測結果の情報価値を高めることができる。
【００８４】
そして、具体的には、例えば予め排除対象者には、目印になるものを着用させておき、人間を分離した場合に、その人間が存在する画像領域部分に対して所定の画像認識処理を行い、上記目印を有しているか否かの判断を行い、有している場合には、排除対象者と認定して人数の加算はしないようにする。そして、目印になるものとしては、例えば、特定の色柄の帽子やユニホーム等を選定することができる。
【００８５】
そして、係る処理を行うための排除部１５として頭部抽出部１５ａと、排除対象判定部１５ｂを備えている。本例では、例えば排除対象者に対しては、黄色い帽子を着用させておく。係る前提において、頭部抽出部１５ａでは、人間の位置を特定した後、各特徴点の空間座標系のＹ座標値を取得し、その人間に分類された特徴点データの中でもっとも高い座標を持つあたりを頭部と推定し、例えば一方のカメラで撮像した画像データの頭部に対応する座標の周辺の所定の大きさの領域内に存在する画像データを抽出し、排除対象判定部１５ｂに与えるようになっている。
【００８６】
排除対象判定部１５ｂは、与えられた画像データに対し、所定の画像認識処理を行い、排除対象となる目印がその画像データ（領域）に観測できた場合は排除フラグをＯＮして追跡の結果得られる動線データに付加するようになっている。一例を示すと、目印が黄色い帽子なため、黄色い画素を抽出し、その大きさ・面積・形状等の特徴量を抽出し、目印の基準データと比較することにより、その適否を判定できる。なお、判定処理自体は、従来公知の各種の認識処理を利用できる。
【００８７】
そして、本例の処理の一例を示すと図２０に示すフローチャートのようになる。つまり、上記した第１の実施の形態と同様の処理を行い、抽出部５で人間の分離を行う（ＳＴ３１）。次いで、排除部１５を動作させ、クラスタリングされた個々の人間を構成する特徴点の空間座標を取得し、目印となる頭部部分の座標を求め、画像メモリ５ａにアクセスして頭部周辺の画像データを取得する。そして、目印が存在するか否かを判断することにより、排除対象の人間か否かを判断する（ＳＴ３２）。
【００８８】
そして、排除対象となる目印が検出できない場合には、排除対処の人間ではないので、ステップ３４，３５を順次実行し注目度判定基準を満たしているか否かを判断する。そして、排除対象でない場合には、ステップ３６の分岐判断はＮｏとなるので、ステップ３７に進み注目人数を加算する。
【００８９】
一方、ステップ３２で排除対象と判定された場合には、排除フラグをＯＮして追跡の結果得られる動線データに付加する（ＳＴ３３）。そしてそのまま追跡処理及び注目判定処理を行うが、追跡が終了したあと排除フラグがＯＮであればステップ３６の分岐判断でＹｅｓとなるので、ステップ３７はスキップされて注目人数には加算されない。
【００９０】
なお、その他の構成並びに作用効果は、上記した第２の実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。また、注目人数計測処理（ＳＴ３７）に替えて、注目人間の滞在時間など他の注目情報を求めるようにしても良いのはもちろんである。さらには、第１の実施の形態（カメラを１個用いたもの）や、第３の実施の形態（注目商品を特定するもの）に対して本実施の形態のように排除機能を設けても良いのはもちろんである（以下の各実施の形態でも同じ）。
【００９１】
なおまた、本例では、追跡及び注目の判定は、排除対象か否かに関係なく行うようにし、最終的に人数を加算する際に排除するようにしたが、本発明はこれに限ることはなく、排除対象の人間とわかった時点で、以後の追跡を行わないようにしてももちろん良い。
【００９２】
また、別の方式としては、例えば入退場チェック用のカードリーダーを設置しておき、排除したい人間は通行するときにカードをリーダーに通すようにしてもよい。そして、判定部では、カードが入力された場合には、注目度を満たしていても通過人数に加算しないようにする。なお、カードは非接触式でも同じ効果が得られる。
【００９３】
図２１は、本発明の第５の実施の形態を示している。そして、図２２は本実施の形態のデータの流れを示している。本実施の形態では、図９に示す第２の実施の形態を基本とし、さらにバスに対してハードディスク、ビデオテープ等を用いた画像蓄積部１４を接続している。さらに、その画像蓄積部１４に蓄積された任意の画像データを呼び出し、画像表示手段たる出力部（モニタ）８に出力表示可能としている。
【００９４】
そして、上記した画像蓄積部１４に格納するデータは、判定部７の判定結果が、「注目している」場合に、その注目した人間が撮像されている画像データとしている。この時、撮像した画像データ全体を蓄積しても良く、或いは、注目人間の部分を切り出して格納するようにしても良い。
【００９５】
係る構成にすることにより、管理者等が蓄積されたデータを表示してチェックすることで、注目対象に注目した人間のデータ（年齢層・男女別・服装の傾向等）をより詳しく分析することが可能となる。しかも、係る注目した人間のデータを店員が継続して逐次監視している必要がなく、自動的に蓄積されるので、効率が良く、しかも、記録し忘れたり、他の仕事をしていて注目していた人間を見落とすおそれもなく、正確なデータを蓄積できる。なお、図２４中左側の縦のライン（データの流れ）は、第２の実施の形態と同様であるので、その詳細な説明を省略する（以下、同様）。
【００９６】
図２３は、本発明の第６の実施の形態を示している。そして、図２４は本実施の形態のデータの流れを示している。本実施の形態では、図９に示す第２の実施の形態を基本とし、さらにバスに対してハードディスク、光磁気ディスク等を用いたデータ蓄積部１６と、そのデータ蓄積部１６に蓄積されたデータに基づいて所定の解析を行うデータ解析部１７とを接続している。
【００９７】
そして、データ蓄積部１６には、単位時間あたりの注目者数やそれぞれの滞在時間、通過人数と計測時刻などを記録しておく。すなわち、上記したステレオ画像に基づく人間の分離を行い、注目対象を注目している人間の有無及び注目度などの注目情報を判定部７で求める。
【００９８】
ここで本例では、判定部７から出力される「注目者数（注目人数）等の注目情報」を出力部８とともに、データ蓄積部１６にも与えるようになっている。そして、データ蓄積部１６では、与えられた注目情報をコンピュータが内蔵するタイマ・時計の時刻データやカレンダー情報とともに併せて記憶する。
【００９９】
また、データ解析部１７では、データ蓄積部１６に格納されたデータに基づいて、例えば、一日の注目人数等の注目度の時間分布や、曜日・祝日（休日）や季節等の一定の期間ごとの注目者数の推移を求め、その解析結果を出力部８に送り、モニタ表示或いはプリンタアウト等するようになっている。また、その解析結果をさらに記憶装置に格納するようにしても良い。そして、係るデータ解析部１７は、一定のタイミングで定期的に行うようにしても良く、或いは外部からの指示に基づいて不定期的に行うようにしても良く、もちろん両者を併用しても良い。そして、外部からの指示は、例えば図示省略のキーボード・マウス等の入力装置を介して行われる。
【０１００】
係る構成にすると、例えば曜日や時間帯で各注目対象に対する注目度が大きい時期等を統計的に調べることができ、その後の販売計画・販売戦略に有効なデータが得られる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１０１】
図２５は、本発明の第７の実施の形態の構成図を示している。そして、図２６が、そのデータの流れ図を示している。本実施の形態では、上記した第６の実施の形態を基本とし、さらに、注目者数等の注目度情報（以下、単に「注目者数」と称するが、滞在総時間等他の注目度の算出・計測処理を行ってももちろん良い）が変動する要因となる様々なデータを入力する変動要因入力部１８をバスに接続している。
【０１０２】
そして、データ蓄積部１６には、判定部７より与えられる注目者数と、内蔵時計等から得られる時刻・カレンダー情報とともに、変動要因データも関連付けてデータ蓄積部１６に格納するようになっている。
【０１０３】
ここで、変動要因とは、注目する人の数等に影響を与えるもので、例えば、温度・湿度・雨量等の天候情報や、祭り・遠足・修学旅行・試験等の地域のイベント情報や、広告を出す等の販促の情報等がある。そして、係るデータは、操作員の手動或いはセンサやデータベースからのオンラインを用いた自動で入力することができる。つまり、変動要因入力部１８は、キーボード等の操作員が手動によりデータを入力するための装置であったり、各種センサ出力や、他のデータベースから伝送されてくるデータを受信する装置であったりする。
【０１０４】
そして、変動要因データの入力例としては、図２７（Ａ）に示すように、日時ごとに天候，湿度（及びまたは温度），販促状況並びに地域情報等を入力することができ、この例では、すべてキーボード等の入力装置を用いて操作員が手動により入力するようにしている。また、例えば湿度等は、湿度計（センサ）から出力を、一定の時刻が来た場合に自動的に取得するようにしても良い。
【０１０５】
本形態におけるデータ解析部１７は、上記した第６の実施の形態と同様に、データ蓄積部１６に格納されたデータを、所定の基準で集計等して出力部８に出力するものである。そして、本例では、注目者数の情報に加えて、変動要因もデータ蓄積されているので、曜日による平均注目者数等を求めるとともに、各日時の注目者数と平均注目者数を比較し、その差が一定以上のものを抽出し、その差を変動要因とともに併せて出力するようになっている。また、操作員からの指示に基づいて変動要因との関係を解析できるようにもなっている。すなわち、雨との相関を求めたい場合には、「雨」をキーに解析し、雨の時の注目者数と平均値を比較することもできる。
【０１０６】
出力の一例を示すと、図２７（Ｂ）のようになる。つまり、この例では、平日（月曜〜木曜）と、金曜，土曜，日曜というように、曜日ごとでしかも一定の時間帯ごとに注目者数の平均値を求め、それを表にして出力している。そして、解析した結果、雨の時が１５％程度人数が少ないことがわかったため、それも欄外に出力表示している。
【０１０７】
なお、上記した平均値との「差」は、単純に人数の差（偏差）のみならず、図示した例のように比率等もある。これによって変動要因と注目者数の関係が把握できる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１０８】
図２８は本発明の第８の実施の形態を示す構成図であり、図２９はそのデータの流れを示している。本実施の形態では、上記した第７の実施の形態を基本とし、さらに、注目者数予測部１９をバスに接続し、データ蓄積部１６に格納した過去の注目者数に基づいて、注目者数の予測をするようになっている。
【０１０９】
すなわち、注目者数予測部１９の機能を説明すると、例えばデータ蓄積部１６にアクセスし、過去数週間の同じ曜日（時間帯）の注目者数の平均値を求め、それを予測注目者数として出力するように構成する。また、過去数か月のデータから上旬／中旬／下旬別にそれぞれの曜日別平均を求め、予測する日時が月の上旬，中旬，下旬のいずれに属する曜日からを判断し、該当する曜日の平均を予測注目者数として出力するようにすると、より正確な予測が行える。
【０１１０】
さらにまた、過去のデータから変動要因が注目者数に与える影響を解析し、変動要因の予報・予定を反映させることで注目者数の予測精度を向上することができる。すなわち、例えば、天気予報等により予測する日時の天気を調べたり、販促・地域情報として特別なものがある場合にはそれらに該当する過去のデータを抽出し、その平均を求めることにより予測注目者数を求めることができる。さらには、該当するデータ数が少ない場合には、例えば雨の日は、１５％減少することが求められると、天候に関係なく該当する曜日の平均人数を求め、その値に１５％減したものを予測注目者数とするようにしても良い。
【０１１１】
さらに、各曜日ごとに平均値を求めるに際し、その偏差・標準偏差等を求めておき、予測注目者数を求める際に、その人数と誤差の範囲を併せて出力表示するようにしても良い等、種々の予測方式を採ることができる。そして、その予測結果の表示態様の一例としては、例えば図３０に示すようなものとすることができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１１２】
図３１は、本発明の第９の実施の形態の構成図を示しており、図３２はそのデータの流れを示している。すなわち、本実施の形態では、上記した第８の実施の形態の構成に、さらに、売上データを入力するための売上データ入力部２０をバスに接続している。そして、売上データ入力部２０は、例えばＰＯＳに格納された売上データを転送して入力するようにしている。この売上データの入力例を示すと、図３３のように、各品物別に、しかも時間帯ごとに売上個数を入力するようにしている。そして、各品物は、いずれも注目対象のものである。そして、通常一つの陳列棚に、弁当，おにぎり，パン等が一緒に陳列されていることが多く、各品物ごとに売上を出すことにより、注目者数に応じてどの様な比率で各品物が売れたかを知ることができる。つまり、図１８に示した注目商品である商品Ａは、必ずしも１種類とは限らず、本例のように複数種類の場合もある。
【０１１３】
そして、図３２を見るとわかるように、判定部７で求めた注目者数と、変動要因入力部１８から与えられる変動要因データとともに、売上データ入力部２０から与えられる売上データをそれぞれ関連付けてデータ蓄積部１６に蓄積するようになっている。
【０１１４】
一方、データ解析部１７では、売上げデータと注目者数の関連を解析することにより、注目者数一日あたりの売上高や、注目者１人の一時間あたりの売上高等を求め、出力するようになっている。これにより、ＰＯＳによる売上管理からは得られなかったデータを収集することができる。すなわち、一例を挙げると一日ごと・時間ごと・フロアごと等の切り訳で「注目者数に比べて売上げが多い・少ない」というような情報が得られる。そしてその情報に基づいて広告・品揃え・陳列等の問題や効果を定量的に把握することができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。また、図３１に示した例では、注目者数予測部１９をバスに接続しているが、売上データと注目者数その関係を解析するという本実施の形態では、係る予測部１９を設けなくても良い。
【０１１５】
図３４は、本発明の第１０の実施の形態の構成図を示しており、図３５はそのデータの流れを示している。本実施の形態では、上記した第９の実施の形態（注目者数予測部１９付）を基本とし、さらに、売上予測部２１をバスに接続している。
【０１１６】
この売上予測部２１は、図３５から明らかなように、データ蓄積部１６に蓄積された過去の注目者数と、過去の売上データを取得し、さらに、注目者数予測部１９より売上予測を行う日時に関する予測注目者数を取得する。そして、過去の注目者数と売上データから、注目者数１人（或いは単位人数）に対する各商品の売上個数を求め、その値に売上予測をする日時の予想注目者数を掛けることにより、各商品の予想販売数を求める。そして、その様にして求めた予想販売数を、例えば図３６に示すような形式で出力部８に出力するようにしている。
【０１１７】
なお、係る予測をより正確に行うためには、予想注目者数を求める際に、変動要因データを有効に活用することである。これにより、予想販売数に応じた仕入量の決定や係員・店員の配置等を適切に行うことができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１１８】
図３７は、本発明の第１１の実施の形態の構成図を示しており、図３８はそのデータの流れを示している。本実施の形態では、上記した第１０の実施の形態を基本とし、さらに、在庫データ入力部２２及び仕入支援部２３をバスに接続している。つまり、在庫データ入力部２２は、売上データ入力部２０と同様に、例えばＰＯＳ等に登録されている在庫データを転送し入力するようにしている。この在庫データの入力例を示すと、図３９のように、各品物別に、しかも時間帯ごとに売上個数を入力するようにしている。そして、図３３と比較すると明らかなように、対応する商品が販売される都度、リアルタイムで在庫データにも反映され、その在庫数が減少するようになっている。また、商品の搬入があると、当然のことながらその商品の在庫数が加算される。
【０１１９】
また、仕入支援部２３は、上記在庫データ入力部２２から与えられる現在の所定の商品の在庫数と、売上予測部２１から与えられる商品の今後の予測売上数（予測売上数の算出処理は、第１０の実施の形態と同様）に基づいて、各商品の搬入時の納入個数を求める。これにより、次の商品納入時までにできるだけ在庫が少なくなるとともに、在庫切れにはならないように納入個数を設定することにより、効率の良い商品の仕入れができ、賞味期限等がある商品を無駄に廃棄処分にしたり、逆に品切れになって来客者に迷惑を掛けることがなくなる。また、賞味期限等がない商品の場合であっても必要以上の在庫を抱えることによる保管コストの増加をできるだけ低減することができる。よって、効率の良い商品管理ができる。
【０１２０】
そして、例えば図４０に示すように、各回の納入時に必要な商品の納入個数を関連付けて出力するようになる。なお、図中「−」は、その納入の際には、その商品が納入されないことを意味する。
【０１２１】
そして、図４０に示したように表形式で作成したのを、モニタ出力或いはプリントアウトすることにより、発注援助データとなり、仕入れ担当者に対するアドバイス・注意を行うことができる。さらには、係るデータをそのまま発注データとし、今後の仕入を自動的に求めるとともに、自動発注するようにしても良い。さらに、各商品の在庫がなくなる時期も予測できるので、それに対する対応も容易に行える。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１２２】
なお、本発明は、上記した各実施の形態に示したものに限られるものではなく、任意の実施の形態同士を適宜組み合わせて実施してももちろん良い。
【０１２３】
【発明の効果】
以上のように、本発明に係る注目情報計測方法及び装置では、計測範囲を撮像して得られた画像中に存在する人間を抽出するとともに追跡し、計測範囲内に滞在していた滞在時間を求め、その滞在時間に基づいて注目しているか否かの判定を行うようにしたため、画像処理に基づく簡単な判定処理によって、陳列棚・ショーケース・展示物・広告等を計測対象（以後、注目対象という）として、その注目対象に注目しているか否かの判断や、注目している度合い（注目度）を求めることを自動的に行うことができる。
【０１２４】
特に、請求項３のように規定すると、光軸が概ね平行に設置された複数の撮像手段によって計測範囲を同期させて同一タイミングで撮像し、その撮像された画像間の対応付けによって得られる空間座標データを利用するようにしたため、たとえ奥行き方向で人間が重なっているような場合であっても、確実に個々の人間同士を分離することができ、人間の分離・追跡を行い注目しているか否かの判定等の注目情報を精度良く計測することができる。つまり、左右前後方向の人間の重なりや、日照変動・影等に影響されずに確実に人数を計測することができる。また、任意の俯角で計測領域を撮像すれば良いので、天井の有無や天井の高さに関係なく設置場所の制約が少なくできる。
【０１２５】
また、請求項２のように構成すると、注目した人間についての情報をより詳しく解析することができる。さらに、請求項８〜１０のように構成すると、注目された商品等の注目対象（計測範囲内のどの場所）をより精度よく特定できる。さらにまた、請求項１１のように構成すると、店員などの特定の人間を排除できるので、より高精度な真の注目情報を得ることができる。さらにまた、請求項１３〜１８のように構成すると、注目情報（注目度）を正確に求めることができ、それに基づいて各種の予測等が正確に行え、販売管理，店舗運営，在庫管理，仕入管理等の各種管理を効率よく行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す図である。
【図２】その抽出部の作用を説明する図である。
【図３】追跡部の作用を説明する図である。
【図４】追跡部の作用を説明する図である。
【図５】判定部の作用を説明する図である。
【図６】判定部の機能を説明するフローチャートである。
【図７】判定部の別の機能を説明するフローチャートである。
【図８】本発明方法の実施の形態の一例を示すフローチャートである。
【図９】本発明の第２の実施の形態を示す図である。
【図１０】撮像手段たるカメラの一例を示す図である。
【図１１】２つのカメラから撮像点の空間座標を求める原理を説明する図である。
【図１２】抽出部の作用を説明する図である。
【図１３】分離部の作用を説明する図である。
【図１４】分離部の作用を説明する図である。
【図１５】本発明方法の実施の形態の他の例を示すフローチャートである。
【図１６】撮像部の変形例を示す図である。
【図１７】本発明の第３の実施の形態を示す図である。
【図１８】視線方向判定部の作用を説明する図である。
【図１９】本発明の第４の実施の形態を示す図である。
【図２０】排除部の機能を説明するフローチャートである。
【図２１】本発明の第５の実施の形態を示す図である。
【図２２】そのデータの流れを示す図である。
【図２３】本発明の第６の実施の形態を示す図である。
【図２４】そのデータの流れを示す図である。
【図２５】本発明の第７の実施の形態を示す図である。
【図２６】そのデータの流れを示す図である。
【図２７】（Ａ）は変動要因データの入力例を示す図である。（Ｂ）は解析結果の一例を示す図である。
【図２８】本発明の第８の実施の形態を示す図である。
【図２９】そのデータの流れを示す図である。
【図３０】人数予測結果の一例を示す図である。
【図３１】本発明の第９の実施の形態を示す図である。
【図３２】そのデータの流れを示す図である。
【図３３】売上データの入力の一例を示す図である。
【図３４】本発明の第１０の実施の形態を示す図である。
【図３５】そのデータの流れを示す図である。
【図３６】売上予測結果の一例を示す図である。
【図３７】本発明の第１１の実施の形態を示す図である。
【図３８】そのデータの流れを示す図である。
【図３９】在庫データの入力の一例を示す図である。
【図４０】発注データの一例を示す図である。
【符号の説明】
１ テレビカメラ（撮像手段）
５ 抽出部
６ 追跡部
７ 判定部（滞在時間計測手段，判定手段，注目度を求める手段）
８ 出力部
１１ 視線方向判定部
１４ 画像蓄積部
１５ 排除部
１６ データ蓄積部
１７ データ解析部
１８ 変動要因入力部
１９ 注目者数予測部
２０ 売上データ入力部
２１ 売上予測部
２２ 在庫データ入力部
２３ 仕入支援部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an attention information measuring method and apparatus capable of detecting a person who has paid attention to an attention object such as a displayed product among persons who have passed through a certain area, and obtaining the degree of attention, and the apparatus It relates to various systems using the.
[0002]
[Prior art]
In the past, when trying to measure the degree of attention and the ability to attract customers to products placed on display shelves and showcases, exhibits and advertisements, etc. Place a watcher in a location that can be viewed indirectly through The person who monitors the above area constantly, determines the presence or absence of a person who is standing still in front of the product, or who is holding the product in his / her hand, etc. If there is, it is determined that the product is focused and 1 is added to the number of people focused.
[0003]
In addition, as a method of automatically measuring the presence or absence of attention, a sensor is installed to measure the number of people passing through passages and entrances, and the number of people who pass in front of the target product or the number of visitors in the facility There is a method to estimate that if there are a large number of them, many people are paying attention.
[0004]
[Problems to be solved by the invention]
However, the above conventional ones have the following problems. That is, it is difficult to continuously measure with a manual counting method. In addition, the standard for determining whether or not the person is paying attention cannot be unified by each measurer, and even the same measurer may change the reference with time, and a stable measurement result cannot be obtained.
[0005]
On the other hand, in the method of substituting for the attention level and the ability to attract customers depending on the number of people passing and the number of visitors, the person who has just passed around the target for which the degree of attention and the ability to attract customers was passed, stopped and paid attention to the advertisement, I couldn't make a distinction from the person who took my hand, and I couldn't make an accurate judgment.
[0006]
The present invention has been made in view of the above-described background, and its object is to solve the above-described problems and to measure display shelves, showcases, exhibits, advertisements, and the like (hereinafter referred to as attention objects). As a result, it is possible to automatically determine based on the image processing whether or not the attention target is focused and to obtain the degree of attention (degree of attention). A method and apparatus for measuring attention information that can extract predetermined attention information by reliably extracting people who are not affected by overlap, sunshine fluctuations, shadows, etc. To provide various systems. It is another object of the present invention to provide an attention information measuring method and apparatus capable of obtaining information suitable for sales management and the like, and various systems using the same, while achieving any of the above objects.
[0007]
[Means for Solving the Problems]
In order to achieve the above-described object, in the attention information measuring apparatus according to the present invention, an imaging unit for capturing an image of a measurement range, and an extraction unit for extracting a person in the measurement range from an image captured by the imaging unit A tracking unit that tracks the person extracted by the extracting unit using images of the measurement range captured at different times by the imaging unit, and the measurement of each individual tracked by the tracking unit. A stay time measuring means for obtaining a stay time within a range, and a determination means for determining whether or not the extracted person has paid attention to the periphery of the measurement range based on the stay time obtained by the stay time measuring means (Claim 1). In the embodiment, the stay time measuring unit and the determining unit are both realized by the determining unit 7.
[0008]
As described above, in the present invention, as described in the first embodiment, the periphery of the measurement object is imaged by the imaging means such as the television camera, the human is extracted from the captured image, and each extracted human is Tracking, extracting individual human movements around the measurement range (hereinafter referred to as human flow lines), and knowing each person's stay time within the measurement range (in the embodiment, the movement route) did.
[0009]
As a result, if the staying time is long, it is estimated that it stopped somewhere within the measurement range, moved more slowly than the normal movement / walking speed when passing, or roamed within the measurement range. It can be determined that attention has been paid to somewhere within the measurement range and / or the periphery thereof. Therefore, it can be determined whether or not the person is focused based on the staying time.
[0010]
In addition, since the tracking means can grasp how each person has moved within the measurement range, whether or not attention is paid more accurately by taking into account the movement route information within the measurement range. It is possible to determine whether or not, and to obtain more detailed information.
[0011]
Preferably, the apparatus further includes image storage means for storing an image existing in the measurement area when it is determined that the extracted person has focused on the periphery of the measurement range. Item 2). With such a configuration, as described in the third embodiment, even if a person is not constantly monitoring, a person who has noticed is automatically stored as an image. By displaying and checking later, it becomes possible to analyze in more detail the data of the human being focused on (age group, gender, clothing trends, etc.).
[0012]
More preferably, the imaging means for imaging the measurement range includes a plurality of imaging means having parallel optical axes, and the extraction means corresponds to a plurality of images obtained at the same timing by the plurality of imaging means. The configuration is such that a person is extracted by using spatial coordinate data by appending (claim 3).
[0013]
That is, as will be described in the second embodiment, a plurality of imaging means whose optical axes are substantially parallel (in the embodiment, they are arranged horizontally, but if the optical axes are substantially parallel, they are arranged vertically. Furthermore, the coordinates on the respective images obtained by imaging the same measurement object (human) at the same timing are different. The parallax, which is a difference, increases as the distance from the imaging surface to the object to be imaged (measured object to be imaged) is shorter, and the parallax and the focal length of the lens, the size of the imaging element, and the interval between the imaging bodies are determined. For example, the distance to the object to be imaged can be calculated, and if the installation height and the installation angle of the imaging means are known, the spatial coordinate value (spatial coordinate data) of the object to be imaged can be obtained. That is, even if they are overlapped on one image, by obtaining the spatial coordinate value, it is really the same person, or another person who appears to overlap but is separated in the depth direction Can be easily separated.
[0014]
Thus, when measuring the number of people passing by, using spatial coordinate data obtained by association between a plurality of images obtained by imaging with a plurality of imaging means,
(1) Measurement accuracy does not deteriorate due to the effects of lighting and sunshine fluctuations;
(2) Since the height is known, measurement accuracy will not be affected by shadows;
(3) When the measurement range is set to a position other than directly below the installation position of the image pickup means (having a predetermined depression angle), even if the humans overlap in the front-rear and left-right directions, the individual humans can be accurately separated;
Thus, more accurate attention information can be acquired.
[0015]
Further, it is more preferable to further comprise means for accumulating information on the noted person and obtaining a degree of attention around the measurement range. And the means for obtaining the attention degree is also realized by the determination unit 7 in the embodiment. The degree of attention is defined by, for example, the sum of the number of people who have noticed (Claim 5), or by the sum of the staying time of the attention human in the measurement range (Claim 6). Furthermore, it can be defined by the sum total of the stop time within the measurement range of the noted person. This corresponds to FIGS. 6 and 7 in the first embodiment.
[0016]
Further, the image processing apparatus further includes a line-of-sight direction determining unit that determines a line-of-sight direction from the extracted human image, and the extracted human is focused on which direction around the measurement range depending on the line-of-sight direction determined by the line-of-sight direction determining unit. It is even better to determine whether or not this has been done (claim 8). In this case, as a specific processing function of the visual line direction determination means, for example, a human head part existing in given image data is extracted, and image recognition processing is performed to recognize the head direction. Thus, the direction of the face may be specified, and the direction of the face may be set as the line-of-sight direction (Claim 9). Alternatively, the extracted human movement trajectory is obtained and the direction of movement is defined as the line-of-sight direction. (Claim 10). With such a configuration, as described in the fourth embodiment, the range can be limited, and a more detailed attention level evaluation can be performed.
[0017]
On the other hand, it is preferable to provide a means for excluding a specific person from the extracted and tracked persons (claim 11). In other words, such a configuration is preferable because a specific person such as a store clerk or a cleaning staff can be excluded from a person who has focused attention, and the original degree of attention can be accurately measured. This corresponds to the fifth embodiment.
[0018]
In the attention information measuring method according to the present invention, a plurality of persons obtained by extracting a person existing in the measurement range from the image obtained by imaging the measurement range and imaging the measurement range in time series. The extracted person is tracked using an image, and the staying time of each person who has been tracked stays within the measurement range. When the staying time is longer than a certain reference, the extracted person It is determined that attention is paid to the vicinity of the measurement range (claim 12). In other words, in this example, it is possible to extract a focused person by simple image processing. As a result, predetermined attention level information can also be obtained with high accuracy.
[0019]
On the other hand, in the attention level analysis system according to the present invention, the attention information measuring device capable of obtaining at least the attention level according to any one of claims 4 to 11, and at least the attention level output from the attention information measuring device. The apparatus comprises storage means for storing data, and analysis means for analyzing the stored data (claim 13). In such a configuration, as explained in detail in the sixth embodiment, by accumulating the degree of attention for each hour, changes in time, daily changes, seasonal changes, and long-term trends Etc. can be easily and accurately grasped, and sales promotion and product lineup can be easily quantitatively and objectively evaluated.
[0020]
Further, it further comprises means for inputting variation factor data of various data that causes the attention level to fluctuate, and the variation factor data is stored in the storage unit together with the attention level output from the attention information measuring device. (Claim 14). In such a configuration, as described in the seventh embodiment, the weather and local event information is input and accumulated together with the attention level to influence the attention level of the weather and the local event. Can be grasped accurately. Here, the fluctuation factor data affects the number of visitors to the store. For example, weather information such as temperature, humidity, and rainfall, local event information such as festivals, excursions, school trips, exams, There are sales promotion information such as advertising.
[0021]
Furthermore, it is more preferable to further comprise attention degree prediction means for predicting the attention degree based on the accumulated and analyzed data (claim 15). With such a configuration, as explained in detail in the eighth embodiment, the degree of attention (especially the number of attention) can be predicted, so that it is possible to examine the arrangement plan, purchase, etc. of shop assistants, guards, cleaners, etc. It can be utilized and stores and halls can be managed efficiently.
[0022]
In the business management system according to the present invention, the attention level analysis system according to any one of claims 13 to 15 further includes sales data input means for inputting sales data, and the analysis means stores sales data and attention level data. It was configured to analyze the association (claim 16). With such a configuration, as described in the ninth embodiment, sales data is input from, for example, a POS and examined in association with the attention level, so that “the sales will not increase even if the attention level is high”, Data such as “sales increase even if there is little attention” can be objectively accurately and easily grasped in a short time, and can be effectively used for store operations such as product assortment and layout.
[0023]
Furthermore, in the business management system according to the present invention, the attention level analysis system according to claim 13 or 14, attention level prediction means for predicting the level of attention based on accumulated and analyzed data, and sales for inputting sales data Data input means and sales prediction means for predicting sales based on the predicted number of visitors, the accumulated number of past visitors, and sales data are further provided (claim 17). With this configuration, as described in the tenth embodiment, sales can be predicted from past attention fluctuations and sales fluctuations, and other information (weather / events, etc.), and stores, halls, etc. Can be operated efficiently.
[0024]
The apparatus further comprises inventory data input means for inputting inventory data to the above configuration, and purchase support means for determining recommended values of purchased items and purchase quantities from the sales and inventory data predicted by the sales prediction means. (Claim 18). In such a configuration, as described in the eleventh embodiment, in the case of a retail store with inventory, only arrangement plans for salesclerks, guards, etc. can be obtained by using inventory data together with sales forecasts. Instead, even in the purchase plan, it is possible to provide a system for providing advice after automation or semi-automation, and store operations can be performed more efficiently.
[0025]
*Definition of terms
Here, “attention information” means both information of “whether or not attention is given to a certain attention object” and “attention degree” by a person to be determined as defined in claim 1 and the like. including. The attention level indicates how much attention is being paid to a certain target of interest, and can be defined by the number of people (number of attention), the total time, etc. as shown in claims 5-7. Furthermore, it may of course be specified by combining those pieces of information as appropriate.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration diagram of a first embodiment of the present invention. As shown in the figure, a video signal output from a television camera 1 as an imaging means is connected to a bus via an A / D converter 2. The bus includes an extraction unit 5 that extracts a person existing in the image data captured by the television camera 1 and a tracking unit that tracks the person extracted by the extraction unit 5 based on the image data given continuously. 6 is connected to a determination unit 7 that determines whether or not the extracted person is paying attention to a predetermined target of attention, and in the case of the person who is paying attention, the degree of attention such as the number of people of interest can be obtained. ing. And the output part 8 which outputs the determination result etc. is further connected.
[0027]
Next, each part will be described. The television camera 1 uses a single camera in this example, and is installed on the ceiling / wall or the like so as to capture an area in which a person around the object of interest passes, and capture an image of the measurement range. Yes. And in order to make it easy to isolate | separate adjacent humans, a camera is installed right above the measurement range, and it is made to image directly under it. As a result, for example, as shown in FIG. 2, the image obtained by imaging becomes a plan view. The image data captured by the television camera 1 is converted into digital image data by the A / D converter 2 and then stored in the image memory 5 a constituting the extraction unit 5.
[0028]
The extraction unit 5 includes an image memory 5a that stores captured image data and the like, and a separation unit 5c that separates and extracts individual human parts from the image data stored in the image memory 5a. Yes. As a function of the extraction unit 5 for extracting a person from the captured image, for example, as shown in FIG. 2A, a background image when no person is present is stored in the image memory 5a as a basic image. During the measurement, images (captured images) as shown in FIG. 5B captured by the television camera 1 are sequentially stored in the image memory 5a. Therefore, the separation unit 5c stores the images in the image memory 5a. The basic image and the captured image are read out, and the difference (background difference) between them is obtained. Thereby, for example, the difference image shown in FIG. Then, a portion where the difference is large is extracted as a change area, and the position of each person is determined by determining whether the area is one or plural from the size of the change area.
[0029]
That is, in the case shown in the figure, P1 is determined to be a single person because it is independent. In addition, since P2 and P3 overlap, it is necessary to determine whether they are one person or multiple persons. However, in this example, since the determination is based on the size, in the example shown in the figure, for two persons. Since there are two areas, it is assumed that there are two persons (P2, P3), and they are separated and extracted. Even if the separation is based on the area in this way, the tracking unit 6 performs the tracking process after that, and if it moves without changing the shape or the like to the end, it is determined that it was one person after all, There is no problem if 1 is added when adding to the number of people of interest. Then, the position information of each person is sent to the tracking unit 6.
[0030]
Next, the tracking unit 6 will be described. When the image data captured at a certain time T1 is as shown in FIG. 3A, the individual unit is separated and extracted by the extraction unit 5 as described above, and therefore, a predetermined area including the extracted human P1. R is set, and image data in the region R is cut out and registered as a model image. This model image registration is performed for all humans P2 and P3. Note that the size of the region R is set according to the size of the imaged human image because the size of the captured image is known to some extent.
[0031]
Then, a search area is set for the image data captured at the next time T2, and the search area is manipulated to determine an area having the least difference from the model image as a human position after movement at time T2. That is, assuming that the image data at time T2 is as shown in FIG. 3B, the search area R includes the position that existed at time T1 and is relatively large in consideration of the moving speed of the person. Set ′. Then, the search area R ′ is scanned to search for an area that is the same as or similar to the model image. As a search method, the sum of absolute values of differences between pixels of the model image and the search target image is generally used. However, the sum of squares of differences between pixels or normalized cross-correlation is used. However, similar results can be obtained. By scanning the search region R ′ in this way, the search time can be shortened and the accuracy can be improved.
[0032]
Further, the function of the tracking unit 6 is not limited to the above-described function, and for example, the following method may be employed. That is, the result (position of each person) extracted by the extraction unit 5 based on the image data captured at a certain time T1 is as shown by a star in FIG. 4A, and the next time T2 When the same extraction result in FIG. 6 is as indicated by a circle in FIG. 5B, it corresponds to each representative value (star mark) at time T1, as indicated by an arrow in FIG. The representative values (circles) at the time T2 (destination) to be performed are associated with each other.
[0033]
And as a function of the tracking part 6 for performing the process which concerns, the thing nearest to the last extraction position is linked | related, and it extracts as a locus | trajectory. It is also conceivable to improve the correlation accuracy by estimating the moving direction / speed using the previous or previous tracking results. Then, by shortening the sampling time (sufficiently faster than the moving speed of a human), malfunctions can be suppressed as much as possible with the simple processing described above.
[0034]
If the relationship before and after the movement cannot be found within a certain distance, it is assumed that the user has left the measurement range / enters the measurement range. It is also conceivable to correct the association from the movement information (direction / speed) before time T1 when determining the relationship before and after movement.
[0035]
The movement trajectory for each person obtained by the various methods described above is stored in a predetermined storage unit. Of course, all of the movement trajectory may be stored as data to be stored regarding the movement trajectory, but in this example, the movement trajectory (flow line) is related to the determination function in the determination unit 7 described later. The coordinates of the start point and end point are stored and held. As a result, the storage capacity can be reduced, the use efficiency of the memory is increased, and the determination process can be easily performed. Furthermore, in this example, the time data of the start point and the end point are also stored in association with each other based on the built-in clock.
[0036]
Next, the function of the determination unit 6 will be described. First, attention determination will be described with reference to FIG. When the passage and target object are in the positional relationship as shown in the figure, the measurement range is set as an area surrounded by a broken line, and the flow line extracted by tracking each person passing through the area, The case of being in the same position for a certain time or more while passing is represented by a star in the figure. In this case, it is considered that the humans of the flow lines A and B have paid attention to the target of attention, and the human of the flow line C has simply passed.
[0037]
In this example, based on the principle described above, the determination unit 7 is provided with a function for executing a flowchart as shown in FIG. That is, first, flow line data obtained by the tracking unit 6 is acquired (ST1). Specific contents of the flow line data to be acquired are a start point coordinate and its time, an end point coordinate and its time.
[0038]
Next, it is determined whether or not each of the start point coordinates and the end point coordinates exists in an area outside the measurement range (ST2). If either one or both exist in the measurement range, an error is determined. Exclude from the target flow line. On the other hand, when the branch determination in Step 2 is Yes, the flow line (human) is to be determined, and thus the process proceeds to Step 3 to obtain the difference between the time of the end point coordinate and the time of the start point coordinate. That is, the difference is the time t that was present in the measurement range.
[0039]
Then, it is determined whether or not the time t is equal to or greater than the reference time T. When the time t is equal to or greater than T, the user has stayed within the measurement range for a certain time or longer, and may have stopped in front of the target object in the middle (the star in FIG. Therefore, it is recognized as a flow line of the attentioned person, and 1 is added to the number of attention (ST4, 5). That is, by performing the determination in step 5, it is determined whether or not attention is paid.
[0040]
On the other hand, when the stay time t is less than T, it is considered that the measurement range has only been passed, so the number of passing people is incremented by 1 (ST6). The reason why the number of passing people is obtained in step 6 is to enable analysis such as obtaining the ratio of the attentioned person and the non-focused person. Therefore, step 6 does not necessarily need to be provided, and if the result of branch determination in step 4 is No, it may of course be ended as it is.
[0041]
In the illustrated flowchart, the process ends after adding the number of people. This means that the determination process for one flow line has been completed, and the actual flow line data is sequentially extracted. The processing shown in the flowchart is executed. As a matter of course, when shifting to the determination process for the next flow line, the number of people of interest is not cleared.
[0042]
Then, it can be determined that the more attention the number of people obtained in step 5 is, the higher the degree of attention with respect to the attention object is. That is, in this example, the degree of attention is replaced with the number of people of interest.
[0043]
Further, as another function of the determination unit 7, a flowchart as shown in FIG. 7 may be executed. That is, as is clear from comparison between FIG. 6 and FIG. 7, the processing from Step 1 to Step 4 is the same, and if the branch determination at Step 4 is Yes, the person is paying attention to the target of attention. It is the same until it judges. In this example, after determining that attention is paid, processing for obtaining the attention level is different. That is, as shown in step 7, the total t0 of the staying time of a person who has stayed in the measurement area for a certain time T or more is obtained, and it is determined that the degree of attention is higher as the total (total staying time) t0 is larger. Yes.
[0044]
6 and 7, the determination unit 7 in this example determines whether or not a person is paying attention to a target of interest, and means for determining how much attention is being paid. The two functions are combined.
[0045]
When obtaining the attention level, for example, FIG. 6 and FIG. 7 are combined, and for example, the total time t0 obtained in step 7 is divided by the number of people obtained in step 5 to obtain the attention time per person. It is also possible to use the value as the degree of attention.
[0046]
Furthermore, although specific illustration is omitted, the flow line data extracted in the tracking unit 6 relates to the start point and the end point in the above example, the present invention is not limited to this, and the extraction unit 5 It is also possible to associate and store the coordinates obtained by moving the same person extracted in step 2 and their time in association with each other. In that case, in the determination part 7, based on the continuous movement locus | trajectory and the time data in each part, it determines with the attention object being the person who is paying attention, when the time stopped in a predetermined place is more than fixed. It can also be done. The degree of attention can be obtained from the number of people who have paid attention, the sum of the times during which the attention is stopped, or the like.
[0047]
Further, the output unit 8 is configured by a monitor, a printer, and the like, and outputs attention information (attention level such as the number of people of interest) finally obtained by the determination unit 7. Further, if necessary, an image captured by the video camera 1, image data stored in the image memory, and an image in various intermediate processes such as a movement trajectory can be displayed.
[0048]
FIG. 8 shows an example of the embodiment of the attention information measuring method according to the present invention. This example is an example implemented using the apparatus shown in FIG. First, a measurement range is imaged using one television camera, and image data is acquired (ST11). Then, based on the obtained image data, the extraction unit 5 extracts a human part existing in the image data and separates the individual persons (ST12).
[0049]
Next, the movement status of each individual person extracted from the image obtained by imaging is tracked (ST25). This tracking process is performed until each person disappears in the image, and the coordinates of the start point, the coordinates of the end point, and their times are stored in association with each other. This process is performed by the tracking unit 6.
[0050]
The determination unit 7 determines whether or not the person has stayed in the measurement range for a certain time or more based on the coordinates of the start point and the end point of the trajectory of each person and the time. It is determined that attention is paid (ST14). Further, the number of people who are paying attention is counted, and the degree of attention with respect to the attention object is obtained (ST15). Note that the calculation of the attention level is not limited to the total number of people, but can be evaluated and measured based on various types of information in addition to the total stay time of the attention person.
[0051]
FIG. 9 shows a second embodiment of the present invention. In the present embodiment, first, it differs from the first embodiment in that two television cameras as imaging means are provided as shown in FIG. Since a person is extracted based on the stereo images obtained from the two cameras 1a and 1b, the configuration of the extraction unit 5 is also different from that of the first embodiment. Therefore, only the differences will be described in detail as follows.
[0052]
As shown in FIG. 10, the television camera 1 actually includes two cameras 1a and 1b having substantially the same focal length f with the optical axes substantially parallel, and the cameras 1a and 1b are connected to a display shelf or the like. It is installed directly below the area containing the target of interest or with a certain depression angle. Both cameras 1a and 1b are synchronized by a synchronization signal, and the measurement area is imaged at the same timing. The video signals obtained by imaging with the cameras 1a and 1b are stored in the image memory 5a in the extraction unit 5 via the A / D converter 2 and the bus.
[0053]
When both cameras 1a and 1b are arranged horizontally (camera 1a is on the left side), it is assumed that the same object is imaged by both cameras 1a and 1b at a certain timing. Then, as shown in FIG. 11, a vertex P (x, y, z: a three-dimensional coordinate (space coordinate) position in real space) of an object is on an image captured by one camera 1a (L). , Located on the coordinates PL, and located on the coordinates PR on the image picked up by the other camera 1b (R). As is clear from the figure, the coordinates on the same image taken by both cameras are different, and the difference is called parallax. This parallax increases as the point P of the object to be captured is closer to the imaging surface (positions L and R in the figure), and if the parallax, the focal length of the lens, the size of the imaging element, and the interval between the imaging bodies are known. If the distance to the point P can be calculated and the installation height and installation angle of the imaging body are known, the spatial coordinate value of the point P can be obtained.
[0054]
Therefore, the extraction unit 5 obtains the spatial coordinates of each point existing in the image data based on the two pieces of image data obtained by imaging with the two cameras 1a and 1b stored in the image memory 5a. The obtained points are separated from each other and the positions of the human beings are obtained by putting together those constituting the individual human beings.
[0055]
In the feature point extraction unit 5b, (1) First, feature points serving as human candidate points are extracted from two pieces of image data to be associated with each other by using predetermined feature amount extraction processing. (2) Next, the feature points extracted from the two pieces of image data (actually, image patterns including the peripheral pixels) are compared with each other, and similar ones are located at the same place (point P in FIG. 11). Is associated as a captured image. As described above, the feature point extraction unit 5b performs the two processes (1) and (2) described above, and more specific methods for each process are as follows. .
[0056]
** Feature point extraction processing
This extraction process is performed by, for example, a point having a strong edge strength in an arbitrary range (4 × 4 pixel, 8 × 8 pixel local region, etc.) in the image, background (image when there is no passerby stored in advance) A point with a large difference is extracted, a point with a large difference between a plurality of images taken at arbitrary time intervals, and the like are extracted. In this extraction method, it is not necessary to use all of the above three methods, and one or a plurality of arbitrary feature amount extraction methods may be selected and used, and other methods than the above may be used. Of course it is good.
[0057]
** Association processing
As a method for performing the association, one image data is used as a reference, and it is determined whether there is a corresponding one in the other image data. In other words, paying attention to one of the images, an image in an arbitrary range including the feature points extracted in the previous process in the image (and often the same as the range for determining feature points) is cut out as a reference image, In the other image, a portion having the least difference from the reference image is extracted and set as a corresponding point. As a method for extracting a place with little difference, a sum of absolute differences between the reference image and the target image, a sum of squares of differences, a normalized cross-correlation, or the like can be used.
[0058]
Further, when the two cameras 1a and 1b are arranged horizontally as in this example, as shown in FIG. 11, the coordinate values of the coordinates PL and PR on the image obtained by imaging the same point P are obtained. Among them, the vertical coordinates (XL and XR) perpendicular to the camera arrangement direction are substantially the same. Therefore, the search target of the corresponding image to be compared with the reference image may be an area that is the same as or close to the X coordinate value of the reference image, and the range may be compared with the reference image. With such a configuration, association can be performed more accurately and in a short time.
[0059]
The feature point extraction / association process described above extracts and associates the feature points of the parts constituting the detection target person. In order to measure the number of persons, one feature per person is finally obtained. It is necessary to extract and determine a point (location). Therefore, it is necessary to determine whether the plurality of extracted feature points are for the same person or another person. The separation unit 5c performs such processing.
[0060]
The separation unit 5c obtains a three-dimensional spatial coordinate based on the coordinate value or the like in each image of the two feature points associated between the two images. That is, the three-dimensional coordinates of the feature points are obtained by three-dimensional measurement using a stereo image.
[0061]
Then, the obtained characteristic points are plotted on the secondary plane (plan view viewed from above) with the coordinate axis system in the depth direction (Z direction) and the horizontal direction (X direction) with respect to the cameras 1a and 1b. At this time, since humans are extracted, the height direction (Y-axis direction) is classified and at least a certain height is extracted. That is, an object with extremely low Y-axis coordinates of the extracted feature points is highly likely not to be a human being, and therefore it is possible to extract unnecessary non-human data by limiting the Y coordinate to a predetermined height or more. I try to suppress sex as much as possible.
[0062]
An example of the above plot is shown in FIG. In the case of humans, the head is the highest, and the head is centered when shown in a plan view. Therefore, as shown in the drawing, it can be seen that a plurality of feature points exist together in a certain range, and among the feature points of the lump, the feature point located at the center belongs to the highest category. In this example, all of 1.5 m or more are extracted, but for example, an upper limit may be set to an appropriate value, and feature points having a height higher than that may be excluded from the plot. .
[0063]
Next, clustering processing is performed on each feature point on the obtained spatial coordinates, and the feature points extracted based on the same person are separated from other feature points as one cluster to be collected. In other words, clustering calculates the distance between each data and integrates them into one cluster from the smallest distance, and ends when no further integration occurs for all data. It is assumed that the number of clusters is within the measurement range.
[0064]
As a method for evaluating the distance between each data, if coordinate values are taken as shown in FIG.
[0065]
[Expression 1]
Figure 0003800257
And the method of determining whether to integrate the already formed cluster and the data to be determined (to put the data into the cluster group) can be as follows. That is, as shown in FIG. 14, when calculating the distance between a certain existing cluster (Pa, Pb, Pc, Pd) and one measurement point (Px), the following predetermined values are used. One of the distances is obtained, and if the distance is less than a certain value, it is added to the cluster, and if it is more than a certain distance, it is recognized as another cluster and is not added to the cluster to be determined.
[0066]
[Expression 2]
Figure 0003800257
As described above, if clustering is performed on feature points that are at a distance below a certain reference, clustering is performed, and one representative point is selected as the human location coordinates. This representative point selection method may be, for example, selecting a feature point (head portion) having the highest Y coordinate value, a center of gravity or a center coordinate value among a plurality of feature points, or a plurality of features belonging to one cluster. The representative point may be selected based on various methods such as selecting an arbitrary one of the points. At least each representative point data obtained in this way is stored in a predetermined memory.
[0067]
If the representative position of each person is extracted as described above, it is given to the tracking unit 6 to perform a predetermined tracking process. The tracking process in the tracking unit 6 is already separated into individual persons and the representative position is known in this example, and therefore, the method of FIG. 4 for comparing coordinates may be adopted. In addition, since the position until each person is extracted as described above is different from the first embodiment, the subsequent functions of the tracking unit 6 and the determination unit 7 are the same as those in the first embodiment. It can be carried out in the same way as that of the form. Therefore, detailed description of each part is omitted.
[0068]
FIG. 15 shows another example of the embodiment of the attention information measuring method according to the present invention. This example is an example implemented using the apparatus of the second embodiment shown in FIG. First, the measurement range is imaged at the same timing using two cameras that are driven synchronously, and stereo image data is acquired (ST21).
[0069]
Based on the obtained two pieces of image data, the extraction unit 5 extracts feature points of each pixel and associates the extracted feature points with each other (ST22). Further, based on the coordinates of the feature points present in the two images associated with each other, coordinate values in the spatial coordinate system are obtained (ST23), and further human separation is performed (ST24). In other words, feature points having similar coordinate values in the spatial coordinate system are grouped together in the same cluster, so that individual humans are separated from each other and a representative coordinate value is assigned to each cluster. Then, the extraction unit 5 performs the processing of steps 22 to 24.
[0070]
Next, the obtained position of the feature point (human) in the spatial coordinate system described above is accumulated for each frame, and the movement status of each human is tracked (ST25). This tracking process is performed until each person disappears in the image, and the coordinates of the start point and the coordinates of the end point are stored as a pair. At this time, the time when each coordinate is obtained is also stored in association with each other. This process is performed by the tracking unit 6.
[0071]
The determination unit 7 determines whether or not the person has stayed in the measurement range for a certain period of time based on the coordinates and time of the start point and end point of the trajectory (traffic line) that each person has moved. Is determined to be focused on the target of interest (ST26). Further, the number of people who are paying attention is counted, and the degree of attention with respect to the attention object is obtained (ST27). Note that the calculation of the attention level is not limited to the total number of people, but can be evaluated and measured based on various types of information in addition to the total stay time of the attention person.
[0072]
In this example, the spatial coordinate values of feature points are obtained based on stereo images captured and acquired using the two cameras 1a and 1b, and clustering is performed based on the spatial coordinate values to separate individual humans. Even if there are humans that overlap in the depth direction (Z-axis direction), they can be separated, so that various types of determination processing for extracting humans accurately and obtaining attention information can be performed.
[0073]
Furthermore, since stereo image processing is used, it is not easily affected by fluctuations in sunlight or puddles during rainfall, and by setting a camera diagonally from the measurement range, judgment lines can be set even for areas without a ceiling. This makes it possible to ease the installation conditions.
[0074]
In the above-described embodiment, an example in which the two cameras 1a and 1b are used as the video camera 1 has been described. However, the present invention is not limited to this, and it is a matter of course that three or more cameras may be used. . That is, for example, when three cameras 1a to 1c are used as shown in FIG. 16A, if there is an obstacle 11 in the imaging area of the camera 1a as shown by a dotted line, the object P is displayed. Since the image cannot be captured by the camera 1a, the above-described method using the two cameras cannot obtain parallax and cannot extract a person. However, even in such a case, since the object P can be imaged by the other two cameras 1b and 1c, the parallax can be obtained from the imaged image data and the coordinate value in the spatial coordinate system can be obtained. In this way, since the blind spot is reduced, more accurate measurement can be performed.
[0075]
Furthermore, the spatial coordinate value can also be obtained by taking the correlation of the three images. In addition, as shown in FIG. 5B, for example, a plurality of sets of cameras (cameras 1a and 1b, cameras 1b and 1c) are selected, and stereo images captured by one camera set (1a and 1b) are selected. The spatial coordinate position of the feature point P ′ is specified based on the image, and the feature point P ′ is obtained based on the stereo image captured by the other camera pair (1b and 1c), and based on the obtained two coordinate values. Of course, the spatial coordinate value may be obtained. In addition to the blind spot due to the obstacle as described above, tracking may be impossible during the tracking process. However, if the spatial coordinate value of the feature point is obtained based on the two sets of stereo images, the tracking cannot be performed. The possibility of becoming is suppressed as much as possible, and more accurate measurement can be performed. Conversely, it may be determined to be genuine when spatial coordinate values are extracted at the same (close) positions from stereo images obtained from two pairs of cameras.
[0076]
FIG. 17 shows a third embodiment of the present invention. The location where the apparatus is installed to obtain attention information includes, for example, a convenience store and a retail store that sells various other products. In such a retail store, display shelves 10a and 10b are generally installed on both sides of the passage 9 as shown in FIG. 18, and different products (product A and product B) are displayed on each display shelf. (There are both products A and B facing the passage 9). Therefore, in the attention level measurement based on the first and second embodiments described above, it is possible to detect that attention has been paid to at least one of the product A or the product B when the time spent in the measurement range is a fixed time. It cannot be discriminated whether the product A or the product B is noticed.
[0077]
Therefore, in the present embodiment, it is possible to separately measure which product each person in the flow lines A to C has focused on. That is, as shown in FIG. 17, a line-of-sight direction determination unit 11 is provided for the bus so that it can be determined which direction the person separated and extracted by the extraction unit 5 is facing. Thereby, for example, in the determination process in the determination unit 7, it is discriminated whether the product A is focused on the product A or the product B, and the product A attention degree is obtained by dividing each of them, for example, The product B attention level can be measured separately, and the information value of the measurement result can be increased.
[0078]
Specifically, the line-of-sight direction determination unit 11 can be configured to include a head extraction unit 1a and a line-of-sight direction estimation unit 11b (strictly, the image memory 5a is also included). In other words, in the case of humans, focusing on the head part, the back side is black because the hair is present, and the face existing on the front side is generally brighter than the back side, and the eyes / There are features such as mouth. And it can be estimated that the product which is in the direction where the face is facing is seen.
[0079]
Therefore, based on such a principle, the head extracting unit 11a specifies the position of the person, acquires the Y coordinate value of the spatial coordinate system of each feature point, and most of the feature point data classified as the person. Estimate the area with high coordinates as the head, for example, extract the image data existing in the area of a predetermined size around the coordinates corresponding to the head of the image data captured by one camera, and estimate the gaze direction This is given to the part 11b.
[0080]
The line-of-sight direction estimation unit 11b performs predetermined image recognition processing on the given image data, and determines whether the person to be processed is facing the camera or the other side. In other words, when it is dark overall, it is determined that the hair is imaged and is facing away from the camera, and the image to be processed is generally bright and features such as eyes and mouth are obtained. Is determined to be facing the camera, and thereby the direction of gaze is estimated and determined. That is, as shown in FIG. 18, when it is determined that the camera is facing the camera when the display shelf 10 a side is imaged from the rear of the display shelf 10 b where the product B is installed in the TV camera 1. If it is determined that the product B is focused and is facing away from the camera, it is estimated that the product A is focused, and the result is sent to the determination unit 7.
[0081]
In the above example, a camera for extracting a person and a camera for obtaining an image for determining the direction of the line of sight of a person are used in common. .
[0082]
Further, instead of determining the direction of the line of sight by determining the orientation of the face by image processing as described above, the processing may be performed by regarding the forward direction of the movement direction from the extracted flow line as the line of sight direction. That is, for example, in the case of the flow line C shown in FIG. 18, it is determined that the product A is focused because the movement trajectory is closer to the display shelf 10 a side. become. Since other configurations and operational effects are the same as those of the above-described embodiment, detailed description thereof is omitted.
[0083]
FIG. 19 shows a fourth embodiment of the present invention. The present embodiment is based on the above-described second embodiment, and further includes a specific person exclusion function. In other words, as shown in the figure, an exclusion unit 15 is provided for the bus, and if the person separated and extracted by the extraction unit 5 meets a predetermined condition, it is determined that the person is notable. Without adding to the value related to the degree of attention such as the number of people of interest. By this, for example, a store clerk stays in the measurement range for a certain period of time by placing the product on a display shelf or cleaning it, so that it is not determined that he / she is paying attention. Attention information such as the number of people of interest can be obtained, and the information value of the measurement result can be increased.
[0084]
Specifically, for example, when the person to be excluded is put on a mark in advance and the person is separated, a predetermined image recognition process is performed on the image area portion where the person exists. Then, it is determined whether or not it has the mark, and if it is, it is determined that the person is excluded and the number of persons is not added. For example, a hat or uniform of a specific color pattern can be selected as a mark.
[0085]
And the head extraction part 15a and the exclusion target determination part 15b are provided as the exclusion part 15 for performing the process concerned. In this example, for example, a yellow hat is worn on the person to be excluded. Under such a premise, the head extracting unit 15a specifies the position of the person, obtains the Y coordinate value of the spatial coordinate system of each feature point, and selects the highest coordinate among the feature point data classified by the person. For example, image data existing in a region of a predetermined size around the coordinates corresponding to the head of the image data captured by one camera is extracted, and the exclusion target determination unit 15b To give.
[0086]
The exclusion target determination unit 15b performs predetermined image recognition processing on the given image data, and when the mark to be excluded can be observed in the image data (region), the exclusion flag is turned on and the result of tracking is performed. It is added to the obtained flow line data. For example, since the mark is a yellow hat, it is possible to determine whether or not it is appropriate by extracting yellow pixels, extracting feature quantities such as size, area, and shape, and comparing them with reference data of the mark. For the determination process itself, various known recognition processes can be used.
[0087]
An example of the processing of this example is as shown in the flowchart of FIG. That is, the same processing as in the first embodiment described above is performed, and the extraction unit 5 separates humans (ST31). Next, the exclusion unit 15 is operated to acquire the spatial coordinates of the feature points constituting each clustered individual person, obtain the coordinates of the head portion serving as a mark, and access the image memory 5a to obtain an image around the head Get the data. Then, by determining whether or not there is a mark, it is determined whether or not it is a person to be excluded (ST32).
[0088]
If the mark to be excluded cannot be detected, the person is not a person for exclusion, so steps 34 and 35 are sequentially executed to determine whether or not the attention level determination criterion is satisfied. If it is not an exclusion target, the branch determination in step 36 is No, so the process proceeds to step 37 to add the number of people of interest.
[0089]
On the other hand, if it is determined in step 32 that the target is excluded, the exclusion flag is turned on and added to the flow line data obtained as a result of tracking (ST33). Then, the tracking process and the attention determination process are performed as they are. However, if the exclusion flag is ON after the tracking is completed, the branch determination in Step 36 is Yes, so Step 37 is skipped and is not added to the number of people of interest.
[0090]
Since other configurations and operational effects are the same as those of the second embodiment described above, the same reference numerals are given and detailed descriptions thereof are omitted. Of course, instead of the attention person counting process (ST37), other attention information such as the staying time of the attention person may be obtained. Furthermore, even if an exclusion function is provided as in the present embodiment for the first embodiment (using one camera) or the third embodiment (specifying a product of interest). Of course, it is good (the same applies to the following embodiments).
[0091]
In this example, tracking and attention determination are performed regardless of whether or not they are excluded, and finally excluded when adding the number of people, but the present invention is not limited to this. Of course, it is also possible that the subsequent tracking is not performed when it is determined that the person is excluded.
[0092]
As another method, for example, a card reader for entrance / exit check may be installed, and a person who wants to be excluded may pass the card through the reader when passing. When the card is input, the determination unit does not add the number of passing people even if the degree of attention is satisfied. The same effect can be obtained even if the card is a non-contact type.
[0093]
FIG. 21 shows a fifth embodiment of the present invention. FIG. 22 shows the data flow of the present embodiment. In the present embodiment, the second embodiment shown in FIG. 9 is basically used, and an image storage unit 14 using a hard disk, a video tape or the like is further connected to the bus. Furthermore, arbitrary image data stored in the image storage unit 14 can be called and output and displayed on the output unit (monitor) 8 serving as an image display means.
[0094]
The data stored in the image storage unit 14 is image data in which the focused person is captured when the determination result of the determination unit 7 is “attention”. At this time, the entire captured image data may be accumulated, or the portion of the person of interest may be cut out and stored.
[0095]
By having such a configuration, managers etc. display and check the accumulated data to analyze in more detail human data (age group / gender / clothing trends, etc.) focused on the subject of interest Is possible. Moreover, it is not necessary for the store clerk to continuously monitor the data of the human being focused on, and it is automatically accumulated, so it is efficient, and forgetting to record or doing other work and paying attention Accurate data can be stored without fear of overlooking the human being. Note that the vertical line (data flow) on the left side in FIG. 24 is the same as that in the second embodiment, and thus detailed description thereof is omitted (the same applies hereinafter).
[0096]
FIG. 23 shows a sixth embodiment of the present invention. FIG. 24 shows the data flow of the present embodiment. This embodiment is based on the second embodiment shown in FIG. 9, and further uses a data storage unit 16 that uses a hard disk, a magneto-optical disk or the like for the bus, and data stored in the data storage unit 16. Is connected to a data analysis unit 17 for performing a predetermined analysis based on the above.
[0097]
In the data storage unit 16, the number of attentions per unit time, the staying time of each, the number of passing people, the measurement time, and the like are recorded. That is, the determination unit 7 obtains attention information such as the presence / absence of a person who is paying attention to the attention object and the attention degree by separating the person based on the stereo image.
[0098]
Here, in this example, the “attention information such as the number of attention (number of attention)” output from the determination unit 7 is given to the data storage unit 16 together with the output unit 8. The data storage unit 16 stores the given attention information together with time data and calendar information of a timer / clock built in the computer.
[0099]
Further, the data analysis unit 17, based on the data stored in the data storage unit 16, for example, a time distribution of the attention level such as the number of people of attention per day, a certain period such as a day of the week / holiday (holiday), season, etc. The transition of the number of attentions is obtained for each, and the analysis result is sent to the output unit 8 for monitor display or printer out. Further, the analysis result may be further stored in the storage device. The data analyzing unit 17 may be periodically performed at a fixed timing, or may be irregularly performed based on an instruction from the outside, and of course, both may be used together. . An external instruction is given via an input device such as a keyboard / mouse (not shown).
[0100]
With such a configuration, it is possible to statistically check, for example, the time when the attention level with respect to each target of interest is large on a day of the week or a time zone, and data effective for subsequent sales plans and sales strategies can be obtained. In addition, since another structure and effect are the same as that of each above-mentioned embodiment, the same code | symbol is attached | subjected and the detailed description is abbreviate | omitted.
[0101]
FIG. 25 shows a configuration diagram of the seventh embodiment of the present invention. FIG. 26 shows a flowchart of the data. The present embodiment is based on the sixth embodiment described above, and further, attention level information such as the number of attentions (hereinafter simply referred to as “number of attentions”, but other attention levels such as the total stay time) A fluctuation factor input unit 18 for inputting various data that cause fluctuations in the calculation / measurement processing is also connected to the bus.
[0102]
The data storage unit 16 stores the number of attention given from the determination unit 7 and the time / calendar information obtained from the built-in clock or the like together with the variation factor data and stores them in the data storage unit 16. .
[0103]
Here, fluctuation factors affect the number of people of interest, such as weather information such as temperature, humidity, and rainfall, local event information such as festivals, excursions, school excursions, exams, There are sales promotion information such as advertising. Such data can be input manually by an operator or automatically using online from a sensor or database. That is, the variation factor input unit 18 is a device for an operator such as a keyboard to manually input data, or a device that receives various sensor outputs and data transmitted from other databases. .
[0104]
Then, as an example of input of the fluctuation factor data, as shown in FIG. 27A, weather, humidity (and temperature), sales promotion status, regional information, etc. can be input for each date and time. All are manually input by an operator using an input device such as a keyboard. Further, for example, the humidity or the like may be automatically acquired from a hygrometer (sensor) when a certain time comes.
[0105]
As in the sixth embodiment, the data analysis unit 17 in the present embodiment aggregates the data stored in the data storage unit 16 according to a predetermined standard and outputs it to the output unit 8. In this example, in addition to the information on the number of attentions, fluctuation factors are also stored, so the average number of attentions by day of the week is obtained and the number of attentions at each date and time is compared with the average number of attentions. When the difference is larger than a certain value, the difference is extracted together with the fluctuation factor. Further, it is possible to analyze the relationship with the variation factor based on the instruction from the operator. In other words, when it is desired to obtain a correlation with rain, it is possible to analyze using “rain” as a key and compare the number of attentions and the average value when it rains.
[0106]
An example of the output is shown in FIG. In other words, in this example, the average value of the number of viewers is calculated for each day of the week, such as weekdays (Monday to Thursday), Friday, Saturday, and Sunday, and is output as a table. Yes. As a result of analysis, it was found that the number of people was about 15% when it was raining, so that it is also displayed on the margin.
[0107]
The “difference” from the average value described above includes not only the difference (deviation) of the number of people but also the ratio as in the illustrated example. This makes it possible to grasp the relationship between the fluctuation factor and the number of viewers. In addition, since another structure and effect are the same as that of each above-mentioned embodiment, the same code | symbol is attached | subjected and the detailed description is abbreviate | omitted.
[0108]
FIG. 28 is a block diagram showing an eighth embodiment of the present invention, and FIG. 29 shows the data flow. The present embodiment is based on the seventh embodiment described above. Further, the number-of-interest prediction unit 19 is connected to the bus, and based on the past number of attentions stored in the data storage unit 16, The number is predicted.
[0109]
That is, the function of the attention number prediction unit 19 will be described. For example, the data storage unit 16 is accessed, and an average value of the number of attentions on the same day of the week (time zone) in the past several weeks is obtained. Configure to output. In addition, the average for each day of the week is determined from the data of the past several months, and the average date for each day of the week is determined based on whether the forecast date / time belongs to the beginning, middle, or end of the month. More accurate prediction can be performed by outputting the predicted number of attention.
[0110]
Furthermore, it is possible to improve the prediction accuracy of the number of attentions by analyzing the influence of the variation factors on the number of attentions from the past data and reflecting the forecast / plan of the variation factors. That is, for example, by examining the weather at the date and time predicted by the weather forecast or the like, if there are special sales promotion / regional information, extract the past data corresponding to them, and obtain the average of them to predict the attention You can find the number. Furthermore, when the number of applicable data is small, for example, on a rainy day, if it is required to reduce 15%, the average number of people on the applicable day of the week is calculated regardless of the weather, and the value is reduced by 15%. May be used as the number of predicted attentions.
[0111]
Furthermore, when calculating the average value for each day of the week, the deviation, standard deviation, etc., may be calculated, and when determining the predicted number of viewers, the number of persons and the range of error may be output and displayed. Various prediction methods can be adopted. And as an example of the display mode of the prediction result, it can be set as shown in FIG. 30, for example. In addition, since another structure and effect are the same as that of each above-mentioned embodiment, the same code | symbol is attached | subjected and the detailed description is abbreviate | omitted.
[0112]
FIG. 31 shows the configuration of the ninth embodiment of the present invention, and FIG. 32 shows the data flow. That is, in the present embodiment, a sales data input unit 20 for inputting sales data is further connected to the bus in the configuration of the above-described eighth embodiment. And the sales data input part 20 transfers and inputs the sales data stored, for example in POS. In this sales data input example, as shown in FIG. 33, the number of sales is input for each item and for each time zone. Each item is a target of attention. Usually, lunch boxes, rice balls, bread, etc. are often displayed together on one display shelf, and by selling for each item, each item can be distributed at any ratio according to the number of viewers. You can know if it was sold. That is, the product A that is the product of interest shown in FIG. 18 is not necessarily one type, and there may be a plurality of types as in this example.
[0113]
Then, as can be seen from FIG. 32, the sales data given from the sales data input unit 20 is associated with the number of attentions obtained by the determination unit 7 and the fluctuation factor data given from the fluctuation factor input unit 18, respectively. The data is stored in the storage unit 16.
[0114]
On the other hand, the data analysis unit 17 analyzes the relationship between the sales data and the number of viewers, so as to obtain and output the sales per day of the number of viewers, the sales per hour per viewer, and the like. It has become. This makes it possible to collect data that could not be obtained from sales management by POS. That is to say, for example, information such as “a lot of sales / less sales than the number of people of interest” can be obtained by a daily, hourly, floor, etc. translation. Based on the information, problems and effects such as advertisement, assortment and display can be grasped quantitatively. In addition, since another structure and effect are the same as that of each above-mentioned embodiment, the same code | symbol is attached | subjected and the detailed description is abbreviate | omitted. In the example shown in FIG. 31, the number-of-interest prediction unit 19 is connected to the bus. However, in this embodiment in which the sales data and the number of attentions are analyzed, the prediction unit 19 is not provided. May be.
[0115]
FIG. 34 shows the configuration of the tenth embodiment of the present invention, and FIG. 35 shows the data flow. The present embodiment is based on the ninth embodiment (with the number-of-interest prediction unit 19) described above, and the sales prediction unit 21 is connected to a bus.
[0116]
As is clear from FIG. 35, the sales prediction unit 21 acquires the past number of attentions and past sales data accumulated in the data storage unit 16, and further performs sales prediction from the attention number prediction unit 19. Get the predicted number of viewers for the date and time to be performed. Then, from the past number of attentions and sales data, the number of sales of each product for the number of attentions (or the number of units) is obtained, and the value is multiplied by the expected number of attentions at the date and time of the sales forecast. Find the expected number of products sold. Then, the estimated sales number obtained in this way is output to the output unit 8 in a format as shown in FIG. 36, for example.
[0117]
In order to perform the prediction more accurately, it is necessary to effectively use the variable factor data when obtaining the expected number of attentionalists. As a result, it is possible to appropriately determine the amount of purchase according to the expected number of sales and the arrangement of staff and store staff. In addition, since another structure and effect are the same as that of each above-mentioned embodiment, the same code | symbol is attached | subjected and the detailed description is abbreviate | omitted.
[0118]
FIG. 37 shows the configuration of the eleventh embodiment of the present invention, and FIG. 38 shows the data flow. The present embodiment is based on the tenth embodiment described above, and the inventory data input unit 22 and the purchase support unit 23 are connected to a bus. That is, the inventory data input unit 22 transfers and inputs inventory data registered in, for example, a POS, as with the sales data input unit 20. As an example of inputting the inventory data, as shown in FIG. 39, the number of sales is input for each item and for each time zone. As is clear from comparison with FIG. 33, each time the corresponding product is sold, it is reflected in the inventory data in real time, and the number of the inventory decreases. Further, when a product is brought in, the number of stocks of the product is naturally added.
[0119]
In addition, the purchase support unit 23 calculates the current inventory number of the predetermined product given from the inventory data input unit 22 and the future forecast sales number of the product given from the sales prediction unit 21 (prediction sales number calculation processing is Based on the same as in the tenth embodiment, the number of delivered items at the time of carrying in each product is obtained. As a result, the inventory will be reduced as much as possible until the next product delivery, and by setting the number of deliveries so as not to run out of stock, efficient product purchases can be made, and products with expiration dates etc. are wasted. Disposal or conversely run out of stock will not inconvenience visitors. Further, even in the case of a product having no expiration date, an increase in storage cost due to holding an excessive inventory can be reduced as much as possible. Therefore, efficient product management can be performed.
[0120]
Then, for example, as shown in FIG. 40, the delivery quantity of commodities necessary for each delivery is output in association with each other. In the figure, “-” means that the product is not delivered at the time of delivery.
[0121]
Then, as shown in FIG. 40, what is created in a table format is output to the monitor or printed out to become ordering assistance data, and advice and attention can be given to the person in charge of purchasing. Furthermore, such data may be used as it is as order data, and future purchases may be automatically obtained and automatically ordered. Furthermore, since it is possible to predict when each product will be out of stock, it is possible to easily cope with it. In addition, since another structure and effect are the same as that of each above-mentioned embodiment, the same code | symbol is attached | subjected and the detailed description is abbreviate | omitted.
[0122]
Note that the present invention is not limited to that shown in each of the above-described embodiments, and may be implemented by appropriately combining arbitrary embodiments.
[0123]
【The invention's effect】
As described above, in the attention information measuring method and apparatus according to the present invention, the person who exists in the image obtained by imaging the measurement range is extracted and tracked, and the stay time staying in the measurement range is determined. Since it is determined whether or not attention is paid based on the staying time, display shelf, showcase, exhibits, advertisements, etc. are subject to measurement by simple determination processing based on image processing (hereinafter referred to as attention As a target), it is possible to automatically determine whether or not the attention target is focused and to obtain the degree of attention (attention level).
[0124]
In particular, as defined in claim 3, a space obtained by synchronizing the measurement range with a plurality of imaging means whose optical axes are arranged substantially in parallel and capturing images at the same timing, and associating the captured images with each other Since coordinate data is used, even if humans overlap in the depth direction, individual humans can be reliably separated from each other, and are they focused on separating and tracking humans? It is possible to accurately measure attention information such as determination of whether or not. That is, the number of persons can be reliably measured without being affected by the overlap of humans in the left-right and front-rear directions, sunshine fluctuations, shadows, and the like. In addition, since the measurement area may be imaged at an arbitrary depression angle, restrictions on the installation location can be reduced regardless of the presence or absence of the ceiling and the height of the ceiling.
[0125]
Further, when configured as in claim 2, it is possible to analyze in more detail information about the noted person. Furthermore, if comprised like Claims 8-10, attention object (any place within a measurement range), such as a noticed product, can be specified more accurately. Furthermore, since it can exclude specific persons, such as a salesclerk, if it comprises like Claim 11, more highly accurate true attention information can be obtained. Furthermore, when configured as in claims 13 to 18, attention information (attention level) can be accurately obtained, and various predictions can be accurately performed based on the information, and sales management, store management, inventory management, processing Various management such as entrance management can be performed efficiently.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first embodiment of the present invention.
FIG. 2 is a diagram illustrating the operation of the extraction unit.
FIG. 3 is a diagram illustrating an operation of a tracking unit.
FIG. 4 is a diagram illustrating the operation of a tracking unit.
FIG. 5 is a diagram illustrating the operation of a determination unit.
FIG. 6 is a flowchart illustrating a function of a determination unit.
FIG. 7 is a flowchart illustrating another function of the determination unit.
FIG. 8 is a flowchart showing an example of an embodiment of the method of the present invention.
FIG. 9 is a diagram showing a second embodiment of the present invention.
FIG. 10 is a diagram illustrating an example of a camera serving as an imaging unit.
FIG. 11 is a diagram illustrating a principle for obtaining a spatial coordinate of an imaging point from two cameras.
FIG. 12 is a diagram illustrating the operation of the extraction unit.
FIG. 13 is a diagram illustrating the operation of a separation unit.
FIG. 14 is a diagram illustrating the operation of a separation unit.
FIG. 15 is a flowchart showing another example of the embodiment of the method of the present invention.
FIG. 16 is a diagram illustrating a modification of the imaging unit.
FIG. 17 is a diagram showing a third embodiment of the present invention.
FIG. 18 is a diagram for explaining the operation of a line-of-sight direction determination unit.
FIG. 19 is a diagram showing a fourth embodiment of the present invention.
FIG. 20 is a flowchart illustrating the function of an exclusion unit.
FIG. 21 is a diagram showing a fifth embodiment of the present invention.
FIG. 22 is a diagram showing a flow of the data.
FIG. 23 is a diagram showing a sixth embodiment of the present invention.
FIG. 24 is a diagram showing the flow of data.
FIG. 25 is a diagram showing a seventh embodiment of the present invention.
FIG. 26 is a diagram showing the data flow.
FIG. 27A is a diagram showing an example of input of variation factor data. (B) is a figure which shows an example of an analysis result.
FIG. 28 is a diagram showing an eighth embodiment of the present invention.
FIG. 29 is a diagram showing the flow of data.
FIG. 30 is a diagram illustrating an example of the number of people prediction result.
FIG. 31 is a diagram showing a ninth embodiment of the present invention.
FIG. 32 is a diagram showing the flow of data.
FIG. 33 is a diagram showing an example of sales data input.
FIG. 34 is a diagram showing a tenth embodiment of the present invention.
FIG. 35 is a diagram showing the flow of data.
FIG. 36 is a diagram illustrating an example of a sales prediction result.
FIG. 37 is a diagram showing an eleventh embodiment of the present invention.
FIG. 38 is a diagram showing the flow of data.
FIG. 39 is a diagram illustrating an example of input of inventory data.
FIG. 40 is a diagram illustrating an example of ordering data.
[Explanation of symbols]
1 TV camera (imaging means)
5 Extraction unit
6 Tracking unit
7 Judgment unit (stay time measurement means, judgment means, means for obtaining attention)
8 Output section
11 Gaze direction determination unit
14 Image storage unit
15 Exclusion section
16 Data storage unit
17 Data analysis part
18 Fluctuation factor input section
19 Attention Number Forecasting Unit
20 Sales data input section
21 Sales Forecast Department
22 Inventory data input part
23 Purchase Support Department

Claims (18)

計測範囲の映像を取り込むための撮像手段と、
前記撮像手段により撮像された画像から計測範囲内の人間を抽出する抽出手段と、
前記抽出手段により抽出された人間を、前記撮像手段にて異なる時間に撮像された前記計測範囲の画像を用いて追跡する追跡手段と、
前記追跡手段により追跡された個々の人間の前記計測範囲内の滞在時間を求める滞在時間計測手段と、
その滞在時間計測手段により求めた滞在時間に基づいて前記抽出された人間が計測範囲周辺に注目したのか否かを判定する判定手段を備えたことを特徴とする注目情報計測装置。Imaging means for capturing video of the measurement range;
Extraction means for extracting a person within the measurement range from the image captured by the imaging means;
Tracking means for tracking the person extracted by the extracting means using images of the measurement range imaged at different times by the imaging means;
A stay time measuring means for obtaining a stay time within the measurement range of each person tracked by the tracking means;
An attention information measuring apparatus comprising: determination means for determining whether or not the extracted person has paid attention to the periphery of the measurement range based on the stay time obtained by the stay time measuring means. 前記抽出した人間が計測範囲周辺に注目したと判定した場合に、その人間を含む画像を蓄積する画像蓄積手段をさらに備えたことを特徴とする請求項１に記載の注目情報計測装置。The attention information measuring apparatus according to claim 1, further comprising an image accumulating unit that accumulates an image including the person when it is determined that the extracted person has paid attention to the periphery of the measurement range. 前記計測範囲を撮像する撮像手段が、光軸を平行にした複数の撮像手段からなり、
前記抽出手段が、前記複数の撮像手段により同一のタイミングで得られた複数画像間の対応付けによる空間座標データを利用して人間を抽出するようにしたことを特徴とする請求項１または２に記載の注目情報計測装置。The imaging means for imaging the measurement range comprises a plurality of imaging means with the optical axes in parallel,
3. The extraction means according to claim 1, wherein the extraction means extracts a person using spatial coordinate data obtained by association between a plurality of images obtained at the same timing by the plurality of imaging means. The attention information measuring device described. 前記注目した人間に関する情報を積算し、前記計測範囲周辺に対する注目度を求める手段をさらに備えたことを特徴とする請求項１〜３のいずれか１項に記載の注目情報計測装置。The attention information measuring apparatus according to claim 1, further comprising means for accumulating information on the noted person and obtaining a degree of attention with respect to the periphery of the measurement range. 前記注目度が、前記注目した人間の数の総和であることを特徴とする請求項４に記載の注目情報計測装置。The attention information measuring apparatus according to claim 4, wherein the degree of attention is a sum of the number of people who have noticed. 前記注目度が、前記注目した人間の前記計測範囲内の滞在時間の総和であることを特徴とする請求項４に記載の注目情報計測装置。The attention information measuring apparatus according to claim 4, wherein the attention degree is a total sum of staying times of the attention person within the measurement range. 前記注目度が、前記注目した人間の前記計測範囲内で停止した時間の総和であることを特徴とする請求項４に記載の注目情報計測装置。The attention information measuring apparatus according to claim 4, wherein the attention degree is a sum of times when the attention person stops within the measurement range. 抽出された人間の画像から視線方向を判定する視線方向判定手段をさらに備え、
前記視線方向判定手段により判定された視線の方向によって、前記抽出された人間が計測範囲周辺のどの方向を注目したのかを判定するようにしたことを特徴とする請求項１〜４のいずれか１項に記載の注目情報計測装置。It further comprises gaze direction determining means for determining the gaze direction from the extracted human image,
The direction of the line of sight determined by the line-of-sight direction determining means determines which direction around the measurement range the extracted person has focused on. The attention information measuring device according to item. 前記視線方向判定手段が、
与えられた画像データ中に存在する人間の頭部部分を抽出し、画像認識処理を行って頭の向きを認識することにより顔の方向を特定し、その顔の方向を視線方向とするようにしたものであることを特徴とする請求項８に記載の注目情報計測装置。The line-of-sight direction determining means is
Extract the human head part present in the given image data, identify the direction of the face by recognizing the head direction by performing image recognition processing, so that the direction of the face is the gaze direction The attention information measuring device according to claim 8, wherein 前記視線方向判定手段が、
前記抽出された人間の移動軌跡を取得し、その移動方向を視線方向とするようにしたものであることを特徴とする請求項８に記載の注目情報計測装置。The line-of-sight direction determining means is
9. The attention information measuring apparatus according to claim 8, wherein the extracted movement trajectory of the human is acquired and the movement direction is set as a line-of-sight direction. 抽出・追跡した人間から特定の人間を排除する排除手段をさらに設けたことを特徴とする請求項１〜１０のいずれか１項に記載の注目情報計測装置。The attention information measuring apparatus according to claim 1, further comprising an excluding unit that excludes a specific person from the extracted and tracked persons. 計測範囲を撮像し得られた画像からその計測範囲内に存在する人間を抽出し、
時系列的に前記計測範囲を撮像して得られた複数の画像を用いて全抽出した人間を追跡し、
その追跡した個々の人間が前記計測範囲内に滞在している滞在時間を求め、その滞在時間が、一定の基準より長い時に前記抽出された人間が計測範囲周辺に注目していると判定するようにしたことを特徴とする注目情報計測方法。Extract humans that exist within the measurement range from the image obtained by imaging the measurement range,
Tracking a person who has been fully extracted using a plurality of images obtained by imaging the measurement range in time series,
Finding the staying time for each individual person that has been tracked staying within the measurement range, and determining that the extracted person is paying attention to the vicinity of the measurement range when the staying time is longer than a certain reference Attention information measurement method characterized by having done. 請求項４〜１１のいずれかに記載の少なくとも注目度を求めることのできる注目情報計測装置と、
その注目情報計測装置から出力される少なくとも注目度のデータを蓄積する蓄積手段と、
その蓄積されたデータを解析する解析手段とを持つことを特徴とする注目度解析システム。Attention information measuring device capable of obtaining at least the attention degree according to any one of claims 4 to 11,
Storage means for storing at least attention level data output from the attention information measuring device;
An attention level analysis system characterized by having an analysis means for analyzing the accumulated data. 注目度が変動する要因となる様々なデータの変動要因データを入力する手段をさらに備え、
前記変動要因データを、前記注目情報計測装置から出力される注目度とともに前記蓄積手段に蓄積するようにしたことを特徴とする請求項１３に記載の注目度解析システム。It further includes means for inputting variable factor data of various data that cause the attention level to fluctuate.
14. The attention level analysis system according to claim 13, wherein the variation factor data is stored in the storage unit together with the attention level output from the attention information measuring device. 蓄積・解析されたデータに基づいて注目度の予測を行う注目度予測手段をさらに備えたことを特徴とする請求項１３または１４に記載の注目度解析システム。The attention level analysis system according to claim 13 or 14, further comprising attention level prediction means for predicting a level of attention based on accumulated and analyzed data. 請求項１３〜１５に記載の注目度解析システムに、さらに売上げデータを入力する売上げデータ入力手段を備え、
前記解析手段で売上げデータと注目度の関連を解析することを特徴とする経営管理システム。The attention level analysis system according to any one of claims 13 to 15, further comprising sales data input means for inputting sales data,
A business management system, wherein the analysis means analyzes the relationship between sales data and attention level. 請求項１３または１４に記載の注目度解析システムと、
蓄積・解析されたデータに基づいて注目度を予測する注目度予測手段と、
売上げデータを入力する売上げデータ入力手段と、
予測された入場者数と蓄積された過去の入場者数と売上げデータから売上げを予測する売上予測手段とをさらに備えたことを特徴とする経営管理システム。The attention level analysis system according to claim 13 or 14,
Attention level prediction means for predicting the attention level based on accumulated and analyzed data,
Sales data input means for inputting sales data;
A business management system, further comprising a sales forecasting means for forecasting sales based on the predicted number of visitors, the accumulated number of past visitors, and sales data. 在庫データを入力する在庫データ入力手段と、
前記売上予測手段で予測された売上げと在庫データから仕入品目，仕入量の推奨値を決定する仕入支援手段をさらに備えたことを特徴とする請求項１７に記載の経営管理システム。Inventory data input means for entering inventory data;
18. The business management system according to claim 17, further comprising purchase support means for determining recommended values of purchased items and purchase quantities from sales and inventory data predicted by the sales prediction means.
JP21909996A 1996-08-02 1996-08-02 Attention information measurement method and apparatus, and various systems using the same Expired - Fee Related JP3800257B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21909996A JP3800257B2 (en) 1996-08-02 1996-08-02 Attention information measurement method and apparatus, and various systems using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21909996A JP3800257B2 (en) 1996-08-02 1996-08-02 Attention information measurement method and apparatus, and various systems using the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005150136A Division JP4069932B2 (en) 2005-05-23 2005-05-23 Human detection device and human detection method

Publications (2)

Publication Number Publication Date
JPH1048008A JPH1048008A (en) 1998-02-20
JP3800257B2 true JP3800257B2 (en) 2006-07-26

Family

ID=16730249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21909996A Expired - Fee Related JP3800257B2 (en) 1996-08-02 1996-08-02 Attention information measurement method and apparatus, and various systems using the same

Country Status (1)

Country Link
JP (1) JP3800257B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113015302A (en) * 2021-04-01 2021-06-22 易强 Digital dimming system based on smart city and regulation and control method thereof

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128814A (en) * 1999-11-01 2001-05-15 Atr Media Integration & Communications Res Lab Article take-in/take-out detector
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
JP3974365B2 (en) * 2001-10-02 2007-09-12 花王株式会社 Customer flow line totalizer
US7742937B2 (en) * 2002-03-06 2010-06-22 Steven R. Cox System for improving logistics, tracking and billing for worker's compensation insurance
JP4125634B2 (en) * 2003-05-26 2008-07-30 Ｎｅｃソフト株式会社 Customer information collection management method and system
JP2005309951A (en) * 2004-04-23 2005-11-04 Oki Electric Ind Co Ltd Sales promotion support system
JP2006254274A (en) * 2005-03-14 2006-09-21 Mitsubishi Precision Co Ltd View layer analyzing apparatus, sales strategy support system, advertisement support system, and tv set
JP2006293786A (en) * 2005-04-12 2006-10-26 Biophilia Kenkyusho Kk Market research apparatus having visual line input unit
JP4799910B2 (en) * 2005-06-02 2011-10-26 ノルベルト・リンク Apparatus and method for detecting a person in a survey area
JP2007003448A (en) * 2005-06-27 2007-01-11 Nippon Telegr & Teleph Corp <Ntt> Movement information generating device, movement information generating method, program, and storage medium
JP4725233B2 (en) * 2005-08-02 2011-07-13 日産自動車株式会社 Overhead image display system
JP2007172307A (en) 2005-12-22 2007-07-05 Internatl Business Mach Corp <Ibm> System for supporting purchase or production of merchandise
JP4876687B2 (en) * 2006-04-19 2012-02-15 株式会社日立製作所 Attention level measuring device and attention level measuring system
WO2007142777A2 (en) * 2006-06-02 2007-12-13 Intellivid Corporation Systems and methods for distributed monitoring of remote sites
CN103823556B (en) * 2006-07-28 2017-07-04 飞利浦灯具控股公司 Presentation of information for being stared article stares interaction
JP2008059179A (en) * 2006-08-30 2008-03-13 Toshiba Corp Gate monitoring system and method
JP5134226B2 (en) * 2006-09-21 2013-01-30 日立情報通信エンジニアリング株式会社 Moving object measurement system
JP5093667B2 (en) * 2007-06-12 2012-12-12 独立行政法人情報通信研究機構 Navigation system, navigation method, and navigation program
JP4970195B2 (en) 2007-08-23 2012-07-04 株式会社日立国際電気 Person tracking system, person tracking apparatus, and person tracking program
JP2009087002A (en) * 2007-09-28 2009-04-23 Mazda Motor Corp Market research support method
JP2009087000A (en) * 2007-09-28 2009-04-23 Mazda Motor Corp Market research support method
JP2009140234A (en) * 2007-12-06 2009-06-25 Yamaha Motor Co Ltd Automatic dispenser
JP4778532B2 (en) * 2008-03-17 2011-09-21 Ｎｅｃソフト株式会社 Customer information collection management system
JP4753975B2 (en) * 2008-06-30 2011-08-24 技研トラステム株式会社 Product interest level measuring device
JP5225870B2 (en) * 2008-09-30 2013-07-03 花村 剛 Emotion analyzer
WO2010119892A1 (en) * 2009-04-14 2010-10-21 株式会社ホギメディカル Analysis equipment and program for analysis equipment
JP5096409B2 (en) * 2009-05-13 2012-12-12 富士フイルム株式会社 Image processing apparatus, image processing method, and program
JP5354286B2 (en) * 2009-08-04 2013-11-27 住友電気工業株式会社 Monitoring system, monitoring device, and monitoring method
JP2011210238A (en) * 2010-03-10 2011-10-20 Dainippon Printing Co Ltd Advertisement effect measuring device and computer program
ES2396500T3 (en) * 2010-11-18 2013-02-22 Axis Ab Object counter and method for counting objects
JP5822463B2 (en) * 2010-12-28 2015-11-24 キヤノン株式会社 Three-dimensional measuring apparatus, three-dimensional measuring method, and program
JP5158223B2 (en) * 2011-04-06 2013-03-06 カシオ計算機株式会社 3D modeling apparatus, 3D modeling method, and program
JP6123140B2 (en) * 2011-09-13 2017-05-10 インテル・コーポレーション Digital advertising system
JP5263437B2 (en) * 2012-09-07 2013-08-14 カシオ計算機株式会社 3D modeling apparatus, 3D modeling method, and program
JP2014182452A (en) * 2013-03-18 2014-09-29 Fujitsu Ltd Information processing device and program
JP6120404B2 (en) * 2013-05-28 2017-04-26 Kddi株式会社 Mobile body behavior analysis / prediction device
KR102225502B1 (en) * 2013-10-31 2021-03-08 주식회사 케이티 Device for managing sales from the stadium and method for managing sales using the same
JP6544044B2 (en) * 2015-05-27 2019-07-17 株式会社リコー Image processing apparatus, image processing system and image processing method
JP6481537B2 (en) * 2015-07-14 2019-03-13 コニカミノルタ株式会社 Monitored person monitoring device and monitored person monitoring method
CN106454716B (en) * 2015-08-13 2019-11-19 株式会社理光 Object analysis method, object analysis equipment and object analysis system
WO2017170084A1 (en) * 2016-03-31 2017-10-05 日本電気株式会社 Flow line display system, flow line display method, and program recording medium
JP2020009157A (en) * 2018-07-09 2020-01-16 富士ゼロックス株式会社 Sale prediction device and program
CN111259702B (en) * 2018-12-03 2023-05-26 株式会社理光 User interest estimation method and device
JP6737355B2 (en) * 2019-02-12 2020-08-05 コニカミノルタ株式会社 Head detection device, head detection method, and monitored person monitoring device
JP6745930B1 (en) * 2019-03-13 2020-08-26 株式会社三井住友銀行 Information processing apparatus, method, and program
JP2020166523A (en) * 2019-03-29 2020-10-08 株式会社ネクスウェイ Interest level information acquisition system, information processing device, and information processing program
CN111008866A (en) * 2019-11-29 2020-04-14 北京市商汤科技开发有限公司 Resource configuration data processing method and device and storage medium
CN111951058A (en) * 2020-08-24 2020-11-17 珠海格力电器股份有限公司 Commodity attention analysis method, device and system based on electronic price tags
CN112184497B (en) * 2020-09-30 2023-10-03 重庆天智慧启科技有限公司 Customer visit track tracking and passenger flow analysis system and method
WO2022176774A1 (en) * 2021-02-17 2022-08-25 株式会社Preferred Networks Analysis device, analysis system, analysis method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113015302A (en) * 2021-04-01 2021-06-22 易强 Digital dimming system based on smart city and regulation and control method thereof

Also Published As

Publication number Publication date
JPH1048008A (en) 1998-02-20

Similar Documents

Publication Publication Date Title
JP3800257B2 (en) Attention information measurement method and apparatus, and various systems using the same
JP4069932B2 (en) Human detection device and human detection method
JP3521637B2 (en) Passenger number measurement device and entrance / exit number management system using the same
JP4972491B2 (en) Customer movement judgment system
CN109214751B (en) Intelligent inventory management system based on inventory position change
JP7038543B2 (en) Information processing equipment, systems, control methods for information processing equipment, and programs
US8010402B1 (en) Method for augmenting transaction data with visually extracted demographics of people using computer vision
KR101779094B1 (en) A integration store management system using intelligent type image analysis technology
CN101268478B (en) Method and apparatus for detecting suspicious activity using video analysis
JP4125634B2 (en) Customer information collection management method and system
US8254625B2 (en) Automated service measurement, monitoring and management
JP4778532B2 (en) Customer information collection management system
US20080114633A1 (en) Method and Apparatus for Analyzing Activity in a Space
KR101779096B1 (en) The object pursuit way in the integration store management system of the intelligent type image analysis technology-based
US20110199486A1 (en) Customer behavior recording device, customer behavior recording method, and recording medium
JP2006285409A (en) Method for counting number of people and people flow at store or the like, and method for suggesting in-store merchandizing using the same
JP5002441B2 (en) Marketing data analysis method, marketing data analysis system, data analysis server device, and program
JP2018093283A (en) Monitoring information gathering system
US20040179736A1 (en) Automatic classification and/or counting system
JP2012088878A (en) Customer special treatment management system
JPWO2015025490A1 (en) In-store customer behavior analysis system, in-store customer behavior analysis method, and in-store customer behavior analysis program
JP2017083980A (en) Behavior automatic analyzer and system and method
KR20160011804A (en) The method for providing marketing information for the customers of the stores based on the information about a customers&#39; genders and ages detected by using face recognition technology
US20210334758A1 (en) System and Method of Reporting Based on Analysis of Location and Interaction Between Employees and Visitors
JP4753975B2 (en) Product interest level measuring device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060418

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140512

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees