JPH1048008A - 注目情報計測方法及び装置並びにそれを用いた各種システム - Google Patents

Abstract

(57)【要約】 【課題】 テレビカメラで撮像した画像データに基づい
てある商品等に対して注目したか否かの判定及び注目の
度合いを計測すること 【解決手段】 計測範囲の映像を取り込むための光軸を
平行にした複数のカメラ１と、その複数のカメラにより
撮像された画像データに基づいて人間を抽出する抽出部
５と、抽出された人間を追跡する追跡部６と、その追跡
部により得られたデータに基づいて、計測範囲に滞在し
た滞在時間を求め、滞在時間が長いときに注目したと判
定し、注目者数を加算する判定部７とを備える。抽出部
では、複数のカメラにより同一のタイミングで得られた
複数画像間の対応付けによる空間座標データを利用する
ことにより、奥行き方向で重なっている人間も確実に分
離できる。判定部では、一定時間以上滞在している場合
には、その途中で立ち止まって商品を見ているおそれが
高いので、注目していると判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ある領域を通過し
た人の中で、陳列している商品等の注目対象に対して注
目した人間を検出したり、注目の度合いを求めることの
できる注目情報計測方法及び装置並びにそれを用いた各
種システムに関するものである。

【０００２】

【従来の技術】従来、陳列棚並びにショーケース等にお
かれた商品や、展示品・広告等に対する注目度や集客力
を計測しようとした場合には、その商品等の注目度を求
めるエリアを直接または監視カメラを介して間接的に見
ることのできる場所に監視員をを配置する。そして、そ
の監視員が上記エリア内を常時監視し、商品の前に立ち
止まって見ている人間や、その商品を手に持ってみてい
る人間の有無等を判断し、係る行為を行っている人間が
いた場合には、その商品に対して注目していると判断
し、注目している人数に１加算するようにしている。

【０００３】また、自動的に注目の有無を計測する方法
としては、通路や出入口を通行する人数を計測するため
のセンサを設置し、注目対象の商品の前を通行した人数
や、施設内の滞在者数を求め、それらの人数が多いと、
注目している人も多いと推定する方法がある。

【０００４】

【発明が解決しようとする課題】しかしながら、上記し
た従来のものでは、次のような問題点があった。すなわ
ち、人手でカウントする方法では継続的な計測が困難で
ある。また、注目している人か否かを判断する際の基準
がそれぞれの計測者で統一できないばかりか、同じ計測
者でも時間とともに基準が変動することがあり、安定し
た計測結果が得られない。

【０００５】一方、通行人数や滞在者数によって注目度
や集客力に代用する方法では、注目度・集客力を計測し
た対象の周辺を単に通過しただけの人と、立ち止まって
広告に注目したり、商品を手にとったりした人との区別
ができず、正確な判断が行えなかった。

【０００６】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、上記した問題を解決
し、陳列棚・ショーケース・展示物・広告等を計測対象
（以後、注目対象という）として、その注目対象に注目
しているか否かの判断や、注目している度合い（注目
度）を求めることを画像処理に基づいて自動的に行うこ
とができ、さらに、左右前後方向の人間の重なりや、日
照変動・影等に影響されずに確実に注目した人間を抽出
して所定の注目情報を得ることができ、また設置場所の
制約の少ない注目情報計測方法及び装置並びにそれを用
いた各種システムを提供することにある。さらに、上記
したいずれかの目的を達成しつつ、販売管理等に適した
情報を得ることのできる注目情報計測方法及び装置並び
にそれを用いた各種システムを提供することも目的とし
ている。

【０００７】

【課題を解決するための手段】上記した目的を達成する
ために、本発明に係る注目情報計測装置では、計測範囲
の映像を取り込むための撮像手段と、前記撮像手段によ
り撮像された画像から計測範囲内の人間を抽出する抽出
手段と、前記抽出手段により抽出された人間を、前記撮
像手段にて異なる時間に撮像された前記計測範囲の画像
を用いて追跡する追跡手段と、前記追跡手段により追跡
された個々の人間の前記計測範囲内の滞在時間を求める
滞在時間計測手段と、その滞在時間計測手段により求め
た滞在時間に基づいて前記抽出された人間が計測範囲周
辺に注目したのか否かを判定する判定手段を備えて構成
した（請求項１）。なお、実施の形態では、滞在時間計
測手段と、判定手段がともに判定部７で実現されてい
る。

【０００８】このように、本発明では、第１の実施の形
態で説明するように、テレビカメラ等の撮像手段によっ
て計測対象周辺を撮像し、撮像された画像から人間を抽
出し、抽出したそれぞれの人間を追跡し、計測範囲周辺
での個別の人間の動き（以下、人の動線という）を抽出
し、計測範囲内でのそれぞれの人の滞在時間（実施の形
態では移動経路も）がわかる構成とした。

【０００９】その結果、滞在時間が長い場合には、その
計測範囲内のどこかで立ち止まったり、通常の単に通過
する際の移動・歩行速度よりもゆっくりと移動したり、
計測範囲内をうろうろしていたと推定でき、その計測範
囲内及びまたはその周辺のどこかに注目していたと判定
できる。よって、滞在時間に基づいて注目した人間か否
かを判別できる。

【００１０】なお、追跡手段により、それぞれの人間が
計測範囲内をどのように移動したかを把握することがで
きるため、計測範囲内での移動経路情報を加味すること
により、より精度良く注目しているか否かの判定が行
え、さらに、より詳細な情報を得ることも可能となる。

【００１１】また、好ましくは、前記抽出した人間が計
測範囲周辺に注目したと判定した場合に、その人間が計
測エリアに存在している画像を蓄積する画像蓄積手段を
さらに備えて構成することである（請求項２）。係る構
成にすると、第３の実施の形態で説明するように、常時
人が監視していなくても、注目した人間を画像として自
動的に蓄積されるので、管理者等がその蓄積されたデー
タを後で表示してチェックすることで、注目した人間の
データ（年齢層・男女別・服装の傾向等）をより詳しく
分析することができるようになる。

【００１２】さらに好ましくは、前記計測範囲を撮像す
る撮像手段が、光軸を平行にした複数の撮像手段からな
り、前記抽出手段が、前記複数の撮像手段により同一の
タイミングで得られた複数画像間の対応付けによる空間
座標データを利用して人間を抽出するように構成するこ
とである（請求項３）。

【００１３】すなわち、第２の実施の形態で説明するよ
うに、光軸がほぼ平行な複数の撮像手段（実施の形態で
は、水平に配置しているが、光軸がほぼ平行であれば、
垂直に並べても、さらには斜め方向に並べても良い）を
用い、同一のタイミングで同一の測定対象物（人間）を
撮像して得られた各画像上での座標は異なる。そして、
係る異なりである視差は、撮像面から被撮像物（撮像し
た測定対象物）までの距離が近いほど大きくなり、視差
とレンズの焦点距離・撮像素子の大きさ・撮像体の間隔
がわかれば被撮像物までの距離が計算でき、さらに撮像
手段の設置高さ・設置角度がわかれば被撮像物の空間座
標値（空間座標データ）が求められる。すなわち、１枚
の画像上で重なっている場合であっても、空間座標値を
求めることにより、それが、本当に同一人物であるか、
或いは、たまたま重なって見えるが奥行き方向に離れた
別の人物かを容易に分離特定できる。

【００１４】このように、人間の通過人数を計測するに
際し、複数の撮像手段で撮像して得られた複数の画像間
の対応付けによって得られる空間座標データを利用する
ことにより、 照明や日照の変動の影響によって計測精度が低下する
ことが無い； 高さがわかるので影の影響を受けて計測精度が低下す
ることが無い； 計測範囲を撮像手段の設置位置の真下以外に設定した
場合（所定の俯角を持たせる）に、前後左右方向に人間
が重なったとしても個々の人間を精度良く分離すること
ができる；等の効果を得るので、より正確な注目情報を
取得することができる。

【００１５】また、前記注目した人間に関する情報を積
算し、前記計測範囲周辺に対する注目度を求める手段を
さらに備えると、より好ましい（請求項４）。そして、
この注目度を求める手段も、実施の形態では、判定部７
が実現している。そして、前記注目度としては、例えば
前記注目した人間の数の総和により規定したり（請求項
５）、前記注目した人間の前記計測範囲内の滞在時間の
総和により規定したり（請求項６）、さらには、前記注
目した人間の前記計測範囲内における停止した時間の総
和により規定する（請求項７）ことができる。これが、
第１の実施の形態における図６，図７に対応している。

【００１６】また、抽出された人間の画像から視線方向
を判定する視線方向判定手段をさらに備え、前記視線方
向判定手段により判定された視線の方向によって、前記
抽出された人間が計測範囲周辺のどの方向に注目したの
かを判定するようにするとなおよい（請求項８）。その
場合に、具体的な前記視線方向判定手段の処理機能とし
ては、例えば与えられた画像データ中に存在する人間の
頭部の部分を抽出し、画像認識処理を行って頭の向きを
認識することにより顔の方向を特定し、その顔の方向を
視線方向とするようにしてもよく（請求項９）、或い
は、前記抽出された人間の移動軌跡を取得し、その移動
方向を視線方向とするようにしてもよい（請求項１
０）。係る構成にすると、第４の実施の形態に説明する
ように、範囲を限定することができ、より詳細な注目度
評価が可能になる。

【００１７】一方、抽出・追跡した人間から特定の人間
を排除する排除手段をさらに設けるとよい（請求項１
１）。つまり、係る構成にすると店員，掃除係等の特定
人物を注目した人間から除外することができるので、本
来の注目度を精度良く測定することができるので好まし
い。これが、第５の実施の形態に対応している。

【００１８】また、本発明に係る注目情報計測方法で
は、計測範囲を撮像し得られた画像からその計測範囲内
に存在する人間を抽出し、時系列的に前記計測範囲を撮
像して得られた複数の画像を用いて全抽出した人間を追
跡し、その追跡した個々の人間が前記計測範囲内に滞在
している滞在時間を求め、その滞在時間が、一定の基準
より長い時に前記抽出された人間が計測範囲周辺に注目
していると判定するようにした（請求項１２）。すなわ
ち、本例では、簡単な画像処理により、注目した人間を
抽出できる。その結果、所定の注目度情報も精度良く取
得できる。

【００１９】一方、本発明に係る注目度解析システムで
は、請求項４〜１１のいずれかに記載の少なくとも注目
度を求めることのできる注目情報計測装置と、その注目
情報計測装置から出力される少なくとも注目度のデータ
を蓄積する蓄積手段と、その蓄積されたデータを解析す
る解析手段とを備えて構成した（請求項１３）。係る構
成にすると、第６の実施の形態で詳しく説明しているよ
うに、注目度を時間ごとに蓄積していくことで、時間ご
との変化・日々の変化・季節による変化・長期的な傾向
等を簡単・正確に把握でき、販売促進・品揃え等を容易
に定量的・客観的に評価することができる。

【００２０】また、注目度が変動する要因となる様々な
データの変動要因データを入力する手段をさらに備え、
前記変動要因データを、前記注目情報計測装置から出力
される注目度とともに前記蓄積手段に蓄積するようにし
てもよい（請求項１４）。係る構成にすると、第７の実
施の形態で説明するように、天候や地域のイベント情報
等を入力し、注目度とあわせて蓄積していくことで天候
や地域のイベントの注目度への影響を正確に把握するこ
とができる。ここで、変動要因データとは、来店する人
の数に影響を与えるもので、例えば、温度・湿度・雨量
等の天候情報や、祭り・遠足・修学旅行・試験等の地域
のイベント情報や、広告を出す等の販促の情報等があ
る。

【００２１】さらにまた、蓄積・解析されたデータに基
づいて注目度の予測を行う注目度予測手段をさらに備え
て構成するとより好ましい（請求項１５）。係る構成に
すると、第８の実施の形態で詳しく説明しているよう
に、注目度（特に注目者数）を予測できることにより、
店員・警備員・掃除係等の配置計画、仕入れ等の検討に
活用することができ、店舗・ホール等を効率よく運営す
ることができる。

【００２２】また、本発明に係る経営管理システムで
は、請求項１３〜１５に記載の注目度解析システムに、
さらに売上げデータを入力する売上げデータ入力手段を
備え、前記解析手段で売上げデータと注目度のデータの
関連を解析するように構成した（請求項１６）。係る構
成にすると、第９の実施の形態で説明するように、売上
げのデータを例えばＰＯＳ等から入力し、注目度と関連
付けて検討することで「注目度が高くても売上げが上が
らない」、「注目度が少なくても売上げが上がる」とい
うようなデータが客観的に正確かつ短時間で容易に把握
することができ、品揃えやレイアウト等の店舗運営に有
効活用することができる。

【００２３】さらに本発明に係る経営管理システムで
は、請求項１３または１４に記載の注目度解析システム
と、蓄積・解析されたデータに基づいて注目度を予測す
る注目度予測手段と、売上げデータを入力する売上げデ
ータ入力手段と、予測された入場者数と蓄積された過去
の入場者数と売上げデータから売上げを予測する売上予
測手段とをさらに備えて構成した（請求項１７）。係る
構成にすると、第１０の実施の形態で説明するように、
過去の注目度の変動と売上げの変動、その他の情報（天
候・イベント等）から売上げを予測することができ、店
舗・ホール等を効率よく運営することができる。

【００２４】また、上記構成に在庫データを入力する在
庫データ入力手段と、前記売上予測手段で予測された売
上げと在庫データから仕入品目，仕入量の推奨値を決定
する仕入支援手段をさらに備えて構成した（請求項１
８）。係る構成にすると、第１１の実施の形態で説明す
るように、在庫を持つ小売店のような場合には、売上げ
予測に在庫データを合わせて活用することで店員・警備
員等の配置計画だけではなく、仕入の計画においても自
動化もしくは半自動化の後アドバイスを行うシステムと
することができ店舗運営を更に効率よく行うことができ
る。

【００２５】＊用語の定義 ここで、「注目情報」とは、請求項１等に規定するよう
に、判定対象の人間が、ある注目対象に対して「注目し
ているか否か」の情報と、「注目度」の両者を含む。そ
して、注目度は、ある注目対象に対してどれくらい注目
しているかの度合いを表すもので、請求項５〜７に示す
ように、注目した人数（注目者数）や総時間等により規
定できる。さらに、それらの情報を適宜組み合わせて規
定してももちろん良い。

【００２６】

【発明の実施の形態】図１は本発明の第１の実施の形態
の構成図を示している。同図に示すように、撮像手段た
るテレビカメラ１から出力されるビデオ信号をＡ／Ｄ変
換器２を介してバスに接続している。このバスには、テ
レビカメラ１で撮像した画像データ中に存在する人間を
抽出する抽出部５と、連続して与えられる画像データに
基づいて、上記抽出部５で抽出した人間を追跡する追跡
部６と、抽出した人間が、所定の注目対象を注目してい
るか否かを判定し、注目している人間の場合にはその注
目人数等の注目度を求めることのできる判定部７が接続
されている。そして、その判定結果等を出力する出力部
８もさらに接続されている。

【００２７】次に各部について説明する。テレビカメラ
１は、本例では１個のカメラを用いており、注目対象周
辺の人が通行する領域を撮像できるように、天井・壁等
に設置して計測範囲の画像を撮像するようにしている。
そして、隣接する人間同士を分離しやすくするため、計
測範囲の真上にカメラを設置し、その真下を撮像するよ
うにしている。これにより、例えば図２に示すように、
撮像して得られた画像は、平面図のようになる。そし
て、テレビカメラ１で撮像された画像データは、Ａ／Ｄ
変換器２でディジタル画像データに変換後、抽出部５を
構成する画像メモリ５ａ内に格納される。

【００２８】抽出部５は、撮像した画像データ等を格納
する画像メモリ５ａと、その画像メモリ５ａに格納され
た画像データ中から、個々の人間の部分を相互に分離し
抽出する分離部５ｃとを備えている。そして、この撮像
された画像から人間を抽出する抽出部５の機能として
は、例えば図２（Ａ）に示すように人間がいないときの
背景画像を基本画像として画像メモリ５ａに格納してお
く。そして、計測中にはテレビカメラ１で撮像した同図
（Ｂ）に示すような画像（撮像画像）が、画像メモリ５
ａに順次格納されてくるので、分離部５ｃでは、画像メ
モリ５ａに格納された基本画像と撮像画像とを読み出す
とともに、両者の差分（背景差分）を求める。これによ
り例えば同図（Ｃ）に示す差分画像を得る。そして、そ
の差が大きい部分を変化領域として抽出し、変化領域の
大きさからその領域が一人か複数人かの判定をしてそれ
ぞれの人の位置を決定する。

【００２９】つまり、図示の場合には、Ｐ１は、独立し
ているため一人の人間と判定する。また、Ｐ２とＰ３は
重なっているため、１人なのか複数人なのかを判別する
必要があるが、本例では、大きさに基づいて判別してい
るため、図示の例では、２人分の面積があるので、２人
（Ｐ２，Ｐ３）いるとし、それらを分離抽出するように
なる。なお、このように面積に基づいて分離するように
しても、その後に追跡部６で追跡処理するため、最後ま
で形状等を変えずに移動した場合には、結局１人であっ
たと判定し、注目人数に加算する場合に１加算するよう
にすれば問題がない。そして、個々の人間の位置情報を
追跡部６に送るようになっている。

【００３０】次に、追跡部６について説明する。ある時
刻Ｔ１に撮像した画像データが、図３（Ａ）のようにな
っている場合に、上記したように抽出部５で個々の人間
を分離抽出するので、その抽出した人間Ｐ１を含む所定
領域Ｒを設定し、その領域Ｒ内の画像データを切り出し
てモデル画像として登録する。そして、このモデル画像
の登録は、すべての人間Ｐ２，Ｐ３について行う。な
お、領域Ｒの大きさは、撮像された人間の画像上での大
きさはある程度わかっているので、係る大きさに合わせ
て設定する。

【００３１】そして、次の時刻Ｔ２に撮像した画像デー
タに対し、探索領域を設定し、その探索領域内を操作し
てモデル画像と最も違いの少ない領域を時刻Ｔ２におけ
る移動後の人間の位置として判定する。すなわち、時刻
Ｔ２の画像データが図３（Ｂ）に示すようになっている
とすると、時刻Ｔ１の時に存在していた位置を含み、人
間の移動速度を考慮して比較的大きめに探索領域Ｒ′を
設定する。そして、その探索領域Ｒ′に対して走査し、
モデル画像と同一・類似する領域を探索する。この探索
の手法としては、モデル画像と探索対象画像との画素ご
との差の絶対値の和を用いることが一般的に行われる
が、画素ごとの差の自乗和や、正規化相互相関を用いて
も同じような結果が得られる。このように探索領域Ｒ′
を走査することにより、探索時間を短くするとともに、
精度の向上が図れる。

【００３２】また、追跡部６の機能としては、上記した
ものに限らず、例えば、以下に示す手法を採っても良
い。すなわち、ある時刻Ｔ１に撮像した画像データに基
づいて抽出部５で抽出された結果（各人間の存在位置）
が、図４（Ａ）中星印で示すようになっており、次の時
刻Ｔ２における同様の抽出結果が同図（Ｂ）中の丸印の
ようになっている場合に、同図（Ｂ）中矢印で示すよう
に、時刻Ｔ１の時の各代表値（星印）と対応する（移動
先の）時刻Ｔ２の時の各代表値（丸印）とを関連付ける
ようにしている。

【００３３】そして、係る処理を行うための追跡部６の
機能としては、前回抽出位置と最も近いものを関連付
け、軌跡として抽出する。また前回或いは前回までの追
跡結果を用いて移動方向・速度を推定し関連付けの精度
向上を図ることも考えられる。そして、サンプリング時
間を短く（人間の移動速度に比べて十分早く）すること
により、上記のような簡単な処理でもって、誤動作を可
及的に抑制できる。

【００３４】そして、一定距離以内で移動前後の関係を
見つけられない場合は、計測範囲から退出した・計測範
囲に進入してきたと考える。また移動前後の関係を決定
するときに時刻Ｔ１以前の移動情報（方向・速度）から
関係付けを補正することも考えられる。

【００３５】上記した各種の手法により求めた各人間に
対する移動軌跡を所定の記憶部に格納するようにする。
なお、この移動軌跡に関する記憶するデータとしては、
その移動軌跡をすべて記憶するようにしてももちろん良
いが、本例では、後述する判定部７における判定機能と
の関係で、移動軌跡（動線）の始点と終点の座標を記憶
保持するようにしている。これにより、記憶容量が削減
でき、メモリの使用効率が増すばかりでなく、判定処理
も容易に行える。さらに、本例では、内蔵する時計に基
づいて、始点と終点のそれぞれの時刻データも関連づけ
て格納するようにしている。

【００３６】次に、判定部６の機能について説明する。
まず、図５を用いて注目判定を説明する。通路と注目対
象が同図に示されたような位置関係にある場合に、計測
範囲を破線に囲まれた領域と設定し、その中を通行する
人間をそれぞれ追跡して抽出した動線と、通過中に一定
時間以上同じ位置にいた場合を図中星印で表している。
この場合は動線Ａ，Ｂの人間については注目対象に注目
したと考え、動線Ｃの人間については単に通過しただけ
と考える。

【００３７】そして、本例では、上記した原理に基づ
き、判定部７として図６に示すようなフローチャートを
実行する機能を設けた。すなわち、まず追跡部６で得ら
れた動線データを取得する（ＳＴ１）。この取得する動
線データの具体的な内容としては、始点座標とその時刻
及び終点座標とその時刻である。

【００３８】次に、始点座標及び終点座標のそれぞれが
計測範囲外の領域に存在しているか否かを判断し（ＳＴ
２）、いずれか一方或いは双方が計測範囲内に存在する
場合には、エラーとし、判定対象の動線から除外する。
一方、ステップ２の分岐判断でＹｅｓとなった場合に
は、判定対象の動線（人間）となるので、ステップ３に
進み、終点座標の時刻と始点座標の時刻との差を求め
る。つまり、その差が、計測範囲内に存在していた時間
ｔとなる。

【００３９】そして、その時間ｔが基準時間Ｔ以上か否
かを判断し、Ｔ以上の時には、一定時間以上計測範囲内
に滞在したため、その途中で注目対象の前で立ち止まっ
たことがある（図５中星印）と推定できるので、注目し
た人の動線と認定し、注目人数を１加算する（ＳＴ４，
５）。すなわち、このステップ５の判断を行うことによ
り、注目しているか否かの判断を行うことになる。

【００４０】一方、滞在時間ｔがＴに満たない場合に
は、計測範囲を素通りしただけと考えられるので、通過
人数を１加算するようにした（ＳＴ６）。なお、ステッ
プ６で、通過人数を求めるようにしたのは、注目した人
と注目しなかった人の比率等を求めたりする等の解析を
行えるようにするためである。よって、必ずしもステッ
プ６は設ける必要はなく、ステップ４の分岐判断でＮｏ
となったならば、そのまま終了するようにしてももちろ
ん良い。

【００４１】なお、図示したフローチャートでは、人数
を加算した後終了となっているが、これは、１つの動線
に対する判定処理が終了したことを意味し、実際には抽
出される動線データに対し、順次フローチャートに示す
処理を実行するようになる。そして、当然のことなが
ら、次の動線に対する判定処理に移行する際に、注目人
数等はクリアしない。

【００４２】そして、ステップ５で求めた注目人数が多
いほど、注目対象に対する注目度は高いと判定できる。
つまり、本例では、注目度の程度を注目人数に置き換え
るようにしている。

【００４３】また、判定部７の別の機能としては、図７
に示すようなフローチャートを実行するようにしても良
い。つまり、図６と図７を比較すると明らかなように、
ステップ１〜ステップ４までの処理は同じで、ステップ
４の分岐判断でＹｅｓになった場合に注目対象に注目し
ている人間であると判断するまでは同じである。そし
て、本例では、注目していると判定後、その注目度を求
める処理が異なる。つまり、ステップ７に示すように、
一定時間Ｔ以上計測エリア内に滞在した人間の滞在時間
の累計ｔ０を求め、その累計（滞在総時間）ｔ０が大き
いほど注目度が高いと判断するようにしている。

【００４４】そして、図６，図７のいずれの場合も、本
例における判定部７は、注目対象に注目している人間か
否かを判定する判定手段と、どれくらい注目しているか
の注目度を求める手段の２つの機能を兼用している。

【００４５】また、注目度を求めるに際し、例えば図
６，図７を合体させ、例えばステップ７で求めた総時間
ｔ０をステップ５で求めた注目人数で割ることにより、
１人あたりの注目時間を求めることができ、係る値を注
目度とすることもできる。

【００４６】さらにまた、具体的な図示は省略するが、
追跡部６において抽出する動線データとして、上記した
例では始点と終点に関するものであったが、本発明はこ
れに限ることはなく、抽出部５で抽出した同一の人間が
移動した際の各座標とその時刻を対にしたものを関連づ
けて記憶保持するようにしてもよい。その場合に、判定
部７では、連続した移動軌跡とその各部での時刻データ
に基づいて、所定の場所に停止している時間が一定以上
の場合に注目対象を注目している人間と判定するように
することもできる。そして、注目度は、その注目した人
の人数であったり、停止した時間の総和等により求める
ことができる。

【００４７】さらに、出力部８は、モニタ，プリンタ等
で構成され、上記判定部７で最終的に求めた注目情報
（注目人数等の注目度）を出力するようになっている。
また、必要に応じて、ビデオカメラ１で撮像した画像
や、画像メモリに格納された画像データさらには、移動
軌跡等各種の中間処理での画像も表示可能とすることが
できるようにしている。

【００４８】図８は、本発明に係る注目情報計測方法の
実施の形態の一例を示している。本例は、上記した図１
に示す装置を用いて実施した例である。まず、１つのテ
レビカメラを用いて計測範囲を撮像し、画像データを取
得する（ＳＴ１１）。そして、その得られた画像データ
に基づいて、抽出部５にて画像データ中に存在する人間
の部分を抽出するとともに、個々の人間同士の分離を行
う（ＳＴ１２）。

【００４９】次に、撮像して得られた画像から抽出され
た個々の人間の移動状況を追跡する（ＳＴ２５）。そし
て、この追跡処理は、それぞれの人間に対して画像中に
出現してからいなくなるまで行われ、始点の座標と終点
の座標及びそれらの時刻を関連づけて格納する。この処
理が、追跡部６で行われる。

【００５０】判定部７にて、各人間の移動した軌跡の始
点と終点の座標及び時刻に基づいて計測範囲に一定の時
間以上滞在していたか否かを判断し、滞在している場合
には注目対象に注目していると判定する（ＳＴ１４）。
さらに、注目している人間の人数を計数し、その注目対
象に対する注目度を求める（ＳＴ１５）。なお、注目度
の算出は、人数の積算に限らず、注目人間の滞在時間の
総和などの他、各種の情報に基づいて評価・計測でき
る。

【００５１】図９は、本発明の第２の実施の形態を示し
ている。本実施の形態では、まず、撮像手段としてのテ
レビカメラを、図１０に示すように２個設けた点で第１
の実施の形態と相違する。そして、それら２個のカメラ
１ａ，１ｂから得られるステレオ画像に基づいて、人間
を抽出するようにしたため、抽出部５の構成も第１の実
施の形態と相違する。そこで、その相違点のみ詳述する
と、以下のようになっている。

【００５２】テレビカメラ１は、実際には図１０に示す
ように、光軸をほぼ平行にした焦点距離ｆがほぼ同じの
２つのカメラ１ａ，１ｂを備え、係る両カメラ１ａ，１
ｂを、陳列棚等の注目対象を含む領域の上方に真下もし
くは一定の俯角を持たせて設置する。そして、両カメラ
１ａ，１ｂは同期信号により同期がとられ、同一のタイ
ミングで計測領域を撮像するようにしている。そして、
各カメラ１ａ，１ｂで撮像して得られた映像信号が、Ａ
／Ｄ変換器２，バスを介して抽出部５内の画像メモリ５
ａに格納されるようになっている。

【００５３】両カメラ１ａ，１ｂを水平に並べた（カメ
ラ１ａが左側）とした場合に、あるタイミングで両カメ
ラ１ａ，１ｂで同一物を撮像したとする。すると、図１
１に示すように、物体のある頂点Ｐ（ｘ，ｙ，ｚ：実空
間上での三次元座標（空間座標）位置）は、一方のカメ
ラ１ａ（Ｌ）で撮像した画像上では、座標ＰL 上に位置
し、他方のカメラ１ｂ（Ｒ）で撮像した画像上では、座
標ＰR 上に位置する。図から明らかなように、両カメラ
で撮像した同一物に対する画像上の座標は異なり、係る
異なりを視差という。そして、この視差は、撮像面（図
中Ｌ，Ｒの位置）から被撮像物の点Ｐが近いほど大きく
なり、視差とレンズの焦点距離・撮像素子の大きさ・撮
像体の間隔がわかれば点Ｐまでの距離が計算でき、さら
に撮像体の設置高さ・設置角度がわかれば点Ｐの空間座
標値が求められる。

【００５４】そこで、抽出部５では、画像メモリ５ａに
格納された２つのカメラ１ａ，１ｂで撮像して得られた
２枚の画像データに基づいて、画像データ中に存在する
各点の空間座標を求めるとともに、求めた各点を個々の
人間を構成するもの同士をまとめることにより、人間同
士を分離するとともに人間の存在位置を求めるようにな
っている。

【００５５】特徴点抽出部５ｂでは、（１）まず、対応
付けを行う２枚の画像データに対し、それぞれ所定の特
徴量抽出処理を用いて、人間の候補点となる特徴点を抽
出する。（２）次いで、２枚の画像データでそれぞれ抽
出された特徴点（実際には、その周辺画素を含む画像パ
ターン）同士を比較し、類似するものを同一の場所（図
１１でいう点Ｐ）を撮像したものとして対応付ける。こ
のように、特徴点抽出部５ｂは、上記した（１）と
（２）の２つの処理を行うようになっており、各処理の
より具体的な手法としては、以下のようになっている。

【００５６】＊＊特徴点抽出処理 この抽出処理は、例えば、画像中の任意の範囲（４×４
画素，８×８画素の局所領域等）でエッジ強度が強い
点、背景（あらかじめ記憶されてある通行者がいないと
きの画像）との違いが大きい点、任意の時間間隔で撮像
された複数の画像の差分の大きい点等を抽出する。この
抽出方法は、上記した３つをすべて使用する必要がない
のはもちろんで、１または複数の任意の特徴量抽出方式
を選択して使用すれば良く、また、上記以外の他の方法
を用いてももちろん良い。

【００５７】＊＊対応付け処理対応付けを行う手法とし
ては、一方の画像データを基準とし、他方の画像データ
中に対応するものがあるか否かを判断するようにして
る。つまり、一方の画像に着目し、その画像中で前工程
で抽出した特徴点を含みその周辺の任意の範囲（特徴点
決定のための範囲と同じことが多い）の画像を基準画像
として切り出し、他方の画像中で基準画像と最も違いの
少ないところを抽出し、そこを対応点とする。そして、
係る違いの少ない所を抽出するための手法としては、基
準画像と対象画像の差分絶対値の和・差分の自乗和・正
規化相互相関等を利用することができる。

【００５８】さらに、本例のように、２つのカメラ１
ａ，１ｂを水平に並べた場合には、図１１に示すよう
に、同一の点Ｐを撮像して得られる画像上の座標ＰL ，
ＰR の座標値のうち、カメラの配置方向と直交する縦方
向の座標（ＸL とＸR ）はほぼ同じになる。よって、基
準画像と比較する対応画像のサーチ対象を、基準画像の
Ｘ座標値と同一あるはその近傍の領域とし、係る範囲に
ついて基準画像との比較を行うようにしても良い。係る
構成にすると、より正確かつ短時間で対応付けを行うこ
とができる。

【００５９】上記した特徴点抽出・対応付け処理によ
り、検出対象の人間を構成する部分の特徴点抽出及び対
応付けが行われるが、人数を計測するためには、最終的
に１人の人間について１つの特徴点（存在位置）を抽出
・決定する必要がある。そこで、抽出された複数の特徴
点は、同一の人間に対してのものか、別の人間に対して
のものかを判別する必要がある。係る処理を行うのが、
分離部５ｃである。

【００６０】分離部５ｃは、２枚の画像間で対応付けさ
れた２つの特徴点の各画像中の座標値等に基づいて、３
次元の空間座標を求める。つまり、ステレオ画像による
３次元計測により特徴点の３次元座標を求める。

【００６１】そして、カメラ１ａ，１ｂに対し奥行き方
向（Ｚ方向）と横方向（Ｘ方向）を座標軸系とした二次
平面上（上方から見た平面図）に、求めた各特徴点をプ
ロットする。この時、人間を抽出することから、高さ方
向（Ｙ軸方向）については、分類分けをするとともに、
一定の高さ以上のものを抽出するようにした。すなわ
ち、抽出した特徴点のＹ軸座標が極端に低い物体は人間
でない可能性が高いため、Ｙ座標が所定の高さ以上のも
に限ることにより、不要な人間でないデータを抽出して
しまう可能性を可及的に抑制するようにしている。

【００６２】そして、上記したプロットの一例を示す
と、図１２のようになる。人間の場合には、頭部が最も
高いとともに、平面図で示すと係る頭部は中央に来る。
よって、図示するように複数の特徴点がある範囲に纏ま
って存在するとともに、その一塊の特徴点の中で中央に
位置する特徴点の高さが最も高い分類に属することがわ
かる。なお、本例では、１．５ｍ以上はすべて抽出する
ようしているが、例えば上限を適宜の値に設定し、それ
以上の高さを有する特徴点は、プロットから除外するよ
うにしても良い。

【００６３】次いで、求めた空間座標上の各特徴点に対
し、クラスタリング処理を行い、同一の人間に基づいて
抽出された特徴点を１つのクラスタとして、他の特徴点
と分離し、一纏めとする。つまり、クラスタリングは各
データ間の距離を計算し、距離の小さいものから一つの
クラスタに統合していき、全てのデータについてそれ以
上統合が発生しなくなれば終了し、それぞれのクラスタ
の位置を人の存在位置とし、そのクラスタの数を計測範
囲内に存在する人数とする。

【００６４】各データ間の距離を評価する方法として
は、図１３のように座標値を採るとすると、

【００６５】

【数１】 そして、すでに形成されたクラスタと、判定対象のデー
タの統合を行う（データをクラスタの仲間に入れる）か
どうかを決定する方法は、以下のようにすることができ
る。すなわち、図１４に示すように、すでに存在するあ
るクラスタ（Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ）と、一つの計測
点（Ｐｘ）との間で前記の距離を算出する際に、予め定
めた以下のいずれかの距離を求め、その距離が一定以下
の場合には、クラスタに加え、一定より離れている場合
に別のクラスタと認定し、判定対象としたクラスタには
加えないようにする。

【００６６】

【数２】 上記のようにして、一定の基準以下の距離にある特徴点
同士を一纏めにしてクラスタリングを行ったなら、その
中の代表点を一つ選択し、人間の存在位置座標とする。
この代表点の選択方法は、例えばＹ座標値が最も高い特
徴点（頭部部分）を選んだり、複数の特徴点の中の重心
や中心の座標値、或いは、１つのクラスタに属する複数
の特徴点のうちの任意の一つを選択する等、種々の方式
に基づいて代表点を選択すればよい。そして、少なくと
もその様にして得られた各代表点データを所定のメモリ
内に格納するようになっている。

【００６７】なお、上記のようにして各人間の代表位置
が抽出されたならば、それを追跡部６に与え、所定の追
跡処理を行う。そして、追跡部６での追跡処理は、本例
では、すでに個々の人間に分離され、その代表位置がわ
かっているので、座標同士を比較する図４の方式を採用
するとよい。なおまた、上記のように個々の人間の存在
位置を抽出するまでが、第１の実施の形態と相違するた
め、その後の追跡部６及び判定部７の機能は、上記した
第１の実施の形態のものと同様に行うことができる。よ
って、その各部の詳細な説明は省略する。

【００６８】図１５は、本発明に係る注目情報計測方法
の実施の形態の他の例を示している。本例は、上記した
図９に示す第２の実施の形態の装置を用いて実施した例
である。まず、同期駆動する２つのカメラを用いて計測
範囲を同一タイミングで撮像し、ステレオ画像データを
取得する（ＳＴ２１）。

【００６９】そして、その得られた２枚の画像データに
基づいて、抽出部５にて各画素の特徴点の抽出及び抽出
した特徴点同士の対応付けを行う（ＳＴ２２）。さら
に、対応付けした２つの画像に存在する特徴点の座標に
基づいて、空間座標系での座標値を求め（ＳＴ２３）、
さらに、人間の分離を行う（ＳＴ２４）。つまり、空間
座標系における座標値の近い特徴点同士を同一のクラス
タに纏めることにより、個々の人間同士に分離するとと
もに、個々のクラスタ毎に代表の座標値をつける。そし
て、このステップ２２〜２４までの処理を、抽出部５で
行う。

【００７０】次に、撮像して得られ、各フレーム毎に上
記した空間座標系での特徴点（人間）の位置を求めたも
のを蓄積し、個々の人間の移動状況を追跡する（ＳＴ２
５）。そして、この追跡処理は、それぞれの人間に対し
て画像中に出現してからいなくなるまで行われ、始点の
座標と終点の座標を対にして格納する。また、この時各
座標が得られたときの時刻も関連づけて合わせて格納す
る。この処理が、追跡部６で行われる。

【００７１】判定部７にて、各人間の移動した軌跡（動
線）の始点と終点の座標及び時刻に基づいて計測範囲に
一定の時間以上滞在していたか否かを判断し、滞在して
いる場合には注目対象に注目していると判定する（ＳＴ
２６）。さらに、注目している人間の人数を計数し、そ
の注目対象に対する注目度を求める（ＳＴ２７）。な
お、注目度の算出は、人数の積算に限らず、注目人間の
滞在時間の総和などの他、各種の情報に基づいて評価・
計測できる。

【００７２】本例では、２つのカメラ１ａ，１ｂを用い
て撮像し取得したステレオ画像に基づいて特徴点の空間
座標値を求め、その空間座標値に基づいてクラスタリン
グして個々の人間に分離するようにしたため、たとえ奥
行き方向（Ｚ軸方向）で重なっている人間が存在してい
ても、それらを分離できるので、正確に人間を抽出し、
注目情報を得るための各種の判定処理を行うことができ
る。

【００７３】さらには、ステレオ画像処理を利用してい
るので日照変動や降雨時の水たまり等の影響を受けにく
く、計測範囲から斜め方向にカメラを設置することで天
井のない領域に対しても判定ラインを設定することが可
能になり、設置条件を緩和することができる。

【００７４】また、上記した実施の形態では、ビデオカ
メラ１として２個のカメラ１ａ，１ｂを用いた例を示し
たが、本発明はこれに限ることはなく、３個以上のカメ
ラを用いてももちろん良い。すなわち、例えば図１６
（Ａ）に示すように３個のカメラ１ａ〜１ｃを用いた場
合には、仮に点線で示すようにカメラ１ａの撮像領域内
に障害物１１があると、対象物Ｐをカメラ１ａで撮像で
きないので、上記した２個のカメラを用いる方式では、
視差を求めることができず、人間を抽出できない。しか
し、係る場合であっても、別の２つのカメラ１ｂと１ｃ
で対象物Ｐを撮像できるので、係る撮像された画像デー
タから視差を求め、空間座標系での座標値を求めること
ができる。このように、死角が少なくなるので、より正
確な計測が行えるようになる。

【００７５】さらには、３つの画像の相関を採ることに
より、空間座標値を求めることもできる。また、同図
（Ｂ）に示すように、例えば任意の２つからなるカメラ
を複数組（カメラ１ａと１ｂ，カメラ１ｂと１ｃ）選択
し、一方のカメラ組（１ａと１ｂ）で撮像したステレオ
画像に基づいて特徴点Ｐ′の空間座標位置を特定すると
ともに、他方のカメラ組（１ｂと１ｃ）で撮像したステ
レオ画像に基づいて特徴点Ｐ′を求め、それぞれ求めた
２つの座標値に基づいて空間座標値を求めるようにして
ももちろん良い。そして、上記したように障害物による
死角のみならず、追跡処理中に追跡不能となるおそれが
あるが、２組のステレオ画像に基づいて特徴点の空間座
標値を求めるようにすると、係る追跡不能となる可能性
が可及的に抑制され、より精度の良い計測ができる。ま
た、逆に２組のカメラ対から得られるステレオ画像から
ともに同一（近い）位置に空間座標値が抽出されたとき
に本物と判定するようにしても良い。

【００７６】図１７は、本発明の第３の実施の形態を示
している。本装置が設置されて注目情報を取得する箇所
としては、例えば、コンビニエンスストアその他の各種
商品を販売する小売店等がある。すると、係る小売店等
では、一般に図１８に示すように通路９の両側にそれぞ
れ陳列棚１０ａ，１０ｂが設置され、各陳列棚に別々の
商品（商品Ａ，商品Ｂ）が陳列されていることが多い
（通路９に、両商品Ａ，Ｂが面している）。従って、上
記した第１，第２の実施の形態に基づく注目度計測で
は、計測範囲に滞在した時間が一定時間の場合に、商品
Ａまたは商品Ｂの少なくとも一方に着目したことは検出
できるものの、商品Ａと商品Ｂのどちらに注目したのか
を弁別することはできない。

【００７７】そこで、本実施の形態では、動線Ａ〜Ｃの
それぞれの人がどちらの商品に注目したのかを分離して
計測することができるようにしている。つまり、図１７
に示すように、バスに対し、視線方向判定部１１を設け
ており、抽出部５で分離抽出された人間が、どちらの方
向を向いているかを判断できるようにしている。これに
より、例えば、判定部７における判定処理の際に、商品
Ａに注目しているか商品Ｂに注目しているかを弁別し、
それぞれを分けて積算処理等することにより、商品Ａ注
目度と、商品Ｂ注目度を別々に計測できるようになり、
計測結果の情報価値を高めることができる。

【００７８】そして、具体的には、視線方向判定部１１
は、頭部抽出部１ａと、視線方向推定部１１ｂとを備え
て構成（厳密には、画像メモリ５ａも含む）できる。つ
まり、人間の場合には、頭部部分に着目すると、その後
側は髪の毛が存在するため全体的に黒くなり、前側に存
在する顔は、後側に比べて全体的に明るくなるととも
に、目・口等の特徴がある。そして、顔の向いている方
向にある商品を見ていると推定できる。

【００７９】そこで、係る原理に基づき、頭部抽出部１
１ａでは、人間の位置を特定した後、各特徴点の空間座
標系のＹ座標値を取得し、その人間に分類された特徴点
データの中でもっとも高い座標を持つあたりを頭部と推
定し、例えば一方のカメラで撮像した画像データの頭部
に対応する座標の周辺の所定の大きさの領域内に存在す
る画像データを抽出し、視線方向推定部１１ｂに与える
ようになっている。

【００８０】視線方向推定部１１ｂは、与えられた画像
データに対し、所定の画像認識処理を行い、処理対象の
人間が、カメラの方を向いているか反対側を向いている
かを判断する。つまり、全体的に暗い場合には、髪の毛
を撮像しており、カメラと反対側を向いていると判定
し、処理対象の画像が、全体的に明るいとともに目・口
等の特徴が得られる場合には、カメラの方を向いている
と判定し、これにより視線方向を推定・決定する。すな
わち、図１８に示すように、テレビカメラ１にて商品Ｂ
が設置された陳列棚１０ｂの後方より、陳列棚１０ａ側
を撮像している場合に、カメラの方を向いていると判定
した場合には、商品Ｂを注目しており、カメラと反対側
を向いていると判定した場合には商品Ａを注目している
と推定し、その結果を判定部７に送るようになる。

【００８１】なお、上記した例では、人間を抽出するた
めのカメラと、人間の視線方向を判定するための画像を
得るためのカメラを共通化したが、それらを別々のカメ
ラで行うようにしてももちろん良い。

【００８２】また、そのように画像処理により顔の向き
を判定することにより視線方向を決定するのではなく、
抽出された動線から移動方向の前方を視線方向と考えて
処理を行うようにしてもよい。つまり、一例を示すと、
図１８に示す動線Ｃの場合には、その移動軌跡を見る
と、陳列棚１０ａ側に近づくように進んでいるので、商
品Ａを注目していると判定するようになる。なお、その
他の構成並びに作用効果は、上記した実施の形態と同様
であるので、その詳細な説明を省略する。

【００８３】図１９は、本発明の第４の実施の形態を示
している。本実施の形態では、上記した第２の実施の形
態を基本とし、さらに特定人物の排除機能を設けてい
る。つまり、同図に示すように、バスに対し、排除部１
５を設けており、抽出部５で分離抽出された人間のう
ち、所定の条件に合致する場合には、注目している人間
と判定せず、注目人数等の注目度に関する値に加えない
ようにしている。これにより、例えば、店員が商品を陳
列棚に置いたり、掃除等をすることにより、一定の時間
以上計測範囲に滞在しても、注目していると判定しない
ことで、真の来客者に基づく注目人数等の注目情報を求
めることができ、計測結果の情報価値を高めることがで
きる。

【００８４】そして、具体的には、例えば予め排除対象
者には、目印になるものを着用させておき、人間を分離
した場合に、その人間が存在する画像領域部分に対して
所定の画像認識処理を行い、上記目印を有しているか否
かの判断を行い、有している場合には、排除対象者と認
定して人数の加算はしないようにする。そして、目印に
なるものとしては、例えば、特定の色柄の帽子やユニホ
ーム等を選定することができる。

【００８５】そして、係る処理を行うための排除部１５
として頭部抽出部１５ａと、排除対象判定部１５ｂを備
えている。本例では、例えば排除対象者に対しては、黄
色い帽子を着用させておく。係る前提において、頭部抽
出部１５ａでは、人間の位置を特定した後、各特徴点の
空間座標系のＹ座標値を取得し、その人間に分類された
特徴点データの中でもっとも高い座標を持つあたりを頭
部と推定し、例えば一方のカメラで撮像した画像データ
の頭部に対応する座標の周辺の所定の大きさの領域内に
存在する画像データを抽出し、排除対象判定部１５ｂに
与えるようになっている。

【００８６】排除対象判定部１５ｂは、与えられた画像
データに対し、所定の画像認識処理を行い、排除対象と
なる目印がその画像データ（領域）に観測できた場合は
排除フラグをＯＮして追跡の結果得られる動線データに
付加するようになっている。一例を示すと、目印が黄色
い帽子なため、黄色い画素を抽出し、その大きさ・面積
・形状等の特徴量を抽出し、目印の基準データと比較す
ることにより、その適否を判定できる。なお、判定処理
自体は、従来公知の各種の認識処理を利用できる。

【００８７】そして、本例の処理の一例を示すと図２０
に示すフローチャートのようになる。つまり、上記した
第１の実施の形態と同様の処理を行い、抽出部５で人間
の分離を行う（ＳＴ３１）。次いで、排除部１５を動作
させ、クラスタリングされた個々の人間を構成する特徴
点の空間座標を取得し、目印となる頭部部分の座標を求
め、画像メモリ５ａにアクセスして頭部周辺の画像デー
タを取得する。そして、目印が存在するか否かを判断す
ることにより、排除対象の人間か否かを判断する（ＳＴ
３２）。

【００８８】そして、排除対象となる目印が検出できな
い場合には、排除対処の人間ではないので、ステップ３
４，３５を順次実行し注目度判定基準を満たしているか
否かを判断する。そして、排除対象でない場合には、ス
テップ３６の分岐判断はＮｏとなるので、ステップ３７
に進み注目人数を加算する。

【００８９】一方、ステップ３２で排除対象と判定され
た場合には、排除フラグをＯＮして追跡の結果得られる
動線データに付加する（ＳＴ３３）。そしてそのまま追
跡処理及び注目判定処理を行うが、追跡が終了したあと
排除フラグがＯＮであればステップ３６の分岐判断でＹ
ｅｓとなるので、ステップ３７はスキップされて注目人
数には加算されない。

【００９０】なお、その他の構成並びに作用効果は、上
記した第２の実施の形態と同様であるので、同一符号を
付し、その詳細な説明を省略する。また、注目人数計測
処理（ＳＴ３７）に替えて、注目人間の滞在時間など他
の注目情報を求めるようにしても良いのはもちろんであ
る。さらには、第１の実施の形態（カメラを１個用いた
もの）や、第３の実施の形態（注目商品を特定するも
の）に対して本実施の形態のように排除機能を設けても
良いのはもちろんである（以下の各実施の形態でも同
じ）。

【００９１】なおまた、本例では、追跡及び注目の判定
は、排除対象か否かに関係なく行うようにし、最終的に
人数を加算する際に排除するようにしたが、本発明はこ
れに限ることはなく、排除対象の人間とわかった時点
で、以後の追跡を行わないようにしてももちろん良い。

【００９２】また、別の方式としては、例えば入退場チ
ェック用のカードリーダーを設置しておき、排除したい
人間は通行するときにカードをリーダーに通すようにし
てもよい。そして、判定部では、カードが入力された場
合には、注目度を満たしていても通過人数に加算しない
ようにする。なお、カードは非接触式でも同じ効果が得
られる。

【００９３】図２１は、本発明の第５の実施の形態を示
している。そして、図２２は本実施の形態のデータの流
れを示している。本実施の形態では、図９に示す第２の
実施の形態を基本とし、さらにバスに対してハードディ
スク、ビデオテープ等を用いた画像蓄積部１４を接続し
ている。さらに、その画像蓄積部１４に蓄積された任意
の画像データを呼び出し、画像表示手段たる出力部（モ
ニタ）８に出力表示可能としている。

【００９４】そして、上記した画像蓄積部１４に格納す
るデータは、判定部７の判定結果が、「注目している」
場合に、その注目した人間が撮像されている画像データ
としている。この時、撮像した画像データ全体を蓄積し
ても良く、或いは、注目人間の部分を切り出して格納す
るようにしても良い。

【００９５】係る構成にすることにより、管理者等が蓄
積されたデータを表示してチェックすることで、注目対
象に注目した人間のデータ（年齢層・男女別・服装の傾
向等）をより詳しく分析することが可能となる。しか
も、係る注目した人間のデータを店員が継続して逐次監
視している必要がなく、自動的に蓄積されるので、効率
が良く、しかも、記録し忘れたり、他の仕事をしていて
注目していた人間を見落とすおそれもなく、正確なデー
タを蓄積できる。なお、図２４中左側の縦のライン（デ
ータの流れ）は、第２の実施の形態と同様であるので、
その詳細な説明を省略する（以下、同様）。

【００９６】図２３は、本発明の第６の実施の形態を示
している。そして、図２４は本実施の形態のデータの流
れを示している。本実施の形態では、図９に示す第２の
実施の形態を基本とし、さらにバスに対してハードディ
スク、光磁気ディスク等を用いたデータ蓄積部１６と、
そのデータ蓄積部１６に蓄積されたデータに基づいて所
定の解析を行うデータ解析部１７とを接続している。

【００９７】そして、データ蓄積部１６には、単位時間
あたりの注目者数やそれぞれの滞在時間、通過人数と計
測時刻などを記録しておく。すなわち、上記したステレ
オ画像に基づく人間の分離を行い、注目対象を注目して
いる人間の有無及び注目度などの注目情報を判定部７で
求める。

【００９８】ここで本例では、判定部７から出力される
「注目者数（注目人数）等の注目情報」を出力部８とと
もに、データ蓄積部１６にも与えるようになっている。
そして、データ蓄積部１６では、与えられた注目情報を
コンピュータが内蔵するタイマ・時計の時刻データやカ
レンダー情報とともに併せて記憶する。

【００９９】また、データ解析部１７では、データ蓄積
部１６に格納されたデータに基づいて、例えば、一日の
注目人数等の注目度の時間分布や、曜日・祝日（休日）
や季節等の一定の期間ごとの注目者数の推移を求め、そ
の解析結果を出力部８に送り、モニタ表示或いはプリン
タアウト等するようになっている。また、その解析結果
をさらに記憶装置に格納するようにしても良い。そし
て、係るデータ解析部１７は、一定のタイミングで定期
的に行うようにしても良く、或いは外部からの指示に基
づいて不定期的に行うようにしても良く、もちろん両者
を併用しても良い。そして、外部からの指示は、例えば
図示省略のキーボード・マウス等の入力装置を介して行
われる。

【０１００】係る構成にすると、例えば曜日や時間帯で
各注目対象に対する注目度が大きい時期等を統計的に調
べることができ、その後の販売計画・販売戦略に有効な
データが得られる。なお、その他の構成並びに作用効果
は上記した各実施の形態と同様であるので、同一符号を
付し、その詳細な説明を省略する。

【０１０１】図２５は、本発明の第７の実施の形態の構
成図を示している。そして、図２６が、そのデータの流
れ図を示している。本実施の形態では、上記した第６の
実施の形態を基本とし、さらに、注目者数等の注目度情
報（以下、単に「注目者数」と称するが、滞在総時間等
他の注目度の算出・計測処理を行ってももちろん良い）
が変動する要因となる様々なデータを入力する変動要因
入力部１８をバスに接続している。

【０１０２】そして、データ蓄積部１６には、判定部７
より与えられる注目者数と、内蔵時計等から得られる時
刻・カレンダー情報とともに、変動要因データも関連付
けてデータ蓄積部１６に格納するようになっている。

【０１０３】ここで、変動要因とは、注目する人の数等
に影響を与えるもので、例えば、温度・湿度・雨量等の
天候情報や、祭り・遠足・修学旅行・試験等の地域のイ
ベント情報や、広告を出す等の販促の情報等がある。そ
して、係るデータは、操作員の手動或いはセンサやデー
タベースからのオンラインを用いた自動で入力すること
ができる。つまり、変動要因入力部１８は、キーボード
等の操作員が手動によりデータを入力するための装置で
あったり、各種センサ出力や、他のデータベースから伝
送されてくるデータを受信する装置であったりする。

【０１０４】そして、変動要因データの入力例として
は、図２７（Ａ）に示すように、日時ごとに天候，湿度
（及びまたは温度），販促状況並びに地域情報等を入力
することができ、この例では、すべてキーボード等の入
力装置を用いて操作員が手動により入力するようにして
いる。また、例えば湿度等は、湿度計（センサ）から出
力を、一定の時刻が来た場合に自動的に取得するように
しても良い。

【０１０５】本形態におけるデータ解析部１７は、上記
した第６の実施の形態と同様に、データ蓄積部１６に格
納されたデータを、所定の基準で集計等して出力部８に
出力するものである。そして、本例では、注目者数の情
報に加えて、変動要因もデータ蓄積されているので、曜
日による平均注目者数等を求めるとともに、各日時の注
目者数と平均注目者数を比較し、その差が一定以上のも
のを抽出し、その差を変動要因とともに併せて出力する
ようになっている。また、操作員からの指示に基づいて
変動要因との関係を解析できるようにもなっている。す
なわち、雨との相関を求めたい場合には、「雨」をキー
に解析し、雨の時の注目者数と平均値を比較することも
できる。

【０１０６】出力の一例を示すと、図２７（Ｂ）のよう
になる。つまり、この例では、平日（月曜〜木曜）と、
金曜，土曜，日曜というように、曜日ごとでしかも一定
の時間帯ごとに注目者数の平均値を求め、それを表にし
て出力している。そして、解析した結果、雨の時が１５
％程度人数が少ないことがわかったため、それも欄外に
出力表示している。

【０１０７】なお、上記した平均値との「差」は、単純
に人数の差（偏差）のみならず、図示した例のように比
率等もある。これによって変動要因と注目者数の関係が
把握できる。なお、その他の構成並びに作用効果は上記
した各実施の形態と同様であるので、同一符号を付し、
その詳細な説明を省略する。

【０１０８】図２８は本発明の第８の実施の形態を示す
構成図であり、図２９はそのデータの流れを示してい
る。本実施の形態では、上記した第７の実施の形態を基
本とし、さらに、注目者数予測部１９をバスに接続し、
データ蓄積部１６に格納した過去の注目者数に基づい
て、注目者数の予測をするようになっている。

【０１０９】すなわち、注目者数予測部１９の機能を説
明すると、例えばデータ蓄積部１６にアクセスし、過去
数週間の同じ曜日（時間帯）の注目者数の平均値を求
め、それを予測注目者数として出力するように構成す
る。また、過去数か月のデータから上旬／中旬／下旬別
にそれぞれの曜日別平均を求め、予測する日時が月の上
旬，中旬，下旬のいずれに属する曜日からを判断し、該
当する曜日の平均を予測注目者数として出力するように
すると、より正確な予測が行える。

【０１１０】さらにまた、過去のデータから変動要因が
注目者数に与える影響を解析し、変動要因の予報・予定
を反映させることで注目者数の予測精度を向上すること
ができる。すなわち、例えば、天気予報等により予測す
る日時の天気を調べたり、販促・地域情報として特別な
ものがある場合にはそれらに該当する過去のデータを抽
出し、その平均を求めることにより予測注目者数を求め
ることができる。さらには、該当するデータ数が少ない
場合には、例えば雨の日は、１５％減少することが求め
られると、天候に関係なく該当する曜日の平均人数を求
め、その値に１５％減したものを予測注目者数とするよ
うにしても良い。

【０１１１】さらに、各曜日ごとに平均値を求めるに際
し、その偏差・標準偏差等を求めておき、予測注目者数
を求める際に、その人数と誤差の範囲を併せて出力表示
するようにしても良い等、種々の予測方式を採ることが
できる。そして、その予測結果の表示態様の一例として
は、例えば図３０に示すようなものとすることができ
る。なお、その他の構成並びに作用効果は上記した各実
施の形態と同様であるので、同一符号を付し、その詳細
な説明を省略する。

【０１１２】図３１は、本発明の第９の実施の形態の構
成図を示しており、図３２はそのデータの流れを示して
いる。すなわち、本実施の形態では、上記した第８の実
施の形態の構成に、さらに、売上データを入力するため
の売上データ入力部２０をバスに接続している。そし
て、売上データ入力部２０は、例えばＰＯＳに格納され
た売上データを転送して入力するようにしている。この
売上データの入力例を示すと、図３３のように、各品物
別に、しかも時間帯ごとに売上個数を入力するようにし
ている。そして、各品物は、いずれも注目対象のもので
ある。そして、通常一つの陳列棚に、弁当，おにぎり，
パン等が一緒に陳列されていることが多く、各品物ごと
に売上を出すことにより、注目者数に応じてどの様な比
率で各品物が売れたかを知ることができる。つまり、図
１８に示した注目商品である商品Ａは、必ずしも１種類
とは限らず、本例のように複数種類の場合もある。

【０１１３】そして、図３２を見るとわかるように、判
定部７で求めた注目者数と、変動要因入力部１８から与
えられる変動要因データとともに、売上データ入力部２
０から与えられる売上データをそれぞれ関連付けてデー
タ蓄積部１６に蓄積するようになっている。

【０１１４】一方、データ解析部１７では、売上げデー
タと注目者数の関連を解析することにより、注目者数一
日あたりの売上高や、注目者１人の一時間あたりの売上
高等を求め、出力するようになっている。これにより、
ＰＯＳによる売上管理からは得られなかったデータを収
集することができる。すなわち、一例を挙げると一日ご
と・時間ごと・フロアごと等の切り訳で「注目者数に比
べて売上げが多い・少ない」というような情報が得られ
る。そしてその情報に基づいて広告・品揃え・陳列等の
問題や効果を定量的に把握することができる。なお、そ
の他の構成並びに作用効果は上記した各実施の形態と同
様であるので、同一符号を付し、その詳細な説明を省略
する。また、図３１に示した例では、注目者数予測部１
９をバスに接続しているが、売上データと注目者数その
関係を解析するという本実施の形態では、係る予測部１
９を設けなくても良い。

【０１１５】図３４は、本発明の第１０の実施の形態の
構成図を示しており、図３５はそのデータの流れを示し
ている。本実施の形態では、上記した第９の実施の形態
（注目者数予測部１９付）を基本とし、さらに、売上予
測部２１をバスに接続している。

【０１１６】この売上予測部２１は、図３５から明らか
なように、データ蓄積部１６に蓄積された過去の注目者
数と、過去の売上データを取得し、さらに、注目者数予
測部１９より売上予測を行う日時に関する予測注目者数
を取得する。そして、過去の注目者数と売上データか
ら、注目者数１人（或いは単位人数）に対する各商品の
売上個数を求め、その値に売上予測をする日時の予想注
目者数を掛けることにより、各商品の予想販売数を求め
る。そして、その様にして求めた予想販売数を、例えば
図３６に示すような形式で出力部８に出力するようにし
ている。

【０１１７】なお、係る予測をより正確に行うために
は、予想注目者数を求める際に、変動要因データを有効
に活用することである。これにより、予想販売数に応じ
た仕入量の決定や係員・店員の配置等を適切に行うこと
ができる。なお、その他の構成並びに作用効果は上記し
た各実施の形態と同様であるので、同一符号を付し、そ
の詳細な説明を省略する。

【０１１８】図３７は、本発明の第１１の実施の形態の
構成図を示しており、図３８はそのデータの流れを示し
ている。本実施の形態では、上記した第１０の実施の形
態を基本とし、さらに、在庫データ入力部２２及び仕入
支援部２３をバスに接続している。つまり、在庫データ
入力部２２は、売上データ入力部２０と同様に、例えば
ＰＯＳ等に登録されている在庫データを転送し入力する
ようにしている。この在庫データの入力例を示すと、図
３９のように、各品物別に、しかも時間帯ごとに売上個
数を入力するようにしている。そして、図３３と比較す
ると明らかなように、対応する商品が販売される都度、
リアルタイムで在庫データにも反映され、その在庫数が
減少するようになっている。また、商品の搬入がある
と、当然のことながらその商品の在庫数が加算される。

【０１１９】また、仕入支援部２３は、上記在庫データ
入力部２２から与えられる現在の所定の商品の在庫数
と、売上予測部２１から与えられる商品の今後の予測売
上数（予測売上数の算出処理は、第１０の実施の形態と
同様）に基づいて、各商品の搬入時の納入個数を求め
る。これにより、次の商品納入時までにできるだけ在庫
が少なくなるとともに、在庫切れにはならないように納
入個数を設定することにより、効率の良い商品の仕入れ
ができ、賞味期限等がある商品を無駄に廃棄処分にした
り、逆に品切れになって来客者に迷惑を掛けることがな
くなる。また、賞味期限等がない商品の場合であっても
必要以上の在庫を抱えることによる保管コストの増加を
できるだけ低減することができる。よって、効率の良い
商品管理ができる。

【０１２０】そして、例えば図４０に示すように、各回
の納入時に必要な商品の納入個数を関連付けて出力する
ようになる。なお、図中「−」は、その納入の際には、
その商品が納入されないことを意味する。

【０１２１】そして、図４０に示したように表形式で作
成したのを、モニタ出力或いはプリントアウトすること
により、発注援助データとなり、仕入れ担当者に対する
アドバイス・注意を行うことができる。さらには、係る
データをそのまま発注データとし、今後の仕入を自動的
に求めるとともに、自動発注するようにしても良い。さ
らに、各商品の在庫がなくなる時期も予測できるので、
それに対する対応も容易に行える。なお、その他の構成
並びに作用効果は上記した各実施の形態と同様であるの
で、同一符号を付し、その詳細な説明を省略する。

【０１２２】なお、本発明は、上記した各実施の形態に
示したものに限られるものではなく、任意の実施の形態
同士を適宜組み合わせて実施してももちろん良い。

【０１２３】

【発明の効果】以上のように、本発明に係る注目情報計
測方法及び装置では、計測範囲を撮像して得られた画像
中に存在する人間を抽出するとともに追跡し、計測範囲
内に滞在していた滞在時間を求め、その滞在時間に基づ
いて注目しているか否かの判定を行うようにしたため、
画像処理に基づく簡単な判定処理によって、陳列棚・シ
ョーケース・展示物・広告等を計測対象（以後、注目対
象という）として、その注目対象に注目しているか否か
の判断や、注目している度合い（注目度）を求めること
を自動的に行うことができる。

【０１２４】特に、請求項３のように規定すると、光軸
が概ね平行に設置された複数の撮像手段によって計測範
囲を同期させて同一タイミングで撮像し、その撮像され
た画像間の対応付けによって得られる空間座標データを
利用するようにしたため、たとえ奥行き方向で人間が重
なっているような場合であっても、確実に個々の人間同
士を分離することができ、人間の分離・追跡を行い注目
しているか否かの判定等の注目情報を精度良く計測する
ことができる。つまり、左右前後方向の人間の重なり
や、日照変動・影等に影響されずに確実に人数を計測す
ることができる。また、任意の俯角で計測領域を撮像す
れば良いので、天井の有無や天井の高さに関係なく設置
場所の制約が少なくできる。

【０１２５】また、請求項２のように構成すると、注目
した人間についての情報をより詳しく解析することがで
きる。さらに、請求項８〜１０のように構成すると、注
目された商品等の注目対象（計測範囲内のどの場所）を
より精度よく特定できる。さらにまた、請求項１１のよ
うに構成すると、店員などの特定の人間を排除できるの
で、より高精度な真の注目情報を得ることができる。さ
らにまた、請求項１３〜１８のように構成すると、注目
情報（注目度）を正確に求めることができ、それに基づ
いて各種の予測等が正確に行え、販売管理，店舗運営，
在庫管理，仕入管理等の各種管理を効率よく行うことが
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示す図である。

【図２】その抽出部の作用を説明する図である。

【図３】追跡部の作用を説明する図である。

【図４】追跡部の作用を説明する図である。

【図５】判定部の作用を説明する図である。

【図６】判定部の機能を説明するフローチャートであ
る。

【図７】判定部の別の機能を説明するフローチャートで
ある。

【図８】本発明方法の実施の形態の一例を示すフローチ
ャートである。

【図９】本発明の第２の実施の形態を示す図である。

【図１０】撮像手段たるカメラの一例を示す図である。

【図１１】２つのカメラから撮像点の空間座標を求める
原理を説明する図である。

【図１２】抽出部の作用を説明する図である。

【図１３】分離部の作用を説明する図である。

【図１４】分離部の作用を説明する図である。

【図１５】本発明方法の実施の形態の他の例を示すフロ
ーチャートである。

【図１６】撮像部の変形例を示す図である。

【図１７】本発明の第３の実施の形態を示す図である。

【図１８】視線方向判定部の作用を説明する図である。

【図１９】本発明の第４の実施の形態を示す図である。

【図２０】排除部の機能を説明するフローチャートであ
る。

【図２１】本発明の第５の実施の形態を示す図である。

【図２２】そのデータの流れを示す図である。

【図２３】本発明の第６の実施の形態を示す図である。

【図２４】そのデータの流れを示す図である。

【図２５】本発明の第７の実施の形態を示す図である。

【図２６】そのデータの流れを示す図である。

【図２７】（Ａ）は変動要因データの入力例を示す図で
ある。（Ｂ）は解析結果の一例を示す図である。

【図２８】本発明の第８の実施の形態を示す図である。

【図２９】そのデータの流れを示す図である。

【図３０】人数予測結果の一例を示す図である。

【図３１】本発明の第９の実施の形態を示す図である。

【図３２】そのデータの流れを示す図である。

【図３３】売上データの入力の一例を示す図である。

【図３４】本発明の第１０の実施の形態を示す図であ
る。

【図３５】そのデータの流れを示す図である。

【図３６】売上予測結果の一例を示す図である。

【図３７】本発明の第１１の実施の形態を示す図であ
る。

【図３８】そのデータの流れを示す図である。

【図３９】在庫データの入力の一例を示す図である。

【図４０】発注データの一例を示す図である。

【符号の説明】

１ テレビカメラ（撮像手段） ５ 抽出部 ６ 追跡部 ７ 判定部（滞在時間計測手段，判定手段，注目度を求
める手段） ８ 出力部 １１ 視線方向判定部 １４ 画像蓄積部 １５ 排除部 １６ データ蓄積部 １７ データ解析部 １８ 変動要因入力部 １９ 注目者数予測部 ２０ 売上データ入力部 ２１ 売上予測部 ２２ 在庫データ入力部 ２３ 仕入支援部

Claims (18)

【特許請求の範囲】
1. 【請求項１】 計測範囲の映像を取り込むための撮像手
   段と、 前記撮像手段により撮像された画像から計測範囲内の人
   間を抽出する抽出手段と、 前記抽出手段により抽出された人間を、前記撮像手段に
   て異なる時間に撮像された前記計測範囲の画像を用いて
   追跡する追跡手段と、 前記追跡手段により追跡された個々の人間の前記計測範
   囲内の滞在時間を求める滞在時間計測手段と、 その滞在時間計測手段により求めた滞在時間に基づいて
   前記抽出された人間が計測範囲周辺に注目したのか否か
   を判定する判定手段を備えたことを特徴とする注目情報
   計測装置。
2. 【請求項２】 前記抽出した人間が計測範囲周辺に注目
   したと判定した場合に、その人間を含む画像を蓄積する
   画像蓄積手段をさらに備えたことを特徴とする請求項１
   に記載の注目情報計測装置。
3. 【請求項３】 前記計測範囲を撮像する撮像手段が、光
   軸を平行にした複数の撮像手段からなり、 前記抽出手段が、前記複数の撮像手段により同一のタイ
   ミングで得られた複数画像間の対応付けによる空間座標
   データを利用して人間を抽出するようにしたことを特徴
   とする請求項１または２に記載の注目情報計測装置。
4. 【請求項４】 前記注目した人間に関する情報を積算
   し、前記計測範囲周辺に対する注目度を求める手段をさ
   らに備えたことを特徴とする請求項１〜３のいずれか１
   項に記載の注目情報計測装置。
5. 【請求項５】 前記注目度が、前記注目した人間の数の
   総和であることを特徴とする請求項４に記載の注目情報
   計測装置。
6. 【請求項６】 前記注目度が、前記注目した人間の前記
   計測範囲内の滞在時間の総和であることを特徴とする請
   求項４に記載の注目情報計測装置。
7. 【請求項７】 前記注目度が、前記注目した人間の前記
   計測範囲内で停止した時間の総和であることを特徴とす
   る請求項４に記載の注目情報計測装置。
8. 【請求項８】 抽出された人間の画像から視線方向を判
   定する視線方向判定手段をさらに備え、 前記視線方向判定手段により判定された視線の方向によ
   って、前記抽出された人間が計測範囲周辺のどの方向を
   注目したのかを判定するようにしたことを特徴とする請
   求項１〜４のいずれか１項に記載の注目情報計測装置。
9. 【請求項９】 前記視線方向判定手段が、 与えられた画像データ中に存在する人間の頭部部分を抽
   出し、画像認識処理を行って頭の向きを認識することに
   より顔の方向を特定し、その顔の方向を視線方向とする
   ようにしたものであることを特徴とする請求項８に記載
   の注目情報計測装置。
10. 【請求項１０】 前記視線方向判定手段が、 前記抽出された人間の移動軌跡を取得し、その移動方向
    を視線方向とするようにしたものであることを特徴とす
    る請求項８に記載の注目情報計測装置。
11. 【請求項１１】 抽出・追跡した人間から特定の人間を
    排除する排除手段をさらに設けたことを特徴とする請求
    項１〜１０のいずれか１項に記載の注目情報計測装置。
12. 【請求項１２】 計測範囲を撮像し得られた画像からそ
    の計測範囲内に存在する人間を抽出し、 時系列的に前記計測範囲を撮像して得られた複数の画像
    を用いて全抽出した人間を追跡し、 その追跡した個々の人間が前記計測範囲内に滞在してい
    る滞在時間を求め、その滞在時間が、一定の基準より長
    い時に前記抽出された人間が計測範囲周辺に注目してい
    ると判定するようにしたことを特徴とする注目情報計測
    方法。
13. 【請求項１３】 請求項４〜１１のいずれかに記載の少
    なくとも注目度を求めることのできる注目情報計測装置
    と、 その注目情報計測装置から出力される少なくとも注目度
    のデータを蓄積する蓄積手段と、 その蓄積されたデータを解析する解析手段とを持つこと
    を特徴とする注目度解析システム。
14. 【請求項１４】 注目度が変動する要因となる様々なデ
    ータの変動要因データを入力する手段をさらに備え、 前記変動要因データを、前記注目情報計測装置から出力
    される注目度とともに前記蓄積手段に蓄積するようにし
    たことを特徴とする請求項１３に記載の注目度解析シス
    テム。
15. 【請求項１５】 蓄積・解析されたデータに基づいて注
    目度の予測を行う注目度予測手段をさらに備えたことを
    特徴とする請求項１３または１４に記載の注目度解析シ
    ステム。
16. 【請求項１６】 請求項１３〜１５に記載の注目度解析
    システムに、さらに売上げデータを入力する売上げデー
    タ入力手段を備え、 前記解析手段で売上げデータと注目度の関連を解析する
    ことを特徴とする経営管理システム。
17. 【請求項１７】 請求項１３または１４に記載の注目度
    解析システムと、 蓄積・解析されたデータに基づいて注目度を予測する注
    目度予測手段と、 売上げデータを入力する売上げデータ入力手段と、 予測された入場者数と蓄積された過去の入場者数と売上
    げデータから売上げを予測する売上予測手段とをさらに
    備えたことを特徴とする経営管理システム。
18. 【請求項１８】 在庫データを入力する在庫データ入力
    手段と、 前記売上予測手段で予測された売上げと在庫データから
    仕入品目，仕入量の推奨値を決定する仕入支援手段をさ
    らに備えたことを特徴とする請求項１７に記載の経営管
    理システム。