JP4876687B2 - 注目度計測装置及び注目度計測システム - Google Patents

注目度計測装置及び注目度計測システム Download PDF

Info

Publication number
JP4876687B2
JP4876687B2 JP2006115152A JP2006115152A JP4876687B2 JP 4876687 B2 JP4876687 B2 JP 4876687B2 JP 2006115152 A JP2006115152 A JP 2006115152A JP 2006115152 A JP2006115152 A JP 2006115152A JP 4876687 B2 JP4876687 B2 JP 4876687B2
Authority
JP
Japan
Prior art keywords
attention
attention level
unit
information
example
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006115152A
Other languages
English (en)
Other versions
JP2007286995A (ja
Inventor
智明 ▲吉▼永
洋一 堀井
茂喜 長屋
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2006115152A priority Critical patent/JP4876687B2/ja
Publication of JP2007286995A publication Critical patent/JP2007286995A/ja
Application granted granted Critical
Publication of JP4876687B2 publication Critical patent/JP4876687B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • G06K9/0061Preprocessing; Feature extraction

Description

本発明は、注目度計測装置に関するものである。

従来の注目度計測装置は、特許文献1に記載のように、特定の注目対象の注目度を計測し、解析して、表形式で出力することが知られている。

特開平10−48008号公報

特許文献1に記載された注目度計測解析システムでは、特定の注目対象に対する注目度データを表形式でモニタ出力またはプリントアウトしたものを確認しなければならず、注目度の分布等のデータを直感的に把握することが困難であった。

また注目度計測を開始する時点で、商品棚など限定された範囲の注目対象を指定することが前提となっており、指定された範囲外の注目度の計測や、その結果の表示などを行うことは考慮されていない。

本発明は、上記課題に鑑みて為されたものであり、その目的は、注目度データを容易に把握するのに好適な技術を提供することにある。

上記目的を達成するために、本発明は、以下の技術を提供するものである。すなわち本発明は、撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備えることを特徴とする。

上記構成によれば、例えば、注目度の計測対象の画像と注目度の情報を示したグラフィックスをあわせて確認することができ、注目度データを好適に把握することができるという効果がある。また、注目度の情報をグラフィックスで示すことにより、注目度を多様に表現することが可能となり、注目度の計測対象を空間全体まで拡大することが可能となる。

本発明によれば、注目度の計測対象の画像と注目度の情報をあわせて確認することができ、注目度データを好適に把握することが可能となる。

以下に発明を実施するための実施の形態を図面を参照しつつ説明する。

なお、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。

図1に本発明に係る第1実施例の構成を示す。

まず、撮像部1で空間中の人物を撮影して、その画像を得る。次に、人物位置計測部2で、空間中の人物の位置を計測する。撮像部1と人物位置計測部2は、視線方向計測部3に接続されている。視線方向計測部3では、撮像部1で得られた画像中から人物の検出と、視線方向の計測を行い、人物位置計測部2で得られた人物の位置から視線ベクトルの位置を決定する。さらに、空間情報記憶部4には、商品などの注目度の計測対象が空間上のどこに存在するかという位置の情報が予め格納されており、また注目度の計測対象に対する注目度を記憶する機能を有する。注目位置情報算出部5で、視線方向計測部3から得た空間中の視線の方向と人物の位置から視線ベクトルを決定し、空間情報記憶部4から得た空間情報とから注目位置を決定する。この注目位置の情報を注目度算出部6で受け取り、注目度を算出し、算出された注目度は空間情報記憶部4に記憶される。次に、出力制御部7で、出力する表または画像として出力部8に出力する。出力部8では出力制御部7より得た出力情報を表示または印字等で出力する。

また同じく、図1に示すように、第2の撮像部9を空間情報記憶部4に接続し、注目度の計測対象などの画像を撮影し、これを出力情報の生成に用いてもよい。

なお、本実施例は便宜上、図1のブロック図の構成にて示すが、必ずしもこれに限られるものではない。すなわち撮像部1は視線方向計測部3を介さず、注目位置情報算出部5、注目度算出部6、空間情報記憶部4、出力制御部7などと接続されてもよい。また第2の撮像部9は空間情報記憶部4ではなく、出力制御部7に接続されてもよい。

以下に図1のブロック図を構成するそれぞれの要素の詳細な説明を示す。
(撮像部)
撮像部1はカメラであり、バス、LAN(ローカル・エリア・ネットワーク)などを通じて撮影した画像を視線方向計測部2に送る機能を有する。撮像部は、1台または複数台のカメラからなる。
(人物位置計測部)
人物位置計測部2では、任意の空間中にいる人物の位置を計測する機能を有する。この人物位置計測部の具体的な例としては、赤外線光を用いた距離センサや、ステレオカメラ、天井等に設置され俯瞰的な画像を撮るカメラなど複数の手段がある。ステレオカメラを用いる場合、ステレオカメラで得られた画像をそのまま入力画像として用いることが可能となるため、人物位置計測部2を撮像部1とみなすことが可能となる。
(視線方向計測部)
視線方向計測部3では、撮像部1から受け取った画像に対して画像処理を行い、画像中の人物の顔方向及び視線方向を計測する。さらに、画像中の人物の体の向きも計測し、これらのデータに基づいて、人物の最終的な視線方向を決定する。以下にこれを説明する。

まずは、顔と視線の方向を計測する方法を説明する。以下の方法を用いることにより、画像中に現れる任意の人物に対して精度良く視線方向を計測することができる。

視線方向計測部3は、例えば、図2のような構成になっている。例えば、画像取得部21、移動体検出部22、顔検出部23、顔特徴量計算部24、視線方向検出部25、メタデータ作成部26の構成要素を有する。

画像取得部21は撮像部1からフレームごとに画像を取得する。取得した画像のカメラ番号と時間情報などから固有のフレームIDを作成し、これを画像のヘッダに書き込み管理する。画像取得部21はデータ格納バッファを有しており、移動体検出部22から取得要求が来るまで、数フレーム分の画像をバッファ内に保持しておく。

また、例えば、人物位置計測部2が撮像部である場合は、上記の画像データが人物位置計測データを兼ねてもよい。人物位置計測部2が距離センサなどである場合は、人物位置計測データは、画像取得部21をパスして、直接移動体検出部22に送られてもよい。

移動体検出部22では、画像取得部21から画像を取得し、さらに、人物位置計測部2から人物位置計測データを取得し、これらに基づき画像中から移動体を検出する。このとき、人物位置計測部2で得られる人物の位置情報を用いることで、画像中で人物の存在する範囲を決定することができる。このため、複数人が重なっていても正確に切り分けることが可能となる他、より高速に人物の検出を行うことが出来る。

次に、移動体検出部22は、検出した移動体に固有の移動体番号を付け、毎フレーム追跡する。例えば、次フレームにおいて近い位置に近い大きさの移動体が検出されたら同一移動体として同じ移動体番号を付けて管理する。また例えば、一度フレームアウトしたら、その時点で追跡を終了することになり、次の移動体には異なる番号を付けて管理する。なお、移動体の同一性の判定は、上記の方法に限らず、以下に説明する顔特徴量を測定して、顔特徴量の測定結果の比較を実施し、顔特徴量が近いものを同一移動体として同じ移動体番号を付けて管理し、顔特徴量が近くないものを異なる移動体として異なる移動体番号を付けて管理してもよい。以上のように設定された毎フレームの移動体番号と移動体の存在する領域情報はメタデータ作成部26に送られる。

次に、顔検出部23では、移動体追跡部22で得られた移動体領域中から既存の手法を用いて顔の検出を行う。顔検出部23において顔が検出された場合のみ、顔特徴量計算部24、視線検出部25の処理が実行される。顔特徴計算部24では、顔検出部23で検出された顔画像から既存の手法を用いて顔特徴量を計算する。得られた顔特徴量はメタデータ作成部26に送られる。視線検出部25では、顔検出部23で検出された顔画像から、顔方向と視線方向を計算する。この方向情報とは、カメラに対して水平方向φ度、垂直方向ψ度向いているという情報とする。図3に示すようにカメラのある方向をφ=0、ψ=0度とし、向かって右方向をφの正方向、向かって上方向をψの正方向とする。顔方向の水平・垂直成分をそれぞれφface、ψface、視線方向の水平・垂直成分をφeye、ψeyeとする。この、視線方向検出は従来の技術もしくは、以下で紹介する視線方向検出方法によってこれを行うこととする。メタデータ作成部26では、そのフレーム画像が持つフレームID;30a、カメラ番号30b、画像の検出時間30c、各検出部から送られてきた移動体番号30d、移動体領域30e、顔領域情報30f、顔特徴量30g、顔方向30h、視線方向30iという各情報を図4に示すような一つのフレーム情報1としてまとめ、注目位置情報算出部5、空間情報記憶部4などに送信する。移動体検出部22において移動体が検出されなかった場合には、メタデータ作成部は何の処理も行わない。

(視線方向検出方法)
ここで、本実施例に係る視線方向検出の一例を述べる。かかる視線方向検出部25は、顔検出部23で得られた顔画像から、まず顔方向を計測し、得られた顔方向情報を用いて視線方向を決定する。

(顔方向推定)
図5の流れに従い、顔検出部23から得た顔情報を元に顔方向を検出する。ステップ41にてまず、顔検出部23から顔領域情報と画像を得る。次にステップ42で、背景差分や肌色領域抽出等により顔領域をより正確に推定しなおす。ここでいう、顔領域とは図6に示すように頭部に外接する四角形領域のことを言う。この顔領域の中心位置を顔領域中心位置と呼び、ステップ43でこの位置を決定する。

次に、ステップ44で顔器官中心位置を検出する。顔器官中心位置とは、図6に示すような両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置を言う。この顔器官中心位置は、眉や目尻、鼻といった各器官を検出し、各器官の位置関係から推定することが出来る。顔の各器官は、顔画像を輝度値によって2値化した画像、エッジ画像、分離度フィルタを施した画像などを用いた既存の手法により検出する。ステップ45では得られた顔領域と顔器官中心位置から水平方向の顔方向を計算する。これは、図7の顔楕円モデルを参考にした式で決定される。図7は、水平方向右向きにφface向いた時の頭を真上から見下ろしたときのイメージである。このとき画像中の顔領域の両端がそれぞれF30f2、顔器官中心位置がCである。このとき、顔領域の中心位置は楕円の中心位置OfaceでありF1とF2 の中点となる。wfaceは顔領域の幅であり、cfaceがCOface間の距離である。顔の幅aと奥行き方向の長さbの比を顔楕円比kとし、以下の数式によって顔方向φfaceを求める。

本システムでは楕円比kは約1.25とする。これは、人物の統計的なデータから測定した平均的な頭部楕円比の値である。人物によってこのkの値は若干異なるが、その違いは0.1以下の範囲内であり、これによる顔方向精度の影響は本システムにおいて許容される範囲内となる。システム構成によっては、既定値でなく、実際にこの顔楕円比kを求めることとする。本手法では、撮像部が上方向に設置され、各器官が検出しにくい場合にも、鼻など検出しやすいものだけを用いて顔器官中心位置を決定出来るため精度良く顔方向推定が可能である。また顔器官中心位置ではなく、耳位置を用いることで横向き時の方向推定も可能である。垂直方向の顔方向角度ψfaceの推定に関しては、既存の手法を用いて求める。

(視線方向検出方法)
以上の方法で得られた顔方向情報を用いて、視線方向を検出する。これは図8に示す流れで行う。ステップ51において、まず顔画像中から瞳の中心位置を検出する。ステップ52は、ステップ51で瞳検出が成功したかを判定する。左右両方とも瞳検出に失敗した場合、視線方向検出失敗となりステップ58で計測不可として終了する。片目だけもしくは両目とも検出に成功したら、ステップ53に進む。ステップ53ではステップ52で求めた瞳位置を元にしてそれぞれの瞳が属する目領域を求める。ステップ54はステップ53で検出した目領域による条件分岐である。目領域が正しく検出できなかった場合、視線方向検出失敗とする。両目とも正しく目領域が検出できたらステップ55へ、検出された目領域が片方のみの時、ステップ57へと進む。ステップ55、ステップ57では、瞳の中心位置と目領域から視線方向計算を行う。ステップ57では検出できた片方の目だけの視線方向を、ステップ55では両目とも視線方向を計算する。ステップ55で得られた両方の目の視線方向はステップ56において統合され、ステップ59において視線方向が検出される。

ステップ55、ステップ57で行われる視線方向計算の方法について述べる。これには顔方向と、ステップ51とステップ53でそれぞれ求めた瞳位置、目領域の情報を用いて、図9の眼球モデルに基づく式によって計算する。眼球は皮膚に覆われているため、画像中に実際に現れる目領域は角膜部分のみである。これは図9の弧E30e2部分である。このE1とE2の位置を、それぞれ眼球の水平線から角度αの所にあるとする。図9においてOeye、Iがそれぞれ画像上での眼球の中心位置と瞳の中心位置であり、Oeye´が実際の眼球の中心となる。φfaceは上記顔方向検出で得られた顔方向の角度、φeyeが視線方向の角度、weyeは画像中における目領域の幅、ceyeは画像上での眼球中心位置と瞳中心位置の長さとなる。このとき視線方向φeyeを以下の式で決定する。ここで眼球の隠れ部分の角度αは既定値とする。

尚、数2において、ceyeはI−E1で表されている。これは、後述する数3及び数4にお
いても同様である。

また、顔の中心側と外側で、眼球の隠れ部分の角度が異なるとして視方向を計算しても良い。このとき、両目の眼球は図10のようになる。顔の中心側の隠れ部分の角度をβ、外側をαとしている。数2と同じように式を立てると、左目と右目で式が異なることになる。左目の視線方向φeyeは以下の式で求めることが出来る。

同様に、右目の視線方向は以下の式で求めることが出来る。

眼球の隠れ部分α、βは既定値(例えばα=33度、β=40度)を用いる。これは一般的な眼球の半径値と画像上の目領域の位置の値などから推定することも可能である。

ステップ55において、両目とも視線が計測された後、ステップ56において、両目の視線方向に重み付けを行い、足し合わせることで最終的な視線方向を決定する。この重みは顔方向によって決定する。顔が右方向を向いている場合、右目は画像上にほとんど現れなくなるため、左目の重みを増加し、左目の視線方向情報を主な視線方向とする。顔が正面を向いているときは、視線方向は両目の平均となる。なお、この両目の視線方向の決定は垂直方向、水平方向それぞれに関して別々に行う。

以上の説明によって計測された顔の方向と視線の方向を用いて、視線方向計測部3は図11の流れによって最終的な視線方向を決定する。以下にこれを説明する。

まず、ステップ71では撮像部1で得られた画像、前フレームの画像での計測結果(例えば、人物位置や視線方向の情報など)、人物位置計測部2で得られた人物の位置情報が入力される。前フレームの人物位置・現在の人物位置の情報を基にして、ステップ72で現フレームの画像中の人物位置を決定する。なお、前フレームまでに画像中に現れなかった新たな人物を検出した場合、この情報を空間情報記憶部4に送り、空間中を通過した人間の総和を記憶する。

次に、ステップ73において顔方向、ステップ74において視線方向を計測する。このとき、目が画像中に現れなかったなど、計測できなかった場合は計測不可を出力する。詳細は前述したとおりである。

ステップ75において、映っている人物の体の向きを計測する。これは、画像から人物の肩のラインを検出することによって計測する、または過去数フレーム分の人物の位置情報の変化から移動方向を求めることで計測する。

次にステップ81において、顔方向、視線方向、体の向きの情報から視線方向を決定する。ステップ75で視線方向を計測できたときには、体の向きと顔の方向の情報を元にして得られた視線方向が正しいか判定する。また、このとき画像中の顔部分の解像度に応じて、得られた視線方向に想定される計測誤差分布を与えるようにしておく。以上により、人物の視線方向とその計測誤差分布の二つのデータを入手することができる。

一方、ステップ75で視線方向計測不可であった場合、顔方向と体の向きから視線方向を推定し、これを視線方向とする。これは、それぞれの方向の関係と視線方向の確率密度分布を用いて決定する。以上により、この場合、人物の視線方向とその確率密度分布の二つのデータを入手することができる。

ここで、計測誤差分布と確率密度分布について説明する。

まず、計測誤差分布の例を図12に示す。計測誤差分布は、視線方向計測部3で計測された視線方向の誤差を考慮して設定される視線方向の確率の分布である。図12では、色の濃さが視線の方向の確率の大きさを表している。計測誤差分布は計測された視線方向を中心とした分布となると考えられる。この分布を考慮することにより、視線方向の測定誤差をデータに反映することができる。

これに対し、確率密度分布は、顔方向に対する視線方向の確率を示したものである。また、この確率密度分布は顔方向に対する視線の確率密度分布は体の向きと顔方向の関係によって変化する。

まず、顔方向と、体の向きが同じ方向である場合は、人間は一般的に物を見るとき顔の中心で捉えようとする。そのため、顔方向に対する視線の方向の確率密度分布は、視線方向の誤差分布と同様に図12のようになると考えられる。ただし、確率密度分布の場合は、視線ではなく、顔の方向を基準としている。この確率密度分布を用いることで顔方向から視線の方向を精度良く推定できる。

次に、人間は移動方向に対して斜め前方にあるものを見るときは、顔の正面で物を見る事はほとんどなく、視線は顔方向よりも先に向かうことが多い。このため、図13のように顔方向よりも先で確率の大きい分布を持つ確率密度分布を描くことになる。よって体の向きと顔の方向の関係も考慮することで、より正確な視線の確率分布を決定することができ、精度良く視線方向を推定することが可能となる。

いずれの場合も、確率密度分布において、もっとも確率の高い方向を視線方向とすることも可能である。

ここで、前述の計測誤差分布と確率密度分布の説明においては、ともに、図12を用いて説明したが、これらの分布は互いに異なるものである。

例えば、確率密度分布は、統計的に求め、予めデータとして記憶しておいてもよい。

また、例えば、ステップ81で視線と顔方向、体の向きが正確に計測されていたと判断された場合、それぞれの情報をステップ83に送り、学習によって前述の確率密度分布を更新し、本システムの設置環境に応じた確率密度分布を構築してもよい。

以上のようにステップ81では、視線方向とその計測誤差分布または視線の確率分布が得られる。これらの情報と画像中の人物位置情報が現フレーム画像における出力となる。これはステップ71に送られ、次フレームの視線計測に用いられると共に、ステップ82で注目位置情報算出部5へと送られる。
(空間情報記憶部)
空間情報記憶部4には、撮像部1と注目度の計測対象である物体の空間中での位置情報が記憶されている。具体的に、この位置情報は、ある決められた点を原点とした3次元空間における対象物の位置を指す。記憶されている位置情報は、例えば図14のような陳列棚周辺においては棚により構成される平面を表す式、各商品が存在する座標範囲、商品が存在する代表点の座標等となる。一般に空間上の平面は、数5または、平面上の代表的な3点によって決定される。このためある平面を表す情報としては、この式とx、y、zそれぞれの値域を持つことになる。
(数5) az+by+cz=d (a,b,c,dは係数)
また、空間情報記憶部4は、指定した注目度計測対象ごとに注目度の情報を格納する領域を有しており、注目度算出部6において算出された注目度計測対象ごとの注目度を記憶する機能を有する。

図14においては、例えば、商品Aの存在する代表点の座標として、下記数6が与えられている。
(数6)( x , y , z ) = ( 23 , 150 , -20 )
図14においては、例えば、商品Aの存在する平面の座標範囲として、下記数7が与えられている。
(数7)z = -20 (10 ≦ x ≦ 35140 ≦ y ≦ 160)
その他の面も図14に記載の式で座標範囲を与えられている。

図14においては、人物が紙面方向を向いて商品棚を見るものとする。よって図14に示されるように、商品の存在する位置の紙面方向に垂直な平面を商品Aの存在する平面の座標としてもよい。またこの場合、商品ごとにxとyの値の範囲を指定することにより、他の商品の座標範囲と異ならせている。他の商品の存在する座標範囲の例も図に示されるとおりである。また、図14に示される棚の平面などは、以下説明する視線を遮るように設定するなどで利用できる。

また、空間情報記憶部4は図14に示されるような、撮像部1のカメラ座標の情報も保持する。

またこの空間情報記憶部4は、例えば、陳列棚を表現した模式図や、または撮像部などによって撮影された前記陳列棚などの画像データを、図14に示されるような各商品の位置情報と関連付けて保存しておいてもよい。

また、その他には、視線方向計測部2が測定する画像中に表れた人物の総数なども同様に記憶する。

視線方向計測部3、注目位置情報算出部5、注目度算出部6などは、必要に応じてこれらの情報を空間情報記憶部4から取得できる。
(注目位置情報算出部)
注目位置情報算出部5は、例えば、前述のように視線方向計測部3で得られた視線方向のベクトルと空間情報記憶部4にて記憶されている注目度計測対象の位置情報から、注目位置を算出する。または、前述のように視線方向計測部3で得られた視線方向のベクトル分布と空間情報記憶部4にて記憶されている注目度計測対象の位置情報から、注目位置確率分布を算出するなどの演算を行う。なお、視線方向のベクトル分布とは、前述の計測誤差分布や確率密度分布などのことをいう。

まずは視線方向のベクトルから注目位置を算出する場合について説明する。

視線ベクトルと注目位置の関係を図15に示す。注目度計測対象として、平面Aと平面Bがあるとき、それぞれの平面と視線ベクトルの交点を求める計算を行い、どの平面のどの位置を注目しているかを決定する。図15では平面A上に図示する注目位置を注目していることになる。

注目位置情報算出部5は、以上の処理により、注目位置の座標を算出する。

次に、視線ベクトル分布から注目位置確率分布を算出する場合について説明する。

まず、視線ベクトル分布から注目位置確率分布を算出する例を図23に示す。以下の説明では、前記計測誤差分布及び前記確率密度分布を、視線ベクトル分布に含めて説明する。

視線ベクトル分布は前述した視線方向計測部3で計測された視線方向の確率の分布である。視線方向計測部3で計測された視線方向に対して、視線方向の確率が一定の閾値以上の視線ベクトルは、図23に示されるように、ある程度の角度幅を持って広がっている。

なお、その閾値は例えば、その閾値以下の視線の確率または注目の確率が注目度の集計上、無視してよい値に設定する。具体的には、例えば、0.01%、0.1%、1%などと設定する。
よって、図23に示すように、前記の視線ベクトルの確率分布角度が注目度計測対象の平面と交わる範囲である注目位置確率の分布範囲は、注目している位置が遠くなるほど大きくなる。

視線ベクトル分布が前記計測誤差分布である場合は、実際の注目位置確率分布は、例えば図24のようなガウス分布の形状であってもよい。

図24は、図23の平面Aと平面Bそれぞれにおける注目位置確率分布であり、横軸が算出された注目位置からの距離、縦軸がその位置が実際の注目位置である確率を示している。注目度の算出は、この確率値を注目度として用いることとする。

また、視線ベクトル分布が前記確率密度分布である場合は、上記図24のガウス分布ではなくてもよい。例えば、前述のように、人の一般的な行動の性質や、これらを観察して学習した結果を用いてもよい。また例えば、非対称分布であってもかまわない。

注目度計測対象面での注目位置と注目度分布の関係は例えば、図25のようになる。

注目位置情報算出部5は、以上の処理により、注目度計測対象面での注目度分布を算出する。

注目位置情報算出部5は、例えば、上記の処理により得た注目位置の座標と注目度計測対象面での注目位置確率分布などのデータを注目度算出部6に転送する。このとき、注目度算出部6が注目位置の座標のみで注目度算出処理を行う場合には、注目度計測対象面での注目位置確率分布の算出及びこのデータの転送は不要である。

また、本実施例では、視線方向計測部3から取得した人物の位置情報など、注目位置情報算出部5が演算処理を行っていないデータも、注目位置情報算出部5が注目度算出部6に送ることとする。しかし、このような注目位置情報算出部5を経る必要の無いデータは、直接視線方向計測部3から注目度算出部6に送るようにしてもかまわない。
(注目度算出部)
注目度算出部6では、注目位置情報算出部5で得られた注目位置の位置情報または注目位置確率分布から、注目度を算出する。ここでは各商品に対する注目度の情報として、例えば、注目時間、注目回数、注目人数、注目位置確率、注目方法などを算出することとする。

以下に、注目位置の位置情報または注目位置確率分布を用いて、注目時間、注目回数、注目人数などを算出する例を説明する。

まず、人物が計測対象に注目しているか否かの判定は(以下、注目判定という。)、例えば、注目度算出部6が空間情報記憶部4から取得した各商品が存在する座標範囲内に、注目位置情報算出部5で得られた注目位置の位置座標が含まれているとき、これを注目している状態として判定する。

次に、注目回数、注目人数などのカウントに関して説明する。例えば、注目回数をカウントするとき、撮影画像の1フレームのみ注目位置が商品範囲に来たとしても人物が意識して注目していた可能性が低い。
よって、本実施例では、継続注目時間が閾値を超えた回数を注目回数としてカウントする。また、そのような注目動作をした人物を注目人物としてカウントする。ここでは仮に閾値を1秒とし、1秒以上注目した場合、注目回数、注目人数をカウントすることにする。

ここで、例えば、同一人物が商品Aを2秒間注目した後、商品Bに3秒間注目し、商品Cに0.5秒注目し、また商品Aに4秒間注目した場合、カウントする商品Aの注目人数は1人、注目回数は2回、注目時間は2秒間と4秒間となり、総注目時間が6秒間となる。また、カウントする商品Bの注目人数は1人、注目回数は1回、総注目時間は3秒となり、カウントする商品Cの注目人数は0人、注目回数は0回、総注目時間は0秒となる。

また、上記では説明上、仮に閾値を1秒としたが、これは、システムの適用環境によって異なる。例えば、商品への注目等では0.3秒程とするとよい。

また、注目判定の別の方法としては、注目位置確率分布を用いて判定してもよい。この場合、例えば、次のように判定する。まず、注目度算出部6は注目位置情報算出部5で得られた注目位置確率分布と、空間情報記憶部4から取得した商品が存在する代表点の座標を比較し、この代表点の座標における注目位置確率を得る。次に、この注目位置確率が、予め定めた閾値を上回れば、注目していると判定し、閾値に達しなければ、注目していないと判定する。

また、ここで、上記のような閾値を設けず、単純に注目位置確率の積分を注目回数として評価してもよい。すなわち、注目位置確率分布における50%の注目位置確率の位置に商品の代表点の座標が2回重なれば、1回分の注目回数としてもよい。

これらを算出することで、例えば、一回の注目あたりの平均時間、一人当たりの注目時間が求められる。さらに画像中に映った総人数の情報を記憶しておくことで、一人当たりの注目回数などが求められる。

また、注目度の一つとして上記に挙げた注目方法とは、注目度計測対象をどのように注目したかを意味する。注目方法としては、例えば、注目度計測対象に体を正対した注目(体方向注目)、顔だけを対象方向に向けた注目(顔方向注目)、視線だけを商品方向に向けた注目(目方向注目)などがある。これらは、体と顔の方向の差、顔と視線の方向の差を算出して決定する。この注目方法の情報によって、注目度計測対象への注目方法の分類や、注目方法による重み付けを行った注目度の算出が可能となる。

また、別の注目度評価パラメータとして、例えば、注目位置確率と時間などのパラメータに積分などを行う評価関数f(r,t0,t1)を用いて評価してもよい。ここで、rは商品の代表点の座標における注目位置確率、t0は注目度計測開始時刻、t1は注目度計測終了時刻である。

以上のように得られた注目度の情報は、注目度算出部6によって、空間情報記憶部4に格納される。格納される注目度の情報の一例を図16に示す。例えば商品などの注目度計測対象ごとにテーブルを用意し、注目人物ごとに注目回数とその回ごとの注目時間、注目方法、注目開始時間及び上記に説明したような他の注目度等を記憶する。注目開始時間を記憶することで、注目度の時間帯ごとの結果を算出することも可能となる。更に、ある時間帯にその商品を注目していた人物の画像を見たいといった集計を行う場合に、画像へのインデックスとして利用することもできる。

次に、注目度算出部6における注目度算出の流れの一例を図17に示す。ここでは、上記に説明した注目度の算出方法のうち、注目位置と各商品が存在する座標範囲を用いた方法における流れを説明する。他の注目度の算出方法においても、基本的には同じ流れであり、注目度の算出時に上記で説明したそれぞれのパラメータとその算出方法が相違する。
まず、ステップ71では、得られた注目位置から注目している商品を決定する。注目判定の方法は前述のとおりである。

次にステップ72で注目時間を計測する。前述の閾値をn秒と設定した場合、ステップ73でひとつの商品に対する注目がn秒連続した場合、ステップ74に進む。

ステップ74では、注目された商品における注目情報の算出を行う。以下の算出は、図16テーブルにおける前記商品の情報部分のパラメータについて行われる。まず、視線を向けた人物が初めてその商品を注目した人物かどうかを例えば前述した移動体の同一判定などの方法で判定する。例えば、ある人物が初めてその商品を注目した場合、新たにその商品を注目した人であるため、空間情報記憶部4に記憶されている注目人数と1を加算する。また、新たに注目開始したので空間情報記憶部4に記憶されている注目回数に1を足した回数を注目回数の算出値とする。また注目時間は、注目位置が商品の空間座標範囲内に入った時点から、商品の空間座標範囲内から出るまでの時間を計測し、注目時間の算出値として格納する。次に、前述のとおり、注目方法を、体の方向と顔方向との差、顔方向と視線方向との差から判定する。

最後にステップ75にて、以上の算出値と注目方法の判定結果を用いて、空間情報記憶部4に記憶されている商品ごとの注目度の情報を更新する。

なお、本実施例では、かかる更新は、例えば、注目位置が商品の空間座標範囲内から出た時点で行うこととする。また、かかる更新は、一定時間のサンプリング間隔で自動的に行ってもよい。また、例えば、注目人数、注目回数の更新は、注目位置が商品の空間座標範囲内に入った時点で更新し、注目位置が商品の空間座標範囲内に入った時点からの経過時間をサンプリングのたびに更新するようにしてもよい。

このようにして、精度良く注目時間、注目回数、注目人数などの注目度に関するデータを取得保持できる。
(集計部)
集計部9は、注目度データの集計などを行い、集計した注目度の情報等を出力制御部7に出力する。

集計部9は、例えば、注目人数、注目回数、注目時間、またはこれらをパラメータとした注目度評価関数による演算結果などの注目度データを集計する。また、これらの注目度データを単位時間当たり、時間帯別、注目方法の種類毎に集計してもよい。

このような集計方法の選択は例えば、図1に示す集計部9に接続された入力部12から入力される計測設定情報にもとづいて、選択してもよい。

この入力部12は、図1に示す注目度ユニット10の外部に接続されてもよく、内部にあってもよい。

また、入力部12の計測設定情報の送り先は、集計部9ではなく、下記に説明する出力制御部7であってもよい。この場合は、出力制御部7が集計部9の集計方法を判断するようにしてもよい。
(出力制御部)
出力制御部7は、例えば、空間情報記憶部4に格納されている注目度の情報や集計部9によって集計された注目度の情報を所望の形式に変換し、出力部8に出力する。

以下に、出力部における出力の例を用いて出力制御部7での、データ変換を説明する。

まず、例えば、表示部8にモニタを用いた場合、注目度の計測対象を表すCGや、注目度の計測対象を撮影した画像を空間情報記憶部4から取得し、集計した注目度の情報を集計部9から取得する。次に、図18示すように背景画像上に注目度のグラフィック情報を重畳して、合成する。これにより、商品の画像と注目度の情報を関連付けて、視覚的に容易に把握できるように表示することが可能となる。

ここで、出力制御部7によって合成されるグラフィック情報の一例について、図18を参照しつつ説明する。本表示例は、例えば、表示画面のタイトル表示101、注目度情報画像表示102、注目度計測設定の表示103、注目度詳細情報表示104などを表示する。このうち、注目度情報表示画像102以外は、必要が無ければ表示しなくてもよい。

次に注目度情報画像表示102について説明する。本表示例は、例えば、背景画像として商品棚のCGを作成し、これに集計部9において集計された注目度のデータにもとづいて生成したグラフィック情報の画像を重畳合成して表示される。本実施例では商品Aはモデル106として表示され、あわせて商品名107が表示されている。また、本実施例では注目度として総注目時間を用いており、その値を示す棒グラフ108及び、その注目度の値109が合成表示されている。グラフのみではなく、数値を合わせて表示してもよい。この場合、注目度が定量的に把握しやすいという効果がある。また計測対象の範囲(本表示例では棚)が複数ある場合など、図に示されるように対象表示欄105を設けてもよい。これにより、複数の計測対象の範囲を切替え表示する場合に、どの範囲を表示しているのかが、識別しやすくなる。

次に、注目度計測設定の表示103について説明する。注目度計測設定の表示103には例えば、計測期間の表示110、注目度表示方法の表示111、表示対象表示112、設定の表示113などが含まれる。これらを全て示す必要は無いが、これらを表示することにより、ユーザーが注目度の分析をおこなうにあたり、注目度の設定や、条件などを合わせて確認できる。

次に注目度詳細情報表示104について説明する。注目度詳細情報表示104は例えば、図18に示されるような、情報テーブルを表示する。これにより、注目度情報画像表示102だけでは表現しきれない詳細な情報を表示する。この表示を注目度情報画像表示102と同時に表示することにより、注目度の把握を容易にしながら、同時に、詳細なデータも確認することが可能となる。これにより、1つの表示画面でさまざまなアプローチで注目度を分析できるという効果がある。

図18の表示例では、注目度詳細情報表示104は、例えば、計測時間内における商品ごとの総注目人数、総注目回数、総注目時間を表示し、注目度情報画像表示102における注目度表示データを補足するデータを提供している。

また上記の例では、注目度情報画像表示102が特定の領域に区切られている。これに対し、例えば、注目度情報画像表示102を画面全体に表示し、表示画面のタイトル表示101、対象表示欄105、注目度計測設定の表示103、注目度詳細情報表示104を注目度情報画像表示102に重畳するように表示しても構わない。

また、例えば、注目度情報画像表示102の表示対象を他の表示対象に切り替える場合(本実施例では他の棚)に、対象表示欄105、注目度計測設定の表示103、注目度詳細情報表示104の表示内容も合わせて切り替えてもよい。このようにすれば、表示したい対象とデータをリンクさせて表示することが可能である。このような表示の切替えは、例えば、出力制御部7が必要なデータを空間情報記憶部4と集計部9にリクエストして、空間情報記憶部4がこれに応じてデータを出力制御部7にることにより行われる。同じく集計部9もこれに応じて集計データを出力制御部7に送り、出力制御部7で画像として生成されて、出力部8に出力される。

尚、図18の表示例では、特定の1時間の総注目時間を例として表示している。これに対し、例えば、注目度計測の期間を現在時刻から過去一定とし、時間の経過とともにデータを連続的に更新してもよい。これにより、最新の商品ごとの注目度の変化状態を確認することもできる。

以上のような画像の編集は出力制御部7で行うが、前記背景画像の取得方法は例えば、以下の方法がある。

まず、事前に撮像した注目対象の画像を背景画像に用いる方法である。撮像された画像は、空間情報記憶部4に格納される。注目対象の撮像は、一般的なデジタルカメラを用いてもよい。また、前記のように事前に作成したCG画像を空間情報記憶部4に格納し、背景画像としてもよい。さらに、図1に示す第2の撮像部を注目度計測ユニットに接続し、この第2の撮像部でリアルタイム撮像された計測対象を背景画像としてもよい。この場合、第2の撮像部は、例えば空間情報記憶部4もしくは出力制御部7に接続され、出力制御部7によって、リアルタイムに注目度の情報を示す画像情報と合成される。

例えば、空間情報記憶部4に記憶されている計測対象の位置(実空間の位置)が、取得した背景画像においてどの位置になるかの関連付けを行うことにより、背景画像中の計測対象の位置に、正確に注目度の情報の画像を表示することができる。この関連付けに関しては、背景画像と計測対象の位置情報の関連付けデータを空間情報記憶部4もしくは出力制御部7が保持することにより、可能となる。

また例えば、背景画像が事前撮影や、CG等であれば、そのデータを入力する要素を設けてもよい。また、撮像部がズーム、パン、チルトなどの動作によって、撮像範囲を変化させる場合は、例えば、撮像部の空間上の位置、撮像部の画角、ズーム等の情報を事前に設定してもよい。次にこれらの設定データと空間情報記憶部4から取得した計測対象の位置情報のデータと撮像部の現在の動作状況のデータから、現在撮影している背景画像における計測対象の位置を算出する。これにより、撮像部が撮像範囲を変化させる場合も、背景画像の計測対象の位置に注目度のグラフィック画像を合成することが可能となる。

注目度計測対象をリアルタイム撮影する場合において、例えば、陳列されている商品が別の商品に変更されたとき、空間情報記憶部4に記憶されているテーブル、注目位置情報算出部5、注目度算出部6及び集計部9の設定変更を行ってもよい。このとき、背景画像は現在の商品に追随するので、背景画像、注目度の情報とともに、現在の商品の情報を認識することが可能となる。これにより、当該別の商品について新たに注目度の集計が行われる。

図18に示されるように、注目度の情報は、棒グラフにて示される。また表示される注目殿情報は、例えば、注目人数、注目回数、注目時間及び前述した注目度評価関数による演算結果でもよい。または、これらを一定時間あたりの計測値、または最長連続注目時間などでもよい。

なお、以上に述べた棒グラフは、円錐グラフでも、ピラミッドグラフでもよい。

また、上記グラフは背景画像に表示される商品の横に表示してもよい。商品と商品の間に、グラフが表示できるスペースが無い場合は、図18に示されるように、グラフに透過性を持たせ、背景がグラフを透過するようにしてもよい。このようにすれば、グラフによって注目度を確認しつつ、背景の商品も確認できる。以下に示す実施例で背景画像に合成する注目度のグラフ、注目位置確率分布、注目度分布などもすべて同様に、背景が透過する表示にしてもよい。

また、図19のような注目度情報として縦軸と横軸を持った2次元グラフ(例えば、折れ線グラフ、面グラフ、ヒストグラムなど。)や複数の棒グラフを背景画像と合成して示してもよい。この場合縦軸には例えば、注目時間、注目人数、注目回数等とし、横軸には、計測経過時間、時間帯、注目方法としてもよい。

例えば、各商品の注目度の時間変化などを複数の商品間で比較して確認する場合、これを表によって表現しようとすると、比較的複雑な表となり、注目度の時間変化の把握が容易でない恐れがある。このようなときに、2次元グラフを用いることにより、注目度の時間変化なども比較的単純に表現することが可能となり、より、商品ごとの注目度を経時的に理解しやすくなる。

図19の表示例では、例えば、注目度の情報としてヒストグラム120を表示している。本表示例では複数の日数において特定の時間に計測された注目度を示しており、横軸を時間帯とし、縦軸を1時間あたりの注目回数としている。また、ヒストグラムにおいて、各商品ごとに最も注目度の高い時間帯をピーク時間帯として、他の時間帯とは異なる色で表示している。ピーク時間帯の色はどのような色でもよいが、他の時間帯と明確に区別できる色が好ましい。

以上のような表示を行うことにより、例えば、時間帯別の商品の注目度を容易に把握できる。また、データの集計・表示内容が図18の例とは異なるため、合わせて注目度計測設定の表示103と注目度詳細情報表示104の表示内容も異なっている。注目度計測設定の表示103には、例えば、グラフがヒストグラムであること、縦軸が1時間当たりの注目回数を示していること、横軸が時間帯を示していることなどが表示される。

また、図19の表示例では、注目度詳細情報表示104は、例えば、計測時間内における商品ごとの総注目人数、総注目回数に加え、最も注目回数の多い時間帯を表示し、注目度情報画像表示102における注目度表示データを補足するデータを提供している。

以上説明した2次元グラフのほかにも、円グラフ、ドーナツグラフ、レーダーグラフ、バブルグラフ、積み上げ棒グラフなどを用いて注目度を示してもよい。これにより、商品ごとに異なる条件での注目度を比較することができ、注目度の多角的な評価データを、視覚的に容易に把握できるという効果がある。

また、図18および図19では、注目度は各商品ごとに表示しているが、複数の商品をグループ分けし、このグループ分けし、このグループ毎に注目度のグラフィック情報を表示してもよい。例えば、上棚の複数の商品の総注目度や平均注目度と、下棚の複数の商品の総注目度や平均注目度などを表示してもよい。

また、例えば、本システムをPOSシステムと連携させることで、上記のグラフのパラメータのひとつに売上を表示してもよい。この場合は売上と注目度の関連を一目で把握でき、より理解しやすいという効果である。

また、以上説明した構成を用いれば、例えば、注目位置情報算出部5で得られる現在の顧客の視線をリアルタイムに背景画像と合成して表示することも可能となる。ここでいうリアルタイムに背景画像と合成するとは、現在の顧客の視線を示すグラフィックスを、例えば1フレーム等に設定された周期で更新して表示することをいう。この周期は1フレームに限られず、一定周期であればよい。また、リアルタイムと表現しているが、完全に同時という意味を有するものではない。できる限り、遅延のない情報を表示することが望ましいが、処理時間等のタイムラグは少なからず発生する。このときの表示例を図20に示す。

図20の例では、客AとBが見ている位置を、注目位置確率分布130を用いてそれぞれ表示している。注目位置確率分布130に合わせて、その瞬間の注目情報データ表示131などを一緒に表示するとさらに、それぞれの客の注目状況を把握しやすい。例えば、図20の例では、注目情報データ表示131として、注目位置確率分布の人物、現在注目していると判定される商品、現在の注目商品を連続して注目している経過時間などを合わせて表示することにより、注目位置確率分布130の表示を補足する情報を得ることができる。この注目情報データ表示131は注目位置確率分布130の移動と連動して画面上を移動したほうが、他の人物の注目位置確率分布との混同を防ぐことができるため、望ましい。

また、以上の表示にあわせて現在の各商品ごとの注目状態を示す情報を商品データ表示132のように、各商品の表示の近くに表示してもよい。図20の例では、商品データ表示132は例えば、現在の注目人数及び現在までの連続非注目時間(現在まで何秒間注目されていないかを計測した時間)を表示している。これにより、商品の注目状態と、人物の注目状態を同時に把握することができ、注目度の分析に役立つという効果がある。商品データ表示132に表示するデータは商品に関係するデータであれば、その他のデータでも構わない。

また、図20の例では、図18、図19の例と表示設定が異なるため、注目度計測設定の表示103、注目度詳細情報表示104の表示内容も図示されるように異なるものとなる。本表示例では、計測時刻の表示は例えば、現在時刻としている。また、前述した注目情報データ表示131や商品データ表示132などのデータ情報の表示のON/OFF設定の状況を、注目度計測設定の表示103に示してもよい。

図20の表示例では、注目度詳細情報表示104は、計測されている各人物のこれまで注目した全商品、最も多く注目した商品、店舗に入店した時間からの経過時間などを表示し、注目度情報画像表示102における注目度表示データを補足するデータを提供している。

以上のような注目状況の表示を用いることにより、店舗の店員が、リアルタイムに顧客が興味を示している商品を把握できるようになる。よって店員は、顧客に話しかけて、顧客の注目に対し、的確な商品の説明をおこなうなどができ、顧客の購買を促すことなどが出来る。

上記の説明では、さまざまな注目度の出力表示方法を提示したが、これらを切り替えて表示できるようにしても構わない。この場合の表示の切替えは、例えば、出力制御部7が、空間情報表示部4や集計部9と協働しておこなう。このような切替えをおこなうようにすれば、本注目度計測装置のユーザーの注目度の解析のニーズに合致した表示方法を提供することができる。

以上の説明では図1のように、出力制御部7は注目度計測ユニット内にあるとし、この場合は合成画像を出力部に出力することとしたが、出力制御部7を出力部8が持つこととしてもよい。この場合は、例えば、注目度計測ユニットの空間情報記憶部4は、出力部8の出力制御部7に対し求められるデータの出力を行う。更に、注目度計測ユニットの集計部9は出力部8の出力制御部7に対し求められる集計を行い、集計結果を出力制御部7に出力するなどの動作をおこなう。
(出力部)
出力部8は上記では説明したモニタのほかに各種ディスプレイ(CRT、液晶ディスプレイ、プラズマディスプレイ、プロジェクタ、その他方式ディスプレイ)でもよく、またプリンタ等の印字装置等でもかまわない。

出力部8が印字装置等の場合は、図18、図19、などに説明した背景画像と注目度の合成画像を印刷して資料としてもよい。

以上説明した実施例によれば、注目度の計測対象と各計測対象に関連する注目度をあわせて確認することができ、注目度データを好適に把握することが可能となる。

次に本発明に係る第2実施例を説明する。

第2の実施例は、第1の実施例における注目度計測ユニットにおいて、注目度の計測対象を特定の商品や物体から空間全体に広げ、その注目度分布の算出結果を出力するものである。

本実施例を用いれば、駅や施設などの広い空間において、壁や天井等の平面に対する注目度を算出することが可能となる。本実施例により得られる注目度分布の出力の一例を図21に示す。
図21において、注目度分布表示140は注目度の高さを等高線状に示したものであり、分布の濃度が注目度の大きさを表している。これによって、空間全体において、どこが多く注目されているかを計測することができ、例えば、広告設置場所の決定や、陳列におけるレイアウトの変更等に役立つ情報として出力することができる。また例えば、通行者に対する心理実験装置などとしても利用できる。

図21のように、ある空間全体における注目度の分布を算出する場合、空間情報記憶部4は、例えば、図22に示すように格子状の領域ごとの空間情報を持つようにすればよい。

すなわち、実施例1では、商品の陳列棚などの注目度計測対象の存在する特定の面の平面の情報を持っていた。これに対し本実施例では、例えば、壁や天井・柱など空間を構成する面が、例えば図22に示される平面の方程式の情報を持つように構成する。また、実施例1では、前記計測対象の存在する平面において、各商品が存在する座標範囲を設定した。これに対し、本実施例では、例えば、空間を構成する平面ごとに分割領域を指定する。

このように設定することで、空間を構成する各平面を分割した小領域の座標範囲とすることができる。

なお、分割領域の数及び大きさは、各分割領域の値域をそれぞれ指定しても良いし、単純に平面の垂直方向・水平方向の分割数をそれぞれ指定しても良い。分割数が多ければ多いほど詳細な分布の情報を得ることができる。

本実施例の説明では、図21に示すような注目度計測対象の空間は、例えば、撮像部1によって撮像される空間と別の空間とし、CGによって出力表示されることとする。しかしながら、この空間は例えば撮像部1によって撮像される空間であっても構わない。また、実施例1の第2の撮像部によって撮像される空間であっても構わない。また、ユーザーが設定もしくは入力した空間座標データによって構成される空間データであってもよい。

本実施例における注目度算出部6では、例えば、実施例1における注目度計測対象面と同様に、算出した視線方向と視線方向の計測誤差分布もしくは確率密度分布のベクトル分布によって、前記空間を構成する平面における注目位置及び注目位置確率分布を算出する。続いて、各分割領域での平均注目位置確率もしくは、各分割領域の代表点での注目位置確率を算出する。そして、これらを用いて以下のように注目度情報に反映する。

上記で算出した平面への注目位置と注目位置確率の関係は例えば、図25に示される。

次に、以上のように一フレームの画像から算出した注目位置と各分割領域における注目位置確率を用いて、各分割領域における注目位置確率値の最大値または平均値などをこの領域における注目度として毎フレームごと積算していく。なお、これらの各分割領域の注目位置確率の値は空間情報記憶部4に保持される。

上記のような算出方法を用いた場合、注目位置による注目判定でカウントする注目回数のみを各分割領域ごとに積み上げる場合にくらべ、複数の領域に確率の重みをつけて注目度を算出する事ができるようになる。よって、各位置で緩やかに分布した注目度情報を取得することが可能となる。

図26に本実施例における注目度算出部6の算出の流れを示す。ステップ81で注目位置確率分布範囲にある分割領域が決定する。次にステップ82で各分割領域における、注目位置確率を決定する。最後にステップ83で空間情報記憶部4に記憶されている現在の各分割領域の注目度に得られた注目度を加算し、新たに各分割領域の注目度とする。

本実施例における出力制御部7では、図21に示すように空間情報記憶部4に記憶される注目度を、色合いや、色の濃度に換算し、分割領域の画像上での位置を塗りつぶし、各分割領域における注目度の分布を表すグラフィック情報の画像として出力する。これにより表のみでは把握できなかった空間に対する注目度の分布を、視覚的・直感的に知ることが可能となる。

また、表示色または濃度と注目度の関連付けに関しては、例えば、上記のように注目度の絶対値と表示色または濃度を関連付けても構わない。しかし、表現可能な色や濃度の範囲には限界がある。よって、各領域の注目度を正規化した値と表示色または濃度を関連付けすれば、この限界にかかる問題を解決することが可能となる。

この正規化する値としては例えば、指定した時間帯での全領域における注目度の最大値を用いてもよく、この場合、その時間帯における各領域の順位を把握することが可能となる。また、正規化する値として、十分大きな一定値を用いてもよい。この場合は、異なる2つの時間帯のデータを比較する場合も、正規化する値に共通の値を用いることが可能となり、注目度と表示色または濃度を関連付けの基準が変化しないため、注目度の経時的な比較が容易に可能となる。

以上に説明した注目度の分布は、上記説明では、CG上に表示色または濃度として表示されるとしたが、例えば、注目度計測対象の空間が、前述のように撮像部1または第2の撮像部で撮像した画像である場合は、これらの画像を背景画像として、その上に表示色または濃度として表示した注目度を合成しても構わない。これにより、より詳しい周囲の状況を確認しながら、注目度を評価することが可能となる。この場合も例えば、実施例1の2次元グラフのように、表示色または濃度の領域を半透明にすれば、注目度と背景の画像を同時に確認することが可能となり、注目度と周囲の状況をより容易に確認できるという効果がある。

また以上に説明した注目度分布の出力または表示においては、空間上の平面を注目度計測面とした。しかしながら、かかる計測面を曲面としてもよい。この場合、複数の平面お所定の角度によって連続的に接続すれば、曲面に近似させた面が設定できる。これにより、より複雑な空間も注目度計測対象にすることが可能となり、計測及び表示の自由度が増すという効果がある。

また図21の表示例に示すように、注目度計測対象の空間の表示画像に、特定のオブジェクトを表示させて、注目度分布と必要な情報をあわせて確認できるようにしてもよい。

図21の表示例においては、オブジェクトA141、オブジェクトB142を表示するように設定している。これらと注目度分布表示140とあわせて確認できるように、オブジェクトの存在する領域は、注目度分布表示もしくはオブジェクトのいずれかを半透明にするのが望ましい。また表示の際はオブジェクトの名称を符号143、144の様に表示するとさらに情報が把握しやすくなり、なおよい。

注目度計測設定の表示103には、上記にて説明した表示色または濃度を関連付けの設定を表示しても構わない、すなわち図21の表示例においては、例えば、絶対値と表示色または濃度を関連付けていることを示すため、「絶対濃度表示」と表示している。

またこの場合、例えば、図21に示すように、注目度詳細情報表示104には各オブジェクトにおける注目度に関するデータなどを表示してもよい。

図21の表示例では、注目度詳細情報表示104は、例えば、計測時間内に設定されている各オブジェクトを注目した人数、総注目度、最も注目度が高かった時間帯などを表示し、注目度情報画像表示102における注目度表示データを補足するデータを提供している。

このようなオブジェクトの設定は、例えば、前述の空間の計測対象平面の設定と同様に、図22に示す式ような空間情報を与えられる。

また、上記に説明した各オブジェクトにおける注目度に関するデータの算出は、例えば、実施例1と同様の方法によって行ってもよい。すなわち、例えば、注目度算出部6が注目度を算出し、これを空間情報記憶部4に格納し、これを集計部9が集計すればよい。

以上説明した特定のオブジェクトを、例えば、注目度計測ユニットを広告の効果的な配置を分析するために用いる場合は、現在広告が配置してある領域を示すオブジェクトを設定すればよい。この場合は、現在広告の位置とその他の位置での注目度の比較が容易になるという効果がある。

また店舗内全体の注目度などを分析するために用いる場合は、前記オブジェクトは商品棚全体の領域または商品の位置を示すであっても構わない。このとき同時に商品名などの商品に関係のある情報などを表示しても構わない。これらの場合、商品の情報と周囲の注目度の関連が容易に把握できるという効果がある。

さらに、このとき、算出または集計した注目度の情報を、実施例1のようにグラフなどの画像情報として、あわせて表示しても構わない。この場合、商品ごとの詳細な注目度データと周囲の空間(店舗内全体の空間など)の注目度分布を比較できるという効果がある。

以上説明した実施例によれば、注目度の計測対象を、広く空間全体まで広げることが可能となり、注目度データを好適に把握することが可能となる。

次に、実施例1または実施例2で説明した注目度計測装置の機器構成例を示す。

図27は例えば、カメラに注目度計測ユニットを組み込んだ際のシステム構成例である。図1の視線方向計測部3、空間情報記憶部4、注目位置情報算出部5、注目度算出部6、出力制御部7、集計部9のまとまりを注目度計測ユニット10として、カメラ内に注目度計測ユニット10を組み込む。これにより、ユーザーが指定した位置への注目度を計測する機能を持つ注目度計測カメラ200を構築できる。

本実施例では、カメラ200内は例えばメモリ等の記憶媒体を備え、例えば空間情報記憶部4の機能を有する。同様にカメラ200内は例えば画像処理用プロセッサを用意し、例えば視線方向計測部3、注目位置情報算出部5、注目度算出部6、集計部9、出力制御部7などの機能を有する。ここで、図27では人物位置計測部2はカメラ200と別体に記載されているが、人物位置計測部2の機能の一部もしくはすべてをカメラ200が備えてもよい。

また、例えば、カメラ200内が方向センサやGPSを搭載することで、カメラが自動的に現在の位置を把握可能になる。これにより、空間情報記憶部4にカメラ位置の設定を行う必要なく注目位置を算出可能になる。

図28は、HDDなどの記録媒体を搭載した監視画像のレコーダに注目度計測ユニットを組み込んだ際のシステム構成例である。例えばレコーダ300は接続された撮像部1からの画像を蓄積する機能を持ち、さらに注目度計測ユニット10を備えている。これにより、注目度を算出する機能を有するレコーダを構成できる。この場合、レコーダ300に接続された撮像部1から送られた画像に対してリアルタイムに注目度を算出し、画像と共に記録してもよい。また、レコーダ内に記録された画像に対して後から注目度の算出を行うことも可能である。後者の場合は、注目度の算出に用いるパラメータを変更して、再度算出することなどが可能である。

以上図27、図28に示した注目度計測ユニット10の出力制御部7は、実施例1で説明したとおり、図27、図28の出力部8が備えてもよい。また、図27における出力部8はカメラ200と一体でも構わず、また、図28における出力部8はレコーダ300と一体でも構わない。

また図27及び図28の例はともに、注目度計測ユニット10が搭載されている装置に、実施例1及び2で説明した第2の撮像部であるカメラを接続してもよい。そして、注目度計測ユニット10がカメラ100またはカメラ1とは異なる撮像データを取得できるように構成しても構わない。

以上説明した実施例によれば、注目度の計測及び表示システムを構築でき、注目度データを好適に把握できる装置及びシステムを提供することが可能となる。

次に、以上のいずれかの実施例によって示された注目度計測システムを用いて、注目度計測の対象を電子広告とした電子広告システムの実施例を示す。

図29は本システムの構成を示したブロック図である。例えば、実施例1にて説明した注目度計測ユニット10に、同じく実施例1にて説明した撮像部1と人物位置計測部2が接続され、注目度計測ユニット10はさらに、広告制御部401に接続され、広告制御部401は広告表示部402に接続されている。

また図30はこのシステムを示した俯瞰図である。図30の例では、通路の壁に設置された撮像部と、広告表示部と通路に立つ人物が示されている。

このとき、注目度計測ユニットや広告制御部は例えば、広告表示部の背面などに埋め込まれ、外部からは見えないようにするとよい。

図30の例では、さらに人物の注目位置確率分布を表示している。前記注目位置確率分布は例えば、上記の注目度計測ユニット10、撮像部1及び人物位置計測部2によって実施例1と同様に算出が可能である。また、同じく実施例1と同様の方法を持ちいれは、広告表示部402に対する注目度の算出及び集計が可能となる。実施例1と同様に、注目位置情報のみでなく、注目位置確率分布を用いた注目度情報を用いれば、少ない人物から、より連続的な注目度情報を得ることができ、注目度集計の方法が多様になるという効果がある。

また広告制御部401と広告表示部402は例えば、いわゆる電子広告装置である。例えば、画像などの広告コンテンツの電子データを広告表示部402が表示するように、広告制御部401が制御を行うものである。コンテンツとなる電子データは、例えば、電子広告装置が備える記憶部などに保持してもよく、また電子広告装置に対して、ネットワークやデジタル放送などを用いて配信してもよい。

本システムにより、広告周囲への通行人の広告に対する注目度を集計することができるため、当該電子広告の効果を知ることが可能となる。例えば、時間帯ごとの注目度と、広告の再生スケジュールのデータを連動させることで配信された広告ごとにどれだけ注目されたかを算出可能となる。

また、本実施例によれば、例えば、注目方法や、1回の注目の平均時間などを算出できる。そのため、多くの人に見られてはいるが、ほとんどが目だけで一瞬見た程度というように詳細な情報を得ることができ、新たな広告コンテンツ作成へと役立つ情報を得られる。

また、注目度の状況に応じた広告表示を行うことも可能である。例えば、注目人数が非常に少ない時間帯には動画を流して、通り過ぎる1人に対する注目度を上げることを試みるなどをしてもよい。

また、注目人数が増大した場合には、最も宣伝したい部分だけを抜き出した静止画を表示するなどして、注目度を上げることを試みるなどをしてもよい。

また、撮像部であるカメラの視野が制限され、広告を注目している人物を全てカバーできない場合には、2台以上のカメラを利用してもよい。

これに対してカメラを1台で構成する場合には、例えば設定したカメラ視野から、計測されなかった広告注目者の人数を推定計測する機能を入れることも考えられる。これは、例えばそのときの広告周囲の総通行人数と、その内の広告注目者の人数、カメラ視野範囲などから、統計的なデータに基づいて推定してもよい。

また、カメラからの距離が遠い人物は、画像中に比較的小さく写るため、広告を注目しているか計測できない場合がある。この場合も、例えば、視野範囲と同様に、現在の計測状況と統計的なデータに基づくことで計測不可能な距離にいる広告注目人数も推定してもよい。

なお、上記に説明した電子広告表示システムでは、その他の実施例と同様に出力制御部と出力部を備えてもよい。この場合、複数の広告表示を注目度の集計対象とし、注目度を直感的に把握できる出力を得ることができる。また、広告表示がされる空間全体の注目度と合わせて確認することも可能となり、電子広告の表示に関してより幅広い分析が可能となる。

以上説明した実施例によれば、注目度の計測と連動した電子広告表示システムを構築でき、電子広告に対する注目度の計測と、注目度データを好適に利用した広告表示を行うことができるシステムを提供することが可能となる。

以上すべて実施例の説明では、説明の便宜上、注目度の計測の実施例として、主に店舗内での商品を計測対象とした例、または広告に対する注目度の計測に用いる例などの説明を行ったが、必ずしも本発明はこれらの用途に限られたものではない。

また、以上説明した実施例はいずれを組み合わせて用いても、本発明の1つの実施の形態となりえる。

本発明による装置またはシステムは、例えば、現在利用されている画像監視システム中に実装されることで、注目度を計測する機能を有する新たな画像監視システムとなり得る。また、電子広告表示システム内に搭載されることで、広告に対する注目度を計測する機能を持つ新たな広告システムとなるなど、様々なシステムへの応用が可能である。

本発明の一実施例を示すブロック図 視線方向計測部の一実施例を示すブロック図 視線及び顔方向が示す方向の一例を説明するための図 視線方向計測部で生成されるフレーム情報の構成の一例を示す図 顔方向推定のフローチャートの一例 顔画像における顔領域と顔器官中心位置の定義の一例の図 顔方向推定のための顔モデルの一例の図 視線方向推定の処理を示すフローチャートの一例 視線方向推定を行うための眼球モデルの一例の図 視線方向推定を行うための眼球モデルの一例の図 視線方向計測部の処理の流れを示すフローチャート 視線方向と顔方向と視線方向の確率分布の一例の図 視線方向と顔方向と視線方向の確率分布の一例の図 空間情報記憶部に記憶されている空間の位置情報の一例を示す図 注目位置情報算出部の作用の一例を説明する図 空間情報記憶部に記憶されている注目度情報のテーブルの一例を示す図 注目度算出部の処理を示すフローチャートの一例 出力部制御部により生成される出力画像の一例を示す図 出力部制御部により生成される出力画像の一例を示す図 出力部制御部により生成される出力画像の一例を示す図 出力部制御部により生成される出力画像の一例を示す図 空間情報記憶部に記憶されている空間の位置情報の一例を示す図 注目位置と注目位置確率分布範囲を示す図 注目位置確率分布範囲の注目位置確率分布を示す図 注目位置確率分布範囲の注目位置確率分布を示す図 注目度算出部の処理を示すフローチャートの一例 本発明の構成例の一実施例を示す図 本発明の構成例の一実施例を示す図 本発明の一実施例を示すブロック図 本発明の構成例の一実施例を示す図

符号の説明

1 撮像部、2 人物位置計測部、3 視線方向計測部、4 空間情報記憶部、5 注目位置情報算出部、6 注目度算出部、7 出力制御部、8 出力部、9 集計部、10 注目度計測ユニット、11 第2の撮像部、12 入力部、21 画像取得部、22 移動体検出部、23 顔検出部、24 顔特徴量計算部、25 視線検出部、26 メタデータ作成部、30a 情報、30b 情報、30c 情報、30d 情報、30e 情報、30f 情報、30g 情報、30h 情報、30i 情報、101 タイトル表示、102 注目度情報画像表示、103 注目度計測設定の表示、104 注目度詳細情報表示、105 対象表示欄、106 モデル、107 商品名、108 グラフ、109 注目度の値、110 計測期間の表示、111 注目度表示方法の表示、112 表示対象表示、113 設定の表示、120 グラフ、130 注目位置確率分布、131 注目情報データ表示、132 商品データ表示、140 注目度分布表示、141 オブジェクト、142 オブジェクト、143 オブジェクトの名称、144 オブジェクトの名称、200 注目度計測カメラ、300 注目度計測レコーダ、401 広告制御部、402 広告表示部

Claims (5)

  1. 撮像された人物の顔画像から器官に関する寸法を計測し、前記器官に関する寸法を用いて顔方向と瞳位置を計測し、前記顔方向と前記瞳位置から眼球モデルに基づいて両目の視線方向を決定し、前記両目の視線方向を統合することで前記人物の任意の視線方向を決定するか、前記瞳位置を計測できなかったときは、人物の顔方向と体の向きを計測し、前記顔方向と前記体の向きから前記人物の任意の視線方向を決定する視線方向計測部と、
    前記視線方向計測部によって算出された前記視線方向から、前記人物の注目位置情報を算出する注目位置情報算出部と、
    注目対象の空間位置情報を記憶する記憶部と、
    前記注目位置情報算出部によって算出された前記注目位置情報と前記記憶部に記憶された前記空間位置情報から前記注目対象に対する注目の有無を判定し、注目度情報を算出する注目度算出部とを備えることを特徴とする注目度計測装置。
  2. 請求項1に記載の注目度計測装置であって、
    前記注目度情報は、注目時間または注目回数または注目人数または注目位置確率または注目方法を表すことを特徴とする注目度計測装置。
  3. 請求項1に記載の注目度計測装置であって、
    更に、前記注目度情報に基づき生成されたグラフィックス情報と前記注目対象の画像とを重ね合わせて表示するための出力制御部とを備えることを特徴とする注目度計測装置。
  4. 請求項3に記載の注目度計測装置であって、
    前記注目対象の画像は複数の注目対象を含み、
    前記注目度情報に基づき生成されたグラフィックス情報は、前記複数の注目対象にそれぞれ対応した注目度情報を示すことを特徴とする注目度計測装置。
  5. 請求項3に記載の注目度計測装置であって、
    前記注目度情報に基づき生成されたグラフィックス情報は、注目度を表す2次元グラフであり、注目度の大きさを色の濃淡または配色によって表現することを特徴とする注目度計測装置。
JP2006115152A 2006-04-19 2006-04-19 注目度計測装置及び注目度計測システム Active JP4876687B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006115152A JP4876687B2 (ja) 2006-04-19 2006-04-19 注目度計測装置及び注目度計測システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006115152A JP4876687B2 (ja) 2006-04-19 2006-04-19 注目度計測装置及び注目度計測システム
US11/737,159 US7834912B2 (en) 2006-04-19 2007-04-19 Attention level measuring apparatus and an attention level measuring system

Publications (2)

Publication Number Publication Date
JP2007286995A JP2007286995A (ja) 2007-11-01
JP4876687B2 true JP4876687B2 (ja) 2012-02-15

Family

ID=38619097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006115152A Active JP4876687B2 (ja) 2006-04-19 2006-04-19 注目度計測装置及び注目度計測システム

Country Status (2)

Country Link
US (1) US7834912B2 (ja)
JP (1) JP4876687B2 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136789A (ja) * 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
JP4787180B2 (ja) * 2007-01-24 2011-10-05 富士フイルム株式会社 撮影装置及び撮影方法
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
JP2009140234A (ja) * 2007-12-06 2009-06-25 Yamaha Motor Co Ltd 自動販売機
JP2009140238A (ja) * 2007-12-06 2009-06-25 Zeo System:Kk 宣伝効果評価システムおよびそのシステムに適用される宣伝効果評価装置ならびにプログラムならびに広告訴求度測定装置
JP5231827B2 (ja) * 2008-02-04 2013-07-10 富士フイルム株式会社 画像表示装置、表示制御方法及び表示制御プログラム
JP5192842B2 (ja) * 2008-02-18 2013-05-08 株式会社日立製作所 注視商品データ取得方法および商品販売管理システム
JP4944055B2 (ja) * 2008-03-19 2012-05-30 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5103287B2 (ja) * 2008-06-10 2012-12-19 日本電信電話株式会社 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US20110208437A1 (en) * 2008-08-01 2011-08-25 The Mclean Hospital Corporation Method and apparatus for identifying a safe and efficacious dosing regimen
JP5396769B2 (ja) * 2008-08-04 2014-01-22 セイコーエプソン株式会社 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム
JP5208617B2 (ja) * 2008-08-11 2013-06-12 オリンパス株式会社 画像処理装置および画像処理プログラム
JP2010061218A (ja) * 2008-09-01 2010-03-18 Fujifilm Corp ウェブ広告効果測定装置、ウェブ広告効果測定方法及びプログラム
JP5113721B2 (ja) * 2008-10-30 2013-01-09 日本電信電話株式会社 メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体
JP2010170189A (ja) * 2009-01-20 2010-08-05 Denso Corp 車両用警告システム
JP4717934B2 (ja) * 2009-03-03 2011-07-06 日本たばこ産業株式会社 関係分析方法、関係分析プログラム、および、関係分析装置
JP2010211485A (ja) * 2009-03-10 2010-09-24 Nippon Telegr & Teleph Corp <Ntt> 注視度合測定装置、注視度合測定方法、注視度合測定プログラムおよびそのプログラムを記録した記録媒体
JP5096409B2 (ja) * 2009-05-13 2012-12-12 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
JP5299866B2 (ja) * 2009-05-19 2013-09-25 日立コンシューマエレクトロニクス株式会社 映像表示装置
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
JP5503432B2 (ja) * 2009-10-02 2014-05-28 花王株式会社 美容カウンセリングシステム
KR101644015B1 (ko) * 2009-11-27 2016-08-01 삼성전자주식회사 시스템과 다수 사용자 간의 대화 인터페이스 장치
CN102301316B (zh) * 2009-12-14 2015-07-22 松下电器(美国)知识产权公司 用户界面装置以及输入方法
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US8922480B1 (en) 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
US20110307216A1 (en) * 2010-06-10 2011-12-15 Optimetrics, Inc. Method for automated measurement of eye-tracking system random error
JP5325181B2 (ja) * 2010-08-26 2013-10-23 株式会社日立製作所 コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示システム
KR101231510B1 (ko) * 2010-10-11 2013-02-07 현대자동차주식회사 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
DE112011105445T5 (de) * 2011-07-11 2014-03-27 Toyota Jidosha Kabushiki Kaisha Rote-Augen-Bestimmungsvorrichtung
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
WO2013024667A1 (ja) * 2011-08-15 2013-02-21 日本電気株式会社 関心地点抽出装置、関心地点抽出方法、及びコンピュータ読み取り可能な記録媒体
US20130054377A1 (en) * 2011-08-30 2013-02-28 Nils Oliver Krahnstoever Person tracking and interactive advertising
US20130194389A1 (en) * 2012-01-31 2013-08-01 Ben Vaught Head-mounted display device to measure attentiveness
US9407961B2 (en) * 2012-09-14 2016-08-02 Intel Corporation Media stream selective decode based on window visibility state
EP2709060B1 (en) 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
JP6131429B2 (ja) * 2012-12-19 2017-05-24 三星電子株式会社Samsung Electronics Co.,Ltd. 情報処理装置、情報処理方法及びコンピュータプログラム
JP2014182452A (ja) * 2013-03-18 2014-09-29 Fujitsu Ltd 情報処理装置及びプログラム
US20140372209A1 (en) * 2013-06-14 2014-12-18 International Business Machines Corporation Real-time advertisement based on common point of attraction of different viewers
US9842423B2 (en) * 2013-07-08 2017-12-12 Qualcomm Incorporated Systems and methods for producing a three-dimensional face model
JP6142307B2 (ja) * 2013-09-27 2017-06-07 株式会社国際電気通信基礎技術研究所 注目対象推定システムならびにロボットおよび制御プログラム
JP6217373B2 (ja) 2013-12-13 2017-10-25 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
JP5836407B2 (ja) * 2014-02-05 2015-12-24 日本電信電話株式会社 広告表示制御方法、広告表示制御装置及びプログラム
US9189692B2 (en) * 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
JP6256165B2 (ja) * 2014-04-09 2018-01-10 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法
KR101684255B1 (ko) * 2014-05-08 2016-12-09 주식회사 유비케어 환자 맞춤형 광고 컨텐츠 제공 방법 및 환자 맞춤형 광고 컨텐츠 제공 장치
JP6447108B2 (ja) 2014-12-24 2019-01-09 富士通株式会社 利用可能性算出装置、利用可能性算出方法及び利用可能性算出プログラム
JP6525635B2 (ja) 2015-02-25 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2016175047A1 (ja) * 2015-04-28 2016-11-03 ソニー株式会社 情報処理端末、表示制御方法、およびプログラム
JP6561639B2 (ja) 2015-07-09 2019-08-21 富士通株式会社 関心度判定装置、関心度判定方法および関心度判定プログラム
JP6361714B2 (ja) * 2015-09-30 2018-07-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
US10137893B2 (en) * 2016-09-26 2018-11-27 Keith J. Hanna Combining driver alertness with advanced driver assistance systems (ADAS)
US20180365875A1 (en) * 2017-06-14 2018-12-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JPWO2019012654A1 (ja) * 2017-07-13 2020-03-19 日本電気株式会社 分析システム、分析方法及び記憶媒体
CN107679448B (zh) * 2017-08-17 2018-09-25 平安科技(深圳)有限公司 眼球动作分析方法、装置及存储介质
WO2020059277A1 (ja) * 2018-09-20 2020-03-26 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
JPH09179903A (ja) * 1995-12-23 1997-07-11 Nec Corp 仮想店舗図における商品情報分析システム
JPH09233471A (ja) * 1996-02-27 1997-09-05 Fujitsu Ltd 画像情報圧縮符号化装置
JP3800257B2 (ja) * 1996-08-02 2006-07-26 オムロン株式会社 注目情報計測方法及び装置並びにそれを用いた各種システム
EP1099343A4 (en) * 1998-05-13 2007-10-17 Infinite Pictures Inc Panoramic movies which simulate movement through multidimensional space
JP3489491B2 (ja) 1999-06-24 2004-01-19 日本電気株式会社 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体
US6904408B1 (en) * 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
JP2002373019A (ja) * 2001-06-14 2002-12-26 Toshiba Corp プラント監視装置
US20040205651A1 (en) * 2001-09-13 2004-10-14 International Business Machines Corporation Transferring information over a network related to the content of user's focus
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
JP2004252498A (ja) * 2002-12-24 2004-09-09 Hitachi Ltd 広告管理方法、携帯端末、プログラム、記録媒体、および広告配信サーバ
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP2006020131A (ja) 2004-07-02 2006-01-19 Nippon Telegr & Teleph Corp <Ntt> 関心度測定装置および関心度測定方法
JP2006065447A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
KR101112735B1 (ko) * 2005-04-08 2012-03-13 삼성전자주식회사 하이브리드 위치 추적 시스템을 이용한 입체 디스플레이장치
CA2622365A1 (en) * 2005-09-16 2007-09-13 Imotions-Emotion Technology A/S System and method for determining human emotion by analyzing eye properties

Also Published As

Publication number Publication date
US7834912B2 (en) 2010-11-16
JP2007286995A (ja) 2007-11-01
US20070247524A1 (en) 2007-10-25

Similar Documents

Publication Publication Date Title
CN104954736B (zh) 滞留状况分析装置、滞留状况分析系统及分析方法
US10365714B2 (en) System and method for dynamic content delivery based on gaze analytics
US9224037B2 (en) Apparatus and method for controlling presentation of information toward human object
KR101983337B1 (ko) 사람 추적 및 양방향 광고
US9483773B2 (en) Point of view shopper camera system with orientation sensor
Seer et al. Kinects and human kinetics: A new approach for studying pedestrian behavior
US8343067B2 (en) System and method for quantifying and mapping visual salience
Shreve et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain
Gill et al. A system for change detection and human recognition in voxel space using the Microsoft Kinect sensor
US9495068B2 (en) Three-dimensional user interface apparatus and three-dimensional operation method
EP2441383B1 (en) Gaze target determination device and gaze target determination method
EP2426645B1 (en) Presentation of information in an image of augmented reality
EP1431798B1 (en) Arbitrary object tracking in augmented reality applications
US8577087B2 (en) Adjusting a consumer experience based on a 3D captured image stream of a consumer response
JP5190560B2 (ja) コンテンツ出力装置、コンテンツ出力方法、コンテンツ出力プログラム、及びコンテンツ出力プログラムが記録された記録媒体
JP3800257B2 (ja) 注目情報計測方法及び装置並びにそれを用いた各種システム
TWI544447B (zh) 擴增實境的方法及系統
JP6055823B2 (ja) 監視カメラ制御装置及び映像監視システム
JP6159179B2 (ja) 画像処理装置、画像処理方法
US20140063256A1 (en) Queue group leader identification
Abtahi et al. YawDD: A yawning detection dataset
JP4198951B2 (ja) グループ属性推定方法及びグループ属性推定装置
US8254633B1 (en) Method and system for finding correspondence between face camera views and behavior camera views
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP2019532532A (ja) プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111004

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111114

R151 Written notification of patent or utility model registration

Ref document number: 4876687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250