JP6724827B2 - 人物動向記録装置 - Google Patents

Description

本発明は、人物の行動と心理的な動きを記録・分析するための技術に関する。

飲食や商品販売などのサービスを提供する店舗では、顧客の満足度や関心の高さを常にリサーチし、顧客のニーズ及び店舗の問題点を正確に把握することが、健全な店舗運営にあたり極めて重要である。顧客満足や関心に影響を与える因子には様々なものがあり、例えば、店内の装飾やレイアウト、接客のタイミング、待ち時間、接客内容、商品のディスプレイ、店内の混み具合、特売情報などが挙げられる。しかも、個々人の嗜好や属性（性別、年代など）によって、影響の強い因子の種類や影響の大きさが異なり得る。従来、このような顧客ごとの満足や関心をリサーチする手法としては、アンケートが一般的であった。しかしながら、アンケートは回答者に負担を強いるため、回答率が低く、効率的なリサーチが難しいという課題がある。また、アンケートの回答は回答者が意図的にコントロールできてしまうため、客観的なリサーチ結果が得られている保証がない。

また特許文献１には、顧客満足度の向上や店舗の効率的な運営を図ることを目的として、接客において発生する各種の待ち時間を自動で記録するシステムが提案されている。具体的な仕組みは、店内に設置したカメラの映像とＰＯＳシステムの情報とから、顧客の入店・着席・注文・配膳・会計（退店）などのイベントを検知し、各イベントの発生時刻の差から、案内待ち時間・注文待ち時間・配膳待ち時間を自動で計算するというものである。このシステムによれば、顧客に負担を強いることなく客観的なデータが収集できるものの、リサーチ項目は待ち時間に限られ、顧客の満足や関心の高さやその変化を十分に評価することはできない。

特開２０１４−１４９６８５号公報

本発明は上記実情に鑑みなされたものであって、顧客の満足や関心の高さを客観的に評価するために有用なデータを、顧客に負担をかけることなく自動的に収集し記録するための技術を提供することを目的とする。

上記目的を達成するために、本発明では、動画像解析により、ある人物に生じたイベントとその人物の生理心理学的指標の時間的な変化を検出し、それらを対応付けたデータを記録する、という構成を採用する。

具体的には、本発明の第一態様は、対象エリアを撮影した動画像データを取得する画像取得部と、前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡する人物検出部と、前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するイベント検出部と、前記動画像データを解析することにより、前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出する生理心理学的指標検出部と、少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成する動向記録生成部と、を備えることを特徴とする
人物動向記録装置を提供する。

この構成によれば、ある人物に生じたイベントとその人物の生理心理学的指標の時間的な変化とを時間的に対応付けた動向記録データが自動で生成される。このような動向記録データを用いると、生理心理学的指標の傾向から顧客満足や関心の高さを客観的に評価することができる。また、生理心理学的指標の時間的な変化とイベントの発生時刻との関係から、顧客満足や関心度に良い／悪い影響を与えたイベントを推定することが容易となる。さらに、人物検出、イベント検出、生理心理学的指標検出のいずれの処理も動画像解析により行うので、顧客に身体的負担や心理的負担をかけることなく自動的に動向記録データを収集し記録することができる。

生理心理学的指標の時間的な変化に基づいて、前記人物の心理状態を推定した心理状態指標を算出する心理状態推定部をさらに備え、前記動向記録データは、前記心理状態推定部により算出された心理状態指標をさらに含むことが好ましい。この構成によれば、人物の心理状態を表す指標やその時間的な変化も自動で記録されるので、非常に有用なデータが得られる。このとき、前記心理状態推定部は、複数の生理心理学的指標を組み合わせて心理状態指標を算出することが好ましい。複数の生理心理学的指標を組み合わせることにより、心理状態の推定精度や信頼性の向上を期待できるからである。さらにこのとき、前記複数の生理心理学的指標は、前記人物が意識的にコントロール可能な生理心理学的指標と、前記人物が意識的にコントロール可能でない生理心理学的指標を含むとよい。意識的にコントロール可能でない生理心理学的指標を組み合わせることで、当該人物の心理状態を客観的かつ高信頼に算出することができる。心理状態指標としては、例えば、満足の大きさを表す満足度（充足度ともいう）、関心の高さを表す関心度（興味度、集中度ともいう）、快・不快の程度を表す快適度（快不快度ともいう）などがある。

生理心理学的指標の時間的な変化に基づいて、前記人物の満足度を推定する満足度推定部をさらに備え、前記動向記録データは、前記満足度推定部により推定された満足度の情報をさらに含むことが好ましい。また、生理心理学的指標の時間的な変化に基づいて、前記対象エリア内の対象に対する前記人物の関心度を推定する関心度推定部をさらに備え、前記動向記録データは、前記関心度推定部により推定された関心度の情報をさらに含んでもよい。これらの構成によれば、顧客満足や関心の高さの時間的な変化も自動で記録されるので、非常に有用なデータが得られる。

前記生理心理学的指標は、表情、笑顔度、単位時間あたりの脈拍数、単位時間あたりの瞬目数、及び、注視度のうち少なくとも１つの項目を含むことが好ましい。これらの指標は動画像ないし静止画像からある程度の信頼性をもって検出することができるからである。さらに、前記生理心理学的指標は、瞳孔径、眼球運動、単位時間あたりの呼吸数、体温、発汗、血流、血圧などの項目を含んでもよい。複数項目の生理心理学的指標を組み合わせて用いるとより好ましい。

前記動画像データを解析することにより、前記人物の属性を推定する属性推定部をさらに備え、前記動向記録データは、前記属性推定部により推定された属性の情報をさらに含むことが好ましい。これにより、人物の属性（例えば、年代、性別、体型など）ごとの傾向の違いを評価することができる。

前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、前記動向分析結果は、前記人物の追跡期間中に前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間軸上に表示する情報を含むことが好ましい。このような情報表示によれば、ある人物の行動（イベント）と生理心理学的指標の変化との因果関係を可視化することができる。

前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、前記動向分析結果は、複数の人物の前記動向記録データから計算された、前記生理心理学的指標及び／又は前記満足度の統計値を表示する情報を含むことが好ましい。また、前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、前記動向分析結果は、複数の人物の前記動向記録データから計算された、前記生理心理学的指標及び／又は前記関心度の統計値を表示する情報を含むことが好ましい。

前記対象エリア内に複数のサブエリアが設定されており、前記動向分析結果は、前記サブエリアごとに計算された前記統計値を表示する情報を含むことが好ましい。これにより、サブエリアごとの人気（顧客満足や関心の高さ）を評価することができる。

前記動画像データを解析することにより、前記人物の属性を推定する属性推定部をさらに備え、前記動向記録データは、前記属性推定部により推定された属性の情報をさらに含み、前記動向分析結果は、前記属性ごとに計算された前記統計値を表示する情報を含むことが好ましい。これにより、属性ごとに満足度や関心度の傾向を評価することができる。

前記動向分析結果は、イベントの種類ごとに計算された前記統計値を表示する情報を含むことが好ましい。これにより、イベントの種類ごとに満足度や関心度との因果関係を評価することができる。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する人物動向記録装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、人物動向記録方法もしくは人物動向記録装置の制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、顧客の満足や関心の高さを客観的に評価するために有用なデータを、顧客に負担をかけることなく自動的に収集し記録することができる。

図１は人物動向記録装置のハードウェア構成および機能構成を模式的に示すブロック図である。 図２は人物動向記録装置の設置例を示す図である。 図３は動向記録処理のフローチャートである。 図４は動向分析処理のフローチャートである。 図５Ａ〜図５Ｃは満足度推定の一例を示す図である。 図６は動向記録データの一例である。 図７は動向分析結果の表示例である。 図８は動向分析結果の表示例である。 図９は動向分析結果の表示例である。 図１０は動向分析結果の表示例である。 図１１はエリア分割の例である。 図１２は動向分析結果の表示例である。

本発明は、人物の動向（行動と心理的な動き）を自動で記録する技術に関し、特に、動画像解析によって、人物に生じたイベントとその人物の生理心理学的指標の時間的な変化
を検出し、それらを時間的に対応付けて記録する技術に関する。このような記録データは、顧客の満足や関心の高さを客観的に評価したり、顧客の満足や関心に影響を与えた因子を分析したりするのに有用である。本発明に係る技術は、例えば、顧客にサービスを提供する店舗や場において、顧客分析、顧客満足度調査、マーケティングリサーチ、問題点検出などを行うシステムに好ましく適用できる。

以下、ショッピングモール内の衣料品店において顧客の動向を記録するためのシステムに本発明を適用した場合の好ましい実施形態について説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（システム構成）
図１と図２を参照して、本発明の実施形態に係る人物動向記録装置の構成を説明する。図１は、人物動向記録装置１のハードウェア構成および機能構成を模式的に示すブロック図であり、図２は、衣料品店の店舗レイアウトと撮像装置１０の設置例を示す図である。

人物動向記録装置１は、主なハードウェア構成として、店舗内に設置される撮像装置１０と、撮像装置１０から取り込まれる動画像データを解析し顧客動向を記録する情報処理装置１１と、を有している。撮像装置１０と情報処理装置１１の間は有線又は無線により接続されている。

撮像装置１０は、店舗内の対象エリア２０を撮影して動画像データを取り込むためのデバイスである。対象エリア２０とは、顧客のモニタリングを行う範囲であり、例えば顧客が行動し得る範囲に基づいてあらかじめ設定される。撮像装置１０としては、モノクロ又はカラーのカメラを用いることができる。また撮像装置１０として、通常の可視光カメラに加えて、高感度（暗視）カメラ、赤外線カメラ、サーモグラフィなどの特殊なカメラを用いてもよい。撮像装置１０は、図２に示すように、店舗内の対象エリアを俯瞰するように天井や柱などに設置される。なお、図１及び図２では２台の撮像装置１０を示しているが、撮像装置１０の数は任意である。対象エリア２０を死角無く撮影できるように、撮像装置１０の必要台数や設置位置を設計することが好ましい。

情報処理装置１１は、撮像装置１０から取り込まれる動画像データを解析し、対象エリア２０内に存在する顧客の動向（行動と心理的な動き）を自動で検出・記録する機能を備える装置である。情報処理装置１１は、具体的な機能として、画像取得部１１０、人物検出部１１１、イベント検出部１１２、生理心理学的指標検出部１１３、満足度推定部１１４、関心度推定部１１５、属性推定部１１６、個人識別部１１７、動向記録生成部１１８、動向分析結果表示部１１９、記憶部１２０を有している。本実施形態の情報処理装置１１は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、出力デバイス（ディスプレイ、スピーカなど）、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置１１の各機能は、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、情報処理装置１１の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよいし、上記機能の一部をＡＳＩＣやＦＰＧＡのような回路で実行してもよい。

画像取得部１１０は、対象エリア２０を撮影した動画像データを撮像装置１０から取得する機能である。画像取得部１１０より入力された動画像データは一時的にメモリ又はストレージに記憶され、以後の人物検出、動向記録、動向分析などの処理に供される。

人物検出部１１１は、動画像データを解析することにより、対象エリア２０内で行動する人物を検出し追跡する機能である。人物検出部１１１は、動画像データのあるフレームの画像において未知の人物を検出した場合に、当該人物に対し一意の識別子（人物ＩＤと呼ぶ）を付与し、人物ＩＤに対応付けて当該人物の位置及び特徴を記憶する。そして、人物検出部１１１は、次フレーム以降、位置及び特徴が類似する人物を探索することにより、当該人物の追跡（トラッキング）を行う。本実施形態のように複数の撮像装置１０を用いる場合は、各撮像装置１０の撮像エリアの隣接関係をあらかじめ定義し、追跡ターゲットの探索範囲を隣接する撮像エリアまで拡げることで、対象エリア２０内を移動する人物を漏れなく追跡することができる。

人物検出及び人物追跡の具体的方法については従来から様々なアルゴリズムが提案されており、いずれのアルゴリズムを用いてもよい。例えば、Ｈａａｒ−ｌｉｋｅ特徴量やＨｏＧ特徴量を用いた識別器、Ｆａｓｔｅｒ Ｒ−ＣＮＮなどのＤｅｅｐ Ｌｅａｒｎｉｎｇを用いた識別器などを用いて、顔ないし人体を検出するアルゴリズムを好ましく利用できる。

イベント検出部１１２は、動画像データを解析することにより、人物の追跡期間中に当該人物に生じたイベント（事象）を検出する機能である。本明細書において「イベント」とは、人物の心理状態に影響を与え得る因子をいう。画像解析により検出可能であれば、どのようなイベントを検出対象としてもよい。衣料品店の例であれば、「店内に入った」、「商品を見た」、「店員から話しかけられた」、「商品を手に取った」、「試着した」、「特売品コーナーに来た」、「新着品のディスプレイを見た」、「混雑していた」、「他人とぶつかった」、「会計待ちの列に並んだ」、「会計を行った」、「店を出た」などが想定される。なお、どのようなイベントを検出対象とするかは、イベント検出部１１２にあらかじめ設定されているものとする。

イベント検出の具体的方法についても従来から様々なアルゴリズムが提案されており、いずれのアルゴリズムを用いてもよい。例えば、「店内に入った」、「試着した」、「特売品コーナーに来た」、「会計を行った」、「店を出た」などのイベントは、顧客が店内のどこにいるかを画像から認識することで、検出可能である。また、「商品を見た」、「新着品のディスプレイを見た」などのイベントは、顧客の顔向きや視線を画像から認識することで、検出可能である。また、「店員から話しかけられた」、「商品を手に取った」、「会計待ちの列に並んだ」などのイベントは、これらのイベントの教師データを用いてＤｅｅｐ Ｌｅａｒｎｉｎｇによる学習を行った識別器により検出可能である。また、「他人とぶつかった」、「混雑していた」などのイベントは、客の数、密度、客同士の距離などを画像から認識することで、検出可能である。

生理心理学的指標検出部１１３は、動画像データを解析することにより、人物の追跡期間中における当該人物の生理心理学的指標の時間的な変化を検出する機能である。本実施形態において、人の心理状態やその変化が生理的現象として表出することを生理心理学的反応と呼び、その生理心理学的反応を測定し定量化したものを生理心理学的指標と呼ぶ。生理心理学的反応は無意識に表出するものであるため、生理心理学的指標を観察することによりその人物の真の心理状態やその変化を客観的に捉えることが可能である。

生理心理学的指標には、例えば、表情、笑顔度、単位時間あたりの脈拍数（以下単に「脈拍数」と記す）、単位時間あたりの瞬目数（以下単に「瞬目数」と記す）、注視度（視線を特定の対象に向けている割合を表す指標）、瞳孔径、眼球運動、単位時間あたりの呼吸数、体温、発汗、血流、血圧などがある。これらのうち１つ以上の項目を用いればよい。本実施形態では、動画像ないし静止画像からの検出が比較的容易な、表情（喜び／真顔／嫌悪／悲しみ／驚きの５分類）、笑顔度［％］、脈拍数［ビート／分］、瞬目数［回／
分］、注視度［％］の５つの項目を用いることとする。これらの指標の検出方法についても従来から様々なアルゴリズムが提案されており、いずれのアルゴリズムを用いてもよい。例えば、表情及び笑顔度については、顔器官の形状、目・口の開閉度合、しわなどに基づいて推定する方法を用いることができる。脈拍については、顔（肌）の部分のＧｒｅｅｎ値の微小な変動を捉えることで検出することができる。瞬目（まばたき）は、目の形状や黒目の有無などに基づいて目つむり判定を行うことで検出することができる。注視度は、フレームごとに視線方向を推定し、ある対象を中心とする所定角度範囲内に視線が収まっている確率に基づいて計算することができる。なお、瞳孔径及び眼球運動については赤外線画像から検出する方法が、体温及び発汗についてはサーモグラフィ画像から検出する方法が、呼吸数、血流、及び血圧は動画像から検出する方法がそれぞれ知られており、これらの方法を用いて生理心理学的指標を取得することが可能である。

人物動向記録装置１は、上記のような生理心理学的指標の収集・記録に加え、生理心理学的指標の時間的な変化に基づいて当該人物の心理状態を推定した心理状態指標を算出する機能（この機能を心理状態推定部とよぶ）を有している。本実施形態では、心理状態推定部として、満足度推定部１１４と関心度推定部１１５の２つを設けている。

満足度推定部１１４は、生理心理学的指標の時間的な変化に基づいて、心理状態指標の一つである「満足度」を推定する機能である。本実施形態では時刻ｔにおける満足度Ｓ（ｔ）を式（１）のように定義し、笑顔度Ｓｍ（ｔ）と脈拍数ＰＲ（ｔ）の変化を基に満足度Ｓ（ｔ）を計算する。ただし、満足度の定義はこれに限られず、どのように算出しても構わない。

ここで、Ｓｍ（ｔ）は時刻ｔにおける笑顔度であり、ＰＲ（ｔ）は時刻ｔにおける脈拍数であり、ＰＲｍｉｎは時刻ｔを含む所定の期間（例えば５分〜１０分程度に設定すればよい）における脈拍数の最小値であり、ＰＲｍａｘは同期間における脈拍数の最大値である。式（１）のように、人がコントロール可能な指標（笑顔度）と意識的にコントロールすることが困難な指標（脈拍数）の２種類の指標から求めることで、満足度の値を客観的かつ高信頼に算出することができる。

関心度推定部１１５は、生理心理学的指標の時間的な変化に基づいて、対象エリア２０内のある対象に対する「関心度」を推定する機能である。関心度も心理状態指標の一つである。本実施形態では時刻ｔにおける関心度Ｉ（ｔ）を式（２）のように定義し、注視度Ａｔ（ｔ）と瞬目数ＢＦ（ｔ）の変化を基に関心度Ｉ（ｔ）を計算する。ただし、関心度の定義はこれに限られず、どのように算出しても構わない。

ここで、Ａｔ（ｔ）は時刻ｔにおける注視度であり、ＢＦ（ｔ）は時刻ｔにおける瞬目数であり、ＢＦｍｉｎは時刻ｔを含む所定の期間（例えば５分〜１０分程度に設定すればよい）における瞬目数の最小値であり、ＢＦｍａｘは同期間における瞬目数の最大値である。式（２）のように、人がコントロール可能な指標（注視度）と意識的にコントロールすることが困難な指標（瞬目数）の２種類の指標から求めることで、関心度の値を客観的かつ高信頼に算出することができる。

属性推定部１１６は、動画像データを解析することにより、人物の属性を推定する機能である。本実施形態では、属性として、年代（〜１０歳／１０〜２０歳／２０〜３０歳／３０〜４０歳／４０歳〜）、性別（男性／女性）、体型（痩せ／普通／太り）の３項目を推定する。属性推定の具体的方法についても従来から様々なアルゴリズムが提案されており、いずれのアルゴリズムを用いてもよい。

個人識別部１１７は、画像から検出された人物の個人識別を行うと共に、その人物に関する固有の情報を取得する機能である。個人識別の方法としては、いわゆる画像認識（顔認識）による方法と、その人が所持するＩＤカードなどから個人を特定する方法などがあり、いずれの方法を用いてもよい。ＩＤカードとしては、クレジットカード、電子マネーカード、ポイントカードなどがあり、例えば、個人識別部１１７は会計時に提示されたＩＤカードを読み取ることで、その人物を特定することができる。また、「人物に関する固有の情報」は、名前、住所、電話番号、メールアドレス、年齢、職業、勤務先、家族構成、購入履歴などである。

動向記録生成部１１８は、各機能部１１１〜１１７により得られた情報に基づき、人物ごとの動向記録データを生成する機能である。生成した動向記録データは、記憶部１２０又はクラウドサーバ（不図示）に保存される。動向記録データの詳細は後述する。

動向分析結果表示部１１９は、動向記録データに基づいて動向分析結果をディスプレイに表示する機能である。動向分析結果の表示例については後述する。

（動向記録処理）
次に、図３のフローチャートに沿って人物動向記録装置１による動向記録処理の具体例を説明する。図３に示す処理フローは、オンライン（リアルタイム）で、フレームごと又は所定時間おきに繰り返し実行されるものである。

まず、人物検出部１１１が、動画像データにおける直近のフレームを参照し、画像内に存在する人物を検出する（ステップＳ３０）。ステップＳ３１では、検出された人物のうちの一人が選択される（ここで選択された人物を「記録対象者」と呼ぶ）。人物検出部１１１は、記録対象者と既知の人物（過去のフレームで既に検出され、追跡中の人物）との同定を行い、記録対象者が追跡中の人物である場合は同じ人物ＩＤを付与し、未知の人物（初めて検出された人物）である場合は新しい人物ＩＤを付与する（ステップＳ３２）。そして、動向記録生成部１１８が、記録対象者の動向記録データに、直近のフレームの撮影時刻と記録対象者の位置情報を記録する（ステップＳ３３）。

次に、イベント検出部１１２は、動画像データにおける直近の１又は複数フレームを参照し、記録対象者に生じたイベントを検出する（ステップＳ３４）。イベント発生有りの場合（ステップＳ３５；ＹＥＳ）、動向記録生成部１１８は、記録対象者の動向記録データに、検出したイベントの情報を記録する（ステップＳ３６）。

また、生理心理学的指標検出部１１３は、動画像データにおける直近の１又は複数フレームを参照し、記録対象者の表情、笑顔度、脈拍数、瞬目数、注視度の４項目の指標を検出する（ステップＳ３７）。表情及び笑顔度は１フレームの画像から検出可能であり、脈拍数、瞬目数、注視度は複数フレームの動画像から検出可能である。そして、動向記録生成部１１８は、記録対象者の動向記録データに、各指標の値を記録する（ステップＳ３８）。

画像から検出された人物すべてに対しステップＳ３１〜Ｓ３８の処理を行ったら（ステ
ップＳ３９；ＮＯ）、動向記録処理を終了する。

（動向分析処理）
次に、図４のフローチャートに沿って人物動向記録装置１による動向分析処理の具体例を説明する。図４に示す処理フローは、ある人物の動向記録データが一定量蓄積された後、又は、ある人物の追跡が完了した後に、オフラインで、人物ごとに実行されるものである。以下、図４の処理の対象となる人物を分析対象者と呼ぶ。

ステップＳ４０では、属性推定部１１６が、動画像データを解析することによって、分析対象者の年代、性別、体型を推定する。また、個人識別部１１７が、分析対象者の個人識別を行い、個人識別に成功した場合にその分析対象者に固有の情報（例えば購入履歴など）を取得する（ステップＳ４１）。次に、満足度推定部１１４が、分析対象者の動向記録データから各時刻における満足度の値を算出する（ステップＳ４２）。

図５Ａ〜図５Ｃに満足度推定の一例を示す。図５Ａは分析対象者の笑顔度のグラフであり、横軸が時間［ｓｅｃ］、縦軸が笑顔度［％］を示す。図５Ｂは分析対象者の脈波の観測波形であり、横軸が時間［ｓｅｃ］、縦軸が顔部分のＧｒｅｅｎ値を示す。図５Ｃは図５Ｂから計算した脈拍数のグラフであり、横軸が時間［ｓｅｃ］、縦軸が脈拍数［ビート／分］を示す。この場合に、時刻ａにおける満足度Ｓ（ａ）は式（１）から、
Ｓ（ａ）＝８０×（９０−６０）／（９０−６０）＝８０［％］
と求まり、時刻ｂにおける満足度Ｓ（ｂ）は式（１）から、
Ｓ（ｂ）＝４０×（７０−６０）／（９０−６０）＝１３［％］
と求まる。

同様に、関心度推定部１１５が、分析対象者の動向記録データから各時刻における関心度の値を算出する（ステップＳ４３）。そして、動向記録生成部１１８が、ステップＳ４０〜Ｓ４３で得られた情報を、分析対象者の動向記録データに記録する（ステップＳ４４）。

図６は、人物Ｘに関する動向記録データの一例である。人物Ｘに生じたイベントと、人物Ｘから検出された生理心理学的指標（表情、笑顔度、脈拍数、瞬目数、注視度）の時間的な変化とが、時間的に対応付けられたデータとなっている。図６の動向記録データではさらに、人物Ｘの位置情報、及び、満足度と関心度の時間的な変化も対応付けられている。このような動向記録データが得られると、生理心理学的指標、満足度、注目度などの傾向から、顧客満足や関心の高さを把握することができる。また、それらの時間的な変化と、イベントの発生時刻との関係から、顧客満足や関心度に良い／悪い影響を与えたイベントを推定することが容易となる。

（分析結果表示例）
次に、動向分析結果表示部１１９による動向分析結果の好ましい表示例を説明する。

図７は、人物Ｘの追跡期間中に生じたイベントと、人物Ｘの生理心理学的指標の時間的な変化を同一時間軸上にプロットしたグラフである。また、図８は、人物Ｘの追跡期間中に生じたイベントと、人物Ｘの満足度及び関心度の時間的な変化を同一時間軸上にプロットしたグラフである。これらのグラフによれば、人物Ｘの入店から退店までの行動（イベント）と生理心理学的指標・満足度・関心度の変化との因果関係を可視化することができる。生理心理学的指標・満足度・関心度には人物Ｘの真の心理状態が表れていると考えられるため、図７や図８の動向分析結果を用いることで、商品陳列の良し悪し、接客の適切さなどを一定の信頼性をもって評価することができる。

図９は、店舗の見取り図上に、人物Ｘの移動ルート（破線）と、人物Ｘに生じたイベント（△）と、満足度及び関心度が高い値を示したポイント（◎、★）とを表示した例である。このような見取り図表示によれば、人物Ｘが店内のどこでどのような行動をとったときに、満足度や関心度が高まったか、という情報を得ることができる。

図１０は、人物Ｘの動向記録データの傾向を示す表示例である。図１０の例では、人物Ｘの属性（年代、性別、体型）、入店時刻と退店時刻と在店時間、在店中における５表情の割合、在店中における笑顔度の平均・最大値、在店中における脈拍数の平均・最大値・最小値・変動幅、在店中における瞬目数の平均・最大値・最小値・変動幅、在店中における注視度の平均・最大値、満足度の平均・最大値、関心度の平均・最大値などが示されている。このような統計データを確認することで、人物Ｘの動向やその傾向を総合的に把握することができる。

図７〜図１０においては、一人の人物の動向記録データのみを表示したが、動向分析結果表示部１１９は、複数の人物の動向記録データから、生理心理学的指標・満足度・関心度の統計値（平均値、最小値、最大値、中間値など）を計算し表示してもよい。例えば、図１１のように店舗内の対象エリアを４つのサブエリアＡ〜Ｄに分け、図１２のようにサブエリアごとの統計値を計算し表示してもよい。図１１のような統計的分析表示を用いることで、例えば、サブエリアごとに人気（顧客満足や関心の高さ）を評価したり、年代別、体型別の評価を行ったり、イベントごとに満足度や関心度との因果関係を評価したりすることができる。

（本実施形態の利点）
以上述べた本実施形態の人物動向記録装置によれば、ある人物に生じたイベントとその人物の生理心理学的指標の時間的な変化とを時間的に対応付けた動向記録データが自動で生成される。このような動向記録データを用いると、生理心理学的指標の傾向から顧客満足や関心の高さを客観的に評価することができる。また、生理心理学的指標の時間的な変化とイベントの発生時刻との関係から、顧客満足や関心度に良い／悪い影響を与えたイベントを推定することが容易となる。さらに、人物検出、イベント検出、生理心理学的指標検出のいずれの処理も動画像解析により行うので、顧客に身体的負担や心理的負担をかけることなく自動的に動向記録データを収集し記録することができる。

（その他）
上記実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上述した生理心理学的指標は一例であり、上述した指標とは異なる指標を収集してもよい。装置の簡単化・コスト低減の観点からは、動画像データからすべての情報を検出できることが望ましいが、指標によっては動画像データ以外の情報から抽出してもよい。例えば、サーモグラフィから得られる画像から人物の体温を測定してもよい。

１：人物動向記録装置、１０：撮像装置、１１：情報処理装置
１１０：画像取得部、１１１：人物検出部、１１２：イベント検出部、１１３：生理心理学的指標検出部、１１４：満足度推定部、１１５：関心度推定部、１１６：属性推定部、１１７：個人識別部、１１８：動向記録生成部、１１９：動向分析結果表示部、１２０：記憶部
２０：対象エリア

Claims (17)

1. 対象エリアを撮影した動画像データを取得する画像取得部と、
   前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡する人物検出部と、
   前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するイベント検出部と、
   前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出する生理心理学的指標検出部と、
   生理心理学的指標の時間的な変化に基づいて、前記人物の満足度を推定する満足度推定部と、
   少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化と、前記満足度推定部により推定された満足度の情報とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成する動向記録生成部と、
   を備えることを特徴とする人物動向記録装置。
2. 対象エリアを撮影した動画像データを取得する画像取得部と、
   前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡する人物検出部と、
   前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するイベント検出部と、
   前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出する生理心理学的指標検出部と、
   生理心理学的指標の時間的な変化に基づいて、前記対象エリア内の対象に対する前記人物の関心度を推定する関心度推定部と、
   少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化と、前記関心度推定部により推定された関心度の情報とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成する動向記録生成部と、
   を備えることを特徴とする人物動向記録装置。
3. 生理心理学的指標の時間的な変化に基づいて、前記人物の満足度を推定する満足度推定部をさらに備え、
   前記動向記録データは、前記満足度推定部により推定された満足度の情報をさらに含む
   ことを特徴とする請求項２に記載の人物動向記録装置。
4. 生理心理学的指標の時間的な変化に基づいて、前記人物の心理状態を推定した心理状態指標を算出する心理状態推定部をさらに備え、
   前記動向記録データは、前記心理状態推定部により算出された心理状態指標をさらに含む
   ことを特徴とする請求項１、２、３のうちいずれか１項に記載の人物動向記録装置。
5. 前記心理状態推定部は、複数の生理心理学的指標を組み合わせて心理状態指標を算出する
   ことを特徴とする請求項４に記載の人物動向記録装置。
6. 前記複数の生理心理学的指標は、前記人物が意識的にコントロール可能な生理心理学的指標と、前記人物が意識的にコントロール可能でない生理心理学的指標を含む
   ことを特徴とする請求項５に記載の人物動向記録装置。
7. 前記生理心理学的指標は、表情、笑顔度、単位時間あたりの脈拍数、単位時間あたりの瞬目数、注視度、瞳孔径、眼球運動、単位時間あたりの呼吸数、体温、発汗、血流、及び、血圧のうち少なくとも１つの項目を含む
   ことを特徴とする請求項１〜６のうちいずれか１項に記載の人物動向記録装置。
8. 前記動画像データを解析することにより、前記人物の属性を推定する属性推定部をさらに備え、
   前記動向記録データは、前記属性推定部により推定された属性の情報をさらに含む
   ことを特徴とする請求項１〜７のうちいずれか１項に記載の人物動向記録装置。
9. 前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、
   前記動向分析結果は、前記人物の追跡期間中に前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間軸上に表示する情報を含む
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の人物動向記録装置。
10. 前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、
    前記動向分析結果は、複数の人物の前記動向記録データから計算された、前記生理心理学的指標及び／又は前記満足度の統計値を表示する情報を含む
    ことを特徴とする請求項１又は３に記載の人物動向記録装置。
11. 前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、
    前記動向分析結果は、複数の人物の前記動向記録データから計算された、前記生理心理学的指標及び／又は前記関心度の統計値を表示する情報を含む
    ことを特徴とする請求項２又は３に記載の人物動向記録装置。
12. 前記対象エリア内に複数のサブエリアが設定されており、
    前記動向分析結果は、前記サブエリアごとに計算された前記統計値を表示する情報を含む
    ことを特徴とする請求項１０又は１１に記載の人物動向記録装置。
13. 前記動画像データを解析することにより、前記人物の属性を推定する属性推定部をさら
    に備え、
    前記動向記録データは、前記属性推定部により推定された属性の情報をさらに含み、
    前記動向分析結果は、前記属性ごとに計算された前記統計値を表示する情報を含む
    ことを特徴とする請求項１０〜１２のうちいずれか１項に記載の人物動向記録装置。
14. 前記動向分析結果は、イベントの種類ごとに計算された前記統計値を表示する情報を含む
    ことを特徴とする請求項１０〜１３のうちいずれか１項に記載の人物動向記録装置。
15. コンピュータにより、対象エリアを撮影した動画像データを取得するステップと、
    コンピュータにより前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡するステップと、
    コンピュータにより前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するステップと、
    コンピュータにより、前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出するステップと、
    コンピュータにより、生理心理学的指標の時間的な変化に基づいて、前記人物の満足度を推定するステップと、
    コンピュータにより、少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化と、推定された満足度の情報とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成し記憶装置に格納するステップと、
    を有することを特徴とする人物動向記録方法。
16. コンピュータにより、対象エリアを撮影した動画像データを取得するステップと、
    コンピュータにより前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡するステップと、
    コンピュータにより前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するステップと、
    コンピュータにより、前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出するステップと、
    コンピュータにより、生理心理学的指標の時間的な変化に基づいて、前記対象エリア内の対象に対する前記人物の関心度を推定するステップと、
    コンピュータにより、少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化と、推定された関心度の情報とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成し記憶装置に格納するステップと、
    を有することを特徴とする人物動向記録方法。
17. 請求項１５又は１６に記載の人物動向記録方法の各ステップをコンピュータに実行させるためのプログラム。

Images