JP5272214B2

JP5272214B2 - 広告効果指標測定装置、広告効果指標測定方法およびプログラム

Info

Publication number: JP5272214B2
Application number: JP2010105792A
Authority: JP
Inventors: 哲也杵渕; 慎吾安藤; 秀樹小池
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-04-30
Filing date: 2010-04-30
Publication date: 2013-08-28
Anticipated expiration: 2030-04-30
Also published as: JP2011233120A

Description

本発明は、広告効果指標測定装置、広告効果指標測定方法およびプログラムに関する。

従来、広告効果指標として、広告エリアの滞在人数（混雑度）、視聴人数、視聴時間、広告への注目の度合（注目率）などの値が広く用いられている。また、カメラを使ってこれら指標を画像処理により自動計測する方法が存在する（例えば、特許文献１、２参照）。特許文献１の方法では、広告エリアの混雑度を自動計測することができる。また、特許文献２の方法では、広告方向を向いている顔の数、すなわち広告を視聴していると思われる人数と、各顔のトラッキングから得られる注視時間を計測することができる。従って、視聴人数に加え、視聴時間を広告効果指標として算出することができる。さらに、特許文献１で計測される混雑度と、特許文献２で計測される視聴人数を用い、下記式（１）に従って注目率を算出することができる。

注目率（ｓ）（％）＝（視聴人数（ｓ）／混雑度（ｓ））×１００ …（１）
但し、（ｓ）は時刻ｓにおける値である。

特開２００９−２９４７５５号公報特開２００６−０６５４４７号公報

しかしながら、上記の方法は以下の問題がある。
特許文献１の方法で計測できるのは処理時点における瞬間の混雑度であるため、時間的な情報を含んだ広告効果指標を算出することができない。
特許文献２の方法では処理時点における瞬間の視聴人数に加え、各視聴者の視聴時間を測定することができる。しかし視聴時間を計測する際、各顔のトラッキングを行い、それぞれの顔毎に視聴時間を付与する方法であるため、トラッキングに失敗した場合には正しい値を出力することができない。またトラッキング処理のために全体的な処理速度が低下する。さらに、広告効果指標として２つの値（視聴人数と視聴時間）が出力されるが、これら２つの値をどのように組み合わせて広告効果として評価すべきなのか分からない。例えば、視聴人数が多くて視聴時間が短い場合と、視聴人数が少なく視聴時間が長い場合では、どちらがより広告効果が高かったのか、その定量評価が困難である。
更なる課題として、特許文献１の方法で計測される混雑度と、特許文献２の方法で計測される視聴人数から算出される注目率は、処理時点における瞬間の値であり、滞在時間や視聴時間といった時間的な情報を含んだ指標ではない。
以上のように、特許文献１、２の方法では、広告効果を効果的に定量化、可視化することはできない。

本発明は、このような事情を考慮してなされたものであり、その目的は、広告効果を効果的に定量化、可視化するための技術を提供することにある。

上述した課題を解決するために、本発明は、学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部とを備え、前記顔方向推定部は、前記属性識別用顔方向パラメータとして前記対象画像の被写体の顔の向いている方向を示すｙａｗ角およびｐｉｔｃｈ角を出力し、前記属性識別部は、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のそれぞれを、前記顔方向推定部から出力された前記ｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の前記属性識別器を２つ以上選択し、前記距離による重み付き平均を用いて、前記対象画像の被写体に係る識別結果を取得する属性識別装置から前記被写体の顔の向いている方向を入力し、所定の時間間隔において、該顔の向いている方向と、予め設定した広告媒体の方向とを比較し、前記顔の方向が前記広告媒体の方向である顔の数を前記広告媒体の視聴人数として計数する視聴人数計数手段と、
前記時間間隔において、前記広告媒体の視聴可能エリア内の滞在人数を計測する混雑度計測装置から前記滞在人数を入力する滞在人数入力手段とを備え、前記広告媒体の広告効果指標を測定する広告効果指標測定装置であって、前記滞在人数入力手段によって入力した前記滞在人数と、前記時間間隔とを乗算する第１の乗算手段と、前記第１の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって、前記広告効果指標として延べ滞在人秒を算出する延べ滞在人秒算出手段と、前記視聴人数計数手段によって計数した前記視聴人数と、前記時間間隔とを乗算する第２の乗算手段と、前記第２の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって延べ視聴人秒を算出する延べ視聴人秒算出手段と、前記延べ視聴人秒を前記延べ滞在人秒で除算することにより、前記広告効果指標として人秒ベースの注目率を算出して出力する人秒ベースの注目率算出手段とを備えることを特徴とする広告効果指標測定装置である。

上述した課題を解決するために、本発明は、学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部とを備え、前記学習用データ取得部は、前記顔画像データを多数の人物に予め提示して得られた前記顔画像データの被写体の主観年齢の割合を集計データした集計データを学習用データとして更に取得し、前記顔方向別属性識別器生成部は、所定の閾値に基づいて、集計データによって示される各主観年齢層の正解／不正解を判定し、複数の主観年齢層を正解と判定した場合に、正解と判定した主観年齢層における評価の割合に応じて重み付けした内分値、又は、上記評価の割合を等価とした内分値を教師信号として属性識別器に渡して、属性識別器を生成する属性識別装置から前記被写体の顔の向いている方向を入力し、所定の時間間隔において、該顔の向いている方向と、予め設定した広告媒体の方向とを比較し、前記顔の方向が前記広告媒体の方向である顔の数を前記広告媒体の視聴人数として計数する視聴人数計数手段と、前記時間間隔において、前記広告媒体の視聴可能エリア内の滞在人数を計測する混雑度計測装置から前記滞在人数を入力する滞在人数入力手段とを備え、前記広告媒体の広告効果指標を測定する広告効果指標測定装置であって、前記滞在人数入力手段によって入力した前記滞在人数と、前記時間間隔とを乗算する第１の乗算手段と、前記第１の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって、前記広告効果指標として延べ滞在人秒を算出する延べ滞在人秒算出手段と、前記視聴人数計数手段によって計数した前記視聴人数と、前記時間間隔とを乗算する第２の乗算手段と、前記第２の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって延べ視聴人秒を算出する延べ視聴人秒算出手段と、前記延べ視聴人秒を前記延べ滞在人秒で除算することにより、前記広告効果指標として人秒ベースの注目率を算出して出力する人秒ベースの注目率算出手段とを備えることを特徴とする広告効果指標測定装置である。

上述した課題を解決するために、本発明は、学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部とを備え、前記顔方向推定部は、前記属性識別用顔方向パラメータとして前記対象画像の被写体の顔の向いている方向を示すｙａｗ角およびｐｉｔｃｈ角を出力し、前記属性識別部は、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のそれぞれを、前記顔方向推定部から出力された前記ｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の前記属性識別器を２つ以上選択し、前記距離による重み付き平均を用いて、前記対象画像の被写体に係る識別結果を取得する属性識別装置から前記被写体の顔の向いている方向を入力し、所定の時間間隔において、該顔の向いている方向と、予め設定した広告媒体の方向とを比較し、前記顔の方向が前記広告媒体の方向である顔の数を前記広告媒体の視聴人数として計数する視聴人数計数手段と、前記時間間隔において、前記広告媒体の視聴可能エリア内の滞在人数を計測する混雑度計測装置から前記滞在人数を入力する滞在人数入力手段と、第１の乗算手段と、延べ滞在人秒算出手段と、第２の乗算手段と、延べ視聴人秒算出手段と、注目率算出手段とを備え、
前記広告媒体の広告効果指標を測定する広告効果指標測定装置における広告効果指標測定方法であって、前記第１の乗算手段が、前記滞在人数入力手段によって入力した前記滞在人数と、前記時間間隔とを乗算する第１の乗算ステップと、前記延べ滞在人秒算出手段が、前記第１の乗算ステップにおいて得られた各前記時間間隔の乗算値を単位時間分積算することによって、前記広告効果指標として延べ滞在人秒を算出する延べ滞在人秒算出ステップと、前記第２の乗算手段が、前記視聴人数計数ステップによって計数した前記視聴人数と、前記時間間隔とを乗算する第２の乗算ステップと、前記延べ視聴人秒算出手段が、前記第２の乗算ステップにおいて得られた各前記時間間隔の乗算値を単位時間分積算することによって延べ視聴人秒を算出する延べ視聴人秒算出ステップと、前記注目率算出手段が、前記延べ視聴人秒を前記延べ滞在人秒で除算することにより、前記広告効果指標として人秒ベースの注目率を算出して出力する人秒ベースの注目率算出ステップとを有することを特徴とする広告効果指標測定方法である。

上述した課題を解決するために、本発明は、コンピュータを、請求項１または２に記載の広告効果指標測定装置として機能させるための広告効果指標測定プログラムである。

本発明によれば、滞在時間で重みを付けて人数を集計した値であるＧＳＴ、注視時間で重みを付けて人数を集計した値であるＧＶＴ、人物属性別に集計した人物属性別ＧＶＴ、およびＧＶＴをＧＳＴで除算して得られる人秒ベースの注目率を算出し、これらを広告効果の指標として用いることで、広告効果を効果的に定量化、可視化することができる。

広告効果指標についての概念図である。本発明の実施形態による広告効果指標測定装置２４の構成例を示す構成図である。指標算出部２５の処理を説明する説明図である。指標算出部２５の処理を説明するための説明図である。指標算出部２５の処理を説明するための説明図である。性別と年代とを組み合わせた区分け方法の一例である。指標算出部２５の処理を説明するための説明図である。視聴人数測定装置１００の構成の一例を示す機能ブロック図である。認識用顔領域再検出部１２４の処理を説明するための説明図である。年齢層識別を説明するための説明図である。年齢層識別を説明するための説明した説明図である。視聴人数測定装置１００の動作の一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。図１は、広告効果指標についての概念図である。図１において、１は、例えば、テレビ、デジタルサイネージ、看板、ポスター、張り紙などの広告媒体（ディスプレイ）である。２は、広告媒体１を視聴できる範囲（以下、「広告視聴可能エリア」という）である。３は、広告媒体１を視聴している人物（以下、「視聴者」という）である。４は、広告媒体１を視聴していない人物（以下、「非視聴者」という）である。

各人物から伸びる矢印は、各人物の顔の向きを示し、実線の矢印は当該人物が広告方向を向いていることを表し、点線の矢印は当該人物が広告方向を向いていないことを表している。従って、図１の例の場合、広告視聴可能エリア２に８名滞在し、うち３名が視聴者３、うち５名が非視聴者４である。なお、図１の例の場合における従来の広告効果指標は、例えば、混雑度である滞在人数８名と視聴人数３名とを用いて、上記式（１）に従って注目率＝（３／８）×１００＝３７．５％と算出される。

図２は、本発明の実施形態による広告効果指標測定装置２４の構成例を示す構成図である。図２において、混雑度計測装置２０は、カメラ、センサーなどを用い、広告視聴可能エリア２の滞在人数を計測する。混雑度計測装置２０は、計測した滞在人数を混雑度２１として広告効果指標測定装置２４に出力する。混雑度計測装置２０は、例えば、特許文献１に記載の方法で実現可能である。

視聴人数計測装置２２は、カメラ、センサーなどを用い、広告媒体１を視聴した人数を計測する。視聴人数計測装置２２は、計測した人数を視聴人数２３として広告効果指標測定装置２４に出力する。視聴人数計測装置２２は、例えば、特許文献２に記載の方法で実現可能である。なお、特許文献２に記載の方法は、広告の方向を向いている顔の数を視聴人数とみなすものであり、本実施形態においても当該方法に基づいて説明する。

広告効果測定装置２４は、指標算出部２５を備える。広告効果測定装置２４の指標算出部２５は、混雑度計測装置２０から出力された混雑度２１と、視聴人数計測装置２２から出力された視聴人数２３に基づいて、広告効果を示す指標である広告効果指標２６を算出する。換言すれば、指標算出部２５は、混雑度２１と視聴人数２３とを広告効果指標２６に変換する。広告効果測定装置２４は、算出した広告効果指標２６を外部に出力する。

図３は、指標算出部２５の処理を説明する説明図である。具体的には、指標算出部２５の処理フロー図である。指標算出部２５は、指標算出処理として、混雑度２１と視聴人数２３とを入力し、広告効果指標２６を出力する。

例えば、指標算出部２５は、広告効果指標２６として、延べ滞在人秒（ＧＳＴ：ＧｒｏｓｓＳｔａｙｉｎｇＴｉｍｅ）３１を算出する。即ち、指標算出部２５は、広告媒体１の広告視聴可能エリア２内の滞在人数であって所定の時間間隔において計測又は集計された滞在人数（混雑度２１又は混雑度計測結果４０）と、上述の時間間隔とを乗算する第１の乗算手段と、当該第１の乗算手段において得られた各時間間隔の乗算値を単位時間分積算することによって、広告効果指標２６として延べ滞在人秒３１を算出する延べ滞在人秒算出手段とを備える。なお、指標算出部２５による延べ滞在人秒３１の算出処理の詳細は後述する。

また、指標算出部２５は、広告効果指標２６として、延べ視聴人秒（ＧＶＴ：ＧｒｏｓｓＶｉｅｗｉｎｇＴｉｍｅ）３２を算出する。即ち、指標算出部２５は、上述の時間間隔において計測又は集計された広告媒体の視聴人数（視聴人数２３又は視聴人数計測結果５０）と、上述の時間間隔とを乗算する第２の乗算手段と、当該第２の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって延べ視聴人秒３２を算出する延べ視聴人秒算出手段とを更に備える。なお、指標算出部２５による延べ視聴人秒３２の算出処理の詳細は後述する。

また、指標算出部２５は、広告効果指標２６として、人秒ベースの注目率３３を算出する。即ち、指標算出部２５は、上述の延べ視聴人秒算出手段によって算出された延べ視聴人秒３２を、上述の延べ滞在人秒算出手段によって算出された延べ滞在人秒３１で除算することにより、広告効果指標２６として人秒ベースの注目率３３を算出する人秒ベースの注目率算出手段とを更に備える。なお、指標算出部２５による人秒ベースの注目率３３の算出処理の詳細は後述する。

換言すれば、第１の乗算手段によって、広告媒体の広告視聴可能エリア内の滞在人数であって所定の時間間隔において計測又は集計された滞在人数と、上記時間間隔とを乗算する第１のステップを実行し、第２の乗算手段によって、上記時間間隔において計測又は集計された上記広告媒体の視聴人数と、上記時間間隔とを乗算する第２のステップを実行し、延べ滞在人秒算出手段によって、上記第１のステップにおいて得られた各上記時間間隔の乗算値を単位時間分積算して延べ滞在人秒を算出する第３のステップを実行し、延べ視聴人秒算出手段によって、上記第２のステップにおいて得られた各上記時間間隔の乗算値を単位時間分積算して延べ視聴人秒を算出する第４のステップを実行し、人秒ベースの注目率算出手段によって、上記延べ視聴人秒を上記延べ滞在人秒で除算することにより、上記広告効果指標として人秒ベースの注目率を算出する第５のステップとを実行する。

以下、図４を用いて、指標算出部２５による延べ滞在人秒の算出処理について説明する。図４は、指標算出部２５の処理を説明するための説明図である。図４（ａ）は、延べ滞在人秒の概念図である。図４（ａ）のグラフの横軸は時間[秒]、縦軸は混雑度[人数]である。黒丸は、一定又は任意の処理間隔で得られる混雑度計測結果４０である。なお、混雑度計測結果４０は、混雑度２１を集計して得られる情報である。ＧＳＴは、４（ａ）のグラフにおける斜線部分の面積によって表される量である。即ち、指標算出部２５は、当該処理時刻における混雑度計測結果４０と次の処理時刻迄の時間間隔とを掛け合わし、算出された値を単位時間内で積算することによってＧＳＴを算出する。

図４（ｂ）は、１時間単位のＧＳＴを算出例である。図４（ｂ）において、４Ａは、処理時刻（時：分：秒）である。図４（ｂ）の例では、０８：００：００から０９：００：００迄、１０分間隔で処理が実行されている。４Ｂは、混雑度計測結果４０である。４Ｃは、当該処理時刻から次の処理時刻迄の時間間隔[秒]である。図４（ｂ）の例では、６００秒である。４Ｄは、４Ｂと４Ｃを掛け算した値である。４Ｅは、１時間単位で算出されたＧＳＴ[人秒]である。例えば、０８時台のＧＳＴは、０８：００：００における４Ｄから、０９：００：００直前の処理時刻の４Ｄ（図４（ｂ）の例では０８：５０：００における４Ｄ）を積算して求められる。

よって、指標算出部２５は、０８時台のＧＳＴを、６０００＋１２３００＋１８０００＋５１００＋１２０００＋１８０００＝７１４００[人秒]と算出する。
以上のように、指標算出部２５は、第１の乗算手段によって、所定の時間間隔（図４（ｂ）の各４Ｃの値）において集計された滞在人数（図４（ｂ）の各４Ｂの値）と当該時間間隔とを乗算し、延べ滞在人秒算出手段によって、第１の乗算手段において得られた各時間間隔の乗算値（図４（ｂ）の各４Ｄの値）を単位時間（図４（ｂ）では１時間）分積算することによって、ＧＳＴ（図４（ｂ）の４Ｅの値）を算出する。
なお、ＧＳＴ算出の時間幅は、１時間に限られず、任意の時間、早朝、昼間、夕方、夜間、深夜、午前、午後、１日、１週間など種々の時間幅が考えられる。

ＧＳＴは、人数と時間の両方の概念を包含した指標であって、滞在時間で重みを付けて人数を計測した値である。従って、ＧＳＴを広告効果指標として用いることにより、個々人の滞在時間と全体的な人数といった複数の指標を、統合的な一つの指標として取り扱うことが可能となるため、効果的に、広告効果を定量化および可視化することができるようになる。

続いて、図５を用いて、指標算出部２５による延べ視聴人秒の算出処理について説明する。図５は、指標算出部２５の処理を説明するための説明図である。図５（ａ）は、延べ視聴人秒の概念図である。図６は、性別と年代とを組み合わせた区分け方法の一例である。図５（ａ）は、ＧＶＴの概念を説明した図である。図５（ａ）のグラフの横軸は時間[秒]、縦軸は視聴人数である。黒丸は、一定又は任意の処理間隔で得られる視聴人数計測結果５０である。なお、視聴人数計測結果５０は、視聴人数２２を集計して得られる情報である。ＧＶＴは、図５（ａ）のグラフにおける斜線部分の面積によって表される量である。即ち、指標算出部２５は、当該処理時刻における視聴人数計測結果５０と次の処理時刻迄の時間間隔とを掛け合わし、算出された値を単位時間内で積算することによってＧＶＴを算出する。

図５（ｂ）は、１時間単位のＧＶＴの算出例である。図５（ｂ）において、５Ａは、処理時刻（時：分：秒）である。図５（ｂ）の例では、０８：００：００から０９：００：００迄、１０分間隔で処理が実行されている。５Ｂは、視聴人数計測結果５０である。５Ｃは、当該処理時刻から次の処理時刻迄の時間間隔[秒]である。図５（ｂ）の例では、６００秒となる。

５Ｄは、５Ｂと５Ｃを掛け算した値である。５Ｅは、１時間単位で算出されたＧＶＴ[人秒]である。例えば、０８時台のＧＶＴは、０８：００：００における５Ｄから、０９：００：００直前の処理時刻の５Ｄ（図５（ｂ）の例では０８：５０：００における５Ｄ）を積算して求められる。

よって、指標算出部２５は、０８時台のＧＶＴを、６０００＋１６０００＋３６００＋２４００＋９６００＋１８０００＝４５６００[人秒]と算出する。
以上のように、指標算出部２５は、第２の乗算手段によって、所定の時間間隔（図５（ｂ）の各５Ｃの値）において集計された視聴人数（図５（ｂ）の各５Ｂの値）と当該時間間隔とを乗算し、延べ視聴人秒算出手段によって、第２の乗算手段において得られた各時間間隔の乗算値（図５（ｂ）の各５Ｄの値）を単位時間（図５（ｂ）では１時間）分積算することによって、ＧＶＴ（図５（ｂ）の５Ｅの値）を算出する。
なお、ＧＶＴ算出の時間幅は、１時間に限られず、任意の時間、早朝、昼間、夕方、夜間、深夜、午前、午後、１日、１週間など種々の時間幅が考えられる。

ＧＶＴは、視聴時間情報が含まれる指標であるが、上記説明したように各顔のトラッキング処理を必要とせずに算出可能である。ＧＶＴもＧＳＴと同様、人数と時間の両方の概念を包含した指標であって、注視時間で重みを付けて人数を計測した値である。従って、ＧＶＴを広告効果指標として用いることにより、個々人の注視時間と、顔の数、即ち全体的な人数といった複数の指標を、統合的な一つの指標として取り扱うことが可能となるため、効果的に、広告効果を定量化および可視化することができるようになる。

なお、指標算出部２５は、性別別、年代別、図６に示した性別と年代を組み合わせた区分け毎などの人物属性別の視聴人数を用いて、人物属性別にＧＶＴを算出してもよい。なお、上述のような人物属性別の視聴人数は、下記の参考文献１に記載の方法等を用いて、取得することができる。

（参考文献１）
“顔画像による自動性別・年代推定”瀧川えりな、細井聖、ＯＭＲＯＮＴＥＣＨＮＩＣＳＶｏｌ．４３Ｎｏ．１（通巻１４５号）２００３．

続いて、図７を用いて、指標算出部２５による人秒ベースの注目率の算出処理について説明する。図７は、指標算出部２５の処理を説明するための説明図である。指標算出部２５は、人秒ベースの注目率を算出する場合、上記式（１）に代えて、下記式（２）に従って、人秒ベースの注目率[人秒]を算出する。

人秒ベースの注目率[％]＝（ＧＶＴ／ＧＳＴ）×１００…（２）

人秒ベースの注目率は、上記式（２）に示すように、ＧＶＴをＧＳＴで除算して算出される。人秒ベースの注目率も、何人中、何人が広告を見ていたかを表す割合であって、ＧＳＴおよびＧＶＴを算出した際の時間単位毎に算出される。

図７（ａ）は、広告を視聴している人数等の推移を表している。図７（ａ）において、横軸は時間[秒]である。黒丸は、各時刻における広告視聴可能エリア２に存在する人物Ａ〜Ｊを表している。黒丸と黒丸とを結ぶ線、即ち、同一人物の異なる時刻を結ぶ線のうち、一重線は当該人物が非視聴者４であることを表し、二重線は当該人物が視聴者３であることを表している。即ち、人物Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｇ、Ｈ、Ｉは非視聴者４、人物Ｆ、Ｊは視聴者３である。なお、Ｊを除くＡ〜Ｉ９名は、時刻ｔ１において広告視聴可能エリア２に存在するが、時刻ｔ２〜時刻ｔ１０においては広告視聴可能エリア２に存在していないものとし、Ｊ１名、時刻ｔ１〜時刻ｔ１０において広告視聴可能エリア２に存在しているものとする。また、混雑度計測処理と視聴人数計測処理の処理タイミングは、ｔ１、ｔ２、…、ｔ１０の１秒間隔であるものとする。

図７（ｂ）は、上記の図７（ａ）の前提における、混雑度計測結果、顔向き推定結果および上記式（１）による注目率を表している。図７（ｂ）に示すように、時刻ｔ１〜時刻ｔ１０迄の１０秒間を時間単位としてＧＳＴとＧＶＴは、ＧＳＴ＝１９[人秒]、ＧＶＴ＝１０[人秒]となる。

よって、指標算出部２５は、上記式（２）に従って、当該時間単位の人秒ベースの注目率を、（１０／１９）×１００＝５２．６％（小数点第２位四捨五入）と算出する。
以上のように、指標算出部２５は、人秒ベースの注目率算出手段によって、延べ視聴人秒算出手段によって算出された延べ視聴人秒（図７（ａ）では１０）を、延べ滞在人秒算出手段によって算出された延べ滞在人秒（図７（ａ）では１９）で除算することにより、人秒ベースの注目率（図７（ａ）では５２．６）を算出する。なお、図４および図５の例では、所定の時間間隔は１０分、単位時間は１時間であったが、図７の例では、所定の時間間隔は１秒、単位時間は１０秒である。

人秒ベースの注目率は、人数に加えて滞在時間や視聴時間といった時間情報を含めて算出される指標であり、これら複数の値を統合的な一つの指標として扱うことが可能となり、広告効果の定量化、可視化が効果的となる。また、人秒ベースの注目率は、上記式（１）に従って算出される注目率の代表値に比べ、人間の直観に合致した値となる。
例えば、図７の例において、上記式（１）に従って算出される注目率の代表値に平均値を用いる方法を例とすると、時刻ｔ１〜時刻ｔ１０迄の１０秒間の注目率の代表値（平均値）は、（２０＋１００＋１００＋１００＋１００＋１００＋１００＋１００＋１００＋１００）／１０＝９２％であるが、一方、当該１０秒間の人秒ベースの注目率は、上述の如く、５２．６％である。代表値（平均値）は、１名の長時間視聴者（具体的にはＪ）の存在によって算出される時刻ｔ２〜時刻ｔ１０の注目率１００％の事例数に重み付けされ、比較的高い値となる。つまり、１名の長時間視聴者による注目率に代表値が引っ張られ、比較的高い値となるが、人秒ベースの注目率は、そのようにならない。よって、上記式（１）に従って算出される注目率の時間単位の代表値を算出する際などにおいて、当該代表値に代えて、人秒ベースの注目率を算出すれば、使用目途にも依るが、より人間の直観に合致した値を得ることができる。

以上、本実施形態によれば、人数と時間の両方の概念を含んだ指標である延べ滞在人秒（ＧＳＴ）、延べ視聴人秒（ＧＶＴ）、人物属性別ＧＶＴを算出することが可能となる。上記指標は、時間情報で重みを付けて人数を計測した値であるため、上記指標を広告効果指標として用いることにより、個々人の滞在時間と全体的な人数、あるいは個々人の注視時間と視聴者数、といった複数の指標を、統合的な一つの指標として扱うことが可能となり、広告効果の定量化、可視化が効果的となる。また、視聴時間を含む指標であるＧＶＴを算出する際、顔のトラッキングが不必要となる。ＧＳＴとＧＶＴから算出する人秒ベースの注目率も、人数と時間の両方の情報が含まれている指標となる。

なお、本実施形態においては、視聴人数を計測する方法として、特許文献２に記載の方法を適用できる旨、また、人物属性別の視聴人数を計測する方法として、参考文献１に記載の方法を適用できる旨を述べているが、視聴人数の計測方法および人物属性別の視聴人数の計測方法は、上記に限定されない。

以下、視聴人数の計測方法および人物属性別の視聴人数の計測方法の他の例を説明する。図８は、視聴人数測定装置１００の構成の一例を示す機能ブロック図である。図９は、認識用顔領域再検出部１２４の処理を説明するための説明図である。

視聴人数測定装置１００は、図８に示すように、学習処理部１１０および認識処理部１２０を備える。学習処理部１１０は、学習用データ取得部１１１、学習用顔領域検出部１１２、顔方向別属性識別器生成部１１３および顔方向別属性識別器記憶部１１４を備える。認識処理部１２０は、計測用画像データ取得部１２１、認識用顔領域検出部１２２、顔方向推定部１２３、認識用顔領域再検出部１２４、属性識別部１２５および結果出力部１２６を備える。

学習用データ取得部１１１は、学習用データとして、種々の方向から撮像された顔画像データ、上記顔画像データの被写体の顔方向を示す学習用顔方向パラメータ、被写体の属性データを取得する。学習用データ取得部１１１は、顔画像データを学習用顔領域検出部１１２に出力する。

また、学習用データ取得部１１１は、学習用顔方向パラメータ（例えば、ｙａｗ角の値、ｐｉｔｃｈ角の値など）を学習用データとして取得する。学習用データ取得部１１１は、学習用顔方向パラメータを、何れの顔画像データに係る学習用顔方向パラメータであるかわかる態様（顔画像データと学習用顔方向パラメータとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、学習用顔方向パラメータを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、学習用顔方向パラメータは、各顔画像データの撮像時に設定した顔方向を手作業で入力したものである。

また、学習用データ取得部１１１は、各顔画像データの被写体の属性データを学習用データとして取得する。学習用データ取得部１１１は、属性データを、何れの顔画像データに係る属性データであるかわかる態様（顔画像データと属性データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、属性データを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。

また、学習処理部１１０において、主観年齢層を識別する属性識別器を生成する場合、学習用データ取得部１１１は、主観年齢に係る集計データ（顔画像データを多数の人物に予め提示して得られた当該顔画像データの被写体の主観年齢の割合を集計した集計データ）を学習用データとして取得する。学習用データ取得部１１１は、集計データを、何れの顔画像データに係る集計データであるかわかる態様（顔画像データと集計データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、集計データを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、主観年齢層を識別する識別器を生成する場合の具体例などについては後述する

学習用顔領域検出部１１２は、学習用データ取得部１１１から顔画像データを取得し、顔画像データから顔領域を検出する。例えば、学習用顔領域検出部１１２は、確率的増分符号相関などの統計的手法（例えば、参考文献２参照）を利用し、顔領域を高速に検出してもよい。

（参考文献２）
「個体差のある対象の画像照合に適した確率的増分符号相関」三田雄志、金子敏充、堀修電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１６１４−１６２３，２００５．

顔領域を検出した学習用顔領域検出部１１２は、顔画像データから顔領域を切り出した画像（以下、「顔切出画像データ」という）を、何れの顔画像データに係る顔切出画像データであるかわかる態様（顔画像データと顔切出画像データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用顔領域検出部１１２は、顔切出画像データを、切り出し元の顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、学習処理部１１０の学習用顔領域検出部１１２は、認識処理部１２０の認識用顔領域検出部１２２に比べ、処理時間における制約は厳しくない。認識用顔領域検出部１２２は認識時に顔領域を検出するが、学習用顔領域検出部１１２は属性識別器の学習時に顔領域を検出するからである。

顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（学習用顔方向パラメータ、属性データ）を取得する。また、顔方向別属性識別器生成部１１３は、学習用顔領域検出部１１２から顔切出画像データを取得する。なお、学習用顔方向パラメータ、属性データおよび顔切出画像データは、何れも、それぞれが何れの顔画像データに係る情報であるか識別可能である。換言すれば、学習用顔方向パラメータ、属性データおよび顔切出画像データのぞれぞれは互いに対応付けられている。

また、学習処理部１１０において、主観年齢層を識別する属性識別器を生成する場合、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（集計データ）を取得する。なお、集計データは、何れも、それぞれが何れの顔画像データに係る情報であるか識別可能である。換言すれば、学習用顔方向パラメータ、属性データ、集計データおよび顔切出画像データのぞれぞれは互いに対応付けられている。

学習用データおよび顔切出画像データを取得した顔方向別属性識別器生成部１１３は、顔方向別に、属性識別器を生成する。例えば、顔方向別属性識別器生成部１１３は、男性か女性かを識別できる性別識別器などの属性識別器を顔方向別に生成する。

具体的には、顔方向別属性識別器生成部１１３は、学習用顔領域検出部１１２によって出力された顔切出画像データであって学習用顔方向パラメータが同一である複数の顔切出画像データと、当該複数の顔切出画像データそれぞれの属性データとに基づいて、被写体の顔方向別に、被写体の属性を識別する属性識別器を生成する。より詳細には、顔方向別属性識別器生成部１１３は、学習用顔方向パラメータの値が一致する顔切出画像データ（顔方向の一致する顔切出画像データ）を１つのグループとし、各グループ内の属性（各グループ内の顔切出画像データに対応する属性データに基づく属性）を教師信号として属性識別器に学習させる。顔方向別属性識別器生成部１１３は、全ての顔方向に対して当該処理を行うことによって、顔方向別の属性識別器を生成する。なお、顔方向別属性識別器生成部１１３は、学習用顔方向パラメータに基づいて、各属性識別器に顔方向に係る情報（例えば、ｙａｗ角およびｐｉｔｃｈ角の組合せ）を示すタグを付加する。

顔方向別属性識別器生成部１１３は、生成した全ての属性識別器を顔方向別属性識別器記憶部１１４に記憶する。なお、顔方向別属性識別器生成部１１３は、属性識別器の生成結果を管理し、全ての顔方向の属性識別器を生成したか否かを判断する。なお、顔方向別属性識別器生成部１１３が生成する属性識別器の種類は、２クラスを判別できるものであれば何でもよい。例えば、サポートベクトルマシンやフィードフォワード型ニューラルネットワークなどが代表的なところである。

また、主観年齢層を識別する識別器を生成する場合、顔方向別属性識別器生成部１１３は、所定の閾値に基づいて、集計データによって示される各主観年齢層（各クラス）の正解／不正解を判定し、複数の主観年齢層を正解と判定した場合に、正解と判定した主観年齢層における評価の頻度（正解と判定した各クラスに属すると評価した他者の割合）に応じて重み付けした内分値、又は、上記評価の割合を等価とした内分値を教師信号として属性識別器に渡して、属性識別器を生成する。

顔方向別属性識別器記憶部１１４は、メモリまたはＨＤＤであって、顔方向別属性識別器生成部１１３によって生成された全ての属性識別器を記録する。顔方向別属性識別器記憶部１１４に記憶された属性識別器は、属性識別部１２５からの要求に応じて属性識別部１２５に出力される。

計測用画像データ取得部１２１は、計測用画像データを取得する。なお、計測用画像データ取得部１２１が取得する計測用画像データは、視聴人数の計測用、又は、人物属性別の視聴人数の計測用の画像データである。計測用画像データ取得部１２１は、計測用画像データを認識用顔領域検出部１２２および認識用顔領域再検出部１２４に出力する。

認識用顔領域検出部１２２は、計測用画像データ取得部１２１から計測用画像データを取得し、計測用画像データから顔領域を検出する。例えば、認識用顔領域検出部１２２は、学習用顔領域検出部１１２と同様の手法を利用し、計測用画像データから顔領域を検出する。顔領域を検出した認識用顔領域検出部１２２は、計測用画像データから顔領域を切り出した顔切出画像データを顔方向推定部１２３に出力する。なお、認識処理部１２０の認識用顔領域検出部１２２は、学習処理部１１０の学習用顔領域検出部１１２に比べ、処理時間における制約は厳しい。学習用顔領域検出部１１２は属性識別器の学習時に顔領域を検出するが、認識用顔領域検出部１２２は認識時に顔領域を検出するからである。従って、確率的増分符号相関などの統計的手法を利用し、顔領域を高速に検出することが好ましい。

顔方向推定部１２３は、認識用顔領域検出部１２２から顔切出画像データを取得する。顔切出画像データを取得した顔方向推定部１２３は、認識用顔領域検出部１２２によって出力された顔切出画像データに基づいて、計測用画像の被写体の顔方向を推定し、被写体の顔方向を示す属性識別用顔方向パラメータを出力する。属性識別用顔方向パラメータは、例えば、ｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値に係るものである。スケール値とは、顔領域として検出される方形枠に対する顔の占める大きさ（例えば、ドット数）を定量的に算出したものである（例えば、ある基準値に対する相対値として表現してもよい）。

より詳細には、顔方向推定部１２３は、顔切出画像データから顔領域の明度パターンを検出し、検出した顔領域の明度パターンに基づいて、属性識別用顔方向パラメータを推定する。例えば、顔方向推定部１２３は、主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法（例えば、参考文献３参照）を利用し、高精度に、属性識別用顔方向パラメータを推定する。参考文献３参照の手法を利用することによって、学習していない顔方向を含む連続的な顔方向推定が可能となる。

（参考文献３）
「サポートベクトル回帰を用いた三次元物体の姿勢推定法」安藤慎吾，草地良規，鈴木章，荒川賢一電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８９−ＤＮｏ．８，ｐｐ．１８４０−１８４７，２００６．

顔方向を推定した顔方向推定部１２３は、ｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを認識用顔領域再検出部１２４に出力し、ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータを属性識別部１２５に出力する。

また、顔方向推定部１２３は、顔切出画像データ毎に推定した顔方向と、予め設定した広告方向とを比較し、顔方向が広告方向である顔切出画像データの数、即ち、視聴人数を計数する。視聴人数を計数した顔方向推定部１２３は、計数した視聴人数を結果出力部１２６に出力する。

また、顔方向推定部１２３は、上記比較の結果、顔方向が広告方向であるか否かを示す情報を、ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータに対応付けて、属性識別部１２５に出力してもよい。つまり、顔方向推定部１２３は、視聴者に係る属性識別用顔方向パラメータであるか、非視聴者に係る属性識別用顔方向パラメータであるかがわかる態様により、属性識別用顔方向パラメータを属性識別部１２５に出力してもよい。

認識用顔領域再検出部１２４は、計測用画像データ取得部１２１から計測用画像データを取得する。また、認識用顔領域再検出部１２４は、顔方向推定部１２３からｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを取得する。計測用画像データ、ｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを取得した認識用顔領域再検出部１２４は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）に基づいて、計測用画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する。具体的には、認識用顔領域再検出部１２４は、図９に示すように、ｒｏｌｌ角が０°かつスケール値が１になるように正規化されるように、計測用画像データから顔領域を切り出した顔切出画像データを出力する。つまり、認識用顔領域再検出部１２４は、回転や大きさの微妙なぶれを補正するために、再度、計測用画像データから顔領域を切り出した顔切出画像データを出力している。認識用顔領域再検出部１２４は、顔切出画像データを属性識別部１２５に出力する。

属性識別部１２５は、顔方向推定部１２３からｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータを取得する。また、属性識別部１２５は、認識用顔領域再検出部１２４から顔切出画像データを取得する。ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータ、顔切出画像データを取得した属性識別部１２５は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）に基づいて、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のなかから１または２以上の属性識別器を選択する。

属性識別部１２５による属性識別器の選択基準は種々の方法が考えられるが、本実施形態においては、属性識別部１２５は、基準基準１または選択基準２の何れかに従って属性識別器を選択する。
（選択基準１）
顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器がｙａｗ角とｐｉｔｃｈ角に関する２次元空間上に格子状に並べられていると想定し、ユークリッド距離による最近傍の属性識別器を１つ選択する。換言すれば、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のそれぞれを、顔方向推定部１２３から出力されたｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて最近傍の属性識別器を１つ選択する。
（選択基準２）
顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器がｙａｗ角とｐｉｔｃｈ角に関する２次元空間上に格子状に並べられていると想定し、ユークリッド距離による４近傍の識別器を選択する。換言すれば、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のそれぞれを、顔方向推定部１２３から出力されたｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の属性識別器を２つ以上選択する。

基準基準１に従って１つの属性識別器を選択した場合、属性識別部１２５は、当該選択した１つの属性識別器に、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、識別結果を得る。そして、属性識別部１２５は、当該識別結果を結果出力部１２６に出力する。

また、属性識別部１２５は、顔方向が広告方向であるか否かを示す情報を顔方向推定部１２３から取得した場合には、識別結果別の視聴者数、即ち、人物属性別の視聴人数を計数する。人物属性別の視聴人数を計数した属性識別部１２５は、計数した人物属性別の視聴人数を結果出力部１２６に出力する。

基準基準２に従って４つの属性識別器を選択した場合、属性識別部１２５は、当該選択した４つの属性識別器のそれぞれに、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、それぞれから識別結果を得る。そして、属性識別部１２５は、それぞれから取得した識別結果から最終的な識別結果を算出し（例えば、距離による重み付き平均を用いて計測用画像の被写体に係る最終的な識別結果を算出する）、最終的な識別結果を結果出力部１２６に出力する。
例えば、サポートベクトルマシン等では最後にｓｉｇｎ関数を乗じて１か−１の何れかを出力するが、本実施形態では、それぞれから取得した識別結果について、ｓｉｇｎ関数を乗じる前の数値を（一時的な）識別結果とし、デジタル画像の拡大などで用いられるバイリニア補間と同様の手法を用いて、それぞれの識別結果を重み付き平均する。次いで、ｓｉｇｎ関数をかけ、（最終的な）識別結果として結果出力部１２６に出力する。なお、バイキュービック補間のように５近傍以上の重み付き平均を利用した手法、スプライン補間などの、より高度な手法を利用可能であり、バリエーションは多彩である。

結果出力部１２６は、顔方向推定部１２３および属性識別部１２５から取得した情報を出力する。例えば、結果出力部１２６は、属性識別部１２５から識別結果である各人の属性情報を取得した場合には、当該属性情報を出力する。また、結果出力部１２６は、顔方向推定部１２３から視聴人数を取得した場合には、当該視聴人数を出力する。また、結果出力部１２６は、属性識別部１２５から人物属性別の視聴人数を取得した場合には、当該人物属性別の視聴人数を出力する。

続いて、図１０および図１１を用いて、年齢層識別において、主観年齢層を識別する属性識別器を生成する場合の具体例などについて説明する。図１０および図１１は、主観年齢層の概念を説明するための説明図である。図１０（ａ）に示すように、一人の顔画像に対し、多数の人物の主観年齢層を集計すると、複数のクラス（層）にばらつく可能性が高い。そのため、まず、主観年齢層で全体のａ％（ａはあらかじめ決定するパラメータ値）を超えるもクラスのみを正解とする。例えば、図１０（ｂ）に示す例では、２０歳〜３４歳のクラスおよび３５歳〜４９歳のクラスは正解とするが、１９歳以下のクラスおよび５０歳以上のクラスは不正解とする。

ところで、主観年齢層を分けるときのクラスの分け方も種々の分け方が考えられるが（例えば、図１０に示す方法やｎ十代毎に分ける方法）、通常、主観年齢層が３クラス以上となるような分け方を設定する。４クラスの主観年齢層（１９歳以下のクラス、２０歳〜３４歳のクラス、３５歳〜４９歳のクラス、５０歳以上のクラス）を設定する場合、例えば、図１１（ａ）のように、１９歳以下と２０歳以上を識別する属性識別器１、３４歳以下と３５歳以上を識別する属性識別器２、４９歳以下と５０歳以上を識別する属性識別器２をそれぞれ学習する。つまり、属性識別器１、２、３の識別結果を分析すれば、上記４クラスの主観年齢層に対応できる。各属性識別器は２クラスの年齢層（例えば、図１１（ａ）に示す属性識別器２の場合、３４歳以下のクラスと３５歳以上のクラス）を判別し、１か−１として出力する最も単純な識別器の組合せで構成可能である。

問題は、正解が２クラス以上発生する場合（例えば、図１０（ｂ）のような結果が出る顔画像の場合）の対処であるが、当該問題の対処としては、例えば、属性識別器を学習するために渡す教師信号として、下記式（３）に従って算出される内分値を与えるようにしてもよい。

内分値＝（Ｏ_Ｓ×Ｐ_Ｓ＋Ｏ_Ｂ×Ｐ_Ｂ）÷（Ｐ_Ｓ＋Ｐ_Ｂ）…（３）
但し、Ｏ_Ｓはある属性識別器Ｘにおいて小さい方の年齢層Ｓであると判別された場合の出力値、Ｏ_Ｂは当該属性識別器Ｘにおいて大きい方の年齢層Ｂであると判別された場合の出力値、Ｐ_Ｓは年齢層Ｓに含まれる最大の主観年齢層に属すると評価した他者の割合（頻度）、Ｐ_Ｂは年齢層Ｂに含まれる最小の主観年齢層に属すると評価した他者の割合（頻度である。

具体的には、属性識別器２の場合、図１１（ａ）に示すように、小さい方の年齢層Ｓ（３４歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（３５歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図１０（ａ）に示すように、年齢層Ｓ（３４歳以下のクラス）に含まれる最大の主観年齢層（２０〜３４歳のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．６、年齢層Ｂ（３５歳以上のクラス）に含まれる最小の主観年齢層（３５〜４９歳のクラス）に属すると評価した他者の頻度P_Ｂ＝０．３である。従って、属性識別器２に係る内分値（教師信号）は、上記式（３）に従って、図１１（ｂ）に示すように、（−１×０．６＋１×０．３）÷（０．６＋０．３）＝−０．３３３と算出される。

同様に、属性識別器１の場合、図１１（ａ）に示すように、小さい方の年齢層Ｓ（１９歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（２０歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図１０（ａ）に示すように、年齢層Ｓ（１９歳以下のクラス）に含まれる最大の主観年齢層（１９歳以下のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．１、年齢層Ｂ（２０歳以上のクラス）に含まれる最小の主観年齢層（２０〜３４歳のクラス）に属すると評価した他者の頻度P_Ｂ＝０．６である。従って、属性識別器１に係る内分値（教師信号）は、上記式（３）に従って、図１１（ｂ）に示すように、（−１×０．１＋１×０．６）÷（０．１＋０．６）＝０．７１４と算出される。

同様に、属性識別器３の場合、図１１（ａ）に示すように、小さい方の年齢層Ｓ（４９歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（５０歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図１０（ａ）に示すように、年齢層Ｓ（４９歳以下のクラス）に含まれる最大の主観年齢層（３５〜４９歳以下のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．３、年齢層Ｂ（５０歳以上のクラス）に含まれる最小の主観年齢層（５０歳以上のクラス）に属すると評価した他者の頻度P_Ｂ＝０である。従って、属性識別器３に係る内分値（教師信号）は、上記式（３）に従って、図１１（ｂ）に示すように、（−１×０．３＋１×０）÷（０．３＋０）＝−１と算出される。

また、より単純に、それぞれの頻度（割合）を等価と考え、下記式（４）に従って内分値を算出してもよい。即ち、上記式（３）において、Ｐ_Ｓ＝Ｐ_Ｂ＝０．５としてもよい。

内分値＝（Ｏ_Ｓ×０．５＋Ｏ_Ｂ×０．５）÷（０．５＋０．５）…（４）

なお、上記式（４）に従えば、例えば、属性識別器２に係る内分値（教師信号）は、（−１×０．５＋１×０．５）÷（０．５＋０．５）＝０と算出される。

なお、基礎実験等により、パラメータａを適切に設定すれば、クラス間が隣接せずに正解が２クラス以上発生するケースは稀であることが分かっている。そのため、複数の正解クラスが隣接しないケースは無視する。仮に、複数の正解クラスが隣接しないようなデータが出現した場合には、当該データを学習データから除外する。また、属性識別器から矛盾する結果（例えば、１９歳以下、かつ、３５歳以上であるという結果）が出力される可能性を否定できないため、矛盾した結果の出力されたときのルール（例えば、「常に、年齢が少ない方のクラスを優先して出力する」というようなルール）を予め設定しておくことよい。

続いて、図１２を用いて視聴人数測定装置１００の動作を説明する。図１２は、視聴人数測定装置１００の動作の一例を示すフローチャートである。図１２（ａ）に示すフローチャートは、学習処理部１１０の動作の流れである。図１２（ｂ）に示すフローチャートは、認識処理部１２０の動作の流れである。図１２（ｃ）に示すフローチャートは、顔方向別属性識別器生成部１１３が主観年代に係る教師信号を作成する場合の動作の流れである。

図１２（ａ）において、学習用データ取得部１１１は、学習用データ（顔画像データ、学習用顔方向パラメータ、属性データ、集計データ）を取得する（ステップＳ１１）。学習用データ取得部１１１は顔画像データを学習用顔領域検出部１１２に供給し、学習用顔方向パラメータおよび属性データを顔方向別属性識別器生成部１１３に供給する。

次いで、学習用顔領域検出部１１２は、顔画像データから顔領域を検出する（ステップＳ１２）。学習用顔領域検出部１１２は、顔切出画像データを顔方向別属性識別器生成部１１３に供給する。

次いで、顔方向別属性識別器生成部１１３は、属性識別器を生成する（ステップＳ１３）。具体的には、顔方向別属性識別器生成部１１３は、図１２（ｃ）のフローチャートを実行し、教師信号を用いて属性識別器を生成する。顔方向別属性識別器生成部１１３は、生成した属性識別器を顔方向別属性識別器記憶部１１４に記憶する（ステップＳ１４）。

次いで、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したか否かを判断する（ステップＳ１５）。顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成していないと判断した場合（ステップＳ１５：Ｎｏ）、ステップＳ１１に戻る。一方、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したと判断した場合（ステップＳ１５：Ｙｅｓ）、図１２（ａ）に示すフローチャートは終了する。

図１２（ｂ）において、計測用画像データ取得部１２１は、計測用画像データを取得する（ステップＳ２１）。計測用画像データ取得部１２１は、計測用画像データを認識用顔領域検出部１２２および認識用顔領域再検出部１２４に供給する。

次いで、認識用顔領域検出部１２２は、計測用画像データから顔領域を検出する（ステップＳ２２）。認識用顔領域検出部１２２は、顔切出画像データを顔方向推定部１２３に供給する。

次いで、顔方向推定部１２３は、認識用顔領域検出部１２２によって出力された顔切出画像データに基づいて、計測用画像の顔方向を推定する（ステップＳ２３）。顔方向推定部１２３は、計測用画像の被写体の顔方向を示す属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）を認識用顔領域再検出部１２４に供給し、計測用画像の被写体の顔方向を示す属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）を属性識別部１２５に供給する。

次いで、認識用顔領域再検出部１２４は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）に基づいて、計測用画像データから顔領域を再度切り出す（ステップＳ２４）。認識用顔領域再検出部１２４は、顔切出画像データを属性識別部１２５に供給する。

次いで、属性識別部１２５は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）に基づいて、顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器のなかから１または２以上の属性識別器を選択する（ステップＳ２５）。そして、属性識別部１２５は、選択した属性識別器に、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、識別結果を得る（ステップＳ２６）。結果出力部１２６では、属性識別部１２５から識別結果を取得し出力する（ステップＳ２７）。そして、図１２（ｂ）に示すフローチャートは終了する。

図１２（ｃ）において、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（集計データ）を取得する。具体的には、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から、例えば、図１０（ａ）に示すように、主観年齢層頻度データを取得する（ステップＳ３１）。

次いで、顔方向別属性識別器生成部１１３は、図１０（ｂ）に示すように、予め設定した閾値ａに基づいて、各クラスについて正解／不正解を判別する（ステップＳ３２）。顔方向別属性識別器生成部１１３は、正解になったクラスについて、主観年齢層頻度データにばらつきがある場合は、上述の如く、複数隣り合う正解クラス同士での頻度による重み付き内分値を算出し、教師信号を作成する（ステップＳ３３）（例えば図１１（ｂ）を参照）。

なお、図１０（ｂ）は２クラスに正解がまたがる場合を示しているが、３クラス以上に正解がまたがる場合でも、教師信号”−１”に該当する正解クラスの頻度の割合の合計値と、教師信号”１”に該当する正解クラスの頻度の割合の合計値とで内分値を容易に算出することができる。また、前述したが、頻度の割合を全て等価とし内分値を計算してもよい。なお、正解になったクラスについて、主観年齢層頻度データにばらつきがない場合は、通常通り適切に、１または−１を教師信号として各属性識別器に出力する。また、不正解になったクラスは無視する。

顔方向別属性識別器生成部１１３は、全ての人物の教師信号を作成したか否かを判断する（ステップＳ３４）。顔方向別属性識別器生成部１１３は、全ての人物の教師信号を作成していないと判断した場合（ステップＳ３４：Ｎｏ）、ステップＳ３１に戻る。一方、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したと判断した場合（ステップＳ３４：Ｙｅｓ）、図１２（ｃ）に示すフローチャートは終了する。

以上、視聴人数測定装置１００によれば、顔検出後に顔の姿勢を示すｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値を推定し、その結果をもとに入力画像から顔領域を再度切出すとともに、最も適切な識別器を１つ、あるいは複数個選択し、重み付き平均等を利用して結果を統合することにより、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。
また、適切な教師信号を算出して設定するため、主観年齢層を精度良く識別できるようになる。具体的には、年齢層識別においては、予め集計した主観年齢層の頻度分布を基に、ある閾値を通して正解／不正解を決定し、さらに、正解クラスの頻度の割合を重みとした内分値（正解と判定した各クラスに属すると評価した他者の割合を重みとした内分値）、または、頻度の割合を全て等価とした内分値を教師信号として識別器に渡すことによって、主観年齢層を精度良く識別できるようになる。

以上、視聴人数測定装置１００によれば、顔検出後に顔の姿勢を示すｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値を推定し、その結果をもとに入力画像から顔領域を再度切出すとともに、最も適切な識別器を１つ、あるいは複数個選択し、重み付き平均等を利用して結果を統合することにより、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。
また、視聴人数測定装置１００によれば、適切な教師信号を算出して設定するため、主観年齢層を精度良く識別できるようになる。具体的には、年齢層識別においては、予め集計した主観年齢層の頻度分布を基に、ある閾値を通して正解／不正解を決定し、さらに、正解クラスの頻度の割合を重みとした内分値（正解と判定した各クラスに属すると評価した他者の割合を重みとした内分値）、または、頻度の割合を全て等価とした内分値を教師信号として識別器に渡すことによって、主観年齢層を精度良く識別できるようになる。
また、視聴人数測定装置１００によれば、上記に加え、視聴人数の計測方法および人物属性別の視聴人数を計測し、広告効果指標測定装置２４に出力することができる。また、広告効果指標測定装置２４に視聴人数測定装置１００の何れか一部又は全部の機能を組み込んでもよい。例えば、広告効果指標測定装置２４に、認識処理部１２０の機能を組み込んでもよい。

なお、本発明の一実施形態による広告効果指標測定装置２４の指標算出部２５の処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による指標算出部２５の処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、視聴人数測定装置１００の処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、視聴人数測定装置１００の処理に係る上述した種々の処理を行ってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

1…広告媒体
２…広告視聴可能エリア
３…視聴者
４…非視聴者
２４…広告効果指標測定装置
２５…指標算出部
１００…視聴人数測定装置
１１０…学習処理部
１１１…学習用データ取得部
１１２…学習用顔領域検出部
１１３…顔方向別属性識別器生成部
１１４…顔方向別属性識別器記憶部
１２０…認識処理部
１２１…計測用画像データ取得部
１２２…認識用顔領域検出部
１２３…顔方向推定部
１２４…認識用顔領域再検出部
１２５…属性識別部
１２６…結果出力部

Claims

学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部とを備え、前記顔方向推定部は、前記属性識別用顔方向パラメータとして前記対象画像の被写体の顔の向いている方向を示すｙａｗ角およびｐｉｔｃｈ角を出力し、前記属性識別部は、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のそれぞれを、前記顔方向推定部から出力された前記ｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の前記属性識別器を２つ以上選択し、前記距離による重み付き平均を用いて、前記対象画像の被写体に係る識別結果を取得する属性識別装置から前記被写体の顔の向いている方向を入力し、所定の時間間隔において、該顔の向いている方向と、予め設定した広告媒体の方向とを比較し、前記顔の方向が前記広告媒体の方向である顔の数を前記広告媒体の視聴人数として計数する視聴人数計数手段と、
前記時間間隔において、前記広告媒体の視聴可能エリア内の滞在人数を計測する混雑度計測装置から前記滞在人数を入力する滞在人数入力手段とを備え、
前記広告媒体の広告効果指標を測定する広告効果指標測定装置であって、
前記滞在人数入力手段によって入力した前記滞在人数と、前記時間間隔とを乗算する第１の乗算手段と、
前記第１の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって、前記広告効果指標として延べ滞在人秒を算出する延べ滞在人秒算出手段と、
前記視聴人数計数手段によって計数した前記視聴人数と、前記時間間隔とを乗算する第２の乗算手段と、
前記第２の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって延べ視聴人秒を算出する延べ視聴人秒算出手段と、
前記延べ視聴人秒を前記延べ滞在人秒で除算することにより、前記広告効果指標として人秒ベースの注目率を算出して出力する人秒ベースの注目率算出手段と
を備えることを特徴とする広告効果指標測定装置。
学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部とを備え、前記学習用データ取得部は、前記顔画像データを多数の人物に予め提示して得られた前記顔画像データの被写体の主観年齢の割合を集計データした集計データを学習用データとして更に取得し、前記顔方向別属性識別器生成部は、所定の閾値に基づいて、集計データによって示される各主観年齢層の正解／不正解を判定し、複数の主観年齢層を正解と判定した場合に、正解と判定した主観年齢層における評価の割合に応じて重み付けした内分値、又は、上記評価の割合を等価とした内分値を教師信号として属性識別器に渡して、属性識別器を生成する属性識別装置から前記被写体の顔の向いている方向を入力し、所定の時間間隔において、該顔の向いている方向と、予め設定した広告媒体の方向とを比較し、前記顔の方向が前記広告媒体の方向である顔の数を前記広告媒体の視聴人数として計数する視聴人数計数手段と、
前記時間間隔において、前記広告媒体の視聴可能エリア内の滞在人数を計測する混雑度計測装置から前記滞在人数を入力する滞在人数入力手段とを備え、
前記広告媒体の広告効果指標を測定する広告効果指標測定装置であって、
前記滞在人数入力手段によって入力した前記滞在人数と、前記時間間隔とを乗算する第１の乗算手段と、
前記第１の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって、前記広告効果指標として延べ滞在人秒を算出する延べ滞在人秒算出手段と、
前記視聴人数計数手段によって計数した前記視聴人数と、前記時間間隔とを乗算する第２の乗算手段と、
前記第２の乗算手段において得られた各前記時間間隔の乗算値を単位時間分積算することによって延べ視聴人秒を算出する延べ視聴人秒算出手段と、
前記延べ視聴人秒を前記延べ滞在人秒で除算することにより、前記広告効果指標として人秒ベースの注目率を算出して出力する人秒ベースの注目率算出手段と
を備えることを特徴とする広告効果指標測定装置。
学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部とを備え、前記顔方向推定部は、前記属性識別用顔方向パラメータとして前記対象画像の被写体の顔の向いている方向を示すｙａｗ角およびｐｉｔｃｈ角を出力し、前記属性識別部は、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のそれぞれを、前記顔方向推定部から出力された前記ｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の前記属性識別器を２つ以上選択し、前記距離による重み付き平均を用いて、前記対象画像の被写体に係る識別結果を取得する属性識別装置から前記被写体の顔の向いている方向を入力し、所定の時間間隔において、該顔の向いている方向と、予め設定した広告媒体の方向とを比較し、前記顔の方向が前記広告媒体の方向である顔の数を前記広告媒体の視聴人数として計数する視聴人数計数手段と、前記時間間隔において、前記広告媒体の視聴可能エリア内の滞在人数を計測する混雑度計測装置から前記滞在人数を入力する滞在人数入力手段と、第１の乗算手段と、延べ滞在人秒算出手段と、第２の乗算手段と、延べ視聴人秒算出手段と、注目率算出手段とを備え、
前記広告媒体の広告効果指標を測定する広告効果指標測定装置における広告効果指標測定方法であって、
前記第１の乗算手段が、前記滞在人数入力手段によって入力した前記滞在人数と、前記時間間隔とを乗算する第１の乗算ステップと、
前記延べ滞在人秒算出手段が、前記第１の乗算ステップにおいて得られた各前記時間間隔の乗算値を単位時間分積算することによって、前記広告効果指標として延べ滞在人秒を算出する延べ滞在人秒算出ステップと、
前記第２の乗算手段が、前記視聴人数計数ステップによって計数した前記視聴人数と、前記時間間隔とを乗算する第２の乗算ステップと、
前記延べ視聴人秒算出手段が、前記第２の乗算ステップにおいて得られた各前記時間間隔の乗算値を単位時間分積算することによって延べ視聴人秒を算出する延べ視聴人秒算出ステップと、
前記注目率算出手段が、前記延べ視聴人秒を前記延べ滞在人秒で除算することにより、前記広告効果指標として人秒ベースの注目率を算出して出力する人秒ベースの注目率算出ステップと
を有することを特徴とする広告効果指標測定方法。
コンピュータを、請求項１または２に記載の広告効果指標測定装置として機能させるための広告効果指標測定プログラム。