JP5113721B2 - メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、人物顔検出・姿勢推定手法を利用して撮像装置の撮像画像からメディア情報の注目度を測定する技術に関する。

近年、“ディジタルサイネージ”と呼ばれる、屋外や店頭、交通機関など一般家庭以外の場所においてディスプレイなどの電子的な表示器を使って、メディア情報（画像メディアや映像メディア）を配信する形態が普及し始めている。この新しい配信形態は、特に広告情報として有益である。

すなわち、ネットワークと連携することで広告主が、最新情報をリアルタイムに発信・更新できるため、従来の広告形態よりも費用対効果が高く、これに伴って広告効果を客観的に測定する技術が強く求められている。

広告効果を客観的に測定する方法としては、特許文献１に記載の方法が知られている。この測定方法は、メディア側にカメラを設置し、カメラに映った人物を輪郭情報等に基づき抽出して、その抽出された数をメディアへの注目度合いとして評価しその評価値を集計するものである。これに例えば非特許文献１の顔検出技術などを組み合わせることで、より精確な注目度合いを計測することができる。また、顔の姿勢を高精度に推定する方法としては、例えば非特許文献２に記載の方法が提案されている。
特許第３７５７５８４号公報 三田雄志，金子敏充，堀修，"個体差のある対象の画像照合に適した確率的増分符号相関" 電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１６１４−１６２３，（株）電子情報通信学会 ２００５ 安藤慎吾，草地良規，鈴木章，荒川賢一，"サポートベクトル回帰を用いた三次元物体の姿勢推定法"，電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８ ｐｐ．１８４０−１８４７，（株）電子情報通信学会 ２００６

しかしながら、一般に知られている顔検出手法は顔の向きや照明変動等に影響されやすいだけでなく、顔と似たパターンにも反応しやすいため、一時的に背景から顔として誤検出される場合（以下、過検出という。）や、逆に一時的に顔が検出できなくなる場合（以下、検出漏れという。）が生じることが少なくない。

したがって、過検出や検出漏れに起因して評価集計値にノイズが混入し、不正確な集計結果となるおそれがある。すなわち、過検出が生じると人数が実際より多くカウントされてしまう。一方、検出漏れが生じると人数が実際より少なくカウントされることや、異なるフレームで一時的に顔をロストし、ロスト時点の前後で同一人物が別の人と判断され、同一人物が二以上と誤って多めにカウントされるおそれもある。

この問題は、人物トラッキング技術等を単純に導入しただけでは解決することはできない。なぜなら、トラッキングでは検出結果を訂正する（例えば、後から削除するなど）といった操作は含まれないからである。

本発明は、従来の前記問題に鑑みてなされたものであり、精度の高い注目指標を算出してメディア情報の注目度を測定する技術を提供することを解決課題としている。

そこで、前記課題を解決するため、請求項１記載の発明は、メディア情報を表示する表示器機の周囲を撮像装置で撮像した画像から、該メディア情報の注目度を測定する装置であって、前記撮像装置より連続的に入力されたフレームから顔の存在する領域を検出し、検出顔情報として該顔領域の検出位置・大きさ・顔らしさの類似度・検出時刻を取得する顔領域検出手段と、前記顔領域検出手段の検出した顔領域をもとに顔の姿勢を表すパラメータを推定する顔姿勢推定手段と、前フレームの顔領域と現フレームの顔領域とを、前記検出顔情報および前記パラメータを用いて対応付け、該現フレームの顔領域の状態を判別する状態判別手段と、前記対応付けられた前フレームの顔領域が持つ検出ＩＤおよび注視時間に基づき現フレームでの検出ＩＤと注視時間とを付与する情報付与手段と、前記各手段の処理結果のログのいずれか／すべてを演算して注目指標を算出する注目指標集計手段と、を備え、前記顔姿勢推定手段は、メディア情報に対して顔の正面を０度とした指定角度のｙａｗ角（左右方向の角度）およびｐｉｔｃｈ角（上下方向の角度）を前記パラメータとして取得し、前記注目指標集計手段は、前記顔姿勢推定手段が前記パラメータとして取得したｙａｗ角とｐｉｔｃｈ角の少なくとも一方の角度の余弦関数を用いた重み値に前記情報付与手段が付与した注視時間を掛け合わせて前記注目指標を算出することを特徴としている。

請求項２記載の発明は、前記状態判別手段は、前記顔状態を事前に定義された複数タイプのいずれかとして判別することを特徴としている。

請求項３記載の発明は、前記状態判別手段は、前記パラメータが指定範囲内であるか否かを基準に前記顔状態を判別することを特徴としている。

請求項４記載の発明は、メディア情報を表示する表示器機の周囲を撮像装置で撮像した画像から、該メディア情報の注目度を測定する方法であって、顔領域検出手段が、前記撮像装置より連続的に入力されたフレームから顔の存在する領域を検出し、検出顔情報として該顔領域の検出位置・大きさ・顔らしさの類似度・検出時刻を取得する第１ステップと、顔姿勢推定手段が、前記第１ステップで検出した顔領域をもとに顔の姿勢を表すパラメータを推定する第２ステップと、状態判別手段が、前フレームの顔領域と現フレームの顔領域とを、前記検出顔情報および前記パラメータを用いて対応付け、該現フレームの顔領域の状態を判別する第３ステップと、情報付与手段が、前記対応付けられた前フレームの顔領域が持つ検出ＩＤおよび注視時間に基づき現フレームでの検出ＩＤと注視時間とを付与する第４ステップと、注目指標集計手段が、前記各手段の処理結果のログのいずれか／すべてを演算して注目指標を算出する第５ステップと、を有し、前記第２ステップは、メディア情報に対して顔の正面を０度とした指定角度のｙａｗ角（左右方向の角度）およびｐｉｔｃｈ角（上下方向の角度）を前記パラメータとして取得し、前記第５ステップは、前記第２ステップで前記パラメータとして取得したｙａｗ角とｐｉｔｃｈ角の少なくとも一方の角度の余弦関数を用いた重み値に前記第４ステップで付与した注視時間を掛け合わせて前記注目指標を算出することを特徴としている。

請求項５記載の発明は、前記第３ステップにおいて前記顔状態を事前に定義された複数タイプのいずれかとして判別することを特徴としている。

請求項６記載の発明は、前記第３ステップにおいて、前記パラメータが指定範囲内であるか否かを基準に前記顔状態を判別することを特徴としている。

請求項７記載の発明は、請求項４〜６のいずれか１項に記載の注目度測定方法の各ステップをコンピュータに実行させることを特徴とするメディア情報の注目度測定プログラムに関する。

請求項８記載の発明は、請求項７に記載されたメディア情報の注目度測定プログラムを格納したことを特徴とする記録媒体に関する。

請求項１〜８記載の発明によれば、注目指標には各ログの記録内容が版せいていることから、集計結果にメディア情報の注目度が定量的に表され、これにより過検出や誤検出が防止され、検出精度が向上する。特に、メディア情報を見ていた人の顔の向きおよび見ていた時間を考慮した注目度指標を定量的に算出可能となる。また、検出された顔領域の顔の向きが一定値を超えている場合はメディア情報を見ていないと推定し、その結果を用いてメディア情報を見ていた人の割合を算出することもできる。

請求項２．５記載の発明によれば、顔状態をタイプ別に定義し、その状態遷移から顔検出状態を判定・集計することでも、過検出や誤検出の弊害が防止される。

以下、図面に基づき本発明の実施形態を説明する。ここでは本発明の注目度測定装置が広告メディアの広告効果を測定する装置に応用されている。もっとも、本発明は、前記広告効果測定装置に限定されるものではなく、測定対象メディアや装置構成などは各請求項に記載した範囲内にて各種に変更される。

具体的には、前記広告効果測定装置は、広告メディアを注視している時間・顔検出位置・大きさ・顔類似度・顔姿勢パラメータを測定し、広告効果の指標として（１）決められた期間内（例えば１日）又は特定コンテンツにおける任意時間以上注視した人物の数や、（２）顔検出位置・大きさ・顔類似度・顔姿勢パラメータ・注視時間のいずれか／すべての演算によって算出される値を計測する。この広告メディアには、画像メディア（静止画）や映像メディア（動画）が含まれる。

前記指標（２）の一例として、検出した顔ごとに顔姿勢パラメータである左右の角度を用いて重み値を算出し（例えば角度の余弦関数を重み値とするなど）、当該重み値を各人物の注視時間と掛け合わせ、これにより算出された値を検出した人数分合計した値などが挙げられる。

この場合に「正面向き」、「斜め向き」、「横向き」と顔の向きを分類しそれぞれに重み値を付与する方法も考えられるが、このような方法の場合、各顔向きの角度範囲を定性的に設定しなくてはならず、角度範囲をどのように設定するのが適切であるか、という問題が生じる。そこで、重み値に、顔の角度の余弦関数に代表される連続関数を用いることにより、前記問題を解消している。

図１は前記指標（１）の具体例を示し、図２は前記指標（２）の具体例を示している。図１の例では、一瞬しか広告メディアを見なかったもの（過検出もこれに含まれると考える）は除外されるため、信頼性の高い数値を算出できる。また、例えば長時間に広告メディアを見ていた人物だけ映っている一部映像を抽出し、人間が目視確認することで、より詳細な分析も可能にしている。

図２の例によれば、注視時間に掛け合わされる重み値は、人物が広告メディアの方向を向いている時に最大であるため、人がどれだけ熱心に広告メディアを注視していたか、あるいは広告メディアがどれだけ視聴者の心理に浸透したのか、を定量的に表すことが可能である。

また、顔検出状態を（１）仮検出、（２）正検出、（３）注視に関する三つの状態（タイプ）として定義する。そして、時間的に過去（例えば一つ前のフレーム）の検出結果を利用して各々の検出顔を前記各状態のいずれか一つに割り当て、各人物の状態遷移を記録し集計することで、過検出または検出漏れの少ない、より正確な注目指標を算出して測定する。人物がメディア情報を注視しているかどうかは、顔検出後に顔姿勢推定を行い、顔が特定範囲内の方角を向いているかどうか調べることで判定可能である。

なお、図２の例では、広告コンテンツＡ．Ｂ．Ｃ毎に異なる時間帯で表示した集計結果が示されている。この集計結果を以後の表示時間やコンテンツの内容に反映させれば、広告主は広告効果の高いメディアを配信することができる。

（１）構成例
図３は、本発明の実施形態に係る前記広告効果測定装置１０の構成例を示し、該装置には広告メディアの周囲を撮像する撮像装置（デジタルカメラやビデオカメラなど）からデジタルデータの撮像画像が時系列に入力されている。

具体的には、前記広告効果測定装置１０は、前記画像データを入力する画像入力部１１と、該入力画像データから人物の顔のある領域を検出する顔検出部１２と、検出された顔領域データをもとに顔の姿勢を表す顔姿勢パラメータ値を推定する顔姿勢推定部１３と、検出された顔の状態を判別する状態判別部１４と、検出された顔の検出ＩＤと注視時間情報を付与する検出ＩＤ・注視時間付与部１５と、前記各部１２．１４．１５の処理結果を記憶する前検出状態記録部１６と、前記各部１２〜１５の処理結果のいずれか／すべてを前記撮像装置に映った注目者のログ（以下、注目者ログという。）として蓄積する注目者ログ記憶部１７と、該注目者ログから指定期間内または指定広告コンテンツの注目指標を集計・算出する注目指標集計部１８と、該集計結果を出力する結果出力部１９とを有している。

この各機能ブロック１１〜１９は、コンピュータの処理部（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）とソフトウェアとの協働の結果、実現されている。このとき画像入力部１１は、例えば撮像装置からネットワーク経由で画像データを入力するための通信デバイスや入出力ポートをもって実現されている。また、前検出状態記憶部１６および注目者ログ記憶部１７は、メモリ（ＲＡＭ）やハードディスクドライブ装置（ＨＤＤ）に構築されている。その他、前記広告効果測定装置１０は、通常のコンピュータの構成要素、例えば処理データを表示可能なモニタなどの表示手段やキーボード，マウスなどの入力手段を備えている。

以下、前記広告効果測定装置１０の具体的な処理内容を図４の処理フローに基づき説明する。この処理内容は、前記撮像装置に映った注目者ログを取得する図４（ａ）の処理ステップ（Ｓ１１〜Ｓ１７）と、該注目者ログを集計して出力する図４（ｂ）の出力ステップ（Ｓ１８．Ｓ１９）とに大別される。以下、各ステップを個別具体的に説明する。

（２）注目者ログの取得ステップ
Ｓ１１〜Ｓ１７の処理ステップは、前記撮像装置から画像フレームが入力されている限り繰り返して行われる。

Ｓ１１：画像入力部１１では、図４（ａ）に示すように、撮像装置により入力される画像情報を顔検出部１２に伝送する。ここで撮像装置は、広告メディア掲示位置の近傍（例えばディスプレイの上部など）に設置されているものとする。ここでの広告メディアは、ディジタルサイネージ以外にも通常のポスター広告やテレビ放送も含まれる。

Ｓ１２：顔検出部１２では、Ｓ１１にて画像入力部１１から伝送された各画像データから顔のある領域を検出する。ここでは例えば非特許文献１に記載された確率的増分符号相関などの統計的手法を利用して高速に検出することが可能である。このとき検出に用いられた照合評価値、即ち顔らしさを示す類似度は状態判定部１４の処理に使用される。また、顔検出部１２は、前記類似度と併せて顔領域の検出位置・大きさ・検出時刻なども検出顔情報として測定・取得している。
Ｓ１３：顔姿勢推定部１３では、検出された顔領域の明度パターンを入力として、顔の姿勢を高精度に推定する。ここでは例えば非特許文献２に記載の主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法などが適用可能である。この顔の姿勢を表すパラメータには、ｙａｗ角（左右方向の角度），ｐｉｔｃｈ角（上下方向の角度）の２種類が用いられている。

Ｓ１４：状態判別部１４では、前検出状態記憶部１６を参照して前フレームの検出顔の検出位置、大きさとその状態を読み込み、現フレームでの各検出顔の状態を判別する。ここでの検出顔の状態は以下の３種類と定義されている。

状態１：仮検出結果
状態２：正検出結果
状態３：正検出結果、且つ注視状態
具体的には、まず、現フレームの各検出顔を、顔らしさを表す類似度でソートする。つぎに、類似度の高いものから順番に、検出位置と大きさとを用いて、前フレームの検出顔と対応付けていく。この対応付けは１対１に行われ、以下の２条件を両方満たすものと対応付けられるものとする。

条件１：現フレーム検出顔の大きさを「ｓ」とした場合、前フレーム検出顔の大きさ「ｓ_pre」が以下の式（１）に当てはまること。

条件２：現フレーム検出顔の中心位置を（ｘ，ｙ）とした場合、前フレーム検出顔の中心位置（ｘ_pre，ｙ_pre）が以下の式（２）に当てはまること。

式（１）（２）において「ｋ_min」，「ｋ_max」，「ｌ_min」，「ｌ_max」，「ｍ_min」，「ｍ_max」は、あらかじめ与えられる定数である。また、該当するものが２個以上ある場合、中心位置どうしの距離が最も小さいものを採用することとする。そして、現フレームの全ての検出顔が対応付けられた後に、図５に示す処理に基づいてそれらの状態を決定する。なお、式（１）（２）はプログラムに定義されているものとする。

図５において、前フレームの検出結果が“状態１”であるときは、現フレーム
に対応付けられた検出結果、即ち式（１）（２）の条件を満たす前フレームの検出顔が存在するか否かを判別し（Ｓ１４ａ）、存在しない場合は現フレームの検出結果を“検出なし”とする。

前フレームの検出結果が“状態２”．“状態３”であるときも、同様に現フレームに対応付けられた検出結果、即ち式（１）（２）の条件を満たす前フレームの検出顔が存在するか否かを判別し（Ｓ１４ｂ）、存在しない場合は現フレームの検出結果を“状態１”とする。この場合は、前フレームの検出位置、大きさを継承して現フレームの検出結果に反映する。

前記ステップＳ１４ａおよび前記ステップＳ１４ｂにおいて、対応付けられた検出結果が存在する場合は、姿勢が指定範囲内であるか否かを判別する（Ｓ１４ｃ）。判別結果が指定範囲内ではない場合は、現フレームの検出結果を“状態２”とする一方、指定範囲内である場合は“状態３”とする。

ここで指定範囲内とは、現フレームにおける検出顔の姿勢パラメータ「ｙａｗ角」，「ｐｉｔｃｈ角」が以下の式（３）を満たす場合を指す。

式（３）において「ｙ_min」，「ｙ_max」，「ｐ_min」，「ｐ_max」は、あらかじめ与えられる定数である。これらの値を適切に設定することにより、撮像装置と広告メディアとの相対的な位置関係にある程度の自由度を持たせることができる。例えば、ななめ横から撮影するような状態にも対応可能である。なお、式（３）はプログラムに定義されているものとする。

前フレームの検出結果が“検出なし”であるときは、現フレームに前フレームのどの結果とも対応付けられなかったものが残存するか否かを判別し（ステップＳ１４ｄ）、残存する場合は現フレームの検出結果を“状態１”とする。なお、図６は、Ｓ１４ａ〜Ｓ１４ｄの判別結果例を示している。

このように顔検出状態を（１）仮検出、（２）正検出、（３）注視の３状態として定義し、その状態遷移を記録し過去のフレームでの顔検出状態を利用して現フレームでの顔検出状態を判定し集計することで、過検出により人数が実際よりも多くなることや、検出漏れにより人数が実際よりも少なくなること、および同様に検出漏れにより１人の人を別の時刻で別人と判定することが防止され、精度の高い測定ができる。

Ｓ１５：検出ＩＤ・注視時間付与部１５では、前検出状態記憶部１６を参照して、現フレームのそれぞれの検出顔の状態に対応付けられた前フレームの検出顔が持つ検出ＩＤ情報および注視時間を取得する。この取得した検出ＩＤ情報および注視時間情報に基づき現フレームでの検出ＩＤ情報と注視時間情報を付与する。以下、具体的な付与方法を図６の検出例に基づいて説明する。

図６（ａ）は、前フレームの検出結果（ＩＤ：１０〜ＩＤ：１３の検出顔）を示し、図６（ｂ）は現フレームの状態判別前の検出結果（検出顔（あ），（い），（う）の三つの顔が検出された事例）を示し、図６（ｃ）は現フレームの状態判別後の検出結果を示している。

ここで検出顔（あ）については、前フレームに対応する検出顔が存在しないため、新規の検出ＩＤ（ＩＤ：１４）を発行して付与される。ここでは検出顔（あ）は、前記Ｓ１４ｄに示すように、“状態１”とし、注視時間を０秒とする。

検出顔（い）については、前フレームに対応する“状態１”の検出顔（ＩＤ：１１）が存在するため、検出ＩＤは対応する前フレーム検出顔からそのまま継承する。この検出顔（い）については、姿勢が式（３）に示す指定範囲の範囲外であるため、前記Ｓ１４ｃに示すように、ＩＤ：１１の状態は“状態１”から“状態２”へと変化する。状態判別後の状態が“状態２”の場合、注視時間は対応する前フレーム検出顔からそのまま継承する（図６の例では１ｓｅｃのまま）。

検出顔（う）については、前フレームに対応する“状態２”の検出顔（ＩＤ：１３）が存在するため、検出ＩＤは対応する前フレーム検出顔からそのまま継承する。この検出顔（う）は、姿勢が式（３）に示す指定範囲内であるため、前記Ｓ１４ｃに示すように、ＩＤ：１３の状態が“状態２”から“状態３”へと変化する。

ここで状態判別後の状態が“状態３”の場合、「注視時間＝（対応する前フレーム検出顔が持つ注視時間情報）＋（前フレーム−現フレーム間の経過時間）」とする。図６では、前フレーム−現フレーム間の経過時間を「１ｓｅｃ」としているため、ＩＤ：１３の注視時間は前フレームでの「２ｓｅｃ」から「１ｓｅｃ」分増加し、「３ｓｅｃ」となる。

前フレームにのみ存在するＩＤ：１０の顔領域（“状態３”）については、現フレームに対応付けられた検出結果が存在しないため、前記Ｓ１４ｂに示すように、“状態１”に変化する。この場合には前フレームの検出ＩＤおよび注視状態をそのまま承継する。（図６の例では注視状態は３ｓｅｃのまま）
前フレームにのみ存在するＩＤ：１２の顔領域（“状態１”）については、現フレームに対応付けられた検出結果が存在しない。したがって、ＩＤ：１２の顔領域は、前記Ｓ１４ａに示すように、“検出なし”に変化して当該検出ＩＤを削除する。

Ｓ１６：前検出状態記憶部１６では、Ｓ１２，Ｓ１４，Ｓ１５の処理結果、即ち現フレームのすべて顔検出時刻、検出位置、大きさ、顔状態、検出ＩＤ、注視時間が記憶される。その際に前回記憶したデータは消去される。

Ｓ１７：注目者ログ記憶部１７では、Ｓ１２〜Ｓ１５の処理結果、即ち現フレームのすべての検出顔に関する顔検出時刻・検出位置・大きさ・顔類似度・顔姿勢パラメータ・検出ＩＤ・注視時間を注目者ログとして時系列に記録する。ここではＳ１２〜Ｓ１５の処理結果のいずれかを記録してもよく、またすべての検出顔情報を記録してもよい。その際に前回記録した分は消去せず、追記のかたちで蓄積される。

なお、Ｓ１７の処理後にも画像フレームが入力されている場合にはＳ１１に戻って次フレームの処理を開始する。この場合には前検出状態記録部１６の記録情報は前フレームの検出顔情報として状態判別部１４．検出ＩＤ・注視時間付与部に伝送される。一方、画像フレームの入力が無い場合には注目者ログの取得工程を終了する。

（３）出力ステップ
Ｓ１８：注目指標集計部１８では、図４（ｂ）に示すように、注目者ログ記憶部１７に記録された注目者ログと、ユーザ指定の対象期間あるいは対象の広告コンテンツと、ユーザ指定の注視時間しきい値とから注目指標を計数する。

具体的には、まず注目者ログ記憶部１７から対象期間内あるいは対象広告コンテンツの注目者ログを読み込む。このとき対象期間や対象広告コンテンツは、ユーザが入力手段などをもって指定するものであるが、ディジタルサイネージやテレビコマーシャル等では対象広告が一部時間帯に限定されている場合がある。その場合は、対象広告のタイムスケジュール情報を入力し、広告表示されている時間帯でさらに絞り込む。

次に、検出時刻が最も遅いものから順に参照しつつ、検出ＩＤの異なる検出顔情報（ここでは検出時刻，検出ＩＤ，注視時間とする。）を一つずつピックアップしていく。この操作により、同一検出ＩＤの検出顔情報は注視時間情報が最大のものだけが唯一つ残されることになる。さらに、注視時間情報が注視時間しきい値より小さいものを除外する。最終的に残った検出顔の数を数え、注目指標とする。注視時間しきい値は複数指定してもよい。その場合、注目指標は、図１に示すように、複数算出されることになる。すなわち、図１の例では、注視時間しきい値＝５秒以上．１０秒以上．１５秒以上．２０秒以上．２５秒以上であり、該各しきい値に応じた注目者数（注目指標）が計測されている。

また、注目指標は、単位時間あたりの注目指標で表現するのでもよい（例えば、１日あたりの注目指標を１ヶ月間で集計）。さらに、複数の注視時間しきい値を設けた場合、それぞれの注目指標に重み付けして足し算し、総合評価点として用いてもよい。

このように広告メディアを注視している時間を測定し、集計結果として任意の指定時間以上に注視した人物の数を測定することにより、広告効果を定量的に表す数値として、一瞬しか広告メディアを見なかった場合や過検出を除外した注目指標を算出することができる。

また、Ｓ１８の他の処理例を説明する。注目指標集計部１８は対象期間前後の注目者ログを抽出した後に当該対象期間内に出現したすべての検出ＩＤについて、顔検出位置、大きさ、顔類似度、顔姿勢パラメータ、注視時間のいずれかまたはすべてとの演算によって算出される値を計算し、当該値を合計する。ここでは一例として顔姿勢パラメータと注視時間を用いて演算を行う事例を、図７および図８に基づき説明する。

図７は、広告メディアを注視する人を真上方向から見た図を示し、顔姿勢パラメータのｙａｗ角は正面を角度０°として「−９０°〜９０°」の範囲内で出力されるものとする。

処理の流れとしては、まず特定の検出ＩＤに注目し、当該検出ＩＤに関するログを対象期間前後の注目者ログからピックアップする。図８（ａ）（ｂ）はピックアップされたログの一例を示し、図８（ａ）は対象期間前から顔検出されており対象期間後も顔検出が続いていた事例を示し、図８（ｂ）は対象期間の途中で顔検出が始まり対象期間の途中で顔検出が終了した事例を示している。

ここでは図８（ａ）（ｂ）のログは、「時刻（Ｔｉ）」、「ｙａｗ：顔姿勢パラメータ（ｙａｗ角）」、「注視時間の加算分（Ｇｉ）」、「ｃｏｓ（ｙａｗ）：重み値×注視時間の加算分」で構成されているが、これに限定されることなく他の事項を用いてもよい。例えば時刻が動画フレーム番号である場合には顔検出処理を実行したシステム時刻等を用いることもできる。また、図８（ａ）（ｂ）のログは、顔検出処理の結果が定期的（５秒間隔）に出力されているが、不定期間隔で出力されていてもよい。

図８（ａ）において、対象期間（９：００：０２〜９：００：２２の２０秒間）の開始時刻「９：００：０２」の前の時点から顔検出は始まっており、当該対象期間内で最初のログ記録時刻「９：００：０５」の時点において、当該対象期間内での注視時間は「３秒」である。次のログ記録時刻「９：００：１０」の時点における注視時間の加算分は、前回のログ記録時刻「９：００：０５」の時点からの経過時間の５秒であり、「９：００：２０」までの各ログ記録時刻における注視時間の加算分は同様に５秒である。ここでは「９：００：２５」にも顔検出されているため、対象期間の終了時刻「９：００：２２」以降も顔検出は継続し、該終了時刻の時点における注視時間の加算分は２秒である。

図８（ｂ）は、対象期間の途中の「９：００：１０」の時点ではじめて顔検出がなされている。ここでログは所定間隔おきの時刻に記録されているので（図８の例では５秒間隔）、顔検出時刻からの正確な注視時間の加算分は不明である。そこで、前回のログ記録時刻「９：００：０５」の直後の時点で顔検出が始まったとみなし、当該加算値を５秒（ログ記録時刻の差分）と設定している。この設定値は任意の値に設定してよく、例えば、「９：００：１０」の直前の時点で顔検出が始まったとみなして当該値を０秒に設定する方法、またはログ記録時刻の差分である５秒の半分の２．５秒に設定することもできる。

また、図８（ｂ）では、「９：００：１５」時点の注視時間の加算分は、前回のログ記録時刻「９：００：１０」の時点からの経過時間である５秒である。その後、次のログ記録時刻「９：００：２０」の時点では顔検出が終了しており、この場合も正確な注視時間の加算分が不明である。ここでは「９：００：２０」の直前で顔検出が終了したとみなし、当該加算値を５秒に設定しているが、該設定値も適宜に任意の値に変更してよい。

このように注視時間の加算分は下記のアルゴリズム（１）〜（４）で算出される（条件あてはめの優先度は（１）〜（４）の順）。
（１）Ｇ_i＝０（Ｔ_iで顔検出されていない場合およびＴ_i-1で顔検出されていない場合）
（２）Ｇ_i＝Ｔ_i−Ｔ_i-1（Ｔ_iとＴ_i-1の間に対象期間の開始時刻および終了時刻が存在しない場合）
（３）Ｇ_i＝Ｔ_i−ＳｔａｒＴｉｍｅ（Ｔ_iとＴ_i-1の間に対象期間の開始時刻が存在する場合）
（４）Ｇ_i＝ＥｎｄＴｉｍｅ−Ｔ_i-1（Ｔ_iとＴ_i-1の間に対象期間の終了時刻が存在する場合）
ここで、「Ｔ_i」はログ記録時刻であり、対象期間の開始時刻の直前のログ記録時刻から対象期間の終了時刻直後のログ記録時刻（図８の例では９：００：００〜９：００：２５）を示し、「Ｇ_i」は時刻「Ｔ_i」における注視時間の加算分を示し、「ＳｔａｒＴｉｍｅ」は対象期間の開始時刻を示し、「ＥｎｄＴｉｍｅ」は対象期間の終了時刻を示している。

次に、検出時刻ごとに顔姿勢パラメータｙａｗ角に基づく重み値を前記注視時間の加算分に掛け合わせ、算出された値を合計し、検出ＩＤごとの重み付き注視時間合計値（以下、顔別重み付き注視時間とする。）を算出する。図８の例では、前記重み値として余弦関数（ｃｏｓ（ｙａｗ））を用いており、図８（ａ）での顔別重み付き注視時間は１４秒、図８（ｂ）での顔別重み付き注視時間は５秒と算出される。ここでは重み値として顔姿勢パラメータ「ｙａｗ」の余弦関数を用いたが、このような連続的な値の他、あらかじめ顔姿勢パラメータ「ｙａｗ角」に依存するとびとびの値を記述しておき、当該値を重み値として用いることも可能である。また、ｙａｗ角の他にも、ｐｉｔｃｈ角、顔検出位置、大きさ、顔類似度を重み値に変換して組み合わせる方法を用いることもできる。その一例を式（４）に示す。

ここで、「ａ」，「ｂ」は任意の定数、（ｘ，ｙ）は顔検出位置の座標値、（Ｘ，Ｙ）は画像の中心点等任意に定めた座標値、「ｓ」は顔の大きさ、Ｓは任意の定数、ｒは顔類似度、Ｒは任意の定数である。

また、ｙａｗ角とｐｉｔｃｈ角との分布状態を実験的に収集し、それぞれを「σ_yaw ²」と「σ_pitch ²」とを分散とする式（５）の正規分布「ｆ」にあてはめ、当該正規分布「ｆ」を使用した重み値を用いることもできる。その一例を式（６）に示す。

この式（５）（６）はプログラムに定義されているものとする。ここで「Ｃ」は定数であり、「Ｃ＝ｆ（ｙａｗ＝０°，σ_yaw ²）・ｆ（ｐｉｔｃｈ＝０°，σ_pitch ²）」などが用いられる。そして、すべての検出ＩＤについて前記処理を行った後、算出された顔別重み付き注視時間（この処理例では該顔別重み付き注視時間が注目指数となる。）を合算し、集計結果を得る。

ここでは検出時刻ごとに顔姿勢パラメータｙａｗ角に基づく重み値を前記注視時間の加算分に掛け合わせた処理例を説明したが、他の注目指標の演算で顔別重み付き注視時間を設定してもよい。また、前記重み値は各記録時刻で同じ値に設定することもできる。仮に図８（ａ）の処理例において前記重み値をすべて「１」に設定すれば顔別重み付き注視時間は２０秒と算出される。

このように顔検出位置（ｘ，ｙ）、大きさ（ｓ）、顔類似度（ｒ）、ｙａｗ角、ｐｉｔｃｈ角、注視時間のいずれか／すべてを演算して算出する値を用いることで、人がどれだけ熱心に広告メディアを見ていたか、あるいは広告メディアがどれだけ視聴者の心理に浸透したのか、を定量的に表すことができる。

特に、顔姿勢パラメータ（ｙａｗ角．ｐｉｔｃｈ角）を広告メディアの方向を向いているときに最大化するような重み値に変換し、当該重み値を注視時間に掛け合わせてこれを注目指標とすることで、広告メディアを見ていた人の顔の向きおよび見ていた時間を考慮した指標を定量的に算出可能となる。

また、顔領域は検出されたものの顔の向きがある一定値を超える場合は広告メディアを見ていないと推定し、その結果を用いて広告メディアを見ていた人の割合を算出することも可能となる。

Ｓ１９：結果出力部１９では、注目指標集計部１８で得られた集計結果を出力する。この出力はモニタなどの表示手段に映してもよく、またプリンタなどで出力してもよい。

なお、本発明は、前記広告効果測定装置としてコンピュータを機能させるプログラムとしても構築することができる。このプログラムは、Ｓ１１〜Ｓ１９の全てのステップをコンピュータに実行させるものでもよく、あるいはＳ１８などの一部のステップのみを実行させるものであってもよい。

このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供できる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体に格納してコンピュータに提供してもよい。この記録媒体から読み出されたプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。

本発明の実施形態に係る装置の集計結果例の説明図。 同 集計結果の他例を示す説明図。 同 装置構成を示すブロック図。 （ａ）は同装置の注目指数を記録する処理フロー図、（ｂ）は注目指数集計処理の処理フロー図 同 状態判別処理の説明図。 （ａ）は前フレームの検出結果例を示す図、（ｂ）は状態判別前における現フレームの検出結果例を示す図、（ｃ）は状態判別後における現フレームの検出結果例を示す図。 同 広告メディアを人物が注視しているときの模式図。 （ａ）は対象期間前から顔検出され対象期間後も顔検出が続いていた場合の注目指標集計処理例を示す説明図、（ｂ）は対象期間の途中で顔検出が始まり対象期間の途中で顔検出が終了した場合の注目指標集計処理例を示す説明図。

符号の説明

１０…広告効果測定装置（注目度測定装置）
１１…画像入力部
１２…顔検出部（顔検出手段）
１３…顔姿勢推定部（顔姿勢推定手段）
１４…状態判別部（状態判別手段）
１５…検出ＩＤ・注視時間付与部（情報付与手段）
１６…前検出状態記憶部
１７…注目者ログ記憶部
１８…注目指標集計部（注目指標集計手段）
１９…結果出力部

Claims (8)

1. メディア情報を表示する表示器機の周囲を撮像装置で撮像した画像から、該メディア情報の注目度を測定する装置であって、
   前記撮像装置より連続的に入力されたフレームから顔の存在する領域を検出し、検出顔情報として該顔領域の検出位置・大きさ・顔らしさの類似度・検出時刻を取得する顔領域検出手段と、
   前記顔領域検出手段の検出した顔領域をもとに顔の姿勢を表すパラメータを推定する顔姿勢推定手段と、
   前フレームの顔領域と現フレームの顔領域とを、前記検出顔情報および前記パラメータを用いて対応付け、該現フレームの顔領域の状態を判別する状態判別手段と、
   前記対応付けられた前フレームの顔領域が持つ検出ＩＤおよび注視時間に基づき現フレームでの検出ＩＤと注視時間とを付与する情報付与手段と、
   前記各手段の処理結果のログのいずれか／すべてを演算して注目指標を算出する注目指標集計手段と、を備え、
   前記顔姿勢推定手段は、メディア情報に対して顔の正面を０度とした指定角度のｙａｗ角（左右方向の角度）およびｐｉｔｃｈ角（上下方向の角度）を前記パラメータとして取得し、
   前記注目指標集計手段は、前記顔姿勢推定手段が前記パラメータとして取得したｙａｗ角とｐｉｔｃｈ角の少なくとも一方の角度の余弦関数を用いた重み値に前記情報付与手段が付与した注視時間を掛け合わせて前記注目指標を算出することを特徴とする注目度測定装置。
2. 前記状態判別手段は、前記顔状態を事前に定義された複数タイプのいずれかとして判別する
   ことを特徴とする請求項１記載のメディア情報の注目度測定装置。
3. 前記状態判別手段は、前記パラメータが指定範囲内であるか否かを基準に前記顔状態を判別する
   ことを特徴とする請求項１または２のいずれか１項に記載のメディア情報の注目度測定装置。
4. メディア情報を表示する表示器機の周囲を撮像装置で撮像した画像から、該メディア情報の注目度を測定する方法であって、
   顔領域検出手段が、前記撮像装置より連続的に入力されたフレームから顔の存在する領域を検出し、検出顔情報として該顔領域の検出位置・大きさ・顔らしさの類似度・検出時刻を取得する第１ステップと、
   顔姿勢推定手段が、前記第１ステップで検出した顔領域をもとに顔の姿勢を表すパラメータを推定する第２ステップと、
   状態判別手段が、前フレームの顔領域と現フレームの顔領域とを、前記検出顔情報および前記パラメータを用いて対応付け、該現フレームの顔領域の状態を判別する第３ステップと、
   情報付与手段が、前記対応付けられた前フレームの顔領域が持つ検出ＩＤおよび注視時間に基づき現フレームでの検出ＩＤと注視時間とを付与する第４ステップと、
   注目指標集計手段が、前記各手段の処理結果のログのいずれか／すべてを演算して注目指標を算出する第５ステップと、を有し、
   前記第２ステップは、メディア情報に対して顔の正面を０度とした指定角度のｙａｗ角（左右方向の角度）およびｐｉｔｃｈ角（上下方向の角度）を前記パラメータとして取得し、
   前記第５ステップは、前記第２ステップで前記パラメータとして取得したｙａｗ角とｐｉｔｃｈ角の少なくとも一方の角度の余弦関数を用いた重み値に前記第４ステップで付与した注視時間を掛け合わせて前記注目指標を算出することを特徴とする注目度測定方法。
5. 前記第３ステップにおいて、前記顔状態を事前に定義された複数タイプのいずれかとして判別する
   ことを特徴とする請求項４記載のメディア情報の注目度測定方法。
6. 前記第３ステップにおいて、前記パラメータが指定範囲内であるか否かを基準に前記顔状態を判別する
   ことを特徴とする請求項４または５のいずれか１項に記載のメディア情報の注目度測定方法。
7. 請求項４〜６のいずれか１項に記載の注目度測定方法の各ステップをコンピュータに実行させることを特徴とするメディア情報の注目度測定プログラム。
8. 請求項７に記載されたメディア情報の注目度測定プログラムを格納したことを特徴とする記録媒体。

Images