JP4603975B2 - コンテンツ注目評価装置及び評価方法 - Google Patents

コンテンツ注目評価装置及び評価方法 Download PDF

Info

Publication number
JP4603975B2
JP4603975B2 JP2005379269A JP2005379269A JP4603975B2 JP 4603975 B2 JP4603975 B2 JP 4603975B2 JP 2005379269 A JP2005379269 A JP 2005379269A JP 2005379269 A JP2005379269 A JP 2005379269A JP 4603975 B2 JP4603975 B2 JP 4603975B2
Authority
JP
Japan
Prior art keywords
person
face
angle
content
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005379269A
Other languages
English (en)
Other versions
JP2007181071A (ja
Inventor
敏弘 望月
Original Assignee
株式会社春光社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社春光社 filed Critical 株式会社春光社
Priority to JP2005379269A priority Critical patent/JP4603975B2/ja
Publication of JP2007181071A publication Critical patent/JP2007181071A/ja
Application granted granted Critical
Publication of JP4603975B2 publication Critical patent/JP4603975B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置に関し、特に、該コンテンツ媒体の前面に存在する人物の該コンテンツに対して注目する顔の角度を時刻の変化とともに記憶し、該コンテンツに対する注目を評価するコンテンツ注目評価装置及び評価方法に関する。
本来、広告やＴＶ放送等のコンテンツは、人々の注目をより多く引き付けて初めてその意義を発揮するものである。ゆえに、広告の出稿主やＴＶ放送のスポンサー等は、いかにして効率よく人々の注目を引き付けるように広告を企画し設置するか、若しくはいかに多くの人々に視聴されているＴＶ放送のスポンサーとなってＴＶコマーシャルの効果を高めるかということに強い問題意識を持つ。このため、コンテンツがどれだけ人々に注目されているかの評価に対して、広告の出稿主やＴＶ放送のスポンサーは高い関心を持っている。
このような背景の中で、コンテンツに対する人々の注目を評価する手法が種々考案されている。例えば特許文献１には、広告メディアの前方を撮影可能なカメラで撮影した画像から人間の顔を検出し、その検出された顔のうち該広告メディアを向いていると評価できる顔を検出して集計することによって、どれだけの人数が該広告メディアに注目したかを評価する広告メディア評価装置が開示されている。
また、特許文献２には、次の広告効果確認システムが開示されている。即ち広告番組に対する視聴者の反応を画像に撮影し、該画像が撮影された際の該広告番組の特徴を示すデータを付加して撮影された画像とともに分析装置へ送信する。該分析装置では、受信した画像自体を時系列に整理して出力するので、広告番組に対する視聴者の反応を目視により適時かつ容易に確認することを可能とするのみならず、受信した画像に含まれる視聴者の特徴的な反応を検出して計数することによって、どれだけの視聴者が広告番組に注目していたかを確認することができる。
特開２０００−２０９５７８号公報 特開平１１−１５３９７７号公報
しかしながら、上記特許文献１及び２に代表される従来技術では、広告メディアや広告番組に注目している総体的な人数のみしか把握することができない。即ち広告メディアや広告番組の前面を通過した人物が、時刻の経過とともにどの程度に該広告メディアや該広告番組に注目していったかという注目の深度を判断する材料を提供するものではない。よって、該広告メディアや該広告番組の前面を通過した人物の該広告メディアや該広告番組に対する注目を詳細に分析可能ではなく、十分な意義を持った評価を下すことができないという問題があった。
具体的には、上記特許文献１によれば、確かに広告メディアに注目した人数を把握することができるが、該広告メディアに注目した人物が、それぞれどの程度の深度で該広告メディアに注目していったかという注目深度の時刻変化を把握することはできなかった。例えば広告メディアに対して１０人が注目したという統計データが得られたとしても、それぞれの人物が該広告に対してどの程度の注目深度を示したかによって、自ずと広告メディアの効果に対する評価結果は異なるものとなるが、このような厳密な評価を下すことが不可能であった。
また、上記特許文献２では、広告番組の効果が依然として目視により評価されなければならないという工程を含み、評価の客観性が維持できない。また、この従来技術によってもどれだけの視聴者が広告番組に注目していたかという統計を取ることができるが、上記特許文献１の従来技術と同様に、該広告番組に注目した人物が、それぞれどの程度の深度で該広告メディアに注目していったかという注目深度の時刻変化を把握することはできず、広告番組の効果を正確に評価することができなかった。
これらのことから、広告メディアや広告番組の効果をより詳細に把握してより正確に評価できる方法の確立が極めて重要な課題となってきている。特に広告メディアや広告番組は、巨額の出稿費用を要することから、効果的でない方法によって視聴者に提供しても出稿費用の無駄となるため、出稿主は、いかに効果的に広告メディアや広告番組を提供するかについて極めて強い関心を持っている。そして効果的に広告メディアや広告番組を提供する指針として、広告メディアや広告番組の効果のより詳細かつ正確な評価方法の確立が待ち望まれていた。
本発明は、上記問題点（課題）を解消するためになされたものであって、広告メディアや広告番組の効果をより詳細かつ正確に評価できるコンテンツ評価装置及びコンテンツ評価方法を提供することを目的とする。
上述した問題を解決し、目的を達成するため、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、前記画像に撮像された人物を検出する人物検出手段と、前記人物検出手段により検出された人物の顔を検出する顔検出手段と、前記顔検出手段により顔が検出された人物の顔方向の角度を検出する顔角度検出手段と、前記顔角度検出手段により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶手段と、前記顔角度記憶手段に記憶される前記顔方向の角度を前記人物検出手段により検出された人物単位で総和し、該総和を該顔方向の角度の検出が開始されてから終了するまでの時間と該顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値とで除した注視深度率を算出する注視深度率算出手段とを備えたことを特徴とする。
また、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、前記画像に撮像された人物を検出する人物検出手段と、前記人物検出手段により検出された人物の顔を検出する顔検出手段と、前記顔検出手段により顔が検出された人物の顔方向の角度を検出する顔角度検出手段と、前記顔角度検出手段により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶手段と、前記顔角度記憶手段に記憶される前記顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値を一時的に下回っていた間の時間を、前記顔方向の角度の検出が開始されてから終了するまでの時間で除した空注視率を算出する空注視率算出手段とを備えたことを特徴とする。
また、本発明は、上記発明において、前記顔角度記憶手段は、前記人物検出手段により検出された人物単位に、前記顔角度検出手段により検出された時刻とともに前記顔方向の角度を記憶することを特徴とする。
また、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、前記画像に撮像された人物を検出する人物検出手段と、前記人物検出手段により検出された人物の顔を検出する顔検出手段と、前記顔検出手段により顔が検出された人物の顔方向の角度を検出する顔角度検出手段と、前記人物検出手段により検出された人物の位置を検出する人物位置検出手段と、前記顔角度検出手段により検出された前記顔方向の角度を、前記人物位置検出手段により検出される人物の位置とともに記憶する顔角度記憶手段と、前記顔角度記憶手段に記憶される前記顔方向の角度を前記人物検出手段により検出された人物単位で総和し、該総和を該顔方向の角度の検出が開始されてから終了するまでの該人物の移動距離と該顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値とで除した移動注視深度率を算出する移動注視深度率算出手段とを備えたことを特徴とする。
また、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、前記画像に撮像された人物を検出する人物検出手段と、前記人物検出手段により検出された人物の顔を検出する顔検出手段と、前記顔検出手段により顔が検出された人物の顔方向の角度を検出する顔角度検出手段と、前記人物検出手段により検出された人物の位置を検出する人物位置検出手段と、前記顔角度検出手段により検出された前記顔方向の角度を、前記人物位置検出手段により検出される人物の位置とともに記憶する顔角度記憶手段と、前記顔角度記憶手段に記憶される前記顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値を一時的に下回っていた間に人物が移動した移動距離を、前記顔方向の角度の検出が開始されてから終了するまでに該人物が移動した移動距離で除した移動空注視率を算出する移動空注視率算出手段とを備えたことを特徴とする。
また、本発明は、前記顔角度記憶手段は、前記人物検出手段により検出された人物単位に、前記顔角度検出手段により検出された前記顔方向の角度を、前記人物位置検出手段により検出された該人物の位置とともに記憶することを特徴とする。
また、本発明は、前記コンテンツ注目評価装置は、前記撮像装置が接続される画像分析装置と、少なくとも一つの前記画像分析装置と通信可能に接続されたコンテンツ注目評価分析装置とから構成され、前記画像分析装置は、前記画像に含まれる人物を特定不可能なデータを前記コンテンツ注目評価分析装置へ送信し、前記コンテンツ注目評価分析装置は、前記人物を特定不可能なデータを記憶する前記顔角度記憶手段を有することを特徴とする。
また、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、前記画像に撮像された人物を検出する人物検出工程と、前記人物検出工程により検出された人物の顔を検出する顔検出工程と、前記顔検出工程により顔が検出された人物の顔方向の角度を検出する顔方向検出工程と、前記顔方向検出工程により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶工程と、前記顔角度記憶工程に記憶される前記顔方向の角度を前記人物検出工程により検出された人物単位で総和し、該総和を該顔方向の角度の検出が開始されてから終了するまでの時間と該顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値とで除した注視深度率を算出する注視深度率算出工程とを含んだことを特徴とする。
また、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、前記画像に撮像された人物を検出する人物検出工程と、前記人物検出工程により検出された人物の顔を検出する顔検出工程と、前記顔検出工程により顔が検出された人物の顔方向の角度を検出する顔方向検出工程と、前記顔方向検出工程により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶工程と、前記顔角度記憶工程に記憶される前記顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値を一時的に下回っていた間の時間を、前記顔方向の角度の検出が開始されてから終了するまでの時間で除した空注視率を算出する空注視率算出工程とを含んだことを特徴とする。
また、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、前記画像に撮像された人物を検出する人物検出工程と、前記人物検出工程により検出された人物の顔を検出する顔検出工程と、前記顔検出工程により顔が検出された人物の顔方向の角度を検出する顔方向検出工程と、前記顔方向検出工程により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶工程と、前記顔角度記憶工程に記憶される前記顔方向の角度を前記人物検出工程により検出された人物単位で総和し、該総和を該顔方向の角度の検出が開始されてから終了するまでの該人物の移動距離と該顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値とで除した移動注視深度率を算出する移動注視深度率算出工程とを含んだことを特徴とする。
また、本発明は、コンテンツ媒体の前面に存在する人物を撮像方法が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、前記画像に撮像された人物を検出する人物検出工程と、前記人物検出工程により検出された人物の位置を検出する人物位置検出工程と、前記人物検出工程により検出された人物の顔を検出する顔検出工程と、前記顔検出工程により顔が検出された人物の顔方向の角度を検出する顔方向検出工程と、前記顔方向検出工程により検出された前記顔方向の角度を、前記人物位置検出工程により検出された該人物の位置とともに記憶する顔角度記憶工程と、前記顔角度記憶工程に記憶される前記顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値を一時的に下回っていた間に人物が移動した移動距離を、前記顔方向の角度の検出が開始されてから終了するまでに該人物が移動した移動距離で除した移動空注視率を算出する移動空注視率算出工程とを含んだことを特徴とする。
本発明によれば、顔角度検出手段により検出された顔方向の角度を、時刻の経過とともに記憶する顔角度記憶手段を備えたので、時刻とともに変化する顔方向の角度に基づいてコンテンツに対する注目を分析することが可能となるという効果を奏する。
また、本発明よれば、顔角度検出手段により顔方向の角度が検出された時刻とともに変化する顔方向の角度に基づいてコンテンツに対する注目を分析することが可能となるという効果を奏する。
また、本発明によれば、人物単位に、時刻とともに変化する顔方向の角度に基づいてコンテンツに対する注目を分析することが可能となるという効果を奏する。
また、本発明によれば、コンテンツを注視する角度であると見なしうる角度閾値に対する、時刻とともに変化する顔方向の角度の、総注視時間による平均の比率を算出することによって、所定時間の間のコンテンツに対する注視を、時間変化にとらわれず、総体的に捉えて評価することができるという効果を奏する。
また、本発明によれば、空注視率を算出する空注視率算出手段を備えたので、該空注視率が所定値以下の場合に注視が連続している状態と同様に見なすことができ、注視評価をより実際に添った形で行うことができるという効果を奏する。
また、本発明によれば、人物位置検出手段により検出される人物の位置とともに変化する顔方向の角度に基づいてコンテンツに対する注目を分析することが可能となるという効果を奏する。
また、本発明によれば、人物単位に、人物の位置とともに変化する顔方向の角度に基づいてコンテンツに対する注目を分析することが可能となるという効果を奏する。
また、本発明によれば、コンテンツを注視する角度であると見なしうる角度閾値に対する、人物の位置とともに変化する顔方向の角度の、総移動距離による平均の比率を算出することによって、所定時間の間のコンテンツに対する注視を、人物の位置の変化にとらわれず、総体的に捉えて評価することができるという効果を奏する。
また、本発明によれば、移動空注視率を算出する移動空注視率算出手段を備えたので、該移動空注視率が所定値以下の場合に注視が連続している状態と同様に見なすことができ、移動を伴う注視の評価をより実際に添った形で行うことができるという効果を奏する。
また、本発明は、コンテンツ注目評価装置を、複数の画像分析装置と、該画像分析装置から送信されるデータを集中的に分析するコンテンツ注目評価分析装置からなる構成とすることができるという効果を奏する。
以下に添付図面を参照して、本発明に係る時刻とともに変化するコンテンツ注目の評価装置及び評価方法の好適な実施例を詳細に説明する。本発明のコンテンツ注目評価装置及びコンテンツ注目評価システムは、コンテンツが多数の人間によって注目されうる場所、例えば駅構内施設に設置する場合に好適である。なお、以下の実施例１では、検出された顔方向の角度を該角度が検出された時刻の経過とともに記憶する実施例を示すこととし、実施例２では、検出された顔方向の角度を人物の位置の変化とともに記憶する実施例を示すこととする。なお、以下の実施例では、検出された顔方向の角度を度数法に基づく角度表示θ[deg]で表記することとする。
図１は、実施例１に係るコンテンツ注目評価装置及び評価方法の概念を説明するための説明図である。同図に示すように、本装置及び方法では、時刻Ｔの経過とともに変化するＴＶ画面１００ｔの前面のＴＶ画面エリアに存在する人物の、該ＴＶ画面に表示されるコンテンツへの視線方向を検出・記憶することを特徴とする。
同図によると、ＴＶ画面エリアにおいて、ＴＶ画面の平行線とのなす角が最初にθ＝θ1[deg]であった視線方向は、時刻Ｔの所定時間経過後にθ＝θ2[deg]へと変化している。このように時刻Ｔの経過毎に変化するθを検出・記憶すると、ＴＶ画面エリアに存在する人物の該ＴＶ画面に表示されるコンテンツへの注視の時間経過に応じた変化を分析可能となる。
従来、コンテンツに対する注視を評価分析する方法としては、該コンテンツに注視する人物の数を統計する手法が一般的であった。この方法によると、少しでも顔方向がコンテンツへ向いていると該コンテンツに注視していると見され、該コンテンツに注視する人物として計数されていた。しかし、一概にコンテンツへの注視といっても、人物が該コンテンツに対して深い注目を与えている場合と、軽い注目を与えている場合とがある。例えば深い注目とは、人物がコンテンツに対して意識の集中を以って注目している場合であり、軽い注目とは、該人物がコンテンツに対して散漫な意識を以ってしか見ていない場合である。このように、人物がコンテンツに対してどれだけの意識の集中を以って視線を向けているかの判断は容易ではないが、例えば該人物の該コンテンツに対する視線方向が該コンテンツに対する意識の集中の程度と何らかの相関があると考えられる。本発明は、この点に着目してなされたものであり、ＴＶ画面の前面に存在する人物の視線方向が該ＴＶ画面の平行線となす角度を検出して記憶することにより、該人物のＴＶ画面に表示されるコンテンツへの注目の程度を分析・評価することを可能としたものである。
次に、図１に示したコンテンツ注目評価装置及び評価方法のシステム構成について説明する。図２は、図１に示したコンテンツ注目評価装置及び評価方法のシステム構成の概略を示すシステム構成図である。同図によれば、通路の横にＴＶ画面１００ｔが配設された通路を通過する通行人物を撮影するための１台の広角カメラ、即ちＴＶ画面１００ｔ側から通路に存在する通行人物を撮影するカメラ１５０が配設されている。
同図に示したカメラ領域ｒは、カメラ１５０により通行人物の撮影が可能な領域である。この領域内に存在する通行人物は、カメラ１５０により撮影されることによって通行人物として検出され得る。また、カメラ領域ｒで検出された通行人物の顔方向が広告看板１００ｔ方向を向くか否かが検出される。これは、カメラ１５０が広告看板１００ｔの同一面内又はその近傍に配設されていることにより、視線を向けるために広告看板へ顔方向を向けると、この広告看板方向を向く顔がカメラ１５０により撮影されることによる。
カメラ１５０及びシステムサーバ２００がケーブルＣを介して接続されている。少なくとも一つのシステムサーバ２００がネットワークＮを介して集計センタサーバ３００と接続されている。システムサーバ２００と集計センタサーバ３００は異なるフロアに設置されているものとするが、同一のフロアに設置されてもよく、また同一のコンピュータシステムに実装されていてもよいものである。システムサーバ２００は、カメラ１５０により撮影された画像を分析して該画像から通行人物及び該通行人物の顔方向を検出するための分析装置である。カメラ１５０は通行人物を含む画像を撮影して該画像をシステムサーバ２００へ送信する。システムサーバ２００では該画像を分析して該画像に含まれる通行人物の客観的な属性データを検出して該属性データを集計センタサーバ３００へ送信する。集計センタサーバ３００は、該属性データを集計し各種分析指標を算出する。
次に、図２に示したシステムサーバ２００の構成について説明する。図３は、図２に示したシステムサーバ２００の構成を示す機能ブロック図である。同図に示すように、このシステムサーバ２００は、主制御部２０１と、通行人物検知部２０２と、注視人物検出処理部２０３と、記憶部２０４と、キーボードなどの操作部２０６が接続される操作制御部２０５と、ディスプレイ装置などの表示部２０８が接続される表示制御部２０７と、外部とのデータ授受を制御するＩ／Ｆ部２０９とを有する。主制御部２０１はシステムサーバ２００全体の処理を制御する制御部である。具体的には、カメラ１５０からＩ／Ｆ部２０９を介して画像データを受け取って通行人物検出部２０２又は注視人物検出処理部２０３へ受け渡す処理を行い、通行人物検出部２０２又は注視人物検出処理部２０３から出力される情報を記憶部２０４へ受け渡したりＩ／Ｆ部２０９を介して集計センタサーバ３００へ送信したりする処理を行い、若しくは操作部２０６が受け付け操作制御部２０５で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理部の処理結果を表示制御部２０７を介して表示部２０８へ表示させる処理を実行する。
通行人物検出部２０２ａは、カメラ１５０により撮影された画像のフレーム差分から動領域を検出する動領域検出処理部２０２ａと、該移動領域が人物を近似する矩形であるか否かを判定して人物を検出する人物検出処理部２０２ｂとを有する。注視人物検出処理部２０３は、人物検出処理部２０２ｂにより検出された人物を近似する矩形の動領域から顔部分に相当すると想定される矩形を取り出し、該矩形が顔であるか否かを判定して顔を検出する顔検出処理部２０３ａと、顔検出処理部２０３ａにより検出された顔が向いている顔方向を検出する顔角度検出処理部２０３ｂとを有する。人物検出処理部２０２ｂ及び顔検出処理部２０３ａは、同一人物を重複して検出することを防止するため、検出済みの人物の画像データにフラグを立て、フラグが立っている人物は検出を行わないフラグ制御を行う。このフラグ制御によれば、新たに検出された人物にはフラグが立っておらず、既に検出済みの人物にはフラグが立っているため、新たに検出された人物と既に検出済みの人物とを区別することができる。
記憶部２０４は、不揮発性の磁気的記録装置であり、前述の顔角度検出処理部２０３ｂにより広告看板へ向く顔方向であると判定する顔方向角度の判定基準（顔角度検出基準）を格納する注視判断基準２０４ａを有する。具体的には、顔領域の縦横比率を判定し、当該画像を撮影したカメラ１５０とＴＶ画面１００ｔとの位置関係と撮影された画像に含まれる顔の縦横比率とを判定して、顔方向がＴＶ画面１００ｔを向くものであると見なしうる顔方向の角度であるか否かを判断する。例えばカメラ１５０が撮影した顔の場合、該カメラ１５０とＴＶ画面１００ｔとが同一方向を向く位置関係にあることから、縦横比率が正面を向く人間の顔の比率に近ければ近いほど該顔がＴＶ画面を注視している可能性が高い。そして、顔方向がＴＶ画面を注視するものであると見なしうる顔方向の角度である場合に、該顔方向の角度が顔角度検出処理部２０３ｂの検出対象となる。
次に、図２に示した集計センタサーバ３００の構成について説明する。図４は、図２に示した集計センタサーバ３００の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ３００は、主制御部３０１と、通過検出時刻登録部３０２と、顔角度登録処理部３０３と、注視深度率算出処理部３０４と、空注視率算出処理部３０５と、記憶部３０６と、キーボードなどの操作部３０８が接続される操作制御部３０７と、ディスプレイ装置などの表示部３１０が接続される表示制御部３０９と、外部とのデータ授受を制御するＩ／Ｆ部３１１とを有する。主制御部３０１は集計センタサーバ３００全体の処理を制御する制御部である。具体的には主制御部３０１は、システムサーバ２００からＩ／Ｆ部３１１を介して通過検知や顔方向の角度などの属性データを受け取って通過検出時刻登録部３０２又は顔角度登録処理部３０３へ受け渡す処理を行う。該属性データの授受を契機として通過検出時刻登録部３０２はカメラ１５０に撮影された画像に通行人として含まれていた人物の検知時刻を該人物単位に登録し、また顔角度登録処理部３０３はＴＶ画面に顔方向の角度が向いている人物として画像に含まれていた人物の顔方向の角度（顔角度）を該人物単位に登録する。また、注視深度率算出処理部３０４は、人物単位に、時刻とともに変化する顔角度を総和し、該総和を、顔角度を検出した時間と、注視と見なしうる顔角度（注視角閾値）とで除した注視深度率を算出する。また空注視率算出処理部３０５は、人物単位にみて、一時的に顔角度が注視角閾値を下回った時間を挟んで顔角度が注視角閾値以上となる時間が隣接する場合に、これらの時間合計に対する一時的に顔角度が注視角閾値を下回った時間の比率を算出する。この比率を空注視率といい、この値が所定値より以下の場合に該一時的に顔角度が注視角閾値を下回った時間においても実質的にＴＶ画面を注視しているとみなすこととする。この場合に、一時的に顔角度が注視角閾値を下回った時間を空注視時間という。また主制御部３０１は、通過検出時刻登録３０２又は顔角度登録処理部３０３から出力される情報を記憶部３０６へ受け渡す処理を行い、若しくは操作部３０８が受け付け操作制御部３０７で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部３０９を介して表示部３１０へ表示させる処理を実行する。
通過検出時刻登録部３０２は、システムサーバ２００から送信されてくる属性データに基づいて通行人物が検出された時刻を登録指示する。この登録指示は記憶部３０６へ受け渡される。また顔角度登録処理部３０３は、システムサーバ２００から送信されてくる属性データから顔角度を登録指示する。この登録指示は記憶部３０６へ受け渡される。なお、通過検出時刻登録部３０２及び顔角度登録処理部３０３は、１００ミリ秒毎に人数検出時刻及び顔角度の登録指示を行う。即ち、１００ミリ秒間の画像フレームに含まれる人物の顔角度を時刻とともに登録指示する。該登録指示を受けた記憶部３０６はＤＢ３０６ａに人物の顔角度を時刻とともに登録する。
注視深度率算出処理部３０４は、１００ミリ秒単位でＤＢ３０６ａに登録された顔角度を、該顔角度が検出された人物単位に合計し、（顔角度の合計）÷（顔角度が検出された時間）÷（注視角閾値）を計算して注視深度率を算出する。なお、顔角度が検出された時間とは、顔角度が顔角度検出基準以上となり検出対象として検出開始した時刻から顔角度検出基準を下回り検出対象でなくなり検出終了した時刻までの時間である。また、注視角閾値とは、顔角度が対象のＴＶ画面に表示されるコンテンツを注視していると見なすことができる最低限の顔角度である。また、実施例１においては、顔角度の合計は、顔角度が時刻Ｔに関する離散値である場合には、該離散値の合計とするが、顔角度が時刻Ｔに関する連続関数で表現できる場合には、該連続関数を顔角度が検出された時刻の区間で積分した積分値であるとする。
なお、上記計算式により算出された注視深度率が意味するところは、次の通りである。即ち、注視深度率＝（顔角度の合計）÷（顔角度が検出された時間）÷（注視角閾値）＝（顔角度の合計）÷｛（顔角度が検出された時間）×（注視角閾値）｝であるが、｛（顔角度が検出された時間）×（注視角閾値）｝は、該顔角度が検出された時間にわたって平均的に注視していたと見なしうる顔角度の合計値の最低限度である。即ち、（顔角度の合計）が｛（顔角度が検出された時間）×（注視角閾値）｝以上であれば、顔角度が検出された時間において平均的にみてコンテンツを注視していたと見なしうるのであり、（顔角度の合計）が｛（顔角度が検出された時間）×（注視角閾値）｝を下回っていれば平均的にみてコンテンツを注視してはいなかったと見なしうるのである。換言すれば、注視深度率が１以上であれば平均的にみてコンテンツを注視していたと見なし、１より小であれば平均的にみてコンテンツを注視してはいなかったと見なしうるのである。
記憶部３０６は、不揮発性の磁気的記録装置であり、１００ミリ秒毎に通行人の顔角度を登録するＤＢ３０６ａを有する。１００ミリ秒毎に１レコードが生成され、この１レコードに相当する１００ミリ秒に含まれる画像のフレームに撮影されている通行人の顔角度及びその際の時刻が登録されている。
次に、図４に示した集計センタサーバ３００の記憶部３０６のＤＢ３０６ａに格納される顔角度登録テーブルについて説明する。図５は、図４に示した集計センタサーバ３００の記憶部３０６のＤＢ３０６ａに格納される顔角度登録テーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「人物ＩＤ」、「日付」、「時刻（Ｔ）」及び「顔角度（Ｚ）」のカラムを持つ。カメラ１５０により撮影された人物で同一人物と見なされる人物単位にレコードが生成されている。例えば「人物ＩＤ」が“1”であるレコードは、2005年12月16日16時55分20秒100ミリ秒に10度の顔角度が検知された人物のレコードを含む。この時刻以降100ミリ秒毎にそれぞれ0度〜90度の顔角度が検知され登録されている。即ち、当該人物のＴＶ画面エリアにおける存在及び顔角度の検知開始から終了まで、100ミリ秒毎に検知時刻とともに顔角度を検知して登録することとなる。
このようにデータベーステーブルを構成し、人物単位に「日付」、「時刻」及び「顔角度」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、“日時”と共に変化する周辺照度やＴＶ画面エリアなどの周辺環境がＴＶ画面への注視に与える影響を統計的に把握することができる。また、“日時”により特定可能な気温、天候、社会情勢（報道や争乱など）の外部的要因がＴＶ画面への注視に与える影響を把握することができる。また、ＴＶ画面に表示させるコンテンツ自体の体裁やデザイン、若しくはコンテンツの企画・構成が該ＴＶ画面への注視に与える影響の把握が可能となる。このような注視の評価により、ＴＶ画面への注意喚起をより促すようなコンテンツの提示方法を確立し、効果の立証を行うことが可能となる。
次に、図１及び２に示したコンテンツ注目評価装置及び評価方法における処理手順について説明する。図６は、図１及び２に示したコンテンツ注目評価装置及び評価方法における処理手順を示すフローチャートである。同図に示すように、システムサーバ２００は、先ず動領域を検出する（ステップＳ１０１）。続いて、検出された動領域が人物であるか否かを判定し（ステップＳ１０２）、人物であると判定される場合に（ステップＳ１０２肯定）顔領域検出処理を実行する（ステップＳ１０３）。続いて顔領域検出か否かを判定し（ステップＳ１０４）、顔領域検出と判定された場合に（ステップＳ１０４肯定）顔角度検出処理を実行する（ステップＳ１０５）。なお、動領域が人物と判定されなかった場合（ステップＳ１０２否定）又は顔領域が検出されたと判定されなかった場合（ステップＳ１０４否定）には、ステップＳ１０７へ処理を移す。ステップＳ１０５に続き、顔角度を検出した情報を集計センタサーバ３００へ送信する（ステップＳ１０６）。続いてトラッキング終了か否かを判定し（ステップＳ１０７）、トラッキング終了と判定される場合には（ステップＳ１０７肯定）システムサーバ２００における処理を終了し、トラッキング終了と判定されない場合には（ステップＳ１０７否定）ステップＳ１０１へ処理を移す。
一方集計センタサーバ３００では、先ず全ての処理に先立って所定時間の計時を開始する計時開始処理（ステップＳ２０１）を行い、システムサーバ２００からステップＳ１０６の処理により顔角度の情報が送信されてくると、検知時刻・顔角度登録処理を実行する（ステップＳ２０２）。続いて所定時間（例えば１００ミリ秒）経過したか否かを判定し（ステップＳ２０３）、所定時間経過と判定された場合に（ステップＳ２０３肯定）ステップＳ２０４へ処理を移し、所定時間経過と判定されなかった場合に（ステップＳ２０３否定）ステップＳ２０２へ処理を移す。ステップＳ２０４では、検知時刻・顔角度登録処理終了か否かを判定し、検知時刻・顔角度登録処理終了と判定される場合には（ステップＳ２０４肯定）集計センタサーバ３００における処理を終了し、検知時刻・顔角度登録処理終了と判定されない場合には（ステップＳ２０４否定）ステップＳ２０１へ処理を移す。
次に、図１及び２に示したコンテンツ注目評価装置及び評価方法による顔角度検知の概要を説明する。図７は、図１及び２に示したコンテンツ注目評価装置及び評価方法による顔角度検知の概要を視覚的にグラフ化した説明図である。なお、ここでは、カメラ１５０により撮影された画像の１フレームが１００ミリ秒に相当する前提とする。図７は、ＴＶ画面１００ｔに表示されるコンテンツを注視する顔角度について、顔角度検出時刻（Ｔ［sec］）と顔角度（Ｚ［deg］）との相関を示すものである。同図によれば、フレーム１（最初の１００ミリ秒）においては顔角度０度であり、フレーム２においては顔角度Ｚ1である。そして、フレーム３〜６においては顔角度Ｚ2である。なお、顔角度がＺ2となって初めて注視角閾値Ｚ0以上となったので、ＴＶ画面１００ｔに表示されるコンテンツを注視ていると見なしうるものとなっている。注視角閾値Ｚ0は、コンテンツ注視と見なしうる顔角度の最低値である。そして、フレーム７〜１０では、顔角度がＺ3となり、Ｚ3がグラフにおける最大値であることから、最も該コンテンツを注視していると見なしうるものとなっている。そしてフレーム１１では顔角度がＺ4となり、フレーム１２では顔角度がＺ5となっている。Ｚ5は注視角閾値Ｚ0を下回るので、フレーム１２において一時的にコンテンツに対する注視が途切れたと見なしうる。しかし、フレーム１３において顔角度は再びＺ3となっており、コンテンツに対する注視が再開したと見なしうる。そしてフレーム１４では、顔角度はＺ6へと遷移している。
なお、図７のグラフのグラフにおいて、フレーム３からフレーム１１にかかるａ秒間は連続して全て顔角度が注視角閾値Ｚ0以上となっており、連続する１回の注視期間と見ることができる。そして、フレーム１２のｄ秒間において顔角度Ｚ5が注視角閾値Ｚ0を下回っているが、フレーム１３のｂ秒間において再び顔角度Ｚ3が注視角閾値Ｚ0以上となっている。ここでｃ＝ｄ／（ａ＋ｂ＋ｄ）を「空注視率」という。ここで“ｄ”は、空注視時間といい、コンテンツに対する意識はあるが視線が該コンテンツにない時間を指す。すなわち「空注視率」は、一時的にコンテンツに対する注視が途切れたが、引き続き注視していると見なしうる時間の割合を示す。注視角閾値Ｚ0を下回ると連続した注視と顔角度が見なされなくなるが、前述の注視深度を加味すると、空注視時間においても連続した注視と見なしうることとなる。
実施例１のようにコンテンツ注目の評価が可能であると、時間とともに変化するＴＶ画面に表示されるコンテンツのうちどのコンテンツがより高い注視を集めたかが分析可能となる。例えば特定のコンテンツを表示する場合に、該コンテンツへの注視が時間帯に応じてどのように異なるかが判断可能となる。またＴＶ放送番組の合間に流すＣＭに対する注視の程度を分析可能となる。これらのことから、本発明によれば、ＴＶ画面に表示するコンテンツを時間的にどのように構成するとより高い注視を集めることが可能となるかを分析することが可能となる。
実施例１では、ＴＶ画面の前面に存在する人物の該ＴＶ画面に対する注視の時間推移を検出して記憶することとしたが、これに限らず、列車などの公共交通機関の車両内に設置される動画像表示装置などにも適用可能である。ＴＶ画面又は動画像表示装置のいずれであっても、携帯電話やその他の要因により顔角度が一時的に注視角閾値を下回っても、意識下では連続した注視効果が期待できる場合に、該注視効果を定量的に把握することが可能となり、ＴＶ画面又は動画像表示装置のコンテンツの出稿主に対して、効果的な出稿方法を提示することが可能となる。また、空注視時間を加味した意識下にある注目率の積算値を算出することができる。このように、注視判断となる顔角度の注視角閾値を超えないが、意識下では注視を継続している状態を示す「空注視」という概念を導入することにより、ＴＶ画面に表示されるコンテンツに対する注視の評価をより実態に即した形で行うことができる。
図８は、実施例２に係るコンテンツ注目評価装置及び評価方法の概念を説明するための説明図である。同図に示すように、本装置及び方法では、広告看板前における移動距離（人物位置）Ｌの経過とともに変化する広告看板１００ａの前面の広告看板注視エリアに存在する人物の、該広告看板への視線方向を検出・記憶することを特徴とする。なお、人物位置Ｌとは、広告看板に対する人物の位置を表す座標であり、実施例１では、向かって広告看板の左端又はその近傍の定点を原点とし、該原点からの距離［ｍ］をあらわす座標である。
同図によると、広告看板注視エリアにおいて、広告看板の平行線とのなす角が最初にθ＝θ1[deg]であった視線方向は、人物の移動後にθ＝θ2[deg]へと変化している。このように人物位置Ｌの経過毎に変化するθを検出・記憶すると、広告看板注視エリアに存在する人物の該広告看板への注視の移動距離に応じた変化を分析可能となる。
従来、コンテンツに対する注視を評価分析する方法としては、該コンテンツに注視する人物の数を統計する手法が一般的であった。この方法によると、少しでも顔方向がコンテンツへ向いていると該コンテンツに注視していると見され、該コンテンツに注視する人物として計数されていた。しかし、一概にコンテンツへの注視といっても、人物が該コンテンツに対して深い注目を与えている場合と、軽い注目を与えている場合とがある。例えば深い注目とは、人物がコンテンツに対して意識の集中を以って注目している場合であり、軽い注目とは、該人物がコンテンツに対して散漫な意識を以ってしか見ていない場合である。特に、コンテンツが移動しながら見られることを想定して設置されているものである場合に、該移動に伴って注目の程度も変化しうると考えられる。このように、人物がその移動とともにコンテンツに対してどれだけの意識の集中を以って視線を向けているかの判断は容易ではないが、例えば該人物の該コンテンツに対する視線方向が該コンテンツに対する意識の集中の程度と何らかの相関があると考えられる。本発明は、この点に着目してなされたものであり、広告看板の前面を移動する人物の視線方向が該広告看板の平行線となす角度を検出して記憶することにより、該人物の移動とともに変化する、広告看板への注目の程度を分析・評価することを可能としたものである。
次に、図８に示したコンテンツ注目評価装置及び評価方法のシステム構成について説明する。図９は、実施例１のコンテンツ注目評価装置及びコンテンツ注目評価システムのシステム構成を説明するための説明図である。同図によれば、通路の横に広告看板１００ａが配設された通路を通過する通行人物を撮影するための３台の広角カメラが該通路の所定位置に配置されている。即ち、広告看板１００ａ側から通路に存在する通行人物を撮影するカメラ１５０ａ、向かって左側に広告看板１００ａが位置する当該通路上の配設位置から通路に存在する通行人物を撮影するカメラ１５０ｂ、向かって右側に広告看板１００ａが位置する当該通路上の配設位置から通路に存在する通行人物を撮影するカメラ１５０ｃがそれぞれの配設位置に存在する。
同図に示したカメラ領域ｒ１は、カメラ１５０ｂ及びカメラ１５０ｃにより通行人物の撮影が可能な領域である。この領域内に存在する通行人物は、カメラ１５０ｂ又はカメラ１５０ｃにより撮影されることによって通行人物として検出され得る。また、カメラ領域ｒ１で検出された通行人物の顔方向が広告看板１００ａ方向を向くか否かが検出される。同様にカメラ領域ｒ２は、カメラ１５０ａにより通行人物の撮影が可能な領域である。カメラ領域ｒ２に存在する通行人物は、カメラ１５０ａによる撮影によってその存在が検出されることはもとより、通行人物の顔が広告看板１００ａ方向を向くか否かが検出される。これは、カメラ１５０ａが広告看板１００ａの同一面内又はその近傍に配設されていることにより、視線を向けるために広告看板へ顔方向を向けると、この広告看板方向を向く顔がカメラ１５０ａにより撮影されることによる。
カメラ１５０ａ、１５０ｂ、１５０ｃ及びシステムサーバ２００がケーブルＣを介して接続されている。少なくとも一つのシステムサーバ２００がネットワークＮを介して集計センタサーバ３００と接続されている。システムサーバ２００と集計センタサーバ３００は異なるフロアに設置されているものとするが、同一のフロアに設置されてもよく、また同一のコンピュータシステムに実装されていてもよいものである。システムサーバ２００は、カメラ１５０ａ、１５０ｂ又は１５０ｃにより撮影された画像を分析して該画像から通行人物及び該通行人物の顔方向を検出するための分析装置である。カメラ１５０ａ、１５０ｂ及び１５０ｃは通行人物を含む画像を撮影して該画像をシステムサーバ２００へ送信する。システムサーバ２００では該画像を分析して該画像に含まれる通行人物の客観的な属性データを検出して該属性データを集計センタサーバ３００へ送信する。集計センタサーバ３００は、該属性データを集計し各種分析指標を算出する。即ち、個人を特定することができる画像情報は、システムサーバ２００及びカメラ１５０ａ、１５０ｂ、１５０ｃ間で閉じており、これら以外に送信されることもなければ取得されることもない。よって本実施例１の広告注目評価システムは、システムサーバ２００及びカメラ１５０ａ、１５０ｂ、１５０ｃにおいて集中的に個人情報保護を図るだけで個人情報の漏洩・拡散を防止できるシステムとなっている。
次に、図９に示したシステムサーバ２００の構成について説明する。図１０は、図９に示したシステムサーバ２００の構成を示す機能ブロック図である。同図に示すように、このシステムサーバ２００は、主制御部２０１と、通行人物検知部２０２と、注視人物検出処理部２０３と、記憶部２０４と、キーボードなどの操作部２０６が接続される操作制御部２０５と、ディスプレイ装置などの表示部２０８が接続される表示制御部２０７と、外部とのデータ授受を制御するＩ／Ｆ部２０９とを有する。主制御部２０１はシステムサーバ２００全体の処理を制御する制御部である。具体的には、カメラ１５０からＩ／Ｆ部２０９を介して画像データを受け取って通行人物検出部２０２又は注視人物検出処理部２０３へ受け渡す処理を行い、通行人物検出部２０２又は注視人物検出処理部２０３から出力される情報を記憶部２０４へ受け渡したりＩ／Ｆ部２０９を介して集計センタサーバ３００へ送信したりする処理を行い、若しくは操作部２０６が受け付け操作制御部２０５で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理部の処理結果を表示制御部２０７を介して表示部２０８へ表示させる処理を実行する。
通行人物検出部２０２ａは、カメラ１５０により撮影された画像のフレーム差分から動領域を検出する動領域検出処理部２０２ａと、該移動領域が人物を近似する矩形であるか否かを判定して人物を検出する人物検出処理部２０２ｂ及び人物が広告看板１００ａに対してどの位置にあるかを検出する人物位置検出処理部２０２ｃとを有する。注視人物検出処理部２０３は、人物検出処理部２０２ｂにより検出された人物を近似する矩形の動領域から顔部分に相当すると想定される矩形を取り出し、該矩形が顔であるか否かを判定して顔を検出する顔検出処理部２０３ａと、顔検出処理部２０３ａにより検出された顔が向いている顔方向を検出する顔角度検出処理部２０３ｂとを有する。人物検出処理部２０２ｂ及び顔検出処理部２０３ａは、同一人物を重複して検出することを防止するため、検出済みの人物の画像データにフラグを立て、フラグが立っている人物は検出を行わないフラグ制御を行う。このフラグ制御によれば、新たに検出された人物にはフラグが立っておらず、既に検出済みの人物にはフラグが立っているため、新たに検出された人物と既に検出済みの人物とを区別することができる。
記憶部２０４は、不揮発性の磁気的記録装置であり、前述の顔角度検出処理部２０３ｂにより広告看板へ向く顔方向であると判定する顔方向角度の判定基準（顔角度検出基準）を格納する注視判断基準２０４ａを有する。具体的には、顔領域の縦横比率を判定し、当該画像を撮影したカメラ１５０ａ、１５０ｂ又は１５０ｃと広告看板１００ａとの位置関係と撮影された画像に含まれる顔の縦横比率とを判定して、顔方向が広告看板１００ａを向くものであると見なしうる顔方向の角度であるか否かを判断する。例えばカメラ１５０ａが撮影した顔の場合、カメラ１５０ａと広告看板１００ａとが同一方向を向く位置関係にあることから、縦横比率が正面を向く人間の顔の比率に近ければ近いほど該顔が広告看板を注視している可能性が高い。そして、顔方向が広告看板を注視するものであると見なしうる顔方向の角度である場合に、該顔方向の角度が顔角度検出処理部２０３ｂの検出対象となる。
次に、図９に示した集計センタサーバ３００の構成について説明する。図１１は、図９に示した集計センタサーバ３００の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ３００は、主制御部３０１と、通過検出時刻登録部３０２と、顔角度登録処理部３０３と、人物位置登録処置部３１２と、注視深度率算出処理部３０４と、空注視率算出処理部３０５と、記憶部３０６と、キーボードなどの操作部３０８が接続される操作制御部３０７と、ディスプレイ装置などの表示部３１０が接続される表示制御部３０９と、外部とのデータ授受を制御するＩ／Ｆ部３１１とを有する。主制御部３０１は集計センタサーバ３００全体の処理を制御する制御部である。具体的には主制御部３０１は、システムサーバ２００からＩ／Ｆ部３１１を介して通過検知や人物の位置情報や顔方向の角度などの属性データを受け取って通過検出時刻登録部３０２、人物位置登録処理部３１２又は顔角度登録処理部３０３へ受け渡す処理を行う。該属性データの授受を契機として通過検出時刻登録部３０２はカメラ１５０ａ、１５０ｂ又は１５０ｃに撮影された画像に通行人として含まれていた人物に対応するレコードをＤＢ３０６ａに新規追加し、また人物位置登録処理部３１２は広告看板に対する人物の位置を該人物単位に登録する処理し、また顔角度登録処理部３０３は広告看板に顔方向の角度が向いている人物として画像に含まれていた人物の顔方向の角度（顔角度）を該人物単位に登録する。また、注視深度率算出処理部３０４は、人物単位に、時刻とともに変化する顔角度を総和し、該総和を、顔角度を検出した時間と、注視と見なしうる顔角度（注視角閾値）とで除した注視深度率を算出する。また空注視率算出処理部３０５は、人物単位にみて、一時的に顔角度が注視角閾値を下回った区間を挟んで顔角度が注視角閾値以上となる区間が隣接する場合に、これらの区間合計に対する一時的に顔角度が注視角閾値を下回った区間の比率を算出する。この比率を空注視率といい、この値が所定値より以下の場合に該一時的に顔角度が注視角閾値を下回った区間においても実質的に広告看板を注視しているとみなすこととする。この場合に一時的に顔角度が注視角閾値を下回った区間を空注視区間という。また主制御部３０１は、通過検出時刻登録３０２、顔角度登録処理部３０３又は人物位置登録処理部３１２から出力される情報を記憶部３０６へ受け渡す処理を行い、若しくは操作部３０８が受け付け操作制御部３０７で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部３０９を介して表示部３１０へ表示させる処理を実行する。
通過検出時刻登録部３０２は、システムサーバ２００から送信されてくる属性データに基づいて通行人物が検出されたことに応じてＤＢ３０６ａへ新規レコード追加処理を指示する。この追加処理指示は記憶部３０６へ受け渡される。また顔角度登録処理部３０３は、システムサーバ２００から送信されてくる属性データから顔角度を登録指示する。この登録指示は記憶部３０６へ受け渡される。また人物位置登録処理部３１２は、システムサーバ２００から送信されてくる属性データから広告看板に対する人物の位置を登録指示する。この登録指示は記憶部３０６へ受け渡される。なお、顔角度登録処理部３０３及び人物位置登録処理部３１２は、１００ミリ秒毎に顔角度及び人物位置の登録指示を行う。即ち、１００ミリ秒間の画像フレームに含まれる人物の顔角度を人物位置とともに登録指示する。該登録指示を受けた記憶部３０６はＤＢ３０６ａに人物の顔角度を人物位置とともに登録する。
なお、実施例２における通過検出時刻登録処理部３０２は、ＤＢ３０６ａへの新規レコード追加処理のみを行うこととし、通過検出時刻登録は省略することとするが、これに限らず、ＤＢ３０６ａへの新規レコード追加処理時に通過検出時刻登録処理を行うこととしてもよい。
注視深度率算出処理部３０４は、１００ミリ秒単位でＤＢ３０６ａに登録された顔角度を、該顔角度が検出された人物単位に合計し、（顔角度の合計）÷（顔角度が検出された位置の差分）÷（注視角閾値）を計算して注視深度率を算出する。なお、顔角度が検出された位置の差分とは、顔角度が顔角度検出基準以上となり検出対象として検出開始した位置から顔角度検出基準を下回り検出対象でなくなり検出終了した位置までの距離である。また、注視角閾値とは、顔角度が対象の広告看板を注視していると見なすことができる最低限の顔角度である。また、実施例２においては、顔角度の合計は、顔角度が人物位置Ｌに関する離散値である場合には、該離散値の合計とするが、顔角度が人物位置Ｌに関する連続関数で表現できる場合には、該連続関数を顔角度が検出された人物位置の区間で積分した積分値であるとする。
なお、上記計算式により算出された注視深度率が意味するところは、次の通りである。即ち、注視深度率＝（顔角度の合計）÷（顔角度が検出された位置の差分）÷（注視角閾値）＝（顔角度の合計）÷｛（顔角度が検出された位置の差分）×（注視角閾値）｝であるが、｛（顔角度が検出された位置の差分）×（注視角閾値）｝は、該顔角度が検出された位置の差分にわたって平均的に注視していたと見なしうる顔角度の合計値の最低限度である。即ち、（顔角度の合計）が｛（顔角度が検出された位置の差分）×（注視角閾値）｝以上であれば、顔角度が検出された位置の差分において平均的にみてコンテンツを注視していたと見なしうるのであり、（顔角度の合計）が｛（顔角度が検出された位置の差分）×（注視角閾値）｝を下回っていれば平均的にみてコンテンツを注視してはいなかったと見なしうるのである。換言すれば、注視深度率が１以上であれば平均的にみてコンテンツを注視していたと見なし、１より小であれば平均的にみてコンテンツを注視してはいなかったと見なしうるのである。
記憶部３０６は、不揮発性の磁気的記録装置であり、１００ミリ秒毎に通行人の顔角度を登録するＤＢ３０６ａを有する。１００ミリ秒毎に１レコードが生成され、この１レコードに相当する１００ミリ秒に含まれる画像のフレームに撮影されている通行人の顔角度及びその際の人物位置が登録されている。
次に、図１１に示した集計センタサーバ３００の記憶部３０６のＤＢ３０６ａに格納される顔角度登録テーブルについて説明する。図１２は、図１１に示した集計センタサーバ３００の記憶部３０６のＤＢ３０６ａに格納される顔角度登録テーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「人物ＩＤ」、「人物位置（Ｌ）」及び「顔角度（Ｚ）」のカラムを持つ。カメラ１５０ａ、１５０ｂ又は１５０ｃにより撮影された人物で同一人物と見なされる人物単位にレコードが生成されている。例えば「人物ＩＤ」が“1”であるレコードは、人物が“1”［ｍ］において10度の顔角度が検知された人物のレコードを含む。この時刻以降100ミリ秒毎にそれぞれ0度〜90度の顔角度が検知され登録されている。即ち、当該人物の広告看板注視エリアにおける存在及び顔角度の検知開始から終了まで、100ミリ秒毎に人物位置とともに顔角度を検知して登録することとなる。
このようにデータベーステーブルを構成し、人物単位に「人物位置」及び「顔角度」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、「人物位置」に応じて異なる広告看板の提供情報が広告看板への注視に与える影響を統計的に把握することができる。また、広告看板自体の体裁やデザイン、若しくは広告看板の企画・構成が該広告看板への注視に与える影響の把握が可能となる。このような注視の評価により、広告看板への注意喚起をより促すような広告の提示方法を確立し、効果の立証を行うことが可能となる。
なお、通過検出時刻登録処理部３０２が、ＤＢ３０６ａへの新規レコード追加処理時に通過検出時刻登録処理を行うこととする場合には、図１１に示したデータベーステーブルに「日時」（若しくは「日付」及び「時刻」）のカラムが追加されることになる。このようにすると、検出されＤＢ３０６ａに登録された人物が、何時、どの位置にいて、広告看板に対してどれだけの深度の注視を示したかが把握可能となる。
次に、図８及び９に示したコンテンツ注目評価装置及び評価方法における処理手順について説明する。図１３は、図８及び９に示したコンテンツ注目評価装置及び評価方法における処理手順を示すフローチャートである。同図に示すように、システムサーバ２００は、先ず動領域を検出する（ステップＳ１１１）。続いて、検出された動領域が人物であるか否かを判定し（ステップＳ１１２）、人物であると判定される場合に（ステップＳ１１２肯定）顔領域検出処理を実行する（ステップＳ１１３）。続いて顔領域検出か否かを判定し（ステップＳ１１４）、顔領域検出と判定された場合に（ステップＳ１１４肯定）顔角度検出処理を実行する（ステップＳ１１５）。なお、動領域が人物と判定されなかった場合（ステップＳ１１２否定）及び顔領域が検出されたと判定されなかった場合（ステップＳ１１４否定）には、ステップＳ１１７へ処理を移す。ステップＳ１１５に続き、人物位置（Ｌ）を検出し（ステップＳ１１６）、顔角度を検出した情報を集計センタサーバ３００へ送信する（ステップＳ１１７）。続いてトラッキング終了か否かを判定し（ステップＳ１１８）、トラッキング終了と判定される場合には（ステップＳ１１８肯定）システムサーバ２００における処理を終了し、トラッキング終了と判定されない場合には（ステップＳ１１８否定）ステップＳ１１１へ処理を移す。
一方集計センタサーバ３００では、先ず全ての処理に先立って所定時間の計時を開始する計時開始処理（ステップＳ２１１）を行い、システムサーバ２００からステップＳ１１７の処理により顔角度の情報が送信されてくると、人物位置・顔角度登録処理を実行する（ステップＳ２１２）。続いて所定時間（例えば１００ミリ秒）経過したか否かを判定し（ステップＳ２１３）、所定時間経過と判定された場合に（ステップＳ２１３肯定）ステップＳ２１４へ処理を移し、所定時間経過と判定されなかった場合に（ステップＳ２１３否定）ステップＳ２１２へ処理を移す。ステップＳ２１４では、検知時刻・顔角度登録処理終了か否かを判定し、検知時刻・顔角度登録処理終了と判定される場合には（ステップＳ２１４肯定）集計センタサーバ３００における処理を終了し、検知時刻・顔角度登録処理終了と判定されない場合には（ステップＳ２１４否定）ステップＳ２０１へ処理を移す。
次に、図８及び９に示したコンテンツ注目評価装置及び評価方法による顔角度検知の概要を説明する。図１４は、図８及び９に示したコンテンツ注目評価装置及び評価方法による顔角度検知の概要を視覚的にグラフ化した説明図である。なお、ここでは、カメラ１５０ａ、１５０ｂ又は１５０ｃにより撮影された画像の１フレームが１００ミリ秒に相当する前提とする。図１４は、広告看板１００ａに表示されるコンテンツを注視する顔角度について、人物位置（Ｌ［ｍ］）と顔角度（Ｚ［deg］）との相関を示すものである。同図によれば、フレーム１（最初の１００ミリ秒）においては顔角度０度であり、フレーム２においては顔角度Ｚ1である。そして、フレーム３〜６においては顔角度Ｚ2である。なお、顔角度がＺ2となって初めて注視角閾値Ｚ0以上となったので、広告看板１００ａを注視ていると見なしうるものとなっている。注視角閾値Ｚ0は、広告看板注視と見なしうる顔角度の最低値である。そして、フレーム７〜１０では、顔角度がＺ3となり、Ｚ3がグラフにおける最大値であることから、最も広告看板を注視していると見なしうるものとなっている。そしてフレーム１１では顔角度がＺ4となり、フレーム１２では顔角度がＺ5となっている。Ｚ5は注視角閾値Ｚ0を下回るので、フレーム１２において一時的に広告看板に対する注視が途切れたと見なしうる。しかし、フレーム１３において顔角度は再びＺ3となっており、広告看板に対する注視が再開したと見なしうる。そしてフレーム１４では、顔角度はＺ6へと遷移している。
なお、図１４のグラフのグラフにおいて、フレーム３からフレーム１１にかかるａ［ｍ］は連続して全て顔角度が注視角閾値Ｚ0以上となっており、連続する１回の注視区間と見ることができる。そして、フレーム１２のｄ［ｍ］において顔角度Ｚ5が注視角閾値Ｚ0を下回っているが、フレーム１３のｂ［ｍ］において再び顔角度Ｚ3が注視角閾値Ｚ0以上となっている。ここでｃ＝ｄ／（ａ＋ｂ＋ｄ）を「空注視率」という。ここで“ｄ”は、空注視区間といい、広告看板に対する意識はあるが視線が該広告看板にない区間を指す。すなわち「空注視率」は、一時的に広告看板に対する注視が途切れたが、引き続き注視していると見なしうる区間の割合を示す。注視角閾値Ｚ0を下回ると連続した注視と顔角度が見なされなくなるが、前述の注視深度を加味すると、空注視区間においても連続した注視と見なしうることとなる。
実施例２のようにコンテンツ注目の評価が可能であると、人物位置に応じて異なる広告看板に表示される情報のうちどの情報がより高い注視を集めたかが分析可能となる。例えば特定の情報を表示する場合に、該情報への注視が人物位置に応じてどのように異なるかが判断可能となる。このことから、本発明によれば、広告看板に表示する情報をどの位置に配置するとより高い注視を集めることが可能となるかを分析することが可能となる。また、広告効果が顕著であった場合に、高い注視を集めたと推定される情報が該広告効果に寄与したであろうと判断可能となる。
実施例２の広告看板が駅の自動改札の付近にある場合に、該自動改札利用時には顔角度が一時的に注視角閾値を下回ることがあるが、意識下では連続した注視効果が期待できる場合がある。本発明によれば、該注視効果を定量的に把握することが可能となり、広告の出稿主に対して、効果的な出稿方法を提示することが可能となる。また、空注視距離を加味した、意識下にある注目率の積算値を算出することができる。このように、注視判断となる顔角度の注視角閾値を超えないが、意識下では注視を継続している状態を示す「空注視」という概念を導入することにより、広告看板に対する注視の評価をより実態に即した形で行うことができる。
以上、本発明の実施例について実施例１及び２を説明したが、本発明は、これらに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。
本発明は、広告やＴＶ放送番組などのコンテンツへの注目をより客観的な方法で評価する場合に有効であり、特に、広告媒体やＴＶのコンテンツ媒体をより注目されるように効率よくデザイン・設置する設置手法を調査したい場合に有用である。
実施例１に係るコンテンツ注目評価装置及び評価方法の概念を説明するための説明図である。 図１に示したコンテンツ注目評価装置及び評価方法のシステム構成の概略を示すシステム構成図である。 図２に示したシステムサーバ２００の構成を示す機能ブロック図である。 図２に示した集計センタサーバ３００の構成を示す機能ブロック図である。 図４に示した集計センタサーバ３００の記憶部３０６のＤＢ３０６ａに格納される顔角度登録テーブルのテーブルイメージ図である。 図１及び２に示したコンテンツ注目評価装置及び評価方法における処理手順を示すフローチャートである。 図１及び２に示したコンテンツ注目評価装置及び評価方法による顔角度検知の概要を視覚的にグラフ化した説明図である。 実施例２に係るコンテンツ注目評価装置及び評価方法の概念を説明するための説明図である。 実施例２のコンテンツ注目評価装置及びコンテンツ注目評価システムのシステム構成を説明するための説明図である。 図９に示したシステムサーバ２００の構成を示す機能ブロック図である。 図９に示した集計センタサーバ３００の構成を示す機能ブロック図である。 図１１に示した集計センタサーバ３００の記憶部３０６のＤＢ３０６ａに格納される顔角度登録テーブルのテーブルイメージ図である。 図８及び９に示したコンテンツ注目評価装置及び評価方法における処理手順を示すフローチャートである。 図８及び９に示したコンテンツ注目評価装置及び評価方法による顔角度検知の概要を視覚的にグラフ化した説明図である。
符号の説明
１００ａ 広告看板
１００ｔ ＴＶ画面
１５０、１５０ａ、１５０ｂ、１５０ｃ カメラ
２００ システムサーバ
２０１ 主制御部
２０２ 通行人物検出部
２０２ａ 動領域検出処理部
２０２ｂ 人物検出処理部
２０２ｃ 人物位置検出処理部
２０３ 注視人物検出処理部
２０３ａ 顔検出処理部
２０３ｂ 顔角度検出処理部
２０４ 記憶部
３００ 集計センタサーバ
３０１ 主制御部
３０２ 通過検出時刻登録部
３０３ 顔角度登録処理部
３０４ 注視深度率算出処理部
３０５ 空注視率算出処理部
３０６ 記憶部
３０６ａ ＤＢ
３１２ 人物位置登録処理部

Claims (11)

  1. コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、
    前記画像に撮像された人物を検出する人物検出手段と、
    前記人物検出手段により検出された人物の顔を検出する顔検出手段と、
    前記顔検出手段により顔が検出された人物の顔方向の角度を検出する顔角度検出手段と、
    前記顔角度検出手段により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶手段と、
    前記顔角度記憶手段に記憶される前記顔方向の角度を前記人物検出手段により検出された人物単位で総和し、該総和を該顔方向の角度の検出が開始されてから終了するまでの時間と該顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値とで除した注視深度率を算出する注視深度率算出手段と
    を備えたことを特徴とするコンテンツ注目評価装置。
  2. コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、
    前記画像に撮像された人物を検出する人物検出手段と、
    前記人物検出手段により検出された人物の顔を検出する顔検出手段と、
    前記顔検出手段により顔が検出された人物の顔方向の角度を検出する顔角度検出手段と、
    前記顔角度検出手段により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶手段と、
    前記顔角度記憶手段に記憶される前記顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値を一時的に下回っていた間の時間を、前記顔方向の角度の検出が開始されてから終了するまでの時間で除した空注視率を算出する空注視率算出手段と
    を備えたことを特徴とするコンテンツ注目評価装置。
  3. 前記顔角度記憶手段は、前記人物検出手段により検出された人物単位に、前記顔角度検出手段により検出された時刻とともに前記顔方向の角度を記憶することを特徴とする請求項１又は２に記載のコンテンツ注目評価装置。
  4. コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、
    前記画像に撮像された人物を検出する人物検出手段と、
    前記人物検出手段により検出された人物の顔を検出する顔検出手段と、
    前記顔検出手段により顔が検出された人物の顔方向の角度を検出する顔角度検出手段と、
    前記人物検出手段により検出された人物の位置を検出する人物位置検出手段と、
    前記顔角度検出手段により検出された前記顔方向の角度を、前記人物位置検出手段により検出される人物の位置とともに記憶する顔角度記憶手段と、
    前記顔角度記憶手段に記憶される前記顔方向の角度を前記人物検出手段により検出された人物単位で総和し、該総和を該顔方向の角度の検出が開始されてから終了するまでの該人物の移動距離と該顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値とで除した移動注視深度率を算出する移動注視深度率算出手段と
    を備えたことを特徴とするコンテンツ注目評価装置。
  5. コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、
    前記画像に撮像された人物を検出する人物検出手段と、
    前記人物検出手段により検出された人物の顔を検出する顔検出手段と、
    前記顔検出手段により顔が検出された人物の顔方向の角度を検出する顔角度検出手段と、
    前記人物検出手段により検出された人物の位置を検出する人物位置検出手段と、
    前記顔角度検出手段により検出された前記顔方向の角度を、前記人物位置検出手段により検出される人物の位置とともに記憶する顔角度記憶手段と、
    前記顔角度記憶手段に記憶される前記顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値を一時的に下回っていた間に人物が移動した移動距離を、前記顔方向の角度の検出が開始されてから終了するまでに該人物が移動した移動距離で除した移動空注視率を算出する移動空注視率算出手段と
    を備えたことを特徴とするコンテンツ注目評価装置。
  6. 前記顔角度記憶手段は、前記人物検出手段により検出された人物単位に、前記顔角度検出手段により検出された前記顔方向の角度を、前記人物位置検出手段により検出された該人物の位置とともに記憶することを特徴とする請求項４又は５に記載のコンテンツ注目評価装置。
  7. 前記コンテンツ注目評価装置は、前記撮像装置が接続される画像分析装置と、少なくとも一つの前記画像分析装置と通信可能に接続されたコンテンツ注目評価分析装置とから構成され、
    前記画像分析装置は、前記画像に含まれる人物を特定不可能なデータを前記コンテンツ注目評価分析装置へ送信し、
    前記コンテンツ注目評価分析装置は、前記人物を特定不可能なデータを記憶する前記顔角度記憶手段を有することを特徴とする請求項１〜６のいずれか一つに記載のコンテンツ注目評価装置。
  8. コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、
    前記画像に撮像された人物を検出する人物検出工程と、
    前記人物検出工程により検出された人物の顔を検出する顔検出工程と、
    前記顔検出工程により顔が検出された人物の顔方向の角度を検出する顔方向検出工程と、
    前記顔方向検出工程により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶工程と、
    前記顔角度記憶工程に記憶される前記顔方向の角度を前記人物検出工程により検出された人物単位で総和し、該総和を該顔方向の角度の検出が開始されてから終了するまでの時間と該顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値とで除した注視深度率を算出する注視深度率算出工程と
    を含んだことを特徴とするコンテンツ注目評価方法。
  9. コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、
    前記画像に撮像された人物を検出する人物検出工程と、
    前記人物検出工程により検出された人物の顔を検出する顔検出工程と、
    前記顔検出工程により顔が検出された人物の顔方向の角度を検出する顔方向検出工程と、
    前記顔方向検出工程により検出された前記顔方向の角度を、該検出の時刻とともに記憶する顔角度記憶工程と、
    前記顔角度記憶工程に記憶される前記顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値を一時的に下回っていた間の時間を、前記顔方向の角度の検出が開始されてから終了するまでの時間で除した空注視率を算出する空注視率算出工程と
    を含んだことを特徴とするコンテンツ注目評価方法。
  10. コンテンツ媒体の前面に存在する人物を撮像方法が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、
    前記画像に撮像された人物を検出する人物検出工程と、
    前記人物検出工程により検出された人物の位置を検出する人物位置検出工程と、
    前記人物検出工程により検出された人物の顔を検出する顔検出工程と、
    前記顔検出工程により顔が検出された人物の顔方向の角度を検出する顔方向検出工程と、
    前記顔方向検出工程により検出された前記顔方向の角度を、前記人物位置検出工程により検出された該人物の位置とともに記憶する顔角度記憶工程と、
    前記顔角度記憶工程に記憶される前記顔方向の角度を前記人物検出工程により検出された人物単位で総和し、該総和を該顔方向の角度の検出が開始されてから終了するまでの該人物の移動距離と該顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値とで除した移動注視深度率を算出する移動注視深度率算出工程と
    を含んだことを特徴とするコンテンツ注目評価方法。
  11. コンテンツ媒体の前面に存在する人物を撮像方法が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、
    前記画像に撮像された人物を検出する人物検出工程と、
    前記人物検出工程により検出された人物の位置を検出する人物位置検出工程と、
    前記人物検出工程により検出された人物の顔を検出する顔検出工程と、
    前記顔検出工程により顔が検出された人物の顔方向の角度を検出する顔方向検出工程と、
    前記顔方向検出工程により検出された前記顔方向の角度を、前記人物位置検出工程により検出された該人物の位置とともに記憶する顔角度記憶工程と、
    前記顔角度記憶工程に記憶される前記顔方向の角度が前記コンテンツを注視する角度であると見なしうる角度閾値を一時的に下回っていた間に人物が移動した移動距離を、前記顔方向の角度の検出が開始されてから終了するまでに該人物が移動した移動距離で除した移動空注視率を算出する移動空注視率算出工程と
    を含んだことを特徴とするコンテンツ注目評価方法。
JP2005379269A 2005-12-28 2005-12-28 コンテンツ注目評価装置及び評価方法 Expired - Fee Related JP4603975B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005379269A JP4603975B2 (ja) 2005-12-28 2005-12-28 コンテンツ注目評価装置及び評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005379269A JP4603975B2 (ja) 2005-12-28 2005-12-28 コンテンツ注目評価装置及び評価方法

Publications (2)

Publication Number Publication Date
JP2007181071A JP2007181071A (ja) 2007-07-12
JP4603975B2 true JP4603975B2 (ja) 2010-12-22

Family

ID=38305736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005379269A Expired - Fee Related JP4603975B2 (ja) 2005-12-28 2005-12-28 コンテンツ注目評価装置及び評価方法

Country Status (1)

Country Link
JP (1) JP4603975B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380130B1 (ko) * 2007-10-25 2014-04-07 에스케이플래닛 주식회사 광고 노출 정보를 제공하는 이동 통신 단말기, 그를 이용한모바일 광고 시스템 및 그 방법
JP4934861B2 (ja) * 2008-01-28 2012-05-23 日本電気株式会社 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
JP5103287B2 (ja) * 2008-06-10 2012-12-19 日本電信電話株式会社 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体
JP5113721B2 (ja) * 2008-10-30 2013-01-09 日本電信電話株式会社 メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体
JP5489197B2 (ja) * 2008-11-10 2014-05-14 九州日本電気ソフトウェア株式会社 電子広告装置・方法及びプログラム
JP2010146282A (ja) * 2008-12-18 2010-07-01 Yamaha Motor Co Ltd 広告効果測定装置
JP2010211485A (ja) * 2009-03-10 2010-09-24 Nippon Telegr & Teleph Corp <Ntt> 注視度合測定装置、注視度合測定方法、注視度合測定プログラムおよびそのプログラムを記録した記録媒体
JP2010238185A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 情報生成装置及び情報生成方法
JP2011070629A (ja) * 2009-08-25 2011-04-07 Dainippon Printing Co Ltd 広告効果測定システム及び広告効果測定装置
JP2011128885A (ja) * 2009-12-17 2011-06-30 Toshiba Corp 情報表示装置及び情報表示方法
JP5698574B2 (ja) * 2011-03-15 2015-04-08 オリンパスイメージング株式会社 音声・映像情報報知システム及びその制御方法
WO2013140702A1 (ja) * 2012-03-22 2013-09-26 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法、及びプログラム
JP5920136B2 (ja) * 2012-09-19 2016-05-18 富士通株式会社 注視行動推定装置，注視行動推定方法及び注視行動推定プログラム
US20170109796A1 (en) * 2015-10-14 2017-04-20 Facebook, Inc. Presenting content selected by an online system via content presented by an application along with additional content presented by the application
CN109389069B (zh) 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN109767273B (zh) * 2019-04-10 2019-07-16 深兰人工智能芯片研究院（江苏）有限公司 一种广告推送方法、装置、广告播放终端及存储介质
CN111353461B (zh) * 2020-03-11 2024-01-16 京东科技控股股份有限公司 广告屏的关注度检测方法、装置、系统及存储介质
CN113506132B (zh) * 2021-07-06 2023-08-01 树蛙信息科技(南京)有限公司 线下关注度的确定方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09251342A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法
JPH11328406A (ja) * 1998-05-11 1999-11-30 Nec Corp 画像パターン認識による統計方式
JP2000209578A (ja) * 1999-01-20 2000-07-28 Nri & Ncc Co Ltd 広告メディア評価装置および広告メディア評価方法
JP2002032553A (ja) * 2000-07-18 2002-01-31 Minolta Co Ltd 顧客情報管理システムおよびその方法ならびに顧客情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003216938A (ja) * 2002-01-23 2003-07-31 Sanyo Electric Co Ltd 情報収集装置
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2004348618A (ja) * 2003-05-26 2004-12-09 Nec Soft Ltd 顧客情報収集管理方法及びそのシステム
JP2005501348A (ja) * 2001-08-23 2005-01-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 展示された製品への関心を評価するための方法及び装置
JP2005182452A (ja) * 2003-12-19 2005-07-07 Tokai Rika Co Ltd 顔の向き検知装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09251342A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法
JPH11328406A (ja) * 1998-05-11 1999-11-30 Nec Corp 画像パターン認識による統計方式
JP2000209578A (ja) * 1999-01-20 2000-07-28 Nri & Ncc Co Ltd 広告メディア評価装置および広告メディア評価方法
JP2002032553A (ja) * 2000-07-18 2002-01-31 Minolta Co Ltd 顧客情報管理システムおよびその方法ならびに顧客情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005501348A (ja) * 2001-08-23 2005-01-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 展示された製品への関心を評価するための方法及び装置
JP2003216938A (ja) * 2002-01-23 2003-07-31 Sanyo Electric Co Ltd 情報収集装置
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2004348618A (ja) * 2003-05-26 2004-12-09 Nec Soft Ltd 顧客情報収集管理方法及びそのシステム
JP2005182452A (ja) * 2003-12-19 2005-07-07 Tokai Rika Co Ltd 顔の向き検知装置

Also Published As

Publication number Publication date
JP2007181071A (ja) 2007-07-12

Similar Documents

Publication Publication Date Title
JP4603975B2 (ja) コンテンツ注目評価装置及び評価方法
KR101094119B1 (ko) 양방향 비디오 디스플레이 시스템 운용 방법 및 시스템
US20100232644A1 (en) System and method for counting the number of people
JP4603974B2 (ja) コンテンツ注目評価装置及びコンテンツ注目評価方法
US5966696A (en) System for tracking consumer exposure and for exposing consumers to different advertisements
US20080059994A1 (en) Method for Measuring and Selecting Advertisements Based Preferences
JP6123140B2 (ja) デジタル広告システム
US20090158309A1 (en) Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
CN109670860B (zh) 广告投放方法、装置、电子设备及计算机可读存储介质
US20070282682A1 (en) Method for metered advertising based on face time
JP2007512729A5 (ja)
CN103180870A (zh) 管理广告活动
JP2010113313A (ja) 電子広告装置、電子広告方法及びプログラム
US20110264534A1 (en) Behavioral analysis device, behavioral analysis method, and recording medium
JP2012252613A (ja) 顧客行動追跡型映像配信システム
KR20170050034A (ko) 광고시청자 시선추적에 의한 디지털 사이니지 광고시청 분석장치 및 그 방법
KR20130052883A (ko) 광고 제공시스템 및 그 방법
CN110324683B (zh) 一种数字标牌播放广告的方法
US20140218285A1 (en) Method and Apparatus for Measuring Audience Size for a Digital Sign
KR20220021689A (ko) 인공지능 디지털 사이니지 시스템 및 이의 운용방법
WO2006060889A1 (en) Method and system for assessing viewership of a medium
CN111160945A (zh) 基于视频技术的广告精准投放方法和系统
KR20220039871A (ko) 공공 디스플레이를 이용한 잠재 고객 분석 장치
KR20220039872A (ko) 스마트 양방향 광고 제공 장치
US10614294B1 (en) Method and system for measuring viewership of people for displayed object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101004

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees