JP4603974B2 - Content attention evaluation apparatus and content attention evaluation method - Google Patents
Content attention evaluation apparatus and content attention evaluation method Download PDFInfo
- Publication number
- JP4603974B2 JP4603974B2 JP2005379268A JP2005379268A JP4603974B2 JP 4603974 B2 JP4603974 B2 JP 4603974B2 JP 2005379268 A JP2005379268 A JP 2005379268A JP 2005379268 A JP2005379268 A JP 2005379268A JP 4603974 B2 JP4603974 B2 JP 4603974B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- person
- content
- attention
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 title claims description 138
- 238000001514 detection method Methods 0.000 claims description 233
- 238000004364 calculation method Methods 0.000 claims description 67
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000010191 image analysis Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 135
- 230000008569 process Effects 0.000 description 92
- 238000012545 processing Methods 0.000 description 78
- 230000002776 aggregation Effects 0.000 description 62
- 238000010586 diagram Methods 0.000 description 31
- 230000000694 effects Effects 0.000 description 28
- 241000287107 Passer Species 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置及びコンテンツ注目評価方法に関し、特に、コンテンツ媒体の前面に存在する人物全ての人数に対する該コンテンツに注目している人物の人数の比率を算出して、コンテンツの影響・効果を評価するコンテンツ注目評価装置及びコンテンツ注目評価方法に関する。 The present invention relates to a content attention evaluation apparatus and a content attention evaluation method for evaluating the attention of a person existing in front of a content medium to the content based on an image obtained by imaging an image of the person existing in front of the content medium. In particular, the present invention relates to a content attention evaluation apparatus and a content attention evaluation method for calculating the ratio of the number of persons who are paying attention to the content to the total number of persons existing in front of the content medium and evaluating the influence / effect of the content. .
本来、広告やTV放送等のコンテンツは、人々の注目をより多く引き付けて初めてその意義を発揮するものである。ゆえに、広告の出稿主やTV放送のスポンサー等は、いかにして効率よく人々の注目を引き付けるように広告を企画し設置するか、若しくはいかに多くの人々に視聴されているTV放送のスポンサーとなってTVコマーシャルの効果を高めるかということに強い問題意識を持つ。このため、コンテンツがどれだけ人々に注目されているかの評価に対して、広告の出稿主やTV放送のスポンサーは高い関心を持っている。 Originally, contents such as advertisements and TV broadcasts only show their significance after attracting more people's attention. Therefore, advertisement publishers, TV broadcast sponsors, etc. plan and install advertisements to attract people's attention efficiently, or become TV broadcast sponsors watched by many people. Therefore, they have a strong awareness of whether or not to increase the effectiveness of TV commercials. For this reason, advertisement publishers and TV broadcast sponsors are highly interested in evaluating how much people are interested in the content.
このような背景の中で、コンテンツに対する人々の注目を評価する手法が種々考案されている。例えば特許文献1には、広告メディアの前方を撮影可能なカメラで撮影した画像から人間の顔を検出し、その検出された顔のうち該広告メディアを向いていると評価できる顔を検出して集計することによって、どれだけの人数が該広告メディアに注目したかを評価する広告メディア評価装置が開示されている。
Against this background, various methods for evaluating people's attention to content have been devised. For example, in
また、特許文献2には、次の広告効果確認システムが開示されている。即ち広告番組に対する視聴者の反応を画像に撮影し、該画像が撮影された際の該広告番組の特徴を示すデータを付加して撮影された画像とともに分析装置へ送信する。該分析装置では、受信した画像自体を時系列に整理して出力するので、広告番組に対する視聴者の反応を目視により適時かつ容易に確認することを可能とするのみならず、受信した画像に含まれる視聴者の特徴的な反応を検出して計数することによって、どれだけの視聴者が広告番組に注目していたかを確認することができる。
しかしながら、上記特許文献1及び2に代表される従来技術では、広告メディアや広告番組に注目している絶対的な人数のみしか把握することができず、広告メディアや広告番組の前面を通過した人数のうちどれだけの人数が該広告メディアや広告番組に注目したかと言う比率を評価することができず、結果として評価自体の意義を十分に発揮できないという問題があった。
However, in the prior art represented by the above-mentioned
具体的には、上記特許文献1によれば、確かに広告メディアに注目した人数を把握することができるが、どれだけの人数が広告メディアの前面を通過した中でどれだけの人数が該広告メディアに注目したかという評価を下すことができず、広告メディアの効果を正当に評価することができなかった。例えば広告メディアに対して10人が注目したという統計データが得られたとしても、該広告メディアの前面を通過した20人中の10人が該広告メディアに注目したという場合と、該広告メディアの前面を通過した100人のうち10人が該広告メディアに注目したという場合では、自ずと広告メディアの効果に対する評価結果は異なるものとなるが、このような厳密な評価を下すことが不可能であった。
Specifically, according to the above-mentioned
また、上記特許文献2では、広告番組の効果が依然として目視により評価されなければならないという工程を含み、評価の客観性が維持できない。また、この従来技術によってもどれだけの視聴者が広告番組に注目していたかという統計を取ることができるが、上記特許文献1の従来技術と同様に、どれだけの人数が広告番組の前面を通過した中でどれだけの人数が該広告番組に注目したかという評価を下すことができず、広告番組の効果を正当に評価することができなかった。
Moreover, in the said
さらに、上記特許文献2の技術では、視聴者の反応を示す画像を分析装置へ送信するため、人物を特定することが可能となり、視聴者のプライバシーの保護が十分に図れないという問題点があった。
Furthermore, the technique disclosed in
これらのことから、広告メディアや広告番組の視聴者のプライバシーを保護しつつ広告メディアや広告番組の効果をより客観的に評価できる方法の確立が極めて重要な課題となってきている。特に広告メディアや広告番組は、巨額の出稿費用を要することから、効果的でない方法によって視聴者に提供しても出稿費用の無駄となるため、出稿主は、いかに効果的に広告メディアや広告番組を提供するかについて極めて強い関心を持っている。そして効果的に広告メディアや広告番組を提供する指針として、広告メディアや広告番組の効果のより客観的な評価方法の確立が待ち望まれていた。 For these reasons, it has become an extremely important issue to establish a method capable of more objectively evaluating the effects of advertising media and advertising programs while protecting the privacy of viewers of advertising media and advertising programs. In particular, advertising media and advertising programs require huge advertising costs, and even if they are provided to viewers in an ineffective manner, the advertising costs are wasted. Have a very strong interest in what to offer. As a guideline for effectively providing advertisement media and advertisement programs, establishment of a more objective evaluation method for the effects of advertisement media and advertisement programs has been awaited.
本発明は、上記問題点(課題)を解消するためになされたものであって、広告メディアや広告番組の視聴者のプライバシーを保護しつつ広告メディアや広告番組の効果をより客観的に評価できるコンテンツ評価装置及びコンテンツ評価方法を提供することを目的とする。 The present invention has been made to solve the above problems (issues), and can more objectively evaluate the effects of advertising media and advertising programs while protecting the privacy of viewers of advertising media and advertising programs. It is an object to provide a content evaluation apparatus and a content evaluation method.
上述した問題を解決し、目的を達成するため、本発明は、コンテンツ表示装置の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ表示装置の前面に存在する人物の該コンテンツ表示装置に対する注目を評価するコンテンツ注目評価装置であって、前記画像に撮像された人物を検出する人物検出手段と、前記人物検出手段により検出された人物の数を計数する人数計数手段と、前記人物検出手段により検出された人物の顔を検出する顔検出手段と、前記顔検出手段により顔が検出された人物の顔方向を検出する顔方向検出手段と、前記顔方向検出手段により検出された人物の顔方向のうち前記コンテンツ表示装置を注目する顔方向である人物の数を計数するコンテンツ注目数計数手段と、前記コンテンツ表示装置の電源の状態がオン状態であるかオフ状態であるかを判定する判定手段と、前記人数計数手段により計数された人物の数と、前記コンテンツ注目数計数手段により計数された人物の数と、前記注目率算出手段により算出されたコンテンツ注目率と、前記判定手段により判定された前記コンテンツ表示装置の電源の状態とを、互いに関連付けて所定時間毎に記憶する記憶手段と、前記記憶手段に記憶した情報を表示手段に表示させる表示制御手段とを備えたことを特徴とする。
また、本発明は、上記発明において、前記人物検出手段は、前記撮像装置によって撮像された画像のフレーム間の差分に基づいて前記画像の動領域を検出し、当該動領域が頭部、胴体部及び脚部のそれぞれの矩形の組み合わせによって近似する場合に前記動領域は人物であると判定し、前記顔方向検出手段は、前記顔検出手段により検出した顔の領域の縦横比率を判定し、当該顔の縦横比率に基づいて、前記顔検出手段により検出した顔の方向が前記コンテンツを注目する顔方向であると判定することを特徴とする。
また、本発明は、上記発明において、前記判定手段により判定された前記コンテンツ表示装置の電源の状態と、前記コンテンツ注目数計数手段により計数された人物の数と、前記人数計数手段により計数された人物の数とに基づいて、前記コンテンツ表示装置に対する注目レベルを判定する注目レベル判定手段を備え、前記記憶部は、前記人数計数手段により計数された人物の数と、前記コンテンツ注目数計数手段により計数された人物の数と、前記注目率算出手段により算出されたコンテンツ注目率と、前記判定手段により判定された前記コンテンツ表示装置の電源の状態と、前記注目レベル判定手段により判定された注目レベルとを、互いに関連付けて所定時間毎に記憶することを特徴とする。
In order to solve the above-described problems and achieve the object, the present invention provides the content of a person existing in front of the content display device based on an image captured by the imaging device of the person existing in front of the content display device. A content attention evaluation device for evaluating attention to a display device , comprising: a person detection means for detecting a person imaged in the image; a number counting means for counting the number of persons detected by the person detection means; Face detection means for detecting the face of a person detected by the person detection means, face direction detection means for detecting the face direction of the person whose face is detected by the face detection means, and detection by the face direction detection means a content of interest counting means for counting the number of persons is the face direction of interest of the content display device of the person's face direction, the power of the content display device A determination unit that determines whether the state is an on state or an off state, the number of persons counted by the number of persons counting unit, the number of persons counted by the content attention number counting unit, and the attention rate Storage means for storing the content attention rate calculated by the calculation means and the power state of the content display device determined by the determination means in association with each other, and information stored in the storage means And a display control means for displaying on the display means .
Further, the present invention is the above invention, wherein the person detecting means detects a moving area of the image based on a difference between frames of the image captured by the imaging device, and the moving area is a head portion and a torso portion. And the movement area is determined to be a person when approximated by a combination of the respective rectangles of the legs and the legs, the face direction detection means determines the aspect ratio of the face area detected by the face detection means, and Based on the aspect ratio of the face, it is determined that the face direction detected by the face detection means is the face direction in which the content is noticed.
Further, in the present invention, in the above invention, the power state of the content display device determined by the determination unit, the number of persons counted by the content attention number counting unit, and the number of people counted by the number counting unit Attention level determination means for determining an attention level with respect to the content display device based on the number of persons, and the storage unit includes the number of persons counted by the person counting means and the content attention number counting means. The number of persons counted, the content attention rate calculated by the attention rate calculation means, the power state of the content display device determined by the determination means, and the attention level determined by the attention level determination means Are stored in association with each other at predetermined time intervals.
また、本発明は、上記発明において、前記人数計数手段により計数された人物の数及び前記コンテンツ注目数計数手段により計数された人物の数を記憶する記憶手段をさらに備え、前記注目率算出手段は、前記記憶手段に記憶される前記コンテンツ注目数計数手段により計数された人物の数を前記人数計数手段により計数された人物の数で除して前記コンテンツ注目率を算出することを特徴とする。 Further, the present invention, in the above invention, further comprises storage means for storing the number of persons counted by the number of persons counting means and the number of persons counted by the content attention number counting means, wherein the attention rate calculating means is The content attention rate is calculated by dividing the number of persons counted by the content attention number counting means stored in the storage means by the number of persons counted by the number of people counting means.
また、本発明は、上記発明において、前記顔方向検出手段により前記コンテンツ媒体を注目する顔方向であると検出された人物が該コンテンツ媒体を注目する時間を計時する注目時間計時手段をさらに備えたことを特徴とする。 Further, the present invention according to the above-mentioned invention further comprises attention time counting means for measuring a time during which the person detected as the face direction in which the content medium is focused on by the face direction detection means focuses on the content medium. It is characterized by that.
また、本発明は、上記発明において、前記記憶手段は、前記注目時間計時手段により計時された前記時間を記憶することを特徴とする。 Moreover, the present invention is characterized in that, in the above-mentioned invention, the storage means stores the time measured by the attention time measuring means.
また、本発明は、上記発明において、前記注目時間計時手段は、前記顔方向検出手段により前記コンテンツ媒体を注目する顔方向であると検出された人物毎に、該人物が該コンテンツ媒体を注目する時間を計時し、前記記憶手段は、前記注目時間計時手段により計時された前記時間を、前記コンテンツ媒体を注目する顔方向であると検出された人物毎に記憶することを特徴とする。 Further, according to the present invention, in the above invention, the attention time measuring means pays attention to the content medium for each person detected by the face direction detection means as the face direction in which the content medium is noted. Time is measured, and the storage unit stores the time measured by the attention time counting unit for each person detected as a face direction that focuses on the content medium.
また、本発明は、上記発明において、前記記憶手段により前記コンテンツ媒体を注目する顔方向であると検出された人物毎に記憶される前記時間の和を前記コンテンツ媒体を注目する顔方向であると検出された全人物の数で除して平均注目時間を算出する平均注目時間算出手段をさらに備えたことを特徴とする。 Further, according to the present invention, in the above invention, the sum of the times stored for each person detected by the storage means as the face direction that focuses on the content medium is the face direction that focuses on the content medium. An average attention time calculating means for calculating an average attention time by dividing by the number of all detected persons is further provided.
また、本発明は、上記発明において、前記顔検出手段により顔が検出された人物の顔の属性を判定する顔属性判定手段をさらに備えたことを特徴とする。 Further, the present invention is characterized in that in the above invention, the apparatus further comprises face attribute determination means for determining the face attribute of the person whose face is detected by the face detection means.
また、本発明は、上記発明において、前記記憶手段は、前記顔属性判定手段により判定された顔の属性を記憶することを特徴とする。 Also, the present invention is characterized in that, in the above invention, the storage means stores the face attribute determined by the face attribute determination means.
また、本発明は、上記発明において、前記顔検出手段により顔が検出された人物の顔以外の部分の色を判定する色判定手段をさらに備えたことを特徴とする。 Further, the present invention is characterized in that, in the above invention, further comprises a color determination unit that determines a color of a portion other than the face of the person whose face is detected by the face detection unit.
また、本発明は、上記発明において、前記記憶手段は、前記色判定手段により判定された色の情報をさらに記憶することを特徴とする。 Further, the present invention is characterized in that, in the above invention, the storage means further stores information on the color determined by the color determination means.
また、本発明は、上記発明において、前記コンテンツ注目評価装置は、前記撮像装置が接続される画像分析装置と、少なくとも一つの前記画像分析装置と通信可能に接続されたコンテンツ注目評価分析装置とから構成され、前記画像分析装置は、前記画像に含まれる人物を特定不可能なデータを前記コンテンツ注目評価分析装置へ送信し、前記コンテンツ注目評価分析装置は、前記人物を特定不可能なデータを記憶する前記憶手段を有することを特徴とする。 Further, the present invention is the above invention, wherein the content attention evaluation device includes: an image analysis device connected to the imaging device; and a content attention evaluation analysis device connected to be communicable with at least one of the image analysis devices. The image analysis device is configured to transmit data that cannot identify a person included in the image to the content attention evaluation analysis device, and the content attention evaluation analysis device stores data that cannot identify the person. It has a pre-storage means for performing.
また、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、前記画像に撮像された人物を検出する人物検出工程と、前記人物検出工程により検出された人物の数を計数する人数計数工程と、前記人物検出工程により検出された人物の顔を検出する顔検出工程と、前記顔検出工程により顔が検出された人物の顔方向を検出する顔方向検出工程と、前記顔方向検出工程により検出された人物の顔方向のうち前記コンテンツを注目する顔方向である人物の数を計数するコンテンツ注目数計数工程と、前記コンテンツ注目数計数工程により計数された人物の数を前記人数計数工程により計数された人物の数で除したコンテンツ注目率を算出する注目率算出工程とを含んだことを特徴とする。 Further, the present invention is a content attention evaluation method for evaluating the attention of a person existing in front of the content medium on the content based on an image obtained by imaging an image of the person existing in front of the content medium, A person detection step for detecting a person imaged in the image, a number counting step for counting the number of persons detected by the person detection step, and a face detection for detecting the face of the person detected by the person detection step A face direction detecting step for detecting a face direction of the person whose face is detected by the face detecting step, and a face direction for which the content is noticed among the face directions of the person detected by the face direction detecting step. A content attention number counting step for counting the number of persons, and a person who has counted the number of persons counted by the content attention number counting step by the number of people counting step. Characterized in that it includes a target ratio calculating step of calculating the number content of interest rate divided by the.
本発明によれば、コンテンツ注目数計数手段により計数された人物の数を人数計数手段により計数された人物の数で除したコンテンツ注目率を算出する注目率算出手段を備えたので、該コンテンツに対する注目をより客観的に評価することができるという効果を奏する。
また、本発明によれば、前記人数計数手段により計数された人物の数と、前記コンテンツ注目数計数手段により計数された人物の数と、前記注目率算出手段により算出されたコンテンツ注目率と、前記判定手段により判定された前記コンテンツ表示装置の電源の状態とを、互いに関連付けて所定時間毎に記憶する記憶手段と、前記記憶手段に記憶した情報を表示手段に表示させる表示制御手段を備えたので、該コンテンツ表示装置に対する注目をより客観的に評価することができるという効果を奏する。
According to the present invention, there is provided the attention rate calculating means for calculating the content attention rate obtained by dividing the number of persons counted by the content attention number counting means by the number of persons counted by the number of people counting means. There is an effect that attention can be evaluated more objectively.
According to the present invention, the number of persons counted by the number counting means, the number of persons counted by the content attention number counting means, the content attention rate calculated by the attention rate calculation means, A storage unit that stores the power supply state of the content display device determined by the determination unit in association with each other at a predetermined time; and a display control unit that displays information stored in the storage unit on the display unit. Therefore, there is an effect that attention to the content display device can be more objectively evaluated.
また、本発明によれば、人数計数手段により計数された人物の数及びコンテンツ注目数計数手段により計数された人物の数を記憶する記憶手段を備えたので、これらの数値を統計分析の用に供することができるという効果を奏する。 Further, according to the present invention, the memory means for storing the number of persons counted by the person counting means and the number of persons counted by the content attention number counting means is provided, and these numerical values are used for statistical analysis. There is an effect that it can be provided.
また、本発明によれば、顔方向検出手段によりコンテンツ媒体を注目する顔方向であると検出された人物が該コンテンツ媒体を注目する時間を計時する注目時間計時手段を備えたので、コンテンツを注目する時間を該コンテンツを注目する人数で平均する平均注目時間を算出することができ、より多様な方法でコンテンツ注目の評価を行うことができるという効果を奏する In addition, according to the present invention, since the person detected as the face direction in which the content medium is focused on by the face direction detection means is provided with the time-of-interest measuring means for measuring the time during which the person is focused on the content medium, the content is focused on. It is possible to calculate an average attention time by averaging the time to perform by the number of people who pay attention to the content, and it is possible to evaluate the content attention by more various methods.
また、本発明によれば、注目時間計時手段により計時された時間を統計分析の用に供することができるという効果を奏する。 In addition, according to the present invention, there is an effect that the time measured by the noticed time measuring means can be used for statistical analysis.
また、本発明によれば、人物単位で注視時間を記憶するので、より精度の高い統計結果に基づき、より客観的な評価を行うことができるという効果を奏する。 Further, according to the present invention, since the gaze time is stored in units of persons, there is an effect that more objective evaluation can be performed based on a more accurate statistical result.
また、本発明によれば、記憶手段によりコンテンツ媒体を注目する顔方向であると検出された人物毎に記憶される時間の和をコンテンツ媒体を注目する顔方向であると検出された全人物の数で除して平均注目時間を算出する平均注目時間算出手段を備えたので、より精度が高い平均注目時間を算出することができ、該平均注目時間に基づきより客観的な評価を行うことができるという効果を奏する。 In addition, according to the present invention, the sum of the time stored for each person detected as the face direction in which the content medium is noticed by the storage means is calculated for all the persons detected in the face direction in which the content medium is noticed. Since the average attention time calculation means for calculating the average attention time divided by the number is provided, it is possible to calculate the average attention time with higher accuracy, and to perform a more objective evaluation based on the average attention time. There is an effect that can be done.
また、本発明によれば、顔の属性を判定することにより、コンテンツ注目評価の指標をより多彩とし、より多面的な評価を行うことができるという効果を奏する。 In addition, according to the present invention, by determining the face attributes, it is possible to make the index of content attention evaluation more diverse and perform multifaceted evaluation.
また、本発明によれば、顔属性判定手段により判定された顔の属性を統計分析の用に供することができるという効果を奏する。 In addition, according to the present invention, there is an effect that the face attribute determined by the face attribute determining unit can be used for statistical analysis.
また、本発明によれば、色判定手段により判定された色の情報を統計分析の用に供することができるという効果を奏する。 In addition, according to the present invention, there is an effect that the color information determined by the color determination unit can be used for statistical analysis.
また、本発明は、注目レベルによりコンテンツへの注目を客観的かつ直截的に分かりやすい数値に数値化して把握可能とすることができるという効果を奏する。 In addition, the present invention produces an effect that the attention to the content can be digitized into a numerical value easy to understand objectively and intuitively based on the attention level.
また、本発明は、コンテンツ注目評価装置に対して個人を特定可能な情報を送らず、該個人を特定可能な情報はあくまで撮像装置と画像分析装置との間でのみ授受されるのみであるので、個人情報を保護することができるコンテンツ注目評価装置を提供することができるという効果を奏する。 Further, the present invention does not send personally identifiable information to the content attention evaluation device, and the personally identifiable information is only exchanged between the imaging device and the image analysis device. The content attention evaluation device capable of protecting personal information can be provided.
以下に添付図面を参照して、本発明に係るコンテンツ注目評価装置、コンテンツ注目評価システム及びコンテンツ注目評価方法の好適な実施例を詳細に説明する。本発明のコンテンツ注目評価装置及びコンテンツ注目評価システムは、コンテンツが多数の人間によって注目されうる場所、例えば駅構内施設に設置する場合に好適である。以下の実施例1〜4ではコンテンツを広告、コンテンツ媒体を広告看板とし、実施例5ではコンテンツをTV放送番組、コンテンツ媒体をTVとすることとなる。 Exemplary embodiments of a content attention evaluation device, a content attention evaluation system, and a content attention evaluation method according to the present invention will be described below in detail with reference to the accompanying drawings. The content attention evaluation device and the content attention evaluation system of the present invention are suitable when installed in a place where the content can be noticed by a large number of people, for example, in a station facility. In the following first to fourth embodiments, the content is an advertisement and the content medium is an advertisement signboard. In the fifth embodiment, the content is a TV broadcast program and the content medium is a TV.
図1は、本発明の実施例1に係るコンテンツ注目評価方法の概念を説明するための説明図である。実施例1は、屋外における広告効果評価方法であって、該広告看板に対する通行人の注視率を算出する実施例である。同図に示すように、本方法は、広告看板の前面の広告看板エリアに存在する人物の数を把握し、これらの人物のうち視線が広告看板に向いている人物の数を数え、広告看板エリアに存在する人物の数に対する視線が広告看板に向いている人物の数の比率を算出して、当該広告看板の広告(コンテンツ)の広告効果を評価するものである。 FIG. 1 is an explanatory diagram for explaining the concept of the content attention evaluation method according to the first embodiment of the present invention. Example 1 is an outdoor advertising effectiveness evaluation method, and is an example in which a gaze rate of a passerby for the advertising signboard is calculated. As shown in the figure, this method grasps the number of persons existing in the advertisement signboard area in front of the advertisement signboard, counts the number of persons whose line of sight faces the advertisement signboard, and displays the advertisement signboard. The ratio of the number of people whose line of sight is directed to the advertising billboard with respect to the number of people in the area is calculated to evaluate the advertising effect of the advertisement (content) of the advertising billboard.
具体的には、図1によれば、広告看板の前面で広告看板の広告を見ることが可能な広告看板エリア内(図1中の破線による長方形)には、A〜Dの4人が存在している(広告看板エリアの通行)。そして、そのうちのA及びCが広告看板を注視している。よって広告看板エリアの通行人物数α=4人、広告看板の注視人数β=2人、注視率(β/α)=50%となる。 Specifically, according to FIG. 1, there are four persons A to D in an advertising signboard area (a rectangle with broken lines in FIG. 1) in which the advertisement of the advertising signboard can be seen in front of the advertising signboard. (Traffic in the billboard area) Of these, A and C are watching the advertising billboard. Therefore, the number of passers in the advertising billboard area α = 4, the number of people watching the advertising billboard β = 2, and the gaze rate (β / α) = 50%.
従来のコンテンツ注目評価(広告効果評価)方法では、広告を見ている人数を計数することは可能であった。しかし広告を見ている絶対的な人数だけであると、広告に注目している人数が少ない場合にはこれが単に広告の前面に存在する人数が少ないためであるのか、若しくは広告の前面に存在する人数が多いにもかかわらず広告に注目している人数が少ないためであるのかが判然としなかった。 In the conventional content attention evaluation (advertising effect evaluation) method, it is possible to count the number of people who are viewing the advertisement. However, if only the absolute number of people watching the advertisement is present, if there are only a few people who are paying attention to the advertisement, this is simply because there are few people in front of the advertisement, or it is in front of the advertisement. Despite the large number of people, it was unclear whether this was because the number of people who were paying attention to the advertisement was small.
本発明は、かかる従来技術の問題点を解消するために、コンテンツ注目評価(広告効果評価)の指標を広告に注目している絶対的な人数とせず、広告に注目している人数を広告の前面に存在する人数で除した注目率としたところに特徴がある。 In order to solve the problems of the conventional technology, the present invention does not set the index of content attention evaluation (advertising effect evaluation) as the absolute number of people who are paying attention to the advertisement, It is characterized by the attention rate divided by the number of people in front.
図2は、実施例1のコンテンツ注目評価装置及びコンテンツ注目評価システムのネットワーク構成を説明するための説明図である。同図によれば、通路の横に広告看板100aが配設された通路を通過する通行人物を撮影するための3台の広角カメラが該通路の所定位置に配置されている。即ち、広告看板100a側から通路に存在する通行人物を撮影するカメラ150a、向かって左側に広告看板100aが位置する当該通路上の配設位置から通路に存在する通行人物を撮影するカメラ150b、向かって右側に広告看板100aが位置する当該通路上の配設位置から通路に存在する通行人物を撮影するカメラ150cがそれぞれの配設位置に存在する。
FIG. 2 is an explanatory diagram for explaining a network configuration of the content attention evaluation device and the content attention evaluation system according to the first embodiment. According to the figure, three wide-angle cameras for photographing a passing person passing through a passage where an
同図に示したカメラ領域r1は、カメラ150b及びカメラ150cにより通行人物の撮影が可能な領域である。この領域内に存在する通行人物は、カメラ150b又はカメラ150cにより撮影されることによって通行人物として検出され得る。また、カメラ領域r1で検出された通行人物の顔方向が広告看板100a方向を向くか否かが検出される。同様にカメラ領域r2は、カメラ150aにより通行人物の撮影が可能な領域である。カメラ領域r2に存在する通行人物は、カメラ150aによる撮影によってその存在が検出されることはもとより、通行人物の顔が広告看板100a方向を向くか否かが検出される。これは、カメラ150aが広告看板100aの同一面内又はその近傍に配設されていることにより、視線を向けるために広告看板へ顔方向を向けると、この広告看板方向を向く顔がカメラ150aにより撮影されることによる。
The camera area r1 shown in the figure is an area where a camera person can be photographed by the camera 150b and the camera 150c. A passerby existing in this area can be detected as a passerby by being photographed by the camera 150b or the camera 150c. Further, it is detected whether or not the face direction of the passerby detected in the camera region r1 is directed to the
カメラ150a、150b、150c及びシステムサーバ200がケーブルCを介して接続されている。少なくとも一つのシステムサーバ200がネットワークNを介して集計センタサーバ300と接続されている。システムサーバ200と集計センタサーバ300は異なるフロアに設置されているものとするが、同一のフロアに設置されてもよく、また同一のコンピュータシステムに実装されていてもよいものである。システムサーバ200は、カメラ150a、150b又は150cにより撮影された画像を分析して該画像から通行人物及び該通行人物の顔方向を検出するための分析装置である。カメラ150a、150b及び150cは通行人物を含む画像を撮影して該画像をシステムサーバ200へ送信する。システムサーバ200では該画像を分析して該画像に含まれる通行人物の客観的な属性データを検出して該属性データを集計センタサーバ300へ送信する。集計センタサーバ300は、該属性データを集計し各種分析指標を算出する。即ち、個人を特定することができる画像情報は、システムサーバ200及びカメラ150a、150b、150c間で閉じており、これら以外に送信されることもなければ取得されることもない。よって本実施例1の広告注目評価システムは、システムサーバ200及びカメラ150a、150b、150cにおいて集中的に個人情報保護を図るだけで個人情報の漏洩・拡散を防止できるシステムとなっている。
The
なお、本発明において個人情報保護の対象となる「個人を特定することができる情報」とは、人物を特定することができる顔画像を含んだ個人を映した画像である。これに対して、本発明において「個人を特定することができない情報」とは、「個人を特定することができる情報」である“個人を映した画像”から抽出した客観データである。例えば、通行人数、広告看板注視数、顔下領域の色、顔情報からの年代及び性別などは、何れも個人を特定することができない客観データである。“個人を映した画像”に関する画像データは、カメラ150a、150b、150c及びシステムサーバ200で構成される閉じたコンピュータシステムの内部で処理されるだけであり、該閉じたコンピュータシステムの外へは一切送出・送信されない。該閉じたコンピュータシステムの外部、例えば集計センタサーバ300へ送出・送信されるデータは、“個人を映した画像”に関する画像データから抽出された通行人数、広告看板注視数、顔下領域の色、顔情報からの年代及び性別などの客観データである。これらの客観データから個人を特定することは不可能であるために、本発明のコンテンツ注視評価システムは、個人情報を強く保護することができるシステムであると言うことができる。
In the present invention, “information that can specify an individual” that is a target of personal information protection is an image that shows an individual including a face image that can specify a person. On the other hand, in the present invention, “information that cannot specify an individual” is objective data extracted from “an image showing an individual” that is “information that can specify an individual”. For example, the number of passing people, the number of advertisement signboards, the color of the area under the face, the age and gender from the face information are all objective data that cannot identify an individual. The image data related to the “image showing an individual” is only processed inside the closed computer system constituted by the
次に、図2に示したシステムサーバ200の構成について説明する。図3は、図2に示したシステムサーバ200の構成を示す機能ブロック図である。同図に示すように、このシステムサーバ200は、主制御部201と、通行人物検出部202と、注視人物検出部203と、記憶部204と、キーボードなどの操作部206が接続される操作制御部205と、ディスプレイ装置などの表示部208が接続される表示制御部207と、外部とのデータ授受を制御するI/F部209とを有する。主制御部201はシステムサーバ200全体の処理を制御する制御部である。具体的には、カメラ150からI/F部209を介して画像データを受け取って通行人物検出部202又は注視人物検出部203へ受け渡す処理を行い、通行人物検出部202又は注視人物検出部203から出力される情報を記憶部204へ受け渡したりI/F部209を介して集計センタサーバ300へ送信したりする処理を行い、若しくは操作部206が受け付け操作制御部205で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部207を介して表示部208へ表示させる処理を実行する。
Next, the configuration of the
通行人物検出部202は、カメラ150により撮影された画像のフレーム差分から動領域を検出する動領域検出部202aと、該移動領域が人物を示す矩形であるか否かを判定して人物を検出する人物検出部202bとを有する。注視人物検出部203は、人物検出部202bにより検出された人物の矩形の動領域から顔に相当する矩形を取り出し、該矩形が顔であるか否かを判定して顔を検出する顔検出処理部203aと、顔検出処理部203bにより検出された顔が向いている顔方向を検出する顔方向検出処理部203bとを有する。人物検出部202b及び顔検出処理部203aは、同一人物を重複して検出することを防止するため、検出済みの人物の画像データにフラグを立て、フラグが立っている人物は検出を行わないフラグ制御を行う。このフラグ制御によれば、新たに検出された人物にはフラグが立っておらず、既に検出済みの人物にはフラグが立っているため、新たに検出された人物と既に検出済みの人物とを区別することができる。
The passing
記憶部204は、不揮発性の磁気的記録装置であり、前述の顔方向検出処理部203bにより広告看板を注視する顔方向であると判定する顔方向の判定基準を格納する注視判断基準204aを有する。具体的には、顔領域の縦横比率を判定し、当該画像を撮影したカメラ150と広告看板100aとの位置関係と撮影された画像に含まれる顔の縦横比率を判定して、顔方向が広告看板を注視するものであるか否かを判断する。例えばカメラ150aが撮影した顔の場合、該カメラ150aと広告看板100aとが同一方向を向く位置関係にあることから、縦横比率が人間の顔本来の比率に近ければ近いほど該顔が広告看板を注視している可能性が高い。他方でカメラ150b若しくはカメラ150cが撮影した顔の場合、該カメラ150b若しくはカメラ150cと広告看板100aとが垂直方向を向く位置関係にあることから、縦横比率が人間の顔本来の比率よりも縦長であればあるほど該顔が広告看板を注視している可能性が高い。
The
次に、図2に示した集計センタサーバ300の構成について説明する。図4は、図2に示した集計センタサーバ300の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ300は、主制御部301と、通行人数算出部302と、通行人数登録部303と、注視人数登録部304と、注視人数算出部305と、注視率算出部306と、記憶部307と、キーボードなどの操作部309が接続される操作制御部308と、ディスプレイ装置などの表示部311が接続される表示制御部310と、外部とのデータ授受を制御するI/F部312とを有する。主制御部301は集計センタサーバ300全体の処理を制御する制御部である。具体的には主制御部301は、システムサーバ200からI/F部312を介して属性データを受け取って通行人数算出部302又は注視人数算出部305へ受け渡す処理を行う。該属性データの授受を契機として通行人数算出部302は通行人数として画像に含まれていた人物の数を計数し、また注視人数算出部304は注視人数として画像に含まれていた広告看板を注視する顔角度の人物の数を計数し、注視率算出部306はこれら通行人数と注視人数とに基づいて注視率を算出する。また主制御部301は、通行人数登録部303又は注視人数登録部304から出力される情報を記憶部307へ受け渡す処理を行い、若しくは操作部309が受け付け操作制御部308で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部310を介して表示部311へ表示させる処理を実行する。
Next, the configuration of the
通行人数算出部302は、システムサーバ200から送信されてくる属性データから通行人物とされる人数を計数する。この計数結果は通行人数登録部303及び注視率算出部306へ受け渡される。また注視人数算出部305は、システムサーバ200から送信されてくる属性データから注視人物とされる人数を計数する。この計数結果は注視人数登録部304及び注視率算出部306へ受け渡される。なお、通行人数算出部302及び注視人数算出部305は、100ミリ秒毎に人数の計数を行う。即ち、100ミリ秒間の画像フレームに含まれる通行人物又は注視人数を累計する。
The number of
通行人数登録部303は、通行人数算出部302により100ミリ秒単位で計数された通行人数を記憶部307が有するDB307aに登録する処理を行い、注視人数登録部304は、注視人数算出部305により100ミリ秒単位で計数された注視人数を記憶部307が有するDB307aに登録する処理を行う。注視率算出部306は、100ミリ秒単位でDB307aに登録された通行人数及び注視人数を、100ミリ秒単位で指定した連続する時間にわたってそれぞれ合計し、(注視人数の合計)÷(通行人数の合計)を計算して注視率を算出する。
The number-of-
記憶部307は、不揮発性の磁気的記録装置であり、100ミリ秒毎の通行人数及び注視人数を登録するDB307aを有する。100ミリ秒毎に1レコードが生成され、この1レコードに相当する100ミリ秒に含まれる画像のフレームに撮影されている通行人数の累計及び注視人数の累計が登録されている。
The
次に、図4に示したDB307aに格納されるデータベーステーブルについて説明する。図5は、図4に示したDB307aに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「日時」、「通行人数」及び「注視人数」のカラムを持つ。そして100ミリ秒単位にレコードが生成されている。例えば「日時」が“2005/11/15 15:30:45:200”であるレコードには、2005年11月15日15時30分45秒200ミリ秒から2005年11月15日15時30分45秒300ミリ秒までの100ミリ秒間にカメラ150により撮影された画像のフレームに含まれる通行人及び広告看板の注視人それぞれの人数を計数した数値が格納される。通行人数の計数値“10”は「通行人数」のカラムに格納され、注視人数の計数値“2”は「注視人数」のカラムに格納される。100ミリ秒を単位として注視率を算出したい時刻帯を指定し、該時刻帯に含まれるレコードの「通行人数」及び「注視人数」を合計して注視率=(「注視人数」の合計値)÷(「通行人数」の合計値)を算出することができる。
Next, a database table stored in the DB 307a shown in FIG. 4 will be described. FIG. 5 is a table image diagram of the database table stored in the DB 307a shown in FIG. As shown in the figure, the database table has columns of “date and time”, “number of people passing by”, and “number of people watching”. Records are generated every 100 milliseconds. For example, records with “2005/11/15 15: 30: 45: 200” as “Date and time” are from November 15, 2005 15:30:45
このようにデータベーステーブルを構成し、「日時」、「通行人数」及び「注視人数」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、「日時」と共に変化する周辺照度や歩行環境などの周辺環境が広告看板への注視に与える影響を統計的に把握することができる。また、「日時」により特定可能な気温、天候、社会情勢(報道や争乱など)の外部的要因が広告看板への注視に与える影響を把握することができる。また、広告媒体としての広告看板自体の体裁やデザインや設置方法が該広告看板への注視に与える影響の把握が可能となる。このような注視の評価により、広告看板への注意喚起をより促すような広告看板の提示方法を確立し、効果の立証を行うことが可能となる。 By configuring the database table in this way, storing information on “date and time”, “number of people passing by”, and “number of people watching”, and analyzing the stored data, the following effects can be expected. That is, it is possible to statistically grasp the influence of the surrounding environment such as the ambient illuminance and the walking environment that changes with the “date and time” on the attention to the advertisement signboard. In addition, it is possible to grasp the influence of external factors such as temperature, weather, and social conditions (reporting, conflicts, etc.) that can be specified by “date and time” on gaze on the advertising billboard. In addition, it is possible to grasp the influence of the appearance, design, and installation method of the advertising billboard itself as an advertising medium on the attention to the advertising billboard. By evaluating such a gaze, it is possible to establish a method for presenting an advertisement signboard that further encourages attention to the advertisement signboard and to prove its effect.
次に、図2に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける動領域検出方法について説明する。図6は、図2に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける動領域検出方法の概略を説明する説明図である。同図に示すように、カメラ150によって撮影された画像は、連続するフレームを最小単位とする動画として構成されるため、nを自然数とするn番目のフレームnとフレームnの次フレームであるフレーム(n+1)に差分がある場合に、この差分によって動領域の存在を推定することができる。このようにして画像において動領域を検出することができる。 Next, a moving region detection method in the content attention evaluation device and the content attention evaluation system shown in FIG. 2 will be described. FIG. 6 is an explanatory diagram for explaining the outline of the moving region detection method in the content attention evaluation device and the content attention evaluation system shown in FIG. As shown in the figure, since the image shot by the camera 150 is configured as a moving image having a continuous frame as a minimum unit, the n-th frame n having n as a natural number and a frame that is the next frame of the frame n When there is a difference in (n + 1), the existence of a moving region can be estimated from this difference. In this way, a moving area can be detected in an image.
次に、図2に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける人物識別方法について説明する。図7は、図2に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける人物識別方法の概略を説明する説明図である。同図に示すように、人物の全身を頭部、胴体及び脚部の三つの部分に分け、それぞれの部分が顔領域f、顔下領域1uf1及び顔下領域2uf2の領域比率と概ね一致すると見なしうるか否かを判定することによって、検出された動領域が人物であるか否かを判定する。具体的には、検出された動領域が顔領域f、顔下領域1uf1及び顔下領域2uf2のそれぞれの矩形の組み合わせによって近似しうるか否かを判定し、近似しうると判定する場合に該動領域は人物であると見なす。このようにして動領域が領域比率に基づいて人物と識別される。 Next, a person identification method in the content attention evaluation device and the content attention evaluation system shown in FIG. 2 will be described. FIG. 7 is an explanatory diagram for explaining an outline of a person identification method in the content attention evaluation device and the content attention evaluation system shown in FIG. As shown in the figure, the whole body of a person is divided into three parts, a head, a torso, and a leg, and each part is considered to substantially match the area ratio of the face area f, the subface area 1uf1, and the subface area 2uf2. It is determined whether or not the detected moving area is a person by determining whether or not it is possible. Specifically, it is determined whether or not the detected moving area can be approximated by a combination of the rectangles of the face area f, the lower face area 1uf1 and the lower face area 2uf2, and the moving area is determined when it is determined that the moving area can be approximated. An area is considered a person. In this way, the moving area is identified as a person based on the area ratio.
次に、図2に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び注視人数の検知・計数手順について説明する。図8は、図2に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び注視人数の検知・計数手順を示すフローチャートである。同図に示すように、システムサーバ200は、先ず動領域を検出する(ステップS101)。続いて、検出された動領域が人物であるか否かを判定し(ステップS102)、人物であると判定される場合に(ステップS102肯定)、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する(ステップS103)。新たに検出された人物であると判定される場合(ステップS103肯定)、通行人を検知した旨を集計センタサーバ300へ送信する(ステップS104)。なお、ステップS102で動領域が人物であると判定されない場合(ステップS102否定)、ステップS110へ処理を移す。またステップS103で新たに検出された人物であると判定されない場合(ステップS103否定)も、ステップS110へ処理を移す。
Next, a procedure for detecting and counting the number of people passing and the number of people in the content attention evaluation system and the content attention evaluation system shown in FIG. 2 will be described. FIG. 8 is a flowchart showing a procedure for detecting / counting the number of people passing and the number of people watching in the content attention evaluation device and the content attention evaluation system shown in FIG. As shown in the figure, the
一方集計センタサーバ300では、システムサーバ200からステップS104の処理により通行人を検知した旨が送信されてくる以前に、100ミリ秒の計時を開始する計時開始処理を実行する(ステップS201)。続いて、システムサーバ200から通行人を検知した旨を受信したならば、通行人数のカウンタをインクリメントして通行検知数カウント処理を実行する(ステップS202)。
On the other hand, the
ステップS104に続いてシステムサーバ200では、顔領域検出処理を実行する(ステップS105)。続いて顔領域検出か否かを判定し(ステップS106)、顔領域検出と判定されたならば(ステップS106肯定)、顔方向検出処理を実行する(ステップS107)。なお、顔領域が検出されなかったと判定されると(ステップS106否定)、ステップS110へ処理を移す。ステップS107の処理結果が顔方向が広告看板注視状態であるとされるか否かを判定し(ステップS108)、広告看板注視状態であると判定される場合(ステップS108肯定)、広告看板注視を検知した旨を集計センタサーバ300へ送信する(ステップS109)。
Subsequent to step S104, the
一方集計センタサーバ300では、システムサーバ200からステップS109の処理により広告看板注視を検知した旨が送信されてくると、注視人数のカウンタをインクリメントして注視検知数カウント処理を実行する(ステップS203)。続いてステップS201の処理以来計時されている時間が100ミリ秒に至ったか否かを判定する(ステップS204)。計時されている時間が100ミリ秒に至ったと判定される場合に(ステップS204肯定)、通行検知数及び注視検知数をDB307aに登録する(ステップS205)。計時されている時間が100ミリ秒に至ったと判定されない場合には(ステップS204否定)、ステップS202へ処理を移す。続いて通行検知数・注視検知数カウント終了か否かを判定する(ステップS206)。ここで通行検知数・注視検知数カウント終了と判定される場合には(ステップS206肯定)集計センタサーバ300における処理を終了し、通行検知数・注視検知数カウント終了と判定されない場合には(ステップS206否定)ステップS201へ処理を移す。
On the other hand, if the
ステップS109に続いてシステムサーバ200では、画像のトラッキング終了か否かを判定し(ステップS110)、トラッキング終了と判定される場合には(ステップS110肯定)システムサーバ200における処理を終了し、トラッキング終了とされない場合には(ステップS110否定)ステップS101へ処理を移す。
Following step S109, the
図9は、本発明の実施例2に係るコンテンツ注目評価方法の概念を説明するための説明図である。実施例2は、屋外における広告効果評価方法であって、該広告看板に対する通行人の平均注視時間を算出する実施例である。同図に示すように、本方法は、広告看板の前面の広告看板エリアに存在する人物の数を把握し、これらの人物のうち視線が広告看板に向いている人物が該広告看板に注視する時間を計時し、該注視する時間を広告看板エリアに存在する人物の数で平均して、当該広告看板の広告(コンテンツ)の広告効果を評価するものである。 FIG. 9 is an explanatory diagram for explaining the concept of the content attention evaluation method according to the second embodiment of the present invention. Example 2 is an outdoor advertising effectiveness evaluation method that calculates an average gaze time of a passerby for the advertising signboard. As shown in the figure, this method grasps the number of persons existing in the advertising billboard area in front of the advertising billboard, and a person whose line of sight is facing the advertising billboard gazes at the advertising billboard. Time is measured, and the time to watch is averaged by the number of persons present in the advertising billboard area, and the advertising effect of the advertisement (content) of the advertising billboard is evaluated.
なお以下に実施例2の構成として説明する集計センタサーバ300、データベーステーブル及びコンテンツ注目評価装置及びコンテンツ注目評価システムにおける処理手順以外は、実施例1と同様である。
The processing procedure in the
図9によれば、広告看板の前面で広告看板の広告を見ることが可能な広告看板エリア内(図9中の破線による長方形)に、1人の人物が、図9に向かって左方から右方へ移動しつつ広告看板を注視している。ある時刻から所定時間内に、同様に広告看板をβ人が注視したものとする。そしてそれぞれの人物が該広告看板を注視する注視時間γiを計時する。このγiから該広告看板を注視する全ての人物についての総和γを計算してγ/βを算出することによって、ある時刻から所定時間内に該広告看板を注視する平均注視時間に基づいて当該広告看板の広告(コンテンツ)の広告効果を評価することができる。 According to FIG. 9, one person moves from the left toward FIG. 9 in the advertising billboard area (a rectangle indicated by a broken line in FIG. 9) in which the advertising billboard advertisement can be seen in front of the billboard. He is watching the billboard while moving to the right. Similarly, it is assumed that β people gaze at the advertising billboard within a predetermined time from a certain time. Then, the gaze time γ i in which each person gazes at the advertising billboard is counted. By calculating γ / β by calculating the sum γ for all persons watching the advertising billboard from this γ i, the average watching time for watching the advertising billboard within a predetermined time from a certain time It is possible to evaluate the advertising effect of the advertisement (content) on the billboard.
次に、実施例2の集計センタサーバ300の構成について説明する。図10は、実施例2の集計センタサーバ300の構成を示す機能ブロック図である。同図に示すように、実施例2の集計センタサーバ300は、主制御部301と、通過検出時刻登録部313と、注視検出時刻登録部314と、注視検出時間算出部315と、注視検出時間登録部316と、総注視時間算出部317と、注視人数算出部318と、平均注視時間算出部319と、記憶部307と、キーボードなどの操作部309が接続される操作制御部308と、ディスプレイ装置などの表示部311が接続される表示制御部310と、外部とのデータ授受を制御するI/F部312とを有する。主制御部301は集計センタサーバ300全体の処理を制御する制御部である。
Next, the configuration of the
具体的には主制御部301は、システムサーバ200からI/F部312を介してカメラ150が撮影した人物の属性データを受け取って通過検出時刻登録部313、注視検出時刻登録部314又は注視検出時間算出部315へ受け渡す処理を行う。該属性データの授受を契機として通過検出時刻登録部313は当該人物の通過検出時刻をDB307aに登録し、注視検出時刻登録部314は当該人物の注視検出時刻をDB307aへ登録する。注視検出時間算出部315は、当該人物の属性データから連続して広告看板を注視する注視検出時間を算出する。注視検出時間算出部315により算出された注視検出時間は注視検出時間登録部316へ受け渡され、該注視検出時間登録部316は注視時間をDB307aへ登録する。また総注視時間算出部317は指定された時刻帯に属する通過検知時刻或いは注視検出時刻を持つレコードの注視時間を算出し、注視人数算出部318は総注視時間算出対象のレコード数をカウントして注視人数の総和を算出する。平均注視時間算出部319は、総注視時間算出部317により算出された総注視時間を、注視人数算出部318により算出された注視人数で割って平均注視時間を算出する。
Specifically, the
また主制御部301は、通過検出時刻登録部313、注視検出時刻登録部314、注視検出時間登録部316又は平均注視時間算出部319から出力される情報を記憶部307へ受け渡す処理を行い、若しくは操作部309が受け付け操作制御部308で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部310を介して表示部311へ表示させる処理を実行する。
In addition, the
通過検出時刻登録部313は、システムサーバ200から送信されてくる属性データから人物が通過人として検知された時刻をDB307aに登録する。注視検出時刻登録部314は、システムサーバ200から送信されてくる属性データから人物が広告看板を注視する顔方向であると検知された時刻をDB307aに登録する。なお、通過検出時刻登録部313及び注視検出時刻登録部314は、人物単位で時刻の登録を行う。即ち、トラッキングにより追跡された複数の連続する画像フレームに含まれる通行人物又は注視人数のうち同一人物であると見なされる人物単位に通過検知時刻及び注視検出時刻がDB307aに登録される。
The passage detection
注視検出時間算出部315は、システムサーバ200から受信したカメラ150により撮影された人物の属性データが、当該人物が広告看板を注視しているとする注視検出情報である時間を計時する。この時間は、当該人物が連続して広告看板を注視している時間であることが望ましいが、微小な時間を挟んで断続的に広告看板を注視する場合も、連続して広告看板を注視していると見なすようにしてもよい。注視検出時間算出部315により算出された注視検出時間は注視検出時間登録部316に受け渡され、該注視検出時間登録部316によりDB307aに登録される。
The gaze detection
総注視時間算出部317は、DB307aを検索して、指定された時刻帯に属するレコードの注視時間を総和する。また注視人数算出部318は、注視時間を総和されたレコード数をカウントして注視人数とする。平均注視時間算出部319は、総注視時間算出部317により総和された総注視時間と注視人数算出部318によりカウントされた注視人数とから総注視時間÷注視人数を計算して、平均注視時間を算出する。
The total gaze
記憶部307は、不揮発性の磁気的記録装置であり、人物単位の通行人ID、通過検出時刻、注視検出時刻及び注視検出時間を登録するDB307aを有する。このDB307aには人物単位に1レコードが生成される。
The
次に、図10に示したDB307aに格納されるデータベーステーブルについて説明する。図11は、図10に示したDB307aに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「通行人ID」、「通過検出時刻」、「注視検出時刻」及び「注視検出時間」のカラムを持つ。カメラ150により撮影された人物で同一人物と見なされる人物単位にレコードが生成されている。例えば「通行人ID」が“2”であるレコードは、2005年7月11日15時32分51秒800ミリ秒に広告看板エリアの通過が検知され、2005年7月11日15時33分45秒900ミリ秒に広告看板の注視の開始が検知され、広告看板への100ミリ秒の注視時間が計時された人物のレコードである。100ミリ秒を単位として平均注視時間を算出したい時刻帯を指定し、該時刻帯に含まれるレコードの「注視検出時間」を合計し、該時刻帯に含まれるレコード数をカウントして平均注視時間=(「注視検出時間」の合計値)÷(レコード数)を算出することができる。なお、ある人物について広告看板への注視が検出されなかった場合には、「注視検出時刻」のカラムにはNull値が登録され、注視検出時間には“0”が登録される(例えば通行人ID“1”のレコード参照)。 Next, a database table stored in the DB 307a illustrated in FIG. 10 will be described. FIG. 11 is a table image diagram of the database table stored in the DB 307a shown in FIG. As shown in the figure, the database table has columns of “passerby ID”, “passage detection time”, “gaze detection time”, and “gaze detection time”. Records are generated for each person photographed by the camera 150 and regarded as the same person. For example, a record with a “passerby ID” of “2” is detected to pass through the billboard area at 15: 32: 51: 800 ms on July 11, 2005, and at 15:33 on July 11, 2005 It is a record of a person whose start of staring at an advertising billboard was detected at 45 seconds and 900 milliseconds, and the time of staring at the advertising billboard was measured for 100 milliseconds. Specify the time zone in which you want to calculate the average gaze time in units of 100 milliseconds, add up the “gaze detection time” of the records included in the time zone, count the number of records included in the time zone, and average gaze time = (Total value of “gaze detection time”) ÷ (number of records) can be calculated. If a gaze on an advertising billboard is not detected for a certain person, a null value is registered in the “gaze detection time” column, and “0” is registered for the gaze detection time (for example, a passerby) (Refer to the record with ID “1”).
このようにデータベーステーブルを構成し、「通行人ID」、「通過検出時刻」、「注視検出時刻」及び「注視検出時間」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、ある人物の広告看板への注視に連鎖して他の人が該広告看板へ注視したという注視の連鎖の把握が可能となる。これによって広告看板の体裁やデザインや設置方法、若しくは気温、天候、社会情勢(報道や争乱など)の外部的要因によりどのように変化するかを把握でき、広告看板注視のターゲット層からより多くの注視を獲得可能な広告方式を提案することができる。また、例えば駅のコンコースに広告看板が設置されている状況を想定するとして、特定時間帯に該コンコースの通行流動速度が著しく低下する状況が存在する場合に、「注視検出時刻」及び「注視検出時間」の統計を取ることにより、広告看板への注視がどのように通行流動速度に影響を与えているか(例えば注視の連鎖が発生したことにより通行流動速度の低下を招いたか否かなど)を把握することが可能となる。 By configuring the database table in this way, storing information of “passerby ID”, “passage detection time”, “gaze detection time” and “gaze detection time”, and analyzing the stored data, the next Can be expected. That is, it is possible to grasp a gaze chain in which another person gazes at the advertisement signboard in tandem with the gaze on a certain person's advertisement signboard. This allows us to understand how the advertising signage changes in appearance, design, installation method, or external factors such as temperature, weather, and social conditions (reporting, conflicts, etc.). It is possible to propose an advertising method that can acquire gaze. Further, for example, assuming a situation in which an advertising signboard is installed in a concourse of a station, when there is a situation where the flow speed of the concourse significantly decreases in a specific time zone, the “gaze detection time” and “ By taking statistics of “gazing detection time”, how the gaze on the advertising billboard influences the flow velocity of traffic (for example, whether the traffic flow velocity has been lowered due to the occurrence of gaze chain, etc.) ) Can be grasped.
次に、実施例2のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、広告看板注視時間算出及び平均注視時間算出手順について説明する。図12は、実施例2のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、広告看板注視時間算出及び平均注視時間算出手順を示すフローチャートである。同図に示すように、システムサーバ200は、先ず動領域を検出する(ステップS111)。続いて、検出された動領域が人物であるか否かを判定し(ステップS112)、人物であると判定される場合に(ステップS112肯定)、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する(ステップS113)。新たに検出された人物であると判定される場合(ステップS113肯定)、該人物に通行人IDを付与し(ステップS114)、通行人を検知した旨を通行人IDと共に集計センタサーバ300へ送信する(ステップS115)。なお、ステップS112で動領域が人物であると判定されない場合(ステップS112否定)、ステップS122へ処理を移す。またステップS113で新たに検出された人物であると判定されない場合(ステップS113否定)、ステップS119へ処理を移す。
Next, a procedure for detecting passersby, advertisement signboard gaze detection, advertisement signboard gaze time calculation, and average gaze time calculation procedures in the content attention evaluation apparatus and the content attention evaluation system of Example 2 will be described. FIG. 12 is a flowchart illustrating a procedure for detecting passersby, advertisement signboard gaze detection, advertisement signboard gaze time calculation, and average gaze time calculation in the content attention evaluation apparatus and the content attention evaluation system according to the second embodiment. As shown in the figure, the
一方集計センタサーバ300では、システムサーバ200から通行人を検知した旨を受信したならば、DB307aに当該通行人IDを持つレコードを追加し、通行検知時刻登録処理を実行する(ステップS211)。
On the other hand, if the
ステップS115に続いてシステムサーバ200では、顔領域検出処理を実行する(ステップS116)。続いて顔領域検出か否かを判定し(ステップS117)、顔領域検出と判定されたならば(ステップS117肯定)、顔方向検出処理を実行する(ステップS118)。なお、顔領域が検出されなかったと判定されると(ステップS117否定)、ステップS122へ処理を移す。ステップS118の処理結果が顔方向が広告看板注視状態であるとされるか否かを判定し(ステップS119)、広告看板注視状態であると判定される場合(ステップS119肯定)、広告看板注視を検知した旨を集計センタサーバ300へ送信し(ステップS120)、広告看板注視状態であると判定されない場合、(ステップS119否定)、ステップS121へ処理を移す。
Subsequent to step S115, the
一方集計センタサーバ300では、システムサーバ200からステップS120の処理により広告看板注視を検知した旨が送信されてくると、注視時刻は登録されているか否かの判定処理を実行する(ステップS212)。注視時刻が登録されていない場合(ステップS212否定)注視時刻登録処理を実行し(ステップS213)、注視時刻が登録されている場合(ステップS212肯定)ステップS214へ処理を移す。
On the other hand, when the
システムサーバ200におけるステップS119の処理で広告看板注視状態と判定されなかった場合(ステップS119否定)、注視非検知の旨を集計センタサーバ300へ送信する(ステップS121)。集計センタサーバ300で注視非検知を受信したならば、注視時刻が登録されているか否かを判定し(ステップS214)、注視時刻が登録されていると判定するならば(ステップS214肯定)、現在システム時刻と注視時刻とから注視時間を算出し(ステップS215)、注視時間をDB307aに登録する(ステップS216)。なお、ステップS214で注視時刻が登録されていると判定されないならば(ステップS214否定)、ステップS217へ処理を移す。続いて通行検知・注視検知終了か否かを判定し(ステップS217)、通行検知・注視検知終了の場合に(ステップS217肯定)集計センタサーバにおける処理を終了し、通行検知・注視検知終了でない場合に(ステップS217否定)ステップS211へ処理を移す。
If it is not determined that the advertisement signboard is in the gaze state in the process of step S119 in the system server 200 (No in step S119), the fact that the gaze is not detected is transmitted to the aggregation center server 300 (step S121). If the gaze non-detection is received by the
システムサーバ200で、ステップS120又はステップS121に続いて、他に検出できる人物があるか否かを判定し(ステップS122)、他に検出できる人物がある場合には(ステップS122肯定)システムサーバにおける処理を終了し、他に検出できる人物がない場合には(ステップS122否定)ステップS111へ処理を移す。
Following step S120 or step S121, the
図13〜16は、本発明の実施例3に係るコンテンツ注目評価装置及びコンテンツ注目評価システムの実施例を説明するための図である。実施例3は、屋外における広告効果評価方法であって、該広告看板に対する通行人の顔属性を判定処理する実施例である。本方法は、広告看板の前面の広告看板エリアに存在して該広告看板を注視する人物の顔属性を判定し、年齢・性別をDBに蓄積して統計分析の用に供するものである。 FIGS. 13-16 is a figure for demonstrating the Example of the content attention evaluation apparatus and content attention evaluation system which concern on Example 3 of this invention. The third embodiment is an outdoor advertising effectiveness evaluation method, in which a face attribute of a passer-by for the advertising signboard is determined. This method determines the face attribute of a person who is present in the advertisement billboard area in front of the billboard and watches the billboard, accumulates the age and sex in the DB, and uses them for statistical analysis.
なお以下に実施例3の構成として説明するシステムサーバ200、集計センタサーバ300、データベーステーブル及びコンテンツ注目評価装置及びコンテンツ注目評価システムにおける処理手順以外は、実施例1又は2と同一である。
The processing procedure in the
図13は、実施例3のシステムサーバ200の構成を示す機能ブロック図である。同図に示すように、このシステムサーバ200は、主制御部201と、通行人物検知部202と、注視人物検出部203と、記憶部204と、キーボードなどの操作部206が接続される操作制御部205と、ディスプレイ装置などの表示部208が接続される表示制御部207と、外部とのデータ授受を制御するI/F部209とを有する。これらの構成要素間のデータの授受は、実施例1と同様である。
FIG. 13 is a functional block diagram illustrating the configuration of the
また、主制御部201、通行人物検出部202、記憶部204、操作制御部205、表示制御部207及びI/F部209の機能は実施例1と同様であるので、ここでの説明を省略する。
Further, the functions of the
注視人物検出部203は、人物検出部202bにより検出された人物の矩形の動領域から顔に相当する矩形を取り出し、該矩形が顔であるか否かを判定して顔を検出する顔検出処理部203aと、顔検出処理部203aにより検出された顔が向いている顔方向を検出する顔方向検出処理部203bと、検出された顔の属性を判定する顔判定処理部203cとを有する。顔検出処理部203aは、実施例1と同様であるので、ここでの説明を省略する。
The gaze
顔判定処理部203cは、顔検出処理部203aにより顔領域が検出された人物の顔の属性を判定して年齢や性別を判定する。顔判定処理部203cは、年齢判定処理部203c−1及び性別判定処理部203c−2を有する。年齢判定処理部203c−1は、カメラ150で撮影された顔画像から年齢を推定する処理部であり、性別判定処理部203c−2は、カメラ150で撮影された顔画像から性別を推定する処理部である。これらの処理部は、推定結果を集計センタサーバ300へ送信する。
The face
なお、年齢判定処理部203c−1及び性別判定処理部203c−2は、入力された人物画像データに対して年齢及び性別をそれぞれ出力する。例えば年齢判定処理部203c−1及び性別判定処理部203c−2は、人物全体の動画像から1フレーム分の顔画像を切り出す画像切り出し部と、該顔画像データが示す顔画像の特徴、例えば顔の輪郭、顔の肉付き状態、肌・皮膚の状態、装飾の有無、髪型などを識別して点数化する識別部と、該識別部の点数化の結果に応じて年齢や性別を判定して出力する結果判定出力部とを有する。
The age
次に、実施例3の集計センタサーバ300の構成について説明する。図14は、実施例3の集計センタサーバ300の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ300は、主制御部301と、通過検出時刻登録部313と、注視検出時刻登録部314と、通行人年代登録部320と、通行人性別登録部321と、記憶部307と、キーボードなどの操作部309が接続される操作制御部308と、ディスプレイ装置などの表示部311が接続される表示制御部310と、外部とのデータ授受を制御するI/F部312とを有する。
Next, the configuration of the
具体的には主制御部301は、システムサーバ200からI/F部312を介してカメラ150が撮影した人物の属性データを受け取って通過検出時刻登録部313、注視検出時刻登録部314、通行人年代登録部320又は通行人性別登録部321へ受け渡す処理を行う。該属性データの授受を契機として通過検出時刻登録部313は当該人物の通過検出時刻をDB307aに登録し、注視検出時刻登録部314は当該人物の注視検出時刻をDB307aへ登録する。通行人年代登録部320は、当該人物の属性データに基づき年代をDB307aに登録する。また通行人性別登録部321は当該人物の属性データに基づき性別をDB307aに登録する。
Specifically, the
また主制御部301は、通過検出時刻登録部313、注視検出時刻登録部314、通行人年代登録部320又は通行人性別登録部321から出力される情報を記憶部307へ受け渡す処理を行い、若しくは操作部309が受け付け操作制御部308で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部310を介して表示部311へ表示させる処理を実行する。
Further, the
ここで主制御部301、通過検出時刻登録部313、注視検出時刻登録部314、通行人年代登録部320、通行人性別登録部321、記憶部307、操作制御部308及び表示制御部310の機能は実施例2と同様であるので、説明を省略する。
Here, the functions of the
通行人年代登録部320は、システムサーバ200から送信されてくる属性データに基づき人物の年代をDB307aに登録する。通行人性別登録部321は、システムサーバ200から送信されてくる属性データに基づき人物の性別をDB307aに登録する。なお、通過検出時刻登録部313、注視検出時刻登録部314、通行人年代登録部320及び通行人性別登録部321は、人物単位で時刻の登録を行う。即ち、トラッキングにより追跡された複数の連続する画像フレームに含まれる通行人物又は注視人数のうち同一人物であると見なされる人物単位に通過検知時刻、注視検出時刻、年代及び性別がDB307aに登録される。
The passer's
次に、図14に示したDB307aに格納されるデータベーステーブルについて説明する。図15は、図14に示したDB307aに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「通行人ID」、「通過検出時刻」、「注視検出時刻」、「年代」及び「性別」のカラムを持つ。カメラ150により撮影された人物で同一人物と見なされる人物単位にレコードが生成されている。例えば「通行人ID」が“2”であるレコードは、2005年7月11日15時32分51秒800ミリ秒に広告看板エリアの通過が検知され、2005年7月11日15時33分45秒900ミリ秒に広告看板の注視の開始が検知された、年代が10歳以上20歳未満、性別が男性の人物のレコードである。なお、ある人物について広告看板への注視が検出されなかった場合には、「注視検出時刻」のカラムにはNull値が登録される(例えば通行人ID“1”のレコード参照)。 Next, a database table stored in the DB 307a shown in FIG. 14 will be described. FIG. 15 is a table image diagram of the database table stored in the DB 307a shown in FIG. As shown in the figure, the database table has columns of “passerby ID”, “passage detection time”, “gaze detection time”, “age”, and “gender”. Records are generated for each person photographed by the camera 150 and regarded as the same person. For example, a record with a “passerby ID” of “2” is detected to pass through the billboard area at 15: 32: 51: 800 ms on July 11, 2005, and at 15:33 on July 11, 2005 A record of a person whose age is between the ages of 10 and under 20 and whose gender is male, in which the start of gaze on the billboard was detected in 45 seconds and 900 milliseconds. Note that if a gaze on the advertising billboard is not detected for a certain person, a null value is registered in the “gaze detection time” column (see, for example, the record of the passer ID “1”).
なお、本実施例3では、年代は、10歳未満、10歳以上20歳未満、20歳以上40歳未満、40歳以上60歳未満、60歳以上の5つの階層に分類されることとするが、これは一例に過ぎず、これに限られるものではない。 In addition, in this Example 3, ages shall be classified into five levels: under 10 years old, under 10 years old and under 20 years old, over 20 years old and under 40 years old, over 40 years old and under 60 years old, and over 60 years old. However, this is only an example, and the present invention is not limited to this.
このようにデータベーステーブルを構成し、「通行人ID」、「通過検出時刻」、「注視検出時刻」、「年代」及び「性別」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、どの「年代」でありどの「性別」の人物が、いつ広告看板の前面を通過し、かつ該広告看板を注視したか否か、注視したとすればいつ注視したかを把握することが可能となり、広告看板を注視する人物の「年代」及び「性別」を把握することが可能となる。 By configuring the database table in this way, storing information of “passerby ID”, “passage detection time”, “gaze detection time”, “age” and “gender”, and analyzing this stored data The following effects can be expected. That is, it is possible to grasp when the person of which “age” and which “sex” has passed through the front of the advertising billboard, and whether or not the advertising billboard has been watched, and if so, when. This makes it possible to grasp the “age” and “gender” of the person watching the advertising billboard.
次に、実施例3のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、顔属性取得及び顔属性登録手順について説明する。図16は、実施例3のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、顔属性取得及び顔属性登録手順を示すフローチャートである。同図に示すように、システムサーバ200は、先ず動領域を検出する(ステップS131)。続いて、検出された動領域が人物であるか否かを判定し(ステップS132)、人物であると判定される場合に(ステップS132肯定)、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する(ステップS133)。新たに検出された人物であると判定される場合(ステップS133肯定)、該人物に通行人IDを付与し(ステップS134)、通行人を検知した旨を通行人IDと共に集計センタサーバ300へ送信する(ステップS135)。なお、ステップS132で動領域が人物であると判定されない場合(ステップS132否定)、ステップS144へ処理を移す。またステップS133で新たに検出された人物であると判定されない場合(ステップS133否定)、ステップS139へ処理を移す。
Next, passerby detection, advertisement sign gaze detection, face attribute acquisition, and face attribute registration procedures in the content attention evaluation apparatus and content attention evaluation system of Example 3 will be described. FIG. 16 is a flowchart illustrating passer-by detection, advertisement sign gaze detection, face attribute acquisition, and face attribute registration procedures in the content attention evaluation device and the content attention evaluation system according to the third embodiment. As shown in the figure, the
一方集計センタサーバ300では、システムサーバ200から通行人を検知した旨を受信したならば、DB307aに当該通行人IDを持つレコードを追加し、通行検知時刻登録処理を実行する(ステップS221)。
On the other hand, if the
ステップS135に続いてシステムサーバ200では、顔領域検出処理を実行する(ステップS136)。続いて顔領域検出か否かを判定し(ステップS137)、顔領域検出と判定されたならば(ステップS137肯定)、顔方向検出処理を実行する(ステップS138)。なお、顔領域が検出されなかったと判定されると(ステップS137否定)、ステップS144へ処理を移す。ステップS138の処理結果が顔方向が広告看板注視状態であるとされるか否かを判定し(ステップS139)、広告看板注視状態であると判定される場合(ステップS139肯定)、広告看板注視を検知した旨を集計センタサーバ300へ送信し(ステップS140)、広告看板注視状態であると判定されない場合(ステップS139否定)、ステップS144へ処理を移す。
Subsequent to step S135, the
一方集計センタサーバ300では、システムサーバ200からステップS140の処理により広告看板注視を検知した旨が送信されてくると、注視時刻登録処理を実行する(ステップS222)。
On the other hand, the
システムサーバ200においてステップS140が終了したならば、人物の顔属性取得可能か判定し(ステップS141)、顔属性取得可能と判定される場合に(ステップS141肯定)年代・性別取得処理を実行し(ステップS142)、顔属性取得可能と判定されない場合に(ステップS141否定)ステップS144へ処理を移す。ステップS142へ続いて集計センタサーバ300に対して年代・性別送信処理を実行する(ステップS143)。
When step S140 is completed in the
集計センタサーバ300でステップS143の処理により送信されてきた年代・性別情報を受信したならば、年代・性別をDB307aへ登録する年代・性別登録処理を実行する(ステップS223)。続いて通行人属性取得終了かを判定し(ステップS224)、通行人属性取得終了である場合(ステップS224肯定)、集計センタサーバ300における処理を終了する。なお通行人属性取得終了でない場合(ステップS224否定)、ステップS221へ処理を移す。
When the
システムサーバ200で、ステップS143に続いて、他に検出できる人物があるか否かを判定し(ステップS144)、他に検出できる人物がある場合には(ステップS144肯定)システムサーバにおける処理を終了し、他に検出できる人物がない場合には(ステップS144否定)ステップS131へ処理を移す。
In step S143, the
図17〜20は、本発明の実施例4に係るコンテンツ注目評価装置及びコンテンツ注目評価システムの実施例を説明するための図である。実施例4は、屋外における広告効果評価方法であって、該広告看板に対する通行人の顔下属性を判定処理する実施例である。顔下属性とは、具体的には顔領域以外の人体の領域の基調となる色である。本方法は、広告看板の前面の広告看板エリアに存在して該広告看板を注視する人物の顔下属性を判定し、判定された色の情報をDBに蓄積して統計分析の用に供するものである。 FIGS. 17-20 is a figure for demonstrating the Example of the content attention evaluation apparatus and content attention evaluation system which concern on Example 4 of this invention. The fourth embodiment is an outdoor advertising effectiveness evaluation method in which a passerby's sub-face attribute with respect to the advertisement signboard is determined. Specifically, the sub-face attribute is a color that is the basis of a human body region other than the face region. This method determines the sub-face attribute of a person existing in the advertising billboard area in front of the advertising billboard and gazing at the advertising billboard, accumulates the determined color information in the DB, and uses it for statistical analysis It is.
なお以下に実施例4の構成として説明するシステムサーバ200、集計センタサーバ300、データベーステーブル及びコンテンツ注目評価装置及びコンテンツ注目評価システムにおける処理手順以外は、実施例1、2又は3と同一である。
The processing procedure in the
図17は、実施例4のシステムサーバ200の構成を示す機能ブロック図である。同図に示すように、このシステムサーバ200は、主制御部201と、通行人物検出部202と、注視人物検出部203と、記憶部204と、キーボードなどの操作部206が接続される操作制御部205と、ディスプレイ装置などの表示部208が接続される表示制御部207と、外部とのデータ授受を制御するI/F部209とを有する。これらの構成要素間のデータの授受は、実施例1と同様である。
FIG. 17 is a functional block diagram illustrating a configuration of the
また、主制御部201、通行人物検出部202、記憶部204、操作制御部205、表示制御部207及びI/F部209の機能は実施例1と同様であるので、ここでの説明を省略する。
The functions of the
注視人物検出部203は、人物検出部202bにより検出された人物の矩形の動領域から顔に相当する矩形を取り出し、該矩形が顔であるか否かを判定して顔を検出する顔検出処理部203aと、顔検出処理部203aにより検出された顔以外の人体領域が基調とする色を判定する顔下領域判定処理部203dとを有する。顔検出処理部203aは、実施例1と同様であるので、ここでの説明を省略する。
The gaze
顔下領域判定処理部203dは、顔検出処理部203aにより顔領域が検出された人物の顔以外の人体領域の属性を判定して基調となる色を判定する。即ちここで判定される色は、主に当該人物が着用する衣服の色調となる。顔下領域判定処理部203dは、判定結果を集計センタサーバ300へ送信する。
The lower face area
なお、顔下領域判定処理部203dによる色判定は、光の三源色(RGB)に基づいて判定される色に限られるものではない。即ち、顔下領域を減色していき、同一色(RGB)であると見なされる部分を一つの矩形領域にまとめていく。このようにすると顔下領域は複数の矩形領域に分割されるが、これら複数の矩形領域のうち最も面積が大きい矩形領域の色(RGB)を以って顔下領域の代表色とする。次に、色空間(RGB)における代表色(RGB)の表色を、L*a*b*色空間におけるL*a*b*表色系へ変換する。ここでL*は明度、a*は色相、b*は彩度をあらわす。色相と彩度を色度と総称する。即ち、光の三源色(RGB)のそれぞれの色の刺激値により色を特定するRGB色空間から、明度、色相、彩度により色を特定するL*a*b*色空間への変換を行う。このL*a*b*表色系により色を特定することとしてもよい。
Note that the color determination by the lower face region
また、顔下領域を減色していき、同一色(RGB)であると見なされる矩形領域のうち最も面積が大きい矩形領域の色(RGB)を以って顔下領域の代表色とし、この代表色(RGB)をCIE(International Commission on Illumination)1976で定められたUCS色度図の座標系への変換を経てL*u*v*色空間のL*u*v*表色系へ変換することとしてもよい。ここで、L*は明度指数、u*及びv*はクロマティクネス指数であり、色をL*、u*及びv*の3つの指標で表現するものである。このL*u*v*表色系により色を特定することとしてもよい。 Further, the color of the sub-face region is reduced, and the color of the rectangular region (RGB) having the largest area among the rectangular regions regarded as the same color (RGB) is used as the representative color of the sub-face region. The color (RGB) is converted to the L * u * v * color space L * u * v * color system through conversion to the coordinate system of the UCS chromaticity diagram defined by CIE (International Commission on Illumination) 1976. It is good as well. Here, L * is a lightness index, u * and v * are chromaticness indices, and colors are expressed by three indices L * , u * and v * . The color may be specified by the L * u * v * color system.
次に、実施例4の集計センタサーバ300の構成について説明する。図18は、実施例4の集計センタサーバ300の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ300は、主制御部301と、通過検出時刻登録部313と、注視検出時刻登録部314と、通行人顔下属性登録部322と、記憶部307と、キーボードなどの操作部309が接続される操作制御部308と、ディスプレイ装置などの表示部311が接続される表示制御部310と、外部とのデータ授受を制御するI/F部312とを有する。
Next, the configuration of the
具体的には主制御部301は、システムサーバ200からI/F部312を介してカメラ150が撮影した人物の属性データを受け取って通過検出時刻登録部313、注視検出時刻登録部314又は通行人顔下属性登録部322へ受け渡す処理を行う。該属性データの授受を契機として通過検出時刻登録部313は当該人物の通過検出時刻をDB307aに登録し、注視検出時刻登録部314は当該人物の注視検出時刻をDB307aへ登録する。また通行人顔下属性登録部322は当該人物の属性データに基づき顔下領域の色をDB307aに登録する。
Specifically, the
また主制御部301は、通過検出時刻登録部313、注視検出時刻登録部314又は通行人顔下属性登録部322から出力される情報を記憶部307へ受け渡す処理を行い、若しくは操作部309が受け付け操作制御部308で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部310を介して表示部311へ表示させる処理を実行する。
Further, the
ここで主制御部301、通過検出時刻登録部313、注視検出時刻登録部314、記憶部307、操作制御部308及び表示制御部310の機能は実施例2と同様であるので、説明を省略する。
Here, the functions of the
通行人顔下属性登録部322は、システムサーバ200から送信されてくる属性データに基づき人物の顔下領域の色をDB307aに登録する。なお、通過検出時刻登録部313、注視検出時刻登録部314及び通行人顔下属性登録部322は、人物単位で時刻の登録を行う。即ち、トラッキングにより追跡された複数の連続する画像フレームに含まれる通行人物又は注視人数のうち同一人物であると見なされる人物単位に通過検知時刻、注視検出時刻及び顔下属性がDB307aに登録される。
The passerby face
次に、図18に示したDB307aに格納されるデータベーステーブルについて説明する。図19は、図18に示したDB307aに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「通行人ID」、「通過検出時刻」、「注視検出時刻」及び「顔下属性」のカラムを持つ。カメラ150により撮影された人物で同一人物と見なされる人物単位にレコードが生成されている。例えば「通行人ID」が“2”であるレコードは、2005年7月11日15時32分51秒800ミリ秒に広告看板エリアの通過が検知され、2005年7月11日15時33分45秒900ミリ秒に広告看板の注視の開始が検知された、顔下属性が“GREEN”の人物のレコードである。即ち「通行人ID」が“2”の人物の顔以外の領域である衣服の色調は、緑を基調としていることとなる。なお、ある人物について広告看板への注視が検出されなかった場合には、「注視検出時刻」のカラムにはNull値が登録される(例えば通行人ID“1”のレコード参照)。 Next, the database table stored in the DB 307a shown in FIG. 18 will be described. FIG. 19 is a table image diagram of a database table stored in the DB 307a shown in FIG. As shown in the figure, the database table has columns of “passerby ID”, “passage detection time”, “gaze detection time”, and “subface attribute”. Records are generated for each person photographed by the camera 150 and regarded as the same person. For example, a record with a “passerby ID” of “2” is detected to pass through the billboard area at 15: 32: 51: 800 ms on July 11, 2005, and at 15:33 on July 11, 2005 This is a record of the person whose face attribute is “GREEN”, when the start of gaze on the billboard was detected in 45 seconds and 900 milliseconds. That is, the color tone of the clothing that is an area other than the face of the person whose “passerby ID” is “2” is based on green. Note that if a gaze on the advertising signboard is not detected for a certain person, a null value is registered in the “gaze detection time” column (see, for example, the record of the passer ID “1”).
なお、本実施例4では、顔下属性は、“GREEN”、“YELLOW”、“RED”、“PURPLE”、“BLUE”、“BLACK”、“WHITE”の7つの色に分類されることとするが、これは一例に過ぎず、これに限られるものではない。 In the fourth embodiment, the sub-face attribute is classified into seven colors of “GREEN”, “YELLOW”, “RED”, “PURPLE”, “BLUE”, “BLACK”, and “WHITE”. However, this is only an example, and the present invention is not limited to this.
このようにデータベーステーブルを構成し、「通行人ID」、「通過検出時刻」、「注視検出時刻」及び「顔下属性」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、いかなる「顔下属性」を持つ人物、具体的にはいかなる色調の衣服を着用する人物が、いつ広告看板の前面を通過し、かつ該広告看板を注視したか否か、注視したとすればいつ注視したかを把握することが可能となり、広告看板を注視する人物の「顔下属性」を把握することが可能となる。 By configuring the database table in this way, storing information of “passerby ID”, “passage detection time”, “gaze detection time”, and “subface attribute”, and analyzing the stored data, Can be expected. That is, it is assumed that a person having any “sub-face attribute”, specifically, a person wearing clothes of any color tone, has passed through the front of the advertisement signboard and has watched the advertisement signboard. Thus, it is possible to grasp when the user is gazing, and it is possible to grasp the “sub-face attribute” of the person gazing at the advertising billboard.
次に、実施例4のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知及び顔下属性取得及び顔下属性登録手順について説明する。図20は、実施例4のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、顔下属性取得及び顔下属性登録手順を示すフローチャートである。同図に示すように、システムサーバ200は、先ず動領域を検出する(ステップS151)。続いて、検出された動領域が人物であるか否かを判定し(ステップS152)、人物であると判定される場合に(ステップS152肯定)、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する(ステップS153)。新たに検出された人物であると判定される場合(ステップS153肯定)、該人物に通行人IDを付与し(ステップS154)、通行人を検知した旨を通行人IDと共に集計センタサーバ300へ送信する(ステップS155)。なお、ステップS152で動領域が人物であると判定されない場合(ステップS152否定)、ステップS164へ処理を移す。またステップS153で新たに検出された人物であると判定されない場合(ステップS153否定)、ステップS159へ処理を移す。
Next, procedures for passerby detection, advertisement sign gaze detection, sub-face attribute acquisition, and sub-face attribute registration procedures in the content attention evaluation apparatus and the content attention evaluation system of Example 4 will be described. FIG. 20 is a flowchart illustrating procedures for detecting passers-by, advertisement sign gaze detection, sub-face attribute acquisition, and sub-face attribute registration in the content attention evaluation apparatus and the content attention evaluation system according to the fourth embodiment. As shown in the figure, the
一方集計センタサーバ300では、システムサーバ200から通行人を検知した旨を受信したならば、DB307aに当該通行人IDを持つレコードを追加し、通行検知時刻登録処理を実行する(ステップS231)。
On the other hand, if the
ステップS155に続いてシステムサーバ200では、顔領域検出処理を実行する(ステップS156)。続いて顔領域検出か否かを判定し(ステップS157)、顔領域検出と判定されたならば(ステップS157肯定)、顔方向検出処理を実行する(ステップS158)。なお、顔領域が検出されなかったと判定されると(ステップS157否定)、ステップS164へ処理を移す。ステップS158の処理結果が顔方向が広告看板注視状態であるとされるか否かを判定し(ステップS159)、広告看板注視状態であると判定される場合(ステップS159肯定)、広告看板注視を検知した旨を集計センタサーバ300へ送信し(ステップS160)、広告看板注視状態であると判定されない場合(ステップS159否定)、ステップS164へ処理を移す。
Subsequent to step S155, the
一方集計センタサーバ300では、システムサーバ200からステップS160の処理により広告看板注視を検知した旨が送信されてくると、注視時刻登録処理を実行する(ステップS232)。
On the other hand, the
システムサーバ200においてステップS160が終了したならば、人物の顔下色属性取得可能か判定し(ステップS161)、顔下色属性取得可能と判定される場合に(ステップS161肯定)顔下色属性取得処理を実行し(ステップS162)、顔下色属性取得可能と判定されない場合に(ステップS161否定)ステップS164へ処理を移す。ステップS162へ続いて集計センタサーバ300に対して顔下色属性送信処理を実行する(ステップS163)。
When step S160 is completed in the
集計センタサーバ300でステップS163の処理により送信されてきた顔下色属性情報を受信したならば、顔下色属性をDB307aへ登録する顔下色属性登録処理を実行する(ステップS233)。続いて通行人属性取得終了かを判定し(ステップS234)、通行人属性取得終了である場合(ステップS234肯定)、集計センタサーバ300における処理を終了する。なお通行人属性取得終了でない場合(ステップS234否定)、ステップS231へ処理を移す。
When the
システムサーバ200で、ステップS163に続いて、他に検出できる人物があるか否かを判定し(ステップS164)、他に検出できる人物がある場合には(ステップS164肯定)システムサーバにおける処理を終了し、他に検出できる人物がない場合には(ステップS164否定)ステップS151へ処理を移す。
In step S163, the
図21は、本発明の実施例5に係るコンテンツ注目評価方法の概念を説明するための説明図である。実施例5は、屋内におけるTV放送番組視聴率評価方法であって、該TV放送番組に対する通行人の視聴率を算出する実施例である。同図に示すように、本方法は、TVの電源がオンであるか否かを判定し、TV画面の前面のTV画面エリアに存在する人物の数(TV画面エリア内人数)を把握し、これらの人物のうち視線がTV画面に向いている人物の数(TV視聴者人数)を数え、TVの電源がオンか否か、TV画面エリア内人数及びTV視聴者人数に基づいて視聴レベルを算出して、当該TVの放送番組(コンテンツ)の放送効果を評価するものである。 FIG. 21 is an explanatory diagram for explaining the concept of the content attention evaluation method according to the fifth embodiment of the present invention. Example 5 is an indoor TV broadcast program audience rating evaluation method for calculating the audience rating of a passerby for the TV broadcast program. As shown in the figure, this method determines whether or not the TV is turned on, grasps the number of persons existing in the TV screen area in front of the TV screen (number of persons in the TV screen area), Among these persons, the number of persons whose line of sight is facing the TV screen (number of TV viewers) is counted, and the viewing level is determined based on whether the TV is turned on, the number of persons in the TV screen area, and the number of TV viewers. It is calculated and the broadcast effect of the broadcast program (content) of the TV is evaluated.
なお以下に実施例5の構成として説明するコンテンツ注目評価装置及びコンテンツ注目評価システムのネットワーク構成、集計センタサーバ300、データベーステーブル及びコンテンツ注目評価装置及びコンテンツ注目評価システムにおける処理手順以外は、実施例1と同様である。
The network configuration of the content attention evaluation device and the content attention evaluation system, which will be described below as the configuration of the fifth embodiment, except for the processing procedure in the
図21によれば、TV画面の前面でTV番組放送を見ることが可能なTV画面エリア内(図21中の破線による長方形)に、3人の人物F、G、Hが存在している。そのうちF及びGは、TV画面を注視している。同図に示すように、TV画面エリア内に3人の人物が存在し、そのうちTV画面を2人が注視したと検知されることとなる。これらの検知結果とTV電源がオンか否かに基づいて、ある時刻から所定時間内(例えば100ミリ秒)に該TV画面を注視する注視レベルを算出し、該注視レベルに基づいて当該TV放送番組(コンテンツ)の放送効果を評価することができる。 According to FIG. 21, there are three persons F, G, and H in a TV screen area (a rectangle indicated by a broken line in FIG. 21) in which a TV program broadcast can be viewed in front of the TV screen. Among them, F and G are watching the TV screen. As shown in the figure, it is detected that there are three persons in the TV screen area, and two of them are watching the TV screen. Based on these detection results and whether or not the TV power is on, a gaze level for gazeing at the TV screen within a predetermined time (for example, 100 milliseconds) from a certain time is calculated, and the TV broadcast is calculated based on the gaze level. The broadcast effect of a program (content) can be evaluated.
図22は、実施例5のコンテンツ注目評価装置及びコンテンツ注目評価システムのネットワーク構成を説明するための説明図である。同図によれば、通路の横にTV画面100tが配設された通路を通過する通行人物を撮影するための1台の広角カメラ、即ちTV画面100t側から通路に存在する通行人物を撮影するカメラ150が配設されている。
FIG. 22 is an explanatory diagram for explaining a network configuration of the content attention evaluation device and the content attention evaluation system according to the fifth embodiment. According to the figure, one wide-angle camera for photographing a passing person passing through a passage in which a
同図に示したカメラ領域rは、カメラ150により通行人物の撮影が可能な領域である。この領域内に存在する通行人物は、カメラ150により撮影されることによって通行人物として検出され得る。また、カメラ領域rで検出された通行人物の顔方向が広告看板100t方向を向くか否かが検出される。これは、カメラ150が広告看板100tの同一面内又はその近傍に配設されていることにより、視線を向けるために広告看板へ顔方向を向けると、この広告看板方向を向く顔がカメラ150により撮影されることによる。
The camera area r shown in the figure is an area where a camera 150 can capture a passerby. Passersby existing in this area can be detected as passersby by being photographed by the camera 150. In addition, it is detected whether or not the face direction of the passerby detected in the camera region r faces the direction of the
カメラ150及びシステムサーバ200がケーブルCを介して接続されている。少なくとも一つのシステムサーバ200がネットワークNを介して集計センタサーバ300と接続されている。システムサーバ200と集計センタサーバ300は異なるフロアに設置されているものとするが、同一のフロアに設置されてもよく、また同一のコンピュータシステムに実装されていてもよいものである。システムサーバ200は、カメラ150により撮影された画像を分析して該画像から通行人物及び該通行人物の顔方向を検出するための分析装置である。カメラ150は通行人物を含む画像を撮影して該画像をシステムサーバ200へ送信する。システムサーバ200では該画像を分析して該画像に含まれる通行人物の客観的な属性データを検出して該属性データを集計センタサーバ300へ送信する。集計センタサーバ300は、該属性データを集計し各種分析指標を算出する。即ち、個人を特定することができる画像情報は、システムサーバ200及びカメラ150間で閉じており、これら以外に送信されることはない。よって本実施例5の広告注目評価システムは、システムサーバ200及びカメラ150において集中的に個人情報保護を図るだけで個人情報の漏洩・拡散を防止できるシステムとなっている。
The camera 150 and the
次に、図22に示した集計センタサーバ300の構成について説明する。図23は、図22に示した集計センタサーバ300の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ300は、主制御部301と、通行人数算出部302と、通行人数登録部303と、視聴人数登録部323と、視聴人数算出部324と、視聴レベル判定部325と、記憶部307と、キーボードなどの操作部309が接続される操作制御部308と、ディスプレイ装置などの表示部311が接続される表示制御部310と、外部とのデータ授受を制御するI/F部312とを有する。主制御部301は集計センタサーバ300全体の処理を制御する制御部である。具体的には主制御部301は、システムサーバ200からI/F部312を介して属性データを受け取って通行人数算出部302又は視聴人数算出部324へ受け渡す処理を行う。該属性データの授受を契機として通行人数算出部302は通行人数として画像に含まれていた人物の数を計数し、また視聴人数算出部324は視聴人数として画像に含まれていたTV画面を向く顔角度の人物の数を計数する。また主制御部301は、通行人数登録部303又は視聴人数登録部323から出力される情報を記憶部307へ受け渡す処理を行い、若しくは操作部309が受け付け操作制御部308で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部310を介して表示部311へ表示させる処理を実行する。
Next, the configuration of the
通行人数算出部302は、システムサーバ200から送信されてくる属性データから通行人物とされる人数を計数する。この計数結果は通行人数登録部303及び視聴レベル判定部325へ受け渡される。また視聴人数算出部324は、システムサーバ200から送信されてくる属性データから視聴人物とされる人数を計数する。この計数結果は視聴人数登録部323及び視聴レベル判定部325へ受け渡される。なお、通行人数算出部302及び視聴人数算出部324は、100ミリ秒毎に人数の計数を行う。即ち、100ミリ秒間の画像フレームに含まれる通行人物又は視聴人数を累計する。
The number of
通行人数登録部303は、通行人数算出部302により100ミリ秒単位で計数された通行人数を記憶部307が有するDB307aに登録する処理を行い、視聴人数登録部323は、視聴人数算出部324により100ミリ秒単位で計数された視聴人数を記憶部307が有するDB307aに登録する処理を行う。視聴レベル判定部325は、100ミリ秒単位でDB307aに登録された通行人数、視聴人数及びTV電源のオン・オフに基づき視聴レベルを判定する。そして該判定結果を主制御部301を介して記憶部307へ受け渡し、DB307aに登録させる処理を行う。
The number-of-
記憶部307は、不揮発性の磁気的記録装置であり、100ミリ秒毎の通行人数、視聴人数及び視聴レベルを登録するDB307aを有する。100ミリ秒毎に1レコードが生成され、この1レコードに相当する100ミリ秒に含まれる画像のフレームに撮影されている通行人数の累計、視聴人数の累計及び視聴レベルが登録されている。
The
なお図23に示した視聴レベル判定部325による判定結果である視聴レベルは、図24に示すようになる。図24は、各視聴レベルに対応する視聴レベルの内容を示す説明図である。同図に示すように、TV電源がオフの場合には、通行人数及び視聴人数に関わらず、視聴レベルは“レベル0”となる。TV電源がオンであってTV放送番組を受信中であれば、視聴レベルは、“レベル1”〜“レベル3”のいずれかとなる。TV電源がオンであって“カメラ前方人間不存在状態”即ち「通行人数が0」である場合には、視聴レベルは“レベル1”となる。TV電源がオンであって“カメラ前方人間存在状態、正面顔非検出状態”即ち「通行人数は0でないが、視聴人数が0」である場合には、視聴レベルは“レベル2”となる。また、TV電源がオンであって“カメラ前方人間存在状態、正面顔検出状態”即ち「通行人数、視聴人数共に0でない」場合には、視聴レベルは“レベル3”となる。このように、TV電源がオンであるか否か、通行人数及び視聴人数に基づいて視聴レベルが判定される。
Note that the viewing level that is the determination result by the viewing
次に、図23に示したDB307aに格納されるデータベーステーブルについて説明する。図25は、図23に示したDB307aに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「日時」、「TV電源」、「通行人数」、「視聴人数」及び「視聴レベル」のカラムを持つ。そして100ミリ秒単位にレコードが生成されている。例えば「日時」が“2005/11/15 15:30:45:200”であるレコードには、2005年11月15日15時30分45秒200ミリ秒から2005年11月15日15時30分45秒300ミリ秒までの100ミリ秒間にカメラ150により撮影された画像のフレームに含まれる通行人及び広告看板の視聴人それぞれの人数を計数した数値が格納される。通行人の計数値は「通行人数」のカラムに格納され、視聴人の計数値は「視聴人数」のカラムに格納される。なお、100ミリ秒を単位として視聴率を算出したい時刻帯を指定し、該時刻帯に含まれるレコードの「通行人数」及び「視聴人数」を合計して視聴率=(「視聴人数」の合計値)÷(「通行人数」の合計値)を算出することもできる。
Next, the database table stored in the DB 307a shown in FIG. 23 will be described. FIG. 25 is a table image diagram of a database table stored in the DB 307a shown in FIG. As shown in the figure, the database table has columns of “date and time”, “TV power supply”, “passing people”, “viewing people”, and “viewing level”. Records are generated every 100 milliseconds. For example, records with “2005/11/15 15: 30: 45: 200” as “Date and time” are from November 15, 2005 15:30:45
このようにデータベーステーブルを構成し、「日時」、「TV電源」、「通行人数」、「視聴人数」及び「視聴レベル」の情報を記憶し、この記憶されたデータを分析することにより、次の効果が期待できる。即ち、時刻帯の違いやTV電源のオン・オフの違いに応じて「通行人数」に違いが生じるか、TV番組放送の内容に応じて「視聴人数」の違いが生じるかなどを把握可能となる。また「視聴レベル」を判定することにより、TV番組放送の視聴状況を直截的に把握可能となる。 By configuring the database table in this way, information on “date and time”, “TV power”, “number of people to pass”, “number of viewers” and “viewing level” is stored, and by analyzing this stored data, Can be expected. In other words, it is possible to grasp whether there is a difference in the “passing number of people” depending on the difference in time zone and on / off of the TV power source, or whether the “number of viewers” is different depending on the content of the TV program broadcast. Become. Further, by determining the “viewing level”, the viewing status of the TV program broadcast can be grasped directly.
次に、図22に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び視聴人数の検知・計数、視聴レベル評価手順について説明する。図26は、図22に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び視聴人数の検知・計数、視聴レベル評価手順を示すフローチャートである。同図に示すように、システムサーバ200は、先ず動領域を検出する(ステップS171)。続いて、検出された動領域が人物であるか否かを判定し(ステップS172)、人物であると判定される場合に(ステップS172肯定)、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する(ステップS173)。新たに検出された人物であると判定される場合(ステップS173肯定)、通行人を検知した旨を集計センタサーバ300へ送信する(ステップS174)。なお、ステップS172で動領域が人物であると判定されない場合(ステップS172否定)、ステップS180へ処理を移す。またステップS173で新たに検出された人物であると判定されない場合(ステップS173否定)も、ステップS180へ処理を移す。
Next, a procedure for detecting and counting the number of people passing and the number of viewers and a viewing level evaluation procedure in the content attention evaluation device and the content attention evaluation system shown in FIG. FIG. 26 is a flowchart showing a procedure for detecting and counting the number of people passing and the number of viewers and a viewing level evaluation procedure in the content attention evaluation device and the content attention evaluation system shown in FIG. As shown in the figure, the
一方集計センタサーバ300では、システムサーバ200からステップS174の処理により通行人を検知した旨が送信されてくる以前に、100ミリ秒の計時を開始する計時開始処理を実行する(ステップS241)。続いて、システムサーバ200から通行人を検知した旨を受信したならば、通行人数のカウンタをインクリメントして通行検知数カウント処理を実行する(ステップS242)。
On the other hand, the
ステップS174に続いてシステムサーバ200では、顔領域検出処理を実行する(ステップS175)。続いて顔領域検出か否かを判定し(ステップS176)、顔領域検出と判定されたならば(ステップS176肯定)、顔方向検出処理を実行する(ステップS177)。なお、顔領域が検出されなかったと判定されると(ステップS176否定)、ステップS180へ処理を移す。ステップS177の処理結果が顔方向がTV画面視聴状態であるとされるか否かを判定し(ステップS178)、TV画面視聴状態であると判定される場合(ステップS178肯定)、TV画面視聴を検知した旨を集計センタサーバ300へ送信する(ステップS179)。
Subsequent to step S174, the
一方集計センタサーバ300では、システムサーバ200からステップS179の処理によりTV画面視聴を検知した旨が送信されてくると、視聴人数のカウンタをインクリメントして視聴検知数カウント処理を実行する(ステップS243)。続いてステップS241の処理以来計時されている時間が100ミリ秒に至ったか否かを判定する(ステップS244)。計時されている時間が100ミリ秒に至ったと判定される場合に(ステップS244肯定)、視聴レベルの判定処理を実行する。具体的には、TV電源オンか否かを判定し(ステップS245)、TV電源オンと判定される場合に(ステップS245肯定)通行検知数は0であるか否かを判定する(ステップS246)。なおTV電源オンと判定されない場合には(ステップS245否定)、視聴レベルは“レベル0”と判定される。
On the other hand, if the
通行検知数は0であると判定された場合に(ステップS246肯定)視聴レベルは“レベル1”と判定され、通行検知数は0であると判定さなかった場合に(ステップS246否定)、視聴検知数は0か否かが判定される(ステップS249)。視聴検知数は0であると判定された場合に(ステップS249肯定)視聴レベルは“レベル2”と判定され、視聴検知数は0であると判定されなかった場合に(ステップS249否定)視聴レベルは“レベル3”と判定される。そして、これらステップS247、ステップS248、ステップS250又はステップS251で判定された視聴レベルと、通行検知数と、視聴検知数とがDB307aに登録される(ステップS252)。続いて通行検知数・視聴検知数カウント終了と判定される場合には(ステップS253肯定)集計センタサーバ300における処理を終了し、通行検知数・視聴検知数カウント終了と判定されない場合には(ステップS253否定)ステップS241へ処理を移す。
When it is determined that the number of traffic detections is 0 (Yes at Step S246), the viewing level is determined as "
ステップS179に続いてシステムサーバ200では、画像のトラッキング終了か否かを判定し(ステップS180)、トラッキング終了と判定される場合には(ステップS180肯定)システムサーバ200における処理を終了し、トラッキング終了とされない場合には(ステップS180否定)ステップS171へ処理を移す。
Following step S179, the
以上、本発明の実施例について実施例1〜5を説明したが、本発明は、これらに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例1〜5は、適宜に組み合わせて実施可能である。 As mentioned above, although Example 1-5 was demonstrated about the Example of this invention, this invention is not limited to these, Furthermore, various different implementation is within the range of the technical idea described in the claim. It may be implemented by way of example. Moreover, Examples 1-5 can be implemented in combination as appropriate.
本発明は、広告やTV放送番組などのコンテンツへの注目をより客観的な方法で評価する場合に有効であり、特に、広告媒体やTVのコンテンツ媒体をより注目されるように効率よく設置する設置手法を調査したい場合に有用である。 INDUSTRIAL APPLICABILITY The present invention is effective in evaluating attention to content such as advertisements and TV broadcast programs by a more objective method, and in particular, the advertising media and TV content media are efficiently installed so as to receive more attention This is useful when you want to investigate the installation method.
100a 広告看板
100t TV画面
150、150a、150b、150c カメラ
200 システムサーバ
201 主制御部
202 通行人物検出部
202a 動領域検出部
202b 人物検出部
203 注視人物検出部
203a 顔検出処理部
203b 顔方向検出処理部
203c 顔判定処理部
203c−1 年齢判定処理部
203c−2 性別判定処理部
203d 顔下判定処理部
204 記憶部
300 集計センタサーバ
301 主制御部
302 通行人数算出部
303 通行人数登録部
304 注視人数登録部
305 注視人数算出部
306 注視率算出部
307 記憶部
307a DB
313 通過検出時刻登録部
314 注視検出時刻登録部
315 注視検出時間算出部
316 注視検出時間登録部
317 総注視時間算出部
318 注視人数算出部
319 平均注視時間算出部
320 通行人年代登録部
321 通行人性別登録部
322 通行人顔下属性登録部
323 視聴人数登録部
324 視聴人数算出部
325 視聴レベル判定部
313 Passage detection
Claims (14)
前記画像に撮像された人物を検出する人物検出手段と、
前記人物検出手段により検出された人物の数を計数する人数計数手段と、
前記人物検出手段により検出された人物の顔を検出する顔検出手段と、
前記顔検出手段により顔が検出された人物の顔方向を検出する顔方向検出手段と、
前記顔方向検出手段により検出された人物の顔方向のうち前記コンテンツ表示装置を注目する顔方向である人物の数を計数するコンテンツ注目数計数手段と、
前記コンテンツ注目数計数手段により計数された人物の数を前記人数計数手段により計数された人物の数で除したコンテンツ注目率を算出する注目率算出手段と、
前記コンテンツ表示装置の電源の状態がオン状態であるかオフ状態であるかを判定する判定手段と、
前記人数計数手段により計数された人物の数と、前記コンテンツ注目数計数手段により計数された人物の数と、前記注目率算出手段により算出されたコンテンツ注目率と、前記判定手段により判定された前記コンテンツ表示装置の電源の状態とを、互いに関連付けて所定時間毎に記憶する記憶手段と、
前記記憶手段に記憶した情報を表示手段に表示させる表示制御手段と、
を備えたことを特徴とするコンテンツ注目評価装置。 The person existing in front of a content display device based on an image where the imaging device imaged, a content of interest evaluation device for evaluating the interest for the content display device of the person present in the front face of the content display device,
Person detecting means for detecting a person imaged in the image;
Person counting means for counting the number of persons detected by the person detecting means;
Face detection means for detecting the face of the person detected by the person detection means;
Face direction detecting means for detecting the face direction of the person whose face is detected by the face detecting means;
Content attention number counting means for counting the number of persons whose face direction is focused on the content display device among the face directions of the person detected by the face direction detection means;
Attention rate calculating means for calculating a content attention rate by dividing the number of persons counted by the content attention number counting means by the number of persons counted by the number of people counting means;
Determining means for determining whether a power state of the content display device is an on state or an off state;
The number of persons counted by the number counting means, the number of persons counted by the content attention number counting means, the content attention rate calculated by the attention rate calculation means, and the determination means determined by the determination means Storage means for storing the power supply state of the content display device in association with each other at a predetermined time;
Display control means for displaying information stored in the storage means on a display means;
A content attention evaluation device characterized by comprising:
前記顔方向検出手段は、前記顔検出手段により検出した顔の領域の縦横比率を判定し、当該顔の縦横比率に基づいて、前記顔検出手段により検出した顔の方向が前記コンテンツを注目する顔方向であると判定することを特徴とする請求項1に記載のコンテンツ注目評価装置。The face direction detection means determines the aspect ratio of the face area detected by the face detection means, and based on the aspect ratio of the face, the face direction detected by the face detection means focuses on the content. The content attention evaluation device according to claim 1, wherein the content attention evaluation device determines that the direction is a direction.
前記記憶部は、前記人数計数手段により計数された人物の数と、前記コンテンツ注目数計数手段により計数された人物の数と、前記注目率算出手段により算出されたコンテンツ注目率と、前記判定手段により判定された前記コンテンツ表示装置の電源の状態と、前記注目レベル判定手段により判定された注目レベルとを、互いに関連付けて所定時間毎に記憶することを特徴とする請求項1又は2に記載のコンテンツ注目評価装置。The storage unit includes the number of persons counted by the number counting means, the number of persons counted by the content attention number counting means, the content attention rate calculated by the attention rate calculation means, and the determination means. The state of the power source of the content display device determined by the above and the attention level determined by the attention level determination unit are stored in association with each other at predetermined time intervals. Content attention evaluation device.
前記記憶手段は、前記注目時間計時手段により計時された前記時間を、前記コンテンツ表示装置を注目する顔方向であると検出された人物毎に記憶することを特徴とする請求項4又は5に記載のコンテンツ注目評価装置。 The target time measuring means, said each detected person and the content display device is a face direction of interest by the face direction detecting means, measures the time that the person thereof is of interest the content display device,
Wherein the storage unit, wherein the time measured by the target time measuring means, to claim 4 or 5, characterized in that stored for each person the detected that the face direction of interest of the content display device Content attention evaluation device.
前記画像分析装置は、前記画像に含まれる人物を特定不可能なデータを前記コンテンツ注目評価分析装置へ送信し、
前記コンテンツ注目評価分析装置は、前記人物を特定不可能なデータを記憶する前記憶手段を有することを特徴とする請求項1〜11のいずれか一つに記載のコンテンツ注目評価装置。 The content attention evaluation device is composed of an image analysis device to which the imaging device is connected, and a content attention evaluation analysis device connected to be communicable with at least one of the image analysis devices,
The image analysis device transmits data that cannot identify a person included in the image to the content attention evaluation analysis device,
The content attention evaluation device according to claim 1, wherein the content attention evaluation analysis device includes a pre-storage unit that stores data in which the person cannot be specified.
前記画像に撮像された人物を検出する人物検出工程と、
前記人物検出工程により検出された人物の数を計数する人数計数工程と、
前記人物検出工程により検出された人物の顔を検出する顔検出工程と、
前記顔検出工程により顔が検出された人物の顔方向を検出する顔方向検出工程と、
前記顔方向検出工程により検出された人物の顔方向のうち前記コンテンツ表示装置を注目する顔方向である人物の数を計数するコンテンツ注目数計数工程と、
前記コンテンツ表示装置の電源の状態がオン状態であるかオフ状態であるかを判定する判定工程と、
前記人数計数工程により計数された人物の数と、前記コンテンツ注目数計数工程により計数された人物の数と、前記注目率算出工程により算出されたコンテンツ注目率と、前記判定工程により判定された前記コンテンツ表示装置の電源の状態とを、互いに関連付けて所定時間毎に記憶手段に記憶する記憶工程と、
前記記憶手段に記憶した情報を表示手段に表示させる表示制御工程と、
を含んだことを特徴とするコンテンツ注目評価方法。 The person existing in front of a content display device based on an image where the imaging device imaged, a content of interest evaluation method for evaluating a target for the content display device of the person present in the front face of the content display device,
A person detection step of detecting a person imaged in the image;
A people counting step of counting the number of persons detected by the person detecting step;
A face detection step of detecting the face of the person detected by the person detection step;
A face direction detecting step of detecting a face direction of the person whose face is detected by the face detecting step;
A content attention number counting step of counting the number of persons whose face direction is focused on the content display device among the face directions of the person detected by the face direction detection step;
A determination step of determining whether the power state of the content display device is an on state or an off state;
The number of persons counted by the number of people counting step, the number of persons counted by the content attention number counting step, the content attention rate calculated by the attention rate calculation step, and the determination step determined by the determination step A storage step of storing the power state of the content display device in a storage unit in association with each other at a predetermined time;
A display control step for causing the display means to display information stored in the storage means;
Content attention evaluation method characterized by including
前記顔方向検出工程は、前記顔検出手段により検出した顔の領域の縦横比率を判定し、当該顔の縦横比率に基づいて、前記顔検出手段により検出した顔の方向が前記コンテンツを注目する顔方向であると判定することを特徴とする請求項13に記載のコンテンツ注目評価方法。In the face direction detection step, the aspect ratio of the face area detected by the face detection unit is determined, and the face direction detected by the face detection unit is a face that focuses attention on the content based on the aspect ratio of the face. The content attention evaluation method according to claim 13, wherein it is determined that the direction is a direction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005379268A JP4603974B2 (en) | 2005-12-28 | 2005-12-28 | Content attention evaluation apparatus and content attention evaluation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005379268A JP4603974B2 (en) | 2005-12-28 | 2005-12-28 | Content attention evaluation apparatus and content attention evaluation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007181070A JP2007181070A (en) | 2007-07-12 |
JP4603974B2 true JP4603974B2 (en) | 2010-12-22 |
Family
ID=38305735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005379268A Expired - Fee Related JP4603974B2 (en) | 2005-12-28 | 2005-12-28 | Content attention evaluation apparatus and content attention evaluation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4603974B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101829273B1 (en) * | 2012-06-29 | 2018-02-19 | 인텔 코포레이션 | Method and apparatus for selecting an advertisement for display on a digital sign |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009139857A (en) * | 2007-12-10 | 2009-06-25 | Unicast Corp | Contents display control device, contents display control method, and contents display control program |
JP5464823B2 (en) | 2008-06-17 | 2014-04-09 | キヤノン株式会社 | Information providing apparatus, information providing method, and program |
JP5385845B2 (en) * | 2010-04-26 | 2014-01-08 | 日本電信電話株式会社 | Content attention level calculation device, content attention level calculation method, and content attention level calculation program |
JP2012123727A (en) * | 2010-12-10 | 2012-06-28 | Hitachi Solutions Ltd | Advertising effect measurement server, advertising effect measurement device, program and advertising effect measurement system |
JP2012044721A (en) * | 2011-11-29 | 2012-03-01 | Oki Electric Ind Co Ltd | Information processing system and viewing effect measurement method |
AU2011253977B2 (en) | 2011-12-12 | 2015-04-09 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting an image captured on an image capture device |
JP2015015031A (en) * | 2014-08-12 | 2015-01-22 | 株式会社日立ソリューションズ | Advertising effect measurement server, advertising effect measurement system, and program |
JP6498900B2 (en) * | 2014-09-29 | 2019-04-10 | 株式会社日立システムズ | Advertisement evaluation system, advertisement evaluation method |
EP3400661A4 (en) | 2016-01-06 | 2019-04-24 | TVision Insights, Inc. | Systems and methods for assessing viewer engagement |
JP7209359B2 (en) | 2017-04-20 | 2023-01-20 | テレビジョン・インサイツ、インコーポレイテッド | Method and apparatus for multiple television measurements |
US20230319348A1 (en) | 2017-09-12 | 2023-10-05 | Dental Imaging Technologies Corporation | Systems and methods for assessing viewer engagement |
CN108985228A (en) | 2018-07-16 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | Information generating method and device applied to terminal device |
US20230200921A1 (en) * | 2020-04-10 | 2023-06-29 | Kawasaki Jukogyo Kabushiki Kaisha | Medical movable body system and method of operating same |
WO2023286292A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電気株式会社 | Information processing device, information processing method, and computer-readable medium |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05235880A (en) * | 1992-02-19 | 1993-09-10 | Video Res:Kk | Pushbutton pm equipment |
JPH11298922A (en) * | 1998-04-10 | 1999-10-29 | Dentsu Inc | Apparatus and method for multimedia user behavior data collection |
JPH11328406A (en) * | 1998-05-11 | 1999-11-30 | Nec Corp | Statistical system by image pattern recognition |
JP2000209578A (en) * | 1999-01-20 | 2000-07-28 | Nri & Ncc Co Ltd | Advertisement media evaluation system and advertisement medium evaluation method |
JP2002032553A (en) * | 2000-07-18 | 2002-01-31 | Minolta Co Ltd | System and method for management of customer information and computer readable recording medium with customer information management program recorded therein |
JP2002077436A (en) * | 2000-08-28 | 2002-03-15 | Happu:Kk | Television program rating examination system |
JP2002135757A (en) * | 2000-10-27 | 2002-05-10 | Intage Inc | Advertisement viewing effect evaluation system |
JP2002269290A (en) * | 2001-03-09 | 2002-09-20 | Sony Corp | Advertisement delivery system |
JP2003274271A (en) * | 2002-03-18 | 2003-09-26 | Fuji Photo Film Co Ltd | Image photographing method, image outputting method and camera |
JP2004227158A (en) * | 2003-01-21 | 2004-08-12 | Omron Corp | Information providing device and information providing method |
-
2005
- 2005-12-28 JP JP2005379268A patent/JP4603974B2/en not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05235880A (en) * | 1992-02-19 | 1993-09-10 | Video Res:Kk | Pushbutton pm equipment |
JPH11298922A (en) * | 1998-04-10 | 1999-10-29 | Dentsu Inc | Apparatus and method for multimedia user behavior data collection |
JPH11328406A (en) * | 1998-05-11 | 1999-11-30 | Nec Corp | Statistical system by image pattern recognition |
JP2000209578A (en) * | 1999-01-20 | 2000-07-28 | Nri & Ncc Co Ltd | Advertisement media evaluation system and advertisement medium evaluation method |
JP2002032553A (en) * | 2000-07-18 | 2002-01-31 | Minolta Co Ltd | System and method for management of customer information and computer readable recording medium with customer information management program recorded therein |
JP2002077436A (en) * | 2000-08-28 | 2002-03-15 | Happu:Kk | Television program rating examination system |
JP2002135757A (en) * | 2000-10-27 | 2002-05-10 | Intage Inc | Advertisement viewing effect evaluation system |
JP2002269290A (en) * | 2001-03-09 | 2002-09-20 | Sony Corp | Advertisement delivery system |
JP2003274271A (en) * | 2002-03-18 | 2003-09-26 | Fuji Photo Film Co Ltd | Image photographing method, image outputting method and camera |
JP2004227158A (en) * | 2003-01-21 | 2004-08-12 | Omron Corp | Information providing device and information providing method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101829273B1 (en) * | 2012-06-29 | 2018-02-19 | 인텔 코포레이션 | Method and apparatus for selecting an advertisement for display on a digital sign |
Also Published As
Publication number | Publication date |
---|---|
JP2007181070A (en) | 2007-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4603974B2 (en) | Content attention evaluation apparatus and content attention evaluation method | |
JP4603975B2 (en) | Content attention evaluation apparatus and evaluation method | |
JP6123140B2 (en) | Digital advertising system | |
US8438175B2 (en) | Systems, methods and articles for video analysis reporting | |
TW201033908A (en) | System and method for counting people flow | |
US20090217315A1 (en) | Method and system for audience measurement and targeting media | |
KR101348142B1 (en) | The method for providing the customized marketing contens for the customers classified as individuals or groups by using face recognition technology and the system thereof | |
US20120046993A1 (en) | Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding | |
CN110097389A (en) | A kind of anti-cheat method of ad traffic | |
US20130195322A1 (en) | Selection of targeted content based on content criteria and a profile of users of a display | |
KR101390296B1 (en) | Billing Method and Apparatus for Providing Personalized Service | |
WO2010060146A1 (en) | Metric for quantifying attention and applications thereof | |
JP2012252613A (en) | Customer behavior tracking type video distribution system | |
TW201516918A (en) | System for managing advertising effectiveness and method therefore | |
CA2687348A1 (en) | Method and system for audience measurement and targeting media | |
CN111639702A (en) | Multimedia data analysis method, equipment, server and readable storage medium | |
CN105938603A (en) | Personnel interest degree detection system based on machine vision and personnel interest degree detection method thereof | |
CN111444837B (en) | Temperature measurement method and temperature measurement system for improving face detection usability in extreme environment | |
WO2021104388A1 (en) | System and method for interactive perception and content presentation | |
CN111476600B (en) | Statistical analysis method for audience numbers of direct ladder advertisement | |
CN117035877A (en) | Advertisement putting system and method based on gesture recognition | |
CN201467351U (en) | Television audience rating statistical device based on human face detection | |
JP2008243095A (en) | Face detection system and face detection method | |
TWI552098B (en) | Electronic billboarding system based on inter - party relationship judgment | |
US20170228747A1 (en) | Process for monitoring the audience in a targeted region |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100907 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101004 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |