JP4159159B2 - Advertising media evaluation device - Google Patents

Advertising media evaluation device Download PDF

Info

Publication number
JP4159159B2
JP4159159B2 JP01123699A JP1123699A JP4159159B2 JP 4159159 B2 JP4159159 B2 JP 4159159B2 JP 01123699 A JP01123699 A JP 01123699A JP 1123699 A JP1123699 A JP 1123699A JP 4159159 B2 JP4159159 B2 JP 4159159B2
Authority
JP
Japan
Prior art keywords
face
media
advertising media
extracted
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01123699A
Other languages
Japanese (ja)
Other versions
JP2000209578A (en
Inventor
正博 鳥山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nomura Research Institute Ltd
Original Assignee
Nomura Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nomura Research Institute Ltd filed Critical Nomura Research Institute Ltd
Priority to JP01123699A priority Critical patent/JP4159159B2/en
Publication of JP2000209578A publication Critical patent/JP2000209578A/en
Application granted granted Critical
Publication of JP4159159B2 publication Critical patent/JP4159159B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明が属する技術分野】
この発明は、視覚刺激を中心とした広告媒体の広告効果を客観化するための技術に関するものである。
【0002】
【先行技術】
視覚刺激を中心とした広告媒体の価値は、より多くの人が、より多くの時間、より注視して見たか、ということによって決定される。上記の前提を踏まえ、本発明の説明に当たり、本出願人は、予め日本特許情報機構(JAPIO)の先行技術調査(パトリス)の利用により、特許出願、実用新案登録出願を調査し、広告の価値を知る技術、および画像から人間の顔を抽出する技術として次の技術を抽出した。
【0003】
(広告価値を知る技術)
広告の価値を知る技術として抽出した特開平7−95625号は、「視聴測定システムおよび方法」に関するものである。そしてその技術は、視聴者が能動的に識別プロセスに関与する必要なく、視聴者を正確に識別する装置および方法を提供している。
【0004】
また、特開平2−120987号に示された技術は、「監視領域内の視聴者の中から複数の所定の個人を識別する画像認識システムであって、それぞれが複数の所定の個人1人に対応する複数のパターン像特徴を記憶する手段、監視領域内の複数の個人を探知する手段、監視領域内の前記探知された各個人の像を捕捉する手段、前記捕捉された像と前記記憶されているパターン像特徴とを比較して所定の各個人を識別する手段を具備する画像認識システム」に係る。
【0005】
(画像処理技術)
一方、画像の中から人間の顔を抽出する技術については、特開平5−225344号、特開平7−128031号などに開示されている。特開平5−225344号に示される技術は、「入力パターンに対する特徴点抽出によって位置決めの基準点の候補となる特徴点を抽出し、当該基準点候補の組み合わせに応じてそれぞれのパターンの位置合わせを行って、逐次、画像を切り出して、複数の照合パターン候補を求め、複数の位置決めの条件に対するテンプレートを格納しているテンプレート辞書の内容と照合し、これによって位置や大きさの正規化が行われた結果の照合パターンの一つを出力する。」という技術である。
【0006】
また、特開平7−128031号に示される技術は、「二次元の画像データは、顔の位置検出部の結果に応じて位置合わせ部で位置合わせされた後、輪郭部抽出部で輪郭部分が抽出される。画像データは、エッジ検出部でエッジ検出され線画領域に変換され、属性への変換部で属性が求められた点の領域に変換され、極大値検出部で属性の極大値の座標が求められる。属性からのエッジ領域への変換部で極大値の座標から或半径の内側に属する属性のみについて平均値が求められ、点領域の標準顔が得られ、先の領域に戻すことで線の領域における標準顔の内側の特徴量を得る。」という技術である。背景の影響を受けること無く、計算量を減少させ、装置を小型に構成するとともに、認識率を向上させる。
【0007】
【発明が解決しようとする課題】
(メディア価値の判断手法)
前述のように、従来、広告メディアがどれだけの人に、どれだけの時間見られているか、ということを客観的に数字で表わす手法は、テレビにおける視聴率調査、という手法のほかには、ほとんど存在しなかった。例えば、駅や地下鉄の構内に貼ったポスターといった広告メディアでは、どれだけの数がどれだけの期間に剥がされた(盗まれた)か、といったことで注目度を図ることもあったが、これはきわめて異例な計測方法である。
【0008】
(同種類のメディアの客観化)
同じメディア、例えばポスターについては、人通りが多い場所に張られているポスターの方が人通りの少ない場所に張られているポスターよりも価値がある、と推定できる。しかし、相対的な評価はできても本当に客観的な価値判断であるとは言いがたい。
【0009】
(異なるメディアの客観化)
広告メディアは、技術の進歩とともに新たなメディアが開発される。そのような新しいメディアがどれだけの価値を持っているかは、既存のメディアとの比較をする必要がある。しかし、メディアの種類に関係なく共通の広告メディア評価を行える基準が存在しないので、新しいメディアの価値判断は主観的にならざるを得ない、というのが現状である。
(課題および目的)
本発明が解決すべき課題は、広告メディアの価値につき、種類に関係なく客観的に評価するための技術を提供することにある。すなわち、視覚刺激を中心とした広告媒体を、より多くの人が、より多くの時間、より注視して見たか、という見地から客観的に評価できる技術を提供することにある。
【0010】
ここで、請求項1から請求項3に記載の発明の目的は、広告媒体がどれだけの人に見られているかを客観的に評価するための広告メディア評価装置を提供することである。
【0011】
なお、上記の課題を解決する技術は、前記した先行技術調査によっては発見できなかった。
【0012】
【課題を解決するための手段】
本発明は、上記した目的を達成するためのものであり、広告媒体をどれだけの人が見ていたか、どれだけ注視していたか、どれだけの時間見ていたか、などを客観的に評価することができるものである。
(請求項1)
請求項1に記載の発明は、広告メディア側に取り付けられてその広告メディアの前方を撮影可能なカメラと、 前記カメラに前記広告メディアの前方を撮影させて撮影画像を得る撮影制御装置と、 前記撮影画像をデジタル画像として記憶する画像記憶メモリと、 前記広告メディアが見られた度合いを示す評価値を算出する演算装置と、を備える広告メディア評価装置に係る。
前記演算装置は、前記デジタル画像の中から両眼を抽出可能な人間の顔を評価対象として抽出しその人間が撮影された位置における両眼の中央と前記広告メディアの横方向両端部とを結ぶ二直線がなす角度であるメディア角度を算出するとともに、 複数の評価対象の顔についてそれぞれ算出された前記メディア角度を集計した集計値を前記評価値として算出する。
【0013】
(用語説明)
「カメラ」とは、通常はデジタルカメラであるが、後にデジタル画像へ変更する画像処理が行えるのであれば、通常のフィルム式のカメラでもよい。動画を取り入れる場合には、ビデオカメラ、デジタルビデオカメラでもよい。カメラと他の装置とが、物理的に異なる場所、例えば、別に設けられた集計センターに設置されていてもよい。その場合、デジタル画像を撮影したら、通信手段を用いて集計センターなどへ送信し、集計してもよい。
【0014】
「演算装置」につき、「デジタル画像の中から両眼が抽出される人間の顔を評価対象として抽出する」手法としては、例えば、顔の色と背景の色とを区別して顔の輪郭を抽出する画像処理技術、顔の中から眼を抽出する技術などが代表的である。
(作用)
カメラを広告メディア側に取り付け、その広告メディアの前方を撮影する。その撮影は、撮影制御装置によって制御される。撮影された画像は、画像記憶メモリにデジタル画像として記憶される。そして、演算装置が、前記デジタル画像の中から両眼が抽出される人間の顔を評価対象として抽出し評価対象として抽出されたその人間が撮影された位置における両眼の中央と前記広告メディアの横方向両端部とを結ぶ二直線がなす角度であるメディア角度を算出するとともに、 複数の評価対象の顔についてそれぞれ算出された前記メディア角度を集計してその集計値を前記評価値として算出する。
【0015】
この集計結果は、当該広告メディアに関心があると推定できる人間の顔を抽出したこととなるので、メディア価値についての客観的な基準としてよい。また、メディア価値の集計についてメディアの種類を問わないので、異なるメディア間でもメディア価値についての客観的な比較が可能となる。
(請求項2)
請求項2記載の発明は、請求項1記載の広告メディア評価装置を限定したものであり、
前記演算装置は、前記デジタル画像の中から評価対象として抽出された人間が撮影された位置から前記広告メディアまでの距離を算出する距離算出手段をさらに含み、 その距離算出手段によって求められた距離に基づいて前記人間が撮影された位置を特定して前記メディア角度を算出することとした広告メディア評価装置に係る。
【0016】
(用語説明)
「距離算出手段」とは、デジタル画像中に距離算出用の基準点が撮影されるようにしておく、といった方法や、デジタル画像において抽出された顔の輪郭から当該輪郭の横幅寸法を測定し、顔の輪郭の横幅平均値とデジタル画像の大きさとを用いて算定する方法などによりデジタル画像中の人間が撮影された位置からカメラまでの距離を算出する手段である。
【0017】
「評価値」とは、前記広告メディアがどれだけの人に見られているかを客観的に評価するための値であり、メディア角度の総計と正の相関をなす。「評価値がメディア角度の総計と正の関係をなす」ことについての合理性について説明する。すなわち、デジタル画像に写っているある人物について測定されたメディア角度が大きいということは、当該人物の視界に占める広告メディアの面積が大きいということになり、視界に占める広告メディアの面積が大きいということは小さい場合よりも注視していると想定してよいからである。
【0018】
ここで、「正の関係」とは、例えば、評価値はメディア角度の二乗に比例する、単調増加する、といった関係である。また、デジタルビデオ画像を使用したり、連続写真を撮影して平均値をとるなどして時間のファクターを勘案することができる場合には、評価値は、時間とも正の関係をなす。
(作用)
演算装置は、デジタル画像の中から人間の顔を抽出する。そして、抽出された顔の大きさから距離算出手段が当該顔とカメラとの距離を算出する。更に、演算装置は、広告メディアの横方向両端部と前記抽出された顔とがなすメディア角度を算出し、メディア角度の総計を演算する。
【0019】
(請求項3)
請求項3記載の発明は、請求項2記載の広告メディア評価装置を限定したものである。
すなわち、前記演算装置は、前記デジタル画像の中から人間の顔を抽出する顔抽出手段と、 前記顔抽出手段で抽出された人間の顔の中から眼を抽出する眼抽出手段と、 前記眼抽出手段にて抽出された両眼の距離および各眼と前記顔抽出手段にて抽出された顔の輪郭線とがなす距離をそれぞれ求めることにより前記広告メディアに対する前記抽出された顔の向きを示す数値を算出する顔方向判断手段と、をさらに含み、 前記顔方向手段によって算出した前記顔の向きを示す数値にて前記演算装置が前記集計値を補正した評価値を算出することとした広告メディア評価装置に係る。
【0020】
「顔抽出手段」とは、従来から様々な技術があるが、例えば、周りの色と人間の肌の色とを認識してその境界線を顔の輪郭として抽出する技術などが代表的である。
(作用)
デジタル画像の中から人間の顔を抽出したら、眼抽出手段がデジタル画像に両眼が写っている人間の顔の中から眼を抽出し、その抽出された眼と眼の距離たる眼間隔を求める。また、眼抽出手段にて抽出された両眼の距離および当該各眼と前記顔抽出手段にて抽出された顔の輪郭線とがなす距離をそれぞれ求めることにより、顔方向判断手段が前記広告メディアに対する前記抽出された顔の向きを示す数値を算出する。
【0021】
顔方向判断手段によって広告メディアを向いていると判断した顔についてのみ、メディア角度を測定し、広告メディアを向いていないと判断した顔については、メディア角度は測定しない。あるいは、広告メディアを向いていないと判断した顔については、メディア角度を測定していても、評価値の演算装置において総計の対象としない。
【0022】
演算装置には、顔抽出手段、眼抽出手段、および顔方向判断手段を備えたので、評価値の客観性を高めることができる。
【0023】
【発明の実施の形態】
以下、本発明を実施の形態及び図面に基づいて、更に詳しく説明する。ここで使用する図面は、図1ないし図5である。図1は、本発明の実施形態におけるハードウエア構成とデータとの関係を示す概念図である。図2ないし図5は、本発明の実施形態を説明するためのモデル図である。
【0024】
(ハードウエア構成)
図1および図2を参照させながらハードウエア構成を説明する。本実施形態の広告メディア評価装置は、地下通路の壁に貼られたポスターの広告効果を評価する装置であって、ポスター側に取り付け、そのポスターの前方を撮影可能なデジタルカメラと、デジタルカメラの撮影を制御する撮影制御装置と、撮影された画像をデジタル画像として一旦記憶する画像記憶メモリと、デジタル画像から人間の顔を抽出しその抽出された顔から、ポスターを向いている評価できる顔の評価値を抽出し、評価値を集計する演算装置と、集計結果を出力する出力装置とを備えて構成されている。
【0025】
また、演算装置は、デジタル画像の中から人間の顔を抽出する顔抽出手段と、抽出された顔の大きさから当該顔が撮影された位置からカメラまでの距離を算出する距離算出手段を備え、広告メディアの横方向両端部と前記抽出された顔とがなすメディア角度たる「ポスター角度」を算出する。ここで、「顔抽出手段」とは、デジタル画像において顔の色と背景の色とを区別して顔の輪郭を抽出する画像処理技術を用いる。
【0026】
前記した顔抽出手段には、デジタル画像に両眼が写っている人間の顔の中から眼を抽出する眼抽出手段と、抽出された眼と眼の距離たる眼間隔を測定する眼間隔測定手段と、顔抽出手段によって抽出された人間の顔と眼間隔測定手段によって測定された眼間隔とを用いて、当該顔が広告メディアを向いているか否かを判断する顔方向判断手段とを備えている。「眼抽出手段」もまた、眼の色とその周りの色とを区別して眼を抽出する画像処理技術を用いる。抽出された眼の大きさが一定以上の場合には、その中心部分も求める。
評価値の演算装置は、メディア角度すなわちポスター角度の総計を演算し、その総計を用いて出力装置に出力させるのであるが、顔方向判断手段によって広告メディアを向いていると判断した顔について、評価値の演算装置にて演算する対象とする。図2ないし図5を用いて更に詳しく説明する。
【0027】
(顔の抽出からメディア角度算定まで)
図2は、ある撮影の瞬間、二人の人間がカメラの前にいた場合の平面概念図である。また、図3は、図2の瞬間に撮影されたデジタル画像である。
【0028】
図3の画像を用いて、顔抽出手段がデジタル画像の中から人間の顔を抽出する。また、両眼が抽出できる場合には、その両眼を抽出する。両眼を抽出できない顔、具体的には図3の左側の人物については、ポスターを向いていないと判断し、後の計算対象からは外すこととする。両眼が抽出できた顔については、抽出された顔の大きさと日本人の平均的な顔の大きさとを比較することで、距離算出手段が当該顔とカメラとの距離(L1)を算出するのである。なお、ポスターの横方向寸法(m)、人間の平均的な眼と眼の間の距離(e)、デジタル画像の横寸法(n)、デジタル画像の中の対象者における眼と眼の間の距離(ep)、カメラ角度(φ)、両眼角度(α)、ポスター角度(θ;図2中ではθ1)、対象者からカメラまでの距離(L;図2中ではL1)とする。
【0029】
更に、角度測定手段が広告メディアの横方向両端部と前記抽出された顔とがなすポスター角度(θ1)を測定する。具体的には、図2より、
m/2=L×tan(θ1/2)
となるので、以下のようにして算出される。
θ1=2×tan −1(m/2L)
上記の式は、両眼が抽出できた顔(i;iは自然数)について全て総計する。すなわち、ポスター角度の総計(θn)とすると、
θn=Σθi
このθnの値が大きいポスターについては、メディア価値が高いと判断できる。
【0030】
続いて、図3との比較において説明する。図3は、両眼が抽出できた顔とカメラとの距離が、図2中のL1よりも短いL2となった場合を示している。上記したθの計算式から明らかなように、θ2は、θ1よりも大きくなる。これは、図3にて抽出できた顔の人物の方が、図2において両眼を抽出できた顔の人物よりもポスター近くにいるのであるから、ポスターへの関心度が高く、あるいはポスターからのメッセージをより強く受け取るであろうと推定できるからである。
【0031】
(精度向上の手法に関する説明)
ところで、図4において細線にて示した顔は、ポスターからの距離を同じとしつつ、ポスターに対してはやや斜めを向いている。すると、前述したポスター角度の値としては、正面を向いている場合と同じとなってしまう。しかし、このようにポスターに対する顔の角度が正面でない場合には、正面の場合よりもポスターへの関心が低い、あるいはポスターからのメッセージを弱く受け取るであろうと推定できる。そこで、ポスター角度(θi)についての修正計数を定めるための技術について説明する。
【0032】
デジタル画像の解析の精度が高い場合には、正面を向いているか斜めを向いているかの判断を数値的に行うことによって、ポスター角度について、客観性を高めるための工夫をすることができる。図5を用いて説明する。F1は、やや斜めを向いている顔のモデル図であり、F2は、ほぼ正面を向いている顔のモデル図である。これらについて、顔の色と背景の色とを区別して顔の輪郭を抽出し、眼の色とその周りの色とを区別して眼を抽出し、抽出された眼の大きさが一定以上の場合には、その中心部分も求める。その後、F1およびF2について、抽出された顔の横寸法(f1,f2)、輪郭の左端から左眼中央までの距離(a1,a2)、両眼の中央間の距離(b1,b2)および輪郭の右端から右眼中央までの距離(c1,c2)を算定する。そして、これらの変数の関係式を作成する。そして、その変数の関係式から、どの範囲は正面を向いている、どの範囲は正面を1とした場合にk(0<k<1)である、といった条件を策定することにより、ポスター角度(θi)にkを掛け、客観性を高める。
【0033】
【0034】
(眼間隔のみによる評価方法)
ハードウエアの性能を下げ、あるいは処理時間を短縮するため、前述した「メディア角度」の代わりに、「眼間隔」を評価値とすることによる評価方法も、場合によっては有効である。すなわち、人間のいる位置が広告メディアに近ければ長くなり、広告メディアから遠ければ短くなる。広告メディアの近くにいる人間の方が遠くにいる人間よりも、当該広告メディアへの関心が高いと推定できる。したがって、広告メディアの評価を客観的な数字とする場合、「眼間隔」の値と正の関係があるとすることは合理的である。
【0035】
また、人間のいる位置から広告メディアまでの距離が同じであっても、広告メディアに対して(正確にはカメラに対して)正面を向いている人間の方が、斜めに向いている人間よりも、当該広告メディアへの関心が高いと推定できる。したがって、正面を向いている人間の「眼間隔」の値が、斜めに向いている人間の「眼間隔」の値よりも大きくなるが、広告メディアの評価を客観的な数字とする場合の「眼間隔」の値と正の関係があるとすることは、合理性が確保される。
【0036】
(異なるメディアの比較)メディアそのものに時間の要素があるメディア(例えばテレビ)と、時間の要素がないメディア(例えばポスター)についての比較は、評価値の単位をどちらかに合わせればよい。例えば、時間の要素がないメディアについて、メディア角度(単位;例えば、「ラジアン」)へ時間係数(単位;例えば「秒」)を掛ければ、どちらのメディアの評価値も、その単位が「ラジアン・秒」となり、比較検討が可能となる。すなわち、時間の要素がないメディアについても、ある人物がどのくらいの時間メディアを見ていたか、という時間の要素を含める評価値を測定すれば、時間の要素があるメディアとの比較検討が可能になる。
【0037】
対象となるメディアをテレビコマーシャルとした場合について実施した例を挙げる。まず、ハードウエア構成について説明する。サンプルとなる家庭に設置されたテレビの操作パネルの中に、デジタルビデオカメラを組み込んでおく。そのデジタルビデオカメラは、通信回線を介して撮影の制御、撮影した映像の集計センターへの送信が行えるようになっている。デジタルビデオカメラから取り込んだ画像については、いくつかの静止画像を対象として、前述したような手法にてメディア角度(θn)を算定して平均値を取り、そのメディア角度(θn)に、コマーシャルの放映時間(例えば15秒)を掛ける。
【0038】
比較の対象となるポスターについては、ある時間について連続的に何枚かのデジタル映像を撮影し、メディア角度(θn)の1秒あたりの平均値を出し、15秒を掛ける。以上のようなサンプルデータを元にして、全国レベルのメディア価値を推定するには、一世帯当たりのTV視聴人数(例えば1.5人)、TV視聴世帯数が4千万世帯、平均視聴率が1%といったデータを勘案する。このようにすれば、複数種類のテレビコマーシャルどうしについて、相対的、客観的な数字によるメディア価値を比較することもできるし、ポスターなど、異なるメディアとの比較も可能になる。
【0039】
【発明の効果】
請求項1から請求項3に記載の発明によれば、広告媒体がどれだけの人に見られているかを客観的に評価するための広告メディア評価装置を提供することができた。
【図面の簡単な説明】
【図1】本発明の実施形態におけるハードウエア構成とデータとの関係を示す概念図である。
【図2】本発明の実施形態を説明するためのモデル図である。
【図3】本発明の実施形態を説明するためのモデル図である。
【図4】本発明の実施形態を説明するためのモデル図である。
【図5】本発明の実施形態を説明するためのモデル図である。
【符号の説明】
F1,F2 抽出された顔の輪郭
f1,f2 抽出された顔の横寸法
a1,a2 輪郭の左端から左眼中央までの距離
b1,b2 両眼の中央間の距離
c1,c2 輪郭の右端から右眼中央までの距離
[0001]
[Technical field to which the invention belongs]
The present invention relates to a technique for making an advertising effect of an advertising medium centering on visual stimulation objective.
[0002]
[Prior art]
The value of advertising media centered on visual stimuli is determined by whether more people have watched and watched more time. Based on the above assumptions, in explaining the present invention, the present applicant searches for patent applications and utility model registration applications in advance by using the prior art search (patrices) of the Japan Patent Information Organization (JAPIO) to determine the value of advertising. The following techniques were extracted as a technique for knowing and extracting human faces from images.
[0003]
(Technology to know advertising value)
JP-A-7-95625, extracted as a technique for knowing the value of advertisements, relates to “viewing measurement system and method”. The technology then provides an apparatus and method for accurately identifying the viewer without the viewer having to be actively involved in the identification process.
[0004]
Further, the technology disclosed in Japanese Patent Laid-Open No. 2-120987 is “an image recognition system for identifying a plurality of predetermined individuals from viewers in a monitoring area, each of which is assigned to a plurality of predetermined individuals”. Means for storing a plurality of corresponding pattern image features, means for detecting a plurality of individuals in a monitoring area, means for capturing an image of each detected individual in a monitoring area, the captured image and the stored The present invention relates to an “image recognition system comprising means for identifying predetermined individuals by comparing pattern image characteristics”.
[0005]
(Image processing technology)
On the other hand, techniques for extracting a human face from an image are disclosed in JP-A-5-225344 and JP-A-7-128031. The technique disclosed in Japanese Patent Application Laid-Open No. 5-225344 describes that “feature points that are candidates for positioning reference points are extracted by extracting feature points from an input pattern, and each pattern is aligned according to the combination of the reference point candidates. The image is sequentially cut out to obtain a plurality of collation pattern candidates, which are collated with the contents of the template dictionary storing templates for a plurality of positioning conditions, thereby normalizing the position and size. Is output as one of the matching patterns obtained as a result. "
[0006]
Further, the technique disclosed in Japanese Patent Application Laid-Open No. 7-128031 states that “two-dimensional image data is aligned by the alignment unit according to the result of the face position detection unit, and then the contour portion is extracted by the contour extraction unit. The image data is edge-detected by the edge detection unit, converted to a line drawing area, converted to a point area where the attribute is obtained by the conversion unit to the attribute, and the coordinate of the maximum value of the attribute is converted by the maximum value detection unit. The average value is obtained only for the attribute belonging to the inside of the radius from the coordinate of the maximum value in the conversion part from the attribute to the edge area, and the standard face of the point area is obtained, and by returning to the previous area, This is a technique of “obtaining the feature quantity inside the standard face in the line area”. Without being affected by the background, the amount of calculation is reduced, the apparatus is made compact, and the recognition rate is improved.
[0007]
[Problems to be solved by the invention]
(Method of judging media value)
As mentioned above, in addition to the method of audience rating survey on TV, the method of objectively expressing how many people have seen advertising media and how long it has been traditionally There was hardly any. For example, in advertising media such as posters affixed to stations and subway premises, how many numbers were removed (stolen) and how often they attracted attention. Is a very unusual measurement method.
[0008]
(Objectification of the same type of media)
For the same media, for example, posters, it can be estimated that posters placed in places with high traffic are more valuable than posters placed in places with low traffic. However, even if relative evaluation is possible, it is hard to say that it is a truly objective value judgment.
[0009]
(Objectification of different media)
Advertising media will be developed as technology advances. The value of such new media needs to be compared with existing media. However, since there is no standard for performing a common advertising media evaluation regardless of the type of media, the current situation is that new media value judgment must be subjective.
(Issues and Objectives)
The problem to be solved by the present invention is to provide a technique for objectively evaluating the value of advertising media regardless of the type. That is, it is to provide a technique that can objectively evaluate an advertising medium centered on visual stimulation from the viewpoint of whether more people have watched more time for more time.
[0010]
Here, an object of the invention described in claims 1 to 3 is to provide an advertisement media evaluation apparatus for objectively evaluating how many people view an advertisement medium.
[0011]
In addition, the technique which solves said subject was not discovered by the above-mentioned prior art search.
[0012]
[Means for Solving the Problems]
The present invention is intended to achieve the above-described object, and objectively evaluates how many people watched the advertising medium, how much they watched it, and how long they watched it. It is something that can be done.
(Claim 1)
The invention according to claim 1 is a camera attached to an advertising media side and capable of photographing the front of the advertising media, a photographing control device that obtains a photographed image by causing the camera to photograph the front of the advertising media, The present invention relates to an advertising media evaluation device comprising: an image storage memory that stores a photographed image as a digital image; and an arithmetic device that calculates an evaluation value indicating the degree to which the advertising media has been viewed.
The computing device extracts a human face capable of extracting both eyes from the digital image as an evaluation target, and connects the center of both eyes at the position where the person is photographed and both lateral ends of the advertising media. A media angle that is an angle formed by two straight lines is calculated, and a total value obtained by aggregating the media angles calculated for a plurality of faces to be evaluated is calculated as the evaluation value.
[0013]
(Glossary)
The “camera” is usually a digital camera, but may be a normal film-type camera as long as image processing for changing to a digital image can be performed later. When moving in, a video camera or digital video camera may be used. The camera and the other device may be installed in a physically different place, for example, a separate aggregation center. In that case, if a digital image is taken, it may be sent to a tally center using a communication means and tallyed.
[0014]
For the “arithmetic unit”, as a method of “ extracting a human face from which a binocular is extracted from a digital image as an evaluation target ”, for example, a face outline is extracted by distinguishing a face color from a background color. Typical image processing techniques, techniques for extracting eyes from the face, and the like.
(Function)
Attach the camera to the advertising media and take a picture of the front of the advertising media. The photographing is controlled by the photographing control device. Captured image is stored in the image storage memory as a digital image. A computing device extracts a human face from which the two eyes are extracted from the digital image as an evaluation target, and the center of both eyes at the position where the human being extracted as the evaluation target is photographed and the advertisement media A media angle that is an angle formed by two straight lines connecting both ends in the horizontal direction is calculated, and the calculated media angles are calculated for each of a plurality of evaluation target faces, and the total value is calculated as the evaluation value.
[0015]
Since the total result is that a human face that can be estimated to be interested in the advertisement medium is extracted, it may be an objective standard for the media value. In addition, since the media value is aggregated regardless of the type of media, an objective comparison of media values can be made between different media.
(Claim 2)
The invention according to claim 2 limits the advertising media evaluation device according to claim 1,
The computing device further includes distance calculating means for calculating a distance from the position where the person extracted as an evaluation target from the digital image is taken to the advertising media, and the distance calculated by the distance calculating means The present invention relates to an advertising media evaluation device that determines a media angle by specifying a position where the person is photographed .
[0016]
(Glossary)
The “distance calculation means” is a method in which a reference point for distance calculation is photographed in a digital image, or the width dimension of the contour is measured from the face contour extracted from the digital image , This is a means for calculating the distance from the position where the person in the digital image is photographed to the camera by a method of calculating using the average width of the face outline and the size of the digital image .
[0017]
The “evaluation value” is a value for objectively evaluating how many people see the advertisement media, and has a positive correlation with the total media angle. Explain the rationale that “the evaluation value has a positive relationship with the total media angle”. In other words, a large media angle measured for a person in a digital image means that the area of advertising media in the field of view of the person is large, and the area of advertising media in the field of view is large. This is because it may be assumed that the user is gazing more than the small case.
[0018]
Here, the “positive relationship” is, for example, a relationship in which the evaluation value is proportional to the square of the media angle or monotonically increases. In addition, when a time factor can be taken into account by using a digital video image or taking an average value by taking continuous photographs, the evaluation value has a positive relationship with time.
(Function)
The arithmetic device extracts a human face from the digital image. Then, the distance calculating means calculates the distance between the face and the camera from the extracted face size. Further, the calculation device calculates a media angle formed by the lateral ends of the advertising media and the extracted face, and calculates a total media angle.
[0019]
(Claim 3)
The invention described in claim 3 limits the advertising media evaluation device described in claim 2.
That is, the arithmetic device includes a face extracting unit that extracts a human face from the digital image, an eye extracting unit that extracts an eye from the human face extracted by the face extracting unit, and the eye extraction. A numerical value indicating the orientation of the extracted face with respect to the advertising media by respectively obtaining the distance between both eyes extracted by the means and the distance formed by each eye and the face outline extracted by the face extracting means And a face direction determining means for calculating the advertisement media evaluation, wherein the arithmetic device calculates an evaluation value obtained by correcting the total value by a numerical value indicating the orientation of the face calculated by the face direction means. Related to the device.
[0020]
There are various conventional techniques for “face extraction means”. For example, a technique for recognizing surrounding colors and human skin color and extracting the boundary line as a face outline is representative. .
(Function)
When a human face is extracted from the digital image , the eye extraction unit extracts the eye from the human face in which both eyes are reflected in the digital image, and obtains an eye interval that is the distance between the extracted eye and the eye. . Further , the face direction determining means obtains the distance between both eyes extracted by the eye extracting means and the distance between each eye and the face outline extracted by the face extracting means, so that the face direction determining means can detect the advertisement media. A numerical value indicating the orientation of the extracted face with respect to is calculated.
[0021]
The media angle is measured only for the face determined to be facing the advertising media by the face direction determining means, and the media angle is not measured for the face determined not facing the advertising media. Alternatively, for a face that is determined not to be suitable for advertising media, even if the media angle is measured, the evaluation value calculation device does not count the face.
[0022]
Since the arithmetic device includes the face extraction means, the eye extraction means, and the face direction determination means, the objectivity of the evaluation value can be improved.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in more detail based on embodiments and drawings. The drawings used here are FIGS. 1 to 5. FIG. 1 is a conceptual diagram showing the relationship between hardware configuration and data in an embodiment of the present invention. 2 to 5 are model diagrams for explaining the embodiment of the present invention.
[0024]
(Hardware configuration)
The hardware configuration will be described with reference to FIG. 1 and FIG. The advertising media evaluation device of the present embodiment is a device that evaluates the advertising effect of a poster affixed to the wall of an underground passage, and is attached to the poster side and is capable of photographing the front of the poster, and a digital camera A shooting control device that controls shooting, an image storage memory that temporarily stores the shot image as a digital image, and a human face extracted from the digital image, and a face that can be evaluated facing the poster from the extracted face An arithmetic device that extracts evaluation values and totals the evaluation values and an output device that outputs the total results are configured.
[0025]
In addition, the arithmetic device includes a face extracting unit that extracts a human face from the digital image, and a distance calculating unit that calculates a distance from the position where the face is photographed to the camera based on the extracted face size. Then, a “poster angle” that is a media angle formed by the both ends of the advertising media in the horizontal direction and the extracted face is calculated . Here, the “face extraction means” uses an image processing technique that extracts the face contour by distinguishing the face color and the background color in the digital image .
[0026]
The face extraction means includes an eye extraction means for extracting eyes from a human face in which both eyes are reflected in a digital image, and an eye interval measurement means for measuring an eye interval that is the distance between the extracted eyes. And face direction determining means for determining whether or not the face is facing the advertising media using the human face extracted by the face extracting means and the eye interval measured by the eye interval measuring means. Yes. The “eye extraction means” also uses an image processing technique for extracting eyes by distinguishing between the colors of the eyes and the surrounding colors. If the size of the extracted eye is greater than or equal to a certain value, the center portion is also obtained.
The evaluation value calculation device calculates the total media angle, that is, the poster angle, and outputs the total to the output device using the total, but it evaluates the face determined to be facing the advertising media by the face direction determination means. It is an object to be calculated by a value calculation device. This will be described in more detail with reference to FIGS.
[0027]
(From face extraction to media angle calculation)
FIG. 2 is a conceptual plan view when two people are in front of the camera at the moment of shooting. FIG. 3 is a digital image taken at the moment of FIG.
[0028]
Using the image of FIG. 3, the face extraction means extracts a human face from the digital image. If both eyes can be extracted, both eyes are extracted. It is determined that the face for which both eyes cannot be extracted, specifically, the person on the left side of FIG. 3 is not facing the poster, and is excluded from the later calculation target. The face of both eyes can be extracted, by comparing the magnitude of the average face size and Japanese extracted face, distance calculating means for calculating a distance (L1) between the face and the camera It is. It should be noted that the horizontal dimension of the poster (m), the average human eye-to-eye distance (e), the horizontal dimension of the digital image (n), and the distance between the eyes of the subject in the digital image The distance (ep), the camera angle (φ), the binocular angle (α), the poster angle (θ; θ1 in FIG. 2), and the distance from the subject to the camera (L; L1 in FIG. 2).
[0029]
Further, the angle measuring means measures the poster angle (θ1) formed by the lateral ends of the advertising media and the extracted face. Specifically, from FIG.
m / 2 = L × tan (θ1 / 2)
Therefore, it is calculated as follows.
θ1 = 2 × tan −1 (m / 2L)
The above formula sums up all faces (i; i is a natural number) that can be extracted by both eyes. That is, if the total poster angle (θn),
θn = Σθi
A poster having a large value of θn can be determined to have a high media value.
[0030]
Next, a description will be given in comparison with FIG. FIG. 3 shows a case where the distance between the face from which both eyes have been extracted and the camera is L2 shorter than L1 in FIG. As is apparent from the above formula for calculating θ, θ2 is larger than θ1. This is because the person with the face extracted in FIG. 3 is closer to the poster than the person with the face extracted with both eyes in FIG. This is because it can be estimated that the message will be received more strongly.
[0031]
(Explanation of accuracy improvement method)
By the way, the face indicated by the thin line in FIG. 4 is slightly inclined with respect to the poster while keeping the same distance from the poster. Then, the value of the poster angle described above becomes the same as that when facing the front. However, when the angle of the face with respect to the poster is not the front, it can be estimated that the interest in the poster is lower than that in the front or the message from the poster will be received weakly. Therefore, a technique for determining a correction count for the poster angle (θi) will be described.
[0032]
When the accuracy of the analysis of the digital image is high, it is possible to devise to increase the objectivity of the poster angle by numerically determining whether it is facing the front or oblique. This will be described with reference to FIG. F1 is a model diagram of a face facing slightly diagonally, and F2 is a model diagram of a face almost facing front. For these, when the face outline is extracted by distinguishing the face color from the background color, the eye is extracted by distinguishing the eye color from the surrounding colors, and the extracted eye size is above a certain level The center part is also obtained. Then, for F1 and F2, the extracted lateral dimensions of the face (f1, f2), the distance from the left end of the contour to the center of the left eye (a1, a2), the distance between the centers of both eyes (b1, b2), and the contour The distance (c1, c2) from the right end to the center of the right eye is calculated. Then, a relational expression of these variables is created. Then, from the relational expression of the variables, by formulating conditions such as which range is facing the front and which range is k (0 <k <1) when the front is 1, the poster angle ( Multiply θi) by k to increase objectivity.
[0033]
[0034]
(Evaluation method based only on eye spacing)
In order to lower the hardware performance or shorten the processing time, an evaluation method using “eye distance” as an evaluation value instead of the above-mentioned “media angle” is also effective in some cases. That is, the position becomes longer if the position of the person is closer to the advertising medium, and shorter if the position is far from the advertising medium. It can be presumed that a person near the advertising medium is more interested in the advertising medium than a person far away. Therefore, when the evaluation of the advertising media is an objective number, it is reasonable to have a positive relationship with the value of “eye distance”.
[0035]
Also, even if the distance from the person's position to the advertising media is the same, the person who is facing the front of the advertising medium (more precisely, the camera) is more inclined than the person who is facing diagonally. Also, it can be estimated that interest in the advertising media is high. Therefore, the value of “eye distance” for a person facing the front is larger than the value of “eye distance” for a person facing diagonally. Having a positive relationship with the value of “eye distance” ensures rationality.
[0036]
(Comparison of different media) In the comparison of media (for example, a television) having a time element in the medium itself and media (for example, a poster) having no time element, the unit of the evaluation value may be adjusted to either. For example, for media that do not have a time component, multiplying the media angle (unit; eg, “radian”) by the time factor (unit: eg, “second”), the evaluation value for both media is “radians. Second ", and a comparative study is possible. In other words, even for media that do not have a time element, if you measure an evaluation value that includes the time element such as how much time a person was watching, you can compare it with a medium that has a time element. .
[0037]
An example will be given of the case where the target media is a TV commercial. First, the hardware configuration will be described. A digital video camera is built into the control panel of a television set in a sample home. The digital video camera can control shooting through a communication line and transmit the shot video to a totaling center. For images captured from a digital video camera, the media angle (θn) is calculated by the above-described method for several still images, and an average value is obtained. The media angle (θn) Multiply the broadcast time (for example, 15 seconds).
[0038]
For a poster to be compared, several digital images are taken continuously for a certain time, and the average value of media angle (θn) per second is obtained and multiplied by 15 seconds. To estimate the media value at the national level based on the above sample data, the number of TV viewers per household (for example, 1.5 people), the number of TV viewers is 40 million, and the average audience rating Considering data such as 1%. In this way, it is possible to compare the media value of a plurality of types of TV commercials with relative and objective numbers, and to compare with different media such as posters.
[0039]
【The invention's effect】
According to the first to third aspects of the present invention, it is possible to provide an advertising media evaluation device for objectively evaluating how many people are watching the advertising media.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a relationship between hardware configuration and data in an embodiment of the present invention.
FIG. 2 is a model diagram for explaining an embodiment of the present invention.
FIG. 3 is a model diagram for explaining an embodiment of the present invention.
FIG. 4 is a model diagram for explaining an embodiment of the present invention.
FIG. 5 is a model diagram for explaining an embodiment of the present invention.
[Explanation of symbols]
F1, F2 Extracted facial contours f1, f2 Extracted facial lateral dimensions a1, a2 Distances from the left end of the contour to the center of the left eye b1, b2 Distances between the centers of both eyes c1, c2 From the right end of the contour to the right Distance to eye center

Claims (3)

広告メディア側に取り付けられてその広告メディアの前方を撮影可能なカメラと、
前記カメラに前記広告メディアの前方を撮影させて撮影画像を得る撮影制御装置と、
前記撮影画像をデジタル画像として記憶する画像記憶メモリと、
前記広告メディアが見られた度合いを示す評価値を算出する演算装置と、を備える広告メディア評価装置であって、
前記演算装置は、前記デジタル画像の中から両眼を抽出可能な人間の顔を評価対象として抽出しその人間が撮影された位置における両眼の中央と前記広告メディアの横方向両端部とを結ぶ二直線がなす角度であるメディア角度を算出するとともに、
複数の評価対象の顔についてそれぞれ算出された前記メディア角度を集計した集計値を前記評価値として算出することとした広告メディア評価装置。
A camera attached to the advertising media and capable of shooting the front of the advertising media,
A photographing control device for obtaining a photographed image by causing the camera to photograph the front of the advertising media ;
An image storage memory for storing the photographed image as a digital image;
An arithmetic device for calculating an evaluation value indicating a degree of the advertisement media being viewed , and an advertising media evaluation device comprising:
The computing device extracts a human face capable of extracting both eyes from the digital image as an evaluation target, and connects the center of both eyes at the position where the person is photographed and both lateral ends of the advertising media. While calculating the media angle, which is the angle formed by the two straight lines,
An advertising media evaluation device that calculates a total value obtained by totaling the media angles calculated for a plurality of evaluation target faces as the evaluation value .
前記演算装置は、前記デジタル画像の中から評価対象として抽出された人間が撮影された位置から前記広告メディアまでの距離を算出する距離算出手段を含み、
前記距離算出手段によって求められた距離に基づいて前記人間が撮影された位置を特定して前記メディア角度を算出することとした請求項1に記載の広告メディア評価装置。
The arithmetic device includes a distance calculation means for calculating a distance from a position where a person extracted as an evaluation target from the digital image is taken to the advertising media,
The advertising media evaluation device according to claim 1, wherein the media angle is calculated by specifying a position where the person is photographed based on a distance obtained by the distance calculation means .
前記演算装置は、前記デジタル画像の中から人間の顔を抽出する顔抽出手段と
前記顔抽出手段で抽出された人間の顔の中から眼を抽出する眼抽出手段と、
前記眼抽出手段にて抽出された両眼の距離および各眼と前記顔抽出手段にて抽出された顔の輪郭線とがなす距離をそれぞれ求めることにより前記広告メディアに対する抽出された前記顔の向きを示す数値を算出する顔方向判断手段と、をさらに含み、
前記顔方向判断手段によって算出した前記顔の向きを示す数値にて前記演算装置が前記集計値を補正した評価値を算出することとした請求項2に記載の広告メディア評価装置。
The arithmetic device comprises a face extracting means for extracting a human face from the digital image ;
And the eye extracting means for extracting the eye from the human face extracted by the face extraction means,
The orientation of the face extracted with respect to the advertising media by determining the distance between both eyes extracted by the eye extraction means and the distance between each eye and the face outline extracted by the face extraction means And face direction determination means for calculating a numerical value indicating
The advertising media evaluation device according to claim 2, wherein the arithmetic device calculates an evaluation value obtained by correcting the total value based on a numerical value indicating the face direction calculated by the face direction determination unit .
JP01123699A 1999-01-20 1999-01-20 Advertising media evaluation device Expired - Fee Related JP4159159B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01123699A JP4159159B2 (en) 1999-01-20 1999-01-20 Advertising media evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01123699A JP4159159B2 (en) 1999-01-20 1999-01-20 Advertising media evaluation device

Publications (2)

Publication Number Publication Date
JP2000209578A JP2000209578A (en) 2000-07-28
JP4159159B2 true JP4159159B2 (en) 2008-10-01

Family

ID=11772313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01123699A Expired - Fee Related JP4159159B2 (en) 1999-01-20 1999-01-20 Advertising media evaluation device

Country Status (1)

Country Link
JP (1) JP4159159B2 (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030039379A1 (en) * 2001-08-23 2003-02-27 Koninklijke Philips Electronics N.V. Method and apparatus for automatically assessing interest in a displayed product
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US7038619B2 (en) * 2001-12-31 2006-05-02 Rdp Associates, Incorporated Satellite positioning system enabled media measurement system and method
CN102034197A (en) * 2003-10-24 2011-04-27 瑞克楚斯系统公司 Method and system for managing an interactive video display system
JP4604597B2 (en) * 2004-07-30 2011-01-05 トヨタ自動車株式会社 State estimating device, state estimating method, information providing device using the same, information providing method
JP4603974B2 (en) * 2005-12-28 2010-12-22 株式会社春光社 Content attention evaluation apparatus and content attention evaluation method
JP4603975B2 (en) * 2005-12-28 2010-12-22 株式会社春光社 Content attention evaluation apparatus and evaluation method
KR100824069B1 (en) * 2007-06-29 2008-04-22 정유균 Method for mobile advertisement using mobile terminal and mobile terminal and mobile advertisement system implementing the same method
WO2009052574A1 (en) * 2007-10-25 2009-04-30 Andrew James Mathers Improvements in oudoor advertising metrics
US20090150217A1 (en) 2007-11-02 2009-06-11 Luff Robert A Methods and apparatus to perform consumer surveys
JP4934861B2 (en) * 2008-01-28 2012-05-23 日本電気株式会社 Display system, display method, display effect measurement system, and display effect measurement method
JP5192842B2 (en) * 2008-02-18 2013-05-08 株式会社日立製作所 Gaze product data acquisition method and product sales management system
JP5113721B2 (en) * 2008-10-30 2013-01-09 日本電信電話株式会社 Media information attention measuring device, media information attention measuring method, media information attention measuring program, and recording medium recording the program
JP5489197B2 (en) * 2008-11-10 2014-05-14 九州日本電気ソフトウェア株式会社 Electronic advertisement apparatus / method and program
JP2011128885A (en) * 2009-12-17 2011-06-30 Toshiba Corp Information display apparatus and method
JP2011166572A (en) * 2010-02-12 2011-08-25 Nec Personal Products Co Ltd Apparatus for estimation of program preference, image viewing system, program viewing confirmation method, and program
JP2012008765A (en) 2010-06-24 2012-01-12 Sony Corp Advertising effect measurement device, advertising effect measurement method, program and electronic advertising device
US10083459B2 (en) 2014-02-11 2018-09-25 The Nielsen Company (Us), Llc Methods and apparatus to generate a media rank
CN113706205A (en) * 2021-08-31 2021-11-26 湖南三圆惟度品牌整合有限公司 Advertisement putting method based on portrait recognition and system applying method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3777222D1 (en) * 1986-04-04 1992-04-16 Applied Science Group Inc METHOD AND DEVICE FOR DEVELOPING THE PRESENTATION OF THE VISION DISTRIBUTION WHEN PEOPLE WATCHING TELEVISION ADVERTISING.
JPH04104533A (en) * 1990-08-24 1992-04-07 Nippon Hoso Kyokai <Nhk> Human body temperature detection type audience rating measuring instrument
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
JPH09147119A (en) * 1995-11-28 1997-06-06 Toshiba Corp Gazing direction of person detection system
JPH09251342A (en) * 1996-03-15 1997-09-22 Toshiba Corp Device and method for estimating closely watched part and device, information display device/method using the same

Also Published As

Publication number Publication date
JP2000209578A (en) 2000-07-28

Similar Documents

Publication Publication Date Title
JP4159159B2 (en) Advertising media evaluation device
US10204264B1 (en) Systems and methods for dynamically scoring implicit user interaction
JP5272213B2 (en) ADVERTISEMENT EFFECT MEASUREMENT DEVICE, ADVERTISEMENT EFFECT MEASUREMENT METHOD, AND PROGRAM
Kollreider et al. Verifying liveness by multiple experts in face biometrics
EP0555380B1 (en) A face recognition system
CN101588443A (en) Statistical device and detection method for television audience ratings based on human face
EP2426642B1 (en) Method, device and system for motion detection
CN102833486B (en) The method and device of face displaying ratio in a kind of real-time adjusting video images
CN102779274B (en) Intelligent television face recognition method based on binocular camera
CN110032992A (en) A kind of detection method that cheats at one&#39;s exam based on posture
US20090285456A1 (en) Method and system for measuring human response to visual stimulus based on changes in facial expression
US8933783B2 (en) Detection of fraud for access control system of biometric type
TW201033908A (en) System and method for counting people flow
CN102200578B (en) Data correlation equipment and data correlation method
JP6589321B2 (en) System, search method and program
CN112232186B (en) Epidemic prevention monitoring method and system
US20190318491A1 (en) System and method for gathering data related to quality service in a customer service environment
WO2019236836A8 (en) Targeted advertisement system
CN106599880A (en) Discrimination method of the same person facing examination without monitor
CN108710841A (en) A kind of face living body detection device and method based on MEMs infrared sensor arrays
Si et al. Detecting fingerprint distortion from a single image
KR101817773B1 (en) An Advertisement Providing System By Image Processing of Depth Information
CN110222647A (en) A kind of human face in-vivo detection method based on convolutional neural networks
CN111814659B (en) Living body detection method and system
CN201467351U (en) Television audience rating statistical device based on human face detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080416

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080709

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080715

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees