JP7509196B2 - 広告評価装置、システム、方法及びプログラム - Google Patents

広告評価装置、システム、方法及びプログラム Download PDF

Info

Publication number
JP7509196B2
JP7509196B2 JP2022512922A JP2022512922A JP7509196B2 JP 7509196 B2 JP7509196 B2 JP 7509196B2 JP 2022512922 A JP2022512922 A JP 2022512922A JP 2022512922 A JP2022512922 A JP 2022512922A JP 7509196 B2 JP7509196 B2 JP 7509196B2
Authority
JP
Japan
Prior art keywords
user
time
store
payment
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022512922A
Other languages
English (en)
Other versions
JPWO2021199182A5 (ja
JPWO2021199182A1 (ja
Inventor
ほなみ 幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority claimed from PCT/JP2020/014616 external-priority patent/WO2021199182A1/ja
Publication of JPWO2021199182A1 publication Critical patent/JPWO2021199182A1/ja
Publication of JPWO2021199182A5 publication Critical patent/JPWO2021199182A5/ja
Application granted granted Critical
Publication of JP7509196B2 publication Critical patent/JP7509196B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、広告評価装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、ユーザに提示した広告を評価するための広告評価装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
特許文献１には、ユーザの位置情報に基づいて所定の店舗に関する広告情報を提供し、当該ユーザの店舗における滞在時間に基づいて、ユーザに対して提供された広告情報の広告効果を評価する技術が開示されている。
特開２０１９－１４９０９８号公報
しかしながら、店舗の滞在時間が長いからといって、必ずしも当該店舗の利益につながるとは限らない。そのため、特許文献１に係る技術では、広告効果の評価が不十分であるという問題点がある。
本開示は、このような問題点を解決するためになされたものであり、ユーザに提示した広告の効果を精度良く測定するための広告評価装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
本開示に係る広告評価装置は、所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録部と、前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出部と、前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価部と、を備える。
本開示に係る広告評価装置は、ユーザの店舗における滞在時間を算出する算出部と、前記滞在時間に基づいて前記ユーザに提示した広告情報の広告効果を評価するを評価部と、を備える。
本開示に係る広告評価システムは、所定のユーザの顔領域を含む画像を撮影する撮影装置と、前記ユーザにおける決済を行う決済端末と、前記撮影装置及び前記決済端末と通信可能な広告評価装置と、前記ユーザの顔特徴情報を記憶し、前記広告評価装置と通信可能な認証装置と、を備え、前記広告評価装置は、前記ユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録部と、前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出部と、前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価部と、を備える。
本開示に係る広告評価方法は、コンピュータが、所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、を備える。
本開示に係る非一時的なコンピュータ可読媒体は、所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、を実行させるプログラムが記録される。
本開示に係る広告評価装置は、所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う第１の認証部と、前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う第２の認証部と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録部と、前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出部と、前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価部と、を備える。
本開示に係る広告評価方法は、コンピュータが、所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、を備える。
本開示に係る非一時的なコンピュータ可読媒体は、所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、を実行させるプログラムが記録される。
本開示により、ユーザに提示した広告の効果を精度良く測定するための広告評価装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施形態１に係る広告評価装置の構成を示すブロック図である。 実施形態１に係る広告評価方法の流れを示すフローチャートである。 実施形態２に係る広告評価装置の構成を示すブロック図である。 実施形態２に係る広告評価方法の流れを示すフローチャートである。 実施形態３に係る広告評価システムの構成を示すブロック図である。 認証装置の構成を示すブロック図である。 顔特徴情報登録処理の流れを示すフローチャートである。 顔認証処理の流れを示すフローチャートである。 決済端末の構成を示すブロック図である。 ユーザ端末の構成を示すブロック図である。 広告評価装置の構成を示すブロック図である。 広告評価処理の流れを示すフローチャートである。 入店時刻取得処理の流れを示すフローチャートである。 決済時刻取得処理の流れを示すフローチャートである。 表示端末上に表示される広告情報画面を例示する図である。 表示端末上に表示されるマップを例示する図である。 表示端末上に表示される行動履歴を例示する図である。 実施形態４に係る広告評価システムの構成を示すブロック図である。 実施形態４に係る広告評価装置の構成を示すブロック図である。 広告評価処理の流れを示すフローチャートである。 広告評価処理の流れを示すフローチャートである。 入店時刻取得処理の流れを示すフローチャートである。 滞在時間算出処理の流れを示すフローチャートである。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施形態１＞
図１は、実施形態１に係る広告評価装置１００の構成を示すブロック図である。広告評価装置１００は、記憶部１２０、提示部１１１、第１の取得部１１３、第２の取得部１１５、登録部１１６、算出部１１８及び評価部１１９を備える。広告評価装置１００は、ネットワーク５００（不図示）に接続される。ネットワーク５００は、有線であっても無線であってもよい。ネットワーク５００には、図示しない認証装置２００、撮影装置、決済端末４００及びユーザ端末１２００等が接続される。
記憶部１２０は、所定のユーザと所定の店舗の広告情報とを対応付けて記憶する。提示部１１１は、所定のユーザに対して、当該ユーザに対応付けられた広告情報を提示する。第１の取得部１１３は、所定のユーザの店舗への入店時に当該ユーザが撮影された第１の撮影画像について、当該ユーザの顔特徴情報を予め記憶する認証装置２００を用いた第１の顔認証に成功した場合、入店時の第１の時刻を取得する。第２の取得部１１５は、店舗における当該ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、認証装置２００を用いた第２の顔認証に成功した場合、決済時の第２の時刻を取得する。
登録部１１６は、第２の顔認証の成功時に決済に基づく決済履歴を当該ユーザに対応付けて、記憶部１２０に登録する。算出部１１８は、第１の時刻と第２の時刻との差分からユーザの店舗における滞在時間を算出する。評価部１１９は、決済履歴と滞在時間とに基づいて提示された広告情報の広告効果を評価する。
図２は、実施形態１に係る広告評価方法の流れを示すフローチャートである。まず、記憶部１２０は、所定のユーザと所定の店舗の広告情報とを対応付けて記憶する（ステップＳ１０１）。次に、提示部１１１は、所定のユーザに対して、当該ユーザに対応付けられた広告情報を提示する（ステップＳ１０２）。次に、第１の取得部１１３は、所定のユーザの店舗への入店時に当該ユーザが撮影された第１の撮影画像について、所定のユーザの顔特徴情報を予め記憶する認証装置２００を用いた第１の顔認証に成功した場合、入店時の第１の時刻を取得する（ステップＳ１０３）。尚、認証装置２００は、ステップＳ１０３に先んじて、第１の撮影画像に含まれる顔特徴情報と、認証装置２００内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定する第１の顔認証を行う。認証装置２００は、第１の顔認証に成功した場合、成功したユーザＩＤを判定結果に含めて広告評価装置１００に返信する。
次に、第２の取得部１１５は、店舗における所定のユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、認証装置２００を用いた第２の顔認証に成功した場合、決済時の第２の時刻を取得する（ステップＳ１０４）。尚、認証装置２００は、ステップＳ１０４に先んじて、第２の撮影画像に含まれる顔特徴情報と、認証装置２００内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定する第２の顔認証を行う。認証装置２００は、第２の顔認証に成功した場合、成功したユーザＩＤを判定結果に含めて広告評価装置１００に返信する。
次に、登録部１１６は、第２の顔認証の成功時に決済に基づく決済履歴をユーザに対応付けて記憶部１２０に登録する（ステップＳ１０５）。次に、算出部１１８は、第１の時刻と第２の時刻との差分からユーザの店舗における滞在時間を算出する（ステップＳ１０６）。次に、評価部１１９は、決済履歴と滞在時間とに基づいて提示された広告情報の広告効果を評価する（ステップＳ１０７）。このように、本実施形態に係る広告評価方法は、ユーザの決済履歴及び店舗における滞在時間に基づいて提示された広告情報の広告効果を評価することができるため、ユーザに推薦した広告の降下を精度良く測定することができる。
尚、広告評価装置１００は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態に係る広告評価方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、履歴登録部、提示部１１１、第１の取得部１１３、第２の取得部１１５、登録部１１６、算出部１１８及び評価部１１９の機能を実現する。
または、履歴登録部、提示部１１１、第１の取得部１１３、第２の取得部１１５、登録部１１６、算出部１１８及び評価部１１９は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
また、広告評価装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、広告評価装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
＜実施形態２＞
実施形態２は、上述した実施形態１の変形例である。実施形態１に係る広告評価装置１００は、外部の認証装置２００を用いて顔認証を行っていた。一方、本実施形態に係る広告評価装置６００は、装置内部で顔認証を行う。
図３は、実施形態２に係る広告評価装置６００の構成を示すブロック図である。広告評価装置６００は、図１に示した広告評価装置１００の構成と比べて、第１の認証部１１２、第２の認証部１１４及び図示しない顔特徴ＤＢ（Database）が追加されたものである。顔特徴ＤＢは、ユーザＩＤと顔特徴情報とを対応付けて記憶するデータベースである。広告評価装置６００が備える各構成について、実施形態１と重複する説明は適宜省略する。
第１の認証部１１２は、所定のユーザの店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている当該ユーザの顔特徴情報を用いて第１の顔認証を行う。第１の顔認証において、第１の認証部１１２は、第１の撮影画像から顔特徴情報を抽出し、当該顔特徴情報と顔特徴ＤＢに記憶されている顔特徴情報とを照合し、一致の有無により認証の成否を判定する。顔特徴ＤＢは、複数の登録ユーザの顔特徴情報を記憶している。第１の認証部１１２は、第１の顔認証の成否を第１の取得部１１３に出力する。第１の取得部１１３は、第１の顔認証に成功した場合、当該ユーザの入店時の第１の時刻を取得する。
第２の認証部１１４は、店舗におけるユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、予め記憶されている当該ユーザの顔特徴情報を用いて第２の顔認証を行う。第２の顔認証において、第２の認証部１１４は、第２の撮影画像から顔特徴情報を抽出し、当該顔特徴情報と顔特徴ＤＢに記憶されている顔特徴情報とを照合し、一致の有無により認証の成否を判定する。第２の認証部１１４は、第２の顔認証の成否を第２の取得部１１５に出力する。第２の取得部１１５は、第２の顔認証に成功した場合、当該ユーザの決済時の第２の時刻を取得する。
図４は、実施形態２に係る広告評価方法の流れを示すフローチャートである。まず、記憶部１２０は、所定のユーザと所定の店舗の広告情報とを対応付けて記憶する（ステップＳ２０１）。次に、提示部１１１は、所定のユーザに対して、当該ユーザに対応付けられた広告情報を提示する（ステップＳ２０２）。次に、第１の認証部１１２は、所定のユーザの店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている所定のユーザの顔特徴情報を用いて第１の顔認証を行う（ステップＳ２０３）。第１の取得部１１３は、所定のユーザの店舗への入店時に当該ユーザが撮影された第１の撮影画像について、第１の顔認証に成功した場合、入店時の第１の時刻を取得する（ステップＳ２０４）。
次に、第２の認証部１１４は、店舗における所定のユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、予め記憶されている所定のユーザの顔特徴情報を用いて第２の顔認証を行う（ステップＳ２０５）。次に、第２の取得部１１５は、店舗における所定のユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、第２の顔認証に成功した場合、決済時の第２の時刻を取得する（ステップＳ２０６）。
次に、登録部１１６は、第２の顔認証の成功時に決済に基づく決済履歴をユーザに対応付けて記憶部１２０に登録する（ステップＳ２０７）。次に、算出部１１８は、第１の時刻と第２の時刻との差分からユーザの店舗における滞在時間を算出する（ステップＳ２０８）。次に、評価部１１９は、決済履歴と滞在時間とに基づいて提示された広告情報の広告効果を評価する（ステップＳ２０９）。さらに、本実施形態に係る広告評価装置は、実施形態１において説明した効果と同様の効果を奏することができる。
＜実施形態３＞
実施形態３は、上述した実施形態１の具体例である。図５は、実施形態３に係る広告評価システム７００の構成を示すブロック図である。広告評価システム７００は、広告評価装置１００ａ、認証装置２００、入口カメラ３００ａ、決済端末４００及びユーザ端末１２００を備える。広告評価装置１００ａ、認証装置２００、入口カメラ３００ａ、決済端末４００及びユーザ端末１２００のそれぞれは、ネットワーク５００を介して接続されている。なお、実施形態１と重複する説明については適宜省略する。
広告評価装置１００ａは、広告要求に応じて広告情報を提示し、提示した広告情報に対する広告効果を評価するための情報処理装置であり、例えば、コンピュータにより実現されるサーバ装置である。認証装置２００は、第１の顔認証及び第２の顔認証を行う装置である。認証装置２００は、顔特徴ＤＢ２１０を備える。顔特徴ＤＢ２１０は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。尚、顔特徴ＤＢ２１０は、顔特徴情報記憶部の一例である。
広告評価装置１００ａは、広告情報を表示端末に出力する。表示端末は、例えば、ユーザ端末１２００、決済端末４００又はサイネージ等である。ユーザ端末１２００は、ユーザが所持するスマートフォン等の通信端末である。サイネージは、街頭等に設置される端末であり、例えば、ユーザがサイネージの前に立った際に「次は〇〇へ行くのはいかがですか」等と表示する。
店舗Ｘには、入口カメラ３００ａ及び決済端末４００が設置されている。入口カメラ３００ａは、第１の撮影画像を撮影する端末である。尚、入口カメラ３００ａは、撮影装置の一例である。入口カメラ３００ａは、例えば、店舗Ｘの入口付近に設置されたデジタルカメラ、カメラを搭載したデジタルサイネージ又は顔認証端末である。入口カメラ３００ａは、店舗Ｘに入店したユーザを撮影することによって第１の撮影画像を撮影する。入口カメラ３００ａは、第１の撮影画像を、ネットワーク５００を介して広告評価装置１００ａに送信する。
尚、複数のフロアを有する施設に広告評価システム７００を設置する場合、各フロアごとにユーザの入場及び決済を記録してもよい。この場合、入口カメラ３００ａは、各フロアの入口付近に設置される。各フロアの入口は、例えば、エスカレータの降り口、エレベータの降り口及び階段の降り口である。入口カメラ３００ａは、フロアに入場したユーザを撮影することによって第１の撮影画像を撮影する。
決済端末４００は、入店したユーザが店舗Ｘ内で買い物を行う際に決済を行う情報処理装置である。また、決済端末４００は、決済時に決済を行ったユーザの顔を含む画像を第２の撮影画像として撮影し、当該第２の撮影画像を、ネットワーク５００を介して広告評価装置１００ａに送信する。決済端末４００は、例えば、顔認証成功時に決済を行ってもよい。具体的には、決済端末４００は、広告評価装置１００ａから顔認証結果を受信し、顔認証に成功している場合、決済処理を行い、決済履歴を、ネットワーク５００を介して広告評価装置１００ａに送信する。決済履歴は、例えば、決済を行った日時、決済金額及び決済内容等を含む。決済内容は、例えば、購入品目及び購入サービス等である。
次に、図６を参照して、認証装置２００の構成について詳細に説明する。図６は、認証装置２００の構成を示すブロック図である。認証装置２００は、顔特徴ＤＢ２１０、顔検出部２２０、特徴点抽出部２３０、登録部２４０及び認証部２５０を備える。
顔特徴ＤＢ２１０は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。顔検出部２２０は、撮影画像が含む顔領域を検出し、特徴点抽出部２３０に出力する。特徴点抽出部２３０は、顔検出部２２０が検出した顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を出力する。顔特徴情報は、抽出した特徴点の集合である。
登録部２４０は、顔特徴情報の登録に際して、ユーザＩＤを新規に発行する。登録部２４０は、発行したユーザＩＤと、登録画像から抽出した顔特徴情報と、を対応付けて顔特徴ＤＢ２１０に登録する。認証部２５０は、顔画像から抽出された顔特徴情報と、顔特徴ＤＢ２１０内の顔特徴情報と、の照合を行う。認証部２５０は、顔特徴情報が一致している場合、顔認証が成功したと判断し、顔特徴情報が不一致の場合、顔認証が失敗したと判断する。認証部２５０は、顔認証の成否を広告評価装置１００ａに返信する。顔特徴情報の一致の有無は、認証の成否に対応する。また、認証部２５０は、顔認証に成功した場合、当該成功した顔特徴情報に対応付けられたユーザＩＤを特定し、特定されたユーザＩＤと認証成功の旨とを含めた認証結果を広告評価装置１００ａに返信する。
図７を参照して、顔特徴ＤＢ２１０にユーザＩＤ及び顔特徴情報を登録する際における認証装置２００の動作を説明する。図７は、顔特徴情報登録処理の流れを示すフローチャートである。
顔特徴情報を登録する際には、顔情報登録端末（不図示）が、ユーザの顔を含む画像を登録用画像として撮影し、認証装置２００に対してネットワーク５００を介して顔特徴情報登録要求を行う。顔情報登録端末は、例えば、パーソナルコンピュータ、スマートフォン及びタブレット端末等の情報処理装置である。顔特徴情報登録要求は、登録用画像を含む。まず、認証装置２００は、顔情報登録端末からネットワーク５００を介して顔特徴情報登録要求に含まれる登録用画像を取得する（ステップＳ３０１）。
次に、顔検出部２２０は、登録用画像が含む顔領域を検出し（ステップＳ３０２）、検出した顔領域を特徴点抽出部２３０に出力する。次に、特徴点抽出部２３０は、顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を出力する（ステップＳ３０３）。次に、登録部２４０は、出力された顔特徴情報に対応するユーザＩＤを発行し、当該ユーザＩＤと顔特徴情報とを対応付けて顔特徴ＤＢ２１０に登録する（ステップＳ３０４）。
図８を参照して、顔認証を行う際における認証装置２００の動作を説明する。図８は、顔認証処理の流れを示すフローチャートである。図８では、第１の顔認証を行う場合について説明を行うが、第２の顔認証を行う場合も同様の手順で顔認証を行うことができる。
入口カメラ３００ａは、ユーザが店舗Ｘに入店すると、当該ユーザの顔を含む画像を第１の撮影画像として撮影し、広告評価装置１００ａに対してネットワーク５００を介して当該第１の撮影画像を送信する。広告評価装置１００ａは、第１の撮影画像から顔領域又は顔特徴情報を抽出する。広告評価装置１００ａは、抽出した顔領域又は顔特徴情報を認証装置２００に送信する。特徴点抽出部２３０は、受信した顔領域から顔特徴情報を抽出し、又は顔特徴情報を受信することによって、顔特徴情報を取得する（ステップＳ４０１）。
次に、認証部２５０は、取得した顔特徴情報を顔特徴ＤＢ２１０と照合する（ステップＳ４０２）。顔特徴情報が一致した場合（ステップＳ４０３Ｙｅｓ）、認証部２５０は、顔特徴情報が一致したユーザのユーザＩＤを特定し（ステップＳ４０４）、顔認証に成功した旨と特定したユーザＩＤとを広告評価装置１００ａに返信する（ステップＳ４０５）。一致する顔特徴情報がなかった場合（ステップＳ４０３Ｎｏ）、認証部２５０は、顔認証に失敗した旨を広告評価装置１００ａに返信する（ステップ４３０６）。
次に、図９を参照して、決済端末４００の構成について詳細に説明する。決済端末４００は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。決済端末４００は、第２の撮影画像の撮影及び決済処理を行う装置である。
図９は、決済端末４００の構成を示すブロック図である。決済端末４００は、カメラ４１０、記憶部４２０、通信部４３０、表示部４４０及び制御部４５０を備える。カメラ４１０は、画像を撮影する撮影装置である。記憶部４２０は、決済端末４００の各機能を実現するためのプログラムが格納される記憶装置である。通信部４３０は、ネットワーク５００との通信インタフェースである。表示部４４０は、ユーザに対して顔認証結果及び広告情報等を表示する表示装置である。
制御部４５０は、決済端末４００が備えるハードウェアの制御を行う。制御部４５０は、撮影部４５２、登録部４５３、認証部４５４及び決済部４５５を備える。
撮影部４５２は、カメラ４１０に対して撮影要求を行う。カメラ４１０は、ユーザの顔を含む画像を撮影する。カメラ４１０が撮影した画像は、第２の撮影画像として使用される。登録部４５３は、履歴登録要求を、ネットワーク５００を介して広告評価装置１００ａに送信する。尚、履歴登録要求は、決済処理の結果である決済履歴を含む。決済履歴は、例えば、決済した日時、金額、物品及びユーザＩＤ等を含む情報である。認証部４５４は、第２の顔認証要求を、ネットワーク５００を介して広告評価装置１００ａに送信し、その結果を広告評価装置１００ａから受信する。顔認証の成否は、表示部４４０に表示されてもよい。決済部４５５は、顔認証の成功時に決済処理を実行する。
次に、図１０を参照して、ユーザ端末１２００の構成について詳細に説明する。ユーザ端末１２００は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。ユーザ端末１２００は、所定のユーザが操作する情報処理装置である。ユーザ端末１２００は、顔特徴情報登録要求及び広告要求を行う装置である。
図１０は、ユーザ端末１２００の構成を示すブロック図である。ユーザ端末１２００は、カメラ１２１０、記憶部１２２０、通信部１２３０、表示部１２４０及び制御部１２５０を備える。カメラ１２１０は、画像を撮影する撮影装置である。記憶部１２２０は、ユーザ端末１２００の各機能を実現するためのプログラムが格納される記憶装置である。通信部１２３０は、ネットワーク５００との通信インタフェースである。表示部１２４０は、ユーザに対して顔登録結果及び広告情報等を表示する表示装置である。制御部１２５０は、ユーザ端末１２００が備えるハードウェアの制御を行う。制御部１２５０は、顔登録部１２５３及び広告要求部１２５４を備える。
顔登録部１２５３は、カメラ１２１０に対して撮影要求を行う。カメラ１２１０は、ユーザの顔を含む画像を撮影する。カメラ１２１０が撮影した画像は、登録用画像として使用される。顔登録部１２５３は、顔特徴情報登録要求を、ネットワーク５００を介して広告評価装置１００ａに送信する。尚、顔特徴情報登録要求は、カメラ１２１０が撮影した登録用画像及びユーザＩＤを含む。広告要求部１２５４は、広告要求を、ネットワーク５００を介して広告評価装置１００ａに送信し、その結果である広告情報を広告評価装置１００ａから受信する。広告情報は、例えば表示部１２４０に表示される。
尚、入口カメラ３００ａが顔認証端末である場合、当該顔認証端末は、店舗に入店したユーザに対する顔認証を行う。顔認証端末は、顔認証に成功した場合、ネットワーク５００を介して広告評価装置１００ａに対して広告要求を送信し、広告評価装置１００ａから広告情報を受信して表示部に表示してもよい。このとき、顔認証端末は、顔認証に成功したユーザＩＤを広告要求に含めてもよい。
次に、図１１を参照して、広告評価装置１００ａの構成について詳細に説明する。図１１は、広告評価装置１００ａの構成を示すブロック図である。広告評価装置１００ａは、制御部１１０、記憶部１２０、メモリ１３０及び通信部１４０を備える。
記憶部１２０は、プログラム、履歴情報、広告情報及びユーザＩＤを記憶する記憶装置である。尚、記憶部１２０は、履歴記憶部を含むものである。プログラムは、本実施形態に係る広告評価処理が実装されたコンピュータプログラムである。履歴情報は、ユーザID、入店時刻、決済時刻、滞在時間及び決済履歴を対応付けた情報である。尚、本実施形態では、決済時刻を退店時刻とみなしている。ユーザＩＤは、入店者及び決済対象者であるユーザを識別可能な情報であり、例えば、氏名、電話番号、メールアドレス、又は任意の識別番号等である。滞在時間は、決済時刻と入店時刻の差分である。決済履歴は、決済日時、決済金額及び決済内容等を含む。
広告情報は、ユーザＩＤに対応付けられている。広告情報は、ユーザに対して提示する所定の店舗の広告情報である。広告情報は、例えば、店舗を紹介する情報、及び当該店舗の割引クーポン等である。
メモリ１３０は、制御部１１０の処理内容を一時的に記憶する記憶領域であり、例えばＲＡＭ（Random Access Memory）等の揮発性記憶装置である。通信部１４０は、広告評価装置１００ａの外部との通信を行うインターフェースである。
制御部１１０は、提示部１１１、第１の取得部１１３、第２の取得部１１５、登録部１１６、認証制御部１１７、算出部１１８及び評価部１１９を備える。制御部１１０は、広告評価装置１００ａの動作を制御する制御装置であり、例えば、ＣＰＵ等のプロセッサである。制御部１１０は、記憶部１２０からプログラムをメモリ１３０へ読み込ませ、実行する。これにより、制御部１１０は、提示部１１１、第１の取得部１１３、第２の取得部１１５、登録部１１６、認証制御部１１７、算出部１１８及び評価部１１９としての機能を実現する。
提示部１１１は、広告要求を受け付けた場合に、広告要求に含まれるユーザＩＤに対応付けられた広告情報を特定し、特定された広告情報を要求元へ返信する。第１の取得部１１３は、第１の撮影画像について、認証装置２００を用いた第１の顔認証に成功した場合、第１の時刻を取得する。尚、認証装置２００は、複数の登録ユーザの顔特徴情報を当該複数の登録ユーザのユーザＩＤと対応付けて予め記憶している。第１の撮影画像は、所定のユーザが店舗へ入店する際に撮影される画像であり、当該ユーザの顔領域を含む。第１の撮影画像は、撮影装置により撮影される。撮影装置は、例えば、店舗の入口に設置された入口カメラ３００ａである。第１の時刻は、所定のユーザが店舗に入店した時刻であり、例えば第１の撮影画像が撮影された時刻である。
第２の取得部１１５は、第２の撮影画像について、認証装置２００を用いた第２の顔認証に成功した場合、第２の時刻を取得する。第２の撮影画像は、所定のユーザの店舗における決済時に撮影される画像であり、当該ユーザの顔領域を含む。第２の撮影画像は、決済端末４００が備えるカメラにより撮影される。第２の時刻は、所定のユーザが店舗において決済を行った時刻である。
登録部１１６は、第２の顔認証の成功時に決済履歴をユーザに対応付けて記憶部１２０に登録する。決済履歴は、第２の顔認証の成功時に行われた決済の履歴である。認証制御部１１７は、第１の撮影画像及び第２の撮影画像から顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置２００へ送信して顔認証を行わせる。また、認証制御部１１７は、認証装置２００から顔認証の成否を受信する。尚、顔認証に成功した場合、顔認証結果には、ユーザＩＤが含まれる。算出部１１８は、ユーザの店舗における滞在時間を算出する。滞在時間は、第１の時刻と第２の時刻との差分である。
評価部１１９は、決済履歴と滞在時間とに基づいて広告情報の広告効果を評価する。まず、評価部１１９は、記憶部１２０から当該ユーザの決済履歴及び滞在時間を取得する。次に、評価部１１９は、決済履歴及び滞在時間の組合せについて、広告効果を評価する。当該ユーザについて複数の決済履歴が記憶部１２０に登録されている場合、各決済履歴について広告効果を評価する。
評価部１１９は、例えば、複数の決済履歴におけるそれぞれの決済金額が所定範囲内である場合、各決済履歴に対応する滞在時間の差に応じて広告効果を評価する。この場合、評価部１１９は、決済金額が所定範囲内の場合、決済金額は考慮せず、決済の有無によって広告を評価する。具体的には、評価部１１９は、短い滞在時間で所定金額未満の購入履歴ありの場合を、長い滞在時間で所定金額未満の購入履歴ありの場合よりも、広告効果が高いと評価する。また、評価部１１９は、決済金額が所定値以上である場合、決済金額に応じて広告効果を上昇させてもよい。具体的には、後述の表１において滞在時間が１０分間以上の場合であっても、決済金額が所定値以上である場合、広告効果を５としてもよい。尚、評価部１１９は、決済金額に所定の範囲を設けず、決済金額の大きさに応じて広告評価を行ってもよい。
評価部１１９は、例えば、複数の決済履歴に対応するそれぞれの滞在時間が所定範囲内である場合、各決済履歴における決済金額の差に応じて前記広告効果を評価する。具体的には、評価部１１９は、短い滞在時間で購入履歴ありの場合を、短い滞在時間で購入履歴なしの場合よりも、広告効果が高いと評価する。
次に、図１２～１４を参照して、広告評価処理時における広告評価装置１００ａの動作を説明する。図１２は、広告評価処理の流れを示すフローチャートである。図１３は、入店時刻取得処理の流れを示すフローチャートである。図１４は、決済時刻取得処理の流れを示すフローチャートである。
まず、提示部１１１は、ユーザに対して当該ユーザに対応付けられた広告情報を、ユーザ端末１２００等の表示端末に送信することによってユーザに提示する（ステップＳ５０１）。次に、ユーザが店舗Ｘに入店すると、入口カメラ３００ａは、ユーザの顔を含む画像を撮影し、当該撮影画像を、ネットワーク５００を介して広告評価装置１００ａに送信する。認証制御部１１７は、ユーザの入店時における撮影画像（第１の撮影画像）を入口カメラ３００ａから受信することによって取得し（ステップＳ５０２）、認証装置２００に第１の顔認証を行わせる。第１の顔認証に成功した場合、第１の取得部１１３は、当該ユーザの入店時刻（第１の時刻）を取得する（ステップＳ５０３）。尚、ステップＳ５０３において、第１の取得部１１３は、第１の撮影画像の撮影時刻を第１の時刻として取得する。
次に、ユーザは、店舗Ｘにおいて決済を行う。決済時には、決済端末４００は、ユーザの顔を含む画像を撮影し、当該撮影画像をネットワーク５００を介して広告評価装置１００ａに送信する。認証制御部１１７は、ユーザの決済時における撮影画像（第２の撮影画像）を決済端末４００から受信することによって取得し（ステップＳ５０４）、認証装置２００に第２の顔認証を行わせる。第２の顔認証に成功した場合、第２の取得部１１５は、決済端末４００に決済処理を指示し、当該ユーザの決済時刻（第２の時刻）及び決済履歴を取得する（ステップＳ５０５）。
決済端末４００は、決済処理の指示を受信すると、決済処理を実行し、当該決済の結果である決済履歴を広告評価装置１００ａに返信する。ステップＳ５０５において、第２の取得部１１５は、決済端末４００から受信した決済履歴に含まれる決済時刻及び決済履歴を第２の時刻及び決済履歴として取得する。尚、決済端末４００は、顔認証に依らない決済を行う場合、第２の撮影画像と共に決済履歴を広告評価装置１００ａに送信する。顔認証に依らない決済方法は、例えば、クレジットカードによる決済方法及び電子マネーによる決済方法である。
次に、登録部１１６は、ステップＳ５０５において第２の取得部１１５が取得した決済履歴を記憶部１２０に登録する（ステップＳ５０６）。次に、算出部１１８は、ユーザの店舗Ｘにおける滞在時間を算出する（ステップＳ５０７）。尚、図１１では、ステップＳ５０６を行った後にステップＳ５０７を行う場合について図示したが、ステップＳ５０７は、ステップＳ５０６よりも先に行われてもよく、ステップＳ５０６と並行して行われてもよい。次に、評価部１１９は、決済履歴と滞在時間とに基づいてステップＳ５０１において提示した広告情報の広告効果を評価する（ステップＳ５０８）。
図１２を参照して、ステップＳ５０３について詳細に説明する。まず、認証制御部１１７は、第１の撮影画像を取得すると、当該第１の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１７は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ６０１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第１の顔認証を行い、認証結果を広告評価装置１００ａに返信する。認証制御部１１７は、第１の顔認証の成否を受信する（ステップＳ６０２）。
第１の顔認証に成功した場合（ステップＳ６０３Ｙｅｓ）、第１の取得部１１３は、第１の撮影画像が撮影された時刻をユーザの店舗Ｘへの入店時刻として取得する（ステップＳ６０４）。第１の顔認証に失敗した場合（ステップＳ６０３Ｎｏ）、認証制御部１１７は、顔認証に失敗した旨を第１の取得部１１３に返信する（ステップＳ６０５）。
図１３を参照して、ステップＳ５０５について詳細に説明する。まず、認証制御部１１７は、第２の撮影画像を取得すると、当該第２の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１７は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ７０１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第２の顔認証を行い、認証結果を広告評価装置１００ａに返信する。認証制御部１１７は、第２の顔認証の成否を受信する（ステップＳ７０２）。
第２の顔認証に成功した場合（ステップＳ７０３Ｙｅｓ）、第２の取得部１１５は、決済端末４００に決済処理を指示する（ステップＳ７０４）。決済端末４００は、決済処理の指示を受信すると、決済処理を実行し、当該決済の結果である決済履歴を広告評価装置１００ａに返信する。第２の取得部１１５は、決済端末４００から受信した決済履歴に含まれる決済時刻及び決済履歴を決済時刻（第２の時刻）及び決済履歴として取得する。第２の顔認証に失敗した場合（ステップＳ７０３Ｎｏ）、認証制御部１１７は、顔認証に失敗した旨を第２の取得部１１５に返信する（ステップＳ７０６）。
図１５は、表示端末上に表示される広告情報を例示する図である。図１４では、ユーザ端末１２００に広告情報を表示する場合を示している。図１４に示すように、ユーザ端末１２００は、ステップＳ５０１において受信した広告情報を画面上に表示する。尚、ステップＳ５０１において、提示部１１１は、広告情報に加えて、ユーザの決済履歴を表示端末に送信してもよい。
図１６は、決済履歴として表示端末上に表示されるマップを例示する図である。図１６に示すように、ユーザ端末１２００は、ステップＳ５０１において受信したユーザの決済履歴をマップ上に表示してもよい。また、図１７は、表示端末上に表示される決済履歴を例示する図である。図１７に示すように、ユーザ端末は、ステップＳ５０１において受信した決済履歴を時系列で表示してもよい。
図１６及び図１７では、ユーザの決済履歴のみを表示端末上に表示する場合を示しているが、表示端末上には、当該決済履歴に加えて、広告情報を表示してもよい。広告情報は、店舗情報、店舗の住所、及びユーザの現在位置から店舗までのルート案内等を含んでいてもよい。ルート案内は、ユーザの現在位置から店舗までの距離及び所要時間等を含んでいてもよい。また、表示端末上には、複数の広告情報を表示してもよい。複数の広告情報を表示する場合、各広告情報の詳細及びルート案内等を同時に表示してもよい。ユーザは、各広告情報の詳細及びルート案内等を検討し、広告情報同士を比較することができる。
以下、決済履歴及び滞在時間に基づく広告効果の評価の具体例を説明する。表１に広告効果の評価の一例を示す。
Figure 0007509196000001
表１に示す広告効果は、数値が大きいほど効果が高かったことを示す。表１に示すように、滞在時間が短く（例えば５分間）、かつ、決済履歴ありの場合、ユーザに提示された広告情報は、当該ユーザの嗜好及び需要に合ったものであったと考えられる。そこで、このような場合、広告効果が高かったと評価する。滞在時間が長く（例えば３０分間）、かつ、決済履歴ありの場合、ユーザに提示された広告情報は、当該ユーザの需要には合っていたが嗜好からはやや外れていたと考えられる。そこで、このような場合、広告効果がやや高かったと評価する。
このように、広告評価装置１００ａは、決済履歴及び滞在時間に基づいて広告評価を行うため、ユーザに提示した広告の効果を精度良く測定することができる。広告効果を測定した結果、効果が低いと評価された広告情報の表示頻度を下げ、効果が高いと評価された広告情報の表示頻度を上げてもよい。これにより、より効果的な広告をユーザに提示することができる。また、効果が低いと評価された広告情報の広告費用を下げ、効果が高いと評価された広告情報の広告費用を上げてもよい。これにより、広告費用を負担するクライアントの満足度を高めることができる。さらに、本実施形態に係る広告評価装置は、実施形態１～３において説明した効果と同様の効果を奏することができる。
＜実施形態４＞
実施形態４は、上述した実施形態３の変形例である。実施形態３に係る広告評価装置１００ａは、決済履歴に基づいて退店時刻を取得していた。一方、実施形態４では、出口カメラが撮影した撮影画像に基づいて退店時刻を取得する。
図１８は、実施形態４に係る広告評価システム９００の構成を示すブロック図である。広告評価システム９００は、図５に示した広告評価システム７００の構成と比べて広告評価装置１００ａが広告評価装置８００ａに置き換わり、出口カメラ３００ｂが追加されたものである。尚、出口カメラ３００ｂは、撮影装置の一例である。広告評価システム９００が備える各構成について、実施形態３と重複する説明は適宜省略する。図１９は、実施形態４に係る広告評価装置の構成を示すブロック図である。広告評価装置８００ａは、第３の取得部１２１及びフラグ管理部１２２を備える点で広告評価装置１００ａと異なる。その他の構成については同様であるため、説明を適宜省略する。
出口カメラ３００ｂは、例えば、店舗Ｘの出口付近に設置されたデジタルカメラ、カメラを搭載したデジタルサイネージ又は顔認証端末である。出口カメラ３００ｂは、入口カメラ３００ａと共用であってもよい。また、出口カメラ３００ｂは、決済端末４００が備えるカメラであってもよい。出口カメラ３００ｂは、店舗Ｘから退店するユーザを撮影することによって第３の撮影画像を撮影する。第３の撮影画像は、所定のユーザが店舗から退店する際に撮影される画像であり、当該ユーザの顔領域を含む。出口カメラ３００ｂは、第３の撮影画像を、ネットワーク５００を介して広告評価装置８００ａに送信する。
尚、複数のフロアを有する施設に広告評価システム９００を設置する場合、各フロアごとにユーザの入退場及び決済を記録してもよい。この場合、入口カメラ３００ａは、各フロアの入口付近に設置される。入口カメラ３００ａは、フロアに入場したユーザを撮影することによって第１の撮影画像を撮影する。出口カメラ３００ｂは、各フロアの出口付近に設置される。各フロアの出口は、例えば、エスカレータの乗り口、エレベータの乗り口及び階段の乗り口である。出口カメラ３００ｂは、フロアから退場するユーザを撮影することいよって第３の撮影画像を撮影する。
本実施形態において、認証装置２００は、第１の顔認証及び第２の顔認証に加えて、第３の顔認証を行う。第３の顔認証は、第１の顔認証及び第２の顔認証と同様に図８に示す手順で行われる。第３の取得部１２１は、第３の顔認証に成功し、かつ、ユーザが店舗Ｘにおいて不決済の場合、第３の時刻を第２の時刻として取得する。第３の時刻は、所定のユーザが店舗から退店した時刻であり、例えば第３の撮影画像が撮影された時刻である。登録部１１６は、第３の取得部１２１が第３の時刻を取得した場合、店舗において不決済の旨を決済履歴として記憶部１２０に登録する。
本実施形態では、記憶部１２０は、フラグ記憶部を含んでいる。フラグ記憶部は、ユーザの入店フラグをユーザＩＤと対応付けて記憶する。入店フラグは、ユーザの店舗Ｘへの入店の有無を記録するためのフラグである。制御部１１０は、フラグ管理部１２２を備える。フラグ管理部１２２は、入店フラグを管理する。例えば、フラグ管理部１２２は、第１の顔認証に成功した場合、ユーザの入店フラグを設定してフラグ記憶手段に登録し、第２の顔認証に成功した場合、ユーザの入店フラグを解除してフラグ記憶手段を更新する。尚、入店フラグの実装はこれに限定されない。
第３の取得部１２１は、フラグ記憶部にユーザの入店フラグが設定されている場合、当該ユーザが店舗において不決済であるとみなす。フラグ管理部は、第３の顔認証に成功し、かつ、フラグ記憶部に当該ユーザの入店フラグが設定されている場合、当該入店フラグを解除してフラグ記憶部を更新する。算出部１１８は、当該ユーザの入店フラグが解除された場合に、滞在時間を算出する。
次に、図２０～２３を参照して、広告評価処理時における広告評価装置８００ａの動作を説明する。図２０及び図２１は、広告評価処理の流れを示すフローチャートである。図２２は、入店時刻取得処理の流れを示すフローチャートである。図２３は、滞在時間算出処理の流れを示すフローチャートである。
まず、提示部１１１は、ユーザに対応付けられた広告情報を、ユーザ端末１２００等の表示端末に送信することによって当該ユーザに提示する（ステップＳ８０１）。次に、ユーザが店舗Ｘに入店すると、入口カメラ３００ａは、ユーザの顔を含む画像を撮影し、当該撮影画像を、ネットワーク５００を介して広告評価装置８００ａに送信する。認証制御部１１７は、ユーザの入店時における撮影画像（第１の撮影画像）を入口カメラ３００ａから受信することによって取得し（ステップＳ８０２）、認証装置２００に第１の顔認証を行わせる。第１の顔認証に成功した場合、第１の取得部１１３は、当該ユーザの入店時刻（第１の時刻）を取得する（ステップＳ８０３）。尚、ステップＳ８０３において、第１の取得部１１３は、第１の撮影画像の撮影時刻を第１の時刻として取得する。
次に、フラグ管理部１２２は、ユーザの入店フラグをフラグ記憶部に設定する（ステップＳ８０４）。ユーザは、店舗Ｘに入店した後に、店舗Ｘにおいて決済を行い、又は決済を行わずに店舗Ｘから退店する。決済時には、決済端末４００は、ユーザの顔を含む画像を撮影し、当該撮影画像をネットワーク５００を介して広告評価装置８００ａに送信する。退店時には、出口カメラ３００ｂは、ユーザの顔を含む画像を撮影し、当該撮影画像をネットワーク５００を介して広告評価装置８００ａに送信する。決済端末４００又は出口カメラ３００ｂから送信された撮影画像は、認証制御部１１７が受信する。
認証制御部１１７が、退店時の撮影画像（第３の撮影画像）を未取得であり（ステップＳ８０５Ｎｏ）、かつ、決済時の撮影画像（第２の撮影画像）を未取得である（ステップＳ８０６Ｎｏ）場合、ユーザは、店舗Ｘ内にまだ滞在していると考えられる。認証制御部１１７が、第３の撮影画像を取得している（ステップＳ８０５Ｙｅｓ）場合、算出部１１８は、ユーザの店舗Ｘにおける滞在時間を算出する（ステップＳ８０７）。次に、評価部１１９は、決済履歴と滞在時間とに基づいてステップＳ５０１において提示した広告情報の広告効果を評価する（ステップＳ８０８）。
図２１を参照して、認証制御部１１７が、退店時の撮影画像（第３の撮影画像）を未取得であり（ステップＳ８０５Ｎｏ）、かつ、決済時の撮影画像（第２の撮影画像）を取得している（ステップＳ８０６Ｙｅｓ）場合における広告評価装置８００ａの動作を説明する。まず、認証制御部１１７は、第２の撮影画像を取得すると、当該第２の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１７は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ９０１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第２の顔認証を行い、認証結果を広告評価装置８００ａに返信する。認証制御部１１７は、第２の顔認証の成否を受信する（ステップＳ９０２）。
第２の顔認証に失敗した場合（ステップＳ９０３Ｎｏ）、認証制御部１１７は、顔認証に失敗した旨を第２の取得部１１５に返信する（ステップＳ９０４）。第２の顔認証に成功した場合（ステップＳ９０３Ｙｅｓ）、第２の取得部１１５は、決済端末４００に決済処理を指示する（ステップＳ９０５）。決済端末４００は、決済処理の指示を受信すると、決済処理を実行し、当該決済の結果である決済履歴を広告評価装置１００ａに返信する。第２の取得部１１５は、決済端末４００から受信した決済履歴に含まれる決済時刻及び決済履歴を決済時刻（第２の時刻）及び決済履歴として取得する（ステップＳ９０６）。
次に、フラグ管理部１２２は、当該ユーザの入店フラグを解除する（ステップＳ９０７）。次に、登録部１１６は、ステップＳ９０６において取得した決済履歴を記憶部１２０に登録する（ステップＳ９０８）。算出部１１８は、ステップＳ９０８の後、ユーザの店舗Ｘにおける滞在時間を算出する（ステップＳ８０６）。
図２２を参照して、ステップＳ８０３について詳細に説明する。まず、認証制御部１１７は、第１の撮影画像を取得すると、当該第１の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１７は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ１００１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第１の顔認証を行い、認証結果を広告評価装置８００ａに返信する。認証制御部１１７は、第１の顔認証の成否を受信する（ステップＳ１００２）。
第１の顔認証に成功した場合（ステップＳ１００３Ｙｅｓ）、第１の取得部１１３は、第１の撮影画像が撮影された時刻をユーザの店舗Ｘへの入店時刻として取得する（ステップＳ１００４）。第１の顔認証に失敗した場合（ステップＳ１００３Ｎｏ）、認証制御部１１７は、顔認証に失敗した旨を第１の取得部１１３に返信する（ステップＳ１００５）。
図２３を参照して、ステップＳ８０７について詳細に説明する。まず、認証制御部１１７は、第３の撮影画像を取得すると、当該第３の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１７は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ１１０１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第３の顔認証を行い、認証結果を広告評価装置８００ａに返信する。認証制御部１１７は、第３の顔認証の成否を受信する（ステップＳ１１０２）。
第３の顔認証に失敗した場合（ステップＳ１１０３Ｎｏ）、認証制御部１１７は、顔認証に失敗した旨を第３の取得部１２１に返信する（ステップＳ１１０４）。第３の顔認証に成功した場合（ステップＳ１１０３Ｙｅｓ）、フラグ管理部１２２は、当該ユーザの入店フラグが設定されているか否かを確認する（ステップＳ１１０５）。入店フラグが設定されている場合（ステップＳ１１０５Ｙｅｓ）、第３の取得部１２１は、第３の撮影画像が撮影された時刻をユーザの店舗Ｘからの退店時刻として取得する（ステップＳ１１０６）。次に、フラグ管理部１２２は、ユーザの入店フラグを解除してフラグ記憶部を更新する（ステップＳ１１０７）。次に、登録部１１６は、店舗Ｘにおいて不決済の旨を決済履歴として記憶部１２０に登録する（ステップＳ１１０８）。尚、ステップＳ１１０８では、決済履歴にユーザが入退店した店舗情報を含めて記憶部１２０に登録する。
次に、算出部１１８は、ユーザの店舗Ｘにおける滞在時間を算出する（ステップＳ１１０９）。尚、入店フラグが設定されていない場合（ステップＳ１１０５Ｎｏ）及び決済履歴を記憶部１２０に登録した場合（ステップＳ１１０８）も、算出部１１８は、滞在時間を算出する（ステップＳ１１０９）。
以下、決済履歴及び滞在時間に基づく広告効果の評価の具体例を説明する。表２に広告効果の評価の一例を示す。
Figure 0007509196000002
滞在時間が長く（例えば６０分間）、かつ、決済履歴なしの場合、ユーザに提示された広告情報は、当該ユーザの嗜好には合っていたが需要からは外れていたと考えられる。そこで、このような場合、広告効果がやや低かったと評価する。滞在時間が短く（例えば５分間）、かつ、決済履歴なしの場合、ユーザに提示された広告情報は、当該ユーザの嗜好から外れており、かつ、需要に合っていなかったと考えられる。そこで、このような場合、広告効果が低かったと評価する。ユーザが店舗を訪れなかった場合、ユーザに提示された広告情報は、当該ユーザの嗜好及び需要に合っていなかったと考えられる。そこで、このような場合、広告効果が非常に低かったと評価する。
本実施形態に係る広告評価装置は、ユーザが店舗Ｘにおいて決済を行わない場合についても退店時刻を記録可能であるため、滞在時間の算出を網羅的に行うことができる。さらに、本実施形態に係る広告評価装置は、実施形態１～３において説明した効果と同様の効果を奏することができる。
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記Ａ１）
所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、
前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録部と、
前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出部と、
前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価部と、
を備える広告評価装置。
（付記Ａ２）
前記評価部は、複数の前記決済履歴におけるそれぞれの決済金額が所定範囲内である場合、各決済履歴に対応する前記滞在時間の差に応じて前記広告効果を評価する、
付記Ａ１に記載の広告評価装置。
（付記Ａ３）
前記評価部は、複数の前記決済履歴に対応するそれぞれの前記滞在時間が所定範囲内である場合、各決済履歴における決済金額の差に応じて前記広告効果を評価する、
付記Ａ１又はＡ２に記載の広告評価装置。
（付記Ａ４）
前記評価部は、複数の前記決済履歴におけるそれぞれの決済金額の差に応じて前記広告効果を評価する、
付記Ａ１～Ａ３のいずれか一項に記載の広告評価装置。
（付記Ａ５）
前記ユーザと前記店舗の広告情報とを対応付けて記憶する記憶部と、
前記ユーザに対して、当該ユーザに対応付けられた前記広告情報を提示する提示部と、
をさらに備える付記Ａ１～Ａ４のいずれか一項に記載の広告評価装置。
（付記Ａ６）
前記ユーザの前記店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、前記認証装置を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する第３の取得部、
をさらに備え、
前記登録部は、前記第３の時刻が取得された場合、前記店舗において不購入の旨を前記決済履歴として前記記憶部に登録し、
前記評価部は、前記決済履歴が不購入の旨を示す場合、当該決済履歴が決済を示す場合と比べて前記広告効果を低く評価する、
付記Ａ１～Ａ５のいずれか１項に記載の広告評価装置。
（付記Ａ７）
前記第３の取得部は、前記記憶部内に、前記ユーザに対応付けられた今回の滞在における前記決済履歴が存在しない場合、当該ユーザが当該店舗において不決済であるとみなす、
付記Ａ６に記載の広告評価装置。
（付記Ａ８）
前記ユーザの入店フラグを記憶するフラグ記憶部と、
前記第１の顔認証に成功した場合、前記ユーザの入店フラグを設定して前記フラグ記憶部に登録し、前記第２の顔認証に成功した場合、前記ユーザの入店フラグを解除して前記フラグ記憶部を更新するフラグ管理部と、
をさらに備え、
前記第３の取得部は、前記フラグ記憶部に前記ユーザの入店フラグが設定されている場合、当該ユーザが当該店舗において不決済であるとみなし、
前記フラグ管理部は、前記第３の顔認証に成功し、かつ、前記フラグ記憶部に前記ユーザの入店フラグが設定されている場合、当該入店フラグを解除して前記フラグ記憶部を更新し、
前記算出部は、前記ユーザの入店フラグが解除された場合に、前記滞在時間を算出する、
付記Ａ６に記載の広告評価装置。
（付記Ｂ１）
ユーザの店舗における滞在時間を算出する算出部と、
前記滞在時間に基づいて前記ユーザに提示した広告情報の広告効果を評価するを評価部と、
を備える広告評価装置。
（付記Ｃ１）
所定のユーザの顔領域を含む画像を撮影する撮影装置と、
前記ユーザにおける決済を行う決済端末と、
前記撮影装置及び前記決済端末と通信可能な広告評価装置と、
前記ユーザの顔特徴情報を記憶し、前記広告評価装置と通信可能な認証装置と、を備え、
前記広告評価装置は、
前記ユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、
前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録部と、
前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出部と、
前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価部と、
を備える広告評価システム。
（付記Ｃ２）
前記評価部は、複数の前記決済履歴におけるそれぞれの決済金額が所定範囲内である場合、各決済履歴に対応する前記滞在時間の差に応じて前記広告効果を評価する、
付記Ｃ１に記載の広告評価システム。
（付記Ｄ１）
コンピュータが、
所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、
前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、
前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、
を備える広告評価方法。
（付記Ｅ１）
所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、
前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、
前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、
をコンピュータに実行させる広告評価プログラムが格納された非一時的なコンピュータ可読媒体。
（付記Ｆ１）
所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う第１の認証部と、
前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う第２の認証部と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、
前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録部と、
前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出部と、
前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価部と、
を備える広告評価装置。
（付記Ｆ２）
前記評価部は、複数の前記決済履歴におけるそれぞれの決済金額が所定範囲内である場合、各決済履歴に対応する前記滞在時間の差に応じて前記広告効果を評価する、
付記Ｆ１に記載の広告評価装置。
（付記Ｇ１）
コンピュータが、
所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、
前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、
前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、
前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、
を備える広告評価方法。
（付記Ｈ１）
所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、
前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、
前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、
前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、
前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、
をコンピュータに実行させる広告評価プログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１００、１００ａ、６００８００ａ 広告評価装置
７００、９００ 広告評価システム
１１０ 制御部
１１１ 提示部
１１２ 第１の認証部
１１３ 第１の取得部
１１４ 第２の認証部
１１５ 第２の取得部
１１６ 登録部
１１７ 認証制御部
１１８ 算出部
１１９ 評価部
１２１ 第３の取得部
１２２ フラグ管理部
１２０ 記憶部
１３０ メモリ
１４０ 通信部
２００ 認証装置
２１０ 顔特徴ＤＢ
２２０ 顔検出部
２３０ 特徴点抽出部
２４０ 登録部
２５０ 認証部
３００ａ 入口カメラ
３００ｂ 出口カメラ
４００ 決済端末
４１０ カメラ
４２０ 記憶部
４３０ 通信部
４４０ 表示部
４５０ 制御部
４５２ 撮影部
４５３ 登録部
４５４ 認証部
４５５ 決済部
５００ ネットワーク
１２００ ユーザ端末
１２１０ カメラ
１２２０ 記憶部
１２３０ 通信部
１２４０ 表示部
１２５０ 制御部
１２５３ 顔登録部
１２５４ 広告要求部

Claims (18)

  1. 所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得手段と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得手段と、
    前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録手段と、
    前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出手段と、
    前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価手段と、
    前記ユーザの前記店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、前記認証装置を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する第３の取得手段と、
    を備え、
    前記登録手段は、前記第３の時刻が取得された場合、前記店舗において不購入の旨を前記決済履歴として登録し、
    前記評価手段は、前記決済履歴が購入の旨を示す場合、前記滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を高く評価し、前記決済履歴が不購入の旨を示す場合、滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を低く評価する、
    広告評価装置。
  2. 前記評価手段は、複数の前記決済履歴におけるそれぞれの決済金額が所定範囲内である場合、各決済履歴に対応する前記滞在時間の差に応じて前記広告効果を評価する、
    請求項１に記載の広告評価装置。
  3. 前記評価手段は、複数の前記決済履歴に対応するそれぞれの前記滞在時間が所定範囲内である場合、各決済履歴における決済金額の差に応じて前記広告効果を評価する、
    請求項１又は２に記載の広告評価装置。
  4. 前記評価手段は、複数の前記決済履歴におけるそれぞれの決済金額の差に応じて前記広告効果を評価する、
    請求項１～３のいずれか一項に記載の広告評価装置。
  5. 前記ユーザと前記店舗の広告情報とを対応付けて記憶する記憶手段と、
    前記ユーザに対して、当該ユーザに対応付けられた前記広告情報を提示する提示手段と、
    をさらに備える請求項１～４のいずれか一項に記載の広告評価装置。
  6. 前記提示手段は、前記広告効果が所定以上であると評価された場合、前記広告情報の表示頻度を上げ、前記広告効果が所定未満であると評価された場合、前記広告情報の表示頻度を下げる、
    請求項５に記載の広告評価装置。
  7. 前記評価手段は、前記決済履歴が不購入の旨を示す場合、当該決済履歴が決済を示す場合と比べて前記広告効果を低く評価する、
    請求項１～６のいずれか一項に記載の広告評価装置。
  8. 前記第３の取得手段は、前記ユーザに対応付けられた今回の滞在における前記決済履歴が存在しない場合、当該ユーザが当該店舗において不決済であるとみなす、
    請求項１～７のいずれか一項に記載の広告評価装置。
  9. 前記ユーザの入店フラグを記憶するフラグ記憶手段と、
    前記第１の顔認証に成功した場合、前記ユーザの入店フラグを設定して前記フラグ記憶手段に登録し、前記第２の顔認証に成功した場合、前記ユーザの入店フラグを解除して前記フラグ記憶手段を更新するフラグ管理手段と、
    をさらに備え、
    前記第３の取得手段は、前記フラグ記憶手段に前記ユーザの入店フラグが設定されている場合、当該ユーザが当該店舗において不決済であるとみなし、
    前記フラグ管理手段は、前記第３の顔認証に成功し、かつ、前記フラグ記憶手段に前記ユーザの入店フラグが設定されている場合、当該入店フラグを解除して前記フラグ記憶手段を更新し、
    前記算出手段は、前記ユーザの入店フラグが解除された場合に、前記滞在時間を算出する、
    請求項１～８のいずれか一項に記載の広告評価装置。
  10. ユーザの店舗における滞在時間を算出する算出手段と、
    前記ユーザの入店から退店までの決済履歴を取得する取得手段と、
    前記滞在時間及び前記決済履歴に基づいて前記ユーザに提示した広告情報の広告効果を評価する評価手段と、
    を備え、
    前記評価手段は、ユーザの入店から退店までの間に前記ユーザの決済履歴が存在する場合は前記ユーザの入店から決済までの時間を前記滞在時間とし、前記ユーザの入店から退店までの間に前記ユーザの決済履歴が存在しない場合は前記ユーザの入店から退店までの時間を滞在時間とし、前記決済履歴が購入の旨を示す場合、前記滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を高く評価し、前記決済履歴が不購入の旨を示す場合、滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を低く評価する、
    広告評価装置。
  11. 所定のユーザの顔領域を含む画像を撮影する撮影装置と、
    前記ユーザにおける決済を行う決済端末と、
    前記撮影装置及び前記決済端末と通信可能な広告評価装置と、
    前記ユーザの顔特徴情報を記憶し、前記広告評価装置と通信可能な認証装置と、を備え、
    前記広告評価装置は、
    前記ユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得手段と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得手段と、
    前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録手段と、
    前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出手段と、
    前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価手段と、
    前記ユーザの前記店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、前記認証装置を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する第３の取得手段と、
    を備え、
    前記登録手段は、前記第３の時刻が取得された場合、前記店舗において不購入の旨を前記決済履歴として登録し、
    前記評価手段は、前記決済履歴が購入の旨を示す場合、前記滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を高く評価し、前記決済履歴が不購入の旨を示す場合、滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を低く評価する、
    広告評価システム。
  12. 前記評価手段は、複数の前記決済履歴におけるそれぞれの決済金額が所定範囲内である場合、各決済履歴に対応する前記滞在時間の差に応じて前記広告効果を評価する、
    請求項１１に記載の広告評価システム。
  13. コンピュータが、
    所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
    前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、
    前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、
    前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、
    前記ユーザの前記店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、前記認証装置を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する工程と、
    を備え、
    前記第３の時刻が取得された場合、前記店舗において不購入の旨を前記決済履歴として登録し、
    前記決済履歴が購入の旨を示す場合、前記滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を高く評価し、前記決済履歴が不購入の旨を示す場合、滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を低く評価する、
    広告評価方法。
  14. コンピュータに、
    所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
    前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、
    前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、
    前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、
    前記ユーザの前記店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、前記認証装置を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する工程と、
    を実行させ、
    前記第３の時刻が取得された場合、前記店舗において不購入の旨を前記決済履歴として登録し、
    前記決済履歴が購入の旨を示す場合、前記滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を高く評価し、前記決済履歴が不購入の旨を示す場合、滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を低く評価する、
    広告評価プログラム。
  15. 所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う第１の認証手段と、
    前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得手段と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う第２の認証手段と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得手段と、
    前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する登録手段と、
    前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する算出手段と、
    前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する評価手段と、
    前記ユーザの前記店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する第３の取得手段と、
    を備え、
    前記登録手段は、前記第３の時刻が取得された場合、前記店舗において不購入の旨を前記決済履歴として登録し、
    前記評価手段は、前記決済履歴が購入の旨を示す場合、前記滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を高く評価し、前記決済履歴が不購入の旨を示す場合、滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を低く評価する、
    広告評価装置。
  16. 前記評価手段は、複数の前記決済履歴におけるそれぞれの決済金額が所定範囲内である場合、各決済履歴に対応する前記滞在時間の差に応じて前記広告効果を評価する、
    請求項１５に記載の広告評価装置。
  17. コンピュータが、
    所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、
    前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
    前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、
    前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、
    前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、
    前記ユーザの前記店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する工程と、
    を実行させ、
    前記第３の時刻が取得された場合、前記店舗において不購入の旨を前記決済履歴として登録し、
    前記決済履歴が購入の旨を示す場合、前記滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を高く評価し、前記決済履歴が不購入の旨を示す場合、滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を低く評価する、
    広告評価方法。
  18. コンピュータに、
    所定のユーザの所定の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、
    前記ユーザの前記店舗への入店時に当該ユーザが撮影された第１の撮影画像について、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、
    前記店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
    前記第２の顔認証の成功時に前記決済に基づく決済履歴を前記ユーザに対応付けて登録する工程と、
    前記第１の時刻と前記第２の時刻の差分から前記ユーザの前記店舗における滞在時間を算出する工程と、
    前記決済履歴と前記滞在時間とに基づいて、前記ユーザに提示した広告情報の広告効果を評価する工程と、
    前記ユーザの前記店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、予め記憶されている前記ユーザの顔特徴情報を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する工程と、
    を実行させ、
    前記第３の時刻が取得された場合、前記店舗において不購入の旨を前記決済履歴として登録し、
    前記決済履歴が購入の旨を示す場合、前記滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を高く評価し、前記決済履歴が不購入の旨を示す場合、滞在時間が所定時間未満のときに滞在時間が所定時間以上のときに比較して前記広告効果を低く評価する、
    広告評価プログラム。
JP2022512922A 2020-03-30 広告評価装置、システム、方法及びプログラム Active JP7509196B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014616 WO2021199182A1 (ja) 2020-03-30 2020-03-30 広告評価装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2021199182A1 JPWO2021199182A1 (ja) 2021-10-07
JPWO2021199182A5 JPWO2021199182A5 (ja) 2022-11-24
JP7509196B2 true JP7509196B2 (ja) 2024-07-02

Family

ID=

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326208A (ja) 2003-04-22 2004-11-18 Ricoh Co Ltd 顧客管理システム、該システムの機能を実現するプログラム及び記録媒体
JP2007018446A (ja) 2005-07-11 2007-01-25 Fujitsu Ltd 情報提供システムおよび情報提供方法
JP2009003740A (ja) 2007-06-22 2009-01-08 Naltec Inc 電子広告端末を有するシステム
JP2011186585A (ja) 2010-03-05 2011-09-22 Nec Corp 広告効果測定装置、および広告効果測定方法
JP2016143334A (ja) 2015-02-04 2016-08-08 パナソニックＩｐマネジメント株式会社 購買分析装置及び購買分析方法
JP2018194901A (ja) 2017-05-12 2018-12-06 株式会社データフォース 顧客分析システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326208A (ja) 2003-04-22 2004-11-18 Ricoh Co Ltd 顧客管理システム、該システムの機能を実現するプログラム及び記録媒体
JP2007018446A (ja) 2005-07-11 2007-01-25 Fujitsu Ltd 情報提供システムおよび情報提供方法
JP2009003740A (ja) 2007-06-22 2009-01-08 Naltec Inc 電子広告端末を有するシステム
JP2011186585A (ja) 2010-03-05 2011-09-22 Nec Corp 広告効果測定装置、および広告効果測定方法
JP2016143334A (ja) 2015-02-04 2016-08-08 パナソニックＩｐマネジメント株式会社 購買分析装置及び購買分析方法
JP2018194901A (ja) 2017-05-12 2018-12-06 株式会社データフォース 顧客分析システム

Similar Documents

Publication Publication Date Title
JP7140223B2 (ja) 決済処理装置、方法およびプログラム
JP6885385B2 (ja) 販売促進装置、販売促進システム、店舗システム、システム、販売促進方法及びプログラム
JP2020061039A (ja) 情報処理方法、情報処理装置、及びプログラム
US20240087312A1 (en) Information processing device, system, method, and non-transitory computer-readable medium storing program
JP2023009062A (ja) 決済支援装置、決済支援方法及び決済支援プログラム
WO2021199182A1 (ja) 広告評価装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2020061038A (ja) 情報処理方法、情報処理装置、及びプログラム
JP7509196B2 (ja) 広告評価装置、システム、方法及びプログラム
JP7452622B2 (ja) 提示制御装置、システム、方法及びプログラム
JP7367847B2 (ja) 推薦制御装置、システム、方法及びプログラム
JP6605822B2 (ja) 顧客情報システム及びプログラム
JP7351410B2 (ja) 推薦装置、システム、方法及びプログラム
US20230230302A1 (en) Image providing apparatus, image providing system, image providing method, and non-transitory computer readable medium
US20200410502A1 (en) System having imaging apparatus to recognize users and process fare charging, control method of system, and storage medium
US20220337585A1 (en) Data recording device and method
WO2021199109A1 (ja) 情報処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7311300B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7465476B2 (ja) 決済処理装置、方法および決済処理プログラム
JP7287572B2 (ja) 訪問推進装置、システム、方法及びプログラム
JP7400944B2 (ja) 推薦制御装置、システム、方法及びプログラム
WO2021250814A1 (ja) 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
WO2023175968A1 (ja) 施設管理装置、システム及び方法、並びに、コンピュータ可読媒体
US20230252548A1 (en) Recommendation device, recommendation system, recommendation method, and non-transitory computer-readable medium storing recommendation program
JP7485042B2 (ja) 情報処理装置、顔認証促進システム、情報処理方法、プログラム