JP7287572B2 - 訪問推進装置、システム、方法及びプログラム - Google Patents

訪問推進装置、システム、方法及びプログラム Download PDF

Info

Publication number
JP7287572B2
JP7287572B2 JP2022507993A JP2022507993A JP7287572B2 JP 7287572 B2 JP7287572 B2 JP 7287572B2 JP 2022507993 A JP2022507993 A JP 2022507993A JP 2022507993 A JP2022507993 A JP 2022507993A JP 7287572 B2 JP7287572 B2 JP 7287572B2
Authority
JP
Japan
Prior art keywords
user
image
face authentication
authentication
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022507993A
Other languages
English (en)
Other versions
JPWO2021186708A5 (ja
JPWO2021186708A1 (ja
Inventor
晃 亀井
ほなみ 幸
恵介 塚原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021186708A1 publication Critical patent/JPWO2021186708A1/ja
Publication of JPWO2021186708A5 publication Critical patent/JPWO2021186708A5/ja
Priority to JP2023083775A priority Critical patent/JP2023096178A/ja
Application granted granted Critical
Publication of JP7287572B2 publication Critical patent/JP7287572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207Discounts or incentives, e.g. coupons or rebates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Collating Specific Patterns (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、ユーザの訪問を推進するための訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
特許文献1には、複数の地点を訪問することで目的を達成するいわゆるスタンプラリー(ポイントラリー)において、各地点に設置されたカメラで顔認証を行うことにより各地点での訪問の確証とする技術が開示されている。
特開2013-41416号公報
ここで、地域活性化等の目的により、地域内の各地点を実際に訪問した際に物品の購入等(決済)を促進させるために、スタンプラリーを活用することが挙げられる。しかしながら、特許文献1に開示された技術では、スタンプラリーの活用が不十分であった。
本開示は、このような問題点を解決するためになされたものであり、各地点を実際に訪問したユーザに対して各地点の訪問を記録した情報を提供するための訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
本開示に係る訪問推進装置は、ユーザが撮影された撮影画像を取得する取得部と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、を備える。
本開示に係る訪問推進システムは、ユーザの顔領域を含む画像を撮影する所定の撮影装置と、前記所定の撮影装置と通信可能な訪問推進装置と、前記ユーザの顔特徴情報を記憶し、前記訪問推進装置と通信可能な認証装置と、を備え、前記訪問推進装置は、ユーザが前記所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、を備える。
本開示に係る訪問推進方法は、コンピュータが、ユーザが撮影された撮影画像を取得する工程と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、所定の表示端末に前記生成した合成画像を送信する工程と、を備える。
本開示に係る非一時的なコンピュータ可読媒体は、ユーザが撮影された撮影画像を取得する工程と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、所定の表示端末に前記生成した合成画像を送信する工程と、を実行させるプログラムが記録される。
本開示に係る訪問推進装置は、ユーザが撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出する抽出部と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、を備える。
本開示に係る訪問推進方法は、コンピュータが、ユーザが撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、所定の表示端末に前記生成した合成画像を送信する工程と、を備える。
本開示に係る非一時的なコンピュータ可読媒体は、ユーザが撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、所定の表示端末に前記生成した合成画像を送信する工程と、を実行させるプログラムが記録される。
本開示により、各地点を実際に訪問したユーザに対して各地点の訪問を記録した情報を提供するための訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施形態1に係る訪問推進装置の構成を示すブロック図である。 実施形態1に係る訪問推進方法の流れを示すフローチャートである。 実施形態2に係る訪問推進システムの構成を示すブロック図である。 認証装置の構成を示すブロック図である。 顔認証端末の構成を示すブロック図である。 ユーザ端末の構成を示すブロック図である。 顔特徴情報登録処理の流れを示すフローチャートである。 顔認証処理の流れを示すフローチャートである。 認証記録処理の流れを示すフローチャートである。 決済記録処理の流れを示すフローチャートである。 画像生成処理の流れを示すフローチャートである。 合成画像の一例である。 実施形態2に係る訪問推進システムの一動作例を示すシーケンスチャートである。 実施形態2に係る訪問推進システムの一動作例を示すシーケンスチャートである。 実施形態2に係る訪問推進システムの一動作例を示すシーケンスチャートである。 表示端末上に表示されるマップを例示する図である。 表示端末上に表示される決済履歴を例示する図である。 表示端末上に表示される訪問推進画面を例示する図である。 表示端末上に表示される訪問推進画面を例示する図である。 表示端末上に表示される訪問推進画面を例示する図である。 実施形態3に係る訪問推進装置の構成を示すブロック図である。 実施形態3に係る訪問推進システムの構成を示すブロック図である。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
図1は、実施形態1に係る訪問推進装置100の構成を示すブロック図である。訪問推進装置100は、取得部130、認証制御部140、画像生成部170及び出力部180を備える。訪問推進装置100は、ネットワーク500(不図示)に接続される。ネットワーク500は、有線であっても無線であってもよい。ネットワーク500には、図示しない認証装置200及び顔認証端末300が接続される。
取得部130は、ユーザが撮影された撮影画像を取得する。撮影画像は、ユーザの顔を含む画像である。撮影画像は所定の撮影装置により撮影される。所定の撮影装置は、例えば、顔認証端末300が備えるカメラ、及びユーザが所持するスマートフォン等のユーザ端末のカメラである。認証制御部140は、撮影画像からユーザの顔領域又は顔特徴情報を抽出して認証装置200に顔認証を行わせる。認証装置200は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて予め記憶している。
画像生成部170は、複数の地点における顔認証に基づく所定の画像生成条件を満たす場合に、顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する。所定の画像生成条件は、ユーザに提示する合成画像を生成するための条件である。所定の画像生成条件は、例えば、特定の地点で顔認証を行っていること、所定数以上の地点において顔認証を行っていること及びいずれかの地点において決済を行っていること等である。出力部180は、所定の表示端末に画像生成部170が生成した合成画像を送信する。所定の表示端末は、例えば、顔認証端末300、ユーザ端末、店舗端末又は街頭のサイネージである。ユーザ端末は、ユーザが所持するスマートフォン等の通信端末である。店舗端末は、各店舗に設置される端末であり、例えば、ユーザが店舗を出る際に「次は〇〇へ行くのはいかがですか」等と表示する。
所定の表示端末は、上述の所定の撮影装置であってもよいし、異なる端末であってもよい。例えば、ユーザ端末で撮影画像を撮影された場合、出力部180は、当該ユーザ端末に合成画像を送信してもよいし、顔認証端末300等に合成画像を送信してもよい。顔認証端末300で撮影画像を撮影された場合、出力部180は、当該顔認証端末300に合成画像を送信してもよいし、ユーザ端末等に合成画像を送信してもよい。
図2は、実施形態1に係る訪問推進方法の流れを示すフローチャートである。まず、取得部130は、ユーザが撮影された撮影画像を取得する(ステップS101)。次に、認証制御部140は、取得部130が取得した撮影画像からユーザの顔領域又は顔特徴情報を抽出して認証装置200に顔認証を行わせる(ステップS102)。認証装置200は、認証制御部140から受け取った顔領域又は顔特徴情報と、認証装置200内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定し、判定結果を返信する。尚、認証装置200は、ユーザIDと顔特徴情報とを対応付けて記憶しているものとする。そして、認証装置200は、顔認証に成功した場合、成功したユーザIDを判定結果に含めて返信する。
次に、画像生成部170は、複数の地点における顔認証に基づく所定の画像生成条件を満たす場合に、顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する(ステップS103)。次に、出力部180は、所定の表示端末に画像生成部170が生成した合成画像を送信する(ステップS104)。このように、本実施形態に係る訪問推進方法は、各地点を実際に訪問したユーザに対して各地点の訪問を記録した情報を提供することができる。
訪問推進装置100は、図1に示した構成に加えて、履歴記憶部、地点記憶部、認証記録部及び決済記録部等の各構成を備えていてもよい。
履歴記憶部は、ユーザのID、通過地点、通過日時、撮影画像及び決済履歴を記憶する。地点記憶部は、地点IDと当該地点のアクセス情報とを対応付けて記憶する。認証記録部は、顔認証に成功した場合に、当該顔認証に成功したユーザIDと撮影画像とを対応付けて履歴記憶部に記録する。決済記録部は、決済履歴と当該決済履歴に含まれるユーザIDとを対応付けて履歴記憶部に記録する。
尚、訪問推進装置100は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態に係る訪問推進方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、取得部130、認証制御部140、認証記録部、決済記録部、画像生成部170及び出力部180の機能を実現する。
または、取得部130、認証制御部140、認証記録部、決済記録部、画像生成部170及び出力部180は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
また、訪問推進装置100の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、訪問推進装置100の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
実施形態2は、上述した実施形態1の具体例である。図3は、実施形態2に係る訪問推進システム600の構成を示すブロック図である。訪問推進システム600は、少なくとも、訪問推進装置100a及び認証装置200を備え、さらに顔認証端末300及びユーザ端末400のうち少なくとも一方を備える。訪問推進装置100a、認証装置200、顔認証端末300(300A0、300A1、300A2及び300An)及びユーザ端末400のそれぞれは、ネットワーク500を介して接続されている。なお、実施形態1と重複する説明については適宜省略する。
訪問推進装置100aは、履歴DB(DataBase)110a、地点DB120a、取得部130、認証制御部140、認証記録部150、決済記録部160、画像生成部170及び出力部180を備える。訪問推進装置100aは、ユーザの訪問履歴、決済履歴、合成画像の生成及び提示を行う情報処理装置であり、例えば、コンピュータにより実現されるサーバ装置である。
履歴DB110aは、ユーザの通過地点、撮影画像及び決済履歴を蓄積するためのデータベースである。尚、履歴DB110aは、履歴記憶部の一例である。履歴DB110aは、ユーザIDと、当該ユーザの通過地点と、当該通過地点における通過日時と、当該通過地点における撮影画像と、当該ユーザの決済履歴と、を対応付けて記憶している。ユーザの通過地点は、例えば、当該ユーザが顔認証に成功した顔認証端末300の設置位置である。顔認証端末300の設置位置は、例えば、地点A0、A1、A2及びAn(但し、nは自然数。以下、「地点A0~An」と称す。)の識別情報すなわち地点IDである。通過日時は、ユーザが各地点A0~Anを訪問した日時である。
地点A0~Anは、例えば、地域A内における顔認証によるスタンプラリーのチェックポイントである。ユーザは、各地点A0~Anを訪問して顔認証端末300又はユーザ端末400で顔認証を行うことによって、チェックポイントを通過したことを訪問推進装置100aに記録することができる。ユーザは、スタート地点(例えば地点A0)における顔情報の登録を行い、ゴール地点(例えば地点An)において顔認証に成功した場合に、合成画像を得ることができる。尚、各地点A0~Anが店舗である場合、ユーザは、顔認証と共に商品購入等の決済を行うことができるものとする。
訪問した日時は、例えば、ユーザが顔認証に成功した日時及びユーザが撮影画像を撮影した日時等である。撮影画像は、顔認証時に撮影された画像であり、少なくともユーザの顔を含み、さらに当該地点の背景を含んでいてもよい。決済履歴は、当該ユーザのユーザID、顔認証端末の地点ID、決済日時及び決済情報等を含む情報である。決済情報は、例えば、購入品目及び購入金額等である。尚、履歴DB110aに登録される決済履歴は、顔認証決済であってもよいし、その他の方法による決済であってもよい。
地点DB120aは、各地点A0~Anの地点IDと、アクセス情報と、を対応付けて管理するデータベースである。尚、地点DB120aは、地点記憶部の一例である。アクセス情報は、例えば各地点A0~Anに対応したWEB情報へのリンク情報であり、具体的にはURL(uniform resource locator)等である。
取得部130は、顔認証端末300又はユーザ端末400からネットワーク500を介して、顔認証要求、履歴登録要求及び合成画像要求を受信する。言い換えると、取得部130は、顔認証端末300又はユーザ端末400からカメラ310又は410による撮影画像、及び、カメラ310又は410の設置位置情報(以下、単に「設置位置」と呼ぶ。)等を取得する。
認証制御部140は、顔認証要求に含まれる認証用画像から顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置200へ送信して顔認証を行わせる。また、認証制御部140は、認証装置200から顔認証の成否を受信し、顔認証結果を要求元の端末へ返信する。尚、顔認証に成功した場合、顔認証結果には、ユーザIDが含まれる。
認証記録部150は、顔認証に成功した場合、顔認証に成功したユーザIDと、撮影画像と、通過地点と、通過日時と、を対応付けて履歴DB110aに記録する。撮影画像は、例えば、顔認証に用いられたものである。詳細は後述するが、顔認証に成功すると、顔認証端末300又はユーザ端末400は、決済処理等の各種処理を行う。認証記録部150は、決済処理等の各種処理が行われると、顔認証に成功したユーザIDと、撮影画像と、通過地点と、通過日時と、を対応付けて履歴DB110aに記録する。決済記録部160は、決済履歴記録要求を受信した場合、当該決済履歴に含まれるユーザIDを特定する。そして、決済記録部160は、特定したユーザIDと、決済履歴と、を対応付けて履歴DB110aに記録する。
画像生成部170は、合成画像要求を受信した場合、所定の画像生成条件の判定を行う。画像生成部170は、複数の地点において行われた顔認証の結果に基づいて、所定の画像生成条件の判定を行う。所定の画像生成条件は、例えば、複数の地点のうち2以上において前記顔認証に成功し、かつ、当該2以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在することを含む。所定の画像生成条件は、通過地点数が所定数Nより大きいこと等であってもよい。
所定の画像生成条件を満たす場合、画像生成部170は、履歴DB110aからユーザIDに対応付けられた複数の撮影画像を取得し、当該複数の撮影画像を含めた合成画像を生成する。このとき、画像生成部170は、各撮影画像に対応する地点IDを特定し、地点DB120aから特定した地点IDに対応付けられたアクセス情報を取得し、各撮影画像の領域に対応するアクセス情報を設定して合成画像を生成することが好ましい。各撮影画像の領域に対応するアクセス情報を組み込んで合成画像を生成することによって、ユーザは、取得した合成画像に埋め込まれた各撮影画像をクリックすると、当該地点に関連する店舗情報やイベント情報等にアクセスすることができる。そのため、各地点へのユーザの再訪問を促進することができる。
所定の画像生成条件は、決済履歴の条件をさらに含んでいてもよい。決済履歴の条件は、例えば、通過地点の少なくともいずれかで決済履歴があること及び決済履歴の決済金額が所定金額以上であること等である。この場合、画像生成部170は、顔認証に成功したユーザにおける決済履歴が当該決済履歴の条件を満たすか否かを判定する。
所定の画像生成条件は、所定地点における顔認証に成功したことをさらに含んでいてもよい。所定地点における顔認証に成功したこととは、例えば、スタンプラリーの最終地点等の特定地点における顔認証に成功したこと等である。この場合、画像生成部170は、顔認証に成功した撮影画像における地点IDを地点DB120aから取得し、当該地点IDが所定地点における地点IDか否かを判定する。
出力部180は、画像生成部170が生成した合成画像をネットワーク500を介して顔認証に成功した端末又は合成画像要求を行った端末に送信する。出力部180は、顔認証及び合成画像要求を行った端末以外の端末に当該合成画像を送信してもよい。例えば、店舗端末から顔認証を行った場合に、出力部180は、当該店舗端末に合成画像を送信してもよいし、顔認証に成功したユーザが所有するユーザ端末に合成画像を送信してもよい。
認証装置200は、ユーザの顔認証を行う装置である。認証装置200は、顔特徴DB210を備える。顔特徴DB210は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。尚、顔特徴DB210は、顔特徴情報記憶部の一例である。顔認証端末300は、顔認証に使用する画像を撮影する端末である。顔認証端末300は、撮影画像を訪問推進装置100aに送信し、顔認証要求を行う端末である。顔認証端末300は、地域A内の各地点A0~Anに設置されている。具体的には、地点A0には顔認証端末300A0、地点A1には顔認証端末300A1、地点A2には顔認証端末300A2、地点Anには顔認証端末300Anが設置されている。ユーザは、各地点A0~Anを訪問する際に、設置された顔認証端末300A0~300Anのカメラに対して顔を向けて撮影を行い、当該地点における商品購入等を行う。
ユーザ端末400は、ユーザが所持する端末である。ユーザ端末400は、例えば、スマートフォン、タブレット、PC等の通信端末である。ユーザは、顔認証端末300又はユーザ端末400を利用してユーザの顔が含まれる画像を撮影する。顔認証端末300又はユーザ端末400は、撮影画像を訪問推進装置100aに送信する。
次に、図4を参照して、認証装置200の構成について詳細に説明する。図4は、認証装置200の構成を示すブロック図である。認証装置200は、顔特徴DB210、顔検出部220、特徴点抽出部230、登録部240及び認証部250を備える。
顔特徴DB210は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。顔検出部220は、撮影画像が含む顔領域を検出し、特徴点抽出部230に出力する。特徴点抽出部230は、顔検出部220が検出した顔領域から特徴点を抽出し、登録部240に顔特徴情報を出力する。顔特徴情報は、抽出した特徴点の集合である。
登録部240は、顔特徴情報の登録に際して、ユーザIDを新規に発行する。登録部240は、発行したユーザIDと、登録画像から抽出した顔特徴情報と、を対応付けて顔特徴DB210に登録する。認証部250は、顔画像から抽出された顔特徴情報と、顔特徴DB210内の顔特徴情報と、の照合を行う。認証部250は、顔特徴情報が一致している場合、顔認証が成功したと判断し、顔特徴情報が不一致の場合、顔認証が失敗したと判断する。認証部250は、顔認証の成否を訪問推進装置100aに返信する。顔特徴情報の一致の有無は、認証の成否に対応する。また、認証部250は、顔認証に成功した場合、当該成功した顔特徴情報に対応付けられたユーザIDを特定し、特定されたユーザIDと認証成功の旨とを含めた認証結果を訪問推進装置100aに返信する。
図7を参照して、顔特徴DB210にユーザID及び顔特徴情報を登録する際における認証装置200の動作を説明する。図7は、顔特徴情報登録処理の流れを示すフローチャートである。図7では、顔認証端末300が画像を撮影して顔特徴情報を登録する場合について説明を行うが、ユーザ端末400が画像を撮影する場合も同様の手順で顔特徴情報を登録することができる。
顔特徴情報を登録する際には、顔認証端末300は、ユーザの顔を含む画像を登録用画像として撮影し、認証装置200に対してネットワーク500を介して顔特徴情報登録要求を行う。顔特徴情報登録要求は、登録用画像を含む。まず、認証装置200は、顔認証端末300又はユーザ端末400からネットワーク500を介して登録用画像を取得する(ステップS201)。
次に、顔検出部220は、登録用画像が含む顔領域を検出し(ステップS202)、検出した顔領域を特徴点抽出部230に出力する。次に、特徴点抽出部230は、顔領域から特徴点を抽出し、登録部240に顔特徴情報を出力する(ステップS203)。次に、登録部240は、出力された顔特徴情報に対応するユーザIDを発行し、当該ユーザIDと顔特徴情報とを対応付けて顔特徴DB210に登録する(ステップS204)。
図8を参照して、顔認証を行う際における認証装置200の動作を説明する。図8は、顔認証処理の流れを示すフローチャートである。図8では、顔認証端末300が顔認証要求する場合について説明を行うが、ユーザ端末400が顔認証要求する場合も同様の手順で顔認証を行うことができる。
顔認証を行う際には、顔認証端末300は、ユーザの顔を含む画像を認証用画像として撮影し、訪問推進装置100aに対してネットワーク500を介して顔認証要求を行う。顔認証要求は、認証用画像を含む。まず、訪問推進装置100aは、認証用画像から抽出した顔領域又は顔特徴情報を認証装置200に送信する。特徴点抽出部230は、受信した顔領域から顔特徴情報抽出し、又は顔特徴情報を受信することによって、顔特徴情報を取得する(ステップS301)。
次に、認証部250は、特徴点抽出部230が取得した顔特徴情報を顔特徴DB210と照合する(ステップS302)。顔特徴情報が一致した場合(ステップS303Yes)、認証部250は、顔特徴情報が一致したユーザのユーザIDを特定し(ステップS304)、顔認証に成功した旨と特定したユーザIDとを訪問推進装置100aに返信する(ステップS305)。一致する顔特徴情報がなかった場合(ステップS303No)、認証部250は、顔認証に失敗した旨を訪問推進装置100aに返信する(ステップS306)。
次に、図5を参照して、顔認証端末300の構成について詳細に説明する。顔認証端末300は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。顔認証端末300は、顔特徴情報登録要求及び顔認証要求を行う装置である。顔認証端末300は、例えば、顔認証による決済を行う端末、顔認証による入場制御を行う端末、顔認証に応じて情報を提示するデジタルサイネージ等が挙げられるが、これらに限定されない。
図5は、顔認証端末300の構成を示すブロック図である。顔認証端末300は、カメラ310、記憶部320、通信部330、表示部340及び制御部350を備える。カメラ310は、画像を撮影する撮影装置である。記憶部320は、顔認証端末300の各機能を実現するためのプログラムが格納される記憶装置である。通信部330は、ネットワーク500との通信インタフェースである。表示部340は、ユーザに対して顔認証結果及び合成画像等を表示する表示装置である。制御部350は、顔認証端末300が備えるハードウェアの制御を行う。制御部350は、撮影部352、登録部353、認証部354、決済部355及び合成画像要求部356を備える。
撮影部352は、カメラ310に対して撮影要求を行う。カメラ310は、ユーザの顔を含む画像を撮影する。カメラ310が撮影した画像は、登録用画像及び認証用画像として使用される。登録部353は、顔特徴情報登録要求を、ネットワーク500を介して認証装置200に送信する。顔特徴情報登録要求は、カメラ310が撮影した登録用画像を含む。認証部354は、顔認証要求を、ネットワーク500を介して訪問推進装置100aに送信する。顔認証要求は、カメラ310が撮影した認証用画像を含む。認証部354は、訪問推進装置100aから顔認証の成否を受信し、その結果を表示部340に表示させる。
決済部355は、顔認証の成功時に決済処理を実行する。なお、制御部350は、決済部355に代えて図示しない記録部を備えていてもよい。記録部は、顔認証の成功時に顔認証端末300が設置されている施設へのユーザの入退場を記録する。合成画像要求部356は、合成画像要求を、ネットワーク500を介して訪問推進装置100aに送信する。尚、合成画像要求は、決済処理の結果である決済履歴を含む。決済履歴は、例えば、決済した日時、金額、物品及びユーザID等を含む情報である。
次に、図6を参照して、ユーザ端末400の構成について詳細に説明する。図6は、ユーザ端末400の構成を示すブロック図である。ユーザ端末400は、カメラ410、記憶部420、通信部430、表示部440及び制御部450を備える。制御部450は、撮影部452、登録部453、認証部454、決済部455及び合成画像要求部456を備える。ユーザ端末400が備える各構成の機能は、顔認証端末300が備える各構成と同様であるから、説明を省略する。
顔認証端末300及びユーザ端末400は、顔認証が成功した場合、決済処理を行い、その履歴を訪問推進装置100aに登録させる履歴登録要求を行う。以下、図9を参照して、履歴登録要求する際における顔認証端末300の動作を説明する。図9は、履歴登録処理の流れを示すフローチャートである。図9では、顔認証端末300が履歴登録要求する場合について説明を行うが、ユーザ端末400も同様の手順で履歴登録要求を行うことができる。
まず、撮影部352は、カメラ310に対して撮影要求を行い、カメラ310は、ユーザの顔を含む認証用画像を撮影する(ステップS401)。次に、認証部354は、顔認証要求をネットワーク500を介して認証装置200に送信し(ステップS402)、その成否を認証装置200から受信する(ステップS403)。顔認証が成功であった場合(ステップS404Yes)、決済部355は、決済処理を実行し(ステップS405)、決済部355は、訪問推進装置100aに対してネットワーク500を介して履歴登録要求を行う(ステップS406)。顔認証が失敗であった場合(ステップS405No)、決済部355は、表示部340に顔認証が失敗した旨を表示させる。
尚、図9では、顔認証に成功した場合に決済処理を行う場合について説明を行ったが、顔認証端末300又はユーザ端末400は、決済処理以外の各種処理を行う場合も同様の手順で、その履歴を訪問推進装置100aに登録させる。決済処理以外の各種処理としては、例えば、顔認証に成功したユーザにおける記念撮影等が考えられる。
図10は、決済記録処理の流れを示すフローチャートである。上述のステップS406において送信される履歴登録要求には、決済履歴が含まれている。決済履歴には、顔認証に成功したユーザID、顔認証端末300の地点ID、決済日時及び決済情報等が含まれている。訪問推進装置100aは、履歴登録要求を受信すると、当該履歴登録要求に含まれる決済履歴を取得し(ステップS501)、決済履歴に含まれるユーザIDを特定する(ステップS502)。次に、特定したユーザIDと決済履歴とを対応付けて履歴DB110aに登録する(ステップS503)。尚、決済処理以外の各種処理を行う場合も同様の手順で、その履歴を登録する。
訪問推進装置100aは、顔認証に成功した場合又は合成画像要求を受信した場合に、合成画像を生成する。訪問推進装置100aは、例えば、ユーザが地域A内の全ての地点A0~Anにおいて顔認証に成功した場合等に、合成画像を生成する。また、合成画像要求を行うタイミングは、ユーザが任意に指定してもよい。以下、図11を参照して、合成画像要求に応じて合成画像を生成する際における訪問推進装置100aの動作を説明する。図11は、画像生成処理の流れを示すフローチャートである。
図11に示す例では、所定の画像生成条件は、特定地点を含むm箇所以上の地点で顔認証に成功しており、かつ、顔認証に成功したいずれかの地点において決済履歴があること、とする(尚、mは、2以上n以下の自然数である。)。まず、取得部130が合成画像要求を受信すると(ステップS601)、画像生成部170は、特定地点において顔認証に成功したか否かを判定する(ステップS602)。具体的には、画像生成部170は、当該合成画像要求に含まれるユーザIDと対応付けられた通過地点を履歴DB110aから読み出し、読み出した通過地点に特定地点が含まれているか否かを判定する。履歴DB110aに登録された通過地点は、顔認証に成功した地点であるため、通過地点に特定地点が含まれていれば、特定地点において顔認証に成功したといえる。特定地点において顔認証に成功していない場合(ステップS602No)、画像生成部170は、合成画像を提供できない旨を出力する(ステップS608)。
特定地点において顔認証に成功している場合(ステップS602Yes)、画像生成部170は、ユーザの訪問地点数がm以上であるか否かを判定する(ステップS603)。訪問地点数がm未満である場合(ステップS603No)、画像生成部170は、合成画像を提供できない旨を出力する(ステップS608)。訪問地点数がm以上である場合(ステップS603Yes)、画像生成部170は、顔認証に成功したいずれかの地点において決済履歴があるか否かを判定する(ステップS604)。顔認証に成功したいずれの地点においても決済履歴がない場合(ステップS604No)、画像生成部170は、合成画像を提供できない旨を出力する(ステップS608)。
顔認証に成功したいずれかの地点において決済履歴がある場合(ステップS604Yes)、画像生成部170は、履歴DB110aから当該ユーザIDと対応付けられた複数の撮影画像を取得する(ステップS605)。次に、画像生成部170は、取得した複数の撮影画像を含めた合成画像を生成し(ステップS606)、当該合成画像を所定の表示端末に出力する(ステップS607)。所定の表示端末は、ネットワーク500を介して合成画像を受信し、画面に表示する。
図12は、合成画像の一例である。図12に示すように、合成画像には、ユーザが各地点において撮影した画像が埋め込まれている。ユーザが撮影された画像を埋め込むことによって、合成画像のオリジナリティを高めることができる。また、合成画像には、日付、ユーザの名前及び各地点の名称等が含まれていてもよい。
尚、合成画像に含まれる各画像及び各地点の名称等には、当該地点の詳細情報にアクセスするリンクが貼られていてもよい。各地点の詳細情報としては、例えば、店舗の種類及び地図等が挙げられる。ユーザがリンクをクリックすると、例えば、当該地点の詳細情報及び当該地点における決済情報等が表示される。また、ユーザがリンクをクリックすると、SNS(social networking service)等への投稿用画面が表示されてもよい。ユーザが当該投稿用画面から投稿を行った場合、当該投稿に基づいて、他のユーザに提示する推薦情報を支援してもよい。
次に、図13~15を参照して、ユーザが各地点A0、A1、A2、Anをこの順に訪問し、地点A2において決済を行う際における訪問推進システム600の動作を説明する。図13~15は、実施形態2に係る訪問推進システムの一動作例を示すシーケンスチャートである。
図13に示すように、ユーザは、まず、顔認証端末300A0又はユーザ端末400により撮影画像を撮影する。撮影を行った端末は、ネットワーク500を介して認証装置200に顔情報登録要求を送信する(ステップS701)。顔情報登録要求は、ユーザの顔特徴情報の登録要求である。顔情報登録要求には、撮影画像が含まれる。認証装置200は、顔情報登録要求を受信すると、新規のユーザIDを発行し、当該ユーザIDと、撮影画像から抽出した顔特徴情報と、を対応付けて顔特徴DB210に登録する。
次に、ユーザは、地点A1に移動し、顔認証端末300A1又はユーザ端末400により撮影画像を撮影する。撮影を行った端末は、ネットワーク500を介して訪問推進装置100aに顔認証要求を送信する(ステップS702)。訪問推進装置100aは、顔認証要求を受信すると、顔認証要求に含まれる撮影画像から顔領域又は顔特徴情報を抽出して認証装置200に送信する(ステップS703)。認証装置200は、顔領域を受信した場合、当該顔領域から顔特徴情報を抽出し、当該顔特徴情報と顔特徴DB210に登録された顔特徴情報を照合して顔認証を行う。認証装置200は、顔特徴情報を受信した場合、当該顔特徴情報と顔特徴DB210に登録された顔特徴情報を照合して顔認証を行う。
次に、認証装置200は、顔認証結果を訪問推進装置100aに送信する(ステップS704)。顔認証に成功した場合、顔認証結果には、顔認証に成功した旨と、顔認証に成功したユーザIDと、が含まれる。訪問推進装置100aは、受信した顔認証結果を顔認証端末300A1又はユーザ端末400に送信する(ステップS705)。また、訪問推進装置100aは、ステップS702において受信した撮影画像と、ステップS704において受信した顔認証結果に含まれるユーザIDと、を対応付けて履歴DB110aに記録する。次に、ユーザは、地点A2に移動する。
次に、図14に示すように、ユーザは、顔認証端末300A2又はユーザ端末400により撮影画像を撮影する。撮影を行った端末は、ネットワーク500を介して訪問推進装置100aに顔認証要求を送信する(ステップS801)。訪問推進装置100aは、顔認証要求を受信すると、顔認証要求に含まれる撮影画像から顔領域又は顔特徴情報を抽出して認証装置200に送信する(ステップS802)。認証装置200は、受信した顔領域又は顔特徴情報に基づいて顔認証を行い、当該顔認証結果を訪問推進装置100aに送信する(ステップS803)。
訪問推進装置100aは、受信した顔認証結果を顔認証端末300A2又はユーザ端末400に送信する(ステップS804)。また、訪問推進装置100aは、ステップS801において受信した撮影画像と、ステップS803において受信した顔認証結果に含まれるユーザIDと、を対応付けて履歴DB110aに記録する。次に、ユーザは、顔認証端末300A2又はユーザ端末400で決済処理を行う。決済処理を行った端末は、ネットワーク500を介して訪問推進装置100aに履歴登録要求を送信する(ステップS805)。履歴登録要求には、顔認証に成功したユーザID、顔認証端末300の地点ID、決済日時及び決済情報等の決済履歴が含まれている。訪問推進装置100aは、履歴登録要求を受信すると、当該履歴登録要求に含まれるユーザIDと決済履歴とを対応付けて履歴DB110aに記録する。次に、ユーザは、地点Anに移動する。
次に、図15に示すように、ユーザは、顔認証端末300An又はユーザ端末400により撮影画像を撮影する。撮影を行った端末は、ネットワーク500を介して訪問推進装置100aに顔認証要求を送信する(ステップS901)。訪問推進装置100aは、顔認証要求を受信すると、顔認証要求に含まれる撮影画像から顔領域又は顔特徴情報を抽出して認証装置200に送信する(ステップS902)。認証装置200は、受信した顔領域又は顔特徴情報に基づいて顔認証を行い、当該顔認証結果を訪問推進装置100aに送信する(ステップS903)。
訪問推進装置100aは、受信した顔認証結果を顔認証端末300An又はユーザ端末400に送信する(ステップS904)。また、訪問推進装置100aは、ステップS901において受信した撮影画像と、ステップS903において受信した顔認証結果に含まれるユーザIDと、を対応付けて履歴DB110aに記録する。次に、顔認証端末300An又はユーザ端末400は、ユーザの指定によって合成画像要求をネットワーク500を介して訪問推進装置100aに送信する(ステップS905)。合成画像要求には、ユーザIDが含まれる。尚、顔認証端末300An又はユーザ端末400は、所定の画像生成条件を満たす場合、ユーザの指定に依らずに合成画像要求を訪問推進装置100aに送信してもよい。
訪問推進装置100aは、合成画像要求を受信すると、当該合成画像要求に含まれるユーザIDに対応付けられた通過地点及び決済履歴等を履歴DB110aから取得して所定の画像生成条件を満たすか否かを判定する。訪問推進装置100aは、所定の画像生成条件を満たす場合、履歴DB110aから当該ユーザIDに対応付けられた複数の撮影画像を取得し、合成画像を生成する。次に、訪問推進装置100aは、生成した合成画像を顔認証端末300An又はユーザ端末400に送信する(ステップS906)。合成画像を受信した端末は、当該合成画像を画面に表示する。
尚、ユーザの通過地点及び決済履歴等が所定の画像生成条件を満たさない等の場合、出力部180は、所定の画像生成条件を満たすために必要な条件を示す情報(例えば、後述する訪問推進情報)を顔認証端末300An又はユーザ端末400に送信してもよい。
ここで、図16は、表示端末上に表示されるマップを例示する図である。図16では、ユーザ端末400に決済履歴を表示する場合を示している。図16に示すように、ユーザ端末400は、ユーザの通過地点及び決済履歴をマップ上に表示してもよい。図17は、表示端末上に表示される決済履歴を例示する図である。図17に示すように、ユーザ端末400は、ユーザの決済履歴を時系列で表示してもよい。
図16及び図17では、ユーザの決済履歴のみを表示端末上に表示する場合を示しているが、表示端末上には、当該決済履歴に加えて、訪問推進情報を表示してもよい。訪問推進情報は、訪問推進地点に関する情報である。訪問推進地点は、例えば、ユーザがまだ訪問しておらず、かつ、所定の画像生成条件を満たすために訪問が必要な地点である。訪問推進地点は、ユーザが訪問済みであり、かつ、所定額以上の決済を行っていない地点等であってもよい。
尚、訪問推進地点の情報は、ユーザの現在位置から訪問推進地点までのルート案内等を含んでいてもよい。ルート案内は、ユーザの現在位置から訪問推進地点までの距離及び所要時間等を含んでいてもよい。また、表示端末上には、複数の訪問推進情報を表示してもよい。複数の訪問推進情報を表示する場合、各訪問推進情報の詳細及びルート案内等を同時に表示してもよい。ユーザは、各訪問推進情報の詳細及びルート案内等を検討し、訪問推進情報同士を比較することができる。
図18~20は、表示端末上に表示される訪問推進画面を例示する図である。訪問推進画面には、少なくとも訪問推進情報が表示され、ユーザの訪問地点及び決済履歴等がさらに表示されてもよい。尚、図18~20に示す訪問推進画面には、各地点の詳細情報にアクセスするリンクが貼られていてもよい。ユーザが各地点へのリンクをクリックすると、訪問推進画面には、当該地点の詳細情報が表示されてもよい。
図18は、所定の画像生成条件を10か所の地点A0~A9の全てに訪問することとした場合における訪問推進画面の一例である。図18に示すように、訪問推進画面には、例えば、ユーザが現時点でどの地点に訪問済みであるかが表示される。また、訪問推進画面には、どの地点を訪問すれば所定の画像生成条件を満たすことができるか、及び所定の画像生成条件を満たすために訪問が必要な地点の数等が表示されてもよい。具体的には、図18に示すように、所定の画像生成条件を満たすために訪問が必要な地点の数が10か所であり、ユーザは、現時点で3か所訪問している。この場合、あと、7か所訪問すれば合成画像を取得可能である旨を表示してもよい。
図19は、所定の画像生成条件を5か所の地点A0~A4における決済の合計金額が2000円以上であることとした場合における訪問推進画面の一例である。図19に示すように、訪問推進画面には、例えば、ユーザが各地点A0~A4において行った決済の金額が表示される。また、訪問推進画面には、所定の画像生成条件を満たすために必要な購入金額等が表示されてもよい。具体的には、図19に示すように、所定の画像生成条件を満たすために必要な合計購入金額が2000円であり、現時点での合計購入金額が1500円である場合、あと500円購入すれば合成画像を取得可能である旨を表示してもよい。
図20は、所定の画像生成条件を各地点A0~A4において500円以上の決済を行うこととした場合における訪問推進画面の一例である。図20に示すように、訪問推進画面には、例えば、ユーザが各地点A0~A4において行った決済の金額が表示される。また、訪問推進画面には、所定の画像生成条件を満たすために必要な各地点A0~A4における購入金額及び所定の画像生成条件を満たすために訪問が必要な地点の数等が表示されていてもよい。具体的には、図20に示すように、所定の画像生成条件を満たすために必要な購入金額が各地点それぞれ500円以上であり、現時点で2地点における購入金額が500円以上であり、かつ、1地点における購入金額が200円であるとする。この場合、あと2地点に訪問して500円以上購入し、既に200円購入した地点においてさらに300円購入するろ合成画像を取得可能である旨を表示してもよい。
<実施形態3>
実施形態3は、上述した実施形態1~2の変形例である。実施形態1~2に係る訪問推進装置100,100a及び700は、外部の認証装置200を用いて顔認証を行っていた。一方、本実施形態に係る訪問推進装置800は、装置内部で顔認証を行う。
図21は、実施形態3に係る訪問推進装置800の構成を示すブロック図である。訪問推進装置800は、図1に示した訪問推進装置100の構成と比べて、認証制御部140が顔特徴抽出部140a及び顔認証部190に置き換わり、顔特徴DB191(不図示)が追加されたものである。尚、顔特徴DB191は、顔特徴情報記憶部の一例である。訪問推進装置800が備える各構成について、実施形態2と重複する説明は適宜省略する。図22は、実施形態3に係る訪問推進システム900の構成を示すブロック図である。訪問推進システム900は、認証装置200を備えていない点及び訪問推進装置800を備える点で訪問推進システム600と異なる。その他の構成については同様であるため、説明を適宜省略する。
顔特徴抽出部140aは、撮影画像から顔領域又は顔特徴情報を抽出する。顔認証部190は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。顔特徴DB191は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。訪問推進装置800は、訪問推進装置100と同様に図2に示す流れで合成画像を生成する。但し、ステップS103において、顔特徴抽出部140aは、取得部130が取得した撮影画像から顔領域又は顔特徴情報を抽出し、顔認証部190は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。さらに、本実施形態に係る訪問推進装置は、実施形態1~2において説明した効果と同様の効果を奏することができる。
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記A1)
ユーザが撮影された撮影画像を取得する取得部と、
前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、
所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、
を備える訪問推進装置。
(付記A2)
前記所定の画像生成条件は、前記複数の地点のうち2以上において前記顔認証に成功し、かつ、当該2以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合を含む、
付記A1に記載の訪問推進装置。
(付記A3)
前記出力部は、
前記顔認証に成功した地点において前記所定の画像生成条件を満たしていない場合に、当該画像生成条件を満たすために必要な条件を示す情報を前記表示端末へ送信する、
付記A1又はA2に記載の訪問推進装置。
(付記A4)
さらに、
前記顔認証に成功した場合に、前記顔認証に成功したユーザIDと前記撮影画像とを対応付けて履歴記憶部に記録する認証記録部と、を備え、
前記画像生成部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた撮影画像を前記履歴記憶部から取得し、当該撮影画像を用いて合成画像を生成する、
付記A1~A3のいずれか一項に記載の訪問推進装置。
(付記A5)
さらに、決済履歴と当該決済履歴に含まれるユーザIDとを対応付けて前記履歴記憶部に記録する決済記録部を備え、
前記所定の画像生成条件は、決済履歴の条件を含み、
前記画像生成部は、前記顔認証に成功したユーザにおける決済履歴が前記所定の決済履歴の条件を満たすか否かを判定する、
付記A4に記載の訪問推進装置。
(付記A6)
さらに、前記撮影画像における地点IDと当該地点のアクセス情報とを対応付けて記憶する地点記憶部を備え、
前記画像生成部は、前記撮影画像の地点IDに対応付けられたアクセス情報を前記地点記憶部から取得し、当該アクセス情報を組み込んで前記合成画像を生成する、
付記A1~A5のいずれか一項に記載の訪問推進装置。
(付記A7)
前記所定の画像生成条件は、所定地点における顔認証に成功したことを含み、
前記画像生成部は、前記顔認証に成功した前記撮影画像における地点IDを前記地点記憶手段から取得し、当該地点IDが前記所定地点における地点IDか否かを判定する、
付記A6に記載の訪問推進装置。
(付記B1)
ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
前記所定の撮影装置と通信可能な訪問推進装置と、
前記ユーザの顔特徴情報を記憶し、前記訪問推進装置と通信可能な認証装置と、を備え、
前記訪問推進装置は、
ユーザが前記所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、
所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、
を備える訪問推進システム。
(付記B2)
前記所定の画像生成条件は、前記複数の地点のうち2以上において前記顔認証に成功し、かつ、当該2以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合である、
付記B1に記載の訪問推進システム。
(付記C1)
コンピュータが、
ユーザが撮影された撮影画像を取得する工程と、
前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
所定の表示端末に前記生成した合成画像を送信する工程と、
を備える訪問推進方法。
(付記D1)
ユーザが撮影された撮影画像を取得する工程と、
前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
所定の表示端末に前記生成した合成画像を送信する工程と、
をコンピュータに実行させる訪問推進プログラムが格納された非一時的なコンピュータ可読媒体。
(付記E1)
ユーザが撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出する抽出部と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、
複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、
所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、
を備える訪問推進装置。
(付記E2)
前記所定の画像生成条件は、前記複数の地点のうち2以上において前記顔認証に成功し、かつ、当該2以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合である、
付記E1に記載の訪問推進装置。
(付記F1)
コンピュータが、
ユーザが撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
所定の表示端末に前記生成した合成画像を送信する工程と、
を備える訪問推進方法。
(付記G1)
ユーザが撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
所定の表示端末に前記生成した合成画像を送信する工程と、
をコンピュータに実行させる訪問推進プログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
100、100a、800 訪問推進装置
600、900 訪問推進システム
110a 履歴DB
120a 地点DB
130 取得部
140 認証制御部
140a 顔特徴抽出部
150 認証記録部
160 決済記録部
170 画像生成部
180 出力部
190 顔認証部
191 顔特徴DB
200 認証装置
210 顔特徴DB
220 顔検出部
230 特徴点抽出部
240 登録部
250 認証部
300(300A0~300An) 顔認証端末
310 カメラ
320 記憶部
330 通信部
340 表示部
350 制御部
352 撮影部
353 登録部
354 認証部
355 決済部
356 合成画像要求部
400 ユーザ端末
410 カメラ
420 記憶部
430 通信部
440 表示部
450 制御部
452 撮影部
453 登録部
454 認証部
455 決済部
456 合成画像要求部
500 ネットワーク

Claims (15)

  1. ユーザが撮影された撮影画像を取得する取得手段と、
    前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御手段と、
    複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成手段と、
    所定の表示端末に前記画像生成手段が生成した合成画像を送信する出力手段と、
    を備える訪問推進装置。
  2. 前記所定の画像生成条件は、前記複数の地点のうち2以上において前記顔認証に成功し、かつ、当該2以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合を含む、
    請求項1に記載の訪問推進装置。
  3. 前記出力手段は、
    前記顔認証に成功した地点において前記所定の画像生成条件を満たしていない場合に、当該画像生成条件を満たすために必要な条件を示す情報を前記表示端末へ送信する、
    請求項1又は2に記載の訪問推進装置。
  4. さらに、
    前記顔認証に成功した場合に、前記顔認証に成功したユーザIDと前記撮影画像とを対応付けて履歴記憶手段に記録する認証記録手段を備え、
    前記画像生成手段は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた撮影画像を前記履歴記憶手段から取得し、当該撮影画像を用いて合成画像を生成する、
    請求項1~3のいずれか一項に記載の訪問推進装置。
  5. さらに、決済履歴と当該決済履歴に含まれるユーザIDとを対応付けて前記履歴記憶手段に記録する決済記録手段を備え、
    前記所定の画像生成条件は、決済履歴の条件を含み、
    前記画像生成手段は、前記顔認証に成功したユーザにおける決済履歴が前記所定の決済履歴の条件を満たすか否かを判定する、
    請求項4に記載の訪問推進装置。
  6. さらに、前記撮影画像における地点IDと当該地点のアクセス情報とを対応付けて記憶する地点記憶手段を備え、
    前記画像生成手段は、前記撮影画像の地点IDに対応付けられたアクセス情報を前記地点記憶手段から取得し、当該アクセス情報を組み込んで前記合成画像を生成する、
    請求項1~5のいずれか一項に記載の訪問推進装置。
  7. 前記所定の画像生成条件は、所定地点における顔認証に成功したことを含み、
    前記画像生成手段は、前記顔認証に成功した前記撮影画像における地点IDを前記地点記憶手段から取得し、当該地点IDが前記所定地点における地点IDか否かを判定する、
    請求項6に記載の訪問推進装置。
  8. ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
    前記所定の撮影装置と通信可能な訪問推進装置と、
    前記ユーザの顔特徴情報を記憶し、前記訪問推進装置と通信可能な認証装置と、を備え、
    前記訪問推進装置は、
    ユーザが前記所定の撮影装置により撮影された撮影画像を取得する取得手段と、
    前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御手段と、
    複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成手段と、
    所定の表示端末に前記画像生成手段が生成した合成画像を送信する出力手段と、
    を備える訪問推進システム。
  9. 前記所定の画像生成条件は、前記複数の地点のうち2以上において前記顔認証に成功し、かつ、当該2以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合である、
    請求項8に記載の訪問推進システム。
  10. コンピュータが、
    ユーザが撮影された撮影画像を取得する工程と、
    前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
    複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
    所定の表示端末に前記生成した合成画像を送信する工程と、
    を備える訪問推進方法。
  11. ユーザが撮影された撮影画像を取得する工程と、
    前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
    複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
    所定の表示端末に前記生成した合成画像を送信する工程と、
    をコンピュータに実行させる訪問推進プログラム
  12. ユーザが撮影された撮影画像を取得する取得手段と、
    前記撮影画像から顔領域又は顔特徴情報を抽出する抽出手段と、
    前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証手段と、
    複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成手段と、
    所定の表示端末に前記画像生成手段が生成した合成画像を送信する出力手段と、
    を備える訪問推進装置。
  13. 前記所定の画像生成条件は、前記複数の地点のうち2以上において前記顔認証に成功し、かつ、当該2以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合である、
    請求項12に記載の訪問推進装置。
  14. コンピュータが、
    ユーザが撮影された撮影画像を取得する工程と、
    前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
    前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
    複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
    所定の表示端末に前記生成した合成画像を送信する工程と、
    を備える訪問推進方法。
  15. ユーザが撮影された撮影画像を取得する工程と、
    前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
    前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
    複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
    所定の表示端末に前記生成した合成画像を送信する工程と、
    をコンピュータに実行させる訪問推進プログラム
JP2022507993A 2020-03-19 2020-03-19 訪問推進装置、システム、方法及びプログラム Active JP7287572B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023083775A JP2023096178A (ja) 2020-03-19 2023-05-22 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012437 WO2021186708A1 (ja) 2020-03-19 2020-03-19 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023083775A Division JP2023096178A (ja) 2020-03-19 2023-05-22 情報処理装置

Publications (3)

Publication Number Publication Date
JPWO2021186708A1 JPWO2021186708A1 (ja) 2021-09-23
JPWO2021186708A5 JPWO2021186708A5 (ja) 2022-04-27
JP7287572B2 true JP7287572B2 (ja) 2023-06-06

Family

ID=77769160

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022507993A Active JP7287572B2 (ja) 2020-03-19 2020-03-19 訪問推進装置、システム、方法及びプログラム
JP2023083775A Pending JP2023096178A (ja) 2020-03-19 2023-05-22 情報処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023083775A Pending JP2023096178A (ja) 2020-03-19 2023-05-22 情報処理装置

Country Status (4)

Country Link
US (3) US20220335461A1 (ja)
EP (1) EP4123561A4 (ja)
JP (2) JP7287572B2 (ja)
WO (1) WO2021186708A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008120576A1 (ja) 2007-03-29 2008-10-09 Kabushiki Kaisha Toshiba 辞書データの登録装置及び辞書データの登録方法
JP5101231B2 (ja) 2007-10-10 2012-12-19 ヤマハ発動機株式会社 鞍乗型車両
JP2013041416A (ja) 2011-08-16 2013-02-28 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2019021961A (ja) 2017-07-11 2019-02-07 大日本印刷株式会社 撮影編集プログラム、携帯端末、及び撮影編集システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3259058B2 (ja) * 1991-10-07 2002-02-18 大日本印刷株式会社 カードシステムおよびその情報記録媒体としてのカード
US8085995B2 (en) * 2006-12-01 2011-12-27 Google Inc. Identifying images using face recognition
JP2009087232A (ja) * 2007-10-02 2009-04-23 Toshiba Corp 人物認証装置および人物認証方法
JP2016009453A (ja) * 2014-06-26 2016-01-18 オムロン株式会社 顔認証装置および顔認証方法
JP6548998B2 (ja) * 2015-09-07 2019-07-24 株式会社東芝 人物検索システムおよび人物検索方法
WO2017100801A1 (en) * 2015-12-07 2017-06-15 Blazer and Flip Flops, Inc. dba The Experience Engine Wearable device
US11055513B2 (en) * 2016-02-26 2021-07-06 Nec Corporation Face recognition system, face recognition method, and storage medium
CA3125586A1 (en) * 2018-06-11 2019-12-11 Laurence Hamid Liveness detection
US20210233103A1 (en) * 2018-07-05 2021-07-29 Panasonic Intellectual Property Management Co., Ltd. Sales promotion system and sales promotion method
JP7380453B2 (ja) * 2020-07-01 2023-11-15 トヨタ自動車株式会社 サーバ装置、情報処理システム、及びシステムの動作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008120576A1 (ja) 2007-03-29 2008-10-09 Kabushiki Kaisha Toshiba 辞書データの登録装置及び辞書データの登録方法
JP5101231B2 (ja) 2007-10-10 2012-12-19 ヤマハ発動機株式会社 鞍乗型車両
JP2013041416A (ja) 2011-08-16 2013-02-28 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2019021961A (ja) 2017-07-11 2019-02-07 大日本印刷株式会社 撮影編集プログラム、携帯端末、及び撮影編集システム

Also Published As

Publication number Publication date
EP4123561A1 (en) 2023-01-25
EP4123561A4 (en) 2023-05-03
JP2023096178A (ja) 2023-07-06
JPWO2021186708A1 (ja) 2021-09-23
WO2021186708A1 (ja) 2021-09-23
US20220335461A1 (en) 2022-10-20
US20240086956A1 (en) 2024-03-14
US20240086957A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
CN107103218B (zh) 一种业务实现方法和装置
KR101983558B1 (ko) 보험금 청구 하는 방법 및 장치
CN110175849B (zh) 收款方法、装置、设备、服务器及系统
EP4022551A1 (en) Systems, methods and programmed products for tracking delivery and performance of static advertisements within digital advertising platform
CN110598474B (zh) 基于区块链的数据获取方法、系统、装置及存储介质
US20240087313A1 (en) Information processing device, system, method, and non-transitory computer-readable medium storing program
JP7548309B2 (ja) 警告装置、システム、方法及びプログラム
JP2022051923A (ja) 関心地点リストの購読とレビュー情報とに基づいて報酬を提供する方法およびシステム
WO2021250817A1 (ja) 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
JP2020113005A (ja) 情報処理方法、情報処理装置、及びプログラム
US12120110B2 (en) Data recording device and method
JP7287572B2 (ja) 訪問推進装置、システム、方法及びプログラム
JP7367847B2 (ja) 推薦制御装置、システム、方法及びプログラム
JP7509196B2 (ja) 広告評価装置、システム、方法及びプログラム
JP7452622B2 (ja) 提示制御装置、システム、方法及びプログラム
WO2022176342A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
JP7400944B2 (ja) 推薦制御装置、システム、方法及びプログラム
US20230222834A1 (en) Image providing apparatus, image providing system, image providing method, and non-transitory computer readable medium
CN115700693A (zh) 电子卡券发放方法、装置、计算机设备及存储介质
JP7559818B2 (ja) 情報処理装置、システム、方法及びプログラム
CN112749363A (zh) 网络广告发布与获取方法、装置、存储介质和计算机设备
JP7351410B2 (ja) 推薦装置、システム、方法及びプログラム
WO2022009414A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2023175968A1 (ja) 施設管理装置、システム及び方法、並びに、コンピュータ可読媒体
WO2022009413A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R151 Written notification of patent or utility model registration

Ref document number: 7287572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151