JP7452622B2 - 提示制御装置、システム、方法及びプログラム - Google Patents

提示制御装置、システム、方法及びプログラム Download PDF

Info

Publication number
JP7452622B2
JP7452622B2 JP2022504792A JP2022504792A JP7452622B2 JP 7452622 B2 JP7452622 B2 JP 7452622B2 JP 2022504792 A JP2022504792 A JP 2022504792A JP 2022504792 A JP2022504792 A JP 2022504792A JP 7452622 B2 JP7452622 B2 JP 7452622B2
Authority
JP
Japan
Prior art keywords
user
presentation
history
authentication
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504792A
Other languages
English (en)
Other versions
JPWO2021176535A5 (ja
JPWO2021176535A1 (ja
Inventor
祐輔 森
雄司 山口
ほなみ 幸
秀治 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021176535A1 publication Critical patent/JPWO2021176535A1/ja
Publication of JPWO2021176535A5 publication Critical patent/JPWO2021176535A5/ja
Application granted granted Critical
Publication of JP7452622B2 publication Critical patent/JP7452622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484Personalized, e.g. from learned user behaviour or user-defined profiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/40Transportation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Library & Information Science (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、提示制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、ユーザに対して提示情報を提示するための提示制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
特許文献1には、来店客の行動履歴を個々の来店客毎に把握するとともに、来店客の性別年齢等を推定して、特定の性や年齢層に特有の行動履歴を把握する技術が開示されている。また、特許文献2には、モバイル端末の位置に基づき行動を推測する技術が開示されている。
特開2010-055594号公報 特開2015-149080号公報
ここで、多くの訪問者が訪れる特定地域(例えば、渋谷)においては、一部の場所(例えば、スクランブル交差点)に訪問者が集中して、周辺(例えば、商店街)まで訪問され難いという問題点がある。
本開示は、このような問題点を解決するためになされたものであり、特定地域の訪問者を当該地域内の適切な地点へ誘導するための提示制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
本開示に係る提示制御装置は、所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定部と、所定の表示端末に前記特定部が特定した提示情報を送信する出力部と、を備える。
本開示に係る提示制御システムは、ユーザの顔領域を含む画像を撮影する所定の撮影装置と、前記所定の撮影装置と通信可能な提示制御装置と、前記ユーザの顔特徴情報を記憶し、前記提示制御装置と通信可能な認証装置と、を備え、前記提示制御装置は、前記所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出して前記認証装置に顔認証を行わせる認証制御部と、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定部と、所定の表示端末に前記特定部が特定した提示情報を送信する出力部と、を備える。
本開示に係る提示制御方法は、コンピュータが、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、前記顔認証に成功したユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、所定の表示装置に前記特定した提示情報を送信する工程と、を備える。
本開示に係る非一時的なコンピュータ可読媒体は、 所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、前記顔認証に成功したユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、所定の表示装置に前記特定した提示情報を送信する工程と、を実行させるプログラムが記録される。
本開示に係る提示制御装置は、所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出する抽出部と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定部と、所定の表示端末に前記特定部が特定した提示情報を送信する出力部と、を備える。
本開示に係る提示制御方法は、コンピュータが、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、前記顔認証に成功したユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、所定の表示装置に前記特定した提示情報を送信する工程と、を備える。
本開示に係る非一時的なコンピュータ可読媒体は、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、前記顔認証に成功したユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、所定の表示装置に特定した提示情報を送信する工程と、を実行させるプログラムが記録される。
本開示により、特定地域の訪問者を当該地域内の適切な地点へ誘導するための提示制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施形態1に係る提示制御装置の構成を示すブロック図である。 実施形態1に係る提示制御方法の流れを示すフローチャートである。 実施形態2に係る提示制御システムの構成を示すブロック図である。 認証装置の構成を示すブロック図である。 顔認証端末の構成を示すブロック図である。 ユーザ端末の構成を示すブロック図である。 顔特徴情報登録処理の流れを示すフローチャートである。 顔認証処理の流れを示すフローチャートである。 履歴登録処理の流れを示すフローチャートである。 提示制御処理の流れを示すフローチャートである。 提示要求処理の流れを示すフローチャートである。 表示端末上に表示される提示情報を例示する図である。 表示端末上に表示されるマップを例示する図である。 表示端末上に表示される行動履歴を例示する図である。 登録画面を例示する図である。 実施形態3に係る提示制御装置の構成を示すブロック図である。 実施形態3に係る提示制御方法の流れを示すフローチャートである。 実施形態4に係る提示制御装置の構成を示すブロック図である。 実施形態4に係る提示制御システムの構成を示すブロック図である。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
図1は、実施形態1に係る提示制御装置100の構成を示すブロック図である。提示制御装置100は、取得部130、認証制御部140、特定部160及び出力部170を備える。提示制御装置100は、ネットワーク500(不図示)に接続される。ネットワーク500は、有線であっても無線であってもよい。ネットワーク500には、図示しない認証装置200及び顔認証端末300が接続される。
取得部130は、所定の撮影装置により撮影された撮影画像を取得する。撮影画像は、ユーザが撮影された画像である。所定の撮影装置は、例えば、顔認証端末300が備えるカメラ、及びユーザが所持するスマートフォン等のユーザ端末のカメラである。認証制御部140は、撮影画像から顔領域又は顔特徴情報を抽出して認証装置200に顔認証を行わせる。認証装置200は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて予め記憶している。
特定部160は、顔認証に成功したユーザにおけるユーザID又は提示要求に含まれるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する。出力部170は、所定の表示端末に特定部160が特定した提示情報を送信する。所定の表示端末は、例えば、顔認証端末300、ユーザ端末、店舗端末及び街頭のサイネージである。ユーザ端末は、ユーザが所持するスマートフォン等の通信端末である。店舗端末は、各店舗に設置される端末であり、例えば、ユーザが店舗を出る際に「次は〇〇へ行くのはいかがですか」と表示する。
図2は、実施形態1に係る提示制御方法の流れを示すフローチャートである。まず、取得部130は、所定の撮影装置により撮影された撮影画像を取得する(ステップS101)。次に、認証制御部140は、取得部130が取得した撮影画像から顔領域又は顔特徴情報を抽出して認証装置200に顔認証を行わせる(ステップS102)。認証装置200は、認証制御部140から受け取った顔領域又は顔特徴情報と、認証装置200内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定し、判定結果を返信する。尚、認証装置200は、ユーザIDと顔特徴情報とを対応付けて記憶しているものとする。そして、認証装置200は、顔認証に成功した場合、成功したユーザIDを判定結果に含めて返信する。
次に、特定部160は、顔認証に成功したユーザID又は提示要求に含まれるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、ユーザを所定の地点に誘導するために提示する提示情報を特定する(ステップS103)。次に、出力部170は、所定の表示端末に特定部160が特定した提示情報を送信する(ステップS104)。このように、本実施形態に係る提示制御方法は、特定地域の訪問者を当該地域内の適切な地点へ誘導する提示情報をユーザに提示することができる。
提示制御装置100は、図1に示した構成に加えて、履歴記憶部、履歴登録部、及び提示情報記憶部等の各構成を備えていてもよい。
履歴記憶部は、ユーザの移動履歴及び行動履歴を記憶する。移動履歴は、ユーザが通過した通過地点の履歴であり、通過した時刻の情報を含んでいてもよい。通過地点は、ユーザが顔認証に成功した顔認証端末300の設置位置であり、例えば各顔認証端末300の識別情報である。行動履歴は、ユーザが顔認証に成功時に行った行動内容の履歴であり、例えば、商品等の購入履歴、施設の入退記録、イベントの参加記録等である。行動履歴は、ユーザが行動した時刻の情報を含んでいてもよい。
履歴登録部は、ユーザIDと移動履歴及び行動履歴とを対応付けて履歴記憶部に登録する。履歴登録部は、図2に示すステップS101に先んじて、ユーザIDと移動履歴及び行動履歴とを対応付けて履歴記憶部に登録する。
提示情報記憶部は、ユーザに対して現在の地点とは異なる地点へ誘導するために提示する提示情報と、ユーザの移動履歴及び行動履歴に基づく提示条件と、を対応付けて記憶する。提示条件は、ユーザの現在位置と、通過地点及び行動履歴の組と、の組合せである。ユーザの現在位置は、ユーザが顔認証に成功した顔認証端末300の位置である。提示情報は、顔認証に成功したユーザが提示条件を満たした場合に、当該ユーザに提示するための情報である。提示情報は、ユーザを誘導先である所定の地点へ誘導するための誘導情報である。つまり、提示情報は、誘導先の地点と誘導情報とを含む。
特定部160は、顔認証に成功したユーザにおけるユーザID又は提示要求に含まれるユーザIDと対応付けられた移動履歴及び行動履歴を履歴記憶部から取得する。特定部160は、当該移動履歴及び当該行動履歴が提示情報記憶部150に記憶された提示条件を満たす提示情報を特定する。
尚、提示制御装置100は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態に係る提示制御方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、履歴登録部、取得部130、認証制御部140、特定部160及び出力部170の機能を実現する。
または、履歴登録部、取得部130、認証制御部140、特定部160及び出力部170は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
また、提示制御装置100の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、提示制御装置100の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
実施形態2は、上述した実施形態1の具体例である。図3は、実施形態2に係る提示制御システム600の構成を示すブロック図である。提示制御システム600は、少なくとも、提示制御装置100a及び認証装置200を備え、さらに顔認証端末300及びユーザ端末400のうち少なくとも一方を備える。提示制御装置100a、認証装置200、顔認証端末300及びユーザ端末400のそれぞれは、ネットワーク500を介して接続されている。なお、実施形態1と重複する説明については適宜省略する。
提示制御装置100aは、履歴DB(DataBase)110a、履歴登録部120、取得部130、認証制御部140、提示情報DB150a、特定部160及び出力部170を備える。提示制御装置100aは、行動履歴の蓄積、撮影画像からの提示情報の特定及び提示を行う情報処理装置であり、例えば、コンピュータにより実現されるサーバ装置である。
履歴DB110aは、ユーザの通過地点と行動履歴とを蓄積するためのデータベースである。履歴DB110aは、ユーザIDと、当該ユーザの通過地点及び行動履歴と、を対応付けて記憶している。履歴登録部120は、顔認証端末300又はユーザ端末400からネットワーク500を介して履歴登録要求を受信し、当該履歴登録要求に含まれるユーザIDと、通過地点及び行動履歴と、を対応付けて履歴DB110aに登録する。
取得部130は、顔認証端末300又はユーザ端末400からネットワーク500を介して、顔認証要求、履歴登録要求、提示要求を受信する。言い換えると、取得部130は、顔認証端末300又はユーザ端末400からカメラ310、410による撮影画像、カメラ310、410の設置位置情報(以下、単に「設置位置」と呼ぶ。)等を取得する。
認証制御部140は、顔認証要求に含まれる認証用画像から顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置200へ送信して顔認証を行わせる。また、認証制御部140は、認証装置200から顔認証の成否を受信し、顔認証結果を要求元の端末へ返信する。尚、顔認証に成功した場合、顔認証結果には、ユーザIDが含まれる。提示情報DB150aは、提示条件と提示情報とを対応付けて記憶する提示情報データベースである。提示情報DB150aには、多数の提示条件が登録されている。
特定部160は、顔認証に成功したユーザID又は提示要求に含まれるユーザIDと対応付けられた移動履歴及び行動履歴を履歴DB110aから取得する。特定部160は、ユーザの現在位置と、取得した移動履歴及び行動履歴と、の組が、提示情報DB150aに登録された提示条件と一致するか否かを判定する。ユーザの現在位置は、顔認証に成功した端末の設置位置又は提示要求に含まれる現在位置である。特定部160は、提示情報DB150aに登録された各提示条件と、ユーザの現在位置と取得した移動履歴及び行動履歴との組と、を比較し、一致する提示条件を全て特定する。そして、特定部160は、特定した全ての提示条件に対応付けられた全ての提示情報を提示情報DB150aを読み出すことにより特定する。出力部170は、特定部160が特定した提示情報をネットワーク500を介して顔認証に成功した端末又は提示要求を行った端末に送信する。
認証装置200は、ユーザの顔認証を行う装置である。認証装置200は、顔特徴DB210を備える。顔特徴DB210は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。尚、顔特徴DB210は、顔特徴情報記憶部の一例である。顔認証端末300は、顔認証に使用する画像を撮影する端末である。顔認証端末300は、撮影画像を提示制御装置100aに送信し、顔認証要求を行う端末である。顔認証端末300は、地域A内の各地点に設置されている。具体的には、地点Xには顔認証端末300X、地点Yには顔認証端末300Y、地点Zには顔認証端末300Zが設置されている。ユーザは、各地点X~Zを訪問する際に、設置された顔認証端末300X~300Zのカメラに対して顔を向けて撮影を行い、当該地点における商品購入等を行う。
ユーザ端末400は、ユーザが所持する端末である。ユーザ端末400は、例えば、スマートフォン、タブレット、PC等の通信端末である。ユーザは、顔認証端末300又はユーザ端末400を利用してユーザの顔が含まれる画像を撮影する。顔認証端末300又はユーザ端末400は、撮影画像を提示制御装置100aに送信する。
次に、図4を参照して、認証装置200の構成について詳細に説明する。図4は、認証装置200の構成を示すブロック図である。認証装置200は、顔特徴DB210、顔検出部220、特徴点抽出部230、登録部240及び認証部250を備える。
顔特徴DB210は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。顔検出部220は、撮影画像が含む顔領域を検出し、特徴点抽出部230に出力する。特徴点抽出部230は、顔検出部220が検出した顔領域から特徴点を抽出し、登録部240に顔特徴情報を出力する。顔特徴情報は、抽出した特徴点の集合である。
登録部240は、顔特徴情報の登録に際して、ユーザIDを新規に発行する。登録部240は、発行したユーザIDと、登録画像から抽出した顔特徴情報と、を対応付けて顔特徴DB210に登録する。認証部250は、顔画像から抽出された顔特徴情報と、顔特徴DB210内の顔特徴情報と、の照合を行う。認証部250は、顔特徴情報が一致している場合、顔認証が成功したと判断し、顔特徴情報が不一致の場合、顔認証が失敗したと判断する。認証部250は、顔認証の成否を提示制御装置100aに返信する。顔特徴情報の一致の有無は、認証の成否に対応する。また、認証部250は、顔認証に成功した場合、当該成功した顔特徴情報に対応付けられたユーザIDを特定し、特定されたユーザIDと認証成功の旨とを含めた認証結果を提示制御装置100aに返信する。
図7を参照して、顔特徴DB210にユーザID及び顔特徴情報を登録する際における認証装置200の動作を説明する。図7は、顔特徴情報登録処理の流れを示すフローチャートである。図7では、顔認証端末300が画像を撮影して顔特徴情報を登録する場合について説明を行うが、ユーザ端末400が画像を撮影する場合も同様の手順で顔特徴情報を登録することができる。
顔特徴情報を登録する際には、顔認証端末300は、ユーザの顔を含む画像を登録用画像として撮影し、認証装置200に対してネットワーク500を介して顔特徴情報登録要求を行う。顔特徴情報登録要求は、登録用画像を含む。まず、認証装置200は、顔認証端末300又はユーザ端末400からネットワーク500を介して登録用画像を取得する(ステップS201)。
次に、顔検出部220は、登録用画像が含む顔領域を検出し(ステップS202)、検出した顔領域を特徴点抽出部230に出力する。次に、特徴点抽出部230は、顔領域から特徴点を抽出し、登録部240に顔特徴情報を出力する(ステップS203)。次に、登録部240は、出力された顔特徴情報に対応するユーザIDを発行し、当該ユーザIDと顔特徴情報とを対応付けて顔特徴DB210に登録する(ステップS204)。
図8を参照して、顔認証を行う際における認証装置200の動作を説明する。図8は、顔認証処理の流れを示すフローチャートである。図8では、顔認証端末300が顔認証要求する場合について説明を行うが、ユーザ端末400が顔認証要求する場合も同様の手順で顔認証を行うことができる。
顔認証を行う際には、顔認証端末300は、ユーザの顔を含む画像を認証用画像として撮影し、提示制御装置100aに対してネットワーク500を介して顔認証要求を行う。顔認証要求は、認証用画像を含む。まず、提示制御装置100aは、認証用画像から抽出した顔領域又は顔特徴情報を認証装置200に送信する。特徴点抽出部230は、受信した顔領域から顔特徴情報抽出し、又は顔特徴情報を受信することによって、顔特徴情報を取得する(ステップS301)。
次に、認証部250は、取得部130が取得した顔特徴情報を顔特徴DB210と照合する(ステップS302)。顔特徴情報が一致した場合(ステップS303Yes)、認証部250は、顔特徴情報が一致したユーザのユーザIDを特定し(ステップS304)、顔認証に成功した旨と特定したユーザIDとを提示制御装置100aに返信する(ステップS305)。一致する顔特徴情報がなかった場合(ステップS303No)、認証部250は、顔認証に失敗した旨を提示制御装置100aに返信する(ステップS306)。
次に、図5を参照して、顔認証端末300の構成について詳細に説明する。顔認証端末300は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。顔認証端末300は、顔特徴情報登録要求及び顔認証要求を行う装置である。顔認証端末300は、例えば、顔認証による決済を行う端末、顔認証による入場制御を行う端末、顔認証に応じて情報を提示するデジタルサイネージ等が挙げられるが、これらに限定されない。
図5は、顔認証端末300の構成を示すブロック図である。顔認証端末300は、カメラ310、制御部320、記憶部330、通信部340及び表示部350を備える。カメラ310は、画像を撮影する撮影装置である。制御部320は、顔認証端末300が備えるハードウェアの制御を行う。制御部320は、撮影要求部322、顔特徴情報登録要求部323、認証要求部324、決済処理部325、履歴登録要求部326及び提示情報要求部427を備える。
撮影要求部322は、カメラ310に対して撮影要求を行う。カメラ310は、ユーザの顔を含む画像を撮影する。カメラ310が撮影した画像は、登録用画像及び認証用画像として使用される。顔特徴情報登録要求部323は、顔特徴情報登録要求を、ネットワーク500を介して認証装置200に送信する。顔特徴情報登録要求は、カメラ310が撮影した登録用画像を含む。認証要求部324は、顔認証要求を、ネットワーク500を介して提示制御装置100aに送信する。顔認証要求は、カメラ310が撮影した認証用画像を含む。認証要求部324は、提示制御装置100aから顔認証の成否を受信し、その結果を表示部350に表示させる。
決済処理部325は、顔認証成功時に決済処理を実行する。なお、制御部320は、決済処理部325に代えて図示しない記録部を備えていてもよい。記録部は、顔認証成功時に顔認証端末300が設置されている施設へのユーザの入退場を記録する。履歴登録要求部326は、履歴登録要求を、ネットワーク500を介して認証装置200に送信する。尚、履歴登録要求は、決済処理の結果である決済履歴を含む。決済履歴は、例えば、決済した日時、金額、物品、ユーザID等を含む情報である。提示情報要求部327は、提示情報要求を、ネットワーク500を介して提示制御装置100aに送信する。
記憶部330は、顔認証端末300の各機能を実現するためのプログラムが格納される記憶装置である。通信部340は、ネットワーク500との通信インタフェースである。表示部350は、ユーザに対して顔認証結果及び提示情報等を表示する表示装置である。
次に、図6を参照して、ユーザ端末400の構成について詳細に説明する。図6は、ユーザ端末400の構成を示すブロック図である。ユーザ端末400は、カメラ410、制御部420、記憶部430、通信部440及び表示部450を備える。制御部420は、撮影要求部422、顔特徴情報登録要求部423、認証要求部424、決済処理部425、履歴登録要求部426及び提示情報要求部427を備える。ユーザ端末400が備える各構成の機能は、顔認証端末300が備える各構成と同様であるから、説明を省略する。
顔認証端末300及びユーザ端末400は、顔認証が成功した場合、決済処理等を行い、その履歴を提示制御装置100aに登録させる履歴登録要求を行う。以下、図9を参照して、履歴登録要求する際における顔認証端末300の動作を説明する。図9は、履歴登録処理の流れを示すフローチャートである。図9では、顔認証端末300が履歴登録要求する場合について説明を行うが、ユーザ端末400も同様の手順で履歴登録要求を行うことができる。
まず、撮影要求部322は、カメラ310に対して撮影要求を行い、カメラ310は、ユーザの顔を含む認証用画像を撮影する(ステップS401)。次に、認証要求部324は、顔認証要求をネットワーク500を介して認証装置200に送信し(ステップS402)、その成否を認証装置200から受信する(ステップS403)。顔認証が成功であった場合(ステップS404Yes)、決済処理部325は、決済処理を実行し(ステップS405)、履歴登録要求部326は、認証装置200に対してネットワーク500を介して履歴登録要求を行う(ステップS406)。顔認証が失敗であった場合(ステップS405No)、履歴登録要求部326は、表示部350に顔認証が失敗した旨を表示させる。
提示制御装置100aは、顔認証に成功した場合又は提示情報要求を受信した場合に、提示情報を提示する。以下、図10~11を参照して、提示情報を提示する際における提示制御装置100a等の動作を説明する。図10は、提示制御処理の流れを示すフローチャートである。図11は、提示処理の流れを示すフローチャートである。
まず、図10を参照して、顔認証成功時に提示情報を提示する場合について説明する。まず、取得部130は、顔認証端末300及びユーザ端末400等の所定の撮影装置が撮影した認証用画像を取得する(ステップS501)。尚、このとき認証用画像と共に、取得部130は、所定の撮影装置の設置位置を取得するものとする。次に、認証制御部140は、顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置200へ送信して顔認証を要求する(ステップS502)。次に、認証制御部140は、認証装置200から顔認証の成否を受信する(ステップS503)。
顔認証に成功した場合(ステップS504Yes)、特定部160は、ステップS503において受信した顔認証の成否に含まれるユーザIDを抽出することによって顔認証に成功したユーザIDを特定する(ステップS505)。次に、特定部160は、ステップS605において特定したユーザIDと対応付けられた移動履歴及び行動履歴を履歴DB110aから取得することによって、当該ユーザの移動履歴及び行動履歴を特定する(ステップS506)。
特定部160は、ユーザの現在位置と、取得した移動履歴及び行動履歴と、の組が、提示情報DB150aに登録された提示条件と一致するか否かを判定する(ステップS507)。ユーザの現在位置は、顔認証に成功した端末の設置位置又は提示要求に含まれる現在位置である。提示情報DB150aには、多数の提示条件が登録されている。ステップS507では、特定部160は、提示情報DB150aに登録された各提示条件と、ユーザの現在位置と取得した移動履歴及び行動履歴との組と、を比較し、一致する全ての提示条件を特定する。各提示条件は、性別、年齢等のユーザの属性を含んでいてもよい。この場合、特定部160は、ユーザの現在位置、移動履歴及び行動履歴に加えて、ユーザの属性を参照して一致する提示条件を特定する。
次に、特定部160は、ステップS507において一致すると判定した提示条件に対応する提示情報を特定する(ステップS508)。次に、出力部170は、特定部160が特定した提示情報をネットワーク500を介して、顔認証端末300及びユーザ端末400等の所定の表示端末に送信する(ステップS509)。顔認証に失敗した場合(ステップS504No)、出力部170は、顔認証に失敗した旨をネットワーク500を介して所定の表示端末に送信する(ステップS510)。
次に、図11を参照して、提示情報要求に応じて提示情報を提示する場合について説明する。顔認証端末300及びユーザ端末400は、顔認証が成功した場合(ステップS404Yes)、提示処理(ステップS601~603)を行うことができる。提示処理(ステップS601~603)は、決済処理(ステップS405)及び履歴登録要求(ステップS406)と並行して行われてもよいし、履歴登録要求(ステップS406)の後に行われてもよい。図11では、顔認証端末300が提示処理する場合について説明を行うが、ユーザ端末400も同様の手順で提示処理を行うことができる。
まず、提示情報要求部327は、提示情報要求をネットワーク500を介して提示制御装置100aに送信する(ステップS601)。提示制御装置100aは、提示情報要求を受信すると、ステップS505~509と同様の手順によって提示情報を特定して返信する。提示情報要求部327は、提示制御装置100aから提示情報を受信すると(ステップS602)、表示部350に当該提示情報を表示する(ステップS603)。
図12は、表示端末上に表示される提示情報を例示する図である。図12では、ユーザ端末400に提示情報を表示する場合を示している。図12に示すように、ユーザ端末400は、ステップS509において受信した提示情報を画面上に表示する。なお、ステップS509において、出力部170は、提示情報に加えて、移動履歴及び行動履歴をユーザ端末400に送信してもよい。図13は、移動履歴及び行動履歴として表示端末上に表示されるマップを例示する図である。図13に示すように、ユーザ端末400は、ステップS509において受信した移動履歴及び行動履歴をマップ上に表示してもよい。また、図14は、表示端末上に表示される移動履歴及び行動履歴を例示する図である。図14に示すように、ユーザ端末400は、ステップS509において受信した移動履歴及び行動履歴を時系列で表示してもよい。
以下、提示条件に対応する提示情報の具体例を説明する。例えば、提示条件が「ユーザの現在位置が地点Y以外であり、移動履歴に地点Yが含まれておらず、かつ、行動履歴に商品購入が含まれる」場合、提示情報を「地点Y(施設)の入場券の提示」とする。提示情報は、「地点Y(施設)の割引クーポンの提示」等であってもよい。図3に示すユーザUAは、現在位置が地点Z(路上)である。したがって、ユーザUAは、地点X(喫茶店)において飲食しており、かつ、地点Y(施設)に行った履歴がない場合、上記の提示条件を満たす。ユーザUAに地点Yの入場券を提示することによって、まだ訪問していない地点YにユーザUAを誘導することができる。また、購入履歴があるユーザにのみが提示条件を満たすとすることによって、地域A全体の収益を上げることができる。
また、例えば、提示条件が「ユーザの現在位置が地点X以外であり、移動履歴に地点Yを含み、かつ、行動履歴に地点Y(施設)への入場が含まれる」場合、提示情報を「地点X(喫茶店)における割引クーポン」とする。図3に示すユーザUBは、現在位置が地点Y(施設)である。したがって、ユーザUBは、地点Y(施設)に入場しており、かつ、地点Xに行った履歴がない場合、上記の提示条件を満たす。一般的に、施設見学直後のユーザは、お茶したいと思っている可能性が高く、喫茶店等に立ち寄る可能性が高い。したがって、ユーザUBに地点X(喫茶店)における割引クーポンを提示することによって、提示される割引クーポンの利用率を高めることができる。
提示条件に対応する提示情報は、各地点の店舗等のオーナーや店長等が決定してもよいし、管理者等が決定してもよい。図15は、登録画面を例示する図である。図15は、店舗等に設置された登録端末からオーナーが提示条件及び提示情報を登録する例について示す。登録端末は、ネットワーク500を介して提示制御装置100aと通信可能であればどのような端末であってもよく、顔認証端末300と一体であってもよい。
店舗等のオーナーによる提示情報の登録は、予め行われてもよい。例えば、特定の時間帯や天候の場合にのみ表示される割引クーポンを、オーナーが登録してもよい。この場合、特定の時間帯及び天候等を含んだ提示条件と当該提示条件に対応する提示情報を店舗等のオーナーが設定する。具体的には、喫茶店のオーナーが夕方のみに表示するケーキの割引クーポンを設定する、施設のオーナーが雨の日にのみ表示するクーポンを設定する、といった登録が考えられる。また、店舗等のオーナーによる提示情報の登録は、随時行われてもよい。例えば、オーナーが当日の客入りを見て、その日のみ有効なクーポンを設定してもよい。このように、客足が落ちると考えられる場合に使用可能なクーポンを提示することによって、集客を図ることができる。
管理者等による提示情報の登録は、例えば、機械学習を用いて登録される。この場合、例えば、ユーザの移動履歴及び行動履歴を機械学習モデルに入力し、出力された計算結果を提示情報とする。
<実施形態3>
実施形態3は、上述した実施形態2の変形例である。実施形態2に係る提示制御装置100aは、複数の提示条件を拾い上げると、対応する全ての提示情報を提示していた。一方、実施形態3では、対応する提示情報に優先順位を付けて表示する。
図16は、実施形態3に係る提示制御装置の構成を示すブロック図である。提示制御装置700は、図3に示した提示制御装置100aの構成に加えて、混雑度記憶部180を備える。提示制御装置700が備える各構成について、実施形態2と重複する説明は適宜省略する。
混雑度記憶部180は、各地点における混雑度を記憶する。各地点における混雑度は、例えば、各地点のオーナーが登録端末等からネットワーク500を介して混雑度記憶部180に登録する。本実施形態において特定部160は、提示情報DB150a内に記憶された提示条件を満たす地点が複数ある場合に、より混雑度が低い地点に関する提示情報を特定する。出力部170は、より混雑度が低い地点に関する提示情報のみをネットワーク500を介して、顔認証端末300及びユーザ端末400等の所定の表示端末に送信する。また、出力部170は、より混雑度が低い地点に関する提示情報を優先して表示可能であるように特定部160が特定したすべての提示情報を送信してもよい。
提示制御装置700は、さらに、図示しない解析部を備えていてもよい。解析部は、取得部130が取得した撮影画像を解析して撮影地点における混雑度を判定して混雑度記憶部180に登録する。図17を参照して、解析部が撮影画像を解析して混雑度を判定する場合における提示制御装置700の動作を説明する。図17は、実施形態3に係る提示制御方法の流れを示すフローチャートである。
取得部130は、各地点の顔認証端末300から撮影画像を取得する(ステップS701)。次に、解析部は、取得部130が取得した撮影画像を解析して各地点の混雑度を判定し(ステップS702)、混雑度記憶部180に登録する(ステップS703)。ステップS701~703は、定期的に行われる。したがって、混雑度記憶部180に登録されている各地点の混雑度は定期的に更新される。顔認証が成功しておらず、かつ提示情報要求を受信していないときには(ステップS704No)、ステップS701~703を定期的に行う。顔認証が成功又は提示情報要求を受信すると(ステップS704Yes)、特定部160は、提示条件及び対応する提示情報を特定する(ステップS705)。
ステップS705において特定した提示情報が複数である場合(ステップS706Yes)、特定部160は、より混雑度が低い地点にユーザを誘導する提示情報を特定する(ステップS708)。次に、出力部170は、ステップS708において特定された提示情報を所定の表示装置に送信し、当該所定の表示装置は、提示情報を表示する(ステップS709)。ステップS705において特定した提示情報が1つである場合(ステップS706No)、出力部170は、ステップS705において特定された提示情報を所定の表示装置に送信し、当該所定の表示装置は、提示情報を表示する(ステップS709)。
本実施形態に係る提示制御装置は、混雑度が低い地点の提示情報を優先して提示することができるため、地点間の混雑度を均すことができる。さらに、本実施形態に係る提示制御装置は、実施形態1及び2において説明した効果と同様の効果を奏することができる。
<実施形態4>
実施形態4は、上述した実施形態1~3の変形例である。実施形態1~3に係る提示制御装置100,100a及び700は、外部の認証装置200を用いて顔認証を行っていた。一方、本実施形態に係る提示制御装置800は、装置内部で顔認証を行う。
図18は、実施形態4に係る提示制御装置の構成を示すブロック図である。提示制御装置800は、図1に示した提示制御装置100の構成と比べて、認証制御部140が抽出部140a及び顔認証部190に置き換わり、顔特徴DB191が追加されたものである。尚、顔特徴DB191は、顔特徴情報記憶部の一例である。提示制御装置800が備える各構成について、実施形態2と重複する説明は適宜省略する。図19は、実施形態4に係る提示制御システムの構成を示すブロック図である。提示制御システム900は、認証装置200を備えていない点及び提示制御装置800を備える点で提示制御システム600と異なる。その他の構成については同様であるため、説明を適宜省略する。
抽出部140aは、撮影画像から顔領域又は顔特徴情報を抽出する。顔認証部190は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。顔特徴DB191は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。提示制御装置800は、提示制御装置100と同様に図2に示す流れで提示情報の提示を制御する。但し、ステップS103において、抽出部140aは、取得部130が取得した撮影画像から顔領域又は顔特徴情報を抽出し、顔認証部190は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。さらに、本実施形態に係る提示制御装置は、実施形態1~3において説明した効果と同様の効果を奏することができる。
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記A1)
所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定部と、
所定の表示端末に前記特定部が特定した提示情報を送信する出力部と、
を備える提示制御装置。
(付記A2)
さらに、
ユーザの移動履歴及び行動履歴を記憶する履歴記憶部と、
ユーザIDと移動履歴及び行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
ユーザに対して現在の地点とは異なる地点へ誘導するために提示する提示情報と前記移動履歴及び前記行動履歴に基づく提示条件とを対応付けて記憶する提示情報記憶部と、
を備え、
前記特定部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴を前記履歴記憶部から取得し、当該移動履歴及び当該行動履歴が前記提示情報記憶部に記憶された提示条件を満たす提示情報を特定する、
付記A1に記載の提示制御装置。
(付記A3)
前記提示条件は、前記ユーザの現在位置をさらに含み、
前記取得部は、前記撮影装置の位置情報をさらに取得し、
前記特定部は、前記取得した位置情報を前記顔認証に成功したユーザの現在位置として、前記提示条件を満たす提示情報を特定する、
付記A2に記載の提示制御装置。
(付記A4)
さらに、各地点における混雑度を記憶する混雑度記憶部を備え、
前記特定部は、前記提示情報記憶部内の提示条件を満たす地点が複数ある場合に、より混雑度が低い地点に関する提示情報を特定する、
付記A2又はA3に記載の提示制御装置。
(付記A5)
さらに、前記取得部が取得した前記撮影画像を解析して撮影地点における混雑度を判定して前記混雑度記憶部に登録する解析部を備える、
付記A4に記載の提示制御装置。
(付記A6)
前記提示情報記憶部は、時間帯に基づく提示条件を記憶している、付記A3~A5のいずれか一項に記載の提示制御装置。
(付記A7)
前記提示情報記憶部は、天候に基づく提示条件を記憶している、付記A3~A6のいずれか一項に記載の提示制御装置。
(付記A8)
前記移動履歴は、ユーザが各地点を通過した時刻の情報をさらに含む、付記A1~A7のいずれか一項に記載の提示制御装置。
(付記A9)
前記行動履歴は、ユーザが行動した時刻の情報をさらに含む、付記A1~A8のいずれか一項に記載の提示制御装置。
(付記B1)
ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
前記所定の撮影装置と通信可能な提示制御装置と、
前記ユーザの顔特徴情報を記憶し、前記提示制御装置と通信可能な認証装置と、を備え、
前記提示制御装置は、
前記所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出して前記認証装置に顔認証を行わせる認証制御部と、
前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定部と、
所定の表示端末に前記特定部が特定した提示情報を送信する出力部と、
を備える提示制御システム。
(付記B2)
前記提示制御装置は、さらに、
ユーザの移動履歴及び行動履歴を記憶する履歴記憶部と、
ユーザIDと移動履歴及び行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
ユーザに対して現在の地点とは異なる地点へ誘導するために提示する提示情報と前記移動履歴及び前記行動履歴に基づく提示条件とを対応付けて記憶する提示情報記憶部と、
を備え、
前記特定部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴を前記履歴記憶部から取得し、当該移動履歴及び当該行動履歴が前記提示情報記憶部に記憶された提示条件を満たす提示情報を特定する、
付記B1に記載の提示制御システム。
(付記C1)
コンピュータが、
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
前記顔認証に成功したユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、
所定の表示装置に前記特定した提示情報を送信する工程と、
を備える提示制御方法。
(付記D1)
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
前記顔認証に成功したユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、
所定の表示装置に前記特定した提示情報を送信する工程と、
をコンピュータに実行させる提示制御プログラムが格納された非一時的なコンピュータ可読媒体。
(付記E1)
所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出する抽出部と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、
前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定部と、
所定の表示端末に前記特定部が特定した提示情報を送信する出力部と、
を備える提示制御装置。
(付記E2)
さらに、
ユーザの移動履歴及び行動履歴を記憶する履歴記憶部と、
ユーザIDと移動履歴及び行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
ユーザに対して現在の地点とは異なる地点へ誘導するために提示する提示情報と前記移動履歴及び前記行動履歴に基づく提示条件とを対応付けて記憶する提示情報記憶部と、
を備え、
前記特定部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴を前記履歴記憶部から取得し、当該移動履歴及び当該行動履歴が前記提示情報記憶部に記憶された提示条件を満たす提示情報を特定する、
付記E1に記載の提示制御装置。
(付記F1)
コンピュータが、
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
前記顔認証に成功したユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、
所定の表示装置に前記特定した提示情報を送信する工程と、
を備える提示制御方法。
(付記G1)
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
前記顔認証に成功したユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、
所定の表示装置に特定した提示情報を送信する工程と、
をコンピュータに実行させる提示制御プログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
100、100a、700、800 提示制御装置
600、900 提示制御システム
110a 履歴DB
120 履歴登録部
130 取得部
140 認証制御部
140a 抽出部
150a 提示情報DB
160 特定部
170 出力部
180 混雑度記憶部
190 顔認証部
191 顔特徴DB
200 認証装置
210 顔特徴DB
220 顔検出部
230 特徴点抽出部
240 登録部
250 認証部
300(300X~300Z) 顔認証端末
310 カメラ
320 制御部
322 撮影要求部
323 顔特徴情報登録要求部
324 認証要求部
325 決済処理部
326 履歴登録要求部
327 提示情報要求部
330 記憶部
340 通信部
350 表示部
400 ユーザ端末
410 カメラ
420 制御部
422 撮影要求部
423 顔特徴情報登録要求部
424 認証要求部
425 決済処理部
426 履歴登録要求部
427 提示情報要求部
430 記憶部
440 通信部
450 表示部
500 ネットワーク

Claims (17)

  1. ユーザが所有し、かつ、所定の撮影装置を有する所定の端末により撮影された撮影画像を取得する取得手段と、
    前記撮影画像から抽出した顔領域又は顔特徴情報を用いた顔認証の結果を取得する認証制御手段と、
    前記顔認証に成功した前記ユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定手段と、
    前記顔認証に成功した前記ユーザに対して決済処理又は入退場記録処理を実行した前記所定の端末に、前記特定手段が特定した提示情報を送信する出力手段と、
    を備える提示制御装置。
  2. さらに、
    ユーザの移動履歴及び行動履歴を記憶する履歴記憶手段と、
    ユーザIDと移動履歴及び行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
    ユーザに対して現在の地点とは異なる地点へ誘導するために提示する提示情報と前記移動履歴及び前記行動履歴に基づく提示条件とを対応付けて記憶する提示情報記憶手段と、
    を備え、
    前記特定手段は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴を前記履歴記憶手段から取得し、当該移動履歴及び当該行動履歴が前記提示情報記憶手段に記憶された提示条件を満たす提示情報を特定する、
    請求項1に記載の提示制御装置。
  3. 前記提示条件は、前記ユーザの現在位置をさらに含み、
    前記取得手段は、前記撮影装置の位置情報をさらに取得し、
    前記特定手段は、前記取得した位置情報を前記顔認証に成功したユーザの現在位置として、前記提示条件を満たす提示情報を特定する、
    請求項2に記載の提示制御装置。
  4. さらに、各地点における混雑度を記憶する混雑度記憶手段を備え、
    前記特定手段は、前記提示情報記憶手段内の提示条件を満たす地点が複数ある場合に、より混雑度が低い地点に関する提示情報を特定する、
    請求項2又は3に記載の提示制御装置。
  5. さらに、前記取得手段が取得した前記撮影画像を解析して撮影地点における混雑度を判定して前記混雑度記憶手段に登録する解析手段を備える、
    請求項4に記載の提示制御装置。
  6. 前記提示情報記憶手段は、時間帯に基づく提示条件を記憶している、請求項3~5のいずれか一項に記載の提示制御装置。
  7. 前記提示情報記憶手段は、天候に基づく提示条件を記憶している、請求項3~6のいずれか一項に記載の提示制御装置。
  8. 前記移動履歴は、ユーザが各地点を通過した時刻の情報をさらに含む、請求項1~7のいずれか一項に記載の提示制御装置。
  9. 前記行動履歴は、ユーザが行動した時刻の情報をさらに含む、請求項1~8のいずれか一項に記載の提示制御装置。
  10. ユーザが所有し、前記ユーザの顔領域を含む画像を撮影する所定の撮影装置を有し、前記ユーザの決済処理又は入退場の記録をする所定の端末と、
    前記所定の撮影装置と通信可能な提示制御装置と、
    前記ユーザの顔特徴情報を記憶し、前記提示制御装置と通信可能な認証装置と、を備え、
    前記所定の端末は、
    顔認証要求を前記認証装置に送信し、その成否を前記認証装置から受信する認証要求手段と、
    顔認証が成功であった場合に決済処理又は入退場記録処理を実行する処理手段と、を備え、
    前記提示制御装置は、
    前記所定の撮影装置により撮影された撮影画像を取得する取得手段と、
    前記撮影画像から顔領域又は顔特徴情報を抽出して前記認証装置に顔認証を行わせる認証制御手段と、
    前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定手段と、
    前記顔認証に成功した前記ユーザに対して決済処理又は入退場記録処理を実行した前記所定の端末に、前記特定手段が特定した提示情報を送信する出力手段と、
    を備える提示制御システム。
  11. 前記提示制御装置は、さらに、
    ユーザの移動履歴及び行動履歴を記憶する履歴記憶手段と、
    ユーザIDと移動履歴及び行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
    ユーザに対して現在の地点とは異なる地点へ誘導するために提示する提示情報と前記移動履歴及び前記行動履歴に基づく提示条件とを対応付けて記憶する提示情報記憶手段と、
    を備え、
    前記特定手段は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴を前記履歴記憶手段から取得し、当該移動履歴及び当該行動履歴が前記提示情報記憶手段に記憶された提示条件を満たす提示情報を特定する、
    請求項10に記載の提示制御システム。
  12. コンピュータが、
    ユーザが所有し、かつ、所定の撮影装置を有する所定の端末により撮影された撮影画像を取得する工程と、
    前記撮影画像から抽出した顔領域又は顔特徴情報を用いた顔認証の結果を取得する工程と、
    前記顔認証に成功した前記ユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、
    前記顔認証に成功した前記ユーザに対して決済処理又は入退場記録処理を実行した前記所定の装置に、前記特定した提示情報を送信する工程と、
    を備える提示制御方法。
  13. ユーザが所有し、かつ、所定の撮影装置を有する所定の端末により撮影された撮影画像を取得する工程と、
    前記撮影画像から抽出した顔領域又は顔特徴情報を用いた顔認証の結果を取得する工程と、
    前記顔認証に成功した前記ユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、
    前記顔認証に成功した前記ユーザに対して決済処理又は入退場記録処理を実行した前記所定の装置に、前記特定した提示情報を送信する工程と、
    をコンピュータに実行させる提示制御プログラム。
  14. ユーザが所有し、かつ、所定の撮影装置を有する所定の端末により撮影された撮影画像を取得する取得手段と、
    前記撮影画像から顔領域又は顔特徴情報を抽出する抽出手段と、
    前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証手段と、
    前記顔認証に成功した前記ユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する特定手段と、
    前記顔認証に成功した前記ユーザに対して決済処理又は入退場記録処理を実行した前記所定の端末に、前記特定手段が特定した提示情報を送信する出力手段と、
    を備える提示制御装置。
  15. さらに、
    ユーザの移動履歴及び行動履歴を記憶する履歴記憶手段と、
    ユーザIDと移動履歴及び行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
    ユーザに対して現在の地点とは異なる地点へ誘導するために提示する提示情報と前記移動履歴及び前記行動履歴に基づく提示条件とを対応付けて記憶する提示情報記憶手段と、
    を備え、
    前記特定手段は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた移動履歴及び行動履歴を前記履歴記憶手段から取得し、当該移動履歴及び当該行動履歴が前記提示情報記憶手段に記憶された提示条件を満たす提示情報を特定する、
    請求項14に記載の提示制御装置。
  16. コンピュータが、
    ユーザが所有し、かつ、所定の撮影装置を有する所定の端末により撮影された撮影画像を取得する工程と、
    前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
    前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
    前記顔認証に成功した前記ユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、
    前記顔認証に成功した前記ユーザに対して決済処理又は入退場記録処理を実行した前記所定の装置に、前記特定した提示情報を送信する工程と、
    を備える提示制御方法。
  17. ユーザが所有し、かつ、所定の撮影装置を有する所定の端末により撮影された撮影画像を取得する工程と、
    前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
    前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
    前記顔認証に成功した前記ユーザの移動履歴及び行動履歴に基づいて、所定の地点へ誘導するために提示する提示情報を特定する工程と、
    前記顔認証に成功した前記ユーザに対して決済処理又は入退場記録処理を実行した前記所定の装置に、特定した提示情報を送信する工程と、
    をコンピュータに実行させる提示制御プログラム。
JP2022504792A 2020-03-02 2020-03-02 提示制御装置、システム、方法及びプログラム Active JP7452622B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008750 WO2021176535A1 (ja) 2020-03-02 2020-03-02 提示制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2021176535A1 JPWO2021176535A1 (ja) 2021-09-10
JPWO2021176535A5 JPWO2021176535A5 (ja) 2022-09-26
JP7452622B2 true JP7452622B2 (ja) 2024-03-19

Family

ID=77613975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504792A Active JP7452622B2 (ja) 2020-03-02 2020-03-02 提示制御装置、システム、方法及びプログラム

Country Status (3)

Country Link
US (1) US20230072746A1 (ja)
JP (1) JP7452622B2 (ja)
WO (1) WO2021176535A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062571A1 (ja) * 2022-09-21 2024-03-28 日本電気株式会社 情報処理装置、認証システム、認証方法及び非一時的なコンピュータ可読媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006101169A1 (ja) 2005-03-23 2006-09-28 Ihc Corp. 認証システム
JP2016170490A (ja) 2015-03-11 2016-09-23 日本電気株式会社 目的地提案システム及び目的地提案方法
JP2019040420A (ja) 2017-08-25 2019-03-14 ヤフー株式会社 移動支援装置、移動支援システム、移動支援方法及び移動支援プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5982056B1 (ja) * 2015-12-28 2016-08-31 オカムラ印刷株式会社 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、携帯端末装置およびその制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006101169A1 (ja) 2005-03-23 2006-09-28 Ihc Corp. 認証システム
JP2016170490A (ja) 2015-03-11 2016-09-23 日本電気株式会社 目的地提案システム及び目的地提案方法
JP2019040420A (ja) 2017-08-25 2019-03-14 ヤフー株式会社 移動支援装置、移動支援システム、移動支援方法及び移動支援プログラム

Also Published As

Publication number Publication date
US20230072746A1 (en) 2023-03-09
WO2021176535A1 (ja) 2021-09-10
JPWO2021176535A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
JP2012208854A (ja) 行動履歴管理システムおよび行動履歴管理方法
AU2019232782B2 (en) Information processing device, authentication system, authentication method, and program
JP2014170314A (ja) 情報処理システム、情報処理方法およびプログラム
JP7452622B2 (ja) 提示制御装置、システム、方法及びプログラム
US20240087313A1 (en) Information processing device, system, method, and non-transitory computer-readable medium storing program
JP7294663B2 (ja) 接客支援装置、接客支援方法、及びプログラム
JP7367847B2 (ja) 推薦制御装置、システム、方法及びプログラム
JP7509196B2 (ja) 広告評価装置、システム、方法及びプログラム
US20240104987A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable medium
JP7409483B2 (ja) 推薦装置、システム、方法及びプログラム
US20230230302A1 (en) Image providing apparatus, image providing system, image providing method, and non-transitory computer readable medium
JP6605822B2 (ja) 顧客情報システム及びプログラム
JP7092205B2 (ja) 顧客情報登録装置
JP7400944B2 (ja) 推薦制御装置、システム、方法及びプログラム
JP7287572B2 (ja) 訪問推進装置、システム、方法及びプログラム
JP7351410B2 (ja) 推薦装置、システム、方法及びプログラム
US20230094984A1 (en) Information processing device, system, method, and non-transitory computer-readablemedium storing program
US20230222834A1 (en) Image providing apparatus, image providing system, image providing method, and non-transitory computer readable medium
US20240037595A1 (en) Information controlling apparatus, information controlling method, and computer-readable medium
JP2021096744A (ja) データ分析装置、データ分析システム、データ分析方法およびプログラム
JP2020086741A (ja) コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R151 Written notification of patent or utility model registration

Ref document number: 7452622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151