WO2021186708A1 - 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021186708A1
WO2021186708A1 PCT/JP2020/012437 JP2020012437W WO2021186708A1 WO 2021186708 A1 WO2021186708 A1 WO 2021186708A1 JP 2020012437 W JP2020012437 W JP 2020012437W WO 2021186708 A1 WO2021186708 A1 WO 2021186708A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
user
image
authentication
visit
Prior art date
Application number
PCT/JP2020/012437
Other languages
English (en)
French (fr)
Inventor
晃 亀井
ほなみ 幸
恵介 塚原
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/639,002 priority Critical patent/US20220335461A1/en
Priority to EP20925305.3A priority patent/EP4123561A4/en
Priority to JP2022507993A priority patent/JP7287572B2/ja
Priority to PCT/JP2020/012437 priority patent/WO2021186708A1/ja
Publication of WO2021186708A1 publication Critical patent/WO2021186708A1/ja
Priority to JP2023083775A priority patent/JP2023096178A/ja
Priority to US18/512,225 priority patent/US20240086956A1/en
Priority to US18/512,243 priority patent/US20240086957A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Definitions

  • the present invention relates to a non-transitory computer-readable medium containing a visit propulsion device, system, method and program, and in particular, a non-transitory computer-readable medium containing a visit propulsion device, system, method and program for promoting a user's visit.
  • temporary computer-readable media Regarding temporary computer-readable media.
  • Patent Document 1 in a so-called stamp rally (point rally) in which the purpose is achieved by visiting a plurality of points, face recognition is performed by a camera installed at each point to confirm the visit at each point.
  • stamp rally point rally
  • face recognition is performed by a camera installed at each point to confirm the visit at each point.
  • This disclosure is made to solve such a problem, and is a visit propulsion device, a system, for providing information recording a visit of each point to a user who actually visited each point. It is intended to provide a non-transitory computer-readable medium in which methods and programs are stored.
  • the visit propulsion device includes an acquisition unit that acquires a photographed image taken by the user, and an authentication control that extracts the user's face area or face feature information from the photographed image and causes the authentication device to perform face authentication.
  • a unit an image generation unit that generates a composite image including a captured image of each point in a user who succeeds in face authentication when a predetermined image generation condition based on the face authentication is satisfied at a plurality of points, and a predetermined image generation unit.
  • the display terminal includes an output unit that transmits a composite image generated by the image generation unit.
  • the visit propulsion system stores a predetermined photographing device that captures an image including a user's face area, a visit propulsion device that can communicate with the predetermined photographing device, and the user's facial feature information.
  • the visit propulsion device includes an authentication device capable of communicating with the visit propulsion device, and the visit propulsion device includes an acquisition unit for acquiring a photographed image taken by the user by the predetermined photographing device, and the user's face area or the user's face area or the user's face area from the photographed image.
  • An authentication control unit that extracts face feature information and causes an authentication device to perform face authentication, and a user at each point that succeeds in face recognition when a predetermined image generation condition based on the face recognition is satisfied at a plurality of points. It includes an image generation unit that generates a composite image including a captured image, and an output unit that transmits the composite image generated by the image generation unit to a predetermined display terminal.
  • the computer acquires a photographed image taken by the user, extracts the user's face area or face feature information from the photographed image, and causes an authentication device to perform face recognition.
  • a step a step of generating a composite image including a photographed image of each point in a user who succeeded in face recognition when a predetermined image generation condition based on the face recognition at a plurality of points is satisfied, and a predetermined display terminal.
  • the step of transmitting the generated composite image is provided in the above.
  • the non-temporary computer-readable medium includes a step of acquiring a photographed image taken by the user and extracting the user's face area or face feature information from the photographed image to perform face recognition on an authentication device.
  • a process of transmitting the generated composite image to the terminal and a program for executing the operation are recorded.
  • the visit propulsion device is based on an acquisition unit that acquires a photographed image taken by a user, an extraction unit that extracts face area or face feature information from the photographed image, and the face area or face feature information.
  • a face recognition unit that performs face recognition and predetermined image generation conditions based on the face recognition at a plurality of points are satisfied, a composite image including a photographed image of each point of the user who succeeds in the face recognition is generated. It includes an image generation unit and an output unit that transmits a composite image generated by the image generation unit to a predetermined display terminal.
  • the visit promotion method includes a step of acquiring a photographed image taken by a user by a computer, a step of extracting face area or face feature information from the photographed image, and the face area or face feature information.
  • the non-temporary computer-readable medium includes a step of acquiring a photographed image taken by a user, a step of extracting face area or face feature information from the photographed image, and the face area or the face feature information.
  • a composite image including the captured image of each point of the user who succeeded in the face recognition is generated.
  • a program for executing the step and the step of transmitting the generated composite image to a predetermined display terminal is recorded.
  • the present disclosure provides a non-transitory computer-readable medium containing visit propulsion devices, systems, methods and programs for providing recorded information of visits to each site to users who have actually visited each site. can do.
  • FIG. It is a block diagram which shows the structure of the visit propulsion apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the flow of the visit promotion method which concerns on Embodiment 1.
  • It is a flowchart which shows the flow of face recognition processing It is a flowchart which shows the flow of the authentication record processing.
  • FIG. 1 is a block diagram showing a configuration of a visit propulsion device 100 according to the first embodiment.
  • the visit propulsion device 100 includes an acquisition unit 130, an authentication control unit 140, an image generation unit 170, and an output unit 180.
  • the visit propulsion device 100 is connected to a network 500 (not shown).
  • the network 500 may be wired or wireless.
  • An authentication device 200 and a face recognition terminal 300 are connected to the network 500.
  • the acquisition unit 130 acquires a photographed image taken by the user.
  • the captured image is an image including the user's face.
  • the captured image is captured by a predetermined imaging device.
  • the predetermined photographing device is, for example, a camera included in the face recognition terminal 300 and a camera of a user terminal such as a smartphone owned by the user.
  • the authentication control unit 140 extracts the user's face area or face feature information from the captured image and causes the authentication device 200 to perform face authentication.
  • the authentication device 200 stores the user ID and the facial feature information of the user in advance in association with each other.
  • the image generation unit 170 generates a composite image including a captured image of each point in a user who succeeds in face recognition when a predetermined image generation condition based on face recognition at a plurality of points is satisfied.
  • the predetermined image generation condition is a condition for generating a composite image to be presented to the user.
  • the predetermined image generation conditions are, for example, that face recognition is performed at a specific point, face recognition is performed at a predetermined number or more points, and payment is performed at any of the points.
  • the output unit 180 transmits the composite image generated by the image generation unit 170 to the predetermined display terminal.
  • the predetermined display terminal is, for example, a face recognition terminal 300, a user terminal, a store terminal, or a signage on the street.
  • the user terminal is a communication terminal such as a smartphone owned by the user.
  • the store terminal is a terminal installed in each store, and for example, when the user leaves the store, "How about going to XX next time?" Is displayed.
  • the predetermined display terminal may be the above-mentioned predetermined photographing device or a different terminal.
  • the output unit 180 may transmit the composite image to the user terminal, or may transmit the composite image to the face recognition terminal 300 or the like.
  • the output unit 180 may send the composite image to the face recognition terminal 300, or may send the composite image to the user terminal or the like.
  • FIG. 2 is a flowchart showing the flow of the visit promotion method according to the first embodiment.
  • the acquisition unit 130 acquires a photographed image captured by the user (step S101).
  • the authentication control unit 140 extracts the user's face area or face feature information from the captured image acquired by the acquisition unit 130, and causes the authentication device 200 to perform face authentication (step S102).
  • the authentication device 200 collates the face area or face feature information received from the authentication control unit 140 with the face feature information registered in the authentication device 200, and determines the success or failure of the authentication based on the presence or absence of a match. Reply the result. It is assumed that the authentication device 200 stores the user ID and the facial feature information in association with each other. Then, when the face authentication is successful, the authentication device 200 includes the successful user ID in the determination result and returns.
  • the image generation unit 170 generates a composite image including the captured image of each point in the user who succeeded in face recognition when a predetermined image generation condition based on face recognition at a plurality of points is satisfied (step S103). ).
  • the output unit 180 transmits the composite image generated by the image generation unit 170 to a predetermined display terminal (step S104).
  • the visit promotion method according to the present embodiment can provide the user who actually visited each point with the information recording the visit of each point.
  • the visit propulsion device 100 may include each configuration such as a history storage unit, a point storage unit, an authentication recording unit, and a payment recording unit.
  • the history storage unit stores the user's ID, passing point, passing date and time, captured image, and payment history.
  • the point storage unit stores the point ID and the access information of the point in association with each other.
  • the authentication recording unit records the user ID that succeeded in the face authentication and the captured image in the history storage unit in association with each other.
  • the payment recording unit records the payment history and the user ID included in the payment history in the history storage unit in association with each other.
  • the visit propulsion device 100 includes a processor, a memory, and a storage device as a configuration (not shown). Further, the storage device stores a computer program in which the processing of the visit promotion method according to the present embodiment is implemented. Then, the processor reads the computer program from the storage device into the memory and executes the computer program. As a result, the processor realizes the functions of the acquisition unit 130, the authentication control unit 140, the authentication recording unit, the payment recording unit, the image generation unit 170, and the output unit 180.
  • the acquisition unit 130, the authentication control unit 140, the authentication recording unit, the payment recording unit, the image generation unit 170, and the output unit 180 may each be realized by dedicated hardware. Further, a part or all of each component of each device may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program. Further, as a processor, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), or the like can be used.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • each component of the visit propulsion device 100 when a part or all of each component of the visit propulsion device 100 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged. It may be distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which each of the client-server system, the cloud computing system, and the like is connected via a communication network.
  • the function of the visit propulsion device 100 may be provided in the SaaS (Software as a Service) format.
  • FIG. 3 is a block diagram showing the configuration of the visit promotion system 600 according to the second embodiment.
  • the visit promotion system 600 includes at least a visit promotion device 100a and an authentication device 200, and further includes at least one of a face recognition terminal 300 and a user terminal 400.
  • Each of the visit propulsion device 100a, the authentication device 200, the face recognition terminal 300 (300A0, 300A1, 300A2 and 300An) and the user terminal 400 are connected via the network 500.
  • the description that overlaps with the first embodiment will be omitted as appropriate.
  • the visit propulsion device 100a includes a history DB (DataBase) 110a, a point DB 120a, an acquisition unit 130, an authentication control unit 140, an authentication recording unit 150, a payment recording unit 160, an image generation unit 170, and an output unit 180.
  • the visit promotion device 100a is an information processing device that generates and presents a user's visit history, payment history, and composite image, and is, for example, a server device realized by a computer.
  • the history DB 110a is a database for accumulating the user's passing points, captured images, and payment history.
  • the history DB 110a is an example of a history storage unit.
  • the history DB 110a stores the user ID, the passing point of the user, the passing date and time at the passing point, the captured image at the passing point, and the payment history of the user in association with each other.
  • the passing point of the user is, for example, the installation position of the face authentication terminal 300 in which the user has succeeded in face authentication.
  • the installation position of the face recognition terminal 300 is, for example, identification information of points A0, A1, A2 and An (where n is a natural number; hereinafter referred to as “points A0 to An”), that is, a point ID.
  • the passing date and time is the date and time when the user visits each point A0 to An.
  • Points A0 to An are, for example, checkpoints for stamp rallies by face recognition in area A.
  • the user can record in the visit propulsion device 100a that the checkpoint has been passed by visiting each of the points A0 to An and performing face authentication with the face authentication terminal 300 or the user terminal 400.
  • the user can register face information at a start point (for example, point A0) and obtain a composite image when face recognition is successful at a goal point (for example, point An).
  • a start point for example, point A0
  • a goal point for example, point An
  • the user can make a payment such as purchasing a product together with face authentication.
  • the date and time of the visit is, for example, the date and time when the user succeeded in face recognition and the date and time when the user took the photographed image.
  • the captured image is an image captured at the time of face recognition, and may include at least the face of the user and may further include the background of the point.
  • the payment history is information including the user ID of the user, the point ID of the face authentication terminal, the payment date and time, the payment information, and the like.
  • the settlement information is, for example, a purchased item, a purchase amount, and the like.
  • the payment history registered in the history DB 110a may be a face authentication payment or a payment by another method.
  • the point DB 120a is a database that manages the point IDs of each points A0 to An in association with the access information.
  • the point DB 120a is an example of a point storage unit.
  • the access information is, for example, link information to WEB information corresponding to each point A0 to An, specifically, a URL (uniform resource locator) or the like.
  • the acquisition unit 130 receives a face authentication request, a history registration request, and a composite image request from the face authentication terminal 300 or the user terminal 400 via the network 500.
  • the acquisition unit 130 acquires an image captured by the camera 310 or 410 from the face recognition terminal 300 or the user terminal 400, installation position information of the camera 310 or 410 (hereinafter, simply referred to as "installation position"), and the like. do.
  • the authentication control unit 140 extracts face area or face feature information from the authentication image included in the face authentication request, and transmits the face area or face feature information to the authentication device 200 to perform face authentication. Further, the authentication control unit 140 receives the success / failure of face authentication from the authentication device 200, and returns the face authentication result to the requesting terminal. If the face authentication is successful, the user ID is included in the face authentication result.
  • the authentication recording unit 150 records the user ID, the photographed image, the passing point, and the passing date and time in association with each other in the history DB 110a.
  • the captured image is, for example, the one used for face recognition.
  • the face authentication terminal 300 or the user terminal 400 performs various processes such as payment processing.
  • the authentication recording unit 150 records the user ID that succeeded in face authentication, the photographed image, the passing point, and the passing date and time in association with each other in the history DB 110a.
  • the payment recording unit 160 receives the payment history recording request, the payment recording unit 160 identifies the user ID included in the payment history. Then, the payment recording unit 160 records the specified user ID and the payment history in the history DB 110a in association with each other.
  • the image generation unit 170 determines a predetermined image generation condition.
  • the image generation unit 170 determines a predetermined image generation condition based on the results of face recognition performed at a plurality of points.
  • the predetermined image generation condition includes, for example, that the face authentication is successful at two or more of the plurality of points, and the payment history of the user exists at at least one of the two or more points.
  • the predetermined image generation condition may be that the number of passing points is larger than the predetermined number N.
  • the image generation unit 170 acquires a plurality of captured images associated with the user ID from the history DB 110a and generates a composite image including the plurality of captured images. At this time, the image generation unit 170 identifies the point ID corresponding to each captured image, acquires the access information associated with the specified point ID from the point DB 120a, and obtains the access information corresponding to the area of each captured image. It is preferable to set and generate a composite image. By generating a composite image by incorporating the access information corresponding to the area of each shot image, when the user clicks each shot image embedded in the acquired composite image, the store information, event information, etc. related to the relevant point can be obtained. Can be accessed. Therefore, it is possible to promote the user's revisit to each point.
  • the predetermined image generation condition may further include the condition of the payment history.
  • the conditions of the settlement history are, for example, that there is a settlement history at at least one of the passing points and that the settlement amount in the settlement history is a predetermined amount or more.
  • the image generation unit 170 determines whether or not the payment history of the user who has succeeded in face recognition satisfies the condition of the payment history.
  • the predetermined image generation condition may further include the success of face recognition at a predetermined point.
  • Successful face recognition at a predetermined point means, for example, success in face recognition at a specific point such as the final point of a stamp rally.
  • the image generation unit 170 acquires the point ID of the captured image in which the face authentication is successful from the point DB 120a, and determines whether or not the point ID is the point ID at the predetermined point.
  • the output unit 180 transmits the composite image generated by the image generation unit 170 to a terminal that has succeeded in face recognition or a terminal that has made a composite image request via the network 500.
  • the output unit 180 may transmit the composite image to a terminal other than the terminal that has performed face recognition and the composite image request. For example, when face recognition is performed from a store terminal, the output unit 180 may send a composite image to the store terminal, or send the composite image to a user terminal owned by a user who has succeeded in face recognition. May be good.
  • the authentication device 200 is a device that authenticates the user's face.
  • the authentication device 200 includes a face feature DB 210.
  • the face feature DB 210 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
  • the face feature DB 210 is an example of a face feature information storage unit.
  • the face recognition terminal 300 is a terminal that captures an image used for face recognition.
  • the face recognition terminal 300 is a terminal that transmits a photographed image to the visit propulsion device 100a and makes a face recognition request.
  • the face recognition terminal 300 is installed at each point A0 to An in the area A.
  • a face recognition terminal 300A0 is installed at the point A0
  • a face recognition terminal 300A1 is installed at the point A1
  • a face recognition terminal 300A2 is installed at the point A2
  • a face recognition terminal 300An is installed at the point An.
  • the user terminal 400 is a terminal owned by the user.
  • the user terminal 400 is, for example, a communication terminal such as a smartphone, a tablet, or a PC.
  • the user uses the face authentication terminal 300 or the user terminal 400 to take an image including the user's face.
  • the face recognition terminal 300 or the user terminal 400 transmits the captured image to the visit propulsion device 100a.
  • FIG. 4 is a block diagram showing the configuration of the authentication device 200.
  • the authentication device 200 includes a face feature DB 210, a face detection unit 220, a feature point extraction unit 230, a registration unit 240, and an authentication unit 250.
  • the face feature DB 210 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
  • the face detection unit 220 detects the face region included in the captured image and outputs it to the feature point extraction unit 230.
  • the feature point extraction unit 230 extracts feature points from the face region detected by the face detection unit 220, and outputs face feature information to the registration unit 240.
  • the facial feature information is a set of extracted feature points.
  • the registration unit 240 newly issues a user ID when registering facial feature information.
  • the registration unit 240 registers the issued user ID and the face feature information extracted from the registered image in the face feature DB 210 in association with each other.
  • the authentication unit 250 collates the face feature information extracted from the face image with the face feature information in the face feature DB 210. If the face feature information matches, the authentication unit 250 determines that the face recognition was successful, and if the face feature information does not match, determines that the face recognition has failed.
  • the authentication unit 250 returns the success or failure of the face authentication to the visit propulsion device 100a.
  • the presence or absence of matching of facial feature information corresponds to the success or failure of authentication.
  • the authentication unit 250 identifies the user ID associated with the successful face feature information, and visits and promotes the authentication result including the specified user ID and the fact that the authentication is successful. Reply to the device 100a.
  • FIG. 7 is a flowchart showing the flow of the face feature information registration process.
  • FIG. 7 describes a case where the face authentication terminal 300 captures an image and registers the face feature information, but when the user terminal 400 captures an image, the face feature information can be registered by the same procedure. ..
  • the face recognition terminal 300 When registering the face feature information, the face recognition terminal 300 captures an image including the user's face as a registration image, and requests the authentication device 200 to register the face feature information via the network 500.
  • the facial feature information registration request includes a registration image.
  • the authentication device 200 acquires a registration image from the face recognition terminal 300 or the user terminal 400 via the network 500 (step S201).
  • the face detection unit 220 detects the face area included in the registration image (step S202), and outputs the detected face area to the feature point extraction unit 230.
  • the feature point extraction unit 230 extracts the feature points from the face region and outputs the face feature information to the registration unit 240 (step S203).
  • the registration unit 240 issues a user ID corresponding to the output face feature information, associates the user ID with the face feature information, and registers the user ID in the face feature DB 210 (step S204).
  • FIG. 8 is a flowchart showing the flow of face recognition processing.
  • FIG. 8 describes a case where the face authentication terminal 300 requests face authentication, but when the user terminal 400 requests face authentication, face authentication can be performed by the same procedure.
  • the face recognition terminal 300 captures an image including the user's face as an authentication image, and makes a face recognition request to the visit propulsion device 100a via the network 500.
  • the face recognition request includes an image for authentication.
  • the visit propulsion device 100a transmits the face region or face feature information extracted from the authentication image to the authentication device 200.
  • the feature point extraction unit 230 acquires the face feature information by extracting the face feature information from the received face region or receiving the face feature information (step S301).
  • the authentication unit 250 collates the face feature information acquired by the acquisition unit 130 with the face feature DB 210 (step S302).
  • the authentication unit 250 identifies the user ID of the user whose face feature information matches (step S304), and visits and promotes the identified user ID that the face authentication was successful. Reply to the device 100a (step S305).
  • the authentication unit 250 returns to the visit propulsion device 100a that the face authentication has failed (step S306).
  • the face recognition terminal 300 includes a photographing device such as a camera, a display device, and a computer as a hardware configuration.
  • the face recognition terminal 300 is a device that makes a face feature information registration request and a face recognition request.
  • Examples of the face recognition terminal 300 include, but are not limited to, a terminal that performs payment by face recognition, a terminal that controls admission by face recognition, and digital signage that presents information according to face recognition.
  • FIG. 5 is a block diagram showing the configuration of the face authentication terminal 300.
  • the face recognition terminal 300 includes a camera 310, a storage unit 320, a communication unit 330, a display unit 340, and a control unit 350.
  • the camera 310 is a photographing device that captures an image.
  • the storage unit 320 is a storage device that stores a program for realizing each function of the face authentication terminal 300.
  • the communication unit 330 is a communication interface with the network 500.
  • the display unit 340 is a display device that displays a face authentication result, a composite image, and the like to the user.
  • the control unit 350 controls the hardware included in the face authentication terminal 300.
  • the control unit 350 includes a photographing unit 352, a registration unit 353, an authentication unit 354, a settlement unit 355, and a composite image requesting unit 356.
  • the shooting unit 352 makes a shooting request to the camera 310.
  • the camera 310 captures an image including the user's face.
  • the image taken by the camera 310 is used as a registration image and an authentication image.
  • the registration unit 353 transmits the face feature information registration request to the authentication device 200 via the network 500.
  • the facial feature information registration request includes a registration image taken by the camera 310.
  • the authentication unit 354 transmits the face authentication request to the visit propulsion device 100a via the network 500.
  • the face recognition request includes an authentication image taken by the camera 310.
  • the authentication unit 354 receives the success or failure of face authentication from the visit propulsion device 100a, and displays the result on the display unit 340.
  • the settlement unit 355 executes the settlement process when the face authentication is successful.
  • the control unit 350 may include a recording unit (not shown) in place of the settlement unit 355.
  • the recording unit records the user's entry / exit to / from the facility where the face recognition terminal 300 is installed when the face recognition is successful.
  • the composite image request unit 356 transmits the composite image request to the visit propulsion device 100a via the network 500.
  • the composite image request includes a payment history that is the result of the payment process.
  • the payment history is information including, for example, the date and time of payment, the amount of money, the goods, the user ID, and the like.
  • FIG. 6 is a block diagram showing the configuration of the user terminal 400.
  • the user terminal 400 includes a camera 410, a storage unit 420, a communication unit 430, a display unit 440, and a control unit 450.
  • the control unit 450 includes a photographing unit 452, a registration unit 453, an authentication unit 454, a settlement unit 455, and a composite image requesting unit 456. Since the functions of each configuration included in the user terminal 400 are the same as those of each configuration included in the face authentication terminal 300, the description thereof will be omitted.
  • FIG. 9 is a flowchart showing the flow of the history registration process.
  • the face authentication terminal 300 requests the history registration is described in FIG. 9, the user terminal 400 can also make the history registration request by the same procedure.
  • the shooting unit 352 makes a shooting request to the camera 310, and the camera 310 shoots an authentication image including the user's face (step S401).
  • the authentication unit 354 transmits the face authentication request to the authentication device 200 via the network 500 (step S402), and receives the success or failure from the authentication device 200 (step S403). If the face recognition is successful (step S404Yes), the settlement unit 355 executes the settlement process (step S405), and the settlement unit 355 requests the visit propulsion device 100a to register the history via the network 500. (Step S406).
  • the settlement unit 355 causes the display unit 340 to display that the face authentication has failed.
  • the face authentication terminal 300 or the user terminal 400 has the same procedure when performing various processing other than the payment processing.
  • the history is registered in the visit propulsion device 100a.
  • a commemorative photo taken by a user who has succeeded in face recognition can be considered.
  • FIG. 10 is a flowchart showing the flow of payment record processing.
  • the history registration request transmitted in step S406 described above includes a payment history.
  • the payment history includes a user ID that has succeeded in face authentication, a point ID of the face authentication terminal 300, a payment date and time, payment information, and the like.
  • the visit promotion device 100a acquires the payment history included in the history registration request (step S501) and identifies the user ID included in the payment history (step S502).
  • the specified user ID and the payment history are associated and registered in the history DB 110a (step S503).
  • the history is registered by the same procedure.
  • the visit propulsion device 100a generates a composite image when face recognition is successful or when a composite image request is received.
  • the visit propulsion device 100a generates a composite image, for example, when the user succeeds in face recognition at all points A0 to An in the area A. Further, the user may arbitrarily specify the timing of making the composite image request.
  • FIG. 11 is a flowchart showing the flow of the image generation process.
  • the predetermined image generation condition is that face authentication is successful at m or more points including a specific point, and there is a payment history at any point where face authentication is successful.
  • m is a natural number of 2 or more and n or less.
  • the passing point registered in the history DB 110a is a point where face authentication is successful, if the passing point includes a specific point, it can be said that the face authentication is successful at the specific point. If the face recognition is not successful at the specific point (step S602No), the image generation unit 170 outputs that the composite image cannot be provided (step S608).
  • the image generation unit 170 determines whether or not the number of points visited by the user is m or more (step S603). When the number of visited points is less than m (step S603No), the image generation unit 170 outputs that the composite image cannot be provided (step S608). When the number of visited points is m or more (step S603Yes), the image generation unit 170 determines whether or not there is a payment history at any point where face recognition is successful (step S604). If there is no payment history at any of the points where face recognition is successful (step S604No), the image generation unit 170 outputs that the composite image cannot be provided (step S608).
  • the image generation unit 170 acquires a plurality of captured images associated with the user ID from the history DB 110a (step S605). Next, the image generation unit 170 generates a composite image including the acquired plurality of captured images (step S606), and outputs the composite image to a predetermined display terminal (step S607).
  • the predetermined display terminal receives the composite image via the network 500 and displays it on the screen.
  • FIG. 12 is an example of a composite image. As shown in FIG. 2, an image taken by the user at each point is embedded in the composite image. By embedding the captured image by the user, the originality of the composite image can be enhanced.
  • the composite image may include a date, a user's name, a name of each point, and the like.
  • each image included in the composite image and the name of each point may have a link to access the detailed information of the point.
  • Examples of detailed information of each point include the type of store and a map.
  • 13 to 15 are sequence charts showing an operation example of the visit propulsion system according to the second embodiment.
  • the user first captures a captured image with the face recognition terminal 300A0 or the user terminal 400.
  • the terminal that has taken the picture transmits a face information registration request to the authentication device 200 via the network 500 (step S701).
  • the face information registration request is a request for registering the face feature information of the user.
  • the face information registration request includes a photographed image.
  • the authentication device 200 Upon receiving the face information registration request, the authentication device 200 issues a new user ID, and registers the user ID and the face feature information extracted from the captured image in the face feature DB 210 in association with each other.
  • the user moves to the point A1 and takes a photographed image by the face authentication terminal 300A1 or the user terminal 400.
  • the terminal that has taken the picture transmits a face recognition request to the visit propulsion device 100a via the network 500 (step S702).
  • the visit propulsion device 100a receives the face authentication request, it extracts the face area or face feature information from the captured image included in the face authentication request and transmits it to the authentication device 200 (step S703).
  • the authentication device 200 extracts face feature information from the face area, collates the face feature information with the face feature information registered in the face feature DB 210, and performs face recognition.
  • the authentication device 200 collates the face feature information with the face feature information registered in the face feature DB 210 to perform face authentication.
  • the authentication device 200 transmits the face authentication result to the visit propulsion device 100a (step S704).
  • the face authentication result includes the fact that the face authentication is successful and the user ID that the face authentication is successful.
  • the visit propulsion device 100a transmits the received face authentication result to the face authentication terminal 300A1 or the user terminal 400 (step S705). Further, the visit propulsion device 100a records the captured image received in step S702 and the user ID included in the face authentication result received in step S704 in association with each other in the history DB 110a. Next, the user moves to the point A2.
  • the user captures a captured image with the face recognition terminal 300A2 or the user terminal 400.
  • the terminal that has taken the picture transmits a face recognition request to the authentication device 200 via the network 500 (step S801).
  • the visit propulsion device 100a receives the face authentication request, it extracts the face area or face feature information from the captured image included in the face authentication request and transmits it to the authentication device 200 (step S802).
  • the authentication device 200 performs face authentication based on the received face area or face feature information, and transmits the face authentication result to the visit propulsion device 100a (step S803).
  • the visit promotion device 100a transmits the received face authentication result to the face authentication terminal 300A2 or the user terminal 400 (step S804). Further, the visit propulsion device 100a records the captured image received in step S801 and the user ID included in the face authentication result received in step S803 in association with each other in the history DB 110a. Next, the user performs payment processing on the face authentication terminal 300A2 or the user terminal 400. The terminal that has performed the payment process transmits a history registration request to the visit propulsion device 100a via the network 500 (step S805).
  • the history registration request includes a payment history such as a user ID that has succeeded in face authentication, a point ID of the face authentication terminal 300, a payment date and time, and payment information.
  • the visit promotion device 100a receives the history registration request, the visit promotion device 100a records the user ID included in the history registration request and the payment history in the history DB 110a in association with each other. The user then moves to point An.
  • the user captures a captured image with the face recognition terminal 300An or the user terminal 400.
  • the terminal that has taken the picture transmits a face recognition request to the authentication device 200 via the network 500 (step S901).
  • the visit propulsion device 100a receives the face authentication request, it extracts the face area or face feature information from the captured image included in the face authentication request and transmits it to the authentication device 200 (step S902).
  • the authentication device 200 performs face authentication based on the received face area or face feature information, and transmits the face authentication result to the visit propulsion device 100a (step S903).
  • the visit promotion device 100a transmits the received face authentication result to the face authentication terminal 300An or the user terminal 400 (step S904). Further, the visit propulsion device 100a records the captured image received in step S901 and the user ID included in the face authentication result received in step S903 in association with each other in the history DB 110a. Next, the face recognition terminal 300An or the user terminal 400 transmits a composite image request to the visit propulsion device 100a via the network 500 according to the user's designation (step S905). The composite image request includes a user ID. The face recognition terminal 300An or the user terminal 400 may transmit a composite image request to the visit propulsion device 100a regardless of the user's designation if the predetermined image generation condition is satisfied.
  • the visit propulsion device 100a When the visit propulsion device 100a receives the composite image request, it acquires the passing point and the payment history associated with the user ID included in the composite image request from the history DB 110a, and determines whether or not the predetermined image generation condition is satisfied. To judge. When the visit propulsion device 100a satisfies a predetermined image generation condition, the visit propulsion device 100a acquires a plurality of captured images associated with the user ID from the history DB 110a and generates a composite image. Next, the visit propulsion device 100a transmits the generated composite image to the face recognition terminal 300An or the user terminal 400 (step S906). The terminal that has received the composite image displays the composite image on the screen.
  • the output unit 180 When the user's passing point, payment history, etc. do not satisfy the predetermined image generation conditions, the output unit 180 outputs information indicating the conditions necessary for satisfying the predetermined image generation conditions (for example, visit promotion described later). Information) may be transmitted to the face recognition terminal 300An or the user terminal 400.
  • FIG. 16 is a diagram illustrating a map displayed on the display terminal.
  • FIG. 16 shows a case where the payment history is displayed on the user terminal 400.
  • the user terminal 400 may display the user's passing point and payment history on the map.
  • FIG. 17 is a diagram illustrating a payment history displayed on a display terminal. As shown in FIG. 17, the user terminal 400 may display the user's payment history in chronological order.
  • FIGS. 16 and 17 show a case where only the payment history of the user is displayed on the display terminal
  • visit promotion information may be displayed on the display terminal in addition to the payment history.
  • the visit promotion information is information about the visit promotion point.
  • the visit promotion point is, for example, a point that the user has not yet visited and needs to be visited in order to satisfy a predetermined image generation condition.
  • the visit promotion point may be a point or the like that the user has visited and has not made a payment of a predetermined amount or more.
  • the information on the visit promotion point may include route guidance from the user's current position to the visit promotion point.
  • the route guidance may include the distance from the user's current position to the visit propulsion point, the required time, and the like.
  • a plurality of visit promotion information may be displayed on the display terminal. When displaying a plurality of visit promotion information, the details of each visit promotion information, route guidance, etc. may be displayed at the same time. The user can examine the details of each visit promotion information, route guidance, etc., and compare the visit promotion information with each other.
  • FIGS. 18 to 20 are diagrams illustrating a visit promotion screen displayed on the display terminal. At least the visit promotion information is displayed on the visit promotion screen, and the user's visit point, payment history, and the like may be further displayed.
  • the visit promotion screen shown in FIGS. 18 to 20 may have a link for accessing detailed information of each point. When the user clicks the link to each point, the detailed information of the point may be displayed on the visit promotion screen.
  • FIG. 18 is an example of a visit promotion screen when a predetermined image generation condition is set to visit all of 10 points A0 to A9.
  • the visit promotion screen displays, for example, at which point the user has visited at the present time.
  • the visit promotion screen may display which points should be visited to satisfy the predetermined image generation conditions, the number of points that need to be visited to satisfy the predetermined image generation conditions, and the like. .. Specifically, as shown in FIG. 18, the number of points that need to be visited in order to satisfy a predetermined image generation condition is 10, and the user is currently visiting 3 points. In this case, it may be displayed that the composite image can be acquired by visiting 7 places.
  • FIG. 19 is an example of a visit promotion screen when the predetermined image generation condition is that the total amount of payment at five points A0 to A4 is 2000 yen or more.
  • the predetermined image generation condition is that the total amount of payment at five points A0 to A4 is 2000 yen or more.
  • the amount of payment made by the user at each of the points A0 to A4 is displayed.
  • the purchase price or the like required to satisfy a predetermined image generation condition may be displayed on the visit promotion screen.
  • the total purchase amount required to satisfy the predetermined image generation condition is 2000 yen and the total purchase amount at the present time is 1500 yen
  • another 500 yen should be purchased.
  • FIG. 20 is an example of a visit promotion screen when a predetermined image generation condition is set to settle payment of 500 yen or more at each point A0 to A4.
  • a predetermined image generation condition is set to settle payment of 500 yen or more at each point A0 to A4.
  • the visit promotion screen displays the purchase price at each point A0 to A4 required to satisfy the predetermined image generation condition, the number of points required to visit to satisfy the predetermined image generation condition, and the like. May be good. Specifically, as shown in FIG.
  • the purchase amount required to satisfy the predetermined image generation condition is 500 yen or more at each point, and at present, the purchase amount at the two points is 500 yen or more, and It is assumed that the purchase price at one point is 200 yen. In this case, it may be displayed that a composite image can be obtained by visiting two more points and purchasing 500 yen or more, and then purchasing another 300 yen at the point where 200 yen has already been purchased.
  • the third embodiment is a modification of the above-described first and second embodiments.
  • the visit propulsion devices 100, 100a and 700 according to the first and second embodiments perform face recognition using an external authentication device 200.
  • the visit propulsion device 800 according to the present embodiment performs face recognition inside the device.
  • FIG. 21 is a block diagram showing the configuration of the visit propulsion device 800 according to the third embodiment.
  • the authentication control unit 140 is replaced with the face feature extraction unit 140a and the face recognition unit 190, and the face feature DB 191 (not shown) is added, as compared with the configuration of the visit propulsion device 100 shown in FIG. It is a thing.
  • the face feature DB 191 is an example of a face feature information storage unit.
  • the description of each configuration included in the visit propulsion device 800 that overlaps with the second embodiment will be omitted as appropriate.
  • FIG. 22 is a block diagram showing the configuration of the visit promotion system 900 according to the third embodiment.
  • the visit promotion system 900 is different from the visit promotion system 600 in that it does not include the authentication device 200 and that it includes the visit promotion device 800. Since the other configurations are the same, the description thereof will be omitted as appropriate.
  • the face feature extraction unit 140a extracts face region or face feature information from the captured image.
  • the face recognition unit 190 performs face recognition based on the extracted face area or face feature information.
  • the face feature DB 191 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
  • the visit propulsion device 800 generates a composite image in the flow shown in FIG. 2 in the same manner as the visit propulsion device 100.
  • the face feature extraction unit 140a extracts the face area or face feature information from the captured image acquired by the acquisition unit 130, and the face recognition unit 190 is based on the extracted face area or face feature information. Perform face recognition.
  • the visit propulsion device according to the present embodiment can exert the same effect as the effect described in the first to third embodiments.
  • the description is made as a hardware configuration, but the present invention is not limited to this.
  • the present disclosure can also be realized by causing the CPU to execute a computer program.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, DVD (Digital Versatile Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • An acquisition unit that acquires captured images taken by the user, An authentication control unit that extracts the user's face area or face feature information from the captured image and causes an authentication device to perform face authentication.
  • An image generation unit that generates a composite image including a photographed image of each point in a user who succeeds in face recognition when a predetermined image generation condition based on the face recognition is satisfied at a plurality of points.
  • An output unit that transmits a composite image generated by the image generation unit to a predetermined display terminal, and an output unit.
  • the predetermined image generation condition includes a case where the face authentication is successful at two or more of the plurality of points and a payment history of the user exists at at least one of the two or more points.
  • Appendix A3 The output unit When the predetermined image generation condition is not satisfied at the point where the face recognition is successful, information indicating the condition necessary for satisfying the image generation condition is transmitted to the display terminal.
  • Appendix A4 Moreover, When the face recognition is successful, the user ID that has succeeded in the face recognition and the photographed image are associated with each other and recorded in the history storage unit.
  • the image generation unit acquires a photographed image associated with a user ID of a user who has succeeded in face authentication from the history storage unit, and generates a composite image using the photographed image.
  • the visit propulsion device according to any one of Appendix A1 to A3.
  • the predetermined image generation condition includes a payment history condition.
  • the image generation unit determines whether or not the payment history of the user who succeeds in the face authentication satisfies the condition of the predetermined payment history.
  • Appendix A6 Further, it is provided with a point storage unit that stores the point ID in the captured image and the access information of the point in association with each other.
  • the image generation unit acquires access information associated with the point ID of the captured image from the point storage unit, incorporates the access information, and generates the composite image.
  • the visit propulsion device according to any one of Appendix A1 to A5.
  • the predetermined image generation condition includes successful face recognition at a predetermined point.
  • the image generation unit acquires a point ID in the captured image that has succeeded in face recognition from the point management means, and determines whether or not the point ID is a point ID at the predetermined point.
  • the visit propulsion device according to Appendix A6.
  • a predetermined imaging device that captures an image including the user's face area, and A visit propulsion device capable of communicating with the predetermined photographing device
  • An authentication device that stores the user's facial feature information and can communicate with the visit propulsion device is provided.
  • the visit propulsion device An acquisition unit that allows the user to acquire a captured image captured by the predetermined imaging device, and An authentication control unit that extracts the user's face area or face feature information from the captured image and causes an authentication device to perform face authentication.
  • An image generation unit that generates a composite image including a photographed image of each point in a user who succeeds in face recognition when a predetermined image generation condition based on the face recognition is satisfied at a plurality of points.
  • An output unit that transmits a composite image generated by the image generation unit to a predetermined display terminal, and an output unit.
  • Visit promotion system equipped with.
  • the predetermined image generation condition is a case where the face authentication is successful at two or more of the plurality of points and the payment history of the user exists at at least one of the two or more points.
  • (Appendix C1) The computer The process of acquiring the captured image taken by the user, A process of extracting the user's face area or face feature information from the captured image and causing the authentication device to perform face authentication.
  • a step of generating a composite image including a photographed image of each point in the user who succeeded in the face recognition a step of generating a composite image.
  • An acquisition unit that acquires captured images taken by the user, An extraction unit that extracts face region or face feature information from the captured image, A face recognition unit that performs face recognition based on the face area or the face feature information, An image generation unit that generates a composite image including a photographed image of each point in a user who succeeds in face recognition when a predetermined image generation condition based on the face recognition is satisfied at a plurality of points.
  • An output unit that transmits a composite image generated by the image generation unit to a predetermined display terminal, and an output unit.
  • the predetermined image generation condition is a case where the face authentication is successful at two or more of the plurality of points and the payment history of the user exists at at least one of the two or more points.
  • (Appendix F1) The computer The process of acquiring the captured image taken by the user, A step of extracting face region or face feature information from the captured image, and A step of performing face recognition based on the face region or the face feature information, and When the predetermined image generation conditions based on the face recognition at a plurality of points are satisfied, a step of generating a composite image including a photographed image of each point in the user who succeeded in the face recognition, and a step of generating a composite image. The process of transmitting the generated composite image to a predetermined display terminal, and Visit promotion method to prepare.
  • Appendix G1 The process of acquiring the captured image taken by the user, A step of extracting face region or face feature information from the captured image, and A step of performing face recognition based on the face region or the face feature information, and When the predetermined image generation conditions based on the face recognition at a plurality of points are satisfied, a step of generating a composite image including a photographed image of each point in the user who succeeded in the face recognition, and a step of generating a composite image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Collating Specific Patterns (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

各地点を実際に訪問したユーザに対して各地点の訪問を記録した情報を提供するための訪問推進装置を提供する。訪問推進装置（１００）は、ユーザが撮影された撮影画像を取得する取得部（１３０）と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置（２００）に顔認証を行わせる認証制御部（１４０）と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部（１７０）と、所定の表示端末に画像生成部（１７０）が生成した合成画像を送信する出力部（１８０）と、を備える。

Description

訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、ユーザの訪問を推進するための訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　特許文献１には、複数の地点を訪問することで目的を達成するいわゆるスタンプラリー（ポイントラリー）において、各地点に設置されたカメラで顔認証を行うことにより各地点での訪問の確証とする技術が開示されている。
特開２０１３－４１４１６号公報
　ここで、地域活性化等の目的により、地域内の各地点を実際に訪問した際に物品の購入等（決済）を促進させるために、スタンプラリーを活用することが挙げられる。しかしながら、特許文献１に開示された技術では、スタンプラリーの活用が不十分であった。
　本開示は、このような問題点を解決するためになされたものであり、各地点を実際に訪問したユーザに対して各地点の訪問を記録した情報を提供するための訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
　本開示に係る訪問推進装置は、ユーザが撮影された撮影画像を取得する取得部と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、を備える。
　本開示に係る訪問推進システムは、ユーザの顔領域を含む画像を撮影する所定の撮影装置と、前記所定の撮影装置と通信可能な訪問推進装置と、前記ユーザの顔特徴情報を記憶し、前記訪問推進装置と通信可能な認証装置と、を備え、前記訪問推進装置は、ユーザが前記所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、を備える。
　本開示に係る訪問推進方法は、コンピュータが、ユーザが撮影された撮影画像を取得する工程と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、所定の表示端末に前記生成した合成画像を送信する工程と、を備える。
　本開示に係る非一時的なコンピュータ可読媒体は、ユーザが撮影された撮影画像を取得する工程と、前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、所定の表示端末に前記生成した合成画像を送信する工程と、を実行させるプログラムが記録される。
　本開示に係る訪問推進装置は、ユーザが撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出する抽出部と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、を備える。
　本開示に係る訪問推進方法は、コンピュータが、ユーザが撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、所定の表示端末に前記生成した合成画像を送信する工程と、を備える。
　本開示に係る非一時的なコンピュータ可読媒体は、ユーザが撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、所定の表示端末に前記生成した合成画像を送信する工程と、を実行させるプログラムが記録される。
　本開示により、各地点を実際に訪問したユーザに対して各地点の訪問を記録した情報を提供するための訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施形態１に係る訪問推進装置の構成を示すブロック図である。 実施形態１に係る訪問推進方法の流れを示すフローチャートである。 実施形態２に係る訪問推進システムの構成を示すブロック図である。 認証装置の構成を示すブロック図である。 顔認証端末の構成を示すブロック図である。 ユーザ端末の構成を示すブロック図である。 顔特徴情報登録処理の流れを示すフローチャートである。 顔認証処理の流れを示すフローチャートである。 認証記録処理の流れを示すフローチャートである。 決済記録処理の流れを示すフローチャートである。 画像生成処理の流れを示すフローチャートである。 合成画像の一例である。 実施形態２に係る訪問推進システムの一動作例を示すシーケンスチャートである。 実施形態２に係る訪問推進システムの一動作例を示すシーケンスチャートである。 実施形態２に係る訪問推進システムの一動作例を示すシーケンスチャートである。 表示端末上に表示されるマップを例示する図である。 表示端末上に表示される決済履歴を例示する図である。 表示端末上に表示される訪問推進画面を例示する図である。 表示端末上に表示される訪問推進画面を例示する図である。 表示端末上に表示される訪問推進画面を例示する図である。 実施形態３に係る訪問推進装置の構成を示すブロック図である。 実施形態３に係る訪問推進システムの構成を示すブロック図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施形態１＞
　図１は、実施形態１に係る訪問推進装置１００の構成を示すブロック図である。訪問推進装置１００は、取得部１３０、認証制御部１４０、画像生成部１７０及び出力部１８０を備える。訪問推進装置１００は、ネットワーク５００（不図示）に接続される。ネットワーク５００は、有線であっても無線であってもよい。ネットワーク５００には、図示しない認証装置２００及び顔認証端末３００が接続される。
　取得部１３０は、ユーザが撮影された撮影画像を取得する。撮影画像は、ユーザの顔を含む画像である。撮影画像は所定の撮影装置により撮影される。所定の撮影装置は、例えば、顔認証端末３００が備えるカメラ、及びユーザが所持するスマートフォン等のユーザ端末のカメラである。認証制御部１４０は、撮影画像からユーザの顔領域又は顔特徴情報を抽出して認証装置２００に顔認証を行わせる。認証装置２００は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて予め記憶している。
　画像生成部１７０は、複数の地点における顔認証に基づく所定の画像生成条件を満たす場合に、顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する。所定の画像生成条件は、ユーザに提示する合成画像を生成するための条件である。所定の画像生成条件は、例えば、特定の地点で顔認証を行っていること、所定数以上の地点において顔認証を行っていること及びいずれかの地点において決済を行っていること等である。出力部１８０は、所定の表示端末に画像生成部１７０が生成した合成画像を送信する所定の表示端末は、例えば、顔認証端末３００、ユーザ端末、店舗端末又は街頭のサイネージである。ユーザ端末は、ユーザが所持するスマートフォン等の通信端末である。店舗端末は、各店舗に設置される端末であり、例えば、ユーザが店舗を出る際に「次は〇〇へ行くのはいかがですか」等と表示する。
　所定の表示端末は、上述の所定の撮影装置であってもよいし、異なる端末であってもよい。例えば、ユーザ端末で撮影画像を撮影された場合、出力部１８０は、当該ユーザ端末に合成画像を送信してもよいし、顔認証端末３００等に合成画像を送信してもよい。顔認証端末３００で撮影画像を撮影された場合、出力部１８０は、当該顔認証端末３００に合成画像を送信してもよいし、ユーザ端末等に合成画像を送信してもよい。
　図２は、実施形態１に係る訪問推進方法の流れを示すフローチャートである。まず、取得部１３０は、ユーザが撮影された撮影画像を取得する（ステップＳ１０１）。次に、認証制御部１４０は、取得部１３０が取得した撮影画像からユーザの顔領域又は顔特徴情報を抽出して認証装置２００に顔認証を行わせる（ステップＳ１０２）。認証装置２００は、認証制御部１４０から受け取った顔領域又は顔特徴情報と、認証装置２００内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定し、判定結果を返信する。尚、認証装置２００は、ユーザＩＤと顔特徴情報とを対応付けて記憶しているものとする。そして、認証装置２００は、顔認証に成功した場合、成功したユーザＩＤを判定結果に含めて返信する。
　次に、画像生成部１７０は、複数の地点における顔認証に基づく所定の画像生成条件を満たす場合に、顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する（ステップＳ１０３）。次に、出力部１８０は、所定の表示端末に画像生成部１７０が生成した合成画像を送信する（ステップＳ１０４）。このように、本実施形態に係る訪問推進方法は、各地点を実際に訪問したユーザに対して各地点の訪問を記録した情報を提供することができる。
　訪問推進装置１００は、図１に示した構成に加えて、履歴記憶部、地点記憶部、認証記録部及び決済記録部等の各構成を備えていてもよい。
　履歴記憶部は、ユーザのＩＤ、通過地点、通過日時、撮影画像及び決済履歴を記憶する。地点記憶部は、地点ＩＤと当該地点のアクセス情報とを対応付けて記憶する。認証記録部は、顔認証に成功した場合に、当該顔認証に成功したユーザＩＤと撮影画像とを対応付けて履歴記憶部に記録する。決済記録部は、決済履歴と当該決済履歴に含まれるユーザＩＤとを対応付けて履歴記憶部に記録する。
　尚、訪問推進装置１００は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態に係る訪問推進方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、取得部１３０、認証制御部１４０、認証記録部、決済記録部、画像生成部１７０及び出力部１８０の機能を実現する。
　または、取得部１３０、認証制御部１４０、認証記録部、決済記録部、画像生成部１７０及び出力部１８０は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
　また、訪問推進装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、訪問推進装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
＜実施形態２＞
　実施形態２は、上述した実施形態１の具体例である。図３は、実施形態２に係る訪問推進システム６００の構成を示すブロック図である。訪問推進システム６００は、少なくとも、訪問推進装置１００ａ及び認証装置２００を備え、さらに顔認証端末３００及びユーザ端末４００のうち少なくとも一方を備える。訪問推進装置１００ａ、認証装置２００、顔認証端末３００（３００Ａ０、３００Ａ１、３００Ａ２及び３００Ａｎ）及びユーザ端末４００のそれぞれは、ネットワーク５００を介して接続されている。なお、実施形態１と重複する説明については適宜省略する。
　訪問推進装置１００ａは、履歴ＤＢ（DataBase）１１０ａ、地点ＤＢ１２０ａ、取得部１３０、認証制御部１４０、認証記録部１５０、決済記録部１６０、画像生成部１７０及び出力部１８０を備える。訪問推進装置１００ａは、ユーザの訪問履歴、決済履歴、合成画像の生成及び提示を行う情報処理装置であり、例えば、コンピュータにより実現されるサーバ装置である。
　履歴ＤＢ１１０ａは、ユーザの通過地点、撮影画像及び決済履歴を蓄積するためのデータベースである。尚、履歴ＤＢ１１０ａは、履歴記憶部の一例である。履歴ＤＢ１１０ａは、ユーザＩＤと、当該ユーザの通過地点と、当該通過地点における通過日時と、当該通過地点における撮影画像と、当該ユーザの決済履歴と、を対応付けて記憶している。ユーザの通過地点は、例えば、当該ユーザが顔認証に成功した顔認証端末３００の設置位置である。顔認証端末３００の設置位置は、例えば、地点Ａ０、Ａ１、Ａ２及びＡｎ（但し、ｎは自然数。以下、「地点Ａ０～Ａｎ」と称す。）の識別情報すなわち地点ＩＤである。通過日時は、ユーザが各地点Ａ０～Ａｎを訪問した日時である。
　地点Ａ０～Ａｎは、例えば、地域Ａ内における顔認証によるスタンプラリーのチェックポイントである。ユーザは、各地点Ａ０～Ａｎを訪問して顔認証端末３００又はユーザ端末４００で顔認証を行うことによって、チェックポイントを通過したことを訪問推進装置１００ａに記録することができる。ユーザは、スタート地点（例えば地点Ａ０）における顔情報の登録を行い、ゴール地点（例えば地点Ａｎ）において顔認証に成功した場合に、合成画像を得ることができる。尚、各地点Ａ０～Ａｎが店舗である場合、ユーザは、顔認証と共に商品購入等の決済を行うことができるものとする。
　訪問した日時は、例えば、ユーザが顔認証に成功した日時及びユーザが撮影画像を撮影した日時等である。撮影画像は、顔認証時に撮影された画像であり、少なくともユーザの顔を含み、さらに当該地点の背景を含んでいてもよい。決済履歴は、当該ユーザのユーザＩＤ、顔認証端末の地点ＩＤ、決済日時及び決済情報等を含む情報である。決済情報は、例えば、購入品目及び購入金額等である。尚、履歴ＤＢ１１０ａに登録される決済履歴は、顔認証決済であってもよいし、その他の方法による決済であってもよい。
　地点ＤＢ１２０ａは、各地点Ａ０～Ａｎの地点ＩＤと、アクセス情報と、を対応付けて管理するデータベースである。尚、地点ＤＢ１２０ａは、地点記憶部の一例である。アクセス情報は、例えば各地点Ａ０～Ａｎに対応したＷＥＢ情報へのリンク情報であり、具体的にはＵＲＬ（uniform resource locator）等である。
　取得部１３０は、顔認証端末３００又はユーザ端末４００からネットワーク５００を介して、顔認証要求、履歴登録要求及び合成画像要求を受信する。言い換えると、取得部１３０は、顔認証端末３００又はユーザ端末４００からカメラ３１０又は４１０による撮影画像、及び、カメラ３１０又は４１０の設置位置情報（以下、単に「設置位置」と呼ぶ。）等を取得する。
　認証制御部１４０は、顔認証要求に含まれる認証用画像から顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置２００へ送信して顔認証を行わせる。また、認証制御部１４０は、認証装置２００から顔認証の成否を受信し、顔認証結果を要求元の端末へ返信する。尚、顔認証に成功した場合、顔認証結果には、ユーザＩＤが含まれる。
　認証記録部１５０は、顔認証に成功した場合、顔認証に成功したユーザＩＤと、撮影画像と、通過地点と、通過日時と、を対応付けて履歴ＤＢ１１０ａに記録する。撮影画像は、例えば、顔認証に用いられたものである。詳細は後述するが、顔認証に成功すると、顔認証端末３００又はユーザ端末４００は、決済処理等の各種処理を行う。認証記録部１５０は、決済処理等の各種処理が行われると、顔認証に成功したユーザＩＤと、撮影画像と、通過地点と、通過日時と、を対応付けて履歴ＤＢ１１０ａに記録する。決済記録部１６０は、決済履歴記録要求を受信した場合、当該決済履歴に含まれるユーザＩＤを特定する。そして、決済記録部１６０は、特定したユーザＩＤと、決済履歴と、を対応付けて履歴ＤＢ１１０ａに記録する。
　画像生成部１７０は、合成画像要求を受信した場合、所定の画像生成条件の判定を行う。画像生成部１７０は、複数の地点において行われた顔認証の結果に基づいて、所定の画像生成条件の判定を行う。所定の画像生成条件は、例えば、複数の地点のうち２以上において前記顔認証に成功し、かつ、当該２以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在することを含む。所定の画像生成条件は、通過地点数が所定数Ｎより大きいこと等であってもよい。
　所定の画像生成条件を満たす場合、画像生成部１７０は、履歴ＤＢ１１０ａからユーザＩＤに対応付けられた複数の撮影画像を取得し、当該複数の撮影画像を含めた合成画像を生成する。このとき、画像生成部１７０は、各撮影画像に対応する地点ＩＤを特定し、地点ＤＢ１２０ａから特定した地点ＩＤに対応付けられたアクセス情報を取得し、各撮影画像の領域に対応するアクセス情報を設定して合成画像を生成することが好ましい。各撮影画像の領域に対応するアクセス情報を組み込んで合成画像を生成することによって、ユーザは、取得した合成画像に埋め込まれた各撮影画像をクリックすると、当該地点に関連する店舗情報やイベント情報等にアクセスすることができる。そのため、各地点へのユーザの再訪問を促進することができる。
　所定の画像生成条件は、決済履歴の条件をさらに含んでいてもよい。決済履歴の条件は、例えば、通過地点の少なくともいずれかで決済履歴があること及び決済履歴の決済金額が所定金額以上であること等である。この場合、画像生成部１７０は、顔認証に成功したユーザにおける決済履歴が当該決済履歴の条件を満たすか否かを判定する。
　所定の画像生成条件は、所定地点における顔認証に成功したことをさらに含んでいてもよい。所定地点における顔認証に成功したこととは、例えば、スタンプラリーの最終地点等の特定地点における顔認証に成功したこと等である。この場合、画像生成部１７０は、顔認証に成功した撮影画像における地点ＩＤを地点ＤＢ１２０ａから取得し、当該地点ＩＤが所定地点における地点ＩＤか否かを判定する。
　出力部１８０は、画像生成部１７０が生成した合成画像をネットワーク５００を介して顔認証に成功した端末又は合成画像要求を行った端末に送信する。出力部１８０は、顔認証及び合成画像要求を行った端末以外の端末に当該合成画像を送信してもよい。例えば、店舗端末から顔認証を行った場合に、出力部１８０は、当該店舗端末に合成画像を送信してもよいし、顔認証に成功したユーザが所有するユーザ端末に合成画像を送信してもよい。
　認証装置２００は、ユーザの顔認証を行う装置である。認証装置２００は、顔特徴ＤＢ２１０を備える。顔特徴ＤＢ２１０は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。尚、顔特徴ＤＢ２１０は、顔特徴情報記憶部の一例である。顔認証端末３００は、顔認証に使用する画像を撮影する端末である。顔認証端末３００は、撮影画像を訪問推進装置１００ａに送信し、顔認証要求を行う端末である。顔認証端末３００は、地域Ａ内の各地点Ａ０～Ａｎに設置されている。具体的には、地点Ａ０には顔認証端末３００Ａ０、地点Ａ１には顔認証端末３００Ａ１、地点Ａ２には顔認証端末３００Ａ２、地点Ａｎには顔認証端末３００Ａｎが設置されている。ユーザは、各地点Ａ０～Ａｎを訪問する際に、設置された顔認証端末３００Ａ０～３００Ａｎのカメラに対して顔を向けて撮影を行い、当該地点における商品購入等を行う。
　ユーザ端末４００は、ユーザが所持する端末である。ユーザ端末４００は、例えば、スマートフォン、タブレット、ＰＣ等の通信端末である。ユーザは、顔認証端末３００又はユーザ端末４００を利用してユーザの顔が含まれる画像を撮影する。顔認証端末３００又はユーザ端末４００は、撮影画像を訪問推進装置１００ａに送信する。
　次に、図４を参照して、認証装置２００の構成について詳細に説明する。図４は、認証装置２００の構成を示すブロック図である。認証装置２００は、顔特徴ＤＢ２１０、顔検出部２２０、特徴点抽出部２３０、登録部２４０及び認証部２５０を備える。
　顔特徴ＤＢ２１０は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。顔検出部２２０は、撮影画像が含む顔領域を検出し、特徴点抽出部２３０に出力する。特徴点抽出部２３０は、顔検出部２２０が検出した顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を出力する。顔特徴情報は、抽出した特徴点の集合である。
　登録部２４０は、顔特徴情報の登録に際して、ユーザＩＤを新規に発行する。登録部２４０は、発行したユーザＩＤと、登録画像から抽出した顔特徴情報と、を対応付けて顔特徴ＤＢ２１０に登録する。認証部２５０は、顔画像から抽出された顔特徴情報と、顔特徴ＤＢ２１０内の顔特徴情報と、の照合を行う。認証部２５０は、顔特徴情報が一致している場合、顔認証が成功したと判断し、顔特徴情報が不一致の場合、顔認証が失敗したと判断する。認証部２５０は、顔認証の成否を訪問推進装置１００ａに返信する。顔特徴情報の一致の有無は、認証の成否に対応する。また、認証部２５０は、顔認証に成功した場合、当該成功した顔特徴情報に対応付けられたユーザＩＤを特定し、特定されたユーザＩＤと認証成功の旨とを含めた認証結果を訪問推進装置１００ａに返信する。
　図７を参照して、顔特徴ＤＢ２１０にユーザＩＤ及び顔特徴情報を登録する際における認証装置２００の動作を説明する。図７は、顔特徴情報登録処理の流れを示すフローチャートである。図７では、顔認証端末３００が画像を撮影して顔特徴情報を登録する場合について説明を行うが、ユーザ端末４００が画像を撮影する場合も同様の手順で顔特徴情報を登録することができる。
　顔特徴情報を登録する際には、顔認証端末３００は、ユーザの顔を含む画像を登録用画像として撮影し、認証装置２００に対してネットワーク５００を介して顔特徴情報登録要求を行う。顔特徴情報登録要求は、登録用画像を含む。まず、認証装置２００は、顔認証端末３００又はユーザ端末４００からネットワーク５００を介して登録用画像を取得する（ステップＳ２０１）。
　次に、顔検出部２２０は、登録用画像が含む顔領域を検出し（ステップＳ２０２）、検出した顔領域を特徴点抽出部２３０に出力する。次に、特徴点抽出部２３０は、顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を出力する（ステップＳ２０３）。次に、登録部２４０は、出力された顔特徴情報に対応するユーザＩＤを発行し、当該ユーザＩＤと顔特徴情報とを対応付けて顔特徴ＤＢ２１０に登録する（ステップＳ２０４）。
　図８を参照して、顔認証を行う際における認証装置２００の動作を説明する。図８は、顔認証処理の流れを示すフローチャートである。図８では、顔認証端末３００が顔認証要求する場合について説明を行うが、ユーザ端末４００が顔認証要求する場合も同様の手順で顔認証を行うことができる。
　顔認証を行う際には、顔認証端末３００は、ユーザの顔を含む画像を認証用画像として撮影し、訪問推進装置１００ａに対してネットワーク５００を介して顔認証要求を行う。顔認証要求は、認証用画像を含む。まず、訪問推進装置１００ａは、認証用画像から抽出した顔領域又は顔特徴情報を認証装置２００に送信する。特徴点抽出部２３０は、受信した顔領域から顔特徴情報抽出し、又は顔特徴情報を受信することによって、顔特徴情報を取得する（ステップＳ３０１）。
　次に、認証部２５０は、取得部１３０が取得した顔特徴情報を顔特徴ＤＢ２１０と照合する（ステップＳ３０２）。顔特徴情報が一致した場合（ステップＳ３０３Ｙｅｓ）、認証部２５０は、顔特徴情報が一致したユーザのユーザＩＤを特定し（ステップＳ３０４）、顔認証に成功した旨と特定したユーザＩＤとを訪問推進装置１００ａに返信する（ステップＳ３０５）。一致する顔特徴情報がなかった場合（ステップＳ３０３Ｎｏ）、認証部２５０は、顔認証に失敗した旨を訪問推進装置１００ａに返信する（ステップＳ３０６）。
　次に、図５を参照して、顔認証端末３００の構成について詳細に説明する。顔認証端末３００は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。顔認証端末３００は、顔特徴情報登録要求及び顔認証要求を行う装置である。顔認証端末３００は、例えば、顔認証による決済を行う端末、顔認証による入場制御を行う端末、顔認証に応じて情報を提示するデジタルサイネージ等が挙げられるが、これらに限定されない。
　図５は、顔認証端末３００の構成を示すブロック図である。顔認証端末３００は、カメラ３１０、記憶部３２０、通信部３３０、表示部３４０及び制御部３５０を備える。カメラ３１０は、画像を撮影する撮影装置である。記憶部３２０は、顔認証端末３００の各機能を実現するためのプログラムが格納される記憶装置である。通信部３３０は、ネットワーク５００との通信インタフェースである。表示部３４０は、ユーザに対して顔認証結果及び合成画像等を表示する表示装置である。制御部３５０は、顔認証端末３００が備えるハードウェアの制御を行う。制御部３５０は、撮影部３５２、登録部３５３、認証部３５４、決済部３５５及び合成画像要求部３５６を備える。
　撮影部３５２は、カメラ３１０に対して撮影要求を行う。カメラ３１０は、ユーザの顔を含む画像を撮影する。カメラ３１０が撮影した画像は、登録用画像及び認証用画像として使用される。登録部３５３は、顔特徴情報登録要求を、ネットワーク５００を介して認証装置２００に送信する。顔特徴情報登録要求は、カメラ３１０が撮影した登録用画像を含む。認証部３５４は、顔認証要求を、ネットワーク５００を介して訪問推進装置１００ａに送信する。顔認証要求は、カメラ３１０が撮影した認証用画像を含む。認証部３５４は、訪問推進装置１００ａから顔認証の成否を受信し、その結果を表示部３４０に表示させる。
　決済部３５５は、顔認証の成功時に決済処理を実行する。なお、制御部３５０は、決済部３５５に代えて図示しない記録部を備えていてもよい。記録部は、顔認証の成功時に顔認証端末３００が設置されている施設へのユーザの入退場を記録する。合成画像要求部３５６は、合成画像要求を、ネットワーク５００を介して訪問推進装置１００ａに送信する。尚、合成画像要求は、決済処理の結果である決済履歴を含む。決済履歴は、例えば、決済した日時、金額、物品及びユーザＩＤ等を含む情報である。
　次に、図６を参照して、ユーザ端末４００の構成について詳細に説明する。図６は、ユーザ端末４００の構成を示すブロック図である。ユーザ端末４００は、カメラ４１０、記憶部４２０、通信部４３０、表示部４４０及び制御部４５０を備える。制御部４５０は、撮影部４５２、登録部４５３、認証部４５４、決済部４５５及び合成画像要求部４５６を備える。ユーザ端末４００が備える各構成の機能は、顔認証端末３００が備える各構成と同様であるから、説明を省略する。
　顔認証端末３００及びユーザ端末４００は、顔認証が成功した場合、決済処理を行い、その履歴を訪問推進装置１００ａに登録させる履歴登録要求を行う。以下、図９を参照して、履歴登録要求する際における顔認証端末３００の動作を説明する。図９は、履歴登録処理の流れを示すフローチャートである。図９では、顔認証端末３００が履歴登録要求する場合について説明を行うが、ユーザ端末４００も同様の手順で履歴登録要求を行うことができる。
　まず、撮影部３５２は、カメラ３１０に対して撮影要求を行い、カメラ３１０は、ユーザの顔を含む認証用画像を撮影する（ステップＳ４０１）。次に、認証部３５４は、顔認証要求をネットワーク５００を介して認証装置２００に送信し（ステップＳ４０２）、その成否を認証装置２００から受信する（ステップＳ４０３）。顔認証が成功であった場合（ステップＳ４０４Ｙｅｓ）、決済部３５５は、決済処理を実行し（ステップＳ４０５）、決済部３５５は、訪問推進装置１００ａに対してネットワーク５００を介して履歴登録要求を行う（ステップＳ４０６）。顔認証が失敗であった場合（ステップＳ４０５Ｎｏ）、決済部３５５は、表示部３４０に顔認証が失敗した旨を表示させる。
　尚、図９では、顔認証に成功した場合に決済処理を行う場合について説明を行ったが、顔認証端末３００又はユーザ端末４００は、決済処理以外の各種処理を行う場合も同様の手順で、その履歴を訪問推進装置１００ａに登録させる。決済処理以外の各種処理としては、例えば、顔認証に成功したユーザにおける記念撮影等が考えられる。
　図１０は、決済記録処理の流れを示すフローチャートである。上述のステップＳ４０６において送信される履歴登録要求には、決済履歴が含まれている。決済履歴には、顔認証に成功したユーザＩＤ、顔認証端末３００の地点ＩＤ、決済日時及び決済情報等が含まれている。訪問推進装置１００ａは、履歴登録要求を受信すると、当該履歴登録要求に含まれる決済履歴を取得し（ステップＳ５０１）、決済履歴に含まれるユーザＩＤを特定する（ステップＳ５０２）。次に、特定したユーザＩＤと決済履歴とを対応付けて履歴ＤＢ１１０ａに登録する（ステップＳ５０３）。尚、決済処理以外の各種処理を行う場合も同様の手順で、その履歴を登録する。
　訪問推進装置１００ａは、顔認証に成功した場合又は合成画像要求を受信した場合に、合成画像を生成する。訪問推進装置１００ａは、例えば、ユーザが地域Ａ内の全ての地点Ａ０～Ａｎにおいて顔認証に成功した場合等に、合成画像を生成する。また、合成画像要求を行うタイミングは、ユーザが任意に指定してもよい。以下、図１１を参照して、合成画像要求に応じて合成画像を生成する際における訪問推進装置１００ａの動作を説明する。図１１は、画像生成処理の流れを示すフローチャートである。
　図１１に示す例では、所定の画像生成条件は、特定地点を含むｍ箇所以上の地点で顔認証に成功しており、かつ、顔認証に成功したいずれかの地点において決済履歴があること、とする（尚、ｍは、２以上ｎ以下の自然数である。）。まず、取得部１３０が合成画像要求を受信すると（ステップＳ６０１）、画像生成部１７０は、特定地点において顔認証に成功したか否かを判定する（ステップＳ６０２）。具体的には、画像生成部１７０は、当該合成画像要求に含まれるユーザＩＤと対応付けられた通過地点を履歴ＤＢ１１０ａから読み出し、読み出した通過地点に特定地点が含まれているか否かを判定する。履歴ＤＢ１１０ａに登録された通過地点は、顔認証に成功した地点であるため、通過地点に特定地点が含まれていれば、特定地点において顔認証に成功したといえる。特定地点において顔認証に成功していない場合（ステップＳ６０２Ｎｏ）、画像生成部１７０は、合成画像を提供できない旨を出力する（ステップＳ６０８）。
　特定地点において顔認証に成功している場合（ステップＳ６０２Ｙｅｓ）、画像生成部１７０は、ユーザの訪問地点数がｍ以上であるか否かを判定する（ステップＳ６０３）。訪問地点数がｍ未満である場合（ステップＳ６０３Ｎｏ）、画像生成部１７０は、合成画像を提供できない旨を出力する（ステップＳ６０８）。訪問地点数がｍ以上である場合（ステップＳ６０３Ｙｅｓ）、画像生成部１７０は、顔認証に成功したいずれかの地点において決済履歴があるか否かを判定する（ステップＳ６０４）。顔認証に成功したいずれの地点においても決済履歴がない場合（ステップＳ６０４Ｎｏ）、画像生成部１７０は、合成画像を提供できない旨を出力する（ステップＳ６０８）。
　顔認証に成功したいずれかの地点において決済履歴がある場合（ステップＳ６０４Ｙｅｓ）、画像生成部１７０は、履歴ＤＢ１１０ａから当該ユーザＩＤと対応付けられた複数の撮影画像を取得する（ステップＳ６０５）。次に、画像生成部１７０は、取得した複数の撮影画像を含めた合成画像を生成し（ステップＳ６０６）、当該合成画像を所定の表示端末に出力する（ステップＳ６０７）。所定の表示端末は、ネットワーク５００を介して合成画像を受信し、画面に表示する。
　図１２は、合成画像の一例である。図２に示すように、合成画像には、ユーザが各地点において撮影した画像が埋め込まれている。ユーザが撮影された画像を埋め込むことによって、合成画像のオリジナリティを高めることができる。また、合成画像には、日付、ユーザの名前及び各地点の名称等が含まれていてもよい。
　尚、合成画像に含まれる各画像及び各地点の名称等には、当該地点の詳細情報にアクセスするリンクが貼られていてもよい。各地点の詳細情報としては、例えば、店舗の種類及び地図等が挙げられる。ユーザがリンクをクリックすると、例えば、当該地点の詳細情報及び当該地点における決済情報等が表示される。また、ユーザがリンクをクリックすると、ＳＮＳ（social networking service）等への投稿用画面が表示されてもよい。ユーザが当該投稿用画面から投稿を行った場合、当該投稿に基づいて、他のユーザに提示する推薦情報を支援してもよい。
　次に、図１３～１５を参照して、ユーザが各地点Ａ０、Ａ１、Ａ２、Ａｎをこの順に訪問し、地点Ａ２において決済を行う際における訪問推進システム６００の動作を説明する。図１３～１５は、実施形態２に係る訪問推進システムの一動作例を示すシーケンスチャートである。
　図１３に示すように、ユーザは、まず、顔認証端末３００Ａ０又はユーザ端末４００により撮影画像を撮影する。撮影を行った端末は、ネットワーク５００を介して認証装置２００に顔情報登録要求を送信する（ステップＳ７０１）。顔情報登録要求は、ユーザの顔特徴情報の登録要求である。顔情報登録要求には、撮影画像が含まれる。認証装置２００は、顔情報登録要求を受信すると、新規のユーザＩＤを発行し、当該ユーザＩＤと、撮影画像から抽出した顔特徴情報と、を対応付けて顔特徴ＤＢ２１０に登録する。
　次に、ユーザは、地点Ａ１に移動し、顔認証端末３００Ａ１又はユーザ端末４００により撮影画像を撮影する。撮影を行った端末は、ネットワーク５００を介して訪問推進装置１００ａに顔認証要求を送信する（ステップＳ７０２）。訪問推進装置１００ａは、顔認証要求を受信すると、顔認証要求に含まれる撮影画像から顔領域又は顔特徴情報を抽出して認証装置２００に送信する（ステップＳ７０３）。認証装置２００は、顔領域を受信した場合、当該顔領域から顔特徴情報を抽出し、当該顔特徴情報と顔特徴ＤＢ２１０に登録された顔特徴情報を照合して顔認証を行う。認証装置２００は、顔特徴情報を受信した場合、当該顔特徴情報と顔特徴ＤＢ２１０に登録された顔特徴情報を照合して顔認証を行う。
　次に、認証装置２００は、顔認証結果を訪問推進装置１００ａに送信する（ステップＳ７０４）。顔認証に成功した場合、顔認証結果には、顔認証に成功した旨と、顔認証に成功したユーザＩＤと、が含まれる。訪問推進装置１００ａは、受信した顔認証結果を顔認証端末３００Ａ１又はユーザ端末４００に送信する（ステップＳ７０５）。また、訪問推進装置１００ａは、ステップＳ７０２において受信した撮影画像と、ステップＳ７０４において受信した顔認証結果に含まれるユーザＩＤと、を対応付けて履歴ＤＢ１１０ａに記録する。次に、ユーザは、地点Ａ２に移動する。
　次に、図１４に示すように、ユーザは、顔認証端末３００Ａ２又はユーザ端末４００により撮影画像を撮影する。撮影を行った端末は、ネットワーク５００を介して認証装置２００に顔認証要求を送信する（ステップＳ８０１）。訪問推進装置１００ａは、顔認証要求を受信すると、顔認証要求に含まれる撮影画像から顔領域又は顔特徴情報を抽出して認証装置２００に送信する（ステップＳ８０２）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて顔認証を行い、当該顔認証結果を訪問推進装置１００ａに送信する（ステップＳ８０３）。
　訪問推進装置１００ａは、受信した顔認証結果を顔認証端末３００Ａ２又はユーザ端末４００に送信する（ステップＳ８０４）。また、訪問推進装置１００ａは、ステップＳ８０１において受信した撮影画像と、ステップＳ８０３において受信した顔認証結果に含まれるユーザＩＤと、を対応付けて履歴ＤＢ１１０ａに記録する。次に、ユーザは、顔認証端末３００Ａ２又はユーザ端末４００で決済処理を行う。決済処理を行った端末は、ネットワーク５００を介して訪問推進装置１００ａに履歴登録要求を送信する（ステップＳ８０５）。履歴登録要求には、顔認証に成功したユーザＩＤ、顔認証端末３００の地点ＩＤ、決済日時及び決済情報等の決済履歴が含まれている。訪問推進装置１００ａは、履歴登録要求を受信すると、当該履歴登録要求に含まれるユーザＩＤと決済履歴とを対応付けて履歴ＤＢ１１０ａに記録する。次に、ユーザは、地点Ａｎに移動する。
　次に、図１５に示すように、ユーザは、顔認証端末３００Ａｎ又はユーザ端末４００により撮影画像を撮影する。撮影を行った端末は、ネットワーク５００を介して認証装置２００に顔認証要求を送信する（ステップＳ９０１）。訪問推進装置１００ａは、顔認証要求を受信すると、顔認証要求に含まれる撮影画像から顔領域又は顔特徴情報を抽出して認証装置２００に送信する（ステップＳ９０２）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて顔認証を行い、当該顔認証結果を訪問推進装置１００ａに送信する（ステップＳ９０３）。
　訪問推進装置１００ａは、受信した顔認証結果を顔認証端末３００Ａｎ又はユーザ端末４００に送信する（ステップＳ９０４）。また、訪問推進装置１００ａは、ステップＳ９０１において受信した撮影画像と、ステップＳ９０３において受信した顔認証結果に含まれるユーザＩＤと、を対応付けて履歴ＤＢ１１０ａに記録する。次に、顔認証端末３００Ａｎ又はユーザ端末４００は、ユーザの指定によって合成画像要求をネットワーク５００を介して訪問推進装置１００ａに送信する（ステップＳ９０５）。合成画像要求には、ユーザＩＤが含まれる。尚、顔認証端末３００Ａｎ又はユーザ端末４００は、所定の画像生成条件を満たす場合、ユーザの指定に依らずに合成画像要求を訪問推進装置１００ａに送信してもよい。
　訪問推進装置１００ａは、合成画像要求を受信すると、当該合成画像要求に含まれるユーザＩＤに対応付けられた通過地点及び決済履歴等を履歴ＤＢ１１０ａから取得して所定の画像生成条件を満たすか否かを判定する。訪問推進装置１００ａは、所定の画像生成条件を満たす場合、履歴ＤＢ１１０ａから当該ユーザＩＤに対応付けられた複数の撮影画像を取得し、合成画像を生成する。次に、訪問推進装置１００ａは、生成した合成画像を顔認証端末３００Ａｎ又はユーザ端末４００に送信する（ステップＳ９０６）。合成画像を受信した端末は、当該合成画像を画面に表示する。
　尚、ユーザの通過地点及び決済履歴等が所定の画像生成条件を満たさない等の場合、出力部１８０は、所定の画像生成条件を満たすために必要な条件を示す情報（例えば、後述する訪問推進情報）を顔認証端末３００Ａｎ又はユーザ端末４００に送信してもよい。
　ここで、図１６は、表示端末上に表示されるマップを例示する図である。図１６では、ユーザ端末４００に決済履歴を表示する場合を示している。図１６に示すように、ユーザ端末４００は、ユーザの通過地点及び決済履歴をマップ上に表示してもよい。図１７は、表示端末上に表示される決済履歴を例示する図である。図１７に示すように、ユーザ端末４００は、ユーザの決済履歴を時系列で表示してもよい。
　図１６及び図１７では、ユーザの決済履歴のみを表示端末上に表示する場合を示しているが、表示端末上には、当該決済履歴に加えて、訪問推進情報を表示してもよい。訪問推進情報は、訪問推進地点に関する情報である。訪問推進地点は、例えば、ユーザがまだ訪問しておらず、かつ、所定の画像生成条件を満たすために訪問が必要な地点である。訪問推進地点は、ユーザが訪問済みであり、かつ、所定額以上の決済を行っていない地点等であってもよい。
　尚、訪問推進地点の情報は、ユーザの現在位置から訪問推進地点までのルート案内等を含んでいてもよい。ルート案内は、ユーザの現在位置から訪問推進地点までの距離及び所要時間等を含んでいてもよい。また、表示端末上には、複数の訪問推進情報を表示してもよい。複数の訪問推進情報を表示する場合、各訪問推進情報の詳細及びルート案内等を同時に表示してもよい。ユーザは、各訪問推進情報の詳細及びルート案内等を検討し、訪問推進情報同士を比較することができる。
　図１８～２０は、表示端末上に表示される訪問推進画面を例示する図である。訪問推進画面には、少なくとも訪問推進情報が表示され、ユーザの訪問地点及び決済履歴等がさらに表示されてもよい。尚、図１８～２０に示す訪問推進画面には、各地点の詳細情報にアクセスするリンクが貼られていてもよい。ユーザが各地点へのリンクをクリックすると、訪問推進画面には、当該地点の詳細情報が表示されてもよい。
　図１８は、所定の画像生成条件を１０か所の地点Ａ０～Ａ９の全てに訪問することとした場合における訪問推進画面の一例である。図１８に示すように、訪問推進画面には、例えば、ユーザが現時点でどの地点に訪問済みであるかが表示される。また、訪問推進画面には、どの地点を訪問すれば所定の画像生成条件を満たすことができるか、及び所定の画像生成条件を満たすために訪問が必要な地点の数等が表示されてもよい。具体的には、図１８に示すように、所定の画像生成条件を満たすために訪問が必要な地点の数が１０か所であり、ユーザは、現時点で３か所訪問している。この場合、あと、７か所訪問すれば合成画像を取得可能である旨を表示してもよい。
　図１９は、所定の画像生成条件を５か所の地点Ａ０～Ａ４における決済の合計金額が２０００円以上であることとした場合における訪問推進画面の一例である。図１９に示すように、訪問推進画面には、例えば、ユーザが各地点Ａ０～Ａ４において行った決済の金額が表示される。また、訪問推進画面には、所定の画像生成条件を満たすために必要な購入金額等が表示されてもよい。具体的には、図１９に示すように、所定の画像生成条件を満たすために必要な合計購入金額が２０００円であり、現時点での合計購入金額が１５００円である場合、あと５００円購入すれば合成画像を取得可能である旨を表示してもよい。
　図２０は、所定の画像生成条件を各地点Ａ０～Ａ４において５００円以上の決済を行うこととした場合における訪問推進画面の一例である。図２０に示すように、訪問推進画面には、例えば、ユーザが各地点Ａ０～Ａ４において行った決済の金額が表示される。また、訪問推進画面には、所定の画像生成条件を満たすために必要な各地点Ａ０～Ａ４における購入金額及び所定の画像生成条件を満たすために訪問が必要な地点の数等が表示されていてもよい。具体的には、図２０に示すように、所定の画像生成条件を満たすために必要な購入金額が各地点それぞれ５００円以上であり、現時点で２地点における購入金額が５００円以上であり、かつ、１地点における購入金額が２００円であるとする。この場合、あと２地点に訪問して５００円以上購入し、既に２００円購入した地点においてさらに３００円購入するろ合成画像を取得可能である旨を表示してもよい。
＜実施形態３＞
　実施形態３は、上述した実施形態１～２の変形例である。実施形態１～２に係る訪問推進装置１００，１００ａ及び７００は、外部の認証装置２００を用いて顔認証を行っていた。一方、本実施形態に係る訪問推進装置８００は、装置内部で顔認証を行う。
　図２１は、実施形態３に係る訪問推進装置８００の構成を示すブロック図である。訪問推進装置８００は、図１に示した訪問推進装置１００の構成と比べて、認証制御部１４０が顔特徴抽出部１４０ａ及び顔認証部１９０に置き換わり、顔特徴ＤＢ１９１（不図示）が追加されたものである。尚、顔特徴ＤＢ１９１は、顔特徴情報記憶部の一例である。訪問推進装置８００が備える各構成について、実施形態２と重複する説明は適宜省略する。図２２は、実施形態３に係る訪問推進システム９００の構成を示すブロック図である。訪問推進システム９００は、認証装置２００を備えていない点及び訪問推進装置８００を備える点で訪問推進システム６００と異なる。その他の構成については同様であるため、説明を適宜省略する。
　顔特徴抽出部１４０ａは、撮影画像から顔領域又は顔特徴情報を抽出する。顔認証部１９０は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。顔特徴ＤＢ１９１は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。訪問推進装置８００は、訪問推進装置１００と同様に図２に示す流れで合成画像を生成する。但し、ステップＳ１０３において、顔特徴抽出部１４０ａは、取得部１３０が取得した撮影画像から顔領域又は顔特徴情報を抽出し、顔認証部１９０は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。さらに、本実施形態に係る訪問推進装置は、実施形態１～３において説明した効果と同様の効果を奏することができる。
　尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記Ａ１）
　ユーザが撮影された撮影画像を取得する取得部と、
　前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、
　所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、
　を備える訪問推進装置。
（付記Ａ２）
　前記所定の画像生成条件は、前記複数の地点のうち２以上において前記顔認証に成功し、かつ、当該２以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合を含む、
　付記Ａ１に記載の訪問推進装置。
（付記Ａ３）
　前記出力部は、
　前記顔認証に成功した地点において前記所定の画像生成条件を満たしていない場合に、当該画像生成条件を満たすために必要な条件を示す情報を前記表示端末へ送信する、
　付記Ａ１又はＡ２に記載の訪問推進装置。
（付記Ａ４）
　さらに、
　前記顔認証に成功した場合に、前記顔認証に成功したユーザＩＤと前記撮影画像とを対応付けて履歴記憶部に記録する認証記録部と、を備え、
　前記画像生成部は、前記顔認証に成功したユーザにおけるユーザＩＤと対応付けられた撮影画像を前記履歴記憶部から取得し、当該撮影画像を用いて合成画像を生成する、
　付記Ａ１～Ａ３のいずれか一項に記載の訪問推進装置。
（付記Ａ５）
　さらに、決済履歴と当該決済履歴に含まれるユーザＩＤとを対応付けて前記履歴記憶部に記録する決済記録部を備え、
　前記所定の画像生成条件は、決済履歴の条件を含み、
　前記画像生成部は、前記顔認証に成功したユーザにおける決済履歴が前記所定の決済履歴の条件を満たすか否かを判定する、
　付記Ａ４に記載の訪問推進装置。
（付記Ａ６）
　さらに、前記撮影画像における地点ＩＤと当該地点のアクセス情報とを対応付けて記憶する地点記憶部を備え、
　前記画像生成部は、前記撮影画像の地点ＩＤに対応付けられたアクセス情報を前記地点記憶部から取得し、当該アクセス情報を組み込んで前記合成画像を生成する、
　付記Ａ１～Ａ５のいずれか一項に記載の訪問推進装置。
（付記Ａ７）
　前記所定の画像生成条件は、所定地点における顔認証に成功したことを含み、
　前記画像生成部は、前記顔認証に成功した前記撮影画像における地点ＩＤを前記地点管理手段から取得し、当該地点ＩＤが前記所定地点における地点ＩＤか否かを判定する、
　付記Ａ６に記載の訪問推進装置。
（付記Ｂ１）
　ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
　前記所定の撮影装置と通信可能な訪問推進装置と、
　前記ユーザの顔特徴情報を記憶し、前記訪問推進装置と通信可能な認証装置と、を備え、
　前記訪問推進装置は、
　ユーザが前記所定の撮影装置により撮影された撮影画像を取得する取得部と、
　前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、
　所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、
　を備える訪問推進システム。
（付記Ｂ２）
　前記所定の画像生成条件は、前記複数の地点のうち２以上において前記顔認証に成功し、かつ、当該２以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合である、
　付記Ｂ１に記載の訪問推進システム。
（付記Ｃ１）
　コンピュータが、
　ユーザが撮影された撮影画像を取得する工程と、
　前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
　所定の表示端末に前記生成した合成画像を送信する工程と、
　を備える訪問推進方法。
（付記Ｄ１）
　ユーザが撮影された撮影画像を取得する工程と、
　前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
　所定の表示端末に前記生成した合成画像を送信する工程と、
　をコンピュータに実行させる訪問推進プログラムが格納された非一時的なコンピュータ可読媒体。
（付記Ｅ１）
　ユーザが撮影された撮影画像を取得する取得部と、
　前記撮影画像から顔領域又は顔特徴情報を抽出する抽出部と、
　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、
　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成部と、
　所定の表示端末に前記画像生成部が生成した合成画像を送信する出力部と、
　を備える訪問推進装置。
（付記Ｅ２）
　前記所定の画像生成条件は、前記複数の地点のうち２以上において前記顔認証に成功し、かつ、当該２以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合である、
　付記Ｅ１に記載の訪問推進装置。
（付記Ｆ１）
　コンピュータが、
　ユーザが撮影された撮影画像を取得する工程と、
　前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
　所定の表示端末に前記生成した合成画像を送信する工程と、
　を備える訪問推進方法。
（付記Ｇ１）
　ユーザが撮影された撮影画像を取得する工程と、
　前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
　所定の表示端末に前記生成した合成画像を送信する工程と、
　をコンピュータに実行させる訪問推進プログラムが格納された非一時的なコンピュータ可読媒体。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１００、１００ａ、８００　訪問推進装置
　６００、９００　訪問推進システム
　１１０ａ　履歴ＤＢ
　１２０ａ　地点ＤＢ
　１３０　取得部
　１４０　認証制御部
　１４０ａ　顔特徴抽出部
　１５０　認証記録部
　１６０　決済記録部
　１７０　画像生成部
　１８０　出力部
　１９０　顔認証部
　１９１　顔特徴ＤＢ
　２００　認証装置
　２１０　顔特徴ＤＢ
　２２０　顔検出部
　２３０　特徴点抽出部
　２４０　登録部
　２５０　認証部
　３００（３００Ａ０～３００Ａｎ）　顔認証端末
　３１０　カメラ
　３２０　記憶部
　３３０　通信部
　３４０　表示部
　３５０　制御部
　３５２　撮影部
　３５３　登録部
　３５４　認証部
　３５５　決済部
　３５６　合成画像要求部
　４００　ユーザ端末
　４１０　カメラ
　４２０　記憶部
　４３０　通信部
　４４０　表示部
　４５０　制御部
　４５２　撮影部
　４５３　登録部
　４５４　認証部
　４５５　決済部
　４５６　合成画像要求部
　５００　ネットワーク

Claims (15)

  1. 　ユーザが撮影された撮影画像を取得する取得手段と、
    　前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御手段と、
    　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成手段と、
    　所定の表示端末に前記画像生成手段が生成した合成画像を送信する出力手段と、
    　を備える訪問推進装置。
  2. 　前記所定の画像生成条件は、前記複数の地点のうち２以上において前記顔認証に成功し、かつ、当該２以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合を含む、
    　請求項１に記載の訪問推進装置。
  3. 　前記出力手段は、
    　前記顔認証に成功した地点において前記所定の画像生成条件を満たしていない場合に、当該画像生成条件を満たすために必要な条件を示す情報を前記表示端末へ送信する、
    　請求項１又は２に記載の訪問推進装置。
  4. 　さらに、
    　前記顔認証に成功した場合に、前記顔認証に成功したユーザＩＤと前記撮影画像とを対応付けて履歴記憶手段に記録する認証記録手段を備え、
    　前記画像生成手段は、前記顔認証に成功したユーザにおけるユーザＩＤと対応付けられた撮影画像を前記履歴記憶手段から取得し、当該撮影画像を用いて合成画像を生成する、
    　請求項１～３のいずれか一項に記載の訪問推進装置。
  5. 　さらに、決済履歴と当該決済履歴に含まれるユーザＩＤとを対応付けて前記履歴記憶手段に記録する決済記録手段を備え、
    　前記所定の画像生成条件は、決済履歴の条件を含み、
    　前記画像生成手段は、前記顔認証に成功したユーザにおける決済履歴が前記所定の決済履歴の条件を満たすか否かを判定する、
    　請求項４に記載の訪問推進装置。
  6. 　さらに、前記撮影画像における地点ＩＤと当該地点のアクセス情報とを対応付けて記憶する地点記憶手段を備え、
    　前記画像生成手段は、前記撮影画像の地点ＩＤに対応付けられたアクセス情報を前記地点記憶手段から取得し、当該アクセス情報を組み込んで前記合成画像を生成する、
    　請求項１～５のいずれか一項に記載の訪問推進装置。
  7. 　前記所定の画像生成条件は、所定地点における顔認証に成功したことを含み、
    　前記画像生成手段は、前記顔認証に成功した前記撮影画像における地点ＩＤを前記地点記憶手段から取得し、当該地点ＩＤが前記所定地点における地点ＩＤか否かを判定する、
    　請求項６に記載の訪問推進装置。
  8. 　ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
    　前記所定の撮影装置と通信可能な訪問推進装置と、
    　前記ユーザの顔特徴情報を記憶し、前記訪問推進装置と通信可能な認証装置と、を備え、
    　前記訪問推進装置は、
    　ユーザが前記所定の撮影装置により撮影された撮影画像を取得する取得手段と、
    　前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御手段と、
    　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成手段と、
    　所定の表示端末に前記画像生成手段が生成した合成画像を送信する出力手段と、
    　を備える訪問推進システム。
  9. 　前記所定の画像生成条件は、前記複数の地点のうち２以上において前記顔認証に成功し、かつ、当該２以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合である、
    　請求項８に記載の訪問推進システム。
  10. 　コンピュータが、
    　ユーザが撮影された撮影画像を取得する工程と、
    　前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
    　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
    　所定の表示端末に前記生成した合成画像を送信する工程と、
    　を備える訪問推進方法。
  11. 　ユーザが撮影された撮影画像を取得する工程と、
    　前記撮影画像から前記ユーザの顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
    　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
    　所定の表示端末に前記生成した合成画像を送信する工程と、
    　をコンピュータに実行させる訪問推進プログラムが格納された非一時的なコンピュータ可読媒体。
  12. 　ユーザが撮影された撮影画像を取得する取得手段と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出する抽出手段と、
    　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証手段と、
    　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する画像生成手段と、
    　所定の表示端末に前記画像生成手段が生成した合成画像を送信する出力手段と、
    　を備える訪問推進装置。
  13. 　前記所定の画像生成条件は、前記複数の地点のうち２以上において前記顔認証に成功し、かつ、当該２以上の地点の少なくともいずれかで前記ユーザにおける決済履歴が存在する場合である、
    　請求項１２に記載の訪問推進装置。
  14. 　コンピュータが、
    　ユーザが撮影された撮影画像を取得する工程と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
    　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
    　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
    　所定の表示端末に前記生成した合成画像を送信する工程と、
    　を備える訪問推進方法。
  15. 　ユーザが撮影された撮影画像を取得する工程と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
    　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
    　複数の地点における前記顔認証に基づく所定の画像生成条件を満たす場合に、前記顔認証に成功したユーザにおける各地点の撮影画像を含めた合成画像を生成する工程と、
    　所定の表示端末に前記生成した合成画像を送信する工程と、
    　をコンピュータに実行させる訪問推進プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/012437 2020-03-19 2020-03-19 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2021186708A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US17/639,002 US20220335461A1 (en) 2020-03-19 2020-03-19 Visit promotion apparatus, system, method, and non-transitory computer-readable medium storing program
EP20925305.3A EP4123561A4 (en) 2020-03-19 2020-03-19 VISITOR'S TRANSPORT DEVICE, SYSTEM, METHOD AND NON-VOLATILE COMPUTER READABLE MEDIA WITH A PROGRAM STORED THERON
JP2022507993A JP7287572B2 (ja) 2020-03-19 2020-03-19 訪問推進装置、システム、方法及びプログラム
PCT/JP2020/012437 WO2021186708A1 (ja) 2020-03-19 2020-03-19 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2023083775A JP2023096178A (ja) 2020-03-19 2023-05-22 情報処理装置
US18/512,225 US20240086956A1 (en) 2020-03-19 2023-11-17 Visit promotion apparatus, system, method, and non-transitory computer-readable medium storing program
US18/512,243 US20240086957A1 (en) 2020-03-19 2023-11-17 Visit promotion apparatus, system, method, and non-transitory computer-readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012437 WO2021186708A1 (ja) 2020-03-19 2020-03-19 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US17/639,002 A-371-Of-International US20220335461A1 (en) 2020-03-19 2020-03-19 Visit promotion apparatus, system, method, and non-transitory computer-readable medium storing program
US18/512,225 Continuation US20240086956A1 (en) 2020-03-19 2023-11-17 Visit promotion apparatus, system, method, and non-transitory computer-readable medium storing program
US18/512,243 Continuation US20240086957A1 (en) 2020-03-19 2023-11-17 Visit promotion apparatus, system, method, and non-transitory computer-readable medium storing program

Publications (1)

Publication Number Publication Date
WO2021186708A1 true WO2021186708A1 (ja) 2021-09-23

Family

ID=77769160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012437 WO2021186708A1 (ja) 2020-03-19 2020-03-19 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (4)

Country Link
US (3) US20220335461A1 (ja)
EP (1) EP4123561A4 (ja)
JP (2) JP7287572B2 (ja)
WO (1) WO2021186708A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101231A (ja) * 1991-10-07 1993-04-23 Dainippon Printing Co Ltd ラビリンスカードシステムおよびその情報記録媒体としてのラビリンスカード
JP2013041416A (ja) 2011-08-16 2013-02-28 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2019021961A (ja) * 2017-07-11 2019-02-07 大日本印刷株式会社 撮影編集プログラム、携帯端末、及び撮影編集システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085995B2 (en) * 2006-12-01 2011-12-27 Google Inc. Identifying images using face recognition
JP2008243093A (ja) 2007-03-29 2008-10-09 Toshiba Corp 辞書データの登録装置及び辞書データの登録方法
JP2009087232A (ja) * 2007-10-02 2009-04-23 Toshiba Corp 人物認証装置および人物認証方法
JP5101231B2 (ja) 2007-10-10 2012-12-19 ヤマハ発動機株式会社 鞍乗型車両
JP2016009453A (ja) * 2014-06-26 2016-01-18 オムロン株式会社 顔認証装置および顔認証方法
JP6548998B2 (ja) * 2015-09-07 2019-07-24 株式会社東芝 人物検索システムおよび人物検索方法
WO2017100801A1 (en) * 2015-12-07 2017-06-15 Blazer and Flip Flops, Inc. dba The Experience Engine Wearable device
EP3671633A1 (en) * 2016-02-26 2020-06-24 NEC Corporation Face recognition system, face recognition method, and storage medium
US11093772B2 (en) * 2018-06-11 2021-08-17 Laurence Hamid Liveness detection
JP7336747B2 (ja) * 2018-07-05 2023-09-01 パナソニックＩｐマネジメント株式会社 販売促進システムおよび販売促進方法
JP7380453B2 (ja) * 2020-07-01 2023-11-15 トヨタ自動車株式会社 サーバ装置、情報処理システム、及びシステムの動作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101231A (ja) * 1991-10-07 1993-04-23 Dainippon Printing Co Ltd ラビリンスカードシステムおよびその情報記録媒体としてのラビリンスカード
JP2013041416A (ja) 2011-08-16 2013-02-28 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2019021961A (ja) * 2017-07-11 2019-02-07 大日本印刷株式会社 撮影編集プログラム、携帯端末、及び撮影編集システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4123561A4

Also Published As

Publication number Publication date
US20220335461A1 (en) 2022-10-20
JPWO2021186708A1 (ja) 2021-09-23
JP2023096178A (ja) 2023-07-06
EP4123561A1 (en) 2023-01-25
EP4123561A4 (en) 2023-05-03
US20240086957A1 (en) 2024-03-14
JP7287572B2 (ja) 2023-06-06
US20240086956A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
CN110598474B (zh) 基于区块链的数据获取方法、系统、装置及存储介质
JP6928209B2 (ja) クラウドソーシングユーザの信頼性と妥当性の検証のための方法
CN111737675A (zh) 一种基于区块链的电子签名方法及装置
WO2022003888A1 (ja) 警告装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN110032846A (zh) 身份数据的防误用方法及装置、电子设备
US20240087313A1 (en) Information processing device, system, method, and non-transitory computer-readable medium storing program
JP7505557B2 (ja) 情報処理装置、顔認証促進システム、情報処理方法、プログラム
WO2021186708A1 (ja) 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021176535A1 (ja) 提示制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021181557A1 (ja) 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021250817A1 (ja) 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
JP7509196B2 (ja) 広告評価装置、システム、方法及びプログラム
US20220337585A1 (en) Data recording device and method
US20240086962A1 (en) System, authentication server, management server, authentication terminal and method
JP7409483B2 (ja) 推薦装置、システム、方法及びプログラム
CN111008251B (zh) 一种数据处理方法以及设备
US20230222834A1 (en) Image providing apparatus, image providing system, image providing method, and non-transitory computer readable medium
WO2021199179A1 (ja) 座席案内装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021199109A1 (ja) 情報処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022009414A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021199113A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022009413A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2023187926A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7363982B2 (ja) 認証端末、認証端末の制御方法及びプログラム
JP6880886B2 (ja) 情報登録プログラム、情報登録方法、および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20925305

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507993

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020925305

Country of ref document: EP

Effective date: 20221019