WO2021199113A1 - 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021199113A1
WO2021199113A1 PCT/JP2020/014462 JP2020014462W WO2021199113A1 WO 2021199113 A1 WO2021199113 A1 WO 2021199113A1 JP 2020014462 W JP2020014462 W JP 2020014462W WO 2021199113 A1 WO2021199113 A1 WO 2021199113A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
user
store
payment
authentication
Prior art date
Application number
PCT/JP2020/014462
Other languages
English (en)
French (fr)
Inventor
ほなみ 幸
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/014462 priority Critical patent/WO2021199113A1/ja
Priority to JP2022512510A priority patent/JP7351410B2/ja
Priority to US17/911,466 priority patent/US20230111784A1/en
Publication of WO2021199113A1 publication Critical patent/WO2021199113A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit

Definitions

  • the present invention relates to a non-temporary computer-readable medium in which a recommendation device, system, method and program are stored, and in particular, a recommendation device, system, method and program for providing recommendation information to a user is stored.
  • a recommendation device, system, method and program for providing recommendation information to a user is stored.
  • Patent Document 1 discloses a technique related to a face image matching system.
  • the face image matching system detects the face from the image taken by the image pickup device installed at the entrance of the facility, and performs face matching from the image taken by the image pickup device installed at each store or the entrance of the facility. Then, the date and time of face detection is set as the entry date and time of the visitor, and the date and time of face matching is set as the entry date and time of the store or facility. After that, the staying time of the facility is calculated from the entry date and time and the entry date and time of the visitor, and the behavior analysis is performed in consideration of the staying time of the visitor.
  • Patent Document 1 has a problem that the behavior analysis of visitors is insufficient because it can only grasp the timing of entry and exit of stores and facilities by visitors.
  • This disclosure is made to solve such a problem, and is a non-temporary storage of a recommendation device, a system, a method, and a program for presenting effective recommendation information to a user.
  • the purpose is to provide a computer-readable medium.
  • the recommendation device uses an authentication device that stores in advance the facial feature information of a plurality of registered users for the first photographed image taken by the user when the predetermined user enters the first store. If the first face recognition is successful, the first acquisition unit that acquires the first time at the time of entering the store and the second acquisition unit in which the user is photographed at the time of payment by the user at the first store. When the second face authentication using the authentication device is successful for the captured image, the second acquisition unit that acquires the second time at the time of the payment and the payment when the second face authentication is successful are performed. The first stay of the user in the first store from the difference between the registration unit that registers the first payment history based on the user in the storage means and the first time and the second time. A calculation unit for calculating the time, a specific unit for specifying the recommendation information based on the first payment history and the first staying time, and an output unit for outputting the specified recommendation information are provided.
  • the recommendation device includes a calculation means for calculating the staying time of the user in the store, a specific means for specifying the recommendation information to be presented to the user based on the staying time, and an output for outputting the specified recommendation information. Means and.
  • the recommendation system includes a photographing device that captures an image including a predetermined user's face area, a payment terminal that performs payment by the user, the photographing device, and a recommendation device that can communicate with the payment terminal. It is provided with an authentication device that stores the user's facial feature information and can communicate with the recommendation device, and the recommendation device is a first image taken by the user when the predetermined user enters the first store.
  • the first face authentication using the authentication device that stores the face feature information of a plurality of registered users in advance is successful for the captured image, the first acquisition unit that acquires the first time at the time of entering the store and the first acquisition unit.
  • the second acquisition unit the registration unit that registers the first payment history based on the payment in the storage means in association with the user when the second face authentication is successful, the first time and the first
  • the recommendation information is specified based on the calculation unit that calculates the first staying time of the user in the first store from the difference from the time of 2 and the first payment history and the first staying time. It includes a specific unit and an output unit that outputs the specified recommendation information.
  • the recommendation method is authentication in which a computer stores in advance facial feature information of a plurality of registered users for a first photographed image taken by the user when the predetermined user enters the first store.
  • the step of acquiring the second time at the time of the settlement and the first settlement based on the settlement when the second face authentication is successful is successful.
  • the step of specifying the recommendation information based on the first payment history and the first staying time, and the step of outputting the specified recommendation information are provided.
  • the non-temporary computer-readable medium stores in advance the facial feature information of a plurality of registered users with respect to the first photographed image taken by the user when the predetermined user enters the first store.
  • the step of acquiring the second time at the time of the settlement and the first step based on the settlement when the second face authentication is successful is successful.
  • the first staying time of the user in the first store is calculated from the step of associating the payment history of the user with the user and registering it in the storage means and the difference between the first time and the second time.
  • a program for executing the step, the step of specifying the recommendation information based on the first payment history and the first staying time, and the step of outputting the specified recommendation information is recorded.
  • the recommendation device uses facial feature information of a plurality of registered users stored in advance for the first photographed image taken by the user when the predetermined user enters the first store.
  • the first authentication unit that performs the first face authentication the first acquisition unit that acquires the first time at the time of entering the store when the first face authentication is successful, and the first store.
  • a second authentication unit that performs a second face authentication using the face feature information of the plurality of registered users with respect to the second photographed image taken by the user at the time of payment by the user, and the second face authentication. If the method is successful, a second acquisition unit that acquires the second time at the time of payment and a storage means that associates the first payment history based on the payment with the user when the second face authentication is successful.
  • the registration unit registered in the calculation unit that calculates the first stay time of the user in the first store from the difference between the first time and the second time, and the first payment history. It includes a specific unit that specifies recommendation information based on the first staying time, and an output unit that outputs the specified recommendation information.
  • the computer uses facial feature information of a plurality of registered users that are stored in advance for the first photographed image taken by the user when the predetermined user enters the first store.
  • the step of performing the first face recognition using the above the step of acquiring the first time at the time of entering the store when the first face recognition is successful, and the time of payment by the user at the first store.
  • the recommendation information is specified based on the step of calculating the first stay time of the user in the first store from the difference from the second time, the first payment history, and the first stay time. It includes a step and a step of outputting the specified recommendation information.
  • the non-temporary computer-readable medium is a plurality of registered user faces stored in advance for a first photographed image taken by the user when the predetermined user enters the first store.
  • a step of performing the first face authentication using the feature information a step of acquiring the first time at the time of entering the store when the first face authentication is successful, and the user in the first store.
  • the step of performing the second face authentication using the face feature information of the plurality of registered users, and when the second face authentication is successful, the payment A step of acquiring a second time of time, a step of associating a first settlement history based on the settlement with the user and registering it in a storage means when the second face authentication is successful, and the first time.
  • the recommendation information is obtained based on the step of calculating the first staying time of the user in the first store from the difference between the second time and the second time, and the first payment history and the first staying time.
  • a program for executing the specifying step and the step of outputting the specified recommendation information is recorded.
  • FIG. It is a block diagram which shows the structure of the recommendation apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the flow of the recommendation method which concerns on Embodiment 1.
  • FIG. 1 is a block diagram showing the configuration of the recommendation device 100 according to the first embodiment.
  • the recommendation device 100 includes a first acquisition unit 112, a second acquisition unit 114, a registration unit 115, a calculation unit 117, a specific unit 118, and an output unit 119.
  • the recommendation device 100 is connected to a network 500 (not shown).
  • the network 500 may be wired or wireless.
  • An authentication device 200 (not shown), a photographing device, a payment terminal 400, and the like are connected to the network 500.
  • the first acquisition unit 112 provides an authentication device 200 that stores in advance the facial feature information of a plurality of registered users with respect to the first photographed image taken by the user when the predetermined user enters the first store. If the first face recognition used is successful, the first time at the time of entering the store is acquired. When the second acquisition unit 114 succeeds in the second face authentication using the authentication device 200 for the second photographed image taken by the user at the time of payment by the user at the first store, the second acquisition unit 114 at the time of payment Get the second time.
  • the registration unit 115 registers the first payment history based on the payment of the user who succeeded in face authentication when the second face authentication is successful in the storage unit 120 (not shown) in association with the user.
  • the calculation unit 117 calculates the first stay time of the user in the first store from the difference between the first time and the second time.
  • the identification unit 118 identifies the recommendation information based on the first payment history and the first staying time.
  • the output unit 119 outputs the recommendation information specified by the specific unit 118 to the display terminal.
  • the display terminal is, for example, a user terminal, a payment terminal 400, a signage, or the like.
  • the user terminal is a communication terminal such as a smartphone owned by the user.
  • the signage is a terminal installed on the street or the like, and for example, when the user stands in front of the signage, "How about going to XX next time?" Is displayed.
  • FIG. 2 is a flowchart showing the flow of the recommendation method according to the first embodiment.
  • the first acquisition unit 112 is an authentication device that stores in advance the facial feature information of a plurality of registered users with respect to the first photographed image taken by the user when the predetermined user enters the first store. If the first face recognition using the above is successful, the first time is acquired (step S101). Prior to step S101, the authentication device 200 collates the face feature information included in the first captured image with the face feature information registered in the authentication device 200, and authenticates based on the presence or absence of matching. The first face recognition for determining success or failure is performed. When the first face authentication is successful, the authentication device 200 includes the successful user ID in the determination result and returns to the recommendation device 100.
  • step S102 the authentication device 200 collates the face feature information included in the second captured image with the face feature information registered in the authentication device 200, and authenticates based on the presence or absence of matching. A second face recognition for determining success or failure is performed.
  • the authentication device 200 includes the successful user ID in the determination result and returns to the recommendation device 100.
  • the registration unit 115 registers the first payment history based on the payment in the storage unit 120 in association with the user when the second face authentication is successful (step S103).
  • the calculation unit 117 calculates the first stay time of the user in the first store from the difference between the first time and the second time (step S104).
  • the specifying unit 118 specifies the recommendation information based on the first payment history and the first staying time (step S105).
  • the output unit 119 outputs the specified recommendation information (step S106).
  • the recommendation method according to the present embodiment can present the recommendation information based on the payment history of the user and the staying time at the store, it is possible to present effective recommendation information to the user. ..
  • the recommendation device 100 includes a processor, a memory, and a storage device as a configuration (not shown). Further, the storage device stores a computer program in which the processing of the recommendation method according to the present embodiment is implemented. Then, the processor reads the computer program from the storage device into the memory and executes the computer program. As a result, the processor realizes the functions of the registration unit, the first acquisition unit 112, the second acquisition unit 114, the registration unit 115, the calculation unit 117, the specific unit 118, and the output unit 119.
  • the registration unit, the first acquisition unit 112, the second acquisition unit 114, the registration unit 115, the calculation unit 117, the specific unit 118, and the output unit 119 may each be realized by dedicated hardware.
  • a part or all of each component of each device may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program.
  • a processor a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), or the like can be used.
  • each component of the recommendation device 100 when a part or all of each component of the recommendation device 100 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributed. It may be arranged.
  • the information processing device, the circuit, and the like may be realized as a form in which each of the client-server system, the cloud computing system, and the like is connected via a communication network.
  • the function of the recommendation device 100 may be provided in the SaaS (Software as a Service) format.
  • the second embodiment is a modification of the first embodiment described above.
  • the recommendation device 100 according to the first embodiment performs face recognition using an external authentication device 200.
  • the recommendation device 600 according to the present embodiment performs face recognition inside the device.
  • FIG. 3 is a block diagram showing the configuration of the recommendation device 600 according to the second embodiment.
  • the recommendation device 600 has a first authentication unit 111, a second authentication unit 113, and a face feature DB (Database) (not shown) added.
  • the face feature DB is a database that stores a user ID and face feature information in association with each other. The description of each configuration included in the recommendation device 600 that overlaps with the first embodiment will be omitted as appropriate.
  • the first authentication unit 111 uses the face feature information of a plurality of registered users stored in advance for the first photographed image taken by the user when the predetermined user enters the first store. Perform the first face recognition. In the first face recognition, the first authentication unit 111 extracts face feature information from the first captured image, collates the face feature information with the face feature information stored in the face feature DB, and matches them. The success or failure of the authentication is judged by the presence or absence of.
  • the face feature DB stores face feature information of a plurality of registered users.
  • the first authentication unit 111 outputs the success or failure of the first face authentication to the first acquisition unit 112. When the first face authentication is successful, the first acquisition unit 112 acquires the first time when the user enters the store.
  • the second authentication unit 113 uses the face feature information of a plurality of registered users stored in advance for the second photographed image taken by the user at the time of payment by the user in the first store to make a second face. Authenticate. In the second face recognition, the second authentication unit 113 extracts the face feature information from the second captured image, collates the face feature information with the face feature information stored in the face feature DB, and matches the face feature information. The success or failure of the authentication is judged by the presence or absence of. The second authentication unit 113 outputs the success or failure of the second face authentication to the second acquisition unit 114. When the second face authentication is successful, the second acquisition unit 114 acquires the second time at the time of payment of the user.
  • FIG. 4 is a flowchart showing the flow of the recommendation method according to the second embodiment.
  • the first authentication unit 111 obtains face feature information of a plurality of registered users stored in advance with respect to the first photographed image taken by the user when the predetermined user enters the first store.
  • the first face recognition is performed by using (step S201).
  • the first acquisition unit 112 acquires the first time at the time of entering the store (step S202).
  • the second authentication unit 113 uses the face feature information of a plurality of registered users stored in advance for the second photographed image taken by the user at the time of payment by the user in the first store.
  • the second face recognition is performed (step S203).
  • the second acquisition unit 114 acquires the second time at the time of settlement (step S204).
  • the registration unit 115 registers the first payment history based on the payment in the storage unit 120 in association with the user when the second face authentication is successful (step S205).
  • the calculation unit 117 calculates the first stay time of the user in the first store from the difference between the first time and the second time (step S206).
  • the specifying unit 118 specifies the recommendation information based on the first payment history and the first staying time (step S207).
  • the output unit 119 outputs the specified recommendation information (step S208).
  • the recommendation device can exert the same effect as the effect described in the first embodiment.
  • FIG. 5 is a block diagram showing a configuration of a recommender system 700 according to the third embodiment.
  • the recommender system 700 includes a recommender device 100a, an authentication device 200, an entrance camera 300a, and a payment terminal 400.
  • Each of the recommendation device 100a, the authentication device 200, the entrance camera 300a, and the payment terminal 400 is connected via the network 500.
  • the description that overlaps with the first embodiment will be omitted as appropriate.
  • the recommendation device 100a is an information processing device for presenting predetermined recommendation information to a user who has made a payment by face authentication at the store X, and is, for example, a server device realized by a computer.
  • the authentication device 200 is a device that performs the first face authentication and the second face authentication.
  • the authentication device 200 includes a face feature DB 210.
  • the face feature DB 210 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
  • the face feature DB 210 is an example of a face feature information storage unit.
  • the entrance camera 300a and the payment terminal 400 are installed in the store X.
  • the entrance camera 300a is a terminal that captures the first captured image.
  • the entrance camera 300a is an example of a photographing device.
  • the entrance camera 300a is, for example, a digital camera installed near the entrance of the store X, a digital signage equipped with the camera, or a face recognition terminal.
  • the face recognition terminal may also serve as a display device.
  • a signage equipped with a camera may identify a user by performing face recognition and display recommendation information to the user.
  • the entrance camera 300a captures the first captured image by photographing the user who has entered the store X.
  • the entrance camera 300a transmits the first captured image to the recommendation device 100a via the network 500.
  • the entrance camera 300a is installed near the entrance of each floor.
  • the entrance to each floor is, for example, an escalator exit, an elevator exit, and a stairway exit.
  • the entrance camera 300a captures the first captured image by photographing the user who has entered the floor.
  • the payment terminal 400 is an information processing device that makes a payment when a user who has entered the store makes a purchase in the store X. Further, the payment terminal 400 takes an image including the face of the user who made the payment at the time of payment as a second captured image, and transmits the second captured image to the recommendation device 100a via the network 500.
  • the payment terminal 400 may make a payment when the face authentication is successful, for example. Specifically, the payment terminal 400 receives the face authentication result from the recommendation device 100a, and if the face authentication is successful, performs the payment process and transmits the payment history to the recommendation device 100a via the network 500. ..
  • the payment history includes, for example, the date and time when the payment was made, the payment amount, the payment content, and the like.
  • the payment contents are, for example, purchased items and purchase services.
  • FIG. 6 is a block diagram showing the configuration of the authentication device 200.
  • the authentication device 200 includes a face feature DB 210, a face detection unit 220, a feature point extraction unit 230, a registration unit 240, and an authentication unit 250.
  • the face feature DB 210 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
  • the face detection unit 220 detects the face region included in the captured image and outputs it to the feature point extraction unit 230.
  • the feature point extraction unit 230 extracts feature points from the face region detected by the face detection unit 220, and outputs face feature information to the registration unit 240.
  • the facial feature information is a set of extracted feature points.
  • the registration unit 240 newly issues a user ID when registering facial feature information.
  • the registration unit 240 registers the issued user ID and the face feature information extracted from the registered image in the face feature DB 210 in association with each other.
  • the authentication unit 250 collates the face feature information extracted from the face image with the face feature information in the face feature DB 210. If the face feature information matches, the authentication unit 250 determines that the face recognition was successful, and if the face feature information does not match, determines that the face recognition has failed.
  • the authentication unit 250 returns the success or failure of the face authentication to the recommendation device 100a.
  • the presence or absence of matching of facial feature information corresponds to the success or failure of authentication.
  • the authentication unit 250 identifies the user ID associated with the successful face feature information, and recommends the authentication result including the specified user ID and the fact that the authentication is successful. Reply to 100a.
  • FIG. 7 is a flowchart showing the flow of the face feature information registration process.
  • the face information registration terminal When registering the face feature information, the face information registration terminal (not shown) captures an image including the user's face as a registration image, and requests the authentication device 200 to register the face feature information via the network 500. I do.
  • the face information registration terminal is, for example, an information processing device such as a personal computer, a smartphone, or a tablet terminal.
  • the facial feature information registration request includes a registration image.
  • the authentication device 200 acquires a registration image included in the face and other ward mayor information registration request from the face information registration terminal via the network 500 (step S301).
  • the face detection unit 220 detects the face area included in the registration image (step S302), and outputs the detected face area to the feature point extraction unit 230.
  • the feature point extraction unit 230 extracts the feature points from the face region and outputs the face feature information to the registration unit 240 (step S303).
  • the registration unit 240 issues a user ID corresponding to the output face feature information, associates the user ID with the face feature information, and registers the user ID in the face feature DB 210 (step S304).
  • FIG. 8 is a flowchart showing the flow of face recognition processing.
  • a case where the first face recognition is performed will be described, but when the second face recognition is performed, the face recognition can be performed by the same procedure.
  • the entrance camera 300a captures an image including the user's face as the first captured image, and transmits the first captured image to the recommendation device 100a via the network 500. do.
  • the recommendation device 100a extracts face region or face feature information from the first captured image.
  • the recommendation device 100a transmits the extracted face area or face feature information to the authentication device 200.
  • the feature point extraction unit 230 acquires the face feature information by extracting the face feature information from the received face region or receiving the face feature information (step S401).
  • the authentication unit 250 collates the acquired face feature information with the face feature DB 210 (step S402).
  • the authentication unit 250 identifies the user ID of the user whose face feature information matches (step S404), and recommends the user ID that identifies that the face authentication was successful. Reply to 100a (step S405).
  • the authentication unit 250 returns to the recommendation device 100a that the face authentication has failed (step S406).
  • the payment terminal 400 includes a photographing device such as a camera, a display device, and a computer as a hardware configuration.
  • the payment terminal 400 is a device that captures a second captured image and performs payment processing.
  • FIG. 9 is a block diagram showing the configuration of the payment terminal 400.
  • the payment terminal 400 includes a camera 410, a storage unit 420, a communication unit 430, a display unit 440, and a control unit 450.
  • the camera 410 is a photographing device that captures an image.
  • the storage unit 420 is a storage device that stores a program for realizing each function of the payment terminal 400.
  • the communication unit 430 is a communication interface with the network 500.
  • the display unit 440 is a display device that displays the face authentication result, recommendation information, and the like to the user.
  • the control unit 450 controls the hardware included in the payment terminal 400.
  • the control unit 450 includes a photographing unit 452, a registration unit 453, an authentication unit 454, and a settlement unit 455.
  • the shooting unit 452 makes a shooting request to the camera 410.
  • the camera 410 captures an image including the user's face.
  • the image captured by the camera 410 is used as the second captured image.
  • the registration unit 453 transmits the history registration request to the recommendation device 100a via the network 500.
  • the history registration request includes a payment history that is the result of payment processing.
  • the payment history is information including, for example, the date and time of payment, the amount of money, the goods, the user ID, and the like.
  • the authentication unit 454 transmits the second face recognition request to the recommendation device 100a via the network 500, and receives the result from the recommendation device 100a.
  • the success or failure of face recognition may be displayed on the display unit 440.
  • the settlement unit 455 executes the settlement process when the face authentication is successful.
  • FIG. 10 is a block diagram showing the configuration of the recommendation device 100a.
  • the recommendation device 100a includes a control unit 110, a storage unit 120, a memory 130, and a communication unit 140.
  • the storage unit 120 is a storage device that stores programs, history information, recommendation conditions, and recommendation information.
  • the storage unit 120 includes a history storage unit.
  • the program is a computer program in which the recommendation process according to the present embodiment is implemented.
  • the history information is information associated with a user ID, a store entry time, a settlement time, a staying time, and a settlement history. In this embodiment, the settlement time is regarded as the closing time.
  • the user ID is information that can identify a user who is a store entrant and a payment target person, and is, for example, a name, a telephone number, an e-mail address, an arbitrary identification number, or the like.
  • the staying time is the difference between the settlement time and the entry time.
  • the payment history includes the payment date and time, the payment amount, the payment content, and the like.
  • the recommendation information is associated with the recommendation conditions.
  • the recommendation condition is a combination of the threshold value of the staying time, the condition of the magnitude thereof, and the condition of the settlement history.
  • the conditions of the payment history are, for example, the type of the purchased item, the threshold value of the payment amount and the size of the threshold value, the condition of the payment date and time, and the like.
  • the recommendation information is information that is recommended to the user or the like who has entered the store X regarding the store, the product, or the like.
  • the recommendation information is, for example, information on a discount sale of a specific product at store X, introduction of another store in the same industry as store X, and the like.
  • the memory 130 is a storage area for temporarily storing the processing contents of the control unit 110, and is, for example, a volatile storage device such as a RAM (Random Access Memory).
  • the communication unit 140 is an interface for communicating with the outside of the recommendation device 100a.
  • the control unit 110 includes a first acquisition unit 112, a second acquisition unit 114, a registration unit 115, an authentication control unit 116, a calculation unit 117, a specific unit 118, and an output unit 119.
  • the control unit 110 is a control device that controls the operation of the recommendation device 100a, and is, for example, a processor such as a CPU.
  • the control unit 110 reads the program from the storage unit 120 into the memory 130 and executes the program. As a result, the control unit 110 realizes functions as a first acquisition unit 112, a second acquisition unit 114, a registration unit 115, an authentication control unit 116, a calculation unit 117, a specific unit 118, and an output unit 119.
  • the first acquisition unit 112 acquires the first time when the first face authentication using the authentication device 200 is successful for the first captured image.
  • the authentication device 200 stores the facial feature information of the plurality of registered users in advance in association with the user IDs of the plurality of registered users.
  • the first captured image is an image captured when a predetermined user enters the first store, and includes the face area of the user.
  • the first captured image is captured by the photographing device.
  • the photographing device is, for example, an entrance camera 300a installed at the entrance of a store.
  • the first time is the time when the predetermined user enters the first store, for example, the time when the first captured image is captured.
  • the second acquisition unit 114 acquires the second time when the second face authentication using the authentication device 200 is successful for the second captured image.
  • the second captured image is an image captured at the time of payment at the first store of a predetermined user, and includes the face area of the user.
  • the second captured image is captured by the camera included in the payment terminal 400.
  • the second time is the time when the predetermined user makes a payment at the first store.
  • the registration unit 115 associates the first payment history with the user and registers it in the storage unit 120.
  • the first payment history is the history of payments made when the second face recognition is successful.
  • the authentication control unit 116 extracts face region or face feature information from the first captured image and the second captured image, and transmits the face region or the face feature information to the authentication device 200 to perform face authentication. Further, the authentication control unit 116 receives the success / failure of face authentication from the authentication device 200. If the face authentication is successful, the user ID is included in the face authentication result.
  • the calculation unit 117 calculates the staying time of the user in the first store. The staying time is the difference between the first time and the second time.
  • the identification unit 118 specifies the recommendation information based on the first payment history and the first staying time.
  • the specific unit 118 acquires the first payment history and the first stay time from the storage unit 120.
  • the specific unit 118 determines whether or not the combination of the first payment history and the first stay time satisfies the recommendation condition registered in advance in the storage unit 120.
  • the specifying unit 118 compares each recommendation condition registered in the storage unit 120 with the first settlement history and the first staying time, and identifies all the matching recommendation conditions. Then, the specifying unit 118 specifies by reading all the recommendation information associated with all the specified recommendation conditions from the storage unit 120.
  • the output unit 170 transmits the recommendation information specified by the specific unit 160 to the display terminal via the network 500.
  • the display terminal is, for example, a user terminal, a payment terminal 400, a signage, or the like.
  • FIG. 11 is a flowchart showing the flow of the recommendation process.
  • FIG. 12 is a flowchart showing the flow of the store entry time acquisition process.
  • FIG. 13 is a flowchart showing the flow of the settlement time acquisition process.
  • the entrance camera 300a captures an image including the user's face and transmits the captured image to the recommendation device 100a via the network 500.
  • the authentication control unit 116 acquires a photographed image (first photographed image) when the user enters the store by receiving it from the entrance camera 300a (step S501), and causes the authentication device 200 to perform the first face authentication.
  • the first acquisition unit 112 acquires the store entry time (first time) of the user (step S502). In step S502, the first acquisition unit 112 acquires the shooting time of the first shot image as the first time.
  • the user makes a payment at store X.
  • the payment terminal 400 captures an image including the user's face and transmits the captured image to the recommendation device 100a via the network 500.
  • the authentication control unit 116 acquires the captured image (second captured image) at the time of payment by the user by receiving it from the payment terminal 400 (step S503), and causes the authentication device 200 to perform the second face recognition.
  • the second acquisition unit 114 instructs the payment terminal 400 to perform the payment process, and acquires the payment time (second time) and the payment history of the user (step S504).
  • the payment terminal 400 Upon receiving the payment processing instruction, the payment terminal 400 executes the payment processing and returns the payment history, which is the result of the payment, to the recommendation device 100a.
  • the second acquisition unit 114 acquires the settlement time and the settlement history included in the settlement history received from the settlement terminal 400 as the second time and the settlement history.
  • the payment terminal 400 transmits the payment history to the recommendation device 100a together with the second captured image.
  • the payment method that does not rely on face recognition is, for example, a payment method using a credit card and a payment method using electronic money.
  • the registration unit 115 registers the payment history acquired by the second acquisition unit 114 in the storage unit 120 in step S504 (step S505).
  • the calculation unit 117 calculates the staying time (first staying time) of the user in the store X (step S506).
  • FIG. 11 shows the case where step S506 is performed after step S505, step S506 may be performed before step S505 or may be performed in parallel with step S505.
  • the specifying unit 118 specifies the recommendation information based on the first payment history and the first staying time (step S507).
  • the output unit 119 outputs the recommendation information specified by the specific unit 118 to the display terminal (step S508).
  • the output destination of the recommendation information in step S508 may be a display device installed at a point different from the point where the user's staying time is calculated. Further, the output of the recommendation information (step S508) may be performed immediately after the recommendation information is specified (step S507), or may be performed after a while. That is, the timing of outputting the recommendation information may be different from the timing of specifying the recommendation information.
  • Step S502 will be described in detail with reference to FIG.
  • the authentication control unit 116 acquires the first captured image
  • the authentication control unit 116 extracts the face region or face feature information from the first captured image.
  • the authentication control unit 116 transmits a face authentication request including the extracted face area or face feature information to the authentication device 200 (step S601).
  • the authentication device 200 performs the first face authentication based on the received face area or face feature information, and returns the authentication result to the recommendation device 100a.
  • the authentication control unit 116 receives the success or failure of the first face authentication (step S602).
  • step S603Yes the first acquisition unit 112 acquires the time when the first captured image is taken as the time when the user enters the store X (step S604).
  • step S603No the authentication control unit 116 returns to the first acquisition unit 112 that the face recognition has failed (step S605).
  • Step S504 will be described in detail with reference to FIG.
  • the authentication control unit 116 acquires the second captured image
  • the authentication control unit 116 extracts the face region or the face feature information from the second captured image.
  • the authentication control unit 116 transmits a face authentication request including the extracted face area or face feature information to the authentication device 200 (step S701).
  • the authentication device 200 performs a second face authentication based on the received face area or face feature information, and returns the authentication result to the recommendation device 100a.
  • the authentication control unit 116 receives the success or failure of the second face authentication (step S702).
  • the second acquisition unit 114 instructs the payment terminal 400 to perform the payment process (step S704).
  • the payment terminal 400 executes the payment processing and returns the payment history, which is the result of the payment, to the recommendation device 100a.
  • the second acquisition unit 114 acquires the settlement time and the settlement history included in the settlement history received from the settlement terminal 400 as the settlement time (second time) and the settlement history.
  • the authentication control unit 116 returns to the second acquisition unit 114 that the face recognition has failed (step S706).
  • FIG. 14 is a diagram illustrating recommendation information displayed on the display terminal.
  • FIG. 14 shows a case where the recommendation information is displayed on the user terminal.
  • the user terminal displays the recommendation information received in step S508 on the screen.
  • the output unit 170 may transmit the user's payment history to the display terminal in addition to the recommendation information.
  • FIG. 15 is a diagram illustrating a map displayed on a display terminal as a payment history. As shown in FIG. 15, the user terminal may display the payment history of the user received in step S508 on the map. Further, FIG. 16 is a diagram illustrating a payment history displayed on the display terminal. As shown in FIG. 16, the user terminal may display the payment history received in step S508 in chronological order.
  • FIGS. 15 and 16 show a case where only the payment history of the user is displayed on the display terminal
  • the recommendation information may be displayed on the display terminal in addition to the payment history.
  • the recommendation information may include store information, store address, route guidance from the user's current position to the store, and the like.
  • the route guidance may include the distance from the user's current position to the store, the required time, and the like.
  • a plurality of recommendation information may be displayed on the display terminal. When displaying a plurality of recommendation information, the details of each recommendation information, route guidance, and the like may be displayed at the same time. The user can examine the details of each recommendation information, route guidance, etc., and compare the recommendation information with each other.
  • the recommendation information is "guidance information to a predetermined restaurant".
  • the recommendation information may be "presentation of a discount coupon for a predetermined restaurant” or the like. Users who stay for long periods of time and eat are considered to be interested in restaurants. Therefore, presenting the guide to a predetermined restaurant to a user who satisfies the above recommendation condition means presenting the recommendation information according to the interest of the user. Therefore, the utilization rate of the presented recommendation information can be increased.
  • the recommendation information is "guidance information to a predetermined fast food restaurant".
  • the recommendation information may be "presentation of a discount coupon of a predetermined fast food restaurant” or the like. Users who stay for a short time and eat are considered to be interested in fast food restaurants.
  • the recommendation condition is "the staying time is less than 15 minutes and the payment history includes the purchase of a predetermined product”
  • the recommendation information is set as "arrival information of the purchased product”.
  • the recommendation information may be "latest information on purchased products” or the like. It is probable that the user who stays for a short time and purchases a predetermined product has decided the product to purchase in advance.
  • the fourth embodiment is a modification of the third embodiment described above.
  • the recommendation device 100a according to the third embodiment has acquired the store exit time based on the payment history.
  • the exit time is acquired based on the captured image taken by the exit camera.
  • FIG. 17 is a block diagram showing the configuration of the recommender system 900 according to the fourth embodiment.
  • the recommendation device 100a is replaced with the recommendation device 800a and an exit camera 300b is added as compared with the configuration of the recommendation system 700 shown in FIG.
  • the exit camera 300b is an example of a photographing device.
  • the description of each configuration included in the recommender system 900 that overlaps with the third embodiment will be omitted as appropriate.
  • FIG. 18 is a block diagram showing a configuration of the recommendation device according to the fourth embodiment.
  • the recommendation device 800a is different from the recommendation device 100a in that it includes a third acquisition unit 121 and a flag management unit 122. Since the other configurations are the same, the description thereof will be omitted as appropriate.
  • the exit camera 300b is, for example, a digital camera installed near the exit of the store X, a digital signage equipped with the camera, or a face recognition terminal.
  • the exit camera 300b may be shared with the entrance camera 300a. Further, the exit camera 300b may be a camera included in the payment terminal 400.
  • the exit camera 300b captures a third captured image by photographing the user leaving the store X.
  • the third captured image is an image captured when a predetermined user leaves the first store, and includes the face area of the user.
  • the exit camera 300b transmits the third captured image to the recommendation device 800a via the network 500.
  • the entrance camera 300a is installed near the entrance of each floor.
  • the entrance camera 300a captures the first captured image by photographing the user who has entered the floor.
  • the exit camera 300b is installed near the exit of each floor.
  • the exit of each floor is, for example, an escalator entrance, an elevator entrance, and a stairway entrance.
  • the exit camera 300b captures a third captured image by capturing a user leaving the floor.
  • the authentication device 200 performs a third face authentication in addition to the first face authentication and the second face authentication.
  • the third face recognition is performed by the procedure shown in FIG. 8 in the same manner as the first face recognition and the second face recognition.
  • the third acquisition unit 121 acquires the third time as the second time when the third face authentication is successful and the user does not make a payment at the store X.
  • the third time is the time when the predetermined user leaves the first store, for example, the time when the third photographed image is taken.
  • the registration unit 115 registers in the storage unit 120 the fact that the payment has not been made at the first store as the first payment history.
  • the storage unit 120 includes a flag storage unit.
  • the flag storage unit stores the user's entry flag in association with the user ID.
  • the store entry flag is a flag for recording whether or not the user has entered the store X.
  • the control unit 110 includes a flag management unit 122.
  • the flag management unit 122 manages the store entry flag. For example, when the first face authentication is successful, the flag management unit 122 sets the user's entrance flag and registers it in the flag storage means, and when the second face authentication is successful, the flag management unit 122 sets the user's entrance flag. Release and update the flag storage means.
  • the implementation of the store entry flag is not limited to this.
  • the third acquisition unit 121 considers that the user is unsettled at the first store when the user's entrance flag is set in the flag storage unit.
  • the flag management unit releases the store entry flag and updates the flag storage unit.
  • the calculation unit 117 calculates the first staying time when the entrance flag of the user is cleared.
  • FIGS. 19 and 20 are flowcharts showing the flow of the recommendation process.
  • FIG. 21 is a flowchart showing the flow of the store entry time acquisition process.
  • FIG. 22 is a flowchart showing the flow of the stay time calculation process.
  • the entrance camera 300a captures an image including the user's face and transmits the captured image to the recommendation device 800a via the network 500.
  • the authentication control unit 116 acquires a photographed image (first photographed image) when the user enters the store by receiving it from the entrance camera 300a (step S801), and causes the authentication device 200 to perform the first face authentication.
  • the first acquisition unit 112 acquires the store entry time (first time) of the user (step S802). In step S802, the first acquisition unit 112 acquires the shooting time of the first shot image as the first time.
  • the flag management unit 122 sets the user's entrance flag in the flag storage unit (step S803).
  • the user makes a payment at the store X or leaves the store X without making a payment.
  • the payment terminal 400 captures an image including the user's face and transmits the captured image to the recommendation device 800a via the network 500.
  • the exit camera 300b captures an image including the user's face and transmits the captured image to the recommendation device 800a via the network 500.
  • the authentication control unit 116 receives the captured image transmitted from the payment terminal 400 or the exit camera 300b.
  • the authentication control unit 116 has not acquired the photographed image (third photographed image) at the time of leaving the store (step S804No), and has not acquired the photographed image (second photographed image) at the time of settlement (step). In the case of S805No), it is considered that the user is still staying in the store X.
  • the calculation unit 117 calculates the staying time (first staying time) of the user in the store X (step S806).
  • the specifying unit 118 specifies the recommendation information based on the first payment history and the first staying time (step S807).
  • the output unit 119 outputs the recommendation information specified by the specific unit 118 to the display terminal (step S808).
  • the authentication control unit 116 has not acquired the photographed image (third photographed image) at the time of leaving the store (step S804No), and the photographed image at the time of payment (second photographed image).
  • the operation of the recommendation device 800a in the case of acquiring (step S805Yes) will be described.
  • the authentication control unit 116 extracts the face region or the face feature information from the second captured image.
  • the authentication control unit 116 transmits a face authentication request including the extracted face area or face feature information to the authentication device 200 (step S901).
  • the authentication device 200 performs a second face authentication based on the received face area or face feature information, and returns the authentication result to the recommendation device 800a.
  • the authentication control unit 116 receives the success or failure of the second face authentication (step S902).
  • step S903No the authentication control unit 116 returns to the second acquisition unit 114 that the face recognition has failed (step S904).
  • step S903Yes the second acquisition unit 114 instructs the payment terminal 400 to perform the payment process (step S905).
  • the payment terminal 400 executes the payment processing and returns the payment history, which is the result of the payment, to the recommendation device 100a.
  • the second acquisition unit 114 acquires the settlement time and the settlement history included in the settlement history received from the settlement terminal 400 as the settlement time (second time) and the settlement history (step S906).
  • the flag management unit 122 releases the store entry flag of the user (step S907).
  • the registration unit 115 registers the payment history acquired in step S906 in the storage unit 120 (step S908).
  • the calculation unit 117 calculates the staying time of the user in the store X (step S806).
  • Step S802 will be described in detail with reference to FIG.
  • the authentication control unit 116 acquires the first captured image
  • the authentication control unit 116 extracts the face region or face feature information from the first captured image.
  • the authentication control unit 116 transmits a face authentication request including the extracted face area or face feature information to the authentication device 200 (step S1001).
  • the authentication device 200 performs the first face authentication based on the received face area or face feature information, and returns the authentication result to the recommendation device 800a.
  • the authentication control unit 116 receives the success or failure of the first face authentication (step S1002).
  • step S1003Yes the first acquisition unit 112 acquires the time when the first captured image is taken as the time when the user enters the store X (step S1004).
  • step S1003No the authentication control unit 116 returns to the first acquisition unit 112 that the face recognition has failed (step S1005).
  • Step S806 will be described in detail with reference to FIG. 22.
  • the authentication control unit 116 extracts the face region or the face feature information from the third captured image. Then, the authentication control unit 116 transmits a face authentication request including the extracted face area or face feature information to the authentication device 200 (step S1101).
  • the authentication device 200 performs a third face authentication based on the received face area or face feature information, and returns the authentication result to the recommendation device 800a.
  • the authentication control unit 116 receives the success or failure of the third face authentication (step S1102).
  • step S1103No the authentication control unit 116 returns to the third acquisition unit 121 that the face recognition has failed (step S1104).
  • the flag management unit 122 confirms whether or not the store entry flag of the user is set (step S1105).
  • the third acquisition unit 121 acquires the time when the third captured image is taken as the time when the user leaves the store X (step S1106).
  • the flag management unit 122 releases the user's entry flag and updates the flag storage unit (step S1107).
  • the registration unit 115 registers the fact of non-settlement at the store X as the first payment history in the storage unit 120 (step S1108).
  • the payment history includes the store information that the user has entered and exited, and is registered in the storage unit 120.
  • the calculation unit 117 calculates the staying time (first staying time) of the user in the store X (step S1109).
  • the calculation unit 117 also calculates the first stay time (step S1109) when the store entry flag is not set (step S1105No) and when the payment history is registered in the storage unit 120 (step S1108).
  • the recommendation device 800a since the entrance flag of the user who has already settled is released, the recommendation device 800a does not need to perform a third face authentication for the user when leaving the store X. That is, by providing the store entry flag, the number of targets for which the third face recognition is performed can be reduced. That is, only the user who has already entered the store X and has not settled is subject to the third face recognition. Therefore, by providing the store entry flag, the third face recognition authentication system can be improved.
  • recommendation conditions For example, if the recommendation condition is "the staying time is one hour or more and the payment history includes non-settlement at the clothing store", the recommendation information is "guidance information to another clothing store". It is probable that the user who stayed for a long time and did not make a payment at the clothes store was interested in purchasing clothes, but did not like the clothes store where he stayed. Therefore, by presenting the guide information to the other clothing store to the user, the utilization rate of the presented recommendation information can be increased.
  • the recommendation information is "discount coupon at the home electronics mass retailer".
  • the recommendation information may be "notice of the next sale of the home appliance mass retailer” or the like. A user who stays for a long time and does not make a payment at a consumer electronics mass retailer is interested in the product of the consumer electronics mass retailer, but is considered to be troubled with purchasing. Therefore, by presenting the discount coupon at the home appliance mass retailer to the user, it is possible to encourage the user to return to the home appliance mass retailer.
  • the recommendation information is "discount coupon for coffee at the convenience store”. It is probable that the user who stayed for a short time and did not make a payment at the convenience store had a tobacco break at the convenience store. Therefore, by presenting the coffee discount coupon to the user, the utilization rate of the presented recommendation information can be increased.
  • the recommendation device can record the exit time even when the user does not make a payment at the store X, the staying time can be calculated comprehensively. Further, the recommendation device according to the present embodiment can exert the same effect as the effect described in the first to third embodiments.
  • the fifth embodiment is a modification of the fourth embodiment described above.
  • the recommendation information is specified based on the history information in a single store X.
  • the recommendation information is specified based on the history information in a plurality of stores.
  • FIG. 23 is a block diagram showing a recommender system 1000 configuration according to the fifth embodiment.
  • the recommender system 1000 has an entrance camera 300aY, a payment terminal 400Y, and an exit camera 300bY added.
  • the description of each configuration provided in the recommender system 1000 that overlaps with the third or fourth embodiment will be omitted as appropriate.
  • the entrance camera 300aY, the payment terminal 400Y, and the exit camera 300bY are installed in the store Y (second store).
  • Store Y is a store different from store X.
  • the user enters the store Y after leaving the store X. Since the configurations of the entrance camera 300aY, the payment terminal 400Y, and the exit camera 300bY are the same as the configurations of the entrance camera 300a, the payment terminal 400, and the exit camera 300b, the description thereof will be omitted.
  • the authentication control unit 116 causes the authentication device 200 to perform face recognition based on the captured images transmitted from the entrance camera 300aY, the payment terminal 400Y, and the exit camera 300bY.
  • the entrance camera 300aY captures an image including the user's face and transmits the captured image to the recommendation device 800a via the network 500.
  • the authentication control unit 116 acquires a photographed image (first photographed image) when the user enters the second store by receiving it from the entrance camera 300aY, and performs the first face authentication on the authentication device 200. Let me.
  • the first acquisition unit 112 acquires the time when the user enters the second store (first time). At this time, the first acquisition unit 112 acquires the shooting time of the first shot image as the first time.
  • the flag management unit 122 sets the user's entry flag in the flag storage unit.
  • the user makes a payment at the second store or leaves the second store without making a payment.
  • the payment terminal 400Y captures an image including the user's face and transmits the captured image to the recommendation device 800a via the network 500.
  • the exit camera 300bY captures an image including the user's face and transmits the captured image to the recommendation device 800a via the network 500.
  • the authentication control unit 116 receives the captured image transmitted from the payment terminal 400Y or the exit camera 300bY.
  • the authentication control unit 116 When the authentication control unit 116 has not acquired the photographed image (third photographed image) at the time of leaving the store and has not acquired the photographed image (second photographed image) at the time of payment, the user has not acquired the second photographed image. It is considered that he is still staying in the 2 stores.
  • the calculation unit 117 calculates the staying time (first staying time) of the user in the second store.
  • the registration unit 115 registers the second payment history in the storage unit 120 in association with the user when the second face authentication based on the image taken at the second store is successful.
  • the second payment history is a history of payments made by the user at the second store.
  • the calculation unit 117 calculates the second staying time from the difference between the first time and the second time in the second store.
  • the second staying time is the staying time of the user in the second store.
  • the identification unit 118 specifies the recommendation information based on the first combination and the second combination.
  • the recommendation conditions in this embodiment are the first combination and the second combination.
  • the first combination is a combination of the first payment history and the first staying time.
  • the second combination is a combination of the second payment history and the second staying time.
  • the first payment history and the second payment history may include information on the store where the payment was made (for example, the genre of the store).
  • the recommendation condition may include information on the first store and the second store.
  • the recommendation condition may or may not include differences in the genres of the first store and the second store.
  • the recommendation condition is "store X and store Y are stores of different genres and purchase products at any of the stores”
  • the recommendation information is "introduction information of stores of other genres".
  • the recommendation information may be "introduction information of a store of the same genre as store X or store Y". Users visiting stores of different genres are considered to be interested in products of various genres without being particular about the genre. Therefore, by presenting the introduction information of stores of other genres to the user, it is possible to present the recommendation information of various genres to the user.
  • the recommendation condition is "The genres of store X and store Y are the same, the first stay time is 30 minutes or more, the second stay time is less than 10 minutes, and the first payment history is unsettled.
  • the recommendation information is set as "similar product information of the product”. It is probable that the user who made a payment for a short stay at the second store after staying at the first store for a long time was concerned about a product similar to the product finally purchased. Therefore, when the user searches for a product that he / she is interested in in the future, he / she can present the recommendation information according to the user's preference by presenting some information of similar products side by side.
  • the recommender system according to the present embodiment can specify the recommendation information based on the history information when the user visits a plurality of stores, it is possible to present the recommendation information according to the user's preference. Further, the recommendation device according to the present embodiment can exert the same effect as the effect described in the first to fourth embodiments.
  • the sixth embodiment is a modification of the fifth embodiment described above.
  • the recommendation information is specified based on the history information in a plurality of stores.
  • the recommendation information is specified based on the history information such as open-air sales where the entry and exit to the store is not clear.
  • an entrance camera 300a and an exit camera 300b are installed at an entrance / exit (first point) of a shopping district including a store that sells stalls, and a payment terminal 400 is installed at the store (second point).
  • a payment terminal 400 is installed at the store (second point).
  • the authentication device 200 stores the facial feature information of the plurality of registered users in advance in association with the user IDs of the plurality of registered users.
  • the entrance camera 300a captures the first captured image by photographing the user who entered the shopping district from the first point.
  • the entrance camera 300a transmits the first captured image to the recommendation device 800a via the network 500.
  • the first acquisition unit 112 acquires the first time of the user when the first face authentication at the first point is successful.
  • the payment terminal 400 captures an image including the face of the user who made the payment at the second point as the second captured image, and transmits the second captured image to the recommendation device 800a via the network 500.
  • the registration unit 115 registers the payment history based on the payment of the user who succeeded in face authentication at the time of success of the second face authentication in the storage unit 120 in association with the user.
  • the second acquisition unit 114 acquires the second time of the user when the second face authentication at the second point is successful.
  • the calculation unit 117 calculates the staying time in the shopping district of the user from the difference between the first time and the second time.
  • the identification unit 118 identifies the recommendation information based on the payment history and the staying time in the shopping district.
  • the output unit 119 outputs the recommendation information specified by the specific unit 118 to the display terminal.
  • the staying time in the case of non-settlement may be calculated, and the recommendation information may be specified and output by using the third captured image by the exit camera 300b.
  • the recommender system can specify the recommendation information based on the history information and the staying time even when the user's entry and exit to the store is not clear. That is, the recommender system according to the present embodiment is based on the staying time in a shopping district or a shopping mall and the payment information in each store (tenant) even when the staying time in each store is unknown. , Recommendation information can be specified. Further, the recommendation device according to the present embodiment can exert the same effect as the effect described in the first to fifth embodiments.
  • the seventh embodiment is a modification of the above-described first to sixth embodiments.
  • the recommendation information is presented immediately after the settlement or immediately after the store is closed.
  • the recommendation information is presented according to the user's designation.
  • FIG. 24 is a block diagram showing the configuration of the user terminal.
  • the user terminal 1200 is a communication terminal such as a smartphone owned by the user.
  • the user terminal 1200 includes at least a display device and a computer as a hardware configuration.
  • the user terminal 1200 includes a storage unit 1220, a communication unit 1230, a display unit 1240, and a control unit 1250.
  • the storage unit 1220 is a storage device in which a program for realizing each function of the user terminal 1200 is stored.
  • the communication unit 1230 is a communication interface with the network 500.
  • the display unit 1240 is a display device that displays the face authentication result, recommendation information, and the like to the user.
  • the control unit 1250 controls the hardware included in the user terminal 1200.
  • the control unit 1250 includes a recommendation information request unit 1252.
  • the recommendation information request unit 1252 transmits the recommendation information request to the recommendation device 100a via the network 500.
  • the recommendation information request includes the user ID of the user.
  • FIG. 25 is a flowchart showing the flow of the recommendation process.
  • the identification unit 118 specifies the recommendation information based on the first payment history and the first staying time corresponding to the user ID included in the recommendation information request (step S1202). ..
  • the output unit 119 outputs the recommendation information specified by the specific unit 118 to the user terminal 1200 (step S1203).
  • the recommender system according to this embodiment can present recommendation information at a timing requested by the user. Further, the recommendation device according to the present embodiment can exert the same effect as the effect described in the first to sixth embodiments.
  • the description is made as a hardware configuration, but the present invention is not limited to this.
  • the present disclosure can also be realized by causing the CPU to execute a computer program.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, DVD (Digital Versatile Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix A1) Succeeded in the first face authentication using an authentication device that stores the face feature information of a plurality of registered users in advance for the first photographed image taken by the user when the predetermined user enters the first store. If so, the first acquisition unit that acquires the first time at the time of entering the store and the first acquisition unit When the second face authentication using the authentication device is successful for the second photographed image taken by the user at the time of payment by the user in the first store, the second time at the time of payment is acquired.
  • the second acquisition department to do A registration unit that associates the first payment history based on the payment with the user and registers it in the storage means when the second face authentication is successful.
  • a calculation unit that calculates the first stay time of the user in the first store from the difference between the first time and the second time.
  • a specific unit that specifies recommendation information based on the first payment history and the first staying time, and An output unit that outputs the specified recommendation information and Recommended device equipped with.
  • a flag storage unit that stores the user's entry flag and When the first face authentication is successful, the entrance flag of the user is set and registered in the flag storage unit, and when the second face authentication is successful, the entrance flag of the user is released.
  • a flag management unit that updates the flag storage unit, With more When the user's entrance flag is set in the flag storage unit, the third acquisition unit considers the user to be unsettled at the first store. When the flag management unit succeeds in the third face authentication and the store entry flag of the user is set in the flag storage unit, the flag management unit releases the store entry flag and updates the flag storage unit. death, The calculation unit calculates the first staying time when the user's entry flag is cleared. The recommended device according to Appendix A3.
  • the registration unit further registers the second payment history based on the payment by the user in the second store that the user entered after leaving the first store in association with the user.
  • the calculation unit further calculates the second stay time of the user in the second store.
  • the specific unit is recommended based on the first combination of the first payment history and the first staying time, and the second combination of the second payment history and the second staying time. Identify information, The recommended device according to any one of Appendix A1 to A6.
  • the specific part is When a recommendation request including the user ID of the user is received from the user terminal, the recommendation information is specified based on the first payment history and the first staying time corresponding to the user ID.
  • the output unit Output the specified recommendation information to the user terminal.
  • the recommended device according to any one of the appendices A1 to A7.
  • Appendix B1 A calculation method for calculating the user's staying time at the store, Specific means for identifying the recommendation information to be presented to the user based on the staying time, and An output means for outputting the specified recommendation information and Recommended device equipped with.
  • An imaging device that captures an image that includes the face area of a predetermined user, A payment terminal for making payments by the user and A recommendation device capable of communicating with the photographing device and the payment terminal, An authentication device that stores the user's facial feature information and can communicate with the recommended device is provided.
  • the recommended device is Succeeded in the first face authentication using an authentication device that stores the face feature information of a plurality of registered users in advance for the first photographed image taken by the user when the predetermined user enters the first store.
  • the first acquisition unit that acquires the first time at the time of entering the store and the first acquisition unit
  • the second acquisition unit When the second face authentication using the authentication device is successful for the second photographed image taken by the user at the time of payment by the user in the first store, the second time at the time of payment is acquired.
  • the second acquisition department to do A registration unit that associates the first payment history based on the payment with the user and registers it in the storage means when the second face authentication is successful.
  • a calculation unit that calculates the first stay time of the user in the first store from the difference between the first time and the second time.
  • a specific unit that specifies recommendation information based on the first payment history and the first staying time, and An output unit that outputs the specified recommendation information and Recommender system with.
  • First face authentication is performed using the face feature information of a plurality of registered users stored in advance for the first photographed image taken by the user when the predetermined user enters the first store. 1 certification department and When the first face recognition is successful, the first acquisition unit that acquires the first time at the time of entering the store and the first acquisition unit. A second authentication unit that performs a second face authentication using the face feature information of the plurality of registered users with respect to the second photographed image taken by the user at the time of payment by the user in the first store. When the second face authentication is successful, the second acquisition unit that acquires the second time at the time of payment and the second acquisition unit A registration unit that associates the first payment history based on the payment with the user and registers it in the storage means when the second face authentication is successful.
  • a calculation unit that calculates the first stay time of the user in the first store from the difference between the first time and the second time.
  • a specific unit that specifies recommendation information based on the first payment history and the first staying time, and An output unit that outputs the specified recommendation information and Recommended device equipped with.
  • Appendix F2 The specific part is When the first stay time is shorter than the predetermined time, the arrival information regarding the purchase contents included in the first payment history is specified as the recommendation information.
  • the recommended device according to Appendix F1.
  • the computer A step of performing first face recognition using the face feature information of a plurality of registered users stored in advance for the first photographed image taken by the user when the predetermined user enters the first store.
  • the step of acquiring the first time at the time of entering the store and the step of acquiring the first time A step of performing a second face authentication using the face feature information of the plurality of registered users for a second photographed image taken by the user at the time of payment by the user in the first store.
  • the step of acquiring the second time at the time of payment and the step of acquiring the second time A step of associating the first payment history based on the payment with the user and registering it in the storage means when the second face authentication is successful.
  • (Appendix H1) A step of performing first face recognition using the face feature information of a plurality of registered users stored in advance for the first photographed image taken by the user when the predetermined user enters the first store.
  • the step of acquiring the first time at the time of entering the store and the step of acquiring the first time A step of performing a second face authentication using the face feature information of the plurality of registered users for a second photographed image taken by the user at the time of payment by the user in the first store.
  • the step of acquiring the second time at the time of payment and the step of acquiring the second time A step of associating the first payment history based on the payment with the user and registering it in the storage means when the second face authentication is successful.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Collating Specific Patterns (AREA)

Abstract

推薦装置（１００）は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部（１１２）と、前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部（１１４）と、前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録部（１１５）と、前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出部（１１７）と、前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定部（１１８）と、前記特定した推薦情報を出力する出力部（１１９）と、を備える。

Description

推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、ユーザに対して推薦情報を提供するための推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　特許文献１には、顔画像照合システムに関する技術が開示されている。当該顔画像照合システムは、施設の入場口に設置された撮像装置による撮影画像から顔検知を行い、施設の各店舗や出場口に設置された撮像装置による撮影画像から顔照合を行う。そして、顔検知の日時を来場者の入場日時とし、顔照合の日時を店舗や施設の出場日時とする。その後、来場者の入場日時と出場日時から施設の滞在時間を算出し、来場者の滞在時間を加味した行動分析を行う。
国際公開第２０１８／１８０５８８号公報
　特許文献１に開示された技術には、来場者における店舗や施設の出入りタイミングの把握しかできないため、来場者の行動分析が不十分であるという問題点がある。
　本開示は、このような問題点を解決するためになされたものであり、ユーザに対して効果的な推薦情報を提示するための推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
　本開示に係る推薦装置は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録部と、前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出部と、前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定部と、前記特定した推薦情報を出力する出力部と、を備える。
　本開示に係る推薦装置は、ユーザの店舗における滞在時間を算出する算出手段と、前記滞在時間に基づいて前記ユーザに提示する推薦情報を特定する特定手段と、前記特定した推薦情報を出力する出力手段と、を備える。
　本開示に係る推薦システムは、所定のユーザの顔領域を含む画像を撮影する撮影装置と、前記ユーザにおける決済を行う決済端末と、前記撮影装置及び前記決済端末と通信可能な推薦装置と、前記ユーザの顔特徴情報を記憶し、前記推薦装置と通信可能な認証装置と、を備え、前記推薦装置は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録部と、前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出部と、前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定部と、前記特定した推薦情報を出力する出力部と、を備える。
　本開示に係る推薦方法は、コンピュータが、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、前記特定した推薦情報を出力する工程と、を備える。
　本開示に係る非一時的なコンピュータ可読媒体は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、前記特定した推薦情報を出力する工程と、を実行させるプログラムが記録される。
　本開示に係る推薦装置は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う第１の認証部と、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う第２の認証部と、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録部と、前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出部と、前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定部と、前記特定した推薦情報を出力する出力部と、を備える。
　本開示に係る推薦方法は、コンピュータが、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、前記特定した推薦情報を出力する工程と、を備える。
　本開示に係る非一時的なコンピュータ可読媒体は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、前記特定した推薦情報を出力する工程と、を実行させるプログラムが記録される。
　本開示により、来場者に対して効果的な推薦情報を提示するための推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施形態１に係る推薦装置の構成を示すブロック図である。 実施形態１に係る推薦方法の流れを示すフローチャートである。 実施形態２に係る推薦装置の構成を示すブロック図である。 実施形態２に係る推薦方法の流れを示すフローチャートである。 実施形態３に係る推薦システムの構成を示すブロック図である。 認証装置の構成を示すブロック図である。 顔特徴情報登録処理の流れを示すフローチャートである。 顔認証処理の流れを示すフローチャートである。 決済端末の構成を示すブロック図である。 推薦装置の構成を示すブロック図である。 推薦処理の流れを示すフローチャートである。 入店時刻取得処理の流れを示すフローチャートである。 決済時刻取得処理の流れを示すフローチャートである。 表示端末上に表示される推薦情報画面を例示する図である。 表示端末上に表示されるマップを例示する図である。 表示端末上に表示される行動履歴を例示する図である。 実施形態４に係る推薦システムの構成を示すブロック図である。 実施形態４に係る推薦装置の構成を示すブロック図である。 推薦処理の流れを示すフローチャートである。 推薦処理の流れを示すフローチャートである。 入店時刻取得処理の流れを示すフローチャートである。 滞在時間算出処理の流れを示すフローチャートである。 実施形態５に係る推薦システムの構成を示すブロック図である。 ユーザ端末の構成を示すブロック図である。 推薦処理の流れを示すフローチャートである。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施形態１＞
　図１は、実施形態１に係る推薦装置１００の構成を示すブロック図である。推薦装置１００は、第１の取得部１１２、第２の取得部１１４、登録部１１５、算出部１１７、特定部１１８及び出力部１１９を備える。推薦装置１００は、ネットワーク５００（不図示）に接続される。ネットワーク５００は、有線であっても無線であってもよい。ネットワーク５００には、図示しない認証装置２００、撮影装置及び決済端末４００等が接続される。
　第１の取得部１１２は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置２００を用いた第１の顔認証に成功した場合、入店時の第１の時刻を取得する。第２の取得部１１４は、第１の店舗における当該ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、認証装置２００を用いた第２の顔認証に成功した場合、決済時の第２の時刻を取得する。
　登録部１１５は、第２の顔認証の成功時に顔認証に成功したユーザにおける決済に基づく第１の決済履歴を当該ユーザに対応付けて、図示しない記憶部１２０に登録する。算出部１１７は、第１の時刻と第２の時刻との差分からユーザの第１の店舗における第１の滞在時間を算出する。特定部１１８は、第１の決済履歴と第１の滞在時間とに基づいて推薦情報を特定する。出力部１１９は、特定部１１８が特定した推薦情報を表示端末に出力する。表示端末は、例えば、ユーザ端末、決済端末４００又はサイネージ等である。ユーザ端末は、ユーザが所持するスマートフォン等の通信端末である。サイネージは、街頭等に設置される端末であり、例えば、ユーザがサイネージの前に立った際に「次は〇〇へ行くのはいかがですか」等と表示する。
　図２は、実施形態１に係る推薦方法の流れを示すフローチャートである。まず、第１の取得部１１２は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、第１の時刻を取得する（ステップＳ１０１）。尚、認証装置２００は、ステップＳ１０１に先んじて、第１の撮影画像に含まれる顔特徴情報と、認証装置２００内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定する第１の顔認証を行う。認証装置２００は、第１の顔認証に成功した場合、成功したユーザＩＤを判定結果に含めて推薦装置１００に返信する。
　次に、第２の取得部１１４は、第１の店舗におけるユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、認証装置を用いた第２の顔認証に成功した場合、決済時の第２の時刻を取得する（ステップＳ１０２）。尚、認証装置２００は、ステップＳ１０２に先んじて、第２の撮影画像に含まれる顔特徴情報と、認証装置２００内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定する第２の顔認証を行う。認証装置２００は、第２の顔認証に成功した場合、成功したユーザＩＤを判定結果に含めて推薦装置１００に返信する。
　次に、登録部１１５は、第２の顔認証の成功時に決済に基づく第１の決済履歴をユーザに対応付けて記憶部１２０に登録する（ステップＳ１０３）。次に、算出部１１７は、第１の時刻と第２の時刻との差分からユーザの第１の店舗における第１の滞在時間を算出する（ステップＳ１０４）。次に、特定部１１８は、第１の決済履歴と第１の滞在時間とに基づいて推薦情報を特定する（ステップＳ１０５）。次に、出力部１１９は、特定した推薦情報を出力する（ステップＳ１０６）。このように、本実施形態に係る推薦方法は、ユーザの決済履歴及び店舗における滞在時間に基づいた推薦情報を提示することができるため、ユーザに対して効果的な推薦情報を提示することができる。
　尚、推薦装置１００は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態に係る推薦方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、登録部、第１の取得部１１２、第２の取得部１１４、登録部１１５、算出部１１７、特定部１１８及び出力部１１９の機能を実現する。
　または、登録部、第１の取得部１１２、第２の取得部１１４、登録部１１５、算出部１１７、特定部１１８及び出力部１１９は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
　また、推薦装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、推薦装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
＜実施形態２＞
　実施形態２は、上述した実施形態１の変形例である。実施形態１に係る推薦装置１００は、外部の認証装置２００を用いて顔認証を行っていた。一方、本実施形態に係る推薦装置６００は、装置内部で顔認証を行う。
　図３は、実施形態２に係る推薦装置６００の構成を示すブロック図である。推薦装置６００は、図１に示した推薦装置１００の構成と比べて、第１の認証部１１１、第２の認証部１１３及び図示しない顔特徴ＤＢ（Database）が追加されたものである。顔特徴ＤＢは、ユーザＩＤと顔特徴情報とを対応付けて記憶するデータベースである。推薦装置６００が備える各構成について、実施形態１と重複する説明は適宜省略する。
　第１の認証部１１１は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う。第１の顔認証において、第１の認証部１１１は、第１の撮影画像から顔特徴情報を抽出し、当該顔特徴情報と顔特徴ＤＢに記憶されている顔特徴情報とを照合し、一致の有無により認証の成否を判定する。顔特徴ＤＢは、複数の登録ユーザの顔特徴情報を記憶している。第１の認証部１１１は、第１の顔認証の成否を第１の取得部１１２に出力する。第１の取得部１１２は、第１の顔認証に成功した場合、当該ユーザの入店時の第１の時刻を取得する。
　第２の認証部１１３は、第１の店舗におけるユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う。第２の顔認証において、第２の認証部１１３は、第２の撮影画像から顔特徴情報を抽出し、当該顔特徴情報と顔特徴ＤＢに記憶されている顔特徴情報とを照合し、一致の有無により認証の成否を判定する。第２の認証部１１３は、第２の顔認証の成否を第２の取得部１１４に出力する。第２の取得部１１４は、第２の顔認証に成功した場合、当該ユーザの決済時の第２の時刻を取得する。
　図４は、実施形態２に係る推薦方法の流れを示すフローチャートである。まず、第１の認証部１１１は、所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う（ステップＳ２０１）。第１の取得部１１２は、第１の顔認証に成功した場合、入店時の第１の時刻を取得する（ステップＳ２０２）。
　次に、第２の認証部１１３は、第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う（ステップＳ２０３）。第２の取得部１１４は、第２の顔認証に成功した場合、決済時の第２の時刻を取得する（ステップＳ２０４）。
　次に、登録部１１５は、第２の顔認証の成功時に決済に基づく第１の決済履歴をユーザに対応付けて記憶部１２０に登録する（ステップＳ２０５）。次に、算出部１１７は、第１の時刻と第２の時刻との差分からユーザの第１の店舗における第１の滞在時間を算出する（ステップＳ２０６）。次に、特定部１１８は、第１の決済履歴と第１の滞在時間とに基づいて推薦情報を特定する（ステップＳ２０７）。次に、出力部１１９は、特定した推薦情報を出力する（ステップＳ２０８）。さらに、本実施形態に係る推薦装置は、実施形態１において説明した効果と同様の効果を奏することができる。
＜実施形態３＞
　実施形態３は、上述した実施形態１の具体例である。図５は、実施形態３に係る推薦システム７００の構成を示すブロック図である。推薦システム７００は、推薦装置１００ａ、認証装置２００、入口カメラ３００ａ及び決済端末４００を備える。推薦装置１００ａ、認証装置２００、入口カメラ３００ａ及び決済端末４００のそれぞれは、ネットワーク５００を介して接続されている。なお、実施形態１と重複する説明については適宜省略する。
　推薦装置１００ａは、店舗Ｘにおいて顔認証による決済を行ったユーザに対して、所定の推薦情報を提示するための情報処理装置であり、例えば、コンピュータにより実現されるサーバ装置である。認証装置２００は、第１の顔認証及び第２の顔認証を行う装置である。認証装置２００は、顔特徴ＤＢ２１０を備える。顔特徴ＤＢ２１０は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。尚、顔特徴ＤＢ２１０は、顔特徴情報記憶部の一例である。
　店舗Ｘには、入口カメラ３００ａ及び決済端末４００が設置されている。入口カメラ３００ａは、第１の撮影画像を撮影する端末である。尚、入口カメラ３００ａは、撮影装置の一例である。入口カメラ３００ａは、例えば、店舗Ｘの入口付近に設置されたデジタルカメラ、カメラを搭載したデジタルサイネージ又は顔認証端末である。顔認証端末は、表示装置を兼ねていてもよい。例えば、カメラを搭載したサイネージは、顔認証を行うことによってユーザを特定し、当該ユーザに対して推薦情報を表示してもよい。入口カメラ３００ａは、店舗Ｘに入店したユーザを撮影することによって第１の撮影画像を撮影する。入口カメラ３００ａは、第１の撮影画像を、ネットワーク５００を介して推薦装置１００ａに送信する。
　尚、複数のフロアを有する施設に推薦システム７００を設置する場合、各フロアごとにユーザの入場及び決済を記録してもよい。この場合、入口カメラ３００ａは、各フロアの入口付近に設置される。各フロアの入口は、例えば、エスカレータの降り口、エレベータの降り口及び階段の降り口である。入口カメラ３００ａは、フロアに入場したユーザを撮影することによって第１の撮影画像を撮影する。
　決済端末４００は、入店したユーザが店舗Ｘ内で買い物を行う際に決済を行う情報処理装置である。また、決済端末４００は、決済時に決済を行ったユーザの顔を含む画像を第２の撮影画像として撮影し、当該第２の撮影画像を、ネットワーク５００を介して推薦装置１００ａに送信する。決済端末４００は、例えば、顔認証成功時に決済を行ってもよい。具体的には、決済端末４００は、推薦装置１００ａから顔認証結果を受信し、顔認証に成功している場合、決済処理を行い、決済履歴を、ネットワーク５００を介して推薦装置１００ａに送信する。決済履歴は、例えば、決済を行った日時、決済金額及び決済内容等を含む。決済内容は、例えば、購入品目及び購入サービス等である。
　次に、図６を参照して、認証装置２００の構成について詳細に説明する。図６は、認証装置２００の構成を示すブロック図である。認証装置２００は、顔特徴ＤＢ２１０、顔検出部２２０、特徴点抽出部２３０、登録部２４０及び認証部２５０を備える。
　顔特徴ＤＢ２１０は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。顔検出部２２０は、撮影画像が含む顔領域を検出し、特徴点抽出部２３０に出力する。特徴点抽出部２３０は、顔検出部２２０が検出した顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を出力する。顔特徴情報は、抽出した特徴点の集合である。
　登録部２４０は、顔特徴情報の登録に際して、ユーザＩＤを新規に発行する。登録部２４０は、発行したユーザＩＤと、登録画像から抽出した顔特徴情報と、を対応付けて顔特徴ＤＢ２１０に登録する。認証部２５０は、顔画像から抽出された顔特徴情報と、顔特徴ＤＢ２１０内の顔特徴情報と、の照合を行う。認証部２５０は、顔特徴情報が一致している場合、顔認証が成功したと判断し、顔特徴情報が不一致の場合、顔認証が失敗したと判断する。認証部２５０は、顔認証の成否を推薦装置１００ａに返信する。顔特徴情報の一致の有無は、認証の成否に対応する。また、認証部２５０は、顔認証に成功した場合、当該成功した顔特徴情報に対応付けられたユーザＩＤを特定し、特定されたユーザＩＤと認証成功の旨とを含めた認証結果を推薦装置１００ａに返信する。
　図７を参照して、顔特徴ＤＢ２１０にユーザＩＤ及び顔特徴情報を登録する際における認証装置２００の動作を説明する。図７は、顔特徴情報登録処理の流れを示すフローチャートである。
　顔特徴情報を登録する際には、顔情報登録端末（不図示）が、ユーザの顔を含む画像を登録用画像として撮影し、認証装置２００に対してネットワーク５００を介して顔特徴情報登録要求を行う。顔情報登録端末は、例えば、パーソナルコンピュータ、スマートフォン及びタブレット端末等の情報処理装置である。顔特徴情報登録要求は、登録用画像を含む。まず、認証装置２００は、顔情報登録端末からネットワーク５００を介して顔等区長情報登録要求に含まれる登録用画像を取得する（ステップＳ３０１）。
　次に、顔検出部２２０は、登録用画像が含む顔領域を検出し（ステップＳ３０２）、検出した顔領域を特徴点抽出部２３０に出力する。次に、特徴点抽出部２３０は、顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を出力する（ステップＳ３０３）。次に、登録部２４０は、出力された顔特徴情報に対応するユーザＩＤを発行し、当該ユーザＩＤと顔特徴情報とを対応付けて顔特徴ＤＢ２１０に登録する（ステップＳ３０４）。
　図８を参照して、顔認証を行う際における認証装置２００の動作を説明する。図８は、顔認証処理の流れを示すフローチャートである。図８では、第１の顔認証を行う場合について説明を行うが、第２の顔認証を行う場合も同様の手順で顔認証を行うことができる。
　入口カメラ３００ａは、ユーザが店舗Ｘに入店すると、当該ユーザの顔を含む画像を第１の撮影画像として撮影し、推薦装置１００ａに対してネットワーク５００を介して当該第１の撮影画像を送信する。推薦装置１００ａは、第１の撮影画像から顔領域又は顔特徴情報を抽出する。推薦装置１００ａは、抽出した顔領域又は顔特徴情報を認証装置２００に送信する。特徴点抽出部２３０は、受信した顔領域から顔特徴情報を抽出し、又は顔特徴情報を受信することによって、顔特徴情報を取得する（ステップＳ４０１）。
　次に、認証部２５０は、取得した顔特徴情報を顔特徴ＤＢ２１０と照合する（ステップＳ４０２）。顔特徴情報が一致した場合（ステップＳ４０３Ｙｅｓ）、認証部２５０は、顔特徴情報が一致したユーザのユーザＩＤを特定し（ステップＳ４０４）、顔認証に成功した旨と特定したユーザＩＤとを推薦装置１００ａに返信する（ステップＳ４０５）。一致する顔特徴情報がなかった場合（ステップＳ４０３Ｎｏ）、認証部２５０は、顔認証に失敗した旨を推薦装置１００ａに返信する（ステップＳ４０６）。
　次に、図９を参照して、決済端末４００の構成について詳細に説明する。決済端末４００は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。決済端末４００は、第２の撮影画像の撮影及び決済処理を行う装置である。
　図９は、決済端末４００の構成を示すブロック図である。決済端末４００は、カメラ４１０、記憶部４２０、通信部４３０、表示部４４０及び制御部４５０を備える。カメラ４１０は、画像を撮影する撮影装置である。記憶部４２０は、決済端末４００の各機能を実現するためのプログラムが格納される記憶装置である。通信部４３０は、ネットワーク５００との通信インタフェースである。表示部４４０は、ユーザに対して顔認証結果及び推薦情報等を表示する表示装置である。制御部４５０は、決済端末４００が備えるハードウェアの制御を行う。制御部４５０は、撮影部４５２、登録部４５３、認証部４５４及び決済部４５５を備える。
　撮影部４５２は、カメラ４１０に対して撮影要求を行う。カメラ４１０は、ユーザの顔を含む画像を撮影する。カメラ４１０が撮影した画像は、第２の撮影画像として使用される。登録部４５３は、履歴登録要求を、ネットワーク５００を介して推薦装置１００ａに送信する。尚、履歴登録要求は、決済処理の結果である決済履歴を含む。決済履歴は、例えば、決済した日時、金額、物品及びユーザＩＤ等を含む情報である。認証部４５４は、第２の顔認証要求を、ネットワーク５００を介して推薦装置１００ａに送信し、その結果を推薦装置１００ａから受信する。顔認証の成否は、表示部４４０に表示されてもよい。決済部４５５は、顔認証の成功時に決済処理を実行する。
　次に、図１０を参照して、推薦装置１００ａの構成について詳細に説明する。図１０は、推薦装置１００ａの構成を示すブロック図である。推薦装置１００ａは、制御部１１０、記憶部１２０、メモリ１３０及び通信部１４０を備える。
　記憶部１２０は、プログラム、履歴情報、推薦条件及び推薦情報を記憶する記憶装置である。尚、記憶部１２０は、履歴記憶部を含むものである。プログラムは、本実施形態に係る推薦処理が実装されたコンピュータプログラムである。履歴情報は、ユーザID、入店時刻、決済時刻、滞在時間及び決済履歴を対応付けた情報である。尚、本実施形態では、決済時刻を退店時刻とみなしている。ユーザIDは、入店者及び決済対象者であるユーザを識別可能な情報であり、例えば、氏名、電話番号、メールアドレス、又は任意の識別番号等である。滞在時間は、決済時刻と入店時刻の差分である。決済履歴は、決済日時、決済金額及び決済内容等を含む。
　推薦情報は、推薦条件に対応付けられている。推薦条件は、滞在時間の閾値及びその大小の条件と、決済履歴の条件と、の組合せである。決済履歴の条件は、例えば、購入品等の種別、決済金額の閾値とその大小の条件、及び決済日時の条件等である。推薦情報は、店舗Ｘに入店したユーザ等に対して、店舗及び商品等に関して推薦する情報である。推薦情報は、例えば、店舗Ｘにおける特定の商品の割引セールの案内、及び店舗Ｘと同業の他店舗の紹介等である。
　メモリ１３０は、制御部１１０の処理内容を一時的に記憶する記憶領域であり、例えばＲＡＭ（Random Access Memory）等の揮発性記憶装置である。通信部１４０は、推薦装置１００ａの外部との通信を行うインターフェースである。
　制御部１１０は、第１の取得部１１２、第２の取得部１１４、登録部１１５、認証制御部１１６、算出部１１７、特定部１１８及び出力部１１９を備える。制御部１１０は、推薦装置１００ａの動作を制御する制御装置であり、例えば、ＣＰＵ等のプロセッサである。制御部１１０は、記憶部１２０からプログラムをメモリ１３０へ読み込ませ、実行する。これにより、制御部１１０は、第１の取得部１１２、第２の取得部１１４、登録部１１５、認証制御部１１６、算出部１１７、特定部１１８及び出力部１１９としての機能を実現する。
　第１の取得部１１２は、第１の撮影画像について、認証装置２００を用いた第１の顔認証に成功した場合、第１の時刻を取得する。尚、認証装置２００は、複数の登録ユーザの顔特徴情報を当該複数の登録ユーザのユーザＩＤと対応付けて予め記憶している。第１の撮影画像は、所定のユーザが第１の店舗へ入店する際に撮影される画像であり、当該ユーザの顔領域を含む。第１の撮影画像は、撮影装置により撮影される。撮影装置は、例えば、店舗の入口に設置された入口カメラ３００ａである。第１の時刻は、所定のユーザが第１の店舗に入店した時刻であり、例えば第１の撮影画像が撮影された時刻である。
　第２の取得部１１４は、第２の撮影画像について、認証装置２００を用いた第２の顔認証に成功した場合、第２の時刻を取得する。第２の撮影画像は、所定のユーザの第１の店舗における決済時に撮影される画像であり、当該ユーザの顔領域を含む。第２の撮影画像は、決済端末４００が備えるカメラにより撮影される。第２の時刻は、所定のユーザが第１の店舗において決済を行った時刻である。
　登録部１１５は、第２の顔認証の成功時に第１の決済履歴をユーザに対応付けて記憶部１２０に登録する。第１の決済履歴は、第２の顔認証の成功時に行われた決済の履歴である。認証制御部１１６は、第１の撮影画像及び第２の撮影画像から顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置２００へ送信して顔認証を行わせる。また、認証制御部１１６は、認証装置２００から顔認証の成否を受信する。尚、顔認証に成功した場合、顔認証結果には、ユーザＩＤが含まれる。算出部１１７は、ユーザの第１の店舗における滞在時間を算出する。滞在時間は、第１の時刻と第２の時刻との差分である。
　特定部１１８は、第１の決済履歴と第１の滞在時間とに基づいて推薦情報を特定する。まず、特定部１１８は、記憶部１２０から第１の決済履歴及び第１の滞在時間を取得する。次に、特定部１１８は、第１の決済履歴及び第１の滞在時間の組合せについて、記憶部１２０に予め登録されている推薦条件を満たすか否かを判定する。特定部１１８は、記憶部１２０に登録された各推薦条件と、第１の決済履歴及び第１の滞在時間と、を比較し、一致する推薦条件を全て特定する。そして、特定部１１８は、特定した全ての推薦条件に対応付けられた全ての推薦情報を記憶部１２０から読み出すことにより特定する。出力部１７０は、特定部１６０が特定した推薦情報をネットワーク５００を介して表示端末に送信する。表示端末は、例えば表示端末は、例えば、ユーザ端末、決済端末４００又はサイネージ等である。
　次に、図１１～１３を参照して、推薦処理時における推薦装置１００ａの動作を説明する。図１１は、推薦処理の流れを示すフローチャートである。図１２は、入店時刻取得処理の流れを示すフローチャートである。図１３は、決済時刻取得処理の流れを示すフローチャートである。
　まず、ユーザが店舗Ｘに入店すると、入口カメラ３００ａは、ユーザの顔を含む画像を撮影し、当該撮影画像を、ネットワーク５００を介して推薦装置１００ａに送信する。認証制御部１１６は、ユーザの入店時における撮影画像（第１の撮影画像）を入口カメラ３００ａから受信することによって取得し（ステップＳ５０１）、認証装置２００に第１の顔認証を行わせる。第１の顔認証に成功した場合、第１の取得部１１２は、当該ユーザの入店時刻（第１の時刻）を取得する（ステップＳ５０２）。尚、ステップＳ５０２において、第１の取得部１１２は、第１の撮影画像の撮影時刻を第１の時刻として取得する。
　次に、ユーザは、店舗Ｘにおいて決済を行う。決済時には、決済端末４００は、ユーザの顔を含む画像を撮影し、当該撮影画像をネットワーク５００を介して推薦装置１００ａに送信する。認証制御部１１６は、ユーザの決済時における撮影画像（第２の撮影画像）を決済端末４００から受信することによって取得し（ステップＳ５０３）、認証装置２００に第２の顔認証を行わせる。第２の顔認証に成功した場合、第２の取得部１１４は、決済端末４００に決済処理を指示し、当該ユーザの決済時刻（第２の時刻）及び決済履歴を取得する（ステップＳ５０４）。
　決済端末４００は、決済処理の指示を受信すると、決済処理を実行し、当該決済の結果である決済履歴を推薦装置１００ａに返信する。ステップＳ５０４において、第２の取得部１１４は、決済端末４００から受信した決済履歴に含まれる決済時刻及び決済履歴を第２の時刻及び決済履歴として取得する。尚、決済端末４００は、顔認証に依らない決済を行う場合、第２の撮影画像と共に決済履歴を推薦装置１００ａに送信する。顔認証に依らない決済方法は、例えば、クレジットカードによる決済方法及び電子マネーによる決済方法である。
　次に、登録部１１５は、ステップＳ５０４において第２の取得部１１４が取得した決済履歴を記憶部１２０に登録する（ステップＳ５０５）。次に、算出部１１７は、ユーザの店舗Ｘにおける滞在時間（第１の滞在時間）を算出する（ステップＳ５０６）。尚、図１１では、ステップＳ５０５を行った後にステップＳ５０６を行う場合について図示したが、ステップＳ５０６は、ステップＳ５０５よりも先に行われてもよく、ステップＳ５０５と並行して行われてもよい。次に、特定部１１８は、第１の決済履歴と第１の滞在時間とに基づいて推薦情報を特定する（ステップＳ５０７）。次に、出力部１１９は、特定部１１８が特定した推薦情報を表示端末に出力する（ステップＳ５０８）。
　尚、ステップＳ５０８における推薦情報の出力先は、ユーザの滞在時間を算出した地点と異なる地点に設置された表示装置であってもよい。また、推薦情報の出力（ステップＳ５０８）は、推薦情報を特定した（ステップＳ５０７）直後に行われてもよいし、しばらく経過した後に行われてもよい。つまり、推薦情報を出力するタイミングは、推薦情報を特定するタイミングとずれていてもよい。
　図１２を参照して、ステップＳ５０２について詳細に説明する。まず、認証制御部１１６は、第１の撮影画像を取得すると、当該第１の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１６は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ６０１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第１の顔認証を行い、認証結果を推薦装置１００ａに返信する。認証制御部１１６は、第１の顔認証の成否を受信する（ステップＳ６０２）。
　第１の顔認証に成功した場合（ステップＳ６０３Ｙｅｓ）、第１の取得部１１２は、第１の撮影画像が撮影された時刻をユーザの店舗Ｘへの入店時刻として取得する（ステップＳ６０４）。第１の顔認証に失敗した場合（ステップＳ６０３Ｎｏ）、認証制御部１１６は、顔認証に失敗した旨を第１の取得部１１２に返信する（ステップＳ６０５）。
　図１３を参照して、ステップＳ５０４について詳細に説明する。まず、認証制御部１１６は、第２の撮影画像を取得すると、当該第２の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１６は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ７０１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第２の顔認証を行い、認証結果を推薦装置１００ａに返信する。認証制御部１１６は、第２の顔認証の成否を受信する（ステップＳ７０２）。
　第２の顔認証に成功した場合（ステップＳ７０３Ｙｅｓ）、第２の取得部１１４は、決済端末４００に決済処理を指示する（ステップＳ７０４）。決済端末４００は、決済処理の指示を受信すると、決済処理を実行し、当該決済の結果である決済履歴を推薦装置１００ａに返信する。第２の取得部１１４は、決済端末４００から受信した決済履歴に含まれる決済時刻及び決済履歴を決済時刻（第２の時刻）及び決済履歴として取得する。第２の顔認証に失敗した場合（ステップＳ７０３Ｎｏ）、認証制御部１１６は、顔認証に失敗した旨を第２の取得部１１４に返信する（ステップＳ７０６）。
　図１４は、表示端末上に表示される推薦情報を例示する図である。図１４では、ユーザ端末に推薦情報を表示する場合を示している。図１４に示すように、ユーザ端末は、ステップＳ５０８において受信した推薦情報を画面上に表示する。尚、ステップＳ５０８において、出力部１７０は、推薦情報に加えて、ユーザの決済履歴を表示端末に送信してもよい。
　図１５は、決済履歴として表示端末上に表示されるマップを例示する図である。図１５に示すように、ユーザ端末は、ステップＳ５０８において受信したユーザの決済履歴をマップ上に表示してもよい。また、図１６は、表示端末上に表示される決済履歴を例示する図である。図１６に示すように、ユーザ端末は、ステップＳ５０８において受信した決済履歴を時系列で表示してもよい。
　図１５及び図１６では、ユーザの決済履歴のみを表示端末上に表示する場合を示しているが、表示端末上には、当該決済履歴に加えて、推薦情報を表示してもよい。推薦情報は、店舗情報、店舗の住所、及びユーザの現在位置から店舗までのルート案内等を含んでいてもよい。ルート案内は、ユーザの現在位置から店舗までの距離及び所要時間等を含んでいてもよい。また、表示端末上には、複数の推薦情報を表示してもよい。複数の推薦情報を表示する場合、各推薦情報の詳細及びルート案内等を同時に表示してもよい。ユーザは、各推薦情報の詳細及びルート案内等を検討し、推薦情報同士を比較することができる。
　以下、推薦条件及び対応する推薦情報の具体例を説明する。例えば、推薦条件が「滞在時間が３０分間以上であり、決済履歴に飲食費が含まれる」場合、推薦情報を「所定のレストランへの案内情報」とする。推薦情報は「所定のレストランの割引クーポンの提示」等であってもよい。長時間滞在し、かつ食事を取っているユーザは、レストランに興味があると考えられる。そのため、上記の推薦条件を満たすユーザに所定のレストランへの案内を提示することは、当該ユーザの興味に沿った推薦情報を提示することになる。したがって、提示された推薦情報の利用率を高めることができる。
　推薦条件が「滞在時間が３０分間未満であり、決済履歴に飲食費が含まれる」場合、推薦情報を「所定のファストフード店への案内情報」とする。推薦情報は「所定のファストフード店の割引クーポンの提示」等であってもよい。短時間滞在し、かつ食事を取っているユーザは、ファストフード店に興味があると考えられる。また、推薦条件が「滞在時間が１５分間未満であり、決済履歴に所定の商品購入が含まれる」場合、推薦情報を「購入商品の入荷情報」とする。推薦情報は「購入商品の最新情報」等であってもよい。短時間滞在し、かつ所定の商品を購入しているユーザは、予め購入する商品を決めていたと考えられる。
＜実施形態４＞
　実施形態４は、上述した実施形態３の変形例である。実施形態３に係る推薦装置１００ａは、決済履歴に基づいて退店時刻を取得していた。一方、実施形態４では、出口カメラが撮影した撮影画像に基づいて退店時刻を取得する。
　図１７は、実施形態４に係る推薦システム９００の構成を示すブロック図である。推薦システム９００は、図５に示した推薦システム７００の構成と比べて推薦装置１００ａが推薦装置８００ａに置き換わり、出口カメラ３００ｂが追加されたものである。尚、出口カメラ３００ｂは、撮影装置の一例である。推薦システム９００が備える各構成について、実施形態３と重複する説明は適宜省略する。図１８は、実施形態４に係る推薦装置の構成を示すブロック図である。推薦装置８００ａは、第３の取得部１２１及びフラグ管理部１２２を備える点で推薦装置１００ａと異なる。その他の構成については同様であるため、説明を適宜省略する。
　出口カメラ３００ｂは、例えば、店舗Ｘの出口付近に設置されたデジタルカメラ、カメラを搭載したデジタルサイネージ又は顔認証端末である。出口カメラ３００ｂは、入口カメラ３００ａと共用であってもよい。また、出口カメラ３００ｂは、決済端末４００が備えるカメラであってもよい。出口カメラ３００ｂは、店舗Ｘから退店するユーザを撮影することによって第３の撮影画像を撮影する。第３の撮影画像は、所定のユーザが第１の店舗から退店する際に撮影される画像であり、当該ユーザの顔領域を含む。出口カメラ３００ｂは、第３の撮影画像を、ネットワーク５００を介して推薦装置８００ａに送信する。
　尚、複数のフロアを有する施設に推薦システム９００を設置する場合、各フロアごとにユーザの入退場及び決済を記録してもよい。この場合、入口カメラ３００ａは、各フロアの入口付近に設置される。入口カメラ３００ａは、フロアに入場したユーザを撮影することによって第１の撮影画像を撮影する。出口カメラ３００ｂは、各フロアの出口付近に設置される。各フロアの出口は、例えば、エスカレータの乗り口、エレベータの乗り口及び階段の乗り口である。出口カメラ３００ｂは、フロアから退場するユーザを撮影することいよって第３の撮影画像を撮影する。
　本実施形態において、認証装置２００は、第１の顔認証及び第２の顔認証に加えて、第３の顔認証を行う。第３の顔認証は、第１の顔認証及び第２の顔認証と同様に図８に示す手順で行われる。第３の取得部１２１は、第３の顔認証に成功し、かつ、ユーザが店舗Ｘにおいて不決済の場合、第３の時刻を第２の時刻として取得する。第３の時刻は、所定のユーザが第１の店舗から退店した時刻であり、例えば第３の撮影画像が撮影された時刻である。登録部１１５は、第３の取得部１２１が第３の時刻を取得した場合、第１の店舗において不決済の旨を第１の決済履歴として記憶部１２０に登録する。
　本実施形態では、記憶部１２０は、フラグ記憶部を含んでいる。フラグ記憶部は、ユーザの入店フラグをユーザＩＤと対応付けて記憶する。入店フラグは、ユーザの店舗Ｘへの入店の有無を記録するためのフラグである。制御部１１０は、フラグ管理部１２２を備える。フラグ管理部１２２は、入店フラグを管理する。例えば、フラグ管理部１２２は、第１の顔認証に成功した場合、ユーザの入店フラグを設定してフラグ記憶手段に登録し、第２の顔認証に成功した場合、ユーザの入店フラグを解除してフラグ記憶手段を更新する。尚、入店フラグの実装はこれに限定されない。
　第３の取得部１２１は、フラグ記憶部にユーザの入店フラグが設定されている場合、当該ユーザが第１の店舗において不決済であるとみなす。フラグ管理部は、第３の顔認証に成功し、かつ、フラグ記憶部に当該ユーザの入店フラグが設定されている場合、当該入店フラグを解除してフラグ記憶部を更新する。算出部１１７は、当該ユーザの入店フラグが解除された場合に、第１の滞在時間を算出する。
　次に、図１９～２２を参照して、推薦処理時における推薦装置８００ａの動作を説明する。図１９及び図２０は、推薦処理の流れを示すフローチャートである。図２１は、入店時刻取得処理の流れを示すフローチャートである。図２２は、滞在時間算出処理の流れを示すフローチャートである。
　まず、ユーザが店舗Ｘに入店すると、入口カメラ３００ａは、ユーザの顔を含む画像を撮影し、当該撮影画像を、ネットワーク５００を介して推薦装置８００ａに送信する。認証制御部１１６は、ユーザの入店時における撮影画像（第１の撮影画像）を入口カメラ３００ａから受信することによって取得し（ステップＳ８０１）、認証装置２００に第１の顔認証を行わせる。第１の顔認証に成功した場合、第１の取得部１１２は、当該ユーザの入店時刻（第１の時刻）を取得する（ステップＳ８０２）。尚、ステップＳ８０２において、第１の取得部１１２は、第１の撮影画像の撮影時刻を第１の時刻として取得する。
　次に、フラグ管理部１２２は、ユーザの入店フラグをフラグ記憶部に設定する（ステップＳ８０３）。ユーザは、店舗Ｘに入店した後に、店舗Ｘにおいて決済を行い、又は決済を行わずに店舗Ｘから退店する。決済時には、決済端末４００は、ユーザの顔を含む画像を撮影し、当該撮影画像をネットワーク５００を介して推薦装置８００ａに送信する。退店時には、出口カメラ３００ｂは、ユーザの顔を含む画像を撮影し、当該撮影画像をネットワーク５００を介して推薦装置８００ａに送信する。決済端末４００又は出口カメラ３００ｂから送信された撮影画像は、認証制御部１１６が受信する。
　認証制御部１１６が、退店時の撮影画像（第３の撮影画像）を未取得であり（ステップＳ８０４Ｎｏ）、かつ、決済時の撮影画像（第２の撮影画像）を未取得である（ステップＳ８０５Ｎｏ）場合、ユーザは、店舗Ｘ内にまだ滞在していると考えられる。認証制御部１１６が、第３の撮影画像を取得している（ステップＳ８０４Ｙｅｓ）場合、算出部１１７は、ユーザの店舗Ｘにおける滞在時間（第１の滞在時間）を算出する（ステップＳ８０６）。次に、特定部１１８は、第１の決済履歴と第１の滞在時間とに基づいて推薦情報を特定する（ステップＳ８０７）。次に、出力部１１９は、特定部１１８が特定した推薦情報を表示端末に出力する（ステップＳ８０８）。
　図２０を参照して、認証制御部１１６が、退店時の撮影画像（第３の撮影画像）を未取得であり（ステップＳ８０４Ｎｏ）、かつ、決済時の撮影画像（第２の撮影画像）を取得している（ステップＳ８０５Ｙｅｓ）場合における推薦装置８００ａの動作を説明する。まず、認証制御部１１６は、第２の撮影画像を取得すると、当該第２の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１６は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ９０１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第２の顔認証を行い、認証結果を推薦装置８００ａに返信する。認証制御部１１６は、第２の顔認証の成否を受信する（ステップＳ９０２）。
　第２の顔認証に失敗した場合（ステップＳ９０３Ｎｏ）、認証制御部１１６は、顔認証に失敗した旨を第２の取得部１１４に返信する（ステップＳ９０４）。第２の顔認証に成功した場合（ステップＳ９０３Ｙｅｓ）、第２の取得部１１４は、決済端末４００に決済処理を指示する（ステップＳ９０５）。決済端末４００は、決済処理の指示を受信すると、決済処理を実行し、当該決済の結果である決済履歴を推薦装置１００ａに返信する。第２の取得部１１４は、決済端末４００から受信した決済履歴に含まれる決済時刻及び決済履歴を決済時刻（第２の時刻）及び決済履歴として取得する（ステップＳ９０６）。
　次に、フラグ管理部１２２は、当該ユーザの入店フラグを解除する（ステップＳ９０７）。次に、登録部１１５は、ステップＳ９０６において取得した決済履歴を記憶部１２０に登録する（ステップＳ９０８）。算出部１１７は、ステップＳ９０８の後、ユーザの店舗Ｘにおける滞在時間を算出する（ステップＳ８０６）。
　図２１を参照して、ステップＳ８０２について詳細に説明する。まず、認証制御部１１６は、第１の撮影画像を取得すると、当該第１の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１６は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ１００１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第１の顔認証を行い、認証結果を推薦装置８００ａに返信する。認証制御部１１６は、第１の顔認証の成否を受信する（ステップＳ１００２）。
　第１の顔認証に成功した場合（ステップＳ１００３Ｙｅｓ）、第１の取得部１１２は、第１の撮影画像が撮影された時刻をユーザの店舗Ｘへの入店時刻として取得する（ステップＳ１００４）。第１の顔認証に失敗した場合（ステップＳ１００３Ｎｏ）、認証制御部１１６は、顔認証に失敗した旨を第１の取得部１１２に返信する（ステップＳ１００５）。
　図２２を参照して、ステップＳ８０６について詳細に説明する。まず、認証制御部１１６は、第３の撮影画像を取得すると、当該第３の撮影画像から顔領域又は顔特徴情報を抽出する。そして、認証制御部１１６は、抽出した顔領域又は顔特徴情報を含む顔認証要求を認証装置２００に送信する（ステップＳ１１０１）。認証装置２００は、受信した顔領域又は顔特徴情報に基づいて第３の顔認証を行い、認証結果を推薦装置８００ａに返信する。認証制御部１１６は、第３の顔認証の成否を受信する（ステップＳ１１０２）。
　第３の顔認証に失敗した場合（ステップＳ１１０３Ｎｏ）、認証制御部１１６は、顔認証に失敗した旨を第３の取得部１２１に返信する（ステップＳ１１０４）。第３の顔認証に成功した場合（ステップＳ１１０３Ｙｅｓ）、フラグ管理部１２２は、当該ユーザの入店フラグが設定されているか否かを確認する（ステップＳ１１０５）。入店フラグが設定されている場合（ステップＳ１１０５Ｙｅｓ）、第３の取得部１２１は、第３の撮影画像が撮影された時刻をユーザの店舗Ｘからの退店時刻として取得する（ステップＳ１１０６）。次に、フラグ管理部１２２は、ユーザの入店フラグを解除してフラグ記憶部を更新する（ステップＳ１１０７）。次に、登録部１１５は、店舗Ｘにおいて不決済の旨を第１の決済履歴として記憶部１２０に登録する（ステップＳ１１０８）。尚、ステップＳ１１０８では、決済履歴にユーザが入退店した店舗情報を含めて記憶部１２０に登録する。
　次に、算出部１１７は、ユーザの店舗Ｘにおける滞在時間（第１の滞在時間）を算出する（ステップＳ１１０９）。尚、入店フラグが設定されていない場合（ステップＳ１１０５Ｎｏ）及び決済履歴を記憶部１２０に登録した場合（ステップＳ１１０８）も、算出部１１７は、第１の滞在時間を算出する（ステップＳ１１０９）。このように、決済済みのユーザの入店フラグが解除されるため、推薦装置８００ａは、店舗Ｘから出る際に当該ユーザについて第３の顔認証を行う必要がない。つまり、入店フラグを設けることによって、第３の顔認証を行う対象の数を減らすことができる。すなわち、店舗Ｘに入店済みであり、かつ、未決済のユーザについてのみ、第３の顔認証の対象となる。したがって、入店フラグを設けることによって、第３の顔認証の認証制度を向上することができる。
　以下、推薦条件及び対応する推薦情報の具体例を説明する。例えば、推薦条件が「滞在時間が１時間以上であり、決済履歴に洋服店における不決済が含まれる」場合、推薦情報を「他の洋服店への案内情報」とする。長時間滞在し、かつ洋服店において決済を行わなかったユーザは、洋服の購入に興味はあるが、滞在した洋服店には好みのものがなかったと考えられる。そこで、当該ユーザに他の洋服店への案内情報を提示することによっって、提示された推薦情報の利用率を高めることができる。
　推薦条件が「滞在時間が１時間以上であり、決済履歴に家電量販店における不決済が含まれる」場合、推薦情報を「当該家電量販店における割引クーポン」とする。推薦情報は「当該家電量販店の次回のセール予告」等であってもよい。長時間滞在し、かつ家電量販店において決済を行わなかったユーザは、当該家電量販店の商品に興味はあるが、購入を悩んでいると考えられる。そこで、当該ユーザに当該家電量販店における割引クーポンを提示することによって、当該家電量販店への再訪問を促すことができる。
　推薦条件が「滞在時間が１５分間未満であり、決済履歴にコンビニエンスストアにおける不決済が含まれる」場合、推薦情報を「コンビニエンスストアにおけるコーヒーの割引クーポン」とする。短時間滞在し、かつコンビニエンスストアにおいて決済を行わなかったユーザは、コンビニエンスストアにおいてタバコ休憩していたと考えられる。そこで、当該ユーザにコーヒーの割引クーポンを提示することによって、提示された推薦情報の利用率を高めることができる。
　本実施形態に係る推薦装置は、ユーザが店舗Ｘにおいて決済を行わない場合についても退店時刻を記録可能であるため、滞在時間の算出を網羅的に行うことができる。さらに、本実施形態に係る推薦装置は、実施形態１～３において説明した効果と同様の効果を奏することができる。
＜実施形態５＞
　実施形態５は、上述した実施形態４の変形例である。実施形態４に係る推薦システム９００では、単一の店舗Ｘにおける履歴情報に基づいて推薦情報を特定していた。一方、実施形態５では、複数の店舗における履歴情報に基づいて推薦情報を特定する。
　図２３は、実施形態５に係る推薦システム１０００構成を示すブロック図である。推薦システム１０００は、図１７に示した推薦システム９００の構成と比べて、入口カメラ３００ａＹ、決済端末４００Ｙ及び出口カメラ３００ｂＹが追加されたものである。推薦システム１０００が備える各構成について、実施形態３又は４と重複する説明は適宜省略する。
　入口カメラ３００ａＹ、決済端末４００Ｙ及び出口カメラ３００ｂＹは、店舗Ｙ（第２の店舗）に設置されている。店舗Ｙは、店舗Ｘと別の店舗である。ユーザは、例えば、店舗Ｘを退店した後に、店舗Ｙに入店する。入口カメラ３００ａＹ、決済端末４００Ｙ及び出口カメラ３００ｂＹの構成は、入口カメラ３００ａ、決済端末４００及び出口カメラ３００ｂの構成と同様であるため、説明を省略する。
　本実施形態において、認証制御部１１６は、入口カメラ３００ａＹ、決済端末４００Ｙ及び出口カメラ３００ｂＹから送信された撮影画像に基づいて、認証装置２００に顔認証を行わせる。ユーザが第２の店舗（店舗Ｙ）に入店すると、入口カメラ３００ａＹは、ユーザの顔を含む画像を撮影し、当該撮影画像を、ネットワーク５００を介して推薦装置８００ａに送信する。認証制御部１１６は、ユーザの第２の店舗への入店時における撮影画像（第１の撮影画像）を入口カメラ３００ａＹから受信することによって取得し、認証装置２００に第１の顔認証を行わせる。第１の顔認証に成功した場合、第１の取得部１１２は、当該ユーザの第２の店舗への入店時刻（第１の時刻）を取得する。尚、このとき、第１の取得部１１２は、第１の撮影画像の撮影時刻を第１の時刻として取得する。
　次に、フラグ管理部１２２は、ユーザの入店フラグをフラグ記憶部に設定する。ユーザは、第２の店舗に入店した後に、第２の店舗において決済を行い、又は決済を行わずに第２の店舗から退店する。決済時には、決済端末４００Ｙは、ユーザの顔を含む画像を撮影し、当該撮影画像をネットワーク５００を介して推薦装置８００ａに送信する。退店時には、出口カメラ３００ｂＹは、ユーザの顔を含む画像を撮影し、当該撮影画像をネットワーク５００を介して推薦装置８００ａに送信する。決済端末４００Ｙ又は出口カメラ３００ｂＹから送信された撮影画像は、認証制御部１１６が受信する。
　認証制御部１１６が、退店時の撮影画像（第３の撮影画像）を未取得であり、かつ、決済時の撮影画像（第２の撮影画像）を未取得である場合、ユーザは、第２の店舗内にまだ滞在していると考えられる。認証制御部１１６が、第３の撮影画像を取得している場合、算出部１１７は、ユーザの第２の店舗における滞在時間（第１の滞在時間）を算出する。
　登録部１１５は、第２の店舗において撮影された画像に基づく第２の顔認証の成功時に、第２の決済履歴をユーザに対応付けて記憶部１２０に登録する。第２の決済履歴は、第２の店舗におけるユーザによる決済の履歴である。算出部１１７は、第２の店舗における第１の時刻と第２の時刻との差分から、第２の滞在時間を算出する。第２の滞在時間は、第２の店舗におけるユーザの滞在時間である。特定部１１８は、第１の組合せと第２の組合せとに基づいて推薦情報を特定する。本実施形態における推薦条件は、第１の組合せ及び第２の組合せである。第１の組合せは、第１の決済履歴及び第１の滞在時間の組合せである。第２の組合せは、第２の決済履歴及び第２の滞在時間の組合せである。尚、第１の決済履歴及び第２の決済履歴は、当該決済が行われた店舗の情報（例えば、店舗のジャンル）等を含んでいてもよい。また、推薦条件は、第１の店舗及び第２の店舗の情報を含んでいてもよい。例えば、推薦条件は、第１の店舗及び第２の店舗のジャンルの異同を含んでいてもよいし、含まなくてもよい。
　以下、推薦条件及び対応する推薦情報の具体例を説明する。例えば、推薦条件が「店舗Ｘ及び店舗Ｙはジャンルの異なる店舗であり、いずれの店舗においても商品を購入している」場合、推薦情報を「他のジャンルの店舗の紹介情報」とする。尚、推薦情報は、「店舗Ｘ又は店舗Ｙと同じジャンルの店舗の紹介情報」であってもよい。異なるジャンルの店舗に訪れているユーザは、ジャンルへのこだわりがなく、様々なジャンルの商品に興味を持っていると考えられる。そこで、当該ユーザに他のジャンルの店舗の紹介情報を提示することによって、様々なジャンルの推薦情報をユーザに提示することができる。
　推薦条件が「店舗Ｘと店舗Ｙのジャンルが同じであり、第１の滞在時間が３０分間以上であり、第２の滞在時間が１０分間未満であり、第１の決済履歴が不決済であり、かつ、第２の決済履歴に所定の商品を含む」場合、推薦情報を「当該商品の類似品情報」とする。第１の店舗に長時間滞在した後に第２の店舗において短時間の滞在で決済を行ったユーザは、最終的に購入した商品と類似する商品で悩んでいたと考えられる。そこで、当該ユーザが今後気になる商品を探す際に、類似商品の情報をいくつか並べて提示することによって、ユーザの好みに沿った推薦情報をユーザに提示することができる。
　本実施形態に係る推薦システムは、ユーザが複数の店舗を訪れた場合の履歴情報に基づいて推薦情報を特定可能であるため、よりユーザの好みに沿った推薦情報を提示することができる。さらに、本実施形態に係る推薦装置は、実施形態１～４において説明した効果と同様の効果を奏することができる。
＜実施形態６＞
　実施形態６は、上述した実施形態５の変形例である。実施形態５に係る推薦システム１０００では、複数の店舗における履歴情報に基づいて推薦情報を特定していた。一方、実施形態６では、露天販売等店舗への出入りが明確でない履歴情報に基づいて推薦情報を特定する。
　本実施形態では、例えば、露店販売を行う店舗が含まれる商店街の出入口等（第１の地点）に入口カメラ３００ａ及び出口カメラ３００ｂを設置し、当該店舗（第２の地点）に決済端末４００を設置する。露店販売を行う店舗は、複数であってもよい。また、本実施形態は、露店販売を行う店舗が含まれる商業ビル等にも好適である。尚、認証装置２００は、複数の登録ユーザの顔特徴情報を当該複数の登録ユーザのユーザＩＤと対応付けて予め記憶している。
　入口カメラ３００ａは、第１の地点から商店街内に入ったユーザを撮影することによって、第１の撮影画像を撮影する。入口カメラ３００ａは、第１の撮影画像を、ネットワーク５００を介して推薦装置８００ａに送信する。第１の取得部１１２は、第１の地点における第１の顔認証に成功した場合、当該ユーザの第１の時刻を取得する。決済端末４００は、第２の地点において決済を行ったユーザの顔を含む画像を第２の撮影画像として撮影し、当該第２の撮影画像を、ネットワーク５００を介して推薦装置８００ａに送信する。登録部１１５は、第２の顔認証の成功時に顔認証に成功したユーザにおける決済に基づく決済履歴を当該ユーザに対応付けて、記憶部１２０に登録する。
　第２の取得部１１４は、第２の地点における第２の顔認証に成功した場合、当該ユーザの第２の時刻を取得する。算出部１１７は、第１の時刻と第２の時刻との差分からユーザの商店街における滞在時間を算出する。特定部１１８は、決済履歴と商店街における滞在時間とに基づいて推薦情報を特定する。出力部１１９は、特定部１１８が特定した推薦情報を表示端末に出力する。尚、出口カメラ３００ｂによる第３の撮影画像を用いて、上述したように不決済の場合における滞在時間の算出や推薦情報の特定及び出力をおこなってもよい。
　本実施形態に係る推薦システムは、ユーザの店舗への出入りが明確でない場合であっても、履歴情報及び滞在時間に基づいて推薦情報を特定可能である。つまり、本実施形態に係る推薦システムは、各店舗ごとの滞在時間が不明な場合であっても、商店街又はショッピングモール等における滞在時間と、各店舗（テナント）における決済情報と、に基づいて、推薦情報を特定することができる。さらに、本実施形態に係る推薦装置は、実施形態１～５において説明した効果と同様の効果を奏することができる。
＜実施形態７＞
　実施形態７は、上述した実施形態１～６の変形例である。実施形態１～６に係る推薦システム７００、９００、１０００では、決済直後又は退店直後に推薦情報の提示を行っていた。一方、実施形態７では、ユーザの指定により推薦情報を提示する。
　図２４は、ユーザ端末の構成を示すブロック図である。ユーザ端末１２００は、ユーザが所持するスマートフォン等の通信端末である。ユーザ端末１２００は、ハードウェア構成として、少なくとも、表示装置と、コンピュータとを備える。ユーザ端末１２００は、記憶部１２２０、通信部１２３０、表示部１２４０及び制御部１２５０を備える。記憶部１２２０は、ユーザ端末１２００の各機能を実現するためのプログラムが格納される記憶装置である。通信部１２３０は、ネットワーク５００との通信インタフェースである。表示部１２４０は、ユーザに対して顔認証結果及び推薦情報等を表示する表示装置である。制御部１２５０は、ユーザ端末１２００が備えるハードウェアの制御を行う。制御部１２５０は、推薦情報要求部１２５２を備える。推薦情報要求部１２５２は、推薦情報要求を、ネットワーク５００を介して推薦装置１００ａに送信する。推薦情報要求は、当該ユーザのユーザＩＤを含む。
　図２５を参照して、推薦情報要求を受信した際における推薦装置１００ａの動作を説明する。図２５は、推薦処理の流れを示すフローチャートである。推薦情報要求を受信すると（ステップＳ１２０１）、特定部１１８は、推薦情報要求に含まれるユーザＩＤに対応する第１の決済履歴及び第１の滞在時間に基づいて推薦情報を特定する（ステップＳ１２０２）。次に、出力部１１９は、特定部１１８が特定した推薦情報をユーザ端末１２００に出力する（ステップＳ１２０３）。
　本実施形態に係る推薦システムは、ユーザが要望するタイミングで推薦情報を提示することができる。さらに、本実施形態に係る推薦装置は、実施形態１～６において説明した効果と同様の効果を奏することができる。
　尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記Ａ１）
　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、
　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、
　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録部と、
　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出部と、
　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定部と、
　前記特定した推薦情報を出力する出力部と、
　を備える推薦装置。
（付記Ａ２）
　前記特定部は、
　前記第１の滞在時間が所定時間より短い場合、前記第１の決済履歴に含まれる購入内容に関する入荷情報を前記推薦情報として特定する、
　付記Ａ１に記載の推薦装置。
（付記Ａ３）
　前記ユーザの前記第１の店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、前記認証装置を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する第３の取得部、
　をさらに備え、
　前記登録部は、前記第３の時刻が取得された場合、前記第１の店舗において不決済の旨を前記第１の決済履歴として前記記憶部に登録する、
　付記Ａ１又はＡ２に記載の推薦装置。
（付記Ａ４）
　前記ユーザの入店フラグを記憶するフラグ記憶部と、
　前記第１の顔認証に成功した場合、前記ユーザの入店フラグを設定して前記フラグ記憶部に登録し、前記第２の顔認証に成功した場合、前記ユーザの入店フラグを解除して前記フラグ記憶部を更新するフラグ管理部と、
　をさらに備え、
　前記第３の取得部は、前記フラグ記憶部に前記ユーザの入店フラグが設定されている場合、当該ユーザが当該第１の店舗において不決済であるとみなし、
　前記フラグ管理部は、前記第３の顔認証に成功し、かつ、前記フラグ記憶部に前記ユーザの入店フラグが設定されている場合、当該入店フラグを解除して前記フラグ記憶部を更新し、
　前記算出部は、前記ユーザの入店フラグが解除された場合に、前記第１の滞在時間を算出する、
　付記Ａ３に記載の推薦装置。
（付記Ａ５）
　前記特定部は、
　前記第１の滞在時間が所定時間より長く、かつ、前記第１の決済履歴が不決済の旨を示す場合、前記第１の店舗以外の店舗を推薦する前記推薦情報を特定する、
　付記Ａ３又はＡ４に記載の推薦装置。
（付記Ａ６）
　前記特定部は、
　前記第１の滞在時間が所定時間より長く、かつ、前記第１の決済履歴が不決済の旨を示す場合、前記第１の店舗における割引情報を前記推薦情報として特定する、
　付記Ａ３又はＡ４に記載の推薦装置。
（付記Ａ７）
　前記登録部は、前記ユーザが前記第１の店舗の退店後に入店した第２の店舗における前記ユーザによる決済に基づく第２の決済履歴を前記ユーザに対応付けてさらに登録し、
　前記算出部は、前記ユーザの前記第２の店舗における第２の滞在時間をさらに算出し、
　前記特定部は、前記第１の決済履歴及び前記第１の滞在時間の第１の組合せと、前記第２の決済履歴及び前記第２の滞在時間の第２の組合せと、に基づいて前記推薦情報を特定する、
　付記Ａ１～Ａ６のいずれか一項に記載の推薦装置。
（付記Ａ８）
　前記特定部は、
　ユーザ端末から前記ユーザのユーザＩＤを含む推薦要求を受信した場合に、当該ユーザＩＤに対応する前記第１の決済履歴及び前記第１の滞在時間に基づいて前記推薦情報を特定し、
　前記出力部は、
　前記特定した推薦情報を前記ユーザ端末に対して出力する、
　付記Ａ１～Ａ７のいずれか一項に記載の推薦装置。
（付記Ｂ１）
　ユーザの店舗における滞在時間を算出する算出手段と、
　前記滞在時間に基づいて前記ユーザに提示する推薦情報を特定する特定手段と、
　前記特定した推薦情報を出力する出力手段と、
　を備える推薦装置。
（付記Ｃ１）
　所定のユーザの顔領域を含む画像を撮影する撮影装置と、
　前記ユーザにおける決済を行う決済端末と、
　前記撮影装置及び前記決済端末と通信可能な推薦装置と、
　前記ユーザの顔特徴情報を記憶し、前記推薦装置と通信可能な認証装置と、を備え、
　前記推薦装置は、
　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、
　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、
　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録部と、
　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出部と、
　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定部と、
　前記特定した推薦情報を出力する出力部と、
　を備える推薦システム。
（付記Ｃ２）
　前記特定部は、
　前記第１の滞在時間が所定時間より短い場合、前記第１の決済履歴に含まれる購入内容に関する入荷情報を前記推薦情報として特定する、
　付記Ｃ１に記載の推薦システム。
（付記Ｄ１）
　コンピュータが、
　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、
　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、
　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、
　前記特定した推薦情報を出力する工程と、
　を備える推薦方法。
（付記Ｅ１）
　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、
　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、
　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、
　前記特定した推薦情報を出力する工程と、
　をコンピュータに実行させる推薦プログラムが格納された非一時的なコンピュータ可読媒体。
（付記Ｆ１）
　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う第１の認証部と、
　前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得部と、
　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う第２の認証部と、
　前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得部と、
　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録部と、
　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出部と、
　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定部と、
　前記特定した推薦情報を出力する出力部と、
　を備える推薦装置。
（付記Ｆ２）
　前記特定部は、
　前記第１の滞在時間が所定時間より短い場合、前記第１の決済履歴に含まれる購入内容に関する入荷情報を前記推薦情報として特定する、
　付記Ｆ１に記載の推薦装置。
（付記Ｇ１）
　コンピュータが、
　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、
　前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、
　前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、
　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、
　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、
　前記特定した推薦情報を出力する工程と、
　を備える推薦方法。
（付記Ｈ１）
　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、
　前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、
　前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、
　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、
　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、
　前記特定した推薦情報を出力する工程と、
　をコンピュータに実行させる推薦プログラムが格納された非一時的なコンピュータ可読媒体。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１００、１００ａ、６００、８００ａ　推薦装置
　７００、９００、１０００　推薦システム
　１１０　制御部
　１１１　第１の認証部
　１１２　第１の取得部
　１１３　第２の認証部
　１１４　第２の取得部
　１１５　登録部
　１１６　認証制御部
　１１７　算出部
　１１８　特定部
　１１９　出力部
　１２０　記憶部
　１２１　第３の取得部
　１２２　フラグ管理部
　１３０　メモリ
　１４０　通信部
　１６０　特定部
　１７０　出力部
　２００　認証装置
　２２０　顔検出部
　２３０　特徴点抽出部
　２４０　登録部
　２５０　認証部
　３００　顔認証端末
　３００ａ、３００ａＹ　入口カメラ
　３００ｂ、３００ｂＹ　出口カメラ
　３５０　表示部
　４００、４００Ｙ　決済端末
　４１０　カメラ
　４２０　記憶部
　４３０　通信部
　４４０　表示部
　４５０　制御部
　４５２　撮影部
　４５３　登録部
　４５４　認証部
　４５５　決済部
　５００　ネットワーク
　１２００　ユーザ端末
　１２２０　記憶部
　１２３０　通信部
　１２４０　表示部
　１２５０　制御部
　１２５２　推薦情報要求部

Claims (17)

  1. 　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得手段と、
    　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得手段と、
    　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録手段と、
    　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出手段と、
    　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定手段と、
    　前記特定した推薦情報を出力する出力手段と、
    　を備える推薦装置。
  2. 　前記特定手段は、
    　前記第１の滞在時間が所定時間より短い場合、前記第１の決済履歴に含まれる購入内容に関する入荷情報を前記推薦情報として特定する、
    　請求項１に記載の推薦装置。
  3. 　前記ユーザの前記第１の店舗からの退店時に当該ユーザが撮影された第３の撮影画像について、前記認証装置を用いた第３の顔認証に成功し、かつ、当該ユーザが当該店舗において不決済の場合、前記退店時の第３の時刻を前記第２の時刻として取得する第３の取得手段、
    　をさらに備え、
    　前記登録手段は、前記第３の時刻が取得された場合、前記第１の店舗において不決済の旨を前記第１の決済履歴として前記記憶手段に登録する、
    　請求項１又は２に記載の推薦装置。
  4. 　前記ユーザの入店フラグを記憶するフラグ記憶手段と、
    　前記第１の顔認証に成功した場合、前記ユーザの入店フラグを設定して前記フラグ記憶手段に登録し、前記第２の顔認証に成功した場合、前記ユーザの入店フラグを解除して前記フラグ記憶手段を更新するフラグ管理手段と、
    　をさらに備え、
    　前記第３の取得手段は、前記フラグ記憶手段に前記ユーザの入店フラグが設定されている場合、当該ユーザが当該第１の店舗において不決済であるとみなし、
    　前記フラグ管理手段は、前記第３の顔認証に成功し、かつ、前記フラグ記憶手段に前記ユーザの入店フラグが設定されている場合、当該入店フラグを解除して前記フラグ記憶手段を更新し、
    　前記算出手段は、前記ユーザの入店フラグが解除された場合に、前記第１の滞在時間を算出する、
    　請求項３に記載の推薦装置。
  5. 　前記特定手段は、
    　前記第１の滞在時間が所定時間より長く、かつ、前記第１の決済履歴が不決済の旨を示す場合、前記第１の店舗以外の店舗を推薦する前記推薦情報を特定する、
    　請求項３又は４に記載の推薦装置。
  6. 　前記特定手段は、
    　前記第１の滞在時間が所定時間より長く、かつ、前記第１の決済履歴が不決済の旨を示す場合、前記第１の店舗における割引情報を前記推薦情報として特定する、
    　請求項３又は４に記載の推薦装置。
  7. 　前記登録手段は、前記ユーザが前記第１の店舗の退店後に入店した第２の店舗における前記ユーザによる決済に基づく第２の決済履歴を前記ユーザに対応付けてさらに登録し、
    　前記算出手段は、前記ユーザの前記第２の店舗における第２の滞在時間をさらに算出し、
    　前記特定手段は、前記第１の決済履歴及び前記第１の滞在時間の第１の組合せと、前記第２の決済履歴及び前記第２の滞在時間の第２の組合せと、に基づいて前記推薦情報を特定する、
    　請求項１～６のいずれか一項に記載の推薦装置。
  8. 　前記特定手段は、
    　ユーザ端末から前記ユーザのユーザＩＤを含む推薦要求を受信した場合に、当該ユーザＩＤに対応する前記第１の決済履歴及び前記第１の滞在時間に基づいて前記推薦情報を特定し、
    　前記出力手段は、
    　前記特定した推薦情報を前記ユーザ端末に対して出力する、
    　請求項１～７のいずれか一項に記載の推薦装置。
  9. 　ユーザの店舗における滞在時間を算出する算出手段と、
    　前記滞在時間に基づいて前記ユーザに提示する推薦情報を特定する特定手段と、
    　前記特定した推薦情報を出力する出力手段と、
    　を備える推薦装置。
  10. 　所定のユーザの顔領域を含む画像を撮影する撮影装置と、
    　前記ユーザにおける決済を行う決済端末と、
    　前記撮影装置及び前記決済端末と通信可能な推薦装置と、
    　前記ユーザの顔特徴情報を記憶し、前記推薦装置と通信可能な認証装置と、を備え、
    　前記推薦装置は、
    　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得手段と、
    　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得手段と、
    　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録手段と、
    　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出手段と、
    　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定手段と、
    　前記特定した推薦情報を出力する出力手段と、
    　を備える推薦システム。
  11. 　前記特定手段は、
    　前記第１の滞在時間が所定時間より短い場合、前記第１の決済履歴に含まれる購入内容に関する入荷情報を前記推薦情報として特定する、
    　請求項１０に記載の推薦システム。
  12. 　コンピュータが、
    　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
    　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
    　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、
    　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、
    　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、
    　前記特定した推薦情報を出力する工程と、
    　を備える推薦方法。
  13. 　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、複数の登録ユーザの顔特徴情報を予め記憶する認証装置を用いた第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
    　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記認証装置を用いた第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
    　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、
    　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、
    　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、
    　前記特定した推薦情報を出力する工程と、
    　をコンピュータに実行させる推薦プログラムが格納された非一時的なコンピュータ可読媒体。
  14. 　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う第１の認証手段と、
    　前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する第１の取得手段と、
    　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う第２の認証手段と、
    　前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する第２の取得手段と、
    　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する登録手段と、
    　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する算出手段と、
    　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する特定手段と、
    　前記特定した推薦情報を出力する出力手段と、
    　を備える推薦装置。
  15. 　前記特定手段は、
    　前記第１の滞在時間が所定時間より短い場合、前記第１の決済履歴に含まれる購入内容に関する入荷情報を前記推薦情報として特定する、
    　請求項１４に記載の推薦装置。
  16. 　コンピュータが、
    　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、
    　前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
    　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、
    　前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
    　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、
    　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、
    　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、
    　前記特定した推薦情報を出力する工程と、
    　を備える推薦方法。
  17. 　所定のユーザの第１の店舗への入店時に当該ユーザが撮影された第１の撮影画像について、予め記憶されている複数の登録ユーザの顔特徴情報を用いて第１の顔認証を行う工程と、
    　前記第１の顔認証に成功した場合、前記入店時の第１の時刻を取得する工程と、
    　前記第１の店舗における前記ユーザによる決済時に当該ユーザが撮影された第２の撮影画像について、前記複数の登録ユーザの顔特徴情報を用いて第２の顔認証を行う工程と、
    　前記第２の顔認証に成功した場合、前記決済時の第２の時刻を取得する工程と、
    　前記第２の顔認証の成功時に前記決済に基づく第１の決済履歴を前記ユーザに対応付けて記憶手段に登録する工程と、
    　前記第１の時刻と前記第２の時刻との差分から前記ユーザの前記第１の店舗における第１の滞在時間を算出する工程と、
    　前記第１の決済履歴と前記第１の滞在時間とに基づいて推薦情報を特定する工程と、
    　前記特定した推薦情報を出力する工程と、
    　をコンピュータに実行させる推薦プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/014462 2020-03-30 2020-03-30 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2021199113A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/014462 WO2021199113A1 (ja) 2020-03-30 2020-03-30 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2022512510A JP7351410B2 (ja) 2020-03-30 2020-03-30 推薦装置、システム、方法及びプログラム
US17/911,466 US20230111784A1 (en) 2020-03-30 2020-03-30 Recommendation device, system, method, and non-transitory computer-readable mediumstoring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014462 WO2021199113A1 (ja) 2020-03-30 2020-03-30 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021199113A1 true WO2021199113A1 (ja) 2021-10-07

Family

ID=77927450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014462 WO2021199113A1 (ja) 2020-03-30 2020-03-30 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20230111784A1 (ja)
JP (1) JP7351410B2 (ja)
WO (1) WO2021199113A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110011A (ja) * 2012-12-04 2014-06-12 Yahoo Japan Corp 会員登録システム、会員登録装置および会員登録方法
JP2015090579A (ja) * 2013-11-06 2015-05-11 株式会社日立ソリューションズ 行動分析システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110011A (ja) * 2012-12-04 2014-06-12 Yahoo Japan Corp 会員登録システム、会員登録装置および会員登録方法
JP2015090579A (ja) * 2013-11-06 2015-05-11 株式会社日立ソリューションズ 行動分析システム

Also Published As

Publication number Publication date
JPWO2021199113A1 (ja) 2021-10-07
JP7351410B2 (ja) 2023-09-27
US20230111784A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
JP7298594B2 (ja) 店舗管理装置および店舗管理方法、プログラム
JP7140223B2 (ja) 決済処理装置、方法およびプログラム
JP2004348618A (ja) 顧客情報収集管理方法及びそのシステム
US20160379145A1 (en) Surveillance Data Based Resource Allocation Analysis
JP6885385B2 (ja) 販売促進装置、販売促進システム、店舗システム、システム、販売促進方法及びプログラム
US20240087313A1 (en) Information processing device, system, method, and non-transitory computer-readable medium storing program
JP7078059B2 (ja) 処理装置、処理方法及びプログラム
JP2002032558A (ja) 顧客情報管理システムおよびその方法ならびに顧客情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体
US12120110B2 (en) Data recording device and method
WO2021199182A1 (ja) 広告評価装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021199113A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021199114A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2024024012A1 (ja) 特典情報発行装置、システム及び方法、並びに、コンピュータ可読媒体
WO2021176535A1 (ja) 提示制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021181557A1 (ja) 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021186638A1 (ja) 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021199179A1 (ja) 座席案内装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022009413A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JPWO2020066443A1 (ja) 顧客情報登録装置
US20230094984A1 (en) Information processing device, system, method, and non-transitory computer-readablemedium storing program
WO2021186708A1 (ja) 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021192313A1 (ja) 座席案内装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2024201692A1 (ja) 購買率算出装置、購買率算出方法、及びコンピュータ可読媒体
JP2002032554A (ja) 顧客情報管理システムおよびその方法ならびに顧客情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928230

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022512510

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20928230

Country of ref document: EP

Kind code of ref document: A1