WO2020066444A1 - 顧客情報登録装置 - Google Patents

顧客情報登録装置 Download PDF

Info

Publication number
WO2020066444A1
WO2020066444A1 PCT/JP2019/033746 JP2019033746W WO2020066444A1 WO 2020066444 A1 WO2020066444 A1 WO 2020066444A1 JP 2019033746 W JP2019033746 W JP 2019033746W WO 2020066444 A1 WO2020066444 A1 WO 2020066444A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
customer
storage unit
information
behavior
Prior art date
Application number
PCT/JP2019/033746
Other languages
English (en)
French (fr)
Inventor
真 五十嵐
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020548234A priority Critical patent/JP7092205B2/ja
Priority to US17/278,747 priority patent/US11830002B2/en
Publication of WO2020066444A1 publication Critical patent/WO2020066444A1/ja
Priority to US18/229,956 priority patent/US20240005326A1/en
Priority to US18/229,955 priority patent/US20230376956A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Definitions

  • the present invention relates to a customer information registration device, a customer information registration method, a recording medium, a camera, and a customer information registration system.
  • information indicating a feature amount calculated based on a face image of a customer may be registered and managed.
  • Patent Literature 1 discloses a customer information management system that registers and manages customer attributes in a customer database (DB). According to Patent Literature 1, customer attributes are registered in the customer database when the customer purchases a product at a cash register or when the customer leaves without purchasing the product.
  • DB customer database
  • an object of the present invention is to provide a customer information registration device, a customer information registration method, a recording medium, a camera, and a customer information that solve the problem that it is difficult to suppress an increase in data capacity and an increase in ineffective data.
  • a registration system To provide a registration system.
  • a customer information registration device includes: A matching unit that matches the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit, A storage unit that stores, in the storage unit, face data that is not stored in the storage unit when the verification by the matching unit fails; A behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store; A condition determining unit that determines whether to delete face data stored in the storage unit based on the behavior information acquired by the behavior information acquiring unit; A deletion unit that deletes face data stored in the storage unit based on a result of the determination by the condition determination unit; It has the following configuration.
  • a customer information registration method includes: A customer information registration device having a storage unit, Checking the face data of the customer based on the image data obtained by the camera of the store with the face data stored in the storage unit, If the collation fails, store face data not stored in the storage unit in the storage unit, Acquiring behavior information according to the behavior of the customer in the store, Based on the acquired behavior information, determine whether to delete the face data stored in the storage unit, The face data stored in the storage unit is deleted based on the result of the determination.
  • a recording medium includes: In the customer information registration device having a storage unit, A matching unit that matches customer face data based on image data obtained by a camera of the store with face data stored in the storage unit, A storage unit that stores, in the storage unit, face data that is not stored in the storage unit when the verification by the matching unit fails; A behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store; A condition determining unit that determines whether to delete face data stored in the storage unit based on the behavior information acquired by the behavior information acquiring unit; A deletion unit that deletes face data stored in the storage unit based on a result of the determination by the condition determination unit; Is a computer-readable recording medium on which a program for realizing the above is recorded.
  • a camera includes: A matching unit that matches customer face data based on the acquired image data with face data stored in the storage unit; A storage unit that stores, in the storage unit, face data that is not stored in the storage unit when the verification by the verification unit fails; A behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store; A condition determining unit that determines whether to delete face data stored in the storage unit based on the behavior information acquired by the behavior information acquiring unit; A deletion unit that deletes face data stored in the storage unit based on a result of the determination by the condition determination unit; It has the following configuration.
  • a customer information registration system includes: A customer information registration system including a customer information registration device and a camera, The customer information registration device, A matching unit that matches the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit, A storage unit that stores, in the storage unit, face data that is not stored in the storage unit when the verification by the verification unit fails; A behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store; A condition determining unit that determines whether to delete face data stored in the storage unit based on the behavior information acquired by the behavior information acquiring unit; A deletion unit that deletes the face data stored in the storage unit based on the result of the determination by the condition determination unit.
  • This invention solves the problem that it is difficult to suppress the enlargement of data capacity and the increase of data with low usefulness by the above structure, a customer information registration apparatus, a customer information registration method, and recording.
  • a medium, a camera, and a customer information registration system can be provided.
  • FIG. 2 is a block diagram illustrating an example of a configuration of a customer information registration device illustrated in FIG. 1.
  • FIG. 3 is a diagram illustrating an example of accompanying information illustrated in FIG. 2.
  • FIG. 3 is a diagram illustrating an example of customer information illustrated in FIG. 2.
  • FIG. 3 is a diagram illustrating an example of determination condition information illustrated in FIG. 2.
  • FIG. 6 is a diagram illustrating an example of a registration condition.
  • FIG. 4 is a diagram illustrating an example of an output by an output unit. It is a flowchart which shows an example of operation
  • It is a block diagram showing an example of composition of a customer information registration device in a 2nd embodiment of the present invention.
  • It is a block diagram showing an example of composition of a customer information registration system in a 2nd embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of the overall configuration of the customer information registration system 1.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the customer information registration device 2.
  • FIG. 3 is a diagram illustrating an example of the accompanying information 242.
  • FIG. 4 is a diagram illustrating an example of the customer information 243.
  • FIG. 5 is a diagram illustrating an example of the determination condition information 244.
  • FIG. 6 is a diagram illustrating an example of a registration condition.
  • FIG. 7 is a diagram illustrating an example of an output by the output unit 257.
  • FIG. 8 is a flowchart showing an example of the operation of the customer information registration device 2.
  • a customer information registration system 1 having a customer information registration device 2 will be described.
  • the customer information registration device 2 stores information including a feature amount calculated from a face image of the customer in the storage unit 24 as customer information 243 for the purpose of utilizing the information for customer analysis such as repeater detection.
  • the customer information registration device 2 in the present embodiment collates the customer's face data with the face data stored in the storage unit 24. Further, when the verification fails (that is, when the acquired face data is not stored in the storage unit 24), the customer information registration device 2 stores information including the face data in the storage unit 24 as the customer information 243.
  • the customer information registration device 2 determines whether or not the behavior of the customer in the store corresponding to the stored face data satisfies a predetermined condition. Then, when the behavior of the customer does not satisfy the predetermined condition, the customer information registration device 2 deletes information such as face data stored in the storage unit 24.
  • the face data refers to a feature amount or a face image calculated from the face image. In the following description, a case in which a feature amount is adopted as face data will be described.
  • FIG. 1 shows an example of the overall configuration of the customer information registration system 1.
  • the customer information registration system 1 includes, for example, a customer information registration device 2, a camera 3, and a cashier terminal 4.
  • the customer information registration device 2 and the camera 3 are connected so as to be able to communicate with each other.
  • the customer information registration device 2 and the cashier terminal 4 are connected so as to be able to communicate with each other.
  • the configuration of the customer information registration system 1 is not limited to the case shown in FIG.
  • the number of the cameras 3 and the cashier terminals 4 may be one, or two or more.
  • the customer information registration system 1 may include various sensors such as a weight sensor installed at a product shelf or an entrance of a store, an RFID (radio frequency identifier) reader, or the like. Further, for example, the customer information registration system 1 may not have the cashier terminal 4.
  • the customer information registration device 2 is an information processing device that stores a feature amount.
  • FIG. 2 shows an example of the configuration of the customer information registration device 2.
  • the customer information registration device 2 includes, as main components, an operation input unit 21, a screen display unit 22, a communication I / F unit 23, a storage unit 24, an arithmetic processing unit 25, have.
  • the operation input unit 21 includes an operation input device such as a keyboard and a mouse.
  • the operation input unit 21 detects an operation of the operator and outputs the operation to the arithmetic processing unit 25.
  • the screen display unit 22 includes a screen display device such as an LCD (Liquid Crystal Display).
  • the screen display unit 22 displays various information on the screen in accordance with an instruction from the arithmetic processing unit 25.
  • the screen display unit 22 displays the image data information 241, the accompanying information 242, the customer information 243, the information based on the result of the determination by the condition determination unit 255, and the like in response to an instruction from the arithmetic processing unit 25.
  • the communication I / F unit 23 includes, for example, a data communication circuit.
  • the communication I / F unit 23 performs data communication with various devices connected via a communication line.
  • the customer information registration device 2 communicates with the camera 3, the cashier terminal 4, and other external devices such as sensors via the communication I / F unit 23.
  • the storage unit 24 is a storage device such as a hard disk or a memory.
  • the storage unit 24 stores processing information and programs 245 necessary for various processes in the arithmetic processing unit 25.
  • the program 245 implements various processing units by being read and executed by the arithmetic processing unit 25.
  • the program 245 is read in advance from an external device or a recording medium via a data input / output function such as the communication I / F unit 23 and stored in the storage unit 24.
  • Main information stored in the storage unit 24 includes image data information 241, accompanying information 242, customer information 243, and determination condition information 244.
  • the image data information 241 is image data acquired from the camera 3 via the communication I / F unit 23.
  • the image data information 241 is used, for example, by the feature amount calculation unit 252 and the analysis unit 253.
  • the associated information 242 indicates, for example, statistical data that does not specify an individual customer at a location photographed by the camera 3 such as in a store.
  • the accompanying information 242 is generated by the analysis unit 253 based on, for example, the image data information 241.
  • FIG. 3 shows an example of information that can be included as the accompanying information 242.
  • the accompanying information 242 may include various types of statistical information such as visitor analysis information, number of passers, conversion information, and the like.
  • the visitor analysis information includes information on the number of customers measured by the number of visits, information on the number of customers measured by the number of visits to purchase, and information on the number of customers measured by age and gender. This is information indicating the number of customers for each determined attribute.
  • the number-of-passed-members information is information indicating, for each predetermined location, the number of customers who have passed a predetermined location within a predetermined time.
  • the conversion information is information indicating which area in the store the customer stays for a long time, and can be used when grasping the customer's staying state.
  • the accompanying information 242 may include information other than those exemplified above.
  • the accompanying information 242 may include statistical information that does not specify an individual customer other than the above examples, such as heat map information and information indicating the number of customers for each weather.
  • the ⁇ customer information 243 indicates information on a customer who has visited a shooting area of the camera 3 such as a store or a monitoring target area.
  • the customer information 243 includes at least face feature amount information indicating a feature amount calculated from the face image of the customer.
  • the customer information 243 includes attribute information indicating the age and gender of the customer determined from the face image and the like, past visit information indicating the number of visits, the last visit date, and the like; Behavior-related information (behavior information), which is information related to the behavior of the customer in the monitoring target area, can be included.
  • FIG. 4 shows an example of the customer information 243.
  • the ID the facial feature amount information
  • the attribute information the number of visits, the last visit date, and the action-related information are associated.
  • the ID “Av + E3sCH”
  • the face feature amount information “xxxxxxxxxx”
  • the attribute information “aaaaa”
  • the last visit date “2018/07/20”
  • the action-related information “XXXXXXX”.
  • the ID is identification information for identifying a customer.
  • the ID is automatically given by the matching unit 254 or the like when new face feature amount information is stored in the storage unit 24, for example.
  • the face feature amount information is information indicating the feature amount of the face image.
  • the face feature information is calculated by a feature calculator 252 described later based on the face image (image data information 241).
  • the attribute information is information indicating attributes of the customer such as age and gender.
  • the attribute information is determined by the analysis unit 253 based on, for example, the image data information 241 or the like.
  • the number of visits to the store indicates the number of visits of the customer to the last time (or the present), and the last visit date indicates the date at which the customer visited the last time.
  • the visit information such as the number of visits and the last visit date is updated by, for example, the collation unit 254 or the like.
  • the behavior-related information is information relating to the behavior of the customer in an area photographed by the camera 3 such as in a store or a monitoring target area.
  • the behavior-related information includes, for example, the number of cameras that photographed the corresponding customer in one visit, the customer's stay time for each area when the entire store or the store is divided into a plurality of areas in advance, Information indicating presence / absence of hand reaching detection, presence / absence of product purchase, customer's flow line, customer's line of sight, and the like can be included.
  • FIG. 4 shows an example of the customer information 243.
  • the information included in the customer information 243 is not limited to the case illustrated in FIG.
  • the customer information 243 may be composed of a part of the information illustrated in FIG. 4 including the facial feature information, such as composed of only the facial feature information.
  • the customer information 243 may include information other than the example illustrated in FIG. 4, such as information indicating the weather and time when the customer arrived at the store.
  • the ⁇ determination condition information 244 is information indicating a condition used when the condition determination unit 255 determines whether to delete information indicating a feature amount (face feature amount information) stored in the storage unit 24.
  • the judgment condition information 244 includes a condition according to the behavior of the customer in the store.
  • the determination condition information 244 includes “whether the feature amount of the same person has been calculated based on image data acquired from a predetermined number of cameras (which may be an arbitrary number) or more”, Whether the same person's stay time in the store (which may be an arbitrary time) is longer than a predetermined time, "whether a reach to a product is detected", or "POS (Point of Sale) acquired from the cashier terminal 4" ) Is the purchase of a product detected by associating it with information, etc.?, "Is the time of stay in a predetermined area determined by tracking a flow line exceeding a predetermined threshold value?" Condition has been satisfied? "
  • the determination condition information 244 can include a condition of “whether the number of registered persons per day is not exceeded”. Thereby, even if the capacity of the storage unit 24 is limited, more useful information can be left in the storage unit 24.
  • the number of registered persons may be a predetermined value, or may be a value that changes according to, for example, the storage capacity of the storage unit 24.
  • the determination condition information 244 includes various conditions according to the behavior of the customer in the store.
  • the determination condition information 244 includes a condition for determining whether or not it is possible to determine that the customer has an intention to purchase a product based on the behavior of the customer in the store.
  • the determination condition information 244 includes a condition for determining whether or not it can be determined that the customer has considered the purchase of the product based on the behavior of the customer in the store.
  • the determination condition information 244 may include conditions other than those exemplified above, such as, for example, "whether a weight change in a product shelf located near the customer has been detected”.
  • the condition determination unit 255 described below determines the weight change based on the weight change when the customer picks up the product from the shelf provided with the weight sensor. Then, it is determined whether or not a feature amount not included in the customer information 243 is stored in the storage unit 24.
  • the determination condition information 244 may be information in which the various conditions described above are associated with information indicating the weight.
  • FIG. 4 shows an example of the determination condition information 244 indicating the association between the condition and the weight.
  • the determination condition information 244 can include a weight threshold value that is a value to be compared with the total value of the weights. Note that the value of the weight associated with various conditions may be set arbitrarily.
  • the arithmetic processing unit 25 has a microprocessor such as an MPU and peripheral circuits, and reads and executes the program 245 from the storage unit 24, thereby realizing various processing units in cooperation with the hardware and the program 245. I do.
  • main processing units realized by the arithmetic processing unit 25 for example, an image data acquisition unit 251, a feature amount calculation unit 252, an analysis unit 253 (behavior information acquisition unit), and a collation unit 254 (collation unit, storage unit) ), A condition determination unit 255, a deletion unit 256, and an output unit 257.
  • the image data acquisition unit 251 acquires image data from the camera 3 via the communication I / F unit 23. Then, the image data acquisition unit 251 stores the acquired image data in the storage unit 24 as image data information 241.
  • the image data acquisition unit 251 acquires image data from each of the plurality of cameras 3.
  • the image data acquisition unit 251 can associate the identification information of the camera 3 with the image data and store the associated information in the storage unit 24.
  • the image data acquisition unit 251 can store the image data in the storage unit 24 so that it is possible to determine which camera 3 has acquired the image data.
  • the feature value calculation unit 252 calculates the feature value of the face image. For example, the feature amount calculation unit 252 extracts a face image (face region) that is a region indicating the face of the customer from the image data information 241. Then, the feature amount calculation unit 252 calculates the feature amount of the extracted face image.
  • a face image face region
  • the feature amount calculation unit 252 calculates the feature amount of the extracted face image.
  • the processing performed when the characteristic amount calculation unit 252 calculates the characteristic amount of the face image is not particularly limited.
  • the feature amount calculation unit 252 calculates the feature amount of the face image using a known method, such as calculating the feature amount based on the positions of the feature points of the face such as the eyes, the nose, and the mouth detected from the face image. You can do it.
  • the feature amount calculation unit 252 may calculate the feature amount using other known methods, such as using luminance information or using a value corresponding to the relevance between local regions.
  • the image data acquisition unit 251 associates, for example, the identification information of the camera 3 with the image data, and stores the associated information. It is stored in the storage unit 24. Therefore, the feature amount calculation unit 252 can associate the identification information of the corresponding camera 3 with the calculated feature amount of the face image, for example. In other words, the feature amount calculation unit 252 can calculate the feature amount so as to be able to determine which camera 3 has calculated the image data based on the image data.
  • the analysis unit 253 analyzes the image data indicated by the image data information 241 and the face image extracted from the image data to acquire attribute information indicating the gender and age of the customer, and to obtain attribute information indicating the customer's store or area. It acquires behavior-related information (behavior information) such as the length of stay, presence / absence of reaching for a product, detection of a flow line, and detection of a line of sight. In addition, the analysis unit 253 analyzes the image data indicated by the image data information 241 and the face image extracted from the image data, thereby obtaining statistical information that does not identify the customer, such as visitor analysis information, passing number information, and conversion information. Obtain important information. Then, the analysis unit 253 stores the statistical information as the accompanying information 242 in the storage unit 24.
  • behavior-related information such as the length of stay, presence / absence of reaching for a product, detection of a flow line, and detection of a line of sight.
  • the analysis unit 253 analyzes the image data indicated by the image data information 241 and the
  • the analysis unit 253 acquires attribute information and behavior-related information, which are information for each customer, and acquires statistical information that does not specify an individual customer. Further, the analysis unit 253 associates, for example, with the POS (Point of Sale) information acquired from the cashier terminal 4 using the feature amount of the face image to determine whether the customer purchased the product. Acquires action-related information indicating whether or not a product has been purchased. Note that the processing of the analysis unit 253 may be realized using a known method such as estimation of gender or age based on the feature amount. Therefore, a detailed description of the processing of the analysis unit 253 is omitted.
  • POS Point of Sale
  • the matching unit 254 checks whether the feature amount of the face image calculated by the feature amount calculation unit 252 is already stored in the storage unit 24. For example, the matching unit 254 compares the feature amount calculated by the feature amount calculating unit 252 with the face feature amount information included in the customer information 243 stored in the storage unit 24, so that the feature amount calculating unit 252 It is confirmed whether or not the calculated feature amount of the face image is already stored in the storage unit 24.
  • the matching unit 254 stores the feature amount of the face image calculated by the feature amount calculation unit 252 in the storage unit 24. Is determined. In this case, the matching unit 254 can update the customer information 243. For example, the collation unit 254 can increase the number of visits to the store corresponding to the collated feature amount in the customer information 243 by one, or update the last visit date. Note that an updating unit may be provided, and the matching unit 254 may instruct the updating unit to update. In addition, the matching unit 254 can instruct the output unit 257 to output information indicating that the customer having the feature amount stored in the storage unit 24 has visited the store to the screen display unit 22 or the like.
  • the matching unit 254 stores the feature amount in the storage unit 24. That is, the matching unit 254 stores the face feature amount information indicating the feature amount to be stored in the storage unit 24 in association with the attribute information and the action-related information analyzed by the analysis unit 253. At this time, the number of visits to the store is 1, and the last visit date is the date when the customer visited the store. Note that a storage unit may be provided, and the collation unit 254 may instruct the storage unit to perform a storage process.
  • the condition determination unit 255 determines whether to delete the feature amount stored in the storage unit 24. For example, the condition determination unit 255 determines whether or not to delete the feature amount stored in the storage unit 24 based on whether or not the customer's behavior in the store can be determined to have an intention to purchase a product. More specifically, for example, the condition determination unit 255 checks the result of the feature value calculation by the feature value calculation unit 252 and the result of the analysis by the analysis unit 253, and also checks the determination condition information 244. Then, the condition determining unit 255 determines the behavior of the customer in the store determined based on the result of the characteristic amount calculation by the characteristic amount calculating unit 252 and the behavior-related information (behavior information) acquired as a result of the analysis by the analyzing unit 253. Based on the condition indicated by the determination condition information 244, it is determined whether to delete the feature amount stored in the storage unit 24.
  • the condition determination unit 255 determines whether to delete the feature amount stored in the storage unit 24 based on whether or not the behavior of the customer in the store satisfies the condition indicated by the determination condition information 244.
  • FIG. 5 shows an example of customer behavior in a store.
  • FIG. 5 illustrates an example in which the same customer is shot with three cameras 3 (camera 3-1, camera 3-2, camera 3-3) and then leaves the store.
  • the determination condition information 244 includes a condition that “has the feature amount of the same person been calculated based on image data acquired from five or more cameras”.
  • the condition determination unit 255 calculates the same feature amount based on the image data acquired from the three cameras. Judge that the action is not satisfied.
  • condition determination unit 255 determines to delete the feature amount stored in the storage unit 24. Then, the condition determination unit 255 notifies the deletion unit 256 that it has determined that the feature amount stored in the storage unit 24 is to be deleted.
  • the condition determination unit 255 determines whether “the characteristic amount of the same person has been calculated based on image data acquired from a predetermined number or more of cameras” or “the same person identified based on the characteristic amount”. “Whether the customer stays in the store for a predetermined time or more”, “Whether or not reaching the product was detected”, “Whether the purchase of the product was detected by associating it with the POS (Point-of-sale) information acquired from the cashier terminal 4" If none of the conditions indicated by the determination condition information 244 satisfies the customer's behavior in the store, it is determined that the target feature amount is deleted from the storage unit 24.
  • condition determination unit 255 notifies the deletion unit 256 that it has determined that the feature amount stored in the storage unit 24 is to be deleted. On the other hand, when the customer's behavior in the store satisfies any of the conditions indicated by the determination condition information 244, the condition determination unit 255 does not perform the notification.
  • the condition determination unit 255 is configured to determine whether to delete the target feature amount from the storage unit 24 based on whether or not the condition indicated by the determination condition information 244 is satisfied by a predetermined number or more. No problem. Further, the condition determination unit 255 may be configured to determine to delete the target feature amount from the storage unit 24 when the condition indicated by the determination condition information 244 is satisfied.
  • the determination condition information 244 includes, for example, “whether or not the feature amount of the same person was calculated based on image data acquired from a predetermined number or more of cameras”. Condition can be included.
  • the condition determination unit 255 determines that the feature amount is to be deleted from the storage unit 24, and determines that the feature amount is determined to be deleted from the storage unit 24.
  • the deletion unit 256 is notified.
  • the condition determination unit 255 does not perform the notification.
  • condition determination unit 255 determines whether to delete the feature stored in the storage unit 24 based on the behavior of the customer in the store.
  • the condition determining unit 255 determines the customer's behavior in the store. By comparing the values calculated for each customer among the customers, the values can be ranked in the order of higher (or lower) values. If the number of registered persons (temporary registered persons) is larger than the number of registered persons, the condition determination unit 255 deletes, for example, the characteristic amount of the customer who is not in the top 10% of all persons in descending order of the value. it can.
  • condition determination unit 255 can complement the number of registered persons based on the order until the number of registered persons reaches the number of registered persons. As described above, the condition determination unit 255 may be configured to perform the determination according to the number of registered persons.
  • the condition determination unit 255 may be configured to determine the condition at an arbitrary timing.
  • the condition determination unit 255 may be configured to provide a camera at the exit of a cashier terminal or a store so that the determination is performed at the timing when the payment process of the product by the cashier terminal is completed or when the customer leaves the store.
  • the conditions may be determined at predetermined intervals (for example, once a day).
  • the deletion unit 256 deletes the feature amount determined to be deleted from the storage unit 24 by the condition determination unit 255. At this time, the deletion unit 256 also deletes the information (ID, attribute information, and the like) associated with the feature amount to be deleted as the customer information 243 together with the feature amount (face feature amount information). For example, the deletion unit 256 receives a notification from the condition determination unit 255 that determines that the feature amount is to be deleted. Then, the deletion unit 256 deletes the corresponding information from the storage unit 24. That is, the deletion unit 256 deletes the face feature amount information and various information associated with the face feature amount information. As described above, since the deletion unit 256 performs the deletion according to the result of the determination by the condition determination unit 255, the feature amount determined to be deleted from the storage unit 24 by the condition determination unit 255 does not remain in the storage unit 24.
  • the deletion unit 256 performs the deletion according to the result of the determination by the condition determination unit 255, the feature amount determined to be deleted from the storage unit 24 by the condition determination unit
  • the deletion unit 256 may be configured to perform the deletion processing at an arbitrary timing.
  • the deletion unit 256 may be configured to delete the feature amount from the storage unit 24 without waiting in response to the result of the determination by the condition determination unit 255, or may be performed at a predetermined timing such as once a day in a batch. May be configured to delete the feature amount from the storage unit 24.
  • the deletion unit 256 can be configured to delete, from the accompanying information 242, information attributable to the person to be deleted when deleting the feature amount. For example, the deletion unit 256 can subtract 1 from the number of customers corresponding to the feature amount to be deleted in the visitor analysis information included in the accompanying information 242. In addition, the deletion unit 256 can subtract the counted number of persons to be deleted from the number of passing persons information. Further, the deletion unit 256 can update the conversion information so that the person to be deleted does not exist from the beginning. Note that the deletion unit 256 may instruct the analysis unit 253 to perform the analysis on the image data information 241 again assuming that the person to be deleted has not been found from the beginning, or the deletion unit 256 may directly perform the analysis.
  • the information 242 may be configured to be updated.
  • the output unit 257 instructs the screen display unit 22 and other external devices to perform a predetermined output.
  • the output unit 257 instructs the screen display unit 22 and the like to output information indicating that a customer having the feature amount stored in the storage unit 24 has visited the store. .
  • the output unit 257 outputs information corresponding to the result of the deletion by the deletion unit 256 (for example, statistical information such as the number of registrations newly registered without being deleted in one day, and information on a registrant who has not been deleted). ) Can be instructed to the screen display unit 22 or the like.
  • the output instruction of the information according to the result of the deletion by the output unit 257 may be performed at a predetermined interval, such as outputting once a day at a predetermined time.
  • the output unit 257 may, for example, instruct the screen display unit 22 to output the customer information 243 and the like together with the image information 221 and the weather information 223 acquired by the camera 3 as shown in FIG. I can do it.
  • FIG. 7 illustrates an example of a display on the screen display unit 22 that is output as a result of an instruction from the output unit 257. Referring to FIG. 7, in response to an instruction from the output unit 257, on the screen display unit 22, for example, image information 221, visitor customer information 222, weather information 223, visit count statistical information 224, attribute statistical information 225, Conversion information 226, number-of-passed-person information 227, and the like can be displayed.
  • the image information 221 indicates image data (image data information 241) acquired from the camera 3.
  • the customer visitor information 222 indicates information on customers who are currently visiting the store.
  • the visiting customer information 222 can include at least a part of the customer information 243.
  • the weather information 223 indicates the weather. In the case illustrated in FIG. 7, the weather information 223 indicates the weather for three days before and after the current day.
  • the visit count statistics information 224 indicates information indicating how many times customers in the store have visited the store in the past.
  • the attribute statistical information 225 is information indicating the number of customers for each age and gender.
  • the conversion information 226 is information indicating which area in the store the customer will stay for a long time.
  • the passing number information 227 is information indicating the number of people that the customer has passed within a predetermined time.
  • the visit number statistical information 224, attribute statistical information 225, conversion information 226, and passing number information 227 correspond to the accompanying information 242 acquired as a result of the analysis by the analysis unit 253, for example.
  • the output unit 257 can instruct the screen display unit 22 to output the accompanying information 242 and the customer information 243 together with the image data acquired by the image data acquiring unit 251.
  • the output unit 257 may instruct the screen display unit 22 to output information other than those exemplified above.
  • the above is an example of the configuration of the customer information registration device 2.
  • the camera 3 acquires the image data.
  • the camera 3 is, for example, previously installed at a predetermined position in a store, and monitors the inside of the store.
  • the camera 3 may be an existing surveillance camera or the like.
  • the cashier terminal 4 manages sales information according to exchanges with customers, such as purchase of goods.
  • the cashier terminal 4 is equipped with a POS system.
  • the cashier terminal 4 can transmit information indicating that the customer has purchased the product to the customer information registration device 2.
  • FIG. 8 is a flowchart showing an example of the operation of the customer information registration device 2.
  • the image data acquisition unit 251 acquires image data from the camera 3 via the communication I / F unit 23 (Step S101). Then, the image data acquisition unit 251 stores the acquired image data in the storage unit 24 as image data information 241.
  • the feature value calculation unit 252 calculates the feature value of the face image (step S102). For example, the feature amount calculation unit 252 extracts a face image (face region) that is a region indicating the face of the customer from the image data information 241. Then, the feature amount calculation unit 252 calculates the feature amount of the extracted face image.
  • the collation unit 254 checks whether the feature amount of the face image calculated by the feature amount calculation unit 252 is already stored in the storage unit 24 (Step S103). When the calculated feature amount is stored in the storage unit 24 (step S103, YES), the matching unit 254 updates the customer information 243 (step S107). In addition, the matching unit 254 can instruct the output unit 257 to output information indicating that the customer having the feature amount stored in the storage unit 24 has visited the store to the screen display unit 22 or the like. On the other hand, when the calculated feature amount is not stored in the storage unit 24 (step S103, NO), the matching unit 254 stores the feature amount calculated by the feature amount calculation unit 252 in the storage unit 24 (step S104).
  • the condition determination unit 255 determines whether to delete the feature stored in the storage unit 24 based on the behavior of the customer in the store (Step S105).
  • a predetermined condition for example, the condition indicated by the determination condition information 244
  • the condition determination unit 255 determines to delete the feature amount from the storage unit 24.
  • the condition determination unit 255 notifies the deletion unit 256 that it has determined that the feature amount is to be deleted from the storage unit 24.
  • the deletion unit 256 deletes the feature amount from the storage unit 24 (Step S106). That is, the deletion unit 256 deletes the target face feature amount information and various types of information associated with the face feature amount information included in the customer information 243.
  • the condition determination unit 255 does not perform the notification.
  • the customer information registration device 2 includes the condition determination unit 255 and the deletion unit 256.
  • the deletion unit 256 can delete, from the feature amounts stored in the storage unit 24, a feature amount determined by the condition determination unit 255 to not satisfy a predetermined condition.
  • the storage unit 24 stores only the feature amount of the face image with high usefulness in the storage unit 24. This makes it possible to suppress, for example, accumulation of information having a low probability of being useful, and to suppress an increase in data capacity. Further, it is possible to efficiently perform repeater detection and the like.
  • condition determination unit 255 can determine whether to delete from the storage unit 24 based on a condition included in the determination condition information 244 including various conditions according to the behavior of the customer in the store. Have been. With this configuration, for example, it is possible to suppress the information stored in the storage unit 24 from being enlarged due to information of a person who is inappropriate to be treated as a repeater such as a person who has simply passed through the store. Becomes
  • the deletion unit 256 can be configured to delete the information attributed to the person to be deleted from the accompanying information 242 when deleting the feature amount. With this configuration, it is possible to acquire statistical information so as not to include information of a person who is inappropriate to be treated as a repeater such as a person who has simply passed through the store.
  • the customer information registration device 2 is realized by one information processing device (see FIG. 2).
  • the customer information registration device 2 may be realized by, for example, a plurality of information processing devices communicably connected via a network.
  • the determination condition information 244 is stored in the storage unit 24 in advance.
  • the various conditions indicated by the determination condition information 244 may be, for example, conditions obtained as a result of learning by a machine learning unit.
  • the case where the camera 3 is provided outside the customer information registration device 2 has been described as an example.
  • the customer information registration device 2 may have a function as the camera 3.
  • the camera 3 may have a function as the customer information registration device 2. That is, the camera 3 may be configured to have each function described in the present embodiment.
  • the matching unit 254 updates the customer information 243.
  • the customer information registration device 2 may be configured to perform the determination by the condition determining unit 255 even after the updating process.
  • the condition determination unit 255 can be configured to determine whether the number of visits included in the customer information 243 or the last visit date is corrected based on the behavior of the customer in the store.
  • the customer information registration system 1 described in the present embodiment is a system for efficiently detecting repeaters and, for example, a system for efficiently detecting suspicious persons such as shoplifters who should pay attention to. It can also be used as a system.
  • the customer information registration device 2 may be configured to store the feature amount of the face image in the storage unit 24 when it can be determined that the customer does not intend to purchase a product based on the behavior of the customer in the store. I do not care.
  • the customer information registration device 5 includes, for example, a collation unit 51, a storage unit 52, an action information acquisition unit 53, a condition determination unit 54, and a deletion unit 55.
  • the customer information registration device 5 includes an arithmetic device such as a CPU (Central Processing Unit) and a storage device that stores a program.
  • the customer information registration device 5 realizes each of the above-described processing units by causing the arithmetic device to execute a program stored in the storage device.
  • the collation unit 51 collates the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit.
  • the storage unit 52 stores the face data not stored in the storage unit in the storage unit when the verification by the verification unit 51 fails.
  • the behavior information acquisition unit 53 acquires behavior information according to the behavior of the customer in the store. For example, the behavior information acquisition unit 53 acquires behavior information based on image data acquired by a camera in a store. The behavior information acquisition unit 53 may acquire behavior information by a method other than the method exemplified above.
  • the condition determination unit 54 determines whether to delete the face data stored in the storage unit based on the behavior information acquired by the behavior information acquisition unit 53.
  • the deletion unit 55 deletes the face data stored in the storage unit based on the result of the determination by the condition determination unit 54.
  • the customer information registration device 5 includes the behavior information acquisition unit 53, the condition determination unit 54, and the deletion unit 55.
  • the deletion unit 55 can delete the face data stored in the storage unit according to the result of the determination by the condition determination unit 54 performed based on the behavior information acquired by the behavior information acquisition unit 53. I can do it.
  • it is possible to keep storing only the face data of the face image with high usefulness in the storage unit. This makes it possible to suppress, for example, accumulation of information having a low probability of being useful, and to suppress an increase in data capacity.
  • a program according to another embodiment of the present invention is a program for storing customer face data based on image data acquired by a camera in a store and face data stored in the storage unit in a customer information registration device having a storage unit.
  • a storage unit 52 that stores, in the storage unit, face data that is not stored in the storage unit when the verification fails, and an action that obtains behavior information according to the customer's behavior in the store.
  • a deletion unit 55 for deleting the face data stored in the storage unit based on the program.
  • the customer information registration device 5 having the storage unit stores the customer face data and the storage unit based on the image data obtained by the camera of the store. If the matching fails, the face data not stored in the storage unit is stored in the storage unit, and the behavior information corresponding to the customer's behavior in the store is acquired, and the acquired behavior is acquired. It is a method of determining whether to delete the face data stored in the storage unit based on the information, and deleting the face data stored in the storage unit based on the result of the determination.
  • a camera may have the various functions of the customer information registration device 5 described above. More specifically, a camera according to another embodiment of the present invention includes a matching unit 51 that matches customer face data based on acquired image data with face data stored in a storage unit, and a storage unit.
  • the storage unit 52 stores the face data that does not exist in the storage unit, the behavior information acquisition unit 53 that acquires the behavior information according to the behavior of the customer in the store, and the storage based on the behavior information acquired by the behavior information acquisition unit 53.
  • a condition determining unit 54 for determining whether to delete the face data stored in the storage unit, and a deleting unit 55 for deleting the face data stored in the storage unit based on the result of the determination by the condition determining unit 54.
  • a customer information registration system 7 including a camera 6 for acquiring image data and a customer information registration device 5 may be used.
  • the camera 6 and the customer information registration device 5 are communicably connected to each other.
  • the configuration of the customer information registration device 5 shown in FIG. 10 is the same as that already described with reference to FIG. Therefore, detailed description is omitted.
  • the invention of the program, the customer information registration method, the camera, and the customer information registration system having the above-described configuration has the same effects and effects as those of the customer information registration device 5. Can be achieved.
  • the above-described object of the present invention can be achieved because it has the same effects and functions as those of the customer information registration device 5.
  • a matching unit that matches the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit, A storage unit that stores, in the storage unit, face data that is not stored in the storage unit when the verification by the matching unit fails; A behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store; A condition determining unit that determines whether to delete face data stored in the storage unit based on the behavior information acquired by the behavior information acquiring unit; A deletion unit that deletes face data stored in the storage unit based on a result of the determination by the condition determination unit; A customer information registration device.
  • the customer information registration device (Appendix 2) The customer information registration device according to claim 1, wherein The condition determination unit deletes the face data stored in the storage unit based on whether the customer has an intention to purchase a product from the behavior information or whether it is determined that the customer has considered a product purchase. Customer information registration device to determine whether to do. (Appendix 3) The customer information registration device according to Supplementary Note 1 or 2, wherein The condition determination unit determines whether to delete face data stored in the storage unit based on whether or not the behavior of the customer indicated by the behavior information satisfies a predetermined determination condition. Information registration device.
  • the customer information registration device according to any one of Supplementary Notes 1 to 7, wherein The behavior information acquisition unit acquires the behavior information, and is configured to acquire accompanying information that is statistical data that does not identify a customer at a location photographed by the camera, The customer information registration device, wherein the deletion unit deletes face data stored in the storage unit and deletes information derived from a deletion target person from the accompanying information.
  • the customer information registration device according to any one of Supplementary Notes 1 to 8, wherein A customer information registration device having an output unit for performing a predetermined output according to a result of the determination by the condition determination unit.
  • the customer information registration device according to any one of Supplementary Notes 1 to 9, wherein The customer information registration device, wherein the behavior information acquisition unit acquires the behavior information based on image data acquired by the camera.
  • a customer information registration device having a storage unit, Checking the face data of the customer based on the image data obtained by the camera of the store with the face data stored in the storage unit, If the collation fails, store face data not stored in the storage unit in the storage unit, Acquiring behavior information according to the behavior of the customer in the store, Based on the acquired behavior information, determine whether to delete the face data stored in the storage unit, A customer information registration method for deleting face data stored in the storage unit based on a result of the determination.
  • a matching unit that matches customer face data based on image data obtained by a camera of the store with face data stored in the storage unit, A storage unit that stores, in the storage unit, face data that is not stored in the storage unit when the verification by the matching unit fails;
  • a behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store;
  • a condition determining unit that determines whether to delete face data stored in the storage unit based on the behavior information acquired by the behavior information acquiring unit;
  • a deletion unit that deletes face data stored in the storage unit based on a result of the determination by the condition determination unit; The program to realize.
  • a matching unit that matches customer face data based on the acquired image data with face data stored in the storage unit;
  • a storage unit that stores, in the storage unit, face data that is not stored in the storage unit when the verification by the verification unit fails;
  • a behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store;
  • a condition determining unit that determines whether to delete face data stored in the storage unit based on the behavior information acquired by the behavior information acquiring unit;
  • a deletion unit that deletes face data stored in the storage unit based on a result of the determination by the condition determination unit; With a camera.
  • a customer information registration system including a customer information registration device and a camera, The customer information registration device, A matching unit that matches the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit, A storage unit that stores, in the storage unit, face data that is not stored in the storage unit when the verification by the verification unit fails; A behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store; A condition determining unit that determines whether to delete face data stored in the storage unit based on the behavior information acquired by the behavior information acquiring unit; A deletion unit configured to delete face data stored in the storage unit based on a result of the determination by the condition determination unit.
  • the programs described in the above embodiments and the supplementary notes are stored in a storage device or are recorded on a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、を有する。

Description

顧客情報登録装置
　本発明は、顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムに関する。
　マーケティングなどの目的のため、顧客の顔画像に基づいて算出される特徴量を示す情報を登録、管理することがある。
　このような技術の一つとして、例えば、特許文献１がある。特許文献１には、顧客の属性を顧客データベース（DB：database）に登録して管理する顧客情報管理システムが記載されている。特許文献１によると、顧客データベースには、顧客がレジにおいて商品を購入する際、または、顧客が商品を購入せずに退店する際に、顧客の属性が登録される。
特開２００２－３２５５８号公報
　特許文献１に記載の技術によると、顧客データベースには、顧客の店内における行動にかかわらず顧客の属性が登録される。その結果、データ容量が肥大したりや有用性の低いデータが増大したりするという問題が生じていた。
　そこで、本発明の目的は、データ容量の肥大化や有用性の低いデータの増大を抑制することが難しい、という問題を解決する顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムを提供することにある。
　かかる目的を達成するため本発明の一形態である顧客情報登録装置は、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
　を有する
　という構成をとる。
　また、本発明の他の形態である顧客情報登録方法は、
　記憶部を有する顧客情報登録装置が、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合し、
　前記照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納し、
　顧客の前記店舗内における行動に応じた行動情報を取得し、
　取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定し、
　判定の結果に基づいて、前記記憶部に格納した顔データを削除する
　という構成をとる。
　また、本発明の他の形態である記録媒体は、
　記憶部を有する顧客情報登録装置に、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合する照合部と、
　前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
　を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
　また、本発明の他の形態であるカメラは、
　取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
　を有する
　という構成をとる。
　また、本発明の他の形態である顧客情報登録システムは、
　顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
　前記顧客情報登録装置は、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、を備える
　という構成をとる。
　本発明は、以上のように構成されることにより、データ容量の肥大化や有用性の低いデータの増大を抑制することが難しい、という問題を解決する顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムを提供することが可能となる。
本発明の第１の実施形態における顧客情報登録システムの全体の構成の一例を示す図である。 図１で示す顧客情報登録装置の構成の一例を示すブロック図である。 図２で示す付随情報の一例を示す図である。 図２で示す顧客情報の一例を示す図である。 図２で示す判定条件情報の一例を示す図である。 登録条件の一例を示す図である。 出力部による出力の一例を示す図である。 顧客情報登録装置の動作の一例を示すフローチャートである。 本発明の第２の実施形態における顧客情報登録装置の構成の一例を示すブロック図である。 本発明の第２の実施形態における顧客情報登録システムの構成の一例を示すブロック図である。
［第１の実施形態］
　本発明の第１の実施形態を図１から図８までを参照して説明する。図１は、顧客情報登録システム１の全体の構成の一例を示す図である。図２は、顧客情報登録装置２の構成の一例を示すブロック図である。図３は、付随情報２４２の一例を示す図である。図４は、顧客情報２４３の一例を示す図である。図５は、判定条件情報２４４の一例を示す図である。図６は、登録条件の一例を示す図である。図７は、出力部２５７による出力の一例を示す図である。図８は、顧客情報登録装置２の動作の一例を示すフローチャートである。
　本発明の第１の実施形態では、顧客情報登録装置２を有する顧客情報登録システム１について説明する。顧客情報登録装置２は、リピーター検出などの顧客分析に活用することを目的に、顧客の顔画像から算出した特徴量などを含む情報を顧客情報２４３として記憶部２４に格納する。後述するように、本実施形態における顧客情報登録装置２は、顧客の顔データと、記憶部２４が格納している顔データと、を照合する。また、顧客情報登録装置２は、照合が失敗した場合（すなわち、取得した顔データが記憶部２４に格納されていない場合）、顔データを含む情報を顧客情報２４３として記憶部２４に格納する。その後、顧客情報登録装置２は、格納した顔データに対応する顧客の店舗内における行動が所定の条件を満たすか否か判定する。そして、顧客の行動が所定の条件を満たさない場合、顧客情報登録装置２は、記憶部２４に格納した顔データなどの情報を削除する。ここで、顔データとは、顔画像から算出された特徴量や顔画像のことをいう。以降の説明では、顔データとして特徴量を採用した場合について説明する。
　図１は、顧客情報登録システム１の全体の構成の一例を示している。図１を参照すると、顧客情報登録システム１は、例えば、顧客情報登録装置２と、カメラ３と、レジ端末４と、を有している。
　図１で示すように、顧客情報登録装置２とカメラ３とは、互いに通信可能なよう接続されている。また、顧客情報登録装置２とレジ端末４とは、互いに通信可能なよう接続されている。
　なお、顧客情報登録システム１の構成は、図１で示す場合に限定されない。例えば、カメラ３やレジ端末４の数は、１つであっても構わないし、２つ以上の複数であっても構わない。また、例えば、顧客情報登録システム１は、商品棚や店舗の入り口に設置された重みセンサなどの各種センサやＲＦＩＤ（radio frequency identifier）リーダーなどを有しても構わない。また、例えば、顧客情報登録システム１は、レジ端末４を有さなくても構わない。
　顧客情報登録装置２は、特徴量を格納する情報処理装置である。図２は、顧客情報登録装置２の構成の一例を示している。図２を参照すると、顧客情報登録装置２は、主な構成要素として、操作入力部２１と、画面表示部２２と、通信Ｉ／Ｆ部２３と、記憶部２４と、演算処理部２５と、を有している。
　操作入力部２１は、キーボードやマウスなどの操作入力装置からなる。操作入力部２１は、オペレータの操作を検出して演算処理部２５に出力する。
　画面表示部２２は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部２２は、演算処理部２５からの指示に応じて、各種情報を画面表示する。例えば、画面表示部２２は、演算処理部２５からの指示に応じて、画像データ情報２４１、付随情報２４２、顧客情報２４３、条件判定部２５５による判定の結果に基づく情報、などを画面表示する。
　通信Ｉ／Ｆ部２３は、例えば、データ通信回路からなる。通信Ｉ／Ｆ部２３は、通信回線を介して接続された各種装置との間でデータ通信を行う。例えば、顧客情報登録装置２は、通信Ｉ／Ｆ部２３を介して、カメラ３、レジ端末４、その他センサなど外部装置と通信を行う。
　記憶部２４は、ハードディスクやメモリなどの記憶装置である。記憶部２４は、演算処理部２５における各種処理に必要な処理情報やプログラム２４５を記憶する。プログラム２４５は、演算処理部２５に読み込まれて実行されることにより各種処理部を実現する。プログラム２４５は、通信Ｉ／Ｆ部２３などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部２４に格納されている。記憶部２４で記憶される主な情報としては、画像データ情報２４１と付随情報２４２と顧客情報２４３と判定条件情報２４４とがある。
　画像データ情報２４１は、通信Ｉ／Ｆ部２３を介してカメラ３から取得した画像データである。画像データ情報２４１は、例えば、特徴量算出部２５２や分析部２５３で利用される。
　付随情報２４２は、例えば、店舗内などカメラ３による撮影箇所における顧客個人を特定しない統計的なデータを示している。付随情報２４２は、例えば、画像データ情報２４１に基づいて分析部２５３で生成される。
　図３は、付随情報２４２として含むことが可能な情報の一例を示している。図３を参照すると、付随情報２４２には、例えば、来店者分析情報、通過人数情報、コンバージョン情報、などの各種統計的な情報を含むことが出来る。なお、来店者分析情報は、来店回数ごとに顧客の数を計測した情報、購買までの来店数ごとに顧客の数を計測した情報、年齢・性別ごとに顧客の数を計測した情報など、予め定められた属性ごとの顧客の数を示す情報である。また、通過人数情報は、所定時間内に予め定められた箇所を顧客が通過した人数を予め定められた箇所ごとに示す情報である。また、コンバージョン情報は、顧客が店舗内のどのエリアに長く滞在するかを示す情報であり、顧客の滞在状況を把握する際などに用いることが出来る。
　なお、付随情報２４２には、上記例示した以外の情報を含んでも構わない。例えば、付随情報２４２には、ヒートマップ情報、天気ごとの顧客数を示す情報など、上記例示した以外の顧客個人を特定しない統計的な情報を含んでいても構わない。
　顧客情報２４３は、店舗内などカメラ３による撮影エリア内、監視対象エリア内に訪れた顧客に関する情報を示している。顧客情報２４３には、少なくとも、顧客の顔画像から算出した特徴量を示す顔特徴量情報が含まれている。また、顧客情報２４３には、顔画像などから判断される顧客の年齢や性別などを示す属性情報、来店回数や前回来店日などを示す過去の来店情報、店舗内などカメラ３による撮影エリア内、監視対象エリア内における顧客の行動に関連する情報である行動関連情報（行動情報）、などを含むことが出来る。
　図４は、顧客情報２４３の一例を示している。図４を参照すると、顧客情報２４３では、例えば、ＩＤと、顔特徴量情報と、属性情報と、来店回数と、前回来店日と、行動関連情報と、を対応付けている。例えば、図４の１行目では、ID「Av+E3sCH」と、顔特徴量情報「xxxxxxxxxx」と、属性情報「aaaaa」と、来店回数「２」と、前回来店日「2018/07/20」と、行動関連情報「XXXXXX」とを対応付けている。顔特徴量情報と行動関連情報とが対応付けて格納されることにより、例えばマーケティング担当者は、該顔特徴量情報が記憶部２４に格納された根拠を知ることができる。
　なお、IDとは、顧客を識別するための識別情報である。IDは、例えば、新たな顔特徴量情報を記憶部２４に格納する際に照合部２５４などにより自動的に付与される。顔特徴量情報は、顔画像の特徴量を示す情報である。顔特徴量情報は、後述する特徴量算出部２５２により顔画像（画像データ情報２４１）に基づいて算出される。属性情報は、年齢や性別など顧客の属性を示す情報である。属性情報は、例えば、画像データ情報２４１などに基づいて、分析部２５３で判断される。来店回数は、前回までの（または、現在を含む）顧客の来店回数を示しており、前回来店日は、顧客が前回来店した日を示している。来店回数や前回来店日などの来店情報は、例えば、照合部２５４などにより更新される。行動関連情報は、店舗内などカメラ３による撮影エリア内、監視対象エリア内における顧客の行動に関連する情報である。行動関連情報には、例えば、１回の来店で対応する顧客を撮影したカメラの数、店舗内全体や店舗内を予め複数のエリアに区切った際のエリアごとの顧客の滞在時間、商品への手伸ばしの検出の有無、商品購入の有無、顧客の動線、顧客の視線などを示す情報を含むことが出来る。
　なお、図４は顧客情報２４３の一例を示している。顧客情報２４３に含まれる情報は、図４で例示した場合に限定されない。例えば、顧客情報２４３は、顔特徴量情報のみから構成されるなど、顔特徴量情報を含む図４で例示した情報の一部から構成されても構わない。また、顧客情報２４３には、顧客が来店した際の天気や時刻を示す情報など図４で例示した以外の情報を含んでも構わない。
　判定条件情報２４４は、記憶部２４に格納された特徴量を示す情報（顔特徴量情報）を削除するか否か条件判定部２５５が判定する際に用いる、条件を示す情報である。
　判定条件情報２４４には、店舗内における顧客の行動に応じた条件が含まれている。例えば、判定条件情報２４４には、「同一人物の特徴量を予め定められた所定数（任意の数で構わない）以上のカメラから取得した画像データに基づいて算出したか」、「特徴量に基づいて特定される同一人物の店舗内の滞在時間（任意の時間で構わない）が所定以上か」「商品への手伸ばしを検出したか」、「レジ端末４から取得したPOS（Point of sale）情報などとの関連付けにより商品の購入を検出したか」、「動線の追跡などにより予め定められた一定のエリアの滞在時間が予め定められた閾値を超えたか」、「人物の動線が所定の条件を満たしたか」などの条件を含むことが出来る。
　また、記憶部２４の記憶容量を考慮して、例えば顧客情報の一日の登録件数（登録人数）を決めることも考えられる。この場合、判定条件情報２４４に「一日の登録人数を超えていないか」という条件を含むことができる。これにより、記憶部２４の容量に制限があってもより有用性の高い情報を記憶部２４に残すことができる。なお、登録人数は、予め定められた値であっても構わないし、例えば、記憶部２４の記憶容量などに応じて変化する値であっても構わない。
　このように、判定条件情報２４４には、店舗内における顧客の行動に応じた各種条件が含まれている。換言すると、判定条件情報２４４には、店舗内における顧客の行動に基づいて、顧客に商品購入の意思があると判断できるか否かを判定するための条件が含まれている。また、判定条件情報２４４には、店舗内における顧客の行動に基づいて、顧客が商品購入を検討したと判断できるか否かを判定するための条件が含まれている。このように判定条件情報２４４を設定することで、例えば、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報を記憶部２４から削除することが可能となる。つまり、リピーター分析など分析対象とするのに適切な顧客の情報のみを記憶部２４に残すことが可能となる。
　なお、判定条件情報２４４には、例えば、「顧客近傍に位置する商品棚における重量変化を検出したか」など、上記例示した以外の条件を含んでも構わない。「顧客近傍に位置する商品棚における重量変化を検出したか」という条件の場合、後述の条件判定部２５５は、重量センサを設けた棚から顧客が商品を手に取った場合の重量変化に基づいて、顧客情報２４３に含まれていない特徴量を記憶部２４に格納するか否か判定する。
　また、判定条件情報２４４は、上述した各種条件と、重みを示す情報と、を対応づけた情報であっても構わない。図４は、条件と重みとの対応づけを示す判定条件情報２４４の一例を示している。例えば、図４の１行目では、条件「同一人物の特徴量を所定数以上のカメラからの画像データから算出」と重み「１５」とを対応づけている。また、重みを示す情報を含む場合、判定条件情報２４４には、重みの合計値と比較する値である重み閾値を含むことが出来る。なお、各種条件と対応づけられる重みの値は任意に設定して構わない。
　演算処理部２５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２４からプログラム２４５を読み込んで実行することにより、上記ハードウェアとプログラム２４５とを協働させて各種処理部を実現する。演算処理部２５で実現される主な処理部として、例えば、画像データ取得部２５１と、特徴量算出部２５２と、分析部２５３（行動情報取得部）と、照合部２５４（照合部、格納部）と、条件判定部２５５と、削除部２５６と、出力部２５７と、がある。
　画像データ取得部２５１は、通信Ｉ／Ｆ部２３を介して、カメラ３から画像データを取得する。そして、画像データ取得部２５１は、取得した画像データを画像データ情報２４１として記憶部２４に格納する。
　なお、顧客情報登録システム１が複数のカメラ３を有する場合、画像データ取得部２５１は、複数のカメラ３のそれぞれから画像データを取得する。このような場合、例えば、画像データ取得部２５１は、カメラ３の識別情報と画像データとを対応づけて、当該対応付けた情報を記憶部２４に格納することが出来る。換言すると、画像データ取得部２５１は、どのカメラ３により取得された画像データであるか判別可能なように画像データを記憶部２４に格納することが出来る。
　特徴量算出部２５２は、顔画像の特徴量を算出する。例えば、特徴量算出部２５２は、画像データ情報２４１から顧客の顔を示す領域である顔画像（顔領域）を抽出する。そして、特徴量算出部２５２は、抽出した顔画像の特徴量を算出する。
　なお、本実施形態においては、特徴量算出部２５２が顔画像の特徴量を算出する際の処理については特に限定しない。例えば、特徴量算出部２５２は、顔画像から検出した目・鼻・口端などの顔の特徴点位置に基づいて特徴量を算出するなど、既知の方法を用いて顔画像の特徴量を算出することが出来る。もちろん、特徴量算出部２５２は、輝度情報を用いる、局所領域間の関連性に応じた値を用いるなど、その他既知の方法を用いて特徴量を算出しても構わない。
　また、上述したように、顧客情報登録装置２が複数のカメラ３を有する場合、画像データ取得部２５１は、例えば、カメラ３の識別情報と画像データとを対応づけて、当該対応付けた情報を記憶部２４に格納する。そのため、特徴量算出部２５２は、例えば、算出した顔画像の特徴量に、対応するカメラ３の識別情報を対応付けることが出来る。換言すると、特徴量算出部２５２は、どのカメラ３により取得された画像データに基づいて算出されたものであるか判別可能なように、特徴量を算出することが出来る。
　分析部２５３は、画像データ情報２４１が示す画像データや当該画像データから抽出した顔画像を分析することで、顧客の性別や年齢を示す属性情報を取得したり、顧客の店舗内又はエリアごとの滞在時間、商品への手伸ばしの有無、動線の検出、視線の検出などの行動関連情報（行動情報）を取得したりする。また、分析部２５３は、画像データ情報２４１が示す画像データや当該画像データから抽出した顔画像を分析することで、来店者分析情報、通過人数情報、コンバージョン情報などの顧客個人を特定しない統計的な情報を取得する。そして、分析部２５３は、統計的な情報を付随情報２４２として記憶部２４に格納する。
　このように、分析部２５３は、画像データ情報２４１に基づいて、顧客ごとの情報である属性情報や行動関連情報を取得するとともに顧客個人を特定しない統計的な情報を取得する。また、分析部２５３は、例えば、顔画像の特徴量を用いてレジ端末４から取得したPOS（Point of sale）情報などとの関連付けを行うことで、顧客が商品を購入したか、どのような商品を購入したか、を示す行動関連情報を取得する。なお、分析部２５３の処理も、特徴量に基づく性別や年齢の推定など既知の方法を用いて実現して構わない。そのため、分析部２５３の処理の詳細な説明は省略する。
　照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する。例えば、照合部２５４は、特徴量算出部２５２が算出した特徴量と、記憶部２４に格納された顧客情報２４３に含まれる顔特徴量情報と、を照合することで、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する。
　算出した特徴量に応じた顔特徴量情報が顧客情報２４３に含まれている場合、照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されていると判定する。この場合、照合部２５４は、顧客情報２４３の更新を行うことが出来る。例えば、照合部２５４は、顧客情報２４３のうち、照合した特徴量に対応する来店回数を１増やしたり、前回来店日の更新を行ったりすることが出来る。なお、更新部を設け、照合部２５４が更新部に対して更新を指示するようしてもよい。また、照合部２５４は、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を画面表示部２２などに出力するよう出力部２５７に対して指示することが出来る。一方、算出した特徴量が顧客情報２４３に含まれていない場合（つまり、照合が失敗した場合）、照合部２５４は、特徴量を記憶部２４に格納する。つまり、照合部２５４は、格納対象となる特徴量を示す顔特徴量情報を、分析部２５３が分析した属性情報や行動関連情報と対応づけて記憶部２４に格納する。この際、来店回数は１となり、前回来店日は顧客が来店した日となる。なお、格納部を設け、照合部２５４が格納部に対して格納処理を指示するようしてもよい。
　条件判定部２５５は、記憶部２４に格納された特徴量を削除するか否か判定する。例えば、条件判定部２５５は、店舗内における顧客の行動が商品購入の意思があると判断できるか否かに基づいて、記憶部２４に格納された特徴量を削除するか否か判定する。具体的には、例えば、条件判定部２５５は、特徴量算出部２５２による特徴量算出の結果や分析部２５３による分析の結果を確認するとともに、判定条件情報２４４を確認する。そして、条件判定部２５５は、特徴量算出部２５２による特徴量算出の結果や分析部２５３による分析の結果取得した行動関連情報（行動情報）などに基づいて判断される店舗内における顧客の行動と、判定条件情報２４４が示す条件と、に基づいて、記憶部２４に格納された特徴量を削除するか否か判定する。
　例えば、条件判定部２５５は、顧客の店舗内における行動が、判定条件情報２４４が示す条件を満たすか否かに基づいて、記憶部２４に格納された特徴量を削除するか否か判定する。例えば、図５は、店舗内における顧客の行動の一例を示している。図５では、同一の顧客が３つのカメラ３（カメラ３－１、カメラ３－２、カメラ３－３）で撮影された後、退店した場合について例示している。このような状態において、判定条件情報２４４に、「同一人物の特徴量を、５つ以上のカメラから取得した画像データに基づいて算出したか」という条件が含まれているとする。この場合、条件判定部２５５は、３つのカメラから取得した画像データに基づいて同一の特徴量を算出しているため、５つ以上ではなく、判定条件情報２４４が示す条件を店舗内における顧客の行動が満たしていない、と判断する。また、判定条件情報２４４に含まれるその他の条件も顧客の行動が満たさなかったとする。その場合、条件判定部２５５は、記憶部２４に格納された特徴量を削除すると判定する。そして、条件判定部２５５は、記憶部２４に格納された特徴量を削除すると判定した旨を削除部２５６に通知する。
　このように、条件判定部２５５は、「同一人物の特徴量を予め定められた所定数以上のカメラから取得した画像データに基づいて算出したか」、「特徴量に基づいて特定される同一人物の店舗内の滞在時間が所定以上か」「商品への手伸ばしを検出したか」、「レジ端末４から取得したPOS（Point of sale）情報などとの関連付けにより商品の購入を検出したか」、など、判定条件情報２４４が示す条件のいずれも顧客の店舗内の行動が満たさなかった場合、記憶部２４から対象の特徴量を削除すると判定する。そして、条件判定部２５５は、記憶部２４に格納された特徴量を削除すると判定した旨を削除部２５６に通知する。一方、判定条件情報２４４が示す条件のいずれかを顧客の店舗内における行動が満たす場合、条件判定部２５５は、上記通知を行わない。
　なお、条件判定部２５５は、判定条件情報２４４が示す条件を予め定められた数以上満たすか否かに基づいて、記憶部２４から対象の特徴量を削除するか否か判定するよう構成しても構わない。また、条件判定部２５５は、判定条件情報２４４が示す条件を満たした場合に記憶部２４から対象の特徴量を削除すると判定するよう構成しても構わない。このように条件判定部２５５を構成する場合、判定条件情報２４４は、例えば、「同一人物の特徴量を予め定められた所定数以上のカメラから取得した画像データに基づいて算出しなかったか」などの条件を含むことが出来る。
　また、例えば、条件判定部２５５は、顧客の店舗内における行動に基づいて算出される値が予め定められた重み閾値を超えるか否かに基づいて、記憶部２４に格納された特徴量を削除するか否か判定することが出来る。例えば、条件判定部２５５は、「同一人物の特徴量を、予め定められた所定数である３つ以上のカメラから取得した画像データに基づいて算出」して、かつ、「特徴量に基づいて特定される同一人物の店舗内の滞在時間が予め定められた閾値を超えた」場合、１５＋１０＝２５を算出する（図４参照）。このように、条件判定部２５５は、顧客の店舗内における行動が所定の条件を満たすごとに、当該条件に対応付けられた値を加算する。そして、加算した値が予め定められた重み閾値以下であった場合、条件判定部２５５は、記憶部２４から特徴量を削除すると判定して、記憶部２４から特徴量を削除すると判定した旨を削除部２５６に通知する。一方、加算した値が予め定められた重み閾値よりも大きくなる場合、条件判定部２５５は、上記通知を行わない。
　このように、条件判定部２５５は、店舗内の顧客の行動に基づいて、記憶部２４に格納された特徴量を削除するか否か判定する。
　なお、判定条件情報２４４に顧客情報の一日の登録件数（最終的な登録人数、以下、単に登録人数という）に関する条件が含まれる場合、条件判定部２５５は、顧客の店舗内における行動に基づいて顧客ごとに算出された値を顧客間で比較して値の高い順（または低い順）に順位をつけることができる。そして、条件としている登録人数よりも人数（一時的な登録人数）が多い場合、条件判定部２５５は、例えば値の高い順に全人数の上位１０％に入らない顧客の特徴量を削除することができる。逆に条件としている登録人数よりも人数が少ない場合、条件判定部２５５は、条件としている登録人数に達するまで、順位に基づいて登録人数を補完することができる。このように、条件判定部２５５は、登録人数に応じた判定を行うよう構成しても構わない。　
　また、条件判定部２５５は、任意のタイミングで条件の判定を行うよう構成して構わない。例えば、条件判定部２５５は、レジ端末や店舗の出口にカメラを設けることで、レジ端末による商品の精算処理が終わったタイミングや顧客が退店したタイミングで判定を行うよう構成しても構わないし、予め定められた所定の間隔（例えば、１日１回など）で条件の判定を行うよう構成しても構わない。
　削除部２５６は、条件判定部２５５が記憶部２４から削除すると判定した特徴量を削除する。この際、削除部２５６は、顧客情報２４３として削除対象の特徴量と対応づけられている情報（IDや属性情報など）も特徴量（顔特徴量情報）と一緒に削除する。例えば、削除部２５６は、条件判定部２５５から特徴量を削除すると判定した旨の通知を受信する。すると、削除部２５６は、記憶部２４から該当する情報を削除する。つまり、削除部２５６は、顔特徴量情報と、当該顔特徴量情報と対応付けられた各種情報とを削除する。このように削除部２５６が条件判定部２５５による判定の結果に応じた削除を行うため、条件判定部２５５が記憶部２４から削除すると判定した特徴量が記憶部２４に残り続けることはない。
　なお、削除部２５６は、任意のタイミングで削除処理を行うよう構成して構わない。例えば、削除部２５６は、条件判定部２５５による判定の結果を受けて待機せず特徴量を記憶部２４から削除するよう構成しても構わないし、バッチ的に日に１回などある所定のタイミングで特徴量を記憶部２４から削除するよう構成しても構わない。
　また、削除部２５６は、特徴量を削除する際に、付随情報２４２から削除対象の人物に起因する情報を削除するよう構成することが出来る。例えば、削除部２５６は、付随情報２４２に含まれる来店者分析情報のうち削除対象の特徴量に対応する顧客の数を１減算させることが出来る。また、削除部２５６は、通過人数情報から、削除対象の人物をカウントした数を減算させることが出来る。また、削除部２５６は、削除対象の人物が最初からいなかったものとするようコンバージョン情報を更新することが出来る。なお、削除部２５６は、分析部２５３に対して、削除対象の人物が最初からいなかったものとして画像データ情報２４１に対する分析を再度行うよう指示しても構わないし、削除部２５６により直接、付随情報２４２を更新するよう構成しても構わない。
　出力部２５７は、画面表示部２２やそのほか外部装置に所定の出力を行うよう指示する。
　例えば、出力部２５７は、照合部２５４からの通知に応じて、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を出力するよう画面表示部２２などに対して指示する。また、出力部２５７は、削除部２５６による削除の結果に応じた情報（例えば、一日のうちの削除されずに新たに登録された登録件数などの統計情報や削除されなかった登録者に関する情報）を出力するよう画面表示部２２などに対して指示することが出来る。出力部２５７による削除の結果に応じた情報の出力指示は、例えば、日に１回予め定められた時間に出力するなど、所定の間隔で行われて構わない。
　また、出力部２５７は、例えば、図７で示すように、カメラ３が取得した画像情報２２１や天気情報２２３などとともに、顧客情報２４３などを出力するよう画面表示部２２に対して指示することが出来る。図７は、出力部２５７による指示の結果出力される画面表示部２２の表示の一例を示している。図７を参照すると、出力部２５７からの指示に応じて、画面表示部２２上には、例えば、画像情報２２１、来店顧客情報２２２、天気情報２２３、来店回数統計情報２２４、属性統計情報２２５、コンバージョン情報２２６、通過人数情報２２７、などを表示することが出来る。
　なお、画像情報２２１は、カメラ３から取得した画像データ（画像データ情報２４１）を示している。また、来店顧客情報２２２は、現在来店している顧客の情報を示している。来店顧客情報２２２には、顧客情報２４３の少なくとも一部を含めることが出来る。天気情報２２３は、天気を示している。図７で例示する場合、天気情報２２３は、当日前後３日間の天気を示している。来店回数統計情報２２４は、現在店舗内に存在する顧客のそれぞれが過去に何回来店しているかなどを示す情報を示している。属性統計情報２２５は、顧客の数を年齢、性別ごとに示す情報である。コンバージョン情報２２６は、顧客が店舗内のどのエリアに長く滞在するかを示す情報である。通過人数情報２２７は、所定時間内に顧客が通過した人数を示す情報である。来店回数統計情報２２４、属性統計情報２２５、コンバージョン情報２２６、通過人数情報２２７は、例えば、分析部２５３による分析の結果として取得される付随情報２４２と対応している。
　このように、出力部２５７は、画像データ取得部２５１が取得した画像データとともに、付随情報２４２や顧客情報２４３などを出力するよう画面表示部２２に対して指示することが出来る。出力部２５７は、上記例示した以外の情報を出力するよう画面表示部２２に対して指示しても構わない。
　以上が、顧客情報登録装置２の構成の一例である。
　カメラ３は、画像データを取得する。カメラ３は、例えば、店舗内の所定位置に予め設置されており、店舗内を監視している。カメラ３は、既存の監視カメラなどであって構わない。
　レジ端末４は、商品の購入など顧客とのやり取りに応じた販売情報を管理する。例えば、レジ端末４は、POSシステムを搭載している。レジ端末４は、顧客が商品を購入した際、当該顧客が商品を購入した旨を示す情報を顧客情報登録装置２に対して送信することが出来る。
　以上が、顧客情報登録システム１の構成の一例である。
　次に、顧客情報登録装置２の動作について説明する。図８は、顧客情報登録装置２の動作の一例を示すフローチャートである。
　図８を参照すると、画像データ取得部２５１は、通信Ｉ／Ｆ部２３を介して、カメラ３から画像データを取得する（ステップＳ１０１）。そして、画像データ取得部２５１は、取得した画像データを画像データ情報２４１として記憶部２４に格納する。
　特徴量算出部２５２は、顔画像の特徴量を算出する（ステップＳ１０２）。例えば、特徴量算出部２５２は、画像データ情報２４１から顧客の顔を示す領域である顔画像（顔領域）を抽出する。そして、特徴量算出部２５２は、抽出した顔画像の特徴量を算出する。
　照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されている否か確認する（ステップＳ１０３）。算出した特徴量が記憶部２４に格納されている場合（ステップＳ１０３、ＹＥＳ）、照合部２５４は、顧客情報２４３の更新を行う（ステップＳ１０７）。また、照合部２５４は、記憶部２４格納された特徴量を有する顧客が来店した旨を示す情報を画面表示部２２などに出力するよう出力部２５７に対して指示することが出来る。一方、算出した特徴量が記憶部２４に格納されていない場合（ステップＳ１０３、ＮＯ）、照合部２５４は、特徴量算出部２５２が算出した特徴量を記憶部２４に格納する（ステップＳ１０４）。
　条件判定部２５５は、店舗内の顧客の行動に基づいて、記憶部２４に格納された特徴量を削除するか否か判定する（ステップＳ１０５）。店舗内の顧客の行動が所定の条件（例えば、判定条件情報２４４が示す条件）を満たさない場合（ステップＳ１０４、ＹＥＳ）、条件判定部２５５は、記憶部２４から特徴量を削除すると判定する。そして、条件判定部２５５は、記憶部２４から特徴量を削除すると判定した旨を削除部２５６に通知する。これにより、削除部２５６は、記憶部２４から特徴量を削除する（ステップＳ１０６）。つまり、削除部２５６は、顧客情報２４３に含まれる、対象となる顔特徴量情報と当該顔特徴量情報と対応付けられた各種情報とを削除する。一方、店舗内の顧客の行動が所定の条件を満たす場合（ステップＳ１０５、ＮＯ）、条件判定部２５５は、上記通知を行わない。
　以上が、顧客情報登録装置２の動作の一例である。
　このように、顧客情報登録装置２は、条件判定部２５５と、削除部２５６と、を有している。このような構成により、削除部２５６は、記憶部２４に格納された特徴量のうち、条件判定部２５５により所定の条件を満たさないと判断された特徴量を削除することが出来る。その結果、有用性の高い顔画像の特徴量のみを記憶部２４に格納させることが可能となる。これにより、例えば、有用蓋然性の低い情報の蓄積などを抑制することが可能となり、データ容量の肥大化を抑制することが可能となる。また、効率的にリピーター検出などを行うことが可能となる。
　また、条件判定部２５５は、店舗内における顧客の行動に応じた各種条件が含まれる判定条件情報２４４に含まれる条件に基づいて、記憶部２４から削除するか否か判定することが出来るよう構成されている。このように構成することで、例えば、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報により記憶部２４に格納される情報が肥大化することを抑制することが可能となる。
　また、本実施形態の場合、削除部２５６は、特徴量を削除する際に、付随情報２４２から削除対象の人物に起因する情報を削除するよう構成することが出来るよう構成されている。このように構成することで、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報を含まないように統計的な情報を取得することを可能とすることが出来る。
　なお、本実施形態では、１台の情報処理装置により顧客情報登録装置２を実現する場合について説明した（図２参照）。しかしながら、顧客情報登録装置２は、例えば、ネットワークを介して通信可能なよう接続された複数台の情報処理装置により実現されても構わない。
　また、本実施形態においては、判定条件情報２４４は、記憶部２４に予め格納されているものとした。しかしながら、判定条件情報２４４が示す各種条件は、例えば、機械学習部による学習の結果得られる条件などであっても構わない。
　また、本実施形態においては、顧客情報登録装置２の外部にカメラ３を有する場合について例示した。しかしながら、顧客情報登録装置２がカメラ３としての機能を有しても構わない。また、カメラ３が顧客情報登録装置２としての機能を有しても構わない。つまり、本実施形態で説明した各機能を有するようにカメラ３を構成しても構わない。
　また、本実施形態では、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に格納されている場合、照合部２５４は、顧客情報２４３の更新を行うとした。顧客情報登録装置２は、当該更新の処理の後も、条件判定部２５５による判定を行うよう構成しても構わない。また、条件判定部２５５は、店舗内の顧客の行動に基づいて、顧客情報２４３に含まれる来店回数や前回来店日の修正を行うか否か判定するよう構成することが出来る。
　また、本実施形態で説明した顧客情報登録システム１は、リピーターを効率的に検出するためのシステムの他、例えば、万引き犯などの店舗が注意を払うべき不審者を効率的に検出するためのシステムなどとしても活用可能である。この場合、顧客情報登録装置２は、店舗内における顧客の行動に基づいて顧客に商品購入の意思がないと判断できる場合などに顔画像の特徴量を記憶部２４に格納するよう構成しても構わない。
［第２の実施形態］
　次に、図９、図１０を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、顧客情報登録装置５及び顧客情報登録システム７の構成の概要について説明する。
　まず、図９を参照して、顧客情報登録装置５について説明する。図９は、顧客情報登録装置５の構成の一例を示している。図９を参照すると、顧客情報登録装置５は、例えば、照合部５１と、格納部５２と、行動情報取得部５３と、条件判定部５４と、削除部５５と、を有している。
　例えば、顧客情報登録装置５は、ＣＰＵ（Central Processing Unit）などの演算装置と、プログラムを記憶した記憶装置とを有している。顧客情報登録装置５は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
　照合部５１は、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する。
　格納部５２は、照合部５１による照合が失敗した場合、記憶部に格納されていない顔データを記憶部に格納する。
　行動情報取得部５３は、顧客の店舗内における行動に応じた行動情報を取得する。例えば、行動情報取得部５３は、店舗のカメラにより取得された画像データに基づいて行動情報を取得する。行動情報取得部５３は、上記例示した以外の方法により行動情報を取得しても構わない。
　条件判定部５４は、行動情報取得部５３が取得した行動情報に基づいて、記憶部に格納した顔データを削除するか否か判定する。
　削除部５５は、条件判定部５４による判定の結果に基づいて、記憶部に格納した顔データを削除する。
　このように、顧客情報登録装置５は、行動情報取得部５３と、条件判定部５４と、削除部５５と、を有している。このような構成により、削除部５５は、行動情報取得部５３が取得した行動情報に基づいて行われる条件判定部５４による判定の結果に応じて、記憶部に格納した顔データを削除することが出来る。その結果、有用性の高い顔画像の顔データのみを記憶部に格納させ続けることが可能となる。これにより、例えば、有用蓋然性の低い情報の蓄積などを抑制することが可能となり、データ容量の肥大化を抑制することが可能となる。
　また、上述した顧客情報登録装置５は、当該顧客情報登録装置５に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、記憶部を有する顧客情報登録装置に、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部５１と、照合が失敗した場合、記憶部に格納されていない顔データを記憶部に格納する格納部５２と、顧客の店舗内における行動に応じた行動情報を取得する行動情報取得部５３と、行動情報取得部５３が取得した行動情報に基づいて、記憶部に格納した顔データを削除するか否か判定する条件判定部５４と、条件判定部５４による判定の結果に基づいて、記憶部に格納した顔データを削除する削除部５５と、を実現するためのプログラムである。
　また、上述した顧客情報登録装置５により実行される顧客情報登録方法は、記憶部を有する顧客情報登録装置５が、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、照合が失敗した場合、記憶部に格納されていない顔データを記憶部に格納し、顧客の店舗内における行動に応じた行動情報を取得し、取得した行動情報に基づいて、記憶部に格納した顔データを削除するか否か判定し、判定の結果に基づいて、記憶部に格納した顔データを削除する、という方法である。
　また、上述した顧客情報登録装置５が有する各種機能は、カメラが有しても構わない。具体的に、本発明の他の形態であるカメラは、取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部５１と、記憶部が記憶していない顔データを記憶部に格納する格納部５２と、顧客の店舗内における行動に応じた行動情報を取得する行動情報取得部５３と、行動情報取得部５３が取得した行動情報に基づいて、記憶部に格納した顔データを削除するか否か判定する条件判定部５４と、条件判定部５４による判定の結果に基づいて、記憶部に格納した顔データを削除する削除部５５と、を有する、カメラである。
　また、図１０で示すように、画像データを取得するカメラ６と、顧客情報登録装置５と、を有する顧客情報登録システム７であっても構わない。図１０で示す場合、カメラ６と顧客情報登録装置５とは、互いに通信可能なよう接続されている。なお、図１０で示す顧客情報登録装置５の構成は、図９を用いて既に説明したものと同様である。そのため、詳細な説明は省略する。
　上述した構成を有する、プログラム、顧客情報登録方法、カメラ、顧客情報登録システムの発明であっても、上記顧客情報登録装置５と同様の効果、作用を有するために、上述した本発明の目的を達成することが出来る。また、上記プログラムを記録した、コンピュータが読み取り可能な記録媒体であっても、上記顧客情報登録装置５と同様の効果、作用を有するために、上述した本発明の目的を達成することが出来る。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における顧客情報登録装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
　を有する
　顧客情報登録装置。
（付記２）
　付記１に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報から前記顧客に商品購入の意思がある、又は前記顧客が商品購入を検討したと判断されるか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
　顧客情報登録装置。
（付記３）
　付記１または付記２に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たすか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
　顧客情報登録装置。
（付記４）
　付記３に記載に顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たさない場合に、前記記憶部に格納した顔データを削除すると判定する
　顧客情報登録装置。
（付記５）
　付記１または付記２に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が予め定められた重み閾値を超えるか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
　顧客情報登録装置。
（付記６）
　付記５に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記店舗内における前記顧客の行動に応じた値が前記重み閾値以下である場合、前記記憶部に格納した顔データを削除すると判定する
　顧客情報登録装置。
（付記７）
　付記１または付記２に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記店舗内における前記顧客の行動に応じて前記顧客ごとに算出された値を前記顧客間で比較し、前記比較の結果に基づいて前記記憶部に格納した顔データを削除するか否か判定する
　顧客情報登録装置。
（付記８）
　付記１から付記７までのいずれか１項に記載の顧客情報登録装置であって、
　前記行動情報取得部は、前記行動情報を取得するとともに、前記カメラによる撮影箇所における顧客個人を特定しない統計的なデータである付随情報を取得するよう構成され、
　前記削除部は、前記記憶部に格納した顔データを削除するとともに、前記付随情報から削除対象の人物に起因する情報を削除する
　顧客情報登録装置。
（付記９）
　付記１から付記８までのいずれか１項に記載の顧客情報登録装置であって、
　前記条件判定部による判定の結果に応じた所定の出力を行う出力部を有する
　顧客情報登録装置。
（付記１０）
　付記１から付記９までのいずれか１項に記載の顧客情報登録装置であって、
　前記行動情報取得部は、前記カメラにより取得された画像データに基づいて前記行動情報を取得する
　顧客情報登録装置。
（付記１１）
　記憶部を有する顧客情報登録装置が、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合し、
　前記照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納し、
　顧客の前記店舗内における行動に応じた行動情報を取得し、
　取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定し、
　判定の結果に基づいて、前記記憶部に格納した顔データを削除する
　顧客情報登録方法。
（付記１２）
　記憶部を有する顧客情報登録装置に、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合する照合部と、
　前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
　を実現するためのプログラム。
（付記１３）
　取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
　を有する
　カメラ。
（付記１４）
　顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
　前記顧客情報登録装置は、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、を備える
　顧客情報登録システム。
　なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
　なお、本発明は、日本国にて２０１８年９月２６日に特許出願された特願２０１８－１８０２１３の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１　顧客情報登録システム
２　顧客情報登録装置
２１　操作入力部
２２　画面表示部
２２１　画像情報
２２２　来店顧客情報
２２３　天気情報
２２４　来店回数統計情報
２２５　属性統計情報
２２６　コンバージョン情報
２２７　通過人数情報
２３　通信Ｉ／Ｆ部
２４　記憶部
２４１　画像データ情報
２４２　付随情報
２４３　顧客情報
２４４　判定条件情報
２４５　プログラム
２５　演算処理部
２５１　画像データ取得部
２５２　特徴量算出部
２５３　分析部
２５４　照合部
２５５　条件判定部
２５６　削除部
２５７　出力部
３　カメラ
４　レジ端末
５　顧客情報登録装置
５１　照合部
５２　格納部５３　行動情報取得部
５４　条件判定部
５５　削除部
６　カメラ
７　顧客情報登録システム

 

Claims (14)

  1. 　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    　前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
    　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
    　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
    　を有する
    　顧客情報登録装置。
  2. 　請求項１に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報から前記顧客に商品購入の意思がある、又は前記顧客が商品購入を検討したと判断されるか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
    　顧客情報登録装置。
  3. 　請求項１または請求項２に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たすか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
    　顧客情報登録装置。
  4. 　請求項３に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たさない場合に、前記記憶部に格納した顔データを削除すると判定する
    　顧客情報登録装置。
  5. 　請求項１または請求項２に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が予め定められた重み閾値を超えるか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
    　顧客情報登録装置。
  6. 　請求項５に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記店舗内における前記顧客の行動に応じた値が前記重み閾値以下である場合、前記記憶部に格納した顔データを削除すると判定する
    　顧客情報登録装置。
  7. 　請求項１または２に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記店舗内における前記顧客の行動に応じて前記顧客ごとに算出された値を前記顧客間で比較し、前記比較の結果に基づいて前記記憶部に格納した顔データを削除するか否か判定する
    　顧客情報登録装置。
  8. 　請求項１から請求項７までのいずれか１項に記載の顧客情報登録装置であって、
    　前記行動情報取得部は、前記行動情報を取得するとともに、前記カメラによる撮影箇所における顧客個人を特定しない統計的なデータである付随情報を取得するよう構成され、
    　前記削除部は、前記記憶部に格納した顔データを削除するとともに、前記付随情報から削除対象の人物に起因する情報を削除する
    　顧客情報登録装置。
  9. 　請求項１から請求項８までのいずれか１項に記載の顧客情報登録装置であって、
    　前記条件判定部による判定の結果に応じた所定の出力を行う出力部を有する
    　顧客情報登録装置。
  10. 　請求項１から請求項９までのいずれか１項に記載の顧客情報登録装置であって、
    　前記行動情報取得部は、前記カメラにより取得された画像データに基づいて前記行動情報を取得する
    　顧客情報登録装置。
  11. 　記憶部を有する顧客情報登録装置が、
    　店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合し、
    　前記照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納し、
    　顧客の前記店舗内における行動に応じた行動情報を取得し、
    　取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定し、
    　判定の結果に基づいて、前記記憶部に格納した顔データを削除する
    　顧客情報登録方法。
  12. 　記憶部を有する顧客情報登録装置に、
    　店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合する照合部と、
    　前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
    　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
    　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
    　を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
  13. 　取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    　前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
    　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
    　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
    　を有する
    　カメラ。
  14. 　顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
    　前記顧客情報登録装置は、
    　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    　前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
    　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    　前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
    　前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、を備える
    　顧客情報登録システム。

     
PCT/JP2019/033746 2018-09-26 2019-08-28 顧客情報登録装置 WO2020066444A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020548234A JP7092205B2 (ja) 2018-09-26 2019-08-28 顧客情報登録装置
US17/278,747 US11830002B2 (en) 2018-09-26 2019-08-28 Customer information registration apparatus
US18/229,956 US20240005326A1 (en) 2018-09-26 2023-08-03 Customer information registration apparatus
US18/229,955 US20230376956A1 (en) 2018-09-26 2023-08-03 Customer information registration apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-180213 2018-09-26
JP2018180213 2018-09-26

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US17/278,747 A-371-Of-International US11830002B2 (en) 2018-09-26 2019-08-28 Customer information registration apparatus
US18/229,955 Continuation US20230376956A1 (en) 2018-09-26 2023-08-03 Customer information registration apparatus
US18/229,956 Continuation US20240005326A1 (en) 2018-09-26 2023-08-03 Customer information registration apparatus

Publications (1)

Publication Number Publication Date
WO2020066444A1 true WO2020066444A1 (ja) 2020-04-02

Family

ID=69950568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033746 WO2020066444A1 (ja) 2018-09-26 2019-08-28 顧客情報登録装置

Country Status (3)

Country Link
US (4) US11830002B2 (ja)
JP (1) JP7092205B2 (ja)
WO (1) WO2020066444A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023105741A (ja) * 2022-01-19 2023-07-31 株式会社Ridge-i 情報処理装置、情報処理方法及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141584A (ja) * 2003-11-07 2005-06-02 Omron Corp 画像削除装置，及び画像圧縮装置
JP2009284167A (ja) * 2008-05-21 2009-12-03 Toshiba Tec Corp 人物行動監視装置及び人物行動監視プログラム
JP2014232495A (ja) * 2013-05-30 2014-12-11 パナソニック株式会社 客層分析装置、客層分析システムおよび客層分析方法
WO2018042549A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 被写体情報表示システム、被写体情報表示方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010622A1 (en) 2000-07-18 2002-01-24 Fumino Okamoto System and method capable of appropriately managing customer information and computer-readable recording medium having customer information management program recorded therein
JP2002032558A (ja) 2000-07-18 2002-01-31 Minolta Co Ltd 顧客情報管理システムおよびその方法ならびに顧客情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体
US10078693B2 (en) * 2006-06-16 2018-09-18 International Business Machines Corporation People searches by multisensor event correlation
US20080243614A1 (en) * 2007-03-30 2008-10-02 General Electric Company Adaptive advertising and marketing system and method
JP2009009231A (ja) 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
JP2010113692A (ja) * 2008-11-10 2010-05-20 Nec Corp 顧客行動記録装置及び顧客行動記録方法並びにプログラム
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition
JP5747116B1 (ja) 2013-12-02 2015-07-08 Ｌｙｋａｏｎ株式会社 防犯システム
JP5907362B1 (ja) * 2014-10-08 2016-04-26 パナソニックＩｐマネジメント株式会社 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
US20160189162A1 (en) 2014-12-29 2016-06-30 Toshiba Tec Kabushiki Kaisha Information processing system, and storage medium which stores information processing program
EP3142040A1 (en) * 2015-09-11 2017-03-15 Canon Kabushiki Kaisha Information processing apparatus, method of controlling the same, and program
US11354683B1 (en) * 2015-12-30 2022-06-07 Videomining Corporation Method and system for creating anonymous shopper panel using multi-modal sensor fusion
JP6418270B2 (ja) 2017-04-05 2018-11-07 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141584A (ja) * 2003-11-07 2005-06-02 Omron Corp 画像削除装置，及び画像圧縮装置
JP2009284167A (ja) * 2008-05-21 2009-12-03 Toshiba Tec Corp 人物行動監視装置及び人物行動監視プログラム
JP2014232495A (ja) * 2013-05-30 2014-12-11 パナソニック株式会社 客層分析装置、客層分析システムおよび客層分析方法
WO2018042549A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 被写体情報表示システム、被写体情報表示方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023105741A (ja) * 2022-01-19 2023-07-31 株式会社Ridge-i 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP7092205B2 (ja) 2022-06-28
JPWO2020066444A1 (ja) 2021-08-30
US20220036359A1 (en) 2022-02-03
US20230376956A1 (en) 2023-11-23
US20230368205A1 (en) 2023-11-16
US20240005326A1 (en) 2024-01-04
US11830002B2 (en) 2023-11-28

Similar Documents

Publication Publication Date Title
JP7371614B2 (ja) 店舗管理装置および店舗管理方法
US20160132910A1 (en) Automatically detecting lost sales
JP2013196043A (ja) 特定人物監視システム
US20190327451A1 (en) Video image analysis apparatus and video image analysis method
JP5785667B1 (ja) 人物特定システム
CN109145707A (zh) 图像处理方法及装置、电子设备和存储介质
JP2015130155A (ja) 防犯システム
CN110648186B (zh) 数据分析方法、装置、设备及计算机可读存储介质
JP7192871B2 (ja) 認証装置、認証方法、及び、プログラム
WO2016088401A1 (ja) 防犯システム
US20240005326A1 (en) Customer information registration apparatus
JP2015090579A (ja) 行動分析システム
JPWO2019123714A1 (ja) 情報処理装置、商品推薦方法、およびプログラム
JP7184089B2 (ja) 顧客情報登録装置
JP7056749B2 (ja) 顧客情報登録装置
JP2021106330A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2014073370A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
WO2023127122A1 (ja) 店舗支援装置、システム及び方法、並びに、コンピュータ可読媒体
WO2023157169A1 (ja) 情報処理システム、情報処理方法、およびプログラム
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
CN117522454B (zh) 一种工作人员识别方法及系统
JP6613502B1 (ja) 顔認識による来店者検証システム及び顔認識による来店者検証プログラム
US20220058721A1 (en) Information processing device and information processing method
WO2024018548A1 (ja) 生成プログラム、生成方法および情報処理装置
CN114742606A (zh) 无人化门店的商品供销方法、终端设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19867616

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548234

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19867616

Country of ref document: EP

Kind code of ref document: A1