WO2020066443A1 - 顧客情報登録装置 - Google Patents

顧客情報登録装置 Download PDF

Info

Publication number
WO2020066443A1
WO2020066443A1 PCT/JP2019/033745 JP2019033745W WO2020066443A1 WO 2020066443 A1 WO2020066443 A1 WO 2020066443A1 JP 2019033745 W JP2019033745 W JP 2019033745W WO 2020066443 A1 WO2020066443 A1 WO 2020066443A1
Authority
WO
WIPO (PCT)
Prior art keywords
customer
unit
information
behavior
storage unit
Prior art date
Application number
PCT/JP2019/033745
Other languages
English (en)
French (fr)
Inventor
真 五十嵐
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/278,743 priority Critical patent/US11978068B2/en
Priority to JP2020548233A priority patent/JP7184089B2/ja
Publication of WO2020066443A1 publication Critical patent/WO2020066443A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to a customer information registration device, a customer information registration method, a recording medium, a camera, and a customer information registration system.
  • Patent Literature 1 discloses a means for inputting product information that a customer desires to purchase, a means for inputting and combining the product information and a face image of the customer and storing the information as customer information, and a counter for selling products. And a means for transmitting customer information to a sales floor server. According to Patent Literature 1, after completion of customer service, customer information is registered or notified to a terminal of a clerk. Then, when the clerk determines that registration is necessary, registration of customer information is performed.
  • an object of the present invention is to provide a customer information registration device, a customer information registration method, a recording medium, a camera, and a customer information registration system that solve the problem that it is difficult to register highly useful customer information efficiently. Is to do.
  • a customer information registration device includes: A matching unit that matches the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit, A behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store; When the collation fails, a condition determination unit that determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit, It has the following configuration.
  • a customer information registration method includes: A customer information registration device having a storage unit, The face data of the customer based on the image data acquired by the camera of the store is compared with the face data stored in the storage unit, Acquiring behavior information according to the behavior of the customer in the store, When the matching fails, it is determined whether or not the face data is stored in the storage unit based on the acquired behavior information.
  • a recording medium includes: In the customer information registration device having a storage unit, A matching unit that matches the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit, Behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store, When the collation fails, a condition determination unit that determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit, Is a computer-readable recording medium on which a program for realizing the above is recorded.
  • a camera includes: A matching unit that matches customer face data based on the acquired image data with face data stored in the storage unit; Behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store, When the collation fails, a condition determination unit that determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit, It has the following configuration.
  • a customer information registration system includes: A customer information registration system including a customer information registration device and a camera, The customer information registration device, A matching unit that matches customer face data based on image data obtained by the camera with face data stored in a storage unit, Behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store, If the collation fails, a condition determination unit that determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit, Take the configuration.
  • the present invention is configured as described above, and it is difficult to register highly useful customer information efficiently, a customer information registration device, a customer information registration method, a recording medium, a camera, It is possible to provide a customer information registration system.
  • FIG. 2 is a block diagram illustrating an example of a configuration of a customer information registration device illustrated in FIG. 1.
  • FIG. 3 is a diagram illustrating an example of customer information illustrated in FIG. 2.
  • FIG. 3 is a diagram illustrating an example of determination condition information illustrated in FIG. 2.
  • FIG. 6 is a diagram illustrating an example of a registration condition.
  • FIG. 4 is a diagram illustrating an example of an output by an output unit. It is a flowchart which shows an example of operation
  • FIG. 1 is a diagram showing an example of the overall configuration of the customer information registration system 1.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the customer information registration device 2.
  • FIG. 3 is a diagram illustrating an example of the customer information 242.
  • FIG. 4 is a diagram illustrating an example of the determination condition information 243.
  • FIG. 5 is a diagram illustrating an example of a registration condition.
  • FIG. 6 is a diagram illustrating an example of an output by the output unit 257.
  • FIG. 7 is a flowchart illustrating an example of the operation of the customer information registration device 2.
  • a customer information registration system 1 having a customer information registration device 2 will be described.
  • the customer information registration device 2 stores information including a feature amount calculated from a face image of the customer as customer information 242 in the storage unit 24 for the purpose of utilizing the information for customer analysis such as repeater detection.
  • the customer information registration device 2 in the present embodiment collates the customer's face data with the face data stored in the storage unit 24.
  • the customer information registration device 2 causes the behavior of the customer corresponding to the face data in the store to satisfy a predetermined condition. Is determined.
  • the customer information registration device 2 newly registers information including face data of the customer as customer information 242.
  • the face data refers to a feature amount or a face image calculated from the face image. In the following description, a case in which a feature amount is adopted as face data will be described.
  • FIG. 1 shows an example of the overall configuration of the customer information registration system 1.
  • the customer information registration system 1 includes, for example, a customer information registration device 2, a camera 3, and a cashier terminal 4.
  • the customer information registration device 2 and the camera 3 are connected so as to be able to communicate with each other.
  • the customer information registration device 2 and the cashier terminal 4 are connected so as to be able to communicate with each other.
  • the configuration of the customer information registration system 1 is not limited to the case shown in FIG.
  • the number of the cameras 3 and the cashier terminals 4 may be one, or two or more.
  • the customer information registration system 1 may include various sensors such as a weight sensor installed at a product shelf or an entrance of a store, an RFID (radio frequency identifier) reader, or the like. Further, for example, the customer information registration system 1 may not have the cashier terminal 4.
  • the customer information registration device 2 is an information processing device that stores a feature amount.
  • FIG. 2 shows an example of the configuration of the customer information registration device 2.
  • the customer information registration device 2 includes, as main components, an operation input unit 21, a screen display unit 22, a communication I / F unit 23, a storage unit 24, an arithmetic processing unit 25, have.
  • the operation input unit 21 includes an operation input device such as a keyboard and a mouse.
  • the operation input unit 21 detects an operation of the operator and outputs the operation to the arithmetic processing unit 25.
  • the screen display unit 22 includes a screen display device such as an LCD (Liquid Crystal Display).
  • the screen display unit 22 displays various information on the screen in accordance with an instruction from the arithmetic processing unit 25.
  • the screen display unit 22 displays the image data information 241, customer information 242, information based on the result of the determination by the condition determination unit 255, and the like in response to an instruction from the arithmetic processing unit 25.
  • the communication I / F unit 23 includes, for example, a data communication circuit.
  • the communication I / F unit 23 performs data communication with various devices connected via a communication line.
  • the customer information registration device 2 communicates with the camera 3, the cashier terminal 4, and other external devices such as sensors via the communication I / F unit 23.
  • the storage unit 24 is a storage device such as a hard disk or a memory.
  • the storage unit 24 stores processing information and programs 244 necessary for various processes in the arithmetic processing unit 25.
  • the program 244 realizes various processing units by being read and executed by the arithmetic processing unit 25.
  • the program 244 is read in advance from an external device or a recording medium via a data input / output function such as the communication I / F unit 23 and stored in the storage unit 24.
  • Main information stored in the storage unit 24 includes image data information 241, customer information 242, and determination condition information 243.
  • the image data information 241 is image data acquired from the camera 3 via the communication I / F unit 23.
  • the image data information 241 is used, for example, by the feature amount calculation unit 252 and the analysis unit 253.
  • the ⁇ customer information 242 indicates information on a customer who has visited an area shot by the camera 3 such as in a store or an area to be monitored.
  • the customer information 242 includes at least face feature amount information indicating a feature amount calculated from the face image of the customer.
  • the customer information 242 includes attribute information indicating the age and gender of the customer determined from the face image and the like, past visit information indicating the number of visits, the last visit date, and the like; Behavior-related information (behavior information), which is information related to the behavior of the customer in the monitoring target area, can be included.
  • FIG. 3 shows an example of the customer information 242.
  • ID face feature amount information
  • attribute information for example, number of visits, last visit date, and action-related information are associated.
  • ID for example, in the first line of FIG. 3, the ID “Av + E3sCH”, the face feature amount information “xxxxxxxxxx”, the attribute information “aaaaa”, the number of visits “2”, and the last visit date “2018/07/20 And the action-related information “XXXXXX”.
  • a marketing person can know the grounds for storing the facial feature information in the storage unit 24.
  • the ID is identification information for identifying a customer.
  • the ID is automatically given, for example, when new face feature amount information is stored in the storage unit 24.
  • the face feature amount information is information indicating the feature amount of the face image.
  • the face feature information is calculated by a feature calculator 252 described later based on the face image (image data information 241).
  • the attribute information is information indicating attributes of the customer such as age and gender.
  • the attribute information is determined by the analysis unit 253 based on, for example, the image data information 241 or the like.
  • the number of visits to the store indicates the number of visits of the customer to the last time (or the present), and the last visit date indicates the date at which the customer visited the last time.
  • the visit information such as the number of visits and the last visit date is updated by, for example, the collation unit 254 or the like.
  • the behavior-related information is information relating to the behavior of the customer in an area photographed by the camera 3 such as in a store or a monitoring target area.
  • the behavior-related information includes, for example, the number of cameras that photographed the corresponding customer in one visit, the customer's stay time for each area when the entire store or the store is divided into a plurality of areas in advance, Information indicating presence / absence of hand reaching detection, presence / absence of product purchase, customer's flow line, customer's line of sight, and the like can be included.
  • FIG. 3 shows an example of the customer information 242.
  • the information included in the customer information 242 is not limited to the case illustrated in FIG.
  • the customer information 242 may be composed of a part of the information illustrated in FIG. 3 including the facial feature information, such as composed of only the facial feature information.
  • the customer information 242 stores information indicating the weather and time when the customer arrived at the store, and the conditions (face feature amount information stored in the storage unit 24, which were satisfied at the previous visit among the various conditions included in the determination condition information 243). Then, information other than the example illustrated in FIG. 3 may be included.
  • the determination condition information 243 is information indicating conditions used when the condition determination unit 255 determines whether to store the feature amount calculated by the feature amount calculation unit 252 in the storage unit 24 as the customer information 242.
  • the judgment condition information 243 includes conditions according to the behavior of the customer in the store. For example, the determination condition information 243 includes “whether the feature amount of the same person has been calculated based on image data acquired from a predetermined number of cameras (which may be an arbitrary number) or more”, Whether the same person's stay time in the store (which may be an arbitrary time) is longer than a predetermined time, "whether a reach to a product is detected", or "POS (Point of Sale) acquired from the cashier terminal 4" ) Is the purchase of a product detected by associating it with information, etc.?, "Is the time of stay in a predetermined area determined by tracking a flow line exceeding a predetermined threshold value?" Condition has been satisfied? "
  • the determination condition information 243 includes various conditions according to the behavior of the customer in the store.
  • the determination condition information 243 includes a condition for determining whether or not it can be determined that the customer has an intention to purchase a product based on the behavior of the customer in the store.
  • the determination condition information 243 includes a condition for determining whether or not it can be determined that the customer has considered the purchase of the product based on the behavior of the customer in the store.
  • the determination condition information 243 may include conditions other than those exemplified above, such as, for example, "whether a change in weight of a product shelf located near the customer has been detected”.
  • the condition determination unit 255 described below determines the weight change based on the weight change when the customer picks up the product from the shelf provided with the weight sensor. Then, it is determined whether or not a feature amount not included in the customer information 242 is stored in the storage unit 24.
  • the determination condition information 243 may be information in which the various conditions described above are associated with information indicating weights.
  • FIG. 4 illustrates an example of the determination condition information 243 indicating the association between the condition and the weight.
  • the determination condition information 243 can include a weight threshold value that is a value to be compared with the total value of the weights. Note that the value of the weight associated with various conditions may be set arbitrarily.
  • the arithmetic processing unit 25 includes a microprocessor such as an MPU and peripheral circuits, and reads and executes the program 244 from the storage unit 24, thereby realizing various processing units in cooperation with the hardware and the program 244. I do.
  • the main processing units realized by the arithmetic processing unit 25 include, for example, an image data acquisition unit 251, a feature amount calculation unit 252, an analysis unit 253, a collation unit 254, a condition determination unit 255, and a registration unit 256. , An output unit 257.
  • the image data acquisition unit 251 acquires image data from the camera 3 via the communication I / F unit 23. Then, the image data acquisition unit 251 stores the acquired image data in the storage unit 24 as image data information 241.
  • the image data acquisition unit 251 acquires image data from each of the plurality of cameras 3.
  • the image data acquisition unit 251 can associate the identification information of the camera 3 with the image data and store the associated information in the storage unit 24.
  • the image data acquisition unit 251 can store the image data in the storage unit 24 so that it is possible to determine which camera 3 has acquired the image data.
  • the feature value calculation unit 252 calculates the feature value of the face image. For example, the feature amount calculation unit 252 extracts a face image (face region) that is a region indicating the face of the customer from the image data information 241. Then, the feature amount calculation unit 252 calculates the feature amount of the extracted face image.
  • a face image face region
  • the feature amount calculation unit 252 calculates the feature amount of the extracted face image.
  • the processing performed when the characteristic amount calculation unit 252 calculates the characteristic amount of the face image is not particularly limited.
  • the feature amount calculation unit 252 calculates the feature amount of the face image using a known method such as calculating the feature amount based on the feature point positions of the face such as eyes, nose, and mouth end detected from the face image. Can be calculated.
  • the feature amount calculation unit 252 may calculate the feature amount using other known methods, such as using luminance information or using a value corresponding to the relevance between local regions.
  • the image data acquisition unit 251 associates, for example, the identification information of the camera 3 with the image data, and stores the associated information. It is stored in the storage unit 24. Therefore, the feature amount calculation unit 252 can associate the identification information of the corresponding camera 3 with the calculated feature amount of the face image, for example. In other words, the feature amount calculation unit 252 can calculate the feature amount so as to be able to determine which camera 3 has calculated the image data based on the image data.
  • the analysis unit 253 analyzes the image data indicated by the image data information 241 and the face image extracted from the image data to acquire attribute information indicating the gender and age of the customer, and to obtain attribute information indicating the customer's store or area. It acquires behavior-related information (behavior information) such as the length of stay, presence / absence of reaching for a product, detection of a flow line, and detection of a line of sight.
  • behavior-related information such as the length of stay, presence / absence of reaching for a product, detection of a flow line, and detection of a line of sight.
  • the analysis unit 253 analyzes the image data indicated by the image data information 241 and the face image extracted from the image data, so that the attribute statistical information indicating the total value and ratio of the customer's age and gender, Statistical information that does not specify an individual customer at a location photographed by the camera 3 such as in a store, such as heat map information indicating which area in the store the user stays for a long time, passing-by number information indicating the number of customers who passed within a predetermined time. Information can be obtained.
  • the analysis unit 253 can acquire attribute information and behavior-related information, which are information for each customer, and can also acquire statistical information that does not specify an individual customer. Further, the analysis unit 253 associates, for example, with the POS (Point of Sale) information acquired from the cashier terminal 4 using the feature amount of the face image to determine whether the customer purchased the product. Behavior-related information indicating whether or not a product has been purchased can be obtained. Note that the processing of the analysis unit 253 may be realized using a known method such as estimation of gender or age based on the feature amount. Therefore, a detailed description of the processing of the analysis unit 253 is omitted.
  • POS Point of Sale
  • the matching unit 254 checks whether the feature amount of the face image calculated by the feature amount calculation unit 252 is already stored in the storage unit 24. For example, the matching unit 254 compares the feature amount calculated by the feature amount calculating unit 252 with a feature amount (face feature amount information) included in the customer information 242 stored in the storage unit 24, thereby obtaining the feature amount. It is confirmed whether or not the feature amount of the face image calculated by the calculation unit 252 is already stored in the storage unit 24.
  • the matching unit 254 determines that the feature amount of the face image calculated by the feature amount calculation unit 252 is already stored in the storage unit 24. In this case, the matching unit 254 can update the customer information 242. For example, the matching unit 254 can increase the number of visits to the store corresponding to the matched feature amount in the customer information 242 by one, or update the last visit date. Note that an updating unit may be provided, and the matching unit 254 may instruct the updating unit to update. In addition, the matching unit 254 can instruct the output unit 257 to output information indicating that the customer having the feature amount stored in the storage unit 24 has visited the store to the screen display unit 22 or the like.
  • the matching unit 254 determines that the feature amount is not included in the customer information 242 (that is, the feature amount calculated by the feature amount calculation unit 252 is stored in the storage unit 24). Is not stored in the condition determination unit 255. In other words, when determining that the feature amount is not included in the customer information 242, the collation unit 254 does not immediately store the feature amount in the storage unit 24 and stores the feature amount in the storage unit 24. The condition determination unit 255 is notified to determine whether or not it is not.
  • the condition determination unit 255 determines whether or not to store a feature amount not included in the customer information 242 in the storage unit 24. For example, the condition determination unit 255 determines whether or not to store a feature amount that is not included in the customer information 242 in the storage unit 24 based on whether or not it is determined that the customer's behavior in the store has an intention to purchase a product. Is determined. Specifically, for example, upon receiving from the matching unit 254 that the feature amount is not included in the customer information 242, the condition determination unit 255 receives the result of the feature amount calculation by the feature amount calculation unit 252 and the analysis unit 253. And the judgment condition information 243 is checked.
  • condition determining unit 255 determines the behavior of the customer in the store determined based on the result of the characteristic amount calculation by the characteristic amount calculating unit 252 and the behavior-related information (behavior information) acquired as a result of the analysis by the analyzing unit 253. Based on the condition indicated by the determination condition information 243, it is determined whether or not a feature amount not included in the customer information 242 is stored in the storage unit 24.
  • the condition determination unit 255 determines whether to store the feature amount in the storage unit 24 based on whether or not the behavior of the customer in the store satisfies the condition indicated by the determination condition information 243.
  • FIG. 5 shows an example of customer behavior in a store.
  • image data showing the same customer is acquired by each of the three cameras 3 (camera 3-1, camera 3-2, camera 3-3).
  • the determination condition information 243 includes a condition “has the feature amount of the same person been calculated based on image data obtained from three or more cameras”.
  • condition determination unit 255 calculates the same feature amount based on the image data acquired from the three cameras, the condition indicated by the determination condition information 243 is satisfied by the behavior of the customer in the store. Judge. As a result, the condition determination unit 255 determines to store the feature amount in the storage unit 24. Then, the condition determination unit 255 notifies the registration unit 256 that it has determined that the feature amount is to be stored in the storage unit 24.
  • the condition determination unit 255 “calculates the feature amount of the same person based on image data acquired from a predetermined number or more of cameras”, “the same person identified based on the feature amount”. The time spent in the store exceeds a predetermined threshold value, the "reaching of the product was detected,” and the "purchase of the product by associating it with the POS (Point-of-sale) information obtained from the cashier terminal 4.
  • the condition determination unit 255 notifies the registration unit 256 that it has determined that the feature amount is to be stored in the storage unit 24.
  • the condition determination unit 255 suspends the notification to the registration unit 256 that it has determined that the feature amount is to be stored in the storage unit 24.
  • condition determination unit 255 determines that the feature value is to be stored in the storage unit 24 and registers that the feature value is determined to be stored in the storage unit 24. Notify section 256. On the other hand, when the added value is equal to or smaller than the predetermined weight threshold, the condition determination unit 255 suspends the notification to the registration unit 256 that it has determined that the feature amount is to be stored in the storage unit 24.
  • condition determination unit 255 determines whether or not to store the feature amount not included in the customer information 242 in the storage unit 24 based on the behavior of the customer in the store.
  • the condition determining unit 255 may be configured to perform the condition determination at an arbitrary timing.
  • the configuration may be such that the condition is determined each time the feature amount calculation unit 252 calculates the feature amount or the comparison unit 254 performs the matching, or the condition determination may be performed at predetermined intervals. May be configured to be performed. Further, for example, by providing a camera at the cash register terminal or at the exit of the store, the condition determination unit 255 can make the determination at the timing when the settlement process of the product by the cash register terminal is completed or when the customer leaves the store.
  • the registration unit 256 stores in the storage unit 24 the feature amount determined by the condition determination unit 255 to be stored in the storage unit 24. For example, the registration unit 256 receives a notification from the condition determination unit 255 that determines that the feature amount is to be stored in the storage unit 24. Then, the registration unit 256 stores the feature amount as the customer information 242 in the storage unit 24. At this time, the registration unit 256 stores the feature amount as the face feature amount information, and stores attribute information and the like in association with the face feature amount information.
  • the registration unit 256 stores, in the storage unit 24, the feature amount determined by the condition determination unit 255 to be stored in the storage unit 24 as customer information 242. Therefore, the feature amount that the condition determination unit 255 does not determine to store in the storage unit 24 is not stored in the storage unit 24 as the customer information 242.
  • the registration unit 256 may be configured to store the feature amount at an arbitrary timing.
  • the registration unit 256 may be configured to store the feature amount in the storage unit 24 without waiting in response to the result of the determination by the condition determination unit 255, or may be performed at a predetermined timing such as once a day in a batch. May be configured to store the feature amount in the storage unit 24.
  • the output unit 257 instructs the screen display unit 22 and other external devices to perform predetermined output based on an instruction from the matching unit 254, a result of processing by the registration unit 256, and the like.
  • the output unit 257 instructs the screen display unit 22 and the like to output information indicating that a customer having the feature amount stored in the storage unit 24 has visited the store. .
  • the output unit 257 sends the information according to the result of the registration by the registration unit 256 (for example, statistical information such as the number of registrations in one day or information about the registrant) to the screen display unit 22 or the like. You can instruct.
  • the information output instruction in accordance with the result of the registration by the output unit 257 may be performed every time the information is stored in the customer information 242, or may be output once a day at a predetermined time. It may be performed at intervals.
  • the output unit 257 may, for example, instruct the screen display unit 22 to output the customer information 242 and the like together with the image information 221 and the weather information 223 acquired by the camera 3 as shown in FIG. I can do it.
  • FIG. 6 illustrates an example of a display on the screen display unit 22 that is output as a result of an instruction from the output unit 257. Referring to FIG. 6, in response to an instruction from the output unit 257, for example, image information 221, customer visitor information 222, weather information 223, visit count statistical information 224, attribute statistical information 225, It is possible to display heat map information 226, passing number information 227, and the like.
  • the image information 221 indicates image data (image data information 241) acquired from the camera 3.
  • the customer visitor information 222 indicates information on customers who are currently visiting the store.
  • the visiting customer information 222 can include at least a part of the customer information 242.
  • the weather information 223 indicates the weather. In the case illustrated in FIG. 6, the weather information 223 indicates the weather for three days before and after the current day.
  • the visit count statistics information 224 indicates information indicating how many times customers in the store have visited the store in the past.
  • the attribute statistical information 225 is information indicating the number of customers for each age and gender.
  • the heat map information 226 is information indicating in which area in the store the customer stays for a long time.
  • the passing number information 227 is information indicating the number of people that the customer has passed within a predetermined time.
  • the visit number statistical information 224, attribute statistical information 225, heat map information 226, and passing number information 227 are acquired, for example, as a result of analysis by the analysis unit 253.
  • the output unit 257 can instruct the screen display unit 22 to output the customer information 242 and the like together with the image data acquired by the image data acquisition unit 251 and the analysis result by the analysis unit 253.
  • the output unit 257 may instruct the screen display unit 22 to output information other than those exemplified above.
  • the above is an example of the configuration of the customer information registration device 2.
  • the camera 3 acquires the image data.
  • the camera 3 is, for example, previously installed at a predetermined position in a store, and monitors the inside of the store.
  • the camera 3 may be an existing surveillance camera or the like.
  • the cashier terminal 4 manages sales information according to exchanges with customers, such as purchase of goods.
  • the cashier terminal 4 is equipped with a POS system.
  • the cashier terminal 4 can transmit information indicating that the customer has purchased the product to the customer information registration device 2.
  • FIG. 7 is a flowchart illustrating an example of the operation of the customer information registration device 2.
  • the image data acquisition unit 251 acquires image data from the camera 3 via the communication I / F unit 23 (Step S101). Then, the image data acquisition unit 251 stores the acquired image data in the storage unit 24 as image data information 241.
  • the feature value calculation unit 252 calculates the feature value of the face image (step S102). For example, the feature amount calculation unit 252 extracts a face image (face region) that is a region indicating the face of the customer from the image data information 241. Then, the feature amount calculation unit 252 calculates the feature amount of the extracted face image.
  • the collation unit 254 checks whether the feature amount of the face image calculated by the feature amount calculation unit 252 is already stored in the storage unit 24 (Step S103). When the calculated feature amount is stored in the storage unit 24 (step S103, YES), the matching unit 254 updates the customer information 242 (step S106). Further, the matching unit 254 can instruct the output unit 257 to output information indicating that the customer having the feature amount stored in the storage unit 24 has visited the store to the screen information unit 22 or the like. On the other hand, when the calculated feature amount is not stored in the storage unit 24 (step S103, NO), the matching unit 254 sets a condition that the feature amount calculated by the feature amount calculation unit 252 is not stored in the storage unit 24. The determination unit 255 is notified.
  • the condition determination unit 255 determines whether or not to store a feature amount not included in the customer information 242 in the storage unit 24 based on the behavior of the customer in the store (step S104).
  • a predetermined condition for example, the condition indicated by the determination condition information 243
  • the condition determination unit 255 determines that the feature amount is stored in the storage unit 24.
  • the condition determination unit 255 notifies the registration unit 256 that it has determined that the feature amount is to be stored in the storage unit 24. Thereby, the registration unit 256 stores the feature amount in the storage unit 24.
  • the condition determination unit 255 does not store the feature amount in the storage unit 24.
  • the customer information registration device 2 includes the matching unit 254, the condition determination unit 255, and the registration unit 256.
  • the registration unit 256 stores only the feature amounts determined to satisfy the predetermined condition by the condition determination unit 255 among the feature amounts determined by the matching unit 254 not to be stored in the storage unit 24. , Can be stored in the storage unit 24.
  • the condition determining unit 255 may determine whether to store the feature amount in the storage unit 24 based on the condition included in the determination condition information 243 including various conditions according to the behavior of the customer in the store. It is configured to be able to. With such a configuration, for example, it is possible to suppress storing information of a person who is inappropriate to be treated as a repeater, such as a person who has simply passed through the store, in the storage unit 24.
  • the customer information registration device 2 is realized by one information processing device (see FIG. 2).
  • the customer information registration device 2 may be realized by, for example, a plurality of information processing devices communicably connected via a network.
  • the determination condition information 243 is stored in the storage unit 24 in advance.
  • the various conditions indicated by the determination condition information 243 may be, for example, conditions obtained as a result of learning by a machine learning unit.
  • the case where the camera 3 is provided outside the customer information registration device 2 has been described as an example.
  • the customer information registration device 2 may have a function as the camera 3.
  • the camera 3 may have a function as the customer information registration device 2. That is, the camera 3 may be configured to have each function described in the present embodiment.
  • the matching unit 254 updates the customer information 242.
  • the matching unit 254 may be configured to update the customer information 242 after receiving the result of the determination by the condition determining unit 255. That is, the condition determining unit 255 may be configured to perform the condition determination irrespective of the result of the matching by the matching unit 254.
  • the customer information registration system 1 described in the present embodiment is a system for efficiently detecting repeaters and, for example, a system for efficiently detecting suspicious persons such as shoplifters who should pay attention to. It can also be used as a system.
  • the customer information registration device 2 stores the feature amount of the face image when it is determined that the customer has no intention to purchase a product based on the customer's behavior in the store or that the shopper is performing a behavior peculiar to shoplifting. It may be configured to be stored in the unit 24.
  • the customer information registration device 5 includes, for example, a collation unit 51, an action information acquisition unit 52, and a condition determination unit 53.
  • the customer information registration device 5 includes an arithmetic device such as a CPU (Central Processing Unit) and a storage device that stores a program.
  • the customer information registration device 5 realizes each of the above-described processing units by causing the arithmetic device to execute a program stored in the storage device.
  • the collation unit 51 collates the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit.
  • the behavior information acquisition unit 52 acquires behavior information according to the behavior of the customer in the store. For example, the behavior information acquisition unit 52 acquires behavior information based on image data acquired by a camera in a store. The behavior information acquiring unit 52 may acquire behavior information by a method other than the above-described method.
  • condition determination unit 53 determines whether or not the face data is stored in the storage unit based on the behavior information acquired by the behavior information acquisition unit 52. Based on the result of the determination by the condition determining unit 52, the face data is stored in the storage unit.
  • the customer information registration device 5 includes the collation unit 51, the behavior information acquisition unit 52, and the condition determination unit 53.
  • the condition determination unit 53 determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit 53. I can do it.
  • a program according to another embodiment of the present invention is a program for storing customer face data based on image data acquired by a camera in a store and face data stored in the storage unit in a customer information registration device having a storage unit. And a behavior information acquisition unit 52 that acquires behavior information according to the behavior of the customer in the store. If the collation fails, based on the behavior information acquired by the behavior information acquisition unit 52, And a condition determining unit 53 for determining whether to store the face data in the storage unit.
  • the customer information registration device having the storage unit stores the customer's face data based on the image data acquired by the camera of the store and the storage unit. And collating with the face data, acquiring the behavior information according to the customer's behavior in the store, and if the collation fails, whether to store the face data in the storage unit based on the acquired behavior information It is a method of determining.
  • a camera includes a collation unit 51 for collating customer face data based on acquired image data with face data stored in a storage unit, and a behavior of the customer in a store.
  • a behavior information acquisition unit 52 that acquires behavior information according to the condition information, and a condition determination that determines whether or not the face data is stored in a storage unit based on the behavior information acquired by the behavior information acquisition unit when the verification fails.
  • a camera 53 a camera
  • a customer information registration system 7 including a camera 6 for acquiring image data and a customer information registration device 5 may be used.
  • the camera 6 and the customer information registration device 5 are communicably connected to each other.
  • the configuration of the customer information registration device 5 shown in FIG. 9 is the same as that already described with reference to FIG. Therefore, detailed description is omitted.
  • the invention of the program, the customer information registration method, the camera, and the customer information registration system having the above-described configuration has the same effects and effects as those of the customer information registration device 5. Can be achieved.
  • the above-described object of the present invention can be achieved because it has the same effects and functions as those of the customer information registration device 5.
  • a matching unit that matches the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit, A behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store; When the collation fails, a condition determination unit that determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit, A customer information registration device.
  • the customer information registration device may store the face data in the storage unit based on whether the customer has an intention to purchase a product from the behavior information or whether it is determined that the customer has considered the purchase of the product. Customer information registration device to determine whether or not.
  • a customer information registration device having a storage unit, The face data of the customer based on the image data acquired by the camera of the store is compared with the face data stored in the storage unit, Acquiring behavior information according to the behavior of the customer in the store, When the collation fails, it is determined whether or not the face data is stored in the storage unit based on the acquired behavior information.
  • a matching unit that matches the customer's face data based on the image data acquired by the store camera with the face data stored in the storage unit
  • Behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store
  • a condition determination unit that determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit, The program to realize.
  • a matching unit that matches customer face data based on the acquired image data with face data stored in the storage unit; Behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store, When the collation fails, a condition determination unit that determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit, With a camera.
  • a customer information registration system including a customer information registration device and a camera, The customer information registration device, A matching unit that matches customer face data based on image data obtained by the camera with face data stored in a storage unit, Behavior information acquisition unit that acquires behavior information according to the behavior of the customer in the store, If the collation fails, a condition determination unit that determines whether to store the face data in the storage unit based on the behavior information acquired by the behavior information acquisition unit, Customer information registration system.
  • the programs described in the above embodiments and the supplementary notes are stored in a storage device or are recorded on a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、を有する。

Description

顧客情報登録装置
　本発明は、顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムに関する。
　マーケティングなどの目的のため、顧客の顔画像に基づいて算出される特徴量情報を登録、管理することがある。
　このような技術の一つとして、例えば、特許文献１がある。特許文献１には、顧客が購入を希望する商品情報を入力する手段と、商品情報と顧客の顔画像とを入力して結合し顧客情報として記憶する手段と、商品の販売を行う売り場を識別する手段と、売場のサーバに顧客情報を送信する手段と、を有する商品販売システムが記載されている。特許文献１によると、接客終了後、顧客情報を登録するか店員の端末に通知する。そして、店員が登録必要と判断した場合に、顧客情報の登録が行われる。
特開２００５－２５０７４５号公報
　特許文献１に記載の技術によると、顧客情報の登録を行う際には、店員の判断が必要になる。そのため、手間がかかり非効率であるという問題があった。一方、顧客情報が登録されているか否かのみに基づいて、顧客情報が登録されていないものをすべて登録するとすると、例えば、ごく短い時間のみカメラに映りこんだ人など有用性の低い情報も登録されてしまう。その結果、データ容量の肥大化や有用性の低いデータの増大という問題が生じることになる。
　このように、効率的に有用性の高い顧客情報を登録することが難しい、という問題が生じていた。
　そこで、本発明の目的は、効率的に有用性の高い顧客情報を登録することが難しい、という問題を解決する顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムを提供することにある。
　かかる目的を達成するため本発明の一形態である顧客情報登録装置は、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
　を有する
　という構成をとる。
　また、本発明の他の形態である顧客情報登録方法は、
　記憶部を有する顧客情報登録装置が、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、
　前記顧客の前記店舗内における行動に応じた行動情報を取得し、
　前記照合が失敗した場合、取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する
　という構成をとる。
　また、本発明の他の形態である記録媒体は、
　記憶部を有する顧客情報登録装置に、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
　を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
　また、本発明の他の形態であるカメラは、
　取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
　を有する
　という構成をとる。
　また、本発明の他の形態である顧客情報登録システムは、
　顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
　前記顧客情報登録装置は、
　前記カメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、を備える、
　という構成をとる。
　本発明は、以上のように構成されることにより、効率的に有用性の高い顧客情報を登録することが難しい、という問題を解決する顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムを提供することが可能となる。
本発明の第１の実施形態における顧客情報登録システムの全体の構成の一例を示す図である。 図１で示す顧客情報登録装置の構成の一例を示すブロック図である。 図２で示す顧客情報の一例を示す図である。 図２で示す判定条件情報の一例を示す図である。 登録条件の一例を示す図である。 出力部による出力の一例を示す図である。 顧客情報登録装置の動作の一例を示すフローチャートである。 本発明の第２の実施形態における顧客情報登録装置の構成の一例を示すブロック図である。 本発明の第２の実施形態における顧客情報登録システムの構成の一例を示すブロック図である。
［第１の実施形態］
　本発明の第１の実施形態を図１から図７までを参照して説明する。図１は、顧客情報登録システム１の全体の構成の一例を示す図である。図２は、顧客情報登録装置２の構成の一例を示すブロック図である。図３は、顧客情報２４２の一例を示す図である。図４は、判定条件情報２４３の一例を示す図である。図５は、登録条件の一例を示す図である。図６は、出力部２５７による出力の一例を示す図である。図７は、顧客情報登録装置２の動作の一例を示すフローチャートである。
　本発明の第１の実施形態では、顧客情報登録装置２を有する顧客情報登録システム１について説明する。顧客情報登録装置２は、リピーター検出などの顧客分析に活用することなどを目的に、顧客の顔画像から算出した特徴量などを含む情報を顧客情報２４２として記憶部２４に格納する。後述するように、本実施形態における顧客情報登録装置２は、顧客の顔データと、記憶部２４が格納している顔データと、を照合する。また、顧客情報登録装置２は、照合が失敗した場合（すなわち、取得した顔データが記憶部２４に格納されていない場合）、顔データに対応する顧客の店舗内における行動が所定の条件を満たすか否か判定する。そして、顧客の行動が所定の条件を満たす場合、顧客情報登録装置２は、顧客の顔データなどを含む情報を新たに顧客情報２４２として登録する。ここで、顔データとは、顔画像から算出された特徴量や顔画像のことをいう。以降の説明では、顔データとして特徴量を採用した場合について説明する。
　図１は、顧客情報登録システム１の全体の構成の一例を示している。図１を参照すると、顧客情報登録システム１は、例えば、顧客情報登録装置２と、カメラ３と、レジ端末４と、を有している。
　図１で示すように、顧客情報登録装置２とカメラ３とは、互いに通信可能なよう接続されている。また、顧客情報登録装置２とレジ端末４とは、互いに通信可能なよう接続されている。
　なお、顧客情報登録システム１の構成は、図１で示す場合に限定されない。例えば、カメラ３やレジ端末４の数は、１つであっても構わないし、２つ以上の複数であっても構わない。また、例えば、顧客情報登録システム１は、商品棚や店舗の入り口に設置された重みセンサなどの各種センサやＲＦＩＤ（radio frequency identifier）リーダーなどを有しても構わない。また、例えば、顧客情報登録システム１は、レジ端末４を有さなくても構わない。
　顧客情報登録装置２は、特徴量を格納する情報処理装置である。図２は、顧客情報登録装置２の構成の一例を示している。図２を参照すると、顧客情報登録装置２は、主な構成要素として、操作入力部２１と、画面表示部２２と、通信Ｉ／Ｆ部２３と、記憶部２４と、演算処理部２５と、を有している。
　操作入力部２１は、キーボードやマウスなどの操作入力装置からなる。操作入力部２１は、オペレータの操作を検出して演算処理部２５に出力する。
　画面表示部２２は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部２２は、演算処理部２５からの指示に応じて、各種情報を画面表示する。例えば、画面表示部２２は、演算処理部２５からの指示に応じて、画像データ情報２４１、顧客情報２４２、条件判定部２５５による判定の結果に基づく情報、などを画面表示する。
　通信Ｉ／Ｆ部２３は、例えば、データ通信回路からなる。通信Ｉ／Ｆ部２３は、通信回線を介して接続された各種装置との間でデータ通信を行う。例えば、顧客情報登録装置２は、通信Ｉ／Ｆ部２３を介して、カメラ３、レジ端末４、その他センサなど外部装置と通信を行う。
　記憶部２４は、ハードディスクやメモリなどの記憶装置である。記憶部２４は、演算処理部２５における各種処理に必要な処理情報やプログラム２４４を記憶する。プログラム２４４は、演算処理部２５に読み込まれて実行されることにより各種処理部を実現する。プログラム２４４は、通信Ｉ／Ｆ部２３などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部２４に保存されている。記憶部２４で記憶される主な情報としては、画像データ情報２４１と顧客情報２４２と判定条件情報２４３とがある。
　画像データ情報２４１は、通信Ｉ／Ｆ部２３を介してカメラ３から取得した画像データである。画像データ情報２４１は、例えば、特徴量算出部２５２や分析部２５３で利用される。
　顧客情報２４２は、店舗内などカメラ３による撮影エリア内、監視対象エリア内に訪れた顧客に関する情報を示している。顧客情報２４２には、少なくとも、顧客の顔画像から算出した特徴量を示す顔特徴量情報が含まれている。また、顧客情報２４２には、顔画像などから判断される顧客の年齢や性別などを示す属性情報、来店回数や前回来店日などを示す過去の来店情報、店舗内などカメラ３による撮影エリア内、監視対象エリア内における顧客の行動に関連する情報である行動関連情報（行動情報）、などを含むことが出来る。
　図３は、顧客情報２４２の一例を示している。図３を参照すると、顧客情報２４２では、例えば、ＩＤと、顔特徴量情報と、属性情報と、来店回数と、前回来店日と、行動関連情報と、を対応付けている。例えば、図３の１行目では、ID「Av+E3sCH」と、顔特徴量情報「xxxxxxxxxx」と、属性情報「aaaaa」と、来店回数「２」と、前回来店日「2018/07/20」と、行動関連情報「XXXXXX」とを対応付けている。顔特徴量情報と行動関連情報とが対応付けて格納されることにより、例えばマーケティング担当者は、該顔特徴量情報が記憶部２４に格納された根拠を知ることができる。
　なお、IDとは、顧客を識別するための識別情報である。IDは、例えば、新たな顔特徴量情報を記憶部２４に格納する際に自動的に付与される。顔特徴量情報は、顔画像の特徴量を示す情報である。顔特徴量情報は、後述する特徴量算出部２５２により顔画像（画像データ情報２４１）に基づいて算出される。属性情報は、年齢や性別など顧客の属性を示す情報である。属性情報は、例えば、画像データ情報２４１などに基づいて、分析部２５３で判断される。来店回数は、前回までの（または、現在を含む）顧客の来店回数を示しており、前回来店日は、顧客が前回来店した日を示している。来店回数や前回来店日などの来店情報は、例えば、照合部２５４などにより更新される。行動関連情報は、店舗内などカメラ３による撮影エリア内、監視対象エリア内における顧客の行動に関連する情報である。行動関連情報には、例えば、１回の来店で対応する顧客を撮影したカメラの数、店舗内全体や店舗内を予め複数のエリアに区切った際のエリアごとの顧客の滞在時間、商品への手伸ばしの検出の有無、商品購入の有無、顧客の動線、顧客の視線などを示す情報を含むことが出来る。
　なお、図３は顧客情報２４２の一例を示している。顧客情報２４２に含まれる情報は、図３で例示した場合に限定されない。例えば、顧客情報２４２は、顔特徴量情報のみから構成されるなど、顔特徴量情報を含む図３で例示した情報の一部から構成されても構わない。また、顧客情報２４２には、顧客が来店した際の天気や時刻を示す情報や、判定条件情報２４３に含まれる各種条件のうち前回来店時に満たした条件（顔特徴量情報を記憶部２４に格納すると判断する際に満たした条件）など図３で例示した以外の情報を含んでも構わない。
　判定条件情報２４３は、特徴量算出部２５２により算出された特徴量を顧客情報２４２として記憶部２４に格納するか否か条件判定部２５５が判定する際に用いる、条件を示す情報である。
　判定条件情報２４３には、店舗内における顧客の行動に応じた条件が含まれている。例えば、判定条件情報２４３には、「同一人物の特徴量を予め定められた所定数（任意の数で構わない）以上のカメラから取得した画像データに基づいて算出したか」、「特徴量に基づいて特定される同一人物の店舗内の滞在時間（任意の時間で構わない）が所定以上か」「商品への手伸ばしを検出したか」、「レジ端末４から取得したPOS（Point of sale）情報などとの関連付けにより商品の購入を検出したか」、「動線の追跡などにより予め定められた一定のエリアの滞在時間が予め定められた閾値を超えたか」、「人物の動線が所定の条件を満たしたか」などの条件を含むことが出来る。
　このように、判定条件情報２４３には、店舗内における顧客の行動に応じた各種条件が含まれている。換言すると、判定条件情報２４３には、店舗内における顧客の行動に基づいて、顧客に商品購入の意思があると判断できるか否かを判定するための条件が含まれている。また、判定条件情報２４３には、店舗内における顧客の行動に基づいて、顧客が商品購入を検討したと判断できるか否かを判定するための条件が含まれている。このように判定条件情報２４３を設定することで、例えば、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報を記憶部２４に格納することを抑制することが可能となる。つまり、リピーター分析など分析対象とするのに適切な顧客の情報を登録することが可能となる。
　なお、判定条件情報２４３には、例えば、「顧客近傍に位置する商品棚における重量変化を検出したか」など、上記例示した以外の条件を含んでも構わない。「顧客近傍に位置する商品棚における重量変化を検出したか」という条件の場合、後述の条件判定部２５５は、重量センサを設けた棚から顧客が商品を手に取った場合の重量変化に基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。
　また、判定条件情報２４３は、上述した各種条件と、重みを示す情報と、を対応づけた情報であっても構わない。図４は、条件と重みとの対応づけを示す判定条件情報２４３の一例を示している。例えば、図４の１行目では、条件「同一人物の特徴量を所定数以上のカメラからの画像データから算出」と重み「１５」とを対応づけている。また、重みを示す情報を含む場合、判定条件情報２４３には、重みの合計値と比較する値である重み閾値を含むことが出来る。なお、各種条件と対応づけられる重みの値は任意に設定して構わない。
　演算処理部２５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２４からプログラム２４４を読み込んで実行することにより、上記ハードウェアとプログラム２４４とを協働させて各種処理部を実現する。演算処理部２５で実現される主な処理部として、例えば、画像データ取得部２５１と、特徴量算出部２５２と、分析部２５３と、照合部２５４と、条件判定部２５５と、登録部２５６と、出力部２５７と、がある。
　画像データ取得部２５１は、通信Ｉ／Ｆ部２３を介して、カメラ３から画像データを取得する。そして、画像データ取得部２５１は、取得した画像データを画像データ情報２４１として記憶部２４に格納する。
　なお、顧客情報登録システム１が複数のカメラ３を有する場合、画像データ取得部２５１は、複数のカメラ３のそれぞれから画像データを取得する。このような場合、例えば、画像データ取得部２５１は、カメラ３の識別情報と画像データとを対応づけて、当該対応付けた情報を記憶部２４に格納することが出来る。換言すると、画像データ取得部２５１は、どのカメラ３により取得された画像データであるか判別可能なように画像データを記憶部２４に格納することが出来る。
　特徴量算出部２５２は、顔画像の特徴量を算出する。例えば、特徴量算出部２５２は、画像データ情報２４１から顧客の顔を示す領域である顔画像（顔領域）を抽出する。そして、特徴量算出部２５２は、抽出した顔画像の特徴量を算出する。
　なお、本実施形態においては、特徴量算出部２５２が顔画像の特徴量を算出する際の処理については特に限定しない。例えば、特徴量算出部２５２は、顔画像から検出した目・鼻・口端などの顔の特徴点位置に基づいて特徴量を算出するなど、既知の方法を用いて、顔画像の特徴量を算出することが出来る。もちろん、特徴量算出部２５２は、輝度情報を用いる、局所領域間の関連性に応じた値を用いるなど、その他既知の方法を用いて特徴量を算出しても構わない。
　また、上述したように、顧客情報登録装置２が複数のカメラ３を有する場合、画像データ取得部２５１は、例えば、カメラ３の識別情報と画像データとを対応づけて、当該対応付けた情報を記憶部２４に格納する。そのため、特徴量算出部２５２は、例えば、算出した顔画像の特徴量に、対応するカメラ３の識別情報を対応付けることが出来る。換言すると、特徴量算出部２５２は、どのカメラ３により取得された画像データに基づいて算出されたものであるか判別可能なように、特徴量を算出することが出来る。
　分析部２５３は、画像データ情報２４１が示す画像データや当該画像データから抽出した顔画像を分析することで、顧客の性別や年齢を示す属性情報を取得したり、顧客の店舗内又はエリアごとの滞在時間、商品への手伸ばしの有無、動線の検出、視線の検出などの行動関連情報（行動情報）を取得したりする。また、分析部２５３は、像データ情報２４１が示す画像データや当該画像データから抽出した顔画像を分析することで、顧客の年齢や性別などの合計値や割合を示す属性統計情報や、顧客が店舗内のどのエリアに長く滞在するかを示すヒートマップ情報、所定時間内に顧客が通過した人数を示す通過人数情報などの、店舗内などカメラ３による撮影箇所における顧客個人を特定しない統計的な情報を取得することが出来る。
　このように、分析部２５３は、画像データ情報２４１に基づいて、顧客ごとの情報である属性情報や行動関連情報を取得するとともに顧客個人を特定しない統計的な情報を取得することが出来る。また、分析部２５３は、例えば、顔画像の特徴量を用いてレジ端末４から取得したPOS（Point of sale）情報などとの関連付けを行うことで、顧客が商品を購入したか、どのような商品を購入したか、を示す行動関連情報を取得することが出来る。なお、分析部２５３の処理も、特徴量に基づく性別や年齢の推定など既知の方法を用いて実現して構わない。そのため、分析部２５３の処理の詳細な説明は省略する。
　照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する。例えば、照合部２５４は、特徴量算出部２５２が算出した特徴量と、記憶部２４に格納された顧客情報２４２に含まれる特徴量（顔特徴量情報）と、を照合することで、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する。
　算出した特徴量が顧客情報２４２に含まれている場合、照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されていると判定する。この場合、照合部２５４は、顧客情報２４２の更新を行うことが出来る。例えば、照合部２５４は、顧客情報２４２のうち、照合した特徴量に対応する来店回数を１増やしたり、前回来店日の更新を行ったりすることが出来る。なお、更新部を設け、照合部２５４が更新部に対して更新を指示するようしてもよい。また、照合部２５４は、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を画面表示部２２などに出力するよう出力部２５７に対して指示することが出来る。
　一方、算出した特徴量が顧客情報２４２に含まれていない場合、照合部２５４は、特徴量が顧客情報２４２に含まれていない（つまり、特徴量算出部２５２が算出した特徴量は記憶部２４に格納されていない）旨を条件判定部２５５に通知する。換言すると、照合部２５４は、特徴量が顧客情報２４２に含まれていない旨を判定すると、直ちに当該特徴量を記憶部２４へ格納することはせず、記憶部２４へ特徴量を格納するか否か判定するよう条件判定部２５５へ通知する。
　条件判定部２５５は、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。例えば、条件判定部２５５は、店舗内における顧客の行動が商品購入の意思があると判断できるか否かに基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。具体的には、例えば、条件判定部２５５は、特徴量が顧客情報２４２に含まれていない旨の通知を照合部２５４から受信すると、特徴量算出部２５２による特徴量算出の結果や分析部２５３による分析の結果を確認するとともに、判定条件情報２４３を確認する。そして、条件判定部２５５は、特徴量算出部２５２による特徴量算出の結果や分析部２５３による分析の結果取得した行動関連情報（行動情報）などに基づいて判断される店舗内における顧客の行動と、判定条件情報２４３が示す条件と、に基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。
　例えば、条件判定部２５５は、顧客の店舗内における行動が、判定条件情報２４３が示す条件を満たすか否かに基づいて、特徴量を記憶部２４に格納するか否か判定する。例えば、図５は、店舗内における顧客の行動の一例を示している。図５では、３つのカメラ３（カメラ３－１、カメラ３－２、カメラ３－３）のそれぞれで、同一の顧客を映した画像データを取得している。このような状態において、判定条件情報２４３に、「同一人物の特徴量を、３つ以上のカメラから取得した画像データに基づいて算出したか」という条件が含まれているとする。この場合、条件判定部２５５は、３つのカメラから取得した画像データに基づいて同一の特徴量を算出しているため、判定条件情報２４３が示す条件を店舗内における顧客の行動が満たしている、と判断する。その結果、条件判定部２５５は、特徴量を記憶部２４に格納すると判定する。そして、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨を登録部２５６に通知する。
　このように、条件判定部２５５は、「同一人物の特徴量を、予め定められた所定数以上のカメラから取得した画像データに基づいて算出した」、「特徴量に基づいて特定される同一人物の店舗内の滞在時間が予め定められた閾値を超えた」「商品への手伸ばしを検出した」、「レジ端末４から取得したPOS（Point of sale）情報などとの関連付けにより商品の購入を検出した」、など、判定条件情報２４３が示す条件を顧客の店舗内の行動が満たす場合、特徴量を記憶部２４に格納すると判定する。そして、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨を登録部２５６に通知する。一方、判定条件情報２４３が示す条件を顧客の店舗内における行動が満たさない場合、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨の登録部２５６への通知を保留する。
　また、例えば、条件判定部２５５は、顧客の店舗内における行動に基づいて算出される値が予め定められた重み閾値を超えるか否かに基づいて、特徴量を記憶部２４に格納するか否か判定することが出来る。例えば、条件判定部２５５は、「同一人物の特徴量を、予め定められた所定数である３つ以上のカメラから取得した画像データに基づいて算出」して、かつ、「特徴量に基づいて特定される同一人物の店舗内の滞在時間が予め定められた閾値を超えた」場合、１５＋１０＝２５を算出する（図４参照）。このように、条件判定部２５５は、顧客の店舗内における行動が所定の条件を満たすごとに、当該条件に対応付けられた値を加算する。そして、加算した値が予め定められた重み閾値を超えた場合、条件判定部２５５は、特徴量を記憶部２４に格納すると判定して、特徴量を記憶部２４に格納すると判定した旨を登録部２５６に通知する。一方、加算した値が予め定められた重み閾値以下である場合、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨の登録部２５６への通知を保留する。
　このように、条件判定部２５５は、店舗内の顧客の行動に基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。
　なお、条件判定部２５５は、任意のタイミングで条件の判定を行うよう構成して構わない。例えば、特徴量算出部２５２が特徴量を算出したり照合部２５４による照合を行ったりするごとに条件の判定を行うよう構成しても構わないし、予め定められた所定の間隔ごとに条件の判定を行うよう構成しても構わない。また、例えば、レジ端末や店舗の出口にカメラを設けることで、条件判定部２５５は、レジ端末による商品の精算処理が終わったタイミングや顧客が退店したタイミングで判定を行うことができる。
　登録部２５６は、条件判定部２５５が記憶部２４に格納すると判定した特徴量を記憶部２４に格納する。例えば、登録部２５６は、条件判定部２５５から特徴量を記憶部２４に格納すると判定した旨の通知を受信する。すると、登録部２５６は、特徴量を顧客情報２４２として記憶部２４に格納する。この際、登録部２５６は、顔特徴量情報として特徴量を格納するとともに、当該顔特徴量情報と対応づけて、属性情報などを格納する。
　このように、登録部２５６は、条件判定部２５５が記憶部２４に格納すると判定した特徴量を、顧客情報２４２として記憶部２４に格納する。そのため、条件判定部２５５が記憶部２４に格納すると判定しない特徴量は、顧客情報２４２として記憶部２４に格納されない。
　なお、登録部２５６は、任意のタイミングで特徴量の格納を行うよう構成して構わない。例えば、登録部２５６は、条件判定部２５５による判定の結果を受けて待機せず特徴量を記憶部２４に格納するよう構成しても構わないし、バッチ的に日に１回などある所定のタイミングで特徴量を記憶部２４に格納するよう構成しても構わない。
　出力部２５７は、照合部２５４からの指示や登録部２５６による処理の結果などに基づいて、画面表示部２２やそのほか外部装置に所定の出力を行うよう指示する。
　例えば、出力部２５７は、照合部２５４からの通知に応じて、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を出力するよう画面表示部２２などに対して指示する。また、出力部２５７は、登録部２５６による登録の結果に応じた情報（例えば、一日のうちの登録件数などの統計情報や登録者に関する情報）を出力するよう画面表示部２２などに対して指示することが出来る。出力部２５７による登録の結果に応じた情報の出力指示は、顧客情報２４２に情報が格納されるごとに行われても構わないし、日に１回予め定められた時間に出力するなど、所定の間隔で行われても構わない。
　また、出力部２５７は、例えば、図６で示すように、カメラ３が取得した画像情報２２１や天気情報２２３などとともに、顧客情報２４２などを出力するよう画面表示部２２に対して指示することが出来る。図６は、出力部２５７による指示の結果出力される画面表示部２２の表示の一例を示している。図６を参照すると、出力部２５７からの指示に応じて、画面表示部２２上には、例えば、画像情報２２１、来店顧客情報２２２、天気情報２２３、来店回数統計情報２２４、属性統計情報２２５、ヒートマップ情報２２６、通過人数情報２２７、などを表示することが出来る。
　なお、画像情報２２１は、カメラ３から取得した画像データ（画像データ情報２４１）を示している。また、来店顧客情報２２２は、現在来店している顧客の情報を示している。来店顧客情報２２２には、顧客情報２４２の少なくとも一部を含めることが出来る。天気情報２２３は、天気を示している。図６で例示する場合、天気情報２２３は、当日前後３日間の天気を示している。来店回数統計情報２２４は、現在店舗内に存在する顧客のそれぞれが過去に何回来店しているかなどを示す情報を示している。属性統計情報２２５は、顧客の数を年齢、性別ごとに示す情報である。ヒートマップ情報２２６は、顧客が店舗内のどのエリアに長く滞在するかを示す情報である。通過人数情報２２７は、所定時間内に顧客が通過した人数を示す情報である。来店回数統計情報２２４、属性統計情報２２５、ヒートマップ情報２２６、通過人数情報２２７は、例えば、分析部２５３による分析の結果として取得される。
　このように、出力部２５７は、画像データ取得部２５１が取得した画像データや分析部２５３による分析の結果とともに、顧客情報２４２などを出力するよう画面表示部２２に対して指示することが出来る。出力部２５７は、上記例示した以外の情報を出力するよう画面表示部２２に対して指示しても構わない。
　以上が、顧客情報登録装置２の構成の一例である。
　カメラ３は、画像データを取得する。カメラ３は、例えば、店舗内の所定位置に予め設置されており、店舗内を監視している。カメラ３は、既存の監視カメラなどであって構わない。
　レジ端末４は、商品の購入など顧客とのやり取りに応じた販売情報を管理する。例えば、レジ端末４は、POSシステムを搭載している。レジ端末４は、顧客が商品を購入した際、当該顧客が商品を購入した旨を示す情報を顧客情報登録装置２に対して送信することが出来る。
　以上が、顧客情報登録システム１の構成の一例である。
　次に、顧客情報登録装置２の動作について説明する。図７は、顧客情報登録装置２の動作の一例を示すフローチャートである。
　図７を参照すると、画像データ取得部２５１は、通信Ｉ／Ｆ部２３を介して、カメラ３から画像データを取得する（ステップＳ１０１）。そして、画像データ取得部２５１は、取得した画像データを画像データ情報２４１として記憶部２４に格納する。
　特徴量算出部２５２は、顔画像の特徴量を算出する（ステップＳ１０２）。例えば、特徴量算出部２５２は、画像データ情報２４１から顧客の顔を示す領域である顔画像（顔領域）を抽出する。そして、特徴量算出部２５２は、抽出した顔画像の特徴量を算出する。
　照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する（ステップＳ１０３）。算出した特徴量が記憶部２４に格納されている場合（ステップＳ１０３、ＹＥＳ）、照合部２５４は、顧客情報２４２の更新を行う（ステップＳ１０６）。また、照合部２５４は、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を画面情報部２２などに出力するよう出力部２５７に対して指示することが出来る。一方、算出した特徴量が記憶部２４に格納されていない場合（ステップＳ１０３、ＮＯ）、照合部２５４は、特徴量算出部２５２が算出した特徴量が記憶部２４に格納されていない旨を条件判定部２５５に通知する。
　条件判定部２５５は、店舗内の顧客の行動に基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する（ステップＳ１０４）。店舗内の顧客の行動が所定の条件（例えば、判定条件情報２４３が示す条件）を満たす場合（ステップＳ１０４、ＹＥＳ）、条件判定部２５５は、特徴量を記憶部２４に格納すると判定する。そして、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨を登録部２５６に通知する。これにより、登録部２５６は、特徴量を記憶部２４に格納する。一方、店舗内の顧客の行動が所定の条件を満たさない場合（ステップＳ１０４、ＮＯ）、条件判定部２５５は、特徴量を記憶部２４に格納しない。
　以上が、顧客情報登録装置２の動作の一例である。
　このように、顧客情報登録装置２は、照合部２５４と、条件判定部２５５と、登録部２５６と、を有している。このような構成により、登録部２５６は、照合部２５４により記憶部２４に格納されていないと判断された特徴量のうち、条件判定部２５５により所定の条件を満たすと判断された特徴量のみを、記憶部２４に格納することが出来る。その結果、有用性の高い顔画像の特徴量のみを記憶部２４に格納させることが可能となる。これにより、例えば、有用蓋然性の低い情報の蓄積などを抑制することが可能となり、データ容量の肥大化を抑制することが可能となる。また、効率的にリピーター検出などを行うことが可能となる。
　また、条件判定部２５５は、店舗内における顧客の行動に応じた各種条件が含まれる判定条件情報２４３に含まれる条件に基づいて、特徴量を記憶部２４に格納するか否か判定することが出来るよう構成されている。このように構成することで、例えば、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報を記憶部２４に格納することを抑制することが可能となる。
　なお、本実施形態では、１台の情報処理装置により顧客情報登録装置２を実現する場合について説明した（図２参照）。しかしながら、顧客情報登録装置２は、例えば、ネットワークを介して通信可能なよう接続された複数台の情報処理装置により実現されても構わない。
　また、本実施形態においては、判定条件情報２４３は、記憶部２４に予め格納されているものとした。しかしながら、判定条件情報２４３が示す各種条件は、例えば、機械学習部による学習の結果得られる条件などであっても構わない。
　また、本実施形態においては、顧客情報登録装置２の外部にカメラ３を有する場合について例示した。しかしながら、顧客情報登録装置２がカメラ３としての機能を有しても構わない。また、カメラ３が顧客情報登録装置２としての機能を有しても構わない。つまり、本実施形態で説明した各機能を有するようにカメラ３を構成しても構わない。
　また、本実施形態においては、算出した特徴量が記憶部２４に格納されていない場合、照合部２５４（または、更新部）は、顧客情報２４２の更新を行うとした。しかしながら、照合部２５４は、条件判定部２５５による判定の結果を受けてから顧客情報２４２の更新を行うよう構成しても構わない。つまり、条件判定部２５５は、照合部２５４による照合の結果にかかわらず、条件の判定を行うよう構成しても構わない。
　また、本実施形態で説明した顧客情報登録システム１は、リピーターを効率的に検出するためのシステムの他、例えば、万引き犯などの店舗が注意を払うべき不審者を効率的に検出するためのシステムなどとしても活用可能である。この場合、顧客情報登録装置２は、店舗内における顧客の行動に基づいて顧客に商品購入の意思がない、万引き犯特有の行動をしていると判断できる場合などに顔画像の特徴量を記憶部２４に格納するよう構成しても構わない。
［第２の実施形態］
　次に、図８、図９を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、顧客情報登録装置５及び顧客情報登録システム７の構成の概要について説明する。
　まず、図８を参照して、顧客情報登録装置５について説明する。図８は、顧客情報登録装置５の構成の一例を示している。図８を参照すると、顧客情報登録装置５は、例えば、照合部５１と、行動情報取得部５２と、条件判定部５３と、を有している。
　例えば、顧客情報登録装置５は、ＣＰＵ（Central Processing Unit）などの演算装置と、プログラムを記憶した記憶装置とを有している。顧客情報登録装置５は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
　照合部５１は、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する。
　行動情報取得部５２は、顧客の前記店舗内における行動に応じた行動情報を取得する。例えば、行動情報取得部５２は、店舗のカメラにより取得された画像データに基づいて行動情報を取得する。行動情報取得部５２は、上記例示した以外の方法により行動情報を取得しても構わない。
　条件判定部５３は、照合が失敗した場合、行動情報取得部５２が取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定する。条件判定部５２による判定の結果に基づいて、記憶部に顔データを格納することになる。
　このように、本実施形態における顧客情報登録装置５は、照合部５１と、行動情報取得部５２と、条件判定部５３と、を有している。このような構成により、条件判定部５３は、照合部５１による照合が失敗した場合、行動情報取得部５３が取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定することが出来る。その結果、有用性の高い顔データのみを記憶部に格納することが可能となる。これにより、例えば、有用蓋然性の低い情報の蓄積などを抑制することが可能となり、データ容量の肥大化を抑制することが可能となる。また、効率的にリピーター検出などを行うことが可能となる。
　また、上述した顧客情報登録装置５は、当該顧客情報登録装置５に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、記憶部を有する顧客情報登録装置に、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部５１と、顧客の店舗内における行動に応じた行動情報を取得する行動情報取得部５２と、照合が失敗した場合、行動情報取得部５２が取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定する条件判定部５３と、を実現するためのプログラムである。
　また、上述した顧客情報登録装置５により実行される顧客情報登録方法は、記憶部を有する顧客情報登録装置が、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、顧客の店舗内における行動に応じた行動情報を取得し、照合が失敗した場合、取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定する、という方法である。
　また、上述した顧客情報登録装置５が有する各種機能は、カメラが有しても構わない。具体的に、本発明の他の形態であるカメラは、取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部５１と、顧客の店舗内における行動に応じた行動情報を取得する行動情報取得部５２と、照合が失敗した場合、行動情報取得部が取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定する条件判定部５３と、を有する、カメラである。
　また、図９で示すように、画像データを取得するカメラ６と、顧客情報登録装置５と、を有する顧客情報登録システム７であっても構わない。図９で示す場合、カメラ６と顧客情報登録装置５とは、互いに通信可能なよう接続されている。なお、図９で示す顧客情報登録装置５の構成は、図８を用いて既に説明したものと同様である。そのため、詳細な説明は省略する。
　上述した構成を有する、プログラム、顧客情報登録方法、カメラ、顧客情報登録システムの発明であっても、上記顧客情報登録装置５と同様の効果、作用を有するために、上述した本発明の目的を達成することが出来る。また、上記プログラムを記録した、コンピュータが読み取り可能な記録媒体であっても、上記顧客情報登録装置５と同様の効果、作用を有するために、上述した本発明の目的を達成することが出来る。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における顧客情報登録装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
　を有する
　顧客情報登録装置。
（付記２）
　付記１に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報から前記顧客に商品購入の意思がある、又は顧客が商品購入を検討したと判断されるか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
　顧客情報登録装置。
（付記３）
　付記１または付記２に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たすか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
　顧客情報登録装置。
（付記４）
　付記３に記載に顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たす場合に、前記特徴量を前記記憶部に格納すると判定する
　顧客情報登録装置。
（付記５）
　付記１または付記２に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が予め定められた重み閾値を超えるか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
　顧客情報登録装置。
（付記６）
　付記５に記載の顧客情報登録装置であって、
　前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が前記重み閾値を超える場合、前記顔データを前記記憶部に格納すると判定する
　顧客情報登録装置。
（付記７）
　付記１から付記６までのいずれか１項に記載の顧客情報登録装置であって、
　前記記憶部は、前記顔データと前記行動情報とを対応づけて格納している
　顧客情報登録装置。
（付記８）
　付記１から付記７までのいずれか１項に記載の顧客情報登録装置であって、
　前記記憶部は、前記顔データと対応づけて、顧客の来店回数、又は、顧客が来店した日、のうちの少なくとも一方を含む来店情報を格納しており、
　前記照合部は、前記照合が成功した場合、前記来店情報の更新を行う
　顧客情報登録装置。
（付記９）
　付記１から付記８までのいずれか１項に記載の顧客情報登録装置であって、
　前記条件判定部による判定の結果に応じた所定の出力を行う出力部を有する
　顧客情報登録装置。
（付記１０）
　付記１から付記９までのいずれか１項に記載の顧客情報登録装置であって、
　前記行動情報取得部は、前記カメラにより取得された画像データに基づいて前記行動情報を取得する
　顧客情報登録装置。
（付記１１）
　記憶部を有する顧客情報登録装置が、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、
　前記顧客の前記店舗内における行動に応じた行動情報を取得し、
　前記照合が失敗した場合、取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する
　顧客情報登録方法。
（付記１２）
　記憶部を有する顧客情報登録装置に、
　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
　を実現するためのプログラム。
（付記１３）
　取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
　を有する
　カメラ。
（付記１４）
　顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
前記顧客情報登録装置は、
　前記カメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、を備える、
　顧客情報登録システム。
　なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
　なお、本発明は、日本国にて２０１８年９月２６日に特許出願された特願２０１８－１８０２１２の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１　顧客情報登録システム
２　顧客情報登録装置
２１　操作入力部
２２　画面表示部
２２１　画像情報
２２２　来店顧客情報
２２３　天気情報
２２４　来店回数統計情報
２２５　属性統計情報
２２６　ヒートマップ情報
２２７　通過人数情報
２３　通信Ｉ／Ｆ部
２４　記憶部
２４１　画像データ情報
２４２　顧客情報
２４３　判定条件情報
２４４　プログラム
２５　演算処理部
２５１　画像データ取得部
２５２　特徴量算出部
２５３　分析部
２５４　照合部
２５５　条件判定部
２５６　登録部
２５７　出力部
３　カメラ
４　レジ端末
５　顧客情報登録装置
５１　照合部
５２　行動情報取得部
５３　条件判定部
６　カメラ
７　顧客情報登録システム

 

Claims (14)

  1. 　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    　顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
    　を有する
    　顧客情報登録装置。
  2. 　請求項１に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報から前記顧客に商品購入の意思がある、又は顧客が商品購入を検討したと判断されるか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
    　顧客情報登録装置。
  3. 　請求項１または請求項２に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たすか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
    　顧客情報登録装置。
  4. 　請求項３に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たす場合に、前記特徴量を前記記憶部に格納すると判定する
    　顧客情報登録装置。
  5. 　請求項１または請求項２に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が予め定められた重み閾値を超えるか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
    　顧客情報登録装置。
  6. 　請求項５に記載の顧客情報登録装置であって、
    　前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が前記重み閾値を超える場合、前記顔データを前記記憶部に格納すると判定する
    　顧客情報登録装置。
  7. 　請求項１から請求項６までのいずれか１項に記載の顧客情報登録装置であって、
    　前記記憶部は、前記顔データと前記行動情報とを対応づけて格納している
    　顧客情報登録装置。
  8. 　請求項１から請求項７までのいずれか１項に記載の顧客情報登録装置であって、
    　前記記憶部は、前記顔データと対応づけて、顧客の来店回数、又は、顧客が来店した日、のうちの少なくとも一方を含む来店情報を格納しており、
    　前記照合部は、前記照合が成功した場合、前記来店情報の更新を行う
    　顧客情報登録装置。
  9. 　請求項１から請求項８までのいずれか１項に記載の顧客情報登録装置であって、
    　前記条件判定部による判定の結果に応じた所定の出力を行う出力部を有する
    　顧客情報登録装置。
  10. 　請求項１から請求項９までのいずれか１項に記載の顧客情報登録装置であって、
    　前記行動情報取得部は、前記カメラにより取得された画像データに基づいて前記行動情報を取得する
    　顧客情報登録装置。
  11. 　記憶部を有する顧客情報登録装置が、
    　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、
    　前記顧客の前記店舗内における行動に応じた行動情報を取得し、
    　前記照合が失敗した場合、取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する
    　顧客情報登録方法。
  12. 　記憶部を有する顧客情報登録装置に、
    　店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
    　を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
  13. 　取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
    　を有する
    　カメラ。
  14. 　顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
    前記顧客情報登録装置は、
    　前記カメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    　前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    　前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、を備える、
    　顧客情報登録システム。

     
PCT/JP2019/033745 2018-09-26 2019-08-28 顧客情報登録装置 WO2020066443A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/278,743 US11978068B2 (en) 2018-09-26 2019-08-28 Customer information registration apparatus
JP2020548233A JP7184089B2 (ja) 2018-09-26 2019-08-28 顧客情報登録装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018180212 2018-09-26
JP2018-180212 2018-09-26

Publications (1)

Publication Number Publication Date
WO2020066443A1 true WO2020066443A1 (ja) 2020-04-02

Family

ID=69952610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033745 WO2020066443A1 (ja) 2018-09-26 2019-08-28 顧客情報登録装置

Country Status (3)

Country Link
US (1) US11978068B2 (ja)
JP (1) JP7184089B2 (ja)
WO (1) WO2020066443A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022180114A (ja) * 2021-05-24 2022-12-06 東芝テック株式会社 情報処理装置及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325643A (ja) * 2000-05-12 2001-11-22 Hitachi Ltd 自動取引装置の防犯カメラ制御方法
JP2008257488A (ja) * 2007-04-05 2008-10-23 Multi Solution:Kk 顔認証応用インストアマーケティング分析システム
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
WO2018042549A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 被写体情報表示システム、被写体情報表示方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010622A1 (en) * 2000-07-18 2002-01-24 Fumino Okamoto System and method capable of appropriately managing customer information and computer-readable recording medium having customer information management program recorded therein
JP4125634B2 (ja) 2003-05-26 2008-07-30 Ｎｅｃソフト株式会社 顧客情報収集管理方法及びそのシステム
JP3947877B2 (ja) 2004-03-03 2007-07-25 Ｎｅｃソフト株式会社 商品販売システム、商品販売方法、商品販売プログラム及び売場サーバ
US7636365B2 (en) * 2004-05-13 2009-12-22 Korea Advanced Institute Of Science And Technology (Kaist) Smart digital modules and smart digital wall surfaces combining the same, and context aware interactive multimedia system using the same and operation method thereof
JP5217922B2 (ja) * 2008-11-10 2013-06-19 日本電気株式会社 電子広告システム、電子広告配信装置、及びプログラム
JP2010113692A (ja) * 2008-11-10 2010-05-20 Nec Corp 顧客行動記録装置及び顧客行動記録方法並びにプログラム
US20130218634A1 (en) * 2010-03-19 2013-08-22 Hills-Kahn, Inc. Dba Prmconnect System and method for lead management and literature delivery
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition
US20160071118A1 (en) * 2014-09-09 2016-03-10 Fliptop Inc. System and method for lead prioritization based on results from multiple modeling methods
US9881236B2 (en) * 2015-12-28 2018-01-30 Google Llc Organizing images associated with a user
US11113734B2 (en) * 2016-01-14 2021-09-07 Adobe Inc. Generating leads using Internet of Things devices at brick-and-mortar stores
US11068696B2 (en) * 2016-08-24 2021-07-20 International Business Machines Corporation Protecting individuals privacy in public through visual opt-out, signal detection, and marker detection
JP6812268B2 (ja) * 2017-02-21 2021-01-13 東芝テック株式会社 情報処理装置およびプログラム
CN107729419A (zh) * 2017-09-27 2018-02-23 惠州Tcl移动通信有限公司 一种智能保存图片和视频的方法、移动终端及存储介质
US20190108561A1 (en) * 2017-10-05 2019-04-11 Mindtree Ltd. Purchase Intent Determination And Real Time In-store Shopper Assistance
US11006038B2 (en) * 2018-05-02 2021-05-11 Qualcomm Incorporated Subject priority based image capture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325643A (ja) * 2000-05-12 2001-11-22 Hitachi Ltd 自動取引装置の防犯カメラ制御方法
JP2008257488A (ja) * 2007-04-05 2008-10-23 Multi Solution:Kk 顔認証応用インストアマーケティング分析システム
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
WO2018042549A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 被写体情報表示システム、被写体情報表示方法及びプログラム

Also Published As

Publication number Publication date
US20220036379A1 (en) 2022-02-03
JP7184089B2 (ja) 2022-12-06
JPWO2020066443A1 (ja) 2021-08-30
US11978068B2 (en) 2024-05-07

Similar Documents

Publication Publication Date Title
CN110462669B (zh) 自动化购物环境内的动态顾客结账体验
US11663571B2 (en) Inventory management computer system
US20210233103A1 (en) Sales promotion system and sales promotion method
BR112019009302A2 (pt) método de determinação de informação de pedido e aparelho de determinação de informação de pedido
US20220351219A1 (en) Store use information distribution device, store use information distribution system equipped with same, and store use information distribution method
US20130066733A1 (en) Electronic negotiation in a real-world environment
JP2013196043A (ja) 特定人物監視システム
CN110648186B (zh) 数据分析方法、装置、设备及计算机可读存储介质
KR20160032033A (ko) 리버스 쇼루밍 및 상인-고객 인게이지먼트 시스템
JP2006221515A (ja) Ｐｏｓシステム
JP7140223B2 (ja) 決済処理装置、方法およびプログラム
WO2019123714A1 (ja) 情報処理装置、商品推薦方法、およびプログラム
US20210089757A1 (en) Information processing device and reporting method
US20240005326A1 (en) Customer information registration apparatus
WO2020066443A1 (ja) 顧客情報登録装置
US20210090135A1 (en) Commodity information notifying system, commodity information notifying method, and program
KR101224879B1 (ko) 얼굴인식을 이용한 매장관리시스템 및 방법
JP7056749B2 (ja) 顧客情報登録装置
WO2023127122A1 (ja) 店舗支援装置、システム及び方法、並びに、コンピュータ可読媒体
JP7318684B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
US20240221008A1 (en) Processing apparatus, processing method, and non-transitory storage medium
JP2023020758A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
CN114742606A (zh) 无人化门店的商品供销方法、终端设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19864410

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548233

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19864410

Country of ref document: EP

Kind code of ref document: A1