WO2015033577A1 - 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム - Google Patents

顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム Download PDF

Info

Publication number
WO2015033577A1
WO2015033577A1 PCT/JP2014/004585 JP2014004585W WO2015033577A1 WO 2015033577 A1 WO2015033577 A1 WO 2015033577A1 JP 2014004585 W JP2014004585 W JP 2014004585W WO 2015033577 A1 WO2015033577 A1 WO 2015033577A1
Authority
WO
WIPO (PCT)
Prior art keywords
customer
product
behavior analysis
information
customer behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/004585
Other languages
English (en)
French (fr)
Inventor
山下　信行
内田　薫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to CN201480048891.6A priority Critical patent/CN105518734A/zh
Priority to US14/916,705 priority patent/US20160203499A1/en
Priority to JP2015535322A priority patent/JP6529078B2/ja
Publication of WO2015033577A1 publication Critical patent/WO2015033577A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present invention relates to a customer behavior analysis system, a customer behavior analysis method, a non-transitory computer readable medium storing a customer behavior analysis program, and a shelf system, and in particular, a customer behavior analysis system using products and customer images, a customer
  • the present invention relates to a behavior analysis method, a non-transitory computer-readable medium storing a customer behavior analysis program, and a shelf system.
  • Customer behavior analysis is conducted to enable effective sales promotion activities at stores where many products are displayed. For example, the behavior of the customer is analyzed from the movement history of the customer in the store, the purchase history of the product, and the like.
  • Patent Documents 1 to 3 are known as related technologies.
  • the related technology acquires and analyzes detailed information about products that the customer did not purchase, such as products that the customer took interest in the hand but did not purchase. Can't make effective sales measures.
  • the present invention provides a customer behavior analysis system capable of analyzing customer behavior in more detail, a customer behavior analysis method, a non-transitory computer-readable medium storing a customer behavior analysis program, and An object is to provide a shelf system.
  • the customer behavior analysis system includes an image information acquisition unit that acquires input image information obtained by imaging a presentation area for presenting a product to a customer, and a state where the customer holds the product based on the input image information And a customer that generates an action detection unit that detects whether or not the customer is viewing the product identification display, and customer behavior analysis information including a relationship between the detected result and the purchase history of the product of the customer.
  • a behavior analysis information generation unit that generates input image information obtained by imaging a presentation area for presenting a product to a customer, and a state where the customer holds the product based on the input image information
  • an action detection unit that detects whether or not the customer is viewing the product identification display
  • customer behavior analysis information including a relationship between the detected result and the purchase history of the product of the customer.
  • the customer behavior analysis method acquires input image information obtained by imaging a presentation area for presenting a product to the customer, and the customer holds the product based on the input image information. It is detected whether or not the product identification display is being viewed, and customer behavior analysis information including the relationship between the detected result and the purchase history of the product of the customer is generated.
  • a non-transitory computer-readable medium storing a customer behavior analysis program acquires input image information obtained by imaging a presentation area for presenting a product to a customer, and based on the input image information, the customer Detecting whether or not the customer is looking at the identification display of the product while holding the product, and generating customer behavior analysis information including the relationship between the detected result and the purchase history of the product of the customer This is for causing a computer to execute customer behavior analysis processing.
  • the shelf system according to the present invention is based on the shelf arranged to present the product to the customer, the image information acquisition unit that acquires the input image information obtained by imaging the product and the customer, and the input image information.
  • the image information acquisition unit that acquires the input image information obtained by imaging the product and the customer, and the input image information.
  • a customer behavior analysis information generation unit that generates customer behavior analysis information.
  • a customer behavior analysis system a customer behavior analysis method, a non-transitory computer-readable medium storing a customer behavior analysis program, and a shelf system capable of analyzing customer behavior in more detail. be able to.
  • FIG. 1 is a configuration diagram illustrating a configuration of a customer behavior analysis system according to Embodiment 1.
  • FIG. 3 is a diagram illustrating a configuration example of a 3D camera according to Embodiment 1.
  • FIG. 3 is a configuration diagram illustrating a configuration of a distance image analysis unit according to Embodiment 1.
  • FIG. 4 is a flowchart showing the operation of the customer behavior analysis system according to the first embodiment.
  • 3 is a flowchart showing an operation of a distance image analysis process according to the first embodiment.
  • 6 is a diagram showing an example of an operation profile according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an analysis example of an operation profile according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an analysis example of an operation profile according to Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the shelf system which concerns on Embodiment 2.
  • FIG. 1 shows a main configuration of a customer behavior analysis system according to an embodiment.
  • the customer behavior analysis system 10 includes an image information acquisition unit 11, an operation detection unit 12, and a customer behavior analysis information generation unit 13.
  • the image information acquisition unit 11 acquires input image information obtained by imaging a presentation area where a product is presented to a customer. Based on the input image information, the motion detection unit 12 detects whether or not the customer is looking at the identification display of the product while the customer is holding the product.
  • the customer behavior analysis information generating unit 13 generates customer behavior analysis information including the relationship between the detected result and the purchase history of the customer's product.
  • the customer behavior analysis information is generated based on the detection result.
  • the relationship between the customer viewing the identification display such as the label of the product and the purchase of the product. For example, it is possible to grasp the reason why the customer did not purchase the product. Analyze customer behavior.
  • FIG. 2 shows the configuration of the customer behavior analysis system according to the present embodiment.
  • This customer behavior analysis system is a system that detects an action (behavior) on a customer's product in a store or the like, generates an action profile (customer action analysis information) for visualizing the detected action, and performs an analysis or the like.
  • the customer includes a person (shopper) before actually purchasing a product (before purchase decision), and includes, for example, an arbitrary person who has visited (entered) a store.
  • the customer behavior analysis system 1 includes a customer behavior analysis device 100, a 3D camera 210, a face recognition camera 220, and an in-store camera 230.
  • each configuration of the customer behavior analysis system 1 is provided in the same store, but the customer behavior analysis device 100 may be provided outside the store.
  • each structure of the customer behavior analysis system 1 is demonstrated as a separate apparatus here, each structure is good also as 1 or an arbitrary number of apparatuses.
  • the 3D camera (three-dimensional camera) 210 is an imaging device (distance image sensor) that images and measures a target and generates a distance image (distance image information).
  • the distance image includes image information obtained by imaging the object and distance information obtained by measuring the distance to the object.
  • the 3D camera 210 is configured by Microsoft Kinect (registered trademark), a stereo camera, or the like. By using a 3D camera, it is possible to recognize (track) an object (such as a customer's action) including distance information, and thus highly accurate recognition processing can be performed.
  • the 3D camera 210 images the product shelf (product display shelf) 300 on which the product 301 is arranged (displayed) in order to detect the behavior of the customer on the product,
  • the customer 400 who is going to purchase the product 301 in front of the product shelf 300 is imaged.
  • the 3D camera 210 images a product arrangement region of the product shelf 300 and a region where the customer picks up / views the product in front of the product shelf 300, that is, a presentation region where the product shelf 300 presents the product to the customer.
  • the 3D camera 210 is installed in the product shelf 300 and a position where the customer 400 in front of the product shelf 300 can take an image, for example, above (such as a ceiling) or in front (such as a wall) of the product shelf 300 or on the product shelf 300.
  • the product 300 is a real product, but is not limited to a real product, and may be a sample product or a printed product on which a label is printed.
  • 3D camera 210 is demonstrated as an apparatus which images the goods shelf 300 and the customer 400, even if it comprises not only a 3D camera but the general camera (2D camera) which outputs only the imaged image. Good. In this case, tracking is performed using only image information.
  • the face recognition camera 220 and the in-store camera 230 are imaging devices (2D cameras) that generate images obtained by imaging a target.
  • the face recognition camera 220 is installed at an entrance of a store or the like in order to recognize a customer's face, and captures the face of the customer who visits the store and generates a face image.
  • the in-store camera 230 is disposed at a plurality of positions in the store in order to detect a flow line of the customer in the store, and generates an in-store image with each sales floor in the store.
  • the face recognition camera 220 and the in-store camera 230 may be configured with a 3D camera. By using a 3D camera, it is possible to accurately recognize the customer's face and the customer's movement route.
  • the customer behavior analysis apparatus 100 includes a distance image analysis unit 110, a customer recognition unit 120, a flow line analysis unit 130, a motion profile generation unit 140, a motion information analysis unit 150, an analysis result presentation unit 160, a product information DB (database) 170, A customer information DB 180 and an operation profile storage unit 190 are provided.
  • a distance image analysis unit 110 a customer recognition unit 120, a flow line analysis unit 130, a motion profile generation unit 140, a motion information analysis unit 150, an analysis result presentation unit 160, a product information DB (database) 170, A customer information DB 180 and an operation profile storage unit 190 are provided.
  • each of these blocks will be described as a function of the customer behavior analysis apparatus 100, but other configurations may be used as long as an operation according to the present embodiment described later can be realized.
  • Each configuration in the customer behavior analysis apparatus 100 is configured by hardware and / or software, and may be configured by one piece of hardware or software, or may be configured by a plurality of pieces of hardware or software.
  • the product information DB 170, customer information DB 180, and operation profile storage unit 190 may be storage devices connected to an external network (cloud).
  • the motion information analysis unit 150 and the analysis result presentation unit 160 may be an analysis device different from the customer behavior analysis device 100.
  • Each function (each process) of the customer behavior analysis apparatus 100 may be realized by a computer having a CPU, a memory, and the like.
  • the customer behavior analysis program for performing the customer behavior analysis method (customer behavior analysis processing) in the embodiment is stored in the storage device, and the customer behavior analysis program stored in the storage device is executed by the CPU with each function. May be realized.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium). Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the distance image analysis unit 110 acquires a distance image generated by the 3D camera 210, tracks a detection target based on the acquired distance image, and recognizes the operation.
  • the distance image analysis unit 110 mainly tracks and recognizes the customer's hand, the customer's line of sight, and the product taken by the customer.
  • the distance image analysis unit 110 refers to the product information DB 170 in order to recognize the products included in the distance image.
  • the 3D camera may be provided with a microphone, and the voice of the customer input to the microphone may be recognized by the voice recognition unit. For example, based on the recognized speech, the customer's conversation features (voice strength, level, tempo, etc.) are extracted to detect the speaker's emotions and conversation excitement, and the conversation features are recorded as an action profile. It may be.
  • the customer recognition unit 120 acquires a customer face image generated by the face recognition camera 220 and refers to the customer information DB 180 to recognize a customer included in the acquired face image. Further, the facial expression (joy, surprise, etc.) of the customer may be recognized from the face image, and may be recorded as an operation profile.
  • the flow line analysis unit 130 acquires the in-store image generated by the in-store camera 230, analyzes the movement history of the customer in the store based on the acquired in-store image, and detects the customer's flow line (movement route).
  • the motion profile generation unit 140 generates and generates a motion profile (customer behavior analysis information) for analyzing customer behavior based on the detection results of the distance image analysis unit 110, the customer recognition unit 120, and the flow line analysis unit 130.
  • the operation profile thus stored is stored in the operation profile storage unit 190.
  • the motion profile generation unit 140 refers to the product information DB 170 and the customer information DB 180, information related to the customer picking up the product by the distance image analysis unit 110, customer information recognized by the customer recognition unit 120, Information on the customer's flow line analyzed by the flow line analysis unit 130 is generated and recorded.
  • the operation information analysis unit 150 refers to the operation profile stored in the operation profile storage unit 190 and analyzes the customer's operation based on the operation profile. For example, the motion information analysis unit 150 analyzes a motion profile by paying attention to each of a customer / store / shelf / product, and calculates probability, statistical data, and the like.
  • the analysis result presentation unit 160 presents (outputs) the result analyzed by the motion information analysis unit 150.
  • the analysis result presentation unit 160 is configured by a display device, for example, and displays a customer behavior analysis result to a store clerk or a marketing (sales promotion activity) person in charge. Based on the displayed customer behavior analysis result, the store clerk and the marketer improve store shelves and advertisements so that sales are promoted.
  • the product information DB (product information storage unit) 170 stores product related information related to products placed in the store.
  • the product information DB 170 stores product identification information 171 and the like as product related information.
  • the product identification information 171 is information (product master) for identifying a product, and includes, for example, a product code, a product name, a product type, product label image information (image), and the like.
  • the customer information DB (customer information storage unit) 180 stores customer related information related to customers who have visited the store.
  • the customer information DB 180 stores customer identification information 181, attribute information 182, preference information 183, history information 184, and the like as customer related information.
  • Customer identification information 181 is information for identifying a customer, and includes, for example, a customer member ID, name, address, date of birth, face image information (image), and the like.
  • the attribute information 182 is information indicating customer attributes, and includes, for example, age, gender, occupation, and the like.
  • the preference information 183 is information indicating customer preferences, and includes, for example, hobbies, favorite foods, colors, music, movies, and the like.
  • the history information 184 is information related to the customer's history. For example, the purchase history of purchasing the product, the visit history of visiting the store, the movement history in the store, the contact history such as picking up / seeing the product (access) History).
  • the operation profile storage unit 190 stores the operation profile generated by the operation profile generation unit 140.
  • the motion profile is information for visualizing and analyzing customer behavior. Visualization of behavior is to digitize (numerize) the behavior, and record the behavior from the customer entering the store until leaving the store as data in the behavior profile. That is, in the operation profile, store record information 191 for recording a customer who visits the store, product record information 192 for recording that the customer has touched a product on the shelf, and a flow line for recording a flow line for the customer to move through the store in the store. Record information 193 is included.
  • FIG. 4 shows the configuration of the distance image analysis unit 110 of the customer behavior analysis apparatus 100.
  • the distance image analysis unit 110 includes a distance image acquisition unit 111, a region detection unit 112, a hand tracking unit 113, a hand motion recognition unit 114, a line of sight tracking unit 115, a line of sight motion recognition unit 116, and a product tracking unit. 117, a product recognition unit 118 is provided.
  • the distance image acquisition unit 111 acquires a distance image including the customer and the product imaged and generated by the 3D camera 210.
  • the area detection unit 112 detects the area of each part of the customer and the area of the product included in the distance image acquired by the distance image acquisition unit 111.
  • the hand tracking unit 113 tracks the movement of the customer's hand (hand) detected by the area detection unit 112.
  • the hand movement recognition unit 114 recognizes the movement of the customer with respect to the product based on the movement of the hand (hand) tracked by the hand tracking unit 113. For example, the hand movement recognition unit 114 determines that the customer has seen the product in his / her hand when he / she turns the palm toward the face while holding the product. When a product is gripped and the hand is hidden by the product and is not captured by the camera, the customer picks up the product by looking at the position / direction of the product being held and its change. You may decide that
  • the line-of-sight tracking unit 115 tracks the movement of the customer's line of sight (eyes) detected by the region detection unit 112.
  • the line-of-sight movement recognition unit 116 recognizes the movement of the customer on the product based on the line-of-sight (eye) movement detected by the line-of-sight tracking unit 115.
  • the line-of-sight motion recognition unit 116 determines that the customer has viewed the product when the product is arranged in the direction of the line of sight, and if the direction of the line of sight is toward the label of the product, the customer labels the product. Judge that you saw.
  • the product tracking unit 117 tracks the operation (state) of the product detected by the region detection unit 112.
  • the merchandise tracking unit 117 tracks the merchandise determined to be picked up by the customer in the hand movement recognition unit 114 or the merchandise determined to be viewed by the customer in the line-of-sight motion recognition unit 116.
  • the product recognizing unit 118 refers to the product information DB 170 and identifies which product corresponds to the product tracked by the product tracking unit 117.
  • the product recognition unit 118 compares the detected product label with the image information of the label of the product identification information 171 stored in the product information DB 170, and recognizes the product by matching. Further, the product recognition unit 118 stores the relationship between the shelf arrangement position and the product in the product information DB 170, and the product based on the product taken by the customer or the shelf position of the product viewed by the customer. Identify
  • customer behavior analysis method customer behavior analysis process executed by the customer behavior analysis system (customer behavior analysis device) according to the present embodiment will be described with reference to FIG.
  • a customer enters a store and approaches a shelf in the store (S101).
  • the face recognition camera 220 in the store generates an image of the customer's face
  • the customer behavior analysis apparatus 100 recognizes customer attributes such as age and gender and customer ID based on the face image (S102). That is, the customer recognition unit 120 of the customer behavior analysis apparatus 100 compares the face image information of the customer identification information 181 stored in the customer information DB 180 with the face image captured by the face recognition camera 220, and performs matching (match).
  • the customer is recognized by searching for the customer to be acquired, and the customer belonging to the customer and the customer ID are acquired from the customer identification information 181.
  • the customer picks up the product placed on the shelf (S103).
  • the 3D camera 210 in the vicinity of the shelf captures the customer's hand
  • the customer behavior analysis apparatus 100 recognizes the movement and the product type of the customer's hand from the distance image of the 3D camera 210 (S104). That is, the distance image analysis unit 110 of the customer behavior analysis apparatus 100 tracks a customer's hand (line of sight) and a distance image obtained by capturing the product, and the customer picks up the product (the customer views the product).
  • the product information DB 170 is referred to for matching (matching), and the product viewed by the customer (the product viewed by the customer) is recognized.
  • the distance image analysis unit 110 recognizes where the customer is looking at the product, in particular, whether the customer is looking at the product label.
  • the product picked up by the customer is put in the basket, or the product is returned to the shelf (S105).
  • the customer behavior analysis apparatus 100 recognizes the movement of the customer and the product type from the distance image of the 3D camera 210 (S104). That is, the distance image analysis unit 110 of the customer behavior analysis apparatus 100 tracks a customer's hand and a distance image obtained by capturing the product, and detects an operation in which the customer puts the product in the basket or an operation in which the product is returned to the shelf. To do.
  • the product may be recognized in the same manner as when the customer picks up the product, or the product recognition operation may be omitted because the product has already been recognized.
  • the customer moves to another sales floor (S106).
  • the in-store camera 230 images the movement of the customer between the sales floors, and the customer behavior analysis apparatus 100 grasps the purchase behavior at the other sales floor (S107).
  • the flow line analysis unit 130 of the customer behavior analysis apparatus 100 analyzes customer movement history based on a plurality of sales floor images and detects customer leads, thereby grasping customer purchase behavior.
  • S103 and subsequent steps are repeated, and when the customer picks up the product at the sales counter at the destination, the customer behavior analysis apparatus 100 detects the customer's operation.
  • the customer behavior analysis apparatus 100 generates an operation profile based on the recognized customer information, product information, flow line information, etc. (S108), analyzes the generated operation profile, The purchase behavior is analyzed and a notification is made (S109). That is, the action profile generation unit 140 of the customer behavior analysis apparatus 100 associates the recognized customer information with the time, etc., associates the product viewed by the customer with the time, etc., and the location and time at which the customer has moved. To generate an action profile. Further, the motion information analysis unit 150 calculates the probability of customer behavior in the motion profile, statistics, and the like, and presents the analysis result.
  • FIG. 6 shows details of the recognition process (tracking process) executed by the distance image analysis unit 110 in S104 of FIG. Note that the processing in FIG. 6 is an example, and the hand movement, the line-of-sight movement, and the product may be recognized by other image analysis processing.
  • the distance image acquisition unit 111 acquires a distance image including a customer and a product from the 3D camera 210 (S201).
  • the region detection unit 112 detects a person and a shelf included in the distance image acquired in S201 (S202), and further detects each region of the person and the shelf (S203).
  • the region detection unit 112 uses a discriminator such as SVM (Support Vector Vector Machine) to detect a person (customer) based on an image and a distance included in the distance image, and estimate a joint of the detected person.
  • the human skeleton is detected.
  • the area detection unit 112 detects the area of each part such as a human hand (hand) based on the detected skeleton.
  • the area detection unit 112 uses a discriminator to detect the shelves and each stage of the shelves based on the images and distances included in the distance image, and further detects the arrangement area of the products on each shelf.
  • the hand tracking unit 113 tracks the operation of the customer's hand detected in S203 (S204).
  • the hand tracking unit 113 tracks the skeleton around the customer's hand based on the image and the distance included in the distance image, and detects the movement of the finger or palm of the hand.
  • the hand motion recognition unit 114 extracts the hand motion feature based on the hand motion tracked in S204 (S205), and the customer hand motion with respect to the product based on the extracted feature, that is, the product.
  • the movement of grasping the user and the movement of viewing the product are recognized (S206).
  • the hand movement recognition unit 114 extracts changes in the orientation, angle, and movement amount of fingers and palms (wrists) as feature amounts.
  • the hand movement recognition unit 114 detects that the customer is grasping the product from the angle of the finger, and detects that the customer is looking at the product when the normal direction of the palm faces the face.
  • a state in which a product is held or a state in which the product is being picked up is learned in advance, and the state at hand may be identified by comparing with a learned feature amount.
  • the line-of-sight tracking unit 115 tracks the movement of the customer's line of sight detected in S203 (S207).
  • the line-of-sight tracking unit 115 tracks the skeleton around the customer's face based on the image and distance included in the distance image, and detects the motion of the face, eyes, and pupil.
  • the line-of-sight movement recognition unit 116 extracts the line-of-sight movement feature based on the line-of-sight movement tracked in S207 (S208), and the customer's line-of-sight movement with respect to the product based on the extracted feature, that is, the customer Recognizes the operation of viewing the product (label) (S209).
  • the line-of-sight motion recognition unit 116 extracts changes in the orientation, angle, and movement amount of the face, eyes, and pupil as feature amounts.
  • the line-of-sight movement recognition unit 116 detects the direction of the line of sight from the orientation of the face, eyes, and pupils, and detects whether or not the direction of the line of sight faces a product (label).
  • the state of the line of sight may be identified by learning in advance the state of viewing the product and comparing it with the learned feature amount.
  • the product tracking unit 117 tracks the operation (state) of the product detected in S203 (S210).
  • the merchandise tracking unit 117 tracks the merchandise determined to be picked up by the customer in S206 or the merchandise determined to be viewed by the customer in S209.
  • the product tracking unit 117 detects the direction and position of the label of the product based on the image and the distance included in the distance image.
  • the product recognition unit 118 extracts product features for the product tracked in S210 (S211), and determines a corresponding product from the product information DB 170 based on the extracted features (S212).
  • the product recognition unit 118 extracts characters and images of product labels as feature amounts. For example, the product recognizing unit 118 compares the extracted feature quantity of the label with the feature quantity of the label in the product information DB 170, and identifies a product for which the feature quantities match or two feature quantities are approximated (similar).
  • the product taken by the customer or viewed by the customer based on the image and the distance included in the distance image. The position of the shelf is acquired, and the position of the shelf is searched from the product information DB 170 to detect the corresponding product.
  • FIG. 7 shows an example of an operation profile generated by the operation profile generation unit 140 in S108 of FIG.
  • the operation profile generation unit 140 uses the store visit record information as shown in FIG. 7 as the operation profile. 191 is generated and recorded.
  • the customer ID for identifying the recognized customer is recorded as the store visit record information 191, and the customer ID and the store visit time are recorded in association with each other.
  • the distance image analysis unit 110 performs an operation in which the customer picks up the product, an operation in which the customer puts the product in the basket, and returns the product to the shelf.
  • the motion profile generation unit 140 generates and records product record information (product contact information) 192 as shown in FIG. 7 as the motion profile.
  • a shelf ID for identifying a recognized shelf is recorded, and an operation in which the customer approaches the shelf and a time at which the customer approaches the shelf are recorded in association with each other. Record the time away from the shelf in association.
  • the product ID for identifying the product recognized as being picked up by the customer is recorded, and the product ID and the recognized operation are recorded in association with each other.
  • the product ID is recorded in association with the action taken at the hand and the time taken at the hand.
  • the product ID is recorded in association with the operation of viewing the label and the time of viewing the label.
  • the product ID is recorded in association with the operation in the cart and the time in the cart.
  • the product ID, the operation to return the product to the shelf, and the time to return to the shelf are recorded in association with each other. For example, it is possible to grasp that the customer has purchased the product (purchase result) by detecting that the customer has put the product into the basket. Moreover, it can grasp
  • the motion profile generation unit 140 has the motion profile as shown in FIG.
  • the flow line recording information 193 is generated and recorded. For example, as the flow line record information 193, a sales floor (or shelf) ID for identifying a sales floor (or shelf) through which the recognized customer has passed is recorded, and the sales floor (or shelf) ID and the passage time are recorded in association with each other.
  • FIG. 8 shows an example of the analysis result of the motion profile in the motion information analysis unit 150 in S109 of FIG.
  • the motion information analysis unit 150 analyzes the motion profile of FIG. 7 and generates, for example, shelf analysis information obtained by analyzing statistical information for each shelf.
  • the motion information analysis unit 150 aggregates the product record information 192 related to all customers in the motion profile, and generates the probability that the customer stopped on the shelf and the average time when the customer stopped on the shelf for each shelf ID that identifies the shelf. .
  • the probability that the customer picked up the product, the average time the product was picked up (the time it has), and the probability that the customer saw the product label
  • viewing time the probability that the customer put the product in the basket and the average time of putting the product in the basket
  • the customer The probability of returning to the shelf and the average time to return the product to the shelf (the time from returning to the shelf) are generated.
  • FIG. 9 shows another example of the analysis result of the motion profile in the motion information analysis unit 150 in S109 of FIG.
  • the motion information analysis unit 150 analyzes the motion profile of FIG. 7 and generates customer analysis information obtained by analyzing statistical information for each customer, for example.
  • the operation information analysis unit 150 aggregates the visit record information 191 and the product record information 192 of the operation profile for each customer. For example, for each customer, as in FIG. 8, the probability and average time of stopping for each shelf ID, the probability and average time of picking up for each product ID, the probability and average time of looking at the label, and putting it in the basket Probability and average time, probability of returning to the shelf and average time are generated.
  • the motion information analysis unit 150 compares the motion profile with customer preference information and analyzes the correlation (relevance). That is, it is determined whether or not the operation for each product in the operation profile matches the taste of the customer. For example, if a customer picks up or purchases a favorite product (puts it in a basket), it is determined to match (correlates) and the customer does not purchase the favorite product (shelf If it is returned to (), it is determined that they do not match (not correlated). The reason why the customer did not purchase the product can be analyzed because the customer's behavior and the customer's preference do not match. For example, if the customer does not purchase a favorite product after the customer sees the label, it is estimated that there is a problem in the label display method and the like. Further, if the customer does not pick up the favorite product and does not show interest, it is presumed that there is a problem in the method of arranging the product.
  • the correlation with 183 and the correlation with the history information 184 in the customer information DB 180 are determined.
  • the movement of the customer's hand is observed by the 3D camera placed at a position where the product shelf and the customer (shopper) in front of it can be seen, and which product is picked up is recognized. Then, information specifying the product such as the position (the position of the product shelf and the shelf position in the shelf) at the time when the product is picked up, the time, and the product ID is recorded and analyzed, and the result is displayed or notified.
  • shelf allocation Since it is possible to grasp from which depth of the shelf the customer is taking the product, it is possible to determine that the display item needs to be replenished when the product is taken from behind the shelf.
  • the effect of the flyer or advertisement can be measured and notified by comparing the frequency of picking up the product before and after the execution of the flyer or advertisement.
  • pre-purchase process information from the time the customer comes in front of the product until the purchase decision is made (how much of the product has been viewed, whether it has been purchased / not reached, how much until it is put into the basket It is possible to inform the manufacturer of the product or sell it, such as whether he / she is lost or not, where the customer is looking at and comparing.
  • FIG. 10 shows the configuration of the shelf system according to the present embodiment.
  • the shelf system 2 includes a product shelf 300.
  • the product shelf 300 is a shelf on which the product 301 is arranged as shown in FIG.
  • the product shelf 300 includes the 3D camera 210, the distance image analysis unit 110, the motion profile generation unit 140, the motion information analysis unit 150, the analysis result presentation unit 160, the product information described in the first embodiment.
  • a DB 170 and an operation profile storage unit 190 are provided.
  • the operation profile includes product record information 192 that records that the customer has touched the product on the shelf.
  • the distance image analysis unit 110 of the shelf system 2 recognizes the operation at the customer's hand, and the operation profile generation unit 140
  • the product record information 192 (similar to FIG. 7) is generated and recorded as an operation profile.
  • the motion information analysis unit 150 generates shelf analysis information obtained by analyzing the statistical information about the shelf system by analyzing the motion profile (similar to FIG. 8).
  • the main configuration in the first embodiment is provided in one commodity shelf.
  • this embodiment can be realized with only one product shelf, no device or system other than the shelf is required. Therefore, it is possible to easily introduce a system even in a store without an advanced system such as a POS system or a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

顧客行動分析システム（１０）は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得部（１１）と、入力画像情報に基づいて、顧客が前記商品を把持した状態で、顧客が当該商品の識別表示を見ているか否かを検出する動作検出部（１２）と、検出した結果と顧客の前記商品の購入履歴との関係を含む顧客行動分析情報を生成する顧客行動分析情報生成部（１３）と、を備えるものである。これにより、より詳細な顧客の行動を分析することを可能にする。

Description

顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
　本発明は、顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムに関し、特に、商品及び顧客の画像を用いた顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムに関する。
　多くの商品が陳列された店舗などにおいて、効果的な販売促進活動を可能とするため、顧客の行動分析が行われている。例えば、顧客の店舗内の移動履歴や、商品の購入履歴などから、顧客の行動が分析されている。
　関連する技術として、例えば、特許文献１～３が知られている。
特開２０１１－２５３３４４号公報 特開２０１２－２５２６１３号公報 特開２０１１－１２９０９３号公報
　例えば、ＰＯＳシステムを用いて行動分析を行う場合には、商品の決済時点に情報を記録するのみであるため、売れた商品に関する情報しか取得できない。また、特許文献１では、顧客が商品に接触したことを示す情報を取得しているものの、さらに詳細な顧客の行動を分析することはできない。
　このため、関連する技術では、例えば、顧客が興味を持って手には取ってみたが購入しなかった商品などのように、顧客が購入しなかった商品についての詳細な情報を取得し分析することができず、効果的な販売施策を打つことができない。
　したがって、関連する技術では、商品を購入しなかった場合などにおいて、より詳細な顧客の行動を分析することが困難であるという問題があった。
　本発明は、このような問題に鑑み、より詳細な顧客の行動を分析することが可能な顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムを提供することを目的とする。
　本発明に係る顧客行動分析システムは、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記顧客が前記商品を把持した状態で、前記顧客が当該商品の識別表示を見ているか否かを検出する動作検出部と、前記検出した結果と前記顧客の前記商品の購入履歴との関係を含む顧客行動分析情報を生成する顧客行動分析情報生成部と、を備えるものである。
　本発明に係る顧客行動分析方法は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記顧客が前記商品を把持した状態で、前記顧客が当該商品の識別表示を見ているか否かを検出し、前記検出した結果と前記顧客の前記商品の購入履歴との関係を含む顧客行動分析情報を生成するものである。
　本発明に係る顧客行動分析プログラムが格納された非一時的なコンピュータ可読媒体は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記顧客が前記商品を把持した状態で、前記顧客が当該商品の識別表示を見ているか否かを検出し、前記検出した結果と前記顧客の前記商品の購入履歴との関係を含む顧客行動分析情報を生成する、顧客行動分析処理をコンピュータに実行させるためのものである。
　本発明に係る棚システムは、商品を顧客に提示するために配置する棚と、前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記顧客が前記商品を把持した状態で、前記顧客が当該商品の識別表示を見ているか否かを検出する動作検出部と、前記検出した結果と前記顧客の前記商品の購入履歴との関係を含む顧客行動分析情報を生成する顧客行動分析情報生成部と、を備えるものである。
　本発明によれば、より詳細な顧客の行動を分析することが可能な顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムを提供することができる。
実施の形態に係る顧客行動分析システムの主要な構成を示す構成図である。 実施の形態１に係る顧客行動分析システムの構成を示す構成図である。 実施の形態１に係る３Ｄカメラの構成例を示す図である。 実施の形態１に係る距離画像解析部の構成を示す構成図である。 実施の形態１に係る顧客行動分析システムの動作を示すフローチャートである。 実施の形態１に係る距離画像解析処理の動作を示すフローチャートである。 実施の形態１に係る動作プロファイルの一例を示す図である。 実施の形態１に係る動作プロファイルの解析例を示す図である。 実施の形態１に係る動作プロファイルの解析例を示す図である。 実施の形態２に係る棚システムの構成を示す構成図である。
（実施の形態の概要）
　実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係る顧客行動分析システムの主要な構成を示している。
　図１に示すように、実施の形態に係る顧客行動分析システム１０は、画像情報取得部１１、動作検出部１２、顧客行動分析情報生成部１３を備えている。画像情報取得部１１は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する。動作検出部１２は、入力画像情報に基づいて、顧客が前記商品を把持した状態で、顧客が当該商品の識別表示を見ているか否かを検出する。顧客行動分析情報生成部１３は、検出した結果と顧客の商品の購入履歴との関係を含む顧客行動分析情報を生成する。
　このように、実施の形態では、顧客が前記商品を把持した状態で、顧客が商品の識別表示を見ているか否かを検出し、この検出結果に基づいて顧客行動分析情報を生成する。これにより、顧客が商品のラベルなどの識別表示を見たことと商品の購入との関係を分析できるため、例えば、顧客が商品を購入しなかった理由などを把握することができ、より詳細な顧客の行動を分析することができる。
（実施の形態１）
　以下、図面を参照して実施の形態１について説明する。図２は、本実施の形態に係る顧客行動分析システムの構成を示している。この顧客行動分析システムは、店舗等において、顧客の商品に対する動作（行動）を検出し、検出した動作を可視化するための動作プロファイル（顧客行動分析情報）を生成し、分析等を行うシステムである。なお、顧客とは、実際に商品を購入する前（購入決断前）の人物（ショッパー）を含み、例えば、店舗に来店（入店）した任意の人物を含む。
　図２に示すように、本実施の形態に係る顧客行動分析システム１は、顧客行動分析装置１００、３Ｄカメラ２１０、顔認識カメラ２２０、店内カメラ２３０を備えている。例えば、顧客行動分析システム１の各構成は同一の店舗に設けられているが、顧客行動分析装置１００を店舗の外部に設けてもよい。なお、ここでは、顧客行動分析システム１の各構成を別々の装置として説明するが、各構成を１または任意の数の装置としてもよい。
　３Ｄカメラ（３次元カメラ）２１０は、対象を撮像及び計測し、距離画像（距離画像情報）を生成する撮像装置（距離画像センサ）である。距離画像は、対象を撮像した画像情報と、対象までの距離を計測した距離情報を含んでいる。例えば、３Ｄカメラ２１０は、Ｍｉｃｒｏｓｏｆｔ　Ｋｉｎｅｃｔ（登録商標）や、ステレオカメラなどで構成される。３Ｄカメラを用いることで、距離情報を含めて対象（顧客の動作など）を認識（トラッキング）できるため、高精度な認識処理を行うことができる。
　図３のように、本実施の形態では、３Ｄカメラ２１０は、顧客の商品に対する行動を検出するために、商品３０１が配置（陳列）された商品棚（商品陳列棚）３００を撮像し、さらに、商品棚３００の前で商品３０１を購入しようとしている顧客４００を撮像する。３Ｄカメラ２１０は、商品棚３００の商品配置領域と商品棚３００の前で顧客が商品を手に取る／見る領域、すなわち、商品棚３００が商品を顧客に提示する提示領域を撮像する。３Ｄカメラ２１０は、商品棚３００と、商品棚３００の前の顧客４００が撮像可能な位置、例えば、商品棚３００の上方（天井など）や前方（壁など）、もしくは商品棚３００に設置されている。例えば、商品３００は実物の商品であるが、実物に限らず、サンプル品や、ラベルなどを印刷した印刷物などでもよい。
　なお、商品棚３００及び顧客４００を撮像する装置として、３Ｄカメラ２１０の例について説明するが、３Ｄカメラに限らず、撮像した画像のみを出力する一般的なカメラ（２Ｄカメラ）で構成してもよい。この場合、画像情報のみを用いてトラッキングが行われる。
　顔認識カメラ２２０及び店内カメラ２３０は、対象を撮像した画像を生成する撮像装置（２Ｄカメラ）である。顔認識カメラ２２０は、顧客の顔を認識するために、店舗の入口などに設置され、来店した顧客の顔を撮像し顔画像を生成する。店内カメラ２３０は、店舗における顧客の動線を検出するために、店内の複数の位置に配置され、店内の各売り場と顧客し店内画像を生成する。なお、顔認識カメラ２２０及び店内カメラ２３０は、３Ｄカメラで構成してもよい。３Ｄカメラとすることで、顧客の顔や顧客の移動経路を精度よく認識できる。
　顧客行動分析装置１００は、距離画像解析部１１０、顧客認識部１２０、動線解析部１３０、動作プロファイル生成部１４０、動作情報解析部１５０、解析結果提示部１６０、商品情報ＤＢ（データベース）１７０、顧客情報ＤＢ１８０、動作プロファイル記憶部１９０を備えている。なお、ここでは、これらの各ブロックを顧客行動分析装置１００の機能として説明するが、後述する本実施の形態に係る動作が実現できれば、その他の構成であってもよい。
　顧客行動分析装置１００における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。例えば、商品情報ＤＢ１７０、顧客情報ＤＢ１８０、動作プロファイル記憶部１９０を外部のネットワーク（クラウド）に接続された記憶装置としてもよい。また、動作情報解析部１５０、解析結果提示部１６０を、顧客行動分析装置１００とは別の解析装置としてもよい。
　顧客行動分析装置１００の各機能（各処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施の形態における顧客行動分析方法（顧客行動分析処理）を行うための顧客行動分析プログラムを格納し、各機能を、記憶装置に格納された顧客行動分析プログラムをＣＰＵで実行することにより実現してもよい。
　この顧客行動分析プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　距離画像解析部１１０は、３Ｄカメラ２１０が生成した距離画像を取得し、取得した距離画像に基づいて検出対象をトラッキング（追跡）し、その動作を認識する。本実施の形態では、距離画像解析部１１０は、主に、顧客の手元、顧客の視線、顧客が手に取った商品をトラッキングし認識する。距離画像解析部１１０は、距離画像に含まれる商品を認識するため商品情報ＤＢ１７０を参照する。また、３Ｄカメラにマイクを備えておき、音声認識部により、マイクに入力された顧客の音声を認識してもよい。例えば、認識した音声に基づいて、顧客の会話の特徴（声の強弱、高低、テンポなど）を抽出して発話者の感情や会話の盛り上がりを検出し、会話の特徴を動作プロファイルとして記録するようにしてもよい。
　顧客認識部１２０は、顔認識カメラ２２０が生成した顧客の顔画像を取得し、顧客情報ＤＢ１８０を参照することで、取得した顔画像に含まれる顧客を認識する。また、顔画像から顧客の表情（喜び、驚きなど）を認識し、を動作プロファイルとして記録するようにしてもよい。動線解析部１３０は、店内カメラ２３０が生成した店内画像を取得し、取得した店内画像に基づいて店内における顧客の移動履歴を解析し、顧客の動線（移動経路）を検出する。
　動作プロファイル生成部１４０は、距離画像解析部１１０、顧客認識部１２０、動線解析部１３０の検出結果に基づいて、顧客の行動を分析するための動作プロファイル（顧客行動分析情報）生成し、生成した動作プロファイルを動作プロファイル記憶部１９０に格納する。動作プロファイル生成部１４０は、商品情報ＤＢ１７０、顧客情報ＤＢ１８０を参照し、距離画像解析部１１０により顧客が商品を手に取ったことに関連する情報や、顧客認識部１２０が認識した顧客の情報、動線解析部１３０が解析した顧客の動線の情報を生成し記録する。
　動作情報解析部１５０は、動作プロファイル記憶部１９０の動作プロファイルを参照し、動作プロファイルに基づいて顧客の動作を分析する。例えば、動作情報解析部１５０は、顧客／店舗／棚／商品のそれぞれに着目して動作プロファイルを解析し、確率や統計データなどを算出する。
　解析結果提示部１６０は、動作情報解析部１５０が解析した結果を提示（出力）する。解析結果提示部１６０は、例えば、表示装置などで構成され、店員やマーケティング（販売促進活動）担当者へ、顧客行動分析結果を表示する。店員やマーケティング担当者は、表示された顧客行動分析結果に基づいて、販売が促進されるように店舗の棚割りや広告などを改善する。
　商品情報ＤＢ（商品情報記憶部）１７０は、店舗に配置された商品に関連する商品関連情報を記憶する。商品情報ＤＢ１７０は、商品関連情報として、商品識別情報１７１などを記憶する。商品識別情報１７１は、商品を識別するための情報（商品マスタ）であり、例えば、商品コード、商品名、商品の種類、商品ラベルのイメージ情報（画像）などを含む。
　顧客情報ＤＢ（顧客情報記憶部）１８０は、来店した顧客に関連する顧客関連情報を記憶する。顧客情報ＤＢ１８０は、顧客関連情報として、顧客識別情報１８１、属性情報１８２、嗜好情報１８３、履歴情報１８４などを記憶する。
　顧客識別情報１８１は、顧客を識別するための情報であり、例えば、顧客の会員ＩＤ、氏名、住所、生年月日、顔のイメージ情報（画像）などを含む。属性情報１８２は、顧客の属性を示す情報であり、例えば、年齢、性別、職業などを含む。
　嗜好情報１８３は、顧客の嗜好を示す情報であり、例えば、趣味、好きな食べ物、色、音楽、映画などを含む。履歴情報１８４は、顧客の履歴に関する情報であり、例えば、商品を購入した購入履歴、来店した来店履歴、店舗内の移動履歴、商品を手に取った／商品を見たなどの接触履歴（アクセス履歴）などを含む。
　動作プロファイル記憶部１９０は、動作プロファイル生成部１４０が生成した動作プロファイルを記憶する。動作プロファイルは、顧客の行動を可視化し分析するための情報である。行動の可視化とは、行動をデータ化（数値化）することであり、顧客が店舗に入ってから店舗を出るまでの動作をデータとして、動作プロファイルに記録する。すなわち、動作プロファイルには、来店した顧客を記録する来店記録情報１９１、顧客が棚の商品に接触したことを記録する商品記録情報１９２、顧客が店内の売り場を移動する動線を記録する動線記録情報１９３が含まれる。
　図４は、顧客行動分析装置１００の距離画像解析部１１０の構成を示している。図４に示すように、距離画像解析部１１０は、距離画像取得部１１１、領域検出部１１２、手元トラッキング部１１３、手元動作認識部１１４、視線トラッキング部１１５、視線動作認識部１１６、商品トラッキング部１１７、商品認識部１１８を備えている。
　距離画像取得部１１１は、３Ｄカメラ２１０が撮像し生成した顧客及び商品を含む距離画像を取得する。領域検出部１１２は、距離画像取得部１１１が取得した距離画像に含まれる顧客の各部の領域や商品の領域を検出する。
　手元トラッキング部１１３は、領域検出部１１２が検出した顧客の手元（手）の動作をトラッキングする。手元動作認識部１１４は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、商品に対する顧客の動作を認識する。手元動作認識部１１４は、例えば、商品を把持した状態で手のひらを顔の方向に向けた場合、顧客が当該商品を手に取って見たと判断する。商品を把持した状態において、商品によって手が隠れていてカメラに撮像されない場合には、把持されている商品の位置・方向やその変化を検知することで、客が当該商品を手に取って見たと判断してもよい。
　視線トラッキング部１１５は、領域検出部１１２が検出した顧客の視線（目）の動作をトラッキングする。視線動作認識部１１６は、視線トラッキング部１１５が検出した視線（目）の動作に基づいて、顧客の商品に対する動作を認識する。視線動作認識部１１６は、視線の方向に商品が配置されている場合、顧客が当該商品を見たと判断し、また、視線の方向が商品のラベルに向かっている場合、顧客が当該商品のラベルを見たと判断する。
　商品トラッキング部１１７は、領域検出部１１２が検出した商品の動作（状態）をトラッキングする。商品トラッキング部１１７は、手元動作認識部１１４で顧客が手に取ったと判断した商品や、視線動作認識部１１６で顧客が見たと判断した商品をトラッキングする。商品認識部１１８は、商品トラッキング部１１７がトラッキングした商品について、商品情報ＤＢ１７０を参照し、どの商品に該当するか識別する。商品認識部１１８は、検出した商品のラベルと、商品情報ＤＢ１７０に記憶された商品識別情報１７１のラベルのイメージ情報とを比較し、マッチング（一致）を行うことで、商品を認識する。また、商品認識部１１８は、棚の配置位置と商品との関係を商品情報ＤＢ１７０に記憶しておき、顧客が手に取った商品、または、顧客が見た商品の棚の位置に基づいて商品を識別する。
　次に、図５を用いて、本実施の形態に係る顧客行動分析システム（顧客行動分析装置）で実行される顧客行動分析方法（顧客行動分析処理）について説明する。
　図５に示すように、まず、顧客が店舗に入り、店舗内の棚に近づく（Ｓ１０１）。そうすると、店舗内の顔認識カメラ２２０が、顧客の顔撮像を生成し、顧客行動分析装置１００が、顔画像に基づいて年齢・性別等の顧客属性や顧客ＩＤを認識する（Ｓ１０２）。すなわち、顧客行動分析装置１００の顧客認識部１２０は、顧客情報ＤＢ１８０に記憶された顧客識別情報１８１の顔のイメージ情報と、顔認識カメラ２２０が撮像した顔画像とを比較し、マッチング（一致）する顧客を検索することで、顧客を認識し、顧客識別情報１８１から認識した顧客の顧客属し、顧客ＩＤを取得する。
　続いて、顧客が棚に配置された商品を手に取る（Ｓ１０３）。そうすると、棚近傍の３Ｄカメラ２１０が顧客の手元を撮像し、顧客行動分析装置１００が、３Ｄカメラ２１０の距離画像により顧客の手元の動きと商品種別を認識する（Ｓ１０４）。すなわち、顧客行動分析装置１００の距離画像解析部１１０は、顧客の手元（視線）及び商品を撮像した距離画像をトラッキングし、顧客が商品を手に取って見た（顧客が商品を見た）動作を検出するとともに、商品情報ＤＢ１７０を参照してマッチング（一致）する商品し、顧客が手に取って見た商品（顧客が見た商品）を認識する。また、距離画像解析部１１０は、顧客が商品のどこを見ているか、特に商品のラベルを見ているか否か認識する。
　続いて、顧客が手に取った商品をカゴに入れる、または、商品を棚に戻す（Ｓ１０５）。そうすると、顧客行動分析装置１００は、顧客が商品を手に取った場合と同様に、３Ｄカメラ２１０の距離画像により顧客の手元の動きと商品種別を認識する（Ｓ１０４）。すなわち、顧客行動分析装置１００の距離画像解析部１１０は、顧客の手元及び商品を撮像した距離画像をトラッキングし、顧客が商品をカゴに入れた動作、または、商品を棚に戻した動作を検出する。顧客が商品を手に取った場合と同様に商品を認識してもよいし、既に商品を認識しているため、商品の認識動作を省略してもよい。
　続いて、顧客が他の売り場へ移動する（Ｓ１０６）。そうすると、店内カメラ２３０が顧客の売り場間の移動を撮像し、顧客行動分析装置１００が、他の売り場での購買行動を把握する（Ｓ１０７）。すなわち、顧客行動分析装置１００の動線解析部１３０は、複数の売り場の画像に基づいて、顧客の移動履歴を解析し、顧客の導線を検出することで、顧客の購買行動を把握する。その後、Ｓ１０３以降が繰り返され、顧客が移動先の売り場で商品を手に取ると、顧客行動分析装置１００が顧客の動作を検出する。
　Ｓ１０２、Ｓ１０４、Ｓ１０７に続いて、顧客行動分析装置１００は、認識した顧客情報、商品情報、動線情報などに基づいて動作プロファイルを生成し（Ｓ１０８）、生成された動作プロファイルを分析して、購買行動を解析し通知等を行う（Ｓ１０９）。すなわち、顧客行動分析装置１００の動作プロファイル生成部１４０は、認識した顧客情報と時刻等とを関連づけ、顧客が手に取って見た商品と時刻等とを関連づけ、顧客が移動した場所と時刻等とを関連づけて動作プロファイルを生成する。さらに、動作情報解析部１５０は、動作プロファイルにおける顧客の行動の確率、統計などを算出し、解析結果を提示する。
　図６は、図５のＳ１０４における距離画像解析部１１０で実行される認識処理（トラッキング処理）の詳細を示している。なお、図６の処理は一例であり、その他の画像解析処理により、手元の動作、視線の動作、商品を認識してもよい。
　図６に示すように、まず、距離画像取得部１１１は、３Ｄカメラ２１０から顧客及び商品を含む距離画像を取得する（Ｓ２０１）。続いて、領域検出部１１２は、Ｓ２０１で取得した距離画像に含まれる人物及び棚を検出し（Ｓ２０２）、さらに人物及び棚の各領域を検出する（Ｓ２０３）。例えば、領域検出部１１２は、ＳＶＭ（Support Vector Machine）などの識別器を用いて、距離画像に含まれる画像及び距離に基づき、人物（顧客）を検出し、検出した人物の関節を推定することで、人物の骨格を検出する。領域検出部１１２は、検出した骨格に基づいて、人物の手（手元）などの各部の領域を検出する。また、領域検出部１１２は、識別器を用いて、距離画像に含まれる画像及び距離に基づき、棚及び棚の各段を検出し、さらに各棚上の商品の配置領域を検出する。
　続いて、手元トラッキング部１１３は、Ｓ２０３で検出した顧客の手元の動作をトラッキングする（Ｓ２０４）。手元トラッキング部１１３は、距離画像に含まれる画像及び距離に基づき、顧客の手の周辺の骨格をトラッキングし、手の指や手のひらの動作を検出する。
　続いて、手元動作認識部１１４は、Ｓ２０４でトラッキングした手元の動作に基づいて、手元の動作の特徴を抽出し（Ｓ２０５）、抽出した特徴に基づいて商品に対する顧客の手元の動作、すなわち、商品を把持している動作、商品を見ている動作を認識する（Ｓ２０６）。手元動作認識部１１４は、指、手のひら（手首）の向き、角度、移動量の変化を特徴量として抽出する。例えば、手元動作認識部１１４は、指の角度から顧客が商品を握っていることを検出し、手のひらの法線方向が顔に向かっている場合、顧客が商品を見ていることを検出する。また、商品を握っている状態や商品を手に取って見ている状態を予め学習しておき、学習した特徴量と比較することで、手元の状態を識別してもよい。
　Ｓ２０３に続いて、視線トラッキング部１１５は、Ｓ２０３で検出した顧客の視線の動作をトラッキングする（Ｓ２０７）。視線トラッキング部１１５は、距離画像に含まれる画像及び距離に基づいて、顧客の顔周辺の骨格をトラッキングし、顔、目、瞳孔の動作を検出する。
　続いて、視線動作認識部１１６は、Ｓ２０７でトラッキングした視線の動作に基づいて、視線の動作の特徴を抽出し（Ｓ２０８）、抽出した特徴に基づいて商品に対する顧客の視線の動作、すなわち、顧客が商品（ラベル）を見ている動作を認識する（Ｓ２０９）。視線動作認識部１１６は、顔、目、瞳孔の向き、角度、移動量の変化を特徴量として抽出する。例えば、視線動作認識部１１６は、顔、目、瞳孔の向きから視線の方向を検出し、視線の方向が商品（ラベル）に向いているか否かを検出する。また、商品を見ている状態を予め学習しておき、学習した特徴量と比較することで、視線の状態を識別してもよい。
　Ｓ２０３に続いて、商品トラッキング部１１７は、Ｓ２０３で検出した商品の動作（状態）をトラッキングする（Ｓ２１０）。また、商品トラッキング部１１７は、Ｓ２０６で顧客が手に取ったと判断した商品や、Ｓ２０９で顧客が見たと判断した商品をトラッキングする。商品トラッキング部１１７は、距離画像に含まれる画像及び距離に基づいて、商品のラベルの向き、位置などを検出する。
　続いて、商品認識部１１８は、Ｓ２１０でトラッキングした商品について、商品の特徴を抽出し（Ｓ２１１）、抽出した特徴に基づき、商品情報ＤＢ１７０から該当する商品を判断する（Ｓ２１２）。商品認識部１１８は、商品のラベルの文字や画像を特徴量として抽出する。例えば、商品認識部１１８は、抽出したラベルの特徴量と、商品情報ＤＢ１７０のラベルの特徴量とを比較し、特徴量が一致するあるいは２つの特徴量が近似（類似）する商品を識別する。また、棚の配置位置と商品との関係を商品情報ＤＢ１７０に記憶している場合には、距離画像に含まれる画像及び距離に基づいて、顧客が手に取った、または、顧客が見た商品の棚の位置を取得し、棚の位置を商品情報ＤＢ１７０から検索することで、該当する商品を検出する。
　図７は、図５のＳ１０８における動作プロファイル生成部１４０で生成される動作プロファイルの一例を示している。
　顧客が来店し顔認識カメラ２２０の顔画像に基づいて、顧客認識部１２０が顧客を認識すると（図５のＳ１０２）、動作プロファイル生成部１４０は、動作プロファイルとして、図７のような来店記録情報１９１を生成し記録する。例えば、来店記録情報１９１として、認識した顧客を識別する顧客ＩＤを記録し、顧客ＩＤと来店時刻を関連づけて記録する。
　また、顧客が棚に近づき３Ｄカメラ２１０の距離画像に基づいて、距離画像解析部１１０が、顧客が商品を手に取った動作や、顧客が商品をカゴに入れた動作、商品を棚に戻した動作を認識すると（図５のＳ１０４）、動作プロファイル生成部１４０は、動作プロファイルとして、図７のような商品記録情報（商品接触情報）１９２を生成し記録する。
　例えば、商品記録情報１９２として、認識した棚を識別する棚ＩＤを記録し、顧客が棚に近づいた動作と棚に近づいた時刻を関連付けて記録し、同様に、顧客が棚から離れた動作と棚から離れた時刻を関連付けて記録する。
　また、顧客が手に取ったと認識した商品を識別する商品ＩＤを記録し、商品ＩＤと認識した動作とを関連付けて記録する。顧客が商品を手に取ったことを認識すると、商品ＩＤと手に取った動作、手に取った時刻を関連付けて記録する。顧客が商品のラベルを見た（商品を手にとってラベルを見た）ことを認識すると、商品ＩＤとラベルを見た動作、ラベルを見た時刻を関連付けて記録する。顧客が商品をカゴ（ショッピングカートやショッピングうバスケット）に入れたことを認識すると、商品ＩＤとカゴに入れた動作、カゴに入れた時刻を関連付けて記録する。顧客が商品を棚に戻したことを認識すると、商品ＩＤと棚に戻した動作、棚に戻した時刻を関連付けて記録する。例えば、顧客が商品をカゴに入れたことを検出することで、顧客が商品を購入したこと（購入結果）を把握できる。また、顧客が商品を棚に戻したことを検出することで、顧客が商品を購入しなかったこと（購入結果）を把握できる。
　さらに、顧客が移動し店内カメラ２３０の店内画像に基づいて、動線解析部１３０が顧客の導線を解析すると（図５のＳ１０７）、動作プロファイル生成部１４０は、動作プロファイルとして、図７のような動線記録情報１９３を生成し記録する。例えば、動線記録情報１９３として、認識した顧客が通過した売り場（または棚）を識別する売り場（または棚）ＩＤを記録し、売り場（または棚）ＩＤと通過時刻とを関連付けて記録する。
　図８は、図５のＳ１０９における動作情報解析部１５０における動作プロファイルの解析結果の一例を示している。図８に示すように、動作情報解析部１５０は、図７の動作プロファイルを解析し、例えば、棚ごとに統計情報を分析した棚分析情報を生成する。
　動作情報解析部１５０は、動作プロファイルの全ての顧客に関する商品記録情報１９２を集計し、棚を識別する棚ＩＤごとに、顧客が棚に立ち止った確率及び棚に立ち止った平均時間を生成する。
　また、棚に配置された商品を識別する商品ＩＤごとに、顧客が商品を手に取った確率及び商品を手に取った平均時間（持っている時間）、顧客が商品のラベルを見た確率及び商品のラベルを見た平均時間（見ている時間）、顧客が商品をカゴに入れた確率及び商品をカゴに入れた平均時間（見てからカゴに入れるまでの時間）、顧客が商品を棚に戻した確率及び商品を棚に戻した平均時間（見てから棚に戻すまでの時間）を生成する。
　図９は、図５のＳ１０９における動作情報解析部１５０における動作プロファイルの解析結果の他の例を示している。図９に示すように、動作情報解析部１５０は、図７の動作プロファイルを解析し、例えば、顧客ごとに統計情報を分析した顧客分析情報を生成する。
　動作情報解析部１５０は、動作プロファイルの来店記録情報１９１、商品記録情報１９２を顧客ごとに集計する。例えば、各顧客について、図８と同様に、棚ＩＤごとに立ち止った確率及び平均時間、商品ＩＤごとに、手に取った確率及び平均時間、ラベルを見た確率及び平均時間、カゴに入れた確率及び平均時間、棚に戻した確率及び平均時間を生成する。
　さらに、動作情報解析部１５０は、動作プロファイルと顧客の嗜好情報とを比較し、相関性（関連性）を分析する。すなわち、動作プロファイルの各商品に対する動作が、顧客の嗜好に一致しているかどうか判定する。例えば、顧客が好みの商品を手に取った、または購入した（カゴに入れた）場合、一致している（相関している）と判断し、顧客が好みの商品を購入しなかった（棚に戻した）場合、一致していない（相関していない）と判断する。顧客の行動と顧客の嗜好等が一致しないことにより、顧客が商品を購入しなかった理由を分析することができる。例えば、顧客がラベルを見た後に、顧客が好みの商品を購入しない場合、ラベルの表示方法等に問題があると推定される。また、顧客が好みの商品を手に取らず興味を示さない場合、商品の配置方法等に問題があると推定される。
　図９の例では、手に取った動作、ラベルを見た動作、カゴに入れた動作、棚に戻した動作のそれぞれについて、顧客情報ＤＢ１８０の属性情報１８２との相関、顧客情報ＤＢ１８０の嗜好情報１８３との相関、顧客情報ＤＢ１８０の履歴情報１８４との相関を判定する。
　以上のように、本実施の形態では、商品棚とその前の顧客（ショッパー）が見える位置に配置した３Ｄカメラにより顧客の手元の動きを観察し、どの商品を手に取ったかを認識する。そして、商品を手にとった時点の位置（商品棚の位置と棚内の棚位置）や時刻、商品ＩＤ等の商品を特定する情報を記録・分析し、結果を表示または通知する。
　これにより、顧客の商品に対する動作を詳細に検出し分析（可視化）することができるため、顧客の購買前行動を商品配置や広告等の販売方法の改善に活かすことができ、売上アップが実現することができる。具体的な効果は次の通りである。
　例えば、どの棚の何段目が顧客によく触られているかが把握できるため、この情報を活用して、商品配置（棚割り）を改善することができる。顧客が棚のどの深さから商品を取っているか把握できるため、棚の後ろから商品を取っている場合に陳列品の補充が必要であると判断できる。
　また、チラシや広告の効果を、チラシや広告の実行前と実行後における商品を手にとった頻度を比べることで、その効果測定し、通知することができる。また、顧客が商品の前に来てから、購買の意思決定をするまでの購買前プロセス情報（商品のどこを見て、購買に至ったのか／至らなかったのか、カゴに入れるまでどれぐらい見たか／迷ったか、野菜など、客はどこを見て比べているか等）を商品のメーカに知らせたり、販売することができる。
　また、顧客が手にとった商品を元とは異なる場所に戻したことを記録し、従業員に通知して元の状態に戻すことができる。その他、店員の業務（検品、商品の補充等）を可視化し、業務の確実な遂行や冗長な業務の見直しにつなげることができる。例えば、商品棚での商品の配置誤りや非効率的配置を改善したり、店員の冗長な業務や、検品の重複など複数店員の連携の改善することができる。
　さらに、売り場間や店舗間での行動追跡を活用することで、買うときの動作と売り場間の動線の改善に活用することができる。例えば、店舗Ａで買わず店舗Ｂで買われたという理由を分析することができる。
　また、弁当屋、ラーメン店、アイスクリーム店等のトッピング作業が注文通りに行われているかを認識し、間違っている場合は従業員に知らせることができる。
（実施の形態２）
　以下、図面を参照して実施の形態２について説明する。本実施の形態では、実施の形態１を１つの棚システムに適用した例について説明する。図１０は、本実施の形態に係る棚システムの構成を示している。
　図８に示すように、本実施の形態に係る棚システム２は、商品棚３００を備えている。商品棚３００は、図３などのように、商品３０１を配置する棚である。本実施の形態では、この商品棚３００に、実施の形態１で説明した、３Ｄカメラ２１０、距離画像解析部１１０、動作プロファイル生成部１４０、動作情報解析部１５０、解析結果提示部１６０、商品情報ＤＢ１７０、動作プロファイル記憶部１９０を備えている。なお、必要に応じて顔認識カメラ２２０、顧客認識部１２０、顧客情報ＤＢ１８０を備えてもよい。
　動作プロファイル生成部１４０、距離画像解析部１１０の検出結果に基づいて、顧客の行動を分析するための動作プロファイルを生成する。動作プロファイルには、顧客が棚の商品に接触したことを記録する商品記録情報１９２が含まれる。
　すなわち、本実施の形態では、顧客が棚システム２に近づき顧客が商品を手に取ると、棚システム２の距離画像解析部１１０が、顧客の手元の動作を認識し、動作プロファイル生成部１４０が、動作プロファイルとして、商品記録情報１９２（図７と同様）を生成し記録する。さらに、動作情報解析部１５０は、動作プロファイルを解析することで、棚システムについての統計情報を分析した棚分析情報を生成する（図８と同様）。
　このように、本実施の形態では、１つの商品棚において、実施の形態１における主要な構成を備えることとした。これにより、実施の形態１と同様に、顧客の商品に対する詳細な動作を検出し、顧客の動作を分析することができる。
　さらに、本実施の形態は、１つの商品棚のみで実現可能であるため、棚以外の装置やシステムが不要である。したがって、ＰＯＳシステムやネットワークなど高度なシステムが無い店舗においても、簡易にシステムを導入することが可能である。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１３年９月６日に出願された日本出願特願２０１３－１８５１３１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　　　顧客行動分析システム
２　　　棚システム
１０　　顧客行動分析システム
１１　　画像情報取得部
１２　　動作検出部
１３　　顧客行動分析情報生成部
１００　顧客行動分析装置
１１０　距離画像解析部
１１１　距離画像取得部
１１２　領域検出部
１１３　手元トラッキング部
１１４　手元動作認識部
１１５　視線トラッキング部
１１６　視線動作認識部
１１７　商品トラッキング部
１１８　商品認識部
１２０　顧客認識部
１３０　動線解析部
１４０　動作プロファイル生成部
１５０　動作情報解析部
１６０　解析結果提示部
１７０　商品情報ＤＢ
１７１　商品識別情報
１８０　顧客情報ＤＢ
１８１　顧客識別情報
１８２　属性情報
１８３　嗜好情報
１８４　履歴情報
１９０　動作プロファイル記憶部
１９１　来店記録情報
１９２　商品記録情報
１９３　動線記録情報
２１０　３Ｄカメラ
２２０　顔認識カメラ
２３０　店内カメラ
３００　商品棚
３０１　商品
４００　顧客

Claims (17)

  1. 　商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得手段と、
    　前記入力画像情報に基づいて、前記顧客が前記商品を把持した状態で、前記顧客が当該商品の識別表示を見ているか否かを検出する動作検出手段と、
    　前記検出した結果と前記顧客の前記商品の購入結果との関係を含む顧客行動分析情報を生成する顧客行動分析情報生成手段と、
    　を備える顧客行動分析システム。
  2. 　前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
    　請求項１に記載の顧客行動分析システム。
  3. 　前記動作検出手段は、前記顧客の手の動作をトラッキングし、前記顧客の手が前記商品に接触している場合、前記顧客が前記商品を把持していると判断する、
    　請求項１または２に記載の顧客行動分析システム。
  4. 　前記動作検出手段は、前記顧客の視線の動作をトラッキングし、前記顧客の視線が前記商品の識別表示へ向いている場合、前記顧客が前記商品を見ていると判断する、
    　請求項１乃至３のいずれか一項に記載の顧客行動分析システム。
  5. 　前記商品の識別表示は、前記商品の特性情報を含むラベルである、
    　請求項１乃至４のいずれか一項に記載の顧客行動分析システム。
  6. 　前記顧客を認識する顧客認識手段を備え、
    　前記顧客行動分析情報生成手段は、前記顧客行動分析情報として、前記認識した顧客に関する情報を生成する、
    　請求項１乃至５のいずれか一項に記載の顧客行動分析システム。
  7. 　前記顧客の動線を解析する動線解析手段を備え、
    　前記顧客行動分析情報生成手段は、前記顧客行動分析情報として、前記解析した顧客の導線に関する情報を生成する、
    　請求項１乃至６のいずれか一項に記載の顧客行動分析システム。
  8. 　前記商品の購入結果は、前記顧客が前記商品をショッピングカートまたはショッピングバスケットへ入れたか否かを含む、
    　請求項１乃至７のいずれか一項に記載の顧客行動分析システム。
  9. 　前記商品の購入結果は、前記顧客が前記商品を、当該商品の配置位置へ戻したか否かを含む、
    　請求項１乃至８のいずれか一項に記載の顧客行動分析システム。
  10. 　前記生成された顧客行動分析情報に基づいて、前記顧客の行動を分析する顧客行動分析手段を備える、
    　請求項１乃至９のいずれか一項に記載の顧客行動分析システム。
  11. 　前記顧客行動分析手段は、前記顧客が前記商品の識別表示を見た確率、前記顧客が前記商品を購入した確率を求める、
    　請求項１０に記載の顧客行動分析システム。
  12. 　前記顧客の嗜好情報を記憶する顧客嗜好情報記憶手段を備え、
    　前記顧客行動分析手段は、前記顧客行動分析情報と前記顧客の嗜好情報との相関性を判定する、
    　請求項１０または１１に記載の顧客行動分析システム。
  13. 　前記顧客の属性情報を記憶する顧客属性情報記憶手段を備え、
    　前記顧客行動分析手段は、前記顧客行動分析情報と前記顧客の属性情報との相関性を判定する、
    　請求項１０乃至１２のいずれか一項に記載の顧客行動分析システム。
  14. 　前記顧客の購入履歴情報を記憶する購入履歴情報記憶手段を備え、
    　前記顧客行動分析手段は、前記顧客行動分析情報と前記顧客の購入履歴情報との相関性を判定する、
    　請求項１０乃至１３のいずれか一項に記載の顧客行動分析システム。
  15. 　商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
    　前記入力画像情報に基づいて、前記顧客が前記商品を把持した状態で、前記顧客が当該商品の識別表示を見ているか否かを検出し、
    　前記検出した結果と前記顧客の前記商品の購入履歴との関係を含む顧客行動分析情報を生成する、
    　顧客行動分析方法。
  16. 　商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
    　前記入力画像情報に基づいて、前記顧客が前記商品を把持した状態で、前記顧客が当該商品の識別表示を見ているか否かを検出し、
    　前記検出した結果と前記顧客の前記商品の購入履歴との関係を含む顧客行動分析情報を生成する、
    　顧客行動分析処理をコンピュータに実行させるための顧客行動分析プログラムが格納された非一時的なコンピュータ可読媒体。
  17. 　商品を顧客に提示するために配置する棚と、
    　前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得手段と、
    　前記入力画像情報に基づいて、前記顧客が前記商品を把持した状態で、前記顧客が当該商品の識別表示を見ているか否かを検出する動作検出手段と、
    　前記検出した結果と前記顧客の前記商品の購入履歴との関係を含む顧客行動分析情報を生成する顧客行動分析情報生成手段と、
    　を備える棚システム。
PCT/JP2014/004585 2013-09-06 2014-09-05 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム Ceased WO2015033577A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480048891.6A CN105518734A (zh) 2013-09-06 2014-09-05 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
US14/916,705 US20160203499A1 (en) 2013-09-06 2014-09-05 Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system
JP2015535322A JP6529078B2 (ja) 2013-09-06 2014-09-05 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-185131 2013-09-06
JP2013185131 2013-09-06

Publications (1)

Publication Number Publication Date
WO2015033577A1 true WO2015033577A1 (ja) 2015-03-12

Family

ID=52628073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004585 Ceased WO2015033577A1 (ja) 2013-09-06 2014-09-05 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム

Country Status (4)

Country Link
US (1) US20160203499A1 (ja)
JP (1) JP6529078B2 (ja)
CN (1) CN105518734A (ja)
WO (1) WO2015033577A1 (ja)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194274A1 (ja) * 2015-06-02 2016-12-08 パナソニックＩｐマネジメント株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
JP2017174271A (ja) * 2016-03-25 2017-09-28 富士ゼロックス株式会社 情報処理装置及びプログラム
WO2018008203A1 (ja) * 2016-07-05 2018-01-11 パナソニックＩｐマネジメント株式会社 シミュレーション装置、シミュレーションシステム、及びシミュレーション方法
JP2018045454A (ja) * 2016-09-14 2018-03-22 Ｓｂクリエイティブ株式会社 購買支援システム
JP2018132868A (ja) * 2017-02-14 2018-08-23 日本電気株式会社 画像認識装置、システム、方法およびプログラム
WO2019038965A1 (ja) * 2017-08-25 2019-02-28 日本電気株式会社 店舗装置、店舗管理方法、プログラム
JP2019067263A (ja) * 2017-10-03 2019-04-25 パナソニックＩｐマネジメント株式会社 情報提示システム
WO2019111501A1 (ja) * 2017-12-04 2019-06-13 日本電気株式会社 画像処理装置
JP2019139321A (ja) * 2018-02-06 2019-08-22 コニカミノルタ株式会社 顧客行動分析システムおよび顧客行動分析方法
WO2019162988A1 (ja) * 2018-02-20 2019-08-29 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム
JP2019144621A (ja) * 2018-02-16 2019-08-29 富士通フロンテック株式会社 商品情報分析方法および情報処理システム
WO2019171574A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
JP2019159998A (ja) * 2018-03-15 2019-09-19 Ｎｅｃプラットフォームズ株式会社 サーバー装置、商業施設内情報システムおよび行動履歴の提示方法
JP2019164842A (ja) * 2018-07-03 2019-09-26 百度在線網絡技術（北京）有限公司 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
JP2019527865A (ja) * 2016-05-09 2019-10-03 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
CN110322300A (zh) * 2018-03-28 2019-10-11 北京京东尚科信息技术有限公司 数据处理方法及装置、电子设备、存储介质
WO2019207795A1 (ja) * 2018-04-27 2019-10-31 株式会社ウフル 行動関連情報提供システム、行動関連情報の提供方法、プログラム、およびカメラ
JP2020504359A (ja) * 2017-03-07 2020-02-06 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 注文情報決定方法および装置
JP2020119215A (ja) * 2019-01-23 2020-08-06 トヨタ自動車株式会社 情報処理装置及び情報処理方法、プログラム、需要探索システム
WO2020195846A1 (ja) * 2019-03-26 2020-10-01 フェリカネットワークス株式会社 情報処理装置、情報処理方法及びプログラム
JP6773389B1 (ja) * 2020-03-18 2020-10-21 株式会社 テクノミライ デジタル・オートファイル・セキュリティシステム、方法及びプログラム
JP2020184197A (ja) * 2019-05-08 2020-11-12 株式会社オレンジテクラボ 情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラム
JP2021047747A (ja) * 2019-09-19 2021-03-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
WO2021186751A1 (ja) * 2020-03-18 2021-09-23 株式会社 テクノミライ デジタル・オートファイル・セキュリティシステム、方法及びプログラム
JP2021531595A (ja) * 2018-07-26 2021-11-18 スタンダード コグニション コーポレーション 深層学習を使用したリアルタイム在庫追跡
WO2021234938A1 (ja) * 2020-05-22 2021-11-25 日本電気株式会社 処理装置、処理方法及びプログラム
JP2021533449A (ja) * 2018-07-26 2021-12-02 スタンダード コグニション コーポレーション 深層学習に基づく店舗リアログラム
JP2022518982A (ja) * 2019-12-31 2022-03-18 センスタイム インターナショナル プライベート リミテッド 画像認識方法および装置、ならびにコンピュータ可読記憶媒体
US11367266B2 (en) 2017-02-14 2022-06-21 Nec Corporation Image recognition system, image recognition method, and storage medium
US11410216B2 (en) 2017-11-07 2022-08-09 Nec Corporation Customer service assistance apparatus, customer service assistance method, and computer-readable recording medium
US11430154B2 (en) * 2017-03-31 2022-08-30 Nec Corporation Classification of change related to display rack
JP2023153148A (ja) * 2018-03-09 2023-10-17 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP2023153316A (ja) * 2020-04-21 2023-10-17 日本電気株式会社 処理装置、処理方法及びプログラム
US11810317B2 (en) 2017-08-07 2023-11-07 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
WO2024142194A1 (ja) * 2022-12-27 2024-07-04 日本電気株式会社 分析装置、分析方法、及び、記録媒体
US12056660B2 (en) 2017-08-07 2024-08-06 Standard Cognition, Corp. Tracking inventory items in a store for identification of inventory items to be re-stocked and for identification of misplaced items
JP7545523B1 (ja) 2023-04-28 2024-09-04 楽天グループ株式会社 情報処理装置、情報処理方法及びプログラム
US12141856B2 (en) 2018-03-09 2024-11-12 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
US12190285B2 (en) 2017-08-07 2025-01-07 Standard Cognition, Corp. Inventory tracking system and method that identifies gestures of subjects holding inventory items

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
US9754093B2 (en) * 2014-08-28 2017-09-05 Ncr Corporation Methods and a system for automated authentication confidence
WO2016038872A1 (ja) * 2014-09-11 2016-03-17 日本電気株式会社 情報処理装置、表示方法およびプログラム記憶媒体
US11851279B1 (en) * 2014-09-30 2023-12-26 Amazon Technologies, Inc. Determining trends from materials handling facility information
US10552750B1 (en) 2014-12-23 2020-02-04 Amazon Technologies, Inc. Disambiguating between multiple users
US10438277B1 (en) 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US10475185B1 (en) 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
JP6493417B2 (ja) * 2015-01-15 2019-04-03 日本電気株式会社 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム
US20180293635A1 (en) * 2015-03-16 2018-10-11 Nec Corporation System, image recognition method, and recording medium
JP6648408B2 (ja) * 2015-03-23 2020-02-14 日本電気株式会社 商品登録装置、プログラム、及び制御方法
US9767564B2 (en) * 2015-08-14 2017-09-19 International Business Machines Corporation Monitoring of object impressions and viewing patterns
US10839196B2 (en) * 2015-09-22 2020-11-17 ImageSleuth, Inc. Surveillance and monitoring system that employs automated methods and subsystems that identify and characterize face tracks in video
JP2017076338A (ja) * 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置、および情報処理方法、ウェアラブル端末、並びにプログラム
US10915910B2 (en) * 2015-12-09 2021-02-09 International Business Machines Corporation Passive analysis of shopping behavior in a physical shopping area using shopping carts and shopping trays
US10937039B2 (en) * 2016-01-21 2021-03-02 International Business Machines Corporation Analyzing a purchase decision
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
WO2017163879A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 行動分析装置、行動分析システム、行動分析方法及びプログラム
JP6345729B2 (ja) * 2016-04-22 2018-06-20 Ｃｏｃｏｒｏ Ｓｂ株式会社 応対データ収集システム、顧客応対システム及びプログラム
US10497014B2 (en) * 2016-04-22 2019-12-03 Inreality Limited Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network
CN105930886B (zh) * 2016-04-22 2019-04-12 西安交通大学 一种基于临近状态探测的商品关联性挖掘方法
JP6219448B1 (ja) * 2016-05-16 2017-10-25 Ｃｏｃｏｒｏ Ｓｂ株式会社 顧客応対制御システム、顧客応対システム及びプログラム
TWI578272B (zh) * 2016-05-18 2017-04-11 中華電信股份有限公司 Shelf detection system and method
JP2018055248A (ja) 2016-09-27 2018-04-05 ソニー株式会社 情報収集システム、電子棚札、電子ｐｏｐ、文字情報表示装置
CN106408346A (zh) * 2016-09-30 2017-02-15 重庆智道云科技有限公司 一种基于物联网和大数据的实体场所行为分析系统及方法
US20190385176A1 (en) * 2016-12-15 2019-12-19 Nec Corporation Information processing apparatus, information processing method, and information processing program
FR3061791A1 (fr) * 2017-01-12 2018-07-13 Openfield Systeme et procede de gestion de relations avec des clients presents dans un espace connecte
JP6812268B2 (ja) 2017-02-21 2021-01-13 東芝テック株式会社 情報処理装置およびプログラム
US11238401B1 (en) 2017-03-27 2022-02-01 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11494729B1 (en) * 2017-03-27 2022-11-08 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11087271B1 (en) 2017-03-27 2021-08-10 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11250570B2 (en) * 2017-03-31 2022-02-15 Nec Corporation Display rack image processing device, image processing method, and recording medium
CN208957427U (zh) * 2017-08-16 2019-06-11 图灵通诺（北京）科技有限公司 结算装置用货架
WO2019033635A1 (zh) * 2017-08-16 2019-02-21 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN109509304A (zh) * 2017-09-14 2019-03-22 阿里巴巴集团控股有限公司 自动售货机及其控制方法、装置及计算机系统
US20190147228A1 (en) * 2017-11-13 2019-05-16 Aloke Chaudhuri System and method for human emotion and identity detection
US20190156270A1 (en) * 2017-11-18 2019-05-23 Walmart Apollo, Llc Distributed Sensor System and Method for Inventory Management and Predictive Replenishment
CN107944960A (zh) * 2017-11-27 2018-04-20 深圳码隆科技有限公司 一种无人售货方法和设备
JP6965713B2 (ja) * 2017-12-12 2021-11-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN108332829A (zh) 2017-12-18 2018-07-27 上海云拿智能科技有限公司 基于重量监测的货品感知系统及货品感知方法
US11562614B2 (en) * 2017-12-25 2023-01-24 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
CN108198030A (zh) * 2017-12-29 2018-06-22 深圳正品创想科技有限公司 一种手推车控制方法、装置及电子设备
CN108230102A (zh) * 2017-12-29 2018-06-29 深圳正品创想科技有限公司 一种商品关注度调整方法及装置
CN110070381A (zh) * 2018-01-24 2019-07-30 北京京东金融科技控股有限公司 用于检测货柜商品状态的系统、方法及装置
CN108460933B (zh) * 2018-02-01 2019-03-05 王曼卿 一种基于图像处理的管理系统及方法
CN108364047B (zh) * 2018-02-11 2022-03-22 京东方科技集团股份有限公司 电子价签、电子价签系统及数据处理方法
TWI685804B (zh) * 2018-02-23 2020-02-21 神雲科技股份有限公司 促銷訊息播送方法
CN108647242B (zh) * 2018-04-10 2022-04-29 北京天正聚合科技有限公司 一种热力图的生成方法和系统
US10430841B1 (en) * 2018-04-12 2019-10-01 Capital One Services, Llc Systems for determining customer interest in goods
CN110400161A (zh) * 2018-04-25 2019-11-01 鸿富锦精密电子(天津)有限公司 顾客行为分析方法、顾客行为分析系统及存储装置
CN112585667A (zh) * 2018-05-16 2021-03-30 康耐克斯数字有限责任公司 智能平台柜台展示系统和方法
JP6598321B1 (ja) * 2018-05-21 2019-10-30 Ｎｅｃプラットフォームズ株式会社 情報処理装置、制御方法、及びプログラム
CN108830644A (zh) * 2018-05-31 2018-11-16 深圳正品创想科技有限公司 一种无人商店导购方法及其装置、电子设备
CN108805495A (zh) * 2018-05-31 2018-11-13 京东方科技集团股份有限公司 物品存放管理方法和系统及计算机可读介质
CN108898103A (zh) * 2018-06-29 2018-11-27 深圳市宝视达广告控股有限公司 一种到店消费者信息的采集处理方法、装置及服务器与一种存储介质
CN108898104A (zh) * 2018-06-29 2018-11-27 北京旷视科技有限公司 一种物品识别方法、装置、系统及计算机存储介质
CN108810485A (zh) * 2018-07-02 2018-11-13 重庆中科云丛科技有限公司 一种监控系统工作方法
US10460330B1 (en) * 2018-08-09 2019-10-29 Capital One Services, Llc Intelligent face identification
CN109214312B (zh) * 2018-08-17 2021-08-31 连云港伍江数码科技有限公司 信息显示方法、装置、计算机设备和存储介质
CN110909573B (zh) * 2018-09-17 2023-05-02 阿里巴巴集团控股有限公司 信息处理方法及装置、用于识别人与货架距离的方法
CN109190586B (zh) * 2018-09-18 2019-06-11 图普科技（广州）有限公司 顾客到访分析方法、装置及存储介质
CN109353397B (zh) * 2018-09-20 2021-05-11 北京旷视科技有限公司 商品管理方法、装置和系统及存储介质及购物车
CN109344770B (zh) * 2018-09-30 2020-10-09 新华三大数据技术有限公司 资源分配方法及装置
CN111079478B (zh) * 2018-10-19 2023-04-18 杭州海康威视数字技术股份有限公司 一种无人售货架监控方法、装置、电子设备及系统
US10885661B2 (en) * 2018-12-15 2021-01-05 Ncr Corporation Location determination
CN109859660A (zh) * 2018-12-27 2019-06-07 努比亚技术有限公司 一种展示柜交互方法、展示柜及计算机可读存储介质
TWI745653B (zh) * 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統
CN111681018A (zh) * 2019-03-11 2020-09-18 宏碁股份有限公司 顾客行为分析方法与顾客行为分析系统
US10867187B2 (en) * 2019-04-12 2020-12-15 Ncr Corporation Visual-based security compliance processing
CN110110688B (zh) * 2019-05-15 2021-10-22 联想(北京)有限公司 一种信息分析方法及系统
CN110288386A (zh) * 2019-06-10 2019-09-27 帷幄匠心科技（杭州）有限公司 商店客户行为统计系统
CN110348405A (zh) * 2019-07-16 2019-10-18 图普科技（广州）有限公司 线下交互数据获取方法、装置及电子设备
CN110473016A (zh) * 2019-08-14 2019-11-19 北京市商汤科技开发有限公司 数据处理方法、装置及存储介质
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
JP7372099B2 (ja) * 2019-09-24 2023-10-31 東芝テック株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
WO2021059769A1 (ja) * 2019-09-25 2021-04-01 日本電気株式会社 物品管理装置、物品管理システム、物品管理方法及び記録媒体
KR102299103B1 (ko) * 2019-10-23 2021-09-07 주식회사 비주얼캠프 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
CN111192081A (zh) * 2019-12-26 2020-05-22 安徽讯呼信息科技有限公司 一种基于大数据的广告智能显示系统
US11108996B1 (en) 2020-07-28 2021-08-31 Bank Of America Corporation Two-way intercept using coordinate tracking and video classification
CN112150193A (zh) * 2020-09-14 2020-12-29 卖点国际展示(深圳)有限公司 一种客群分析方法、系统及存储介质
CN112989198B (zh) * 2021-03-30 2022-06-07 北京三快在线科技有限公司 推送内容的确定方法、装置、设备及计算机可读存储介质
US12205408B1 (en) * 2021-06-01 2025-01-21 Amazon Technologies, Inc. Detecting interactions with inventory locations
US11842376B2 (en) * 2021-06-25 2023-12-12 Toshiba Global Commerce Solutions Holdings Corporation Method, medium, and system for data lookup based on correlation of user interaction information
JP7318681B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 生成プログラム、生成方法および情報処理装置
JP7647427B2 (ja) * 2021-07-30 2025-03-18 富士通株式会社 接客検出プログラム、接客検出方法および情報処理装置
JP7700611B2 (ja) * 2021-09-30 2025-07-01 富士通株式会社 通知プログラム、通知方法および情報処理装置
US12026708B2 (en) * 2021-10-16 2024-07-02 AiFi Inc. Method and system for anonymous checkout in a store
TWI841884B (zh) 2021-12-01 2024-05-11 財團法人工業技術研究院 智慧商店的選品規劃方法、選品規劃系統及其處理設備
JP7315049B1 (ja) * 2022-02-22 2023-07-26 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP2024085336A (ja) 2022-12-14 2024-06-26 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
CN117115987A (zh) * 2023-08-23 2023-11-24 山东潍坊烟草有限公司 一种香烟掉包行为报警系统及检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
JP2009187554A (ja) * 2008-02-11 2009-08-20 Palo Alto Research Center Inc 検知システム拡張システム及び方法
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5054670B2 (ja) * 2005-03-29 2012-10-24 ストップリフト インコーポレイテッド ビデオ分析を使用して不審挙動を検出する方法及び装置
JP4753193B2 (ja) * 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
CN102881100B (zh) * 2012-08-24 2017-07-07 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
JP2009187554A (ja) * 2008-02-11 2009-08-20 Palo Alto Research Center Inc 検知システム拡張システム及び方法
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム

Cited By (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224800A (ja) * 2015-06-02 2016-12-28 パナソニックＩｐマネジメント株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
WO2016194274A1 (ja) * 2015-06-02 2016-12-08 パナソニックＩｐマネジメント株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
JP2017174271A (ja) * 2016-03-25 2017-09-28 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019527865A (ja) * 2016-05-09 2019-10-03 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
JP7009389B2 (ja) 2016-05-09 2022-01-25 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
WO2018008203A1 (ja) * 2016-07-05 2018-01-11 パナソニックＩｐマネジメント株式会社 シミュレーション装置、シミュレーションシステム、及びシミュレーション方法
JPWO2018008203A1 (ja) * 2016-07-05 2018-09-27 パナソニックＩｐマネジメント株式会社 シミュレーション装置、シミュレーションシステム、及びシミュレーション方法
JP2018045454A (ja) * 2016-09-14 2018-03-22 Ｓｂクリエイティブ株式会社 購買支援システム
JP2021119470A (ja) * 2017-02-14 2021-08-12 日本電気株式会社 画像認識装置、システム、方法およびプログラム
JP2018132868A (ja) * 2017-02-14 2018-08-23 日本電気株式会社 画像認識装置、システム、方法およびプログラム
US11367266B2 (en) 2017-02-14 2022-06-21 Nec Corporation Image recognition system, image recognition method, and storage medium
JP2020504359A (ja) * 2017-03-07 2020-02-06 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 注文情報決定方法および装置
US11430154B2 (en) * 2017-03-31 2022-08-30 Nec Corporation Classification of change related to display rack
US12056660B2 (en) 2017-08-07 2024-08-06 Standard Cognition, Corp. Tracking inventory items in a store for identification of inventory items to be re-stocked and for identification of misplaced items
US11810317B2 (en) 2017-08-07 2023-11-07 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US12243256B2 (en) 2017-08-07 2025-03-04 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US12190285B2 (en) 2017-08-07 2025-01-07 Standard Cognition, Corp. Inventory tracking system and method that identifies gestures of subjects holding inventory items
TWI778030B (zh) * 2017-08-25 2022-09-21 日商日本電氣股份有限公司 店鋪裝置、店鋪管理方法及程式
WO2019038965A1 (ja) * 2017-08-25 2019-02-28 日本電気株式会社 店舗装置、店舗管理方法、プログラム
JP2021140830A (ja) * 2017-08-25 2021-09-16 日本電気株式会社 店舗装置、店舗管理方法、プログラム
JPWO2019038965A1 (ja) * 2017-08-25 2020-04-23 日本電気株式会社 店舗装置、店舗管理方法、プログラム
US11049373B2 (en) 2017-08-25 2021-06-29 Nec Corporation Storefront device, storefront management method, and program
JP7251569B2 (ja) 2017-08-25 2023-04-04 日本電気株式会社 店舗装置、店舗管理方法、プログラム
JP2023175005A (ja) * 2017-10-03 2023-12-08 パナソニックＩｐマネジメント株式会社 情報提示システム、情報提示方法、およびプログラム
JP7122689B2 (ja) 2017-10-03 2022-08-22 パナソニックＩｐマネジメント株式会社 情報提示システム
JP2019067263A (ja) * 2017-10-03 2019-04-25 パナソニックＩｐマネジメント株式会社 情報提示システム
JP7599140B2 (ja) 2017-10-03 2024-12-13 パナソニックＩｐマネジメント株式会社 情報提示システム、情報提示方法、およびプログラム
US11410216B2 (en) 2017-11-07 2022-08-09 Nec Corporation Customer service assistance apparatus, customer service assistance method, and computer-readable recording medium
US11475673B2 (en) 2017-12-04 2022-10-18 Nec Corporation Image recognition device for detecting a change of an object, image recognition method for detecting a change of an object, and image recognition system for detecting a change of an object
WO2019111501A1 (ja) * 2017-12-04 2019-06-13 日本電気株式会社 画像処理装置
JPWO2019111501A1 (ja) * 2017-12-04 2020-12-03 日本電気株式会社 画像処理装置
JP7040531B2 (ja) 2017-12-04 2022-03-23 日本電気株式会社 画像処理装置
JP2019139321A (ja) * 2018-02-06 2019-08-22 コニカミノルタ株式会社 顧客行動分析システムおよび顧客行動分析方法
JP7062985B2 (ja) 2018-02-06 2022-05-09 コニカミノルタ株式会社 顧客行動分析システムおよび顧客行動分析方法
JP2019144621A (ja) * 2018-02-16 2019-08-29 富士通フロンテック株式会社 商品情報分析方法および情報処理システム
JP7147835B2 (ja) 2018-02-20 2022-10-05 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム
JPWO2019162988A1 (ja) * 2018-02-20 2021-02-25 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム
WO2019162988A1 (ja) * 2018-02-20 2019-08-29 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム
US11321949B2 (en) 2018-02-20 2022-05-03 Socionext Inc. Display control device, display control system, and display control method
JP2023153148A (ja) * 2018-03-09 2023-10-17 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP7568004B2 (ja) 2018-03-09 2024-10-16 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
WO2019171574A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
US12205159B2 (en) 2018-03-09 2025-01-21 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
JPWO2019171574A1 (ja) * 2018-03-09 2021-02-04 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
US12165191B2 (en) 2018-03-09 2024-12-10 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
US12141856B2 (en) 2018-03-09 2024-11-12 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
US11443503B2 (en) 2018-03-09 2022-09-13 Nec Corporation Product analysis system, product analysis method, and product analysis program
JP7088281B2 (ja) 2018-03-09 2022-06-21 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
JP2019159998A (ja) * 2018-03-15 2019-09-19 Ｎｅｃプラットフォームズ株式会社 サーバー装置、商業施設内情報システムおよび行動履歴の提示方法
JP7148950B2 (ja) 2018-03-15 2022-10-06 Ｎｅｃプラットフォームズ株式会社 サーバー装置、商業施設内情報システムおよび行動履歴の提示方法
JP2021517315A (ja) * 2018-03-28 2021-07-15 北京京▲東▼尚科信息技▲術▼有限公司Ｂｅｉｊｉｎｇ Ｊｉｎｇｄｏｎｇ Ｓｈａｎｇｋｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． データ処理方法、装置、電子機器、プログラム、及び記憶媒体
CN110322300A (zh) * 2018-03-28 2019-10-11 北京京东尚科信息技术有限公司 数据处理方法及装置、电子设备、存储介质
US11995606B2 (en) 2018-03-28 2024-05-28 Beijing Jingdong Shangke Information Technology Co., Ltd. Method for determine distribution positions of commodities and apparatus, electronic device, and storage medium
JP7066872B2 (ja) 2018-03-28 2022-05-13 北京京▲東▼尚科信息技▲術▼有限公司 データ処理方法、装置、電子機器、プログラム、及び記憶媒体
WO2019207795A1 (ja) * 2018-04-27 2019-10-31 株式会社ウフル 行動関連情報提供システム、行動関連情報の提供方法、プログラム、およびカメラ
JPWO2019207795A1 (ja) * 2018-04-27 2021-02-18 株式会社ウフル 行動関連情報提供システム、行動関連情報の提供方法、プログラム、およびカメラ
US10970528B2 (en) 2018-07-03 2021-04-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method for human motion analysis, apparatus for human motion analysis, device and storage medium
JP2019164842A (ja) * 2018-07-03 2019-09-26 百度在線網絡技術（北京）有限公司 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
JP7228671B2 (ja) 2018-07-26 2023-02-24 スタンダード コグニション コーポレーション 深層学習に基づく店舗リアログラム
JP2021533449A (ja) * 2018-07-26 2021-12-02 スタンダード コグニション コーポレーション 深層学習に基づく店舗リアログラム
JP7228670B2 (ja) 2018-07-26 2023-02-24 スタンダード コグニション コーポレーション 深層学習を使用したリアルタイム在庫追跡
JP2021531595A (ja) * 2018-07-26 2021-11-18 スタンダード コグニション コーポレーション 深層学習を使用したリアルタイム在庫追跡
JP2020119215A (ja) * 2019-01-23 2020-08-06 トヨタ自動車株式会社 情報処理装置及び情報処理方法、プログラム、需要探索システム
WO2020195846A1 (ja) * 2019-03-26 2020-10-01 フェリカネットワークス株式会社 情報処理装置、情報処理方法及びプログラム
JP2020184197A (ja) * 2019-05-08 2020-11-12 株式会社オレンジテクラボ 情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラム
JP7337354B2 (ja) 2019-05-08 2023-09-04 株式会社オレンジテクラボ 情報処理装置及び情報処理プログラム
JP2021047747A (ja) * 2019-09-19 2021-03-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP7053856B2 (ja) 2019-12-31 2022-04-12 センスタイム インターナショナル プライベート リミテッド 画像認識方法および装置、ならびにコンピュータ可読記憶媒体
JP2022518982A (ja) * 2019-12-31 2022-03-18 センスタイム インターナショナル プライベート リミテッド 画像認識方法および装置、ならびにコンピュータ可読記憶媒体
WO2021186751A1 (ja) * 2020-03-18 2021-09-23 株式会社 テクノミライ デジタル・オートファイル・セキュリティシステム、方法及びプログラム
JP6773389B1 (ja) * 2020-03-18 2020-10-21 株式会社 テクノミライ デジタル・オートファイル・セキュリティシステム、方法及びプログラム
JP7525022B2 (ja) 2020-04-21 2024-07-30 日本電気株式会社 処理装置、処理方法及びプログラム
JP2023153316A (ja) * 2020-04-21 2023-10-17 日本電気株式会社 処理装置、処理方法及びプログラム
WO2021234938A1 (ja) * 2020-05-22 2021-11-25 日本電気株式会社 処理装置、処理方法及びプログラム
JP2024039025A (ja) * 2020-05-22 2024-03-21 日本電気株式会社 処理装置、処理方法及びプログラム
JP7396476B2 (ja) 2020-05-22 2023-12-12 日本電気株式会社 処理装置、処理方法及びプログラム
JPWO2021234938A1 (ja) * 2020-05-22 2021-11-25
JP7679865B2 (ja) 2020-05-22 2025-05-20 日本電気株式会社 処理装置、処理方法及びプログラム
US12314925B2 (en) 2020-05-22 2025-05-27 Nec Corporation Processing apparatus, processing method, and non-transitory storage medium
WO2024142194A1 (ja) * 2022-12-27 2024-07-04 日本電気株式会社 分析装置、分析方法、及び、記録媒体
JP7545523B1 (ja) 2023-04-28 2024-09-04 楽天グループ株式会社 情報処理装置、情報処理方法及びプログラム
JP2024158685A (ja) * 2023-04-28 2024-11-08 楽天グループ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN105518734A (zh) 2016-04-20
JPWO2015033577A1 (ja) 2017-03-02
US20160203499A1 (en) 2016-07-14
JP6529078B2 (ja) 2019-06-12

Similar Documents

Publication Publication Date Title
JP6529078B2 (ja) 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム
US11074610B2 (en) Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
JP6172380B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム
JP6249021B2 (ja) セキュリティシステム、セキュリティ方法及びセキュリティプログラム
US8560357B2 (en) Retail model optimization through video data capture and analytics
US20180253708A1 (en) Checkout assistance system and checkout assistance method
JP2011253344A (ja) 購買行動分析装置、購買行動分析方法、およびプログラム
WO2019038968A1 (ja) 店舗装置、店舗システム、店舗管理方法、プログラム
JP2012088878A (ja) 顧客優待管理システム
CN106663279A (zh) 关联程序、计算机可读介质、信息处理方法和信息处理装置
CN101826154A (zh) 关系分析方法、关系分析程序、以及关系分析装置
JP2017083980A (ja) 行動分析装置及びシステム及び方法
JP7092354B2 (ja) 商品情報管理装置、商品情報管理方法およびプログラム
JP2016076109A (ja) 顧客購買意思予測装置及び顧客購買意思予測方法
JP2013144001A (ja) 物品陳列棚、人物行動調査方法および人物行動調査用プログラム
US11238401B1 (en) Identifying user-item interactions in an automated facility
JP2019139321A (ja) 顧客行動分析システムおよび顧客行動分析方法
JP2016167172A (ja) 情報処理方法、情報処理システム、情報処理装置、およびそのプログラム
WO2019116620A1 (ja) 処理装置、処理方法及びプログラム
US20220122125A1 (en) Information processing device, information processing system, display control method, and recording medium
US12014397B2 (en) In-store computerized product promotion system with product prediction model that outputs a target product message based on products selected in a current shopping session
JP6798529B2 (ja) 情報処理装置、情報処理システム、販売促進方法及びプログラム
JP2022093063A (ja) 情報処理装置、情報処理方法及び情報処理システム
US20230267506A1 (en) Matching device, sales promotion assistance system, matching method, and non-transitory computer-readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14842282

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015535322

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14916705

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14842282

Country of ref document: EP

Kind code of ref document: A1