WO2015033575A1 - 販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム - Google Patents

販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム Download PDF

Info

Publication number
WO2015033575A1
WO2015033575A1 PCT/JP2014/004582 JP2014004582W WO2015033575A1 WO 2015033575 A1 WO2015033575 A1 WO 2015033575A1 JP 2014004582 W JP2014004582 W JP 2014004582W WO 2015033575 A1 WO2015033575 A1 WO 2015033575A1
Authority
WO
WIPO (PCT)
Prior art keywords
customer
product
information
promotion
sales promotion
Prior art date
Application number
PCT/JP2014/004582
Other languages
English (en)
French (fr)
Inventor
内田　薫
山下　信行
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2015535320A priority Critical patent/JP6264380B2/ja
Priority to CN201480048604.1A priority patent/CN105580040A/zh
Priority to US14/916,723 priority patent/US20160196575A1/en
Publication of WO2015033575A1 publication Critical patent/WO2015033575A1/ja
Priority to US16/126,004 priority patent/US11074610B2/en
Priority to US16/125,893 priority patent/US20190005535A1/en
Priority to US16/125,971 priority patent/US20190005536A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to a sales promotion system, a sales promotion method, a non-transitory computer readable medium storing a sales promotion program, and a shelf system, and in particular, a sales promotion system, a sales promotion method, a sales using a product and a customer image.
  • the present invention relates to a non-transitory computer-readable medium storing a promotion program and a shelf system.
  • Patent Documents 1 to 5 are known.
  • the present invention provides a sales promotion system, a sales promotion method, a non-transitory computer-readable medium storing a sales promotion program, and a shelf system capable of performing more effective promotion. For the purpose.
  • the sales promotion system tracks an operation of a customer with respect to the product based on the image information acquisition unit that acquires input image information obtained by imaging a presentation area for presenting the product to the customer, and the input image information.
  • a tracking unit and a promotion information output unit that outputs promotion information related to the product corresponding to the tracked customer's operation to the customer.
  • the sales promotion method acquires input image information obtained by imaging a presentation area for presenting a product to a customer, tracks the operation of the customer with respect to the product based on the input image information, and the tracked customer Promotion information related to the product corresponding to the operation is output to the customer.
  • a non-transitory computer-readable medium storing a sales promotion program obtains input image information obtained by imaging a presentation area for presenting a product to a customer, and based on the input image information, the product for the product is acquired. This is for causing a computer to execute a sales promotion process for tracking a customer's operation and outputting promotional information related to the product corresponding to the tracked customer's operation to the customer.
  • the shelf system according to the present invention is based on the shelf arranged to present the product to the customer, the image information acquisition unit that acquires the input image information obtained by imaging the product and the customer, and the input image information.
  • a tracking unit that tracks the customer's operation on the product, and a promotion information output unit that outputs the promotion information related to the product corresponding to the tracked customer's operation to the customer.
  • a sales promotion system it is possible to provide a sales promotion system, a sales promotion method, a non-transitory computer-readable medium storing a sales promotion program, and a shelf system capable of performing more effective promotion.
  • FIG. 1 is a configuration diagram showing a configuration of a sales promotion system according to Embodiment 1.
  • FIG. 3 is a diagram illustrating a configuration example of a 3D camera and an information presentation device according to Embodiment 1.
  • FIG. 3 is a diagram illustrating a configuration example of a 3D camera and an information presentation device according to Embodiment 1.
  • FIG. 3 is a configuration diagram illustrating a configuration of a distance image analysis unit according to Embodiment 1.
  • FIG. 4 is a flowchart showing the operation of the sales promotion system according to the first embodiment.
  • 3 is a flowchart showing an operation of a distance image analysis process according to the first embodiment.
  • 4 is a flowchart illustrating an operation of information presentation processing according to the first embodiment.
  • It is a block diagram which shows the structure of the shelf system which concerns on Embodiment 2.
  • 10 is a flowchart showing the operation of the shelf system according to the second embodiment.
  • FIG. 1 shows a main configuration of the sales promotion system according to the embodiment.
  • the sales promotion system 10 includes an image information acquisition unit 11, a tracking unit 12, and a promotion information output unit 13.
  • the image information acquisition unit 11 acquires input image information obtained by imaging a presentation area where a product is presented to a customer. Based on the acquired input image information, the tracking unit 12 tracks (tracks) the customer's operation on the product.
  • the promotion information output unit 13 outputs promotion information related to the product corresponding to the tracked customer's operation to the customer.
  • the customer's operation on the product is tracked, and the promotion information is output to the customer based on the tracked customer's operation. For example, by tracking the customer's hand (hand), line of sight, etc. as the customer's actions, it is possible to detect that the customer is interested in the product, etc., so that effective promotion is performed according to the customer's interest Can do.
  • FIG. 2 shows the configuration of the sales promotion system according to the present embodiment.
  • This sales promotion system is a system that detects an operation on a customer's product in a store or the like and performs an appropriate promotion according to the detected operation.
  • the customer includes a person (shopper) before actually purchasing a product (before purchase decision), and includes, for example, an arbitrary person who has visited (entered) a store.
  • the sales promotion system 1 includes a sales promotion device 100, a 3D camera 210, a face recognition camera 220, an in-store camera 230, and an information presentation device 240.
  • a sales promotion device 100 for example, although each structure of the sales promotion system 1 is provided in the same store, you may provide the sales promotion apparatus 100 in the exterior of a store.
  • each structure of the sales promotion system 1 is demonstrated as a separate apparatus here, each structure is good also as 1 or arbitrary numbers of apparatuses.
  • the 3D camera (three-dimensional camera) 210 is an imaging device (distance image sensor) that images and measures a target and generates a distance image (distance image information).
  • the distance image includes image information obtained by imaging the object and distance information obtained by measuring the distance to the object.
  • the 3D camera 210 is configured by Microsoft Kinect (registered trademark), a stereo camera, or the like. By using a 3D camera, it is possible to recognize (track) an object (such as a customer's action) including distance information, and thus highly accurate recognition processing can be performed.
  • the 3D camera 210 images the product shelf (product display shelf) 300 on which the product 301 is arranged (displayed) in order to detect the behavior of the customer on the product. Furthermore, the customer 400 who is going to purchase the product 301 in front of the product shelf 300 is imaged. The 3D camera 210 images a product arrangement region of the product shelf 300 and a region where the customer picks up / views the product in front of the product shelf 300, that is, a presentation region where the product shelf 300 presents the product to the customer.
  • the 3D camera 210 is installed in the product shelf 300 and a position where the customer 400 in front of the product shelf 300 can take an image, for example, above (such as a ceiling) or in front (such as a wall) of the product shelf 300 or on the product shelf 300.
  • the product 300 is a real product, but is not limited to a real product, and may be a sample product or a printed product on which a label is printed.
  • 3D camera 210 is demonstrated as an apparatus which images the goods shelf 300 and the customer 400, even if it comprises not only a 3D camera but the general camera (2D camera) which outputs only the imaged image. Good. In this case, tracking is performed using only image information.
  • the face recognition camera 220 and the in-store camera 230 are imaging devices (2D cameras) that generate images obtained by imaging a target.
  • the face recognition camera 220 is installed at an entrance of a store or the like in order to recognize a customer's face, and captures the face of the customer who visits the store and generates a face image.
  • the in-store camera 230 is arranged at a plurality of positions in the store in order to detect a flow line of a customer in the store, and images each sales floor in the store to generate an in-store image.
  • the face recognition camera 220 and the in-store camera 230 may be configured with a 3D camera. By using a 3D camera, it is possible to accurately recognize the customer's face and the customer's movement route.
  • the information presentation device 240 is a device that presents (outputs) the promotion information generated by the sales promotion device 100 to the customer.
  • the method of presenting (outputting) to the customer may be any method, for example, display of characters or images on a display device, or audio output by a speaker or the like.
  • the information presentation device 240 is installed at a position where the customer 400 can visually recognize (can hear).
  • the information presentation device 240 may be configured by a tablet terminal or electronic paper (installed POP device) and installed on a shelf. Further, as shown in FIG. 3B, the information presentation device 240 may be configured by a projector, installed around the shelf, and displayed on the shelf. In order to effectively present it to the customer, it is preferable to install (display) it in a place where it is easy for the customer to visually recognize, such as the point of gaze or the side of the product. Furthermore, you may arrange
  • the sales promotion device 100 includes a distance image analysis unit 110, a customer recognition unit 120, a flow line analysis unit 130, a presentation information generation unit 140, a product information DB (database) 150, and a customer information DB 160. Yes.
  • each of these blocks will be described as a function of the sales promotion device 100, but other configurations may be used as long as an operation according to the present embodiment described later can be realized.
  • Each configuration in the sales promotion device 100 is configured by hardware and / or software, and may be configured by one piece of hardware or software, or may be configured by a plurality of pieces of hardware or software.
  • the product information DB 150 and the customer information DB 160 may be storage devices connected to an external network (cloud).
  • Each function (each process) of the sales promotion device 100 may be realized by a computer having a CPU, a memory, and the like.
  • the sales promotion program for performing the sales promotion method (sales promotion processing) in the embodiment is stored in the storage device, and each function is realized by executing the sales promotion program stored in the storage device by the CPU. May be.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
  • Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the distance image analysis unit 110 acquires the distance image generated by the 3D camera 210, tracks the detection target based on the acquired distance image, and recognizes the operation.
  • the distance image analysis unit 110 mainly tracks and recognizes the customer's hand, the customer's line of sight, and the product taken by the customer.
  • the distance image analysis unit 110 refers to the product information DB 150 in order to recognize the products included in the distance image.
  • the distance image analysis unit 110 detects the customer's movement, but also detects the customer's facial expression (joy, surprise, etc.) and heartbeat based on the distance image, and according to the facial expression, heartbeat, etc. Promotion information may be presented.
  • the 3D camera may be provided with a microphone, and the voice of the customer input to the microphone may be recognized by the voice recognition unit.
  • the customer's conversation characteristics (such as voice strength, level, tempo, etc.) may be detected based on the recognized voice, and the promotion information may be presented according to the conversation characteristics.
  • the customer recognition unit 120 acquires a customer face image generated by the face recognition camera 220 and refers to the customer information DB 160 to recognize a customer included in the acquired face image.
  • the flow line analysis unit 130 acquires the in-store image generated by the in-store camera 230, analyzes the movement history of the customer in the store based on the acquired in-store image, and detects the customer's flow line (movement route).
  • the presentation information generation unit 140 generates promotion information to be presented to the customer based on the detection results of the distance image analysis unit 110, the customer recognition unit 120, and the flow line analysis unit 130, and the generated promotion information is sent to the information presentation device 240. Output.
  • the promotion information is information for promoting the sale (purchase) of the product, and is information for recommending the customer to make a decision to purchase the product.
  • the presentation information generation unit 140 refers to the product information DB 150 and the customer information DB 160, and as the promotion information, information related to the product detected by the distance image analysis unit 110 that the customer has contacted, or the customer recognition unit 120 has recognized.
  • Product information related to the customer and product information related to the customer's flow line analyzed by the flow line analysis unit 130 are generated.
  • promotion information corresponding to an operation is generated and output (displayed) to the information presentation device.
  • the generated promotion information is output to other devices and systems, and further, the promotion information is displayed. May be used.
  • the promotion information may be stored as a customer's wishlist in the customer information DB or other database, and the promotion information may be provided to the customer via the network.
  • the product information DB (product information storage unit) 150 stores product related information related to products placed in the store.
  • the merchandise information DB 150 stores merchandise identification information 151, characteristic combined purchase (sold) information 152, push information 153, comparison information 154, and the like as merchandise related information.
  • the product identification information 151 is information (product master) for identifying a product, and includes, for example, a product code, a product name, a product type, product label image information (image), and the like.
  • the characteristic purchase information 152 is characteristic information indicating the characteristics of the product, and information (recommendation information, recommended information) for recommending the customer to purchase the product together with the product, for example, in combination with the material and origin of the product, the product. Includes food to eat, recipes that use the product as an ingredient, coordinated products, etc.
  • Push information 153 is information for prompting the customer to make a purchase decision on the product, and includes discount information such as a discount coupon, for example.
  • the comparison information 154 is information indicating comparison with other products, and includes, for example, information comparing product characteristics and prices.
  • the customer information DB (customer information storage unit) 160 stores customer related information related to customers who have visited the store.
  • the customer information DB 160 stores customer identification information 161, attribute information 162, preference information 163, history information 164, and the like as customer related information.
  • Customer identification information 161 is information for identifying a customer, and includes, for example, a customer member ID, name, address, date of birth, face image information (image), and the like.
  • the attribute information 162 is information indicating customer attributes, and includes, for example, age, sex, occupation, and the like.
  • the preference information 163 is information indicating customer preferences, and includes, for example, hobbies, favorite foods, colors, music, movies, and the like.
  • the history information 164 is information related to the customer's history. For example, the purchase history of purchasing the product, the visit history of visiting the store, the movement history in the store, the contact history such as picking up / seeing the product (access) History).
  • FIG. 4 shows the configuration of the distance image analysis unit 110 of the sales promotion device 100.
  • the distance image analysis unit 110 includes a distance image acquisition unit 111, a region detection unit 112, a hand tracking unit 113, a hand motion recognition unit 114, a line of sight tracking unit 115, a line of sight motion recognition unit 116, and a product tracking unit. 117, a product recognition unit 118 is provided.
  • the distance image acquisition unit 111 acquires a distance image including the customer and the product imaged and generated by the 3D camera 210.
  • the area detection unit 112 detects the area of each part of the customer and the area of the product included in the distance image acquired by the distance image acquisition unit 111.
  • the hand tracking unit 113 tracks the movement of the customer's hand (hand) detected by the area detection unit 112.
  • the hand movement recognition unit 114 recognizes the movement of the customer with respect to the product based on the movement of the hand (hand) tracked by the hand tracking unit 113. For example, the hand movement recognition unit 114 determines that the customer has seen the product in his / her hand when he / she turns the palm toward the face while holding the product. When a product is gripped and the hand is hidden by the product and is not captured by the camera, the customer picks up the product by looking at the position / direction of the product being held and its change. You may decide that
  • the line-of-sight tracking unit 115 tracks the movement of the customer's line of sight (eyes) detected by the region detection unit 112.
  • the line-of-sight movement recognition unit 116 recognizes the movement of the customer with respect to the product based on the line-of-sight (eye) movement detected by the line-of-sight tracking unit 115.
  • the line-of-sight motion recognition unit 116 determines that the customer has seen the product when the product is arranged in the direction of the line of sight.
  • the product tracking unit 117 tracks the operation (state) of the product detected by the region detection unit 112.
  • the merchandise tracking unit 117 tracks the merchandise determined to be picked up by the customer in the hand movement recognition unit 114 or the merchandise determined to be viewed by the customer in the line-of-sight motion recognition unit 116.
  • the product recognition unit 118 refers to the product information DB 150 and identifies which product corresponds to the product tracked by the product tracking unit 117.
  • the product recognition unit 118 compares the detected product label with the image information of the label of the product identification information 151 stored in the product information DB 150, and recognizes the product by matching. Further, the product recognition unit 118 stores the relationship between the shelf arrangement position and the product in the product information DB 150, and the product based on the product taken by the customer or the shelf position of the product viewed by the customer. Identify
  • a customer enters a store and approaches a shelf in the store (S101).
  • the face recognition camera 220 in the store generates an image of the customer's face
  • the sales promotion device 100 recognizes the customer attribute and customer ID based on the face image (S102). That is, the customer recognition unit 120 of the sales promotion device 100 compares and matches (matches) the face image information of the customer identification information 161 stored in the customer information DB 160 with the face image captured by the face recognition camera 220. By searching for the customer, the customer is recognized, and the customer attribute and customer ID of the customer recognized from the customer identification information 161 are acquired.
  • the customer picks up the product placed on the shelf (S103).
  • the 3D camera 210 near the shelf images the customer's hand
  • the sales promotion device 100 recognizes the movement of the customer's hand and the product type from the distance image of the 3D camera 210 (S104). That is, the distance image analysis unit 110 of the sales promotion device 100 tracks the customer's hand (line of sight) and the distance image obtained by capturing the product, and the customer picks up the product and sees it (the customer views the product).
  • the matching product is detected with reference to the product information DB 150 to recognize the product that the customer has picked up (the product viewed by the customer).
  • the sales promotion device 100 presents information on the product recognized in S104 and promotion information (related information) such as a discount to the information presentation device 240 (S105). Then, the customer reads the presentation information (provided information) presented on the information presentation device 240, and decides to purchase the commodity (the commodity viewed) taken (S106). That is, the presentation information generation unit 140 of the sales promotion device 100 refers to the product information DB 150 and the customer information DB 160 and presents promotion information related to the recognized product. In addition, the presentation information generation unit 140 presents information on the product related to the customer recognized in S102 as the promotion information, and further presents information on the product related to the flow of the customer analyzed in S108 described later.
  • the customer moves to another sales floor (S107).
  • the in-store camera 230 images the movement of the customer between the sales floors, and the sales promotion device 100 grasps the purchase behavior at the other sales floor (S108).
  • the flow line analysis unit 130 of the sales promotion device 100 analyzes customer movement histories based on a plurality of sales floor images and detects customer leads, thereby grasping customer purchase behavior.
  • S103 and subsequent steps are repeated, and when the customer picks up the product at the destination sales floor, information related to the product based on the customer's flow line (purchasing behavior) is presented to the customer.
  • FIG. 6 shows details of the recognition process (tracking process) executed by the distance image analysis unit 110 in S104 of FIG. Note that the processing in FIG. 6 is an example, and the hand movement, the line-of-sight movement, and the product may be recognized by other image analysis processing.
  • the distance image acquisition unit 111 acquires a distance image including a customer and a product from the 3D camera 210 (S201).
  • the region detection unit 112 detects a person and a shelf included in the distance image acquired in S201 (S202), and further detects each region of the person and the shelf (S203).
  • the region detection unit 112 uses a discriminator such as SVM (Support Vector Vector Machine) to detect a person (customer) based on an image and a distance included in the distance image, and estimate a joint of the detected person. Then, the human skeleton is detected.
  • SVM Serial Vector Vector Machine
  • the area detection unit 112 detects areas of respective parts such as a person's hand (hand) and face (eyes) based on the detected skeleton. In addition, the area detection unit 112 uses a discriminator to detect the shelves and each stage of the shelves based on the images and distances included in the distance image, and further detects the arrangement area of the products on each shelf.
  • the hand tracking unit 113 tracks the operation of the customer's hand detected in S203 (S204).
  • the hand tracking unit 113 tracks the skeleton around the customer's hand based on the image and the distance included in the distance image, and detects the movement of the finger or palm of the hand.
  • the hand motion recognition unit 114 extracts the hand motion feature based on the hand motion tracked in S204 (S205), and the customer hand motion with respect to the product based on the extracted feature, that is, the product.
  • the movement of grasping the user and the movement of viewing the product are recognized (S206).
  • the hand movement recognition unit 114 extracts changes in the orientation, angle, and movement amount of fingers and palms (wrists) as feature amounts. For example, the hand movement recognition unit 114 detects that the customer is grasping the product from the angle of the finger, and detects that the customer is looking at the product when the normal direction of the palm faces the face.
  • the state of grasping the product or the state of picking up the product in advance may be learned in advance, and the action at hand may be identified by comparing with the learned feature amount.
  • the line-of-sight tracking unit 115 tracks the movement of the customer's line of sight detected in S203 (S207).
  • the line-of-sight tracking unit 115 tracks the skeleton around the customer's face based on the image and distance included in the distance image, and detects the motion of the face, eyes, and pupil.
  • the line-of-sight movement recognition unit 116 extracts the line-of-sight movement feature based on the line-of-sight movement tracked in S207 (S208), and the customer's line-of-sight movement with respect to the product based on the extracted feature, that is, the customer Recognizes the action of viewing the product (S209).
  • the line-of-sight motion recognition unit 116 extracts changes in the orientation, angle, and movement amount of the face, eyes, and pupil as feature amounts.
  • the line-of-sight movement recognition unit 116 detects the direction of the line of sight from the movements of the face, eyes, and pupil, and detects whether or not the direction of the line of sight faces the product.
  • the state of sight line may be identified by learning in advance the state of viewing the product and comparing it with the learned feature amount.
  • the product tracking unit 117 tracks the operation (state) of the product detected in S203 (S210).
  • the merchandise tracking unit 117 tracks the merchandise determined to be picked up by the customer in S206 or the merchandise determined to be viewed by the customer in S209.
  • the product tracking unit 117 detects the direction and position of the label of the product based on the image and the distance included in the distance image.
  • the product recognition unit 118 extracts product features for the product tracked in S210 (S211), and recognizes corresponding products from the product information DB 150 based on the extracted features (S212).
  • the product recognition unit 118 extracts characters and images of product labels as feature amounts. For example, the product recognizing unit 118 compares the extracted feature amount of the label with the feature amount of the label in the product information DB 150, and identifies the product by searching for a product with the matching feature amount.
  • the product information DB 150 when the relationship between the arrangement position of the shelf and the product is stored in the product information DB 150, the product taken by the customer or viewed by the customer based on the image and the distance included in the distance image The corresponding product is detected by acquiring the position of the shelf and searching the shelf information from the product information DB 150.
  • FIG. 7 shows details of the information presentation processing executed in S104 and S105 of FIG.
  • the distance image analysis unit 110 determines whether or not the customer has picked up and viewed the product, or whether or not the customer has viewed the product (S301). For example, it is determined whether the palm is facing the face, the user is holding a box / bottle or the like, the user keeps watching for a certain period of time, and sees two products with both hands.
  • the customer performs the corresponding operation the following processing is performed to display the promotion information corresponding to the operation.
  • the presentation information generation unit 140 acquires customer information (S302) and acquires flow line information (S303).
  • the presentation information generation unit 140 acquires customer information from the customer recognition unit 120 in order to provide the customer with information based on the customer recognition result based on the face image of the face recognition camera 220. Further, the presentation information generation unit 140 acquires the flow line information from the flow line analysis unit 130 in order to provide the customer with information based on the flow line analysis result based on the in-store image of the in-store camera 230.
  • acquisition of customer information and acquisition of flow line information may be omitted.
  • the presentation information generation unit 140 generates promotion information (product related information) through S304 to S306 and presents it to the customer.
  • promotion information product related information
  • S304 to S306 are examples of information to be presented, and other promotion information may be presented.
  • the presentation of S304 to S306 may be presented all at once or in any order.
  • information arbitrarily selected from S304 to S306 may be presented, or may be presented together with other information.
  • the presentation information generation unit 140 refers to the product information DB 150, acquires characteristic purchase information 152 related to the target product that the customer has seen / viewed by the customer, and acquires the acquired characteristic combined purchase information 152. It is generated as presentation information and output to the information presentation device 240.
  • the presentation information generation unit 140 may produce the food product or raw material of the product that the customer has seen and picked up in combination with the product that the customer has picked up (if the wine is picked up, it matches the wine. Cheese), foods with similar origins and ingredients, recipes that use the product as an ingredient (pizza when cheese is picked up), ingredients and cooking utensils contained in this recipe (pizza dough, toppings, microwave oven) Etc.) and coordinated products (clothes, shoes, belts, bags, etc.).
  • information that is adapted such as the information narrowed down by the customer information acquired in S302 or the information narrowed down by the flow line information acquired in S303 is used as the presentation information.
  • the provided information is adapted based on the recognized attributes such as the sex and age of the customer, or the member customer ID, and the provided information is adapted based on the knowledge of purchase / interest in other sales floors based on the flow line analysis.
  • diet, allergy information, and health information may be presented based on attributes, preferences, history, and the like.
  • the promotion information may be presented in conjunction with the plurality of signage along the recognized flow line.
  • the presentation information generation unit 140 refers to the product information DB 150, acquires push information 153 related to the target product that the customer has picked up / viewed by the customer, and the acquired push information 153 is provided as the presentation information. And output to the information presentation device 240.
  • the customer keeps looking at the product for a certain period of time, it is presumed that he / she has lost his / her purchase, so it is preferable to present push information (back-up information).
  • the presentation information generation unit 140 generates a discount proposal such as “5 discount for the second”, discount coupons, word-of-mouth information, ranking information, and the like for the product viewed by the customer.
  • Discount coupon information may be displayed and used in conjunction with a smartphone.
  • a bar code of a product may be read by a shopping cart reader or the like, and a subtotal of the current purchase amount may be displayed, and an amount reflecting a discount may be displayed.
  • information that is adapted from the push information 153 such as information narrowed down by the customer information acquired in S302 and information narrowed down by the flow line information acquired in S303, is used as the presentation information.
  • the presentation information generation unit 140 refers to the product information DB 150, acquires the comparison information 154 related to the target product that the customer has picked up / viewed by the customer, and the acquired comparison information 154 is used as the presentation information. And output to the information presentation device 240.
  • the presentation information generation unit 140 when the customer picks up and sees two products, the presentation information generation unit 140 generates information that compares the characteristics, functions, prices, discounts, and rankings of these two products.
  • push information such as discount information is presented as in S305.
  • information that is adapted such as information narrowed down by the customer information acquired in S302 or information narrowed down by the flow line information acquired in S303 in the comparison information 154 is used as the presentation information.
  • the movement of the customer's hand is observed by the 3D camera arranged at a position where the product shelf and the customer (shopper) in front of it can be seen, and which product is picked up is recognized. Then, on the information presentation device (display device) adjacent to the product, promotion information such as information on the product, discount proposal, and related recommended information is displayed.
  • the movement of the hand can be accurately grasped by the 3D camera, and the movement of the product such as touching the product, picking up the hand, turning the label, etc. can be grasped. Can be displayed in real time.
  • it is possible to accurately detect that the customer is interested in the product by such an operation it is possible to effectively promote the customer who is interested in the product and promote the purchase of the product. It can be linked to sales.
  • the comparison information of both products and the coupon presentation of the product of the person who wants to sell are displayed. Can push the purchase decision.
  • more effective information can be presented by adapting promotional information based on customer information recognized using a face recognition camera or adapting promotional information based on customer flow analyzed using an in-store camera. be able to.
  • FIG. 8 shows a configuration of the shelf system according to the present embodiment.
  • the shelf system 2 includes a product shelf 300.
  • the product shelf 300 is a shelf on which the product 301 is arranged as shown in FIGS. 3A and 3B.
  • the product shelf 300 includes the 3D camera 210, the information presentation device (information presentation unit) 240, the distance image analysis unit 110, the presentation information generation unit 140, and the product information DB 150 described in the first embodiment. I have. In addition, you may provide the face recognition camera 220, the customer recognition part 120, and customer information DB160 as needed.
  • the presentation information generation unit 140 generates promotion information to be presented to the customer based on the detection result of the distance image analysis unit 110, and outputs the generated promotion information to the information presentation device 240.
  • the presentation information generation unit 140 refers to the product information DB 150 and generates information related to the product that the distance image analysis unit 110 has detected that the customer has contacted as promotion information.
  • FIG. 9 shows the operation of the shelf system 2 according to the present embodiment.
  • the distance image analysis unit 110 determines whether or not the customer has picked up the product and has seen it, or whether or not the customer has seen the product (S301). .
  • the presentation information generation unit 140 When the customer performs the corresponding operation, the presentation information generation unit 140 generates promotion information (product related information) through S304 to S306 and presents it to the customer. Although information is not generated based on customer information and flow line information as compared with the first embodiment, the rest is the same as in the first embodiment.
  • the presentation information generation unit 140 acquires characteristic purchase information 152 related to the target product that the customer has picked up / viewed by the customer, generates presentation information such as food to be eaten in combination, and presents the information.
  • the data is output to the device 240 (S304).
  • the presentation information generation unit 140 acquires push information 153 related to the target product that the customer picks up / views, generates presentation information such as a discount coupon, and outputs the information to the information presentation device 240. (S305).
  • the presentation information generation unit 140 acquires comparison information 154 related to the target product that the customer has seen / taken by the customer and compares the characteristics of the two products held in both hands, and the like. Presentation information is generated and output to the information presentation device 240 (S306).
  • the main configuration in the first embodiment is provided in one commodity shelf.
  • movement with respect to a customer's goods can be detected correctly, and the promotion information according to a customer's operation
  • movement can be displayed timely.
  • this embodiment can be realized with only one product shelf, no device or system other than the shelf is required. Therefore, it is possible to easily introduce a system even in a store without an advanced system such as a POS system or a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

販売促進システム（１０）は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得部（１１）と、入力画像情報に基づいて、商品に対する顧客の動作をトラッキングするトラッキング部（１２）と、トラッキングした顧客の動作に対応した商品に関連するプロモーション情報を、顧客へ出力するプロモーション情報出力部（１３）と、を備えるものである。これにより、より効果的なプロモーションを行うことを可能にする。

Description

販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム
　本発明は、販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムに関し、特に、商品及び顧客の画像を用いた販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムに関する。
　多くの商品が陳列された店舗などでは、販売促進のため様々なプロモーションが行われている。例えば、売り場に置いたパンフレットなどで商品の情報を顧客へ提供したり、店員が顧客の反応を見ながら値引きの打診等を行っている。
　関連する技術として、例えば、特許文献１～５が知られている。
特開２０１３－０５４５３９号公報 特開２０１２－０３８０３５号公報 特開２００９－０４８４３０号公報 特開２００９－００３７０１号公報 特開２００６－１８４３８７号公報
　例えば特許文献１などの関連する技術では、電子棚札端末の赤外線センサに顧客の顔や手が近接すると、電子棚札端末の表示画面の表示内容を変更している。
　しかしながら、関連する技術では、赤外線センサ等により顧客の接近を単純に検出している程度であるため、顧客が商品に興味を持ったという事象を検知することはできない。このため、定常的なポスターやパンフレット、サンプルなどを置くなどの情報提供にとどまることが多い。また、関連する技術では、顧客が商品を買うかどうか迷った瞬間にタイムリーなプロモーションを実行することができず、店員並みの客の動作に応じた情報提供や値引き打診を行うことができない。
　したがって、関連する技術では、顧客の商品に対する動作に応じて効果的なプロモーションを行うことが困難であるという問題があった。
　本発明は、このような問題に鑑み、より効果的なプロモーションを行うことが可能な販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムを提供することを目的とする。
　本発明に係る販売促進システムは、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング部と、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力部と、を備えるものである。
　本発明に係る販売促進方法は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するものである。
　本発明に係る販売促進プログラムが格納された非一時的なコンピュータ可読媒体は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、販売促進処理をコンピュータに実行させるためのものである。
　本発明に係る棚システムは、商品を顧客に提示するために配置する棚と、前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング部と、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力部と、を備えるものである。
　本発明によれば、より効果的なプロモーションを行うことが可能な販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムを提供することができる。
実施の形態に係る販売促進システムの主要な構成を示す構成図である。 実施の形態１に係る販売促進システムの構成を示す構成図である。 実施の形態１に係る３Ｄカメラ及び情報提示装置の構成例を示す図である。 実施の形態１に係る３Ｄカメラ及び情報提示装置の構成例を示す図である。 実施の形態１に係る距離画像解析部の構成を示す構成図である。 実施の形態１に係る販売促進システムの動作を示すフローチャートである。 実施の形態１に係る距離画像解析処理の動作を示すフローチャートである。 実施の形態１に係る情報提示処理の動作を示すフローチャートである。 実施の形態２に係る棚システムの構成を示す構成図である。 実施の形態２に係る棚システムの動作を示すフローチャートである。
（実施の形態の概要）
　実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係る販売促進システムの主要な構成を示している。
　図１に示すように、実施の形態に係る販売促進システム１０は、画像情報取得部１１と、トラッキング部１２と、プロモーション情報出力部１３とを備えている。画像情報取得部１１は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する。トラッキング部１２は、取得した入力画像情報に基づいて、商品に対する顧客の動作をトラッキング（追跡）する。プロモーション情報出力部１３は、トラッキングした顧客の動作に対応した商品に関連するプロモーション情報を、顧客へ出力する。
　このように、実施の形態では、商品に対する顧客の動作をトラッキングし、トラッキングした顧客の動作に基づいてプロモーション情報を顧客へ出力する。例えば、顧客の動作として、顧客の手（手元）や視線などをトラッキングすることにより、顧客が商品に興味を持ったことなどを検出できるため、顧客の興味に応じて効果的なプロモーションを行うことができる。
（実施の形態１）
　以下、図面を参照して実施の形態１について説明する。図２は、本実施の形態に係る販売促進システムの構成を示している。この販売促進システムは、店舗等において、顧客の商品に対する動作を検出し、検出した動作に応じて適切なプロモーションを行うシステムである。なお、顧客とは、実際に商品を購入する前（購入決断前）の人物（ショッパー）を含み、例えば、店舗に来店（入店）した任意の人物を含む。
　図２に示すように、本実施の形態に係る販売促進システム１は、販売促進装置１００、３Ｄカメラ２１０、顔認識カメラ２２０、店内カメラ２３０、情報提示装置２４０を備えている。例えば、販売促進システム１の各構成は同一の店舗に設けられているが、販売促進装置１００を店舗の外部に設けてもよい。なお、ここでは、販売促進システム１の各構成を別々の装置として説明するが、各構成を１または任意の数の装置としてもよい。
　３Ｄカメラ（３次元カメラ）２１０は、対象を撮像及び計測し、距離画像（距離画像情報）を生成する撮像装置（距離画像センサ）である。距離画像は、対象を撮像した画像情報と、対象までの距離を計測した距離情報を含んでいる。例えば、３Ｄカメラ２１０は、Ｍｉｃｒｏｓｏｆｔ　Ｋｉｎｅｃｔ（登録商標）や、ステレオカメラなどで構成される。３Ｄカメラを用いることで、距離情報を含めて対象（顧客の動作など）を認識（トラッキング）できるため、高精度な認識処理を行うことができる。
　図３Ａ及び図３Ｂのように、本実施の形態では、３Ｄカメラ２１０は、顧客の商品に対する行動を検出するために、商品３０１が配置（陳列）された商品棚（商品陳列棚）３００を撮像し、さらに、商品棚３００の前で商品３０１を購入しようとしている顧客４００を撮像する。３Ｄカメラ２１０は、商品棚３００の商品配置領域と商品棚３００の前で顧客が商品を手に取る／見る領域、すなわち、商品棚３００が商品を顧客に提示する提示領域を撮像する。３Ｄカメラ２１０は、商品棚３００と、商品棚３００の前の顧客４００が撮像可能な位置、例えば、商品棚３００の上方（天井など）や前方（壁など）、もしくは商品棚３００に設置されている。例えば、商品３００は実物の商品であるが、実物に限らず、サンプル品や、ラベルなどを印刷した印刷物などでもよい。
　なお、商品棚３００及び顧客４００を撮像する装置として、３Ｄカメラ２１０の例について説明するが、３Ｄカメラに限らず、撮像した画像のみを出力する一般的なカメラ（２Ｄカメラ）で構成してもよい。この場合、画像情報のみを用いてトラッキングが行われる。
　顔認識カメラ２２０及び店内カメラ２３０は、対象を撮像した画像を生成する撮像装置（２Ｄカメラ）である。顔認識カメラ２２０は、顧客の顔を認識するために、店舗の入口などに設置され、来店した顧客の顔を撮像し顔画像を生成する。店内カメラ２３０は、店舗における顧客の動線を検出するために、店内の複数の位置に配置され、店内の各売り場を撮像し店内画像を生成する。なお、顔認識カメラ２２０及び店内カメラ２３０は、３Ｄカメラで構成してもよい。３Ｄカメラとすることで、顧客の顔や顧客の移動経路を精度よく認識できる。
　情報提示装置２４０は、販売促進装置１００が生成したプロモーション情報を顧客へ提示（出力）する装置である。顧客へ提示（出力）する方法は任意の方法でよく、例えば、表示装置による文字や画像等の表示や、スピーカ等による音声出力でもよい。情報提示装置２４０は、顧客４００が視認可能（聞き取り可能）な位置に設置される。
　図３Ａのように、情報提示装置２４０をタブレット端末や電子ペーパ（据え付けＰＯＰデバイスんど）で構成して、棚上に設置してもよい。また、図３Ｂのように、情報提示装置２４０をプロジェクタで構成して、棚周辺に設置し、棚に表示するようにしてもよい。顧客に効果的に提示するために、視線の先や商品のすぐ横など、顧客から視認しやすい場所に設置（表示）することが好ましい。さらに、顧客が使用している店内カート（ショッピングカート）やショッピングバスケット（カゴ）に配置してもよい。
　図２に示すように、販売促進装置１００は、距離画像解析部１１０、顧客認識部１２０、動線解析部１３０、提示情報生成部１４０、商品情報ＤＢ（データベース）１５０、顧客情報ＤＢ１６０を備えている。なお、ここでは、これらの各ブロックを販売促進装置１００の機能として説明するが、後述する本実施の形態に係る動作が実現できれば、その他の構成であってもよい。
　販売促進装置１００における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。例えば、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を外部のネットワーク（クラウド）に接続された記憶装置としてもよい。販売促進装置１００の各機能（各処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施の形態における販売促進方法（販売促進処理）を行うための販売促進プログラムを格納し、各機能を、記憶装置に格納された販売促進プログラムをＣＰＵで実行することにより実現してもよい。
　この販売促進プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　距離画像解析部１１０は、３Ｄカメラ２１０が生成した距離画像を取得し、取得した距離画像に基づいて検出対象をトラッキングし、その動作を認識する。本実施の形態では、距離画像解析部１１０は、主に、顧客の手元、顧客の視線、顧客が手に取った商品をトラッキングし認識する。距離画像解析部１１０は、距離画像に含まれる商品を認識するため商品情報ＤＢ１５０を参照する。なお、ここでは、距離画像解析部１１０において、顧客の動作を検出するが、その他、距離画像に基づいて顧客の表情（喜び、驚きなど）や心拍などを検出し、表情や心拍などに応じてプロモーション情報を提示するようにしてもよい。また、３Ｄカメラにマイクを備えておき、音声認識部により、マイクに入力された顧客の音声を認識してもよい。例えば、認識した音声に基づいて、顧客の会話の特徴（声の強弱、高低、テンポなど）を検出し、会話の特徴に応じてプロモーション情報を提示するようにしてもよい。
　顧客認識部１２０は、顔認識カメラ２２０が生成した顧客の顔画像を取得し、顧客情報ＤＢ１６０を参照することで、取得した顔画像に含まれる顧客を認識する。動線解析部１３０は、店内カメラ２３０が生成した店内画像を取得し、取得した店内画像に基づいて店内における顧客の移動履歴を解析し、顧客の動線（移動経路）を検出する。
　提示情報生成部１４０は、距離画像解析部１１０、顧客認識部１２０、動線解析部１３０の検出結果に基づいて、顧客へ提示するプロモーション情報を生成し、生成したプロモーション情報を情報提示装置２４０へ出力する。プロモーション情報は、商品の販売（購入）を促進するための情報であり、顧客に商品購入の決断を推奨する情報である。提示情報生成部１４０は、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を参照し、プロモーション情報として、距離画像解析部１１０により顧客が接触したことを検出した商品に関連する情報や、顧客認識部１２０が認識した顧客に関連する商品の情報、動線解析部１３０が解析した顧客の動線に関連する商品の情報を生成する。
　なお、本実施の形態では、動作に応じたプロモーション情報を生成し情報提示装置に出力（表示）する例について説明するが、生成したプロモーション情報をその他の装置やシステムに出力し、さらにプロモーション情報を利用してもよい。例えば、プロモーション情報を顧客情報ＤＢやその他のデータベースに対して、顧客のＷｉｓｈＬｉｓｔ（ほしい物リスト）として格納し、顧客に対してネットワークを介してプロモーション情報を提供するようにしてもよい。
　商品情報ＤＢ（商品情報記憶部）１５０は、店舗に配置された商品に関連する商品関連情報を記憶する。商品情報ＤＢ１５０は、商品関連情報として、商品識別情報１５１、特性併買（併売）情報１５２、プッシュ情報１５３、比較情報１５４などを記憶する。
　商品識別情報１５１は、商品を識別するための情報（商品マスタ）であり、例えば、商品コード、商品名、商品の種類、商品ラベルのイメージ情報（画像）などを含む。特性併買情報１５２は、商品の特性を示す特性情報や、商品との併買を顧客に勧めるための情報（推奨情報、お勧め情報）であり、例えば、商品の材料や原産地、当該商品と組み合わせて食する食品、当該商品を食材として使うレシピ、コーディネートされた商品などを含む。
　プッシュ情報１５３は、商品の購買決定を顧客に促すための情報であり、例えば、割引クーポンなどの割引情報を含む。比較情報１５４は、他の商品との比較を示す情報であり、例えば、商品の特性や価格などを比較した情報を含む。
　顧客情報ＤＢ（顧客情報記憶部）１６０は、来店した顧客に関連する顧客関連情報を記憶する。顧客情報ＤＢ１６０は、顧客関連情報として、顧客識別情報１６１、属性情報１６２、嗜好情報１６３、履歴情報１６４などを記憶する。
　顧客識別情報１６１は、顧客を識別するための情報であり、例えば、顧客の会員ＩＤ、氏名、住所、生年月日、顔のイメージ情報（画像）などを含む。属性情報１６２は、顧客の属性を示す情報であり、例えば、年齢、性別、職業などを含む。
　嗜好情報１６３は、顧客の嗜好を示す情報であり、例えば、趣味、好きな食べ物、色、音楽、映画などを含む。履歴情報１６４は、顧客の履歴に関する情報であり、例えば、商品を購入した購入履歴、来店した来店履歴、店舗内の移動履歴、商品を手に取った／商品を見たなどの接触履歴（アクセス履歴）などを含む。
　図４は、販売促進装置１００の距離画像解析部１１０の構成を示している。図４に示すように、距離画像解析部１１０は、距離画像取得部１１１、領域検出部１１２、手元トラッキング部１１３、手元動作認識部１１４、視線トラッキング部１１５、視線動作認識部１１６、商品トラッキング部１１７、商品認識部１１８を備えている。
　距離画像取得部１１１は、３Ｄカメラ２１０が撮像し生成した顧客及び商品を含む距離画像を取得する。領域検出部１１２は、距離画像取得部１１１が取得した距離画像に含まれる顧客の各部の領域や商品の領域を検出する。
　手元トラッキング部１１３は、領域検出部１１２が検出した顧客の手元（手）の動作をトラッキングする。手元動作認識部１１４は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、商品に対する顧客の動作を認識する。手元動作認識部１１４は、例えば、商品を把持した状態で手のひらを顔の方向に向けた場合、顧客が当該商品を手に取って見たと判断する。商品を把持した状態において、商品によって手が隠れていてカメラに撮像されない場合には、把持されている商品の位置・方向やその変化を検知することで、客が当該商品を手に取って見たと判断してもよい。
　視線トラッキング部１１５は、領域検出部１１２が検出した顧客の視線（目）の動作をトラッキングする。視線動作認識部１１６は、視線トラッキング部１１５が検出した視線（目）の動作に基づいて、商品に対する顧客の動作を認識する。視線動作認識部１１６は、視線の方向に商品が配置されている場合、顧客が当該商品を見たと判断する。
　商品トラッキング部１１７は、領域検出部１１２が検出した商品の動作（状態）をトラッキングする。商品トラッキング部１１７は、手元動作認識部１１４で顧客が手に取ったと判断した商品や、視線動作認識部１１６で顧客が見たと判断した商品をトラッキングする。商品認識部１１８は、商品トラッキング部１１７がトラッキングした商品について、商品情報ＤＢ１５０を参照し、どの商品に該当するか識別する。商品認識部１１８は、検出した商品のラベルと、商品情報ＤＢ１５０に記憶された商品識別情報１５１のラベルのイメージ情報とを比較し、マッチング（一致）を行うことで、商品を認識する。また、商品認識部１１８は、棚の配置位置と商品との関係を商品情報ＤＢ１５０に記憶しておき、顧客が手に取った商品、または、顧客が見た商品の棚の位置に基づいて商品を識別する。
　次に、図５を用いて、本実施の形態に係る販売促進システム（販売促進装置）で実行される販売促進方法（販売促進処理）について説明する。
　図５に示すように、まず、顧客が店舗に入り、店舗内の棚に近づく（Ｓ１０１）。そうすると、店舗内の顔認識カメラ２２０が、顧客の顔撮像を生成し、販売促進装置１００が、顔画像に基づいて顧客属性や顧客ＩＤを認識する（Ｓ１０２）。すなわち、販売促進装置１００の顧客認識部１２０は、顧客情報ＤＢ１６０に記憶された顧客識別情報１６１の顔のイメージ情報と、顔認識カメラ２２０が撮像した顔画像とを比較し、マッチング（一致）する顧客を検索することで、顧客を認識し、顧客識別情報１６１から認識した顧客の顧客属性や顧客ＩＤを取得する。
　続いて、顧客が棚に配置された商品を手に取る（Ｓ１０３）。そうすると、棚近傍の３Ｄカメラ２１０が顧客の手元を撮像し、販売促進装置１００が、３Ｄカメラ２１０の距離画像により顧客の手元の動きと商品種別を認識する（Ｓ１０４）。すなわち、販売促進装置１００の距離画像解析部１１０は、顧客の手元（視線）及び商品を撮像した距離画像をトラッキングし、顧客が商品を手に取って見た（顧客が商品を見た）動作を検出するとともに、商品情報ＤＢ１５０を参照してマッチング（一致）する商品を検出し、顧客が手に取って見た商品（顧客が見た商品）を認識する。
　続いて、販売促進装置１００は、Ｓ１０４で認識した商品の情報や割引などのプロモーション情報（関連情報）を情報提示装置２４０に提示する（Ｓ１０５）。そうすると、顧客は情報提示装置２４０に提示された提示情報（提供情報）を読むことで、手に取った商品（見た商品）の購買を決断する（Ｓ１０６）。すなわち、販売促進装置１００の提示情報生成部１４０は、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を参照し、認識した商品に関連するプロモーション情報を提示する。また、提示情報生成部１４０は、プロモーション情報として、Ｓ１０２で認識した顧客に関連する商品の情報を提示し、さらに、後述のＳ１０８で解析した顧客の動線に関連する商品の情報も提示する。
　続いて、顧客が他の売り場へ移動する（Ｓ１０７）。そうすると、店内カメラ２３０が顧客の売り場間の移動を撮像し、販売促進装置１００が、他の売り場での購買行動を把握する（Ｓ１０８）。すなわち、販売促進装置１００の動線解析部１３０は、複数の売り場の画像に基づいて、顧客の移動履歴を解析し、顧客の導線を検出することで、顧客の購買行動を把握する。その後、Ｓ１０３以降が繰り返され、顧客が移動先の売り場で商品を手に取ると、顧客の動線（購買行動）に基づいた商品に関連する情報が顧客に提示される。
　図６は、図５のＳ１０４における距離画像解析部１１０で実行される認識処理（トラッキング処理）の詳細を示している。なお、図６の処理は一例であり、その他の画像解析処理により、手元の動作、視線の動作、商品を認識してもよい。
　図６に示すように、まず、距離画像取得部１１１は、３Ｄカメラ２１０から顧客及び商品を含む距離画像を取得する（Ｓ２０１）。続いて、領域検出部１１２は、Ｓ２０１で取得した距離画像に含まれる人物及び棚を検出し（Ｓ２０２）、さらに人物及び棚の各領域を検出する（Ｓ２０３）。例えば、領域検出部１１２は、ＳＶＭ（Support Vector Machine）などの識別器を用いて、距離画像に含まれる画像及び距離に基づき、人物（顧客）を検出し、検出した人物の関節を推定することで、人物の骨格を検出する。領域検出部１１２は、検出した骨格に基づいて、人物の手（手元）や顔（目）などの各部の領域を検出する。また、領域検出部１１２は、識別器を用いて、距離画像に含まれる画像及び距離に基づき、棚及び棚の各段を検出し、さらに各棚上の商品の配置領域を検出する。
　続いて、手元トラッキング部１１３は、Ｓ２０３で検出した顧客の手元の動作をトラッキングする（Ｓ２０４）。手元トラッキング部１１３は、距離画像に含まれる画像及び距離に基づき、顧客の手の周辺の骨格をトラッキングし、手の指や手のひらの動作を検出する。
　続いて、手元動作認識部１１４は、Ｓ２０４でトラッキングした手元の動作に基づいて、手元の動作の特徴を抽出し（Ｓ２０５）、抽出した特徴に基づいて商品に対する顧客の手元の動作、すなわち、商品を把持している動作、商品を見ている動作を認識する（Ｓ２０６）。手元動作認識部１１４は、指、手のひら（手首）の向き、角度、移動量の変化を特徴量として抽出する。例えば、手元動作認識部１１４は、指の角度から顧客が商品を握っていることを検出し、手のひらの法線方向が顔に向かっている場合、顧客が商品を見ていることを検出する。また、商品を握っている状態や商品を手に取って見ている状態を予め学習しておき、学習した特徴量と比較することで、手元の動作を識別してもよい。
　Ｓ２０３に続いて、視線トラッキング部１１５は、Ｓ２０３で検出した顧客の視線の動作をトラッキングする（Ｓ２０７）。視線トラッキング部１１５は、距離画像に含まれる画像及び距離に基づいて、顧客の顔周辺の骨格をトラッキングし、顔、目、瞳孔の動作を検出する。
　続いて、視線動作認識部１１６は、Ｓ２０７でトラッキングした視線の動作に基づいて、視線の動作の特徴を抽出し（Ｓ２０８）、抽出した特徴に基づいて商品に対する顧客の視線の動作、すなわち、顧客が商品を見ている動作を認識する（Ｓ２０９）。視線動作認識部１１６は、顔、目、瞳孔の向き、角度、移動量の変化を特徴量として抽出する。例えば、視線動作認識部１１６は、顔、目、瞳孔の動きから視線の方向を検出し、視線の方向が商品に向いているか否かを検出する。また、商品を見ている状態を予め学習しておき、学習した特徴量と比較することで、視線の動作を識別してもよい。
　Ｓ２０３に続いて、商品トラッキング部１１７は、Ｓ２０３で検出した商品の動作（状態）をトラッキングする（Ｓ２１０）。また、商品トラッキング部１１７は、Ｓ２０６で顧客が手に取ったと判断した商品や、Ｓ２０９で顧客が見たと判断した商品をトラッキングする。商品トラッキング部１１７は、距離画像に含まれる画像及び距離に基づいて、商品のラベルの向き、位置などを検出する。
　続いて、商品認識部１１８は、Ｓ２１０でトラッキングした商品について、商品の特徴を抽出し（Ｓ２１１）、抽出した特徴に基づき、商品情報ＤＢ１５０から該当する商品を認識する（Ｓ２１２）。商品認識部１１８は、商品のラベルの文字や画像を特徴量として抽出する。例えば、商品認識部１１８は、抽出したラベルの特徴量と、商品情報ＤＢ１５０のラベルの特徴量とを比較し、特徴量が一致する商品を検索することで商品を識別する。また、棚の配置位置と商品との関係を商品情報ＤＢ１５０に記憶している場合には、距離画像に含まれる画像及び距離に基づいて、顧客が手に取った、または、顧客が見た商品の棚の位置を取得し、棚の位置を商品情報ＤＢ１５０から検索することで、該当する商品を検出する。
　図７は、図５のＳ１０４、Ｓ１０５において実行される情報提示処理の詳細を示している。
　図７に示すように、まず、距離画像解析部１１０において、顧客が商品を手に取って見たか否か、または、顧客が商品を見たか否か判断する（Ｓ３０１）。例えば、手のひらが顔の方を向いた、箱／瓶などを持って見た、一定時間見続けている、２つの商品を両手に取って見た、等の動作を判断する。顧客が該当する動作を行った場合、動作に応じたプロモーション情報を表示するため、以下の処理を行う。
　すなわち、提示情報生成部１４０は、顧客情報を取得し（Ｓ３０２）、動線情報を取得する（Ｓ３０３）。提示情報生成部１４０は、顔認識カメラ２２０の顔画像による顧客認識結果に基づいた情報を顧客へ提供するため、顧客認識部１２０から顧客情報を取得する。また、提示情報生成部１４０は、店内カメラ２３０の店内画像による動線解析結果に基づいた情報を顧客へ提供するため、動線解析部１３０から動線情報を取得する。なお、顧客を認識する前や、顧客が移動する前、各情報が不要な場合においては、顧客情報の取得や動線情報の取得は省略してもよい。
　続いて、提示情報生成部１４０は、Ｓ３０４～Ｓ３０６によりプロモーション情報（商品関連情報）を生成し顧客へ提示する。なお、Ｓ３０４～Ｓ３０６は、提示する情報の一例であり、その他のプロモーション情報を提示してもよい。Ｓ３０４～Ｓ３０６の提示は、まとめて一度に提示してもよいし、任意の順番に提示してもよい。また、Ｓ３０４～Ｓ３０６のうち任意に選択された情報を提示してもよいし、その他の別の情報とともに提示してもよい。
　Ｓ３０４では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連する特性併買情報１５２を取得し、取得した特性併買情報１５２を提示情報として生成し、情報提示装置２４０へ出力する。
　例えば、提示情報生成部１４０は、顧客が手に取って見た商品の産地や原材料、顧客が手に取って見た商品と組み合わせて食する食品（ワインを手に取った場合にワインに合うチーズなど）、産地や原材料が類似する食品、当該商品を食材として使うレシピ（チーズを手に取った場合にピザなど）、このレシピに含まれる食材や調理器具（ピザに関する生地やトッピング、オーブンレンジなど）、コーディネートされた商品（洋服や靴、ベルト、バッグなど）などの情報を生成する。また、関連する商品について、店内での買い方のルート指示や誘導するような情報を提示してもよい。
　また、特性併買情報１５２のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。例えば、認識した顧客の性別、年齢など属性や、あるいは会員顧客ＩＤにより提供情報を適応化し、また、動線解析による他の売り場での購買・興味の知見により提供情報を適応化する。例えば、属性、嗜好、履歴などに基づいて、ダイエットやアレルギー情報、健康に関する情報を提示してもよい。例えば、店内に複数のサイネージ（電子看板）が設置されている場合、認識した動線に沿って複数のサイネージにプロモーション情報を連動して提示してもよい。
　Ｓ３０５では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連するプッシュ情報１５３を取得し、取得したプッシュ情報１５３を提示情報として生成し、情報提示装置２４０へ出力する。特に、顧客が商品を一定時間見続けている場合、購入を迷っていると推測されるため、プッシュ情報（後押し情報）を提示することが好ましい。
　例えば、提示情報生成部１４０は、顧客が手に取って見た商品について、「２つ目は５割引き」などの割引提案、割引クーポン、口コミ情報、ランキング情報などを生成する。割引クーポンの情報を表示し、スマートフォンと連動することでクーポンを使用可能としてもよい。ショッピングカートの読み取り装置などにより、商品のバーコードを読み取らせて、現在の買い上げ額の小計を表示し、さらに割引きを反映した金額を表示するようにしてもよい。
　また、Ｓ３０４と同様に、プッシュ情報１５３のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。
　Ｓ３０６では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連する比較情報１５４を取得し、取得した比較情報１５４を提示情報として生成し、情報提示装置２４０へ出力する。
　例えば、提示情報生成部１４０は、顧客が２つの商品を手に取って見た場合、これらの２つの商品の特性、機能、価格、割引、ランキングを比較した情報を生成する。特に２つの商品のうち購入を勧めたい商品がある場合は、Ｓ３０５と同様に割引情報などのプッシュ情報を提示する。顧客が商品ラベルの賞味期限の表示を見ていることが検出された場合、古い方（賞味期限が早く切れる方）の割引情報を表示してもよい。
　また、Ｓ３０４と同様に、比較情報１５４のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。
　このように、本実施の形態では、商品棚とその前の顧客（ショッパー）が見える位置に配置した３Ｄカメラにより顧客の手元の動きを観察し、どの商品を手に取ったかを認識する。そして、商品に隣接する情報提示装置（表示デバイス）上に、その商品に関する情報や割引提案、関連する推奨情報などのプロモーション情報を表示する。
　したがって、３Ｄカメラにより手の動きが精密に把握でき、商品に触れた、手に取った、回してラベルを読んでいるなどの商品に対する動作を把握できるため、その動作に適応したプロモーション情報をタイムリー（リアルタイム）に表示することができる。すなわち、このような動作により顧客が商品に興味を持ったことを正確に検出できるため、商品に興味を持った顧客に対して、効果的にプロモーションを行うことができ、商品の購入を促進し売上に結びつけることができる。
　例えば、２つの商品を両手に持って見比べていることを検知した場合に、両商品の比較情報や、売りたい方の商品のクーポン提示などを表示し、商品の購入を迷っている顧客に対して購入決断を後押し（プッシュ）することができる。
　また、顔認識カメラを用いて認識した顧客の情報によってプロモーション情報を適応化したり、店内カメラを用いて解析した顧客の動線によってプロモーション情報を適応化することで、さらに効果的な情報を提示することができる。
（実施の形態２）
　以下、図面を参照して実施の形態２について説明する。本実施の形態では、実施の形態１を１つの棚システムに適用した例について説明する。図８は、本実施の形態に係る棚システムの構成を示している。
　図８に示すように、本実施の形態に係る棚システム２は、商品棚３００を備えている。商品棚３００は、図３Ａ及び図３Ｂなどのように、商品３０１を配置する棚である。本実施の形態では、この商品棚３００に、実施の形態１で説明した、３Ｄカメラ２１０、情報提示装置（情報提示部）２４０、距離画像解析部１１０、提示情報生成部１４０、商品情報ＤＢ１５０を備えている。なお、必要に応じて顔認識カメラ２２０、顧客認識部１２０、顧客情報ＤＢ１６０を備えてもよい。
　提示情報生成部１４０は、距離画像解析部１１０の検出結果に基づいて、顧客へ提示するプロモーション情報を生成し、生成したプロモーション情報を情報提示装置２４０へ出力する。提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、プロモーション情報として、距離画像解析部１１０により顧客が接触したことを検出した商品に関連する情報を生成する。
　図９は、本実施の形態に係る棚システム２の動作を示している。図９に示すように、実施の形態１と同様に、距離画像解析部１１０において、顧客が商品を手に取って見たか否か、または、顧客が商品を見たか否か判断する（Ｓ３０１）。
　顧客が該当する動作を行った場合、提示情報生成部１４０は、Ｓ３０４～Ｓ３０６によりプロモーション情報（商品関連情報）を生成し顧客へ提示する。なお、実施の形態１と比べて顧客情報、動線情報に基づいた情報の生成を行わないものの、その他については、実施の形態１と同様である。
　すなわち、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連する特性併買情報１５２を取得し、組み合わせて食する食品などの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０４）。また、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連するプッシュ情報１５３を取得し、割引クーポンなどの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０５）。さらに、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連する比較情報１５４を取得し、両手に持った２つの商品の特性などを比較した情報などの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０６）。
　このように、本実施の形態では、１つの商品棚において、実施の形態１における主要な構成を備えることとした。これにより、実施の形態１と同様に、顧客の商品に対する動作を正確に検出し、顧客の動作に応じたプロモーション情報をタイムリーに表示することができる。
　さらに、本実施の形態は、１つの商品棚のみで実現可能であるため、棚以外の装置やシステムが不要である。したがって、ＰＯＳシステムやネットワークなど高度なシステムが無い店舗においても、簡易にシステムを導入することが可能である。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１３年９月６日に出願された日本出願特願２０１３－１８５１２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　　　販売促進システム
２　　　棚システム
１０　　販売促進システム
１１　　画像情報取得部
１２　　トラッキング部
１３　　プロモーション情報出力部
１００　販売促進装置
１１０　距離画像解析部
１１１　距離画像取得部
１１２　領域検出部
１１３　手元トラッキング部
１１４　手元動作認識部
１１５　視線トラッキング部
１１６　視線動作認識部
１１７　商品トラッキング部
１１８　商品認識部
１２０　顧客認識部
１３０　動線解析部
１４０　提示情報生成部
１５０　商品情報ＤＢ
１５１　商品識別情報
１５２　特性併買情報
１５３　プッシュ情報
１５４　比較情報
１６０　顧客情報ＤＢ
１６１　顧客識別情報
１６２　属性情報
１６３　嗜好情報
１６４　履歴情報
２１０　３Ｄカメラ
２２０　顔認識カメラ
２３０　店内カメラ
２４０　情報提示装置
３００　商品棚
３０１　商品
４００　顧客

Claims (18)

  1. 　商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得手段と、
    　前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング手段と、
    　前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力手段と、
    　を備える販売促進システム。
  2. 　前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
    　請求項１に記載の販売促進システム。
  3. 　前記トラッキング手段は、前記顧客が前記商品を把持した動作を検出する、
    　請求項１または２に記載の販売促進システム。
  4. 　前記トラッキング手段は、前記顧客が前記商品を把持した状態で、当該商品を見た動作を検出する、
    　請求項３に記載の販売促進システム。
  5. 　前記トラッキング手段は、前記顧客の手のひらをトラッキングし、前記顧客の手のひらが前記顧客の顔を向いている場合、前記顧客が前記商品を手に取って見たと判断する、
    　請求項４に記載の販売促進システム。
  6. 　前記トラッキング手段は、前記顧客が前記商品を見た動作を検出する、
    　請求項１または２に記載の販売促進システム。
  7. 　前記トラッキング手段は、前記顧客の視線をトラッキングし、前記顧客の視線が前記商品へ向いている場合、前記顧客が前記商品を見ていると判断する、
    　請求項６に記載の販売促進システム。
  8. 　前記プロモーション情報出力手段は、前記プロモーション情報として、前記商品との併買を前記顧客に勧めるための併買情報を出力する、
    　請求項１乃至７のいずれか一項に記載の販売促進システム。
  9. 　前記プロモーション情報出力手段は、前記プロモーション情報として、前記商品の購買決定を顧客に促すためのプッシュ情報を出力する、
    　請求項１乃至８のいずれか一項に記載の販売促進システム。
  10. 　前記プロモーション情報出力手段は、前記トラッキングした顧客の動作に対応した商品が複数存在する場合、前記プロモーション情報として、前記複数の商品を比較する比較情報を出力する、
    　請求項１乃至９のいずれか一項に記載の販売促進システム。
  11. 　前記顧客を認識する顧客認識手段を備え、
    　前記プロモーション情報出力手段は、前記プロモーション情報として、前記顧客の動作に対応した商品、及び、前記認識した顧客に関連する情報を出力する、
    　請求項１乃至１０のいずれか一項に記載の販売促進システム。
  12. 　前記顧客の動線を解析する動線解析手段を備え、
    　前記プロモーション情報出力手段は、前記プロモーション情報として、前記顧客の動作に対応した商品、及び、前記解析した顧客の動線に関連する情報を出力する、
    　請求項１乃至１１のいずれか一項に記載の販売促進システム。
  13. 　前記プロモーション情報出力手段は、前記商品を配置した棚上の表示装置に前記プロモーション情報を表示する、
    　請求項１乃至１２のいずれか一項に記載の販売促進システム。
  14. 　前記プロモーション情報出力手段は、プロジェクタ装置により、前記商品を配置した棚周辺に前記プロモーション情報を表示する、
    　請求項１乃至１２のいずれか一項に記載の販売促進システム。
  15. 　前記プロモーション情報出力手段は、前記顧客が使用するショッピングカートまたはショッピングバスケットに配置された表示装置に前記プロモーション情報を表示する、
    　請求項１乃至１２のいずれか一項に記載の販売促進システム。
  16. 　商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
    　前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、
    　前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、
    　販売促進方法。
  17. 　商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
    　前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、
    　前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、
    　販売促進処理をコンピュータに実行させるための販売促進プログラムが格納された非一時的なコンピュータ可読媒体。
  18. 　商品を顧客に提示するために配置する棚と、
    　前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得手段と、
    　前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング手段と、
    　前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力手段と、
    　を備える棚システム。
PCT/JP2014/004582 2013-09-06 2014-09-05 販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム WO2015033575A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015535320A JP6264380B2 (ja) 2013-09-06 2014-09-05 販売促進システム、販売促進方法、販売促進プログラム及び棚システム
CN201480048604.1A CN105580040A (zh) 2013-09-06 2014-09-05 销售促进系统、销售促进方法、非瞬时计算机可读介质和货架系统
US14/916,723 US20160196575A1 (en) 2013-09-06 2014-09-05 Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
US16/126,004 US11074610B2 (en) 2013-09-06 2018-09-10 Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
US16/125,893 US20190005535A1 (en) 2013-09-06 2018-09-10 Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
US16/125,971 US20190005536A1 (en) 2013-09-06 2018-09-10 Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-185129 2013-09-06
JP2013185129 2013-09-06

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US14/916,723 A-371-Of-International US20160196575A1 (en) 2013-09-06 2014-09-05 Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
US16/125,971 Continuation US20190005536A1 (en) 2013-09-06 2018-09-10 Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
US16/125,893 Continuation US20190005535A1 (en) 2013-09-06 2018-09-10 Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
US16/126,004 Continuation US11074610B2 (en) 2013-09-06 2018-09-10 Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system

Publications (1)

Publication Number Publication Date
WO2015033575A1 true WO2015033575A1 (ja) 2015-03-12

Family

ID=52628071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004582 WO2015033575A1 (ja) 2013-09-06 2014-09-05 販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム

Country Status (4)

Country Link
US (4) US20160196575A1 (ja)
JP (1) JP6264380B2 (ja)
CN (1) CN105580040A (ja)
WO (1) WO2015033575A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469380A (zh) * 2015-08-14 2017-03-01 Ez Mart股份有限公司 优惠商品服务系统
JP2017117384A (ja) * 2015-12-25 2017-06-29 東芝テック株式会社 情報処理装置
JP2017139010A (ja) * 2017-04-05 2017-08-10 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2018077664A (ja) * 2016-11-09 2018-05-17 大日本印刷株式会社 情報処理システム、情報処理装置、表示装置及びプログラム
JP2018099317A (ja) * 2016-12-20 2018-06-28 大日本印刷株式会社 陳列棚、陳列棚システム、情報処理装置及びプログラム
JP2020077161A (ja) * 2018-11-07 2020-05-21 東芝テック株式会社 情報提供装置及びその制御プログラム
WO2020110211A1 (ja) * 2018-11-28 2020-06-04 株式会社オプティム コンピュータシステム、来店者行動提供オファー方法及びプログラム
JP2020099181A (ja) * 2015-04-10 2020-06-25 オシア インク． 無線電力供給環境を画像化してその内部の物体を追跡する技術
JP2020161171A (ja) * 2015-12-25 2020-10-01 東芝テック株式会社 情報処理装置
WO2021171588A1 (ja) * 2020-02-28 2021-09-02 日本電気株式会社 顧客分析装置、顧客分析方法、およびプログラム
JP2021189533A (ja) * 2020-05-26 2021-12-13 Ｎｅｃプラットフォームズ株式会社 在庫管理システム、在庫管理装置、在庫管理方法及び在庫管理プログラム
WO2022030247A1 (ja) * 2020-08-03 2022-02-10 日本電気株式会社 情報提供システム、情報提供方法及びプログラム
JP2022091841A (ja) * 2017-02-10 2022-06-21 グラバンゴ コーポレイション 自動化買物環境における動的な顧客チェックアウト体験
JP7424910B2 (ja) 2020-05-19 2024-01-30 株式会社Ｎｔｔドコモ 情報処理装置
JP7508207B2 (ja) 2019-09-04 2024-07-01 東芝テック株式会社 店舗装置及びプログラム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140637B2 (en) * 2013-11-26 2018-11-27 Paypal, Inc. Customer selection determination system
US11210620B2 (en) 2013-11-26 2021-12-28 Paypal, Inc. Merchant action recommendation system
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
US20180293635A1 (en) * 2015-03-16 2018-10-11 Nec Corporation System, image recognition method, and recording medium
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
JP2018055599A (ja) * 2016-09-30 2018-04-05 日本電気株式会社 情報処理方法、プログラム、情報処理システム、及び情報処理装置
US10878454B2 (en) * 2016-12-23 2020-12-29 Wipro Limited Method and system for predicting a time instant for providing promotions to a user
CN107358451A (zh) * 2017-07-17 2017-11-17 竹间智能科技（上海）有限公司 一种交互式智能魔镜
CN108876427A (zh) * 2017-07-18 2018-11-23 北京旷视科技有限公司 商品促销的方法、装置、系统及计算机存储介质
JPWO2019059213A1 (ja) * 2017-09-20 2020-10-15 パナソニックＩｐマネジメント株式会社 商品案内システム、商品案内方法及びプログラム
JP2019079127A (ja) * 2017-10-20 2019-05-23 富士通株式会社 顧客管理プログラム、容器、特徴抽出プログラム、顧客管理方法、特徴抽出方法および情報処理装置
CN107886404A (zh) * 2017-11-21 2018-04-06 广州拓息信息技术有限公司 一种营销监测平台
CN108229888B (zh) * 2018-02-01 2022-09-09 余凯 一种基于图像处理的药房库存管理系统和方法
CN111626681B (zh) * 2018-02-01 2023-09-12 湖南人文科技学院 一种用于库存管理的图像识别系统
CN108460933B (zh) * 2018-02-01 2019-03-05 王曼卿 一种基于图像处理的管理系统及方法
CN108335143A (zh) * 2018-02-12 2018-07-27 成都宝域科技有限公司 一种商品展柜的信息推送方法以及商品展柜的信息推送系统
CN108551462A (zh) * 2018-02-28 2018-09-18 阿里巴巴集团控股有限公司 一种信息推送方法、装置及设备
CN108805549A (zh) * 2018-05-31 2018-11-13 常熟市百联自动机械有限公司 一种新零售超市管理方法及系统
CN108776920A (zh) * 2018-05-31 2018-11-09 常熟市百联自动机械有限公司 一种新零售超市导购方法
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN109214312B (zh) * 2018-08-17 2021-08-31 连云港伍江数码科技有限公司 信息显示方法、装置、计算机设备和存储介质
CN109754302B (zh) * 2018-09-04 2022-05-27 京东方科技集团股份有限公司 一种电子价签的商品信息显示方法和电子价签
WO2020057569A1 (en) * 2018-09-18 2020-03-26 AI Gaspar Limited System and process for the identification of a user-selected article, presentation of data thereof and acquisition of user interaction therewith
JP7211210B2 (ja) * 2019-03-29 2023-01-24 コニカミノルタ株式会社 画像形成装置
US20210089981A1 (en) * 2019-09-23 2021-03-25 Toshiba Tec Kabushiki Kaisha System and method for assisted placement of salespersons on a sales floor
WO2021149221A1 (ja) * 2020-01-23 2021-07-29 日本電気株式会社 価格情報決定装置、価格決定方法、及びプログラム
JP2022015326A (ja) * 2020-07-08 2022-01-21 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び端末装置
JP7318682B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
US20230274225A1 (en) * 2022-01-31 2023-08-31 Walmart Apollo, Llc Methods and apparatus for generating planograms
CN114821729B (zh) * 2022-05-05 2024-04-05 无锡八英里电子科技有限公司 商品导购方法、装置、云服务器及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
JP2003256705A (ja) * 2002-03-01 2003-09-12 Fujitsu Ltd 販売処理方法
JP2007109058A (ja) * 2005-10-14 2007-04-26 Seiko Epson Corp 商品選択情報提供装置
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
JP2009187554A (ja) * 2008-02-11 2009-08-20 Palo Alto Research Center Inc 検知システム拡張システム及び方法
JP2009199517A (ja) * 2008-02-25 2009-09-03 Oki Electric Ind Co Ltd 販売促進システム
JP2011150425A (ja) * 2010-01-19 2011-08-04 Fujifilm Imagetec Co Ltd リサーチ装置およびリサーチ方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587835B1 (en) * 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
US20020062245A1 (en) * 2000-03-09 2002-05-23 David Niu System and method for generating real-time promotions on an electronic commerce world wide website to increase the likelihood of purchase
US7613634B2 (en) * 2000-12-21 2009-11-03 Sony Corporation Method and system for performing electronic retailing
US7606728B2 (en) * 2002-09-20 2009-10-20 Sorensen Associates Inc. Shopping environment analysis system and method with normalization
US7081818B2 (en) * 2003-05-19 2006-07-25 Checkpoint Systems, Inc. Article identification and tracking using electronic shadows created by RFID tags
WO2005015362A2 (en) * 2003-08-06 2005-02-17 Innovida, Inc. System and method for delivering and optimizing media programming in public spaces
US20070073589A1 (en) * 2004-11-04 2007-03-29 Vergeyle David L Electronic capture of promotions
JP2006184387A (ja) 2004-12-27 2006-07-13 Casio Comput Co Ltd 広告情報出力装置及び広告情報出力システム
US10078693B2 (en) * 2006-06-16 2018-09-18 International Business Machines Corporation People searches by multisensor event correlation
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP4836739B2 (ja) * 2006-10-04 2011-12-14 株式会社日立製作所 商品情報提供システム及び商品情報の提供方法
US8812355B2 (en) * 2007-04-03 2014-08-19 International Business Machines Corporation Generating customized marketing messages for a customer using dynamic customer behavior data
JP4972491B2 (ja) 2007-08-20 2012-07-11 株式会社構造計画研究所 顧客動作判定システム
US20090055204A1 (en) * 2007-08-23 2009-02-26 Igt Real-time player tracking
US20090083121A1 (en) * 2007-09-26 2009-03-26 Robert Lee Angell Method and apparatus for determining profitability of customer groups identified from a continuous video stream
US20090306893A1 (en) * 2008-06-06 2009-12-10 Harris Corporation Information processing system for a store providing consumer-specific advertisement features and related methods
JP4422792B1 (ja) * 2008-07-08 2010-02-24 パナソニック株式会社 物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラム
US20100063862A1 (en) * 2008-09-08 2010-03-11 Thompson Ronald L Media delivery system and system including a media delivery system and a building automation system
WO2010048375A1 (en) * 2008-10-22 2010-04-29 Newzoom, Inc. Vending store inventory management and reporting system
US8332255B2 (en) 2009-11-09 2012-12-11 Palo Alto Research Center Incorporated Sensor-integrated mirror for determining consumer shopping behavior
JP2012038035A (ja) 2010-08-05 2012-02-23 Toshiba Tec Corp 店舗案内システム、サーバ装置、情報処理端末、および制御プログラム
US20120123674A1 (en) 2010-11-15 2012-05-17 Microsoft Corporation Displaying product recommendations on a map
US9727838B2 (en) * 2011-03-17 2017-08-08 Triangle Strategy Group, LLC On-shelf tracking system
KR101302638B1 (ko) * 2011-07-08 2013-09-05 더디엔에이 주식회사 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US8560357B2 (en) * 2011-08-31 2013-10-15 International Business Machines Corporation Retail model optimization through video data capture and analytics
JP2013054539A (ja) 2011-09-05 2013-03-21 Toshiba Tec Corp 電子棚札システムおよび店舗システム
US8984622B1 (en) 2012-01-17 2015-03-17 Amazon Technologies, Inc. User authentication through video analysis
US20140289009A1 (en) * 2013-03-15 2014-09-25 Triangle Strategy Group, LLC Methods, systems and computer readable media for maximizing sales in a retail environment
US20140365272A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Product display with emotion prediction analytics

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
JP2003256705A (ja) * 2002-03-01 2003-09-12 Fujitsu Ltd 販売処理方法
JP2007109058A (ja) * 2005-10-14 2007-04-26 Seiko Epson Corp 商品選択情報提供装置
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
JP2009187554A (ja) * 2008-02-11 2009-08-20 Palo Alto Research Center Inc 検知システム拡張システム及び方法
JP2009199517A (ja) * 2008-02-25 2009-09-03 Oki Electric Ind Co Ltd 販売促進システム
JP2011150425A (ja) * 2010-01-19 2011-08-04 Fujifilm Imagetec Co Ltd リサーチ装置およびリサーチ方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIROTAKA NIISATO: "Android Engineer kara no Shotaijo", DAI 29 KAI ANDROID DE HAJIMERU NUI APPLICATION, SOFTWAREDESIGN, no. 263, 18 September 2012 (2012-09-18), pages 139 *
KATSUYUKI OKAWARA, ZUKAI BIG DATA HAYAWAKARI, 29 January 2013 (2013-01-29), pages 20 - 22 *
TAKAHARU YOKOYAMA ET AL., BIG DATA JIDAI NO SHIN MARKETING SHIKO, 9 November 2012 (2012-11-09), pages 35 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020099181A (ja) * 2015-04-10 2020-06-25 オシア インク． 無線電力供給環境を画像化してその内部の物体を追跡する技術
CN106469380A (zh) * 2015-08-14 2017-03-01 Ez Mart股份有限公司 优惠商品服务系统
US11023908B2 (en) 2015-12-25 2021-06-01 Toshiba Tec Kabushiki Kaisha Information processing apparatus for performing customer gaze analysis
JP2017117384A (ja) * 2015-12-25 2017-06-29 東芝テック株式会社 情報処理装置
US10600065B2 (en) 2015-12-25 2020-03-24 Toshiba Tec Kabushiki Kaisha Information processing apparatus for performing customer gaze analysis
JP2020161171A (ja) * 2015-12-25 2020-10-01 東芝テック株式会社 情報処理装置
JP2018077664A (ja) * 2016-11-09 2018-05-17 大日本印刷株式会社 情報処理システム、情報処理装置、表示装置及びプログラム
JP2018099317A (ja) * 2016-12-20 2018-06-28 大日本印刷株式会社 陳列棚、陳列棚システム、情報処理装置及びプログラム
JP2022091841A (ja) * 2017-02-10 2022-06-21 グラバンゴ コーポレイション 自動化買物環境における動的な顧客チェックアウト体験
JP2017139010A (ja) * 2017-04-05 2017-08-10 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP7197333B2 (ja) 2018-11-07 2022-12-27 東芝テック株式会社 情報提供装置及びその制御プログラム
JP2020077161A (ja) * 2018-11-07 2020-05-21 東芝テック株式会社 情報提供装置及びその制御プログラム
JP7401638B2 (ja) 2018-11-07 2023-12-19 東芝テック株式会社 情報提供装置及びその制御プログラム
JPWO2020110211A1 (ja) * 2018-11-28 2021-09-02 株式会社オプティム コンピュータシステム、来店者行動提供オファー方法及びプログラム
JP7066257B2 (ja) 2018-11-28 2022-05-13 株式会社オプティム コンピュータシステム、来店者行動提供オファー方法及びプログラム
WO2020110211A1 (ja) * 2018-11-28 2020-06-04 株式会社オプティム コンピュータシステム、来店者行動提供オファー方法及びプログラム
JP7508207B2 (ja) 2019-09-04 2024-07-01 東芝テック株式会社 店舗装置及びプログラム
WO2021171588A1 (ja) * 2020-02-28 2021-09-02 日本電気株式会社 顧客分析装置、顧客分析方法、およびプログラム
JPWO2021171588A1 (ja) * 2020-02-28 2021-09-02
JP7375908B2 (ja) 2020-02-28 2023-11-08 日本電気株式会社 顧客分析装置、顧客分析方法、およびプログラム
JP7424910B2 (ja) 2020-05-19 2024-01-30 株式会社Ｎｔｔドコモ 情報処理装置
JP2021189533A (ja) * 2020-05-26 2021-12-13 Ｎｅｃプラットフォームズ株式会社 在庫管理システム、在庫管理装置、在庫管理方法及び在庫管理プログラム
WO2022030247A1 (ja) * 2020-08-03 2022-02-10 日本電気株式会社 情報提供システム、情報提供方法及びプログラム

Also Published As

Publication number Publication date
US20190005536A1 (en) 2019-01-03
JPWO2015033575A1 (ja) 2017-03-02
CN105580040A (zh) 2016-05-11
JP6264380B2 (ja) 2018-01-24
US20190005535A1 (en) 2019-01-03
US20190005537A1 (en) 2019-01-03
US11074610B2 (en) 2021-07-27
US20160196575A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP6264380B2 (ja) 販売促進システム、販売促進方法、販売促進プログラム及び棚システム
US20160203499A1 (en) Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system
US10482724B2 (en) Method, computer program product, and system for providing a sensor-based environment
US20170358024A1 (en) Virtual reality shopping systems and methods
JP6825628B2 (ja) 動線出力装置、動線出力方法及びプログラム
JP6781906B2 (ja) 販売情報利用装置、販売情報利用方法、およびプログラム
CN111989704A (zh) 上下文感知
JP2018005691A (ja) 情報処理システム、情報処理装置及び情報処理方法
JPWO2019059213A1 (ja) 商品案内システム、商品案内方法及びプログラム
JP2019032778A (ja) 購買支援システム
JP2019139321A (ja) 顧客行動分析システムおよび顧客行動分析方法
JP2017102574A (ja) 情報表示プログラム、情報表示方法、及び情報表示装置
WO2019116620A1 (ja) 処理装置、処理方法及びプログラム
JP6810561B2 (ja) 購買支援システム
US12014397B2 (en) In-store computerized product promotion system with product prediction model that outputs a target product message based on products selected in a current shopping session
JP2021185551A (ja) 販売情報利用装置、販売情報利用方法、およびプログラム
US20230267506A1 (en) Matching device, sales promotion assistance system, matching method, and non-transitory computer-readable medium
JP7206806B2 (ja) 情報処理装置、分析方法、及びプログラム
JP7476881B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2022080160A1 (ja) 情報提供システム、情報提供方法及びプログラム
JP2021149763A (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480048604.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14841910

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015535320

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14916723

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14841910

Country of ref document: EP

Kind code of ref document: A1