WO2021171588A1 - 顧客分析装置、顧客分析方法、およびプログラム - Google Patents

顧客分析装置、顧客分析方法、およびプログラム Download PDF

Info

Publication number
WO2021171588A1
WO2021171588A1 PCT/JP2020/008442 JP2020008442W WO2021171588A1 WO 2021171588 A1 WO2021171588 A1 WO 2021171588A1 JP 2020008442 W JP2020008442 W JP 2020008442W WO 2021171588 A1 WO2021171588 A1 WO 2021171588A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
customer
product
imaging means
information
Prior art date
Application number
PCT/JP2020/008442
Other languages
English (en)
French (fr)
Inventor
秋口　万貴子
あずさ 古川
恵 渋谷
観 荒井
博志 橋本
健 花沢
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/801,936 priority Critical patent/US20230080815A1/en
Priority to JP2022503028A priority patent/JP7375908B2/ja
Priority to PCT/JP2020/008442 priority patent/WO2021171588A1/ja
Publication of WO2021171588A1 publication Critical patent/WO2021171588A1/ja
Priority to US18/512,750 priority patent/US20240087359A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Definitions

  • the present invention relates to a customer analyzer, a customer analysis method, and a program.
  • Patent Document 1 describes that an image sensor is provided for each type of product, the customer is imaged using the image sensor, and the attribute of the customer is estimated by analyzing the image.
  • the present inventor considered identifying the attributes of the customer who took out the product and the product without increasing the number of imaging means.
  • One of the objects of the present invention is to identify the attributes of the customer who took out the product and the product without increasing the number of imaging means.
  • the present invention is a customer analyzer used together with a first imaging means and a second imaging means for photographing at least one of a product placing place and the front thereof.
  • the first imaging means, the product placement location, and the second imaging means are arranged in this order in the first direction.
  • the first imaging means is located at the same height as or above the product placement location, and images at least an obliquely lower region.
  • the second imaging means is located at the same height as or below the product placement location and below the first imaging means, and images at least an obliquely upper region.
  • the customer analyzer An image acquisition means for acquiring a first image generated by the first imaging means and a second image generated by the second imaging means, and an image acquisition means.
  • An image processing means for processing the first image and the second image, and With The image processing means By processing the first image and the second image, product information indicating the product taken out from the product placement location is generated. By processing the first image, customer attribute information indicating the attributes of the customer who took out the product is generated.
  • a customer analysis device is provided that stores the product information and the customer attribute information in a storage means in association with each other.
  • the present invention is a customer analysis method performed by a computer used together with the first imaging means and the second imaging means for photographing at least one of the product placing place and the front thereof.
  • the first imaging means, the product placement location, and the second imaging means are arranged in this order in the first direction.
  • the first imaging means is located at the same height as or above the product placement location, and images at least an obliquely lower region.
  • the second imaging means is located at the same height as or below the product placement location and below the first imaging means, and images at least an obliquely upper region.
  • the computer The first image generated by the first imaging means and the second image generated by the second imaging means are acquired, and the first image is acquired.
  • product information indicating the product taken out from the product storage location is generated.
  • customer attribute information indicating the attributes of the customer who took out the product is generated.
  • a customer analysis method is provided in which the product information and the customer attribute information are associated with each other and stored in a storage means.
  • a computer-executed program used with a first imaging means and a second imaging means that captures at least one of the product placement location and its front is met.
  • the first imaging means, the product placement location, and the second imaging means are arranged in this order in the first direction.
  • the first imaging means is located at the same height as or above the product placement location, and images at least an obliquely lower region.
  • the second imaging means is located at the same height as or below the product placement location and below the first imaging means, and images at least an obliquely upper region.
  • On the computer A function of acquiring a first image generated by the first imaging means and a second image generated by the second imaging means, and A function of generating product information indicating a product taken out from the product storage location by processing the first image and the second image, and A function of generating customer attribute information indicating the attributes of the customer who took out the product by processing the first image, and A function of associating the product information and the customer attribute information with each other and storing them in a storage means, Is provided.
  • FIG. 1 It is a figure which shows the use environment of the customer analyzer which concerns on embodiment. It is a figure for demonstrating an image pickup apparatus. It is a block diagram which shows an example of the functional structure of a customer analyzer. It is a figure which shows the information stored in the result storage part in a table format. It is a figure which shows the hardware configuration example of the customer analyzer. It is a flowchart which shows an example of the processing performed by the customer analyzer.
  • FIG. 1 is a diagram showing a usage environment of the customer analyzer 10 according to the embodiment.
  • FIG. 2 is a diagram for explaining the image pickup apparatus 200.
  • the customer analysis device 10 processes the image generated by the image pickup device 200 to identify the product 50 placed on the product shelf 40 or the product 50 taken out from the product shelf 40.
  • the product shelf 40 is an example of a product storage area.
  • the product shelf 40 is arranged in a store, for example, and has at least one shelf. A plurality of types of products 50 are placed on the shelves.
  • the image pickup device 200 photographs at least one of the shelves of the product shelf 40 and the front thereof. In the example shown in FIG. 2, the image pickup apparatus 200 photographs both the shelf of the product shelf 40 and the front thereof.
  • the image pickup apparatus 200 has two image pickup units 210. One imaging unit 210 has an illumination unit 220 and a first imaging unit 22, and the other imaging unit 210 has an illumination unit 220 and a second imaging unit 24.
  • the light emitting surface of the lighting unit 220 extends in one direction, and has a light emitting unit and a cover that covers the light emitting unit.
  • the illumination unit 220 mainly emits light in a direction orthogonal to the extending direction of the light emitting surface.
  • the light emitting unit has a light emitting element such as an LED, and emits light in a direction not covered by the cover.
  • the light emitting element is an LED, a plurality of LEDs are arranged in a direction in which the illumination unit 220 extends (vertical direction in the drawing).
  • the first imaging unit 22 and the second imaging unit 24 are both provided on one end side of the illumination unit 220, and the direction in which the light of the illumination unit 220 is emitted is the imaging range.
  • the first image pickup unit 22 has an image pickup range of downward and diagonally lower right.
  • the second image pickup unit 24 has an image pickup range above and diagonally above the left.
  • the two imaging units 210 are attached to the front frame (or the front of the side walls on both sides) 42 of the product shelf 40.
  • the image pickup unit 210 having the first image pickup unit 22 is attached to one front frame 42 in a direction in which the first image pickup section 22 is located upward, and the image pickup unit 210 having the second image pickup section 24 is the first.
  • the second imaging unit 24 is attached to the front frame 42 on the opposite side of the imaging unit 210 having the first imaging unit 22 so as to be located downward. Therefore, in the direction in which the shelves extend (an example of the first direction), the first imaging unit 22, the product shelf 40, and the second imaging unit 24 are arranged in this order. Further, the first imaging unit 22 is located above the shelf of the product shelf 40, and the second imaging unit 24 is located below the shelf of the product shelf 40. As a result, the distance between the first imaging unit 22 and the second imaging unit 24 becomes wider.
  • the first imaging unit 22 images downward and diagonally downward so that the opening of the product shelf 40 and the front thereof are included in the imaging range.
  • the second imaging unit 24 images the upper side and the diagonally upper side so as to include the opening of the product shelf 40 and the front portion thereof in the imaging range.
  • the customer analyzer 10 can generate information indicating customer attributes (hereinafter referred to as customer attribute information) by processing at least the first image.
  • customer attribute information information indicating customer attributes (hereinafter referred to as customer attribute information) by processing at least the first image.
  • the attribute information of the customer includes the age, gender, the type of the item worn, and the attribute thereof.
  • the customer analyzer 10 stores the information indicating the product name of the specified product 50 in the result storage unit 130 shown in FIG. Further, the customer analysis device 10 determines the display information to be displayed on the display device 30 based on the attribute information of the customer.
  • the display device 30 is provided, for example, in a store where a product shelf 40 is provided.
  • the display device 30 may be installed at or near the product shelf 40.
  • An example of display information is advertising information.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the customer analyzer 10.
  • the customer analysis device 10 has an image acquisition unit 110 and an image processing unit 120.
  • the image acquisition unit 110 acquires the first image generated by the first imaging unit 22 and the second image generated by the second imaging unit 24.
  • the image processing unit 120 processes the first image and the second image. Specifically, the image processing unit 120 processes the first image and the second image to generate product information indicating the product 50 taken out from the product shelf 40. Further, the image processing unit 120 generates customer attribute information of the customer who has taken out the product 50 by processing the first image. Then, the image processing unit 120 associates the product information and the customer attribute information with each other and stores them in the result storage unit 130. A specific example of customer attribute information will be described later.
  • the image processing unit 120 also uses the second image as necessary when generating the customer attribute information.
  • the customer attribute information generated by using the second image is, for example, attribute information about a short customer, for example, a child. A specific example of this attribute information will also be described later.
  • the image processing unit 120 determines whether or not the product 50 taken out by the customer has been returned to the product shelf 40 by processing the first image and the second image. Thereby, it can be determined whether or not the customer has purchased the product 50.
  • the image processing unit 120 uses the information stored in the processing method storage unit 122 when processing the first image and the second image.
  • the processing method storage unit 122 stores, for example, information necessary for specifying the product name of the product 50 and information necessary for generating customer attribute information. This information is, for example, a feature quantity, but may be a model generated by machine learning.
  • the customer analyzer 10 further has an output unit 140.
  • the output unit 140 is used together with the display information storage unit 142.
  • the display information storage unit 142 stores a plurality of display information to be displayed on the display device 30, for example, advertisement information in association with customer attribute information corresponding to the display information. Then, the output unit 140 acquires the display information to be displayed on the display device 30 from the display information storage unit 142 by using the customer attribute information generated by the image processing unit 120, and displays the acquired display information on the display device 30. Let me.
  • the processing method storage unit 122, the result storage unit 130, and the display information storage unit 142 are a part of the customer analysis device 10. However, at least a part of them may be located outside the customer analyzer 10.
  • FIG. 4 is a diagram showing information stored in the result storage unit 130 in a table format.
  • the result storage unit 130 includes, for each act of the customer taking out the product 50 from the product shelf 40, the date and time when the act was performed, the product information of the product 50, the customer attribute information of the customer, and the like. And the purchase information indicating whether or not the product 50 was purchased by the customer is stored.
  • FIG. 5 is a diagram showing a hardware configuration example of the customer analyzer 10.
  • the customer analyzer 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the storage device 1040 stores a program module that realizes each function of the customer analyzer 10 (for example, an image acquisition unit 110, an image processing unit 120, and an output unit 140).
  • the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the storage device 1040 also functions as a processing method storage unit 122, a result storage unit 130, and a display information storage unit 142.
  • the input / output interface 1050 is an interface for connecting the customer analyzer 10 and various input / output devices.
  • the customer analyzer 10 communicates with the customer analyzer 10 via the input / output interface 1050.
  • the network interface 1060 is an interface for connecting the customer analyzer 10 to the network.
  • This network is, for example, LAN (Local Area Network) or WAN (Wide Area Network).
  • the method of connecting the network interface 1060 to the network may be a wireless connection or a wired connection.
  • the customer analyzer 10 may communicate with the customer analyzer 10 via the network interface 1060.
  • FIG. 5 is a flowchart showing an example of processing performed by the customer analyzer 10.
  • the first imaging unit 22 and the second imaging unit 24 repeatedly generate images.
  • the frame rate at this time is arbitrary, but is, for example, 24 frames / sec or more and 120 frames / sec or less.
  • the timing at which the first imaging unit 22 generates the first image is synchronized with the timing at which the second imaging unit 24 generates the second image.
  • the image pickup device 200 transmits the generated first image and the second image to the customer analysis device 10 each time the first image pickup unit 22 and the second image pickup unit 24 generate an image.
  • the interval at which the image pickup apparatus 200 transmits the first image and the second image may be longer than the frame rates of the first image pickup unit 22 and the second image pickup unit 24.
  • the image pickup apparatus 200 collectively transmits the plurality of first images and the plurality of second images to the customer analysis apparatus 10. Then, the customer analyzer 10 performs the process shown in this figure each time the first image and the second image are transmitted.
  • the image acquisition unit 110 of the customer analysis device 10 acquires the first image and the second image (step S10).
  • the image processing unit 120 processes the first image and the second image to generate product information of the product 50 taken out by the customer. Further, the image processing unit 120 generates customer attribute information by processing at least the first image (step S20).
  • the image processing unit 120 processes the first image to generate clothing information indicating the clothing worn by the customer, and makes the clothing information at least a part of the customer attribute information.
  • the image processing unit 120 may generate clothing information using both the first image and the second image.
  • the clothes indicated by the clothes information are, for example, business wear, sportswear, mufflers, mourning clothes, and the like.
  • the image processing unit 120 processes the first image to generate shoe information indicating the shoes worn by the customer, and makes the shoe information at least a part of the customer attribute information.
  • the shoe information indicates, for example, the type of shoes. Types of shoes include, for example, business shoes, athletic shoes, boots, high heels, pumps, loafers, sandals and the like. Further, the shoe information may indicate the state of the shoes. The condition of the shoes is, for example, whether the shoes are dry or wet.
  • the image processing unit 120 may use the second image when generating the customer attribute information. For example, the image processing unit 120 uses the second image to generate attribute information for a short child. In this case, the image processing unit 120 can also determine whether or not the adult customer is accompanied by a child by using the processing result of the first image and the processing result of the second image. The image processing unit 120 states that, for example, when an adult is shown in the first image and a child is shown in the second image generated at the same timing as the first image, the adult customer is accompanied by a child. to decide. When an adult customer comes to the store with a child, at least a part of the customer's attribute information is information indicating that the customer is with a child and the attribute information of the child.
  • the image processing unit 120 identifies the type of the wearable item worn by the customer on the face or head by processing the second image, and provides information indicating the wearable item (hereinafter, referred to as wearable item information). Make it at least part of the customer attribute information.
  • the wearing information may indicate, for example, a mask, sunglasses or eyeglasses, a hat, or a hair band.
  • the image processing unit 120 stores the generated information in the result storage unit 130 (step S30).
  • the output unit 140 reads the display information corresponding to the customer attribute information generated by the image processing unit 120 from the display information storage unit 142, and displays the read display information on the display device 30 (step S40).
  • the output unit 140 reads the display information corresponding to the shoe information from the display information storage unit 142.
  • the output unit 140 reads at least one of sports drink advertisement information, protein advertisement information, and towel advertisement information from the display information storage unit 142.
  • the output unit 140 reads at least one of the stocking advertisement information and the adhesive plaster advertisement information from the display information storage unit 142.
  • the output unit 140 reads the advertisement information of the socks from the display information storage unit 142.
  • the output unit 140 reads at least one of the sock advertisement information and the towel advertisement information from the display information storage unit 142.
  • the output unit 140 reads the display information corresponding to the clothing information from the display information storage unit 142.
  • the output unit 140 reads at least one of the advertisement information of the hot drink and the advertisement information of the hand warmer from the display information storage unit 142.
  • the output unit 140 reads at least one of sports drink advertisement information, protein advertisement information, and towel advertisement information from the display information storage unit 142.
  • the output unit 140 reads the advertisement information of the bag from the display information storage unit 142.
  • the output unit 140 reads the display information corresponding to the attachment information from the display information storage unit 142.
  • the output unit 140 can be used for advertising information on medicines for hay fever and / or colds, advertising information on masks, advertising information on disinfectants, advertising information on hot drinks, and throat lozenges. Read at least one of the advertising information. Further, when the attached object information indicates a towel, the output unit 140 reads the advertisement information of the sports dring from the display information storage unit 142.
  • the output unit 140 when the output unit 140 indicates that the customer attribute information is accompanied by a parent and child, the output unit 140 reads out the advertisement information of the sweets from the display information storage unit 142.
  • the information stored in the result storage unit 130 by the image processing unit 120 is statistically processed by, for example, an external information processing device. Thereby, the product 50 to be arranged on the product shelf 40 can be determined, and the product 50 and / or the package of the product 50 can be determined.
  • the customer analyzer 10 is used together with the first imaging unit 22 and the second imaging unit 24.
  • the first imaging unit 22, the product shelf 40, and the second imaging unit 24 are arranged in this order in the first direction.
  • the first imaging unit 22 is located at the same height as or above the product shelf 40, and images at least an obliquely lower region to generate a first image.
  • the second imaging unit 24 is located at the same height as or below the product shelf 40 and below the first imaging unit 22, and images at least an obliquely upper region to generate a second image.
  • the image processing unit 120 of the customer analyzer 10 processes the first image and the second image to generate product information indicating the product 50 taken out from the product shelf 40.
  • the image processing unit 120 processes the first image to generate customer attribute information indicating the attributes of the customer who has taken out the product 50. Then, the image processing unit 120 associates the product information and the customer attribute information with each other and stores them in the result storage unit 130. Therefore, the product information and the customer attribute information can be generated accurately without increasing the number of imaging units.
  • a customer analyzer used together with a first imaging means and a second imaging means for photographing at least one of the product placement location and the front thereof.
  • the first imaging means, the product placement location, and the second imaging means are arranged in this order in the first direction.
  • the first imaging means is located at the same height as or above the product placement location, and images at least an obliquely lower region.
  • the second imaging means is located at the same height as or below the product placement location and below the first imaging means, and images at least an obliquely upper region.
  • the customer analyzer An image acquisition means for acquiring a first image generated by the first imaging means and a second image generated by the second imaging means, and an image acquisition means.
  • An image processing means for processing the first image and the second image, and With The image processing means By processing the first image and the second image, product information indicating the product taken out from the product placement location is generated. By processing the first image, customer attribute information indicating the attributes of the customer who took out the product is generated.
  • a customer analyzer that links the product information and the customer attribute information with each other and stores them in a storage means. 2. In the customer analyzer described in 1 above, The image processing means is a customer analyzer that generates shoe information indicating shoes worn by the customer by processing the first image, and makes the shoe information at least a part of the customer attribute information. 3. 3.
  • the image processing means is a customer analyzer that processes the first image to generate clothing information indicating the clothing worn by the customer, and makes the clothing information at least a part of the customer attribute information. 4.
  • the image processing means is a customer analysis device that further processes the second image to make the attachment information indicating the attachment attached to the customer's face into at least a part of the customer attribute information. 5.
  • the image processing means further processes the second image to generate child attribute information indicating the attributes of the child acting with the customer, and the child attribute information is used as at least a part of the customer attribute information. Customer analyzer. 6.
  • a display means is provided in the product storage place or the store where the product storage place is provided.
  • a customer analysis apparatus further comprising an information selection means for acquiring display information to be displayed on the display means using the customer attribute information and displaying the acquired display information on the display means. 7. It is a customer analysis method performed by a computer used together with the first imaging means and the second imaging means for photographing at least one of the product placing place and the front thereof.
  • the first imaging means, the product placement location, and the second imaging means are arranged in this order in the first direction.
  • the first imaging means is located at the same height as or above the product placement location, and images at least an obliquely lower region.
  • the second imaging means is located at the same height as or below the product placement location and below the first imaging means, and images at least an obliquely upper region.
  • the computer The first image generated by the first imaging means and the second image generated by the second imaging means are acquired, and the first image is acquired.
  • product information indicating the product taken out from the product storage location is generated.
  • customer attribute information indicating the attributes of the customer who took out the product is generated.
  • a customer analysis method in which the product information and the customer attribute information are associated with each other and stored in a storage means. 8.
  • the computer further processes the second image to generate attachment information indicating the attachment attached to the customer's face, and makes the attachment information at least a part of the customer attribute information. Customer analysis method. 11.
  • the computer further processes the second image to generate child attribute information indicating the attributes of the child acting with the customer, and makes the child attribute information at least a part of the customer attribute information.
  • a display means is provided in the product storage place or the store where the product storage place is provided.
  • a customer analysis method in which the computer acquires display information to be displayed on the display means using the customer attribute information, and causes the display means to display the acquired display information. 13.
  • the first imaging means is located at the same height as or above the product placement location, and images at least an obliquely lower region.
  • the second imaging means is located at the same height as or below the product placement location and below the first imaging means, and images at least an obliquely upper region.
  • On the computer A function of acquiring a first image generated by the first imaging means and a second image generated by the second imaging means, and A function of generating product information indicating a product taken out from the product storage location by processing the first image and the second image, and A function of generating customer attribute information indicating the attributes of the customer who took out the product by processing the first image, and A function of associating the product information and the customer attribute information with each other and storing them in a storage means, Program to have. 14.
  • the fitting information indicating the fitting worn on the customer's face is generated, and the fitting information is made into at least a part of the customer attribute information. program. 17.
  • a display means is provided in the product storage place or the store where the product storage place is provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

顧客分析装置（１０）は、画像取得部（１１０）及び画像処理部（１２０）を有している。画像取得部（１１０）は、第１撮像部（２２）が生成した第１画像及び第２撮像部（２４）が生成した第２画像を取得する。画像処理部（１２０）は、第１画像及び第２画像を処理する。詳細には、画像処理部（１２０）は、第１画像及び第２画像を処理することにより、商品棚（４０）から取り出された商品（５０）を示す商品情報を生成する。また画像処理部（１２０）は、第１画像を処理することにより、商品（５０）を取り出した顧客の顧客属性情報を生成する。そして画像処理部（１２０）は、商品情報と顧客属性情報を互いに紐づけて結果記憶部（１３０）に記憶させる。

Description

顧客分析装置、顧客分析方法、およびプログラム
　本発明は、顧客分析装置、顧客分析方法、およびプログラムに関する。
　店舗において、商品棚から顧客が商品を取り出した場合に、その顧客の属性を分析することが検討されている。例えば特許文献１には、商品の種類ごとにイメージセンサを設け、このイメージセンサを用いて顧客を撮像すること、及びその画像を解析することにより顧客の属性を推定することが記載されている。
特開２０１８－５５２４８号公報
　本発明者は、撮像手段の数を増やすことなく、商品を取り出した顧客の属性及びその商品を特定することを検討した。本発明の目的の一つは、撮像手段の数を増やすことなく、商品を取り出した顧客の属性及びその商品を特定することにある。
　本発明によれば、商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用される顧客分析装置であって、
　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
　前記顧客分析装置は、
　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する画像取得手段と、
　　前記第１画像及び前記第２画像を処理する画像処理手段と、
を備え、
　前記画像処理手段は、
　　前記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析装置が提供される。
　本発明によれば、商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが行う顧客分析方法であって、
　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
　前記コンピュータが、
　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得し、
　　記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析方法が提供される。
　本発明によれば、商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが実行するプログラムで会って、
　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
　前記コンピュータに、
　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する機能と、
　　記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成する機能と、
　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成する機能と、
　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる機能と、
を持たせるプログラムが提供される。
　本発明によれば、撮像手段の数を増やすことなく、商品を取り出した顧客の属性及びその商品を特定することができる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態に係る顧客分析装置の使用環境を示す図である。 撮像装置を説明するための図である。 顧客分析装置の機能構成の一例を示すブロック図である。 結果記憶部が記憶している情報をテーブル形式で示す図である。 顧客分析装置のハードウェア構成例を示す図である。 顧客分析装置が行う処理の一例を示すフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　図１は、実施形態に係る顧客分析装置１０の使用環境を示す図である。図２は、撮像装置２００を説明するための図である。顧客分析装置１０は、撮像装置２００が生成した画像を処理することにより、商品棚４０に載置された商品５０、又は商品棚４０から取り出された商品５０を特定する。商品棚４０は商品載置領域の一例である。商品棚４０は、例えば店舗に配置されており、少なくとも一つの棚を有している。棚の上には複数種類の商品５０が載置されている。
　撮像装置２００は、商品棚４０の棚及びその前方の少なくとも一方を撮影する。図２に示す例において、撮像装置２００は商品棚４０の棚及びその前方の双方を撮影する。そして撮像装置２００は２つの撮像ユニット２１０を有している。一方の撮像ユニット２１０は照明部２２０及び第１撮像部２２を有しており、他方の撮像ユニット２１０は照明部２２０及び第２撮像部２４を有している。
　照明部２２０の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明部２２０は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明部２２０が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。
　そして第１撮像部２２及び第２撮像部２４は、いずれも照明部２２０の一端側に設けられており、照明部２２０の光が放射される方向を撮像範囲としている。例えば図１及び図２の左側の撮像ユニット２１０において、第１撮像部２２は下方及び右斜め下を撮像範囲としている。また、図１及び図２の右側の撮像ユニット２１０において、第２撮像部２４は上方及び左斜め上を撮像範囲としている。
　図２に示すように、２つの撮像ユニット２１０は、商品棚４０の前面フレーム（又は両側の側壁の前面）４２に取り付けられる。この際、第１撮像部２２を有する撮像ユニット２１０は、一方の前面フレーム４２に、第１撮像部２２が上方に位置する向きに取り付けられ、第２撮像部２４を有する撮像ユニット２１０は、第１撮像部２２を有する撮像ユニット２１０とは逆側の前面フレーム４２に、第２撮像部２４が下方に位置する向きに取り付けられる。このため、棚が延在する方向（第１方向の一例）において、第１撮像部２２、商品棚４０、及び第２撮像部２４は、この順に並んでいる。また、第１撮像部２２は商品棚４０の棚より上に位置し、第２撮像部２４は商品棚４０の棚より下に位置している。これにより、第１撮像部２２及び第２撮像部２４の間隔は広くなる。
　そして第１撮像部２２は、商品棚４０の開口部及びその前方を撮像範囲に含むように、下方及び斜め下方を撮像する。一方、第２撮像部２４は、商品棚４０の開口部及びその前方を撮像範囲に含むように、上方及び斜め上方を撮像する。このように２つの撮像ユニット２１０を用いることで、商品棚４０の開口部及びその前方の全範囲を撮影することができる。このため、顧客分析装置１０は、第１撮像部２２が生成した画像（以下、第１画像と記載）及び第２撮像部２４が生成した画像（以下、第２画像と記載）を処理することにより、商品棚４０から取り出された商品５０の品名を特定することができる。
　また、少なくとも第１画像には、商品５０を取り出した顧客も写っている。このため、顧客分析装置１０は、少なくとも第１画像を処理することにより、顧客の属性を示す情報（以下、顧客属性情報と記載）を生成することができる。ここで、顧客の属性情報は、年齢、性別、及び身に着けている物の種類及びその属性などを含んでいる。
　そして顧客分析装置１０は、特定した商品５０の品名を示す情報を、図３に示す結果記憶部１３０に記憶させる。また顧客分析装置１０は、顧客の属性情報に基づいて、表示装置３０に表示させるべき表示情報を決定する。表示装置３０は、例えば商品棚４０が設けられている店舗の中に設けられている。表示装置３０は、商品棚４０又はその近傍に設置されていてもよい。そして表示情報の一例は、広告情報である。
　図３は、顧客分析装置１０の機能構成の一例を示すブロック図である。顧客分析装置１０は、画像取得部１１０及び画像処理部１２０を有している。画像取得部１１０は、第１撮像部２２が生成した第１画像及び第２撮像部２４が生成した第２画像を取得する。画像処理部１２０は、第１画像及び第２画像を処理する。詳細には、画像処理部１２０は、第１画像及び第２画像を処理することにより、商品棚４０から取り出された商品５０を示す商品情報を生成する。また画像処理部１２０は、第１画像を処理することにより、商品５０を取り出した顧客の顧客属性情報を生成する。そして画像処理部１２０は、商品情報と顧客属性情報を互いに紐づけて結果記憶部１３０に記憶させる。顧客属性情報の具体例については、後述する。
　ここで画像処理部１２０は、顧客属性情報を生成するとき、必要に応じて第２画像も用いる。第２画像を用いて生成される顧客属性情報は、例えば身長が低い顧客、例えば子供に関する属性情報である。この属性情報の具体例についても、後述する。
　また画像処理部１２０は、第１画像及び第２画像を処理することにより、顧客によって取り出された商品５０が商品棚４０に戻されたか否かを判断する。これにより、顧客がその商品５０を購入したか否かを判断することができる。
　画像処理部１２０は、第１画像及び第２画像を処理する際に、処理手法記憶部１２２に記憶している情報を用いる。処理手法記憶部１２２は、例えば商品５０の品名を特定するために必要な情報、及び顧客属性情報を生成するために必要な情報を記憶している。これらの情報は、例えば特徴量であるが、機械学習によって生成されたモデルであってもよい。
　顧客分析装置１０は、さらに出力部１４０を有している。出力部１４０は、表示情報記憶部１４２と共に使用される。表示情報記憶部１４２は、表示装置３０に表示すべき複数の表示情報、例えば広告情報を、その表示情報に対応する顧客属性情報に紐づけて記憶している。そして出力部１４０は、画像処理部１２０が生成した顧客属性情報を用いて、表示装置３０に表示すべき表示情報を表示情報記憶部１４２から取得し、当該取得した表示情報を表示装置３０に表示させる。
　なお、本図に示す例において、処理手法記憶部１２２、結果記憶部１３０、及び表示情報記憶部１４２は顧客分析装置１０の一部となっている。ただしこれらの少なくとも一部は顧客分析装置１０の外部に位置していてもよい。
　図４は、結果記憶部１３０が記憶している情報をテーブル形式で示す図である。本図に示す例において、結果記憶部１３０は、顧客が商品棚４０から商品５０を取り出した行為ごとに、その行為が行われた日時、その商品５０の商品情報、その顧客の顧客属性情報、及びその商品５０がその顧客によって購入されたか否かを示す購入情報を記憶している。
　図５は、顧客分析装置１０のハードウェア構成例を示す図である。顧客分析装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は顧客分析装置１０の各機能（例えば画像取得部１１０、画像処理部１２０、及び出力部１４０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は処理手法記憶部１２２、結果記憶部１３０、及び表示情報記憶部１４２としても機能する。
　入出力インタフェース１０５０は、顧客分析装置１０と各種入出力機器とを接続するためのインタフェースである。例えば顧客分析装置１０は、入出力インタフェース１０５０を介して顧客分析装置１０と通信する。
　ネットワークインタフェース１０６０は、顧客分析装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。顧客分析装置１０は、ネットワークインタフェース１０６０を介して顧客分析装置１０と通信してもよい。
　図５は、顧客分析装置１０が行う処理の一例を示すフローチャートである。第１撮像部２２及び第２撮像部２４は、繰り返し画像を生成している。この時のフレームレートは任意であるが、例えば２４枚／秒以上１２０枚／秒以下である。また第１撮像部２２が第１画像を生成するタイミングは、第２撮像部２４が第２画像を生成するタイミングに同期している。撮像装置２００は、第１撮像部２２及び第２撮像部２４が画像を生成するたびに、生成した第１画像及び第２画像を顧客分析装置１０に送信する。なお、撮像装置２００が第１画像及び第２画像を送信する間隔は、第１撮像部２２及び第２撮像部２４のフレームレートよりも長くてもよい。この場合、撮像装置２００は、複数の第１画像及び複数の第２画像をまとめて顧客分析装置１０に送信する。そして顧客分析装置１０は、第１画像及び第２画像が送信されるたびに、本図に示す処理を行う。
　まず顧客分析装置１０の画像取得部１１０は、第１画像及び第２画像を取得する（ステップＳ１０）。次いで画像処理部１２０は、第１画像及び第２画像を処理することにより、顧客が取り出した商品５０の商品情報を生成する。また画像処理部１２０は、少なくとも第１画像を処理することにより、顧客属性情報を生成する（ステップＳ２０）。
　また画像処理部１２０は、第１画像を処理することにより、顧客が着ている衣服を示す衣服情報を生成し、当該衣服情報を顧客属性情報の少なくとも一部にする。ここで画像処理部１２０は、第１画像及び第２画像の双方を用いて衣服情報を生成することもある。衣服情報が示す衣服は、例えばビジネスウェア、スポーツウェア、マフラー、喪服などである。
　また第１画像には、顧客の靴が写っている可能性が高い。そこで画像処理部１２０は、第１画像を処理することにより、顧客が履いている靴を示す靴情報を生成し、当該靴情報を顧客属性情報の少なくとも一部にする。靴情報は、例えば靴の種類を示している。靴の種類は、例えばビジネスシューズ、運動靴、長靴、ハイヒール、パンプス、ローファー、サンダルなどである。また靴情報は、靴の状態を示していてもよい。靴の状態は、例えば靴が乾いているか濡れているかなどである。
　なお、上記したように、画像処理部１２０は、顧客属性情報を生成するときに、第２画像を用いることもある。例えば画像処理部１２０は、第２画像を用いて身長が低い子供の属性情報を生成する。この場合、画像処理部１２０は、第１画像の処理結果と第２画像の処理結果を用いて、大人の顧客が子供連れであるか否かを判断することもできる。画像処理部１２０は、例えば、第１画像に大人が写っており、かつこの第１画像と同じタイミングで生成された第２画像に子供が写っていた時、大人の顧客が子供連れであると判断する。大人の顧客が子供と共に来店している場合、その顧客の属性情報の少なくとも一部は、子供連れであることを示す情報、及びその子供の属性情報になる。
　また画像処理部１２０は、第２画像を処理することにより、顧客が顔又は頭に装着している装着物の種類を特定し、この装着物を示す情報（以下、装着物情報と記載）を顧客属性情報の少なくとも一部にする。装着物情報は、例えばマスクを示していてもよいし、サングラスや眼鏡を示していてもよいし、帽子を示していてもよいし、ヘアバンドを示していてもよい。
　そして画像処理部１２０は、生成した情報を結果記憶部１３０に記憶させる（ステップＳ３０）。
　また出力部１４０は、画像処理部１２０が生成した顧客属性情報に対応する表示情報を、表示情報記憶部１４２から読み出し、読み出した表示情報を表示装置３０に表示させる（ステップＳ４０）。
　ここで出力部１４０は、顧客属性情報が靴情報を含んでいた場合、その靴情報に対応する表示情報を表示情報記憶部１４２から読み出す。
　例えば靴情報がスニーカーやランニングシューズを示していた場合、出力部１４０は、スポーツドリンクの広告情報、プロテインの広告情報、及びタオルの広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。また靴情報がハイヒールやパンプスを示していた場合、出力部１４０は、ストッキングの広告情報及び絆創膏の広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。また靴情報が長靴やビジネスシューズを示していた場合、出力部１４０は、靴下の広告情報を表示情報記憶部１４２から読み出す。また靴情報が、その靴が濡れていることを示している場合、出力部１４０は、靴下の広告情報及びタオルの広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。
　また出力部１４０は、顧客属性情報が顧客の衣服情報を含んでいた場合、その衣服情報に対応する表示情報を表示情報記憶部１４２から読み出す。
　例えば衣服情報が手袋やタイツやマフラーを示していた場合、出力部１４０は、温かい飲み物の広告情報及び携帯カイロの広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。また衣服情報がスポーツウェアなどのスポーツに関するものであった場合、出力部１４０は、スポーツドリンクの広告情報、プロテインの広告情報、及びタオルの広告情報の少なくとも一つを表示情報記憶部１４２から読み出す。
　また衣服情報が喪服の場合、出力部１４０は、のし袋の広告情報を表示情報記憶部１４２から読み出す。
　さらに出力部１４０は、顧客属性情報が装着物情報を含んでいた場合、その装着物情報に対応する表示情報を表示情報記憶部１４２から読み出す。
　例えば出力部１４０は、装着物情報がマスクを示していた場合、花粉症及び／又は風邪に対する薬の広告情報、マスクの広告情報、消毒薬の広告情報、温かい飲み物の広告情報、及びのど飴の広告情報の少なくとも一つを読み出す。また出力部１４０は、装着物情報がタオルを示していた場合、スポーツドリングの広告情報を表示情報記憶部１４２から読み出す。
　また出力部１４０は、顧客属性情報が親子連れであることを示していた場合、表示情報記憶部１４２から、お菓子の広告情報を読み出す。
　なお、画像処理部１２０が結果記憶部１３０に記憶した情報は、例えば外部の情報処理装置で統計的に処理される。これにより、商品棚４０に配置する商品５０を決定したり、商品５０及び／または商品５０のパッケージを決定することができる。
　以上、本実施形態によれば、顧客分析装置１０は、第１撮像部２２及び第２撮像部２４と共に使用される。第１撮像部２２、商品棚４０、及び第２撮像部２４は、第１方向においてこの順に並んでいる。第１撮像部２２は、商品棚４０と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像して第１画像を生成する。第２撮像部２４は、商品棚４０と同じ高さ又はそれより下、かつ第１撮像部２２より下に位置しており、少なくとも斜め上の領域を撮像して第２画像を生成する。そして顧客分析装置１０の画像処理部１２０は、第１画像及び前記第２画像を処理することにより、商品棚４０から取り出された商品５０を示す商品情報を生成する。また画像処理部１２０は、第１画像を処理することにより、商品５０を取り出した顧客の属性を示す顧客属性情報を生成する。そして画像処理部１２０は、商品情報と顧客属性情報を互いに紐づけて結果記憶部１３０に記憶させる。従って、撮像部を増やさなくても、精度よく商品情報及び顧客属性情報を生成することができる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
　１．商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用される顧客分析装置であって、
　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
　前記顧客分析装置は、
　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する画像取得手段と、
　　前記第１画像及び前記第２画像を処理する画像処理手段と、
を備え、
　前記画像処理手段は、
　　前記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析装置。
２．上記１に記載の顧客分析装置において、
　前記画像処理手段は、前記第１画像を処理することにより、前記顧客が履いている靴を示す靴情報を生成し、当該靴情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
３．上記１又は２に記載の顧客分析装置において、
　前記画像処理手段は、前記第１画像を処理することにより、前記顧客が着ている衣服を示す衣服情報を生成し、当該衣服情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
４．上記１～３のいずれか一項に記載の顧客分析装置において、
　前記画像処理手段は、さらに前記第２画像を処理することにより、前記顧客の顔に装着されている装着物を示す装着物情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
５．上記１～４のいずれか一項に記載の顧客分析装置において、
　前記画像処理手段は、さらに前記第２画像を処理することにより、前記顧客と共に行動している子供の属性を示す子供属性情報を生成し、前記子供属性情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
６．上記１～５のいずれか一項に記載の顧客分析装置において、
　前記商品載置場所、又は前記商品載置場所が設けられた店舗には表示手段が設けられており、
　前記顧客属性情報を用いて前記表示手段に表示すべき表示情報を取得し、当該取得した表示情報を前記表示手段に表示させる情報選択手段をさらに備える顧客分析装置。

７．商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが行う顧客分析方法であって、
　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
　前記コンピュータが、
　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得し、
　　記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析方法。


８．上記７に記載の顧客分析方法において、
　前記コンピュータは、前記第１画像を処理することにより、前記顧客が履いている靴を示す靴情報を生成し、当該靴情報を前記顧客属性情報の少なくとも一部にする顧客分析方法。
９．上記７又は８に記載の顧客分析方法において、
　前記コンピュータは、前記第１画像を処理することにより、前記顧客が着ている衣服を示す衣服情報を生成し、当該衣服情報を前記顧客属性情報の少なくとも一部にする顧客分析方法。
１０．上記７～９のいずれか一項に記載の顧客分析方法において、
　前記コンピュータは、さらに前記第２画像を処理することにより、前記顧客の顔に装着されている装着物を示す装着物情報を生成し、当該装着物情報を前記顧客属性情報の少なくとも一部にする顧客分析方法。
１１．上記７～１０のいずれか一項に記載の顧客分析方法において、
　前記コンピュータは、さらに前記第２画像を処理することにより、前記顧客と共に行動している子供の属性を示す子供属性情報を生成し、前記子供属性情報を前記顧客属性情報の少なくとも一部にする顧客分析方法。
１２．上記７～１１のいずれか一項に記載の顧客分析方法において、
　前記商品載置場所、又は前記商品載置場所が設けられた店舗には表示手段が設けられており、
　前記コンピュータは、前記顧客属性情報を用いて前記表示手段に表示すべき表示情報を取得し、当該取得した表示情報を前記表示手段に表示させる顧客分析方法。

１３．商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが実行するプログラムで会って、
　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
　前記コンピュータに、
　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する機能と、
　　記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成する機能と、
　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成する機能と、
　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる機能と、
を持たせるプログラム。
１４．上記１３に記載のプログラムにおいて、
　前記コンピュータに、前記第１画像を処理させることにより、前記顧客が履いている靴を示す靴情報を生成させ、当該靴情報を前記顧客属性情報の少なくとも一部にするプログラム。
１５．上記１３又は１４に記載のプログラムにおいて、
　前記コンピュータに、前記第１画像を処理させることにより、前記顧客が着ている衣服を示す衣服情報を生成させ、当該衣服情報を前記顧客属性情報の少なくとも一部にするプログラム。
１６．上記１３～１５のいずれか一項に記載のプログラムにおいて、
　前記コンピュータに、さらに前記第２画像を処理させることにより、前記顧客の顔に装着されている装着物を示す装着物情報を生成させ、当該装着物情報を前記顧客属性情報の少なくとも一部にするプログラム。
１７．上記１３～１６のいずれか一項に記載のプログラムにおいて、
　前記コンピュータに、さらに前記第２画像を処理させることにより、前記顧客と共に行動している子供の属性を示す子供属性情報を生成させ、前記子供属性情報を前記顧客属性情報の少なくとも一部にするプログラム。
１８．上記１３～１７のいずれか一項に記載のプログラムにおいて、
　前記商品載置場所、又は前記商品載置場所が設けられた店舗には表示手段が設けられており、
　前記コンピュータに、前記顧客属性情報を用いて前記表示手段に表示すべき表示情報を取得し、当該取得した表示情報を前記表示手段に表示させる機能を持たせるプログラム。
１０　　顧客分析装置
２２　　第１撮像部
２４　　第２撮像部
３０　　表示装置
４０　　商品棚
４２　　前面フレーム
５０　　商品
１１０　　画像取得部
１２０　　画像処理部
１２２　　処理手法記憶部
１３０　　結果記憶部
１４０　　出力部
１４２　　表示情報記憶部
２００　　撮像装置
２１０　　撮像ユニット
２２０　　照明部

Claims (8)

  1. 　商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用される顧客分析装置であって、
    　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
    　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
    　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
    　前記顧客分析装置は、
    　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する画像取得手段と、
    　　前記第１画像及び前記第２画像を処理する画像処理手段と、
    を備え、
    　前記画像処理手段は、
    　　前記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
    　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
    　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析装置。
  2. 　請求項１に記載の顧客分析装置において、
    　前記画像処理手段は、前記第１画像を処理することにより、前記顧客が履いている靴を示す靴情報を生成し、当該靴情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
  3. 　請求項１又は２に記載の顧客分析装置において、
    　前記画像処理手段は、前記第１画像を処理することにより、前記顧客が着ている衣服を示す衣服情報を生成し、当該衣服情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
  4. 　請求項１～３のいずれか一項に記載の顧客分析装置において、
    　前記画像処理手段は、さらに前記第２画像を処理することにより、前記顧客の顔に装着されている装着物を示す装着物情報を生成し、当該装着物情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
  5. 　請求項１～４のいずれか一項に記載の顧客分析装置において、
    　前記画像処理手段は、さらに前記第２画像を処理することにより、前記顧客と共に行動している子供の属性を示す子供属性情報を生成し、前記子供属性情報を前記顧客属性情報の少なくとも一部にする顧客分析装置。
  6. 　請求項１～５のいずれか一項に記載の顧客分析装置において、
    　前記商品載置場所、又は前記商品載置場所が設けられた店舗には表示手段が設けられており、
    　前記顧客属性情報を用いて前記表示手段に表示すべき表示情報を取得し、当該取得した表示情報を前記表示手段に表示させる情報選択手段をさらに備える顧客分析装置。
  7. 　商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが行う顧客分析方法であって、
    　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
    　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
    　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
    　前記コンピュータが、
    　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得し、
    　　記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成し、
    　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成し、
    　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる、顧客分析方法。
  8. 　商品載置場所及びその前方の少なくとも一方を撮影する第１撮像手段及び第２撮像手段と共に使用されるコンピュータが実行するプログラムで会って、
    　前記第１撮像手段、前記商品載置場所、及び前記第２撮像手段は、第１方向においてこの順に並んでおり、
    　前記第１撮像手段は、前記商品載置場所と同じ高さ又はそれより上に位置しており、少なくとも斜め下の領域を撮像し、
    　前記第２撮像手段は、前記商品載置場所と同じ高さ又はそれより下、かつ前記第１撮像手段より下に位置しており、少なくとも斜め上の領域を撮像し、
    　前記コンピュータに、
    　　前記第１撮像手段が生成した第１画像及び前記第２撮像手段が生成した第２画像を取得する機能と、
    　　記第１画像及び前記第２画像を処理することにより、前記商品載置場所から取り出された商品を示す商品情報を生成する機能と、
    　　前記第１画像を処理することにより、前記商品を取り出した顧客の属性を示す顧客属性情報を生成する機能と、
    　　前記商品情報と前記顧客属性情報を互いに紐づけて記憶手段に記憶させる機能と、
    を持たせるプログラム。
PCT/JP2020/008442 2020-02-28 2020-02-28 顧客分析装置、顧客分析方法、およびプログラム WO2021171588A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/801,936 US20230080815A1 (en) 2020-02-28 2020-02-28 Customer analysis apparatus, customer analysis method, and non-transitory storage medium
JP2022503028A JP7375908B2 (ja) 2020-02-28 2020-02-28 顧客分析装置、顧客分析方法、およびプログラム
PCT/JP2020/008442 WO2021171588A1 (ja) 2020-02-28 2020-02-28 顧客分析装置、顧客分析方法、およびプログラム
US18/512,750 US20240087359A1 (en) 2020-02-28 2023-11-17 Customer analysis apparatus, customer analysis method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008442 WO2021171588A1 (ja) 2020-02-28 2020-02-28 顧客分析装置、顧客分析方法、およびプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/801,936 A-371-Of-International US20230080815A1 (en) 2020-02-28 2020-02-28 Customer analysis apparatus, customer analysis method, and non-transitory storage medium
US18/512,750 Continuation US20240087359A1 (en) 2020-02-28 2023-11-17 Customer analysis apparatus, customer analysis method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2021171588A1 true WO2021171588A1 (ja) 2021-09-02

Family

ID=77492087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008442 WO2021171588A1 (ja) 2020-02-28 2020-02-28 顧客分析装置、顧客分析方法、およびプログラム

Country Status (3)

Country Link
US (2) US20230080815A1 (ja)
JP (1) JP7375908B2 (ja)
WO (1) WO2021171588A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015033575A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム
WO2018235198A1 (ja) * 2017-06-21 2018-12-27 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2019113976A (ja) * 2017-12-22 2019-07-11 キヤノンマーケティングジャパン株式会社 動線分析システム、動線分析システムの制御方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6354848B2 (ja) * 2014-09-19 2018-07-11 日本電気株式会社 センサ管理システム、センサ管理装置、センサ装置、センサ管理方法およびプログラム
JP2016062564A (ja) * 2014-09-22 2016-04-25 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6295228B2 (ja) * 2015-04-07 2018-03-14 東芝テック株式会社 販売データ処理装置、サーバおよびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015033575A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム
WO2018235198A1 (ja) * 2017-06-21 2018-12-27 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2019113976A (ja) * 2017-12-22 2019-07-11 キヤノンマーケティングジャパン株式会社 動線分析システム、動線分析システムの制御方法、およびプログラム

Also Published As

Publication number Publication date
US20240087359A1 (en) 2024-03-14
US20230080815A1 (en) 2023-03-16
JPWO2021171588A1 (ja) 2021-09-02
JP7375908B2 (ja) 2023-11-08

Similar Documents

Publication Publication Date Title
JP5616953B2 (ja) ディジタルサイネージシステム
JP5439787B2 (ja) カメラ装置
KR20110086010A (ko) 장면을 최적화하기 위한 시스템 및 방법
KR20110082018A (ko) 강건성을 평가하기 위한 시스템 및 방법
US20190279394A1 (en) Image processing apparatus, and image processing method
TW201243387A (en) Color channels and optical markers
JP2017194413A (ja) 薬剤監査装置及び方法並びにプログラム
WO2019223387A1 (zh) 智能展示装置以及智能展示方法
JP2020080003A5 (ja)
CN109069350A (zh) 婴儿喂养系统
JP7318321B2 (ja) 情報処理装置、情報処理方法、人物検索システムおよび人物検索方法
JP6853891B2 (ja) 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
WO2021171588A1 (ja) 顧客分析装置、顧客分析方法、およびプログラム
JP7367846B2 (ja) 商品検出装置、商品検出方法、及びプログラム
TW201942836A (zh) 店面系統、物品搭配方法、裝置及電子設備
WO2021181597A1 (ja) 認知度推定装置、認知度推定方法、及び、記録媒体
KR20150140209A (ko) 네트워크상에서의 물품 구매 지원 방법 및 이에 사용되는 구매지원 서버
JPWO2021171588A5 (ja)
JP7388531B2 (ja) 物品特定装置、物品特定方法、及びプログラム
JP2014179135A (ja) 画像処理装置、方法、及びプログラム
JP2002024514A (ja) 販売促進支援システム
JP7491366B2 (ja) 身長推定装置、身長推定方法、及びプログラム
JP6929979B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP7452645B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5413674B2 (ja) 試着システム、試着画像作成方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922059

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503028

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20922059

Country of ref document: EP

Kind code of ref document: A1