WO2020179480A1 - 物品推定装置、物品推定方法、及びプログラム - Google Patents

物品推定装置、物品推定方法、及びプログラム Download PDF

Info

Publication number
WO2020179480A1
WO2020179480A1 PCT/JP2020/006860 JP2020006860W WO2020179480A1 WO 2020179480 A1 WO2020179480 A1 WO 2020179480A1 JP 2020006860 W JP2020006860 W JP 2020006860W WO 2020179480 A1 WO2020179480 A1 WO 2020179480A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
shelf
person
weight
image
Prior art date
Application number
PCT/JP2020/006860
Other languages
English (en)
French (fr)
Inventor
元亨 仲村
尚幸 村
晋哉 山崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/434,813 priority Critical patent/US11922391B2/en
Priority to JP2021503960A priority patent/JP7435587B2/ja
Publication of WO2020179480A1 publication Critical patent/WO2020179480A1/ja
Priority to US18/231,583 priority patent/US20230385798A1/en
Priority to US18/231,605 priority patent/US20230401552A1/en
Priority to US18/233,623 priority patent/US20230385799A1/en
Priority to JP2024017129A priority patent/JP2024040297A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/42—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight for counting by weighing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to an article estimation device, an article estimation method, and a program.
  • Patent Document 1 in the work of packing a plurality of types of articles taken out from an inventory shelf into a box, the total weight of the articles 5 stored in the inventory shelf is measured, and a warning is given using the measurement results. It is described to determine whether or not to do so.
  • Patent Document 2 describes that in order to manage the handling of goods, inventory data is generated using the result of processing an image of a bar code or QR code (registered trademark) of the goods.
  • the inventory data is information indicating the handling status of the article, and includes, for example, the identification information of the photographed article, the date and time when the article was collated, the place where the article was installed, and the user who handled the article. It is information in which the identification information and the like are associated with each other.
  • One of the objects of the present invention is to improve the discrimination accuracy of articles taken out from shelves.
  • weight change data which is data based on a change in a detection value of a weight sensor provided on a shelf on which a plurality of articles can be placed, and a position in a shelf front space that is a space in front of the shelf.
  • Acquisition means for acquiring motion data indicating the movement of a person's hand An output unit that outputs, using the weight change data and the operation data, the item identification information of the item estimated to be taken out by the hand,
  • an article estimation device including:
  • the computer Weight change data which is data based on a change in a detection value of a weight sensor provided on a shelf on which a plurality of articles can be placed, and movement of a person's hand located in the front shelf space which is a space in front of the shelf.
  • the operation data indicating An article estimation method is provided which outputs article identification information of the article estimated to have been taken out by the hand using the weight change data and the operation data.
  • Weight change data which is data based on a change in a detection value of a weight sensor provided on a shelf on which a plurality of articles can be placed, and movement of a person's hand located in the front shelf space which is a space in front of the shelf.
  • the function to obtain the operation data A function of using the weight change data and the operation data to output the article identification information of the article estimated to be taken out by the hand;
  • the accuracy of distinguishing an item taken out of a shelf is improved.
  • FIG. 1 It is a figure which shows the function structure of the article information estimation apparatus which concerns on this embodiment with the usage environment of an article information estimation apparatus. It is a figure which shows an example of the data which the shelving allocation information storage part has memorize
  • step S104 of FIG. 4 It is a top view for explaining the layout of the weight sensor concerning a 3rd embodiment. It is a flowchart for demonstrating the detail of the article identification process (step S104 of FIG. 4) in 3rd Embodiment. It is a figure which shows the functional structure of the article information estimation apparatus which concerns on 4th Embodiment together with the use environment of the article information estimation apparatus. It is a flowchart for demonstrating the detail of step S104 in 4th Embodiment. It is a figure which shows the functional structure of the article information estimation apparatus which concerns on 5th Embodiment together with the use environment of the article information estimation apparatus. It is a flow chart for explaining an example of operation of an article information estimating device concerning a 5th embodiment.
  • FIG. 1 is a diagram showing a functional configuration of the article information estimation device 10 according to the present embodiment together with a usage environment of the article information estimation device 10.
  • the article information estimation device 10 according to the embodiment is an device that estimates the article 200 taken out from the shelf 20 by a person, and is used together with the weight sensor 30 and the depth sensor 40.
  • the shelf 20 is shown as viewed from the side.
  • a plurality of articles 200 can be placed on the shelf 20.
  • the shelves 20 are product shelves
  • the goods 200 are goods
  • the person who takes out the goods 200 is a customer or a clerk (employee).
  • the shelf 20 is arranged in a pharmacy
  • the article 200 is a drug shelf
  • the article 200 is a drug
  • the person who takes out the article 200 is a pharmacist.
  • the articles 200 are arranged on each of the plurality of shelves 20.
  • a plurality of types of articles 200 are placed on the plurality of shelves 20.
  • the shelf 20 on which the article 200 is placed is predetermined for each article 200. Therefore, if the shelf 20 from which the article 200 is taken out is known, the type of the article 200 can be estimated.
  • the shelf 20 may be a single stage.
  • the depth sensor 40 includes the space in front of the shelf 20 (hereinafter referred to as the space in front of the shelf) in the detection range, and generates data indicating the movement of the hand of a person located in the space in front of the shelf.
  • the depth sensor 40 is arranged above the space in front of the shelf, it may be arranged in both of the space in front of the shelf or below the space in front of the shelf. Then, the depth sensor 40 generates data indicating the position of the hand in the xy plane (that is, the horizontal plane) and the position of the hand in the z direction (that is, the height direction), and outputs this data to the article information estimation device 10. ..
  • the article information estimation device 10 can identify the shelf 20 by using the data generated by the depth sensor 40.
  • the depth sensor 40 may be, for example, one using a stereo camera or one using LiDAR (Light Detection and Ringing). Further, the article information estimation device 10 may generate data indicating the position of the hand by processing the output data from the depth sensor 40.
  • the articles taken out from the shelf 20. 200 can be estimated.
  • the weight sensor 30 detects the total weight of the shelf 20.
  • the detection value of the weight sensor 30 is output to the article information estimation device 10 together with the weight sensor identification information assigned to the weight sensor 30. Then, by using this weight sensor identification information, the article information estimation device 10 can estimate the type of the article 200 taken out.
  • the article information estimation device 10 includes an acquisition unit 110 and an output unit 120.
  • the acquisition unit 110 acquires data based on the change in the detected value of the weight sensor 30 (hereinafter referred to as weight change data). For example, the acquisition unit 110 generates weight change data by arranging the data acquired from the weight sensor 30 in chronological order.
  • a data processing device that generates weight change data using the data generated by the weight sensor 30 may be provided outside the article information estimation device 10. In this case, the acquisition unit 110 acquires the weight change data from this data processing device.
  • the acquisition unit 110 acquires data indicating the movement of the hand of a person located in the space in front of the shelf (hereinafter referred to as operation data).
  • the acquisition unit 110 generates operation data by, for example, arranging the data output from the depth sensor 40 to the article information estimation device 10 in chronological order.
  • the output unit 120 uses the weight change data and the operation data to output the article identification information of the article presumed to have been taken out by a person located in the space in front of the shelf.
  • the article information estimation device 10 has a shelving allocation information storage unit 130.
  • the shelving allocation information storage unit 130 stores, for each of the shelves 20, article specifying information that specifies an article placed on the shelf 20.
  • the output unit 120 identifies the shelf 20 on which the taken-out product is placed, reads the article identification information corresponding to the identified shelf 20 from the shelf allocation information storage unit 130, and outputs the read article identification information.
  • the item identification information is, for example, an ID (which may be code information) assigned to the item, or an item name (for example, a product name) of the item.
  • FIG. 2 is a diagram showing an example of data stored in the shelf allocation information storage unit 130.
  • the shelving allocation information storage unit 130 stores, for each piece of information (hereinafter, referred to as shelf position information) indicating the position of the shelf 20, the weight sensor identification information of the weight sensor 30 attached to the shelf 20 and the position thereof.
  • the article identification information and the threshold information of the article 200 placed on the article 200 are stored.
  • the shelf position information includes information that identifies the height of the shelf 20 (for example, the height from the floor or the number of steps from the bottom).
  • the threshold information is a value assumed as a decrease in the detected value of the weight sensor 30 when one article 200 is taken out from the shelf, and is, for example, a value of 90% or more and 110% or less of the weight of the article 200. It is set.
  • the threshold indicated by this threshold information is used by the output unit 120, as described later.
  • FIG. 3 is a block diagram illustrating a hardware configuration of the article information estimation device 10 shown in FIG.
  • the article information estimation device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input/output interface 1050, and the network interface 1060 to send and receive data to and from each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like.
  • the memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the storage device 1040 stores a program module that realizes each function of the article information estimation device 10 (for example, the acquisition unit 110 and the output unit 120).
  • the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the input / output interface 1050 is an interface for connecting the article information estimation device 10 and various input / output devices.
  • the network interface 1060 is an interface for connecting the article information estimation device 10 to a network.
  • This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the method for connecting the network interface 1060 to the network may be a wireless connection or a wired connection.
  • the article information estimation device 10 is connected to necessary devices (for example, a sensor group such as the weight sensor 30 and the depth sensor 40) via the input/output interface 1050 or the network interface 1060.
  • necessary devices for example, a sensor group such as the weight sensor 30 and the depth sensor 40
  • FIG. 4 is a flowchart for explaining an operation example of the article information estimation device 10.
  • the weight sensor 30 constantly transmits data and weight sensor identification information to the article information estimation apparatus 10.
  • the depth sensor 40 also continuously transmits data to the article information estimation device 10.
  • the acquisition unit 110 continues to acquire these data, that is, the weight change data and the motion data. Further, the acquisition unit 110 keeps the acquired data stored in the storage as necessary.
  • the output unit 120 analyzes the detection value of the weight sensor 30 acquired by the acquisition unit 110 and identifies the weight sensor identification information of the weight sensor 30 whose detection value (that is, weight) has decreased by a reference value or more (step S102). This reference value is stored in the shelf allocation information storage unit 130, for example, as shown in FIG. Then, the output unit 120 performs the article identification process using the weight sensor identification information identified in step S102 and the detection value of the depth sensor 40 (step S104).
  • FIG. 5 is a flowchart for explaining the details of the processing performed in step S104.
  • the output unit 120 reads out the shelf position information corresponding to the weight sensor identification information specified in step S102 from the shelf allocation information storage unit 130 (step S202).
  • the output unit 120 analyzes the data output by the depth sensor 40 and detects the height of the hand inserted into the shelf 20 (step S204).
  • the output unit 120 determines whether or not the relationship between the hand height detected in step S204 and the shelf position information read in step S202 satisfies the criteria (step S206). For example, the output unit 120 determines that the reference is satisfied when the height of the hand detected in step S204 is between the height indicated by the shelf position information and the height of the shelf 20 above it.
  • the standard may be stored in the shelving allocation information storage unit 130 for each shelf 20. In this case, the output unit 120 reads out and uses the reference associated with the shelf position information specified in step S102. Further, the shelf allocation information storage unit 130 may store a range that can be taken by the height of the hand inserted into the shelf 20 instead of the shelf position information. In this case, the output unit 120 determines whether or not the height acquired by the depth sensor 40 is within this range.
  • the output unit 120 stores the article identification information corresponding to the weight sensor identification information identified in step S102 in the shelving allocation information storage unit 130.
  • the article 200 taken out by a person is estimated by reading from (step S208). Then, the output unit 120 outputs the read item specifying information.
  • the output unit 120 performs alert processing.
  • This alert processing is, for example, causing a terminal of an administrator of the article 200 (for example, a store clerk when the shelf 20 is a store) to display a predetermined screen (step S210).
  • the data generated by the depth sensor 40, the image captured by the first imaging unit 70 and the image captured by the second imaging unit 80 described in the embodiments described later are displayed on the terminal of the administrator. May be sent to.
  • the administrator may estimate the article 200 taken out by checking the image or the like, and transmit the result to the output unit 120 via the terminal.
  • the output unit 120 first detects that the position of the hand has reached a height corresponding to one of the shelves 20, and then when the weight change of the shelf 20 satisfies the standard. Then, the article specifying information corresponding to the shelf 20 may be read.
  • FIG. 6 is a diagram showing a layout example of the shelf 20 and the weight sensor 30 according to the modification.
  • the shelf 20 is shown as viewed from the front.
  • the shelf 20 has a plurality of partial regions 22 in at least one stage.
  • An article 200 different from the other partial areas 22 is placed on at least one of the plurality of partial areas 22.
  • the weight sensor 30 is provided for each partial region 22.
  • the shelving allocation information storage unit 130 stores the information shown in FIG. 2, that is, the shelving position information, the weight sensor identification information, the article specifying information, and the threshold information for each of the plurality of partial areas 22.
  • the space in front of the shelf is set for each partial area 22, and the depth sensor 40 is also provided for each partial area 22.
  • Each of the plurality of depth sensors 40 stores depth sensor identification information that identifies the depth sensor 40 from the other depth sensors 40. Then, the depth sensor 40 transmits the depth sensor identification information together with the data to the article information estimation device 10.
  • the shelf allocation information storage unit 130 stores the depth sensor identification information of the depth sensor 40 corresponding to the shelf position for each shelf position information.
  • the article information estimation device 10 uses the combination of the weight sensor identification information and the depth sensor identification information stored in the shelving allocation information storage unit 130 to transmit the data transmitted from the depth sensor 40 and the data transmitted from the weight sensor 30. The combination of data
  • the article information estimation device 10 performs the processing shown in FIGS. 4 and 5 for each combination of the data, that is, in units of 22 subregions. According to this modification, even when a plurality of types of articles 200 are arranged on the shelves 20 having the same height, it is possible to estimate the articles 200 taken out by a person.
  • the article 200 on the shelf 20 is the hand. Judge that it was taken out by. Therefore, the discrimination accuracy of the article 200 taken out from the shelf 20 is improved.
  • FIG. 7 is a diagram showing the functional configuration of the article information estimation device 10 according to the present embodiment together with the usage environment of the article information estimation device 10, and corresponds to FIG. 1 of the first embodiment.
  • the article information estimation device 10 according to the present embodiment has the same configuration as the article information estimation device 10 according to the first embodiment except for the following points.
  • the article information estimation device 10 acquires the person identification information of a person existing in the space in front of the shelf 20 from the person tracking device 50.
  • the person tracking device 50 generates, for example, flow line information indicating the flow line of each person by analyzing images sent from a plurality of image pickup units whose image pickup ranges are different from each other. Then, the person tracking device 50 stores the flow line information in association with the person identification information.
  • the person identification information is, for example, a feature amount obtained from an image of a person. Further, when the shelf 20 is installed in the store, the person identification information may be a customer ID such as a membership number. Then, when a person stays in the space in front of the shelf 20 for a certain period of time, the person tracking device 50 outputs the person identification information of the person to the article information estimation device 10.
  • the article information estimation device 10 has a storage processing unit 140.
  • the storage processing unit 140 stores the article identification information acquired by the output unit 120 in step S208 of FIG. 5 in the registered article storage unit 60 in association with the person identification information acquired from the person tracking device 50.
  • the article information estimation device 10 and the registered article storage unit 60 can be used as a product registration device or a store server of a POS (Point of sale system). Then, the POS settlement device performs payment processing using the information stored in the registered article storage unit 60.
  • POS Point of sale system
  • the person tracking device 50 stores the feature amount of the face of the customer who entered the store.
  • the person tracking device 50 acquires, for example, an image from an imaging device including the entrance of a store in the imaging range and processes the image to acquire and store the feature amount of the customer's face.
  • the person tracking device 50 uses this feature amount to generate customer flow line information.
  • the flow line information is associated with the feature amount or the customer ID associated with the feature amount.
  • the storage processing unit 140 of the article information estimation device 10 associates the product identification information of the product taken out by the customer with the registered product storage unit 60 in association with the customer's feature amount (or the customer ID associated with this feature amount). To memorize. Since this process is repeated until the customer performs the payment process, when the customer takes out a plurality of products, the registered product storage unit 60 stores the product identification information of the plurality of products in the feature amount of the customer (or Store it by associating it with the customer ID) associated with the feature amount.
  • the customer can read the information stored in the registered article storage unit 60 using the customer's terminal.
  • the customer's terminal transmits the customer's feature amount (or customer ID) to the storage processing unit 140.
  • the storage processing unit 140 reads out the item specifying information associated with the transmitted characteristic amount (or customer ID) from the registered item storing unit 60, and transmits this item specifying information as a list of products to the customer's terminal.
  • the article-specific information may be converted into a product name using a database.
  • the price of the product may be sent together with the product identification information (or the product name). In the latter case, the total amount of the registered goods may be further transmitted to the customer's terminal.
  • This screen includes, for example, an input button for making a payment.
  • the customer operates the customer's terminal, for example, to transmit information indicating that the product is to be settled to the settlement device together with the customer's feature amount (or customer ID).
  • the settlement device reads the article identification information corresponding to the received feature amount (or customer ID) from the registered article storage unit 60, and performs the settlement process using the read information.
  • the checkout device then generates an electronic receipt and sends it to the customer's terminal.
  • the settlement device may be incorporated in the article information estimation device 10.
  • the information indicating that the product is to be settled may be input from the terminal installed in the store.
  • the terminal may capture the face of the customer to generate a characteristic amount and transmit the characteristic amount to the settlement device.
  • the shelf 20 When the shelf 20 is installed in a distribution center or a pharmacy, the person who took out the article 200 can be confirmed by using the information stored in the registered article storage unit 60.
  • the registered article storage unit 60 is outside the article information estimation apparatus 10 in the example shown in FIG. 7, the registered article storage unit 60 may be a part of the article information estimation apparatus 10. Further, the person identification information may be input by a person using, for example, an input device (for example, a card reader) attached to the shelf 20.
  • an input device for example, a card reader
  • the present embodiment also improves the discrimination accuracy of the article 200 taken out from the shelf 20. Further, the registered article storage unit 60 stores the article identification information of the article 200 taken out by a person in association with the person identification information of the person. Therefore, it is possible to confirm who took out which article 200.
  • FIG. 8 is a plan view for explaining the layout of the weight sensor 30 according to this embodiment.
  • a plurality of weight sensors 30 are provided separately from each other on one shelf 20 or partial area 22 (hereinafter, referred to as shelf 20).
  • the shelf 20 has a rectangular shape, and the weight sensors 30 are provided at the four corners of the shelf 20, respectively.
  • the weight change data used by the output unit 120 is based on changes in the detection values of the plurality of weight sensors 30.
  • the weight change data indicates the time transition of the detection values of the plurality of weight sensors 30.
  • the output unit 120 of the article information estimation device 10 determines that the article 200 on the shelf 20 has been taken out when the change of the detected values of the plurality of weight sensors 30 satisfies the standard.
  • the output unit 120 determines that the article 200 is taken out when the total value of the reduction amounts of the detection values of the plurality of weight sensors 30 satisfies the standard.
  • the output unit 120 determines at which position of the shelf 20 the article 200 is taken out by using the amount of decrease in the detected values of the plurality of weight sensors 30.
  • the weight sensor identification information of the plurality of weight sensors 30 provided on the same shelf 20 is associated with each other in the shelving allocation information storage unit 130 and managed as a set of weight sensors 30.
  • the weight sensor identification information of a plurality of weight sensors 30 provided on the same shelf 20 is associated with information for identifying the shelf 20 from other shelves 20, for example, shelf position information. Therefore, the output unit 120 can perform the above-mentioned processing by using the information stored in the shelf allocation information storage unit 130.
  • the article information estimation device 10 first identifies a set of weight sensors 30 whose changes in the detected values satisfy the criteria (step S102 in FIG. 4). Next, the identification process of the article is executed using the detection result of the identified set of the weight sensors 30 (step S104 in FIG. 4 ).
  • FIG. 9 is a flowchart for explaining the details of the article identification process (step S104 in FIG. 4) in this embodiment.
  • the output unit 120 reads out shelf position information corresponding to the weight sensor identification information of the weight sensor 30 specified in step S102 (step S222).
  • the output unit 120 estimates the position of the shelf 20 where the weight change has occurred, that is, the position where the taken-out article 200 has been placed, by using the change of the detected values of the plurality of weight sensors 30. For example, the output unit 120 regards the amount of change of each weight sensor 30 as a weight, and estimates the position serving as the center of gravity of these weights as the above-mentioned position (step S224).
  • the output unit 120 specifies the height of the hand and the direction in which the hand is extended by using the data transmitted from the depth sensor 40. For example, when the depth sensor 40 outputs a depth map in which the height information is two-dimensionally displayed, the output unit 120 uses the depth map to identify the height and direction of the hand (step S226).
  • the output unit 120 determines whether or not the relationship between the hand height and the shelf position information satisfies the standard, and the relationship between the hand direction and the position of the article 200 specified in step S224 satisfies the standard.
  • the determination as to whether or not the relationship between the height of the hand and the shelf position information satisfies the criteria is the same as the determination described in step S206 of FIG.
  • the relationship between the direction of the hand and the position of the article 200 for example, when the direction of the hand overlaps the position of the article 200 or when the shortest distance is equal to or less than the reference value, it is determined that the criterion is satisfied (step S228).
  • step S230 the output unit 120 estimates the article 200 taken out by the person.
  • step S230 is the same as the process performed in step S208 of FIG.
  • step S232 the output unit 120 performs alert processing (step S232).
  • the process performed in step S232 is similar to the process performed in step S210 of FIG.
  • the present embodiment also improves the discrimination accuracy of the article 200 taken out from the shelf 20.
  • the article information estimation device 10 not only has the relationship between the hand height and the shelf position information (that is, the relationship in the height direction) but also the relationship between the hand direction and the position of the article 200 (that is, the relationship in the horizontal plane). It is used when estimating the article 200. Therefore, the discrimination accuracy of the article 200 taken out from the shelf 20 is further improved.
  • FIG. 10 is a diagram showing a functional configuration of the article information estimation device 10 according to the present embodiment together with a usage environment of the article information estimation device 10.
  • the article information estimation apparatus 10 according to the present embodiment repeatedly acquires images from the first imaging unit 70 (hereinafter referred to as the first image), and uses the first images to identify the article 200, except that the article 200 is specified.
  • the article information estimating apparatus 10 according to any one of the first to third embodiments has the same configuration.
  • FIG. 10 shows a case similar to that of the first embodiment.
  • the first imaging unit 70 includes at least a part of the space in front of the shelf, which is a space in front of the shelf 20, in the imaging area. Therefore, the first image generated by the first imaging unit 70 includes at least a part of the space in front of the shelf and includes the article 200 taken out from the shelf 20.
  • the output unit 120 estimates the article 200 taken out from the shelf 20 by a person using the image of the article 200 included in the first image.
  • the shelf allocation information storage unit 130 stores the feature amount on the image of the article 200 together with the article identification information. Then, the output unit 120 estimates the article 200 by using the result of collating this feature amount with the first image.
  • FIG. 11 is a flowchart for explaining the details of step S104 in this embodiment.
  • the processing performed in steps S202, S204, S206, S208, and S210 is as described with reference to FIG.
  • the output unit 120 reads the feature amount of the article 200 together with the article specifying information.
  • the output unit 120 processes the first image within the reference time (for example, within 10 seconds) after the detection value of the weight sensor 30 changes, and extracts the feature amount of the article 200 included in the first image.
  • the extracted feature amount and the feature amount read in step S208 match, for example, when the score is equal to or higher than the reference value (step S209: Yes)
  • the article specifying information read in step S208 is kept as it is. Output.
  • alert processing is performed (step S210).
  • step S209 is performed after step S230 in FIG.
  • the estimation accuracy of the article 200 taken out by the person from the shelf 20 is improved.
  • the first image includes the article 200 taken out by the person.
  • the output unit 120 of the article information estimation device 10 further verifies the article 200 estimated by the detected values of the depth sensor 40 and the weight sensor 30 by using the first image. Therefore, the estimation accuracy of the article 200 is further improved.
  • FIG. 12 is a diagram showing a functional configuration of the article information estimation device 10 according to the present embodiment together with a usage environment of the article information estimation device 10.
  • the article information estimation device 10 according to the present embodiment repeatedly acquires an image (hereinafter referred to as a second image) from the second image capturing unit 80, except that the article 200 is identified using the plurality of second images.
  • the article information estimating apparatus 10 according to any one of the first to fourth embodiments has the same configuration.
  • FIG. 12 shows a case similar to the fourth embodiment.
  • the second imaging unit 80 images the shelf 20 from the front (for example, diagonally above the front). Therefore, the second image includes the article 200 placed on the shelf 20. Further, when the second image capturing unit 80 captures an image obliquely above the shelf 20 from the front, the article 200 located at the back of the shelf 20 can be captured. Then, the output unit 120 of the article information estimating apparatus 10 estimates the article 200 taken out by the person from the shelf 20 by further using the change in the second image. Specifically, the output unit 120 does not detect the second image before the depth sensor 40 detects the human hand (that is, before the person comes to the space in front of the shelf) and the depth sensor 40 does not detect the human hand. The article 200 is estimated using the difference between the second images from (that is, after a person leaves the front shelf space).
  • FIG. 13 is a flowchart for explaining an operation example of the article information estimation device 10 according to this embodiment. The processing performed in steps S202, S204, S206, S208, S209, and S210 is as described with reference to FIG.
  • step S209 Yes
  • step S212 the output unit 120 of the article information estimation device 10 matches the feature amount of the article 200 included in the first image with the feature amount of the article read from the shelf allocation information storage unit 130.
  • step S212 the output unit 120 executes the correction (step S214).
  • the output unit 120 may output the second image before the depth sensor 40 detects the hand of the person (that is, before the person comes to the space in front of the shelf) and after the depth sensor 40 stops detecting the hand of the person (that is, the shelf).
  • the output unit 120 may output the second image before the depth sensor 40 detects the hand of the person (that is, before the person comes to the space in front of the shelf) and after the depth sensor 40 stops detecting the hand of the person (that is, the shelf).
  • the output unit 120 does not output the article identification information.
  • the article specific information of the article 200 is not stored in the registered article storage unit 60 (step S214).
  • the output unit 120 stores in advance a combination of the detection result of the weight sensor 30, the detection result of the depth sensor 40, and the processing result of the second image for each movement pattern of the article 200 by a person. Then, when the result corresponding to this combination is detected, the output unit 120 estimates that a movement pattern corresponding to the combination has occurred.
  • step S212 No
  • the output unit 120 outputs the article specifying information read in step S208.
  • this article identification information is used for the settlement processing of the product in the store, for example, as described in the second embodiment.
  • the estimation accuracy of the article 200 taken out by the person from the shelf 20 is improved. Further, the output unit 120 of the article information estimation device 10 identifies the article 200 moved in the shelf 20. For this reason, when a person moves the article 200 in the shelf 20, it is possible to prevent the person from erroneously recognizing that the article 200 is taken out.
  • Weight change data which is data based on a change in a detection value of a weight sensor provided on a shelf on which a plurality of articles can be placed, and movement of a person's hand located in the front shelf space which is a space in front of the shelf.
  • Operation data indicating, acquisition means for acquiring, and An output unit that outputs, using the weight change data and the operation data, the item identification information of the item estimated to be taken out by the hand,
  • An article estimation device including.
  • the acquisition unit generates the operation data by using a detection value of a depth sensor including the front shelf space in a detection range, When the relationship between the height of the shelf in which the detection value of the weight sensor has changed and the detection value of the depth sensor that can acquire the operation data satisfies a criterion, the output unit is associated with the shelf.
  • An article estimation device that outputs the article identification information. 3.
  • There are multiple shelves with different heights, At least one of the article identification information is associated with each of the plurality of shelves.
  • the weight change data is an article estimation device showing the weight change for each of the plurality of shelves. 4. In the article estimation device according to any one of 1 to 3 above.
  • the output device is an article estimation device that outputs the article specifying information associated with the partial areas in which a change in weight in a plurality of partial areas of the shelf satisfies a reference. 5.
  • the article estimation device further comprising a storage processing unit that stores the article identification information output by the output unit in association with the person identification information that identifies the person in the storage unit. 6.
  • the storage processing means is an article estimation device that acquires the person identifying information from a person tracking device that tracks the movement of the person. 7. In the article estimation device according to any one of 1 to 6 above.
  • the acquisition unit repeatedly acquires a first image that is an image including at least a part of the front shelf space, The output means further estimates the article taken out by the hand by using the image of the article included in the first image.
  • the acquisition means repeatedly acquires a second image, which is an image of the shelf captured from the front.
  • the output unit further uses the change in the second image to specify the item specifying information of the item taken out by the hand.
  • a plurality of weight sensors are provided on the shelf at a distance from each other.
  • the acquisition means is an article estimation device that generates the weight change data using detection values of the plurality of weight sensors. 10.
  • the shelves are installed in stores, The person is a customer, Settlement processing means for performing settlement processing using the article specifying information output by the output means, An electronic receipt output means that outputs an electronic receipt based on the settlement process, An article estimation device including.
  • Computer Weight change data which is data based on a change in a detection value of a weight sensor provided on a shelf on which a plurality of articles can be placed, and movement of a person's hand located in the front shelf space which is a space in front of the shelf. And the operation data indicating An article estimation method for outputting the article identification information of the article estimated to be taken out by the hand using the weight change data and the motion data.
  • the computer is The operation data is generated by using the detection value of the depth sensor including the space in front of the shelf in the detection range.
  • the article specifying information associated with the shelf is displayed.
  • At least one of the article identification information is associated with each of the plurality of shelves.
  • the weight change data is an article estimation method showing a weight change for each of the plurality of shelves. 14.
  • the computer according to claim 1, wherein the computer outputs the product identification information associated with the partial regions in which a change in weight in a plurality of partial regions of the shelf satisfies a criterion.
  • the computer is an article estimating method for storing the output article specifying information in a storage unit in association with the person specifying information for identifying the person. 16.
  • the article estimating method wherein the computer acquires the person identifying information from a person tracking device that tracks the movement of the person. 17.
  • the computer is The first image, which is an image including at least a part of the space in front of the shelf, is repeatedly acquired. Furthermore, the article estimation method of estimating the article taken out by the hand using the image of the article included in the first image. 18. In the article estimation method according to any one of 12 to 16 above, The computer repeatedly acquires a second image that is an image of the shelf taken from the front, and further uses a change in the second image to specify the product identification information of the product taken out by the hand. Method. 19. In the article estimation method according to any one of 11 to 18 above, A plurality of weight sensors are provided on the shelf at a distance from each other.
  • the computer is an article estimating method for generating the weight change data by using detection values of the plurality of weight sensors.
  • the shelves are installed in stores, The person is a customer, The computer according to claim 1, wherein the computer performs a settlement process using the output item specifying information, and outputs an electronic receipt based on the settlement process.
  • Weight change data which is data based on a change in a detection value of a weight sensor provided on a shelf on which a plurality of articles can be placed, and movement of a person's hand located in the front shelf space which is a space in front of the shelf.
  • a function to obtain the operation data A function of using the weight change data and the operation data to output the article identification information of the article estimated to be taken out by the hand; A program to have. 22.
  • Output function A program to have. 23.
  • At least one of the article identification information is associated with each of the plurality of shelves.
  • the weight change data is a program showing the weight change for each of the plurality of shelves. 24.
  • the computer has a function of repeatedly acquiring a second image that is an image of the shelf taken from the front, and further using the change of the second image to specify the item specifying information of the item taken out by the hand.
  • a plurality of weight sensors are provided on the shelf at a distance from each other.
  • the shelves are installed in stores, The person is a customer, A program for causing the computer to have a function of performing a settlement process using the output article specifying information and outputting an electronic receipt based on the settlement process.

Abstract

物品情報推定装置（１０）は、取得部（１１０）及び出力部（１２０）を有している。取得部（１１０）は、重量センサ（３０）の検出値の変化に基づいたデータ（以下、重量変化データと記載）を取得する。例えば取得部（１１０）は、重量センサ（３０）から取得したデータを時系列で整理したデータを、重量変化データとする。また、取得部（１１０）は、棚前空間に位置する人物の手の動きを示すデータ（以下、動作データと記載）を取得する。取得部（１１０）は、例えば、深度センサ（４０）から物品情報推定装置（１０）に出力されるデータを時系列で整理したデータを、動作データとして取得する。出力部（１２０）は、重量変化データ及び動作データを用いて、棚前空間に位置する人の手が取り出したと推定される物品の物品特定情報を出力する。

Description

物品推定装置、物品推定方法、及びプログラム
　本発明は物品推定装置、物品推定方法、及びプログラムに関する。
　近年は店舗や工場などで省力化を行うための技術開発が進められている。例えば特許文献１には、在庫棚から取り出された複数種類の物品を１セットとして箱詰めする作業において、在庫棚に収納されている物品５の総重量を計測し、この計測結果を用いて警告を行うか否かを判定することが記載されている。
　また特許文献２には、物品の取扱いを管理するために、物品のバーコードやＱＲコード（登録商標）を撮影した画像を処理した結果を用いて棚卸データを生成することが記載されている。棚卸データは、物品の取扱い状況を示した情報であり、例えば、撮影された物品の識別情報、当該物品の照合が行われた日時、当該物品が設置された場所、及び当該物品を取扱ったユーザの識別情報等を互いに対応付けた情報である。
特開２０１７－２１８２８９号公報 特開２０１７－２１０３１０号公報
　省力化を進めるためには、棚から取り出した物品を自動で判別できるようにすることが好ましい。本発明は、棚から取り出された物品の判別精度を上げることを目的の一つとする。
　本発明によれば、複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する取得手段と、
　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する出力手段と、
を備える物品推定装置が提供される。
　本発明によればコンピュータが、
　　複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得し、
　　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する、物品推定方法が提供される。
　本発明によれば、コンピュータに、
　　複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する機能と、
　　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する機能と、
を持たせるプログラムが提供される。
　本発明によれば、棚から取り出された物品の判別精度が上がる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態に係る物品情報推定装置の機能構成を、物品情報推定装置の使用環境とともに示す図である。 棚割情報記憶部が記憶しているデータの一例を示す図である。 図１に示す物品情報推定装置のハードウエア構成を例示するブロック図である。 物品情報推定装置の動作例を説明するためのフローチャートである。 ステップＳ１０４で行われる処理の詳細を説明するためのフローチャートである。 変形例に係る棚及び重量センサのレイアウト例を示す図である。 第２実施形態に係る物品情報推定装置の機能構成を、物品情報推定装置の使用環境とともに示す図である。 第３実施形態に係る重量センサのレイアウトを説明するための平面図である。 第３実施形態における物品の特定処理（図４のステップＳ１０４）の詳細を説明するためのフローチャートである。 第４実施形態に係る物品情報推定装置の機能構成を、物品情報推定装置の使用環境とともに示す図である。 第４実施形態におけるステップＳ１０４の詳細を説明するためのフローチャートである。 第５実施形態に係る物品情報推定装置の機能構成を、物品情報推定装置の使用環境とともに示す図である。 第５実施形態に係る物品情報推定装置の動作例を説明するためのフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　［第１実施形態］
　図１は、本実施形態に係る物品情報推定装置１０の機能構成を、物品情報推定装置１０の使用環境とともに示す図である。実施形態に係る物品情報推定装置１０は、人が棚２０から取り出した物品２００を推定する装置であり、重量センサ３０及び深度センサ４０とともに使用される。本図において棚２０は側面から見た状態で示されている。
　棚２０は、複数の物品２００が載置可能である。例えば棚２０が店舗又は物流センタに配置されている場合、棚２０は商品棚であり、物品２００は商品であり、物品２００を取り出す人は顧客又は店員（社員）である。また棚２０が薬局に配置されている場合、物品２００は薬品棚であり、物品２００は薬品であり、物品２００を取り出す人は薬剤師である。
　本実施形態において、物品２００は、複数段の棚２０のそれぞれに配置されている。複数段の棚２０には、複数種類の物品２００が載置される。そして、物品２００毎に、その物品２００が載置される棚２０が予め定められている。このため、物品２００が取り出された棚２０が分かると、その物品２００の種類を推定することができる。ただし、棚２０は一段であってもよい。
　深度センサ４０は、棚２０の前の空間（以下、棚前空間と記載）を検出範囲に含んでおり、棚前空間に位置する人物の手の動きを示すデータを生成する。例えば深度センサ４０は、棚前空間の上方に配置されているが、棚前空間の双方に配置されていてもよいし、棚前空間の下方に配置されていてもよい。そして、深度センサ４０は、手のｘｙ面（すなわち水平面）内における位置、及び手のｚ方向（すなわち高さ方向）の位置を示すデータを生成し、このデータを物品情報推定装置１０に出力する。このため、人が手を棚２０に入れた場合、物品情報推定装置１０は、深度センサ４０が生成したデータを用いることにより、はその棚２０を特定することができる。深度センサ４０は例えばステレオカメラを用いたものであってもよいし、ＬｉＤＡＲ（Light Detection and Ranging）を用いたものであってもよい。また、物品情報推定装置１０が、深度センサ４０からの出力データを処理することにより、手の位置を示すデータを生成してもよい。
　また、棚２０の上に載置されている物品の総重量が基準値以上減ったこと、すなわち棚２０の重さが基準値以上減ったことを検知しても、棚２０から取り出された物品２００を推定することができる。具体的には、重量センサ３０は、棚２０の総重量を検知している。重量センサ３０の検出値は、その重量センサ３０に割り振られた重量センサ識別情報とともに、物品情報推定装置１０に出力される。そしてこの重量センサ識別情報を用いることにより、物品情報推定装置１０は、取り出された物品２００の種類を推定できる。
＜機能構成例＞
　物品情報推定装置１０は、取得部１１０及び出力部１２０を有している。
　取得部１１０は、重量センサ３０の検出値の変化に基づいたデータ（以下、重量変化データと記載）を取得する。例えば取得部１１０は、重量センサ３０から取得したデータを時系列で整理することにより、重量変化データを生成する。ただし、物品情報推定装置１０の外部に、重量センサ３０が生成したデータを用いて重量変化データを生成するデータ処理装置が設けられていてもよい。この場合、取得部１１０は、このデータ処理装置から重量変化データを取得する。
　また、取得部１１０は、棚前空間に位置する人物の手の動きを示すデータ（以下、動作データと記載）を取得する。取得部１１０は、例えば、深度センサ４０から物品情報推定装置１０に出力されるデータを時系列で整理することにより、動作データを生成する。
　出力部１２０は、重量変化データ及び動作データを用いて、棚前空間に位置する人の手が取り出したと推定される物品の物品特定情報を出力する。本実施形態において、物品情報推定装置１０は棚割情報記憶部１３０を有している。棚割情報記憶部１３０は、棚２０毎に、その棚２０に配置されている物品を特定する物品特定情報を記憶している。出力部１２０は、例えば、取り出された商品が載置されていた棚２０を特定し、特定した棚２０に対応する物品特定情報を棚割情報記憶部１３０から読み出し、読み出した物品特定情報を出力する。物品特定情報は、例えばその物品に割り振られたＩＤ（コード情報の場合もある）、又はその物品の品名（例えば商品名）である。
　図２は、棚割情報記憶部１３０が記憶しているデータの一例を示す図である。本実施形態において、棚割情報記憶部１３０は、棚２０の位置を示す情報（以下、棚位置情報と記載）別に、その棚２０に取り付けられている重量センサ３０の重量センサ識別情報、その位置に載置される物品２００の物品特定情報、及び閾値情報を記憶している。棚位置情報は、その棚２０の高さを特定する情報（例えば床からの高さ、又は下からの段数）を含んでいる。閾値情報は、物品２００が一つその棚から取り出されたときの重量センサ３０の検出値の減少量として想定される値であり、例えばその物品２００の重量の９０％以上１１０％以下の値に設定されている。この閾値情報が示す閾値は、後述するように、出力部１２０に用いられる。
　＜ハードウエア構成例＞
　図３は、図１に示す物品情報推定装置１０のハードウエア構成を例示するブロック図である。物品情報推定装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は物品情報推定装置１０の各機能（例えば取得部１１０及び出力部１２０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
　入出力インタフェース１０５０は、物品情報推定装置１０と各種入出力機器とを接続するためのインタフェースである。
　ネットワークインタフェース１０６０は、物品情報推定装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　そして、物品情報推定装置１０は、入出力インタフェース１０５０又はネットワークインタフェース１０６０を介して、必要な機器（例えば重量センサ３０及び深度センサ４０などのセンサ群）に接続する。
＜動作例＞
　図４は、物品情報推定装置１０の動作例を説明するためのフローチャートである。本図に示す例において、重量センサ３０は、常にデータ及び重量センサ識別情報を物品情報推定装置１０に送信し続けている。また深度センサ４０も常にデータを物品情報推定装置１０に送信し続けている。取得部１１０は、これらのデータ、すなわち重量変化データ及び動作データを取得し続ける。また取得部１１０は、取得したデータを必要に応じてストレージに記憶させ続ける。
　出力部１２０は、取得部１１０が取得した重量センサ３０の検出値を分析し、検出値（すなわち重量）が基準値以上減少した重量センサ３０の重量センサ識別情報を特定する（ステップＳ１０２）。この基準値は、例えば図２に示したように棚割情報記憶部１３０に記憶されている。そして出力部１２０は、ステップＳ１０２で特定された重量センサ識別情報、及び深度センサ４０の検出値を用いて、物品の特定処理を行う（ステップＳ１０４）。
　図５は、ステップＳ１０４で行われる処理の詳細を説明するためのフローチャートである。まず出力部１２０は、棚割情報記憶部１３０から、ステップＳ１０２で特定した重量センサ識別情報に対応する棚位置情報を読み出す（ステップＳ２０２）。次いで出力部１２０は、深度センサ４０が出力してきたデータを分析し、棚２０に差し込まれた手の高さを検出する（ステップＳ２０４）。
　次いで出力部１２０は、ステップＳ２０４で検出された手の高さと、ステップＳ２０２で読み出された棚位置情報の関係が基準を満たすか否かを判断する（ステップＳ２０６）。例えば出力部１２０は、ステップＳ２０４で検出された手の高さが、棚位置情報が示す高さとその上の棚２０の高さの間にある場合に、基準を満たすと判断する。なお、この基準は棚２０別に棚割情報記憶部１３０に記憶されていてもよい。この場合、出力部１２０は、ステップＳ１０２で特定された棚位置情報に紐付いた基準を読み出して用いる。また棚割情報記憶部１３０は、棚位置情報の代わりに、その棚２０に差し込まれた手の高さが取り得る範囲を記憶していてもよい。この場合、出力部１２０は、深度センサ４０が取得したての高さが、この範囲内にあるかどうかを判断する。
　手の高さと棚位置情報の関係が基準を満たしていた場合（ステップＳ２０６：Ｙｅｓ）、出力部１２０は、ステップＳ１０２で特定した重量センサ識別情報に対応する物品特定情報を棚割情報記憶部１３０から読み出すことによって、人物によって取り出された物品２００を推定する（ステップＳ２０８）。そして出力部１２０は、読み出した物品特定情報を出力する。
　一方、手の高さと棚位置情報の関係が基準を満たしてなかった場合（ステップＳ２０６：Ｎｏ）、出力部１２０は、アラート処理を行う。このアラート処理は、例えば物品２００の管理者（例えば棚２０が店舗であった場合には店員）の端末に所定の画面を標示させることなどである（ステップＳ２１０）。なお、このアラート処理とともに、又はアラート処理の代わりに、深度センサ４０が生成したデータや、後述する実施形態に記載の第１撮像部７０による画像や第２撮像部８０による画像を管理者の端末に送信してもよい。この場合、管理者が、画像等を確認することで取り出された物品２００を推定し、その結果を端末を介して出力部１２０に送信してもよい。
　なお、本実施形態において、出力部１２０は、まず、手の位置がいずれかの棚２０に対応する高さになったことを検出し、その後、その棚２０の重量変化が基準を満たしたときに、その棚２０に対応する物品特定情報を読み出してもよい。
＜変形例１＞
　図６は、変形例に係る棚２０及び重量センサ３０のレイアウト例を示す図である。本図において棚２０は正面から見た状態で示されている。本図に示す例において、少なくとも一つの段において、棚２０は複数の部分領域２２を有している。複数の部分領域２２の少なくとも一つには、他の部分領域２２とは異なる物品２００が載置されている。重量センサ３０は、部分領域２２別に設けられている。そして棚割情報記憶部１３０は、複数の部分領域２２別に、図２に示した情報、すなわち棚位置情報、重量センサ識別情報、物品特定情報、及び閾値情報を記憶している。
　また、棚前空間は部分領域２２別に設定されており、深度センサ４０も部分領域２２別に設けられている。複数の深度センサ４０のそれぞれは、当該深度センサ４０を他の深度センサ４０から識別する深度センサ識別情報を記憶している。そして深度センサ４０は、この深度センサ識別情報を、データとともに物品情報推定装置１０に送信する。棚割情報記憶部１３０には、棚位置情報毎に、その棚位置に対応する深度センサ４０の深度センサ識別情報が記憶されている。物品情報推定装置１０は、棚割情報記憶部１３０に記憶されている重量センサ識別情報と深度センサ識別情報の組み合わせを用いることにより、深度センサ４０から送信されたデータと、重量センサ３０から送信されたデータの組み合わせを特定する。
　そして物品情報推定装置１０は、このデータの組み合わせ毎、すなわち部分領域２２単位で図４及び図５に示した処理を行う。本変形例によれば、同じ高さの棚２０に複数種類の物品２００が配置されていた場合でも、人物が取り出した物品２００を推定することができる。
　以上、本実施形態によれば、重量変化が検出された棚２０の位置と、深度センサ４０によって特定された手の高さが基準を満たしていたときに、その棚２０の物品２００がその手によって取り出されたと判断する。従って、棚２０から取り出された物品２００の判別精度は向上する。
　［第２実施形態］
＜機能構成例＞
　図７は、本実施形態に係る物品情報推定装置１０の機能構成を、物品情報推定装置１０の使用環境とともに示す図であり、第１実施形態の図１に対応している。本実施形態に係る物品情報推定装置１０は、以下の点を除いて第１実施形態に係る物品情報推定装置１０と同様の構成である。
　まず、物品情報推定装置１０は人物追跡装置５０から、棚２０の前の棚前空間に存在する人の人物識別情報を取得する。
　人物追跡装置５０は、例えば、互いに異なる場所を撮像範囲とする複数の撮像部から送られてきた画像を解析することにより、人物ごとに、その人物の動線を示す動線情報を生成する。そして人物追跡装置５０は、動線情報を、人物識別情報に紐づけて記憶している。人物識別情報は、例えば人物の画像から得られる特徴量である。また、棚２０が店舗に設置されている場合、人物識別情報は会員番号などの顧客ＩＤであってもよい。そして人物追跡装置５０は、ある人物が棚２０の前の棚前空間に一定時間滞在すると、その人物の人物識別情報を物品情報推定装置１０に出力する。
　そして物品情報推定装置１０は、記憶処理部１４０を有している。記憶処理部１４０は、出力部１２０が図５のステップＳ２０８で取得した物品特定情報を、人物追跡装置５０から取得した人物識別情報に紐づけて登録物品記憶部６０に記憶させる。
　例えば棚２０が店舗に設置されている場合、物品情報推定装置１０及び登録物品記憶部６０は、ＰＯＳ（Point of sale system）の商品登録装置や店舗サーバとして用いることができる。そしてＰＯＳの精算装置は、登録物品記憶部６０が記憶している情報を用いて決済処理を行う。
　例えば人物追跡装置５０は、店舗に入った顧客の顔の特徴量を記憶している。この場合、人物追跡装置５０は、例えば店舗の入口を撮像範囲に含む撮像装置から画像を取得し、この画像を処理することにより、顧客の顔の特徴量を取得して記憶する。
　そして上記したように、人物追跡装置５０は、この特徴量を用いて顧客の動線情報を生成する。動線情報は、特徴量又はこの特徴量に紐付いた顧客ＩＤに紐づけられる。また、物品情報推定装置１０の記憶処理部１４０は、顧客の特徴量（又はこの特徴量に紐付いた顧客ＩＤ）に紐づけて、その顧客が取り出した商品の物品特定情報を登録物品記憶部６０に記憶させる。この処理は、顧客が決済処理を行うまで繰り返されるため、顧客が複数の商品を取り出した場合、登録物品記憶部６０は、これら複数の商品の物品特定情報を、その顧客の特徴量（又はこの特徴量に紐付いた顧客ＩＤ）に紐づけて記憶する。
　また、顧客は、顧客の端末を用いて登録物品記憶部６０が記憶している情報を読み出すことができる。例えば顧客の端末は、その顧客の特徴量（又は顧客ＩＤ）を記憶処理部１４０に送信する。記憶処理部１４０は、登録物品記憶部６０から、送信されてきた特徴量（又は顧客ＩＤ）に紐付いた物品特定情報を読み出し、この物品特定情報を商品のリストとして顧客の端末に送信する。この際、物品特定情報はデータベースを用いて商品名に変換されてもよい。また物品特定情報（又は商品名）とともに、その商品の価格が送られてもよい。後者の場合、顧客の端末には、登録されている商品の合計金額がさらに送信されてもよい。
　そして顧客の端末は、送信されてきた商品のリストを表示する。この画面には、例えば決済を行わせるための入力ボタンが含まれる。
　そして、顧客は、例えば顧客の端末を操作することにより、商品の決済を行う旨の情報を、その顧客の特徴量（又は顧客ＩＤ）とともに精算装置に送信する。精算装置は、受信した特徴量（又は顧客ＩＤ）に対応している物品特定情報を登録物品記憶部６０から読み出し、読み出した情報を用いて決済処理を行う。その後、精算装置は電子レシートを生成して顧客の端末に送信する。なお、この精算装置は物品情報推定装置１０に組み込まれていてもよい。
　なお、商品の決済を行う旨の情報は、店舗に設置された端末から入力されてもよい。この場合、この端末は、顧客の顔を撮像して特徴量を生成し、この特徴量を精算装置に送信してもよい。
　また棚２０が物流センタや薬局に設置されている場合、登録物品記憶部６０が記憶している情報を用いることにより、物品２００を取り出した人物を確認できる。
　なお、図７に示す例において登録物品記憶部６０は物品情報推定装置１０の外にあるが、登録物品記憶部６０は物品情報推定装置１０の一部であってもよい。また、人物特定情報は、例えば棚２０に取り付けられた入力装置（例えばカードリーダ）を用いて人が入力してもよい。
　本実施形態によっても、第１実施形態と同様に、棚２０から取り出された物品２００の判別精度は向上する。また、登録物品記憶部６０は、ある人が取り出した物品２００の物品特定情報を、その人の人物識別情報に紐づけて記憶している。従って、誰がどの物品２００を取り出したかを確認できる。
　［第３実施形態］
＜機能構成例＞
　図８は、本実施形態に係る重量センサ３０のレイアウトを説明するための平面図である。本実施形態において、一つの棚２０又は部分領域２２（以下、棚２０と記載）には複数の重量センサ３０が互いに離れて設けられている。本図に示す例において、棚２０は矩形であり、重量センサ３０は棚２０の４つの角のそれぞれに設けられている。
　そして出力部１２０が用いる重量変化データは、これら複数の重量センサ３０の検出値の変化に基づいている。一例として、重量変化データは、複数の重量センサ３０の検出値の時間推移を示している。そして物品情報推定装置１０の出力部１２０は、複数の重量センサ３０の検出値の変化が基準を満たしたときに、その棚２０の上の物品２００が取り出されたと判断する。例えば出力部１２０は、複数の重量センサ３０の検出値の減少量の合計値が基準を満たしたときに、物品２００が取り出されたと判断する。この際、出力部１２０は、複数の重量センサ３０の検出値の減少量を用いて、棚２０のどの位置の物品２００が取り出されたかを判断する。
　なお、同一の棚２０に設けられた複数の重量センサ３０の重量センサ識別情報は、棚割情報記憶部１３０において互いに紐づけられて、一組の重量センサ３０として管理されている。例えば同一の棚２０に設けられた複数の重量センサ３０の重量センサ識別情報は、その棚２０を他の棚２０から識別する情報、例えば棚位置情報に紐づけられている。このため、出力部１２０は、棚割情報記憶部１３０が記憶している情報を用いることにより、上記した処理を行える。
＜動作例＞
　物品情報推定装置１０は、まず、検出値の変化が基準を満たした重量センサ３０の組を特定する（図４のステップＳ１０２）。次いで、特定した重量センサ３０の組の検出結果を用いて、物品の特定処理を実行する（図４のステップＳ１０４）。
　図９は、本実施形態における物品の特定処理（図４のステップＳ１０４）の詳細を説明するためのフローチャートである。まず出力部１２０は、ステップＳ１０２で特定した重量センサ３０の重量センサ識別情報に対応する棚位置情報を読み出す（ステップＳ２２２）。
　次いで、出力部１２０は、複数の重量センサ３０の検出値の変化を用いて、棚２０のうち重量の変化が生じた位置、すなわち取り出された物品２００が配置されていた位置を推定する。例えば出力部１２０は、各重量センサ３０の変化量を重さとみなし、これらの重さの重心となる位置を、上記した位置と推定する（ステップＳ２２４）。
　また出力部１２０は、深度センサ４０から送信されてきたデータを用いて、手の高さを特定するとともに、手が伸びている方向を特定する。例えば深度センサ４０が、高さ情報を２次元で示した深度マップを出力する場合、出力部１２０は、この深度マップを用いることにより、手の高さ及び方向を特定する（ステップＳ２２６）。
　そして出力部１２０は、手の高さと棚位置情報の関係が基準を満たしており、かつ手の方向とステップＳ２２４で特定した物品２００位置との関係が基準を満たすかどうかを判断する。手の高さと棚位置情報の関係が基準を満たしているか否かの判断は、図５のステップＳ２０６で説明した判断と同様である。手の方向と物品２００の位置との関係については、例えば手の方向が物品２００の位置と重なった場合又はその最短距離が基準値以下の場合、基準を満たすと判断する（ステップＳ２２８）。
　そしてステップＳ２２８においてＹｅｓの場合、出力部１２０は、人物によって取り出された物品２００を推定する（ステップＳ２３０）。ステップＳ２３０で行われる処理は、図５のステップＳ２０８で行われる処理と同様である。一方、ステップＳ２２４においてＮｏの場合、出力部１２０は、アラート処理を行う（ステップＳ２３２）。ステップＳ２３２で行われる処理は、図５のステップＳ２１０で行われる処理と同様である。
　本実施形態によっても、第１実施形態と同様に、棚２０から取り出された物品２００の判別精度は向上する。また、物品情報推定装置１０は、手の高さと棚位置情報の関係（すなわち高さ方向の関係）のみではなく、手の方向と物品２００の位置との関係（すなわち水平面内の関係）も、物品２００を推定する際に用いている。このため、棚２０から取り出された物品２００の判別精度は、さらに向上する。
　［第４実施形態］
＜機能構成例＞
　図１０は、本実施形態に係る物品情報推定装置１０の機能構成を、物品情報推定装置１０の使用環境とともに示す図である。本実施形態に係る物品情報推定装置１０は、第１撮像部７０からの画像（以下、第１画像と記載）を繰り返し取得し、これらの第１画像を用いて物品２００を特定する点を除いて、第１～第３実施形態のいずれかに係る物品情報推定装置１０と同様の構成である。図１０は、第１実施形態と同様の場合を示している。
　第１撮像部７０は、棚２０の前の空間である棚前空間の少なくとも一部を撮像領域に含んでいる。このため、第１撮像部７０が生成する第１画像は、棚前空間の少なくとも一部を含んでおり、かつ、棚２０から取り出された物品２００を含んでいる。
　そして出力部１２０は、第１画像に含まれる物品２００の画像を用いて、人が棚２０から取り出した物品２００を推定する。具体的には、棚割情報記憶部１３０は、物品特定情報とともに、その物品２００の画像上の特徴量を記憶している。そして出力部１２０は、この特徴量を第１画像に照合した結果を用いて、物品２００を推定する。
＜動作例＞
　図１０に示した物品情報推定装置１０が行う処理は、第１実施形態において図４を用いて説明した通りである。ただし、ステップＳ１０４に示した処理の詳細は、第１実施形態と異なる。
　図１１は、本実施形態におけるステップＳ１０４の詳細を説明するためのフローチャートである。ステップＳ２０２，Ｓ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０で行われる処理は、図５を用いて説明した通りである。ただし出力部１２０は、ステップＳ２０８において、物品特定情報とともに、その物品２００の特徴量も読み出す。
　そして、出力部１２０は、重量センサ３０の検出値が変化してから基準時間以内（たとえば１０秒以内）の第１画像を処理し、第１画像に含まれる物品２００の特徴量を抽出する。そして抽出した特徴量と、ステップＳ２０８において読み出した特徴量が一致していた場合、例えばスコアが基準値以上であった場合（ステップＳ２０９：Ｙｅｓ）、ステップＳ２０８で読み出された物品特定情報をそのまま出力する。一方、これらの特徴量が互いに一致しなかった場合（ステップＳ２０９：Ｎｏ）、アラート処理を行う（ステップＳ２１０）。
　なお、第３実施形態に示した物品情報推定装置１０に対して上記した処理を適用した場合、ステップＳ２０９に示した処理は、図９のステップＳ２３０の後に行われる。
　本実施形態によれば、第１実施形態と同様に、人が棚２０から取り出した物品２００の推定精度は向上する。また、第１画像には、人が取り出した物品２００が含まれている。そして物品情報推定装置１０の出力部１２０は、深度センサ４０及び重量センサ３０の検出値で推定された物品２００を、さらに第１画像を用いて検証する。従って、さらに物品２００の推定精度は向上する。
　［第５実施形態］
＜機能構成例＞
　図１２は、本実施形態に係る物品情報推定装置１０の機能構成を、物品情報推定装置１０の使用環境とともに示す図である。本実施形態に係る物品情報推定装置１０は、第２撮像部８０からの画像（以下第２画像と記載）を繰り返し取得し、これら複数の第２画像を用いて物品２００を特定する点を除いて、第１～第４実施形態のいずれかに係る物品情報推定装置１０と同様の構成である。図１２は、第４実施形態と同様の場合を示している。
　第２撮像部８０は、棚２０を前方（例えば斜め上の前方）から撮像する。このため、第２画像は、棚２０に載置されている物品２００を含んでいる。また第２撮像部８０が棚２０の斜め上の前方から撮像する場合、棚２０の奥に位置する物品２００も撮像できる。そして物品情報推定装置１０の出力部１２０は、第２画像の変化をさらに用いて人が棚２０から取り出した物品２００を推定する。具体的には、出力部１２０は、深度センサ４０が人の手を検出する前（すなわち棚前空間に人が来る前）の第２画像と、深度センサ４０が人の手を検出しなくなってから（すなわち棚前空間から人が去った後）の第２画像の差分を用いて物品２００を推定する。
＜動作例＞
　図１２に示した物品情報推定装置１０が行う処理は、第１実施形態において図４を用いて説明した通りである。ただし、ステップＳ１０４に示した処理の詳細は、第１実施形態と異なる。
　図１３は、本実施形態に係る物品情報推定装置１０の動作例を説明するためのフローチャートである。ステップＳ２０２，Ｓ２０４，Ｓ２０６，Ｓ２０８，Ｓ２０９，Ｓ２１０で行われる処理は、図１１を用いて説明した通りである。
　そして物品情報推定装置１０の出力部１２０は、第１画像に含まれる物品２００の特徴量と棚割情報記憶部１３０から読み出された物品の特徴量が一致した場合（ステップＳ２０９：Ｙｅｓ）、第２画像を処理し、ステップＳ２０８で読み出した物品特定情報に対し、第２画像に基づいた補正が必要かどうかを判断する（ステップＳ２１２）。補正が必要な場合（ステップＳ２１２：Ｙｅｓ）、出力部１２０は補正を実行する（ステップＳ２１４）。
　例えば出力部１２０は、深度センサ４０が人の手を検出する前（すなわち棚前空間に人が来る前）の第２画像と、深度センサ４０が人の手を検出しなくなってから（すなわち棚前空間から人が去った後）の第２画像の差分を抽出し、この差分に対してマッチング処理を行うことにより、ステップＳ２０８で読み出された物品特定情報に対応する物品２００が、本来あるべき棚２０とは異なる棚２０に移動しているか否かを判断する。この処理において、移動後の物品２００の位置が、例えば物品２００の特徴量を用いたマッチング処理により特定される。そしてこの移動が検知された場合（ステップＳ２１２：Ｙｅｓ）、出力部１２０は、物品特定情報を出力しない。例えば第２実施形態にこの機能を追加した場合、登録物品記憶部６０にはこの物品２００の物品特定情報は記憶されない（ステップＳ２１４）。
　その他、出力部１２０には、人による物品２００の移動パターン毎に、重量センサ３０の検出結果、深度センサ４０の検出結果、及び第２画像の処理結果の組み合わせが予め記憶されている。そして出力部１２０は、この組み合わせに該当する結果が検出された場合、その組み合わせに相当する移動パターンが生じたと推定する。
　一方、補正が不要な場合（ステップＳ２１２：Ｎｏ）、出力部１２０は、ステップＳ２０８で読み出した物品特定情報を出力する。
　そして、この物品特定情報は、例えば第２実施形態で記載したように、店舗における商品の決済処理に用いられる。
　本実施形態によれば、第１実施形態と同様に、人が棚２０から取り出した物品２００の推定精度は向上する。また、物品情報推定装置１０の出力部１２０は、棚２０の中で移動された物品２００を特定する。このため、人が棚２０の中で移動させた物品２００があった場合に、その人がその物品２００を取り出したと誤認識することを抑制できる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
　１．複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する取得手段と、
　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する出力手段と、
を備える物品推定装置。
２．上記１に記載の物品推定装置において、
　前記取得手段は、前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
　前記出力手段は、前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する物品推定装置。
３．上記２に記載の物品推定装置において、
　高さが異なる複数の前記棚があり、
　少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、 
　前記重量変化データは、前記複数の棚別の重量の変動を示している物品推定装置。
４．上記１～３のいずれか一つに記載の物品推定装置において、
　前記出力手段は、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する物品推定装置。
５．上記１～４のいずれか一つに記載の物品推定装置において、
　前記出力手段が出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる記憶処理手段をさらに備える物品推定装置。
６．上記５に記載の物品推定装置において、
　前記記憶処理手段は、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する物品推定装置。
７．上記１～６のいずれか一つに記載の物品推定装置において、
　前記取得手段は、前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得し、
　前記出力手段は、さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する物品推定装置。
８．上記２～６のいずれか一つに記載の物品推定装置において、
　前記取得手段は、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、
　前記出力手段は、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する物品推定装置。
９．上記１～８のいずれか一つに記載の物品推定装置において、
　前記棚には、複数の重量センサが互いに離れて設けられており、
　前記取得手段は、前記複数の重量センサの検出値を用いて前記重量変化データを生成する物品推定装置。
１０．上記１～９のいずれか一つに記載の物品推定装置において、
　前記棚は店舗に設置されており、
　前記人物は顧客であり、
　前記出力手段が出力した前記物品特定情報を用いて精算処理を行う精算処理手段と、
　前記精算処理に基づいた電子レシートを出力する電子レシート出力手段と、
を備える物品推定装置。
１１．コンピュータが、
　　複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得し、
　　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する、物品推定方法。
１２．上記１１に記載の物品推定方法において、
　前記コンピュータは、
　　前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
　　前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する物品推定方法。
１３．上記１２に記載の物品推定方法において、
　高さが異なる複数の前記棚があり、
　少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、 
　前記重量変化データは、前記複数の棚別の重量の変動を示している物品推定方法。
１４．上記１１～１３のいずれか一つに記載の物品推定方法において、
　前記コンピュータは、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する物品推定方法。
１５．上記１１～１４のいずれか一つに記載の物品推定方法において、
　前記コンピュータは、出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる物品推定方法。
１６．上記１５に記載の物品推定方法において、
　前記コンピュータは、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する物品推定方法。
１７．上記１１～１６のいずれか一つに記載の物品推定方法において、
　前記コンピュータは、
　　前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得し、
　　さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する物品推定方法。
１８．上記１２～１６のいずれか一つに記載の物品推定方法において、
　前記コンピュータは、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する物品推定方法。
１９．上記１１～１８のいずれか一つに記載の物品推定方法において、
　前記棚には、複数の重量センサが互いに離れて設けられており、
　前記コンピュータは、前記複数の重量センサの検出値を用いて前記重量変化データを生成する物品推定方法。
２０．上記１１～１９のいずれか一つに記載の物品推定方法において、
　前記棚は店舗に設置されており、
　前記人物は顧客であり、
　前記コンピュータは、出力した前記物品特定情報を用いて精算処理を行い、前記精算処理に基づいた電子レシートを出力する物品推定方法。
２１．コンピュータに、
　　複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する機能と、
　　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する機能と、
を持たせるプログラム。
２２．上記２１に記載のプログラムにおいて、
　前記コンピュータに、
　　前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成する機能と、
　　前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する機能と、
を持たせるプログラム。
２３．上記２２に記載のプログラムにおいて、
　高さが異なる複数の前記棚があり、
　少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、 
　前記重量変化データは、前記複数の棚別の重量の変動を示しているプログラム。
２４．上記２１～２３のいずれか一つに記載のプログラムにおいて、
　前記コンピュータに、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する機能を持たせるプログラム。
２５．上記２１～２４のいずれか一つに記載のプログラムにおいて、
　前記コンピュータに、出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる機能を持たせるプログラム。
２６．上記２５に記載のプログラムにおいて、
　前記コンピュータに、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する機能を持たせるプログラム。
２７．上記２１～２６のいずれか一つに記載のプログラムにおいて、
　前記コンピュータに、
　　前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得する機能と、
　　さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する機能と、
を持たせるプログラム。
２８．上記２２～２６のいずれか一つに記載のプログラムにおいて、
　前記コンピュータに、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する機能を持たせるプログラム。
２９．上記２１～２８のいずれか一つに記載のプログラムにおいて、
　前記棚には、複数の重量センサが互いに離れて設けられており、
　前記コンピュータに、前記複数の重量センサの検出値を用いて前記重量変化データを生成する機能を持たせるプログラム。
３０．上記２１～２９のいずれか一つに記載のプログラムにおいて、
　前記棚は店舗に設置されており、
　前記人物は顧客であり、
　前記コンピュータに、出力した前記物品特定情報を用いて精算処理を行い、前記精算処理に基づいた電子レシートを出力する機能を持たせるプログラム。
　この出願は、２０１９年３月１日に出願された日本出願特願２０１９－０３７８２９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (30)

  1. 　複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する取得手段と、
    　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する出力手段と、
    を備える物品推定装置。
  2. 　請求項１に記載の物品推定装置において、
    　前記取得手段は、前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
    　前記出力手段は、前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する物品推定装置。
  3. 　請求項２に記載の物品推定装置において、
    　高さが異なる複数の前記棚があり、
    　少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、 
    　前記重量変化データは、前記複数の棚別の重量の変動を示している物品推定装置。
  4. 　請求項１～３のいずれか一項に記載の物品推定装置において、
    　前記出力手段は、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する物品推定装置。
  5. 　請求項１～４のいずれか一項に記載の物品推定装置において、
    　前記出力手段が出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる記憶処理手段をさらに備える物品推定装置。
  6. 　請求項５に記載の物品推定装置において、
    　前記記憶処理手段は、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する物品推定装置。
  7. 　請求項１～６のいずれか一項に記載の物品推定装置において、
    　前記取得手段は、前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得し、
    　前記出力手段は、さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する物品推定装置。
  8. 　請求項２～６のいずれか一項に記載の物品推定装置において、
    　前記取得手段は、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、
    　前記出力手段は、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する物品推定装置。
  9. 　請求項１～８のいずれか一項に記載の物品推定装置において、
    　前記棚には、複数の重量センサが互いに離れて設けられており、
    　前記取得手段は、前記複数の重量センサの検出値を用いて前記重量変化データを生成する物品推定装置。
  10. 　請求項１～９のいずれか一項に記載の物品推定装置において、
    　前記棚は店舗に設置されており、
    　前記人物は顧客であり、
    　前記出力手段が出力した前記物品特定情報を用いて精算処理を行う精算処理手段と、
    　前記精算処理に基づいた電子レシートを出力する電子レシート出力手段と、
    を備える物品推定装置。
  11. 　コンピュータが、
    　　複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得し、
    　　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する、物品推定方法。
  12. 　請求項１１に記載の物品推定方法において、
    　前記コンピュータは、
    　　前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
    　　前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する物品推定方法。
  13. 　請求項１２に記載の物品推定方法において、
    　高さが異なる複数の前記棚があり、
    　少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、 
    　前記重量変化データは、前記複数の棚別の重量の変動を示している物品推定方法。
  14. 　請求項１１～１３のいずれか一項に記載の物品推定方法において、
    　前記コンピュータは、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する物品推定方法。
  15. 　請求項１１～１４のいずれか一項に記載の物品推定方法において、
    　前記コンピュータは、出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる物品推定方法。
  16. 　請求項１５に記載の物品推定方法において、
    　前記コンピュータは、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する物品推定方法。
  17. 　請求項１１～１６のいずれか一項に記載の物品推定方法において、
    　前記コンピュータは、
    　　前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得し、
    　　さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する物品推定方法。
  18. 　請求項１２～１６のいずれか一項に記載の物品推定方法において、
    　前記コンピュータは、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する物品推定方法。
  19. 　請求項１１～１８のいずれか一項に記載の物品推定方法において、
    　前記棚には、複数の重量センサが互いに離れて設けられており、
    　前記コンピュータは、前記複数の重量センサの検出値を用いて前記重量変化データを生成する物品推定方法。
  20. 　請求項１１～１９のいずれか一項に記載の物品推定方法において、
    　前記棚は店舗に設置されており、
    　前記人物は顧客であり、
    　前記コンピュータは、出力した前記物品特定情報を用いて精算処理を行い、前記精算処理に基づいた電子レシートを出力する物品推定方法。
  21. 　コンピュータに、
    　　複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する機能と、
    　　前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する機能と、
    を持たせるプログラム。
  22. 　請求項２１に記載のプログラムにおいて、
    　前記コンピュータに、
    　　前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成する機能と、
    　　前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する機能と、
    を持たせるプログラム。
  23. 　請求項２２に記載のプログラムにおいて、
    　高さが異なる複数の前記棚があり、
    　少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、 
    　前記重量変化データは、前記複数の棚別の重量の変動を示しているプログラム。
  24. 　請求項２１～２３のいずれか一項に記載のプログラムにおいて、
    　前記コンピュータに、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する機能を持たせるプログラム。
  25. 　請求項２１～２４のいずれか一項に記載のプログラムにおいて、
    　前記コンピュータに、出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる機能を持たせるプログラム。
  26. 　請求項２５に記載のプログラムにおいて、
    　前記コンピュータに、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する機能を持たせるプログラム。
  27. 　請求項２１～２６のいずれか一項に記載のプログラムにおいて、
    　前記コンピュータに、
    　　前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得する機能と、
    　　さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する機能と、
    を持たせるプログラム。
  28. 　請求項２２～２６のいずれか一項に記載のプログラムにおいて、
    　前記コンピュータに、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する機能を持たせるプログラム。
  29. 　請求項２１～２８のいずれか一項に記載のプログラムにおいて、
    　前記棚には、複数の重量センサが互いに離れて設けられており、
    　前記コンピュータに、前記複数の重量センサの検出値を用いて前記重量変化データを生成する機能を持たせるプログラム。
  30. 　請求項２１～２９のいずれか一項に記載のプログラムにおいて、
    　前記棚は店舗に設置されており、
    　前記人物は顧客であり、
    　前記コンピュータに、出力した前記物品特定情報を用いて精算処理を行い、前記精算処理に基づいた電子レシートを出力する機能を持たせるプログラム。
PCT/JP2020/006860 2019-03-01 2020-02-20 物品推定装置、物品推定方法、及びプログラム WO2020179480A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US17/434,813 US11922391B2 (en) 2019-03-01 2020-02-20 Article deduction apparatus, article deduction method, and program
JP2021503960A JP7435587B2 (ja) 2019-03-01 2020-02-20 物品推定装置、物品推定方法、及びプログラム
US18/231,583 US20230385798A1 (en) 2019-03-01 2023-08-08 Article deduction apparatus, article deduction method, and program
US18/231,605 US20230401552A1 (en) 2019-03-01 2023-08-08 Article deduction apparatus, article deduction method, and program
US18/233,623 US20230385799A1 (en) 2019-03-01 2023-08-14 Article deduction apparatus, article deduction method, and program
JP2024017129A JP2024040297A (ja) 2019-03-01 2024-02-07 物品推定装置、物品推定方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-037829 2019-03-01
JP2019037829 2019-03-01

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US17/434,813 A-371-Of-International US11922391B2 (en) 2019-03-01 2020-02-20 Article deduction apparatus, article deduction method, and program
US18/231,583 Continuation US20230385798A1 (en) 2019-03-01 2023-08-08 Article deduction apparatus, article deduction method, and program
US18/231,605 Continuation US20230401552A1 (en) 2019-03-01 2023-08-08 Article deduction apparatus, article deduction method, and program
US18/233,623 Continuation US20230385799A1 (en) 2019-03-01 2023-08-14 Article deduction apparatus, article deduction method, and program

Publications (1)

Publication Number Publication Date
WO2020179480A1 true WO2020179480A1 (ja) 2020-09-10

Family

ID=72337272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006860 WO2020179480A1 (ja) 2019-03-01 2020-02-20 物品推定装置、物品推定方法、及びプログラム

Country Status (3)

Country Link
US (4) US11922391B2 (ja)
JP (2) JP7435587B2 (ja)
WO (1) WO2020179480A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065282A1 (ja) * 2020-09-28 2022-03-31 日本電気株式会社 情報処理装置、システム、情報処理方法、および記録媒体
WO2022195752A1 (ja) 2021-03-17 2022-09-22 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014194732A (ja) * 2013-03-01 2014-10-09 Toshiba Tec Corp 電子レシート管理サーバ、情報処理装置及びプログラム
US20150039458A1 (en) * 2013-07-24 2015-02-05 Volitional Partners, Inc. Method and system for automated retail checkout using context recognition
JP2018160107A (ja) * 2017-03-23 2018-10-11 日本電気株式会社 決済処理装置、方法およびプログラム
JP2018206372A (ja) * 2018-05-15 2018-12-27 株式会社 ディー・エヌ・エー 商品を管理するためのシステム、方法、及びプログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430798B2 (en) * 2002-10-23 2019-10-01 Matthew Volpi System and method of a media delivery services platform for targeting consumers in real time
US20140179231A1 (en) * 2012-12-26 2014-06-26 Cellco Partnership D/B/A Verizon Wireless Smart vending machine
US20150073925A1 (en) * 2013-05-23 2015-03-12 Gavon Augustus Renfroe System and Method for Integrating Business Operations
US20140379580A1 (en) * 2013-06-25 2014-12-25 Square, Inc. Integrated online and offline purchase authorization
US10176456B2 (en) * 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
JP6217373B2 (ja) * 2013-12-13 2017-10-25 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
JP2015141572A (ja) * 2014-01-29 2015-08-03 富士通株式会社 商品情報提供方法、商品情報提供装置および商品情報提供プログラム
US10726472B2 (en) * 2014-03-31 2020-07-28 Monticello Enterprises LLC System and method for providing simplified in-store, product-based and rental payment processes
US10832310B2 (en) * 2014-03-31 2020-11-10 Monticello Enterprises LLC System and method for providing a search entity-based payment process
US10078003B2 (en) * 2014-06-04 2018-09-18 Nectar, Inc. Sensor device configuration
US10037662B2 (en) * 2014-09-18 2018-07-31 Indyme Solutions, Inc. Merchandise activity sensor system and methods of using same
US10937289B2 (en) * 2014-09-18 2021-03-02 Indyme Solutions, Llc Merchandise activity sensor system and methods of using same
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
US10813477B2 (en) 2016-03-22 2020-10-27 Nec Corporation Image display device, image display system, image display method, and program
US10198710B1 (en) * 2016-03-28 2019-02-05 Amazon Technologies, Inc. System to determine a change in weight at a load cell
CN114040153B (zh) * 2016-05-09 2024-04-12 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统
JP2017210310A (ja) 2016-05-24 2017-11-30 日本電信電話株式会社 物品管理装置、および、物品管理方法
JP2017218289A (ja) 2016-06-08 2017-12-14 株式会社関電工 管理システム
US10339656B1 (en) * 2016-09-29 2019-07-02 Amazon Technologies, Inc. Inferring count of items using image
US10592859B2 (en) * 2016-10-13 2020-03-17 Walmart Apollo, Llc Shelf system and associated methods
US20180139570A1 (en) * 2016-11-14 2018-05-17 Symbol Technologies, Llc Arrangement for, and method of, associating an identifier of a mobile device with a location of the mobile device
US20190149725A1 (en) * 2017-09-06 2019-05-16 Trax Technologies Solutions Pte Ltd. Using augmented reality for image capturing a retail unit
JP7019357B2 (ja) * 2017-09-19 2022-02-15 東芝テック株式会社 棚情報推定装置及び情報処理プログラム
US10963704B2 (en) * 2017-10-16 2021-03-30 Grabango Co. Multiple-factor verification for vision-based systems
US10516982B2 (en) * 2017-10-27 2019-12-24 Hewlett Packard Enterprise Development Lp Match Bluetooth low energy (BLE) moving patterns
US11284041B1 (en) * 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
US11030442B1 (en) * 2017-12-13 2021-06-08 Amazon Technologies, Inc. Associating events with actors based on digital imagery
US10318569B1 (en) * 2017-12-29 2019-06-11 Square, Inc. Smart inventory tags
US10885336B1 (en) * 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
WO2019171574A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
WO2019191146A1 (en) * 2018-03-27 2019-10-03 Flir Systems, Inc. People counting and tracking systems and methods
US10872221B2 (en) * 2018-06-21 2020-12-22 Amazon Technologies, Inc Non-contact biometric identification system
US11017238B2 (en) * 2018-06-25 2021-05-25 Shopify Inc. Capturing transactional context
US11468681B1 (en) * 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11301984B1 (en) * 2018-06-28 2022-04-12 Amazon Technologies, Inc. System to determine user interaction with fixture
US10282852B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system
US11085809B1 (en) * 2018-12-03 2021-08-10 Amazon Technologies, Inc. Multi-channel weight sensing system
JP7391513B2 (ja) * 2019-01-17 2023-12-05 東芝テック株式会社 商品登録装置及び情報処理プログラム
US10805556B1 (en) * 2019-01-22 2020-10-13 Amazon Technologies, Inc. Storage units with shifted-lens cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014194732A (ja) * 2013-03-01 2014-10-09 Toshiba Tec Corp 電子レシート管理サーバ、情報処理装置及びプログラム
US20150039458A1 (en) * 2013-07-24 2015-02-05 Volitional Partners, Inc. Method and system for automated retail checkout using context recognition
JP2018160107A (ja) * 2017-03-23 2018-10-11 日本電気株式会社 決済処理装置、方法およびプログラム
JP2018206372A (ja) * 2018-05-15 2018-12-27 株式会社 ディー・エヌ・エー 商品を管理するためのシステム、方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065282A1 (ja) * 2020-09-28 2022-03-31 日本電気株式会社 情報処理装置、システム、情報処理方法、および記録媒体
WO2022195752A1 (ja) 2021-03-17 2022-09-22 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Also Published As

Publication number Publication date
US11922391B2 (en) 2024-03-05
US20230401552A1 (en) 2023-12-14
US20220101296A1 (en) 2022-03-31
US20230385798A1 (en) 2023-11-30
JP7435587B2 (ja) 2024-02-21
JP2024040297A (ja) 2024-03-25
JPWO2020179480A1 (ja) 2020-09-10
US20230385799A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
US11087300B2 (en) Inventory management computer system
JP5731766B2 (ja) 販売機会損失の分析システム及び分析方法
JP2024040297A (ja) 物品推定装置、物品推定方法、及びプログラム
JP6342039B1 (ja) 商品を管理するためのシステム、方法、及びプログラム
JP7384516B2 (ja) 情報処理装置、商品推薦方法、プログラム、及びシステム
US20170330206A1 (en) Motion line processing system and motion line processing method
WO2019124176A1 (ja) 販売分析装置、販売管理システム、販売分析方法、及びプログラム記録媒体
JP5571633B2 (ja) 健康度報知装置、プログラム及び健康度報知方法
JP2018206372A (ja) 商品を管理するためのシステム、方法、及びプログラム
JP2020017253A (ja) 商品管理システム及び商品管理方法
JP2016185845A (ja) 検品処理装置、検品処理方法及びプログラム
CN112154488B (zh) 信息处理装置、控制方法和程序
JP2016219065A (ja) 滞留分析システム及び方法
JP7130945B2 (ja) 在庫検出プログラム、在庫検出方法及び在庫検出装置
US20230168119A1 (en) Footfall detection method and apparatus
JP7416237B2 (ja) 処理装置、処理方法及びプログラム
JP2015133131A (ja) 販売機会損失分析用データ出力システム及び方法
WO2022269755A1 (ja) 情報処理装置、死に筋商品判定支援方法およびプログラム
WO2023187993A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP6734891B2 (ja) 販売実績の分析システムおよび分析方法
WO2020202318A1 (ja) 販売管理システム、店舗装置、販売管理方法、およびプログラム
WO2019186975A1 (ja) 会計装置、会計システム、商品識別方法、およびプログラム
KR20230046978A (ko) 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치
JP2022069468A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP2019207717A (ja) 販売分析装置、販売管理システム、販売分析方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20765971

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503960

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20765971

Country of ref document: EP

Kind code of ref document: A1