WO2016152838A1 - 商品登録装置、プログラム、及び制御方法 - Google Patents

商品登録装置、プログラム、及び制御方法 Download PDF

Info

Publication number
WO2016152838A1
WO2016152838A1 PCT/JP2016/058943 JP2016058943W WO2016152838A1 WO 2016152838 A1 WO2016152838 A1 WO 2016152838A1 JP 2016058943 W JP2016058943 W JP 2016058943W WO 2016152838 A1 WO2016152838 A1 WO 2016152838A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
unit
target area
recognition
recognized
Prior art date
Application number
PCT/JP2016/058943
Other languages
English (en)
French (fr)
Inventor
和記 土持
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201680017463.6A priority Critical patent/CN107533783A/zh
Priority to US15/559,989 priority patent/US10497222B2/en
Publication of WO2016152838A1 publication Critical patent/WO2016152838A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to a commodity registration apparatus, a program, and a control method.
  • Cash register terminals that customers operate on their own have begun to operate in stores such as supermarkets.
  • the customer registers the product to be purchased by causing the cashier terminal to read a barcode or the like attached to the product to be purchased. After that, the customer purchases the registered product by putting the price displayed on the screen into the cash register terminal.
  • Patent Document 1 As a document disclosing a technique related to such a cash register terminal.
  • Patent Document 1 discloses an invention for confirming that a product has been scanned. Specifically, the invention of Patent Document 1 detects (1) that a product has been taken out from a shopping basket and (2) that a product has been placed in a storage bag. And this invention alert
  • the product is not registered correctly at the cash register terminal that the customer operates by himself. For example, although a customer holds a product over a barcode reader of a cash register terminal, the product may not be registered due to malfunction of the barcode reader or the like. If some products are not registered by mistake when purchasing a plurality of products, the customer may not be aware that some products are not registered. As a result, the customer unintentionally takes out the product illegally, which may lead to troubles between the customer and the store.
  • Patent Document 1 the technique of Patent Document 1 described above is based on the use of a shopping basket and shopping bags. Therefore, the invention of Patent Document 1 cannot be used in a small store where a shopping basket or a storage bag is not prepared. In general, customers often do not use shopping carts or storage bags when the number of products to be purchased is small. In such a case, the invention of Patent Document 1 cannot be used.
  • An object of the present invention is to provide a technology capable of confirming that a product has been recognized in an apparatus for registering a product to be purchased.
  • the product registration apparatus uses a recognition unit that recognizes a product, an imaging unit that captures an image of a customer's motion to generate an image, and an image generated by the imaging unit to recognize the product by the recognition unit.
  • a detecting means for detecting that a product is arranged in a detection target area including a recognition area that is an area to be detected, and when the detection means detects that a product is arranged in the detection target area And a determination means for performing a determination process for determining whether or not the product has been recognized by the recognition means.
  • the program of the present invention causes a computer to operate as the product registration apparatus of the present invention.
  • the control method of the present invention is executed by a computer.
  • the control method includes a recognition step for recognizing a product, an imaging step for capturing an image of a customer's motion and generating an image, and an area in which the product is recognized by the recognition step using the image generated by the imaging step.
  • a determination step for performing a determination process for determining whether or not is recognized by the recognition step.
  • a technology that can confirm that a product has been recognized in an apparatus for registering the product to be purchased is provided.
  • Embodiment 1 It is a block diagram which illustrates the goods registration device concerning Embodiment 1. It is a figure which illustrates a goods registration device concretely. It is the figure which looked at the goods registration device from the front.
  • 3 is a flowchart illustrating a flow of processing executed by the product registration device according to the first embodiment. It is a block diagram which illustrates the hardware constitutions of the computer used for mounting of a goods registration apparatus. It is a block diagram which illustrates the goods registration device concerning Embodiment 2.
  • 10 is a flowchart illustrating a flow of processing executed by the product registration device according to the second embodiment. It is a 1st figure which illustrates a mode that two goods are recognized by the recognition part.
  • 10 is a flowchart illustrating the flow of processing executed by the product registration device according to the third embodiment. 10 is a flowchart illustrating the flow of processing executed by the product registration device according to the fourth embodiment.
  • FIG. 1 is a block diagram illustrating a product registration device 2000 according to the first embodiment.
  • each block represents a functional unit configuration, not a hardware unit configuration.
  • the product registration device 2000 includes a recognition unit 2020, an imaging unit 2040, a detection unit 2060, and a determination unit 2080.
  • the recognition unit 2020 recognizes a product.
  • the imaging unit 2040 captures the customer's action and generates an image.
  • an image generated by the imaging unit 2040 is referred to as a customer image.
  • the detection unit 2060 detects that a product is arranged in the detection target area using the customer image.
  • the detection target area is a space including an area where a product is recognized by the recognition unit 2020 (hereinafter, a recognition area).
  • the determination unit 2080 determines whether the product is recognized by the recognition unit 2020 when it is detected that the product is arranged in the detection target area.
  • FIG. 2 is a diagram specifically illustrating the merchandise registration apparatus 2000.
  • the camera 10 is a camera that is a form of the imaging unit 2040.
  • the housing 20 is a housing of the reader 40.
  • the reader 40 is a barcode reader that is a form of the recognition unit 2020.
  • the reader 40 recognizes the product 50 by reading a barcode attached to the product 50.
  • the product recognized by the reader 40 is registered as a product to be settled.
  • the stand 60 is a stand for placing a product or a product basket.
  • the camera 10 may be housed in the housing 20.
  • FIG. 3 is a view of the product registration device 2000 as seen from the front.
  • the detection target area 70 represents the detection target area described above.
  • the recognition area 80 represents a space in which the reader 40 can recognize a product (can read a barcode).
  • the detection target area 70 includes the recognition area 80.
  • the detection target area 70 includes the entire housing 20 when viewed from the front as shown in FIG.
  • the detecting unit 2060 detects that the product 50 is arranged in the detection target area 70 using the customer image generated by the camera 10. When this detection is performed, the determination unit 2080 determines whether or not the product 50 has been recognized (whether or not the barcode of the product 50 has been read).
  • the method for the recognition unit 2020 to recognize the product is not limited to the method of reading the barcode attached to the product.
  • the merchandise registration apparatus 2000 detects that the merchandise is arranged in the detection target area including the recognition area of the recognition unit 2020. By doing so, it is possible to detect that the product has passed through the recognition area of the recognition unit 2020 and its vicinity.
  • the product registration apparatus 2000 determines whether or not the product has been recognized by the recognition unit 2020 after detecting that the product has been placed in the detection target area.
  • the product is not recognized by the recognition unit 2020, the product is not recognized even though the product passes through the recognition area of the recognition unit 2020 or the vicinity thereof. Therefore, in this case, there is a possibility that the above-described customer operation error or the recognition unit 2020 operation error has occurred.
  • the merchandise registration apparatus 2000 can grasp a situation in which there is a possibility that a customer operation error or an operation error of the recognition unit 2020 has occurred. Therefore, troubles can be prevented from occurring between the customer and the store clerk.
  • the product registration apparatus 2000 of this embodiment since it is determined whether or not the product has been recognized in response to the detection that the product has been placed in the detection target area, the shopping cart or the storage bag is used. Even in such a situation, it is possible to confirm whether or not the product has been recognized by the product registration device 2000.
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the product registration device 2000 according to the first embodiment.
  • the imaging unit 2040 captures the customer's action and generates a customer image (S102).
  • the detection unit 2060 determines whether or not the product is placed in the detection target area using the customer image (S104). When the product is not arranged in the detection target area (S106: NO), the process of FIG. 4 returns to S102. On the other hand, when the product is arranged in the detection target area (S106: YES), the process of FIG. 4 proceeds to S108.
  • the determination unit 2080 determines whether or not the product is recognized by the recognition unit 2020.
  • the product registration device 2000 may be realized only by hardware (for example, a hard-wired electronic circuit) or a combination of hardware and software (for example, a combination of an electronic circuit and a program for controlling the same). ).
  • the product registration device 2000 is implemented using a dedicated terminal such as a cash register terminal, for example.
  • the merchandise registration apparatus 2000 may be implemented using various general-purpose computers such as a PC (Personal Computer) and a server machine, instead of such a dedicated terminal.
  • PC Personal Computer
  • FIG. 5 is a block diagram illustrating a hardware configuration of a computer 1000 used for mounting the product registration apparatus 2000.
  • the computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage 1080, and an input / output interface 1100.
  • the bus 1020 is a data transmission path through which the processor 1040, the memory 1060, the storage 1080, and the input / output interface 1100 transmit / receive data to / from each other.
  • the method of connecting the processors 1040 and the like is not limited to bus connection.
  • the processor 1040 is an arithmetic processing device such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the memory 1060 is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the storage 1080 is a storage device such as a hard disk, SSD (Solid State Drive), or memory card.
  • the storage 1080 may be a memory such as a RAM or a ROM.
  • the input / output interface 1100 is an interface for connecting the computer 1000 and an input / output device.
  • the computer 1000 is connected to the camera 10 and the reader 40 via the input / output interface 1100.
  • the camera 10 is a camera having an image sensor for mounting the imaging unit 2040.
  • the reader 40 is a reader for mounting the recognition unit 2020. However, as will be described later, the recognition unit 2020 may be implemented using a camera.
  • the camera 10 and the reader 40 may be incorporated in the computer 1000.
  • the computer 1000 may be further connected to an input / output device such as a keyboard, a mouse, or a display via the input / output interface 1100.
  • the storage 1080 stores a program for realizing the function of the product registration apparatus 2000. Specifically, the storage 1080 stores program modules that realize the functions of the detection unit 2060 and the determination unit 2080. The storage 1080 may include a program module for controlling the camera 10 and the reader 40. The processor 1040 implements the functions of the functional components by executing the program modules. Here, when executing the above modules, the processor 1040 may execute the modules after reading them onto the memory 1060 or without reading them onto the memory 1060.
  • each program module may be stored in the memory 1060.
  • the computer 1000 may not include the storage 1080.
  • the specific mounting method of the recognition unit 2020 differs depending on the method by which the recognition unit 2020 recognizes a product.
  • the recognition unit 2020 recognizes the product by reading a product information symbol attached to the product.
  • the product information symbol is a symbol that specifies information about the product.
  • the symbol is a bar code, a two-dimensional code (such as a QR code (registered trademark)), or a character string symbol.
  • the character string here includes a numeric string.
  • the product information symbol is a barcode or the like in which information specifying product information (product information ID or the like) is encoded, or a character string symbol representing information specifying product information.
  • the specific mounting method of the recognition unit 2020 that reads the product information symbol differs depending on what is used as the product information symbol.
  • the recognition unit 2020 includes a barcode reader.
  • the recognition unit 2020 includes a two-dimensional code reader.
  • the recognition unit 2020 includes an image sensor that captures the character string, and a processing unit that analyzes the captured character string symbol and determines the ID of the product.
  • various known techniques relating to character string analysis can be used for analyzing character string symbols. A description of these known techniques is omitted.
  • the recognition unit 2020 When a plurality of types of symbols are used as the product information symbol, the recognition unit 2020 includes a reader for reading each of the plurality of types of symbols. For example, when a barcode and a two-dimensional code are used as the product information symbol, the recognition unit 2020 includes a barcode reader and a two-dimensional code reader.
  • the recognition unit 2020 may recognize the product by capturing the product, generating an image of the product, and performing object recognition on the image.
  • the recognition unit 2020 includes an image sensor that captures an image of a product and generates an image.
  • various known techniques relating to object recognition can be used as a method for recognizing a product in an image. Therefore, a specific method for the recognition unit 2020 to recognize the product from the product image is omitted.
  • the imaging unit 2040 includes an imaging device that captures customer actions and generates customer images.
  • the imaging unit 2040 may capture a still image or a moving image.
  • the customer image is each frame constituting the moving image.
  • the timing at which the imaging unit 2040 performs imaging varies.
  • the imaging unit 2040 may perform repeated imaging.
  • the frequency with which the image capturing unit 2040 repeatedly performs image capturing is, for example, 1/30 seconds, which is the same as a general moving image frame rate.
  • the imaging unit 2040 may perform imaging only at the timing when the customer's operation is performed and before and after the timing.
  • an infrared sensor that detects a person is provided in the vicinity of the recognition unit 2020.
  • the imaging unit 2040 can recognize that there is a customer near the recognition unit 2020 by receiving the notification from the infrared sensor. Therefore, for example, the imaging unit 2040 performs imaging from when the infrared sensor detects that there is a customer near the recognition unit 2020 until the customer is not detected by the infrared sensor.
  • the recognition unit 2020 is configured using an image sensor.
  • the two-dimensional code reader described above includes an image sensor that images a two-dimensional code.
  • the recognition part 2020 has an image pick-up element.
  • the resolution of the imaging device of the imaging unit 2040 may be lower than the resolution of the imaging device of the recognition unit 2020. This is to detect whether or not there is a product in the detection target area, compared to the resolution of an image necessary for detecting a product information symbol such as a two-dimensional code or recognizing the product by object recognition. This is because the required image resolution is smaller.
  • the resolution of the imaging device of the imaging unit 2040 may be equal to or higher than the resolution of the imaging device of the recognition unit 2020.
  • the recognition unit 2020 may be provided integrally with the imaging unit 2040.
  • the recognition unit 2020 and the imaging unit 2040 are mounted using a single camera or the like.
  • the recognition unit 2020 and the imaging unit 2040 may be mounted with separate cameras or the like, and these may be housed in the same housing.
  • the detection unit 2060 analyzes the customer image (S104 in FIG. 4). Specifically, the detection unit 2060 performs processing (hereinafter, detection processing) for detecting that the product is arranged in the detection target area by analyzing the customer image.
  • detection processing processing for detecting that the product is arranged in the detection target area by analyzing the customer image.
  • the detection target area is, for example, an imaging range of the imaging unit 2040. In this case, the detection target area is the entire range shown in the customer image. Therefore, when the product is reflected in the customer image, the detection unit 2060 determines that the product is arranged in the detection target area.
  • various known techniques for detecting a predetermined object from an image can be used to determine whether or not a product is shown in the image. A description of these known techniques is omitted.
  • the detection target area may be a part of the imaging range of the imaging unit 2040.
  • the lens that the imaging unit 2040 has for imaging is a lens in which the scenery reflected in the image is distorted as the distance from the center increases, such as a wide-angle lens.
  • the detection target area may be limited to a predetermined range from the center of the customer image.
  • the detection unit 2060 analyzes the portion within the predetermined range in the customer image to determine whether or not the product is reflected within the predetermined range. Then, the imaging unit 2040 determines that the product is arranged in the detection target area when the product is reflected in the predetermined range.
  • the setting related to “what range the detection target area is to be set” may be set in the detection unit 2060 in advance, or stored in a storage unit provided inside or outside the product registration device 2000. Also good. In the latter case, the detection unit 2060 reads the setting from the storage unit.
  • the detection unit 2060 needs to be able to grasp that the products shown in the plurality of customer images are the same product. Otherwise, for example, when the image of the customer recognizing the product in the recognition unit 2020 is imaged twice, the detection unit 2060 performs detection that “the product is arranged in the detection target area” twice. .
  • the detection unit 2060 handles the plurality of customer images as a group of customer images. And the detection part 2060 performs the detection that "the goods were arrange
  • the customer's series of operations is a series of operations such as “close the product to the recognition unit 2020, let the recognition unit 2020 recognize it, and move the product away from the recognition unit 2020”.
  • this operation is an operation of moving the product so that the product crosses the front of the recognition unit 2020.
  • the series of operations of the customer may be an operation of crossing the product in the traveling direction of the customer or an operation of crossing the product in the opposite direction.
  • the detection unit 2060 sets, as a first customer image included in the group of customer images, a customer image in which a certain product appears in the detection target area for the first time among a plurality of customer images captured in time series. Further, the detection unit 2060 is a customer image captured after the first customer image, and the customer image in which the product is finally reflected in the detection target area (the customer image in which the product is not reflected in the detection target area for the first time) Is the second customer image included in the group of customer images. And the detection part 2060 makes the 1st customer image, the 2nd customer image, and the collection of each customer image imaged at the time between these imaging time points into a group of customer images.
  • the timing at which the detection unit 2060 performs the detection process varies. For example, every time a customer image is generated, the detection unit 2060 performs detection processing using the customer image. In this case, all customer images generated by the imaging unit 2040 are used for detection processing.
  • the detection unit 2060 performs the detection process only after the infrared sensor or the like described above detects that the customer is in the vicinity of the product registration device 2000 until the customer is no longer detected by the infrared sensor or the like. You may go. In this case, among the customer images generated by the imaging unit 2040, the customer generated between the time when the customer is detected in the vicinity of the product registration device 2000 and the time when the customer is no longer detected by the infrared sensor or the like. Only the image is used for the detection process.
  • the detection target area needs to be a region including a recognition area (an area where the recognition unit 2020 recognizes a product).
  • the administrator or the like of the product registration device 2000 sets the recognition unit 2020, the imaging unit 2040, or the detection unit 2060 in advance so that this requirement is satisfied, or appropriately selects the hardware that configures these.
  • the administrator or the like appropriately sets the installation direction of the recognition unit 2020 and the imaging unit 2040. Specifically, the administrator or the like appropriately sets the orientation of the reader or the like constituting the recognition unit 2020, the orientation of the camera or the like constituting the imaging unit 2040, or both, so that the recognition area becomes the detection target area. To be included.
  • the administrator or the like implements the recognition unit 2020 and the imaging unit 2040 so that the range in which the reader or the like configuring the recognition unit 2020 reads the product information symbol is narrower than the angle of view of the camera or the like configuring the imaging unit 2040.
  • a reader, a camera, or the like to be used is selected as appropriate.
  • the administrator or the like determines the range of the image to be analyzed by the recognition unit 2020 to recognize the product, the detection target area set in the detection unit 2060, or both. By appropriately setting, the recognition area is included in the detection target area.
  • the determination unit 2080 performs determination based on the recognition result by the recognition unit 2020 and the detection result by the detection unit 2060. For example, the determination unit 2080 performs one of the following determination processes.
  • the determination unit 2080 determines whether or not the product is recognized by the recognition unit 2020 within a predetermined time after it is detected that the product is arranged in the detection target area. When the product is recognized by the recognizing unit 2020 within the predetermined time, the determining unit 2080 indicates that “the product has been recognized by the recognizing unit 2020 after it is detected that the product has been placed in the detection target area”. judge. On the other hand, when the product is not recognized by the recognition unit 2020 within the predetermined time, the determination unit 2080 indicates that “the product is detected by the recognition unit 2020 when it is detected that the product is placed in the detection target area. It was determined that it was not recognized.
  • the predetermined time is, for example, 0.5 seconds.
  • the product arranged in the detection target area is recognized by the recognition unit 2020 immediately thereafter. Therefore, if the product is not recognized even if it is placed in the detection target area even after a predetermined time such as 0.5 msec, the above-mentioned customer operation error or the operation error of the recognition unit 2020 may have occurred. There is sex. Accordingly, the determination unit 2080 determines that “a product has not been recognized” in such a case.
  • the determination unit 2080 recognizes the product in a period after it is detected that the product is arranged in the detection target area and before the product is detected again in the detection target area. It is determined whether or not it has been recognized by the unit 2020. When the product is recognized during the period, the determination unit 2080 determines that “the product is recognized by the recognition unit 2020 when it is detected that the product is arranged in the detection target area”. On the other hand, the determination unit 2080 determines that the product is not recognized by the recognition unit 2020 when it is detected that the product is arranged in the detection target area when the product is not recognized during the period. To do.
  • the customer When purchasing a plurality of products, for example, the customer causes the recognition unit 2020 to recognize each product in turn. Therefore, when a certain product is arranged in the detection target area, after the product is recognized by the recognition unit 2020, the next product is arranged in the detection target area. Therefore, after a product is placed in the detection target area and before the next product is placed in the detection target area, the product is not recognized by the recognition unit 2020. 2020 operation error may have occurred. Therefore, in such a case, the determination unit 2080 determines that “a product has not been recognized”.
  • the determination unit 2080 recognizes that the product has been recognized by the recognition unit 2020.
  • the recognition unit 2020 transmits a signal to the determination unit 2080 when the product is recognized.
  • the determination unit 2080 recognizes that the product has been recognized by receiving this signal.
  • the recognition unit 2020 when the recognition unit 2020 recognizes a product, the recognized information is stored in the storage unit.
  • the determination unit 2080 accesses this storage unit and determines whether or not the product recognized by the recognition unit 2020 by determining whether or not the information recognized by the recognition unit 2020 is stored. .
  • the determination unit 2080 determines whether or not the product is recognized when “the product is arranged in the detection target area”. Therefore, the determination unit 2080 grasps the time when the product is arranged in the detection target area.
  • the time when the product is arranged in the detection target area is represented by, for example, the time when the customer image capturing the product is captured.
  • the determination unit 2080 detects that “a product has been placed in the detection target area” by the determination unit 2080, the determination unit 2080 acquires the customer image capturing time corresponding to the detection, thereby placing the product in the detection target area. Know when.
  • the detection unit 2060 arranges the product in the detection target area with the earliest imaging time point among the imaging time points of the plurality of customer images. Treat as a point in time.
  • FIG. 6 is a block diagram illustrating a product registration device 2000 according to the second embodiment.
  • each block represents a functional unit configuration, not a hardware unit configuration.
  • the product registration device 2000 includes a warning unit 2100.
  • the warning unit 2100 performs warning processing when the determination unit 2080 determines that “a product is not recognized by the recognition unit 2020 when the product is placed in the detection target area” (described later). S202 and S204 in FIG. 7).
  • Warning processing performed by the warning unit 2100 is various.
  • the warning process performed by the warning unit 2100 is an alarm sound output.
  • the merchandise registration apparatus 2000 includes a speaker that outputs an alarm sound.
  • the warning process performed by the warning unit 2100 is lighting a patrol lamp. In this case, the merchandise registration apparatus 2000 has this patrol lamp.
  • the warning process performed by the warning unit 2100 is a process of displaying a pop-up window or the like indicating a warning on a display connected to the product registration apparatus 2000 or a display of a terminal for an administrator (such as a store clerk).
  • the display connected to the merchandise registration apparatus 2000 is a display that presents information such as the payment amount to the customer.
  • the warning unit 2100 may perform a process for preventing the customer from operating the product registration apparatus 2000 as a warning process.
  • this process is a process for preventing the recognition unit 2020 from recognizing the product, or a process for preventing the product registration apparatus 2000 from accepting the input of the price from the customer.
  • FIG. 7 is a flowchart illustrating the flow of processing executed by the product registration apparatus 2000 according to the second embodiment. Note that the process performed by the product registration apparatus 2000 according to the second embodiment and the process performed by the product registration apparatus 2000 according to the first embodiment are common to S102 to S108. Therefore, in FIG. 7, the process before S108 is omitted.
  • the process of FIG. 7 proceeds to S102.
  • the warning unit 2100 performs a warning process (S204).
  • each program module stored in the storage 1080 further includes a program that realizes each function described in the present embodiment.
  • the storage 1080 further stores a program module that implements the warning unit 2100.
  • the processor 1040 implements the function of the warning unit 2100 by executing this program module.
  • a warning is issued in a situation where “the product is not recognized by the recognition unit 2020 when the detection unit 2060 detects that the product is placed in the detection target area”. .
  • a warning is issued when there is a possibility that the above-mentioned customer operation error or the recognition unit 2020 operation error has occurred, so that the store clerk or customer clearly grasps these possibilities. I can. Therefore, the customer can grasp the operation mistake and redo the operation. In addition, it is possible to deal with the store clerk telling the customer that the product is not recognized.
  • the product registration device 2000 according to the third embodiment is represented in FIG. 1 as with the product registration device 2000 according to the first embodiment. Except for the points described below, the product registration device 2000 of the second embodiment has the same configuration as the product registration device 2000 of the first embodiment.
  • FIG. 8 is a first diagram illustrating a state where two products are recognized by the recognition unit 2020. In this case, since the product 50-1 and the product 50-2 pass through the recognition area 80 almost simultaneously, these two products are recognized by the recognition unit 2020 almost simultaneously.
  • FIG. 9 is a diagram illustrating a state where one of the two products does not pass through the recognition area 80. Specifically, the product 50-1 does not pass through the recognition area 80. Therefore, the product 50-1 is not recognized by the recognition unit 2020. In addition, a situation may occur in which some products are not recognized due to an operation error of the recognition unit 2020 or the like.
  • the determination unit 2080 of the third embodiment performs determination in consideration of the number of products arranged in the detection target area 70. Specifically, when detecting that a product is arranged in the detection target area, the detection unit 2060 calculates the number of products (hereinafter, the number of products) arranged in the detection target area (FIG. 11). S302). When the detection unit 2060 detects that the product is arranged in the detection target area, the determination unit 2080 determines whether or not the recognition unit 2020 has recognized the number of products determined by the detection unit 2060. Is determined (S304 in FIG. 11). Hereinafter, a plurality of products arranged simultaneously in the detection target area are described as a product group.
  • the detection unit 2060 calculates the number of products when detecting that a product is arranged in the detection target area (S302 in FIG. 11).
  • the detection unit 2060 determines the number of products.
  • the detection unit 2060 detects an area representing each product included in the product group by performing object recognition on the customer image.
  • the detection part 2060 makes the number of the detected area
  • various known techniques can be used as a method of detecting a predetermined object or calculating the number of objects by performing object recognition processing on the image.
  • the detection unit 2060 can use such various known techniques. Therefore, the process in which the detection unit 2060 determines the number of products is not limited to the exemplified process. In addition, the description regarding a known technique is abbreviate
  • the detection unit 2060 analyzes the customer image and detects that the product group is arranged in the detection target area.
  • FIG. 10 is a second diagram illustrating a state in which the two products 50 are recognized by the recognition unit 2020.
  • two products 50 enter the detection target area 70 at different timings.
  • the situation shown in FIG. 10 may occur when the customer tries to cause the recognition unit 2020 to recognize a product held in the left hand and a product held in the right hand.
  • the detection unit 2060 After detecting that a certain product is placed in the detection target area, the detection unit 2060, when another product is placed in the detection target area while the product is in the detection target area, These multiple products are handled as one product group. Then, the detection unit 2060 detects that “the product is arranged in the detection target area” only once for the one product group.
  • the determination unit 2080 performs determination based on the recognition result by the recognition unit 2020 and the detection result by the detection unit 2060 (S304 in FIG. 11). For example, the determination unit 2080 performs one of the following determinations.
  • the determination unit 2080 determines whether or not the recognition unit 2020 has recognized the number of products within a predetermined time after it is detected that the product has been placed in the detection target area.
  • the determination unit 2080 recognizes that the product of the number of products is recognized by the recognition unit 2020 when it is detected that the product is arranged in the detection target area when the product of the number of products is recognized within the predetermined time. It was determined.
  • the determination unit 2080 determines that “the product is placed in the detection target area.
  • the recognition unit 2020 has determined that no product of the number of products has been recognized.
  • the determination unit 2080 may detect the number of products after detecting that the product is arranged in the detection target area and before detecting that the product is arranged in the detection target area again. It is determined whether or not the product is recognized by the recognition unit 2020. The determination unit 2080 determines that the product of the number of products is recognized by the recognition unit 2020 when it is detected that the product is arranged in the detection target area. Is determined. On the other hand, when the product is not recognized in the period or the number of products recognized in the period is less than the number of products, the determination unit 2080 indicates that “a product has been placed in the detection target area. When it is detected, it is determined that the product of the number of products has not been recognized by the recognition unit 2020.
  • the determination unit 2080 grasps the number of products recognized by the recognition unit 2020. For example, when the determination unit 2080 receives a signal from the recognition unit 2020 that has recognized the product, the determination unit 2080 recognizes that the same number of products as the number of received signals has been recognized. Further, when the recognition unit 2020 stores information on the recognized product in the storage unit, the determination unit 2080 accesses this storage unit and examines the number of information on the product stored in the storage unit, Know the number of recognized products.
  • FIG. 11 is a flowchart illustrating the flow of processing executed by the product registration apparatus 2000 according to the third embodiment.
  • the process performed by the product registration apparatus 2000 according to the third embodiment and the process performed by the product registration apparatus 2000 according to the first embodiment are common to S102 to S106. Therefore, in FIG. 11, the process before S106 is omitted.
  • the detection unit 2060 calculates the number of products for which products are arranged in the detection target area (S302).
  • the determination unit 2080 determines whether or not the product of the number of products has been recognized by the recognition unit 2020 when it is detected that the product is arranged in the detection target area (S304).
  • each program module stored in the storage 1080 further includes a program that realizes each function described in the present embodiment.
  • ⁇ Action and effect> when a plurality of products pass through the recognition area of the recognition unit 2020 or the vicinity thereof at the same time or close timing, the determination is performed in consideration of the number of the products. Therefore, it is possible to grasp the situation that “a part of the products that the customer tried to make the recognizing unit 2020 recognize all together have not been recognized by the recognizing unit 2020”. Therefore, according to the product registration apparatus 2000 of the present embodiment, it is possible to prevent the occurrence of trouble between the customer and the store clerk with higher accuracy than the product registration apparatus 2000 of the first embodiment.
  • the determination unit 2080 determines that “the product of the number of products is not recognized by the recognition unit 2020 when it is detected that the product is arranged in the detection target area”. If this happens, a warning process is performed (S404 in FIG. 12). Regarding other points (contents of warning processing, etc.), the warning unit 2100 of the fourth embodiment is the same as the warning unit 2100 of the second embodiment.
  • the product registration apparatus 2000 of the fourth embodiment is the same as the product registration apparatus 2000 of the third embodiment except that a warning unit 2100 is provided.
  • FIG. 12 is a flowchart illustrating the flow of processing executed by the product registration device 2000 according to the fourth embodiment. Note that the processing performed by the product registration apparatus 2000 according to the fourth embodiment and the processing performed by the product registration apparatus 2000 according to the third embodiment are common to S102 to S108 and S302 to S304. Therefore, in FIG. 12, the process before S304 is omitted.
  • each program module stored in the storage 1080 further includes a program that realizes each function described in the present embodiment.
  • the storage 1080 according to the present embodiment further stores a program module that implements the warning unit 2100, similarly to the storage 1080 according to the second embodiment.
  • the processor 1040 implements the function of the warning unit 2100 by executing this program module.
  • the warning is issued. Processing is performed. By doing so, a warning is given when the operation error described in the third embodiment occurs, so that the store clerk and the customer can clearly grasp the occurrence of this situation. Therefore, the customer can grasp the operation mistake and redo the operation. In addition, it is possible to deal with the store clerk telling the customer that the product is not recognized.
  • a recognition means for recognizing the product Imaging means for capturing an image of a customer's movement and generating an image; Detecting means for detecting that a product is arranged in a detection target area including a recognition area that is an area in which the product is recognized by the recognition means, using an image generated by the imaging means; A determination unit that performs a determination process for determining whether or not the product is recognized by the recognition unit when the detection unit detects that the product is arranged in the detection target area; A commodity registration apparatus having 2. The determination process is a process of determining whether or not the product is recognized by the recognition unit within a predetermined time after the detection unit detects that the product is arranged in the detection target area. 1.
  • the detection means calculates the number of products arranged in the detection target area,
  • the determination process is a process of determining whether or not the number of products of the product has been recognized by the recognition unit when the detection unit detects that the product is arranged in the detection target area.
  • the product registration device described in 1. 6 determines whether or not the number of products of the number of products has been recognized by the recognition unit within a predetermined time after the detection unit detects that a product has been placed in the detection target area. 4. processing to be performed The product registration device described in 1. 7). In the determination process, after the detection unit detects that the product is arranged in the detection target area, the detection unit again determines whether the product is arranged in the detection target area. 4. A process for determining whether or not the number of products has been recognized by the recognition means. The product registration device described in 1. 8). After detecting that the product is arranged in the detection target area by the detection unit, when the number of products is not recognized by the recognition unit, the warning unit performs warning processing. .
  • the product registration device described in 1. 9.
  • the recognizing unit images a product to generate an image,
  • the resolution of the imaging device of the imaging means is lower than the resolution of the imaging device of the recognition means.
  • To 8. The product registration device according to any one of the above. 10.
  • To 9. A program for operating as the product registration apparatus according to any one of the above. 11.
  • a control method executed by a computer A recognition step to recognize the product; An imaging step of capturing an image of a customer's movement and generating an image; A detection step of detecting that the product is arranged in a detection target area including a recognition area that is an area in which the product is recognized by the recognition step, using the image generated by the imaging step; A determination step for performing a determination process for determining whether or not the product is recognized by the recognition step when it is detected by the detection step that the product is arranged in the detection target area; A control method. 12
  • the determination process is a process of determining whether or not a product has been recognized by the recognition step within a predetermined time after it is detected that the product has been arranged in the detection target area by the detection step. 11.
  • the control method described in 1. 16 In the determination process, it is determined whether or not the number of products of the number of products has been recognized by the recognition step within a predetermined time after it is detected that the products are arranged in the detection target area by the detection step. 15. processing to The control method described in 1. 17. In the determination process, after it is detected that the product is arranged in the detection target area by the detection step, before the product is arranged in the detection target area by the detection step again, the product 15. It is a process of determining whether or not the number of products has been recognized by the recognition step. The control method described in 1. 18. After detecting that the product is arranged in the detection target area by the detection step, and having detected the product of the number of products by the recognition step, there is a warning step for performing a warning process. . The control method described in 1. 19. The recognition step captures a product to generate an image, 10. The resolution of the image sensor used in the imaging step is lower than the resolution of the image sensor used in the recognition step. To 18. The control method as described in any one.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

　商品登録装置（２０００）は、認識部（２０２０）、撮像部（２０４０）、検出部（２０６０）、及び判定部（２０８０）を有する。認識部（２０２０）は商品認識する。撮像部（２０４０）は顧客の動作を撮像して顧客画像を生成する。検出部（２０６０）は、顧客画像を用いて、検出対象エリアの中に商品が配置されたことを検出する。検出対象エリアは、認識部（２０２０）によって商品が認識されるエリアを含む空間である。判定部（２０８０）は、検出対象エリアの中に商品が配置されたことが検出された場合に、商品が認識部（２０２０）によって認識されたか否かを判定する。

Description

商品登録装置、プログラム、及び制御方法
　本発明は、商品登録装置、プログラム、及び制御方法に関する。
　スーパーマーケット等の店舗において、顧客が自分で操作するレジ端末が運用され始めている。顧客は、購入する商品に付されているバーコードなどをレジ端末に読み取らせることで、購入する商品の登録を行う。その後、顧客は、画面に表示される代金をレジ端末に投入することで、登録した商品を購入する。
　このようなレジ端末に関連する技術を開示する文献として、特許文献１がある。特許文献１は、商品のスキャンが行われたことを確認する発明を開示している。具体的には特許文献１の発明は、（１）買い物かごから商品が取り出されたこと、及び（２）収納袋に商品が納められたことを検出する。そしてこの発明は、（１）と（２）の間に商品がスキャンされなかった場合に、エラー警告を報知する。
特開２０１１－５４０３８号公報
　顧客が自分で操作するレジ端末において、商品の登録が正しく行われない場合がある。例えば、顧客がレジ端末のバーコードリーダに商品をかざしたものの、バーコードリーダなどの動作不良により、商品の登録が行われないことがある。複数の商品を購入する際に一部の商品が誤って登録されなかった場合、顧客は、一部の商品が登録されていないことに気づかない可能性がある。その結果、顧客が意図せず商品を不正に持ち出すことになってしまい、顧客と店舗との間のトラブルにつながるおそれがある。
　ここで、前述の特許文献１の技術は、買い物かご及びレジ袋の使用を前提としている。そのため、特許文献１の発明は、買い物かごや収納袋が用意されていない小規模な店舗では利用できない。また一般に、顧客は、購入する商品の数が少ない場合、買い物かごや収納袋を利用しないことが多い。このような場合、特許文献１の発明は利用できない。
　本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、購入する商品を登録する装置において、商品が認識されたことを確認できる技術を提供することである。
　本発明の商品登録装置は、商品を認識する認識手段と、顧客の動作を撮像して画像を生成する撮像手段と、前記撮像手段によって生成された画像を用いて、前記認識手段によって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出手段と、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された場合に、商品が前記認識手段によって認識されたか否かを判定する判定処理を行う判定手段と、を有する。
　本発明のプログラムは、コンピュータを、本発明の商品登録装置として動作させる。
　本発明の制御方法は、コンピュータによって実行される。当該制御方法は、商品を認識する認識ステップと、顧客の動作を撮像して画像を生成する撮像ステップと、前記撮像ステップによって生成された画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出ステップと、前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出された場合に、商品が前記認識ステップによって認識されたか否かを判定する判定処理を行う判定ステップと、を有する。
　購入する商品を登録する装置において、商品が認識されたことを確認できる技術が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態１に係る商品登録装置を例示するブロック図である。 商品登録装置を具体的に例示する図である。 商品登録装置を正面から見た図である。 実施形態１の商品登録装置によって実行される処理の流れを例示するフローチャートである。 商品登録装置の実装に用いられる計算機のハードウエア構成を例示するブロック図である。 実施形態２に係る商品登録装置を例示するブロック図である。 実施形態２の商品登録装置によって実行される処理の流れを例示するフローチャートである。 ２つの商品が認識部に認識される様子を例示する第１の図である。 ２つ商品のうち、１つの商品が認識エリア８０を通過しない様子を例示する図である。 ２つの商品が認識部に認識される様子を例示する第２の図である。 実施形態３の商品登録装置によって実行される処理の流れを例示するフローチャートである。 実施形態４の商品登録装置によって実行される処理の流れを例示するフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
［実施形態１］
　図１は、実施形態１に係る商品登録装置２０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
　商品登録装置２０００は、認識部２０２０、撮像部２０４０、検出部２０６０、及び判定部２０８０を有する。認識部２０２０は商品を認識する。撮像部２０４０は顧客の動作を撮像して画像を生成する。以下、撮像部２０４０によって生成される画像を、顧客画像と表記する。検出部２０６０は、顧客画像を用いて、検出対象エリアの中に商品が配置されたことを検出する。検出対象エリアは、認識部２０２０によって商品が認識されるエリア（以下、認識エリア）を含む空間である。判定部２０８０は、検出対象エリアの中に商品が配置されたことが検出された場合に、商品が認識部２０２０によって認識されたか否かを判定する。
　図２は、商品登録装置２０００を具体的に例示する図である。カメラ１０は撮像部２０４０の一形態であるカメラである。筐体２０は、リーダ４０の筐体である。リーダ４０は、認識部２０２０の一形態であるバーコードリーダである。リーダ４０は、商品５０に付されているバーコードを読み取ることで、商品５０を認識する。リーダ４０によって認識された商品は、精算対象の商品として登録される。台６０は、商品や商品かごを置くための台である。なお、カメラ１０は、筐体２０の中に収められていてもよい。
　図３は、商品登録装置２０００を正面から見た図である。検出対象エリア７０は、前述の検出対象エリアを表す。認識エリア８０は、リーダ４０が商品を認識できる（バーコードを読み取ることができる）空間を表す。前述した通り、検出対象エリア７０は認識エリア８０を含む。例えば検出対象エリア７０は、図３のように、正面から見た場合に筐体２０を全て含む。
　検出部２０６０は、カメラ１０によって生成される顧客画像を利用して、商品５０が検出対象エリア７０の中に配置されたことを検出する。判定部２０８０は、この検出が行われた場合に、商品５０が認識されたか否か（商品５０のバーコードが読み取られたか否か）を判定する。
　なお、後述するように、認識部２０２０が商品を認識する方法は、商品に付されたバーコードを読み取る方法に限定されない。
＜作用・効果＞
　顧客の操作ミスなどにより、商品が認識部２０２０の認識エリアの外を通過してしまうと、認識部２０２０によって商品認識されない。また、認識部２０２０の動作エラーなどにより、商品が認識部２０２０に認識されないこともある。これらの場合、顧客は、商品が認識されなかった商品の代金を支払わないこととなってしまい、顧客と店舗との間でトラブルが生じてしまう恐れがある。
　そこで、本実施形態の商品登録装置２０００は、認識部２０２０の認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する。こうすることで、商品が認識部２０２０の認識エリア及びその付近を通過したことを検出することができる。
　さらに、商品登録装置２０００は、検出対象エリアの中に商品が配置されたことを検出した後に、認識部２０２０によって商品が認識されたか否かを判定する。認識部２０２０によって商品が認識されなかった場合、商品が認識部２０２０の認識エリア又はその付近を通過したにも関わらず、商品が認識されていないことになる。そのため、この場合には、前述した顧客の操作ミスや認識部２０２０の動作エラーが起こった可能性がある。
　本実施形態の商品登録装置２０００によれば、このように顧客の操作ミスや認識部２０２０の動作エラーなどが起こった可能性がある状況を把握することができる。そのため、顧客と店員との間でトラブルが生じたりすることを防ぐことができる。
　さらに、本実施形態の商品登録装置２０００によれば、検出対象エリアに商品が配置されたことの検出に応じて、商品が認識されたか否かの判定が行われるため、買い物かごや収納袋が利用されない状況においても、商品が商品登録装置２０００によって認識されたか否かの確認が可能である。
　以下、本実施形態の商品登録装置２０００について、さらに詳細に説明する。
＜処理の流れ＞
　図４は、実施形態１の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。撮像部２０４０は、顧客の動作を撮像して顧客画像を生成する（Ｓ１０２）。検出部２０６０は、顧客画像を用いて、商品が検出対象エリア内に配置されたか否かを判定する（Ｓ１０４）。商品が検出対象エリア内に配置されていない場合（Ｓ１０６：ＮＯ）、図４の処理はＳ１０２に戻る。一方、商品が検出対象エリア内に配置された場合（Ｓ１０６：ＹＥＳ）、図４の処理はＳ１０８に進む。
　Ｓ１０８において、判定部２０８０は、商品が認識部２０２０によって認識されたか否かを判定する。
＜ハードウエア構成例＞
　商品登録装置２０００は、ハードウエア（例：ハードワイヤードされた電子回路など）のみで実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
　商品登録装置２０００は、例えばレジ端末などの専用端末を用いて実装される。ただし商品登録装置２０００は、このような専用端末ではなく、PC（Personal Computer）やサーバマシンなどの種々の汎用計算機を用いて実装されてもよい。
　図５は、商品登録装置２０００の実装に用いられる計算機１０００のハードウエア構成を例示するブロック図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。
　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。計算機１０００は、入出力インタフェース１１００を介して、カメラ１０及びリーダ４０と接続されている。カメラ１０は、撮像部２０４０を実装するための撮像素子を有するカメラである。また、リーダ４０は、認識部２０２０を実装するためのリーダである。ただし、後述するように、認識部２０２０はカメラを用いて実装される場合もある。なお、カメラ１０やリーダ４０は、計算機１０００の内部に組み込まれていてもよい。また、計算機１０００は、入出力インタフェース１１００を介して、キーボード、マウス、又はディスプレイなどの入出力デバイスとさらに接続されていてもよい。
　ストレージ１０８０は、商品登録装置２０００の機能を実現するためのプログラムを記憶している。具体的には、ストレージ１０８０は、検出部２０６０及び判定部２０８０の機能を実現するプログラムモジュールを記憶している。また、ストレージ１０８０は、カメラ１０やリーダ４０を制御するためのプログラムモジュールを含んでいてもよい。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、各機能構成部の機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。
　計算機１０００のハードウエア構成は図５に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。
＜認識部２０２０の詳細＞
　認識部２０２０の具体的な実装方法は、認識部２０２０が商品を認識する方法によって異なる。例えば認識部２０２０は、商品に付された商品情報シンボルを読み取ることで、その商品を認識する。商品情報シンボルは、商品に関する情報を特定するシンボルである。ここで、シンボルとは、バーコード、２次元コード（ＱＲコード（登録商標）など）、又は文字列シンボルなどである。なお、ここでいう文字列には、数値列も含まれる。そして、商品情報シンボルは、商品情報を特定する情報（商品情報のＩＤなど）が符号化されたバーコード等、又は商品情報を特定する情報を表す文字列シンボルなどである。
　商品情報シンボルを読み取る認識部２０２０の具体的な実装方法は、商品情報シンボルとして何を用いるかによって異なる。例えば商品情報シンボルがバーコードである場合、認識部２０２０はバーコードリーダを有する。また例えば、商品情報シンボルが２次元コードである場合、認識部２０２０は、２次元コードリーダを有する。また例えば、商品情報シンボルが文字列シンボルである場合、認識部２０２０は、この文字列を撮像する撮像素子と、撮像された文字列シンボルを解析して商品のＩＤなどを割り出す処理部とを有する。なお、文字列シンボルの解析には、文字列解析に関する様々な既知の技術を用いることができる。これら既知の技術に関する説明は省略する。
　なお、商品情報シンボルとして複数の種類のシンボルが用いられる場合、認識部２０２０は、これら複数の種類のシンボルそれぞれを読み取るためのリーダ等を有する。例えば、商品情報シンボルとしてバーコード及び２次元コードが用いられる場合、認識部２０２０は、バーコードリーダ及び２次元コードリーダを有する。
　認識部２０２０は、商品を撮像して商品の画像を生成し、その画像に対してオブジェクト認識を行うことで、商品を認識してもよい。この場合、認識部２０２０は、商品を撮像して画像を生成する撮像素子を有する。ここで、画像に写っている商品を認識する方法には、オブジェクト認識に関する種々の既知の技術を利用できる。そのため、認識部２０２０が商品の画像から商品を認識する具体的な方法については省略する。
＜撮像部２０４０の詳細＞
　撮像部２０４０は、顧客の動作を撮像して顧客画像を生成する撮像素子を有する。ここで、撮像部２０４０は、静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、顧客画像は動画を構成する各フレームである。
　撮像部２０４０が撮像を行うタイミングは様々である。例えば撮像部２０４０は、繰り返し撮像を行ってもよい。撮像部２０４０が繰り返し撮像を行う頻度は、例えば一般的な動画のフレームレートと同じ 1/30 秒である。
　また例えば撮像部２０４０は、顧客の動作が行われるタイミング及びその前後のみ撮像を行ってもよい。例えば認識部２０２０の付近に人の検出を行う赤外線センサなどを設ける。撮像部２０４０は、この赤外線センサからの通知を受けることで、認識部２０２０の付近に顧客がいることを把握することができる。そこで例えば、撮像部２０４０は、この赤外線センサによって認識部２０２０の付近に顧客がいることが検出された時から、この赤外線センサによって顧客が検出されなくなるまでの間、撮像を行う。
　ここで、認識部２０２０が、撮像素子を用いて構成されているとする。例えば、前述した２次元コードリーダは、２次元コードを撮像する撮像素子を含む。また、認識部２０２０がオブジェクト認識を行う場合も、認識部２０２０は撮像素子を有する。このとき、撮像部２０４０の撮像素子の解像度は、認識部２０２０の撮像素子の解像度よりも低くてよい。これは、２次元コードなどの商品情報シンボルを検出したり、オブジェクト認識によって商品を認識したりするために必要となる画像の解像度に比べ、検出対象エリア内に商品があるか否かの検出に必要となる画像の解像度の方が小さいためである。このように撮像部２０４０の撮像素子の解像度を低くすることで、商品登録装置２０００の製造コストを安くすることができる。ただし、撮像部２０４０の撮像素子の解像度は、認識部２０２０の撮像素子の解像度以上であってもよい。
　また、認識部２０２０が商品を撮像して商品を認識する場合、認識部２０２０は、撮像部２０４０と一体に設けられてもよい。例えばこの場合、認識部２０２０と撮像部２０４０は、１つのカメラなどを用いて実装される。また、認識部２０２０と撮像部２０４０とを別々のカメラなどで実装し、これらを同じ筐体に収めてもよい。
＜検出部２０６０の詳細＞
　検出部２０６０は、顧客画像の解析を行う（図４のＳ１０４）。具体的には、検出部２０６０は、顧客画像を解析することで、商品が検出対象エリア内に配置されたことを検出する処理（以下、検出処理）を行う。
＜＜検出処理の詳細＞＞
　検出対象エリアは、例えば撮像部２０４０の撮像範囲である。この場合、検出対象エリアは、顧客画像に写っている範囲全部となる。そこで検出部２０６０は、顧客画像に商品が写っている場合、商品が検出対象エリア内に配置されたと判断する。なお、画像内に商品が写っているか否かの判断には、画像から所定のオブジェクトを検出する様々な既知の技術を利用できる。これら既知の技術に関する説明は省略する。
　検出対象エリアは、撮像部２０４０の撮像範囲の一部であってもよい。例えば、撮像部２０４０が撮像のために有するレンズが、広角レンズのように、中心から離れるほど画像に映る景色がゆがむレンズであるとする。この場合、中心から大きく離れた範囲に写っている物は大きくゆがむため、その物が商品であるか否かを判別することが難しい。そこでこのような場合などにおいて、検出対象エリアは、顧客画像の中心から所定範囲に限定されてもよい。検出部２０６０は、顧客画像の内、この所定範囲内の部分について解析を行うことで、その所定範囲内に商品が写っているか否かを判別する。そして、撮像部２０４０は、この所定範囲内に商品が写っている場合、商品が検出対象エリア内に配置されたと判断する。
　「検出対象エリアをどのような範囲にするか」に関する設定は、予め検出部２０６０に設定されていてもよいし、商品登録装置２０００の内部又は外部に設けられている記憶部に記憶されていてもよい。後者の場合、検出部２０６０は、この記憶部から上記設定を読み出す。
　撮像部２０４０が繰り返し撮像を行う場合、複数の顧客画像に同じ商品が複数回写ることがある。このよう場合、検出部２０６０は、複数の顧客画像に写った商品が同じ商品であることを把握できる必要がある。さもないと、例えば顧客が認識部２０２０にある商品を認識させる様子が２回撮像された場合に、検出部２０６０は、「検出対象エリアに商品が配置された」という検出を２回行ってしまう。
　そこで検出部２０６０は、ある商品が、顧客の一連の動作に基づいて複数の顧客画像に写っている場合、これら複数の顧客画像を一群の顧客画像として扱う。そして、検出部２０６０は、これら一群の顧客画像について、「検出対象に商品が配置された」という検出を１回だけ行う。
　顧客の一連の動作は、「商品を認識部２０２０に近づけ、認識部２０２０に認識させ、その商品を認識部２０２０から遠ざける」という一連の動作である。例えばこの動作は、商品が認識部２０２０の前を横切るように商品を移動させる動作などである。なお、この顧客の一連の動作は、顧客の進行方向に商品を横切らせる動作であってもよいし、その逆の方向に商品を横切らせる動作であってもよい。
　前述した「一群の顧客画像」について説明する。顧客が商品を認識部２０２０に認識させる際、「ある商品が検出対象エリアに入る」及び「その商品が検出対象エリアから出る」という２つの変化が起こる。そこで、検出部２０６０は、時系列で撮像された複数の顧客画像のうち、ある商品が初めて検出対象エリア内に写っている顧客画像を、一群の顧客画像に含まれる第１顧客画像とする。また、検出部２０６０は、第１顧客画像以降に撮像された顧客画像であり、その商品が最後に検出対象エリアに写っている顧客画像（その商品が初めて検出対象エリア内に写らなくなった顧客画像の１つ前の顧客画像）を、一群の顧客画像に含まれる第２顧客画像とする。そして、検出部２０６０は、第１顧客画像、第２顧客画像、及びこれらの撮像時点の間の時点に撮像された各顧客画像の集合を、一群の顧客画像とする。
　検出部２０６０が検出処理を行うタイミングは様々である。例えば検出部２０６０は、顧客画像が生成される度に、その顧客画像を用いて検出処理を行う。この場合、撮像部２０４０によって生成される全ての顧客画像が、検出処理に用いられる。
　また例えば、検出部２０６０は、前述した赤外線センサ等によって、顧客が商品登録装置２０００の付近にいることが検出されてから、顧客がその赤外線センサ等によって検出されなくなるまでの間のみ、検出処理を行ってもよい。この場合、撮像部２０４０によって生成される顧客画像のうち、顧客が商品登録装置２０００の付近にいることが検出されてから、顧客がその赤外線センサ等によって検出されなくなるまでの間に生成された顧客画像のみが、検出処理に用いられる。
　前述したように、検出対象エリアは、認識エリア（認識部２０２０が商品を認識するエリア）を含む領域である必要がある。商品登録装置２０００の管理者等は、この要件が満たされるように、予め認識部２０２０、撮像部２０４０、又は検出部２０６０の設定を行ったり、これらを構成するハードウエアを適宜選択する。
　例えば、管理者等は、認識部２０２０や撮像部２０４０の設置方向を適切に設定する。具体的には、管理者等は、認識部２０２０を構成するリーダなどの向き、撮像部２０４０を構成するカメラなどの向き、又はこれら双方を適切に設定することで、認識エリアが検出対象エリアに含まれるようにする。
　また例えば管理者等は、認識部２０２０を構成するリーダなどが商品情報シンボルを読み取る範囲が、撮像部２０４０を構成するカメラなどの画角より狭くなるように、認識部２０２０と撮像部２０４０の実装に用いるリーダやカメラなどを適宜選択する。
　また例えば、認識部２０２０が撮像した商品を認識する場合、管理者等は、認識部２０２０が商品を認識するために解析する画像の範囲、検出部２０６０に設定する検出対象エリア、又はこれら双方を適切に設定することで、認識エリアが検出対象エリアに含まれるようにする。
＜判定部２０８０の詳細＞
　判定部２０８０は、認識部２０２０による認識の結果、及び検出部２０６０による検出の結果に基づいて、判定を行う。例えば判定部２０８０は、以下のいずれかの判定処理を行う。
＜＜判定処理１＞＞
　判定部２０８０は、検出対象エリア内に商品が配置されたことが検出されてから所定時間以内に、商品が認識部２０２０に認識されたか否かを判定する。判定部２０８０は、上記所定時間以内に商品が認識部２０２０に認識された場合、「検出対象エリア内に商品が配置されたことが検出された後に、商品が認識部２０２０に認識された」と判定する。一方、判定部２０８０は、上記所定時間以内に商品が認識部２０２０に認識されたなかった場合、「検出対象エリア内に商品が配置されたことが検出された場合に、商品が認識部２０２０に認識されなかった」と判定する。なお、上記所定時間は、例えば 0.5 秒である。
　通常、検出対象エリア内に配置された商品は、その後すぐに認識部２０２０によって認識される。そのため、検出対象エリア内に配置されたにも関わらず、0.5 秒などの所定時間が経過しても商品が認識されない場合、前述した顧客の操作ミスや認識部２０２０の動作エラーなどが起こった可能性がある。そこで判定部２０８０は、このような場合に、「商品が認識されなかった」と判定する。
＜＜判定処理２＞＞
　また例えば、判定部２０８０は、検出対象エリア内に商品が配置されたことが検出された後から、再度検出対象エリア内に商品が配置されたことが検出される前の期間に、商品が認識部２０２０に認識されなかったか否かを判定する。判定部２０８０は、上記期間に商品が認識された場合、「検出対象エリア内に商品が配置されたことが検出された場合に、商品が認識部２０２０に認識された」と判定する。一方、判定部２０８０は、上記期間に商品が認識されなかった場合、「検出対象エリア内に商品が配置されたことが検出された場合に、商品が認識部２０２０に認識されなかった」と判定する。
　商品を複数購入する場合、例えば顧客は、各商品を順に認識部２０２０に認識させる。そのため、ある商品が検出対象エリア内に配置された場合、その商品が認識部２０２０に認識された後に、次の商品が検出対象エリア内に配置される。よって、ある商品が検出対象エリアに配置された後、次の商品が検出対象エリア内に配置される前に、商品が認識部２０２０に認識されなかった場合、前述した顧客の操作ミスや認識部２０２０の動作エラーなどが起こった可能性がある。そこで、判定部２０８０は、このような場合に、「商品が認識されなかった」と判定する。
＜＜その他＞＞
　認識部２０２０によって商品が認識されたことを判定部２０８０が把握する方法は様々である。例えば認識部２０２０は、商品を認識した際、判定部２０８０に対してシグナルを送信する。判定部２０８０は、このシグナルを受け取ることで、商品が認識されたことを把握する。
　また例えば、認識部２０２０が、商品を認識した際に、認識した情報などを記憶部に記憶するとする。この場合、判定部２０８０は、この記憶部にアクセスし、認識部２０２０によって認識された情報が記憶されているか否かを判定することで、認識部２０２０によって商品が認識されたか否かを判定する。
　判定部２０８０は、「検出対象エリアに商品が配置された場合」に、商品が認識されたか否かの判定を行う。そこで、判定部２０８０は、検出対象エリアに商品が配置された時点を把握する。検出対象エリアに商品が配置された時点は、例えばその商品を撮像した顧客画像の撮像時点によって表される。判定部２０８０は、判定部２０８０によって「検出対象エリアに商品が配置された」と検出された際、その検出に対応する顧客画像の撮像時点を取得することで、検出対象エリアに商品が配置された時点を把握する。
　なお、前述したように同じ商品が複数の顧客画像に写っている場合、例えば検出部２０６０は、それら複数の顧客画像の撮像時点の内、最も早い撮像時点を、検出対象エリアに商品が配置された時点として扱う。
［実施形態２］
　図６は、実施形態２に係る商品登録装置２０００を例示するブロック図である。図６において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
　実施形態２の商品登録装置２０００は警告部２１００を有する。警告部２１００は、判定部２０８０によって、「検出対象エリアの中に商品が配置された場合に、商品が認識部２０２０によって認識されなかった」と判定された場合に、警告処理を行う（後述する図７のＳ２０２及びＳ２０４）。
　警告部２１００が行う警告処理は様々である。例えば警告部２１００が行う警告処理は、アラーム音の出力である。この場合、商品登録装置２０００は、アラーム音を出力するスピーカなどを有する。また例えば、警告部２１００が行う警告処理は、パトランプの点灯である。この場合、商品登録装置２０００は、このパトランプを有する。
　また例えば、警告部２１００が行う警告処理は、商品登録装置２０００に接続されているディスプレイや管理者（店員など）用の端末のディスプレイに、警告を表すポップアップウインドウなどを表示する処理である。ここで、商品登録装置２０００に接続されているディスプレイは、精算金額などの情報を顧客に提示するディスプレイである。
　さらに警告部２１００は、警告処理として、顧客が商品登録装置２０００を操作できないようにする処理を行ってもよい。例えばこの処理は、認識部２０２０が商品を認識できないようにする処理や、商品登録装置２０００が顧客から代金の投入を受け付けないようにする処理である。
＜処理の流れ＞
　図７は、実施形態２の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。なお、実施形態２の商品登録装置２０００が行う処理と実施形態１の商品登録装置２０００が行う処理は、Ｓ１０２からＳ１０８が共通している。そのため、図７において、Ｓ１０８より前の処理は省略している。
　検出対象エリア内に商品が配置されたことが検出された場合に、商品が認識されたとき（Ｓ２０２：ＹＥＳ）、図７の処理はＳ１０２に進む。一方、検出対象エリア内に商品が配置されたことが検出された場合に、商品が認識されなかったとき（Ｓ２０２：ＮＯ）、警告部２１００は警告処理を行う（Ｓ２０４）。
＜ハードウエア構成＞
　例えば実施形態２の商品登録装置２０００は、実施形態１の商品登録装置２０００と同様に、図５の計算機１０００を用いて実装される。本実施形態において、ストレージ１０８０に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。また、ストレージ１０８０は、警告部２１００を実現するプログラムモジュールをさらに記憶する。プロセッサ１０４０は、このプログラムモジュールを実行することで、警告部２１００の機能を実現する。
＜作用・効果＞
　本実施形態によれば、「検出部２０６０によって検出対象エリアの中に商品が配置されたことが検出された場合に、商品が認識部２０２０によって認識されなかった」という状況において、警告が行われる。こうすることで、前述した顧客の操作ミスや認識部２０２０の動作エラーなどが起こった可能性がある場合に警告が行われるため、店員や顧客はこれらの可能性があることを明確に把握することできる。よって、顧客が操作ミスを把握して操作をやり直すことができる。また、商品が認識されていないことを店員が顧客に伝えるなどという対処も可能となる。
［実施形態３］
　実施形態３に係る商品登録装置２０００は、実施形態１の商品登録装置２０００と同様に、図１で表される。下記で説明する点を除き、実施形態２の商品登録装置２０００は、実施形態１の商品登録装置２０００と同様の構成を有する。
　複数の商品が、同時又は近いタイミングで、認識部２０２０に認識されることがある。図８は、２つの商品が認識部２０２０に認識される様子を例示する第１の図である。この場合、商品５０－１と商品５０－２がほぼ同時に認識エリア８０を通過するため、これら２つの商品がほぼ同時に認識部２０２０によって認識される。
　ここで、複数の商品を認識部２０２０に認識させる場合、例えば顧客が、「一部の商品が認識部２０２０の認識エリアを通過しないように商品を移動させてしまい、一部の商品が認識部２０２０に認識されない」という操作ミスが生じる可能性がある。図９は、２つ商品のうち、１つの商品が認識エリア８０を通過しない様子を例示する図である。具体的には、商品５０－１は認識エリア８０を通過していない。そのため、商品５０－１は認識部２０２０によって認識されない。また、認識部２０２０の動作エラーなどにより、一部の商品が認識されないという状況も生じうる。
　そこで実施形態３の判定部２０８０は、検出対象エリア７０内に配置された商品の数を考慮して判定を行う。具体的には、検出部２０６０は、検出対象エリア内に商品が配置されたことを検出した際に、検出対象エリアに配置されている商品の数（以下、商品数）を割り出す（図１１のＳ３０２）。そして判定部２０８０は、検出部２０６０によって検出対象エリア内に商品が配置されたことが検出された場合に、検出部２０６０によって割り出された商品数の商品が認識部２０２０によって認識されたか否かを判定する（図１１のＳ３０４）。以下、検出対象エリア内に同時に配置されている複数の商品を、商品群を表記する。
＜商品数を割り出す方法＞
　前述したように、検出部２０６０は、検出対象エリア内に商品が配置されたことを検出した際に、商品数を割り出す（図１１のＳ３０２）。検出部２０６０が商品数を割り出す方法は様々である。例えば検出部２０６０は、顧客画像を対象にオブジェクト認識を行うことで、商品群に含まれる各商品を表す領域を検出する。そして、検出部２０６０は、検出した領域の個数を、商品数とする。ここで、画像に対してオブジェクト認識処理を行うことで、所定のオブジェクトを検出したり、そのオブジェクトの個数を割り出す方法には、既知の様々な技術を利用できる。検出部２０６０は、このような様々な既知の技術を利用できる。そのため、検出部２０６０が商品数を割り出す処理は、例示した処理に限定されにない。なお、既知の技術に関する説明は省略する。
＜商品群の検出方法＞
　検出部２０６０は、実施形態１の検出部２０６０と同様に、顧客画像を解析することで、検出対象エリア内に商品群が配置されたことを検出する。
　ただし、商品群に含まれる各商品は、異なるタイミングで検出対象エリアに入る場合もある。図１０は、２つの商品５０が認識部２０２０に認識される様子を例示する第２の図である。図１０において、２つの商品５０は、異なるタイミングで検出対象エリア７０に入る。例えば図１０のような状況は、顧客が、左手に持った商品と右手に持った商品をそれぞれ認識部２０２０に認識させようとした場合などに起こりうる。
　そこで検出部２０６０は、ある商品が検出対象エリア内に配置されたことを検出した後、その商品が検出対象エリア内にある間に、さらに別の商品が検出対象エリア内に配置された場合、これらの複数の商品を１つの商品群として扱う。そして、検出部２０６０は、この１つの商品群について１回のみ、「商品が検出対象エリア内に配置された」と検出する。
＜判定部２０８０の動作＞
　判定部２０８０は、認識部２０２０による認識の結果、及び検出部２０６０による検出の結果に基づいて、判定を行う（図１１のＳ３０４）。例えば判定部２０８０は、以下のいずれかの判定を行う。
＜＜判定処理１＞＞
　例えば判定部２０８０は、検出対象エリア内に商品が配置されたことが検出されてから所定時間以内に、商品数の商品が認識部２０２０に認識されたか否かを判定する。判定部２０８０は、上記所定時間以内に、商品数の商品が認識された場合、「検出対象エリア内に商品が配置されたことが検出された場合に、商品数の商品が認識部２０２０に認識された」と判定する。一方、判定部２０８０は、上記所定時間以内に商品が認識されなかったか、又は上記所定時間以内に認識された商品の数が商品数未満であった場合に、「検出対象エリア内に商品が配置されたことが検出された場合に、商品数の商品が認識部２０２０に認識されなかった」と判定する。
＜＜判定処理２＞＞
　また例えば、判定部２０８０は、検出対象エリア内に商品が配置されたことが検出された後から、再度検出対象エリア内に商品が配置されたことが検出される前の期間に、商品数の商品が認識部２０２０に認識されたか否かを判定する。判定部２０８０は、上記期間に、商品数の商品が認識された場合、「検出対象エリア内に商品が配置されたことが検出された場合に、商品数の商品が認識部２０２０に認識された」と判定する。一方、判定部２０８０は、上記期間に商品が認識されなかったか、又は上記期間に認識された商品の数が商品数未満であった場合に、「検出対象エリア内に商品が配置されたことが検出された場合に、商品数の商品が認識部２０２０に認識されなかった」と判定する。
＜認識された商品の数を把握する方法＞
　判定部２０８０が、認識部２０２０によって認識された商品の数を把握する方法は様々である。例えば、判定部２０８０が、商品を認識した認識部２０２０からシグナルを受信する場合、判定部２０８０は、受信したシグナルの個数と同じ数の商品が認識されたと把握する。また、認識部２０２０が、認識された商品に関する情報を記憶部に記憶する場合、判定部２０８０は、この記憶部にアクセスし、記憶部に記憶されている商品に関する情報の個数を調べることで、認識された商品の数を把握する。
＜処理の流れ＞
　図１１は、実施形態３の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。実施形態３の商品登録装置２０００が行う処理と実施形態１の商品登録装置２０００が行う処理は、Ｓ１０２からＳ１０６が共通している。そのため、図１１において、Ｓ１０６より前の処理は省略している。
　検出部２０６０は、検出対象エリアの中に商品が配置された商品の商品数を割り出す（Ｓ３０２）。判定部２０８０は、検出対象エリアの中に商品が配置されたことが検出された場合に、商品数の商品が認識部２０２０によって認識されたか否かを判定する（Ｓ３０４）。
＜ハードウエア構成＞
　例えば実施形態３の商品登録装置２０００は、実施形態１の商品登録装置２０００と同様に、図５の計算機１０００を用いて実装される。本実施形態において、ストレージ１０８０に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。
＜作用・効果＞
　本実施形態によれば、同時又は近いタイミングで複数の商品が認識部２０２０の認識エリア又はその付近を通過する場合において、それら商品の個数を考慮した判定が行われる。そのため、「顧客がまとめて認識部２０２０に認識させようとした商品のうち、一部の商品が認識部２０２０に認識されなかった」という状況を把握することができる。よって、本実施形態の商品登録装置２０００によれば、実施形態１の商品登録装置２０００と比較し、顧客と店員との間でトラブルが生じたりすることを、より高い精度で防ぐことができる。
［実施形態４］
　実施形態４の商品登録装置２０００は、実施形態２の商品登録装置２０００と同様に、図６で表される。
　実施形態４の警告部２１００は、判定部２０８０によって、「検出対象エリア内に商品が配置されたことが検出された場合に、商品数の商品が認識部２０２０に認識されなかった」と判定された場合に、警告処理を行う（図１２のＳ４０４）。その他の点（警告処理の内容など）について、実施形態４の警告部２１００は、実施形態２の警告部２１００と同様である。
　また実施形態４の商品登録装置２０００は、警告部２１００を有する点を除き、実施形態３の商品登録装置２０００と同様である。
＜処理の流れ＞
　図１２は、実施形態４の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。なお、実施形態４の商品登録装置２０００が行う処理と実施形態３の商品登録装置２０００が行う処理は、Ｓ１０２からＳ１０８及びＳ３０２からＳ３０４が共通している。そのため、図１２において、Ｓ３０４より前の処理は省略している。
　検出対象エリア内に商品が配置されたことが検出された場合に、商品数の商品が認識されたとき（Ｓ４０２：ＹＥＳ）、図１２の処理はＳ１０２に進む。一方、検出対象エリア内に商品が配置されたことが検出された場合に、商品数の商品が認識されなかったとき（Ｓ４０２：ＮＯ）、警告部２１００は警告処理を行う（Ｓ４０４）。
＜ハードウエア構成＞
　例えば実施形態４の商品登録装置２０００は、実施形態３の商品登録装置２０００と同様に、図５の計算機１０００を用いて実装される。本実施形態において、ストレージ１０８０に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。また、本実施形態のストレージ１０８０は、実施形態２のストレージ１０８０と同様に、警告部２１００を実現するプログラムモジュールをさらに記憶する。プロセッサ１０４０は、このプログラムモジュールを実行することで、警告部２１００の機能を実現する。
＜作用・効果＞
　本実施形態によれば、「検出部２０６０によって検出対象エリアの中に商品が配置されたことが検出された場合に、商品数の商品が認識部２０２０によって認識されなかった」という状況において、警告処理が行われる。こうすることで、実施形態３で説明した操作ミスなどが生じた場合に警告が行われるため、店員や顧客がこの状況の発生を明確に把握することできる。よって、顧客が操作ミスを把握して操作をやり直すことができる。また、商品が認識されていないことを店員が顧客に伝えるなどという対処も可能となる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
　以下、参考形態の例を付記する。
１．　商品を認識する認識手段と、
　顧客の動作を撮像して画像を生成する撮像手段と、
　前記撮像手段によって生成された画像を用いて、前記認識手段によって前記商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出手段と、
　前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された場合に、商品が前記認識手段によって認識されたか否かを判定する判定処理を行う判定手段と、
　を有する商品登録装置。
２．　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出されてから所定時間以内に、前記商品が前記認識手段によって認識されたか否かを判定する処理である、１．に記載の商品登録装置。
３．　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された後、再度前記検出手段によって前記検出対象エリアの中に商品が配置される前に、商品が前記認識手段によって認識されたか否かを判定する処理である、１．に記載の商品登録装置。
４．　前記判定処理により、検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された後に、商品が前記認識手段によって認識されなかったと判定された場合に、警告処理を行う警告手段を有する１．に記載の商品登録装置。
５．　前記検出手段は、前記検出対象エリアの中に配置された商品の数を割り出し、
　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された場合に、前記商品の数の商品が前記認識手段によって認識されたか否かを判定する処理である、１．に記載の商品登録装置。
６．　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出されてから所定時間以内に、前記商品の数の商品が前記認識手段によって認識されたか否かを判定する処理である、５．に記載の商品登録装置。
７．　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された後、再度前記検出手段によって前記検出対象エリアの中に商品が配置される前に、前記商品の数の商品が前記認識手段によって認識されたか否かを判定する処理である、５．に記載の商品登録装置。
８．　前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された後に、前記商品の数の商品が前記認識手段によって認識されなかった場合に、警告処理を行う警告手段を有する５．に記載の商品登録装置。
９．　前記認識手段は、商品を撮像して画像を生成し、
　前記撮像手段の撮像素子の解像度は前記認識手段の撮像素子の解像度よりも低い１．乃至８．いずれか一つに記載の商品登録装置。
１０．　コンピュータを、１．乃至９．いずれか一つに記載の商品登録装置として動作させるプログラム。
１１．　コンピュータによって実行される制御方法であって、
　商品を認識する認識ステップと、
　顧客の動作を撮像して画像を生成する撮像ステップと、
　前記撮像ステップによって生成された画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出ステップと、
　前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出された場合に、商品が前記認識ステップによって認識されたか否かを判定する判定処理を行う判定ステップと、
　を有する制御方法。
１２．　前記判定処理は、前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出されてから所定時間以内に、商品が前記認識ステップによって認識されたか否かを判定する処理である、１１．に記載の制御方法。
１３．　前記判定処理は、前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出された後、再度前記検出ステップによって前記検出対象エリアの中に商品が配置される前に、商品が前記認識ステップによって認識されたか否かを判定する処理である、１１．に記載の制御方法。
１４．　前記判定処理により、検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出された後に、商品が前記認識ステップによって認識されなかったと判定された場合に、警告処理を行う警告ステップを有する１１．に記載の制御方法。
１５．　前記検出ステップは、前記検出対象エリアの中に配置された商品の数を割り出し、
　前記判定処理は、前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出された場合に、商品の数の商品が前記認識ステップによって認識されたか否かを判定する処理である、１１．に記載の制御方法。
１６．　前記判定処理は、前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出されてから所定時間以内に、前記商品の数の商品が前記認識ステップによって認識されたか否かを判定する処理である、１５．に記載の制御方法。
１７．　前記判定処理は、前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出された後、再度前記検出ステップによって前記検出対象エリアの中に商品が配置される前に、前記商品の数の商品が前記認識ステップによって認識されたか否かを判定する処理である、１５．に記載の制御方法。
１８．　前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出された後に、前記商品の数の商品が前記認識ステップによって認識されなかった場合に、警告処理を行う警告ステップを有する１５．に記載の制御方法。
１９．　前記認識ステップは、商品を撮像して画像を生成し、
　前記撮像ステップで用いられる撮像素子の解像度は前記認識ステップで用いられる撮像素子の解像度よりも低い１１．乃至１８．いずれか一つに記載の制御方法。
　この出願は、２０１５年３月２３日に出願された日本出願特願２０１５－０６０１８８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (11)

  1. 　商品を認識する認識手段と、
    　顧客の動作を撮像して画像を生成する撮像手段と、
    　前記撮像手段によって生成された画像を用いて、前記認識手段によって前記商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出手段と、
    　前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された場合に、商品が前記認識手段によって認識されたか否かを判定する判定処理を行う判定手段と、
    　を有する商品登録装置。
  2. 　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出されてから所定時間以内に、商品が前記認識手段によって認識されたか否かを判定する処理である、請求項１に記載の商品登録装置。
  3. 　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された後、再度前記検出手段によって前記検出対象エリアの中に商品が配置される前に、前記商品が前記認識手段によって認識されたか否かを判定する処理である、請求項１に記載の商品登録装置。
  4. 　前記判定処理により、検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された後に、前記商品が前記認識手段によって認識されなかったと判定された場合に、警告処理を行う警告手段を有する請求項１に記載の商品登録装置。
  5. 　前記検出手段は、前記検出対象エリアの中に配置された商品の数を割り出し、
    　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された場合に、前記商品の数の商品が前記認識手段によって認識されたか否かを判定する処理である、請求項１に記載の商品登録装置。
  6. 　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出されてから所定時間以内に、前記商品の数の前記商品が前記認識手段によって認識されたか否かを判定する処理である、請求項５に記載の商品登録装置。
  7. 　前記判定処理は、前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された後、再度前記検出手段によって前記検出対象エリアの中に商品が配置される前に、前記商品の数の商品が前記認識手段によって認識されたか否かを判定する処理である、請求項５に記載の商品登録装置。
  8. 　前記検出手段によって前記検出対象エリアの中に商品が配置されたことが検出された後に、前記商品の数の前記商品が前記認識手段によって認識されなかった場合に、警告処理を行う警告手段を有する請求項５に記載の商品登録装置。
  9. 　前記認識手段は、前記商品を撮像して画像を生成し、
    　前記撮像手段の撮像素子の解像度は前記認識手段の撮像素子の解像度よりも低い請求項１乃至８いずれか一項に記載の商品登録装置。
  10. 　コンピュータを、請求項１乃至９いずれか一項に記載の商品登録装置として動作させるプログラム。
  11. 　コンピュータによって実行される制御方法であって、
    　商品を認識する認識ステップと、
    　顧客の動作を撮像して画像を生成する撮像ステップと、
    　前記撮像ステップによって生成された画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出ステップと、
    　前記検出ステップによって前記検出対象エリアの中に商品が配置されたことが検出された場合に、商品が前記認識ステップによって認識されたか否かを判定する判定処理を行う判定ステップと、
    　を有する制御方法。
PCT/JP2016/058943 2015-03-23 2016-03-22 商品登録装置、プログラム、及び制御方法 WO2016152838A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680017463.6A CN107533783A (zh) 2015-03-23 2016-03-22 产品登记装置、程序和控制方法
US15/559,989 US10497222B2 (en) 2015-03-23 2016-03-22 Product registration apparatus, program, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015060188A JP6648408B2 (ja) 2015-03-23 2015-03-23 商品登録装置、プログラム、及び制御方法
JP2015-060188 2015-03-23

Publications (1)

Publication Number Publication Date
WO2016152838A1 true WO2016152838A1 (ja) 2016-09-29

Family

ID=56978176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058943 WO2016152838A1 (ja) 2015-03-23 2016-03-22 商品登録装置、プログラム、及び制御方法

Country Status (4)

Country Link
US (1) US10497222B2 (ja)
JP (1) JP6648408B2 (ja)
CN (1) CN107533783A (ja)
WO (1) WO2016152838A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170784A1 (ja) * 2022-03-08 2023-09-14 日本電気株式会社 監視システム、監視装置、監視方法、および記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6953756B2 (ja) * 2017-03-23 2021-10-27 日本電気株式会社 決済処理装置、方法およびプログラム
JP7444454B2 (ja) * 2019-10-11 2024-03-06 日本電気株式会社 商品登録システム、商品登録装置、商品登録装置の制御方法、およびプログラム
JP2022036760A (ja) * 2020-08-24 2022-03-08 東芝テック株式会社 商品登録装置及びその制御プログラム
JP2022111378A (ja) * 2020-12-28 2022-07-29 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム、ならびに、情報処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007206996A (ja) * 2006-02-02 2007-08-16 Nippon Signal Co Ltd:The バーコード読取装置及びそれを用いたセルフチェックアウトレジシステム
JP2013145526A (ja) * 2012-01-16 2013-07-25 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム
JP2014132501A (ja) * 2014-04-16 2014-07-17 Nec Infrontia Corp セルフｐｏｓ装置及びその動作方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US192208A (en) * 1877-06-19 Improvement in grain-reducing apparatus
JP2993830B2 (ja) * 1993-11-18 1999-12-27 富士通株式会社 セルフスキャン機能を有する購入商品収納運搬装置およびｐｏｓシステム
JPH0841569A (ja) 1994-07-25 1996-02-13 Tokin Corp 磁性合金管及びその製造方法
US5745036A (en) 1996-09-12 1998-04-28 Checkpoint Systems, Inc. Electronic article security system for store which uses intelligent security tags and transaction data
JP5054670B2 (ja) * 2005-03-29 2012-10-24 ストップリフト インコーポレイテッド ビデオ分析を使用して不審挙動を検出する方法及び装置
JP2010044479A (ja) * 2008-08-11 2010-02-25 Ishida Co Ltd Ｐｏｓ端末装置
JP5216726B2 (ja) * 2009-09-03 2013-06-19 東芝テック株式会社 セルフチェックアウト端末装置
WO2013009814A2 (en) * 2011-07-11 2013-01-17 Nussbaum Eric S Post stroke stimulation device and treatment method
US9563886B1 (en) * 2012-04-24 2017-02-07 Ecr Software Corporation Systems and methods for an improved self-checkout with speed tender transaction options
US9892438B1 (en) * 2012-05-03 2018-02-13 Stoplift, Inc. Notification system and methods for use in retail environments
US10192208B1 (en) * 2013-07-08 2019-01-29 Ecr Software Corporation Systems and methods for an improved self-checkout with loss prevention options
JP6360350B2 (ja) * 2013-08-08 2018-07-18 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
US20160203499A1 (en) * 2013-09-06 2016-07-14 Nec Corporation Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007206996A (ja) * 2006-02-02 2007-08-16 Nippon Signal Co Ltd:The バーコード読取装置及びそれを用いたセルフチェックアウトレジシステム
JP2013145526A (ja) * 2012-01-16 2013-07-25 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム
JP2014132501A (ja) * 2014-04-16 2014-07-17 Nec Infrontia Corp セルフｐｏｓ装置及びその動作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170784A1 (ja) * 2022-03-08 2023-09-14 日本電気株式会社 監視システム、監視装置、監視方法、および記録媒体

Also Published As

Publication number Publication date
CN107533783A (zh) 2018-01-02
US10497222B2 (en) 2019-12-03
JP2016181063A (ja) 2016-10-13
JP6648408B2 (ja) 2020-02-14
US20180068533A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
WO2016152838A1 (ja) 商品登録装置、プログラム、及び制御方法
JP6204491B2 (ja) セルフチェックアウト端末における不正行為の検証
US8505817B2 (en) Code reading apparatus and code reading method
JP6686290B2 (ja) システム及び方法
JP5166496B2 (ja) コード読取装置及びプログラム
US20120018515A1 (en) Commodity code reading apparatus and control method
US20120054052A1 (en) Store system, sales registration apparatus, and control method
US20150063638A1 (en) Commodity registration apparatus and commodity registration method
CN108320403B (zh) 商品识别装置及控制方法、终端设备
JP6443184B2 (ja) 精算システム、商品登録装置、精算装置、プログラム、及び精算方法
JP6481467B2 (ja) 商品登録装置、精算システム、プログラム、及び制御方法
JP2020074082A (ja) 商品登録装置、プログラム、及び制御方法
JP7444454B2 (ja) 商品登録システム、商品登録装置、商品登録装置の制御方法、およびプログラム
WO2021176840A1 (ja) 登録確認装置、制御方法、およびプログラム
JP6891389B2 (ja) 商品登録装置、プログラム、制御方法、及び精算システム
JP2012008788A (ja) 商品コード読取装置及びプログラム
JP2022111378A (ja) 情報処理装置、情報処理方法、およびプログラム、ならびに、情報処理システム
US20190378389A1 (en) System and Method of Detecting a Potential Cashier Fraud
JP6398331B2 (ja) 情報処理装置、制御方法、及びプログラム
JP6702461B2 (ja) 商品登録装置、精算システム、プログラム、及び制御方法
WO2019181035A1 (ja) 登録システム、登録方法及びプログラム
JP6696554B2 (ja) 精算システム及び精算方法
JP5255027B2 (ja) コード読取装置およびプログラム
JP6532114B1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017126245A1 (ja) 情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16768741

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15559989

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16768741

Country of ref document: EP

Kind code of ref document: A1