WO2017126256A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2017126256A1
WO2017126256A1 PCT/JP2016/087281 JP2016087281W WO2017126256A1 WO 2017126256 A1 WO2017126256 A1 WO 2017126256A1 JP 2016087281 W JP2016087281 W JP 2016087281W WO 2017126256 A1 WO2017126256 A1 WO 2017126256A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
product
registration
video
extracted
Prior art date
Application number
PCT/JP2016/087281
Other languages
English (en)
French (fr)
Inventor
金野　大
岩元　浩太
松本　信一
善弘 伊藤
晋哉 山崎
可菜子 多賀
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/071,010 priority Critical patent/US10824873B2/en
Priority to JP2017562473A priority patent/JP6801677B2/ja
Publication of WO2017126256A1 publication Critical patent/WO2017126256A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G06V30/2247—Characters composed of bars, e.g. CMC-7

Definitions

  • the present invention relates to an apparatus used for settlement of goods.
  • a process of registering a product as a payment target is performed.
  • processing is performed by causing a barcode reader or the like provided in the product registration apparatus to read a barcode or the like attached to the product.
  • Patent Document 1 discloses a technique of registering a plurality of products as a settlement target at once by capturing a plurality of products placed on a mounting table from a plurality of different directions with a plurality of imaging devices.
  • An object of the present invention is to provide a technique for improving the efficiency of work for registering a product as a settlement target.
  • the information processing apparatus includes: 1) comparing a first frame of a video with a second frame generated at a time later than the first frame in the video; Comparison means for finding out a product not included in the second frame and included in the second frame, and 2) a registration means for registering the calculated product as a settlement target.
  • the control method of the present invention is executed by a computer.
  • the control method includes 1) comparing a first frame of a video with a second frame generated in the video at a time later than the first frame, and is included in the first frame. And a comparison step for determining a product included in the second frame, and 2) a registration step for registering the determined product as a settlement target.
  • the program of the present invention causes a computer to execute each step of the control method of the present invention.
  • FIG. 3 is a diagram illustrating an installation location of the imaging apparatus. 3 is a flowchart illustrating a flow of processing executed by the product registration device according to the first embodiment. It is the 1st figure which illustrates the 1st frame and the 2nd frame. It is the 2nd figure which illustrates the 1st frame and the 2nd frame. It is a figure which illustrates a mode that matching of an object is performed. It is a figure which illustrates a mode that several objects with the high similarity degree of feature-value are contained in one flame
  • FIG. 10 is a flowchart illustrating a flow of processing executed by the product registration device according to the second embodiment.
  • each block diagram unless otherwise specified, each block represents a functional unit configuration, not a hardware unit configuration.
  • FIG. 1 is a block diagram illustrating a product registration device 20 according to the first embodiment.
  • the product registration device 20 is used for processing for registering a product as a payment target (hereinafter, product registration processing).
  • product registration processing A user (such as a clerk or a customer) of the product registration device 20 operates the product registration device 20 to perform product registration processing for each product purchased by the customer.
  • the product registration device 20 includes a comparison unit 22 and a registration unit 24.
  • the comparison unit 22 compares the first frame and the second frame of the video (hereinafter, product video) generated by the imaging device.
  • the second frame is generated at a time later than the first frame.
  • the comparison unit 22 determines a product that is not included in the first frame and is included in the second frame.
  • the registration unit 24 registers the determined product (a product that is not included in the first frame and is included in the second frame) as a settlement target.
  • the product registration apparatus 20 of the present embodiment when a new product is included in the product image, the product is registered as a payment target. Therefore, the merchandise registration apparatus 20 can register the merchandise as a payment target simply by putting the merchandise in the imaging range of the imaging apparatus. Therefore, the product registration process can be easily performed.
  • the product registration device 20 of the present embodiment when registering a plurality of products as a payment target, it is not necessary to wait for all products to enter the imaging range of the imaging device (for example, be placed on the mounting table). A product that falls within the shooting range is registered as a payment target. Therefore, the efficiency of the product registration process is increased.
  • the clerk A removes the product from the shopping cart and places it on the mounting table.
  • the store clerk B packs a product registered as a payment target by the product registration device 20 in a bag.
  • the product registration device 20 of the present embodiment is used, the store clerk B can pack the products registered as a payment target in a bag without waiting for all the products to be placed on the mounting table. . Therefore, the time required for the entire registration work can be shortened compared to the case where all the commodities have to wait for being placed on the mounting table.
  • Each functional component of the product registration device 20 may be realized by hardware (for example, a hard-wired electronic circuit) that realizes each functional component, or a combination of hardware and software (for example: It may be realized by a combination of an electronic circuit and a program for controlling it).
  • FIG. 2 is a diagram illustrating a hardware configuration of a computer 200 that implements the product registration apparatus 20 according to the first embodiment.
  • the computer 200 may be mounted using a dedicated device designed for a cash register terminal, or may be mounted using a general-purpose device such as a PC (Personal Computer) or a portable terminal.
  • PC Personal Computer
  • the computer 200 includes a bus 202, a processor 204, a memory 206, a storage 208, an input / output interface 210, and a network interface 212.
  • the bus 202 is a data transmission path for the processor 204, the memory 206, the storage 208, the input / output interface 210, and the network interface 212 to transmit / receive data to / from each other.
  • the processor 204 is an arithmetic processing unit such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the memory 206 is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the storage 208 is a storage device such as a hard disk, an SSD (Solid State Drive), or a memory card. Further, the storage 208 may be a memory such as a RAM or a “ROM”.
  • the input / output interface 210 is an interface for connecting the computer 200 and the input / output device.
  • the input / output interface 210 is connected with a touch panel 214, a drawer 216, a change machine 218, a receipt printer 220, and the like.
  • the touch panel 214 is used, for example, for manually inputting the amount of goods.
  • the touch panel 214 displays various information such as information related to a product registered as a payment target.
  • the drawer 216 stores coins and banknotes.
  • the change machine 218 has an input port for inputting a price and an output port for discharging the change.
  • the receipt printer 220 issues a receipt or the like.
  • the computer 200 may be connected to an input interface other than the touch panel 214 such as a keyboard.
  • the network interface 212 is an interface for connecting the computer 200 to an external device so as to be communicable.
  • the network interface 212 may be a network interface for connecting to a wired line or a network interface for connecting to a wireless line.
  • the computer 200 that implements the merchandise registration apparatus 20 is connected to a store server that manages various devices installed in the store via a network.
  • the storage 208 stores program modules that realize each function of the product registration apparatus 20.
  • the processor 204 implements each function corresponding to the program module by executing each program module.
  • the processor 204 may execute the modules after reading them onto the memory 206 or without reading them onto the memory 206.
  • each program module may be stored in the memory 206.
  • the computer 200 may not include the storage 208.
  • the computer 200 does not necessarily need to be communicably connected to other devices via a network. Therefore, the computer 200 may not have the network interface 212.
  • the computer 200 when the computer 200 is not used for the payment process, the computer 200 may not include the drawer 216, the change machine 218, and the receipt printer 220.
  • the imaging device 30 is an arbitrary imaging device that can capture a surrounding and generate a moving image.
  • the imaging device 30 may be provided in a housing dedicated to the imaging device, or may be provided integrally with another device (such as a camera incorporated in a smartphone).
  • the installation location of the imaging device 30 may be an arbitrary location where the product can be imaged.
  • the imaging device 30 is fixed at a position where a store clerk looks down directly on a mounting table used when registering a product to be settled.
  • FIG. 3 is a diagram illustrating an installation location of the imaging device 30. In FIG. 3, the imaging device 30 looks down on the mounting table 40 on which the product is placed.
  • the installation position of the imaging device 30 is not limited to the position shown in FIG.
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the product registration apparatus 20 according to the first embodiment.
  • the comparison unit 22 determines whether there is a product not included in the first frame among the products included in the second frame (S102). When there is a product not included in the first frame among the products included in the second frame (S102: YES), the registration unit 24 registers the corresponding product as a settlement target (S104). If there is no product not included in the first frame among the products included in the second frame (S102: NO), the process of FIG. 4 ends.
  • the method by which the product registration device 20 acquires the product video is arbitrary.
  • the product registration device 20 acquires a product video from the imaging device 30.
  • the product registration device 20 is connected to the imaging device 30 so as to be communicable.
  • the product registration device 20 may acquire the product video from the storage device.
  • the merchandise registration apparatus 20 is communicably connected to this storage device.
  • the merchandise registration apparatus 20 may acquire product videos at all times, or may acquire only for a specific period. In the latter case, for example, the product registration device 20 starts acquiring the product video at the timing when the product registration process is started, and ends the acquisition of the product video at the timing when the product registration process is ended. The product registration process starts or ends when the user performs a predetermined input operation on the product registration device 20, for example.
  • the comparison unit 22 compares the first frame and the second frame, and calculates a product not included in the first frame from the products included in the second frame (S102). The method will be specifically described below.
  • FIG. 5 is a first diagram illustrating the first frame and the second frame.
  • a frame 60-1 represents the first frame
  • a frame 60-2 represents the second frame.
  • Each frame is generated by the imaging device 30 that is fixed so that the mounting table 40 is looked down from directly above.
  • the shopping cart containing the product to be registered as a payment target is placed on the right outside of the imaging range of the imaging device 30 when the mounting table 40 is viewed in plan.
  • a user (such as a store clerk or a customer) of the product registration device 20 takes out the product from the shopping cart, moves the product from right to left, and places it on the mounting table 40.
  • the frame 60-1 contains no product. Thereafter, as a result of the user taking out the product 50-1 from the shopping cart and moving it, the product 50-1 is included in the frame 60-2. Therefore, the comparison unit 22 determines the product 50-1 as a product that is included in the frame 60-2 but not included in the frame 60-1. As a result, the registration unit 24 registers the product 50-1 as a payment target.
  • FIG. 6 is a second diagram illustrating the first frame and the second frame. Each frame in FIG. 6 is generated after the frame 60-2 in FIG. Therefore, in FIG. 6, the product 50-1 is already placed on the mounting table 40. Therefore, the product 50-1 is included in the frame 60-1.
  • the frame 60-2 includes not only the product 50-1 but also the product 50-2. Therefore, the comparison unit 22 determines the product 50-2 as a product included in the frame 60-2 but not included in the frame 60-1. As a result, the registration unit 24 registers the product 50-2 as a payment target.
  • the product 50-1 is also included in the frame 60-1. Therefore, the product 50-1 is not registered as a payment target in the result of comparison between frames shown in FIG. In this case, the merchandise 50-1 is already subject to settlement at the timing when it is moved to be placed on the mounting table 40 (for example, the timing when the frame 60-1 and the frame 60-2 in FIG. 5 are compared by the comparison unit 22). It is registered.
  • the comparison unit 22 stores in advance a captured image generated by the imaging device 30 in a state where the product is not included in the imaging range as a reference image. Then, the comparison unit 22 extracts an object not included in the reference image from the first frame by extracting a difference between the first frame and the reference image. Then, each extracted object is handled as a product. The comparison unit 22 performs the same process for the second frame.
  • the comparison unit 22 performs matching between the object extracted from the first frame and the object extracted from the second frame. More specifically, the comparison unit 22 compares the feature amount of each object extracted from the first frame with the feature amount of each object extracted from the second frame, and the degree of matching of the feature amounts is high (similarity degree). Objects) are treated as the same object. Then, the comparison unit 22 selects an object that is not matched with any object extracted from the first frame among the objects extracted from the second frame (an object having a low similarity to any object extracted from the first frame). The product is included in the second frame but is not included in the first frame. Note that the feature amount of an object is information representing features such as the shape, color, and pattern of the object.
  • FIG. 7 is a diagram illustrating a state in which matching of objects is performed.
  • an object 80-1 is included in the frame 60-1.
  • the frame 60-2 includes an object 80-2 and an object 80-3.
  • the shape of the object 80-1 has a high degree of similarity with the shape of the object 80-2, but has a low degree of similarity with the shape of the object 80-3. Therefore, the comparison unit 22 determines that the object 80-1 and the object 80-2 represent the same product. As a result, the comparison unit 22 treats the product represented by the object 80-3 as a product that is included in the frame 60-2 but not included in the frame 60-1.
  • a frame may include a plurality of objects having a high degree of feature similarity.
  • FIG. 8 is a diagram illustrating a state in which a plurality of objects having a high degree of similarity of feature amounts are included in one frame.
  • a frame 60-1 includes an object 80-1
  • a frame 60-2 includes an object 80-2 and an object 80-3.
  • the object 80-1 and the object 80-2 represent the same product.
  • the product represented by the object 80-3 is the same type of product as the product represented by the object 80-1 and the object 80-2. Therefore, the feature amounts calculated for the objects 80-1 to 80-3 have a high degree of coincidence with each other.
  • the comparison unit 22 specifies the object 80 representing the same product using the position of each object 80. Specifically, the comparison unit 22 uses the same product as the product represented by the object 80-1 for the product represented by the object 80-2 with a short distance from the object 80-1 included in the frame 60-1. Treat as a product. On the other hand, the comparison unit 22 detects a product represented by the object 80-3 having a long distance from the object 80-1 (a product newly captured by the imaging device 30) that is different from the product represented by the object 80-1. Product). That is, the comparison unit 22 treats the product represented by the object 80-3 as a product that is included in the frame 60-2 but not included in the frame 60-1.
  • the comparison unit 22 may determine an identifier of a product (hereinafter referred to as a product ID (Identifier)) included in the frame and distinguish the product using the product ID.
  • the product ID is stored in association with a product image in a product database that manages information about each product.
  • the comparison unit 22 extracts an object from the frame by a method similar to the method described in Method 1.
  • the comparison unit 22 identifies the product ID of the product represented by each object included in the frame by matching the extracted object with the image of each product stored in the product database. By doing so, the comparison unit 22 distinguishes each product included in the frame by the product ID of the product.
  • the method for specifying the product ID is not limited to the above-described method.
  • the comparison unit 22 may specify the product ID of the product by analyzing various codes (barcode, QR code (registered trademark), etc.) attached to the product included in the frame.
  • the comparison unit 22 cannot distinguish the same type of product included in one frame by the product ID.
  • the comparison unit 22 specifies objects representing the same product using the positions of the respective objects, as in the method described with reference to FIG.
  • the comparison unit 22 treats the product represented by the object 80-2 having a short distance from the object 80-1 included in the frame 60-1 as the same product as the product represented by the object 80-1. deal with.
  • the comparison unit 22 detects a product represented by the object 80-3 having a long distance from the object 80-1 (a product newly captured by the imaging device 30) that is different from the product represented by the object 80-1. Product).
  • FIG. 9 is a diagram illustrating a method for determining a frame to be processed.
  • the first frame is a frame a and the second frame is a frame b
  • a pair of the first frame and the second frame is expressed as P (a, b).
  • a and b are frame numbers.
  • the comparison unit 22 uses two frames that are continuous in time series as a first frame and a second frame. That is, if the frame number of the first frame and F i, the first frame and the second frame of the pair is a P (F i, F i +1 ). In FIG. 9A, the comparison unit 22 performs comparison processing for all pairs P (F i , F i +1) included in the frames F 1 to F n (F n > F 1 ). Thus, the next pair of P (F i , F i +1) is P (F i +1, F i +2). A method for determining the first frame F 1 and the last frame F n will be described later.
  • the comparison unit 22 compares P (F i , F i +1), which is a pair of two frames that are continuous in time series. However, the comparison unit 22 selects each pair with a predetermined interval k. Therefore, the next pair of P (F i , F i +1) is P (F n + k, F n + k + 1).
  • the value of k can be set arbitrarily. Information indicating k may be set in advance in the comparison unit 22 or may be stored in a storage unit accessible from the comparison unit 22.
  • the comparison unit 22 sets a frame that is a predetermined number m later than the first frame as the second frame. That is, a pair of P (F i , F i + m) is selected as the first frame and the second frame.
  • the frame handled by the comparison unit 22 as the first frame is a frame handled as the second frame in the previous comparison process. Therefore, the next pair of P (F i, F i + m) is a P (F i + m, F i + 2m).
  • the value of m can be set arbitrarily.
  • Information indicating k may be set in advance in the comparison unit 22 or may be stored in a storage unit accessible from the comparison unit 22.
  • the comparison unit 22 sets the pair of P (F i , F i + m) as the first frame and the second frame, as in the case of FIG. 9C. However, in FIG. 9D, each pair is selected with a predetermined interval k (k> m). Thus, the next pair of P (F i , F i + m) is P (F i + k, F i + k + m).
  • information indicating which method is used to determine the pair of the first frame and the second frame is sent to the comparison unit 22. It may be set in advance or stored in a storage device accessible from the comparison unit 22. Further, the method for determining the pair of the first frame and the second frame is not limited to the method described above.
  • the comparison unit 22 sets the product video generated from the start of the execution of the product registration device 20 to the end of the execution of the product registration device 20 as a target of the comparison process.
  • F 1 is a frame generated when the execution of the product registration apparatus 20 is started
  • F n is a frame generated immediately before the execution of the product registration apparatus 20 is finished.
  • the comparison unit 22 compares the product images generated between the time when the input operation instructing the start of the payment target registration process is received and the time when the input operation instructing the end of the payment target registration process is received. It is good also as an object of processing.
  • F 1 is a frame generated at the timing when an input operation for instructing the start of the registration process for payment target is received
  • F n is a timing for receiving the input operation for instructing the end of the registration process for payment target. This is a generated frame.
  • the operation for instructing the start of the registration process for the settlement target is, for example, an operation of pressing a button “start registration”.
  • the operation for instructing the end of the registration process for the settlement target is an operation of pressing a button “subtotal”, for example.
  • the registration unit 24 registers products not included in the first frame among products included in the second frame as a settlement target (S104). For example, the registration unit 24 registers the product as a settlement target by generating settlement information regarding the product registered as the settlement target.
  • the checkout information is information related to the checkout process for a product registered as a checkout target. For example, the registration unit 24 stores the generated settlement information in an internal or external storage unit of the product registration device 20.
  • a single checkout can include multiple products.
  • the merchandise registration apparatus 20 may receive one or a plurality of registered items after receiving an input operation instructing the start of the registration process for the payment target until receiving an input operation instructing the end of the registration process for the payment target. Is registered as a checkout target for one checkout.
  • the checkout information indicating the checkout target for one checkout indicates the ID of each product registered as the checkout target. Further, the settlement information may further indicate the number of products registered as a settlement target, a transaction number, the amount of each product, and the settlement amount.
  • FIG. 10 is a diagram illustrating payment information in a table format.
  • the settlement information shown in FIG. 10 is referred to as settlement information 300.
  • the settlement information 300 has two columns, a settlement information ID 302 and a product list 304.
  • the product list 304 is a list of product IDs registered as settlement targets.
  • the product ID 306 is an ID of a product registered as a payment target.
  • the merchandise registration device 20 specifies a merchandise ID of a merchandise to be registered as a payment target using the merchandise video.
  • the timing at which the product registration device 20 specifies the product ID of the product included in the product video varies.
  • the comparison unit 22 identifies the product ID of each product from the comparison target frame.
  • the registration unit 24 uses the product ID specified by the comparison unit 22. Further, when the comparison unit 22 does not use the product ID for comparison between frames, for example, the registration unit 24 specifies the product ID of the product when registering the product as a payment target.
  • the method for specifying the product ID of the product using the product video is as described above.
  • the merchandise registration device 20 may be a device operated by a store clerk or a device operated by a customer. In the latter case, the customer causes the merchandise registration apparatus 20 to perform merchandise registration processing.
  • the merchandise registration apparatus 20 may or may not have a function for performing a settlement process for a commodity registered as a settlement target.
  • the settlement process includes a process of presenting the settlement amount indicated in the settlement information to the customer, a process of accepting the input of the price by the customer, a process of counting the entered price, a process of discharging the change to the customer, and a receipt Including the process of issuing.
  • a device having a function of performing a settlement process is separately installed in the store.
  • FIG. 11 is a diagram illustrating a case where two products are stacked and placed on the mounting table 40.
  • the comparison unit 22 first sets the previous frame containing the product 50-1 in a state of being overlaid on the product 50-2 as the first frame, and the product in a state of being overlaid on the product 50-2.
  • the comparison processing is performed with the frame after 50-1 included as the second frame.
  • the comparison unit 22 determines that the product 50-1 is a product that is included in the second frame but not included in the first frame. Therefore, the registration unit 24 registers the product 50-1 as a payment target.
  • the product 50-2 is hidden behind the product 50-1 and is not included in the product video 32, it is not registered as a settlement target at this timing.
  • the comparison process by the comparison unit 22 is performed with the frame before the product 50-2 included as the first frame and the frame after the product 50-2 included as the second frame.
  • the comparison unit 22 determines that the product 50-2 is a product that is included in the second frame but not included in the first frame. Therefore, the registration unit 24 registers the product 50-2 as a payment target.
  • each product 50 is set as a checkout target. You can register. Therefore, since the several goods 50 can be put on the mounting base 40 at once, the effort which moves the goods 50 is reduced.
  • the product registration apparatus 20 of Embodiment 2 has the structure shown by FIG. 1, for example like the product registration apparatus 20 of Embodiment 1.
  • FIG. Except for the points described below, the product registration device 20 of the second embodiment has the same function as the product registration device 20 of the first embodiment.
  • the product registration device 20 operates so that the product is not mistakenly registered as a checkout target twice when the product is temporarily not captured by the imaging device 30 or the like. This will be specifically described below.
  • FIG. 12 is a diagram for explaining the operation of the commodity registration apparatus 20 according to the second embodiment.
  • the video composed of the frame a to the frame b of the product video 32 is expressed as a partial video V (a, b).
  • an object 80-1 is extracted from the partial video V (F n1 , F n2 ).
  • the object 80-2 is extracted from the partial video V ( Fn3 , Fn4 ).
  • the product represented by the object 80-1 and the product represented by the object 80-2 are the same type of product.
  • the partial video V (F n2 +1, F n3 ⁇ 1) neither the object 80-1 nor the object 80-2 is extracted.
  • FIG. 13 is a diagram illustrating a case where the product represented by the object 80-1 and the product represented by the object 80-2 are different products.
  • FIG. 14 is a diagram illustrating a case where the product represented by the object 80-1 and the product represented by the object 80-2 are the same product.
  • the user first takes out the product 50-1 from the shopping cart and passes the product 50-1 on the mounting table 40. Therefore, an object 80-1 representing the product 50-1 is extracted from the partial video V ( Fn1 , Fn2 ). After a while, the user takes the product 50-2 out of the shopping cart and passes the product 50-2 on the mounting table 40. Therefore, an object 80-2 representing the product 50-2 is extracted from the partial videos VFn3 , Fn4 ). Also, neither the object 80-1 nor the object 80-2 is extracted from the partial video V (F n2 +1, F n3 -1). In this case, the registration unit 24 needs to register both the product 50-1 represented by the object 80-1 and the product 50-2 represented by the object 80-2 as a settlement target.
  • the user first takes the product 50-1 from the shopping cart and places it on the mounting table 40. Therefore, an object 80-1 representing the product 50-1 is extracted from the partial video V ( Fn1 , Fn2 ). Thereafter, while the partial video V (F n2 +1, F n3 ⁇ 1) is generated, the user's hand 90 is in the imaging range of the imaging device 30 so as to cover the product 50-1. Therefore, during this time, the product 50-1 is not included in the product video 32. Thereafter, the user's hand 90 is not included in the product video 32, and the product 50-1 is included in the product video 32 again. Therefore, an object 80-2 representing the product 50-1 is extracted from the partial video V ( Fn3 , Fn4 ).
  • the registration unit 24 grasps that the product represented by the object 80-1 and the product represented by the object 80-2 are the same product, and registers one product 50-1 as a settlement target. Should. If the registration unit 24 individually registers the product represented by the object 80-1 and the product represented by the object 80-2, one product is erroneously registered as a target for settlement twice. (So-called twice reading occurs).
  • the commodity registration apparatus 20 operates as follows. First, when there is a product that is included in the second frame but not included in the first frame, the comparison unit 22 generates a frame sequence from a frame a predetermined number before the second frame to immediately before the second frame. It is determined whether or not there is a frame that includes the same type of product as the corresponding product. And if the registration part 24 has the flame
  • the comparison unit 22 performs the comparison process with the frame F 3n as the second frame and the frame F 3n ⁇ 1 as the first frame.
  • the product represented by the object 80-2 is determined to be a product included in the second frame but not included in the first frame. Therefore comparing unit 22, whether or not in the frame sequence of a predetermined number preceding frame than the frame F 3n to frame F 3n -1, contain the same types of products and product represented by the object 80-2 Determine whether.
  • the frame sequence includes frames before the frame F 2n . Therefore, there is a frame from which the object 80-1 is extracted in the frame sequence.
  • the product represented by the object 80-1 and the product represented by the object 80-2 are the same type of product. Therefore, the registration unit 24 does not register the product represented by the object 80-2 extracted from the frame F 3n as a payment target.
  • the registration unit 24 registers the product represented by the object 80-2 included in the frame F 3n as a payment target.
  • the above-described processing is the length of time that a certain product is temporarily not included in the product video 32 as shown in FIG. 14 (the length of the partial video V (F n2 +1, F n3 ⁇ 1) in FIG. 14).
  • the length of time during which those products are not included in the product video 32 (partial video V (F n2 +1, F n3 ⁇ 1 in FIG. 13). ))).
  • the length of time that a certain product is temporarily not included in the product image 32 is the next time after the first product is registered in the case where two different products are registered as a payment target. This is considered to be shorter than the time required to register the product.
  • the comparison unit 22 is a product that is included in the second frame but is not included in the first frame in the frame sequence from a predetermined number of frames before the second frame to immediately before the second frame. If the same type of product is included, the product is not registered as a payment target. By doing so, the product registration device 20 of the second embodiment prevents a product that is temporarily not included in the product video 32 from being erroneously registered as a checkout target twice, and is registered as a checkout target. Know exactly how many products you have.
  • the predetermined number can be set to an arbitrary number. This predetermined number may be preset in the comparison unit 22 or may be stored in a storage device accessible from the comparison unit 22. A predetermined time may be set instead of the predetermined number. In this case, the comparison unit 22 calculates the predetermined number by calculating the product of the frame rate of the product video 32 and the predetermined time.
  • the comparison unit 22 uses “a frame sequence from a predetermined number of frames before the second frame sequence to immediately before the second frame”, but the end of this frame sequence is not necessarily the second frame. It is not limited to just before.
  • the comparison unit 22 may use “a frame sequence from a first predetermined number of frames before the second frame sequence to a second predetermined number of frames before the second frame”.
  • the first predetermined number is larger than the second predetermined number.
  • the first predetermined number and the second predetermined number can be set to arbitrary numbers.
  • FIG. 15 is a flowchart illustrating the flow of processing executed by the product registration apparatus 20 according to the second embodiment.
  • the comparison unit 22 determines whether there is a product not included in the first frame among the products included in the second frame (S202). If there is a product not included in the first frame among the products included in the second frame (S202: YES), the process of FIG. 15 proceeds to S204. On the other hand, when there is no product not included in the first frame among the products included in the second frame (S202: NO), the process of FIG. 15 ends.
  • the comparison unit 22 includes a product (not included in the first frame but included in the second frame in the frame sequence from the frame a predetermined number before the second frame to immediately before the second frame.
  • a product not included in the first frame but included in the second frame in the frame sequence from the frame a predetermined number before the second frame to immediately before the second frame.
  • S202: YES the process of FIG. 15 ends.
  • the process of FIG. 15 proceeds to S206.
  • the registration unit 24 registers the corresponding product as a payment target.
  • each program module stored in the storage 208 described above further includes a program that realizes each function described in the present embodiment.
  • a part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.
  • a first frame of a video is compared with a second frame generated at a time later than the first frame in the video, and is not included in the first frame and the second frame Comparison means to determine the products contained in the frame, A registration means for registering the determined product as a payment target; An information processing apparatus.
  • the comparing means extracts an object from each of the first frame and the second frame, and similar to each object extracted from the first frame among the objects extracted from the second frame.
  • a product represented by an object having a low degree is a product that is not included in the first frame and is included in the second frame.
  • the comparison means includes Extracting an object from each of the first frame and the second frame; Using the information that associates the product image with the identifier, the identifier of the product represented by each of the extracted objects is determined, By comparing the identifier of each product included in the first frame with the identifier of each product included in the second frame, it is not included in the first frame and the 1. Determine the products contained in the second frame The information processing apparatus described in 1. 4).
  • the registering unit is not included in the first frame in the frame sequence from a predetermined number of frames before the second frame to immediately before the second frame, and is not included in the second frame.
  • a control method executed by a computer A first frame of a video is compared with a second frame generated at a time later than the first frame in the video, and is not included in the first frame and the second frame A comparison step to determine the products contained in the frame, A registration step of registering the determined product as a payment target; Control method. 7).
  • the comparison step includes Extracting an object from each of the first frame and the second frame; Using the information that associates the product image with the identifier, the identifier of the product represented by each of the extracted objects is determined, By comparing the identifier of each product included in the first frame with the identifier of each product included in the second frame, it is not included in the first frame and the 5. Determine the product contained in the second frame.
  • a frame sequence from a predetermined number of frames before the second frame to immediately before the second frame is not included in the first frame, and is not included in the second frame. If there is a frame that contains the same type of product as the product that is included, the product that is not included in the first frame and that is included in the second frame is not registered as a settlement target. 6).
  • the imaging device that generates the video images a table on which a product to be settled is placed from above.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Abstract

商品登録装置（２０）は比較部（２２）及び登録部（２４）を有する。比較部（２２）は、映像の第１フレームと第２フレームとを比較する。第２フレームは、第１フレームよりも後の時間に生成されたものである。比較部（２２）は、第１フレームには含まれておらず、なおかつ第２フレームには含まれている商品を割り出す。そして登録部（２４）は、上記割り出された商品（第１フレームには含まれておらず、なおかつ第２フレームには含まれている商品）を精算対象として登録する。

Description

情報処理装置、制御方法、及びプログラム
　本発明は、商品の精算に用いる装置に関する。
　スーパーマーケット等の店舗における商品登録装置（例えば POS（Point of Sales）レジスタ）では、商品を精算対象として登録する処理が行われる。例えばこのような処理は、商品に付されているバーコードなどを、商品登録装置に設けられているバーコードリーダーなどに読み取らせることで行われる。
　商品登録装置を効率よく運用するための技術が開発されている。例えば特許文献１は、載置台に置かれた複数の商品を、複数の撮像装置でそれぞれ異なる方向から撮像することで、複数の商品を一括で精算対象として登録する技術を開示している。
特開２０１３－０５４６７３号公報
　特許文献１の発明は、全ての商品が載置台に置かれた後に撮像装置によって商品を撮像することで、商品を一括で精算対象として登録する。そのため、一部の商品を載置台に置いても、残りの商品が載置台に置かれるまでは、載置台に置いた商品を精算対象として登録することができない。
　本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、商品を精算対象として登録する作業の効率を高める技術を提供することである。
　本発明の情報処理装置は、１）映像の第１のフレームと、前記映像において前記第１のフレームよりも後の時間に生成された第２のフレームとを比較して、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す比較手段と、２）前記割り出された商品を精算対象として登録する登録手段と、を有する。
　本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）映像の第１のフレームと、前記映像において前記第１のフレームよりも後の時間に生成された第２のフレームとを比較して、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す比較ステップと、２）前記割り出された商品を精算対象として登録する登録ステップと、を有する。
　本発明のプログラムは、本発明の制御方法の各ステップをコンピュータに実行させる。
　本発明によれば、商品を精算対象として登録する作業の効率を高める技術が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態１に係る商品登録装置を例示するブロック図である。 実施形態１の商品登録装置を実現する計算機のハードウエア構成を例示する図である。 図３は撮像装置の設置場所を例示する図である。 実施形態１の商品登録装置によって実行される処理の流れを例示するフローチャートである。 第１フレームと第２フレームを例示する第１の図である。 第１フレームと第２フレームを例示する第２の図である。 オブジェクトのマッチングを行う様子を例示する図である。 １つのフレームに特徴量の類似度合いが高い複数のオブジェクトが含まれる様子を例示する図である。 処理対象のフレームを決定する方法を例示する図である。 精算情報をテーブル形式で例示する図である。 ２つの商品が載置台の上に積み重ねられて置かれるケースを例示する図である。 実施形態２の商品登録装置の動作を説明するための図である。 ２つのオブジェクトによって表される商品が異なる商品である場合を例示する図である。 ２つのオブジェクトによって表される商品が同じ商品である場合を例示する図である。 実施形態２の商品登録装置によって実行される処理の流れを例示するフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
［実施形態１］
　図１は、実施形態１に係る商品登録装置２０を例示するブロック図である。商品登録装置２０は、商品を精算対象として登録する処理（以下、商品登録処理）に用いられる。商品登録装置２０のユーザ（店員や顧客など）は、商品登録装置２０を操作して、顧客が購入する各商品について商品登録処理を行う。
　そのために、商品登録装置２０は比較部２２及び登録部２４を有する。比較部２２は、撮像装置によって生成された映像（以下、商品映像）の第１フレームと第２フレームとを比較する。第２フレームは、第１フレームよりも後の時間に生成されたものである。比較部２２は、第１フレームには含まれておらず、なおかつ第２フレームには含まれている商品を割り出す。そして登録部２４は、上記割り出された商品（第１フレームには含まれておらず、なおかつ第２フレームには含まれている商品）を精算対象として登録する。
　本実施形態の商品登録装置２０によれば、商品映像に新たな商品が含まれると、その商品が精算対象として登録される。そのため、撮像装置の撮像範囲に商品を入れるだけで、商品登録装置２０にその商品を精算対象として登録させることができる。よって、商品の登録処理を容易に行うことができる。
　また、本実施形態の商品登録装置２０によれば、複数の商品を精算対象として登録する場合に、全ての商品が撮像装置の撮影範囲に入る（例えば載置台に置かれる）ことを待つことなく、撮影範囲に入った商品が精算対象として登録される。よって、商品の登録処理の効率が高くなる。
　例えば、店員ＡとＢの二人で商品の登録作業を行うとする。店員Ａは、商品を買い物カゴから取り出して載置台に置く。店員Ｂは、商品登録装置２０によって精算対象として登録された商品を袋に詰める。ここで本実施形態の商品登録装置２０を利用すれば、店員Ｂは、全ての商品が載置台に置かれることを待つことなく、精算対象として登録された商品を袋に詰めていくことができる。よって、全ての商品が載置台に置かれることを待たなければいけない場合よりも、登録作業全体に要する時間を短縮することができる。
　以下、本実施形態についてさらに詳細を述べる。
＜商品登録装置２０を実現するハードウエアの例＞
　商品登録装置２０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
　図２は、実施形態１の商品登録装置２０を実現する計算機２００のハードウエア構成を例示する図である。この計算機２００は、レジ端末用途に設計された専用装置を用いて実装されてもよいし、PC（Personal Computer）や携帯端末などの汎用装置を用いて実装されてもよい。
　計算機２００は、バス２０２、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２を有する。バス２０２は、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ２０４は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ２０６は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ２０８は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ２０８は、RAM や ROM などのメモリであってもよい。
　入出力インタフェース２１０は、計算機２００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース２１０には、タッチパネル２１４、ドロア２１６、釣り銭機２１８、及びレシートプリンタ２２０などが接続される。タッチパネル２１４は、例えば商品の金額を手動で入力するために利用される。また、タッチパネル２１４は、精算対象として登録された商品に関する情報など、種々の情報を表示する。ドロア２１６は硬貨や紙幣を格納する。釣り銭機２１８は、代金を投入するための投入口と、釣り銭を排出するための排出口を有する。レシートプリンタ２２０はレシート等の発行を行う。なお計算機２００には、キーボードなど、タッチパネル２１４以外の入力インタフェースが接続されていてもよい。
　ネットワークインタフェース２１２は、計算機２００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース２１２は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば商品登録装置２０を実現する計算機２００は、ネットワークを介して、店舗に設置された種々の装置を管理する店舗サーバなどと接続されている。
　ストレージ２０８は商品登録装置２０の各機能を実現するプログラムモジュールを記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ２０４は、上記各モジュールを実行する際、これらのモジュールをメモリ２０６上に読み出してから実行してもよいし、メモリ２０６上に読み出さずに実行してもよい。
　計算機２００のハードウエア構成は図２に示した構成に限定されない。例えば、各プログラムモジュールはメモリ２０６に格納されてもよい。この場合、計算機２００は、ストレージ２０８を備えていなくてもよい。
　また計算機２００は、必ずしもネットワークを介して他の装置と通信可能に接続される必要はない。よって計算機２００はネットワークインタフェース２１２を有さなくてもよい。
　また計算機２００が代金の支払いの処理に利用されない場合、計算機２００はドロア２１６、釣り銭機２１８、及びレシートプリンタ２２０を備えなくてもよい。
＜＜撮像装置３０の詳細＞＞
　撮像装置３０は、周囲を撮像して動画を生成することができる任意の撮像装置である。なお撮像装置３０は、撮像装置専用の筐体に設けられているものであってもよいし、他の装置と一体として設けられているもの（スマートフォンに組み込まれているカメラなど）でもよい。
　撮像装置３０の設置場所は、商品を撮像できる任意の場所でよい。例えば撮像装置３０は、店員が精算対象の商品の登録処理を行う際に利用する載置台を真下に見下ろす位置に固定される。図３は撮像装置３０の設置場所を例示する図である。図３において、撮像装置３０は商品が置かれている載置台４０を真下に見下ろしている。ただし、撮像装置３０の設置位置は図３に示した位置に限定されない。
＜処理の流れ＞
　図４は、実施形態１の商品登録装置２０によって実行される処理の流れを例示するフローチャートである。比較部２２は、第２フレームに含まれている商品の中に、第１フレームに含まれていない商品があるか否かを判定する（Ｓ１０２）。第２フレームに含まれている商品の中に、第１フレームに含まれていない商品がある場合（Ｓ１０２：ＹＥＳ）、登録部２４は該当する商品を精算対象として登録する（Ｓ１０４）。第２フレームに含まれている商品の中に、第１フレームに含まれていない商品がない場合（Ｓ１０２：ＮＯ）、図４の処理は終了する。
＜商品映像の取得方法＞
　商品登録装置２０が商品映像を取得する方法は任意である。例えば商品登録装置２０は、撮像装置３０から商品映像を取得する。この場合、商品登録装置２０は撮像装置３０と通信可能に接続されている。
　また例えば、撮像装置３０が商品映像を外部の記憶装置に記憶する場合、商品登録装置２０はこの記憶装置から商品映像を取得してもよい。この場合、商品登録装置２０はこの記憶装置と通信可能に接続されている。
　商品登録装置２０は、商品映像を常時取得してもよいし、特定の期間だけ取得してもよい。後者の場合、例えば商品登録装置２０は、商品の登録処理を開始するタイミングで商品映像の取得を開始し、商品の登録処理を終了するタイミングで商品映像の取得を終了する。商品の登録処理は、例えばユーザが商品登録装置２０に対して所定の入力操作を行うことによって開始又は終了する。
＜フレームの比較方法＞
　比較部２２は、第１フレームと第２フレームとを比較して、第２フレームに含まれている商品の中から、第１フレームに含まれていない商品を割り出す（Ｓ１０２）。以下、その方法を具体的に説明する。
　図５は、第１フレームと第２フレームを例示する第１の図である。フレーム６０－１は第１フレームを表し、フレーム６０－２は第２フレームを表す。各フレームは、載置台４０を真上から見下ろすように固定されている撮像装置３０によって生成されたものである。また図５に示す例において、精算対象として登録すべき商品を入れた買い物カゴが、載置台４０を平面視した場合における撮像装置３０の撮像範囲の右の外側に置かれている。商品登録装置２０のユーザ（店員や顧客など）は、買い物カゴから商品を取り出し、商品を右から左へ移動させて載置台４０の上に置く。
　図５において、フレーム６０－１には商品が含まれていない。その後、ユーザが買い物カゴから商品５０－１を取り出して移動させた結果、フレーム６０－２には商品５０－１が含まれている。そこで比較部２２は、商品５０－１を、フレーム６０－２には含まれているがフレーム６０－１には含まれていない商品として割り出す。その結果、登録部２４により、商品５０－１が精算対象として登録される。
　図６は、第１フレームと第２フレームを例示する第２の図である。図６の各フレームは、図５のフレーム６０－２よりも後に生成されたものである。そのため図６では、既に商品５０－１が載置台４０に置かれている。よって、商品５０－１はフレーム６０－１に含まれている。
　その後、ユーザが商品５０－２を買い物カゴから取り出して移動させた結果、フレーム６０－２には、商品５０－１だけでなく、商品５０－２も含まれている。そこで比較部２２は、フレーム６０－２には含まれているがフレーム６０－１には含まれていない商品として、商品５０－２を割り出す。その結果、登録部２４により、商品５０－２が精算対象として登録される。
　なお、図６の例において、商品５０－１はフレーム６０－１にも含まれている。そのため、図６に示したフレーム同士の比較の結果では、商品５０－１は精算対象として登録されない。この場合、商品５０－１は、載置台４０に置くために移動されたタイミング（例えば図５のフレーム６０－１及びフレーム６０－２が比較部２２によって比較されたタイミング）で、既に精算対象として登録されている。
＜＜商品を区別する方法＞＞
　２つのフレームに含まれている商品を比較するために、比較部２２は、各フレームに含まれている商品を区別する必要がある。以下、比較部２２が商品を区別する方法を例示する。
＜＜方法１＞＞
　例えば比較部２２は、商品が撮像範囲に含まれていない状態で撮像装置３０によって生成される撮像画像を、基準の画像として予め保持しておく。そして比較部２２は、第１フレームと基準画像との差分を抽出することにより、第１フレームから、基準画像に含まれていないオブジェクトを抽出する。そして、抽出した各オブジェクトを商品として扱う。比較部２２は、同様の処理を第２フレームについても行う。
　次に比較部２２は、第１フレームから抽出したオブジェクトと第２フレームから抽出したオブジェクトとのマッチングを行う。より具体的には、比較部２２は、第１フレームから抽出した各オブジェクトの特徴量と、第２フレームから抽出した各オブジェクトの特徴量とを比較し、特徴量の一致度合いが高い（類似度合いが高い）オブジェクト同士を、同一のオブジェクトとして扱う。そして比較部２２は、第２フレームから抽出したオブジェクトの内、第１フレームから抽出されたどのオブジェクトともマッチングされなかったオブジェクト（第１フレームから抽出されたどのオブジェクトとも類似度が低いオブジェクト）を、第２フレームには含まれているものの第１フレームには含まれていない商品として扱う。なお、オブジェクトの特徴量とは、そのオブジェクトの形状、色及び模様などの特徴を表す情報である。
　図７は、オブジェクトのマッチングを行う様子を例示する図である。図７において、フレーム６０－１にはオブジェクト８０－１が含まれている。一方、フレーム６０－２にはオブジェクト８０－２及びオブジェクト８０－３が含まれている。ここで、オブジェクト８０－１の形状は、オブジェクト８０－２の形状との類似度合いは高い一方で、オブジェクト８０－３の形状との類似度合いが低い。そこで比較部２２は、オブジェクト８０－１とオブジェクト８０－２が同じ商品を表していることを割り出す。その結果、比較部２２は、オブジェクト８０－３によって表される商品を、フレーム６０－２には含まれているもののフレーム６０－１には含まれていない商品として扱う。
　ここで、ユーザが同じ種類の商品を複数購入する場合がある。この場合、特徴量の類似度合いが高い複数のオブジェクトがフレームに含まれる場合がある。図８は、１つのフレームに特徴量の類似度合いが高い複数のオブジェクトが含まれる様子を例示する図である。図８において、フレーム６０－１にはオブジェクト８０－１が含まれており、フレーム６０－２にはオブジェクト８０－２及びオブジェクト８０－３が含まれている。ここで、オブジェクト８０－１とオブジェクト８０－２は同じ商品を表す。また、オブジェクト８０－３によって表される商品は、オブジェクト８０－１及びオブジェクト８０－２によって表される商品と同じ種類の商品である。よって、オブジェクト８０－１からオブジェクト８０－３についてそれぞれ算出される特徴量は、互いに一致度合いが高い。
　このような場合、比較部２２は、各オブジェクト８０の位置を利用して、同じ商品を表しているオブジェクト８０を特定する。具体的には、比較部２２は、フレーム６０－１に含まれているオブジェクト８０－１との距離が短いオブジェクト８０－２によって表される商品を、オブジェクト８０－１によって表される商品と同じ商品として扱う。一方、比較部２２は、オブジェクト８０－１との距離が長いオブジェクト８０－３によって表される商品を、オブジェクト８０－１によって表される商品とは異なる商品（撮像装置３０によって新たに撮像された商品）として扱う。つまり、比較部２２は、オブジェクト８０－３によって表される商品を、フレーム６０－２には含まれているがフレーム６０－１には含まれていない商品として扱う。
＜＜方法２＞＞
　比較部２２は、フレームに含まれている商品の識別子（以下、商品ＩＤ（Identifier））を割り出し、その商品ＩＤを用いて商品を区別してもよい。例えば、商品ＩＤは、各商品に関する情報を管理する商品データベースにおいて、商品の画像と対応付けられて記憶されている。まず比較部２２は、方法１で説明した方法と同様の方法で、フレームからオブジェクトを抽出する。そして比較部２２は、抽出したオブジェクトと、商品データベースに格納されている各商品の画像とをマッチングすることにより、フレームに含まれている各オブジェクトが表す商品の商品ＩＤを特定する。こうすることで、比較部２２は、フレームに含まれている各商品を、その商品の商品ＩＤによって区別する。
　なお、商品ＩＤを特定する方法は上述の方法に限定されない。例えば比較部２２は、フレームに含まれている商品に付された種々のコード（バーコードや QR コード（登録商標）など）を解析することで、その商品の商品ＩＤを特定してもよい。
　ここで、同じ種類の商品に同じ商品ＩＤが割り当てられている場合、比較部２２は、１つのフレームに含まれている同じ種類の商品を商品ＩＤで区別することができない。この場合、比較部２２は、方法１で図８を用いて説明した方法と同様に、各オブジェクトの位置を利用して、同じ商品を表しているオブジェクトを特定する。
　例えば図８に示した例において、オブジェクト８０－１及びオブジェクト８０－２によって表される商品と、オブジェクト８０－３によって表される商品とに、同じ商品ＩＤが割り当てられているとする。この場合、比較部２２は、フレーム６０－１に含まれているオブジェクト８０－１との距離が短いオブジェクト８０－２によって表される商品を、オブジェクト８０－１によって表される商品と同じ商品として扱う。一方、比較部２２は、オブジェクト８０－１との距離が長いオブジェクト８０－３によって表される商品を、オブジェクト８０－１によって表される商品とは異なる商品（撮像装置３０によって新たに撮像された商品）として扱う。
＜どのフレームを第１フレームと第２フレームとして扱うか＞
　比較部２２は、商品映像に含まれる２つの互いに異なるフレームを、第１フレームと第２フレームとして扱う。前述したように、第２フレームは第１フレームよりも後に生成されたフレームである。比較部２２が、商品映像に含まれるフレームのうち、どのフレームを第１フレームと第２フレームとして扱うか（どのフレームを比較処理の対象とするか）を決定する方法は様々である。図９は、処理対象のフレームを決定する方法を例示する図である。ここで、第１フレームをフレーム a、第２フレームをフレーム b とした場合において、第１フレームと第２フレームのペアを P(a, b) と表記する。a と b はそれぞれフレーム番号である。
　図９（ａ）において、比較部２２は、時系列において連続する２つのフレームを第１フレーム及び第２フレームとしている。つまり、第１フレームのフレーム番号を Fi とすれば、第１フレームと第２フレームのペアは P(Fi, Fi+1) である。また図９（ａ）において、比較部２２は、フレーム F1 からフレーム Fn（Fn > F1）に含まれる全てのペア P(Fi, Fi+1) について比較処理を行う。よって、P(Fi, Fi+1) の次のペアは P(Fi+1, Fi+2) である。なお、最初のフレーム F1 と最後のフレーム Fn の決定方法については後述する。
　図９（ｂ）では、図９（ａ）と同様に、時系列において連続する２つのフレームのペアである P(Fi, Fi+1) が比較部２２によって比較される。ただし、比較部２２は、所定間隔k を空けて各ペアを選択している。よって、P(Fi, Fi+1) の次のペアは、P(Fn+k, Fn+k+1) である。k の値は任意に設定可能である。k を示す情報は、比較部２２に予め設定されていてもよいし、比較部２２からアクセス可能な記憶部に記憶されていてもよい。
　図９（ｃ）において、比較部２２は、第１フレームよりも所定の数 m 後のフレームを第２フレームとする。つまり、P(Fi, Fi+m) のペアが第１フレームと第２フレームとして選択される。また図９（ｃ）において、比較部２２が第１フレームとして扱うフレームは、その前の比較処理で第２フレームとして扱われたフレームである。よって、P(Fi, Fi+m) の次のペアは P(Fi+m, Fi+2m) である。m の値は任意に設定可能である。k を示す情報は、比較部２２に予め設定されていてもよいし、比較部２２からアクセス可能な記憶部に記憶されていてもよい。
　図９（ｄ）において、比較部２２は、図９（ｃ）の場合と同様に、P(Fi, Fi+m) のペアを第１フレームと第２フレームとする。ただし図９（ｄ）では、所定の間隔 k（k > m）を空けて各ペアを選択している。よって、P(Fi, Fi+m) の次のペアは P(Fi+k, Fi+k+m) である。
　上述の図９（ａ）から図９（ｄ）を用いて説明した各方法の内、どの方法を用いて第１フレームと第２フレームのペアを決定するかを示す情報は、比較部２２に予め設定されていてもよいし、比較部２２からアクセス可能な記憶装置に記憶されていてもよい。また、第１フレームと第２フレームのペアを決定する方法は、上述の方法に限定されない。
＜＜最初のフレーム F1 と最後のフレーム Fn の決定方法＞＞
　最初のフレーム F1 と最後のフレーム Fn の決定方法は様々である。例えば比較部２２は、商品登録装置２０の実行を開始してから商品登録装置２０の実行を終了するまでに生成された商品映像を比較処理の対象とする。この場合、F1 は商品登録装置２０の実行を開始した際に生成されたフレームであり、Fn は商品登録装置２０の実行を終了する直前に生成されたフレームである。
　また例えば、比較部２２は、精算対象の登録処理の開始を指示する入力操作を受け付けてから、精算対象の登録処理の終了を指示する入力操作を受け付けるまでの間に生成される商品映像を比較処理の対象としてもよい。この場合、F1 は精算対象の登録処理の開始を指示する入力操作を受け付けたタイミングで生成されたフレームであり、Fn は精算対象の登録処理の終了を指示する入力操作を受け付けたタイミングで生成されたフレームである。ここで、精算対象の登録処理の開始を指示する操作は、例えば「登録開始」というボタンを押す操作である。また、精算対象の登録処理の終了を指示する操作は、例えば「小計」というボタンを押す操作である。
　このように、精算対象の登録処理の開始から終了までの間に生成される商品映像のみを比較処理の対象とすることで、比較処理の対象とするフレームの数を減らすことができるため、商品登録装置２０によって使用される計算機資源の量が削減される。
＜商品の登録について＞
　登録部２４は、第２フレームに含まれている商品の内、第１フレームに含まれていない商品を精算対象として登録する（Ｓ１０４）。例えば登録部２４は、精算対象として登録される商品に関する精算情報を生成することで、商品を精算対象として登録する。精算情報は、精算対象として登録された商品の精算処理に関する情報である。例えば登録部２４は、生成した精算情報を、商品登録装置２０の内部又は外部の記憶部に記憶する。
　一度の精算の精算対象には、複数の商品が含まれうる。例えば商品登録装置２０は、精算対象の登録処理の開始を指示する入力操作を受け付けた後から、精算対象の登録処理の終了を指示する入力操作を受け付けるまでの間に登録された１つ又は複数の商品を、一度の精算の精算対象として登録する。
　一度の精算の精算対象を表す精算情報は、精算対象として登録された各商品のＩＤなどを示す。また精算情報は、精算対象として登録された商品の個数、取引番号、各商品の金額、及び精算金額などをさらに示してもよい。
　図１０は、精算情報をテーブル形式で例示する図である。図１０に示す精算情報を、精算情報３００と表記する。精算情報３００は、精算情報ＩＤ３０２及び商品リスト３０４という２つの列を有する。商品リスト３０４は、精算対象として登録された商品ＩＤのリストである。商品ＩＤ３０６は、精算対象として登録された商品のＩＤである。
　なお、精算対象の商品について精算情報を生成する具体的な方法には様々な既知の技術を利用できるため、この方法に関する説明は省略する。
＜商品ＩＤの特定について＞
　商品登録装置２０は、商品映像を用いて、精算対象として登録する商品の商品ＩＤを特定する。ここで、商品登録装置２０が商品映像に含まれている商品の商品ＩＤを特定するタイミングは様々である。例えば前述したように、比較部２２が、比較対象のフレームから各商品の商品ＩＤを特定する。そして登録部２４は、比較部２２によって特定された商品のＩＤを用いる。また、比較部２２がフレーム同士の比較に商品ＩＤを用いない場合、例えば登録部２４は、商品を精算対象として登録する際に、その商品の商品ＩＤを特定する。なお、商品映像を用いて商品の商品ＩＤを特定する方法については、前述した通りである。
＜商品登録装置２０について＞
　商品登録装置２０は、店員によって操作される装置であってもよいし、顧客によって操作される装置であってもよい。後者の場合、顧客が自ら商品登録装置２０に商品の登録処理を行わせる。
　商品登録装置２０は、精算対象として登録された商品の精算処理を行う機能を有していてもよいし、有していなくてもよい。例えば精算処理は、精算情報に示されている精算金額を顧客に提示する処理、顧客による代金の投入を受け付ける処理、投入された代金を数え上げる処理、顧客に対しておつりを排出する処理、及びレシートを発行する処理などを含む。商品登録装置２０が精算処理を行う機能を有していない場合、店舗には別途、精算処理を行う機能を有する装置が設置される。
＜他の動作例＞
　実施形態１の商品登録装置２０の別の動作例についてさらに説明する。この動作例では、ユーザが複数の商品５０を積み重ねて載置台４０に置いている。図１１は、２つの商品が載置台４０の上に積み重ねられて置かれるケースを例示する図である。この場合、まず比較部２２により、商品５０－２の上に重ねられた状態の商品５０－１が含まれる前のフレームを第１フレームとし、商品５０－２の上に重ねられた状態の商品５０－１が含まれた後のフレームを第２フレームとして比較処理が行われる。その結果、比較部２２は、商品５０－１が、第２フレームに含まれているものの第１フレームには含まれていない商品であると判定する。よって、登録部２４は、商品５０－１を精算対象として登録する。ここで、商品５０－２は商品５０－１に隠れて商品映像３２に含まれていないため、このタイミングでは精算対象として登録されない。
　その後ユーザは、積み重ねられた状態の商品５０－１と商品５０－２を載置台４０に置く。そしてユーザは、商品５０－２の上に乗っている商品５０－１を移動させる。これにより、その後の商品映像３２には商品５０－２が含まれる。そのため、商品５０－２が含まれる前のフレームを第１フレームとし、商品５０－２が含まれた後のフレームを第２フレームとして、比較部２２による比較処理が行われる。その結果、比較部２２は、商品５０－２が、第２フレームに含まれているものの第１フレームには含まれていない商品であると判定する。よって、登録部２４は、商品５０－２を精算対象として登録する。
　図１１に示した例によれば、ユーザは、複数の商品５０を積み重ねた状態で載置台４０の上に置き、その後に上の商品から順に移動させていけば、各商品５０を精算対象として登録させることができる。よって、複数の商品５０を一度に載置台４０へ置くことができるため、商品５０を移動する労力が削減される。
［実施形態２］
　実施形態２の商品登録装置２０は、実施形態１の商品登録装置２０と同様に、例えば図１に示される構成を有する。以下で説明する点を除き、実施形態２の商品登録装置２０は、実施形態１の商品登録装置２０と同様の機能を有する。
　実施形態２の商品登録装置２０は、商品が一時的に撮像装置３０によって撮像されなくなった場合などにおいて、その商品が誤って２回精算対象として登録されることが無いように動作する。以下、具体的に説明する。
　図１２は、実施形態２の商品登録装置２０の動作を説明するための図である。ここで以下、商品映像３２のフレーム a からフレーム b によって構成される映像を、部分映像 V(a, b) と表記する。図１２において、部分映像 V(Fn1, Fn2) からは、オブジェクト８０－１が抽出される。また、部分映像 V(Fn3, Fn4) からは、オブジェクト８０－２が抽出される。ここで、オブジェクト８０－１によって表される商品とオブジェクト８０－２によって表される商品は、同じ種類の商品である。そして、部分映像 V(Fn2+1, Fn3-1) らは、オブジェクト８０－１とオブジェクト８０－２のいずれもが抽出されない。
　図１２の例では、１）オブジェクト８０－１によって表される商品とオブジェクト８０－２によって表される商品が異なる商品である場合と、２）オブジェクト８０－１によって表される商品とオブジェクト８０－２によって表される商品が同じ商品である場合の２つのケースが考えられる。図１３は、オブジェクト８０－１によって表される商品とオブジェクト８０－２によって表される商品が異なる商品である場合を例示する図である。一方、図１４は、オブジェクト８０－１によって表される商品とオブジェクト８０－２によって表される商品が同じ商品である場合を例示する図である。
　図１３の例では、ユーザはまず、商品５０－１を買い物カゴから取り出し、載置台４０の上で商品５０－１を通過させる。そのため、部分映像 V(Fn1, Fn2) からは、商品５０－１を表すオブジェクト８０－１が抽出される。しばらく後、ユーザは商品５０－２を買い物カゴから取り出して、載置台４０の上で商品５０－２を通過させる。そのため、部分映像 VFn3, Fn4) からは、商品５０－２を表すオブジェクト８０－２が抽出される。また、部分映像 V(Fn2+1, Fn3-1) からは、オブジェクト８０－１とオブジェクト８０－２のいずれもが抽出されない。この場合、登録部２４は、オブジェクト８０－１によって表される商品５０－１とオブジェクト８０－２によって表される商品５０－２の双方を精算対象として登録する必要がある。
　図１４の例では、ユーザはまず、商品５０－１を買い物カゴから取り出して載置台４０の上に置く。そのため、部分映像 V(Fn1, Fn2) からは、商品５０－１を表すオブジェクト８０－１が抽出される。その後、部分映像 V(Fn2+1, Fn3-1) が生成される間、ユーザの手９０が商品５０－１を覆い隠すように撮像装置３０の撮像範囲に入っている。そのためこの間、商品５０－１が商品映像３２に含まれない。さらにその後、ユーザの手９０が商品映像３２に含まれなくなり、再び商品５０－１が商品映像３２に含まれる。そのため、部分映像 V(Fn3, Fn4)からは、商品５０－１を表すオブジェクト８０－２が抽出される。また、部分映像 V(F2n+1, F3n-1)からは、商品５０－１を表すオブジェクトが抽出されない。この場合、登録部２４は、オブジェクト８０－１によって表される商品とオブジェクト８０－２によって表される商品が同一の商品であることを把握し、商品５０－１を１つ精算対象として登録すべきである。もし登録部２４がオブジェクト８０－１によって表される商品とオブジェクト８０－２によって表される商品を個々に登録してしまうと、１つの商品を誤って２度精算対象として登録してしまうことになる（いわゆる二度読みが発生する）。
　そこで実施形態２の商品登録装置２０は、次のように動作する。まず比較部２２は、第２フレームに含まれているものの第１フレームには含まれていない商品があった場合、第２フレームよりも所定数前のフレームから第２フレームの直前までのフレーム列の中に、該当商品と同じ種類の商品が含まれているフレームがあるか否かを判定する。そして登録部２４は、そのフレーム列の中に該当商品と同じ種類の商品が含まれているフレームがあれば、該当商品を精算対象として登録しない。一方登録部２４は、そのフレーム列の中に該当商品と同じ種類の商品が含まれているフレームがなければ、該当商品を精算対象として登録する。
　例えば図１２の例において、比較部２２が、フレーム F3n を第２フレームとし、フレーム F3n-1 を第１フレームとして比較処理を行うとする。この場合、オブジェクト８０－２によって表される商品は、第２フレームに含まれているものの第１フレームには含まれていない商品であると判定される。そこで比較部２２は、フレーム F3n よりも所定数前のフレームからフレーム F3n-1 までのフレーム列の中に、オブジェクト８０－２によって表される商品と同じ種類の商品が含まれているか否かを判定する。
　ここで、上記所定数が F3n-F2n 以上であれば、上記フレーム列にはフレーム F2n 以前のフレームが含まれる。よって、上記フレーム列の中には、オブジェクト８０－１が抽出されるフレームがある。そして、オブジェクト８０－１によって表される商品とオブジェクト８０－２によって表される商品は同じ種類の商品である。そのため登録部２４は、フレーム F3n から抽出されたオブジェクト８０－２によって表される商品を、精算対象として登録しない。
　一方、上記所定数が F3n-F2n より小さければ、上記フレーム列にはフレーム F2n 以前のフレームが含まれない。よって、上記フレーム列の中には、オブジェクト８０－２によって表される商品と同じ商品が含まれているフレームがない。そこで登録部２４は、フレーム F3n に含まれているオブジェクト８０－２によって表される商品を、精算対象として登録する。
　上述の処理は、図１４のように或る商品が一時的に商品映像３２に含まれない時間の長さ（図１４における部分映像 V(Fn2+1, Fn3-1) の長さ）と、図１３のように同じ種類の異なる商品をそれぞれ登録する場合においてそれらの商品が商品映像３２に含まれない時間の長さ（図１３における部分映像 V(Fn2+1, Fn3-1) の長さ）の違いに着目している。一般に、図１４のように或る商品が一時的に商品映像３２に含まれなくなる時間の長さは、２つの異なる商品を精算対象として登録させる場合において１つ目の商品を登録させてから次の商品を登録させるまでの時間よりも短いと考えられる。
　そこで、比較部２２は、第２フレームよりも所定数前のフレームから第２フレームの直前までのフレーム列の中に、第２フレームに含まれているものの第１フレームには含まれていない商品と同じ種類の商品が含まれている場合、その商品を精算対象として登録しない。こうすることで、実施形態２の商品登録装置２０は、一時的に商品映像３２に含まれなかった商品を誤って２度精算対象として登録してしまうことを防止し、精算対象として登録される商品の個数を正確に把握する。
　なお、上記所定数は任意の数に設定することができる。この所定数は、比較部２２に予め設定されていてもよいし、比較部２２からアクセス可能な記憶装置に記憶されていてもよい。なお、所定数の代わりに、所定時間が設定されていてもよい。この場合、比較部２２は、商品映像３２のフレームレートと所定時間の積を算出することで、上記所定数を算出する。
　また、上述した処理において比較部２２は、「第２フレーム列よりも所定数前のフレームから第２フレームの直前までのフレーム列」を用いているが、このフレーム列の末尾は必ずしも第２フレームの直前に限定されない。例えば比較部２２は、「第２フレーム列よりも第１所定数前のフレームから、第２フレームよりも第２所定数前のフレームまでのフレーム列」を用いてもよい。ここで、第１所定数は第２所定数よりも大きい。第１所定数と第２所定数は任意の数に設定することができる。
＜処理の流れ＞
　図１５は、実施形態２の商品登録装置２０によって実行される処理の流れを例示するフローチャートである。まず比較部２２は、第２フレームに含まれている商品の中に、第１フレームに含まれていない商品があるか否かを判定する（Ｓ２０２）。第２フレームに含まれている商品の中に第１フレームに含まれていない商品がある場合（Ｓ２０２：ＹＥＳ）、図１５の処理はＳ２０４に進む。一方、第２フレームに含まれている商品の中に、第１フレームに含まれていない商品がない場合（Ｓ２０２：ＮＯ）、図１５の処理は終了する。
　Ｓ２０４において、比較部２２は、第２フレームより所定数前のフレームから第２フレームの直前までのフレーム列の中に、第２フレームに含まれているものの第１フレームに含まれていない商品（以下、該当商品）と同じ種類の商品が含まれているフレームがあるか否かを判定する。上記フレーム列の中に該当商品と同じ種類の商品が含まれているフレームがある場合（Ｓ２０２：ＹＥＳ）、図１５の処理は終了する。一方、上記フレーム列の中に該当商品と同じ種類の商品が含まれているフレームがない場合（Ｓ２０２：ＮＯ）、図１５の処理はＳ２０６に進む。Ｓ２０６において、登録部２４は該当商品を精算対象として登録する。
＜ハードウエア構成例＞
　実施形態２の商品登録装置２０は、実施形態１と同様に計算機２００を用いて実現される（図２参照）。本実施形態において、前述したストレージ２０８に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　映像の第１のフレームと、前記映像において前記第１のフレームよりも後の時間に生成された第２のフレームとを比較して、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す比較手段と、
　前記割り出された商品を精算対象として登録する登録手段と、
　を有する情報処理装置。
２．　前記比較手段は、前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、前記第２のフレームから抽出されたオブジェクトの内、前記第１のフレームから抽出された各オブジェクトとの類似度合いが低いオブジェクトによって表される商品を、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品とする、１．に記載の情報処理装置。
３．　前記比較手段は、
　　前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、
　　商品の画像と識別子とを対応付けた情報を用いて、前記抽出された各オブジェクトによって表される商品の識別子を割り出し、
　　前記第１のフレームに含まれている各商品の識別子と、前記第２のフレームに含まれている各商品の識別子とを比較することで、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す、１．に記載の情報処理装置。
４．　前記登録手段は、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、１．乃至３．いずれか一つに記載の情報処理装置。
５．　前記映像を生成する撮像装置は精算対象の商品が置かれる台を上方から撮影する、１．乃至４．いずれか一つに記載の情報処理装置。
６．　コンピュータによって実行される制御方法であって、
　映像の第１のフレームと、前記映像において前記第１のフレームよりも後の時間に生成された第２のフレームとを比較して、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す比較ステップと、
　前記割り出された商品を精算対象として登録する登録ステップと、
　を有する制御方法。
７．　前記比較ステップは、前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、前記第２のフレームから抽出されたオブジェクトの内、前記第１のフレームから抽出された各オブジェクトとの類似度合いが低いオブジェクトによって表される商品を、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品とする、６．に記載の制御方法。
８．　前記比較ステップは、
　　前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、
　　商品の画像と識別子とを対応付けた情報を用いて、前記抽出された各オブジェクトによって表される商品の識別子を割り出し、
　　前記第１のフレームに含まれている各商品の識別子と、前記第２のフレームに含まれている各商品の識別子とを比較することで、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す、６．に記載の制御方法。
９．　前記登録ステップは、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、６．乃至８．いずれか一つに記載の制御方法。
１０．　前記映像を生成する撮像装置は精算対象の商品が置かれる台を上方から撮影する、６．乃至９．いずれか一つに記載の制御方法。
１１．　６．乃至１０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
　この出願は、２０１６年１月２１日に出願された日本出願特願２０１６－００９７４９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (11)

  1. 　映像の第１のフレームと、前記映像において前記第１のフレームよりも後の時間に生成された第２のフレームとを比較して、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す比較手段と、
    　前記割り出された商品を精算対象として登録する登録手段と、
    　を有する情報処理装置。
  2. 　前記比較手段は、前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、前記第２のフレームから抽出されたオブジェクトの内、前記第１のフレームから抽出された各オブジェクトとの類似度合いが低いオブジェクトによって表される商品を、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品とする、請求項１に記載の情報処理装置。
  3. 　前記比較手段は、
    　　前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、
    　　商品の画像と識別子とを対応付けた情報を用いて、前記抽出された各オブジェクトによって表される商品の識別子を割り出し、
    　　前記第１のフレームに含まれている各商品の識別子と、前記第２のフレームに含まれている各商品の識別子とを比較することで、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す、請求項１に記載の情報処理装置。
  4. 　前記登録手段は、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、請求項１乃至３いずれか一項に記載の情報処理装置。
  5. 　前記映像を生成する撮像装置は精算対象の商品が置かれる台を上方から撮影する、請求項１乃至４いずれか一項に記載の情報処理装置。
  6. 　コンピュータによって実行される制御方法であって、
    　映像の第１のフレームと、前記映像において前記第１のフレームよりも後の時間に生成された第２のフレームとを比較して、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す比較ステップと、
    　前記割り出された商品を精算対象として登録する登録ステップと、
    　を有する制御方法。
  7. 　前記比較ステップにおいて、前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、前記第２のフレームから抽出されたオブジェクトの内、前記第１のフレームから抽出された各オブジェクトとの類似度合いが低いオブジェクトによって表される商品を、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品とする、請求項６に記載の制御方法。
  8. 　前記比較ステップにおいて、
    　　前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、
    　　商品の画像と識別子とを対応付けた情報を用いて、前記抽出された各オブジェクトによって表される商品の識別子を割り出し、
    　　前記第１のフレームに含まれている各商品の識別子と、前記第２のフレームに含まれている各商品の識別子とを比較することで、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す、請求項６に記載の制御方法。
  9. 　前記登録ステップにおいて、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、請求項６乃至８いずれか一項に記載の制御方法。
  10. 　前記映像を生成する撮像装置は精算対象の商品が置かれる台を上方から撮影する、請求項６乃至９いずれか一項に記載の制御方法。
  11. 　請求項６乃至１０いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
PCT/JP2016/087281 2016-01-21 2016-12-14 情報処理装置、制御方法、及びプログラム WO2017126256A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/071,010 US10824873B2 (en) 2016-01-21 2016-12-14 Information processing apparatus, control method, and program
JP2017562473A JP6801677B2 (ja) 2016-01-21 2016-12-14 情報処理装置、制御方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-009749 2016-01-21
JP2016009749 2016-01-21

Publications (1)

Publication Number Publication Date
WO2017126256A1 true WO2017126256A1 (ja) 2017-07-27

Family

ID=59362578

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087281 WO2017126256A1 (ja) 2016-01-21 2016-12-14 情報処理装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US10824873B2 (ja)
JP (1) JP6801677B2 (ja)
WO (1) WO2017126256A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021915A (ja) * 2012-07-23 2014-02-03 Toshiba Tec Corp 商品認識装置及び認識辞書追加プログラム
JP2014052805A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
WO2015147333A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 売上登録装置、プログラム及び売上登録方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127013A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 販売時点情報管理装置
JP5558433B2 (ja) * 2011-08-17 2014-07-23 東芝テック株式会社 店舗システム、および商品登録方法
JP5431429B2 (ja) 2011-09-06 2014-03-05 東芝テック株式会社 情報処理装置及びプログラム
JP6141207B2 (ja) * 2014-01-07 2017-06-07 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6369258B2 (ja) * 2014-09-22 2018-08-08 カシオ計算機株式会社 商品登録装置、商品登録方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021915A (ja) * 2012-07-23 2014-02-03 Toshiba Tec Corp 商品認識装置及び認識辞書追加プログラム
JP2014052805A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
WO2015147333A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 売上登録装置、プログラム及び売上登録方法

Also Published As

Publication number Publication date
US20190026562A1 (en) 2019-01-24
JPWO2017126256A1 (ja) 2018-11-15
JP6801677B2 (ja) 2020-12-16
US10824873B2 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
JP6686290B2 (ja) システム及び方法
US20190019207A1 (en) Apparatus and method for store analysis
US20190303946A1 (en) Information processing system, and customer identification apparatus
JP7310969B2 (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
US20190385141A1 (en) Check-out system with merchandise reading apparatus and pos terminal
JP2023041760A (ja) 登録装置、登録方法及びプログラム
JP2018159965A (ja) 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP6443184B2 (ja) 精算システム、商品登録装置、精算装置、プログラム、及び精算方法
CN112154488B (zh) 信息处理装置、控制方法和程序
WO2019215966A1 (ja) 登録システム、登録方法及びプログラム
JP7248010B2 (ja) 登録システム、登録方法及びプログラム
WO2017126256A1 (ja) 情報処理装置、制御方法、及びプログラム
JP7322945B2 (ja) 処理装置、処理方法及びプログラム
WO2017126255A1 (ja) 情報処理装置、制御方法、及びプログラム
JP7243766B2 (ja) 情報処理装置、及び制御方法
JP6696554B2 (ja) 精算システム及び精算方法
JP2020074082A (ja) 商品登録装置、プログラム、及び制御方法
JP7205603B2 (ja) 登録装置、登録方法及びプログラム
WO2023187993A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
CN113096329B (zh) 结账处理方法、登记处理方法、结账装置及存储介质
WO2017126245A1 (ja) 情報処理装置、制御方法、及びプログラム
US20240185204A1 (en) Information processing apparatus, information processing method, and recording medium
US20220092573A1 (en) Portable terminal and information processing method for a portable terminal
JP6586992B2 (ja) 情報処理システム、商品登録装置、プログラム、制御方法
JP2023017034A (ja) 登録装置、登録方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886495

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017562473

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16886495

Country of ref document: EP

Kind code of ref document: A1