WO2017126255A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2017126255A1
WO2017126255A1 PCT/JP2016/087280 JP2016087280W WO2017126255A1 WO 2017126255 A1 WO2017126255 A1 WO 2017126255A1 JP 2016087280 W JP2016087280 W JP 2016087280W WO 2017126255 A1 WO2017126255 A1 WO 2017126255A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
frame
video
registration
predetermined time
Prior art date
Application number
PCT/JP2016/087280
Other languages
English (en)
French (fr)
Inventor
金野　大
岩元　浩太
松本　信一
善弘 伊藤
晋哉 山崎
可菜子 多賀
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2017126255A1 publication Critical patent/WO2017126255A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers

Definitions

  • the present invention relates to an apparatus used for settlement of goods.
  • a process of registering a product as a payment target is performed.
  • processing is performed by causing a barcode reader or the like provided in the product registration apparatus to read a barcode or the like attached to the product.
  • Patent Document 1 discloses a technique of registering a plurality of products as a settlement target at once by capturing a plurality of products placed on a mounting table from a plurality of different directions with a plurality of imaging devices.
  • An object of the present invention is to provide a technique for improving the efficiency of work for registering a product as a settlement target.
  • the information processing apparatus includes: 1) a position calculating unit that calculates a position of the product using a video imaged of the product; and 2) whether or not the product is stationary based on the calculated position. And registration means for registering a stationary product as a settlement target.
  • the control method of the present invention is executed by a computer.
  • the control method includes 1) a position calculating step for calculating the position of the product using a video image of the product, and 2) determining whether or not the product is stationary based on the calculated position. And a registration step of registering a stationary product as a checkout target.
  • the program of the present invention causes a computer to execute each step performed by the information processing apparatus of the present invention.
  • FIG. 1 It is a block diagram which illustrates the goods registration device concerning Embodiment 1. It is a figure which illustrates the hardware constitutions of the computer which implement
  • FIG. It is a figure which illustrates the magnitude
  • FIG. It is a figure which illustrates payment information in a table format. It is a figure which illustrates a mode that one goods is registered as a payment object in time series. It is a figure showing a mode that a plurality of goods were registered as an object of settlement in time series. It is a figure which illustrates the case where two goods stacked and placed on the stand. It is a figure for demonstrating operation
  • FIG. It is a figure for demonstrating the effect of the goods registration apparatus of Embodiment 2.
  • each block diagram unless otherwise specified, each block represents a functional unit configuration, not a hardware unit configuration.
  • FIG. 1 is a block diagram illustrating a product registration device 20 according to the first embodiment.
  • the product registration device 20 is used for processing for registering a product as a payment target (hereinafter, product registration processing).
  • product registration processing A user (such as a clerk or a customer) of the product registration device 20 operates the product registration device 20 to perform product registration processing for each product purchased by the customer.
  • the product registration device 20 includes a position calculation unit 22 and a registration unit 24.
  • the position calculation unit 22 calculates the position of the product using a video (hereinafter, product video) in which the product is captured.
  • the registration unit 24 determines whether the product is stationary in the product image. Then, the registration unit 24 registers a product that is stationary in the product image as a payment target.
  • a stationary product among registered products is registered as a payment target. Therefore, even if a product being moved is included in the imaged product, a product that is already stationary is registered as a payment target. Therefore, since the products are registered as a payment target without waiting for all the products to be stationary (for example, placed on the mounting table), the efficiency of the product registration process is increased.
  • the clerk A removes the product from the product basket and places it on the mounting table.
  • the store clerk B packs a product registered as a payment target by the product registration device 20 in a bag.
  • the product registration device 20 of the present embodiment is used, the store clerk B can pack the products registered as a payment target in a bag without waiting for all the products to be placed on the mounting table. . Therefore, the time required for the entire registration work can be shortened compared to the case where all the commodities have to wait for being placed on the mounting table.
  • Each functional component of the product registration device 20 may be realized by hardware (for example, a hard-wired electronic circuit) that realizes each functional component, or a combination of hardware and software (for example: It may be realized by a combination of an electronic circuit and a program for controlling it).
  • FIG. 2 is a diagram illustrating a hardware configuration of a computer 200 that implements the product registration apparatus 20 according to the first embodiment.
  • the computer 200 may be mounted using a dedicated device designed for a cash register terminal, or may be mounted using a general-purpose device such as a PC (Personal Computer) or a portable terminal.
  • PC Personal Computer
  • the computer 200 includes a bus 202, a processor 204, a memory 206, a storage 208, an input / output interface 210, and a network interface 212.
  • the bus 202 is a data transmission path for the processor 204, the memory 206, the storage 208, the input / output interface 210, and the network interface 212 to transmit / receive data to / from each other.
  • the processor 204 is an arithmetic processing unit such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the memory 206 is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the storage 208 is a storage device such as a hard disk, an SSD (Solid State Drive), or a memory card. Further, the storage 208 may be a memory such as a RAM or a “ROM”.
  • the input / output interface 210 is an interface for connecting the computer 200 and the input / output device.
  • the imaging device 30, the touch panel 214, the drawer 216, the change machine 218, and the receipt printer 220 are connected to the input / output interface 210.
  • the imaging device 30 is an imaging device that generates a product video (details will be described later).
  • the touch panel 214 is used, for example, for manually inputting the amount of goods.
  • the touch panel 214 displays various information such as information related to a product registered as a payment target.
  • the drawer 216 stores coins and banknotes.
  • the change machine 218 has an input port for inputting a price and an output port for discharging the change.
  • the receipt printer 220 issues a receipt or the like.
  • the computer 200 may be connected to an input interface other than the touch panel 214 such as a keyboard.
  • the network interface 212 is an interface for connecting the computer 200 to an external device so as to be communicable.
  • the network interface 212 may be a network interface for connecting to a wired line or a network interface for connecting to a wireless line.
  • the computer 200 that implements the merchandise registration apparatus 20 is connected to a store server that manages various devices installed in the store via a network.
  • the storage 208 stores program modules that realize each function of the product registration apparatus 20.
  • the processor 204 implements each function corresponding to the program module by executing each program module.
  • the processor 204 may execute the modules after reading them onto the memory 206 or without reading them onto the memory 206.
  • each program module may be stored in the memory 206.
  • the computer 200 may not include the storage 208.
  • the computer 200 does not necessarily need to be communicably connected to other devices via a network. Therefore, the computer 200 may not have the network interface 212.
  • the computer 200 may not include the drawer 216, the change machine 218, and the receipt printer 220.
  • the imaging device 30 images a product and generates a product image.
  • the imaging device 30 is an arbitrary imaging device that can capture a surrounding and generate a moving image.
  • the imaging device 30 may be provided in a housing dedicated to the imaging device, or may be provided integrally with another device (such as a camera incorporated in a smartphone).
  • the installation location of the imaging device 30 may be an arbitrary location where the product can be imaged.
  • the imaging device 30 is fixed at a position where a store clerk looks down directly on a mounting table used when registering a product to be settled.
  • FIG. 3 is a diagram illustrating an installation location of the imaging device 30. In FIG. 3, the imaging device 30 looks down on the mounting table 40 on which the product is placed.
  • the installation position of the imaging device 30 is not limited to the position shown in FIG.
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the product registration apparatus 20 according to the first embodiment.
  • the position calculation unit 22 calculates the position of the imaged product using the product video (S102).
  • the registration unit 24 determines whether the imaged product is stationary (S104). If the product is stationary (S104: YES), the product is registered as a payment target (S106). If the product is not stationary (S104: NO), the process in FIG. 4 ends. When a plurality of products are captured, the process shown in FIG. 4 is performed for each product.
  • the method by which the product registration device 20 acquires the product video is arbitrary.
  • the product registration device 20 acquires a product video from the imaging device 30.
  • the product registration device 20 is connected to the imaging device 30 so as to be communicable.
  • the merchandise registration apparatus 20 is connected to the imaging apparatus 30 via the input / output interface 210 as illustrated in FIG.
  • the product registration device 20 may acquire the product video from the storage device.
  • the merchandise registration apparatus 20 is communicably connected to this storage device.
  • the merchandise registration apparatus 20 is connected to this storage device via the input / output interface 210.
  • the product registration device 20 may not be connected to the imaging device 30 so as to be communicable.
  • the merchandise registration apparatus 20 may acquire product videos at all times, or may acquire only for a specific period. In the latter case, for example, the product registration device 20 starts acquiring the product video at the timing of starting the product registration process, and ends the acquisition of the product video at the timing of ending the product registration process. The product registration process starts or ends when the user performs a predetermined input operation on the product registration device 20, for example.
  • the position calculation unit 22 calculates the position of the imaged product using the product video (S102). Specifically, the position calculation unit 22 calculates the position of the product from each frame by performing image analysis on each frame included in the product video.
  • the position calculation unit 22 sets the coordinates of a specific position of the extracted product (for example, the position of the center of gravity of the product) as the position of the product. Further, for example, the position calculation unit 22 may divide the frame into a plurality of partial areas, and may use the ID (Identifier) of the partial area including the extracted product as the position of the product. When the product spans a plurality of partial areas, the position calculation unit 22 sets one ID of the plurality of partial areas as the position of the product. For example, the position calculation unit 22 sets the ID of the partial area including the position of the center of gravity of the product as the position of the product.
  • FIG. 5 is a diagram illustrating the position of the product.
  • the position of the product 50 is the coordinates of the center of gravity of the product 50.
  • the position of the product is represented by coordinates (x1, y1).
  • the coordinate system in FIG. 5A is a coordinate system in which the upper left corner of the frame is the origin, the right direction is the X axis direction, and the downward direction is the Y axis direction.
  • the position of the product is the ID of the partial area.
  • each frame of the product video is divided into partial areas D1 to D20.
  • the position of the product is D9.
  • the position calculation unit 22 calculates the position of the product from the frames for all the frames included in the product video. However, the position calculation unit 22 may calculate the position of the product only for some frames included in the product video. For example, the position calculation unit 22 calculates the position of the product every predetermined number of consecutive frames (for example, at a rate of 1 frame per 10 frames).
  • the position calculation unit 22 holds in advance a captured image generated by the imaging device 30 in a state where no product is included in the imaging range as a reference image. Then, the position calculation unit 22 extracts an object that is not extracted from the reference image from the processing target frame by extracting a difference between the processing target frame and the reference image. The extracted object is handled as a product.
  • the position calculation unit 22 recognizes that the same product is included in a plurality of frames, and grasps a change in the position of the same product (tracks the product). Therefore, the position calculation unit 22 needs to grasp the same product included in each frame. For example, the position calculation unit 22 calculates the feature amount of an object extracted from each frame, and handles objects having the same or similar feature amount as the same product.
  • FIG. 6 is a diagram illustrating a state in which a plurality of objects having approximate feature amounts are included in one frame.
  • the frame 60-1 includes an object 80-1
  • the frame 60-2 includes an object 80-2 and an object 80-3.
  • the object 80-1 and the object 80-2 represent the same product.
  • the object represented by the object 80-3 is the same type of product as the product represented by the object 80-1 and the object 80-2. Therefore, the feature amounts calculated for the object 80-1 to the object 80-3 are close to each other.
  • the position calculation unit 22 uses the position of each object 80 to identify the object 80 representing the same product. Specifically, the position calculation unit 22 converts the product represented by the object 80-2 having a short distance from the object 80-1 included in the frame 60-1 to the product represented by the object 80-1. Treat as the same product. On the other hand, the position calculation unit 22 detects a product that is represented by the object 80-3 that has a long distance from the object 80-1 and a product that is different from the product represented by the object 80-1 (a new image is captured by the imaging device 30). Product).
  • the registration unit 24 determines whether the product is stationary in the product image (S104). Specifically, the registration unit 24 calculates the movement range of the product in the product video based on the position of the product calculated from each frame of the product video for a predetermined time. The registration unit 24 determines that the product is stationary when the movement range of the product for a predetermined time is equal to or less than a predetermined size.
  • the “predetermined time” and the “predetermined size” may be values set in advance in the registration unit 24 or values stored in a storage device accessible from the registration unit 24. May be.
  • the registration unit 24 calculates the total movement distance of the product 50 in the product video 32 for a predetermined time as the size of the movement range of the product 50 for the predetermined time.
  • the total movement distance of the product 50 is calculated by, for example, the following formula (1).
  • d total represents the total moving distance.
  • d (i, i + 1) is the distance between the position of the product 50 in the frame i and the position of the product 50 in the frame (i + 1) that is the next frame of the frame i.
  • n is the total number of frames used for calculating the position of the product 50 among the frames included in the product video 32 for a predetermined time.
  • FIG. 7 is a diagram illustrating the size of the movement range of the product 50 calculated by the method 1.
  • the position of the product 50 in the frame i is represented by Pi.
  • the total number of frames included in the product video 32 for a predetermined time is four.
  • the size of the moving range of the product 50 is the sum of 5 which is the distance between P1 and P2, 6 which is the distance between P2 and P3, and 4 which is the distance between P3 and P4. . Therefore, the size of the moving range of the product 50 is 15.
  • the registration unit 24 determines that the product 50 is stationary for a predetermined time when the size of the moving range of the product 50 calculated by this method is equal to or less than a predetermined size. For example, in the example of FIG. 7, if the predetermined size is 20, the registration unit 24 determines that the product 50 is stationary. On the other hand, in the example of FIG. 7, if the predetermined size is 10, the registration unit 24 determines that the product 50 is not stationary.
  • the predetermined size can be set as appropriate according to the operating environment.
  • the predetermined size is 5 cm.
  • the process of converting the distance on the frame represented by the number of pixels into a distance in real space such as centimeters is a parameter such as the distance between the imaging device 30 and the mounting table 40 and the angle of view of the imaging device 30. Can be used.
  • the registration unit 24 calculates the size of a predetermined graphic that includes all the positions of the product 50 in the product video 32 for a predetermined time as the size of the movement range of the product 50 during the predetermined time.
  • the predetermined figure is, for example, a circle or a rectangle.
  • the size of the circle is expressed by a diameter, for example.
  • the size of the rectangle is represented by the length of a diagonal line, for example.
  • FIG. 8 is a diagram illustrating the size of the movement range of the product 50 calculated by the method 2.
  • Circle 70 is the smallest circle that encompasses all of P1 through P4.
  • the diameter of the circle 70 is 5. Therefore, the registration unit 24 sets the size of the movement range of the product 50 in a predetermined time to 5.
  • the registration unit 24 determines that the product 50 is stationary for a predetermined time when the size of the moving range of the product 50 calculated by this method is equal to or less than a predetermined size. For example, in the example of FIG. 8, if the predetermined size is 10, the registration unit 24 determines that the product 50 is stationary. On the other hand, in the example of FIG. 8, if the predetermined size is 3, the registration unit 24 determines that the product 50 is not stationary.
  • the predetermined size can be set as appropriate according to the operating environment (for example, 5 cm).
  • the predetermined graphic described above may be a graphic centered on the user of the product registration device 20.
  • Method 3 For example, when the position calculation unit 22 divides each frame into partial areas and calculates the position of the product 50, the registration unit 24 calculates the total number of partial areas in which the product 50 is located in the product video 32 for a predetermined time. The size of the movement range of the product 50 in a predetermined time is calculated.
  • FIG. 9 is a diagram illustrating the size of the moving range of the product 50 calculated by the method 3.
  • P1 and P2 are located in the partial region D9, and P3 and P4 are located in the partial region D8. Therefore, the registration unit 24 sets the size of the movement range of the product 50 for a predetermined time to 2.
  • the registration unit 24 determines that the product 50 is stationary for a predetermined time when the size of the moving range of the product 50 calculated by this method is equal to or less than a predetermined size. For example, in the example of FIG. 9, if the predetermined size is 3, the registration unit 24 determines that the product 50 is stationary. On the other hand, if the predetermined size is 1 in the example of FIG. 9, the registration unit 24 determines that the product 50 is not stationary.
  • the process of the registration unit 24 when the predetermined size is 1 is a process for determining that the product 50 is stationary for a predetermined time when the product 50 remains in one partial area for a predetermined time. It can be said.
  • the predetermined size can be appropriately set according to the operating environment.
  • the predetermined size may be set by a distance in real space (for example, 5 cm).
  • the registration unit 24 converts a distance in the real space into a distance on the frame.
  • the registration unit 24 determines that the product 50 is stationary when the size of the moving range of the product 50 in the predetermined time is equal to or less than the number of partial areas included in the circle whose diameter is the distance after conversion. To do.
  • the registration unit 24 may set 1) the total number of partial areas where the products 50 are located as the size of the movement range of the products 50, and 2) the total number of partial areas where the products 50 are located
  • the size may be 50 movement ranges. For example, in FIG. 9, it is assumed that the product 50 moves from D9 to D8, and then moves to D9. In this case, if the method 1) is used, the size of the moving range of the product 50 is 3, and if the method 2) is used, the size of the moving range of the product 50 is 2.
  • the registration unit 24 registers the product determined to be stationary in the product image as a settlement target (S106). For example, the registration unit 24 registers the product as a settlement target by generating settlement information regarding the product registered as the settlement target.
  • the checkout information is information related to the checkout process for a product registered as a checkout target. For example, the registration unit 24 stores the generated settlement information in an internal or external storage unit of the product registration device 20.
  • a single checkout can include multiple products.
  • the merchandise registration apparatus 20 may receive one or a plurality of registered items after receiving an input operation instructing the start of the registration process for the payment target until receiving an input operation instructing the end of the registration process for the payment target.
  • the operation for instructing the start of the registration process for the settlement target is an operation of pressing a button “start registration”, for example.
  • the operation for instructing the end of the registration process for the checkout target is an operation of pressing a button “subtotal”, for example.
  • the checkout information indicating the checkout target for one checkout indicates the ID of each product registered as the checkout target. Further, the settlement information may further indicate the number of products registered as a settlement target, a transaction number, the amount of each product, and the settlement amount.
  • FIG. 10 is a diagram illustrating payment information in a table format.
  • the settlement information shown in FIG. 10 is referred to as settlement information 300.
  • the settlement information 300 has two columns, a settlement information ID 302 and a product list 304.
  • the product list 304 is a list of product IDs registered as settlement targets.
  • the product ID 306 is an ID of a product registered as a payment target.
  • the product registration device 20 identifies the product ID of the product included in the product video by matching the product image included in the product video with the image of each product stored in the product database. Further, for example, the product registration device 20 may identify the product ID of the product by analyzing various codes (barcode, QR code (registered trademark), etc.) attached to the product included in the product video. Good.
  • the timing at which the product registration device 20 specifies the product ID of the product included in the product video varies.
  • the position calculation unit 22 specifies the product ID of the product at the timing of calculating the position of the product. Further, for example, at the timing when the registration unit 24 determines to register a certain product as a payment target, the product ID of the product is specified.
  • the merchandise registration apparatus 20 performs the various processes described above for each of a plurality of merchandise.
  • the merchandise registration device 20 may be a device operated by a store clerk or a device operated by a customer. In the latter case, the customer causes the merchandise registration apparatus 20 to perform merchandise registration processing.
  • the merchandise registration apparatus 20 may or may not have a function for performing a settlement process for a commodity registered as a settlement target.
  • the settlement process includes a process of presenting the settlement amount indicated in the settlement information to the customer, a process of accepting the input of the price by the customer, a process of counting the entered price, a process of discharging the change to the customer, and a receipt Including the process of issuing.
  • a device having a function of performing a settlement process is separately installed in the store.
  • FIG. 11 is a diagram illustrating, in time series, how one product 50 is registered as a payment target.
  • the product image 32 shown in FIG. 11 is generated by the imaging device 30 installed at a position where the mounting table 40 is looked down from directly above.
  • the user moves the product 50 so as to pass over the mounting table 40 in order to register the product 50 as a payment target.
  • the product 50 starts to be imaged by the imaging device 30 from time t1. Therefore, the position calculation unit 22 calculates the position of the product 50 for each frame after time t1. In this way, the product registration device 20 tracks the product 50.
  • the registration unit 24 does not register the product 50 as a payment target.
  • the registration unit 24 registers the product 50 as a payment target.
  • the registration unit 24 does not perform a process of registering the product 50 as a payment target.
  • the position calculation unit 22 distinguishes a plurality of objects having approximate feature amounts based on the positions of the objects extracted from the respective frames. For this reason, the position calculation unit 22 continues to calculate the position of the product 50 until the product 50 is not included in the product video 32 even after the product 50 is registered as a payment target (tracking the product 50). Thereby, the product registration apparatus 20 distinguishes the product 50 that has already been registered as a settlement target from the product 50 that has been newly imaged by the imaging device 30 (the product 50 that is to be registered as the settlement target from now on).
  • FIG. 12 is a diagram showing, in time series, how a plurality of products 50 are registered as a settlement target.
  • the product 50-1 starts to be imaged by the imaging device 30 from time t1, and is placed on the mounting table 40 at time t2.
  • the product 50-2 starts to be imaged by the imaging device 30 from time t3 and is placed on the mounting table 40 at time t4.
  • the product 50-3 starts to be imaged by the imaging device 30 from time t5, and is placed on the mounting table 40 at time t6.
  • the position calculating unit 22 tracks the product 50-1 using the frames after the time point t1, tracks the product 50-2 using the frames after the time point t3, and uses the frames after the time point t3 to find the product 50-3. To track.
  • the registration unit 24 determines that the size of the moving range of the product 50-1 is equal to or less than the predetermined size for a predetermined time from the time point t2. As a result, the product 50-1 is registered as a payment target. Similarly, the registration unit 24 sequentially registers the product 50-2 and the product 50-3 as a payment target.
  • each product 50 can be registered as a payment target simply by placing a plurality of products 50 on the mounting table 40 by the user. Therefore, the user can easily register a plurality of products as a payment target.
  • the registration unit 24 settles the product 50-1 while the product 50-2 and the product 50-3 are moving. Register as a target. Therefore, according to the registration unit 24, a plurality of products are efficiently registered as a settlement target.
  • FIG. 13 is a diagram illustrating a case where two products are stacked and placed on the mounting table 40.
  • the position calculation unit 22 first tracks the product 50-1 that is on the top from the time point t1 when the product 50-1 and the product 50-2 start to be imaged.
  • the registration unit 24 registers the product 50-1 as a payment target after a predetermined time has elapsed from the time point t2 when the product 50-1 and the product 50-2 are placed on the mounting table 40.
  • the position calculation unit 22 tracks the product 50-2 from the time point t3 when the product 50-1 is moved from above the product 50-2.
  • the product 50-2 has already been placed on the mounting table 40 at the time point t3. Therefore, the registration unit 24 registers the product 50-2 as a payment target after a predetermined time has elapsed from the time point t3.
  • each product 50 is registered as a settlement target. be able to. Therefore, since the several goods 50 can be put on the mounting base 40 at once, the effort which moves the goods 50 is reduced.
  • the product registration apparatus 20 of Embodiment 2 has the structure shown by FIG. 1, for example like the product registration apparatus 20 of Embodiment 1.
  • FIG. 1 for example like the product registration apparatus 20 of Embodiment 1.
  • FIG. 1 Except for the points described below, the merchandise registration apparatus 20 of the second embodiment has the same functions as those of the first embodiment merchandise registration apparatus 20.
  • FIG. 14 is a diagram for explaining the operation of the commodity registration device 20 according to the second embodiment.
  • a product 50-1 is included in frames F n1 to F n2 of the product video 32.
  • the product 50-2 is included in the frames F n3 to F n4 of the product video 32.
  • the product 50-1 and the product 50-2 are the same type of product.
  • neither the product 50-1 nor the product 50-2 is included in the frame (F n2 +1) to the frame (F n3 -1) of the product video 32.
  • the position calculation unit 22 needs to determine whether or not the product 50-1 and the product 50-2 are the same product in order to track each product. Therefore the position calculating unit 22 of the embodiment 2, the following number (i.e. F n3 -F n2 +1) a predetermined number of frames included from the frame of the product image 32 (F n2 +1) to the frame (F n3 -1) If so, the product 50-1 and the product 50-2 are treated as the same product. On the other hand, if F n3 -F n2 +1 is greater than the predetermined number, the product 50-1 and the product 50-2 are handled as different products.
  • the registration unit 24 uses each position to determine whether or not the product 50 is registered as a payment target. At this time, for example, the registration unit 24 captures the first time when the frame F n3 is generated (the product 50-2 is first captured) from the time when the frame F n2 is generated (the last time the product 50-1 is captured). The product 50 is treated as having moved from the position of the product 50 in the frame F n2 to the position of the product 50 in the frame F n3 .
  • the registration unit 24 selects the frame F n1 to the frame F n2 of the product video 32 in each frame. Based on the position of the product 50-1, it is determined whether to register the product 50-1 as a payment target. Similarly, the registration unit 24 determines whether or not to register the product 50-2 as a settlement target based on the position of the product 50-2 in each frame from the frame F n3 to the frame F n4 of the product video 32.
  • the product registration device 20 prevents the same product from being erroneously registered as a settlement target twice, and accurately grasps the number of products registered as the settlement target.
  • a specific example will be described.
  • FIG. 15 is a diagram for explaining the effect of the product registration device 20 according to the second embodiment.
  • the product 50 is included in the frame F n1 to the frame F n2 of the product video 32.
  • the product 50 is also included in the frame F n3 to the frame F n4 of the product video 32.
  • the product 50 is hidden in the user's hand 90 and is not included in the product video 32.
  • the product registration apparatus 20 configures the product video 32 that does not include the product when there is a product video 32 that does not include the product among the product images 32 that include the same type of product. If the length of the frame sequence to be performed (F n3 -F n2 +1 in the above example) is equal to or less than a predetermined number, the products included in the preceding and subsequent product images 32 are treated as the same. As a result, it is possible to prevent the same product from being registered as a settlement target twice. As a result, the product registration device 20 can accurately grasp the number of products registered as a payment target.
  • the predetermined number can be set to an arbitrary number.
  • the predetermined number may be preset in the position calculation unit 22 or may be stored in a storage device accessible from the position calculation unit 22.
  • a predetermined time may be set instead of the predetermined number.
  • the position calculation unit 22 calculates the predetermined number by calculating the product of the frame rate of the product video 32 and the predetermined time.
  • each program module stored in the storage 208 described above further includes a program that realizes each function described in the present embodiment.
  • Position calculating means for calculating the position of the product using a video image of the product; A registration unit that determines whether the product is stationary based on the calculated position, and registers the stationary product as a payment target; An information processing apparatus.
  • the registration means determines that the product is stationary when the moving range of the product is equal to or less than a predetermined size in the video for a predetermined time.
  • the information processing apparatus described in 1. 3.
  • the registration unit sets a total value of the movement distances of the products in the video for the predetermined time as the size of the movement range of the products for the predetermined time.
  • the registration means sets a size of a figure including all positions of the product in the video at the predetermined time as a size of a moving range of the product at the predetermined time.
  • the registration means includes Dividing an area in each frame of the video into a plurality of partial areas; 1.
  • the number of partial areas in which the product is located in the video for the predetermined time is the size of the moving range of the product for the predetermined time.
  • the position calculation means includes the same type of product included in the second frame after being included in the first frame, and a frame sequence between the first frame and the second frame.
  • the product included in the first frame and the product included in the second frame are treated as the same product, 1. If the number of frames in the frame sequence is greater than a predetermined number, the product included in the first frame and the product included in the second frame are treated as different products.
  • the position calculation means recognizes a product ID of a product as a target of the position calculation, The registration unit registers a product as a payment target using the product ID recognized by the position calculation unit.
  • the registration means recognizes a product ID of the product using a frame including a product to be registered as a checkout target, and registers the product as a checkout target using the recognized product ID.
  • the information processing apparatus according to any one of the above. 9.
  • the imaging device that generates the video shoots a table on which a product to be settled is placed from above.
  • the information processing apparatus according to any one of the above. 10.
  • a control method executed by a computer A position calculating step of calculating a position of the product using an image of the product imaged; A registration step of determining whether or not the product is stationary based on the calculated position, and registering the stationary product as a payment target; A control method. 11.
  • the registration step determines that the product is stationary when the moving range of the product is equal to or less than a predetermined size in the video for a predetermined time.
  • the control method described in 1. 12 10.
  • the registration step uses the total value of the movement distance of the product in the video for the predetermined time as the size of the movement range of the product for the predetermined time.
  • the control method described in 1. 13. 10.
  • a size of a figure including all positions of the product in the video at the predetermined time is set as a size of a moving range of the product at the predetermined time.
  • the control method described in 1. 14 The registration step includes: Dividing an area in each frame of the video into a plurality of partial areas; 10.
  • the number of partial areas in which the product is located in the video at the predetermined time is set as the size of the movement range of the product at the predetermined time.
  • the control method described in 1. 15. In the position calculation step, in the video, the same type of product is included in the second frame after being included in the first frame, and a frame sequence between the first frame and the second frame If the number of frames in the frame sequence is equal to or less than a predetermined number, the product included in the first frame and the product included in the second frame are treated as the same product, 10. If the number of frames in the frame sequence is greater than a predetermined number, the product included in the first frame and the product included in the second frame are treated as different products. To 14. The control method as described in any one. 16.
  • the position calculating step recognizes a product ID of a product as a target of the position calculation, In the registration step, the product is registered as a payment target using the product ID recognized in the position calculation step.
  • the control method as described in any one. 17.
  • the registration step recognizes a product ID of the product using a frame including a product to be registered as a checkout target, and registers the product as a checkout target using the recognized product ID.
  • the control method as described in any one. 18.
  • the imaging device that generates the video shoots a table on which a product to be settled is placed from above.
  • the control method as described in any one. 19. 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

商品登録装置（２０）は位置算出部（２２）及び登録部（２４）を有する。位置算出部（２２）は、撮像された商品の位置を算出する。登録部（２４）は、商品が静止しているか否かを判定する。そして登録部（２４）は、静止している商品を精算対象として登録する。

Description

情報処理装置、制御方法、及びプログラム
　本発明は、商品の精算に用いる装置に関する。
　スーパーマーケット等の店舗における商品登録装置（例えば POS（Point of Sales）レジスタ）では、商品を精算対象として登録する処理が行われる。例えばこのような処理は、商品に付されているバーコードなどを、商品登録装置に設けられているバーコードリーダーなどに読み取らせることで行われる。
　商品登録装置を効率よく運用するための技術が開発されている。例えば特許文献１は、載置台に置かれた複数の商品を、複数の撮像装置でそれぞれ異なる方向から撮像することで、複数の商品を一括で精算対象として登録する技術を開示している。
特開２０１３－０５４６７３号公報
　特許文献１の発明は、全ての商品が載置台に置かれた後に撮像装置によって商品を撮像することで、商品を一括で精算対象として登録する。そのため、一部の商品を載置台に置いても、残りの商品が載置台に置かれるまでは、載置台に置いた商品を精算対象として登録することができない。
　本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、商品を精算対象として登録する作業の効率を高める技術を提供することである。
　本発明の情報処理装置は、１）商品が撮像された映像を用いて前記商品の位置を算出する位置算出手段と、２）前記算出された位置に基づいて前記商品が静止しているか否かを判定し、静止している商品を精算対象として登録する登録手段と、を有する。
　本発明の制御方法はコンピュータによって実行される。当該制御方法は、１）商品が撮像された映像を用いて前記商品の位置を算出する位置算出ステップと、２）前記算出された位置に基づいて前記商品が静止しているか否かを判定し、静止している商品を精算対象として登録する登録ステップと、を有する。
　本発明のプログラムは、本発明の情報処理装置が行う各ステップをコンピュータに実行させる。
　本発明によれば、商品を精算対象として登録する作業の効率を高める技術が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態１に係る商品登録装置を例示するブロック図である。 実施形態１の商品登録装置を実現する計算機のハードウエア構成を例示する図である。 撮像装置の設置場所を例示する図である。 実施形態１の商品登録装置によって実行される処理の流れを例示するフローチャートである。 商品の位置を例示する図である。 特徴量が近似する複数のオブジェクトが１つのフレームに含まれる様子を例示する図である。 方法１で算出される商品の移動範囲の大きさを例示する図である。 方法２で算出される商品の移動範囲の大きさを例示する図である。 方法３で算出される商品の移動範囲の大きさを例示する図である。 精算情報をテーブル形式で例示する図である。 １つの商品を精算対象として登録する様子を時系列で例示する図である。 複数の商品を精算対象として登録する様子を時系列で表した図である。 ２つの商品が台の上に積み重ねられて置かれたケースを例示する図である。 実施形態２の商品登録装置の動作を説明するための図である。 実施形態２の商品登録装置の効果を説明するための図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
［実施形態１］
　図１は、実施形態１に係る商品登録装置２０を例示するブロック図である。商品登録装置２０は、商品を精算対象として登録する処理（以下、商品登録処理）に用いられる。商品登録装置２０のユーザ（店員や顧客など）は、商品登録装置２０を操作して、顧客が購入する各商品について商品登録処理を行う。
　そのために、商品登録装置２０は位置算出部２２及び登録部２４を有する。位置算出部２２は、商品が撮像された映像（以下、商品映像）を用いて商品の位置を算出する。登録部２４は、商品映像において商品が静止しているか否かを判定する。そして登録部２４は、商品映像において静止している商品を精算対象として登録する。
　本実施形態の商品登録装置２０によれば、撮像された商品のうち、静止している商品が精算対象として登録される。そのため、撮像された商品の中に移動中の商品が含まれていても、既に静止している商品は精算対象として登録される。よって、全ての商品が静止する（例えば載置台に置かれる）ことを待つことなく商品が精算対象として登録されるため、商品の登録処理の効率が高くなる。
　例えば、店員ＡとＢの二人で商品の登録作業を行うとする。店員Ａは、商品を商品かごから取り出して載置台に置く。店員Ｂは、商品登録装置２０によって精算対象として登録された商品を袋に詰める。ここで本実施形態の商品登録装置２０を利用すれば、店員Ｂは、全ての商品が載置台に置かれることを待つことなく、精算対象として登録された商品を袋に詰めていくことができる。よって、全ての商品が載置台に置かれることを待たなければいけない場合よりも、登録作業全体に要する時間を短縮することができる。
　以下、本実施形態についてさらに詳細を述べる。
＜商品登録装置２０を実現するハードウエアの例＞
　商品登録装置２０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
　図２は、実施形態１の商品登録装置２０を実現する計算機２００のハードウエア構成を例示する図である。この計算機２００は、レジ端末用途に設計された専用装置を用いて実装されてもよいし、PC（Personal Computer）や携帯端末などの汎用装置を用いて実装されてもよい。
　計算機２００は、バス２０２、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２を有する。バス２０２は、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ２０４は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ２０６は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ２０８は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ２０８は、RAM や ROM などのメモリであってもよい。
　入出力インタフェース２１０は、計算機２００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース２１０には、撮像装置３０、タッチパネル２１４、ドロア２１６、釣り銭機２１８、及びレシートプリンタ２２０などが接続される。撮像装置３０は商品映像を生成する撮像装置である（詳細は後述）。タッチパネル２１４は、例えば商品の金額を手動で入力するために利用される。また、タッチパネル２１４は、精算対象として登録された商品に関する情報など、種々の情報を表示する。ドロア２１６は硬貨や紙幣を格納する。釣り銭機２１８は、代金を投入するための投入口と、釣り銭を排出するための排出口を有する。レシートプリンタ２２０はレシート等の発行を行う。なお計算機２００には、キーボードなど、タッチパネル２１４以外の入力インタフェースが接続されていてもよい。
　ネットワークインタフェース２１２は、計算機２００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース２１２は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば商品登録装置２０を実現する計算機２００は、ネットワークを介して、店舗に設置された種々の装置を管理する店舗サーバなどと接続されている。
　ストレージ２０８は商品登録装置２０の各機能を実現するプログラムモジュールを記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ２０４は、上記各モジュールを実行する際、これらのモジュールをメモリ２０６上に読み出してから実行してもよいし、メモリ２０６上に読み出さずに実行してもよい。
　計算機２００のハードウエア構成は図２に示した構成に限定されない。例えば、各プログラムモジュールはメモリ２０６に格納されてもよい。この場合、計算機２００は、ストレージ２０８を備えていなくてもよい。
　また計算機２００は、必ずしもネットワークを介して他の装置と通信可能に接続される必要はない。よって計算機２００はネットワークインタフェース２１２を有さなくてもよい。
　また計算機２００が代金の支払いの処理に利用されない場合、計算機２００はドロア２１６、釣り銭機２１８、及びレシートプリンタ２２０を備えなくてもよい。
＜＜撮像装置３０の詳細＞＞
　撮像装置３０は、商品を撮像して商品映像を生成する。撮像装置３０は、周囲を撮像して動画を生成することができる任意の撮像装置である。なお撮像装置３０は、撮像装置専用の筐体に設けられているものであってもよいし、他の装置と一体として設けられているもの（スマートフォンに組み込まれているカメラなど）でもよい。
　撮像装置３０の設置場所は、商品を撮像できる任意の場所でよい。例えば撮像装置３０は、店員が精算対象の商品の登録処理を行う際に利用する載置台を真下に見下ろす位置に固定される。図３は撮像装置３０の設置場所を例示する図である。図３において、撮像装置３０は商品が置かれている載置台４０を真下に見下ろしている。ただし、撮像装置３０の設置位置は図３に示した位置に限定されない。
＜処理の流れ＞
　図４は、実施形態１の商品登録装置２０によって実行される処理の流れを例示するフローチャートである。位置算出部２２は、商品映像を用いて、撮像された商品の位置を算出する（Ｓ１０２）。登録部２４は、撮像された商品が静止しているか否かを判定する（Ｓ１０４）。商品が静止している場合（Ｓ１０４：ＹＥＳ）、その商品を精算対象として登録する（Ｓ１０６）。商品が静止していない場合（Ｓ１０４：ＮＯ）、図４の処理は終了する。なお、複数の商品が撮像された場合、図４に示す処理は各商品について行われる。
＜商品映像の取得方法＞
　商品登録装置２０が商品映像を取得する方法は任意である。例えば商品登録装置２０は、撮像装置３０から商品映像を取得する。この場合、商品登録装置２０は撮像装置３０と通信可能に接続されている。例えば商品登録装置２０は、図２で例示したように、入出力インタフェース２１０を介して撮像装置３０と接続されている。
　また例えば、撮像装置３０が商品映像を外部の記憶装置に記憶する場合、商品登録装置２０はこの記憶装置から商品映像を取得してもよい。この場合、商品登録装置２０はこの記憶装置と通信可能に接続されている。例えば商品登録装置２０は、入出力インタフェース２１０を介してこの記憶装置と接続されている。この場合、商品登録装置２０は、撮像装置３０とは通信可能に接続されていなくてもよい。
　商品登録装置２０は、商品映像を常時取得してもよいし、特定の期間だけ取得してもよい。後者の場合、例えば商品登録装置２０は、商品の登録処理を開始するタイミングで商品映像の取得を開始し、商品の登録処理を終了するタイミングで商品映像の取得を終了する。商品の登録処理は、例えばユーザが商品登録装置２０に対して所定の入力操作を行うことによって開始又は終了する。
＜商品の位置の算出方法＞
　位置算出部２２は、商品映像を用いて、撮像された商品の位置を算出する（Ｓ１０２）。具体的には、位置算出部２２は、商品映像に含まれる各フレームを画像解析することで、各フレームから商品の位置を算出する。
　ここで、商品の位置を表現する方法は様々である。例えば位置算出部２２は、抽出された商品の特定の位置（例えば商品の重心の位置）の座標をその商品の位置とする。また例えば、位置算出部２２は、フレームを複数の部分領域に分割し、抽出された商品が含まれている部分領域のＩＤ（Identifier）を商品の位置としてもよい。商品が複数の部分領域にまたがっている場合、位置算出部２２は、それら複数の部分領域の内の１つのＩＤを、その商品の位置とする。例えば位置算出部２２は、商品の重心の位置が含まれる部分領域のＩＤをその商品の位置とする。
　図５は商品の位置を例示する図である。図５（ａ）において、商品５０の位置は、商品５０の重心の座標である。具体的には、商品の位置は座標 (x1, y1) で表される。なお、図５（ａ）における座標系は、フレームの左上端を原点とし、右方向を X 軸方向とし、下方向を Y 軸方向とする座標系である。
　一方、図５（ｂ）において、商品の位置は部分領域のＩＤである。ここで、図５（ｂ）において、商品映像の各フレームは部分領域 D1 から D20 に分割されている。図５（ｂ）において、商品の位置は D9 である。
　例えば位置算出部２２は、商品映像に含まれる全てのフレームについて、そのフレームから商品の位置を算出する。ただし位置算出部２２は、商品映像に含まれる一部のフレームについてのみ、商品の位置の算出を行ってもよい。例えば位置算出部２２は、連続する所定数のフレームごとに（例えば１０フレームにつき１フレームの割合で）商品の位置の算出を行う。
　なお、商品映像の各フレームから商品を表す領域を割り出す方法には、既知の様々な手法を利用できる。例えば位置算出部２２は、撮像範囲に商品が含まれない状態で撮像装置３０によって生成される撮像画像を、基準の画像として予め保持しておく。そして位置算出部２２は、処理対象のフレームと基準画像との差分を抽出することにより、処理対象のフレームから、基準画像からは抽出されないオブジェクトを抽出する。そして、抽出したオブジェクトを商品として扱う。
＜商品のトラッキング＞
　位置算出部２２は、複数のフレームに同一の商品が含まれることを認識し、同一の商品の位置の変化を把握する（商品をトラッキングする）。そのため、位置算出部２２は、各フレームに含まれる同一の商品を把握する必要がある。例えば位置算出部２２は、各フレームから抽出したオブジェクトの特徴量を算出し、特徴量が同一又は近似するオブジェクトを同一の商品として扱う。
　ここで、ユーザが同じ種類の商品を複数購入する場合がある。この場合、特徴量が近似する複数のオブジェクトが１つのフレームに含まれる場合がある。図６は、特徴量が近似する複数のオブジェクトが１つのフレームに含まれる様子を例示する図である。図６において、フレーム６０－１にはオブジェクト８０－１が含まれており、フレーム６０－２にはオブジェクト８０－２及びオブジェクト８０－３が含まれている。ここで、オブジェクト８０－１とオブジェクト８０－２は同じ商品を表す。また、オブジェクト８０－３によって表されるオブジェクトは、オブジェクト８０－１及びオブジェクト８０－２によって表される商品と同じ種類の商品である。よって、オブジェクト８０－１からオブジェクト８０－３についてそれぞれ算出される特徴量は、互いに近似している。
　このような場合、位置算出部２２は、各オブジェクト８０の位置を利用して、同じ商品を表しているオブジェクト８０を特定する。具体的には、位置算出部２２は、フレーム６０－１に含まれているオブジェクト８０－１との距離が短いオブジェクト８０－２によって表される商品を、オブジェクト８０－１によって表される商品と同じ商品として扱う。一方、位置算出部２２は、オブジェクト８０－１との距離が長いオブジェクト８０－３によって表される商品を、オブジェクト８０－１によって表される商品とは異なる商品（撮像装置３０によって新たに撮像された商品）として扱う。
＜商品が静止しているか否かの判定方法＞
　登録部２４は、商品映像において商品が静止しているか否かを判定する（Ｓ１０４）。具体的には、登録部２４は、所定時間の商品映像の各フレームから算出された商品の位置に基づいて、商品映像における商品の移動範囲を算出する。そして登録部２４は、所定時間の商品の移動範囲が所定の大きさ以下であった場合に、商品が静止していると判定する。ここで、「所定時間」や「所定の大きさ」は、登録部２４に予め設定されている値であってもよいし、登録部２４からアクセス可能な記憶装置に記憶されている値であってもよい。
　所定時間の商品映像における商品の移動範囲の大きさを算出する方法は様々である。以下、その方法をいくつか例示する。
＜＜方法１＞＞
　例えば登録部２４は、所定時間の商品映像３２における商品５０の総移動距離を、所定時間における商品５０の移動範囲の大きさとして算出する。商品５０の総移動距離は、例えば以下の数式（１）によって算出される。dtotal は総移動距離を表す。d(i,i+1) は、フレーム i における商品５０の位置と、フレーム i の次のフレームであるフレーム（i+1）における商品５０の位置との間の距離である。n は所定時間の商品映像３２に含まれるフレームの内、商品５０の位置の算出に利用されるフレームの総数である。
Figure JPOXMLDOC01-appb-M000001
　図７は、方法１で算出される商品５０の移動範囲の大きさを例示する図である。図７において、フレーム i における商品５０の位置は Pi で表される。また、所定時間の商品映像３２に含まれるフレームの総数は４である。商品５０の移動範囲の大きさは、P1 と P2 との間の距離である５、P2 と P3 との間の距離である６、及び P3 と P4 との間の距離である４の総和となる。よって、商品５０の移動範囲の大きさは１５である。
　登録部２４は、この方法で算出された商品５０の移動範囲の大きさが所定の大きさ以下であった場合、所定時間商品５０が静止していると判定する。例えば図７の例において、所定の大きさが２０であれば、登録部２４は商品５０が静止していると判定する。一方、図７の例において、所定の大きさが１０であれば、登録部２４は商品５０が静止していないと判定する。
　上記所定の大きさは、運用環境などに応じて適宜設定することができる。例えば上記所定の大きさは 5cm である。なお、画素数で表されるフレーム上の距離をセンチメートルなどの実空間上の距離に変換する処理は、撮像装置３０と載置台４０との間の距離や撮像装置３０の画角などのパラメタを用いて行うことができる。
＜＜方法２＞＞
　また例えば、登録部２４は、所定時間の商品映像３２における商品５０の位置全てを包含する所定の図形の大きさを、所定時間における商品５０の移動範囲の大きさとして算出する。所定の図形は、例えば円や矩形である。円の大きさは、例えば直径で表される。矩形の大きさは、例えば対角線の長さで表される。図８は、方法２で算出される商品５０の移動範囲の大きさを例示する図である。円７０は、P1 から P4 の全てを包含する最小の円である。そして、円７０の直径は５である。そこで登録部２４は、所定時間における商品５０の移動範囲の大きさを５とする。
　登録部２４は、この方法で算出された商品５０の移動範囲の大きさが所定の大きさ以下であった場合、所定時間商品５０が静止していると判定する。例えば図８の例において、所定の大きさが１０であれば、登録部２４は商品５０が静止していると判定する。一方、図８の例において、所定の大きさが３であれば、登録部２４は商品５０が静止していないと判定する。
　方法１の場合と同様に、上記所定の大きさは運用環境などに応じて適宜設定することができる（例えば 5cm）。また、上述した所定の図形は、商品登録装置２０のユーザを中心とする図形であってもよい。
＜＜方法３＞＞
　また例えば、位置算出部２２が各フレームを部分領域に分割して商品５０の位置を算出する場合、登録部２４は、所定時間の商品映像３２において商品５０が位置していた部分領域の総数を、所定時間におけるその商品５０の移動範囲の大きさとして算出する。
　図９は、方法３で算出される商品５０の移動範囲の大きさを例示する図である。P1 及び P2 は部分領域 D9 に位置しており、P3 及び P4 は部分領域 D8 に位置している。そこで登録部２４は、所定時間における商品５０の移動範囲の大きさを２とする。
　登録部２４は、この方法で算出された商品５０の移動範囲の大きさが所定の大きさ以下であった場合、所定時間商品５０が静止していると判定する。例えば図９の例において、所定の大きさが３であれば、登録部２４は商品５０が静止していると判定する。一方、図９の例において、所定の大きさが１であれば、登録部２４は商品５０が静止していないと判定する。なお、所定の大きさが１である場合における登録部２４の処理は、商品５０が所定時間１つの部分領域に留まっているときに、商品５０が所定時間静止していると判定する処理であるともいえる。
　上記所定の大きさは運用環境などに応じて適宜設定することができる。ここで、方法３においても、方法１や２と同様に、上記所定の大きさが実空間上の距離（例えば 5cm）で設定されてもよい。この場合、例えば登録部２４は、実空間上の距離をフレーム上の距離に変換する。そして登録部２４は、所定時間における商品５０の移動範囲の大きさが、変換後の距離を直径とする円に含まれる部分領域の数以下である場合に、商品５０が静止していると判定する。
　なお、商品５０が或る部分領域から別の部分領域に移動して、再度元の部分領域に戻ったとする。この場合、登録部２４は、１）商品５０が位置していた部分領域の延べ数を商品５０の移動範囲の大きさとしてもよいし、２）商品５０が位置していた部分領域の総数を商品５０の移動範囲の大きさとしてもよい。例えば図９において、商品５０が D9 から D8 へ移動し、その後 D9 へ移動したとする。この場合、１）の方法を用いれば商品５０の移動範囲の大きさは３となり、２）の方法を用いれば商品５０の移動範囲の大きさは２となる。
＜商品５０の登録について＞
　登録部２４は、商品映像において静止していると判定された商品を、精算対象として登録する（Ｓ１０６）。例えば登録部２４は、精算対象として登録される商品に関する精算情報を生成することで、商品を精算対象として登録する。精算情報は、精算対象として登録された商品の精算処理に関する情報である。例えば登録部２４は、生成した精算情報を、商品登録装置２０の内部又は外部の記憶部に記憶する。
　一度の精算の精算対象には、複数の商品が含まれうる。例えば商品登録装置２０は、精算対象の登録処理の開始を指示する入力操作を受け付けた後から、精算対象の登録処理の終了を指示する入力操作を受け付けるまでの間に登録された１つ又は複数の商品を、一度の精算の精算対象として登録する。精算対象の登録処理の開始を指示する操作は、例えば「登録開始」というボタンを押す操作である。精算対象の登録処理の終了を指示する操作は、例えば「小計」というボタンを押す操作である。
　一度の精算の精算対象を表す精算情報は、精算対象として登録された各商品のＩＤなどを示す。また精算情報は、精算対象として登録された商品の個数、取引番号、各商品の金額、及び精算金額などをさらに示してもよい。
　図１０は、精算情報をテーブル形式で例示する図である。図１０に示す精算情報を、精算情報３００と表記する。精算情報３００は、精算情報ＩＤ３０２及び商品リスト３０４という２つの列を有する。商品リスト３０４は、精算対象として登録された商品ＩＤのリストである。商品ＩＤ３０６は、精算対象として登録された商品のＩＤである。
　なお、精算対象の商品について精算情報を生成する具体的な方法には様々な既知の技術を利用できるため、この方法に関する説明は省略する。
＜商品ＩＤの特定について＞
　商品登録装置２０が商品映像に含まれる商品の商品ＩＤを特定する方法は様々である。例えば商品登録装置２０は、商品映像に含まれる商品の画像を、商品データベースに格納されている各商品の画像とマッチングすることにより、商品映像に含まれる商品の商品ＩＤを特定する。また例えば、商品登録装置２０は、商品映像に含まれる商品に付された種々のコード（バーコードや QR コード（登録商標）など）を解析することで、その商品の商品ＩＤを特定してもよい。
　商品登録装置２０が商品映像に含まれる商品の商品ＩＤを特定するタイミングは様々である。例えば位置算出部２２が、商品の位置を算出するタイミングで、その商品の商品ＩＤを特定する。また例えば、登録部２４が、或る商品を精算対象として登録すると判定したタイミングで、その商品の商品ＩＤを特定する。
＜複数の商品について＞
　商品登録装置２０は、上述した種々の処理を複数の商品それぞれについて行う。
＜商品登録装置２０について＞
　商品登録装置２０は、店員によって操作される装置であってもよいし、顧客によって操作される装置であってもよい。後者の場合、顧客が自ら商品登録装置２０に商品の登録処理を行わせる。
　商品登録装置２０は、精算対象として登録された商品の精算処理を行う機能を有していてもよいし、有していなくてもよい。例えば精算処理は、精算情報に示されている精算金額を顧客に提示する処理、顧客による代金の投入を受け付ける処理、投入された代金を数え上げる処理、顧客に対しておつりを排出する処理、及びレシートを発行する処理などを含む。商品登録装置２０が精算処理を行う機能を有していない場合、店舗には別途、精算処理を行う機能を有する装置が設置される。
＜動作例＞
　商品登録装置２０を用いて商品を精算対象として登録する処理を、さらに具体的に例示する。図１１は、１つの商品５０を精算対象として登録する様子を時系列で例示する図である。図１１に示す商品映像３２は、載置台４０を真上から見下ろす位置に設置された撮像装置３０によって生成されたものである。ユーザは、商品５０を精算対象として登録させるため、載置台４０の上を通過するように商品５０を移動させる。商品５０は、時点 t1 から撮像装置３０によって撮像され始める。そのため、位置算出部２２は、時点 t1 以降の各フレームそれぞれについて、商品５０の位置を算出する。こうすることで、いわば商品登録装置２０は、商品５０をトラッキングする。
　ここで、時点 t1 から時点 t2 まで、ユーザは商品５０を大きく移動させている。そのため、登録部２４は商品５０を精算対象として登録しない。
　一方、時点 t2 から時点 t3 までの間、ユーザは商品５０を移動させていない。そのため、時点 t2 から所定時間経過したタイミングで、商品５０の移動範囲が所定の大きさ以下であると判定される。よって、登録部２４は、商品５０を精算対象として登録する。
　なお、図１１の時点 t4 において、ユーザは商品５０を再度停止させている。しかし、既に商品５０は精算対象として登録されているため、登録部２４は、商品５０を精算対象として登録する処理を行わない。
　ここで、ユーザが同じ種類の商品を複数購入することもある。その場合、例えば図６を用いて説明したように、位置算出部２２は、各フレームから抽出されるオブジェクトの位置に基づいて、特徴量が近似する複数のオブジェクトを区別する。そのために位置算出部２２は、商品５０が精算対象として登録された後も、商品５０が商品映像３２に含まれなくなるまで、商品５０の位置を算出し続ける（商品５０をトラッキングし続ける）。これにより商品登録装置２０は、既に精算対象として登録された商品５０と、撮像装置３０によって新たに撮像された商品５０（これから精算対象として登録すべき商品５０）とを区別する。
　図１２は、複数の商品５０を精算対象として登録する様子を時系列で表した図である。商品５０－１は、時点 t1 から撮像装置３０によって撮像され始め、時点 t2 で載置台４０の上に置かれている。同様に、商品５０－２は、時点 t3 から撮像装置３０によって撮像され始め、時点 t4 で載置台４０の上に置かれている。さらに同様に、商品５０－３は、時点 t5 から撮像装置３０によって撮像され始め、時点 t6 で載置台４０の上に置かれている。
　位置算出部２２は、時点 t1 以降のフレームを用いて商品５０－１をトラッキングし、時点 t3 以降のフレームを用いて商品５０－２をトラッキングし、t5 以降のフレームを用いて商品５０－３をトラッキングする。
　登録部２４は、時点 t2 から所定時間、商品５０－１の移動範囲の大きさが所定の大きさ以下であると判定する。その結果、商品５０－１を精算対象として登録する。同様に、登録部２４は、商品５０－２及び商品５０－３も、順に精算対象として登録する。
　図１２に示した例によれば、ユーザが複数の商品５０を載置台４０の上へ置いていくだけで、各商品５０を精算対象として登録させることができる。よって、ユーザは、複数の商品を容易に精算対象として登録させることができる。
　また、商品５０－１が載置台４０の上に置かれてから所定時間経過した後、商品５０－２や商品５０－３が移動している最中でも、登録部２４は商品５０－１を精算対象として登録する。よって、登録部２４によれば、複数の商品が効率よく精算対象として登録される。
　なお、ユーザが複数の商品５０を積み重ねて載置台４０に置いたとする。図１３は、２つの商品が載置台４０の上に積み重ねられて置かれたケースを例示する図である。この場合、まず位置算出部２２は、商品５０－１と商品５０－２が撮像され始めた時点 t1 から、上に乗っている商品５０－１をトラッキングする。そして、商品５０－１と商品５０－２が載置台４０に置かれた時点 t2 から所定時間経過後に、登録部２４は商品５０－１を精算対象として登録する。
　次にユーザは、商品５０－２の上に乗っている商品５０－１を移動させる。すると位置算出部２２は、商品５０－１が商品５０－２の上から移動された時点 t3 から、商品５０－２をトラッキングする。ここで、時点 t3 において商品５０－２は既に載置台４０の上に置かれている。そのため時点 t3 から所定時間経過後に、登録部２４は商品５０－２を精算対象として登録する。
　図１３に示した例によれば、ユーザは、商品５０を積み重ねた状態で載置台４０の上に置き、その後に上の商品から順に移動させていけば、各商品５０を精算対象として登録させることができる。よって、複数の商品５０を一度に載置台４０へ置くことができるため、商品５０を移動する労力が削減される。
［実施形態２］
　実施形態２の商品登録装置２０は、実施形態１の商品登録装置２０と同様に、例えば図１に示される構成を有する。以下で説明する点を除き、実施形態２の商品登録装置２０は、実施形態１商品登録装置２０と同様の機能を有する。
　図１４は、実施形態２の商品登録装置２０の動作を説明するための図である。図１４において、商品映像３２のフレーム Fn1 からフレーム Fn2 には、商品５０－１が含まれている。また、商品映像３２のフレーム Fn3 から フレーム Fn4 には、商品５０－２が含まれている。ここで、商品５０－１と商品５０－２は同じ種類の商品である。そして、商品映像３２のフレーム（Fn2+1）からフレーム（Fn3-1）には、商品５０－１と商品５０－２のいずれもが含まれていない。
　ここで位置算出部２２は、各商品をトラッキングするために、商品５０－１と商品５０－２が同一の商品であるか否かを判断する必要がある。そこで実施形態２の位置算出部２２は、商品映像３２のフレーム（Fn2+1）からフレーム（Fn3-1）に含まれるフレームの数（つまり Fn3-Fn2+1）が所定数以下であれば、商品５０－１と商品５０－２を同じ商品として扱う。一方で、Fn3-Fn2+1 が所定数より多ければ、商品５０－１と商品５０－２を異なる商品として扱う。
　位置算出部２２が商品５０－１と商品５０－２を同じ商品５０として扱って商品５０の位置を算出した場合、登録部２４は、商品映像３２のフレーム Fn1 からフレーム Fn4 における商品５０の各位置を用いて、商品５０を精算対象として登録するか否かを判定する。この際、例えば登録部２４は、フレーム Fn2 が生成された時点（商品５０－１が最後に撮像された時点）から、フレーム Fn3 が生成された時点（商品５０－２が最初に撮像された時点）までの間において、商品５０が、フレーム Fn2 における商品５０の位置からフレーム Fn3 における商品５０の位置まで移動したものとして扱う。
　一方、位置算出部２２が商品５０－１と商品５０－２を異なる商品として扱ってそれぞれの位置を算出した場合、登録部２４は、商品映像３２のフレーム Fn1 からフレーム Fn2 の各フレームにおける商品５０－１の位置に基づいて、商品５０－１を精算対象として登録するか否かを決定する。同様に、登録部２４は、商品映像３２のフレーム Fn3 からフレーム Fn4 の各フレームにおける商品５０－２の位置に基づいて、商品５０－２を精算対象として登録するか否かを決定する。
　上述の動作により、実施形態２の商品登録装置２０は、同じ商品を誤って２度精算対象として登録してしまうことを防止し、精算対象として登録される商品の個数を正確に把握する。以下、具体例を用いて説明する。
　図１５は、実施形態２の商品登録装置２０の効果を説明するための図である。図１５において、商品映像３２のフレーム Fn1 からフレーム Fn2 には商品５０が含まれる。また、商品映像３２のフレーム Fn3 からフレーム Fn4にも商品５０が含まれる。そして、商品映像３２のフレーム（Fn2+1）からフレーム（Fn3-1）において、商品５０はユーザの手９０に隠れており、商品映像３２に含まれていない。
　図１５に示すように、商品５０が商品登録装置２０を扱うユーザの手などに隠れてしまい、商品５０が一時的に撮像されないケースがある。このようなケースにおいて、フレーム Fn1 からフレーム Fn2 に含まれる商品５０と、フレーム Fn3 からフレーム Fn4 に含まれる商品５０とを異なる商品として扱ってしまうと、登録部２４は、誤って同じ商品５０を２度精算対象として登録してしまう（いわゆる２度読みが発生する）。
　ここで、上述のように商品５０が一時的に撮像されなくなるケース（ユーザの手に隠れてしまうケースなど）では、商品５０が撮像されない時間は短いと考えられる。そこで実施形態２の商品登録装置２０は、同じ種類の商品が含まれる商品映像３２の間に、その商品が含まれない商品映像３２がある場合、その商品が含まれていない商品映像３２を構成するフレーム列の長さ（上述の例では Fn3-Fn2+1）が所定数以下であれば、前後の商品映像３２に含まれている商品を同一のものとして扱う。これにより、誤って同じ商品が２度精算対象として登録してしまうことを防ぐことができる。その結果、商品登録装置２０は、精算対象として登録される商品の個数を正確に把握することができる。
　なお、上記所定数は任意の数に設定することができる。この所定数は、位置算出部２２に予め設定されていてもよいし、位置算出部２２からアクセス可能な記憶装置に記憶されていてもよい。なお、所定数の代わりに、所定時間が設定されていてもよい。この場合、位置算出部２２は、商品映像３２のフレームレートと所定時間の積を算出することで、上記所定数を算出する。
＜ハードウエア構成例＞
　実施形態２の商品登録装置２０は、実施形態１と同様に計算機２００を用いて実現される（図２参照）。本実施形態において、前述したストレージ２０８に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　商品が撮像された映像を用いて前記商品の位置を算出する位置算出手段と、
　前記算出された位置に基づいて前記商品が静止しているか否かを判定し、静止している商品を精算対象として登録する登録手段と、
　を有する情報処理装置。
２．　前記登録手段は、所定時間の前記映像において、前記商品の移動範囲の大きさが所定の大きさ以下である場合に、その商品が静止していると判定する、１．に記載の情報処理装置。
３．　前記登録手段は、前記所定時間の前記映像における商品の移動距離の合計値を、前記所定時間における前記商品の移動範囲の大きさとする、２．に記載の情報処理装置。
４．　前記登録手段は、前記所定時間の前記映像における商品の全ての位置を包含する図形の大きさを、前記所定時間における前記商品の移動範囲の大きさとする、２．に記載の情報処理装置。
５．　前記登録手段は、
　　前記映像の各フレーム内の領域を複数の部分領域に分割し、
　　前記所定時間の前記映像において商品が位置する部分領域の数を、前記所定時間における前記商品の移動範囲の大きさとする、２．に記載の情報処理装置。
６．　前記位置算出手段は、前記映像において、同じ種類の商品が、第１のフレームに含まれた後に第２のフレームに含まれ、なおかつ前記第１のフレームと前記第２のフレームの間のフレーム列には含まれていない場合、前記フレーム列のフレーム数が所定数以下であれば、前記第１のフレームに含まれる前記商品と前記第２のフレームに含まれる前記商品を同じ商品として扱い、前記フレーム列のフレーム数が所定数より多ければ、前記第１のフレームに含まれる前記商品と前記第２のフレームに含まれる前記商品を異なる商品として扱う、２．乃至５．いずれか一項に記載の情報処理装置。
７．　前記位置算出手段は、前記位置の算出の対象として商品の商品ＩＤを認識し、
　前記登録手段は、前記位置算出手段によって認識された前記商品ＩＤを用いて、商品を精算対象として登録する、１．乃至６．いずれか一つに記載の情報処理装置。
８．　前記登録手段は、精算対象として登録する商品が含まれるフレームを用いてその商品の商品ＩＤを認識し、前記認識した商品ＩＤを用いてその商品を精算対象として登録する、１．乃至６．いずれか一つに記載の情報処理装置。
９．　前記映像を生成する撮像装置は、精算対象の商品が置かれる台を上方から撮影する、１．乃至８．いずれか一つに記載の情報処理装置。
１０．　コンピュータによって実行される制御方法であって、
　商品が撮像された映像を用いて前記商品の位置を算出する位置算出ステップと、
　前記算出された位置に基づいて前記商品が静止しているか否かを判定し、静止している商品を精算対象として登録する登録ステップと、
　を有する制御方法。
１１．　前記登録ステップは、所定時間の前記映像において、前記商品の移動範囲の大きさが所定の大きさ以下である場合に、その商品が静止していると判定する、１０．に記載の制御方法。
１２．　前記登録ステップは、前記所定時間の前記映像における商品の移動距離の合計値を、前記所定時間における前記商品の移動範囲の大きさとする、１１．に記載の制御方法。
１３．　前記登録ステップは、前記所定時間の前記映像における商品の全ての位置を包含する図形の大きさを、前記所定時間における前記商品の移動範囲の大きさとする、１１．に記載の制御方法。
１４．　前記登録ステップは、
　　前記映像の各フレーム内の領域を複数の部分領域に分割し、
　　前記所定時間の前記映像において商品が位置する部分領域の数を、前記所定時間における前記商品の移動範囲の大きさとする、１１．に記載の制御方法。
１５．　前記位置算出ステップは、前記映像において、同じ種類の商品が、第１のフレームに含まれた後に第２のフレームに含まれ、なおかつ前記第１のフレームと前記第２のフレームの間のフレーム列には含まれていない場合、前記フレーム列のフレーム数が所定数以下であれば、前記第１のフレームに含まれる前記商品と前記第２のフレームに含まれる前記商品を同じ商品として扱い、前記フレーム列のフレーム数が所定数より多ければ、前記第１のフレームに含まれる商品と前記第２のフレームに含まれる商品を異なる商品として扱う、１１．乃至１４．いずれか一つに記載の制御方法。
１６．　前記位置算出ステップは、前記位置の算出の対象として商品の商品ＩＤを認識し、
　前記登録ステップは、前記位置算出ステップによって認識された前記商品ＩＤを用いて、商品を精算対象として登録する、１０．乃至１５．いずれか一つに記載の制御方法。
１７．　前記登録ステップは、精算対象として登録する商品が含まれるフレームを用いてその商品の商品ＩＤを認識し、前記認識した商品ＩＤを用いてその商品を精算対象として登録する、１０．乃至１５．いずれか一つに記載の制御方法。
１８．　前記映像を生成する撮像装置は、精算対象の商品が置かれる台を上方から撮影する、１０．乃至１７．いずれか一つに記載の制御方法。
１９．　１０．乃至１８．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
　この出願は、２０１６年１月２１日に出願された日本出願特願２０１６－００９７４８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (19)

  1. 　商品が撮像された映像を用いて前記商品の位置を算出する位置算出手段と、
    　前記算出された位置に基づいて前記商品が静止しているか否かを判定し、静止している商品を精算対象として登録する登録手段と、
    　を有する情報処理装置。
  2. 　前記登録手段は、所定時間の前記映像において、前記商品の移動範囲の大きさが所定の大きさ以下である場合に、その商品が静止していると判定する、請求項１に記載の情報処理装置。
  3. 　前記登録手段は、前記所定時間の前記映像における商品の移動距離の合計値を、前記所定時間における前記商品の移動範囲の大きさとする、請求項２に記載の情報処理装置。
  4. 　前記登録手段は、前記所定時間の前記映像における商品の全ての位置を包含する図形の大きさを、前記所定時間における前記商品の移動範囲の大きさとする、請求項２に記載の情報処理装置。
  5. 　前記登録手段は、
    　　前記映像の各フレーム内の領域を複数の部分領域に分割し、
    　　前記所定時間の前記映像において商品が位置する部分領域の数を、前記所定時間における前記商品の移動範囲の大きさとする、請求項２に記載の情報処理装置。
  6. 　前記位置算出手段は、前記映像において、同じ種類の商品が、第１のフレームに含まれた後に第２のフレームに含まれ、なおかつ前記第１のフレームと前記第２のフレームの間のフレーム列には含まれていない場合、前記フレーム列のフレーム数が所定数以下であれば、前記第１のフレームに含まれる前記商品と前記第２のフレームに含まれる前記商品を同じ商品として扱い、前記フレーム列のフレーム数が所定数より多ければ、前記第１のフレームに含まれる前記商品と前記第２のフレームに含まれる前記商品を異なる商品として扱う、請求項２乃至５いずれか一項に記載の情報処理装置。
  7. 　前記位置算出手段は、前記位置の算出の対象として商品の商品ＩＤを認識し、
    　前記登録手段は、前記位置算出手段によって認識された前記商品ＩＤを用いて、商品を精算対象として登録する、請求項１乃至６いずれか一項に記載の情報処理装置。
  8. 　前記登録手段は、精算対象として登録する商品が含まれるフレームを用いてその商品の商品ＩＤを認識し、前記認識した商品ＩＤを用いてその商品を精算対象として登録する、請求項１乃至６いずれか一項に記載の情報処理装置。
  9. 　前記映像を生成する撮像装置は、精算対象の商品が置かれる台を上方から撮影する、請求項１乃至８いずれか一項に記載の情報処理装置。
  10. 　コンピュータによって実行される制御方法であって、
    　商品が撮像された映像を用いて各商品の位置を算出する位置算出ステップと、
    　前記算出された位置に基づいて前記商品が静止しているか否かを判定し、静止している商品を精算対象として登録する登録ステップと、
    　を有する制御方法。
  11. 　前記登録ステップにおいて、所定時間の前記映像において、前記商品の移動範囲の大きさが所定の大きさ以下である場合に、その商品が静止していると判定する、請求項１０に記載の制御方法。
  12. 　前記登録ステップにおいて、前記所定時間の前記映像における商品の移動距離の合計値を、前記所定時間における前記商品の移動範囲の大きさとする、請求項１１に記載の制御方法。
  13. 　前記登録ステップにおいて、前記所定時間の前記映像における商品の全ての位置を包含する図形の大きさを、前記所定時間における前記商品の移動範囲の大きさとする、請求項１１に記載の制御方法。
  14. 　前記登録ステップにおいて、
    　　前記映像の各フレーム内の領域を複数の部分領域に分割し、
    　　前記所定時間の前記映像において商品が位置する部分領域の数を、前記所定時間における前記商品の移動範囲の大きさとする、請求項１１に記載の制御方法。
  15. 　前記位置算出ステップにおいて、前記映像において、同じ種類の商品が、第１のフレームに含まれた後に第２のフレームに含まれ、なおかつ前記第１のフレームと前記第２のフレームの間のフレーム列には含まれていない場合、前記フレーム列のフレーム数が所定数以下であれば、前記第１のフレームに含まれる前記商品と前記第２のフレームに含まれる前記商品を同じ商品として扱い、前記フレーム列のフレーム数が所定数より多ければ、前記第１のフレームに含まれる商品と前記第２のフレームに含まれる商品を異なる商品として扱う、請求項１１乃至１４いずれか一項に記載の制御方法。
  16. 　前記位置算出ステップにおいて、前記位置の算出の対象として商品の商品ＩＤを認識し、
    　前記登録ステップは、前記位置算出ステップによって認識された前記商品ＩＤを用いて、商品を精算対象として登録する、請求項１０乃至１５いずれか一項に記載の制御方法。
  17. 　前記登録ステップにおいて、精算対象として登録する商品が含まれるフレームを用いてその商品の商品ＩＤを認識し、前記認識した商品ＩＤを用いてその商品を精算対象として登録する、請求項１０乃至１５いずれか一項に記載の制御方法。
  18. 　前記映像を生成する撮像装置は、精算対象の商品が置かれる台を上方から撮影する、請求項１０乃至１７いずれか一項に記載の制御方法。
  19. 　請求項１０乃至１８いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
PCT/JP2016/087280 2016-01-21 2016-12-14 情報処理装置、制御方法、及びプログラム WO2017126255A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-009748 2016-01-21
JP2016009748 2016-01-21

Publications (1)

Publication Number Publication Date
WO2017126255A1 true WO2017126255A1 (ja) 2017-07-27

Family

ID=59362517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087280 WO2017126255A1 (ja) 2016-01-21 2016-12-14 情報処理装置、制御方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2017126255A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052805A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
WO2015147333A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 売上登録装置、プログラム及び売上登録方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052805A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
WO2015147333A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 売上登録装置、プログラム及び売上登録方法

Similar Documents

Publication Publication Date Title
JP7060230B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6786784B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6686290B2 (ja) システム及び方法
US20190303946A1 (en) Information processing system, and customer identification apparatus
JP6648408B2 (ja) 商品登録装置、プログラム、及び制御方法
JP2023041760A (ja) 登録装置、登録方法及びプログラム
CN112154488B (zh) 信息处理装置、控制方法和程序
JP6443184B2 (ja) 精算システム、商品登録装置、精算装置、プログラム、及び精算方法
WO2017126255A1 (ja) 情報処理装置、制御方法、及びプログラム
JP6891389B2 (ja) 商品登録装置、プログラム、制御方法、及び精算システム
JP7248010B2 (ja) 登録システム、登録方法及びプログラム
JP6319440B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7215474B2 (ja) 登録システム、登録方法及びプログラム
WO2017126256A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2020074082A (ja) 商品登録装置、プログラム、及び制御方法
WO2017126245A1 (ja) 情報処理装置、制御方法、及びプログラム
JP7205603B2 (ja) 登録装置、登録方法及びプログラム
JP7279724B2 (ja) 処理装置、処理方法及びプログラム
JP6696554B2 (ja) 精算システム及び精算方法
WO2023187993A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP7243766B2 (ja) 情報処理装置、及び制御方法
WO2020170963A1 (ja) 処理装置、処理方法及びプログラム
WO2021245835A1 (ja) 処理装置、処理方法及びプログラム
WO2023188068A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP6532114B1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886494

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16886494

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP