WO2017126254A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2017126254A1
WO2017126254A1 PCT/JP2016/086990 JP2016086990W WO2017126254A1 WO 2017126254 A1 WO2017126254 A1 WO 2017126254A1 JP 2016086990 W JP2016086990 W JP 2016086990W WO 2017126254 A1 WO2017126254 A1 WO 2017126254A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
image
reading
information processing
product code
Prior art date
Application number
PCT/JP2016/086990
Other languages
English (en)
French (fr)
Inventor
金野　大
岩元　浩太
松本　信一
善弘 伊藤
晋哉 山崎
可菜子 多賀
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/071,762 priority Critical patent/US10510218B2/en
Priority to JP2017562471A priority patent/JP6801676B2/ja
Publication of WO2017126254A1 publication Critical patent/WO2017126254A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • A47F9/046—Arrangement of recording means in or on check-out counters
    • A47F9/047—Arrangement of recording means in or on check-out counters for recording self-service articles without cashier or assistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • Cash register machines eg, POS (Point Of Salary) registers
  • POS Point Of Salary
  • the registration of target products to the cash register machine at the time of accounting is performed by reading a product code attached to each product with a predetermined reader or by selecting an operation target (operation button, touch panel display device, etc.) provided in the cash register machine. It was done by operating. There is a need for technology that can make the registration work more efficient. Related techniques are disclosed in Patent Documents 1 to 3.
  • Patent Document 1 discloses an information processing apparatus having first imaging means, recognition means, and determination means.
  • the first imaging means images the mounting surface of the mounting table on which the object is mounted from a plurality of different imaging directions.
  • the recognizing unit reads the feature amount of the target image representing the target object included in the first captured image from each of the first captured images captured in each of the plurality of imaging directions by the first imaging unit, and is stored in advance. By comparing with the feature amount of each target object, the target object corresponding to the target image is recognized for each first captured image.
  • the determining means determines the recognition result of the target object placed on the mounting table based on the recognition result of the target image for each first captured image.
  • various information is output via a display device or a printer.
  • Patent Document 2 discloses a product reading apparatus including a display unit, a frame line display unit, a correction reception unit, a frame line correction unit, a product recognition unit, and an output unit.
  • the display unit displays an image captured by the imaging unit.
  • the frame line display means displays a frame line for enclosing a product included in the image on the image displayed on the display unit.
  • the correction accepting unit accepts a frame line correction instruction.
  • the frame line correcting means corrects the frame line on the screen according to the correction instruction.
  • the product recognition means recognizes a product included in the image within the frame line.
  • the output means outputs information on the product recognized by the product recognition means. Also in the present invention, various types of information are output via a display device or a printer.
  • Patent Document 3 discloses a belt conveyor for conveying a product, a start button for starting an operation, a display device for instructing work, a height measuring device for measuring the height of the product, an imaging device for imaging the product, and a height measuring device. And a first counter that counts when the imaging device detects a product, a barcode scanner that reads and decodes a barcode from a product that passes through the variable focal length and the like, a second counter that counts the number of registered products, The image from the imaging device is processed to determine the position, size, etc.
  • registration processing is performed based on the product data of the scanner, and after the end button is operated, the count values of the first and second counters are
  • An apparatus including a POS terminal that determines completion of registration when they match is disclosed. Also in the present invention, various information is output via a display device or a printer.
  • the product code attached to each product includes not only product identification information but also attached information such as a quality retention period and a lot number.
  • the accounting device can acquire the attached information at the time of accounting processing.
  • a predetermined process can be executed according to the content of the attached information. For example, when a product whose quality retention period has expired or a product with a lot number whose sales are restricted is about to be sold, an alarm can be output. As a result, sales of such products can be avoided in advance.
  • Patent Documents 1 to 3 it is expected that the registration work will be more efficient by performing product registration using image recognition processing using the appearance characteristics of each product.
  • the accounting device can only acquire product identification information at the time of accounting processing, and cannot acquire additional information such as a quality retention period or a lot number. For this reason, the accounting apparatus cannot execute the process according to the content of the attached information as described above during the accounting process. In addition, in the case of registration work using image recognition processing, there is a risk of misrecognizing different products having similar appearances.
  • This invention makes it a subject to provide the means to solve the said problem.
  • Image data acquisition means for acquiring image data
  • Image analysis means for recognizing the product in the image using the feature quantity of the appearance of each of the plurality of products registered in the feature quantity storage means, and the data of the image
  • a reading necessity confirmation means for extracting the product; Reading means for reading the product code of the product extracted by the reading necessity confirmation means;
  • An information processing apparatus is provided.
  • An information processing method for executing is provided.
  • Computer Image data acquisition means for acquiring image data
  • Image analysis means for recognizing the product in the image using the feature quantity of the appearance of each of the plurality of products registered in the feature quantity storage means, and the data of the image, It is necessary to read the product code from among the products recognized by the image analysis unit by using a reading target storage unit in which the product that needs to read the product code corresponding to each product is registered in advance.
  • Reading necessity confirmation means for extracting the product; Reading means for reading the product code of the product extracted by the reading necessity confirmation means,
  • a program is provided that functions as:
  • an unprecedented new technology is realized in the technology for registering products using image recognition processing.
  • Each functional component of the accounting apparatus may be realized by hardware (eg, a hard-wired electronic circuit) that implements each functional component, or a combination of hardware and software (eg, electronic circuit) And a combination of programs for controlling the same).
  • FIG. 1 is a diagram illustrating a hardware configuration of the accounting apparatus according to the present embodiment.
  • the hardware configuration may be realized using a dedicated device designed for a cash register terminal, or may be realized using a general-purpose device such as a PC (Personal Computer) or a portable terminal.
  • PC Personal Computer
  • the computer 200 includes a bus 202, a processor 204, a memory 206, a storage 208, an input / output interface 210, and a network interface 212.
  • the bus 202 is a data transmission path for the processor 204, the memory 206, the storage 208, the input / output interface 210, and the network interface 212 to transmit / receive data to / from each other.
  • the processor 204 is an arithmetic processing unit such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the memory 206 is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the storage 208 is a storage device such as a hard disk, an SSD (Solid State Drive), or a memory card.
  • the storage 208 may be a memory such as a RAM or a ROM.
  • the input / output interface 210 is an interface for connecting the computer 200 and the input / output device.
  • the input / output interface 210 is connected to a touch panel display device 214, a drawer 216, a change machine 218, a printer 220, an imaging device 230, a projector 240, and the like.
  • the touch panel display device 214 is used, for example, for manually inputting the amount of goods.
  • the touch panel display device 214 displays various information such as information related to a product registered as a payment target.
  • the drawer 216 stores coins and banknotes.
  • the change machine 218 has an input port for inputting a price and an output port for discharging the change.
  • the printer 220 issues a receipt or the like.
  • the imaging device 230 captures a still image and / or a moving image.
  • the projector 240 projects a predetermined image.
  • the computer 200 may be connected to an input interface other than the touch panel display device 214 such as a keyboard.
  • the network interface 212 is an interface for connecting the computer 200 to an external device so as to be communicable.
  • the network interface 212 may be a network interface for connecting to a wired line or a network interface for connecting to a wireless line.
  • a computer 200 that realizes an accounting device is connected to a store server that manages various devices installed in a store via a network.
  • the storage 208 stores program modules for realizing each function (each functional unit) of the accounting apparatus.
  • the processor 204 implements each function corresponding to the program module by executing each program module.
  • the processor 204 may execute the modules after reading them onto the memory 206 or without reading them onto the memory 206.
  • each program module may be stored in the memory 206.
  • the computer 200 may not include the storage 208. Further, the computer 200 does not necessarily need to be communicably connected to other devices via a network. Therefore, the computer 200 may not have the network interface 212. If the accounting apparatus is not used for processing payment, the accounting apparatus may not have the drawer 216, change machine 218, and printer 220. Moreover, the accounting device only needs to be able to acquire an image taken by the imaging device 230, and does not need to have the imaging device 230 itself. In this case, the accounting device is configured to be communicable with the imaging device 230 and acquires image data from the imaging device 230. The accounting apparatus may not have the projector 240.
  • the accounting apparatus of the present embodiment can perform product registration using image recognition processing. That is, the accounting apparatus analyzes data of an image captured so as to include the mounting surface of the mounting table on which the product to be settled is mounted, and recognizes one or more products appearing in the image. In the recognition, the appearance feature of each product is used. Then, the accounting device registers the recognized product or products as the product to be settled.
  • the accounting device extracts products that require reading of the product code from the recognized products.
  • the product code includes information indicating a product ID (identifier), for example, a barcode such as a JAN code.
  • a product ID for example, a barcode such as a JAN code.
  • the accounting apparatus extracts the product code of the extracted product from the image, and reads the extracted product code.
  • the accounting apparatus performs product registration using the image recognition process. Then, based on the recognition result in the image recognition process, a product for which the product code needs to be read is extracted, and a process for reading the product code is executed only for the extracted product.
  • the accounting device includes a registration device 1 and a processing device 4.
  • the accounting device may further include an imaging device 3.
  • the registration device 1 and the processing device 4 are described separately. However, these devices may be physically and / or logically integrated.
  • the imaging device 3 and the processing device 4 are described separately, these devices may be configured to be physically and / or logically integrated.
  • the registration device 1 shows an example in which the registration device 1 and the processing device 4 are logically integrated.
  • the registration device 1 and the processing device 4 include the computer 200 shown in FIG.
  • the registration device 1 includes the touch panel display device 214, the drawer 216, the change machine 218, and the printer 220 shown in FIG.
  • the imaging device 3 corresponds to the imaging device 230 shown in FIG.
  • the imaging device 3 is connected to the processing device 4 and can communicate. Also, the registration device 1 is connected to the processing device 4 and can communicate. Communication standards are a design matter. Communication may be performed by either wired or wireless.
  • the imaging device 3 has a function of capturing a moving image and / or a still image.
  • the imaging device 3 may continuously capture moving image data.
  • the imaging device 3 may capture still images intermittently (including periodically).
  • the imaging device 3 can perform imaging at a predetermined timing (for example, timing when an instruction is given from an operator).
  • the imaging device 3 is installed at a predetermined position so as to capture an image including the mounting surface of the mounting table 2, for example.
  • Installation location is a matter of design.
  • the imaging device 3 may be installed directly above or obliquely above the mounting surface of the mounting table 2 and may image the mounting surface from the direction.
  • the imaging device 3 may be installed on the mounting surface of the mounting table 2 and may image the mounting surface from the lateral direction.
  • four imaging devices 3 are installed on the placement surface, and a predetermined area of the placement surface is imaged from four directions.
  • the mounting table 2 may be configured to include a transparent member and / or a translucent member having transparency, and the imaging device 3 may be installed below the mounting table 2 as illustrated. In this case, the imaging device 3 images the mounting surface from the lower side of the mounting table 2.
  • the imaging device 3 may be installed in a worker who performs registration work.
  • the imaging device 3 may be installed in a hat, glasses, or the like worn by the worker. In this case, it is preferable to adjust the orientation of the imaging device 3 so as to capture the tip of the operator's line of sight.
  • imaging devices 3 are installed in the figure, the number and installation positions are design matters. A part of the illustrated imaging device 3 may not be installed, or more imaging devices 3 may be installed.
  • the processing device 4 acquires image data from the imaging device 3. Then, the processing device 4 performs image analysis and recognizes the product 6 included in the image. In the recognition, the appearance feature of each product 6 is used. Thereafter, the processing device 4 transmits the recognition result to the registration device 1.
  • the processing device 4 extracts the product 6 that needs to read the product code from the recognized products 6. Then, the product code of the extracted product 6 is searched from the image, and the searched product code is read. Thereafter, the processing device 4 executes predetermined processing according to the read content.
  • the registration device 1 has a function of registering the product 6 to be settled.
  • the registration device 1 registers the product 6 to be settled using the information received from the processing device 4.
  • the registration device 1 shown in the figure has a display device 101, a display device 102, a code reader 103, operation buttons 104 and a drawer 105.
  • the display device 101 faces the front side (product registration operator side) of the mounting table 2 and is mainly visually recognized by the operator who performs the registration work.
  • the display device 101 displays information related to accounting processing, warnings, and the like.
  • the display device 101 may be a touch panel display device.
  • the display device 102 faces the far side (customer side) from the mounting table 2 and is mainly viewed by the shopper.
  • the display device 102 displays information related to accounting processing, advertisements, and the like.
  • the display device 102 may be a touch panel display device.
  • the code reader 103 reads a product code (one-dimensional code, two-dimensional code, etc.) attached to each product 6.
  • Each of the plurality of operation buttons 104 corresponds to various products, numbers, and various functions (eg, subtotal), and is used for each input. As described above, in the present embodiment, product registration can be performed using image recognition processing. For this reason, the code reader 103 and the operation button 104 are used supplementarily.
  • the drawer 105 stores money, cash vouchers, and the like.
  • the registration apparatus 1 should just be provided with the function to register the goods 6 of payment object at least, and does not need to be provided with at least one part of the function to show in figure.
  • the illustrated registration apparatus 1 is configured to be operated by a store clerk, but may be configured to be operated by a shopper.
  • FIG. 3 shows an example of a functional block diagram of the accounting apparatus 10 of the present embodiment.
  • the accounting apparatus 10 includes an image data acquisition unit 11, an image analysis unit 12, a feature amount storage unit 14, a reading necessity check unit 15, a reading target storage unit 16, and a reading unit 17.
  • the accounting apparatus 10 may further include a registration unit 13.
  • the accounting apparatus 10 does not have to include the feature amount storage unit 14.
  • another device logically separated from the accounting device 10 includes the feature amount storage unit 14.
  • the accounting device 10 is configured to be able to communicate with the other device and acquire information stored in the feature amount storage unit 14.
  • the accounting apparatus 10 may not have the reading target storage unit 16.
  • another device logically separated from the accounting device 10 includes the reading target storage unit 16.
  • the accounting apparatus 10 is configured to be able to acquire information stored in the reading target storage unit 16 by communicating with the other apparatus.
  • the accounting apparatus 10 includes the registration apparatus 1 and the processing apparatus 4 shown in FIG.
  • the image data acquisition unit 11 is realized by the processing device 4.
  • the image analysis unit 12 is realized by the processing device 4.
  • the registration unit 13 is realized by the registration device 1.
  • the feature amount storage unit 14 may be realized by the processing device 4.
  • the reading necessity confirmation unit 15 is realized by the processing device 4.
  • the reading target storage unit 16 may be realized by the processing device 4.
  • the reading unit 17 is realized by the processing device 4.
  • the image data acquisition unit 11 acquires image data captured so as to include the mounting surface of the mounting table on which the product to be settled is mounted.
  • the image data acquisition unit 11 acquires image data captured by the imaging device 3 described with reference to FIG. 2 in real time.
  • the image analysis unit 12 recognizes one or a plurality of products in the image using the image data acquired by the image data acquisition unit 11 (recognition process).
  • the image analysis unit 12 performs recognition processing for each frame, and can recognize one or more products in each frame.
  • the image analysis unit 12 uses the feature amount storage unit 14 in which the feature amount of the appearance of each of the plurality of products is registered in advance in the recognition process.
  • FIG. 4 schematically shows an example of information stored in the feature amount storage unit 14.
  • a product ID for identifying each of a plurality of products is associated with a feature amount of an appearance of each of the plurality of products.
  • Examples of the feature amount include, but are not limited to, shape, color, color distribution, and the like.
  • the feature amount storage unit 14 may store feature amounts of each of a plurality of appearances when observed from a plurality of directions corresponding to each product.
  • the product recognition algorithm by the feature amount storage unit 14 and the image analysis unit 12 using image data is a design matter, and any technique can be adopted.
  • any technique can be adopted.
  • the techniques disclosed in Patent Documents 1 to 3 may be employed.
  • the registration unit 13 registers one or more products recognized by the image analysis unit 12 as a product to be settled.
  • the registration unit 13 may perform product registration using a product information storage unit (not shown) in which product information of each of a plurality of products is registered in advance.
  • FIG. 5 schematically shows an example of product information stored in the product information storage unit.
  • the product ID the name of each product
  • the price are associated with each other. Note that the product information may not have a part of these, or may have other information.
  • the accounting apparatus 10 may include such a product information storage unit.
  • another device logically separated from the accounting device 10 may include a product information storage unit.
  • the accounting device 10 is configured to be able to communicate with the other device and acquire the product information stored in the product information storage unit.
  • the registration unit 13 searches the product information storage unit using the product ID of one or more products recognized by the image analysis unit 12 as a key, and searches for product information (eg, name, price, etc.) corresponding to the key. get. Then, the registration unit 13 registers the acquired product information.
  • product information eg, name, price, etc.
  • the reading necessity confirmation unit 15 uses the reading target storage unit 16 to extract a product for which the product code needs to be read from the products recognized by the image analysis unit 12.
  • the reading target storage unit 16 products (for example, product IDs) that require reading of the product codes corresponding to the products are registered in advance.
  • product IDs for example, product IDs
  • an example of a product registered in the reading target storage unit 16 will be described.
  • confirmation of attached information included in the product code eg, packing number, weight, lot number, quantity entered, manufacturing date, quality retention period, expiration date, expiry date, shipping destination, order number, etc.
  • Necessary products may be registered in the reading target storage unit 16.
  • a product having a possibility of being erroneously recognized as another product at a predetermined level or more may be registered in the reading target storage unit 16.
  • a product group having the same kind of capacity difference may be mentioned. More specifically, “350 ml of juice A and 500 ml of juice A”, “90 g of confectionery B and 210 g of confectionery B”, and the like.
  • Product groups with the same type of capacity may have the same package design, and may differ only in size, character information, and the like.
  • the reading necessity confirmation unit 15 reads the product code from the products recognized by the image analysis unit 12 by searching the reading target storage unit 16 using the product ID of the product recognized by the image analysis unit 12 as a key. Extract necessary products.
  • the image analysis unit 12 When a product (product ID) that requires reading of a product code is extracted by the reading necessity confirmation unit 15, the image analysis unit 12 described above performs processing for analyzing an image and extracting a product code of the product. To do. For example, the image analysis unit 12 searches for an area in an image in which a product that requires reading of a product code is shown, and extracts the product code therefrom. The image analysis unit 12 holds the feature amount of the appearance of the product code in advance, and the product code can be extracted by searching for the feature in the image.
  • the image data acquisition unit 11 is imaged so as to include the mounting surface from a plurality of directions.
  • Image data from a plurality of directions can be acquired.
  • the image analysis part 12 can analyze the data of the image from several directions, and can extract the said product code.
  • the product code is not shown in the image from one direction, but the product code may be shown in the image from the other direction. Therefore, by analyzing image data from a plurality of directions, the probability that a product code of a predetermined product can be extracted increases.
  • the identification means is a design matter, and an example will be described below.
  • the image analysis unit 12 previously stores the coordinates in the image of an arbitrary point on the placement surface that appears in the first image in the image of the arbitrary point on the placement surface that appears in the second image.
  • a conversion rule e.g., a conversion formula composed of a matrix or the like
  • the image analysis part 12 uses the said conversion rule, and the 1st goods 6 (it is mounted in the mounting surface) reflected in the predetermined coordinate in an image in a 1st image in a 2nd image You may calculate which coordinates are shown. Then, the image analysis unit 12 may specify the product shown in the calculated coordinates in the second image as the first product 6.
  • the image analysis unit 12 searches the second image using the feature amount of the appearance of the first product 6 recognized in the first image as a key, and thereby the first product 6 in the second image. May be specified.
  • the reading unit 17 reads the product code extracted from the image by the image analysis unit 12.
  • the reading unit 17 includes additional information such as a packaging number, weight, lot number, number of pieces, date of manufacture, quality retention date, expiration date, expiration date, shipping destination, order number, etc. Can be obtained.
  • the product code may directly indicate the attached information.
  • the reading unit 17 acquires the attached information by reading and analyzing the product code.
  • the reading unit 17 may acquire the product ID by reading and analyzing the product code.
  • the reading part 17 may acquire attachment information by searching the database which matches and memorize
  • the accounting apparatus 10 can perform a predetermined confirmation process based on the information acquired by the reading unit 17.
  • the accounting apparatus 10 uses the attached information (for example, pre-registered) for the product whose sales of the product are restricted by the content of the attached information (eg, packing number, lot number, order number, etc.) obtained by reading the product code. You may check if it does not match. If they do not match, the accounting apparatus 10 continues the accounting process as it is. On the other hand, if they match, the accounting apparatus 10 outputs a warning indicating that.
  • the warning includes information for specifying a product for which sales are restricted (included in the checkout target) and information indicating that the product is restricted for sale. The warning may be output via the display device 101 or the display device 102 shown in FIG.
  • the accounting apparatus 10 compares the date and time information at that time with the quality retention date (or the expiration date or the expiration date) obtained by reading the product code, so that the quality retention date (or the expiration date or You may check whether the expiration date has expired. If it is not expired, the accounting apparatus 10 continues the accounting process as it is. On the other hand, if it has expired, the accounting apparatus 10 outputs a warning indicating that fact.
  • the warning includes information for identifying a product whose quality retention period (or expiration date or expiry date) has expired, and information indicating that the product is restricted from being sold. The warning may be output via the display device 101 or the display device 102 shown in FIG.
  • the accounting apparatus 10 compares the product ID obtained by reading the product code with the product ID of the product that is recognized by the image analysis unit 12 and extracted so that the product code needs to be read. You may confirm whether there is any misrecognition by the image analysis part 12. FIG. If they match, the accounting apparatus 10 continues the accounting process as it is. On the other hand, if they do not match, the registration content by the registration unit 13 is changed from the product ID based on the recognition result by the image analysis unit 12 to the product ID obtained by reading the product code.
  • the shopper goes around the store and puts the product 6 to be purchased into the shopping basket 5. Then, it moves to the place of the accounting apparatus 10 for accounting processing.
  • the store clerk who performs the registration work places the product 6 in the shopping basket 5 at a predetermined position on the placement surface of the placement table 2 as shown in FIG. Thereby, the product 6 appears in the captured image captured by the imaging device 3.
  • the image data acquisition unit 11 acquires image data from the imaging device 3 (S10).
  • the image analysis unit 12 analyzes the data of the image and recognizes the product 6 shown in the image. Then, the recognition result is transmitted to the registration device 1.
  • the registration unit 13 When the registration unit 13 (registration device 1) receives the recognition result, the registration unit 13 registers the recognized product 6 as the product 6 to be settled.
  • the reading necessity confirmation unit 15 extracts the product 6 that needs to read the product code from the products 6 recognized in S11 (S13).
  • the image analysis unit 12 analyzes the data of the image acquired in S10, and extracts the product code from the area in the image in which the product 6 that needs to be read is displayed. (S14).
  • the reading unit 17 reads the product code extracted in S14 (S15). As a result, the product ID and attached information of the product 6 that needs to be read from the product code are acquired from the product code. Thereafter, the accounting apparatus 10 can perform a predetermined confirmation process based on the information acquired by the reading unit 17. The details of the predetermined confirmation process are as described above.
  • the store clerk When the registration work for all the products 6 to be purchased is completed, the store clerk performs the checkout process, the payment process, etc. by operating the registration device 1.
  • the store clerk performs a predetermined operation (eg, pressing the “subtotal” button) on the operation button 104 to complete the registration work. Then, the store clerk confirms the total purchase price displayed on the display device 101 and notifies the shopper. Thereafter, the store clerk receives payment from the shopper.
  • a predetermined operation eg, pressing the “subtotal” button
  • the store clerk performs a predetermined operation on the operation button 104 and inputs the received payment. Then, the change amount is displayed on the display device 101, and the drawer 105 is opened. The store clerk stores the payment in the drawer 105 and takes out change from the drawer 105. Then, the clerk hands the taken change to the shopper.
  • the accounting apparatus 10 can perform product registration using image recognition processing. For this reason, the efficiency of the product registration work is realized.
  • the accounting apparatus 10 of the present embodiment can extract a product that requires reading of a product code from the recognized products. Then, the product code of the extracted product can be extracted from the image, and the extracted product code can be read. As described above, the accounting apparatus 10 according to the present embodiment does not read the product codes for all the products, but reads the product codes only for the products extracted that need to read the product codes. be able to. In such a case, work efficiency can be improved as compared with the case where the product codes are read for all products.
  • the accounting apparatus 10 of the present embodiment reads a product code for a necessary product, confirmation of attached information such as a lot number, quality retention date, expiration date, expiration date, etc. at the time of sale. Confirmation can be performed. As a result, it is possible to avoid sales of products that are not desirable to sell.
  • the product code can be read for a product having a predetermined level or more of a possibility of being erroneously recognized as another product in the product recognition process by the image analysis unit 12. Then, the read content and the recognition result by the image analysis unit 12 are collated, and the collation result can be reflected in the product registration. For this reason, misregistration due to erroneous recognition of the image analysis unit 12 can be avoided.
  • the accounting apparatus 10 can extract a product that requires reading of a product code from among recognized products. For this reason, the worker does not need to perform the extraction work. As a result, it is possible to avoid deterioration of the efficiency of registration work due to the extraction work.
  • the extraction of the product code of a predetermined product can be realized by searching the area where the product is shown in the image. That is, instead of setting the entire image as a search target, only a part can be set as a search target. Therefore, it is possible to reduce the processing load on the computer related to the product code extraction process. In addition, the time required for processing can be shortened.
  • the product code can be extracted by analyzing data of a plurality of images obtained by imaging the placement surface from a plurality of directions. For this reason, product code extraction is realized with high probability.
  • the accounting apparatus 10 of the present embodiment includes a projection apparatus that projects an image related to accounting processing onto a mounting surface of a mounting table or a product.
  • the accounting device includes a registration device 1, a processing device 4, and a projection device 7.
  • the accounting device may further include an imaging device 3.
  • the configurations of the registration device 1 and the imaging device 3 are the same as those in the first embodiment.
  • the imaging device 3, the processing device 4, and the projection device 7 are described separately, but at least a part of these devices may be configured to be physically and / or logically integrated. .
  • the projection device 7 projects an image related to the accounting process on the mounting surface of the mounting table 2 and / or the product 6.
  • the projection device 7 is installed at a predetermined position where such projection can be realized. Installation location is a matter of design.
  • the projection device 7 may be installed directly above or obliquely above the placement surface and project an image from this direction.
  • the projection device 7 may be installed on the placement surface and project an image from the lateral direction.
  • the mounting table 2 may be made of a transparent member, and the projection device 7 may be installed below the mounting table 2. In this case, the projection device 7 projects an image on the mounting surface of the mounting table 2 from the lower side of the mounting table 2.
  • the projection device 7 includes the projector 240 shown in FIG.
  • the processing device 4 controls the projection device 7. That is, the processing device 4 transmits control information indicating an image to be projected and a projection position to the projection device 7.
  • the projection device 7 projects a predetermined image on the mounting surface of the mounting table 2 or the product 6 according to the control information.
  • Other configurations of the processing device 4 are the same as those in the first embodiment.
  • FIG. 8 shows an example of a functional block diagram of the accounting apparatus 10 of the present embodiment.
  • the accounting apparatus 10 includes an image data acquisition unit 11, an image analysis unit 12, a registration unit 13, a feature amount storage unit 14, a reading necessity confirmation unit 15, a reading target storage unit 16, and A reading unit 17 and an output unit 18 are included.
  • the accounting apparatus 10 does not have to include at least one of the feature amount storage unit 14 and the reading target storage unit 16.
  • the premise when it does not exist is the same as that of the first embodiment.
  • the configurations of the image data acquisition unit 11, the image analysis unit 12, the registration unit 13, the feature amount storage unit 14, the reading necessity check unit 15, the reading target storage unit 16, and the reading unit 17 are the same as those in the first embodiment. .
  • the output unit 18 is realized by the registration device 1, the processing device 4, the projection device 7, and the like.
  • the output unit 18 projects a predetermined image on the placement surface of the placement table and / or the product.
  • the projected image includes information related to the accounting process, and is configured in all forms such as letters, numbers, symbols, and figures.
  • the image may be composed of many colors.
  • the image may be a still image or a moving image.
  • the output unit 18 may read “when the image analysis unit 12 cannot extract the product code from the image” and / or “the product analysis unit 12 has extracted the product code from the image, but the reading unit 17 When the product code cannot be read (for example, the image is unclear), the guide information on the placement method of the product that needs to be read is output (projected).
  • FIG. 7 shows an example of the guidance information.
  • one product 6 is identified by a circle mark image 7-1, and the placement method is guided by a character information image 7-1 of "Place product code upward".
  • a circle mark is an example to the last, and is not limited to this.
  • the output unit 18 can determine the position where the image 7-1 corresponding to one product 6 is projected, for example, as follows.
  • the output unit 18 acquires “position information (coordinates) in the image of each recognized product 6” from the image analysis unit 12. Then, using the information, the output unit 18 determines a position where the image 7-1 corresponding to the one product 6 is projected.
  • the output unit 18 holds in advance a conversion rule (for example, a conversion formula composed of a matrix or the like) for converting the coordinates in the image into the coordinates in the projection area. Then, based on the conversion rule, the output unit 18 converts “the coordinates in the image of each product recognized by the image analysis unit 12” into the coordinates in the projection area. Then, the output unit 18 determines a position to project the image 7-1 based on the converted coordinates in the projection area. For example, the output unit 18 may use the converted coordinates within the projection area as the position where the image 7-1 is projected. In addition, the output unit 18 may set a position (for example, a position separated by a predetermined short distance in the right direction) having a predetermined relationship with the coordinates in the converted projection area as a position to project the image 7-1.
  • a conversion rule for example, a conversion formula composed of a matrix or the like
  • the output unit 18 may output the information to the display apparatus 101 in addition to or in place of such an image.
  • the display device 101 when the goods for sale contain the goods for which sale is restricted, and the goods for which the quality retention period, the expiration date, the expiration date, etc. have expired, the display device 101 and the display An example in which a warning is output via the device 102 is shown.
  • the warning may be output as a predetermined image using the projection device 7.
  • a cross image 7-2 may be projected on a product 6 whose sale is restricted or a product 6 whose quality retention period, expiration date, expiry date, etc. has expired.
  • the cross mark is merely an example, and the present invention is not limited to this.
  • the method for determining the projection position of the image 7-2 can be realized in the same manner as the method for determining the position where the image 7-1 is projected.
  • the worker who performs the registration work faces the mounting table so that a predetermined work (e.g., a plurality of products are arranged on the mounting table so that they do not overlap with each other) is captured.
  • the image projected on the mounting surface of the mounting table or on the product can be visually recognized while adjusting the method (orientation etc.) of each product. As a result, the inconvenience of missing the image (information) during the above operation can be reduced.
  • the reading process of the product code of a predetermined product when the reading process of the product code of a predetermined product is not successful, it is possible to output guidance information on the placement method of the product.
  • the reason why the reading process is not successful is the product placement method, the inconvenience may be solved by the guidance information.
  • the product code of the product is extracted from the image and read processing is performed.
  • the operator is notified of that fact. In response to the notification, the operator can operate a code reader or the like to read the product code of the product.
  • FIG. 8 An example of a functional block diagram of the accounting apparatus 10 of the present embodiment is shown in FIG. 8 as in the second embodiment.
  • the accounting apparatus 10 includes an image data acquisition unit 11, an image analysis unit 12, a registration unit 13, a feature amount storage unit 14, a reading necessity confirmation unit 15, a reading target storage unit 16, and A reading unit 17 and an output unit 18 are included.
  • the accounting apparatus 10 does not have to include at least one of the feature amount storage unit 14 and the reading target storage unit 16.
  • the premise of not having this is the same as in the first and second embodiments.
  • the configurations of the image data acquisition unit 11, the image analysis unit 12, the registration unit 13, the feature amount storage unit 14, the reading necessity check unit 15, the reading target storage unit 16, and the reading unit 17 are the same as those in the first and second embodiments. It is the same.
  • the output unit 18 projects a predetermined image on the mounting surface of the mounting table and / or the product.
  • the projected image includes information related to the accounting process, and is configured in all forms such as letters, numbers, symbols, and figures.
  • the image may be composed of many colors.
  • the image may be a still image or a moving image.
  • the output unit 18 outputs (projects) information for specifying a product for which a product code needs to be read.
  • FIG. 10 shows an example of the information.
  • a product 6 for which a product code needs to be read is identified by a square mark image 7-3.
  • the square mark is merely an example, and the present invention is not limited to this.
  • the method by which the output unit 18 determines the projection position of the image 7-3 is realized in the same manner as the method of determining the projection positions of the image 7-1 and the image 7-2 described in the second embodiment. it can.
  • the output unit 18 may output the information to the display apparatus 101 in addition to or in place of such an image.
  • the shopper goes around the store and puts the product 6 to be purchased into the shopping basket 5. Then, it moves to the place of the accounting apparatus 10 for accounting processing.
  • the clerk who performs the registration work places the product 6 in the shopping basket 5 at a predetermined position on the placement surface of the placement table 2 as shown in FIG. Thereby, the product 6 appears in the captured image captured by the imaging device 3.
  • the image data acquisition unit 11 acquires image data from the imaging device 3 (S20).
  • the image analysis unit 12 analyzes the data of the image and recognizes the product 6 shown in the image. Then, the recognition result is transmitted to the registration device 1.
  • the registration unit 13 When the registration unit 13 (registration device 1) receives the recognition result, the registration unit 13 registers the recognized product 6 as the product 6 to be settled.
  • the reading necessity confirmation unit 15 (processing device 4) checks whether or not the product 6 that needs to be read the product code is included in the product 6 recognized in S21 (S23).
  • the output unit 18 (the processing device 4, the projection device 7, and / or the registration device 1) outputs information specifying the product 6 (S24). For example, as shown in FIG. 10, the processing device 4 and the projection device 7 project an image 7-3 that identifies the product.
  • the operator operates the code reader 103 (reading unit 17) of the registration device 1 to read the product code of the product.
  • the accounting apparatus 10 can perform a predetermined confirmation process based on the information acquired by the reading unit 17. Details of the predetermined confirmation processing are as described in the first embodiment.
  • the store clerk When the registration work for all the products 6 to be purchased is completed, the store clerk performs the checkout process, the payment process, etc. by operating the registration device 1.
  • the store clerk performs a predetermined operation (eg, pressing the “subtotal” button) on the operation button 104 to complete the registration work. Then, the store clerk confirms the total purchase price displayed on the display device 101 and notifies the shopper. Thereafter, the store clerk receives payment from the shopper.
  • a predetermined operation eg, pressing the “subtotal” button
  • the store clerk performs a predetermined operation on the operation button 104 and inputs the received payment. Then, the change amount is displayed on the display device 101, and the drawer 105 is opened. The store clerk stores the payment in the drawer 105 and takes out change from the drawer 105. Then, the clerk hands the taken change to the shopper.
  • image data acquisition means for acquiring image data
  • Image analysis means for recognizing the product in the image using the feature quantity of the appearance of each of the plurality of products registered in the feature quantity storage means, and the data of the image
  • a reading necessity confirmation means for extracting the product; Reading means for reading the product code of the product extracted by the reading necessity confirmation means;
  • An information processing apparatus for acquiring image data
  • Image analysis means for recognizing the product in the image using the feature quantity of the appearance of each of the plurality of products registered in the feature quantity storage means, and the data of the image
  • the image analysis means extracts the product code from an area in the image in which the product requiring reading of the product code is shown, The information processing apparatus that reads the product code in the image extracted by the image analysis unit.
  • the image data acquisition means acquires the image data from a plurality of directions imaged so as to include the placement surface from a plurality of directions, The information processing apparatus, wherein the image analysis unit analyzes data of the image from the plurality of directions and extracts the product code from an area in the image in which the product for which the product code needs to be read is shown.
  • an output that outputs guidance information on the product placement method that requires reading the product code
  • An information processing apparatus further comprising means. 54.
  • the output unit is an information processing apparatus that projects an image related to guidance of the placement method onto a placement surface.
  • An information processing apparatus further comprising output means for outputting information specifying the product for which the product code needs to be read.
  • 76. In the information processing apparatus according to 7, The information processing apparatus that projects an image that identifies the product for which the product code needs to be read on the placement surface or the product.
  • a reading necessity confirmation step for extracting the product A reading step of reading the product code of the product extracted in the reading necessity confirmation step; Information processing method to execute. 10-2
  • the image analysis step the product code is extracted from an area in the image in which the product requiring reading of the product code is shown,
  • an information processing method for reading the product code in the image extracted in the image analysis step In the reading step, an information processing method for reading the product code in the image extracted in the image analysis step.
  • 10-3 In the information processing method described in 10 or 10-2, In the image data acquisition step, acquire data of the image from a plurality of directions imaged so as to include the placement surface from a plurality of directions, In the image analysis step, an information processing method of analyzing data of the image from the plurality of directions and extracting the product code from an area in the image in which the product requiring reading of the product code is shown. 10-4 In the information processing method described in 10-2 or 10-3, If the computer cannot extract the product code in the image analysis step and / or if the product code cannot be read in the reading step, the product placement method guidance information that requires reading the product code An information processing method for further executing an output step of outputting.
  • 10-5 In the information processing method described in 10-4, In the output step, an information processing method for projecting an image relating to the guidance of the placement method on the placement surface.
  • 10-6 In the information processing method according to any one of 10 to 10-5, An information processing method in which the computer further executes an output step of outputting information specifying the product for which the product code needs to be read.
  • 10-7 In the information processing method described in 10-6, In the output step, an information processing method of projecting an image for specifying the product that requires reading of the product code on a placement surface or the product.
  • 10-8 In the information processing method according to any one of 10 to 10-7, An information processing method in which a commodity requiring confirmation of attached information included in the commodity code is registered in the reading target storage unit.
  • the image analysis means extracts the product code from an area in the image in which the product requiring reading of the product code is shown
  • the reading means is a program for reading the product code in the image extracted by the image analysis means.
  • 11-3 In the program described in 11 or 11-2,
  • the image data acquisition means acquires the image data from a plurality of directions imaged so as to include the placement surface from a plurality of directions
  • the image analysis means analyzes the data of the image from the plurality of directions, and extracts the product code from an area in the image where the product for which the product code needs to be read is shown.
  • 11-4 In the program described in 11-2 or 11-3, If the image analysis means cannot extract the product code, and / or if the reading means cannot read the product code, the computer may provide information on how to place the product that requires reading the product code. A program that further functions as an output means for outputting. 11-5 In the program described in 11-4, The output means is a program for projecting an image relating to guidance of the placement method on the placement surface. 11-6 In the program described in any one of 11 to 11-5, A program that causes the computer to further function as an output unit that outputs information for specifying the product for which the product code needs to be read.
  • the output means is a program for projecting an image for specifying the product for which the product code needs to be read on a placement surface or the product.
  • 11-8 In the program described in any one of 11 to 11-7, A program in which products that require confirmation of attached information included in the product code are registered in the reading target storage unit.
  • 11-9 In the program according to any one of 11 to 11-7, A program in which commodity groups having different capacities of the same type are registered in the reading target storage unit.

Abstract

画像のデータを取得する画像データ取得部（１１）と、特徴量記憶部（１４）に登録されている複数の商品各々の外観の特徴量、及び、画像のデータを用いて、画像内の商品を認識する画像解析部（１２）と、商品コードの読み取りが必要な商品が予め登録されている読取対象記憶部（１６）を用いて、認識された商品の中から商品コードの読み取りが必要を抽出する読取要否確認部（１５）と、読取要否確認部（１５）に抽出された商品の商品コードを読み取る読取部（１７）と、を有する会計装置（１０）。

Description

情報処理装置、情報処理方法、及び、プログラム
　本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。
　コンビニエンスストア、スーパー、その他の店舗等で、金銭登録機（例：ＰＯＳ（Point Of Sale）レジスター）が広く利用されている。従来、会計時における金銭登録機への対象商品の登録作業は、商品各々に付された商品コードを所定のリーダで読み取ったり、金銭登録機が備える操作対象（操作ボタン、タッチパネルディスプレイ装置等）を操作したりすることでなされていた。当該登録作業を効率化できる技術が求められている。関連技術が、特許文献１乃至３に開示されている。
　特許文献１には、第１撮像手段と、認識手段と、決定手段とを有する情報処理装置が開示されている。第１撮像手段は、対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する。認識手段は、第１撮像手段による複数の撮像方向の各々で撮像された第１撮像画像の各々から、第１撮像画像に含まれた対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を第１撮像画像毎に認識する。決定手段は、第１撮像画像毎での対象画像の認識結果に基づいて、載置台に載置された対象物の認識結果を決定する。当該発明において、各種情報は、ディスプレイ装置やプリンタを介して出力される。
　特許文献２には、表示部と、枠線表示手段と、修正受付手段と、枠線修正手段と、商品認識手段と、出力手段とを有する商品読み取り装置が開示されている。表示部は、撮像手段で撮像された画像を表示する。枠線表示手段は、表示部に表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる。修正受付手段は、枠線の修正指示を受付ける。枠線修正手段は、修正指示に従い、画面上の枠線を修正する。商品認識手段は、枠線内の画像に含まれる商品を認識する。出力手段は、商品認識手段により認識された商品の情報を出力する。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。
　特許文献３には、商品を搬送するベルトコンベア、動作を開始するスタートボタン、作業を指示するディスプレイ装置、商品の高さを計測する高さ計測装置、商品を撮像する撮像装置、高さ計測装置及び撮像装置が商品を検出すると計数する第１のカウンタ、焦点距離等を可変し通過する商品からバーコードを読取ってデコードするバーコードスキャナ、登録処理済みの商品数を計数する第２のカウンタ、撮像装置からの画像を処理して商品の位置、大きさ等を判定し、スキャナの商品データに基づいて登録処理を行い、かつ終了ボタンの操作後、第１、第２のカウンタの計数値が一致したとき登録完了を判断するＰＯＳ端末を含む装置が開示されている。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。
特開２０１３－５４６７３号公報 特開２０１３－１７５８９０号公報 特開平７－３２０１４６号公報
　近年、商品各々に付された商品コードに、商品識別情報のみならず、品質保持期限やロットナンバー等の付属情報を含める技術が利用されている。
　複数の商品各々に付された商品コードを所定のリーダで読み取ることで登録作業がなさる場合、会計装置は、会計処理時にこれら付属情報を取得することができる。そして、付属情報の内容に応じて、所定の処理を実行することができる。例えば、品質保持期限が切れている商品や、販売が制限されているロットナンバーの商品等が販売されようとしている場合、アラームを出力等できる。結果、このような商品の販売を未然に回避することができる。
　しかし、複数の商品各々に付された商品コードを所定のリーダで読み取ることで行われる登録作業は、作業効率の改善余地がある。
　これに対し、特許文献１乃至３に開示のように、各商品の外観の特徴を用いた画像認識処理を利用して商品登録を行うことにより、登録作業の効率化が期待される。
　しかし、画像認識処理を利用した登録作業の場合、会計装置は、会計処理時に商品識別情報を取得できるに過ぎず、品質保持期限やロットナンバー等の付属情報を取得することはできない。このため、会計装置は、上述のような付属情報の内容に応じた処理の実行を会計処理時に実行できない。また、画像認識処理を利用した登録作業の場合、外観が似ている異なる商品を誤認識する恐れもある。
　本発明は、上記問題を解決する手段を提供することを課題とする。
　本発明によれば、
　画像のデータを取得する画像データ取得手段と、
　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段と、
　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
　前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
を有する情報処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　画像のデータを取得する画像データ取得工程と、
　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析工程と、
　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析工程で認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
　前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
を実行する情報処理方法が提供される。
　また、本発明によれば、
　コンピュータを、
　画像のデータを取得する画像データ取得手段、
　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段、
　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
　前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
として機能させるプログラムが提供される。
　本発明によれば、画像認識処理を利用して商品登録を行う技術において、従来にない新たな技術が実現される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の装置のハードウエア構成の一例を概念的に示す図である。 本実施形態の会計装置の適用例を説明するための図である。 本実施形態の会計装置の機能ブロック図の一例である。 本実施形態の特徴量記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の商品情報記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。 本実施形態の出力部により投影される像の一例を説明するための図である。 本実施形態の会計装置の機能ブロック図の一例である。 本実施形態の出力部により投影される像の一例を説明するための図である。 本実施形態の出力部により投影される像の一例を説明するための図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。 本実施形態の会計装置の適用例を説明するための図である。
　まず、本実施形態（第１乃至第３の実施形態）の会計装置（情報処理装置）のハードウエア構成の一例について説明する。会計装置の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
　図１は、本実施形態の会計装置のハードウエア構成を例示する図である。当該ハードウエア構成は、レジ端末用途に設計された専用装置を用いて実現されてもよいし、ＰＣ（Personal Computer）や携帯端末などの汎用装置を用いて実現されてもよい。
　計算機２００は、バス２０２、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２を有する。バス２０２は、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ２０４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ２０８は、ハードディスク、ＳＳＤ（Solid State Drive）、又はメモリカードなどの記憶装置である。また、ストレージ２０８は、ＲＡＭやＲＯＭなどのメモリであってもよい。
　入出力インタフェース２１０は、計算機２００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース２１０には、タッチパネルディスプレイ装置２１４、ドロア２１６、釣り銭機２１８、プリンタ２２０、撮像装置２３０及びプロジェクタ２４０などが接続される。タッチパネルディスプレイ装置２１４は、例えば商品の金額を手動で入力するために利用される。また、タッチパネルディスプレイ装置２１４は、精算対象として登録された商品に関する情報など、種々の情報を表示する。ドロア２１６は硬貨や紙幣を格納する。釣り銭機２１８は、代金を投入するための投入口と、釣り銭を排出するための排出口を有する。プリンタ２２０はレシート等の発行を行う。撮像装置２３０は静止画像及び／又は動画像を撮影する。プロジェクタ２４０は所定の像を投影する。なお計算機２００には、キーボードなど、タッチパネルディスプレイ装置２１４以外の入力インタフェースが接続されていてもよい。
　ネットワークインタフェース２１２は、計算機２００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース２１２は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば会計装置を実現する計算機２００は、ネットワークを介して、店舗に設置された種々の装置を管理する店舗サーバなどと接続されている。
　ストレージ２０８は会計装置の各機能（各機能部）を実現するプログラムモジュールを記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ２０４は、上記各モジュールを実行する際、これらのモジュールをメモリ２０６上に読み出してから実行してもよいし、メモリ２０６上に読み出さずに実行してもよい。
　会計装置のハードウエア構成は図１に示した構成に限定されない。例えば、各プログラムモジュールはメモリ２０６に格納されてもよい。この場合、計算機２００は、ストレージ２０８を備えていなくてもよい。また計算機２００は、必ずしもネットワークを介して他の装置と通信可能に接続される必要はない。よって計算機２００はネットワークインタフェース２１２を有さなくてもよい。また会計装置が代金の支払いの処理に利用されない場合、会計装置はドロア２１６、釣り銭機２１８、及びプリンタ２２０を有さなくてもよい。また、会計装置は撮像装置２３０が撮影した画像を取得できればよく、撮像装置２３０自体を有さなくてもよい。この場合、会計装置は撮像装置２３０と通信可能に構成され、撮像装置２３０から画像データを取得する。また、会計装置はプロジェクタ２４０を有さなくてもよい。
　以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。
＜第１の実施形態＞
　まず、本実施形態の会計装置の概要について説明する。本実施形態の会計装置は、画像認識処理を用いて、商品登録を行うことができる。すなわち、会計装置は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを解析し、画像に写る１つ又は複数の商品を認識する。当該認識においては、各商品の外観の特徴を用いる。そして、会計装置は、認識した１つ又は複数の商品を、精算対象の商品として登録する。
　また、会計装置は、認識した商品の中から、商品コードの読み取りが必要な商品を抽出する。商品コードは、商品ＩＤ（identifier）が分かる情報を含み、例えばＪＡＮコード等のバーコードが挙げられる。例えば、品質保持期限の確認が必要な商品や、賞味期限の確認が必要な商品、消費期限の確認が必要な商品、同種容量違いの商品群等が、商品コードの読み取りが必要な商品となる。その後、会計装置は、抽出した商品の商品コードを画像の中から抽出し、抽出した商品コードを読み取る。
　このように、本実施形態の会計装置は、画像認識処理を用いて商品登録を行う。そして、画像認識処理での認識結果に基づき、商品コードの読み取りが必要な商品を抽出し、抽出した商品に対してのみ、商品コードを読み取る処理を実行する。
　次に、図２を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置１、処理装置４を有する。会計装置は、さらに、撮像装置３を有してもよい。なお、図において、登録装置１及び処理装置４を分けて記載しているが、これらの装置は、物理的及び／又は論理的に一体になって構成されてもよい。また、撮像装置３及び処理装置４を分けて記載しているが、これらの装置は、物理的及び／又は論理的に一体になって構成されてもよい。
　図１のハードウエア構成は、登録装置１及び処理装置４が論理的に一体となって構成される例を示す。登録装置１及び処理装置４が図１に示す計算機２００を備える。そして、登録装置１が図１に示すタッチパネルディスプレイ装置２１４、ドロア２１６、釣り銭機２１８及びプリンタ２２０を備える。そして、撮像装置３が図１に示す撮像装置２３０に対応する。
　撮像装置３は処理装置４と繋がり、通信可能になっている。また、登録装置１は処理装置４と繋がり、通信可能になっている。通信規格は設計的事項である。有線及び無線いずれで通信を行ってもよい。
　撮像装置３は、動画像及び／又は静止画像を撮像する機能を有する。撮像装置３は、動画像のデータを継続的に撮像してもよい。その他、撮像装置３は、間欠的（周期的も含む）に静止画像を撮像してもよい。この場合、撮像装置３は、予め定められた所定のタイミング（例：作業者からの指示があったタイミング）で撮像を行うことができる。
　撮像装置３は、例えば、載置台２の載置面を含んで撮像するよう、所定位置に設置される。設置位置は設計的事項である。例えば、撮像装置３は、載置台２の載置面の真上や斜め上方に設置され、当該方向から載置面を撮像してもよい。その他、撮像装置３は、載置台２の載置面上に設置され、横方向から載置面を撮像してもよい。図では、載置面に４つの撮像装置３が設置され、四方から載置面の所定領域を撮像している。その他、載置台２を透明の部材、及び／又は、透過性を有する半透明の部材を含んで構成し、図示するように載置台２の下方に撮像装置３を設置してもよい。この場合、撮像装置３は、載置台２の下側から、載置面を撮像する。
　その他、登録作業を行う作業者に撮像装置３が設置されてもよい。例えば、作業者が装着する帽子、眼鏡等に、撮像装置３が設置されてもよい。この場合、作業者の視線の先を撮像するように、撮像装置３の向きなどを調整するのが好ましい。
　なお、図では６つの撮像装置３が設置されているが、その数や設置位置は設計的事項である。図示する撮像装置３の一部が設置されてなくてもよいし、さらに多くの撮像装置３が設置されてもよい。
　処理装置４は、撮像装置３から画像データを取得する。そして、処理装置４は、画像解析を行い、画像に含まれる商品６を認識する。当該認識においては、各商品６の外観の特徴を用いる。その後、処理装置４は、認識結果を登録装置１に送信する。
　また、処理装置４は、認識した商品６の中から、商品コードの読み取りが必要な商品６を抽出する。そして、抽出した商品６の商品コードを画像の中から検索し、検索した商品コードを読み取る。その後、処理装置４は、読み取った内容に応じた所定の処理を実行する。
　登録装置１は、精算対象の商品６を登録する機能を有する。登録装置１は、処理装置４から受信した情報を用いて、精算対象の商品６を登録する。
　図示する登録装置１は、ディスプレイ装置１０１、ディスプレイ装置１０２、コードリーダ１０３、操作ボタン１０４及びドロア１０５を有する。
　ディスプレイ装置１０１は、載置台２よりも手前側（商品登録の作業者側）に向いており、主に、登録作業を行う作業者が視認する。ディスプレイ装置１０１には、会計処理に関する情報や、警告等が表示される。ディスプレイ装置１０１は、タッチパネルディスプレイ装置であってもよい。
　ディスプレイ装置１０２は、載置台２よりも向こう側（顧客側）に向いており、主に、買い物客が視認する。ディスプレイ装置１０２には、会計処理に関する情報や、広告等が表示される。ディスプレイ装置１０２は、タッチパネルディスプレイ装置であってもよい。
　コードリーダ１０３は、各商品６に付された商品コード（１次元コード、２次元コード等）を読み取る。複数の操作ボタン１０４の各々は、各種商品、数字、各種機能（例：小計等）に対応しており、各々の入力に用いられる。なお、上述の通り、本実施形態では、画像認識処理を用いて、商品登録を行うことができる。このため、コードリーダ１０３や操作ボタン１０４は、補助的に用いられる。ドロア１０５には、お金や金券等が収納される。
　なお、登録装置１は、少なくとも精算対象の商品６を登録する機能を備えておればよく、図示する機能の少なくとも一部を備えなくてもよい。
　また、図示する登録装置１は、店員に操作されることを前提にした構成となっているが、買い物客に操作されることを前提とした構成となってもよい。
　次に、本実施形態の会計装置の構成を詳細に説明する。図３に、本実施形態の会計装置１０の機能ブロック図の一例を示す。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、特徴量記憶部１４、読取要否確認部１５と、読取対象記憶部１６と、読取部１７とを有する。図示しないが、会計装置１０は、さらに登録部１３を有してもよい。
　なお、会計装置１０は、特徴量記憶部１４を有さなくてもよい。この場合、会計装置１０と論理的に分かれた他の装置が、特徴量記憶部１４を備える。そして、会計装置１０は、当該他の装置と通信し、特徴量記憶部１４に記憶された情報を取得可能に構成される。
　また、会計装置１０は、読取対象記憶部１６を有さなくてもよい。この場合、会計装置１０と論理的に分かれた他の装置が、読取対象記憶部１６を備える。そして、会計装置１０は、当該他の装置と通信し、読取対象記憶部１６に記憶された情報を取得可能に構成される。
　上述の通り、会計装置１０は、図２に示す登録装置１及び処理装置４を有する。画像データ取得部１１は、処理装置４により実現される。画像解析部１２は、処理装置４により実現される。登録部１３は、登録装置１により実現される。特徴量記憶部１４は、処理装置４により実現されてもよい。読取要否確認部１５は、処理装置４により実現される。読取対象記憶部１６は、処理装置４により実現されてもよい。読取部１７は、処理装置４により実現される。
　画像データ取得部１１は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを取得する。画像データ取得部１１は、図２を用いて説明した撮像装置３が撮像した画像データをリアルタイムに取得する。
　画像解析部１２は、画像データ取得部１１が取得した画像のデータを用いて、画像に写る１つ又は複数の商品を認識する（認識処理）。画像解析部１２は、フレーム毎に認識処理を行い、各フレーム内で１つ又は複数の商品を認識することができる。
　画像解析部１２は、当該認識処理において、複数の商品各々の外観の特徴量が予め登録されている特徴量記憶部１４を用いる。図４に、特徴量記憶部１４が記憶する情報の一例を模式的に示す。図示する例では、複数の商品各々を識別するための商品ＩＤと、複数の商品各々の外観の特徴量とが対応付けられている。特徴量は、形状、色、色の分布等を例示できるが、これらに限定されない。特徴量記憶部１４には、各商品に対応して、複数の方向各々から観察した際の複数の外観各々の特徴量が記憶されてもよい。
　特徴量記憶部１４及び画像データを用いた画像解析部１２による商品認識のアルゴリズムは設計的事項であり、あらゆる技術を採用できる。例えば、特許文献１乃至３に開示されている技術を採用してもよい。
　登録部１３は、画像解析部１２により認識された１つ又は複数の商品を、精算対象の商品として登録する。例えば、登録部１３は、複数の商品各々の商品情報が予め登録されている商品情報記憶部（不図示）を用いて、商品登録を行ってもよい。
　図５に、商品情報記憶部に記憶される商品情報の一例を模式的に示す。図示する商品情報では、商品ＩＤと、各商品の名称と、価格とが互いに対応付けられている。なお、商品情報は、これらの一部を有さなくてもよいし、他の情報を有してもよい。
　会計装置１０が、このような商品情報記憶部を備えてもよい。その他、会計装置１０と論理的に分かれた他の装置が、商品情報記憶部を備えてもよい。後者の場合、会計装置１０は、当該他の装置と通信し、商品情報記憶部に記憶された商品情報を取得可能に構成される。
　例えば、登録部１３は、画像解析部１２により認識された１つ又は複数の商品の商品ＩＤをキーとして商品情報記憶部を検索し、キーに対応する商品情報（例：名称、価格等）を取得する。そして、登録部１３は、取得した商品情報を登録する。
　図３に戻り、読取要否確認部１５は、読取対象記憶部１６を用いて、画像解析部１２により認識された商品の中から商品コードの読み取りが必要な商品を抽出する。
　読取対象記憶部１６には、商品各々に対応する商品コードの読み取りが必要な商品（例：商品ＩＤ）が予め登録されている。以下、読取対象記憶部１６に登録される商品の一例を説明する。
　例えば、販売前に、商品コードに含まれる付属情報（例：梱包番号、重量、ロットナンバー、入り数、製造日、品質保持期限、消費期限、賞味期限、出荷先、発注番号等）の確認が必要な商品が、読取対象記憶部１６に登録されてもよい
　商品に不具合などが見つかり、所定のロットナンバー（所定の梱包番号や所定の発注番号等であってもよい）の商品の販売が制限されている場合、販売前に、各商品の当該付属情報を確認することが望ましい。例えばこのような理由で、販売前に、付属情報の確認が必要となる。
　その他、商品に品質保持期限、消費期限、賞味期限等がある場合、販売前に、これらの期限が切れていないか確認することが望ましい。例えばこのような理由で、販売前に、付属情報の確認が必要となる。
　その他、画像解析部１２による商品認識処理において、他の商品と誤認識される可能性が所定レベル以上である商品が、読取対象記憶部１６に登録されてもよい。
　外観の特徴が所定レベル以上類似するが互いに異なる商品群においては、画像解析部１２による商品認識処理において、他の商品と誤認識される可能性がある。このような商品群としては、例えば、同種容量違いの商品群が挙げられる。より具体的には、「３５０ｍｌのジュースＡと５００ｍｌのジュースＡ」、「９０ｇの菓子Ｂと２１０ｇの菓子Ｂ」等である。同種容量違いの商品群は、パッケージデザインがほとんど同じであり、大きさや、文字情報等のみが異なるという場合がある。
　読取要否確認部１５は、画像解析部１２により認識された商品の商品ＩＤをキーとして読取対象記憶部１６を検索することで、画像解析部１２により認識された商品の中から商品コードの読み取りが必要な商品を抽出する。
　読取要否確認部１５により、商品コードの読み取りが必要な商品（商品ＩＤ）が抽出された場合、上述した画像解析部１２は、画像を解析し、当該商品の商品コードを抽出する処理を実行する。例えば、画像解析部１２は、商品コードの読み取りが必要な商品が写る画像内のエリアを検索し、そこから商品コードを抽出する。画像解析部１２は予め商品コードの外観の特徴量を保持しており、当該特徴を画像内で検索することで、商品コードの抽出を実現することができる。
　なお、図２に示すように、複数の撮像装置３で複数の方向から載置面を撮像している場合、画像データ取得部１１は、複数の方向から載置面を含むように撮像された複数方向からの画像のデータを取得することができる。そして、画像解析部１２は、複数の方向からの画像のデータを解析し、上記商品コードの抽出を行うことができる。ある方向からの画像に商品コードが写っていないが、他の方向からの画像に商品コードが写っている可能性がある。このため、複数の方向からの画像のデータを解析することで、所定の商品の商品コードを抽出できる確率が高まる。
　ところで、第１の撮像装置３で撮像した第１の画像内で認識した第１の商品６の商品コードを、第２の撮像装置３で撮像した第２の画像内で検索する場合、まず、第２の画像内で上記第１の商品６を特定する必要がある。当該特定手段は設計的事項であるが、以下一例を説明する。
　例えば、画像解析部１２に、予め、第１の画像に写る載置面上の任意の点の画像内の座標を、第２の画像に写る載置面上の上記任意の点の画像内の座標に変換するための変換ルール（例：行列等で構成された変換式等）が記憶されていてもよい。そして、画像解析部１２は、当該変換ルールを用いて、第１の画像において画像内の所定座標に写る第１の商品６（載置面に載置されている）が第２の画像内のどの座標に写っているか算出してもよい。そして、画像解析部１２は、算出した第２の画像内の座標に写っている商品を、第１の商品６として特定してもよい。
　その他、画像解析部１２は、第１の画像内で認識した第１の商品６の外観の特徴量をキーとして第２の画像を検索することで、第２の画像内で第１の商品６を特定してもよい。
　読取部１７は、画像解析部１２が画像から抽出した商品コードを読み取る。結果、読取部１７は、商品コードが示す商品ＩＤに加えて、梱包番号、重量、ロットナンバー、入り数、製造日、品質保持期限、賞味期限、消費期限、出荷先、発注番号等の付属情報を取得することができる。なお、商品コードが上記付属情報を直接示していてもよい。この場合、商品コードを読み取り、解析することで、読取部１７は、上記付属情報を取得する。その他、読取部１７は、商品コードを読み取り、解析することで、商品ＩＤを取得してもよい。そして、読取部１７は、取得した商品ＩＤをキーとして、商品ＩＤと付属情報とを対応付けて記憶するデータベースを検索することで、付属情報を取得してもよい。
　その後、会計装置１０は、読取部１７が取得した情報に基づき、所定の確認処理を行うことができる。
　例えば、会計装置１０は、商品コードの読み取りで得られた付属情報（例：梱包番号、ロットナンバー、発注番号等）の内容が、商品の販売を制限されている商品の付属情報（予め登録されている）に一致しないか確認してもよい。一致しない場合、会計装置１０は、そのまま会計処理を継続する。一方、一致する場合、会計装置１０は、その旨を示す警告を出力する。警告は、販売を制限されている商品（精算対象に含まれているもの）を特定する情報、及び、当該商品は販売が制限されていることを示す情報が含まれる。警告の出力は、図２に示すディスプレイ装置１０１やディスプレイ装置１０２を介してなされてもよい。
　その他、会計装置１０は、その時点の日時情報と、商品コードの読み取りで得られた品質保持期限（又は、賞味期限や消費期限）とを比較することで、品質保持期限（又は、賞味期限や消費期限）が切れていないか確認してもよい。切れていない場合、会計装置１０は、そのまま会計処理を継続する。一方、切れている場合、会計装置１０は、その旨を示す警告を出力する。警告は、品質保持期限（又は、賞味期限や消費期限）が切れている商品を特定する情報、及び、当該商品は販売が制限されていることを示す情報が含まれる。警告の出力は、図２に示すディスプレイ装置１０１やディスプレイ装置１０２を介してなされてもよい。
　その他、会計装置１０は、商品コードの読み取りで得られた商品ＩＤと、画像解析部１２により認識され、かつ、商品コードの読み取りが必要として抽出された商品の商品ＩＤとを比較することで、画像解析部１２による誤認識がないか確認してもよい。一致している場合、会計装置１０は、そのまま会計処理を継続する。一方、一致しない場合、登録部１３による登録内容を、画像解析部１２による認識結果に基づく商品ＩＤから、商品コードの読み取りで得られた商品ＩＤに変更する。
　次に、図６のフローチャート、及び、図２を用いて、本実施形態の会計装置１０の処理の流れの一例を説明する。
　まず、買い物客は、店内を回り、購入対象の商品６を買物カゴ５に入れていく。その後、会計処理のため、会計装置１０の場所に移動する。
　登録作業を行う店員は、図２に示すように、買物カゴ５に入っていた商品６を、載置台２の載置面上の所定位置に載置する。これにより、撮像装置３が撮像する撮像画像内に、商品６が写るようになる。
　すると、画像データ取得部１１（処理装置４）は、撮像装置３から画像のデータを取得する（Ｓ１０）。
　その後、画像解析部１２（処理装置４）は、当該画像のデータを解析し、画像に写る商品６を認識する。そして、認識結果を、登録装置１に送信する。
　登録部１３（登録装置１）は、認識結果を受信すると、認識された商品６を精算対象の商品６として登録する。
　また、読取要否確認部１５（処理装置４）は、Ｓ１１で認識された商品６の中から、商品コードの読み取りが必要な商品６を抽出する（Ｓ１３）。Ｓ１３で抽出された場合、画像解析部１２（処理装置４）は、Ｓ１０で取得された画像のデータを解析し、商品コードの読み取りが必要な商品６が写る画像内のエリアから商品コードを抽出する（Ｓ１４）。
　その後、読取部１７は、Ｓ１４で抽出された商品コードを読み取る（Ｓ１５）。これにより、商品コードの読み取りが必要な商品６の商品ＩＤや付属情報が商品コードから取得される。その後、会計装置１０は、読取部１７が取得した情報に基づき、所定の確認処理を行うことができる。所定の確認処理の詳細は、上述の通りである。
　購入対象の商品６すべての登録作業が完了すると、店員は、登録装置１を操作するなどして、精算処理や支払処理等を行う。
　例えば、店員は、操作ボタン１０４に対して所定の操作（例：「小計」ボタンの押下）を行い、登録作業を完了させる。そして、店員は、ディスプレイ装置１０１に表示されている購入金額合計を確認し、買い物客に伝える。その後、店員は、買い物客から支払金等を受けとる。
　次いで、店員は、操作ボタン１０４に対して所定の操作を行い、受け取った支払金を入力などする。すると、ディスプレイ装置１０１に釣銭金額が表示され、ドロア１０５が開く。店員は、ドロア１０５に支払金を収納するとともに、ドロア１０５から釣銭を取り出す。そして、店員は、取り出した釣銭を買い物客に渡す。
　なお、上記精算処理や支払処理等の流れはあくまで一例であり、登録装置１の構成に応じて流れは異なる。
　以上説明した本実施形態の会計装置１０は、画像認識処理を用いて、商品登録を行うことができる。このため、商品登録の作業の効率化が実現される。
　また、本実施形態の会計装置１０は、認識した商品の中から、商品コードの読み取りが必要な商品を抽出することができる。そして、抽出した商品の商品コードを画像の中から抽出し、抽出した商品コードを読み取ることができる。このように、本実施形態の会計装置１０は、すべての商品に対して商品コードの読み取りを行うのでなく、商品コードの読み取りが必要として抽出された商品に対してのみ、商品コードの読み取りを行うことができる。かかる場合、すべての商品に対して商品コードの読み取りを行う場合に比べて、作業の効率化が実現される。
　また、本実施形態の会計装置１０は、必要な商品に対しては商品コードの読み取りを行うので、販売時に、ロットナンバー等の付属情報の確認や、品質保持期限、賞味期限、消費期限等の確認等を行うことができる。結果、販売することが好ましくない商品の販売を未然に回避できる。
　また、本実施形態によれば、画像解析部１２による商品認識処理において他の商品と誤認識される可能性が所定レベル以上ある商品に対して、商品コードの読み取りを行うことができる。そして、読み取った内容と画像解析部１２による認識結果とを照合し、照合結果を商品登録に反映させることができる。このため、画像解析部１２の誤認識に起因した誤登録を回避できる。
　また、本実施形態によれば、会計装置１０が、認識された商品の中から商品コードの読み取りが必要な商品を抽出することができる。このため、作業者は、当該抽出作業を行う必要がない。結果、当該抽出作業による登録作業の効率の悪化を回避できる。
　また、本実施形態の場合、所定の商品の商品コードの抽出は、画像内でその商品が写るエリア内を検索することで実現することができる。すなわち、画像全体を検索対象とするのでなく、一部のみを検索対象とすることができる。このため、商品コードの抽出処理に関するコンピュータの処理負担を軽減できる。また、処理に要する時間を短縮できる。
　また、本実施形態の場合、複数の方向から載置面を撮像した複数の画像のデータを解析し、商品コードの抽出を行うことができる。このため、高確率で、商品コードの抽出が実現される。
＜第２の実施形態＞
　本実施形態の会計装置１０は、会計処理に関する像を載置台の載置面や商品上に投影する投影装置を含む。
　図７を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置１、処理装置４及び投影装置７を有する。会計装置は、さらに、撮像装置３を有してもよい。登録装置１及び撮像装置３の構成は、第１の実施形態と同様である。図７において、撮像装置３、処理装置４及び投影装置７を分けて記載しているが、これらの装置の少なくとも一部は、物理的及び／又は論理的に一体になって構成されてもよい。
　投影装置７は、載置台２の載置面上及び／又は商品６上に、会計処理に関する像を投影する。投影装置７は、このような投影が実現可能な所定位置に設置される。設置位置は設計的事項である。例えば、投影装置７は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置７は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台２を透明の部材で構成し、載置台２の下方に投影装置７を設置してもよい。この場合、投影装置７は、載置台２の下側から、載置台２の載置面上に像を投影する。投影装置７が、図１に示すプロジェクタ２４０を備える。
　処理装置４は、投影装置７を制御する。すなわち、処理装置４は、投影する像や投影する位置を示す制御情報を投影装置７に送信する。投影装置７は、当該制御情報に従い、所定の像を載置台２の載置面上や商品６上に投影する。処理装置４のその他の構成は、第１の実施形態と同様である。
　図８に、本実施形態の会計装置１０の機能ブロック図の一例を示す。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４と、読取要否確認部１５と、読取対象記憶部１６と、読取部１７と、出力部１８とを有する。
　なお、会計装置１０は、特徴量記憶部１４及び読取対象記憶部１６の少なくとも一方を有さなくてもよい。有さない場合の前提は、第１の実施形態と同様である。
　画像データ取得部１１、画像解析部１２、登録部１３、特徴量記憶部１４、読取要否確認部１５、読取対象記憶部１６及び読取部１７の構成は、第１の実施形態と同様である。
　出力部１８は、登録装置１、処理装置４及び投影装置７等により実現される。出力部１８は、所定の像を、載置台の載置面上及び／又は商品上に投影する。投影される像は、会計処理に関する情報を含み、文字、数字、記号、図形等のあらゆる形態で構成される。また、当該像は多数の色で構成されてもよい。また、当該像は、静止画像であってもよいし、動画像であってもよい。
　例えば、出力部１８は、「画像解析部１２が画像内から商品コードを抽出できない場合」、及び／又は、「画像解析部１２により画像内から商品コードが抽出されたが、読取部１７が当該商品コードを読み取れない場合（例：画像が不鮮明）」、商品コードの読み取りが必要な商品の載置方法の案内情報を出力する（投影する）。
　図７に、当該案内情報の一例を示す。図では、丸マークの像７－１で一の商品６を特定し、「商品コードを上向きに載置」との文字情報の像７－１で、載置方法を案内している。丸マークはあくまで一例であり、これに限定されない。
　なお、出力部１８は、例えば、以下のようにして、一の商品６に対応する像７－１を投影する位置を決定することができる。出力部１８は、画像解析部１２から「認識された商品６各々の画像内の位置情報（座標）」を取得する。そして、出力部１８は、当該情報を用いて、一の商品６に対応する像７－１を投影する位置を決定する。
　例えば、出力部１８は、予め、画像内の座標を投影エリア内の座標に変換するための変換ルール（例：行列等で構成された変換式等）を保持しておく。そして、出力部１８は、当該変換ルールに基づき、「画像解析部１２に認識された商品各々の画像内の座標」を、投影エリア内の座標に変換する。そして、出力部１８は、変換された投影エリア内の座標に基づき、像７－１を投影する位置を決定する。例えば、出力部１８は、変換された投影エリア内の座標そのものを、像７－１を投影する位置としてもよい。その他、出力部１８は、変換された投影エリア内の座標と所定の関係にある位置（例：右方向に所定の短い距離離れた位置）を、像７－１を投影する位置としてもよい。
　なお、出力部１８は、このような像に加えて／又は代えて、ディスプレイ装置１０１に当該情報を出力してもよい。
　ところで、第１の実施形態では、販売対象の商品の中に、販売が制限されている商品や品質保持期限、賞味期限、消費期限等が切れている商品が含まれる場合、ディスプレイ装置１０１やディスプレイ装置１０２を介して警告が出力される例を示した。当該警告は、投影装置７を用いて所定の像として出力されてもよい。
　例えば、図９に示すように、販売が制限されている商品６や品質保持期限、賞味期限、消費期限等が切れている商品６に対して、バツマークの像７－２が投影されてもよい。バツマークはあくまで一例であり、これに限定されない。当該像７－２の投影位置を決定する方法は、上記像７－１を投影する位置を決定する方法と同様にして実現できる。
　以上説明した本実施形態によれば、第１の実施形態と同様な作用効果が実現される。
　また、本実施形態によれば、投影装置を用いて、会計処理に関する像を載置台の載置面上や商品上に投影することができる。かかる場合、登録作業を行う作業者は、載置台の方を向いて所定の作業（例：載置台上に複数の商品が互いに重ならないように並べる、商品の特徴的な部分が撮像されるように各商品の載置の仕方（向き等）を調整する）を行いながら、載置台の載置面上や商品上に投影された像を視認することができる。結果、上記作業中に、当該像（情報）を見逃す不都合を軽減できる。
　また、本実施形態によれば、所定の商品の商品コードの読み取り処理がうまくいかない場合、当該商品の載置方法の案内情報を出力することができる。読み取り処理がうまくいかない原因が商品の載置方法にある場合、当該案内情報により、当該不都合を解消できる可能性がある。
＜第３の実施形態＞
　第１及び第２の実施形態では、商品コードの読み取りが必要な商品が含まれる場合、画像内からその商品の商品コードを抽出し、読み取り処理を行っていた。本実施形態では、商品コードの読み取りが必要な商品が含まれる場合、その旨を作業者に通知する。当該通知に応じて、作業者は、コードリーダ等を操作し、当該商品の商品コードを読み取らせることができる。
　本実施形態の会計装置１０の機能ブロック図の一例は、第２の実施形態と同様、図８で示される。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４と、読取要否確認部１５と、読取対象記憶部１６と、読取部１７と、出力部１８とを有する。
　なお、会計装置１０は、特徴量記憶部１４及び読取対象記憶部１６の少なくとも一方を有さなくてもよい。有さない場合の前提は、第１及び第２の実施形態と同様である。
　画像データ取得部１１、画像解析部１２、登録部１３、特徴量記憶部１４、読取要否確認部１５、読取対象記憶部１６及び読取部１７の構成は、第１及び第２の実施形態と同様である。
　出力部１８は、所定の像を、載置台の載置面上及び／又は商品上に投影する。投影される像は、会計処理に関する情報を含み、文字、数字、記号、図形等のあらゆる形態で構成される。また、当該像は多数の色で構成されてもよい。また、当該像は、静止画像であってもよいし、動画像であってもよい。
　例えば、出力部１８は、商品コードの読み取りが必要な商品を特定する情報を出力する（投影する）。
　図１０に、当該情報の一例を示す。図では、四角マークの像７－３で、商品コードの読み取りが必要な商品６を特定している。四角マークはあくまで一例であり、これに限定されない。出力部１８が、このような像７－３の投影位置を決定する方法は、第２の実施形態で説明した像７－１及び像７－２の投影位置を決定する方法と同様にして実現できる。
　なお、出力部１８は、このような像に加えて／又は代えて、ディスプレイ装置１０１に当該情報を出力してもよい。
　次に、図１１のフローチャートを用いて、本実施形態の会計装置１０の処理の流れの一例を説明する。
　まず、買い物客は、店内を回り、購入対象の商品６を買物カゴ５に入れていく。その後、会計処理のため、会計装置１０の場所に移動する。
　登録作業を行う店員は、図１２に示すように、買物カゴ５に入っていた商品６を、載置台２の載置面上の所定位置に載置する。これにより、撮像装置３が撮像する撮像画像内に、商品６が写るようになる。
　すると、画像データ取得部１１（処理装置４）は、撮像装置３から画像のデータを取得する（Ｓ２０）。
　その後、画像解析部１２（処理装置４）は、当該画像のデータを解析し、画像に写る商品６を認識する。そして、認識結果を、登録装置１に送信する。
　登録部１３（登録装置１）は、認識結果を受信すると、認識された商品６を精算対象の商品６として登録する。
　また、読取要否確認部１５（処理装置４）は、Ｓ２１で認識された商品６の中に、商品コードの読み取りが必要な商品６が含まれていないか確認する（Ｓ２３）。
　含まれている場合、出力部１８（処理装置４と、投影装置７及び／又は登録装置１）は、その商品６を特定する情報を出力する（Ｓ２４）。例えば、図１０に示すように、処理装置４及び投影装置７は、その商品を特定する像７－３を投影する。
　これに応じて、作業者は、登録装置１のコードリーダ１０３（読取部１７）を操作し、その商品の商品コードを読み取らせる。その後、会計装置１０は、読取部１７が取得した情報に基づき、所定の確認処理を行うことができる。所定の確認処理の詳細は、第１の実施形態で説明した通りである。
　購入対象の商品６すべての登録作業が完了すると、店員は、登録装置１を操作するなどして、精算処理や支払処理等を行う。
　例えば、店員は、操作ボタン１０４に対して所定の操作（例：「小計」ボタンの押下）を行い、登録作業を完了させる。そして、店員は、ディスプレイ装置１０１に表示されている購入金額合計を確認し、買い物客に伝える。その後、店員は、買い物客から支払金等を受けとる。
　次いで、店員は、操作ボタン１０４に対して所定の操作を行い、受け取った支払金を入力などする。すると、ディスプレイ装置１０１に釣銭金額が表示され、ドロア１０５が開く。店員は、ドロア１０５に支払金を収納するとともに、ドロア１０５から釣銭を取り出す。そして、店員は、取り出した釣銭を買い物客に渡す。
　なお、上記精算処理や支払処理等の流れはあくまで一例であり、登録装置１の構成に応じて流れは異なる。
　以上説明した本実施形態によれば、第１及び第２の実施形態と同様な作用効果を実現できる。
　また、本実施形態によれば、商品コードの読み取りが必要な商品が含まれる場合、その商品を特定する情報を出力することができる。これに応じて、作業者は、その商品のみに対して、商品コードの読み取り作業を行うことができる。かかる場合も、すべての商品に対して商品コードの読み取りを行う場合に比べて、作業の効率化が実現される。
　また、本実施形態の場合、商品コードを撮像する必要がなく、各商品の６外観の特徴的な部分を撮影できればよい。このため、図１０及び図１２に示すように、設置する撮像装置３の数を減らすことができる。結果、システムのコストの抑制や、システムのメンテナンス負担の軽減などが実現される。
　以下、参考形態の例を付記する。
１　画像のデータを取得する画像データ取得手段と、
　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段と、
　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
　前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
を有する情報処理装置。
２　１に記載の情報処理装置において、
　前記画像解析手段は、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出し、
　前記読取手段は、前記画像解析手段が抽出した前記画像内の前記商品コードを読み取る情報処理装置。
３　１又は２に記載の情報処理装置において、
　前記画像データ取得手段は、複数の方向から前記載置面を含むように撮像された複数方向からの前記画像のデータを取得し、
　前記画像解析手段は、前記複数方向からの前記画像のデータを解析し、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出する情報処理装置。
４　２又は３に記載の情報処理装置において、
　前記画像解析手段が前記商品コードを抽出できない場合、及び／又は、前記読取手段が前記商品コードを読み取れない場合、前記商品コードの読み取りが必要な前記商品の載置方法の案内情報を出力する出力手段をさらに有する情報処理装置。
５　４に記載の情報処理装置において、
　前記出力手段は、載置面上に、前記載置方法の案内に関する像を投影する情報処理装置。
６　１から５のいずれかに記載の情報処理装置において、
　前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力手段をさらに有する情報処理装置。
７　６に記載の情報処理装置において、
　前記出力手段は、載置面上又は前記商品上に、前記商品コードの読み取りが必要な前記商品を特定する像を投影する情報処理装置。
８　１から７のいずれかに記載の情報処理装置において、
　前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されている情報処理装置。
９　１から７のいずれかに記載の情報処理装置において、
　前記読取対象記憶手段に、同種容量違いの商品群が登録されている情報処理装置。
１０　コンピュータが、
　画像のデータを取得する画像データ取得工程と、
　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析工程と、
　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析工程で認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
　前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
を実行する情報処理方法。
１０－２　１０に記載の情報処理方法において、
　前記画像解析工程では、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出し、
　前記読取工程では、前記画像解析工程で抽出した前記画像内の前記商品コードを読み取る情報処理方法。
１０－３　１０又は１０－２に記載の情報処理方法において、
　前記画像データ取得工程では、複数の方向から前記載置面を含むように撮像された複数方向からの前記画像のデータを取得し、
　前記画像解析工程では、前記複数方向からの前記画像のデータを解析し、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出する情報処理方法。
１０－４　１０－２又は１０－３に記載の情報処理方法において、
　前記コンピュータが、前記画像解析工程で前記商品コードを抽出できない場合、及び／又は、前記読取工程で前記商品コードを読み取れない場合、前記商品コードの読み取りが必要な前記商品の載置方法の案内情報を出力する出力工程をさらに実行する情報処理方法。
１０－５　１０－４に記載の情報処理方法において、
　前記出力工程では、載置面上に、前記載置方法の案内に関する像を投影する情報処理方法。
１０－６　１０から１０－５のいずれかに記載の情報処理方法において、
　前記コンピュータが、前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力工程をさらに実行する情報処理方法。
１０－７　１０－６に記載の情報処理方法において、
　前記出力工程では、載置面上又は前記商品上に、前記商品コードの読み取りが必要な前記商品を特定する像を投影する情報処理方法。
１０－８　１０から１０－７のいずれかに記載の情報処理方法において、
　前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されている情報処理方法。
１０－９　１０から１０－７のいずれかに記載の情報処理方法において、
　前記読取対象記憶手段に、同種容量違いの商品群が登録されている情報処理方法。
１１　コンピュータを、
　画像のデータを取得する画像データ取得手段、
　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段、
　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
　前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
として機能させるプログラム。
１１－２　１１に記載のプログラムにおいて、
　前記画像解析手段は、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出し、
　前記読取手段は、前記画像解析手段が抽出した前記画像内の前記商品コードを読み取るプログラム。
１１－３　１１又は１１－２に記載のプログラムにおいて、
　前記画像データ取得手段は、複数の方向から前記載置面を含むように撮像された複数方向からの前記画像のデータを取得し、
　前記画像解析手段は、前記複数方向からの前記画像のデータを解析し、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出するプログラム。
１１－４　１１－２又は１１－３に記載のプログラムにおいて、
　前記コンピュータを、前記画像解析手段が前記商品コードを抽出できない場合、及び／又は、前記読取手段が前記商品コードを読み取れない場合、前記商品コードの読み取りが必要な前記商品の載置方法の案内情報を出力する出力手段としてさらに機能させるプログラム。
１１－５　１１－４に記載のプログラムにおいて、
　前記出力手段は、載置面上に、前記載置方法の案内に関する像を投影するプログラム。
１１－６　１１から１１－５のいずれかに記載のプログラムにおいて、
　前記コンピュータを、前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力手段としてさらに機能させるプログラム。
１１－７　１１－６に記載のプログラムにおいて、
　前記出力手段は、載置面上又は前記商品上に、前記商品コードの読み取りが必要な前記商品を特定する像を投影するプログラム。
１１－８　１１から１１－７のいずれかに記載のプログラムにおいて、
　前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されているプログラム。
１１－９　１１から１１－７のいずれかに記載のプログラムにおいて、
　前記読取対象記憶手段に、同種容量違いの商品群が登録されているプログラム。
　この出願は、２０１６年１月２１日に出願された日本出願特願２０１６－００９６０２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (11)

  1. 　画像のデータを取得する画像データ取得手段と、
    　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段と、
    　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
    　前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
    を有する情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記画像解析手段は、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出し、
    　前記読取手段は、前記画像解析手段が抽出した前記画像内の前記商品コードを読み取る情報処理装置。
  3. 　請求項１又は２に記載の情報処理装置において、
    　前記画像データ取得手段は、複数の方向から撮像された複数の前記画像のデータを取得し、
    　前記画像解析手段は、複数の前記画像のデータを解析し、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出する情報処理装置。
  4. 　請求項２又は３に記載の情報処理装置において、
    　前記画像解析手段が前記商品コードを抽出できない場合、及び／又は、前記読取手段が前記商品コードを読み取れない場合、前記商品コードの読み取りが必要な前記商品の載置方法の案内情報を出力する出力手段をさらに有する情報処理装置。
  5. 　請求項４に記載の情報処理装置において、
    　前記出力手段は、載置面上に、前記載置方法の案内に関する像を投影する情報処理装置。
  6. 　請求項１から５のいずれか１項に記載の情報処理装置において、
    　前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力手段をさらに有する情報処理装置。
  7. 　請求項６に記載の情報処理装置において、
    　前記出力手段は、載置面上又は前記商品上に、前記商品コードの読み取りが必要な前記商品を特定する像を投影する情報処理装置。
  8. 　請求項１から７のいずれか１項に記載の情報処理装置において、
    　前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されている情報処理装置。
  9. 　請求項１から７のいずれか１項に記載の情報処理装置において、
    　前記読取対象記憶手段に、同種容量違いの商品群が登録されている情報処理装置。
  10. 　コンピュータが、
    　画像のデータを取得する画像データ取得工程と、
    　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析工程と、
    　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析工程で認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
    　前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
    を実行する情報処理方法。
  11. 　コンピュータを、
    　画像のデータを取得する画像データ取得手段、
    　特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段、
    　前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
    　前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
    として機能させるプログラム。
PCT/JP2016/086990 2016-01-21 2016-12-13 情報処理装置、情報処理方法、及び、プログラム WO2017126254A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/071,762 US10510218B2 (en) 2016-01-21 2016-12-13 Information processing apparatus, information processing method, and non-transitory storage medium
JP2017562471A JP6801676B2 (ja) 2016-01-21 2016-12-13 情報処理装置、情報処理方法、及び、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-009602 2016-01-21
JP2016009602 2016-01-21

Publications (1)

Publication Number Publication Date
WO2017126254A1 true WO2017126254A1 (ja) 2017-07-27

Family

ID=59362576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086990 WO2017126254A1 (ja) 2016-01-21 2016-12-13 情報処理装置、情報処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US10510218B2 (ja)
JP (1) JP6801676B2 (ja)
WO (1) WO2017126254A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019106900A1 (ja) * 2017-12-01 2019-06-06 日本電気株式会社 処理システム、処理方法及びプログラム
JP2019192105A (ja) * 2018-04-27 2019-10-31 日本電気株式会社 商品登録装置、商品登録方法及びプログラム
WO2020202318A1 (ja) * 2019-03-29 2020-10-08 日本電気株式会社 販売管理システム、店舗装置、販売管理方法、およびプログラム
WO2022180970A1 (ja) * 2021-02-26 2022-09-01 パナソニックＩｐマネジメント株式会社 精算決済装置、精算決済システムおよび精算決済方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6801676B2 (ja) * 2016-01-21 2020-12-16 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7183753B2 (ja) * 2018-12-11 2022-12-06 日本電信電話株式会社 リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム
JP7322945B2 (ja) * 2019-02-20 2023-08-08 日本電気株式会社 処理装置、処理方法及びプログラム
USD915534S1 (en) 2019-09-25 2021-04-06 Coulter Ventures, Llc. Weight rack with name plate
JP2022139727A (ja) * 2021-03-12 2022-09-26 東芝テック株式会社 読取装置
USD1010033S1 (en) 2022-05-23 2024-01-02 Coulter Ventures, Llc. Weight rack

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033640A (ja) * 2006-07-28 2008-02-14 Toshiba Tec Corp データコード読取装置及びその読取方法
US20090322706A1 (en) * 2008-06-26 2009-12-31 Symbol Technologies, Inc. Information display with optical data capture
WO2012005660A1 (en) * 2010-07-08 2012-01-12 Itab Scanflow Ab A checkout counter
JP2013069259A (ja) * 2011-09-06 2013-04-18 Toshiba Tec Corp 情報処理装置およびプログラム
JP2013210971A (ja) * 2012-03-30 2013-10-10 Toshiba Tec Corp 情報処理装置及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3213670B2 (ja) 1994-05-30 2001-10-02 東芝テック株式会社 チェックアウト装置
US6336587B1 (en) * 1998-10-19 2002-01-08 Symbol Technologies, Inc. Optical code reader for producing video displays and measuring physical parameters of objects
US20050177463A1 (en) * 2004-02-10 2005-08-11 Crutchfield William G.Jr. Virtual showroom for interactive electronic shopping
US20060059049A1 (en) * 2004-09-16 2006-03-16 Morris Robert P Method and system for providing a path through a store to items associated with a task
US8364543B2 (en) * 2009-12-28 2013-01-29 Ncr Corporation Weight detection for cashier checkout terminals
JP2012053713A (ja) * 2010-09-01 2012-03-15 Toshiba Tec Corp 店舗システム、売上登録装置及びプログラム
US8678286B2 (en) * 2011-01-31 2014-03-25 Honeywell Scanning & Mobility Method and apparatus for reading optical indicia using a plurality of data sources
JP5431429B2 (ja) 2011-09-06 2014-03-05 東芝テック株式会社 情報処理装置及びプログラム
JP5586641B2 (ja) 2012-02-24 2014-09-10 東芝テック株式会社 商品読取装置及び商品読取プログラム
JP6189761B2 (ja) * 2014-01-30 2017-08-30 東芝テック株式会社 商品データ登録装置、チェックアウトシステムおよびプログラム
US10108639B2 (en) * 2014-02-14 2018-10-23 Rakuten, Inc. Display control device, display control device control method, program and information storage medium
JP6376887B2 (ja) * 2014-08-08 2018-08-22 キヤノン株式会社 ３ｄスキャナ、３ｄスキャン方法、コンピュータプログラム、記録媒体
JP6274097B2 (ja) * 2014-12-17 2018-02-07 カシオ計算機株式会社 商品識別装置および商品認識ナビゲーション方法
US20160180315A1 (en) * 2014-12-22 2016-06-23 Toshiba Tec Kabushiki Kaisha Information processing apparatus using object recognition, and commodity identification method by the same
JP6425636B2 (ja) * 2015-09-16 2018-11-21 東芝テック株式会社 情報処理装置及びプログラム
JP6863296B2 (ja) * 2016-01-21 2021-04-21 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7060230B2 (ja) * 2016-01-21 2022-04-26 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6801676B2 (ja) * 2016-01-21 2020-12-16 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033640A (ja) * 2006-07-28 2008-02-14 Toshiba Tec Corp データコード読取装置及びその読取方法
US20090322706A1 (en) * 2008-06-26 2009-12-31 Symbol Technologies, Inc. Information display with optical data capture
WO2012005660A1 (en) * 2010-07-08 2012-01-12 Itab Scanflow Ab A checkout counter
JP2013069259A (ja) * 2011-09-06 2013-04-18 Toshiba Tec Corp 情報処理装置およびプログラム
JP2013210971A (ja) * 2012-03-30 2013-10-10 Toshiba Tec Corp 情報処理装置及びプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019106900A1 (ja) * 2017-12-01 2019-06-06 日本電気株式会社 処理システム、処理方法及びプログラム
JPWO2019106900A1 (ja) * 2017-12-01 2020-12-17 日本電気株式会社 処理システム、処理方法及びプログラム
JP2021168151A (ja) * 2017-12-01 2021-10-21 日本電気株式会社 処理システム、処理方法及びプログラム
TWI748136B (zh) * 2017-12-01 2021-12-01 日商日本電氣股份有限公司 處理系統、處理方法及程式
JP7211455B2 (ja) 2017-12-01 2023-01-24 日本電気株式会社 処理システム、処理方法及びプログラム
JP2019192105A (ja) * 2018-04-27 2019-10-31 日本電気株式会社 商品登録装置、商品登録方法及びプログラム
US11568360B2 (en) 2018-04-27 2023-01-31 Nec Corporation Product registration apparatus, product registration method, and non-transitory storage medium
JP7218984B2 (ja) 2018-04-27 2023-02-07 日本電気株式会社 商品登録装置、商品登録方法及びプログラム
WO2020202318A1 (ja) * 2019-03-29 2020-10-08 日本電気株式会社 販売管理システム、店舗装置、販売管理方法、およびプログラム
JPWO2020202318A1 (ja) * 2019-03-29 2020-10-08
JP7342943B2 (ja) 2019-03-29 2023-09-12 日本電気株式会社 販売管理システム、店舗装置、販売管理方法、およびプログラム
WO2022180970A1 (ja) * 2021-02-26 2022-09-01 パナソニックＩｐマネジメント株式会社 精算決済装置、精算決済システムおよび精算決済方法

Also Published As

Publication number Publication date
US10510218B2 (en) 2019-12-17
US20190026999A1 (en) 2019-01-24
JP6801676B2 (ja) 2020-12-16
JPWO2017126254A1 (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
WO2017126254A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7060230B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP4874166B2 (ja) チェックアウト端末
EP3239943A1 (en) Monitoring device and method
US20160042241A1 (en) Interactive indicia reader
KR20110103264A (ko) 영수증 판독을 통한 자동 정보 수집 시스템 및 방법
JP2019091501A (ja) 情報検出装置及び情報検出プログラム
US20230043615A1 (en) Self-checkout system and self-checkout method
US8944325B2 (en) Information processing apparatus and information processing method
WO2017126217A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6949611B2 (ja) 商品登録装置及びそのプログラム
US10192136B2 (en) Image processing apparatus and image processing method
CN112154488A (zh) 信息处理装置、控制方法和程序
JP2016192090A (ja) 精算システム、商品登録装置、精算装置、プログラム、及び精算方法
US10769398B2 (en) Reading device
JP2022020661A (ja) 監視装置及びプログラム
JP7006767B2 (ja) 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム
JP5231296B2 (ja) 商品データ入力装置
JP7322945B2 (ja) 処理装置、処理方法及びプログラム
JP7205603B2 (ja) 登録装置、登録方法及びプログラム
JP7205178B2 (ja) 情報処理装置、及び、情報処理装置の制御方法
US11935373B2 (en) Processing system, processing method, and non-transitory storage medium
JP7342943B2 (ja) 販売管理システム、店舗装置、販売管理方法、およびプログラム
WO2010091639A1 (zh) 用于在收银台检测和处理数据的装置
WO2020045464A1 (ja) 商品配置装置、商品配置方法、商品配置システム及び商品配置プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886493

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017562471

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16886493

Country of ref document: EP

Kind code of ref document: A1