WO2015147329A1 - Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラム - Google Patents
Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラム Download PDFInfo
- Publication number
- WO2015147329A1 WO2015147329A1 PCT/JP2015/060301 JP2015060301W WO2015147329A1 WO 2015147329 A1 WO2015147329 A1 WO 2015147329A1 JP 2015060301 W JP2015060301 W JP 2015060301W WO 2015147329 A1 WO2015147329 A1 WO 2015147329A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- subject
- specific information
- information
- pos terminal
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 34
- 230000010365 information processing Effects 0.000 title claims description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 64
- 238000004891 communication Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
- G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
- G07G1/145—PLU-management
Definitions
- the present invention relates to a POS terminal device, an information processing device, an information processing system, an image recognition method, and an image recognition program.
- a label indicating that the product is a discounted product (hereinafter referred to as a discount label) is pasted on the product.
- An operator of a POS (Point Of Sales) terminal device at the time of accounting for a product can determine that the product is a discount product by visually recognizing the discount label attached to the product.
- a technology for recognizing a product and a discount label by capturing the product and a discount label with an image sensor such as a CCD (Charge Coupled Device) camera built in the POS terminal device and generating an image has attracted attention.
- Patent Document 1 describes a POS terminal device that captures an object and recognizes the captured image as a product.
- This POS terminal device stores in advance a PLU (Price Lookup) file in which product images are associated with information such as product prices.
- the POS terminal device performs sales management for each product by specifying the imaged product based on the product information held in the PLU file.
- Patent Document 2 describes a product information reading device that recognizes a service label (discount label) affixed to a product.
- the merchandise information reader stores in advance POS terminal device label feature data, which is service label data.
- the merchandise information reading apparatus recognizes the service label attached to the merchandise by determining the captured service label and the label feature data by recognition processing such as pattern recognition or OCR (Optical Character Recognition).
- Patent Literature 1 specifies a product imaged based on a PLU file held in advance by a POS terminal device.
- the technique described in Patent Document 1 only discloses a technique for specifying a product captured based on a PLU file held in advance by the POS terminal device, and does not consider improvement of the recognition rate.
- the recognition rate of the product is improved by repeated use, and the service label attached to the product can be estimated by imaging the product even when the service label is peeled off.
- An object of the present invention is to provide a possible POS terminal device.
- the POS terminal device relates to a storage unit that holds subject information in which a subject is associated with specific information, an imaging unit that captures the subject and generates an image, and the subject captured by the imaging unit.
- a specific information estimation unit that estimates the specific information based on the subject information.
- An information processing apparatus is configured to store a subject information in which specific information is associated with a subject, and to receive the image of the subject and estimate the specific information associated with the subject based on the subject information.
- An information processing system of the present invention includes a POS terminal device according to the present invention and an information processing device, and the POS terminal device further includes a communication unit that transmits and receives subject information to and from the information processing device. .
- An information processing system includes a POS terminal device including an imaging unit that images a subject and generates an image, and an information processing device, wherein the information processing device associates the subject with specific information.
- a storage unit that holds the subject information, and a specific information estimation unit that estimates specific information associated with the subject imaged by the imaging unit based on the subject information.
- an image of a subject is captured to generate an image, and specific information associated with the captured subject is estimated based on subject information held by a storage unit.
- the image processing program relates to a computer, a storage unit that stores subject information in which a subject is associated with specific information, an imaging unit that captures an image of the subject and generates an image, and an object captured by the imaging unit. It operates as specific information estimation means for estimating attached specific information based on the subject information.
- the recognition rate of the product is improved by repeated use, and even if the service label attached to the product is peeled off, the product is attached to the product by imaging the product. Service labels can be estimated.
- FIG. 1 is a block diagram illustrating an example of a connection between a POS terminal device and a server according to the first embodiment of the present invention.
- FIG. 2 is a conceptual diagram of a POS system according to the present invention.
- FIG. 3 is a flowchart showing an example of processing of the POS terminal apparatus according to the first embodiment of the present invention.
- FIG. 4 is a diagram showing a POS terminal device according to a second embodiment of the present invention, where (a) is a block diagram showing a product specifying unit of the POS terminal device, and (b) is a process of the product specifying unit. It is a flowchart which shows the flow.
- FIG. 1 is a block diagram illustrating an example of a connection between a POS terminal device and a server according to the first embodiment of the present invention.
- FIG. 2 is a conceptual diagram of a POS system according to the present invention.
- FIG. 3 is a flowchart showing an example of processing of the POS terminal apparatus according to the
- FIG. 5 is a diagram showing a POS terminal device according to a third embodiment of the present invention, where (a) is a block diagram showing configurations of the POS terminal device and server, and (b) is a diagram showing the POS terminal device. It is a flowchart which shows the flow of a process of a server.
- 6A and 6B are diagrams showing a POS terminal device according to a fourth embodiment of the present invention, where FIG. 6A is a block diagram showing the configuration of the POS terminal device, and FIG. 6B is a diagram of processing of the POS terminal device. It is a flowchart which shows a flow.
- 7A and 7B are diagrams for explaining the image recognition method according to the present invention.
- FIG. 7A is a block diagram showing a flow of image recognition according to the present invention
- FIG. 7B is a flow of the image recognition method according to the present invention. It is a flowchart which shows.
- FIG. 1 is a block diagram showing an example of a POS terminal device 100 and a server 200 according to the first embodiment of the present invention.
- the POS terminal device 100 of the present invention includes a control unit 101, an imaging unit 102, a specific information extraction unit 103, a specific information estimation unit 104, a storage unit 105, and a communication unit 106.
- the server 200 includes a server storage unit 210.
- the POS terminal device 100 is connected to the server 200 via the communication unit 106. First, each unit constituting the POS terminal device 100 will be described.
- the control unit 101 is a CPU (Central Processing Unit), for example, and can control processing executed by the POS terminal device 100. Specifically, the control unit 101 controls processing of the imaging unit 102, the specific information extraction unit 103, the specific information estimation unit 104, and the like.
- the imaging unit 102 can image a subject. Since the POS terminal device 100 of the present invention is installed in a store or the like, the subject is a product that is sold and sold by the store or the like.
- the imaging unit 102 also has a function of shooting a product and generating an image of the product. In the following description, the subject is described as a product that is sold by a store or the like, but this does not limit the subject to be a product.
- the specific information extraction unit 103 can extract specific information from the product image.
- the product image may be an image generated by the imaging unit 102 or an image input by an external device or the like.
- the specific information is a discount label indicating that, for example, when a POS terminal apparatus 100 is installed in a store or the like, a product sold by a store or the like is a discount product.
- the specific information extraction unit 103 extracts a discount label from the product image and generates subject information that associates the product with the discount label. In addition, if the discount label cannot be extracted from the product, the specific information extraction unit 103 generates subject information that a discount label is not attached to the product (the product is not a discount product). . Further, the specific information extraction unit 103 stores the generated subject information in the storage unit 105.
- the specific information extraction unit 103 may store the subject information in the server storage unit 210 included in the server 200 instead of the storage unit 105.
- the specific information extraction unit 103 can store subject information in the specific server storage unit 210 via the communication unit 106.
- the specific information is described as a discount label, but this does not limit that the specific information is a discount label.
- the specific information estimation unit 104 can estimate a discount label associated with the product imaged by the imaging unit 102 based on the subject information held by the storage unit 105. When a plurality of different types of discount labels are associated with the same product, the specific information estimation unit 104 associates the largest discount label held by the storage unit 105 with the product. It is estimated that it is a discount label.
- the specific information estimation unit 104 may estimate a discount label associated with the product imaged by the imaging unit 102 based on the subject information held by the server storage unit 210. At this time, the specific information estimation unit 104 may estimate a discount label from all the subject information held by the storage unit 105, or may obtain a discount label from the subject information generated by the imaging unit 102 within a predetermined period. It may be estimated.
- the predetermined period is a period that can be arbitrarily set by the user. For matching between the image captured by the imaging unit 102 and the subject information, for example, general image processing such as pattern recognition can be used. That is, the specific information estimation unit 104 estimates the discount label attached to the product based not on the discount label but on the product image.
- the specific information estimation unit 104 can estimate the discount label associated with the product even when the discount label is not attached to the product captured by the imaging unit 102. Further, for example, the specific information estimation unit 104 captures an image of a part of a product captured by the imaging unit 102, and even if the image held by the storage unit 105 is an entire image of the product, it is associated with the product. Specific information can be estimated. This is because the specific information estimation unit 104 compares the feature amounts of two images, and the feature amount of a part of the product is equal to the feature amount of the part of the entire image of the product and a predetermined range. If they are similar, it can be estimated that the two products are the same.
- the specific information extracting unit 103 when the discount label is not attached to the discounted product due to a mistake on the store side, the specific information extracting unit 103 generates different subject information for the product. Is also envisaged. However, the specific information extraction unit 103 generates subject information every time the imaging unit 102 generates an image. Therefore, the more the imaging unit 102 captures images of the same product, the more the total number of subject information inherent to the product is relatively greater than the total number of erroneous subject information. That is, the specific information estimation unit 104 estimates discount labels based on the largest number of subject information held by the storage unit 105 when a plurality of different types of subject information are associated with the same product. The possibility of estimating incorrect subject information is small.
- the storage unit 105 holds subject information.
- the storage unit 105 for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like can be used.
- the communication unit 106 is a communication interface that connects the POS terminal device 100 and the server 200.
- the communication unit 106 may be a wired LAN (Local Area Network) or a wireless LAN.
- the POS terminal device 100 can be connected to an external server or the like via the communication unit 106.
- the server 200 is connected to a plurality of POS terminal devices, and is a store server installed in a store, for example.
- the server 200 includes a server storage unit 210 that holds subject information received from each POS terminal device.
- the server storage unit 210 holds all subject information held by each POS terminal device connected to the server 200.
- FIG. 2 is a schematic diagram illustrating a state in which each POS terminal device and a server are connected.
- FIG. 2 illustrates an example in which the server 200 and three POS terminal devices are connected via the network 300, but this does not limit the number of POS terminal devices connected to the server 200 in any way. .
- the number of POS terminal devices connected to the server 200 can be arbitrarily set by the user.
- the server 200 is connected to the first POS terminal device 110, the second POS terminal device 120, and the third POS terminal device 130 via the network 300.
- the server 200 transmits / receives subject information to / from all three POS terminal devices via the network 300.
- the network 300 is the Internet, for example. Accordingly, each of the first POS terminal device 110 to the third POS terminal device 130 can synchronize the subject information transmitted to the server 200 by the other POS terminal devices.
- FIG. 3 is a flowchart showing a flow of processing executed by each unit of the POS terminal device 100.
- the processing executed by the POS terminal apparatus 100 according to the first embodiment of the present invention will be described in detail with reference to FIGS. 3 and 1 as appropriate.
- the imaging unit 102 captures an image of a product and generates an image of the captured product (step S301).
- the imaging unit 102 transmits the generated product image to the specific information extraction unit 103 and the specific information estimation unit 104.
- the specific information estimation unit 104 does not have subject information when the image of the received product is the first image of the imaging unit 102, so the specific information estimation unit 104 determines the product based on the product image received from the imaging unit 102.
- the attached discount label cannot be estimated.
- the specific information extraction unit 103 extracts a discount label attached to the product from the product image received from the imaging unit 102 (step S302). In this process, the specific information extraction unit 103 first determines whether there is a discount label attached to the product (step S303).
- the specific information extraction unit 103 when the discount label is attached to the product (“YES” in step S303), the specific information extraction unit 103 generates subject information that associates the product with the discount label (step S304). In addition, when the discount label is not affixed to the product (“NO” in step S303), the specific information extraction unit 103 generates subject information that the discount label is not affixed to the product (step S303). Step S305). That is, the specific information extraction unit 103 generates subject information regardless of the presence or absence of the discount label attached to the product. Further, the specific information extraction unit 103 stores the generated subject information in the storage unit 105. At this time, the specific information extraction unit 103 may store subject information in the server storage unit 210 via the communication unit 106 (step S306).
- the specific information extraction unit 103 Subject information different from the original is generated and stored in the storage unit 105. However, even if the specific information extraction unit 103 generates subject information different from the original, the total number is relatively smaller than the total number of correct subject information. Further, as the specific information extraction unit 103 repeatedly generates subject information of the same product, the total number of different subject information is relatively smaller than the total number of correct subject information.
- the imaging unit 102 captures the next product and generates an image of the captured product (Step S307). The process of step S307 is the same as the process of step S301.
- the imaging unit 102 captures an image of a product to generate an image, and inputs the generated image to the specific information extraction unit 103 and the specific information estimation unit 104.
- the specific information estimation unit 104 since the storage unit 105 and the server storage unit 210 hold the subject information, the specific information estimation unit 104 has a discount attached to the product based on the product image received from the imaging unit 102. Labels can be estimated. Note that the processing performed by the specific information extraction unit 103 is the same as that from step S302 to step S306, and thus description thereof is omitted.
- the specific information estimation unit 104 estimates a discount label associated with the product imaged by the imaging unit 102 based on the subject information held by the storage unit 105 or the server storage unit 210 (step S308).
- the specific information extracting unit 104 estimates subject information having a relatively large total number as correct subject information of the product. Since each POS terminal device is synchronized via the server 200, even if it is a product that the imaging unit 102 captures for the first time, as long as it is a product that has been captured by another POS terminal device, a specific information estimation unit 104 can estimate a discount label associated with the item. Further, the specific information estimation unit 104 is a value associated with the product even if the captured product image is a part of the product and the image held by the storage unit 105 or the server storage unit 210 is the overall image of the product. The pull label can be estimated.
- the specific information estimation unit 104 is associated with a product even if the captured product image is the entire product and the image stored in the server storage unit 210 is a partial image of the product. Discount labels can be estimated.
- the POS terminal device 100 notifies the operator of the POS terminal device 100 to that effect (step S309).
- a message may be displayed on a display unit included in the POS terminal device 100.
- the POS terminal device 100 may further include a specific information notification unit, and the specific information notification unit may notify the message. .
- the specific information notification unit may be in a form that can be visually determined, for example, or in a form that makes a sound.
- the POS terminal device according to the second embodiment is a mode in which the POS terminal device according to the first embodiment further includes a subject specifying unit that can specify the captured product. Specifically, the POS terminal device of the second embodiment includes a product specifying unit 420 that can estimate a discount label associated with a product and can specify the captured product.
- FIG. 4A is a schematic diagram showing how the product identification unit 420 stores the subject image 400 in the server 410.
- FIG. 4B is a flowchart showing a process flow of the product specifying unit 420.
- the commodity specifying unit 420 will be described with reference to FIGS. 1, 4A, and 4B as appropriate.
- the product identification unit 420 receives the subject image 400 (step S401).
- the subject image 400 is, for example, a product image captured and generated by the imaging unit 102 in FIG.
- the product specifying unit 420 that has received the subject image 400 searches the storage unit 105 and the server 410 for the same image as the subject image 400 (step S402).
- the product specifying unit 420 displays the specified product on a display unit or the like that displays the product. (Step S404) and the process is terminated.
- the product identification unit 420 newly registers a product based on the subject image 400. This is performed (step S405).
- the product identification unit 420 registers the product in the server 410, thereby sharing the newly registered product information among all the POS terminal devices connected to the server 410. As a result, even when the POS terminal device receives the subject image 400 for the first time, it can specify that the product shown in the subject image 400 is a registered product.
- a POS terminal apparatus according to the third embodiment will be described with reference to FIG.
- the POS terminal apparatus according to the third embodiment includes only the imaging unit 102, and the server 510 includes a specific information extraction unit 511, a specific information estimation unit 512, and a storage unit 513.
- the POS terminal apparatus transmits a subject image 500 of a product imaged and generated by the imaging unit 102 to the server 510 (step S501).
- the server 510 that has received the subject image 500 inputs the product image to the specific information extraction unit 511 and the specific information estimation unit 512.
- the specific information extraction unit 511 extracts a discount label from the subject image 500, and creates data in which the product is associated with the extracted discount label (step S502).
- the specific information extraction unit 511 stores data in which the product and the discount label are associated with each other in the storage unit 513.
- the specific information estimation unit 512 estimates the discount label of the product associated with the captured product based on the subject information held in the storage unit 513 (step S503). Therefore, even if the server 510 includes the specific information extraction unit 511 and the specific information estimation unit 512, the specific information can be estimated based on the product image.
- FIG. 6A is a block diagram illustrating a configuration of a POS terminal device according to the fourth embodiment.
- the POS terminal device according to the fourth embodiment includes an imaging unit 600, a specific information estimation unit 610, and a storage unit 620.
- FIG. 6B is a flowchart illustrating processing executed by the POS terminal device according to the fourth embodiment.
- the imaging unit 600 images a product and generates an image of the product (step S601). Further, the imaging unit 600 inputs the generated image to the specific information estimation unit 610. Next, the specific information estimation unit 610 estimates a discount label associated with the product image captured by the imaging unit 600 based on the subject information held in the storage unit 620 (step S602). That is, the POS terminal device of the fourth embodiment is not synchronized with other POS terminal devices, but is a value associated with the product imaged by the imaging unit 600 based only on the subject information held by the storage unit 620. The pull label can be estimated.
- each unit included in the POS terminal device according to the first to fourth embodiments may be realized by hardware or software. Each unit may be realized by a combination of hardware and software.
- the control unit 101 may cause the computer to operate as the POS terminal device according to the first to fourth embodiments by reading a program stored in the storage unit 105. Further, the program may be held in a computer-readable medium, or may be held in, for example, a storage device connected to a network.
- FIG. 7A is a block diagram showing image recognition according to the present invention
- FIG. 7B is a flowchart showing a flow of image recognition according to the present invention.
- the image recognition method according to the present invention will be described in detail with reference to FIGS. 7A and 7B as appropriate.
- the image recognition method according to the present invention first, specific information estimation 710 is performed on the image data 700 (step S701).
- the specific information estimation 710 estimates specific information associated with the input image data 700.
- the specific information estimation 710 searches the subject information held in the storage unit 720 for an image that is the same as or similar to the subject data 700.
- the specific information estimation 710 can be searched even if the image data 700 is an image of a part of the subject and the image held in the storage unit 720 is the entire image of the subject. Similarly, the specific information estimation 710 can be searched even when the image data 700 is an entire image of the subject and the image held in the storage unit 720 is an image of a part of the subject.
- this invention was demonstrated with reference to embodiment, this invention is not limited to the said embodiment.
- Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
- a part or all of the above-described embodiments can be described as follows. Note that the following supplementary notes do not limit the present invention.
- [Appendix 1] A storage unit for storing subject information in which the subject is associated with specific information; An imaging unit that images the subject and generates an image; A specific information estimation unit that estimates the specific information associated with the subject imaged by the imaging unit based on the subject information; Comprising A POS terminal device characterized by that.
- [Appendix 2] A specific information extracting unit that extracts the specific information from the image of the subject generated by the imaging unit, generates the subject information by associating the specific information with the subject, and stores the subject information in the storage unit; The POS terminal device described in the above supplementary note.
- [Appendix 3] A specific information notifying unit for notifying that the specific information is included in the subject when the specific information estimating unit estimates that the specific information is included in the subject; The POS terminal device described in the above supplementary note.
- the specific information estimation unit estimates the specific information associated with the product based on an image of at least a part of the subject; The POS terminal device described in the above supplementary note.
- [Appendix 5] A subject specifying unit that specifies the product based on an image of the subject captured by the imaging unit; The POS terminal device described in the above supplementary note.
- [Appendix 6] The subject is a commodity sold at a store. The POS terminal device described in the above supplementary note.
- the specific information is a mark indicating a discount of the product, The POS terminal device described in the above supplementary note.
- Appendix 8 A storage unit for storing subject information in which specific information is associated with the subject; A specific information estimation unit that receives the image of the subject and estimates the specific information associated with the subject based on the subject information; Comprising An information processing apparatus characterized by that.
- Appendix 9 A specific information extracting unit that extracts the specific information from the image of the subject, generates the subject information by associating the specific information with the subject, and stores the subject information in the storage unit; The information processing apparatus according to the above supplementary note.
- a POS terminal device including an imaging unit that images a subject and generates an image;
- An information processing device includes: A storage unit for holding subject information in which specific information is associated with the subject;
- An information processing system comprising: a specific information estimation unit configured to estimate specific information associated with a subject imaged by the imaging unit based on the subject information.
- the information processing apparatus further includes a specific information extracting unit that extracts the specific information from the image of the subject, generates the subject information by associating the specific information with the subject, and stores the subject information in the storage unit.
- [Appendix 15] Capture the subject, generate an image, Estimating specific information associated with the imaged subject based on subject information held by a storage unit; An image recognition method characterized by the above.
- [Appendix 16] Extracting specific information from the captured image of the subject, generating subject information in which the specific information is associated with the subject, and storing the subject information in the storage unit; The image recognition method as described in the above supplementary note.
- [Appendix 17] When it is estimated that the specific information is included in the subject, the product is notified that the specific information is included. The image recognition method as described in the above supplementary note.
- [Appendix 18] Estimating the specific information associated with the product based on an image of at least a portion of the subject; The image recognition method as described in the above supplementary note.
- [Appendix 19] Identifying the subject based on the subject image; The image recognition method as described in the above supplementary note.
- [Appendix 20] The subject is a commodity sold at a store. The image recognition method as described in the above supplementary note.
- [Appendix 21] The specific information is a mark indicating a discount of the product, The image recognition method as described in the above supplementary note.
- [Appendix 22] Computer Storage means for holding subject information in which the subject is associated with specific information; Imaging means for imaging the subject and generating an image; Specific information estimation means for estimating specific information associated with the subject imaged by the imaging unit based on the subject information; Make it work, An image recognition program characterized by that.
- [Appendix 26] Causing the computer to further operate as a product identification unit that identifies the product based on the image of the subject.
- the subject is a commodity sold at a store.
- [Appendix 28] The specific information is a mark indicating a discount of the product, An image recognition program as set forth in the above supplementary note.
Abstract
ＰＯＳ端末装置は、被写体と特定情報とを関連付けた被写体情報を保持する記憶部と、被写体を撮像し画像を生成する撮像部と、撮像部が撮像した被写体に関連付いている特定情報を被写体情報に基づいて推定する特定情報推定部と、を備える。
Description
本発明は、ＰＯＳ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラムに関する。
スーパーマーケット等の量販店では、特定の情報を示す場合に特定情報、例えば値引をする商品であることを示すラベル（以下、値引ラベル）を商品に貼付している。商品の会計時にＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末装置のオペレータは、商品に貼付された値引ラベルを視認することで、その商品が値引品であることを判断することができる。
近年、ＰＯＳ端末装置が内蔵するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等のイメージセンサによって商品および値引ラベルを撮像し画像を生成することで、商品および値引ラベルを認識する技術が注目を集めている。
例えば、特許文献１には、物体を撮像して、撮像した画像を商品として認識するＰＯＳ端末装置が記載されている。このＰＯＳ端末装置は、商品の画像と、商品の価格等の情報とを対応させたＰＬＵ（Ｐｒｉｃｅ Ｌｏｏｋｕｐ）ファイルを予め記憶している。ＰＯＳ端末装置は、撮像した商品の画像をＰＬＵファイルが保持する商品の情報に基づいて撮像した商品を特定することで商品毎の売上管理を行っている。
また、特許文献２には、商品に貼付されたサービスラベル（値引ラベル）を認識する商品情報読取装置が記載されている。商品情報読取装置は、サービスラベルのデータであるラベル特徴データをＰＯＳ端末装置に予め記憶している。商品情報読取装置は、撮像したサービスラベルと、ラベル特徴データとをパターン認識やＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）等の認識処理によって判定することによって商品に貼付されたサービスラベルを認識している。
近年、ＰＯＳ端末装置が内蔵するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等のイメージセンサによって商品および値引ラベルを撮像し画像を生成することで、商品および値引ラベルを認識する技術が注目を集めている。
例えば、特許文献１には、物体を撮像して、撮像した画像を商品として認識するＰＯＳ端末装置が記載されている。このＰＯＳ端末装置は、商品の画像と、商品の価格等の情報とを対応させたＰＬＵ（Ｐｒｉｃｅ Ｌｏｏｋｕｐ）ファイルを予め記憶している。ＰＯＳ端末装置は、撮像した商品の画像をＰＬＵファイルが保持する商品の情報に基づいて撮像した商品を特定することで商品毎の売上管理を行っている。
また、特許文献２には、商品に貼付されたサービスラベル（値引ラベル）を認識する商品情報読取装置が記載されている。商品情報読取装置は、サービスラベルのデータであるラベル特徴データをＰＯＳ端末装置に予め記憶している。商品情報読取装置は、撮像したサービスラベルと、ラベル特徴データとをパターン認識やＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）等の認識処理によって判定することによって商品に貼付されたサービスラベルを認識している。
商品の画像に基づいて商品および商品に貼付されたサービスラベル等を認識する技術においては、認識した結果に間違いがないように認識率の向上が必要である。
特許文献１に記載の技術は、ＰＯＳ端末装置が予め保持するＰＬＵファイルに基づいて撮像した商品を特定している。しかしながら特許文献１に記載の技術は、ＰＯＳ端末装置が予め保持するＰＬＵファイルに基づいて撮像した商品を特定する技術を開示しているだけであって、認識率の向上については考慮してない問題がある。
特許文献２に記載の商品情報読取装置は、本来値引の対象商品であるにも関わらず、例えば、サービスラベルが剥がれてしまい商品にサービスラベルが貼付されていなかった場合に、その商品が値引品であることを認識するのは困難である。
したがって本発明は、使用を重ねることで商品の認識率が向上し、かつ、サービスラベルが剥がれてしまった場合でも、その商品を撮像することで商品に貼付されていたサービスラベルを推定することが可能なＰＯＳ端末装置を提供することを目的とする。
特許文献１に記載の技術は、ＰＯＳ端末装置が予め保持するＰＬＵファイルに基づいて撮像した商品を特定している。しかしながら特許文献１に記載の技術は、ＰＯＳ端末装置が予め保持するＰＬＵファイルに基づいて撮像した商品を特定する技術を開示しているだけであって、認識率の向上については考慮してない問題がある。
特許文献２に記載の商品情報読取装置は、本来値引の対象商品であるにも関わらず、例えば、サービスラベルが剥がれてしまい商品にサービスラベルが貼付されていなかった場合に、その商品が値引品であることを認識するのは困難である。
したがって本発明は、使用を重ねることで商品の認識率が向上し、かつ、サービスラベルが剥がれてしまった場合でも、その商品を撮像することで商品に貼付されていたサービスラベルを推定することが可能なＰＯＳ端末装置を提供することを目的とする。
本発明のＰＯＳ端末装置は、被写体と特定情報とを関連付けた被写体情報を保持する記憶部と、前記被写体を撮像し画像を生成する撮像部と、前記撮像部が撮像した前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部、を備える。
本発明の情報処理装置は、被写体と特定情報を関連付けた被写体情報を保持する記憶部と、前記被写体の画像を受けると共に前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える。
本発明の情報処理システムは、本発明に係るＰＯＳ端末装置と、情報処理装置と、を含み、前記ＰＯＳ端末装置は、前記情報処理装置との間で被写体情報を送受信する通信部とをさらに備える。
本発明の別の態様の情報処理システムは、被写体を撮像し画像を生成する撮像部を備えるＰＯＳ端末装置と、情報処理装置と、を含み、前記情報処理装置は、前記被写体と特定情報を関連付けた被写体情報を保持する記憶部と、前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える。
本発明の画像認識方法は、被写体を撮像して画像を生成し、前記撮像した被写体に関連付いている特定情報を記憶部が保持する被写体情報に基づいて推定する。
本発明の画像処理プログラムは、コンピュータを、被写体と特定情報とを関連付けた被写体情報を保持する記憶手段と、前記被写体を撮像し画像を生成する撮像手段と、前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定手段と、して動作させる。
本発明の情報処理装置は、被写体と特定情報を関連付けた被写体情報を保持する記憶部と、前記被写体の画像を受けると共に前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える。
本発明の情報処理システムは、本発明に係るＰＯＳ端末装置と、情報処理装置と、を含み、前記ＰＯＳ端末装置は、前記情報処理装置との間で被写体情報を送受信する通信部とをさらに備える。
本発明の別の態様の情報処理システムは、被写体を撮像し画像を生成する撮像部を備えるＰＯＳ端末装置と、情報処理装置と、を含み、前記情報処理装置は、前記被写体と特定情報を関連付けた被写体情報を保持する記憶部と、前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える。
本発明の画像認識方法は、被写体を撮像して画像を生成し、前記撮像した被写体に関連付いている特定情報を記憶部が保持する被写体情報に基づいて推定する。
本発明の画像処理プログラムは、コンピュータを、被写体と特定情報とを関連付けた被写体情報を保持する記憶手段と、前記被写体を撮像し画像を生成する撮像手段と、前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定手段と、して動作させる。
本発明によれば、使用を重ねることで商品の認識率が向上し、かつ商品に貼付されたサービスラベルが剥がれてしまった場合でも、その商品を撮像することで、その商品に貼付されていたサービスラベルを推定することができる。
図１は、本発明の第１実施形態に係るＰＯＳ端末装置、とサーバとの接続の一例を示すブロック図である。
図２は、本発明に係るＰＯＳシステムの概念図である。
図３は、本発明の第１実施形態に係るＰＯＳ端末装置の処理の一例を示すフローチャートである。
図４は、本発明の第２実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置の商品特定部を示すブロック図、（ｂ）は、商品特定部の処理の流れを示すフローチャートである。
図５は、本発明の第３実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置とサーバの構成を示すブロック図、（ｂ）は、上記ＰＯＳ端末装置とサーバの処理の流れを示すフローチャートである。
図６は、本発明の第４実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置の構成を示すブロック図、（ｂ）は、上記ＰＯＳ端末装置の処理の流れを示すフローチャートである。
図７は、本発明に係る画像認識方法を説明するための図であり、（ａ）は、本発明の画像認識の流れを示すブロック図、（ｂ）は、本発明の画像認識方法の流れを示すフローチャートである。
図２は、本発明に係るＰＯＳシステムの概念図である。
図３は、本発明の第１実施形態に係るＰＯＳ端末装置の処理の一例を示すフローチャートである。
図４は、本発明の第２実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置の商品特定部を示すブロック図、（ｂ）は、商品特定部の処理の流れを示すフローチャートである。
図５は、本発明の第３実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置とサーバの構成を示すブロック図、（ｂ）は、上記ＰＯＳ端末装置とサーバの処理の流れを示すフローチャートである。
図６は、本発明の第４実施形態に係るＰＯＳ端末装置を示す図であり、（ａ）は、上記ＰＯＳ端末装置の構成を示すブロック図、（ｂ）は、上記ＰＯＳ端末装置の処理の流れを示すフローチャートである。
図７は、本発明に係る画像認識方法を説明するための図であり、（ａ）は、本発明の画像認識の流れを示すブロック図、（ｂ）は、本発明の画像認識方法の流れを示すフローチャートである。
以下、図面を適宜参照しながら本発明を実施するための形態について詳細に説明する。
［１．ＰＯＳ端末装置の構成］
図１は、本発明の第１実施形態に係るＰＯＳ端末装置１００と、サーバ２００との一例を示すブロック図である。本発明のＰＯＳ端末装置１００は、制御部１０１と、撮像部１０２と、特定情報抽出部１０３と、特定情報推定部１０４と、記憶部１０５と、通信部１０６と、を備えている。サーバ２００は、サーバ記憶部２１０を備えている。ＰＯＳ端末装置１００は、通信部１０６を介してサーバ２００と接続している。
まず、ＰＯＳ端末装置１００を構成する各部について説明する。制御部１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＰＯＳ端末装置１００が実行する処理を制御することができる。具体的には、制御部１０１は、撮像部１０２と、特定情報抽出部１０３と、特定情報推定部１０４等の処理を制御する。
撮像部１０２は、被写体を撮像することができる。本発明のＰＯＳ端末装置１００は店舗等に設置するため、被写体は例えば店舗等が売買する商品である。また、撮像部１０２は商品を撮影すると共に、その商品の画像を生成する機能も有している。なお、以下では被写体を店舗等が売買する商品として説明するが、これは被写体が商品であることを限定するものではない。
特定情報抽出部１０３は、商品の画像から特定情報を抽出することができる。商品の画像は、撮像部１０２が生成した画像であってもよいし、外部機器等が入力した画像であってもよい。特定情報は、ＰＯＳ端末装置１００を店舗等に設置する場合、例えば店鋪等が売買する商品が値引品であることを示す値引ラベルである。特定情報抽出部１０３は、商品の画像から値引ラベルを抽出すると共に、その商品と値引ラベルとを関連付けた被写体情報を生成する。また、特定情報抽出部１０３は、商品から値引ラベルを抽出できなかった場合には、その商品には値引ラベルが貼付されていない（商品は値引品ではない）という被写体情報を生成する。さらに、特定情報抽出部１０３は、生成した被写体情報を記憶部１０５に格納する。この時、特定情報抽出部１０３は、被写体情報を記憶部１０５ではなく、サーバ２００が備えるサーバ記憶部２１０に格納してもよい。この場合、特定情報抽出部１０３は、通信部１０６を介して特定サーバ記憶部２１０に被写体情報を格納することができる。なお、以下では、特定情報を値引ラベルとして説明するが、これは特定情報が値引ラベルであることを限定するものではない。
特定情報推定部１０４は、記憶部１０５が保持する被写体情報に基づいて撮像部１０２が撮像した商品に関連付いている値引ラベルを推定することができる。特定情報推定部１０４は、同一の商品に種類の異なる複数の値引ラベルが関連付いている場合、その中で記憶部１０５が保持する一番総数の多い値引ラベルを、その商品に関連付いている値引ラベルであると推定する。また、特定情報推定部１０４は、サーバ記憶部２１０が保持する被写体情報に基づいて撮像部１０２が撮像した商品に関連付いている値引ラベルを推定してもよい。この時、特定情報推定部１０４は、記憶部１０５が保持する全ての被写体情報から値引ラベルを推定してもよいし、所定の期間内に撮像部１０２が生成した被写体情報から値引ラベルを推定してもよい。なお、所定の期間とは、ユーザの任意で自由に設定することのできる期間である。
撮像部１０２が撮像した画像と、被写体情報との照合には、例えばパターン認識等の一般的な画像処理を用いることができる。即ち、特定情報推定部１０４は値引ラベルからではなく、あくまで商品の画像に基づいて、その商品に貼付された値引ラベルを推定する。したがって、特定情報推定部１０４は、撮像部１０２が撮像した商品に値引ラベルが貼付されていない場合でも、商品に関連付いている値引ラベルを推定することができる。さらに、特定情報推定部１０４は、例えば撮像部１０２が撮像したのは商品の一部分の画像であり、記憶部１０５が保持する画像が商品の全体の画像であっても、その商品に関連付いている特定情報を推定することができる。これは、特定情報推定部１０４は、２つの画像の特徴量を比較しているためであり、商品の一部分の画像の特徴量が、商品の全体の画像の一部分の特徴量と、所定の範囲で類似していれば２つの商品は同一であると推定することができる。
ここで、店舗側のミス等の理由で値引品に値引ラベルを貼付していなかった場合に、特定情報抽出部１０３がその商品に対して本来とは異なる被写体情報を生成していることも想定される。しかしながら、特定情報抽出部１０３は、撮像部１０２が画像を生成する度に被写体情報を生成している。したがって、撮像部１０２が同一商品の撮像を重ねるほど、その商品本来の被写体情報の総数の方が誤った被写体情報の総数よりも相対的に多くなる。即ち、特定情報推定部１０４は、同一の商品に種類の異なる複数の被写体情報が関連付いている場合、記憶部１０５が保持する一番総数の多い被写体情報に基づいて値引ラベルを推定するため、誤った被写体情報を推定する可能性は小さい。また、このことにより、特定情報推定部１０４の商品の認識率は、撮像部１０２が撮像を重ねるごとに向上する。
記憶部１０５は、被写体情報を保持している。記憶部１０５としては、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を使用することができる。
通信部１０６は、ＰＯＳ端末装置１００とサーバ２００とを接続する通信インターフェースである。通信部１０６は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、無線ＬＡＮであってもよい。ＰＯＳ端末装置１００は、通信部１０６を介して外部のサーバ等と接続することができる。
サーバ２００は、複数のＰＯＳ端末装置と接続しており、例えば店舗等に設置する店舗サーバである。サーバ２００は、各ＰＯＳ端末装置から受信した被写体情報を保持するサーバ記憶部２１０を備えている。サーバ記憶部２１０は、サーバ２００と接続している各ＰＯＳ端末装置が保持する全ての被写体情報を保持している。以下において、各ＰＯＳ端末装置とサーバ２００が接続されたネットワークについて説明する。
［２．ＰＯＳ端末装置とサーバとの接続］
図２は、各ＰＯＳ端末装置と、サーバとが接続した様子を示す概略図である。図２では、サーバ２００と、３台のＰＯＳ端末装置とがネットワーク３００を介して接続した例を図示しているが、これはサーバ２００に接続するＰＯＳ端末装置の台数を何等限定するものではない。サーバ２００に接続するＰＯＳ端末装置の台数は、ユーザの任意で自由に設定することが可能である。以下、図２を参照しながら、各ＰＯＳ端末装置とサーバとの間で被写体情報を送受信する方法について説明する。
図２を参照すると、サーバ２００は、第１ＰＯＳ端末装置１１０と、第２ＰＯＳ端末装置１２０と、第３ＰＯＳ端末装置１３０と、ネットワーク３００を介して接続している。
サーバ２００は、ネットワーク３００を介して、３台全てのＰＯＳ端末装置との間で被写体情報を送受信する。ネットワーク３００は、例えばインターネットである。したがって、第１ＰＯＳ端末装置１１０~第３ＰＯＳ端末装置１３０のそれぞれは、他のＰＯＳ端末装置がサーバ２００に送信した被写体情報を同期することができる。第１ＰＯＳ端末装置１１０~第３ＰＯＳ端末装置１３０は、保持する被写体情報が増えるに連れて認識率が向上するため、複数のＰＯＳ端末装置と同期することにより認識率は更に向上する。以下で、各ＰＯＳ端末装置が実行する処理および各ＰＯＳ端末装置が他のＰＯＳ端末装置との間で被写体情報を同期する処理について詳しく説明する。
［３．ＰＯＳ端末装置の処理の流れ］
図３は、ＰＯＳ端末装置１００の各部が実行する処理の流れを示すフローチャートである。以下では、図３および図１を適宜参照し、本発明の第１実施形態に係るＰＯＳ端末装置１００が実行する処理について詳細に説明する。
まず、撮像部１０２が、商品を撮像すると共に、撮像した商品の画像を生成する（ステップＳ３０１）。次いで、撮像部１０２は、特定情報抽出部１０３および特定情報推定部１０４に生成した商品の画像を送信する。なお、特定情報推定部１０４は、受信した商品の画像が撮像部１０２の初回の撮像である場合には被写体情報が存在しないため、撮像部１０２から受信した商品の画像に基づいて、その商品に貼付されている値引ラベルを推定することはできない。
特定情報抽出部１０３は、撮像部１０２から受信した商品の画像から、その商品に貼付されている値引ラベルを抽出する（ステップＳ３０２）。この処理において、特定情報抽出部１０３は、商品に貼付された値引ラベルの有無を最初に判定する（ステップＳ３０３）。
次いで、特定情報抽出部１０３は、商品に値引ラベルが貼付されている場合には（ステップＳ３０３において「ＹＥＳ」）、商品と値引ラベルとを関連付けた被写体情報を生成する（ステップＳ３０４）。
また、特定情報抽出部１０３は、商品に値引ラベルが貼付されていない場合には（ステップＳ３０３において「ＮＯ」）、その商品には値引ラベルは貼付されていないという被写体情報を生成する（ステップＳ３０５）。即ち、特定情報抽出部１０３は、商品に貼付された値引ラベルの有無に依らず被写体情報を生成する。
さらに特定情報抽出部１０３は、生成した被写体情報を記憶部１０５に格納する。この時、特定情報抽出部１０３は、通信部１０６を介してサーバ記憶部２１０に被写体情報を格納してもよい（ステップＳ３０６）。この時、例えば値引ラベルが剥がれた等の理由により、本来は値引ラベルが貼付されている商品に値引ラベルが貼付されていなかった場合に、特定情報抽出部１０３は、その商品について、本来とは異なる被写体情報を生成し、記憶部１０５に格納することになる。しかしながら特定情報抽出部１０３が、本来とは異なる被写体情報を生成したとしても、その総数は、正しい被写体情報の総数よりも相対的に少ない。また、特定情報抽出部１０３が同一商品の被写体情報の生成を重ねるほど、本来とは異なる被写体情報の総数は、正しい被写体情報の総数よりも相対的に更に少なくなる。
次いで撮像部１０２は、次の商品を撮像するとともに、撮像した商品の画像を生成する（ステップＳ３０７）。ステップＳ３０７の処理はステップＳ３０１の処理と同様であり、撮像部１０２は、商品を撮像して画像を生成し、生成した画像を、特定情報抽出部１０３および特定情報推定部１０４に入力する。
ここでは、特定情報推定部１０４は、記憶部１０５およびサーバ記憶部２１０が被写体情報を保持しているため、撮像部１０２から受信した商品の画像に基づいて、その商品に貼付されている値引ラベルを推定することができる。なお、特定情報抽出部１０３が行う処理については、ステップＳ３０２からステップＳ３０６と同様であるため、説明は省略する。
次いで、特定情報推定部１０４は、記憶部１０５、またはサーバ記憶部２１０が保持する被写体情報に基づいて、撮像部１０２が撮像した商品に関連付いている値引ラベルを推定する（ステップＳ３０８）。この時、特定情報抽出部１０４は、商品について異なる複数の被写体情報が存在する場合には、相対的に総数の多い被写体情報を、その商品の正しい被写体情報であると推定する。各ＰＯＳ端末装置は、サーバ２００を介して同期しているため、撮像部１０２が初めて撮像する商品であっても、他のＰＯＳ端末装置で撮像したことのある商品であれば、特定情報推定部１０４は、その商品に関連付いている値引ラベルを推定することができる。また、特定情報推定部１０４は、撮像した商品の画像が商品の一部分であり、記憶部１０５またはサーバ記憶部２１０が保持する画像が商品の全体像であっても、その商品に関連付いた値引ラベルを推定することができる。同様に、特定情報推定部１０４は、撮像された商品の画像が商品の全体であって、サーバ記憶部２１０が保持する画像が商品の一部の画像であっても、その商品に関連付いた値引ラベルを推定することができる。
ＰＯＳ端末装置１００は、特定情報推定部１０４が商品に値引ラベルが関連付いていると推定すると、その旨をＰＯＳ端末装置１００のオペレータ等に報知する（ステップＳ３０９）。報知の方法は、ＰＯＳ端末装置１００が備える表示部にメッセージを表示させてもよいし、例えばＰＯＳ端末装置１００が特定情報報知部を更に備え、この特定情報報知部によって報知するようにしてもよい。特定情報報知部は、例えば視覚的に判断できる形態であってもよいし、音を鳴らす形態であってもよい。ＰＯＳ端末装置１００のオペレータ等は、商品に値引ラベルを貼付していない場合でも、その商品が値引品であることを報知によって認識できるため、間違うこと無く値引することができる。
［４．その他の実施形態］
（４−１．第２実施形態）
次に、図４を参照しながら本発明の第２実施形態に係るＰＯＳ端末装置について説明する。
第２実施形態のＰＯＳ端末装置は、第１実施形態のＰＯＳ端末装置に、撮像した商品を特定できる被写体特定部を更に備える形態である。具体的に説明すると、第２実施形態のＰＯＳ端末装置は、商品に関連付いた値引ラベルを推定できると共に、撮像した商品を特定することのできる商品特定部４２０を備えている。なお、第２実施形態のＰＯＳ端末装置について説明するが、商品特定部４２０以外、例えばＰＯＳ端末装置とサーバとの間での通信方法等に関しては第１実施形態のＰＯＳ端末装置１００と同様であるため、説明は省略する。
図４（ａ）は、商品特定部４２０が、被写体画像４００をサーバ４１０に格納する様子を示した模式図である。図４（ｂ）は、商品特定部４２０の処理の流れを示すフローチャートである。以下、図１、図４（ａ）および図４（ｂ）を適宜参照しながら、商品特定部４２０の説明をする。
まず、商品特定部４２０は、被写体画像４００を受信する（ステップＳ４０１）。被写体画像４００は、例えば図１において撮像部１０２が撮像し、生成した商品の画像である。
被写体画像４００を受信した商品特定部４２０は、被写体画像４００と同一の画像を記憶部１０５およびサーバ４１０から検索する（ステップＳ４０２）。検索の結果、記憶部１０５およびサーバ４１０から被写体画像４００と同一の商品があった場合（ステップＳ４０３において「ＹＥＳ」）、商品特定部４２０は、商品を表示する表示部等に特定した商品を表示させて（ステップＳ４０４）処理を終了する。検索の結果、記憶部１０５およびサーバ４１０から被写体画像４００と同一商品を検索できなかった場合（ステップＳ４０３において「ＮＯ」）、商品特定部４２０は、被写体画像４００に基づいて、新たに商品登録を行う（ステップＳ４０５）。ここで、商品特定部４２０は、サーバ４１０に商品の登録を行うことで、サーバ４１０に接続されている全てのＰＯＳ端末装置間で新たに登録された商品の情報を共有することができる。その結果、他のＰＯＳ端末装置は、被写体画像４００を初めて受信した時でも、その被写体画像４００に写っている商品が既に登録されている商品であることを特定することができる。
（４−２．第３実施形態）
次に、図５（ａ）を参照して第３実施形態に係るＰＯＳ端末装置を説明する。
第３実施形態のＰＯＳ端末装置は、撮像部１０２のみを備えており、サーバ５１０が特定情報抽出部５１１と、特定情報推定部５１２および記憶部５１３とを備える形態である。即ち、第３実施形態のＰＯＳ端末装置は、特定情報の抽出および特定情報の推定は行わず、サーバ５１０が特定情報の抽出および特定情報の推定を行う。その他の機能、例えばＰＯＳ端末装置とサーバとの間での通信方法等に関しては第１実施形態のＰＯＳ端末装置１００と同様であるので説明は省略する。以下では、図５（ｂ）を参照しながら、第３実施形態に係るＰＯＳ端末装置の処理の流れについて説明する。
まず、第３実施形態のＰＯＳ端末装置は、例えば図１において、撮像部１０２が撮像し生成した商品の被写体画像５００をサーバ５１０に送信する（ステップＳ５０１）。次に、被写体画像５００を受信したサーバ５１０は、その商品の画像を特定情報抽出部５１１および特定情報推定部５１２に入力する。特定情報抽出部５１１は、被写体画像５００から値引ラベルを抽出し、その商品と抽出した値引ラベルとを関連付けたデータを作成する（ステップＳ５０２）。この時、特定情報抽出部５１１は、商品と値引ラベルとを関連付けたデータを記憶部５１３に格納する。
次に、特定情報推定部５１２は、撮像した商品に関連付いている商品の値引ラベルを、記憶部５１３が保持する被写体情報に基づいて推定する（ステップＳ５０３）。
したがって、サーバ５１０が特定情報抽出部５１１および特定情報推定部５１２を備えている形態でも、商品の画像に基づいて特定情報を推定することができる。また、サーバ５１０が、第２実施形態のＰＯＳ端末装置が備える商品特定部４２０を、さらに備えていてもよい。
（４−３．第４実施形態）
次に、図６を参照して、第４実施形態のＰＯＳ端末装置として、サーバと接続する機能を有していない、最小の構成からなるＰＯＳ端末装置を説明する。
図６（ａ）は、第４実施形態に係るＰＯＳ端末装置の構成を示すブロック図である。第４実施形態に係るＰＯＳ端末装置は、撮像部６００と、特定情報推定部６１０と、記憶部６２０と、を備えている。
図６（ｂ）は、第４実施形態に係るＰＯＳ端末装置が実行する処理を示すフローチャートである。以下では、図６（ｂ）を参照しながら第４実施形態に係るＰＯＳ端末装置が実行する処理について説明する。
撮像部６００は、商品を撮像すると共に、その商品の画像を生成する（ステップＳ６０１）。また撮像部６００は、生成した画像を特定情報推定部６１０に入力する。
次いで、特定情報推定部６１０は、撮像部６００が撮像した商品の画像に関連付いている値引ラベルを、記憶部６２０が保持する被写体情報に基づいて推定する（ステップＳ６０２）。即ち、第４実施形態のＰＯＳ端末装置は、他のＰＯＳ端末装置とは同期していないが、記憶部６２０が保持する被写体情報のみに基づいて撮像部６００が撮像した商品に関連付いている値引ラベルを推定できる。また第４実施形態のＰＯＳ端末装置は、繰り返し使用することで記憶部６２０が保持する被写体情報の総数が多くなることに伴い、特定情報推定部６１０の認識率も向上する。したがって、第４実施形態のＰＯＳ端末装置においても、第１実施形態のＰＯＳ端末装置１００と同様の効果を奏することができる。
以上の説明において、第１実施形態~第４実施形態のＰＯＳ端末装置が備える各部は、ハードウエアによって実現してもよいし、ソフトウエアによって実現してもよい。また、各部は、ハードウエアとソフトウエアの組み合わせによって実現してもよい。例えば、制御部１０１が、記憶部１０５が保持するプログラムを読み出すことによって、コンピュータを第１実施形態~第４実施形態のＰＯＳ端末装置として動作させてもよい。また、プログラムは、コンピュータが読み取り可能な媒体が保持していればよいし、例えば、ネットワークに接続された記憶装置が保持していてもよい。
［５．画像認識方法］
次に、図７を参照して、本発明に係る最小の構成から実行する画像認識方法について説明する。
図７（ａ）は、本発明に係る画像認識を示すブロック図であり、図７（ｂ）は、本発明に係る画像認識の流れを示すフローチャートである。以下では、図７（ａ）および図７（ｂ）を適宜参照し、本発明に係る画像認識方法について詳細に説明する。
本発明に係る画像認識方法は、まず、画像データ７００に対して、特定情報推定７１０を実行する（ステップＳ７０１）。
次いで、特定情報推定７１０は、入力された画像データ７００に関連付いている特定情報を推定する。具体的には、特定情報推定７１０は、被写体データ７００と同一、または類似する画像を記憶部７２０が保持する被写体情報から検索する。この時、特定情報推定７１０は、画像データ７００が被写体の一部分の画像であって、記憶部７２０が保持する画像が被写体の全体の画像であっても検索することができる。また同様に、特定情報推定７１０は、画像データ７００が被写体の全体の画像であって、記憶部７２０が保持する画像が被写体の一部分の画像であっても検索することができる。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されない。本発明の構成や詳細には、本発明のスコープ内で当事者が理解し得る様々な変更をすることができる。
また上記の実施形態の一部、または全部は、以下のようにも記載されうる。なお、以下の付記は本発明を何等限定するものではない。
［付記１］
被写体と特定情報とを関連付けた被写体情報を保持する記憶部と、
前記被写体を撮像し画像を生成する撮像部と、
前記撮像部が撮像した前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、
を備える、
ことを特徴とするＰＯＳ端末装置。
［付記２］
前記撮像部が生成した前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記３］
前記特定情報推定部が前記被写体には前記特定情報が含まれていると推定した場合に、前記被写体には前記特定情報が含まれていることを報知する特定情報報知部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記４］
前記特定情報推定部は、前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定する、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記５］
前記撮像部が撮像した前記被写体の画像に基づいて前記商品を特定する被写体特定部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記６］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記７］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記８］
被写体と特定情報を関連付けた被写体情報を保持する記憶部と、
前記被写体の画像を受けると共に前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、
を備える、
ことを特徴とする情報処理装置。
［付記９］
前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載の情報処理装置。
［付記１０］
上記付記に記載のＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記ＰＯＳ端末装置は、前記情報処理装置との間で被写体情報を送受信する通信部とをさらに備える、
ことを特徴とする情報処理システム。
［付記１１］
前記ＰＯＳ端末装置は、前記情報処理装置を介して他のＰＯＳ端末装置との間で前記被写体情報を同期する、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１２］
前記ＰＯＳ端末装置は、前記情報処理装置を介して、他のＰＯＳ端末装置が保持する前記被写体情報を互いに同期する、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１３］
被写体を撮像し画像を生成する撮像部を備えるＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記情報処理装置は、
前記被写体と特定情報を関連付けた被写体情報を保持する記憶部と、
前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える
ことを特徴とする情報処理システム。
［付記１４］
前記情報処理装置は、前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１５］
被写体を撮像して画像を生成し、
前記撮像した被写体に関連付いている特定情報を記憶部が保持する被写体情報に基づいて推定する、
ことを特徴とする画像認識方法。
［付記１６］
前記撮像した被写体の画像から特定情報を抽出すると共に前記特定情報を前記被写体に関連付けた被写体情報を生成し、前記記憶部に格納する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１７］
前記被写体に前記特定情報が含まれていると推定された場合に、前記商品には前記特定情報が含まれていることを報知する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１８］
前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１９］
前記被写体の画像に基づいて前記被写体を特定する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２０］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２１］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２２］
コンピュータを、
被写体と特定情報とを関連付けた被写体情報を保持する記憶手段と、
前記被写体を撮像し画像を生成する撮像手段と、
前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定手段と、
して動作させる、
ことを特徴とする画像認識プログラム。
［付記２３］
前記コンピュータを、前記撮像部が生成した前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出手段として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２４］
前記コンピュータを、前記被写体に前記特定情報が含まれていると推定された場合に、前記被写体には前記特定情報が含まれていることを報知する報知手段として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２５］
前記コンピュータに、前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２６］
前記コンピュータを、前記被写体の画像に基づいて前記商品を特定する商品特定部として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２７］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２８］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載の画像認識プログラム。
この出願は、２０１４年３月２７日に出願された日本出願特願第２０１４−０６５２８５号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
［１．ＰＯＳ端末装置の構成］
図１は、本発明の第１実施形態に係るＰＯＳ端末装置１００と、サーバ２００との一例を示すブロック図である。本発明のＰＯＳ端末装置１００は、制御部１０１と、撮像部１０２と、特定情報抽出部１０３と、特定情報推定部１０４と、記憶部１０５と、通信部１０６と、を備えている。サーバ２００は、サーバ記憶部２１０を備えている。ＰＯＳ端末装置１００は、通信部１０６を介してサーバ２００と接続している。
まず、ＰＯＳ端末装置１００を構成する各部について説明する。制御部１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＰＯＳ端末装置１００が実行する処理を制御することができる。具体的には、制御部１０１は、撮像部１０２と、特定情報抽出部１０３と、特定情報推定部１０４等の処理を制御する。
撮像部１０２は、被写体を撮像することができる。本発明のＰＯＳ端末装置１００は店舗等に設置するため、被写体は例えば店舗等が売買する商品である。また、撮像部１０２は商品を撮影すると共に、その商品の画像を生成する機能も有している。なお、以下では被写体を店舗等が売買する商品として説明するが、これは被写体が商品であることを限定するものではない。
特定情報抽出部１０３は、商品の画像から特定情報を抽出することができる。商品の画像は、撮像部１０２が生成した画像であってもよいし、外部機器等が入力した画像であってもよい。特定情報は、ＰＯＳ端末装置１００を店舗等に設置する場合、例えば店鋪等が売買する商品が値引品であることを示す値引ラベルである。特定情報抽出部１０３は、商品の画像から値引ラベルを抽出すると共に、その商品と値引ラベルとを関連付けた被写体情報を生成する。また、特定情報抽出部１０３は、商品から値引ラベルを抽出できなかった場合には、その商品には値引ラベルが貼付されていない（商品は値引品ではない）という被写体情報を生成する。さらに、特定情報抽出部１０３は、生成した被写体情報を記憶部１０５に格納する。この時、特定情報抽出部１０３は、被写体情報を記憶部１０５ではなく、サーバ２００が備えるサーバ記憶部２１０に格納してもよい。この場合、特定情報抽出部１０３は、通信部１０６を介して特定サーバ記憶部２１０に被写体情報を格納することができる。なお、以下では、特定情報を値引ラベルとして説明するが、これは特定情報が値引ラベルであることを限定するものではない。
特定情報推定部１０４は、記憶部１０５が保持する被写体情報に基づいて撮像部１０２が撮像した商品に関連付いている値引ラベルを推定することができる。特定情報推定部１０４は、同一の商品に種類の異なる複数の値引ラベルが関連付いている場合、その中で記憶部１０５が保持する一番総数の多い値引ラベルを、その商品に関連付いている値引ラベルであると推定する。また、特定情報推定部１０４は、サーバ記憶部２１０が保持する被写体情報に基づいて撮像部１０２が撮像した商品に関連付いている値引ラベルを推定してもよい。この時、特定情報推定部１０４は、記憶部１０５が保持する全ての被写体情報から値引ラベルを推定してもよいし、所定の期間内に撮像部１０２が生成した被写体情報から値引ラベルを推定してもよい。なお、所定の期間とは、ユーザの任意で自由に設定することのできる期間である。
撮像部１０２が撮像した画像と、被写体情報との照合には、例えばパターン認識等の一般的な画像処理を用いることができる。即ち、特定情報推定部１０４は値引ラベルからではなく、あくまで商品の画像に基づいて、その商品に貼付された値引ラベルを推定する。したがって、特定情報推定部１０４は、撮像部１０２が撮像した商品に値引ラベルが貼付されていない場合でも、商品に関連付いている値引ラベルを推定することができる。さらに、特定情報推定部１０４は、例えば撮像部１０２が撮像したのは商品の一部分の画像であり、記憶部１０５が保持する画像が商品の全体の画像であっても、その商品に関連付いている特定情報を推定することができる。これは、特定情報推定部１０４は、２つの画像の特徴量を比較しているためであり、商品の一部分の画像の特徴量が、商品の全体の画像の一部分の特徴量と、所定の範囲で類似していれば２つの商品は同一であると推定することができる。
ここで、店舗側のミス等の理由で値引品に値引ラベルを貼付していなかった場合に、特定情報抽出部１０３がその商品に対して本来とは異なる被写体情報を生成していることも想定される。しかしながら、特定情報抽出部１０３は、撮像部１０２が画像を生成する度に被写体情報を生成している。したがって、撮像部１０２が同一商品の撮像を重ねるほど、その商品本来の被写体情報の総数の方が誤った被写体情報の総数よりも相対的に多くなる。即ち、特定情報推定部１０４は、同一の商品に種類の異なる複数の被写体情報が関連付いている場合、記憶部１０５が保持する一番総数の多い被写体情報に基づいて値引ラベルを推定するため、誤った被写体情報を推定する可能性は小さい。また、このことにより、特定情報推定部１０４の商品の認識率は、撮像部１０２が撮像を重ねるごとに向上する。
記憶部１０５は、被写体情報を保持している。記憶部１０５としては、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を使用することができる。
通信部１０６は、ＰＯＳ端末装置１００とサーバ２００とを接続する通信インターフェースである。通信部１０６は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、無線ＬＡＮであってもよい。ＰＯＳ端末装置１００は、通信部１０６を介して外部のサーバ等と接続することができる。
サーバ２００は、複数のＰＯＳ端末装置と接続しており、例えば店舗等に設置する店舗サーバである。サーバ２００は、各ＰＯＳ端末装置から受信した被写体情報を保持するサーバ記憶部２１０を備えている。サーバ記憶部２１０は、サーバ２００と接続している各ＰＯＳ端末装置が保持する全ての被写体情報を保持している。以下において、各ＰＯＳ端末装置とサーバ２００が接続されたネットワークについて説明する。
［２．ＰＯＳ端末装置とサーバとの接続］
図２は、各ＰＯＳ端末装置と、サーバとが接続した様子を示す概略図である。図２では、サーバ２００と、３台のＰＯＳ端末装置とがネットワーク３００を介して接続した例を図示しているが、これはサーバ２００に接続するＰＯＳ端末装置の台数を何等限定するものではない。サーバ２００に接続するＰＯＳ端末装置の台数は、ユーザの任意で自由に設定することが可能である。以下、図２を参照しながら、各ＰＯＳ端末装置とサーバとの間で被写体情報を送受信する方法について説明する。
図２を参照すると、サーバ２００は、第１ＰＯＳ端末装置１１０と、第２ＰＯＳ端末装置１２０と、第３ＰＯＳ端末装置１３０と、ネットワーク３００を介して接続している。
サーバ２００は、ネットワーク３００を介して、３台全てのＰＯＳ端末装置との間で被写体情報を送受信する。ネットワーク３００は、例えばインターネットである。したがって、第１ＰＯＳ端末装置１１０~第３ＰＯＳ端末装置１３０のそれぞれは、他のＰＯＳ端末装置がサーバ２００に送信した被写体情報を同期することができる。第１ＰＯＳ端末装置１１０~第３ＰＯＳ端末装置１３０は、保持する被写体情報が増えるに連れて認識率が向上するため、複数のＰＯＳ端末装置と同期することにより認識率は更に向上する。以下で、各ＰＯＳ端末装置が実行する処理および各ＰＯＳ端末装置が他のＰＯＳ端末装置との間で被写体情報を同期する処理について詳しく説明する。
［３．ＰＯＳ端末装置の処理の流れ］
図３は、ＰＯＳ端末装置１００の各部が実行する処理の流れを示すフローチャートである。以下では、図３および図１を適宜参照し、本発明の第１実施形態に係るＰＯＳ端末装置１００が実行する処理について詳細に説明する。
まず、撮像部１０２が、商品を撮像すると共に、撮像した商品の画像を生成する（ステップＳ３０１）。次いで、撮像部１０２は、特定情報抽出部１０３および特定情報推定部１０４に生成した商品の画像を送信する。なお、特定情報推定部１０４は、受信した商品の画像が撮像部１０２の初回の撮像である場合には被写体情報が存在しないため、撮像部１０２から受信した商品の画像に基づいて、その商品に貼付されている値引ラベルを推定することはできない。
特定情報抽出部１０３は、撮像部１０２から受信した商品の画像から、その商品に貼付されている値引ラベルを抽出する（ステップＳ３０２）。この処理において、特定情報抽出部１０３は、商品に貼付された値引ラベルの有無を最初に判定する（ステップＳ３０３）。
次いで、特定情報抽出部１０３は、商品に値引ラベルが貼付されている場合には（ステップＳ３０３において「ＹＥＳ」）、商品と値引ラベルとを関連付けた被写体情報を生成する（ステップＳ３０４）。
また、特定情報抽出部１０３は、商品に値引ラベルが貼付されていない場合には（ステップＳ３０３において「ＮＯ」）、その商品には値引ラベルは貼付されていないという被写体情報を生成する（ステップＳ３０５）。即ち、特定情報抽出部１０３は、商品に貼付された値引ラベルの有無に依らず被写体情報を生成する。
さらに特定情報抽出部１０３は、生成した被写体情報を記憶部１０５に格納する。この時、特定情報抽出部１０３は、通信部１０６を介してサーバ記憶部２１０に被写体情報を格納してもよい（ステップＳ３０６）。この時、例えば値引ラベルが剥がれた等の理由により、本来は値引ラベルが貼付されている商品に値引ラベルが貼付されていなかった場合に、特定情報抽出部１０３は、その商品について、本来とは異なる被写体情報を生成し、記憶部１０５に格納することになる。しかしながら特定情報抽出部１０３が、本来とは異なる被写体情報を生成したとしても、その総数は、正しい被写体情報の総数よりも相対的に少ない。また、特定情報抽出部１０３が同一商品の被写体情報の生成を重ねるほど、本来とは異なる被写体情報の総数は、正しい被写体情報の総数よりも相対的に更に少なくなる。
次いで撮像部１０２は、次の商品を撮像するとともに、撮像した商品の画像を生成する（ステップＳ３０７）。ステップＳ３０７の処理はステップＳ３０１の処理と同様であり、撮像部１０２は、商品を撮像して画像を生成し、生成した画像を、特定情報抽出部１０３および特定情報推定部１０４に入力する。
ここでは、特定情報推定部１０４は、記憶部１０５およびサーバ記憶部２１０が被写体情報を保持しているため、撮像部１０２から受信した商品の画像に基づいて、その商品に貼付されている値引ラベルを推定することができる。なお、特定情報抽出部１０３が行う処理については、ステップＳ３０２からステップＳ３０６と同様であるため、説明は省略する。
次いで、特定情報推定部１０４は、記憶部１０５、またはサーバ記憶部２１０が保持する被写体情報に基づいて、撮像部１０２が撮像した商品に関連付いている値引ラベルを推定する（ステップＳ３０８）。この時、特定情報抽出部１０４は、商品について異なる複数の被写体情報が存在する場合には、相対的に総数の多い被写体情報を、その商品の正しい被写体情報であると推定する。各ＰＯＳ端末装置は、サーバ２００を介して同期しているため、撮像部１０２が初めて撮像する商品であっても、他のＰＯＳ端末装置で撮像したことのある商品であれば、特定情報推定部１０４は、その商品に関連付いている値引ラベルを推定することができる。また、特定情報推定部１０４は、撮像した商品の画像が商品の一部分であり、記憶部１０５またはサーバ記憶部２１０が保持する画像が商品の全体像であっても、その商品に関連付いた値引ラベルを推定することができる。同様に、特定情報推定部１０４は、撮像された商品の画像が商品の全体であって、サーバ記憶部２１０が保持する画像が商品の一部の画像であっても、その商品に関連付いた値引ラベルを推定することができる。
ＰＯＳ端末装置１００は、特定情報推定部１０４が商品に値引ラベルが関連付いていると推定すると、その旨をＰＯＳ端末装置１００のオペレータ等に報知する（ステップＳ３０９）。報知の方法は、ＰＯＳ端末装置１００が備える表示部にメッセージを表示させてもよいし、例えばＰＯＳ端末装置１００が特定情報報知部を更に備え、この特定情報報知部によって報知するようにしてもよい。特定情報報知部は、例えば視覚的に判断できる形態であってもよいし、音を鳴らす形態であってもよい。ＰＯＳ端末装置１００のオペレータ等は、商品に値引ラベルを貼付していない場合でも、その商品が値引品であることを報知によって認識できるため、間違うこと無く値引することができる。
［４．その他の実施形態］
（４−１．第２実施形態）
次に、図４を参照しながら本発明の第２実施形態に係るＰＯＳ端末装置について説明する。
第２実施形態のＰＯＳ端末装置は、第１実施形態のＰＯＳ端末装置に、撮像した商品を特定できる被写体特定部を更に備える形態である。具体的に説明すると、第２実施形態のＰＯＳ端末装置は、商品に関連付いた値引ラベルを推定できると共に、撮像した商品を特定することのできる商品特定部４２０を備えている。なお、第２実施形態のＰＯＳ端末装置について説明するが、商品特定部４２０以外、例えばＰＯＳ端末装置とサーバとの間での通信方法等に関しては第１実施形態のＰＯＳ端末装置１００と同様であるため、説明は省略する。
図４（ａ）は、商品特定部４２０が、被写体画像４００をサーバ４１０に格納する様子を示した模式図である。図４（ｂ）は、商品特定部４２０の処理の流れを示すフローチャートである。以下、図１、図４（ａ）および図４（ｂ）を適宜参照しながら、商品特定部４２０の説明をする。
まず、商品特定部４２０は、被写体画像４００を受信する（ステップＳ４０１）。被写体画像４００は、例えば図１において撮像部１０２が撮像し、生成した商品の画像である。
被写体画像４００を受信した商品特定部４２０は、被写体画像４００と同一の画像を記憶部１０５およびサーバ４１０から検索する（ステップＳ４０２）。検索の結果、記憶部１０５およびサーバ４１０から被写体画像４００と同一の商品があった場合（ステップＳ４０３において「ＹＥＳ」）、商品特定部４２０は、商品を表示する表示部等に特定した商品を表示させて（ステップＳ４０４）処理を終了する。検索の結果、記憶部１０５およびサーバ４１０から被写体画像４００と同一商品を検索できなかった場合（ステップＳ４０３において「ＮＯ」）、商品特定部４２０は、被写体画像４００に基づいて、新たに商品登録を行う（ステップＳ４０５）。ここで、商品特定部４２０は、サーバ４１０に商品の登録を行うことで、サーバ４１０に接続されている全てのＰＯＳ端末装置間で新たに登録された商品の情報を共有することができる。その結果、他のＰＯＳ端末装置は、被写体画像４００を初めて受信した時でも、その被写体画像４００に写っている商品が既に登録されている商品であることを特定することができる。
（４−２．第３実施形態）
次に、図５（ａ）を参照して第３実施形態に係るＰＯＳ端末装置を説明する。
第３実施形態のＰＯＳ端末装置は、撮像部１０２のみを備えており、サーバ５１０が特定情報抽出部５１１と、特定情報推定部５１２および記憶部５１３とを備える形態である。即ち、第３実施形態のＰＯＳ端末装置は、特定情報の抽出および特定情報の推定は行わず、サーバ５１０が特定情報の抽出および特定情報の推定を行う。その他の機能、例えばＰＯＳ端末装置とサーバとの間での通信方法等に関しては第１実施形態のＰＯＳ端末装置１００と同様であるので説明は省略する。以下では、図５（ｂ）を参照しながら、第３実施形態に係るＰＯＳ端末装置の処理の流れについて説明する。
まず、第３実施形態のＰＯＳ端末装置は、例えば図１において、撮像部１０２が撮像し生成した商品の被写体画像５００をサーバ５１０に送信する（ステップＳ５０１）。次に、被写体画像５００を受信したサーバ５１０は、その商品の画像を特定情報抽出部５１１および特定情報推定部５１２に入力する。特定情報抽出部５１１は、被写体画像５００から値引ラベルを抽出し、その商品と抽出した値引ラベルとを関連付けたデータを作成する（ステップＳ５０２）。この時、特定情報抽出部５１１は、商品と値引ラベルとを関連付けたデータを記憶部５１３に格納する。
次に、特定情報推定部５１２は、撮像した商品に関連付いている商品の値引ラベルを、記憶部５１３が保持する被写体情報に基づいて推定する（ステップＳ５０３）。
したがって、サーバ５１０が特定情報抽出部５１１および特定情報推定部５１２を備えている形態でも、商品の画像に基づいて特定情報を推定することができる。また、サーバ５１０が、第２実施形態のＰＯＳ端末装置が備える商品特定部４２０を、さらに備えていてもよい。
（４−３．第４実施形態）
次に、図６を参照して、第４実施形態のＰＯＳ端末装置として、サーバと接続する機能を有していない、最小の構成からなるＰＯＳ端末装置を説明する。
図６（ａ）は、第４実施形態に係るＰＯＳ端末装置の構成を示すブロック図である。第４実施形態に係るＰＯＳ端末装置は、撮像部６００と、特定情報推定部６１０と、記憶部６２０と、を備えている。
図６（ｂ）は、第４実施形態に係るＰＯＳ端末装置が実行する処理を示すフローチャートである。以下では、図６（ｂ）を参照しながら第４実施形態に係るＰＯＳ端末装置が実行する処理について説明する。
撮像部６００は、商品を撮像すると共に、その商品の画像を生成する（ステップＳ６０１）。また撮像部６００は、生成した画像を特定情報推定部６１０に入力する。
次いで、特定情報推定部６１０は、撮像部６００が撮像した商品の画像に関連付いている値引ラベルを、記憶部６２０が保持する被写体情報に基づいて推定する（ステップＳ６０２）。即ち、第４実施形態のＰＯＳ端末装置は、他のＰＯＳ端末装置とは同期していないが、記憶部６２０が保持する被写体情報のみに基づいて撮像部６００が撮像した商品に関連付いている値引ラベルを推定できる。また第４実施形態のＰＯＳ端末装置は、繰り返し使用することで記憶部６２０が保持する被写体情報の総数が多くなることに伴い、特定情報推定部６１０の認識率も向上する。したがって、第４実施形態のＰＯＳ端末装置においても、第１実施形態のＰＯＳ端末装置１００と同様の効果を奏することができる。
以上の説明において、第１実施形態~第４実施形態のＰＯＳ端末装置が備える各部は、ハードウエアによって実現してもよいし、ソフトウエアによって実現してもよい。また、各部は、ハードウエアとソフトウエアの組み合わせによって実現してもよい。例えば、制御部１０１が、記憶部１０５が保持するプログラムを読み出すことによって、コンピュータを第１実施形態~第４実施形態のＰＯＳ端末装置として動作させてもよい。また、プログラムは、コンピュータが読み取り可能な媒体が保持していればよいし、例えば、ネットワークに接続された記憶装置が保持していてもよい。
［５．画像認識方法］
次に、図７を参照して、本発明に係る最小の構成から実行する画像認識方法について説明する。
図７（ａ）は、本発明に係る画像認識を示すブロック図であり、図７（ｂ）は、本発明に係る画像認識の流れを示すフローチャートである。以下では、図７（ａ）および図７（ｂ）を適宜参照し、本発明に係る画像認識方法について詳細に説明する。
本発明に係る画像認識方法は、まず、画像データ７００に対して、特定情報推定７１０を実行する（ステップＳ７０１）。
次いで、特定情報推定７１０は、入力された画像データ７００に関連付いている特定情報を推定する。具体的には、特定情報推定７１０は、被写体データ７００と同一、または類似する画像を記憶部７２０が保持する被写体情報から検索する。この時、特定情報推定７１０は、画像データ７００が被写体の一部分の画像であって、記憶部７２０が保持する画像が被写体の全体の画像であっても検索することができる。また同様に、特定情報推定７１０は、画像データ７００が被写体の全体の画像であって、記憶部７２０が保持する画像が被写体の一部分の画像であっても検索することができる。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されない。本発明の構成や詳細には、本発明のスコープ内で当事者が理解し得る様々な変更をすることができる。
また上記の実施形態の一部、または全部は、以下のようにも記載されうる。なお、以下の付記は本発明を何等限定するものではない。
［付記１］
被写体と特定情報とを関連付けた被写体情報を保持する記憶部と、
前記被写体を撮像し画像を生成する撮像部と、
前記撮像部が撮像した前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、
を備える、
ことを特徴とするＰＯＳ端末装置。
［付記２］
前記撮像部が生成した前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記３］
前記特定情報推定部が前記被写体には前記特定情報が含まれていると推定した場合に、前記被写体には前記特定情報が含まれていることを報知する特定情報報知部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記４］
前記特定情報推定部は、前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定する、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記５］
前記撮像部が撮像した前記被写体の画像に基づいて前記商品を特定する被写体特定部をさらに備える、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記６］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記７］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載のＰＯＳ端末装置。
［付記８］
被写体と特定情報を関連付けた被写体情報を保持する記憶部と、
前記被写体の画像を受けると共に前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、
を備える、
ことを特徴とする情報処理装置。
［付記９］
前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載の情報処理装置。
［付記１０］
上記付記に記載のＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記ＰＯＳ端末装置は、前記情報処理装置との間で被写体情報を送受信する通信部とをさらに備える、
ことを特徴とする情報処理システム。
［付記１１］
前記ＰＯＳ端末装置は、前記情報処理装置を介して他のＰＯＳ端末装置との間で前記被写体情報を同期する、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１２］
前記ＰＯＳ端末装置は、前記情報処理装置を介して、他のＰＯＳ端末装置が保持する前記被写体情報を互いに同期する、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１３］
被写体を撮像し画像を生成する撮像部を備えるＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記情報処理装置は、
前記被写体と特定情報を関連付けた被写体情報を保持する記憶部と、
前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える
ことを特徴とする情報処理システム。
［付記１４］
前記情報処理装置は、前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする上記付記に記載の情報処理システム。
［付記１５］
被写体を撮像して画像を生成し、
前記撮像した被写体に関連付いている特定情報を記憶部が保持する被写体情報に基づいて推定する、
ことを特徴とする画像認識方法。
［付記１６］
前記撮像した被写体の画像から特定情報を抽出すると共に前記特定情報を前記被写体に関連付けた被写体情報を生成し、前記記憶部に格納する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１７］
前記被写体に前記特定情報が含まれていると推定された場合に、前記商品には前記特定情報が含まれていることを報知する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１８］
前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記１９］
前記被写体の画像に基づいて前記被写体を特定する、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２０］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２１］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載の画像認識方法。
［付記２２］
コンピュータを、
被写体と特定情報とを関連付けた被写体情報を保持する記憶手段と、
前記被写体を撮像し画像を生成する撮像手段と、
前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定手段と、
して動作させる、
ことを特徴とする画像認識プログラム。
［付記２３］
前記コンピュータを、前記撮像部が生成した前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出手段として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２４］
前記コンピュータを、前記被写体に前記特定情報が含まれていると推定された場合に、前記被写体には前記特定情報が含まれていることを報知する報知手段として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２５］
前記コンピュータに、前記被写体の少なくとも一部分の画像に基づいて前記商品に関連付いている前記特定情報を推定させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２６］
前記コンピュータを、前記被写体の画像に基づいて前記商品を特定する商品特定部として、さらに動作させる、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２７］
前記被写体は、店舗で売買される商品である、
ことを特徴とする上記付記に記載の画像認識プログラム。
［付記２８］
前記特定情報は、商品の値引を示す印である、
ことを特徴とする上記付記に記載の画像認識プログラム。
この出願は、２０１４年３月２７日に出願された日本出願特願第２０１４−０６５２８５号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
１００・・・ＰＯＳ端末装置
１０１・・・制御部
１０２・・・撮像部
１０３・・・特定情報抽出部
１０４・・・特定情報推定部
１０５・・・記憶部
１０６・・・通信部
１１０・・・第１ＰＯＳ端末装置
１２０・・・第２ＰＯＳ端末装置
１３０・・・第３ＰＯＳ端末装置
２００・・・サーバ
２１０・・・サーバ記憶部
３００・・・ネットワーク
４００・・・被写体画像
４１０・・・サーバ
４２０・・・商品特定部
５００・・・被写体画像
５１０・・・サーバ
５１１・・・特定情報抽出部
５１２・・・特定情報推定部
５１３・・・記憶部
６００・・・撮像部
６１０・・・特定情報推定部
６２０・・・記憶部
７００・・・画像データ
７１０・・・特定情報推定
７２０・・・記憶部
１０１・・・制御部
１０２・・・撮像部
１０３・・・特定情報抽出部
１０４・・・特定情報推定部
１０５・・・記憶部
１０６・・・通信部
１１０・・・第１ＰＯＳ端末装置
１２０・・・第２ＰＯＳ端末装置
１３０・・・第３ＰＯＳ端末装置
２００・・・サーバ
２１０・・・サーバ記憶部
３００・・・ネットワーク
４００・・・被写体画像
４１０・・・サーバ
４２０・・・商品特定部
５００・・・被写体画像
５１０・・・サーバ
５１１・・・特定情報抽出部
５１２・・・特定情報推定部
５１３・・・記憶部
６００・・・撮像部
６１０・・・特定情報推定部
６２０・・・記憶部
７００・・・画像データ
７１０・・・特定情報推定
７２０・・・記憶部
Claims (12)
- 被写体と特定情報とを関連付けた被写体情報を保持する記憶部と、
前記被写体を撮像し画像を生成する撮像部と、
前記撮像部が撮像した前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、
を備える、
ことを特徴とするＰＯＳ端末装置。 - 前記撮像部が生成した前記被写体の画像から前記特定情報を抽出すると共に、前記特定情報を前記被写体に関連付けて前記被写体情報を生成し前記記憶部に格納する特定情報抽出部をさらに備える、
ことを特徴とする請求項１に記載のＰＯＳ端末装置。 - 前記特定情報推定部が前記被写体には前記特定情報が含まれていると推定した場合に、前記商品には前記特定情報が含まれていることを報知する特定情報報知部をさらに備える、
ことを特徴とする請求項１または２に記載のＰＯＳ端末装置。 - 前記特定情報推定部は、前記被写体の少なくとも一部分の画像に基づいて前記被写体に関連付いている前記特定情報を推定する、
ことを特徴とする請求項１~３のいずれか１項に記載のＰＯＳ端末装置。 - 前記撮像部が撮像した前記被写体の画像に基づいて前記被写体を特定する被写体特定部をさらに備える、
ことを特徴とする請求項１~４のいずれか１項に記載のＰＯＳ端末装置。 - 前記被写体は、店舗で売買される商品である、
ことを特徴とする請求項１~５のいずれか１項に記載のＰＯＳ端末装置。 - 前記特定情報は、商品の値引を示す印である、
ことを特徴とする請求項１~６のいずれか１項に記載のＰＯＳ端末装置。 - 被写体と特定情報を関連付けた被写体情報を保持する記憶部と、
前記被写体の画像を受けると共に前記被写体に関連付いている前記特定情報を前記被写体情報に基づいて推定する特定情報推定部と、
を備える、
ことを特徴とする情報処理装置。 - 請求項１~７のいずれか１項に記載のＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記ＰＯＳ端末装置は、前記情報処理装置との間で被写体情報を送受信する通信部とをさらに備える、
ことを特徴とする情報処理システム。 - 被写体を撮像し画像を生成する撮像部を備えるＰＯＳ端末装置と、
情報処理装置と、
を含み、
前記情報処理装置は、
前記被写体と特定情報を関連付けた被写体情報を保持する記憶部と、
前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定部と、を備える
ことを特徴とする情報処理システム。 - 被写体を撮像して画像を生成し、
前記撮像した被写体に関連付いている特定情報を記憶部が保持する被写体情報に基づいて推定する、
ことを特徴とする画像認識方法。 - コンピュータを、
被写体と特定情報とを関連付けた被写体情報を保持する記憶手段と、
前記被写体を撮像し画像を生成する撮像手段と、
前記撮像部が撮像した被写体に関連付いている特定情報を前記被写体情報に基づいて推定する特定情報推定手段と、
して動作させる、
ことを特徴とする画像認識プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016510586A JP6372564B2 (ja) | 2014-03-27 | 2015-03-25 | Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラム |
| US15/129,299 US20180181940A1 (en) | 2014-03-27 | 2015-03-25 | Pos terminal device, information processing device, information processing system, image recognition method, and image recognition program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-065285 | 2014-03-27 | ||
| JP2014065285 | 2014-03-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015147329A1 true WO2015147329A1 (ja) | 2015-10-01 |
Family
ID=54195831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/060301 WO2015147329A1 (ja) | 2014-03-27 | 2015-03-25 | Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180181940A1 (ja) |
| JP (1) | JP6372564B2 (ja) |
| WO (1) | WO2015147329A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022190822A1 (ja) * | 2021-03-10 | 2022-09-15 | 東芝テック株式会社 | コード読取装置、プログラム記録媒体、コード読取システム及びコード読取方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4310766A1 (en) * | 2021-03-17 | 2024-01-24 | NEC Corporation | Information processing device, information processing method, and recording medium |
| JP2022187808A (ja) * | 2021-06-08 | 2022-12-20 | 東芝テック株式会社 | 商品販売データ処理装置及びプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208814A (ja) * | 2011-03-30 | 2012-10-25 | Fujitsu Frontech Ltd | 情報取得装置、商品登録装置、および、情報取得方法 |
| JP2014049015A (ja) * | 2012-09-03 | 2014-03-17 | Toshiba Tec Corp | 商品認識装置及び商品認識プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7296745B2 (en) * | 2001-02-16 | 2007-11-20 | Premark Feg L.L.C. | Store item mark down system and method |
| JP4932306B2 (ja) * | 2006-03-31 | 2012-05-16 | 東芝テック株式会社 | 商品販売データ処理装置 |
| US20110178932A1 (en) * | 2010-01-15 | 2011-07-21 | Anthony Kevin Johnson | Artistic work download transaction (awdt) |
| JP5132732B2 (ja) * | 2010-08-23 | 2013-01-30 | 東芝テック株式会社 | 店舗システムおよびプログラム |
-
2015
- 2015-03-25 JP JP2016510586A patent/JP6372564B2/ja active Active
- 2015-03-25 WO PCT/JP2015/060301 patent/WO2015147329A1/ja active Application Filing
- 2015-03-25 US US15/129,299 patent/US20180181940A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208814A (ja) * | 2011-03-30 | 2012-10-25 | Fujitsu Frontech Ltd | 情報取得装置、商品登録装置、および、情報取得方法 |
| JP2014049015A (ja) * | 2012-09-03 | 2014-03-17 | Toshiba Tec Corp | 商品認識装置及び商品認識プログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022190822A1 (ja) * | 2021-03-10 | 2022-09-15 | 東芝テック株式会社 | コード読取装置、プログラム記録媒体、コード読取システム及びコード読取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180181940A1 (en) | 2018-06-28 |
| JPWO2015147329A1 (ja) | 2017-04-13 |
| JP6372564B2 (ja) | 2018-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11900316B2 (en) | Information processing apparatus, control method, and program | |
| JP6202215B2 (ja) | 情報処理装置、棚札管理システム、制御方法、及びプログラム | |
| JP6743868B2 (ja) | 情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラム | |
| EP3038028B1 (en) | Sequencing products recognized in a shelf image | |
| US8723962B2 (en) | Camera based information exchange mechanism | |
| US10755134B2 (en) | Generation of training data for object-sorting work based on a difference between feature amounts of captured object images | |
| CN103189864A (zh) | 用于确定个人的共享好友的方法、设备和计算机程序产品 | |
| WO2016052382A1 (ja) | 情報処理装置、棚札管理システム、制御方法、及びプログラム | |
| JP2014170314A (ja) | 情報処理システム、情報処理方法およびプログラム | |
| EP3430567B1 (en) | Optical character recognition utilizing hashed templates | |
| US20160292628A1 (en) | Method, and storage medium | |
| JP2016194834A (ja) | 整合判定方法、整合判定プログラム、及び整合判定装置 | |
| US20130093869A1 (en) | Information processing apparatus and method | |
| JP6372564B2 (ja) | Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラム | |
| JP2016048409A (ja) | データ解析装置、データ解析システム、売上予測装置、売上予測システム、データ解析方法、売上予測方法、プログラムおよび記録媒体 | |
| JP6112156B2 (ja) | 行動分析装置及び行動分析プログラム | |
| JP2019083532A (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| JP6607610B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| WO2016135816A1 (ja) | 情報システム | |
| US20220292565A1 (en) | Processing device, and processing method | |
| JP2016219990A (ja) | 位置推定システム、位置推定方法及びプログラム | |
| JP2019204427A (ja) | サーバ装置、及びプログラム | |
| WO2023007730A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、及び記録媒体 | |
| JP7318696B2 (ja) | 個体識別装置、個体識別方法及びプログラム | |
| WO2016038902A1 (ja) | 行動分析装置、行動分析方法、行動分析プログラム、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15767764 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2016510586 Country of ref document: JP Kind code of ref document: A |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 15129299 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15767764 Country of ref document: EP Kind code of ref document: A1 |