WO2019107157A1 - 棚割情報生成装置及び棚割情報生成プログラム - Google Patents

棚割情報生成装置及び棚割情報生成プログラム Download PDF

Info

Publication number
WO2019107157A1
WO2019107157A1 PCT/JP2018/042173 JP2018042173W WO2019107157A1 WO 2019107157 A1 WO2019107157 A1 WO 2019107157A1 JP 2018042173 W JP2018042173 W JP 2018042173W WO 2019107157 A1 WO2019107157 A1 WO 2019107157A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
image
shelf
area image
information
Prior art date
Application number
PCT/JP2018/042173
Other languages
English (en)
French (fr)
Inventor
隼 赤塚
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2019557138A priority Critical patent/JP7191851B2/ja
Priority to US16/767,393 priority patent/US20200394599A1/en
Publication of WO2019107157A1 publication Critical patent/WO2019107157A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a shelf allocation information generating device and a storage allocation information generating program.
  • shelf allocation information which is information on goods arranged in each shelf.
  • a technology for generating shelf allocation information indicating a product display state based on a product recognized from an image including a product shelf and information on a designated position of the product see, for example, Patent Document 1).
  • the present invention has been made in view of the above problems, and in the generation of shelf allocation information which is arrangement information of products arranged in a product shelf, image recognition for an image of a product included in an image of the product shelf is performed. It is an object of the present invention to provide a shelf allocation information generation device and a storage allocation information generation program capable of easily improving the accuracy of product recognition by the above, and confirming and correcting the recognition result.
  • a shelf allocation information generation device concerning one form of the present invention is a shelf allocation information generation device which generates shelf allocation information which is arrangement information on goods arranged on a product shelf, and is plural.
  • An image acquisition unit for acquiring an image obtained by imaging a product shelf on which products are arranged, a detection unit for detecting a product area image representing an item from the image acquired by the image acquisition unit, and an image of the product stored in advance
  • a product recognition unit that recognizes a product represented by the product area image detected by the detection unit on the basis of information related to the first product, and a first product recognized as a product represented by one product area image;
  • the first commodity area image is firstly identified based on the relevance information indicating the association with the one or more second commodities respectively recognized as the commodity represented by the one or more other commodity area images other than the commodity area image.
  • a correction unit that corrects a first product recognized as a product represented by a product region image by the product recognition unit based on the determination unit that determines the validity of the item and the information on the validity determined by the determination unit And.
  • the shelving allocation information generation program is a shelving allocation information for causing the computer to function as a shelving allocation information generation device that generates shelving allocation information that is arrangement information of products arranged in product shelves.
  • An image acquisition function for acquiring an image obtained by imaging a product shelf on which a plurality of products are arranged, and a product area image representing the product from the image acquired by the image acquisition function.
  • a product recognition function of recognizing a product represented by the product area image detected by the detection function based on information related to the image of the product stored in advance, and a product area image of one
  • the first commodity recognized as the commodity to be represented and the commodity represented by one or more other commodity region images other than the one commodity region image are respectively recognized.
  • a determination function that determines the appropriateness of recognition of the one product area image as the first product based on relevance information indicating a relationship with one or more second products;
  • the correction function of correcting the first product recognized as the product represented by the one product area image by the product recognition function is realized based on the information on the validity.
  • the same goods and goods of the same category, manufacturer and series / brand are characterized in that they are arranged adjacent or close to each other. That is, one item placed on the item shelf has an association with another item adjacent to the item and another item placed within a certain distance from the item.
  • the commodity area image is detected from the image of the commodity shelf, the commodity represented by each commodity region image is recognized, and the first commodity recognized as the commodity represented by one commodity region image
  • the relevance of the recognition of one commodity area image as the first commodity is determined based on the association information with the second commodity recognized as the commodity represented by the other commodity region image.
  • the first item recognized as the item represented by the one item area image is corrected based on the information on the determined validity. Thereby, the recognition result of the product with respect to the product area image is easily corrected, and the accuracy of the recognition can be improved.
  • shelving allocation information which is arrangement information of goods arranged in the goods rack
  • FIG. 1 is a diagram showing a functional configuration of a shelving information generation system 1 including the shelving allocation information generating device 10 according to the present embodiment.
  • the shelf allocation information generating apparatus 10 is an apparatus for generating shelf allocation information which is arrangement information of products arranged in a product shelf, and for easily confirming and correcting a recognition result of an image of a product in a product shelf. Includes configuration.
  • the shelving allocation information generation system 1 includes a shelving allocation information generation device 10, an imaging / display device 20, a product data storage unit 30, a learning model storage unit 40, and a recognition result storage unit 50.
  • the shelving allocation information generation system 1 may be configured as one device, or the shelving allocation information generation device 10, the imaging / display device 20, the product data storage unit 30, the learning model storage unit 40, and the recognition result storage unit 50.
  • One or more of them may constitute one device.
  • the imaging / display device 20 may be configured as one terminal
  • the shelf allocation information generation device 10, the product data storage unit 30, the learning model storage unit 40, and the recognition result storage unit 50 may be configured by a server.
  • the shelf allocation information generation device 10 and the imaging / display device 20 may be configured as one terminal.
  • Each storage unit of the product data storage unit 30, the learning model storage unit 40, and the recognition result storage unit 50 may be configured by any type of device as long as it is configured to be accessible from the shelving information generation device 10.
  • the imaging / display device 20 When the imaging / display device 20 is configured as one terminal, the photographer refers to the display screen while photographing the product shelf, and checks whether there is an error in the shelving information generated through image recognition. I can do it. Further, in the example of the terminal configured only by the display (display device) 22, an operation is considered in which an operator or the like confirms and corrects the shelving allocation information generated by image recognition in an office or the like instead of an actual store.
  • the terminal constituting the imaging / display device 20 or the terminals constituting the shelving allocation information generating apparatus 10 and the imaging / display device 20 is, for example, a mobile phone such as a high-performance mobile phone (smart phone) or a mobile phone. It is configured as a terminal.
  • the shelving information generation apparatus 10 functionally includes an image acquisition unit 11, a detection unit 12, a commodity recognition unit 13, a shelving analysis unit 14, a judgment unit 15, a display unit 16, and a correction unit. 17 and a generation unit 18.
  • the imaging / display device 20 also includes a camera 21 as an imaging device and a display 22 as a display device. Each of these functional units will be described in detail later.
  • each functional block may be realized by one physically and / or logically coupled device, or directly and / or indirectly two or more physically and / or logically separated devices. It may be connected by (for example, wired and / or wireless) and realized by the plurality of devices.
  • the shelving allocation information generating apparatus 10 may function as a computer.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the shelving allocation information generating apparatus 10 according to the present embodiment.
  • the shelf allocation information generating apparatus 10 may be physically configured as a computer apparatus including a processor 1001, a memory 1002, a storage 1003, a communication apparatus 1004, an input apparatus 1005, an output apparatus 1006, a bus 1007 and the like.
  • the term "device” can be read as a circuit, a device, a unit, or the like.
  • the hardware configuration of the shelving allocation information generating device 10 may be configured to include one or more of the devices illustrated in FIG. 2 or may be configured without including some devices.
  • Each function in the shelving allocation information generating apparatus 10 performs a calculation by causing the processor 1001 to perform an operation by reading predetermined software (program) on hardware such as the processor 1001, the memory 1002, and the like. And by controlling the reading and / or writing of data in the storage 1003.
  • the processor 1001 operates, for example, an operating system to control the entire computer.
  • the processor 1001 may be configured by a central processing unit (CPU: Central Processing Unit) including an interface with a peripheral device, a control device, an arithmetic device, a register, and the like.
  • the processor 1001 may also be configured to include a GPU (Graphics Processing Unit).
  • the functional units 11 to 18 and the like illustrated in FIG. 1 may be realized by the processor 1001.
  • the processor 1001 reads a program (program code), a software module or data from the storage 1003 and / or the communication device 1004 to the memory 1002, and executes various processing according to these.
  • a program a program that causes a computer to execute at least a part of the operations described in the above embodiments is used.
  • the functional units 11 to 13 of the shelving allocation information generating apparatus 10 may be realized by a control program stored in the memory 1002 and operated by the processor 1001.
  • the various processes described above have been described to be executed by one processor 1001, but may be executed simultaneously or sequentially by two or more processors 1001.
  • the processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from the network via a telecommunication line.
  • the memory 1002 is a computer readable recording medium, and includes, for example, at least one of a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). It may be done.
  • the memory 1002 may be called a register, a cache, a main memory (main storage device) or the like.
  • the memory 1002 can store a program (program code), a software module, and the like that can be executed to implement the storage allocation information generation method according to the embodiment of the present invention.
  • the storage 1003 is a computer readable recording medium, and for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disc drive, a flexible disc, a magneto-optical disc (eg, a compact disc, a digital versatile disc, a Blu-ray A (registered trademark) disk, a smart card, a flash memory (for example, a card, a stick, a key drive), a floppy (registered trademark) disk, a magnetic strip, and the like may be used.
  • the storage 1003 may be called an auxiliary storage device.
  • the above-mentioned storage medium may be, for example, a database including the memory 1002 and / or the storage 1003, a server or any other suitable medium.
  • the communication device 1004 is hardware (transmission / reception device) for performing communication between computers via a wired and / or wireless network, and is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, and the like) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that performs output to the outside.
  • the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
  • bus 1007 for communicating information.
  • the bus 1007 may be configured by a single bus or may be configured by different buses among the devices.
  • shelf allocation information generation device 10 may be hardware such as a microprocessor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a programmable logic device (PLD), and a field programmable gate array (FPGA). And all or part of each functional block may be realized by the hardware.
  • processor 1001 may be implemented in at least one of these hardware.
  • FIG. 3 is a diagram illustrating an example of the image PM0 of the product shelf acquired by the image acquisition unit 11. Specifically, when the product shelf is imaged by the camera 21, the image acquisition unit 11 acquires an image captured by the camera 21 as an image of the product shelf. As shown in FIG. 3, the image PM0 of the product shelf includes a product shelf and a plurality of products arranged in each shelf.
  • the product shelf and the products arranged in the product shelf have the characteristics as described below, as exemplified in FIG. That is, the same goods have the characteristic of being arranged adjacent or close. In particular, in large-scale shops and the like, since a plurality of products are arranged for each product, this characteristic appears notably. On the contrary, in small and medium-sized shops and the like, one product is often arranged for each product, and this characteristic is less likely to appear.
  • the quantity of placed products for each product is represented by the phrase face. That is, in a large store having a sufficient display space, the number of faces of the same product is large, and in a small store, the number of faces of the same product is small.
  • the products belonging to the same series and the products belonging to the same brand have the characteristic of being arranged in close positions. Further, the products belonging to the same maker and the products belonging to the same category have characteristics such as being arranged at a close position in the product shelf or arranged in the same product shelf.
  • the shelving allocation information generating apparatus 10 considers the validity of the recognition result of the product relating to one product area image in consideration of the product shelf and the product to be arranged having the above characteristics. It judges using the recognition result of the goods regarding the other goods area
  • the detection unit 12 detects a product area image representing a product from the image of the product shelf acquired by the image acquisition unit 11. Specifically, the detection unit 12 recognizes each object extracted by using a known method such as edge detection on the image of the product shelf as a product area image representing a product. Further, the detection unit 12 learns in advance the shape of the product for each product by a known method such as deep learning, and detects the product area image representing the product from the image of the product shelf using the learned data Do. The shape data of the product learned in advance may be stored in the learning model storage unit 40. The learning model storage unit 40 will be described in detail later.
  • the method used to detect the product area image from the image of the product shelf is not limited to the above example, and any method may be used as long as each product area image can be detected.
  • FIG. 4 is a diagram showing detection of a commodity area image from the image PM1 of the commodity shelf.
  • the detection unit 12 detects a plurality of product area images each representing a product from the image PM1 of the product shelf, and the detected product area image is a frame corresponding to the outer edge of each product area image A line is attached.
  • the commodity recognition unit 13 recognizes the commodity represented by the commodity region image detected by the detection unit 12 based on the information regarding the image of the commodity stored in advance.
  • information on an image of a product used for product recognition is stored in the product data storage unit 30.
  • FIG. 5 is a view schematically showing an example of the product image data 31 stored in the product data storage unit 30.
  • the product image data 31 stores a plurality of product image data mb1 to mb8 representing the appearance of the product in association with the product ID for identifying the product.
  • Each of the product image data mb1 to mb8 represents the appearance of various directions of the product identified by the product ID: X.
  • the product image data stored in the product data storage unit 30 is not limited to the example shown in FIG. 5, and the product data storage unit 30 may have one product image data for each product ID.
  • the image data representing the appearance when the product is gradually rotated in the vertical direction is also included Good.
  • the product data storage unit 30 is a product image data of one representing the appearance of the front of the product, one product image data of the one representing the appearance of the back of the product, and a plurality of images Any of the product image data may be associated and included for each product ID, or a combination of those product image data may be associated and included for each product ID.
  • the commodity recognition unit 13 matches the commodity image data mb stored in the commodity data storage unit 30 with each commodity region image detected by the detection unit 12 using a well-known collation technique. It is possible to recognize the goods to be represented. Moreover, recognition of goods is not limited to said collation technique etc., Any method may be used. For example, the commodity recognition unit 13 may learn the appearance of various commodities in advance by a technique such as deep learning, and may recognize the commodity represented by each commodity region image.
  • the product data storage unit 30 stores a product master 32 including various attributes of products.
  • FIG. 6 is a diagram showing the configuration of the product master 32. As shown in FIG. As shown in FIG. 6, the product master 32 stores the product name, size, series / brand, maker, category and the like of the product in association with the product ID identifying the product. In addition, the attribute of the goods linked
  • the commodity recognition unit 13 stores the recognition result of the commodity for each commodity region image in the recognition result storage unit 50.
  • the recognition result storage unit 50 is a storage unit that associates and stores a product area image and a product recognized for the product area image.
  • Shelf assignment analysis unit 14 is shelf assignment data which is information on the arrangement of the product on each shelf of the product shelf based on the recognition result of the product by the product recognition unit 13 and the positional relationship of the product area image in the product shelf image.
  • the shelf allocation analyzing unit 14 recognizes the position of the shelf board from the image of the product shelf. Since the product is arranged on the shelf board, for example, the shelf fraction analysis unit 14 acquires the distribution of pixels representing the product area image for each coordinate of the coordinate axis extending in the vertical direction of the product shelf image, and the pixel distribution The coordinate value for which the value is smaller than a predetermined value, the area near the local minimum point of the pixel distribution, and the like are acquired as the position of the shelf plate in the vertical direction.
  • the shelf allocation analysis unit 14 learns in advance the image of the shelf board, the image of the price tag attached to the shelf board, etc. in addition to the image representing the product, using known matching techniques, deep learning, etc. , You may obtain the position of the shelf board.
  • the shelf allocation analysis unit 14 determines the positional relationship between the position of the shelf board acquired from the image of the product shelf and the position of the product area image detected by the detection unit, and the product area image recognized by the product recognition unit 13
  • the shelf allocation data is acquired based on the product information represented by.
  • FIG. 7 is a view showing an example of the shelf allocation data acquired by the shelf allocation analyzing unit 14.
  • the shelf allocation data includes information such as a machine number, a tray number, a shelf position, a product ID, the number of faces, and the number of stacks in association with each other.
  • the machine number is information for identifying a product shelf.
  • the tray number is information for specifying a shelf board in a product shelf, and for example, the number is assigned from the bottom to the top.
  • the shelf position is information for specifying the lateral position of one shelf board, and for example, numbers are assigned from the left side to the right side in the product shelf image.
  • the product ID is information for identifying a product.
  • the number of faces is the number of similar goods arranged.
  • the number of stacks is the number of similar goods stacked at a certain position on the shelf board.
  • the determination unit 15 is recognized as a first product recognized as a product represented by one product area image and as a product represented by one or more other product area images other than the one product area image Based on the relevancy information indicating the association with the one or more second products, the validity of the recognition of one product area image as the first product is determined.
  • FIG. 8 is a diagram for explaining an example of acquisition of relevance information related to one commodity region image.
  • the image PM2 of the product shelf includes product region images mp11 to mp17 of products arranged at each shelf position 1 to 7 in a certain shelf.
  • the symbol md indicates information of the attribute of the commodity recognized for each of the commodity region images mp11 to mp17 of the commodity arranged at the shelf positions 1 to 7.
  • a product recognized with respect to a product area image of a product arranged at the shelf position 1 has attributes of product name: N11, series / brand: B1, and manufacturer C1.
  • the determination unit 15 sets a product (first product) recognized as a product represented by the product area image mp13 and a product area image mp13 based on the attribute information of each product indicated by the code md. Relevancy information me indicating the association with a product (second product) recognized as a product represented by the adjacent product region images mp12 and mp14 is acquired.
  • data indicating the product name, series / brand and manufacturer difference between the products at the shelf positions 2, 3 and 4 (different: 0, same: 1) Include as an element.
  • the determination unit 15 generates the relevance information me with “0, 1, 1” as data indicating the difference between them.
  • the judgment unit 15 generates relevance information me with data indicating the difference between them as “1, 1, 1”. Further, among the products recognized as the products represented by the product area image mp13 of the shelf position 3 and the product area image mp14 of the shelf position 4, the product names are different and the series / brand and the manufacturer are the same. The unit 15 generates the relevance information me in which data indicating the difference between them is “0, 1, 1”.
  • the difference between the product name and the attribute of the manufacturer, etc. is expressed as a binary value of 1 or 2, but this is merely an example. It may be represented by a numerical value in the range of 1 to 1, or may be represented by another numerical range.
  • Another commodity area image focused to generate relevance information on one commodity area image may include a commodity area image within a predetermined distance from the commodity area image on the commodity shelf image.
  • FIG. 9 is a diagram for explaining another example of acquisition of relevance information related to one commodity region image.
  • the determination unit 15 selects the product area image included in the range cr1 within a predetermined distance from the product area image mp13. Relevance information may be generated paying attention to it. In addition, the determination unit 15 may generate the relevance information by focusing on the commodity area image included in the range cr2 within a distance further from the commodity area image mp13. The distance from one product area image to another product area image may be counted by the number of pixels in the image of the product shelf, or when the shelf allocation data is obtained, it is counted by the number of faces. You may do it.
  • the determination unit 15 generates a feature amount related to one product region image based on the relevancy information, and determines validity of a recognition result of a product related to one product region image based on the generated feature amount.
  • FIG. 10 is a diagram showing processing of feature amount generation and validity determination by the determination unit 15.
  • the feature shown in the equation (1) is an example of using the validity determiner by the linear learning device for determining the validity
  • the feature information and the relevance information used for generating the feature are the examples. It is not limited to.
  • the above feature amount is merely an example, and is represented by a commodity recognized as a commodity represented by one commodity region image and a commodity region image adjacent to, adjacent to, or within a predetermined distance from one commodity region image It may be any information that reflects the relevancy to a product recognized as a product and is a format suitable for use by a predetermined learning device and determination device.
  • the learning device and the determining device are not limited to the linear learning device, and may adopt known techniques such as non-linear learning, SVM, neural network and the like.
  • the determination unit 15 inputs the generated feature amount ie1 into the validity determination unit CM1, and determines the determination result r1 (relevancy score) of the validity of recognition of a product related to one product region image. obtain.
  • the validity determination unit CM1 is a machine-learned determination unit regarding determination of validity based on a predetermined feature amount.
  • the feature amount ie1 is set as the feature vector x in which the number of features is a term number.
  • the sex score y is calculated by the following equation (2).
  • the elements of the feature vector x are expressed as follows based on the feature quantity ie1.
  • the vector w is for weighting the feature amount, and is a vector obtained by machine learning in advance for validity determination based on the feature amount.
  • the validity determiner CM1 for the ie1 is configured by machine learning based on the feature amount generated focusing on the relevancy between the product region image related to the determination of the validity and the product region image adjacent to the right and left thereof.
  • the commodity region image to be focused on is not limited to those adjacent to the left and right of one commodity region image, and therefore the validity provided for determination of validity.
  • the determiner is configured by machine learning according to the product area image to be focused on when generating the relevance information.
  • FIG. 11 is a diagram illustrating another example of processing of feature amount generation and validity determination by the determination unit 15.
  • the determination unit 15 when determining the appropriateness of recognition of a product related to one product region image mp13, the relevance generated for the two product region images mp14 and mp15 arranged on the right side of the product region image mp13 Use information.
  • the determination unit 15 generates relevance information indicating the relevance between the product recognized for the product area image mp13 and the product recognized for the product area images mp14 and mp15, and the generated relevance information
  • the feature amount ie2 is generated based on.
  • the validity determination unit CM2 used here is different from the validity determination unit CM1 shown in FIG. That is, the validity determination unit CM2 is configured by machine learning based on the feature amount generated focusing on the relationship between the product region image related to the determination of the validity and the two product region images arranged on the right side thereof. Be done. Then, the determining unit 15 inputs the feature amount ie2 to the validity determining unit CM2, and obtains the determination result r2 (validity score) of the validity of the recognition of the product related to one product region image mp13.
  • FIG. 12 is a diagram illustrating another example of processing of feature amount generation and validity determination by the determination unit 15.
  • the relatedness information generated for the two product area images mp11, mp12, mp14, and mp15 arranged on the left and right sides of the area image mp13 is used.
  • the determination unit 15 generates and generates relevance information indicating the association between the product recognized for the product area image mp13 and the product recognized for the product area images mp11, mp12, mp14, and mp15.
  • the feature amount ie3 is generated based on the relevance information. Then, the determining unit 15 inputs the feature amount ie2 to the validity determining unit CM3, and obtains the determination result r3 (validity score) of the validity of the recognition of the product related to one product region image mp13.
  • the validity determination unit CM3 performs machine learning based on feature amounts generated by focusing on the relevancy between the product region image related to the determination of the validity and the two product region images arranged on both left and right sides thereof. It consists of
  • the determination unit 15 generates a feature amount ie4 having the determination results r1 to r3 output from the plurality of validity determination units CM1 to CM3 as features, and inputs the generated feature amount ie4 to the validity determination unit CM4. It is also possible to obtain the determination result r4 and determine the appropriateness of the recognition of the product related to the product area image mp13.
  • the validity determination unit CM4 used here is configured based on machine learning in which the result (relevancy score) of the three predetermined types of validity determinations on the product region image related to the validity determination is used as a feature amount. It is.
  • the validity determiner may be configured by a known technique such as a neural network.
  • the learning model storage unit 40 shown in FIG. 1 is a storage means for storing a learning model which is a result of machine learning in the validity judgment unit CM shown in FIGS. With reference to the model storage unit 40, an appropriate learning model corresponding to the configuration of the feature amount is acquired to calculate a validity score.
  • the display unit 16 displays information on the validity determined by the determination unit 15. Specifically, the display unit 16 causes the display 22 to display information on the validity of the recognition of the product for the product area image.
  • the display unit 16 is not an essential component of the shelving information creation device 10 of the present embodiment.
  • FIG. 13 is a diagram showing an example of display of information on relevance.
  • the display unit 16 associates the information related to the validity with the one product area image, Display the form.
  • the display unit 16 causes the display 22 to display the image PM4 of the product shelf and causes the display 22 to display information UI1 regarding the recognition result of the product with respect to the product area image and the recognition validity.
  • the information UI1 includes, for example, recognition results mr1 to mr7 for a part of the product area image of the fourth row (upper row) of the product shelf.
  • the recognition results mr1 to mr7 include, for example, a trade name and a maker that are part of the attribute of the recognized merchandise, and have, for example, a balloon shape, and are respectively associated with the merchandise area image.
  • the example shown in FIG. 13 shows the case where the validity (for example, the validity score) of the recognition of the product with respect to the product region image mp21 is less than a predetermined degree.
  • the display unit 16 displays the product recognition result mr4 for the product area image mp21 in association with the product area image mp21.
  • the product area image mp21 represents a product having a product name: N21 and a manufacturer: C2.
  • the product recognition unit 13 recognizes that the product represented by the product area image mp21 is a product having a product name: N22 and a manufacturer: C2.
  • the display unit 16 displays the recognition result mr4 in a mode in which the recognition result is emphasized by adding a color or the like. As a result, it is possible to cause the user to recognize a product area image with low relevance of the product recognition result.
  • FIG. 14 is a diagram showing another example of display of the information on relevance.
  • the display unit 16 causes the display 22 to display the image PM5 of the product shelf and causes the display 22 to display information UI2 about the recognition result of the product with respect to the product area image and the recognition validity.
  • the display unit 16 is recognized with respect to each product area image by touching the product area image represented in the image PM5 of the product shelf with the finger F of the user.
  • Item information (in the example of FIG. 14, an appearance image of the item) is displayed in association with each item area image.
  • the user can compare the recognition result of each product area image with the product area image, thereby facilitating confirmation and correction of the product recognition result.
  • the display unit 16 has an appearance showing the recognition result of the product for the product area image mp31 as shown in the information UI2.
  • the image is displayed in a highlighted manner by coloring or the like. As a result, it is possible to cause the user to recognize a product area image with low relevance of the product recognition result.
  • FIG. 15 is a diagram showing another example of display of the information on relevance.
  • the display unit 16 causes the display 22 to display the image PM6 of the product shelf and causes the display 22 to display information UI3 regarding the recognition result of the product with respect to the product area image and the recognition validity.
  • the commodity recognition unit 13 recognizes a plurality of commodity candidates represented by the one commodity region image for one commodity region image. For example, as shown in FIG. 15, the product recognition unit 13 sequentially arranges three products (product names: C21, C22, C33) in the order of one product area image mp41 in descending order of the score indicating the certainty of product recognition. Output as recognition result.
  • the score indicating the certainty of the image recognition is higher in the order of the product of the product name C22, the product of the product name C33, and the product of the product name C21.
  • the determination unit 15 determines the validity of the recognition for each of the plurality of products output as the recognition result of the one product region image by the product recognition unit 13. Then, the display unit 16 displays information on at least one product candidate among the plurality of product candidates and information on the validity thereof in association with one product region image.
  • the display unit 16 may sort and display information on a plurality of products recognized by the product recognition unit 13 in the descending order of the validity of the recognition result of the products.
  • the relevance of the recognition result of the product is higher in the order of the product of the product name C21, the product of the product name C22, and the product of the product name C33.
  • the display unit 16 sequentially arranges the product information mr31 of the product name C21, the product information mr32 of the product name C22, and the product information mr33 of the product name C33 in descending order of relevance of the product recognition result. It is displayed as information on the validity of the product recognition regarding the product area image mp41.
  • each of the product information mr31 to mr32 includes a check box.
  • the product recognition unit 13 recognizes the checked product as a recognition result of the product area image mp41. It can be stored in 50. This makes it easy to confirm and correct the recognition result of the product related to one product area image.
  • the display unit 16 is determined by the determination unit 15 among the plurality of product candidates recognized by the product recognition unit 13 instead of displaying the information of the plurality of products as shown in FIG. It is also possible to display only the product candidate having the highest relevance of the product recognition result as the product area image recognition result in association with one product area image. As a result, the recognition result of the product related to one product area image can be easily corrected.
  • the display unit 16 displays a product area image adjacent to the one product area image in the image of the product shelf when the recognition validity of the product recognized for one product area image is less than a predetermined degree.
  • the product recognized for the item may be displayed as a candidate for a product represented by one product area image.
  • the product recognition unit 13 recognizes a product related to one product area image, and recognizes a product related to a product area image adjacent to one product area image. Then, the determination unit 15 determines the validity of the assumed recognition on the assumption that the commodity recognized with respect to the adjacent commodity region image is the commodity recognized with respect to one commodity region image. Then, the display unit 16 may display the information of the commodity recognized with respect to the adjacent commodity region image as the commodity candidate represented by one commodity region image together with the information on the validity.
  • the recognition validity of a product recognized with respect to one product region image is less than a predetermined degree
  • the product represented by the one product region image is included in the recognition result of the one product region image. If not, it is possible to present the user with a candidate for a product that may be a product represented by one product region image.
  • the correction unit 17 corrects the first commodity recognized as the commodity represented by one commodity area image by the commodity recognition unit 13 based on the information on the validity determined by the determination unit 15.
  • the correction unit 17 when it is determined by the determination unit 15 that a product other than the first product recognized by the product recognition unit 13 has the highest relevance as the recognition result of one product region image, the correction unit 17 The present invention corrects the recognition result of the product represented by one product area image to the product determined to be the most appropriate. Specifically, for example, the commodity recognition unit 13 recognizes a plurality of commodity candidates represented by the commodity region image of one with respect to the commodity region image of one, and the judgment unit 15 decides the commodity region image of one commodity The correction unit 17 determines the recognition result of the product represented by one product region image in the product with the highest recognition validity when the recognition validity is determined for each of a plurality of products output as the recognition result of Correct the
  • the correction unit 17 may correct the recognition result of the product represented by the one product region image to the input product.
  • the generation unit 18 generates shelf allocation information which is array information of the products arranged in the product shelf. Specifically, the generation unit 18 determines the positional relationship between the position of the shelf board acquired from the image of the product shelf and the position of the product area image detected by the detection unit, and the product area recognized by the product recognition unit 13 Shelf allocation information is generated based on the information of the product represented by the image. An example of the shelf allocation information is shown in FIG. In the present embodiment, the generation unit 18 generates the shelf allocation information in which the correction of the recognition result of the product area image by the correction unit 17 is reflected. The generation unit 18 can output the generated shelf allocation information to a predetermined storage unit. Further, the generation unit 18 may display the generated shelf allocation information on the display 22.
  • the determination unit 15 may determine the validity by further referring to the color information indicating the difference between the information on the color of one product area image and the information on the color of the other product area image. That is, the determination unit 15 can determine validity by further using the color information as the relevance information.
  • the determination unit 15 generates a color histogram of one product area image and a color histogram of another product area image (a product area image adjacent to or close to one product area image).
  • the similarity of the color histogram is calculated.
  • the similarity is realized by, for example, calculation of so-called cosine distance or the like, but the calculation method is not limited, and any known method can be used.
  • the determination unit 15 can further use the similarity of the color histogram as the feature amount to determine the appropriateness of the recognition of the product of the one product region image by the validity determiner.
  • the validity determiner used in this case is obtained by machine learning using the similarity of the color histogram as a feature. Further, the similarity of color histograms among other commodity region images may be used as a feature amount. In the generation of the color histogram, appropriate color reduction processing may be performed in accordance with conditions such as processing load.
  • the determination unit 15 may determine the validity by further referring to information on the distance between one product area image and another product area image in the product shelf image. That is, the determination unit 15 can determine validity by further using information on the distance between one product area image and another product area image as the relativity information. Specifically, the determination unit 15 calculates the distance between one product area image and another product area image (a product area image adjacent to or close to one product area image, etc.).
  • the distance between the product area images may be, for example, the number of pixels in the product shelf image or may be represented by the number of faces.
  • the determination unit 15 can further determine the validity of the recognition of the product of the one product area image by the validity determination device, further using the distance between the one product area image and the other product area image as the feature amount.
  • the validity determiner used in this case is obtained by machine learning using the distance between product region images as a feature.
  • the distance between other commodity region images may be used as a feature amount.
  • the determination unit 15 can use the recognition score, which is output by the product recognition unit 13, indicating the accuracy of the recognition of the product for the product area image for the determination of the validity. That is, the determination unit 15 may determine the validity by further referring to the recognition score related to the recognition of the product with respect to one product region image and the other product region image as the relevance information. Specifically, the determination unit 15 acquires a recognition score regarding each of the one product area image and the other product area image (a product area image adjacent to or close to the one product area image). Then, the determination unit 15 can further determine the validity of the recognition of the product of the one product area image by the validity determination unit, further using the recognition score related to each product area image as the feature amount. The validity determiner used in this case is obtained by machine learning using the recognition score for the product area image as the feature quantity.
  • FIG. 10 is a flowchart showing the processing contents of the shelving information creation method of this embodiment.
  • step S ⁇ b> 1 the image acquisition unit 11 acquires an image of a product shelf in which a plurality of products are arrayed and captured by the camera 21.
  • the detection unit 12 detects a product area image representing a product from the image of the product shelf acquired by the image acquisition unit 11 in step S1.
  • step S3 the commodity recognition unit 13 recognizes the commodity represented by each commodity area image detected by the detection unit 12 in step S2 based on the information on the image of the commodity stored in advance.
  • step S4 the shelf allocation analyzing unit 14 arranges the products on each shelf of the product shelf based on the recognition result of the product by the product recognition unit 13 in step S3 and the positional relationship of the product area image in the product shelf image.
  • shelf allocation data which is information on The process of step S4 is not an essential process in the shelving information generation method of this embodiment.
  • step S5 the determination unit 15 selects one product area image among the plurality of product area images recognized in step S3.
  • step S6 the validity of the recognition of the product represented by the one product area image is determined.
  • step S7 the display unit 16 causes the display 22 to display the information related to the validity of the recognition of the product regarding the one product area image determined by the determination unit 15 in the step S6 in association with the one product area image.
  • the process of step S7 is not an essential process in the shelving information generation method of this embodiment.
  • step S8 the correction unit 17 corrects the product recognized as the product represented by the one product area image by the product recognition unit 13 in step S3 based on the information on the validity determined by the determination unit 15 in step S6. Do.
  • step S9 the determination unit 15 determines whether the determination of the validity of the recognition of the products of all the product region images has been performed. If it is determined that the determination of the appropriateness of all the product area images has been performed, the process proceeds to step S10. On the other hand, when it is not determined that the determination of the appropriateness of all the product area images has been performed, the processes of steps S5 to S8 are repeated. In the shelving allocation information generation method of the present embodiment, it is not essential that the determination of the appropriateness of all the product area images and the correction of the recognized products be performed, and the step S5 for a part of the product area images When the processing of S8 is completed, the processing procedure may be advanced to step S10.
  • step S10 the generation unit 18 generates the shelf allocation information. Specifically, the generation unit 18 generates the shelf allocation information in which the correction of the recognized product in step S8 is reflected.
  • FIG. 17 is a diagram showing the configuration of the shelving allocation information generation program P1.
  • the shelving allocation information generation program P1 is a main module m10 that comprehensively controls shelving allocation information generation processing in the shelving allocation information generation device 10, an image acquisition module m11, a detection module m12, a commodity recognition module m13, a shelving allocation analysis module m14, A determination module m15, a display module m16, a correction module m17, and a generation module m18 are provided.
  • Each function for 18 is realized.
  • the shelving information generation program P1 may be transmitted via a transmission medium such as a communication line, or may be stored on the recording medium M1 as shown in FIG. Good.
  • one commodity placed on the commodity shelf is another commodity adjacent to the one commodity and the other commodity
  • the commodity area image is detected from the image of the commodity shelf and represented by each commodity area image in view of the property of having relevance with other commodities arranged within a certain distance from the one commodity.
  • Based on the association information between a first item recognized as an item whose item is recognized and represented by one item area image and a second item recognized as an item represented by another item area image The validity of recognition of one commodity region image as a first commodity is determined.
  • the first item recognized as the item represented by the one item area image is corrected based on the information on the determined validity. Thereby, the recognition result of the product with respect to the product area image is easily corrected, and the accuracy of the recognition can be improved.
  • the other commodity region image may include a commodity region image adjacent to one commodity region image in the commodity shelf image.
  • Adjacent items in the item shelf tend to have a strong relationship with one another in their attributes and the like.
  • the information indicating the relationship between the product represented by the one product area image and the product represented by the product area image adjacent to the one product area image is included in the relevance information. The determination accuracy of the appropriateness of the recognition of the product with respect to the product area image of.
  • the other product area image may include a product area image within a predetermined distance from the one product area image in the image of the product shelf.
  • the relevance information includes information indicating the relationship between the product represented by one product area image and the product represented by the product area image within a predetermined distance from the one product area image. Therefore, the appropriateness of the recognition of the product with respect to one product region image is suitably determined.
  • the arrangement of the goods on each shelf of the goods shelf is based on the recognition result of the goods by the goods recognition unit and the positional relationship of the goods area image in the goods shelf image.
  • the product further includes a shelf allocation analysis unit for acquiring information, and the other product area image is a product area having a predetermined positional relationship with one product area image of the product area images of the products arranged on each shelf of the product shelf It may be an image.
  • the product represented by one product area image and the product area image having a predetermined positional relationship with the one product area image are displayed. Since the information indicating the association with the product to be sold is included in the relevancy information, it is possible to appropriately determine the appropriateness of the recognition of the product with respect to one commodity area image.
  • the relevance information may be information indicating the degree of coincidence between the attribute of the first product and the attribute of the second product.
  • the degree of coincidence between the attribute of the first product and the attribute of the second product is adopted as the relevancy information, whereby the first product and the second product Relationship is properly represented.
  • the shelving information generation apparatus may further include a display unit that displays information related to the validity determined by the determination unit.
  • the user can easily confirm and correct the recognition result of the product related to the one product region image by referring to the displayed information on the validity.
  • the display unit displays information on the validity when the recognition validity of the one product area image determined by the determination unit is less than a predetermined degree, It may be displayed in a predetermined manner in association with the one commodity area image.
  • the product recognition unit recognizes a plurality of product candidates represented by the one product region image with respect to one product region image
  • the determination unit is configured to The validity in the case of recognizing each of the product candidates as the first product is determined, and the display unit displays information on the validity of at least one product candidate among the plurality of product candidates and the validity of the candidate It may be displayed in association with the product area image.
  • the display unit is configured to use one commodity region image when the validity of the recognition of the one commodity region image determined by the determination unit is less than a predetermined degree.
  • the second product may be displayed as a candidate for the product to be represented.
  • the product in view of the high relevance between the product represented by one product area image and the product represented by another product area image, the product is recognized as a product represented by another product area image
  • the second product to be sold is presented as a candidate for a product represented by one product region image. Therefore, since a product highly likely to be a product represented by one product area image is presented, it is easy to correct the recognition result of the product regarding the one product area image.
  • the product recognition unit recognizes a plurality of product candidates represented by the one product region image with respect to one product region image
  • the determination unit is configured to The display unit determines the validity of each of the product candidates as the first product, and the display unit determines the product candidate having the highest validity among the plurality of product candidates as the recognition result of one product region image, It may be displayed in association with one commodity area image.
  • the candidate of the most appropriate product can be presented as a product represented by one product region image, it is easy to correct the recognition result of the product regarding the one product region image.
  • the correction unit is configured to select one product area by the product recognition unit based on the correction input input by the user according to the information related to the validity displayed by the display unit.
  • the first commodity recognized as the commodity represented by the image may be corrected.
  • the result of product recognition is corrected based on the information input by the user who has recognized the information on the validity of the recognition of the product with respect to the product area image.
  • the recognition result can be corrected properly and properly.
  • the determination unit further refers to color information representing a difference between information on the color of one product area image and information on the color of another product area image. The validity may be determined.
  • the color of the one commodity area image and the other commodity are caused due to the strong relationship between the commodity represented by one commodity region image and the commodity represented by the other commodity region image.
  • the product area of one product area with further reference to the difference between the information on the color of one product area image and the information on the color of another product area image
  • the appropriateness of the recognition of the item for the image is determined. This improves the determination accuracy of the appropriateness.
  • the determination unit determines validity by further referring to information on the distance between one product area image and another product area image in the product shelf image. You may do it.
  • the product represented by one product area image and the product represented by another product area image depends on the distance between the product area images
  • the product Further referring to the information on the distance between the area images, the validity of the recognition of the goods for one goods area image is determined. This improves the determination accuracy of the appropriateness.
  • the product recognition unit outputs a recognition score indicating the accuracy of recognition of the product with respect to the product region image
  • the determination unit generates one product region image and another product region.
  • the relevance score may be determined by further referring to the recognition score relating to the recognition of the product with respect to the image.
  • the recognition score indicating the accuracy of the recognition of the product related to the product region image determines the validity of the recognition of the product related to one product region image. This improves the determination accuracy of the appropriateness.
  • Each aspect / embodiment described in the present disclosure includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA (Registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-WideBand), Bluetooth
  • the present invention may be applied to a system using (registered trademark), other appropriate systems, and / or an advanced next-generation system based on these.
  • Information and the like may be output from the upper layer (or lower layer) to the lower layer (or upper layer). Input and output may be performed via a plurality of network nodes.
  • the input / output information or the like may be stored in a specific place (for example, a memory) or may be managed by a management table. Information to be input or output may be overwritten, updated or added. The output information etc. may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be performed by a value (0 or 1) represented by one bit, may be performed by a boolean value (Boolean: true or false), or may be compared with a numerical value (for example, a predetermined value). Comparison with the value).
  • notification of predetermined information is not limited to what is explicitly performed, but is performed by implicit (for example, not notifying of the predetermined information) It is also good.
  • Software may be called software, firmware, middleware, microcode, hardware description language, or any other name, and may be instructions, instruction sets, codes, code segments, program codes, programs, subprograms, software modules. Should be interpreted broadly to mean applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, functions, etc.
  • software, instructions, etc. may be sent and received via a transmission medium.
  • software may use a wireline technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a website, server or other using wireless technology such as infrared, radio and microwave When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • wireline technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a website, server or other using wireless technology such as infrared, radio and microwave
  • data, instructions, commands, information, signals, bits, symbols, chips etc may be voltage, current, electromagnetic waves, magnetic fields or particles, optical fields or photons, or any of these May be represented by a combination of
  • system and “network” used in the present disclosure are used interchangeably.
  • information, parameters, and the like described in the present disclosure may be represented by an absolute value, may be represented by a relative value from a predetermined value, or may be represented by another corresponding information.
  • any reference to that element does not generally limit the quantity or order of those elements. These designations may be used in the present disclosure as a convenient way of distinguishing between two or more elements. Thus, reference to the first and second elements does not mean that only two elements can be taken there, or that in any way the first element must precede the second element.
  • SYMBOLS 1 shelf allocation information generation system
  • 10 Shelf allocation information production apparatus
  • 11 Image acquisition part
  • 12 Detection part
  • 13 Merchandise recognition part
  • 14 Shelf allocation analysis part
  • 15 ... Determination part
  • 16 ...

Abstract

棚割情報生成装置は、複数の商品が配列された商品棚を撮像した画像を取得する画像取得部と、商品棚の画像から商品を表す商品領域画像を検出する検出部と、予め記憶された商品の画像に関する情報に基づいて商品領域画像により表される商品を認識する商品認識部と、一の商品領域画像により表される商品として認識された第１の商品と、一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性を判定する判定部と、一の商品領域画像が表す商品として認識された第１の商品を修正する修正部とを備える。

Description

棚割情報生成装置及び棚割情報生成プログラム
　本発明は、棚割情報生成装置及び棚割情報生成プログラムに関する。
　商品棚を撮像した画像から商品を認識して、各棚に配列されている商品の情報である、いわゆる棚割情報を取得することが行われている。例えば、商品棚を含む画像から認識された商品と、商品の指定位置に関する情報に基づいて、商品陳列状態を表す棚割情報を生成する技術が知られている（例えば、特許文献１参照）。
特開２０１６－２２４８３１号公報
　しかしながら、従来の棚割情報を生成する技術においては、外観が非常に類似している同シリーズの商品やサイズが異なる商品等を画像認識によって区別して識別することが困難であること等に起因して、画像認識による単一商品の認識の精度が十分ではなかった。このため、従来技術では、棚割情報の生成において高精度に商品の配列を取得することが困難であり、商品棚に配置されている商品を正しく把握することが求められていた。
　そこで、本発明は、上記問題点に鑑みてなされたものであり、商品棚に配列された商品の配列情報である棚割情報の生成において、商品棚の画像に含まれる商品の画像に対する画像認識による商品の認識の精度の改善、認識の結果の確認及び修正を容易に行える棚割情報生成装置及び棚割情報生成プログラムを提供することを目的とする。
　上記課題を解決するために、本発明の一形態に係る棚割情報生成装置は、商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置であって、複数の商品が配列された商品棚を撮像した画像を取得する画像取得部と、画像取得部により取得された画像から、商品を表す商品領域画像を検出する検出部と、予め記憶された商品の画像に関する情報に基づいて、検出部により検出された商品領域画像により表される商品を認識する商品認識部と、一の商品領域画像により表される商品として認識された第１の商品と、一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性を判定する判定部と、判定部により判定された妥当性に関する情報に基づいて、商品認識部により一の商品領域画像が表す商品として認識された第１の商品を修正する修正部と、を備える。
　また、本発明の一形態に係る棚割情報生成プログラムは、コンピュータを、商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置として機能させるための棚割情報生成プログラムであって、前記コンピュータに、複数の商品が配列された商品棚を撮像した画像を取得する画像取得機能と、前記画像取得機能により取得された前記画像から、前記商品を表す商品領域画像を検出する検出機能と、予め記憶された商品の画像に関する情報に基づいて、前記検出機能により検出された前記商品領域画像により表される商品を認識する商品認識機能と、一の商品領域画像により表される商品として認識された第１の商品と、前記一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、前記一の商品領域画像を第１の商品として認識したことの妥当性を判定する判定機能と、前記判定機能により判定された妥当性に関する情報に基づいて、前記商品認識機能により前記一の商品領域画像が表す商品として認識された前記第１の商品を修正する修正機能と、を実現させる。
　商品棚において、同一の商品並びに同一のカテゴリ、メーカー及びシリーズ／ブランドの商品は、隣接または近接して配置されるという特性がある。即ち、商品棚に配置される一の商品は、当該一の商品に隣接する他の商品及び当該一の商品から一定の距離以内に配置された他の商品との間に関連性を有する。上記の形態によれば、商品棚の画像から商品領域画像が検出され、各商品領域画像により表される商品が認識され、一の商品領域画像により表される商品として認識された第１の商品と他の商品領域画像により表される商品として認識された第２の商品との関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性が判定される。そして、判定された妥当性に関する情報に基づいて、一の商品領域画像が表す商品として認識された第１の商品が修正される。これにより、商品領域画像に対する商品の認識結果が容易に修正され、認識の精度の改善が可能となる。
　商品棚に配列された商品の配列情報である棚割情報の生成において、商品棚の画像に含まれる商品の画像に対する画像認識による商品の認識の精度の改善、認識の結果の確認及び修正を容易に行える棚割情報生成装置及び棚割情報生成プログラムを提供することが可能となる。
本実施形態の棚割情報生成装置の機能的構成を示すブロック図である。 棚割情報生成装置のハードブロック図である。 画像取得部により取得された商品棚の画像の例を示す図である。 商品棚の画像からの商品領域画像の検出を示す図である。 商品データ記憶部に記憶されている商品画像データの例を模式的に示す図である。 商品マスタの構成を示す図である。 棚割解析部により取得された棚割データの例を示す図である。 一の商品領域画像に関する関連性情報の取得の例を説明するための図である。 一の商品領域画像に関する関連性情報の取得の他の例を説明するための図である。 判定部による特徴量の生成及び妥当性の判定の処理を示す図である。 判定部による特徴量の生成及び妥当性の判定の処理の他の例を示す図である。 判定部による特徴量の生成及び妥当性の判定の処理の他の例を示す図である。 妥当性に関する情報の表示の例を示す図である。 妥当性に関する情報の表示の他の例を示す図である。 妥当性に関する情報の表示の他の例を示す図である。 本実施形態の棚割情報生成方法の処理内容を示すフローチャートである。 棚割情報生成プログラムの構成を示す図である。
　本発明に係る棚割情報生成装置の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
　図１は、本実施形態に係る棚割情報生成装置１０を含む棚割情報生成システム１の機能的構成を示す図である。棚割情報生成装置１０は、商品棚に配列された商品の配列情報である棚割情報を生成する装置であって、商品棚の商品の画像の認識結果の確認及び修正を容易に行うための構成を含む。
　図１に示すように、棚割情報生成システム１は、棚割情報生成装置１０、撮像／表示装置２０、商品データ記憶部３０、学習モデル記憶部４０及び認識結果記憶部５０を含む。
　棚割情報生成システム１は、１つの装置として構成されてもよいし、棚割情報生成装置１０、撮像／表示装置２０、商品データ記憶部３０、学習モデル記憶部４０及び認識結果記憶部５０のうちの一つまたは複数がそれぞれ一つの装置を構成してもよい。一例としては、撮像／表示装置２０が一つの端末として構成され、棚割情報生成装置１０、商品データ記憶部３０、学習モデル記憶部４０及び認識結果記憶部５０がサーバにより構成されてもよい。また、他の一例としては、棚割情報生成装置１０及び撮像／表示装置２０が一つの端末として構成されてもよい。商品データ記憶部３０、学習モデル記憶部４０及び認識結果記憶部５０の各記憶部は、棚割情報生成装置１０からアクセス可能に構成されていればいかなる態様の装置で構成されてもよい。撮像／表示装置２０が一つの端末として構成される場合には、撮影者が商品棚を撮影しながら表示画面を参照して、画像認識を通して生成された棚割情報に誤りがないかを確認することが出来る。また、ディスプレイ（表示装置）２２のみで構成される端末の例では、実店舗ではなくオフィス等においてオペレータ等が画像認識により生成された棚割情報の確認及び修正するという運用が想定される。
　本実施形態では、撮像／表示装置２０を構成する端末、または、棚割情報生成装置１０及び撮像／表示装置２０を構成する端末は、例えば、高機能携帯電話機（スマートフォン）や携帯電話機などの携帯端末として構成される。
　図１に示すように、棚割情報生成装置１０は、機能的には、画像取得部１１、検出部１２、商品認識部１３、棚割解析部１４、判定部１５、表示部１６、修正部１７及び生成部１８を備える。また、撮像／表示装置２０は、撮像装置としてのカメラ２１及び表示装置としてのディスプレイ２２を備える。これらの各機能部については後に詳述する。
　なお、図１に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
　例えば、本発明の一実施の形態における棚割情報生成装置１０は、コンピュータとして機能してもよい。図２は、本実施形態に係る棚割情報生成装置１０のハードウェア構成の一例を示す図である。棚割情報生成装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。棚割情報生成装置１０のハードウェア構成は、図２に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　棚割情報生成装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）で構成されてもよい。また、プロセッサ１００１は、ＧＰＵ（Graphics　Processing　Unit）を含んで構成されてもよい。例えば、図１に示した各機能部１１～１８などは、プロセッサ１００１で実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、棚割情報生成装置１０の各機能部１１～１３は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る棚割情報生成方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
　また、棚割情報生成装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
　再び図１を参照して、棚割情報生成装置１０の各機能部について説明する。画像取得部１１は、複数の商品が配列された商品棚を撮像した画像を取得する。図３は、画像取得部１１により取得された商品棚の画像ＰＭ０の例を示す図である。具体的には、カメラ２１により商品棚が撮像されると、画像取得部１１は、カメラ２１により撮像された画像を商品棚の画像として取得する。図３に示すように、商品棚の画像ＰＭ０は、商品棚及び各棚に配列された複数の商品を含む。
　商品棚及び商品棚に配列される商品は、図３に例示されるように、以下に説明するような特性を有する。即ち、同一の商品は、隣接または近接して配置されるという特性を有する。特に、大型の商店等では、１商品ごとに複数個の商品が配置されるため、この特性は顕著に表れる。逆に、中小型の商店等では、１商品ごとに１個の商品が配置される場合が多くなり、この特性は表れにくくなる。１商品ごとの配置される商品の数量は、フェースという語句で表される。即ち、十分な陳列スペースがある大型の商店では同一商品のフェース数が多く、小型の商店では、同一商品のフェース数は少ない。
　また、商品棚において、同一のシリーズに属する商品及び同一のブランドに属する商品は、近い位置に配置されるという特性を有する。また、同一のメーカーに属する商品及び同一カテゴリに属する商品は、商品棚において近い位置に配置されたり、同一の商品棚に配置されたりするという特性を有する。
　本実施形態の棚割情報生成装置１０は、商品棚及び配列される商品が上記のような特性を有することに鑑み、一の商品領域画像に関する商品の認識結果の妥当性を、当該一の商品領域画像の周辺に位置する他の商品領域画像及び他の商品領域画像に関する商品の認識結果を利用して判断する。
　検出部１２は、画像取得部１１により取得された商品棚の画像から、商品を表す商品領域画像を検出する。具体的には、検出部１２は、商品棚の画像に対して、例えば、周知のエッジ検出等の手法を用いることにより抽出した各物体を、商品を表す商品領域画像として認識する。また、検出部１２は、例えば周知のディープラーニング等の手法により、商品の形状を商品ごとに予め学習しておき、学習したデータを用いて、商品棚の画像から商品を表す商品領域画像を検出する。なお、予め学習された商品の形状データは、学習モデル記憶部４０に記憶されていてもよい。学習モデル記憶部４０については後に詳述する。商品棚の画像からの商品領域画像の検出に用いられる手法は、上記の例に限定されず、各商品領域画像を検出できればいかなる手法であってもよい。
　図４は、商品棚の画像ＰＭ１からの商品領域画像の検出を示す図である。図４に示すように、検出部１２は商品棚の画像ＰＭ１から、それぞれが商品を表す複数の商品領域画像を検出し、検出された商品領域画像には各商品領域画像の外縁に相当する枠線が付されている。
　商品認識部１３は、予め記憶された商品の画像に関する情報に基づいて、検出部１２により検出された商品領域画像により表される商品を認識する。本実施形態では、商品の認識に用いられる商品の画像に関する情報は、商品データ記憶部３０に記憶されている。
　図５は、商品データ記憶部３０に記憶されている商品画像データ３１の例を模式的に示す図である。図５に示すように、商品画像データ３１は、商品を識別する商品ＩＤに関連付けて、商品の外観を表す複数の商品画像データｍｂ１～ｍｂ８を記憶している。商品画像データｍｂ１～ｍｂ８のそれぞれは、商品ＩＤ：Ｘにより識別される商品の種々の向きの外観を表す。なお、商品データ記憶部３０に記憶されている商品画像データは図５に示す例に限定されず、商品データ記憶部３０は、商品ＩＤごとに１つの商品画像データを有していてもよいし、図５に示す例のように商品を横方向に徐々に回転させた場合の外観を表す画像データに加えて、商品を縦方向に徐々に回転させた場合の外観を表す画像データを含んでもよい。また、商品データ記憶部３０は、商品の正面の外観を表す一の商品画像データ、商品の背面の外観を表す一の商品画像データ、及び、複数のいくつかの向きから商品を撮像した複数の商品画像データのいずれかを商品ＩＤごとに関連付けて含んでもよいし、それらの商品画像データの組み合わせを商品ＩＤごとに関連付けて含んでもよい。
　商品認識部１３は、検出部１２により検出された各商品領域画像に対して、商品データ記憶部３０に記憶された商品画像データｍｂを、周知の照合技術により照合することにより、商品領域画像が表す商品を認識することができる。また、商品の認識は、上記の照合技術等には限定されず、いかなる手法が用いられてもよい。例えば、商品認識部１３は、ディープラーニング等の手法により、予め種々の商品の外観を学習しておき、各商品領域画像により表される商品を認識することとしてもよい。
　本実施形態では、商品データ記憶部３０は、商品の種々の属性を含む商品マスタ３２を記憶している。図６は、商品マスタ３２の構成を示す図である。図６に示すように、商品マスタ３２は、商品を識別する商品ＩＤに関連付けて、当該商品の商品名、サイズ、シリーズ／ブランド、メーカー及びカテゴリ等を記憶している。なお、商品ごとに関連付けられている商品の属性は、図６に示す例に限定されず、より細分化された属性を含んでもよい。商品認識部１３により商品領域画像により表される商品が認識されるので、認識された商品の商品ＩＤをキーとして、商品マスタ３２を参照することにより、各商品領域画像を商品の属性に関連付けることが可能となる。
　商品認識部１３は、商品領域画像ごとの商品の認識の結果を、認識結果記憶部５０に記憶させる。認識結果記憶部５０は、商品領域画像と、当該商品領域画像に関して認識された商品とを関連付けて記憶している記憶手段である。
　棚割解析部１４は、商品認識部１３による商品の認識結果、及び、商品棚の画像における商品領域画像の位置関係に基づいて、商品棚の各棚における商品の配置に関する情報である棚割データを取得する。
　具体的には、まず、棚割解析部１４は、商品棚の画像から棚板の位置を認識する。商品は棚板の上に配置されているので、例えば、棚割解析部１４は、商品棚の画像の縦方向に延びる座標軸の各座標に対する商品領域画像を表す画素の分布を取得し、画素分布が所定値未満となる座標値及び画素分布の極小点の近傍の領域等を、縦方向に対する棚板の位置として取得する。
　また、棚割解析部１４は、商品を表す画像の他に、棚板の画像及び棚板に付される値札の画像等を予め学習しておき、周知の照合技術、ディープラーニング等の手法により、棚板の位置を取得してもよい。
　そして、棚割解析部１４は、商品棚の画像から取得した棚板の位置と検出部により検出された商品領域画像の位置との位置関係、及び、商品認識部１３により認識された商品領域画像により表される商品の情報に基づいて、棚割データを取得する。図７は、棚割解析部１４により取得された棚割データの例を示す図である。図７に示すように、棚割データは、台番号、棚段番号、棚位置、商品ＩＤ、フェース数及び積み上げ数等の情報を関連付けて含んでいる。台番号は、商品棚を識別する情報である。棚段番号は、商品棚における棚板を特定する情報であって、例えば、下段から上段に向かって番号が割り当てられている。棚位置は、一の棚板における横方向の位置を特定する情報であって、例えば、商品棚画像における左側から右側に向かって番号が割り当てられている。商品ＩＤは、商品を識別する情報である。フェース数は、配列されている同種の商品の数量である。積み上げ数は、棚板上のある位置において積み重ねられている同種の商品の数量である。
　判定部１５は、一の商品領域画像により表される商品として認識された第１の商品と、一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性を判定する。
　図８を参照して、関連性情報の例について説明する。図８は、一の商品領域画像に関する関連性情報の取得の例を説明するための図である。図８に示されるように、商品棚の画像ＰＭ２は、ある棚における各棚位置１～７に配置された商品の商品領域画像ｍｐ１１～ｍｐ１７を含んでいる。符号ｍｄは、棚位置１～７に配置された商品の商品領域画像ｍｐ１１～ｍｐ１７のそれぞれに関して認識された商品の属性の情報を示す。例えば、棚位置１に配置された商品の商品領域画像に関して認識された商品は、商品名：Ｎ１１、シリーズ／ブランド：Ｂ１、メーカーＣ１といった属性を有する。
　ここでは、棚位置３に配置された商品の商品領域画像ｍｐ１３に関する関連性情報を取得する例を示す。この例では、判定部１５は、符号ｍｄに示される各商品の属性情報に基づいて、商品領域画像ｍｐ１３により表される商品として認識された商品（第１の商品）と、商品領域画像ｍｐ１３に隣接する商品領域画像ｍｐ１２、ｍｐ１４により表される商品として認識された商品（第２の商品）との関連を示す関連性情報ｍｅを取得する。
　図８に示される関連性情報ｍｅでは、棚位置２，３，４の各商品間の商品名、シリーズ／ブランド及びメーカーの異同を示すデータ（異なる場合：０、同じである場合：１）を要素として含む。具体的には、棚位置２の商品領域画像ｍｐ１２及び棚位置３の商品領域画像ｍｐ１３により表される商品として認識された商品の間では、商品名が異なり、シリーズ／ブランド及びメーカーが同一であるので、判定部１５は、それらの異同を示すデータを「０，１，１」とした関連性情報ｍｅを生成する。同様に、棚位置２の商品領域画像ｍｐ１２及び棚位置４の商品領域画像ｍｐ１４により表される商品として認識された商品の間では、商品名、シリーズ／ブランド及びメーカーが同一であるので、判定部１５は、それらの異同を示すデータを「１，１，１」とした関連性情報ｍｅを生成する。さらに、棚位置３の商品領域画像ｍｐ１３及び棚位置４の商品領域画像ｍｐ１４により表される商品として認識された商品の間では、商品名が異なり、シリーズ／ブランド及びメーカーが同一であるので、判定部１５は、それらの異同を示すデータを「０，１，１」とした関連性情報ｍｅを生成する。
　なお、図８に示される関連性情報では、商品名及びメーカー等の属性の異同を、１または２の２値で表現したが、これは一例に過ぎず、例えば、属性の一致の程度を０～１の範囲の数値で表現してもよいし、その他の数値範囲により表現してもよい。
　また、図８に示した例では、一の商品領域画像に関する関連性情報を生成するに際して、両隣に隣接する商品に着目したが、両隣に隣接する商品（一の商品領域画像からフェース数１以内の商品）だけではなく、左方向及び右方向のそれぞれの方向に２以上のフェース数以内に配置された商品に着目してもよいし、一の商品領域画像の周囲のさらに多くの商品領域画像を含めて着目してもよい。
　一の商品領域画像に関する関連性情報を生成するために着目する他の商品領域画像は、商品棚の画像において一の商品領域画像から所定の距離以内にある商品領域画像を含むこととしてもよい。図９は、一の商品領域画像に関する関連性情報の取得の他の例を説明するための図である。
　図９の商品棚の画像ＰＭ３に示されるように、商品領域画像ｍｐ１３に関する関連性情報を生成するに際して、判定部１５は、商品領域画像ｍｐ１３から所定距離以内の範囲ｃｒ１に含まれる商品領域画像に着目して関連性情報を生成してもよい。また、判定部１５は、商品領域画像ｍｐ１３からさらに遠い距離以内の範囲ｃｒ２に含まれる商品領域画像に着目して関連性情報を生成してもよい。一の商品領域画像から他の商品領域画像までの距離は、商品棚の画像における画素数でカウントされることとしてもよいし、棚割データが得られている場合にはフェース数でカウントされることとしてもよい。
　続いて、判定部１５は、関連性情報に基づいて、一の商品領域画像に関する特徴量を生成し、生成した特徴量に基づいて、一の商品領域画像に関する商品の認識結果の妥当性を判定する。図１０は、判定部１５による特徴量の生成及び妥当性の判定の処理を示す図である。
　本実施形態では、例えば、判定部１５は、図８に示した関連性情報ｍｅに基づいて、一の商品領域画像ｍｐ１３に関する特徴量を生成する。具体的には、判定部１５は、関連性情報ｍｅに示される、商品名、シリーズ／ブランド及びメーカーの異同を示す各値を各項の値（素性）として、以下のような特徴量ｉｅ１を生成する。
特徴量ｉｅ１＝（０，１，０，１，１，１，１，１，１）　…（１）
　なお、式（１）に示す特徴量は、線形学習器による妥当性判定器を妥当性の判定に用いる場合の一例であって、特徴量及び特徴量の生成に用いる関連性情報は、この例に限定されない。上記の特徴量は一例に過ぎず、一の商品領域画像により表される商品として認識された商品と、一の商品領域画像に隣接、近接、または所定の距離以内の商品領域画像により表される商品として認識された商品との関連性が反映されている情報であって、所定の学習器及び判定器の用いるのに適した形式であれば、どのようなものであってもよい。後述するように、学習器及び判定器は、線形学習器により構成される場合に限定されず、非線形学習、ＳＶＭ、ニューラルネットワークなど周知の技術を採用しうる。
　図１０に示すように、判定部１５は、生成した特徴量ｉｅ１を妥当性判定器ＣＭ１に入力して、一の商品領域画像に関する商品の認識の妥当性の判定結果ｒ１（妥当性スコア）を得る。妥当性判定器ＣＭ１は、所定の特徴量に基づく妥当性の判定に関して、機械学習済みの判定器である。
　例えば、本実施形態の例では、妥当性判定器ＣＭ１が線形学習器として構成されるとすると、特徴量ｉｅ１を、素性の数を項数とする特徴ベクトルｘとして、妥当性の判定結果の妥当性スコアｙは、以下の式（２）により算出される。
Figure JPOXMLDOC01-appb-M000001
 ここで、特徴ベクトルｘの要素は、特徴量ｉｅ１に基づいて、以下のように表される。
ｘ１＝０，ｘ２＝１，ｘ３＝０，ｘ４＝１，ｘ５＝１，ｘ６＝１，・・・
また、ベクトルｗは、特徴量に重み付けをするためのものであって、予め、特徴量に基づく妥当性判定のために機械学習されて得られたベクトルである。
　判定結果である妥当性スコアｙの値は学習する内容によって異なるが、例えば、０～１の値を取り、ｙ＝１のときに最も妥当性が高く、ｙ＝０のときに最も妥当性が低いことを示すように学習させることが可能である。
　図８に示した関連性情報ｍｅは、一の商品領域画像の左右に隣接する商品領域画像との関連性に着目したものであるので、図１０に示される、関連性情報ｍｅに基づく特徴量ｉｅ１に対する妥当性判定器ＣＭ１は、妥当性の判定に係る商品領域画像と、その左右に隣接する商品領域画像との関連性に着目して生成された特徴量に基づく機械学習により構成される。
　上述のとおり、一の商品領域画像に関する関連性情報の生成に際して、着目される商品領域画像は一の商品領域画像の左右に隣接するものに限定されないので、妥当性の判定に供される妥当性判定器は、関連性情報の生成に際して着目される商品領域画像に応じた機械学習により構成される。
　図１１は、判定部１５による特徴量の生成及び妥当性の判定の処理の他の例を示す図である。図１１に示す例では、一の商品領域画像ｍｐ１３に関する商品の認識の妥当性の判定に際して、商品領域画像ｍｐ１３の右側に配置された２つの商品領域画像ｍｐ１４，ｍｐ１５を対象として生成された関連性情報を用いる。判定部１５は、商品領域画像ｍｐ１３に対して認識された商品と、商品領域画像ｍｐ１４，ｍｐ１５に対して認識された商品との関連性を示す関連性情報を生成し、生成された関連性情報に基づいて特徴量ｉｅ２を生成する。
　ここで用いられる妥当性判定器ＣＭ２は、図１０に示される妥当性判定器ＣＭ１とは異なる。即ち、妥当性判定器ＣＭ２は、妥当性の判定に係る商品領域画像と、その右側に配置された２つの商品領域画像との関連性に着目して生成された特徴量に基づく機械学習により構成される。そして、判定部１５は、特徴量ｉｅ２を妥当性判定器ＣＭ２に入力して、一の商品領域画像ｍｐ１３に関する商品の認識の妥当性の判定結果ｒ２（妥当性スコア）を得る。
　図１２は、判定部１５による特徴量の生成及び妥当性の判定の処理の他の例を示す図である。図１０，１１を参照して説明した妥当性の判定（妥当性スコアの算出）に加えて、図１２に示す例では、一の商品領域画像ｍｐ１３に関する商品の認識の妥当性の判定に際して、商品領域画像ｍｐ１３の左右の両側に配置された２つずつの商品領域画像ｍｐ１１，ｍｐ１２，ｍｐ１４，ｍｐ１５を対象として生成された関連性情報を用いる。判定部１５は、商品領域画像ｍｐ１３に対して認識された商品と、商品領域画像ｍｐ１１，ｍｐ１２，ｍｐ１４，ｍｐ１５に対して認識された商品との関連性を示す関連性情報を生成し、生成された関連性情報に基づいて特徴量ｉｅ３を生成する。そして、判定部１５は、特徴量ｉｅ２を妥当性判定器ＣＭ３に入力して、一の商品領域画像ｍｐ１３に関する商品の認識の妥当性の判定結果ｒ３（妥当性スコア）を得る。妥当性判定器ＣＭ３は、妥当性の判定に係る商品領域画像と、その左右の両側に配置された２つずつの商品領域画像との関連性に着目して生成された特徴量に基づく機械学習により構成される。
　さらに、判定部１５は、複数の妥当性判定器ＣＭ１～ＣＭ３により出力された判定結果ｒ１～ｒ３を素性とする特徴量ｉｅ４を生成し、生成した特徴量ｉｅ４を妥当性判定器ＣＭ４に入力して、判定結果ｒ４を得て、商品領域画像ｍｐ１３に関する商品の認識の妥当性を判定してもよい。ここで用いられる妥当性判定器ＣＭ４は、妥当性の判定に係る商品領域画像に関する所定の３種類の妥当性判定の結果（妥当性スコア）を特徴量とする機械学習に基づいて構成されたものである。
　また、図１０～図１２に示す例では、妥当性判定器が線形学習器により構成される場合を説明しているが、これには限定されず、非線形学習器、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ニューラルネットワーク等の周知の技術により妥当性判定器を構成してもよい。
　図１に示される学習モデル記憶部４０は、図１０～図１２に示した妥当性判定器ＣＭにおける機械学習の結果である学習モデルを記憶している記憶手段である、判定部１５は、学習モデル記憶部４０を参照して、特徴量の構成に応じた適切な学習モデル取得して、妥当性スコアを算出する。
　表示部１６は、判定部１５により判定された妥当性に関する情報を表示させる。具体的には、表示部１６は、商品領域画像に対する商品の認識に関する妥当性に関する情報をディスプレイ２２に表示させる。なお、表示部１６は、本実施形態の棚割情報生成装置１０において必須の構成ではない。
　図１３は、妥当性に関する情報の表示の例を示す図である。表示部１６は、判定部１５により判定された一の商品領域画像の認識の妥当性が所定の程度未満である場合に、妥当性に関する情報を、当該一の商品領域画像に関連付けて、所定の態様で表示させる。
　図１３に示すように、表示部１６は、商品棚の画像ＰＭ４をディスプレイ２２に表示させると共に、商品領域画像に対する商品の認識結果及び認識の妥当性に関する情報ＵＩ１をディスプレイ２２に表示させる。
　情報ＵＩ１は、例えば、商品棚の４段目（最上段）の商品領域画像の一部に対する、認識結果ｍｒ１～ｍｒ７を含む。認識結果ｍｒ１～ｍｒ７は、認識された商品の属性の一部である商品名及びメーカーを含み、例えば吹き出し型の形状を呈しており、それぞれ商品領域画像に関連付けられている。
　図１３に示す例では、商品領域画像ｍｐ２１に対する商品の認識の妥当性（例えば、妥当性スコア）が所定の程度未満であった場合を示している。図１３に示すように、表示部１６は、商品領域画像ｍｐ２１に対する商品の認識結果ｍｒ４を、商品領域画像ｍｐ２１に関連付けて表示させる。図１３に示す例では、商品領域画像ｍｐ２１は、商品名：Ｎ２１、メーカー：Ｃ２の商品を表している。一方、商品認識部１３により、商品領域画像ｍｐ２１により表される商品が、商品名：Ｎ２２、メーカー：Ｃ２の商品であると認識されている。このため、判定部１５による、商品領域画像ｍｐ２１に対する商品の認識の妥当性が低いことが判定されている。従って、表示部１６は、認識結果ｍｒ４を、色を付す等により強調された態様で表示させる。これにより、商品認識の結果の妥当性が低い商品領域画像をユーザに認識させることができる。
　図１４は、妥当性に関する情報の表示の他の例を示す図である。図１４に示すように、表示部１６は、商品棚の画像ＰＭ５をディスプレイ２２に表示させると共に、商品領域画像に対する商品の認識結果及び認識の妥当性に関する情報ＵＩ２をディスプレイ２２に表示させる。
　図１４に示す例では、具体的には、商品棚の画像ＰＭ５に表された商品領域画像をユーザの指Ｆによりタッチすることにより、表示部１６は、各商品領域画像に対して認識された商品の情報（図１４の例では商品の外観画像）を、各商品領域画像に関連付けて表示させる。これにより、ユーザは、各商品領域画像の認識結果と当該商品領域画像とを対比できるので、商品の画像の認識結果の確認及び修正が容易となる。さらに、商品領域画像ｍｐ３１に対する商品の認識の妥当性が所定の程度未満であった場合には、表示部１６は、情報ＵＩ２に示されるように、商品領域画像ｍｐ３１に対する商品の認識結果を示す外観画像に色を付す等により強調された態様で表示させる。これにより、商品認識の結果の妥当性が低い商品領域画像をユーザに認識させることができる。
　図１５は、妥当性に関する情報の表示の他の例を示す図である。図１５に示すように、表示部１６は、商品棚の画像ＰＭ６をディスプレイ２２に表示させると共に、商品領域画像に対する商品の認識結果及び認識の妥当性に関する情報ＵＩ３をディスプレイ２２に表示させる。
　この例においては、商品認識部１３は、一の商品領域画像に対して、当該一の商品領域画像により表される商品の候補を複数認識する。例えば、図１５に示すように、商品認識部１３は、商品認識の確からしさを示すスコアが高いものから順に３つの商品（商品名：Ｃ２１，Ｃ２２，Ｃ３３）を、一の商品領域画像ｍｐ４１の認識結果として出力する。ここでは、画像認識の確からしさを示すスコアは、商品名Ｃ２２の商品、商品名Ｃ３３の商品、商品名Ｃ２１の商品の順に高かったものとする。
　判定部１５は、商品認識部１３により一の商品領域画像の認識結果として出力された複数のそれぞれの商品に関して、認識の妥当性を判定する。そして、表示部１６は、複数の商品の候補のうちの少なくとも一つの商品の候補及びそれらの妥当性に関する情報を、一の商品領域画像に関連付けて表示させる。
　例えば、表示部１６は、商品認識部１３により認識された複数の商品の情報を、商品の認識結果の妥当性が高い順にソートして表示させることとしてもよい。ここでは、商品の認識結果の妥当性は、商品名Ｃ２１の商品、商品名Ｃ２２の商品、商品名Ｃ３３の商品の順に高かったものとする。図１５に示すように、表示部１６は、商品の認識結果の妥当性が高いものから順に、商品名Ｃ２１の商品情報ｍｒ３１、商品名Ｃ２２の商品情報ｍｒ３２、商品名Ｃ３３の商品情報ｍｒ３３を、商品領域画像ｍｐ４１に関する商品認識の妥当性に関する情報として表示させる。
　図１５に示す例では、商品情報ｍｒ３１～ｍｒ３２はそれぞれ、チェックボックスを含む。ユーザが、商品領域画像ｍｐ４１の認識結果として正しい商品のチェックボックスにチェックを入れることにより、商品認識部１３は、チェックが入れられた商品を、商品領域画像ｍｐ４１の認識結果として、認識結果記憶部５０に記憶させることができる。これにより、一の商品領域画像に関する商品の認識結果の確認及び修正が容易となる。
　また、表示部１６は、図１５に示したような複数の商品の情報を表示させることに代えて、商品認識部１３により認識された複数の商品の候補のうちの、判定部１５により判定された商品の認識結果の妥当性が最も高い商品の候補のみを一の商品領域画像の認識結果として、一の商品領域画像に関連付けて表示させることとしてもよい。これにより、一の商品領域画像に関する商品の認識結果の修正が容易に行われることとなる。
　また、表示部１６は、一の商品領域画像に関して認識された商品の、認識の妥当性が所定の程度未満であった場合に、商品棚の画像において一の商品領域画像に隣接する商品領域画像に関して認識された商品を、一の商品領域画像により表される商品の候補として表示させてもよい。
　具体的には、商品認識部１３が、一の商品領域画像に関する商品の認識を実施すると共に、一の商品領域画像に隣接する商品領域画像に関する商品の認識を実施する。そして、判定部１５は、隣接する商品領域画像に関して認識された商品を、一の商品領域画像に対して認識された商品であると仮定して、その仮定された認識の妥当性を判定する。そして、表示部１６は、隣接する商品領域画像に関して認識された商品の情報を、一の商品領域画像により表される商品の候補として、その妥当性に関する情報と共に表示させることとしてもよい。
　例えば、一の商品領域画像に関して認識された商品の、認識の妥当性が所定の程度未満であった場合、また、一の商品領域画像の認識結果に、一の商品領域画像が表す商品が含まれなかった場合において、一の商品領域画像により表される商品である可能性がある商品の候補をユーザに提示できる。
　修正部１７は、判定部１５により判定された妥当性に関する情報に基づいて、商品認識部１３により一の商品領域画像が表す商品として認識された第１の商品を修正する。
　例えば、判定部１５により、一の商品領域画像の認識結果として、商品認識部１３により認識された第１の商品以外の商品が最も高い妥当性を有することが判定された場合に、修正部１７は、一の商品領域画像が表す商品の認識結果を、最も妥当性が高いと判定された商品に修正する。具体的には、例えば、商品認識部１３により、一の商品領域画像に対して、当該一の商品領域画像により表される商品の候補が複数認識され、判定部１５により、一の商品領域画像の認識結果として出力された複数のそれぞれの商品に関して認識の妥当性が判定された場合に、修正部１７は、認識の妥当性が最も高い商品に、一の商品領域画像が表す商品の認識結果を修正する。
　また、前述のように、表示部１６により、一の商品領域画像を第１の商品として認識したことの妥当性に関する情報が表示されたことに応じて、ユーザにより修正入力が行われた場合には、修正部１７は、一の商品領域画像が表す商品の認識結果を、入力された商品に修正することとしてもよい。
　生成部１８は、商品棚に配列された商品の配列情報である棚割情報を生成する。具体的には、生成部１８は、商品棚の画像から取得した棚板の位置と検出部により検出された商品領域画像の位置との位置関係、及び、商品認識部１３により認識された商品領域画像により表される商品の情報に基づいて、棚割情報を生成する。棚割情報の一例は、図７に示される。本実施形態では、生成部１８は、修正部１７による、商品領域画像の認識の結果の修正が反映された棚割情報を生成する。生成部１８は、生成した棚割情報を所定の記憶手段に出力することができる。また、生成部１８は、生成した棚割情報をディスプレイ２２に表示させてもよい。
　判定部１５による、一の商品領域画像に関する商品の認識の妥当性の判定にさらに用いられる情報のバリエーションについて、以下に説明する。
　判定部１５は、一の商品領域画像の色彩に関する情報と他の商品領域画像の色彩に関する情報との差分を表す色彩情報をさらに参照して、妥当性を判定することとしてもよい。即ち、判定部１５は、色彩情報を関連性情報としてさらに用いて妥当性を判定することができる。
　具体的には、判定部１５は、一の商品領域画像の色ヒストグラム及び他の商品領域画像（一の商品領域画像に隣接及び近接等する商品領域画像）の色ヒストグラムを生成し、生成された色ヒストグラムの類似度（差分を表す情報）を算出する。類似度は、例えば、いわゆるコサイン距離の算出等により実現されるが、その算出方法は限定されず、周知のいずれの手法を用いることができる。
　判定部１５は、色ヒストグラムの類似度を特徴量としてさらに用いて、妥当性判定器により、一の商品領域画像の商品の認識の妥当性を判定できる。この場合に用いられる妥当性判定器は、色ヒストグラムの類似度を特徴量とした機械学習により得られたものである。また、他の商品領域画像間の色ヒストグラムの類似度を、さらに特徴量として用いてもよい。なお、色ヒストグラムの生成においては、処理負荷等の条件に応じて、適宜の減色処理を実施してもよい。
　判定部１５は、商品棚の画像における一の商品領域画像と他の商品領域画像との距離に関する情報をさらに参照して、妥当性を判定することとしてもよい。
即ち、判定部１５は、一の商品領域画像と他の商品領域画像との距離に関する情報を関連性情報としてさらに用いて妥当性を判定することができる。具体的には、判定部１５は、一の商品領域画像と他の商品領域画像（一の商品領域画像に隣接及び近接等する商品領域画像）との距離を算出する。商品領域画像間の距離は、例えば、商品棚の画像における画素数であってもよいし、フェース数により表されてもよい。
　判定部１５は、一の商品領域画像と他の商品領域画像との距離を特徴量としてさらに用いて、妥当性判定器により、一の商品領域画像の商品の認識の妥当性を判定できる。この場合に用いられる妥当性判定器は、商品領域画像間の距離を特徴量とした機械学習により得られたものである。また、他の商品領域画像間の距離を、さらに特徴量として用いてもよい。
　また、判定部１５は、商品認識部１３により出力される、商品領域画像に対する商品の認識の精度を示す認識スコアを、妥当性の判定に用いることができる。即ち、判定部１５は、一の商品領域画像及び他の商品領域画像に対する商品の認識に関する認識スコアを関連性情報としてさらに参照して、妥当性を判定することとしてもよい。具体的には、判定部１５は、一の商品領域画像及び他の商品領域画像（一の商品領域画像に隣接及び近接等する商品領域画像）のそれぞれに関する認識スコアを取得する。そして、判定部１５は、各商品領域画像に関する認識スコアを特徴量としてさらに用いて、妥当性判定器により、一の商品領域画像の商品の認識の妥当性を判定できる。この場合に用いられる妥当性判定器は、商品領域画像に関する認識スコアを特徴量とした機械学習により得られたものである。
　次に、図１６を参照して、棚割情報生成装置１０における棚割情報生成方法について説明する。図１０は、本実施形態の棚割情報生成方法の処理内容を示すフローチャートである。
　ステップＳ１において、画像取得部１１は、カメラ２１により撮像された、複数の商品が配列された商品棚の画像を取得する。続くステップＳ２において、検出部１２は、ステップＳ１において画像取得部１１により取得された商品棚の画像から、商品を表す商品領域画像を検出する。
　次に、ステップＳ３において、商品認識部１３は、予め記憶された商品の画像に関する情報に基づいて、ステップＳ２において検出部１２により検出された各商品領域画像により表される商品を認識する。
　ステップＳ４において、棚割解析部１４は、ステップＳ３における商品認識部１３による商品の認識結果、及び、商品棚の画像における商品領域画像の位置関係に基づいて、商品棚の各棚における商品の配置に関する情報である棚割データを取得する。なお、ステップＳ４の処理は、本実施形態の棚割情報生成方法において必須の処理ではない。
　ステップＳ５において、判定部１５は、ステップＳ３において認識された複数の商品領域画像のうちの一の商品領域画像を選択する。ステップＳ６において、一の商品領域画像により表される商品の認識の妥当性を判定する。
　ステップＳ７において、表示部１６は、ステップＳ６において判定部１５により判定された、一の商品領域画像に関する商品の認識の妥当性に関する情報を、当該一の商品領域画像に関連付けてディスプレイ２２に表示させる。なお、ステップＳ７の処理は、本実施形態の棚割情報生成方法において必須の処理ではない。
　ステップＳ８において、修正部１７は、ステップＳ６において判定部１５により判定された妥当性に関する情報に基づいて、ステップＳ３において商品認識部１３により一の商品領域画像が表す商品として認識された商品を修正する。
　ステップＳ９において、判定部１５は、全ての商品領域画像の商品の認識についての妥当性の判定を行ったか否かを判定する。全ての商品領域画像の妥当性の判定を行ったと判定された場合には、処理はステップＳ１０に進められる。一方、全ての商品領域画像の妥当性の判定を行ったと判定されなかった場合には、ステップＳ５～Ｓ８の処理が繰り返される。なお、本実施形態の棚割情報生成方法において、全ての商品領域画像についての妥当性の判定及び認識された商品の修正が行われることは必須ではなく、一部の商品領域画像についてのステップＳ５～Ｓ８の処理が完了したときに、処理手順がステップＳ１０に進められることとしてもよい。
　ステップＳ１０において、生成部１８は、棚割情報を生成する。具体的には、生成部１８は、ステップＳ８における認識された商品の修正が反映された棚割情報を生成する。
　次に、コンピュータを、本実施形態の棚割情報生成装置１０として機能させるための棚割情報生成プログラムについて説明する。図１７は、棚割情報生成プログラムＰ１の構成を示す図である。
　棚割情報生成プログラムＰ１は、棚割情報生成装置１０における棚割情報生成処理を統括的に制御するメインモジュールｍ１０、画像取得モジュールｍ１１、検出モジュールｍ１２、商品認識モジュールｍ１３、棚割解析モジュールｍ１４、判定モジュールｍ１５、表示モジュールｍ１６、修正モジュールｍ１７及び生成モジュールｍ１８を備えて構成される。そして、各モジュールｍ１１～ｍ１８により、棚割情報生成装置１０における画像取得部１１、検出部１２、商品認識部１３、棚割解析部１４、判定部１５、表示部１６、修正部１７及び生成部１８のための各機能が実現される。なお、棚割情報生成プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１７に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。
　以上説明した本実施形態の棚割情報生成装置１０、棚割情報生成方法及び棚割情報生成プログラムＰ１では、商品棚に配置される一の商品は、当該一の商品に隣接する他の商品及び当該一の商品から一定の距離以内に配置された他の商品との間に関連性を有するという特性に鑑みて、商品棚の画像から商品領域画像が検出され、各商品領域画像により表される商品が認識され、一の商品領域画像により表される商品として認識された第１の商品と他の商品領域画像により表される商品として認識された第２の商品との関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性が判定される。そして、判定された妥当性に関する情報に基づいて、一の商品領域画像が表す商品として認識された第１の商品が修正される。これにより、商品領域画像に対する商品の認識結果が容易に修正され、認識の精度の改善が可能となる。
　また、別の形態に係る棚割情報生成装置では、他の商品領域画像は、商品棚の画像において一の商品領域画像に隣接する商品領域画像を含むこととしてもよい。
　商品棚において隣接する商品は、それらの属性等において互いに強い関連を有する傾向がある。上記形態によれば、一の商品領域画像により表される商品と、一の商品領域画像に隣接する商品領域画像により表される商品との関連を示す情報が関連性情報に含まれるので、一の商品領域画像に関する商品の認識の妥当性の判定精度が向上する。
　また、別の形態に係る棚割情報生成装置では、他の商品領域画像は、商品棚の画像において一の商品領域画像から所定の距離以内にある商品領域画像を含むこととしてもよい。
　商品棚において近接して配置される商品は、それらの属性等において互いに関連を有する傾向がある。上記形態によれば、一の商品領域画像により表される商品と、一の商品領域画像から所定の距離以内にある商品領域画像により表される商品との関連を示す情報が関連性情報に含まれるので、一の商品領域画像に関する商品の認識の妥当性が好適に判定される。
　また、別の形態に係る棚割情報生成装置では、商品認識部による商品の認識結果、及び、商品棚の画像における商品領域画像の位置関係に基づいて、商品棚の各棚における商品の配置に関する情報を取得する棚割解析部を更に備え、他の商品領域画像は、商品棚の各棚に配置された商品の商品領域画像のうちの一の商品領域画像と所定の位置関係にある商品領域画像であることとしてもよい。
　上記形態によれば、商品棚の各棚の商品の配置に関する情報に基づいて、一の商品領域画像により表される商品と、一の商品領域画像と所定の位置関係にある商品領域画像により表される商品との関連を示す情報が関連性情報に含まれるので、一の商品領域画像に関する商品の認識の妥当性の判定が適切に行われる。
　また、別の形態に係る棚割情報生成装置では、関連性情報は、第１の商品の属性と、第２の商品の属性との一致の程度を示す情報であることとしてもよい。
　上記形態によれば、第１の商品の属性と第２の商品の属性との一致の程度が関連性情報として採用されることにより、関連性情報により、第１の商品と第２の商品との関連が適切に表される。
　また、別の形態に係る棚割情報生成装置は、判定部により判定された妥当性に関する情報を表示させる表示部、をさらに備えることとしてもよい。
　上記形態によれば、ユーザが、表示された妥当性に関する情報を参照することにより、一の商品領域画像に関する商品の認識結果の確認及び修正を容易に行うことができる。
　また、別の形態に係る棚割情報生成装置では、表示部は、判定部により判定された一の商品領域画像の認識の妥当性が所定の程度未満である場合に、妥当性に関する情報を、当該一の商品領域画像に関連付けて、所定の態様で表示させることとしてもよい。
　上記形態によれば、商品認識の結果の妥当性が低い商品領域画像をユーザに認識させることができる。
　また、別の形態に係る棚割情報生成装置では、商品認識部は、一の商品領域画像に対して、当該一の商品領域画像が表す商品の候補を複数認識し、判定部は、複数の商品の候補のそれぞれを第１の商品として認識した場合の妥当性を判定し、表示部は、複数の商品の候補のうちの少なくとも一つの商品の候補及び候補の妥当性に関する情報を、一の商品領域画像に関連付けて表示させることとしてもよい。
　上記形態によれば、一の商品領域画像により表される商品として、より妥当な商品の候補を提示できるので、一の商品領域画像に関する商品の認識結果の確認及び修正が容易となる。
　また、別の形態に係る棚割情報生成装置では、表示部は、判定部により判定された一の商品領域画像の認識の妥当性が所定の程度未満である場合に、一の商品領域画像により表される商品の候補として、第２の商品を表示させることとしてもよい。
　上記形態によれば、一の商品領域画像により表される商品と他の商品領域画像により表される商品との関連性が高いことに鑑みて、他の商品領域画像により表される商品として認識された第２の商品が、一の商品領域画像により表される商品の候補として提示される。従って、一の商品領域画像により表される商品である可能性が高い商品が提示されるので、一の商品領域画像に関する商品の認識結果の修正が容易となる。
　また、別の形態に係る棚割情報生成装置では、商品認識部は、一の商品領域画像に対して、当該一の商品領域画像が表す商品の候補を複数認識し、判定部は、複数の商品の候補のそれぞれを第１の商品とした場合の妥当性を判定し、表示部は、複数の商品の候補のうち最も妥当性が高い商品の候補を一の商品領域画像の認識結果として、一の商品領域画像に関連付けて表示させることとしてもよい。
　上記形態によれば、一の商品領域画像により表される商品として、最も妥当な商品の候補を提示できるので、一の商品領域画像に関する商品の認識結果の修正が容易となる。
　また、別の形態に係る棚割情報生成装置では、修正部は、表示部により表示された妥当性に関する情報に応じてユーザにより入力された修正入力に基づいて、商品認識部により一の商品領域画像が表す商品として認識された前記第１の商品を修正することとしてもよい。
　上記形態によれば、商品領域画像に対する商品の認識の妥当性に関する情報を認識したユーザにより入力された情報に基づいて、商品の認識の結果が修正されるので、一の商品領域画像に関する商品の認識結果を確実且つ適切に修正できる。
　また、別の形態に係る棚割情報生成装置では、判定部は、一の商品領域画像の色彩に関する情報と他の商品領域画像の色彩に関する情報との差分を表す色彩情報をさらに参照して、妥当性を判定することとしてもよい。
　上記形態によれば、一の商品領域画像により表される商品と他の商品領域画像により表される商品との関連性が強いことに起因して、一の商品領域画像の色彩と他の商品領域画像の色彩との差分が小さい可能性が高いことに鑑みて、一の商品領域画像の色彩に関する情報と他の商品領域画像の色彩に関する情報との差分をさらに参照して、一の商品領域画像に関する商品の認識の妥当性が判定される。これにより、妥当性の判定精度が向上される。
　また、別の形態に係る棚割情報生成装置では、判定部は、商品棚の画像における一の商品領域画像と他の商品領域画像との距離に関する情報をさらに参照して、妥当性を判定することとしてもよい。
　上記形態によれば、一の商品領域画像により表される商品と他の商品領域画像により表される商品との関連性の程度が、商品領域画像間の距離に依存することに鑑みて、商品領域画像間の距離に関する情報をさらに参照して、一の商品領域画像に関する商品の認識の妥当性が判定される。これにより、妥当性の判定精度が向上される。
　また、別の形態に係る棚割情報生成装置では、商品認識部は、商品領域画像に対する商品の認識の精度を示す認識スコアを出力し、判定部は、一の商品領域画像及び他の商品領域画像に対する商品の認識に関する認識スコアをさらに参照して、妥当性を判定することとしてもよい。
　上記形態によれば、商品領域画像に関する商品の認識の精度を示す認識スコアが、一の商品領域画像に関する商品の認識の妥当性が判定される。これにより、妥当性の判定精度が向上される。
　以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
　本開示で説明した各態様／実施形態は、ＬＴＥ（Long　Term　Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future　Radio　Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra　Mobile　Broadband）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
　本開示で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
　入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
　本開示で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　なお、本開示で説明した用語及び／又は本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
　本開示で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
　また、本開示で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
　本開示で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本開示あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
　本開示において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
　本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
　１…棚割情報生成システム、１０…棚割情報生成装置、１１…画像取得部、１２…検出部、１３…商品認識部、１４…棚割解析部、１５…判定部、１６…表示部、１７…修正部、１８…生成部、２０…撮像装置／表示装置、２１…カメラ、２２…ディスプレイ、３０…商品データ記憶部、３１…商品画像データ、３２…商品マスタ、４０…学習モデル記憶部、５０…認識結果記憶部、Ｍ１…記録媒体、ｍ１０…メインモジュール、ｍ１１…画像取得モジュール、ｍ１２…検出モジュール、ｍ１３…商品認識モジュール、ｍ１４…棚割解析モジュール、ｍ１５…判定モジュール、ｍ１６…表示モジュール、ｍ１７…修正モジュール、ｍ１８…生成モジュール、Ｐ１…棚割情報生成プログラム。
 

Claims (10)

  1. 　商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置であって、
    　複数の商品が配列された商品棚を撮像した画像を取得する画像取得部と、
    　前記画像取得部により取得された前記画像から、前記商品を表す商品領域画像を検出する検出部と、
    　予め記憶された商品の画像に関する情報に基づいて、前記検出部により検出された前記商品領域画像により表される商品を認識する商品認識部と、
    　一の商品領域画像により表される商品として認識された第１の商品と、前記一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、前記一の商品領域画像を前記第１の商品として認識したことの妥当性を判定する判定部と、
    　前記判定部により判定された妥当性に関する情報に基づいて、前記商品認識部により前記一の商品領域画像が表す商品として認識された前記第１の商品を修正する修正部と、
    　を備える棚割情報生成装置。
  2. 　前記他の商品領域画像は、前記商品棚の画像において前記一の商品領域画像に隣接する商品領域画像を含む、請求項１に記載の棚割情報生成装置。
  3. 　前記他の商品領域画像は、前記商品棚の画像において前記一の商品領域画像から所定の距離以内にある商品領域画像を含む、
    　請求項１または２に記載の棚割情報生成装置。
  4. 　前記商品認識部による商品の認識結果、及び、前記商品棚の画像における商品領域画像の位置関係に基づいて、前記商品棚の各棚における商品の配置に関する情報を取得する棚割解析部を更に備え、
    　前記他の商品領域画像は、前記商品棚の各棚に配置された商品の商品領域画像のうちの前記一の商品領域画像と所定の位置関係にある商品領域画像である、
    　請求項１～３のいずれか一項に記載の棚割情報生成装置。
  5. 　前記関連性情報は、前記第１の商品の属性と、前記第２の商品の属性との一致の程度を示す情報である、
    　請求項１～４のいずれか一項に記載の棚割情報生成装置。
  6. 　前記判定部により判定された妥当性に関する情報を表示させる表示部、をさらに備える請求項１～５のいずれか一項に記載の棚割情報生成装置。
  7. 　前記商品認識部は、前記一の商品領域画像に対して、当該一の商品領域画像が表す商品の候補を複数認識し、
    　前記判定部は、前記複数の商品の候補のそれぞれを前記第１の商品として認識した場合の妥当性を判定し、
    　前記表示部は、前記複数の商品の候補のうちの少なくとも一つの商品の候補及び前記候補の妥当性に関する情報を、前記一の商品領域画像に関連付けて表示させる、
    　請求項６に記載の棚割情報生成装置。
  8. 　前記商品認識部は、前記一の商品領域画像に対して、当該一の商品領域画像が表す商品の候補を複数認識し、
    　前記判定部は、前記複数の商品の候補のそれぞれを前記第１の商品とした場合の妥当性を判定し、
    　前記表示部は、前記複数の商品の候補のうち最も妥当性が高い商品の候補を前記一の商品領域画像の認識結果として、前記一の商品領域画像に関連付けて表示させる、
    　請求項６または７に記載の棚割情報生成装置。
  9. 　前記修正部は、前記表示部により表示された前記妥当性に関する情報に応じてユーザにより入力された修正入力に基づいて、前記商品認識部により前記一の商品領域画像が表す商品として認識された前記第１の商品を修正する、
    　請求項６～８のいずれか一項に記載の棚割情報生成装置。
  10. 　コンピュータを、商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置として機能させるための棚割情報生成プログラムであって、
    　前記コンピュータに、
    　複数の商品が配列された商品棚を撮像した画像を取得する画像取得機能と、
    　前記画像取得機能により取得された前記画像から、前記商品を表す商品領域画像を検出する検出機能と、
    　予め記憶された商品の画像に関する情報に基づいて、前記検出機能により検出された前記商品領域画像により表される商品を認識する商品認識機能と、
    　一の商品領域画像により表される商品として認識された第１の商品と、前記一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、前記一の商品領域画像を第１の商品として認識したことの妥当性を判定する判定機能と、
    　前記判定機能により判定された妥当性に関する情報に基づいて、前記商品認識機能により前記一の商品領域画像が表す商品として認識された前記第１の商品を修正する修正機能と、
    　を実現させる棚割情報生成プログラム。
     
PCT/JP2018/042173 2017-11-29 2018-11-14 棚割情報生成装置及び棚割情報生成プログラム WO2019107157A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019557138A JP7191851B2 (ja) 2017-11-29 2018-11-14 棚割情報生成装置及び棚割情報生成プログラム
US16/767,393 US20200394599A1 (en) 2017-11-29 2018-11-14 Shelf-allocation information generating device and shelf-allocation information generating program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017229343 2017-11-29
JP2017-229343 2017-11-29

Publications (1)

Publication Number Publication Date
WO2019107157A1 true WO2019107157A1 (ja) 2019-06-06

Family

ID=66664468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042173 WO2019107157A1 (ja) 2017-11-29 2018-11-14 棚割情報生成装置及び棚割情報生成プログラム

Country Status (3)

Country Link
US (1) US20200394599A1 (ja)
JP (1) JP7191851B2 (ja)
WO (1) WO2019107157A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021015368A (ja) * 2019-07-10 2021-02-12 富士通株式会社 物品推定プログラム、物品推定装置、及び物品推定方法
JPWO2021033310A1 (ja) * 2019-08-22 2021-02-25
WO2021220342A1 (ja) * 2020-04-27 2021-11-04 日本電気株式会社 物体認識装置、物体認識方法、学習装置、学習方法、及び、記録媒体
US11501523B2 (en) 2017-12-18 2022-11-15 Shanghai Cloudpick Smart Technology Co., Ltd. Goods sensing system and method for goods sensing based on image monitoring
WO2023062724A1 (ja) * 2021-10-12 2023-04-20 日本電気株式会社 画像解析システム、画像解析方法およびプログラム
WO2023062723A1 (ja) * 2021-10-12 2023-04-20 日本電気株式会社 画像解析システム、画像解析方法およびプログラム
WO2023127085A1 (ja) * 2021-12-28 2023-07-06 日本電気株式会社 物体認識装置、物体認識方法、及び、記憶媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11646112B2 (en) * 2018-05-30 2023-05-09 TaskUnite Inc. Real-time health care inventory imaging and tracking intelligence system
CN109754209B (zh) * 2019-01-02 2022-06-17 京东方科技集团股份有限公司 货品摆放区域确定方法及装置
JP7468508B2 (ja) * 2019-03-22 2024-04-16 日本電気株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
CN109916601A (zh) * 2019-04-11 2019-06-21 北极光电(深圳)有限公司 基于机器视觉检查薄膜滤光片是否挑错的系统及检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016052383A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2016224831A (ja) * 2015-06-03 2016-12-28 日本電気株式会社 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム
US20170178060A1 (en) * 2015-12-18 2017-06-22 Ricoh Co., Ltd. Planogram Matching

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417696B2 (en) * 2015-12-18 2019-09-17 Ricoh Co., Ltd. Suggestion generation based on planogram matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016052383A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2016224831A (ja) * 2015-06-03 2016-12-28 日本電気株式会社 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム
US20170178060A1 (en) * 2015-12-18 2017-06-22 Ricoh Co., Ltd. Planogram Matching

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501523B2 (en) 2017-12-18 2022-11-15 Shanghai Cloudpick Smart Technology Co., Ltd. Goods sensing system and method for goods sensing based on image monitoring
JP2021015368A (ja) * 2019-07-10 2021-02-12 富士通株式会社 物品推定プログラム、物品推定装置、及び物品推定方法
JP7346951B2 (ja) 2019-07-10 2023-09-20 富士通株式会社 物品推定プログラム、物品推定装置、及び物品推定方法
JPWO2021033310A1 (ja) * 2019-08-22 2021-02-25
WO2021033310A1 (ja) * 2019-08-22 2021-02-25 日本電気株式会社 処理装置、処理方法及びプログラム
JP7405144B2 (ja) 2019-08-22 2023-12-26 日本電気株式会社 処理装置、処理方法及びプログラム
WO2021220342A1 (ja) * 2020-04-27 2021-11-04 日本電気株式会社 物体認識装置、物体認識方法、学習装置、学習方法、及び、記録媒体
WO2023062724A1 (ja) * 2021-10-12 2023-04-20 日本電気株式会社 画像解析システム、画像解析方法およびプログラム
WO2023062723A1 (ja) * 2021-10-12 2023-04-20 日本電気株式会社 画像解析システム、画像解析方法およびプログラム
WO2023127085A1 (ja) * 2021-12-28 2023-07-06 日本電気株式会社 物体認識装置、物体認識方法、及び、記憶媒体

Also Published As

Publication number Publication date
JPWO2019107157A1 (ja) 2020-11-19
US20200394599A1 (en) 2020-12-17
JP7191851B2 (ja) 2022-12-19

Similar Documents

Publication Publication Date Title
WO2019107157A1 (ja) 棚割情報生成装置及び棚割情報生成プログラム
US11900316B2 (en) Information processing apparatus, control method, and program
JP6962356B2 (ja) 画像処理装置、表示制御装置、画像処理方法、および、記録媒体
US9779326B2 (en) Moving image recognition apparatus and moving image recognition method
US10573022B2 (en) Object recognition system and method of registering a new object
US10078828B2 (en) Commodity registration apparatus and commodity registration method
TW202117506A (zh) 電子裝置及其利用觸控資料的物件資訊辨識方法
WO2019088223A1 (ja) 検出装置及び検出プログラム
JP2019200533A (ja) 計数装置、会計システム、学習装置、及び、制御方法
US9805357B2 (en) Object recognition apparatus and method for managing data used for object recognition
CN110930087A (zh) 库存盘点方法及装置
JP2018156308A (ja) 情報処理装置、情報処理システム及びプログラム
US9355395B2 (en) POS terminal apparatus and commodity specification method
JP2015022411A (ja) 認識辞書評価装置及び認識辞書評価プログラム
JP5876129B2 (ja) 動画像認識装置及び動画像認識方法
JP7108553B2 (ja) 棚割情報生成装置及び棚割情報生成プログラム
JP6857373B1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20170038935A1 (en) Information processing device, information display method, and recording medium
US20230306630A1 (en) Image analysis server, object counting method using image analysis server, and object counting syste
JP7360660B1 (ja) 情報処理システム
JP6532114B1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112764594B (zh) 电子装置及其利用触控数据的物件信息识别方法
WO2023062724A1 (ja) 画像解析システム、画像解析方法およびプログラム
JP2022010961A (ja) 検知装置及び検知プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18883561

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019557138

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18883561

Country of ref document: EP

Kind code of ref document: A1