WO2019065212A1 - 情報処理装置、情報処理システム、制御方法、及びプログラム - Google Patents

情報処理装置、情報処理システム、制御方法、及びプログラム Download PDF

Info

Publication number
WO2019065212A1
WO2019065212A1 PCT/JP2018/033600 JP2018033600W WO2019065212A1 WO 2019065212 A1 WO2019065212 A1 WO 2019065212A1 JP 2018033600 W JP2018033600 W JP 2018033600W WO 2019065212 A1 WO2019065212 A1 WO 2019065212A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
information
shelf
display information
image
Prior art date
Application number
PCT/JP2018/033600
Other languages
English (en)
French (fr)
Inventor
八栄子 米澤
開登 堀田
矢島　明
瑞人 関根
誉典 江原
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019544538A priority Critical patent/JP7243627B2/ja
Priority to US16/651,762 priority patent/US11531960B2/en
Publication of WO2019065212A1 publication Critical patent/WO2019065212A1/ja
Priority to US17/986,038 priority patent/US20230074521A1/en
Priority to JP2023004493A priority patent/JP7416292B2/ja
Priority to US18/229,022 priority patent/US20230376894A1/en
Priority to US18/229,324 priority patent/US20230376895A1/en
Priority to JP2023212804A priority patent/JP2024019591A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present invention relates to the management of goods.
  • Patent Document 1 discloses a technique for automatically determining whether the relationship between a product placed on a product shelf and a shelf label attached to the product shelf is correct.
  • An operation may be performed in which how to display each product on a product shelf (display position, face number, etc.) is defined in advance, and products are displayed according to the specification.
  • a person in charge of the maker visually checks the display condition of the product to check whether the product is correctly displayed.
  • the visual check has a problem that the work load on the worker is large.
  • the present invention has been made in view of the above problems, and one of its purposes is to provide a technology capable of easily grasping the correctness of display of goods.
  • the information processing apparatus includes: 1) image analysis means for performing image analysis of a shelf image on which a product shelf is captured and generating actual display information indicating the display status of the product on the product shelf; and 2) actual display information And comparison means for comparing the reference display information representing the reference of the display of the product on the product shelf, and generating comparison information representing the result of the comparison.
  • An information processing system of the present invention includes an information processing device and a portable terminal.
  • the portable terminal transmits a shelf image on which a product shelf is captured to the information processing apparatus.
  • the information processing apparatus 1) receives the transmitted shelf image, analyzes the shelf image, and generates an actual display information indicating the display status of the product on the product shelf, and 2) the actual display information And the reference display information representing the reference of the display of the product on the product shelf, comparing means for generating comparison information representing the result of the comparison, and 3) using the comparison information as the reference indicated by the reference display information
  • It has a production
  • the portable terminal receives the result image and causes the display device to display it.
  • the control method of the present invention is executed by a computer.
  • the control method includes: 1) an image analysis step of performing image analysis of a shelf image on which a product shelf is captured and generating actual display information indicating a display condition of a product on the product shelf; 2) actual display information; Comparing with reference display information representing a reference of display of goods on the shelf, and generating comparison information representing a result of the comparison.
  • the program of the present invention causes a computer to execute each step of the control method of the present invention.
  • FIG. 7 is a diagram conceptually illustrating an operation of the information processing device according to the first embodiment. It is a figure which illustrates the functional composition of an information processor. It is a figure which illustrates the composition of the computer which realizes an information processor. It is a figure which illustrates the use form of an information processor.
  • 5 is a flowchart illustrating the flow of processing executed by the information processing apparatus of the first embodiment; It is a figure which illustrates the case where the same goods are displayed separately. It is a figure which illustrates the composition of actual display information. It is a figure which illustrates the composition of standard display information. It is a figure which illustrates comparison information.
  • FIG. 8 is a block diagram illustrating a functional configuration of the information processing apparatus of the second embodiment.
  • FIG. 7 is a diagram illustrating a result image including a list of products. It is a figure which illustrates a mode that a result image changes according to operation with respect to a goods list. It is a figure which illustrates a mode that a result image changes according to operation with respect to the image of goods. It is a figure which exemplifies the result image in which the superposition data showing an unknown goods is included. It is a figure which illustrates correction information.
  • each block diagram represents a configuration of a function unit, not a configuration of a hardware unit, unless otherwise described.
  • FIG. 1 is a diagram conceptually illustrating the operation of the information processing apparatus (the information processing apparatus 2000 whose configuration is illustrated in FIG. 2) according to the first embodiment.
  • the operation of the information processing apparatus 2000 described with reference to FIG. 1 is an example for facilitating the understanding of the information processing apparatus 2000, and the operation of the information processing apparatus 2000 is not limited. Details and variations of the operation of the information processing apparatus 2000 will be described later.
  • the information processing apparatus 2000 acquires a shelf image obtained by capturing a product shelf on which a product is displayed.
  • the shelf image 12 is generated as a result of the product shelf 20 being imaged by the camera 10.
  • the shelf image 12 includes a product shelf 20 and a product displayed on the product shelf 20.
  • a product shelf targeted by the information processing apparatus 2000 may be a place where products are displayed, and is not limited to one having a plurality of steps as illustrated in FIG. 1. For example, in the case where products are stacked on a desk, this desk is treated as a product shelf.
  • the information processing apparatus 2000 acquires reference display information representing a reference of display of a product on the product shelf 20.
  • the reference display information indicates information on a product to be displayed on the product shelf 20, a position of each product on the product shelf 20, and the like.
  • the information processing apparatus 2000 compares the actual display status represented by the shelf image 12 with the reference display information, and generates information representing the comparison result. For example, in FIG. 1, information indicating that there is an error in the arrangement of the two products is generated.
  • the information processing apparatus 2000 analyzes the image of the shelf image 12 and generates information (hereinafter, actual display information) regarding the display condition of the product on the product shelf 20.
  • the actual display information indicates, for example, the name of a product displayed on the product shelf 20, the position of each product, and the like.
  • the information processing apparatus 2000 compares the actual display information generated by analyzing the shelf image 12 with the acquired reference display information, and generates comparison information representing the result.
  • comparison information representing the result is generated by comparing the actual display information generated by analyzing the shelf image 12 with the reference display information. Ru.
  • comparison information representing the result is generated by comparing the actual display information generated by analyzing the shelf image 12 with the reference display information. Ru.
  • Ru As described above, by comparing the actual display information and the reference display information, it can be grasped whether or not the display condition of the product on the product shelf 20 matches the reference. Therefore, compared with the case where a person visually confirms whether or not the display status of the product conforms to the standard, it can be easily grasped whether or not the display status of the product conforms to the standard.
  • FIG. 2 is a diagram illustrating a functional configuration of the information processing apparatus 2000.
  • the information processing apparatus 2000 includes an image analysis unit 2020 and a comparison unit 2040.
  • the image analysis unit 2020 generates actual display information by analyzing the shelf image 12.
  • the comparison unit 2040 generates comparison information by comparing the actual display information with the reference display information.
  • Each functional component of the information processing apparatus 2000 may be realized by hardware (for example, a hard-wired electronic circuit or the like) that realizes each functional component, or a combination of hardware and software (for example: It may be realized by a combination of an electronic circuit and a program for controlling it.
  • hardware for example, a hard-wired electronic circuit or the like
  • software for example: It may be realized by a combination of an electronic circuit and a program for controlling it.
  • each functional configuration unit of the information processing apparatus 2000 is realized by a combination of hardware and software will be further described.
  • the computer 1000 is a variety of computers.
  • the computer 1000 is a personal computer (PC), a server machine, a tablet terminal, a smartphone, or the like.
  • the computer 1000 may be a dedicated computer designed to realize the information processing apparatus 2000, or may be a general-purpose computer.
  • FIG. 3 is a diagram illustrating the configuration of a computer 1000 that implements the information processing apparatus 2000.
  • the computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input / output interface 1100, and a network interface 1120.
  • the bus 1020 is a data transmission path for the processor 1040, the memory 1060, the storage device 1080, the input / output interface 1100, and the network interface 1120 to mutually transmit and receive data.
  • the processor 1040 is a processor realized by a central processing unit (CPU) or a graphics processing unit (GPU).
  • the memory 1060 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1080 is an auxiliary storage device realized by a hard disk, a solid state drive (SSD), a memory card, or a read only memory (ROM).
  • the input / output interface 1100 is an interface for connecting the computer 1000 and an input / output device.
  • an input device such as a keyboard and an output device such as a display device are connected to the input / output interface 1100.
  • the network interface 1120 is an interface for connecting the computer 1000 to a network.
  • This communication network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the method of connecting the network interface 1120 to the network may be wireless connection or wired connection.
  • the storage device 1080 stores program modules for realizing the respective functions of the information processing apparatus 2000.
  • the processor 1040 executes each program module to realize each function corresponding to the program module.
  • the camera 10 is an arbitrary imaging device capable of performing imaging and generating an image representing an imaging result.
  • the camera 10 is a camera provided in a smartphone or a tablet terminal.
  • FIG. 4 is a diagram illustrating a usage form of the information processing apparatus 2000.
  • an information processing system 4000 is configured by the information processing device 2000 and the portable terminal 3000.
  • the portable terminal 3000 is a portable terminal used by a user.
  • the information processing device 2000 is realized, for example, as a server device.
  • the portable terminal 3000 is provided with the camera 10.
  • an application 100 for using the information processing apparatus 2000 is installed in the mobile terminal 3000 in advance.
  • the application 100 controls the camera 10 to perform imaging.
  • the application 100 transmits a request including the shelf image 12 generated by the camera 10 to the information processing apparatus 2000.
  • the information processing apparatus 2000 receives the above request from this application.
  • the information processing apparatus 2000 performs image analysis on the shelf image 12 indicated in the request to generate actual display information, and generates comparison information by comparing this with reference display information. Then, the information processing apparatus 2000 transmits the generated comparison information to the portable terminal 3000.
  • the comparison information does not have to be transmitted to the portable terminal 3000. How to handle the generated comparison information will be described later.
  • the information processing apparatus 2000 does not necessarily have to be used via the portable terminal 3000.
  • FIG. 5 is a flowchart illustrating the flow of processing executed by the information processing apparatus 2000 of the first embodiment.
  • the image analysis unit 2020 acquires the shelf image 12 (S102).
  • the image analysis unit 2020 analyzes the shelf image 12 to generate actual display information (S104).
  • the comparison unit 2040 acquires reference display information (S106).
  • the comparison unit 2040 generates comparison information by comparing the actual display information with the reference display information (S108).
  • the flow of processing executed by the information processing apparatus 2000 is not limited to the above-described example.
  • acquisition of reference display information may be performed prior to generation of actual display information.
  • the timing at which the information processing apparatus 2000 executes the series of processes shown in FIG. 5 is arbitrary.
  • the information processing apparatus 2000 executes a series of processes shown in FIG.
  • the information processing apparatus 2000 may receive an input operation for specifying the shelf image 12 from a user who operates an input device connected to the information processing apparatus 2000.
  • the information processing apparatus 2000 executes a series of processes shown in FIG. 5 in response to the reception of the input operation from the user.
  • the method by which the image analysis unit 2020 acquires the shelf image 12 is arbitrary.
  • the image analysis unit 2020 acquires the shelf image 12 included in the request transmitted by the portable terminal 3000 described above.
  • the image analysis unit 2020 accesses the storage device in which the designated shelf image 12 is stored and receives the shelf image 12 in response to the reception of the user operation for designating the shelf image 12. You may get it.
  • one product shelf 20 may be represented by a plurality of shelf images 12.
  • all parts of the product shelf 20 can be imaged by imaging the product shelf 20 a plurality of times while shifting the imaging range of the camera 10 in the horizontal direction.
  • the two shelf images 12 including the mutually adjacent areas of the commodity shelf 20 have their boundaries (on the shelf image 12
  • the product shelf 20 is imaged such that the product at the end is included in both shelf images 12.
  • the information processing apparatus 2000 can grasp the state of one product shelf 20 from the plurality of shelf images 12 by treating the plurality of shelf images 12 as being combined in a portion including a common product. . This corresponds to, for example, taking a plurality of photographs so that parts of each other overlap in two photographs in order to obtain a panoramic photograph.
  • the information processing apparatus 2000 needs to specify which product shelf installed in a store or the like is the product shelf 20 included in the acquired shelf image 12. For example, when acquiring the shelf image 12, the information processing apparatus 2000 also acquires an identifier specifying the product shelf 20 included in the shelf image 12.
  • a request including the shelf image 12 is transmitted from the application 100 operating on the portable terminal 3000 to the information processing apparatus 2000.
  • the application 100 includes the identifier of the product shelf 20 included in the shelf image 12 in this request.
  • the application 100 receives an input specifying the identifier of the product shelf 20 from the user of the portable terminal 3000, and includes the input identifier in the request.
  • the method of identifying the product shelf 20 included in the shelf image 12 is not limited to the method of acquiring the identifier of the product shelf 20 along with the shelf image 12.
  • the identifier of the product shelf 20 is captured by the camera 10.
  • a mark or the like representing the identifier of the product shelf 20 is attached to the product shelf 20 in advance.
  • the shelf image 12 generated as a result of imaging the product shelf 20 with the camera 10 includes a mark representing the identifier of the product shelf 20.
  • the information processing apparatus 2000 can specify the product shelf 20 included in the shelf image 12 by analyzing the mark. For example, as the mark, a character string representing an identifier of the product shelf 20 or a QR code (registered trademark) can be used.
  • the image analysis unit 2020 analyzes the shelf image 12 to generate actual display information (S104).
  • S104 actual display information
  • the actual display information includes identification information of each product displayed on the product shelf 20.
  • the identification information of the product is an identifier such as a product name or a JAN (Japanese Article Number) code.
  • JAN Japanese Article Number
  • the image analysis unit 2020 extracts an image area representing each product from the shelf image 12.
  • the image analysis unit 2020 compares the extracted image area with the image feature of the product registered in the product database to acquire information on the product represented by the image area from the product database.
  • the product database for each product, at least a product name, an identifier (such as a JAN (Japanese Article Number) code), a name of a group to which the product belongs (for example, a brand name), a product category to which the product belongs, and an internal capacity of the product (for example, , 350 ml), the size of the product, the standard price of the product, and information such as the manufacturer are registered.
  • the maker of a product is any maker (for example, a manufacturing maker or a sales maker) related to the product.
  • the image analysis unit 2020 can specify the product name of each product included in the shelf image 12 based on the information acquired from the product database as described above.
  • the actual display information indicates the name of the group to which the product belongs.
  • the group to which the product belongs can be acquired from the product database, for example, in the same manner as the product name described above.
  • any information that can identify the maker such as a maker identifier, can be used. The same applies to reference display information to be described later.
  • the actual display information indicates the maker of the product.
  • the maker of the product can be acquired from the product database, for example, in the same manner as the product name described above.
  • the maker name any information that can identify the maker such as a maker identifier can be used. The same applies to reference display information to be described later.
  • the actual display information indicates the position on the product shelf 20 of the product.
  • the position of the product may be, for example, a combination of the position in the row direction (for example, the number of steps from the top row) and the position in the row direction (for example, the number of rows from the leftmost row) expressed.
  • the existing technology can be used as a technology for specifying the position of each product from the image including the product shelf.
  • the actual display information indicates a plurality of positions for one product.
  • FIG. 6 is a diagram illustrating a case in which the same goods are displayed separately.
  • the product A is divided into an area 70-1 and an area 70-2 and arranged.
  • the number of faces in the area 70-1 is two, and the number of faces in the area 70-2 is three.
  • real display information shows a face number separately about each of several mutually distant places.
  • the actual display information indicates 2 for the area 70-1 and 3 for the area 70-2 as the number of faces of the product A.
  • the actual display information may be the sum of the faces at a plurality of places separated from each other as the face number of the product.
  • the actual display information indicates 5 as the number of faces of the product A.
  • FIG. 7 is a diagram illustrating the configuration of actual display information.
  • the display information in FIG. 7 is referred to as a table 400.
  • the table 400 has columns of product 402, group 404, maker 406, position 408, and face number 410.
  • information to be included in the actual display information that is, information to be obtained by image analysis of the shelf image 12 may be set in advance in the image analysis unit 2020 or may be determined dynamically. In the latter case, for example, the image analysis unit 2020 determines the information to be obtained from the shelf image 12 based on the acquired reference display information. For example, when the reference display information indicates the product to be placed on the shelf and the position where each product should be placed, the information that the image analysis unit 2020 should obtain from the shelf image 12 is the product name and the position of the product.
  • the reference display information represents the reference of the display of the product on the product shelf 20.
  • the information shown in the reference display information will be described below.
  • the reference display information indicates identification information (such as a product name and a JAN code) of each product to be displayed on the product shelf 20.
  • identification information such as a product name and a JAN code
  • the identification information of the item indicated by the reference display information is assumed to be the item name.
  • the reference display information indicates the position on the product shelf 20 where each product should be placed.
  • the position of the product indicated by the reference display information is represented by, for example, a combination of the position in the row direction and the position in the row direction.
  • the reference display information indicates that both the position in the row direction and the position in the row direction of the product should be the position indicated by the reference display information.
  • the position of the product indicated by the reference display information may be a range of positions in the row direction or the vertical direction.
  • the reference display information indicates a range such as “second to fourth” or “third to fifth”.
  • the reference display information may indicate only the position in the row direction for a certain product. In this case, the goods can be displayed in any row of steps shown in the reference display information.
  • the reference display information may indicate only the position in the row direction for a certain product.
  • the reference display information indicates the number of faces of the product.
  • the reference display information indicates 5 as the number of faces of the product A
  • the product A indicates that the items should be displayed so that the number of faces is 5.
  • the reference display information may indicate that a product should be arranged collectively (parallel request) for a certain product.
  • the unit in which the parallel request is specified is not limited to the product.
  • parallel requests may be specified in units of product groups.
  • the reference display information indicates a parallel request for a product of a specific brand. Each product belonging to a brand whose parallel requirement is indicated in the reference display information is required to be arranged at a collective position in the product shelf 20.
  • parallel requests may be specified on a maker basis.
  • the reference display information indicates a parallel request for a product of a specific maker. It is required that each product of the maker whose parallel requirement is indicated in the reference display information be arranged at a collective position in the product shelf 20.
  • the parallel request may be specified by the content of the product.
  • the reference display information indicates a parallel request for a product of a specific capacity. It is required that each commodity of a specific capacity, for which parallel demand is indicated in the reference display information, be arranged at a collective position in the commodity shelf 20. More specifically, for example, when the specific content indicates 500 ml, a product with 500 ml of content, for example, a 500 ml can of beer sold by a manufacturer, is placed at a position where the product shelf 20 is gathered. Do.
  • the reference display information may indicate a request for arrangement relationship between a plurality of commodities (hereinafter, arrangement request).
  • arrangement request is a request “arrange the goods A and the goods B adjacent to each other”.
  • the reference display information indicates the arrangement request for the product A and the product B without indicating the position. In this case, as long as the product A and the product B are adjacent to each other, they may be arranged at any position on the product shelf 20.
  • alignment requirements may indicate that multiple items should be placed apart. For example, it may be possible to define a sequence request such as “product A and product B are arranged in different rows”.
  • an array request may be specified in units of product groups.
  • it is a request that “group D and group E be arranged adjacent to each other”.
  • the arrangement request of the product may also indicate that a plurality of groups should be separated.
  • the arrangement request may be specified on a maker basis.
  • the area in which the product of the maker X is arranged and the area in which the product of the maker Y is arranged need to be adjacent to each other.
  • the arrangement request of the maker may also indicate that the products of a plurality of makers should be arranged apart from each other.
  • the reference display information may indicate, for each product, a period in which the reference display information is applied to the product.
  • the reference display information indicates an application period of "2017/10/01 to 2017/10/31" for the product A
  • information for example, position and the like
  • the application period may be determined not for each product but for a group of products or the entire reference display information.
  • FIG. 8 is a diagram illustrating the configuration of reference display information.
  • the table of FIG. 8 is referred to as a table 500.
  • the table 500 has columns of product 502, group 504, maker 506, position 508, number of faces 510, parallel request 512, arrangement request 514, and application period 516.
  • the group 504 and the maker 506, data is shown in any one.
  • the record in which the item name is indicated in the item 502 indicates the criteria for the item of the name.
  • the record whose group name is indicated in the group 504 indicates the criteria for the group of that name.
  • the record in which the maker name is shown to the maker 506 shows the standard about the maker of the name.
  • the product to be placed on the product shelf 20 is a product whose product name is indicated in the product 502.
  • the table 500 described with reference to FIG. 8 is not limited to the above-described configuration.
  • the table 500 may further include at least one of an identifier, a product category, an internal capacity, and a product size.
  • the reference display information may be information on all the products placed on the product shelf 20 or may be information on a part of the products. In the latter case, for example, the reference display information indicates the display reference of a product for a specific maker. In this case, reference display information on one product shelf 20 is prepared for each manufacturer. Therefore, the reference display information in FIG. 8 may not have the maker 506.
  • the information processing apparatus 2000 may compare only the reference display information of a specific maker with the actual display information. In this case, for example, the information processing apparatus 2000 acquires information (for example, a manufacturer name) specifying the reference display information to be compared. This information is input by the user of the information processing apparatus 2000. For example, the user performs an input operation for specifying a maker name on the portable terminal 3000 described above.
  • the application 100 transmits the maker name input by the user in the above-described request.
  • the information processing apparatus 2000 can grasp the maker name designated by the user by receiving the request. Besides, for example, the user may input a maker name by operating an input device connected to the information processing apparatus 2000.
  • Reference display information is stored in advance in a storage device accessible from the information processing apparatus 2000.
  • the information processing apparatus 2000 acquires the reference display information by accessing the storage device.
  • the information processing apparatus 2000 acquires reference display information on the product shelf 20 using the identifier of the product shelf 20 to be processed.
  • the information processing apparatus 2000 acquires reference display information of the specific maker using the maker name and the like acquired by the method described above.
  • the reference display information may be stored in a storage device included in the management server.
  • the information processing apparatus 2000 transmits the request including the identifier of the product shelf 20 to the management server, thereby acquiring the reference display information of the product shelf 20 specified by the identifier.
  • an identifier for example, a maker name
  • the maker is also included in the request.
  • the comparison unit 2040 compares the actual display information with the reference display information, and generates comparison information representing the comparison result (S108). For that purpose, the comparison unit 2040 determines whether or not each standard (each standard for a product, a group of products, or a maker) indicated by the standard display information is satisfied in the actual display information.
  • the comparison unit 2040 is displayed in the reference display information by comparing the product name (product identification information) shown in the actual display information with the product name (product identification information) shown in the reference display information. It is determined whether each item is present in the actual display information.
  • the comparison unit 2040 determines whether the position of the product in the actual display information matches the position indicated in the reference display information. Determine
  • the comparison unit 2040 matches the number of faces of the product indicated by the actual display information with the number of faces indicated in the reference display information. It is determined whether to do.
  • the number of product faces indicated by the actual display information may be greater than the number of product faces indicated by the reference display information. For example, for a product whose number of faces should be 3, the number of faces is 5 in an actual display situation.
  • the number of faces of the product in the actual display situation exceeds the number of faces indicated by the reference display information, it may be determined that the number of faces of the item matches the reference, or It may be determined that they do not match.
  • Information that determines which of the determination results is to be made is included, for example, in the reference display information.
  • the comparison unit 2040 determines whether the parallel request or the array request is satisfied based on the position of each product indicated in the actual display information. For example, it is assumed that the reference display information indicates a parallel request indicating that items belonging to a certain item group should be placed together. In this case, the comparison unit 2040 determines, based on the positions of the products belonging to the product group in the actual display information, whether or not the products of the product group are collectively placed. Specifically, if the position of each product belonging to the product group is continuous in the row direction or the column direction, those products are placed together, and the parallel request is satisfied.
  • the reference display information indicates an arrangement request indicating that a plurality of goods should be placed adjacent to each other.
  • the comparison unit 2040 determines whether the arrangement request is satisfied by determining whether or not the positions of the plurality of products are adjacent in the actual display information.
  • the comparison unit 2040 compares the reference display information with the reference display information only for the products whose application period includes the present time in the reference display information. I do.
  • FIG. 9 is a diagram illustrating comparison information.
  • the table of FIG. 9 is called a table 600.
  • the table 600 has columns of product 602, group 604, maker 606, display 608, position 610, number of faces 612, parallel request 614, and arrangement request 616.
  • the record in which the item name is indicated in the item 602 indicates the comparison result of the reference item of the item name indicated in the reference display information and the actual display information.
  • the record whose group name is indicated in the group 604 indicates the comparison result of the reference of the product group of the group name indicated in the reference display information and the actual display information.
  • the record in which the maker name is indicated to the maker 606 indicates the comparison result of the standard of the goods of the maker name indicated in the reference display information and the actual display information.
  • the display 608, the position 610, the number of faces 612, the parallel request 614, and the arrangement request 616 respectively indicate whether the actual display information meets the criteria.
  • the reference display information shows the name of the product
  • the actual display information shows the name of the product. Represents that is not shown. That is, it indicates that the product to be displayed on the product shelf 20 is not displayed.
  • the position 610 of the record of a certain item is "not matched”
  • the position of the item indicated by the actual display information does not match the reference indicated in the reference display information.
  • the comparison unit 2040 stores the comparison information in the storage device.
  • the comparison unit 2040 may generate image data or the like representing a comparison result by using comparison information as described in an embodiment to be described later.
  • the reference display information indicates the reference for a plurality of items such as the product name of the product to be displayed on the product shelf 20, the position of each product, the number of faces of each product, and the like.
  • the comparing unit 2040 may compare the actual display information and the reference display information for all the items shown in the reference display information, or compare the actual display information and the reference display information for some items. You may In the latter case, for example, an item to be compared is designated by an input operation by the user.
  • the comparing unit 2040 may compare the actual display information with the reference display information for only some of the products. For example, the comparison unit 2040 compares the actual display information with the reference display information only for the product of a specific maker. In this case, for example, the specific maker is designated by an input operation by the user.
  • the method of comparing real display information and reference display information only about a specific maker is not limited to the above-mentioned method.
  • reference display information may be prepared for each manufacturer, and only reference display information of a specific manufacturer may be acquired by the comparison unit 2040.
  • the comparison unit 2040 may calculate an index value that represents the degree to which the display status of the product represented by the actual display information matches the reference displayed in the reference display information.
  • This index value is called the match rate.
  • the match rate is a value obtained by dividing "the number of products displayed on the product shelf 20 and meeting the criteria shown in the reference display information" by "the total number of products to be displayed on the product shelf 20". It can be defined as The following equation (1) represents this definition.
  • “a product is in conformity with the standard” means that the product information indicated by the actual display information is in compliance with all the criteria (position, face number, etc.) indicated by the standard display information.
  • the match rate may be calculated not only for each product shelf 20 but also for the entire store.
  • the match rate of the entire store is calculated using the comparison information generated for each of the plurality of product shelves 20.
  • this match rate is defined as a value obtained by dividing "the number of products displayed in the store and meeting the criteria shown in the standard display information" by "the total number of products to be displayed in the store". It can be defined.
  • equation (2) represents this definition.
  • the match rate (formula (1)) calculated for each shelf will be referred to as “shelf-based match rate”
  • the match rate (formula (2)) calculated for the entire store will be referred to as “store-based match rate.”
  • shelf-based match rate the match rate calculated for each shelf
  • store-based match rate the match rate calculated for the entire store.
  • the store-by-store matching rate of each store can be used as one of the indices for grasping the operation status of each store.
  • Stores with high matching rates by store are said to be displaying goods appropriately according to the standard.
  • the matching rate by store is low, there is a possibility that goods are not properly displayed.
  • the opportunity for the information processing apparatus 2000 to calculate the match rate by store is arbitrary.
  • the information processing apparatus 2000 calculates the store-by-store match rate for the store, as the comparison information is generated for all the product shelves 20 present in the store.
  • the matching rate by shelf and the matching rate by store may be calculated only for the products of a specific manufacturer, not for all the products displayed. For example, suppose that the matching rate by shelf for a certain maker is calculated.
  • the comparing unit 2040 is to display “the number of products that match the standard indicated in the reference display information among the products of the maker placed in the product shelf 20” “to display the product shelf 20. The value divided by “the total number of products of the manufacturer” is calculated as the matching rate by shelf for the manufacturer.
  • the comparison unit 2040 is “the number of products of the manufacturer that are placed in the store that match the criteria indicated in the reference display information” “the number of products of the manufacturer that should be displayed in the store. The value obtained by dividing by “1” is calculated as a store-by-store match rate for the maker.
  • the information processing apparatus 2000 acquires identification information (maker name, maker identifier, etc.) for identifying the maker.
  • the identification information of the maker is included in the request transmitted from the portable terminal 3000, for example.
  • the information processing apparatus 2000 acquires the identifier of the product shelf 20 in order to specify the product shelf 20 included in the shelf image 12. Then, the information processing apparatus 2000 acquires reference display information on the product shelf 20 specified by the identifier.
  • the information processing apparatus 2000 detects the identifier of the product shelf 20 included in the shelf image 12. The display situation and the standard display information on the other product shelf 20 are compared. Therefore, the matching rate by shelf calculated in this case is highly likely to be low.
  • the information processing apparatus 2000 determines whether the matching rate by shelf calculated by the comparing unit 2040 is less than or equal to a predetermined value, and if it is less than or equal to the predetermined value, the identifier of the product shelf 20 may be incorrect. It may be configured to output an alert indicating that there is a sex.
  • the information processing apparatus 2000 receives, from the portable terminal 3000, a request including the shelf image 12 and the identifier of the product shelf 20.
  • the information processing apparatus 2000 transmits a message representing the above-described alert as a response to the request.
  • the user of the portable terminal 3000 that has received this message can, for example, take action such as specifying the correct identifier of the product shelf 20 and retransmitting the request.
  • the situation in which the alert is output is not limited to such a situation.
  • the information processing apparatus 2000 uses the match rate as a criterion when the match rate does not satisfy a predetermined condition.
  • An alert may be output indicating that no appropriate display has been made along the way.
  • the predetermined condition is a condition that the match rate is equal to or more than a predetermined value.
  • FIG. 10 is a block diagram illustrating the functional configuration of the information processing apparatus 2000 of the second embodiment.
  • the information processing apparatus 2000 of the second embodiment has the same function as the information processing apparatus 2000 of the first embodiment except for the matters described below.
  • the information processing apparatus 2000 of the second embodiment has a generation unit 2060.
  • the generation unit 2060 generates a result image for the product shelf 20 using the comparison information generated for the product shelf 20.
  • the result image of the product shelf 20 is image data representing a product that does not match the criteria indicated by the reference display information and a product that matches the criteria indicated by the reference display information in a distinguishable manner.
  • the resultant image may be stored in the storage device as an image file or may be displayed on the display device as screen data.
  • the result of comparing the display state of the product on the product shelf 20 with the reference display information is graphically represented in the form of a result image. Therefore, it is possible to intuitively easily grasp the difference between the display state of the product on the product shelf 20 and the display standard.
  • the display device on which the resulting image is displayed can be any display device.
  • the display device is a display device connected to the information processing device 2000, a display device of the portable terminal 3000, or the like.
  • the display device is a display connected to a terminal installed in a staff room of a store where the product shelf 20 is installed, or a terminal installed in an office of a company operating the store It may be an apparatus.
  • a rounder of a certain maker or the like uses the information processing apparatus 2000 in order to check whether the goods of the maker are correctly displayed on the goods rack 20.
  • the display device on which the result image is displayed may be a display device connected to a terminal installed in an office or the like of the manufacturer.
  • the terminal installed in the staff room or office is, for example, a PC.
  • the information processing device 2000 transmits the result image to the terminal to which the display device is connected. Therefore, the information processing apparatus 2000 needs to be able to specify the transmission destination of the result image.
  • information for specifying the transmission destination of the result image is stored in advance in a storage device accessible from the information processing apparatus 2000.
  • the information processing apparatus 2000 specifies the transmission destination of the result image by accessing the storage device.
  • the information processing apparatus 2000 when the information processing apparatus 2000 performs processing in response to a request transmitted from the portable terminal 3000, the information processing apparatus 2000 transmits a result image to the transmission source of the request. Further, the transmission destination of the result image may be included in the above request. In this case, the information processing apparatus 2000 transmits the resultant image to the transmission destination indicated in the request.
  • the generation unit 2060 generates a result image by superimposing superimposed data representing a comparison result of actual display information and reference display information on the shelf image 12.
  • FIG. 11 is a first diagram illustrating a resultant image.
  • superimposed data indicating the comparison result is superimposed on the shelf image 12.
  • Superimposition data 90 (a rectangle of a dot pattern) is superimposed on the image area of the product that matches the reference indicated by the reference display information.
  • superimposed data 92 hatchched rectangular is superimposed on the image area of the product that does not match the reference indicated by the reference display information.
  • Superimposition data 94 (rectangular pattern) are superimposed.
  • the reference display information indicates the position of "second row, third row” as the position of the product A, if the product is not arranged at this position, the product is out of stock at this position. It can be said that
  • the superimposed data may use a color instead of a pattern such as a dot pattern.
  • a color such as a dot pattern.
  • green, red and yellow are used instead of dot pattern, diagonal pattern and lattice pattern respectively.
  • superimposition data (superimposition data 92 or superimposition data 94 in FIG. 11) representing a portion that does not match the reference indicated by the reference display information may be emphasized by a method such as blinking.
  • FIG. 12 is a second diagram illustrating the resultant image 80.
  • superimposed data 96 black circle marks
  • superimposed data 97 cross mark
  • FIG. 13 is a third diagram illustrating the result image 80. As shown in FIG. In FIG. 13, one superimposed data 98 is superimposed on the shelf image 12.
  • the superimposed data 98 is a heat map in which the color of the portion not matching the reference display information is relatively dark and the color of the portion matching the reference display information is relatively light.
  • the result image 80 may include, in addition to the shelf image 12 on which the overlapping data representing the comparison result is superimposed, a character string representing the matching rate by shelf or the like.
  • FIG. 14 is a diagram illustrating the resulting image 80 including the shelf-specific match rate.
  • the resulting image 80 of FIG. 14 includes a string 70 representing the shelf matching rate on the shelf image 12.
  • the result image 80 may include a list of products displayed in the shelf image 12 in addition to the shelf image 12 on which the superimposed data representing the comparison result is superimposed.
  • FIG. 15 is a diagram illustrating a result image 80 including a list of products.
  • a shelf image 12 on which superimposed data is superimposed is displayed.
  • a product list 140 is displayed.
  • the generation unit 2060 may change the display of the area 120 in response to the user performing an input operation on the product list 140. For example, it is assumed that the user selects a certain record of the item list 140. In this case, the comparison unit 2040 emphasizes the image area corresponding to the product indicated by the selected record in the area 120.
  • FIG. 16 is a diagram illustrating how the resulting image 80 changes in response to an operation on the product list 140.
  • the user has added an input operation for selecting the record of the product A to the result image 80 represented in FIG. 15.
  • superimposed data 160 is displayed on the resultant image 80.
  • the superimposed data 160 is obtained by extracting and enlarging the image area corresponding to the product A from the result image 80 of FIG. 15, and is displayed so as to be positioned in front of the shelf image 12.
  • the image area corresponding to the product A selected by the user is emphasized and viewed as if it has come to the front.
  • the operation of selecting a record is not limited to the touch operation, and may be a mouse operation or the like.
  • the generation unit 2060 may change the display of the product list 140 in response to the user performing an input operation on the product image displayed in the area 120. Specifically, when the user selects an image of a certain item, the record of the item list 140 indicating the item is highlighted.
  • FIG. 17 is a diagram illustrating how the resulting image 80 changes in response to an operation on an image of a product.
  • the background color of the record indicating the product A is changed.
  • the terminal that has detected an input operation on the resultant image 80 transmits, to the information processing apparatus 2000, the content of the input operation (for example, information on superimposed data that has been the target of the input operation).
  • the information processing apparatus 2000 generates an image 80 as a result of updating the content based on the received information, and transmits the image 80 to the terminal.
  • the terminal displays the received image 80 on the display device.
  • the resulting image 80 displayed on the display device is updated.
  • a terminal such as the portable terminal 3000 may have a function of updating the display of the display device according to the input operation on the resultant image 80.
  • the terminal when the terminal detects the user's input operation, the terminal changes the resultant image 80 by itself without transmitting the content to the information processing apparatus 2000.
  • an application for viewing the resultant image 80 is installed in advance in the terminal.
  • the application 100 described above is provided with a function for viewing the result image 80.
  • the actual display information may indicate a position at which some unidentified commodity (unknown commodity) is placed.
  • the result image 80 indicate the position of the unknown product.
  • the generation unit 2060 includes superimposed data representing an unknown product in the resulting image 80.
  • FIG. 18 is a diagram illustrating a resultant image 80 including superimposed data representing an unknown product.
  • superimposed data 110 represents an unknown product. That is, the result image 80 in FIG. 18 indicates that the product at the position where the superimposed data 110 is superimposed is not specified.
  • the superimposed data 110 may be realized as a button for calling a camera function.
  • the resultant image 80 is displayed on the display device of the portable terminal 3000 in which the camera 10 is provided.
  • the application 100 detects that the user has pressed the superimposed data 110 or the like, and activates the camera application that controls the camera 10 accordingly.
  • the application 100 transmits the generated shelf image 12 to the information processing apparatus 2000.
  • the information processing apparatus 2000 generates the actual display information again using the acquired shelf image 12.
  • the information processing apparatus 2000 generates comparison information again by comparing the newly generated actual display information with the reference display information, and updates the result image 80. At this time, the information processing apparatus 2000 may generate comparison information only for items that were unknown products in the real display information generated last time, and merge the comparison information generated last time.
  • the usage method of the superimposition data 110 which represents an unknown goods is not limited to making the camera 10 recapture imaging.
  • the superimposed data 110 may adopt a configuration including information on a product to be placed at the position of the unknown product.
  • the display mode of the information on the product may adopt the same configuration as the information (correction information 150-1 and correction information 150-2) shown in FIG. 19 described later.
  • the information processing apparatus 2000 can be realized by obtaining information on a product associated with the position of the unknown product from the reference display information.
  • the information processing apparatus 2000 displays the information on the selected item and the actual display generated using the already acquired shelf image 12 according to the selection. Based on the information, actual display information different from the actual display information may be generated again (that is, the information regarding the selected item is included in the actual display information).
  • the result image 80 may include information indicating the criteria indicated by the reference display information (that is, information indicating how the display situation is corrected to match the criteria) for the portions not meeting the criteria indicated by the reference display information. Good.
  • this information is referred to as correction information.
  • FIG. 19 is a diagram illustrating correction information.
  • the resulting image 80 of FIG. 19 contains two pieces of correction information 150.
  • the correction information 150-1 it is understood that the product placed in the place where the superimposed data 92 is superimposed should be replaced with the product A.
  • the correction information 150-2 it is understood that the product B should be placed in the place where the superimposed data 94 is superimposed.
  • the generation unit 2060 may include the correction information 150 in the resultant image 80 from the beginning, and superimposing data (superimposing data representing that the information does not match the reference).
  • the correction information 150 may be included in the resultant image 80 at the timing when the input operation is applied to the data 92, the superimposed data 94, and the like.
  • the generation unit 2060 may generate screen data indicating detailed information on the product indicated in the correction information 150.
  • Information on a product means, for example, the identifier of the product, the group to which the product belongs, the maker of the product, the place where the product is stored (the location of the shelf installed in the warehouse or the position of the product on the shelf) Etc. For example, if the product is out of stock, the product needs to be taken from the storage location and replenished. Therefore, by displaying the storage location of the product, it is possible to facilitate the replenishment operation of such a product.
  • the correction information 150 may be displayed for all products that do not match the criteria indicated by the reference display information, or may be displayed for some of the products. In the latter case, whether or not to display correction information 150 for a product is determined based on the importance of the product. In this case, the importance is set in advance for each product.
  • the generation unit 2060 generates the correction information 150 only for the product whose importance is equal to or more than a predetermined value, and includes the correction information 150 in the result image 80.
  • the generation unit 2060 may generate the correction information 150 only for a predetermined number of items whose importance is high among the items that do not match the criteria indicated by the reference display information and include the correction information 150 in the result image 80 .
  • Example of hardware configuration The hardware configuration of a computer that implements the information processing apparatus 2000 of the second embodiment is represented, for example, by FIG. 3 as in the first embodiment. However, in the storage device 1080 of the computer 1000 for realizing the information processing apparatus 2000 of the present embodiment, a program module for realizing the function of the information processing apparatus 2000 of the present embodiment is further stored.
  • An image analysis unit configured to perform image analysis on a shelf image on which a product shelf is captured and generate actual display information indicating a display state of a product on the product shelf;
  • An information processing apparatus comprising: comparison means for comparing the actual display information with reference display information representing a reference of display of a product on the product shelf and generating comparison information representing a result of the comparison.
  • the reference display information indicates identification information of each product to be displayed on the product shelf,
  • the image analysis means generates the actual display information indicating identification information of each product displayed on the product shelf.
  • the reference display information indicates at least one of a display position of the product on the product shelf, the number of faces, and an arrangement relationship with another product.
  • the information processing apparatus according to claim 1. 4.
  • the comparison means calculates a match rate representing the degree to which the display status of the product matches the reference indicated by the reference display information, and includes it in the comparison information. To 3.
  • the comparison means acquires an identifier of a manufacturer, calculates a match rate representing the degree to which the display status of the product of the manufacturer specified by the identifier matches the reference indicated by the reference display information, and includes it in the comparison information , 1. To 3.
  • the information processing apparatus according to any one. 6.
  • the information processing apparatus according to any one of claims 1 to 5, further comprising generation means for generating a result image representing a product which does not match the standard indicated by the reference display information, using the comparison information.
  • the result image represents the goods that do not match the standard indicated by the standard display information and the goods that match the standard indicated by the standard display information in a distinguishable manner;
  • the information processing apparatus according to claim 1.
  • the generation means includes, in the resultant image, correction information representing a product to be displayed at a position where the product is to be displayed or a position at which the product is displayed for a product which does not meet the criteria indicated by the reference display information , 6. Or 7.
  • the information processing apparatus according to claim 1.
  • An information processing system having an information processing apparatus and a portable terminal, The portable terminal transmits, to the information processing apparatus, a shelf image on which a product shelf is captured.
  • the information processing apparatus is An image analysis unit that receives the transmitted shelf image, analyzes the shelf image, and generates actual display information indicating the display status of the product on the product shelf; Comparison means for comparing the actual display information with reference display information representing a reference of display of goods on the product shelf, and generating comparison information representing the result of the comparison; Generating means for generating a result image representing a product which does not match the criteria indicated by the criteria display information, and transmitting the result image to the portable terminal; The information processing system, wherein the portable terminal receives the result image and displays it on a display device. 10.
  • the reference display information generates the actual display information indicating at least one of a display position of the product on the product shelf, the number of faces, and an arrangement relationship with another product.
  • the reference display information indicates a display position of the product on the product shelf, the number of faces, or an arrangement relationship with another product.
  • the comparison means calculates a match rate representing the degree to which the display status of the product matches the criteria indicated by the reference display information, and includes the match rate in the comparison information. To 11.
  • the information processing system according to any one. 13.
  • the comparison means acquires an identifier of a manufacturer, calculates a match rate representing the degree to which the display status of the product of the manufacturer specified by the identifier matches the reference indicated by the reference display information, and includes it in the comparison information , 9. To 11.
  • the result image represents the goods that do not match the standard indicated by the standard display information and the goods that match the standard indicated by the standard display information in a distinguishable manner; To 13.
  • the generation means includes, in the resultant image, correction information representing a product to be displayed at a position where the product is to be displayed or a position at which the product is displayed for a product which does not meet the criteria indicated by the reference display information. , 9. To 14.
  • a control method implemented by a computer An image analysis step of image-analyzing a shelf image on which a product shelf is captured to generate actual display information indicating a display status of a product on the product shelf;
  • a control method comprising: comparing the actual display information with reference display information representing a reference of display of goods on the product shelf, and generating comparison information representing a result of the comparison.
  • the reference display information indicates identification information of each product to be displayed on the product shelf, 16. generating the actual display information indicating identification information of each product displayed on the product shelf in the image analysis step; Control method described in. 18.
  • the reference display information indicates at least one of a display position of the product on the product shelf, the number of faces, and an arrangement relationship with another product.17. Control method described in. 19. 16.
  • the comparison step calculate a match rate representing the degree to which the display status of the product matches the standard indicated by the standard display information and include it in the comparison information.
  • a match rate representing a degree to which the display status of the product specified by the identifier matches the reference indicated by the reference display information is calculated and included in the comparison information. , 16.
  • the result image represents the goods that do not match the standard indicated by the standard display information and the goods that match the standard indicated by the standard display information in a distinguishable manner; Control method described in. 23.
  • the result image includes correction information representing the product to be displayed at the position where the product is to be displayed or at the position where the product is displayed. , 21. Or 22. Control method described in.

Abstract

情報処理装置（２０００）は、商品が陳列されている商品棚が撮像された棚画像（１２）を取得する。情報処理装置（２０００）は、棚画像（１２）を画像解析して、商品棚（２０）における商品の陳列状況に関する情報（実陳列情報）を生成する。情報処理装置（２０００）は、商品棚（２０）における商品の陳列の基準を表す基準陳列情報を取得する。情報処理装置（２０００）は、棚画像（１２）を画像解析することで生成した実陳列情報と、取得した基準陳列情報とを比較し、その結果を表す比較情報を生成する。

Description

情報処理装置、情報処理システム、制御方法、及びプログラム
　本発明は商品の管理に関する。
　コンビニエンスストアやスーパーマーケットなどの店舗では、商品棚に商品が陳列されている。そして、このような商品の陳列に関する作業を効率化する情報処理技術が開発されている。例えば特許文献１は、商品棚に置かれている商品と、商品棚に付されている棚札との関係が正しいかどうかを自動的に判定する技術を開示している。
国際公開第２０１６／０５２３８３号
　商品棚に各商品をどのように陳列すべきか（陳列位置やフェイス数など）を予め規定しておき、その規定に従って商品を陳列するという運用がなされることがある。しかしながら、このような運用をしていても、実際には商品が規定に従って陳列されてないことがある。そこで、メーカの担当者などが商品の陳列状況を目視で確認し、商品が正しく陳列されているかどうかをチェックするという作業が行われている。しかしながら、目視でのチェックには、作業者の作業負担が大きいなどといった問題がある。
　本願発明は上記の課題に鑑みてなされたものであり、その目的の一つは、商品の陳列の正しさを容易に把握できる技術を提供することである。
　本発明の情報処理装置は、１）商品棚が撮像されている棚画像を画像解析して、商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、２）実陳列情報と、商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、を有する。
　本発明の情報処理システムは、情報処理装置及び携帯端末を有する。
　携帯端末は、商品棚が撮像されている棚画像を情報処理装置に送信する。
　情報処理装置は、１）送信された棚画像を受信し、その棚画像を画像解析して、商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、２）実陳列情報と、商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、３）比較情報を用いて、基準陳列情報が示す基準に合致しない商品と、基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す結果画像を生成し、携帯端末へ送信する生成手段と、を有する。
　携帯端末は、結果画像を受信してディスプレイ装置に表示させる。
　本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）商品棚が撮像されている棚画像を画像解析して、商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析ステップと、２）実陳列情報と、商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較ステップと、を有する。
　本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
　本発明によれば、商品の陳列の正しさを容易に把握できる技術が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態１に係る情報処理装置の動作を概念的に例示する図である。 情報処理装置の機能構成を例示する図である。 情報処理装置を実現する計算機の構成を例示する図である。 情報処理装置の利用形態を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 同一の商品が離れて陳列されているケースを例示する図である。 実陳列情報の構成を例示する図である。 基準陳列情報の構成を例示する図である。 比較情報を例示する図である。 実施形態２の情報処理装置の機能構成を例示するブロック図である。 結果画像を例示する第１の図である。 結果画像を例示する第２の図である。 結果画像を例示する第３の図である。 棚別合致率を含む結果画像を例示する図である。 商品のリストを含む結果画像を例示する図である。 商品リストに対する操作に応じて結果画像が変化する様子を例示する図である。 商品の画像に対する操作に応じて結果画像が変化する様子を例示する図である。 不明商品を表す重畳データが含まれる結果画像を例示する図である。 修正情報を例示する図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
［実施形態１］
＜概要＞
　図１は、実施形態１に係る情報処理装置（図２でその構成を例示する情報処理装置２０００）の動作を概念的に例示する図である。ここで、図１を用いて説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作を限定するものではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。
　情報処理装置２０００は、商品が陳列されている商品棚が撮像された棚画像を取得する。図１では、カメラ１０によって商品棚２０が撮像された結果、棚画像１２が生成されている。棚画像１２には、商品棚２０及び商品棚２０に陳列されている商品が含まれている。なお、情報処理装置２０００が対象とする商品棚は、商品が陳列される場所であればよく、図１に示されるような複数の段を持つものに限定されない。例えば、机に商品が平積みにされるようなケースでは、この机が商品棚として扱われる。
　情報処理装置２０００は、商品棚２０における商品の陳列の基準を表す基準陳列情報を取得する。例えば基準陳列情報は、商品棚２０に陳列されるべき商品や、商品棚２０における各商品の位置などに関する情報を示す。
　情報処理装置２０００は、棚画像１２によって表される実際の陳列状況と、基準陳列情報とを比較して、その比較結果を表す情報を生成する。例えば図１では、２つの商品の配置に誤りがあることを示す情報が生成されている。
　上述の処理を実現するために、情報処理装置２０００は、棚画像１２を画像解析して、商品棚２０における商品の陳列状況に関する情報（以下、実陳列情報）を生成する。実陳列情報は、例えば、商品棚２０に陳列されている商品の名称や、各商品の位置などを示す。
　情報処理装置２０００は、棚画像１２を画像解析することで生成した実陳列情報と、取得した基準陳列情報とを比較し、その結果を表す比較情報を生成する。
＜作用・効果＞
　本実施形態の情報処理装置２０００によれば、棚画像１２が画像解析されることで生成される実陳列情報と、基準陳列情報とが比較されることにより、その結果を表す比較情報が生成される。このように実陳列情報と基準陳列情報とを比較することにより、商品棚２０における商品の陳列状況が基準に合致しているか否かを把握することができる。よって、商品の陳列状況が基準に合致しているか否かを人が目視で確認するケースと比較し、商品の陳列状況が基準に合致しているか否かを容易に把握することができる。
　また、人が目視で確認するケースでは、見間違いなどの人為的なミスが生じる恐れがある。情報処理装置２０００によれば、このような人為的なミスの発生も防ぐことができる。
＜機能構成の例＞
　図２は、情報処理装置２０００の機能構成を例示する図である。情報処理装置２０００は、画像解析部２０２０及び比較部２０４０を有する。画像解析部２０２０は、棚画像１２を画像解析することで、実陳列情報を生成する。比較部２０４０は、実陳列情報と基準陳列情報とを比較することで、比較情報を生成する。
＜情報処理装置２０００のハードウエア構成の例＞
　情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　計算機１０００は種々の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　図３は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などで実現されるプロセッサである。メモリ１０６０は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　ストレージデバイス１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。
＜カメラ１０について＞
　カメラ１０は、撮像を行い、撮像結果を表す画像を生成することができる任意の撮像装置である。例えばカメラ１０は、スマートフォンやタブレット端末などに設けられているカメラである。
＜情報処理装置２０００の利用形態の例＞
　例えば情報処理装置２０００のユーザは、携帯端末を介して情報処理装置２０００を利用する。情報処理装置２０００のユーザは、例えばラウンダーなど、商品の陳列状況をチェックする作業を行う人である。図４は、情報処理装置２０００の利用形態を例示する図である。図４では、情報処理装置２０００と携帯端末３０００により、情報処理システム４０００が構成されている。携帯端末３０００は、ユーザによって利用される携帯端末である。情報処理装置２０００は、例えばサーバ装置として実現される。
　携帯端末３０００には、カメラ１０が設けられている。また、携帯端末３０００には、情報処理装置２０００を利用するためのアプリケーション１００が予めインストールされている。アプリケーション１００は、カメラ１０を制御して撮像を行わせる。さらにアプリケーション１００は、カメラ１０によって生成された棚画像１２を含むリクエストを、情報処理装置２０００に送信する。情報処理装置２０００は、このアプリケーションから上記リクエストを受信する。
　情報処理装置２０００は、リクエストに示されている棚画像１２を画像解析して実陳列情報を生成し、これを基準陳列情報と比較することで、比較情報を生成する。そして情報処理装置２０００は、生成した比較情報を携帯端末３０００へ送信する。
　なお、比較情報は必ずしも携帯端末３０００に送信される必要はない。生成された比較情報の扱い方については後述する。また、情報処理装置２０００は必ずしも携帯端末３０００を介して利用される必要はない。
＜処理の流れ＞
　図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。画像解析部２０２０は、棚画像１２を取得する（Ｓ１０２）。画像解析部２０２０は、棚画像１２を画像解析することで、実陳列情報を生成する（Ｓ１０４）。比較部２０４０は基準陳列情報を取得する（Ｓ１０６）。比較部２０４０は、実陳列情報と基準陳列情報とを比較することで、比較情報を生成する（Ｓ１０８）。
　なお、情報処理装置２０００によって実行される処理の流れは、上述の例に限定されない。例えば基準陳列情報の取得は、実陳列情報の生成より前に行われてもよい。
　情報処理装置２０００が図５に示した一連の処理を実行するタイミングは任意である。例えば情報処理装置２０００は、前述したアプリケーション１００からリクエストを受信したことに応じて、図５に示す一連の処理を実行する。その他にも例えば、情報処理装置２０００は、情報処理装置２０００に接続されている入力デバイスを操作するユーザから、棚画像１２を指定する入力操作を受け付けてもよい。この場合、情報処理装置２０００は、ユーザから入力操作を受け付けたことを契機として、図５に示す一連の処理を実行する。
＜棚画像１２を取得する方法：Ｓ１０２＞
　画像解析部２０２０が棚画像１２を取得する方法は任意である。例えば画像解析部２０２０は、前述した携帯端末３０００によって送信されるリクエストに含まれる棚画像１２を取得する。その他にも例えば、画像解析部２０２０は、棚画像１２を指定するユーザ操作を受け付けたことに応じて、指定された棚画像１２が記憶されている記憶装置にアクセスして、その棚画像１２を取得してもよい。
　ここで、１つの商品棚２０が、複数の棚画像１２によって表されてもよい。例えば商品棚２０が横に長い場合、カメラ１０の撮像範囲を横方向にずらしながら商品棚２０を複数回撮像することで、商品棚２０の全ての部分を撮像することができる。
　この際、商品棚２０に陳列されている全ての商品が撮像されることを担保するために、商品棚２０の互いに隣接する領域を含む２つの棚画像１２について、その境界上（棚画像１２の端）にある商品が、双方の棚画像１２に含まれるように商品棚２０を撮像することが好適である。例えば、情報処理装置２０００は、複数の棚画像１２を、共通の商品を含む部分で結合されるものとして扱うことにより、複数の棚画像１２から１つの商品棚２０の状況を把握することができる。これは例えば、パノラマ写真を得るために、２つの写真で互いの一部が重複するように、複数の写真を撮影することに相当する。
＜棚画像１２に含まれる商品棚２０を特定する方法＞
　情報処理装置２０００は、取得した棚画像１２に含まれる商品棚２０が、店舗等に設置されているどの商品棚であるのかを特定する必要がある。例えば情報処理装置２０００は、棚画像１２を取得する際に、その棚画像１２に含まれる商品棚２０を特定する識別子も取得するようにする。
　例えば前述したように、携帯端末３０００上で動作するアプリケーション１００から情報処理装置２０００に対し、棚画像１２を含むリクエストが送信されるとする。この場合、アプリケーション１００は、このリクエストに、棚画像１２に含まれる商品棚２０の識別子を含めるようにする。例えばアプリケーション１００は、携帯端末３０００のユーザから、商品棚２０の識別子を指定する入力を受け付け、入力された識別子をリクエストに含める。
　棚画像１２に含まれる商品棚２０を特定する方法は、棚画像１２と共に商品棚２０の識別子を取得する方法に限定されない。例えば、商品棚２０の識別子がカメラ１０によって撮像されるようにしておく。具体的には、商品棚２０の識別子を表すマークなどを、商品棚２０に予め付しておく。こうすることで、カメラ１０で商品棚２０を撮像した結果生成される棚画像１２に、その商品棚２０の識別子を表すマークが含まれるようになる。情報処理装置２０００は、このマークを画像解析することによって、棚画像１２に含まれる商品棚２０を特定することができる。例えばこのマークとしては、商品棚２０の識別子を表す文字列や QR コード（登録商標）などを利用することができる。
＜実陳列情報の生成：Ｓ１０４＞
　画像解析部２０２０は、棚画像１２を画像解析することで、実陳列情報を生成する（Ｓ１０４）。以下、実陳列情報に含める情報について説明する。
＜＜商品の識別情報＞＞
　実陳列情報は、商品棚２０に陳列されている各商品の識別情報を含む。例えば商品の識別情報は、商品名や、JAN（Japanese Article Number）コードなどの識別子である。以下では、特に断らない限り、商品の識別情報として商品名が使用されることを前提として説明を行う。後述する基準陳列情報においても同様である。
　例えば、画像解析部２０２０は、棚画像１２から、各商品を表す画像領域を抽出する。画像解析部２０２０は、抽出した画像領域と、商品データベースに登録されている商品の画像特徴とを比較することで、商品データベースから、その画像領域によって表される商品に関する情報を取得する。商品データベースには、各商品について、少なくとも、商品名、識別子（JAN（Japanese Article Number）コードなど）、商品が属するグループの名称（例えばブランド名）、商品が属する商品カテゴリ、商品の内容量（例えば、350ml）、商品のサイズ、商品の標準価格、及びメーカなどの情報の何れかが登録されているものとする。なお、商品のメーカとは、その商品に関連する任意のメーカ（例えば、製造メーカや販売メーカ）である。
　画像解析部２０２０は、上述のように商品データベースから取得した情報により、棚画像１２に含まれる各商品の商品名を特定することができる。
＜＜グループ名＞＞
　その他にも例えば、実陳列情報は、商品が属するグループの名称を示す。商品が属するグループは、例えば前述した商品名と同様に、商品データベースから取得することができる。なお、グループ名の代わりに、メーカの識別子など、メーカを識別できる任意の情報を利用することもできる。後述する基準陳列情報においても同様である。
＜＜メーカ名＞＞
　その他にも例えば、実陳列情報は、商品のメーカを示す。商品のメーカは、例えば前述した商品名と同様に、商品データベースから取得することができる。なお、メーカ名の代わりに、メーカの識別子など、メーカを識別できる任意の情報を利用することもできる。後述する基準陳列情報においても同様である。
＜＜位置＞＞
　その他にも例えば、実陳列情報は、商品の商品棚２０における位置を示す。商品の位置は、例えば、段方向の位置（例えば、最上段から何段目に位置するか）と、列方向の位置（例えば、左端の列から何列目に位置するか）との組み合わせで表される。ここで、商品棚が含まれる画像から各商品の位置を特定する技術には、既存の技術を利用することができる。
　なお、同じ種類の商品（商品名が同一の商品）が複数の位置に配置されている場合、実陳列情報は、１つの商品について、複数の位置を示す。
＜＜フェイス数＞＞
　その他にも例えば、実陳列情報は、商品のフェイス数を示す。なお、商品棚２０において、同一の商品が離れて陳列されることもありうる。図６は、同一の商品が離れて陳列されているケースを例示する図である。図６において、商品Ａは、エリア７０－１とエリア７０－２とに分けて配置されている。エリア７０－１におけるフェイス数は２であり、エリア７０－２におけるフェイス数は３である。
　このように互いに離れた場所に同一の商品が配置されている場合、例えば実陳列情報は、互いに離れた複数の場所それぞれについて個別にフェイス数を示す。例えば図６の場合、実陳列情報は、商品Ａのフェイス数として、エリア７０－１について２を示し、エリア７０－２について３を示す。
　その他にも例えば、実陳列情報は、互いに離れた複数の場所におけるフェイスを合計した値を、商品のフェイス数としてもよい。例えば図６の場合、実陳列情報は、商品Ａのフェイス数として５を示す。
＜＜実陳列情報の構成の例＞＞
　図７は、実陳列情報の構成を例示する図である。図７の陳列情報を、テーブル４００と表記する。テーブル４００は、商品４０２、グループ４０４、メーカ４０６、位置４０８、及びフェイス数４１０という列を有する。
　ここで、実陳列情報が含むべき情報、すなわち、棚画像１２を画像解析することで得るべき情報は、予め画像解析部２０２０に設定されていてもよいし、動的に決定されてもよい。後者の場合、例えば画像解析部２０２０は、取得した基準陳列情報に基づいて、棚画像１２から得るべき情報を決定する。例えば基準陳列情報が、棚に置かれるべき商品と、各商品が置かれるべき位置を示している場合、画像解析部２０２０が棚画像１２から得るべき情報は、商品名及び商品の位置となる。
＜基準陳列情報について＞
　前述したように、基準陳列情報は、商品棚２０における商品の陳列の基準を表す。以下、基準陳列情報に示される情報について説明する。
＜＜商品の識別情報＞＞
　例えば基準陳列情報は、商品棚２０に陳列されるべき各商品の識別情報（商品名や JAN コードなど）を示す。以下の説明では、特に断らない限り、基準陳列情報が示す商品の識別情報は商品名であるとする。
＜＜位置＞＞
　その他にも例えば、基準陳列情報は、商品棚２０において各商品が置かれるべき位置を示す。基準陳列情報が示す商品の位置は、例えば、段方向の位置と列方向の位置との組み合わせで表される。この場合、基準陳列情報は、商品の段方向の位置及び列方向の位置の双方が、基準陳列情報によって示される位置となるべきことを示している。
　基準陳列情報が示す商品の位置は、列方向や縦方向の位置の範囲であってもよい。例えば、基準陳列情報は、「２段目から４段目」や「３列目から５列目」などのような範囲を示す。その他にも例えば、基準陳列情報は、或る商品について段方向の位置のみを示してもよい。この場合、その商品は、基準陳列情報に示されている段の任意の列に陳列することができる。同様に、基準陳列情報は、或る商品について列方向の位置のみを示してもよい。
＜＜フェイス数＞＞
　その他にも例えば、基準陳列情報は、商品のフェイス数を示す。例えば、基準陳列情報が商品Ａのフェイス数として５を示している場合、商品Ａは、フェイス数が５となるように陳列されるべきことを示している。
＜＜並列要求＞＞
　その他にも例えば、基準陳列情報は、或る商品について、その商品がまとめて配置されるべきこと（並列要求）を示していてもよい。言い換えれば、並列要求が基準陳列情報に示されている商品は、図６で例示したように複数のエリアに分かれて配置されてはいけないことを意味する。
　ここで、並列要求が指定される単位は、商品に限定されない。例えば並列要求は、商品グループの単位で指定されてもよい。この場合、例えば基準陳列情報は、特定のブランドの商品について並列要求を示す。基準陳列情報において並列要求が示されているブランドに属する各商品は、商品棚２０においてまとまった位置に配置されることが要求される。
　その他にも例えば、並列要求は、メーカ単位で指定されてもよい。この場合、例えば基準陳列情報は、特定のメーカの商品について並列要求を示す。基準陳列情報において並列要求が示されているメーカの各商品は、商品棚２０においてまとまった位置に配置されることが要求される。
　その他にも例えば、並列要求は、商品の内容量で指定されてもよい。この場合、例えば基準陳列情報は、特定の内容量の商品について並列要求を示す。基準陳列情報において並列要求が示されている特定の内容量の各商品は、商品棚２０においてまとまった位置に配置されることが要求される。より具体的に、例えば、係る特定の内容量が 500ml を示す場合に、内容量 500ml の商品、例えば、メーカから販売されているビール 500ml 缶が商品棚２０においてまとまった位置に配置されることとする。
＜＜配列要求＞＞
　その他にも例えば、基準陳列情報は、複数の商品間の配置関係についての要求（以下、配列要求）を示してもよい。例えば、配列要求は、「商品Ａと商品Ｂを互いに隣接させて配置する」という要求である。例えば基準陳列情報が、商品Ａと商品Ｂについて、位置を示さずに配列要求を示しているとする。この場合、商品Ａと商品Ｂは、互いに隣接している限り、商品棚２０の任意の位置に配置してよいこととなる。
　逆に、配列要求は、複数の商品を離して置くべきことを示してもよい。例えば、「商品Ａと商品Ｂは異なる段に配置する」といった配列要求を定義することが考えられる。
　ここで、配列要求が指定される単位は、商品に限定されない。例えば配列要求は、商品グループの単位で指定されてもよい。例えば、「グループＤとグループＥを互いに隣接させて配置する」という要求である。この場合、商品棚２０において、グループＤに属する商品が配置される領域と、グループＥに属する商品が配置される領域とは、互いに隣接している必要がある。なお、商品の配列要求と同様に、グループの配列要求も、複数のグループを離して配置すべきことを示してもよい。
　その他にも例えば、配列要求は、メーカ単位で指定されてもよい。この場合、例えば、「メーカＸの商品とメーカＹの商品とを互いに隣接させて配置する」という要求である。この場合、商品棚２０において、メーカＸの商品が配置される領域と、メーカＹの商品が配置される領域とは、互いに隣接している必要がある。なお、商品の配列要求と同様に、メーカの配列要求も、複数のメーカの商品を互いに離して配置すべきことを示してもよい。
＜＜適用期間＞＞
　その他にも例えば、基準陳列情報は、各商品について、その商品に基準陳列情報が適用される期間を示してもよい。例えば基準陳列情報が、商品Ａについて、「2017/10/01 から 2017/10/31」という適用期間を示している場合、基準陳列情報が示す商品Ａについての情報（例えば位置など）は、上記適用期間内において守るべき必要があることを意味する。なお、適用期間は、商品毎ではなく、商品のグループや、基準陳列情報全体について定められていてもよい。
＜＜基準陳列情報の構成の例＞＞
　図８は、基準陳列情報の構成を例示する図である。図８のテーブルを、テーブル５００と表記する。テーブル５００は、商品５０２、グループ５０４、メーカ５０６、位置５０８、フェイス数５１０、並列要求５１２、配列要求５１４、及び適用期間５１６、という列を有している。
　商品５０２、グループ５０４、及びメーカ５０６は、いずれか１つにデータが示されている。商品５０２に商品名が示されているレコードは、その名称の商品に関する基準を示す。グループ５０４にグループ名が示されているレコードは、その名称のグループに関する基準を示す。メーカ５０６にメーカ名が示されているレコードは、その名称のメーカに関する基準を示す。なお、商品棚２０に配置されるべき商品は、商品５０２に商品名が示されている商品である。なお、図８を参照して説明したテーブル５００は、上述した構成に限定されない。例えば、テーブル５００は、さらに、少なくとも、識別子、商品カテゴリ、内容量及び商品のサイズの何れかを含んでいてもよい。
　基準陳列情報は、商品棚２０に置かれる全ての商品に関する情報であってもよいし、一部の商品に関する情報であってもよい。後者の場合、例えば基準陳列情報は、特定のメーカの商品について、その商品の陳列の基準を示す。この場合、１つの商品棚２０についての基準陳列情報が、メーカごとに用意される。そのため、図８の基準陳列情報は、メーカ５０６を有さなくてよい。
　基準陳列情報がメーカごとに用意されている場合、情報処理装置２０００は、特定のメーカの基準陳列情報のみを、実陳列情報と比較するようにしてもよい。この場合、例えば情報処理装置２０００は、比較対象とする基準陳列情報を特定する情報（例えばメーカ名）を取得する。この情報は、情報処理装置２０００のユーザによって入力される。例えばユーザは、前述した携帯端末３０００に対して、メーカ名を指定する入力操作を行う。アプリケーション１００は、ユーザによって入力されたメーカ名を前述したリクエストに含めて送信する。情報処理装置２０００は、このリクエストを受信することで、ユーザによって指定されたメーカ名を把握することができる。その他にも例えば、ユーザは、情報処理装置２０００に接続された入力デバイスを操作することで、メーカ名を入力してもよい。
＜基準陳列情報を取得する方法：Ｓ１０６＞
　情報処理装置２０００が基準陳列情報を取得する方法は様々である。例えば、情報処理装置２０００からアクセス可能な記憶装置に、基準陳列情報を予め記憶させておく。この場合、情報処理装置２０００は、この記憶装置にアクセスすることで、基準陳列情報を取得する。この際、情報処理装置２０００は、処理対象とする商品棚２０の識別子を用いて、その商品棚２０に関する基準陳列情報を取得する。また、特定のメーカの基準陳列情報を取得する場合、情報処理装置２０００は、上述の方法で取得したメーカ名等を用いて、特定のメーカの基準陳列情報を取得する。
　その他にも例えば、基準陳列情報は、管理サーバが有する記憶装置に記憶されていてもよい。この場合、例えば情報処理装置２０００は、商品棚２０の識別子を含めたリクエストを管理サーバに送信することで、その識別子で特定される商品棚２０の基準陳列情報を取得する。なお、特定のメーカの基準陳列情報を取得する場合、このリクエストに、そのメーカの識別子（例えばメーカ名）も含めるようにする。
＜実陳列情報と基準陳列情報との比較：Ｓ１０８＞
　比較部２０４０は、実陳列情報と基準陳列情報とを比較し、その比較結果を表す比較情報を生成する（Ｓ１０８）。そのために、比較部２０４０は、基準陳列情報が示す各基準（商品、商品のグループ、又はメーカについての各基準）が、実陳列情報において満たされているか否かの判定を行う。
　例えば比較部２０４０は、実陳列情報に示される商品名（商品の識別情報）と、基準陳列情報に示される商品名（商品の識別情報）とを比較することで、基準陳列情報に示されている各商品が、実陳列情報に示されているかを判定する。
　その他にも例えば、基準陳列情報が或る商品の位置を示している場合、比較部２０４０は、実陳列情報におけるその商品の位置が、基準陳列情報に示されている位置に合致するか否かを判定する。
　その他にも例えば、基準陳列情報が或る商品のフェイス数を示している場合、比較部２０４０は、実陳列情報が示すその商品のフェイス数が、基準陳列情報に示されているフェイス数に合致するか否かを判定する。ここで、実陳列情報が示す商品のフェイス数が、基準陳列情報が示すその商品のフェイス数よりも多いことがありうる。例えば、フェイス数を３とすべき商品について、実際の陳列状況ではフェイス数が５となっているような状況である。このように実際の陳列状況における商品のフェイス数が基準陳列情報によって示されるフェイス数を超えている場合、その商品は、フェイス数が基準に合致していると判定されてもよいし、基準に合致されていないと判定されてもよい。判定結果をどちらにするかを定める情報は、例えば基準陳列情報に含めておく。
　基準陳列情報が並列要求や配列要求を示す場合、比較部２０４０は、実陳列情報に示されている各商品の位置に基づいて、並列要求や配列要求が満たされているか否かを判定する。例えば基準陳列情報が、或る商品グループに属する商品がまとめて置かれるべきことを表す並列要求を示しているとする。この場合、比較部２０４０は、実陳列情報におけるその商品グループに属する各商品の位置に基づいて、その商品グループの商品がまとめて置かれているか否かを判定する。具体的には、その商品グループに属する各商品の位置が段方向や列方向について連続していれば、それらの商品はまとめて置かれていることになるため、並列要求が満たされる。また、例えば基準陳列情報が、或る複数の商品が隣接して置かれるべきことを表す配列要求を示しているとする。この場合、比較部２０４０は、実陳列情報において、それら複数の商品の位置が隣接しているか否かを判定することで、配列要求が満たされているか否かを判定する。
　なお、基準陳列情報が適用期間を示す場合、比較部２０４０は、実陳列情報に示される商品のうち、基準陳列情報において適用期間が現在時点を含んでいる商品についてのみ、基準陳列情報との比較を行う。
　図９は、比較情報を例示する図である。図９のテーブルをテーブル６００と呼ぶ。テーブル６００は、商品６０２、グループ６０４、メーカ６０６、陳列６０８、位置６１０、フェイス数６１２、並列要求６１４、及び配列要求６１６という列を有している。商品６０２に商品名が示されているレコードは、基準陳列情報において示されるその商品名の商品の基準と実陳列情報との比較結果を示す。グループ６０４にグループ名が示されているレコードは、基準陳列情報において示されるそのグループ名の商品グループの基準と実陳列情報との比較結果を示す。メーカ６０６にメーカ名が示されているレコードは、基準陳列情報において示されるそのメーカ名の商品の基準と実陳列情報との比較結果を示す。
　陳列６０８、位置６１０、フェイス数６１２、並列要求６１４、及び配列要求６１６はそれぞれ、実陳列情報が基準に合致しているか否かを示す。例えばテーブル６００において、或る商品のレコードの陳列６０８が「非合致」を示している場合、基準陳列情報にはその商品の名称が示されている一方で、実陳列情報にはその商品の名称が示されていないことを表す。すなわち、商品棚２０に陳列されるべき商品が陳列されていないことを表す。その他にも例えば、テーブル６００において、或る商品のレコードの位置６１０が「非合致」である場合、実陳列情報が示すその商品の位置が、基準陳列情報に示される基準に合致していないことを表す。
　比較情報の扱い方は様々である。例えば比較部２０４０は、比較情報を記憶装置に記憶させる。その他にも例えば、比較部２０４０は、後述の実施形態で説明するように、比較情報を利用して、比較結果を表す画像データ等を生成してもよい。
＜＜比較項目の限定＞＞
　基準陳列情報が、商品棚２０に陳列されるべき商品の商品名、各商品の位置、各商品のフェイス数などといった複数の項目について基準を示しているとする。この場合、比較部２０４０は、基準陳列情報に示されている項目全てについて実陳列情報と基準陳列情報とを比較してもよいし、一部の項目について実陳列情報と基準陳列情報とを比較してもよい。後者の場合、例えばユーザによる入力操作により、比較する項目が指定される。
　また、比較部２０４０は、実陳列情報と基準陳列情報との比較を、一部の商品についてのみ行うようにしてもよい。例えば比較部２０４０は、特定のメーカの商品のみについて実陳列情報と基準陳列情報とを比較する。この場合、例えば、ユーザによる入力操作により、上記特定のメーカが指定される。
　なお、特定のメーカについてのみ実陳列情報と基準陳列情報とを比較する方法は、上述の方法に限定されない。例えば前述したように、基準陳列情報をメーカごとに用意しておき、特定のメーカの基準陳列情報のみが比較部２０４０によって取得されるようにすればよい。
＜＜合致率の算出＞＞
　比較部２０４０は、実陳列情報によって表される商品の陳列状況が基準陳列情報に示される基準と合致している度合いを表す指標値を算出してよい。この指標値を合致率と呼ぶ。例えば合致率は、「商品棚２０に陳列されている、基準陳列情報に示される基準と合致している商品の数」を、「その商品棚２０に陳列すべき商品の総数」で割った値として定義することができる。以下の数式（１）は、この定義を表している。ここで、「或る商品が基準に合致している」とは、実陳列情報が示すその商品の情報が、基準陳列情報が示す全ての基準（位置やフェイス数など）に合致していることを意味する。
Figure JPOXMLDOC01-appb-M000001
　また、合致率は、個々の商品棚２０についてだけでなく、店舗全体について算出されてもよい。この場合、複数の商品棚２０それぞれについて生成された比較情報を用いて、店舗全体の合致率が算出される。具体的には、「店舗に陳列されている、基準陳列情報に示される基準に合致する商品の数」を、「その店舗に陳列すべき商品の総数」で割った値として、この合致率を定義することができる。以下の数式（２）は、この定義を表している。
Figure JPOXMLDOC01-appb-M000002
　以下、棚ごとに算出した合致率（数式（１））を「棚別合致率」と呼び、店舗全体について算出された合致率（数式（２））を「店舗別合致率」と呼ぶ。例えば１つの企業が複数の店舗を経営している場合、各店舗の運営状況を把握する指標の一つとして、各店舗の店舗別合致率を利用することができる。店舗別合致率が高い店舗は、基準に沿って適切に商品の陳列が行われていると言える。一方、店舗別合致率が低い店舗では、商品の陳列が適切に行われていない可能性がある。
　ここで、情報処理装置２０００が店舗別合致率を算出する契機は任意である。例えば情報処理装置２０００は、店舗に存在する全ての商品棚２０について比較情報が生成されたことを契機に、その店舗について店舗別合致率を算出する。
　なお、棚別合致率や店舗別合致率は、陳列されている全ての商品についてではなく、特定のメーカの商品についてのみ算出されてもよい。例えば或るメーカについての棚別合致率を算出するとする。この場合、比較部２０４０は、「商品棚２０に置かれているそのメーカの商品のうち、基準陳列情報に示されている基準に合致する商品の数」を「商品棚２０に陳列すべきそのメーカの商品の総数」で割った値を、そのメーカについての棚別合致率として算出する。また、比較部２０４０は、「店舗に置かれているそのメーカの商品のうち、基準陳列情報に示されている基準に合致する商品の数」を「店舗に陳列すべきそのメーカの商品の数」で割った値を、そのメーカについての店舗別合致率として算出する。
　なお、特定のメーカについて棚別合致率や店舗別合致率を算出する場合、情報処理装置２０００は、そのメーカを特定する識別情報（メーカ名やメーカの識別子など）を取得する。メーカの識別情報は、例えば、携帯端末３０００から送信されるリクエストに含められる。
＜＜合致率を利用したアラート＞＞
　前述したように、情報処理装置２０００は、棚画像１２に含まれる商品棚２０を特定するために、商品棚２０の識別子を取得する。そして、情報処理装置２０００は、その識別子で特定される商品棚２０についての基準陳列情報を取得する。ここで仮に、棚画像１２に含まれる商品棚２０とは別の商品棚２０の識別子を情報処理装置２０００が取得してしまうと、情報処理装置２０００は、棚画像１２に含まれる商品棚２０の陳列状況と、他の商品棚２０についての基準陳列情報とを比較してしまう。そのため、この場合に算出される棚別合致率は、低くなる蓋然性が高い。
　そこで情報処理装置２０００は、比較部２０４０によって算出された棚別合致率が所定値以下であるか否かを判定し、所定値以下である場合には、商品棚２０の識別子が誤っている可能性がある旨のアラートを出力するように構成されていてもよい。
　例えば情報処理装置２０００が、携帯端末３０００から、棚画像１２及び商品棚２０の識別子を含むリクエストを受信するとする。この場合、情報処理装置２０００は、算出した棚別合致率が所定値以上であれば、上記リクエストに対するレスポンスとして、前述したアラートを表すメッセージを送信する。このメッセージを受信した携帯端末３０００のユーザは、例えば、正しい商品棚２０の識別子を指定してリクエストの送信をやり直すといった対処ができる。
　上述では、商品棚２０の識別子を誤った可能性がある状況でアラートを出力することを例示したが、アラートを出力される状況はこのような状況に限定されない。例えば、情報処理装置２０００は、比較部２０４０によって算出された棚別合致率及び店舗別合致率の少なくとも何れかの合致率を利用して、合致率が所定の条件を満たさない場合に、基準に沿った適切な陳列が行われていない旨を表すアラートを出力してもよい。例えば所定の条件は、合致率が所定値以上であるという条件である。
［実施形態２］
　図１０は、実施形態２の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。
　実施形態２の情報処理装置２０００は、生成部２０６０を有する。生成部２０６０は、商品棚２０について生成された比較情報を用いて、その商品棚２０について結果画像を生成する。商品棚２０についての結果画像は、基準陳列情報が示す基準に合致しない商品と、基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す画像データである。結果画像は、画像ファイルとして記憶装置に記憶されてもよいし、画面データとしてディスプレイ装置に表示されてもよい。
　本実施形態の情報処理装置２０００によれば、商品棚２０における商品の陳列状況と、基準陳列情報とを比較した結果が、結果画像という形でグラフィカルに表される。そのため、商品棚２０における商品の陳列状況と陳列の基準との差異を、直感的に容易に把握することができる。
＜ディスプレイ装置について＞
　結果画像が表示されるディスプレイ装置は、任意のディスプレイ装置とすることができる。例えばディスプレイ装置は、情報処理装置２０００に接続されているディスプレイ装置や携帯端末３０００のディスプレイ装置などである。その他にも例えば、ディスプレイ装置は、商品棚２０が設置されている店舗のスタッフルームなどに設置されている端末や、その店舗を運営する会社のオフィスに設置されている端末に接続されているディスプレイ装置であってもよい。その他にも例えば、或るメーカのラウンダーなどが、商品棚２０においてそのメーカの商品が正しく陳列されているかを調べるために、情報処理装置２０００を利用するとする。この場合、結果画像が表示されるディスプレイ装置は、そのメーカのオフィスなどに設置されている端末に接続されているディスプレイ装置であってもよい。なお、スタッフルームやオフィスに設置されている端末は、例えば PC である。
　ここで、結果画像が表示されるディスプレイ装置が情報処理装置２０００と接続されているものでない場合、情報処理装置２０００は、そのディスプレイ装置が接続されている端末に対して、結果画像を送信する。そのため、情報処理装置２０００は、結果画像の送信先を特定できる必要がある。
　結果画像の送信先を特定する方法は様々である。例えば結果画像の送信先を特定する情報を、予め情報処理装置２０００からアクセス可能な記憶装置に記憶させておく。この場合、情報処理装置２０００は、上記記憶装置にアクセスすることで、結果画像の送信先を特定する。
　その他にも例えば、携帯端末３０００から送信されたリクエストに応じて情報処理装置２０００が処理を行う場合、情報処理装置２０００は、上記リクエストの送信元に結果画像を送信する。また、上記リクエストに結果画像の送信先を含めるようにしてもよい。この場合、情報処理装置２０００は、リクエストに示されている送信先に、結果画像を送信する。
＜結果画像について＞
　結果画像の具体的な内容は様々である。以下、結果画像のバリエーションについて例示する。
　例えば生成部２０６０は、実陳列情報と基準陳列情報の比較結果を表す重畳データを棚画像１２に重畳させることで、結果画像を生成する。図１１は、結果画像を例示する第１の図である。図１１の結果画像８０において、棚画像１２には、比較結果を示す重畳データが重畳されている。基準陳列情報が示す基準に合致する商品の画像領域には、重畳データ９０（ドット柄の矩形）が重畳されている。また、基準陳列情報が示す基準に合致しない商品の画像領域には、重畳データ９２（斜線柄の矩形）が重畳されている。さらに、商品が陳列されていない画像領域のうち、基準陳列情報によれば商品が陳列されるべきである位置を表す画像領域（すなわち、商品が欠品している位置を表す画像領域）には、重畳データ９４（格子柄の矩形）が重畳されている。例えば、基準陳列情報が商品Ａの位置として「２段目、３列目」という位置を示しているにもかかわらず、この位置に商品が配置されていない場合、この位置において商品が欠品しているといえる。
　なお、重畳データには、ドット柄等の模様ではなく色を利用してもよい。例えば、ドット柄、斜線柄、及び格子柄それぞれの代わりに、緑色、赤色、及び黄色を利用する。
　ここで、基準陳列情報が示す基準に合致していない部分を表す重畳データ（図１１の重畳データ９２又は重畳データ９４）は、点滅させるなどの方法で強調するようにしてもよい。
　基準に合致している商品と基準に合致していない商品とは、重畳データの柄や色ではなく、重畳データの形状で識別されてもよい。図１２は、結果画像８０を例示する第２の図である。図１２の結果画像８０において、基準陳列情報が示す基準に合致しない商品の画像領域には、重畳データ９６（黒丸印）が重畳されている。また、商品が欠品している位置を表す画像領域には、重畳データ９７（バツ印）が重畳されている。
　その他にも例えば、重畳データとしてヒートマップが利用されてもよい。図１３は、結果画像８０を例示する第３の図である。図１３では、１つの重畳データ９８が棚画像１２に重畳されている。重畳データ９８は、基準陳列情報と合致しない部分の色が比較的濃く、基準陳列情報と合致する部分の色が比較的薄いヒートマップである。
　結果画像８０は、比較結果を表す重畳データが重畳された棚画像１２に加え、棚別合致率を表す文字列等を含んでもよい。図１４は、棚別合致率を含む結果画像８０を例示する図である。図１４の結果画像８０は、棚画像１２の上に、棚別合致率を表す文字列７０を含んでいる。
　結果画像８０は、比較結果を表す重畳データが重畳された棚画像１２に加え、棚画像１２に陳列されている商品のリストを含んでいてもよい。図１５は、商品のリストを含む結果画像８０を例示する図である。図１５において、エリア１２０には、重畳データが重畳された棚画像１２が表示されている。一方、エリア１３０は、商品リスト１４０が表示されている。
　ここで、結果画像をディスプレイ装置に表示させる場合、生成部２０６０は、商品リスト１４０に対してユーザが入力操作を加えることに応じて、エリア１２０の表示を変更してもよい。例えばユーザが、商品リスト１４０の或るレコードを選択したとする。この場合、比較部２０４０は、エリア１２０において、選択されたレコードが示す商品に対応する画像領域が強調される様にする。
　図１６は、商品リスト１４０に対する操作に応じて結果画像８０が変化する様子を例示する図である。図１６では、図１５で表される結果画像８０に対し、ユーザが、商品Ａのレコードを選択する入力操作を加えたことを想定している。この入力操作に応じ、結果画像８０には、重畳データ１６０が表示されている。重畳データ１６０は、図１５の結果画像８０から商品Ａに対応する画像領域を抽出して拡大したものであり、棚画像１２よりも前面に位置するように表示されている。これにより、ユーザが選択した商品Ａに対応する画像領域が、前面に浮き出したように強調されて見えている。なお、レコードを選択する操作はタッチ操作には限定されず、マウス操作などであってもよい。
　逆に、生成部２０６０は、エリア１２０に表示されている商品の画像に対してユーザが入力操作を加えたことに応じて、商品リスト１４０の表示を変更してもよい。具体的には、ユーザが或る商品の画像を選択すると、その商品を示す商品リスト１４０のレコードが強調表示される。
　図１７は、商品の画像に対する操作に応じて結果画像８０が変化する様子を例示する図である。図１７では、ユーザが、エリア１２０において商品Ａを表している画像領域１７０を選択したことに応じて、商品Ａを示すレコードの背景色が変更されている。
＜ディスプレイ装置の表示を更新する方法＞
　結果画像８０を表示させるディスプレイ装置が情報処理装置２０００以外の端末に接続されている場合、結果画像８０に対する入力操作はその端末によって検出される。例えば結果画像８０が、携帯端末３０００のディスプレイ装置に表示される場合、結果画像８０に対する入力操作は携帯端末３０００によって検出される。
　このように情報処理装置２０００以外の端末によって結果画像８０に対する入力操作が検出される場合に、その入力操作に応じてディスプレイ装置の表示を更新する方法には、様々な方法を採用できる。例えば結果画像８０に対する入力操作を検出した端末は、情報処理装置２０００に対し、その入力操作の内容（例えば、入力操作の対象となった重畳データに関する情報など）を送信する。情報処理装置２０００は、受信した情報に基づいて内容を更新した結果画像８０を生成し、その結果画像８０を端末へ送信する。そして端末が、受信した結果画像８０をディスプレイ装置に表示させる。この一連の流れにより、ディスプレイ装置に表示される結果画像８０が更新される。
　その他にも例えば、携帯端末３０００などの端末に、結果画像８０に対する入力操作に応じてディスプレイ装置の表示を更新する機能を持たせてもよい。この場合、端末は、ユーザの入力操作を検出した際、その内容を情報処理装置２０００に送信することなく、自身で結果画像８０の変更を行う。この場合、端末には、結果画像８０を閲覧するためのアプリケーションを予めインストールしておく。例えば携帯端末３０００の場合、前述したアプリケーション１００に、結果画像８０を閲覧するための機能を持たせておく。
＜棚画像１２から認識できなかった商品がある場合について＞
　棚画像１２の一部が不鮮明などの理由から、棚画像１２に含まれる商品の一部を認識できないことがありうる。この場合、実陳列情報は、特定できない何らかの商品（不明商品）が置かれている位置を示してもよい。
　実陳列情報に不明商品の位置が示されている場合、結果画像８０は不明商品の位置を示すことが好適である。具体的には、生成部２０６０は、不明商品を表す重畳データを結果画像８０に含める。図１８は、不明商品を表す重畳データが含まれる結果画像８０を例示する図である。図１８において、重畳データ１１０は、不明商品を表している。すなわち、図１８の結果画像８０は、重畳データ１１０が重畳されている位置の商品が特定されていないことを表している。
　不明商品については、カメラ１０による撮像をやり直すことが好ましい。そこで例えば、重畳データ１１０は、カメラ機能を呼び出すためのボタンとして実現されてもよい。この場合、例えば結果画像８０は、カメラ１０が設けられている携帯端末３０００のディスプレイ装置に表示される。この場合、アプリケーション１００は、ユーザが重畳データ１１０を押下等したことを検知し、これに応じてカメラ１０を制御するカメラアプリケーションを起動させる。ユーザがカメラアプリケーションを操作してカメラ１０に撮像を行わせると、アプリケーション１００は、生成された棚画像１２を情報処理装置２０００へ送信する。情報処理装置２０００は、取得した棚画像１２を用いて実陳列情報を再度生成する。
　ここで、新たに生成された棚画像１２において、不明商品であった商品が認識可能に（鮮明に）含まれていれば、新たに生成された実陳列情報には、不明商品であった商品の商品名などが示されることになる。そこで、情報処理装置２０００は、新たに生成された実陳列情報と基準陳列情報とを比較することで再度比較情報を生成し、結果画像８０を更新する。この際、情報処理装置２０００は、前回生成した実陳列情報において不明商品であったものについてのみ比較情報を生成し、前回生成した比較情報とマージするようにしてもよい。
　なお、不明商品を表す重畳データ１１０の利用方法は、カメラ１０により撮像をやり直せるようにすることに限定されない。例えば、重畳データ１１０には、不明商品の位置に配置されるべき商品に関する情報を含む構成を採用してもよい。係る商品に関する情報の表示態様は、後述する図１９に示す情報（修正情報１５０－１及び修正情報１５０－２）と同様な構成を採用してもよい。その場合に、情報処理装置２０００は、基準陳列情報から不明商品の位置に関連付けられた商品に関する情報を求めることによって実現することができる。表示された商品に関する情報がユーザに選択された場合に、その選択に応じて、情報処理装置２０００は、選択された商品に関する情報と、既に取得された棚画像１２を用いて生成された実陳列情報とに基づいて、当該実陳列情報と異なる実陳列情報を再度生成してもよい（つまり、実陳列情報に選択された商品に関する情報を含める）。
＜商品の陳列を修正するための情報の表示＞
　結果画像８０は、基準陳列情報が示す基準に合致しない部分について、基準陳列情報が示す基準を表す情報（すなわち、どのように陳列状況を修正すれば基準に合致するかを表す情報）を含んでもよい。以下、この情報を修正情報と呼ぶ。
　図１９は、修正情報を例示する図である。図１９の結果画像８０は、２つの修正情報１５０を含んでいる。修正情報１５０－１を見ることにより、重畳データ９２が重畳されている場所に置かれている商品を、商品Ａに置き換えるべきことが分かる。また、修正情報１５０－２を見ることにより、重畳データ９４が重畳されている場所に、商品Ｂを置くべきことが分かる。
　ここで、結果画像８０がディスプレイ装置に表示される場合、生成部２０６０は、修正情報１５０を最初から結果画像８０に含めてもよいし、基準に合致していないことを表す重畳データ（重畳データ９２や重畳データ９４など）に対して入力操作が加えられたタイミングで、結果画像８０に修正情報１５０を含めてもよい。
　また、生成部２０６０は、修正情報１５０に対して入力操作が加えられたことに応じて、修正情報１５０に示されている商品に関する詳細な情報を示す画面データを生成してもよい。商品に関する情報とは、例えば、その商品の識別子、その商品が属するグループ、その商品のメーカ、その商品が保管されている場所（倉庫に設置されている棚の場所やその棚における商品の位置）などである。例えば商品が欠品している場合、商品を保管場所から持ってきて補充する必要がある。そこで、商品の保管場所が表示されるようにすることで、このような商品の補充作業を容易にすることができる。
　ここで、修正情報１５０は、基準陳列情報が示す基準に合致しない全ての商品について表示されてもよいし、一部の商品について表示されてもよい。後者の場合、商品に対して修正情報１５０を表示するか否かは、その商品の重要度に基づいて決定される。この場合、各商品に対して重要度を予め設定しておく。
　例えば生成部２０６０は、重要度が所定値以上の商品についてのみ修正情報１５０を生成し、結果画像８０に含める。その他にも例えば、生成部２０６０は、基準陳列情報が示す基準に合致しない商品のうち、重要度が上位所定数の商品についてのみ修正情報１５０を生成し、結果画像８０に含めるようにしてもよい。
［ハードウエア構成の例］
　実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
　前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、を有する情報処理装置。
２．　前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
　前記画像解析手段は、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成する、１．に記載の情報処理装置。
３．　前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す、２．に記載の情報処理装置。
４．　前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、１．乃至３．いずれか一つに記載の情報処理装置。
５．　前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、１．乃至３．いずれか一つに記載の情報処理装置。
６．　前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成手段を有する、請求項１乃至５いずれか一項に記載の情報処理装置。
７．　前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、６．に記載の情報処理装置。
８．　前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、６．又は７．に記載の情報処理装置。
９．　情報処理装置及び携帯端末を有する情報処理システムであって、
　前記携帯端末は、商品棚が撮像されている棚画像を前記情報処理装置に送信し、
　前記情報処理装置は、
　　前記送信された棚画像を受信し、その棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
　　前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
　　前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成し、前記携帯端末へ送信する生成手段と、を有し、
　前記携帯端末は、前記結果画像を受信してディスプレイ装置に表示させる、情報処理システム。
１０．　前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す前記実陳列情報を生成する、９．に記載の情報処理システム。
１１．　前記基準陳列情報は、前記商品棚における前記商品の陳列位置、フェイス数、又は他の商品との配置関係を示す、１０．に記載の情報処理システム。
１２．　前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、９．乃至１１．いずれか一つに記載の情報処理システム。
１３．　前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、９．乃至１１．いずれか一つに記載の情報処理システム。
１４．　前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、９．乃至１３．いずれか一つに記載の情報処理システム。
１５．　前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、９．乃至１４．いずれか一つに記載の情報処理システム。
１６．　コンピュータによって実行される制御方法であって、
　商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析ステップと、
　前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較ステップと、を有する制御方法。
１７．　前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
　前記画像解析ステップにおいて、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成する、１６．に記載の制御方法。
１８．　前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す、１７．に記載の制御方法。
１９．　前記比較ステップにおいて、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、１６．乃至１８．いずれか一つに記載の制御方法。
２０．　前記比較ステップにおいて、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、１６．乃至１８．いずれか一つに記載の制御方法。
２１．　前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成ステップを有する、１６．乃至２０．いずれか一項に記載の制御方法。
２２．　前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、２１．に記載の制御方法。
２３．　前記生成ステップにおいて、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、２１．又は２２．に記載の制御方法。
２４．　１６．乃至２３．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
　この出願は、２０１７年９月２９日に出願された日本出願特願２０１７－１９１７９０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (24)

  1. 　商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
    　前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、を有する情報処理装置。
  2. 　前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
    　前記画像解析手段は、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成する、請求項１に記載の情報処理装置。
  3. 　前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す、請求項２に記載の情報処理装置。
  4. 　前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、請求項１乃至３いずれか一項に記載の情報処理装置。
  5. 　前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、請求項１乃至３いずれか一項に記載の情報処理装置。
  6. 　前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成手段を有する、請求項１乃至５いずれか一項に記載の情報処理装置。
  7. 　前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、請求項６に記載の情報処理装置。
  8. 　前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、請求項６又は７に記載の情報処理装置。
  9. 　情報処理装置及び携帯端末を有する情報処理システムであって、
    　前記携帯端末は、商品棚が撮像されている棚画像を前記情報処理装置に送信し、
    　前記情報処理装置は、
    　　前記送信された棚画像を受信し、その棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
    　　前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
    　　前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成し、前記携帯端末へ送信する生成手段と、を有し、
    　前記携帯端末は、前記結果画像を受信してディスプレイ装置に表示させる、情報処理システム。
  10. 　前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す前記実陳列情報を生成する、請求項９に記載の情報処理システム。
  11. 　前記基準陳列情報は、前記商品棚における前記商品の陳列位置、フェイス数、又は他の商品との配置関係を示す、請求項１０に記載の情報処理システム。
  12. 　前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、請求項９乃至１１いずれか一項に記載の情報処理システム。
  13. 　前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、請求項９乃至１１いずれか一項に記載の情報処理システム。
  14. 　前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、請求項９乃至１３いずれか一項に記載の情報処理システム。
  15. 　前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、請求項９乃至１４いずれか一項に記載の情報処理システム。
  16. 　コンピュータによって実行される制御方法であって、
    　商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析ステップと、
    　前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較ステップと、を有する制御方法。
  17. 　前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
    　前記画像解析ステップにおいて、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成する、請求項１６に記載の制御方法。
  18. 　前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す、請求項１７に記載の制御方法。
  19. 　前記比較ステップにおいて、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、請求項１６乃至１８いずれか一項に記載の制御方法。
  20. 　前記比較ステップにおいて、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、請求項１６乃至１８いずれか一項に記載の制御方法。
  21. 　前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成ステップを有する、請求項１６乃至２０いずれか一項に記載の制御方法。
  22. 　前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、請求項２１に記載の制御方法。
  23. 　前記生成ステップにおいて、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、請求項２１又は２２に記載の制御方法。
  24. 　請求項１６乃至２３いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
PCT/JP2018/033600 2017-09-29 2018-09-11 情報処理装置、情報処理システム、制御方法、及びプログラム WO2019065212A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019544538A JP7243627B2 (ja) 2017-09-29 2018-09-11 情報処理装置、情報処理システム、制御方法、及びプログラム
US16/651,762 US11531960B2 (en) 2017-09-29 2018-09-11 Information processing apparatus, information processing system, control method, and program
US17/986,038 US20230074521A1 (en) 2017-09-29 2022-11-14 Information processing apparatus, information processing system, control method, and program
JP2023004493A JP7416292B2 (ja) 2017-09-29 2023-01-16 情報処理装置、情報処理システム、制御方法、及びプログラム
US18/229,022 US20230376894A1 (en) 2017-09-29 2023-08-01 Information processing apparatus, information processing system, control method, and program
US18/229,324 US20230376895A1 (en) 2017-09-29 2023-08-02 Information processing apparatus, information processing system, control method, and program
JP2023212804A JP2024019591A (ja) 2017-09-29 2023-12-18 情報処理装置、情報処理システム、制御方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-191790 2017-09-29
JP2017191790 2017-09-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/651,762 A-371-Of-International US11531960B2 (en) 2017-09-29 2018-09-11 Information processing apparatus, information processing system, control method, and program
US17/986,038 Continuation US20230074521A1 (en) 2017-09-29 2022-11-14 Information processing apparatus, information processing system, control method, and program

Publications (1)

Publication Number Publication Date
WO2019065212A1 true WO2019065212A1 (ja) 2019-04-04

Family

ID=65901825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033600 WO2019065212A1 (ja) 2017-09-29 2018-09-11 情報処理装置、情報処理システム、制御方法、及びプログラム

Country Status (3)

Country Link
US (5) US11531960B2 (ja)
JP (3) JP7243627B2 (ja)
WO (1) WO2019065212A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021009610A (ja) * 2019-07-02 2021-01-28 株式会社スタディスト メーカーが販売を希望する商品の販売促進作業を管理するための装置およびその装置において実行されるプログラム
JPWO2021033310A1 (ja) * 2019-08-22 2021-02-25
JP2021033935A (ja) * 2019-08-29 2021-03-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、業務支援方法、及び、コンピュータプログラム
JP2021081911A (ja) * 2019-11-18 2021-05-27 パナソニックＩｐマネジメント株式会社 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム
WO2022024364A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および記録媒体
WO2022102008A1 (ja) * 2020-11-11 2022-05-19 日本電気株式会社 表示制御装置、表示制御方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846561B1 (en) * 2020-04-01 2020-11-24 Scandit Ag Recognition and selection of discrete patterns within a scene or image
US11922271B1 (en) 2020-05-15 2024-03-05 Scandit Ag Virtual screen standby mode for mobile device camera
US11495036B1 (en) 2021-01-29 2022-11-08 Scandit Ag Segmenting images for optical character recognition

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074014A (ja) * 2010-08-31 2012-04-12 Ns Solutions Corp 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
JP2014002722A (ja) * 2012-05-11 2014-01-09 Dassault Systemes 買い物経験における仮想イメージと現実イメージとの比較
WO2014087725A1 (ja) * 2012-12-04 2014-06-12 日本電気株式会社 商品情報処理装置、そのデータ処理方法、およびプログラム
WO2016117600A1 (ja) * 2015-01-22 2016-07-28 日本電気株式会社 商品棚割管理装置及び商品棚割管理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361729B2 (en) * 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
US9026631B2 (en) * 2012-01-24 2015-05-05 International Business Machines Corporation Business-to-business social network
JP5881022B1 (ja) * 2014-09-11 2016-03-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US10579962B2 (en) 2014-09-30 2020-03-03 Nec Corporation Information processing apparatus, control method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074014A (ja) * 2010-08-31 2012-04-12 Ns Solutions Corp 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
JP2014002722A (ja) * 2012-05-11 2014-01-09 Dassault Systemes 買い物経験における仮想イメージと現実イメージとの比較
WO2014087725A1 (ja) * 2012-12-04 2014-06-12 日本電気株式会社 商品情報処理装置、そのデータ処理方法、およびプログラム
WO2016117600A1 (ja) * 2015-01-22 2016-07-28 日本電気株式会社 商品棚割管理装置及び商品棚割管理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021009610A (ja) * 2019-07-02 2021-01-28 株式会社スタディスト メーカーが販売を希望する商品の販売促進作業を管理するための装置およびその装置において実行されるプログラム
JPWO2021033310A1 (ja) * 2019-08-22 2021-02-25
WO2021033310A1 (ja) * 2019-08-22 2021-02-25 日本電気株式会社 処理装置、処理方法及びプログラム
JP7405144B2 (ja) 2019-08-22 2023-12-26 日本電気株式会社 処理装置、処理方法及びプログラム
JP2021033935A (ja) * 2019-08-29 2021-03-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、業務支援方法、及び、コンピュータプログラム
WO2021039126A1 (ja) * 2019-08-29 2021-03-04 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、業務支援方法、及び、コンピュータプログラム
JP2021081911A (ja) * 2019-11-18 2021-05-27 パナソニックＩｐマネジメント株式会社 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム
WO2021100525A1 (ja) * 2019-11-18 2021-05-27 パナソニックＩｐマネジメント株式会社 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム
WO2022024364A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および記録媒体
JP7464129B2 (ja) 2020-07-31 2024-04-09 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
WO2022102008A1 (ja) * 2020-11-11 2022-05-19 日本電気株式会社 表示制御装置、表示制御方法、及びプログラム

Also Published As

Publication number Publication date
JP7243627B2 (ja) 2023-03-22
US20200258033A1 (en) 2020-08-13
US11531960B2 (en) 2022-12-20
JP2024019591A (ja) 2024-02-09
JP2023029656A (ja) 2023-03-03
US20230376895A1 (en) 2023-11-23
JPWO2019065212A1 (ja) 2020-10-22
US20240020635A1 (en) 2024-01-18
US20230376894A1 (en) 2023-11-23
JP7416292B2 (ja) 2024-01-17
US20230074521A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
JP7416292B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
US11900316B2 (en) Information processing apparatus, control method, and program
US11049279B2 (en) Device for detecting positional relationship among objects
WO2020061939A1 (zh) 识别设备的方法、装置、系统、存储介质、处理器和终端
US20170293959A1 (en) Information processing apparatus, shelf label management system, control method, and program
EP3182349A2 (en) Planogram matching
US20190279394A1 (en) Image processing apparatus, and image processing method
US20190139280A1 (en) Augmented reality environment for tabular data in an image feed
US20200311659A1 (en) Information processing apparatus, information processing method, and program
JP2018151842A (ja) 棚割評価システム、携帯端末、サーバ及び棚割評価方法
JP6924662B2 (ja) 情報処理装置
JP7468508B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
EP3176743A1 (en) Statistical-data-generating server device, statistical-data generation system, and statistical-data generation method
JP2016218578A (ja) 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム
JP2016091522A (ja) 商品検索装置、商品検索方法、及び商品検索システム
WO2020050354A1 (ja) 画像検索システム、画像検索方法、およびプログラム
US20230385895A1 (en) Display control apparatus, display control method, and non-transitory computer-readable medium
JP6702434B2 (ja) 情報処理装置、制御方法、及びプログラム
JP7485140B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021117625A1 (ja) 表示制御装置、制御方法、及びプログラム
JP2018073226A (ja) 情報処理システム、代替物取得支援方法、データベース作成装置、情報処理装置、情報処理方法および情報処理プログラム
WO2019181442A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2023146383A (ja) 画像処理装置、画像処理方法およびプログラム
CN117743622A (zh) 图片标签生成方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18860339

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019544538

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18860339

Country of ref document: EP

Kind code of ref document: A1