WO2016063484A1 - 画像処理装置、表示制御装置、画像処理方法、および、記録媒体 - Google Patents

画像処理装置、表示制御装置、画像処理方法、および、記録媒体 Download PDF

Info

Publication number
WO2016063484A1
WO2016063484A1 PCT/JP2015/005151 JP2015005151W WO2016063484A1 WO 2016063484 A1 WO2016063484 A1 WO 2016063484A1 JP 2015005151 W JP2015005151 W JP 2015005151W WO 2016063484 A1 WO2016063484 A1 WO 2016063484A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
recognition
fixture
unit
image processing
Prior art date
Application number
PCT/JP2015/005151
Other languages
English (en)
French (fr)
Inventor
恭太 比嘉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/521,277 priority Critical patent/US10438079B2/en
Priority to CN201580057604.2A priority patent/CN107077686B/zh
Priority to EP15852272.2A priority patent/EP3211580B1/en
Priority to JP2016555071A priority patent/JP6620755B2/ja
Publication of WO2016063484A1 publication Critical patent/WO2016063484A1/ja
Priority to US16/570,809 priority patent/US11403843B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A47F2010/025—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems

Definitions

  • the present invention relates to an image processing device, a display control device, an image processing method, and a recording medium.
  • Patent Document 1 describes a product management apparatus that recognizes a displayed product from an image obtained by imaging a state in which a plurality of types of products are displayed.
  • Patent Document 2 describes a method of recognizing a product by cutting out a product image of the product from an image of the product displayed on the product display shelf.
  • ⁇ Shooting images of shelves on which products are displayed are affected by various environments such as lighting position, shooting angle of view, and shielding.
  • a boundary value indicating whether or not the product to be recognized is recognized as a specific product, and a similarity value with the specified product
  • the recognition threshold value is set higher to prevent erroneous recognition.
  • the recognition threshold is set lower in order to prevent recognition failure, there is a possibility that the occurrence rate of misrecognition that is recognized by other different products increases.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of detecting a region with high probability of occurrence of recognition failure with higher accuracy.
  • an image processing apparatus relates to a recognition unit that recognizes an article from a photographed image obtained by photographing the displayed article, and a fixture on which the article is displayed. Detecting means for detecting a region of an article that is included in the photographed image and not recognized by the recognition means based on fixture information.
  • the display control device is an area in which the article is not recognized in a photographed image obtained by photographing the displayed article, and the article may be displayed. Is displayed on the screen as an area where the article is not recognized.
  • the image processing method recognizes the article from a photographed image obtained by photographing the displayed article, and adds the photographed image to the photographed image based on furniture information related to the furniture on which the article is displayed. An area of an article that is included but not recognized is detected.
  • FIG. 14 is a flowchart illustrating an example of an operation flow of the image processing apparatus according to the third exemplary embodiment of the present invention. It is a figure which illustrates illustartively the hardware constitutions of the computer (information processing apparatus) which can implement
  • FIG. 1 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 according to the present embodiment includes a recognition unit 110 and a detection unit 120.
  • the direction of the arrow in the drawings shows an example, and does not limit the direction of signals between blocks.
  • the directions of the arrows in the drawings show an example and do not limit the direction of signals between the blocks.
  • the recognition unit 110 recognizes an article included in the photographed image from a photographed image obtained by photographing the displayed article (product).
  • the method by which the recognition unit 110 recognizes an article is not particularly limited, and may be a general recognition method.
  • the recognition unit 110 outputs the captured image and information indicating the article recognized from the captured image to the detection unit 120.
  • the detection unit 120 receives from the recognition unit 110 a captured image and information indicating an article recognized by the recognition unit 110 from the captured image. Then, the detection unit 120 detects an area of an article that is included in the received photographed image and is not recognized by the recognition unit 110 based on the fixture information related to the fixture on which the article is displayed.
  • the detection unit 120 detects the region of the article that the recognition unit 110 has not recognized from the captured image. At this time, the detection unit 120 detects an area in which the article is not recognized from the captured image based on the fixture information. Thereby, the image processing apparatus 100 can detect a region having a high probability of occurrence of recognition failure with higher accuracy.
  • FIG. 2 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus 200 according to the present embodiment.
  • members having the same functions as those included in the drawings described in the first embodiment are denoted by the same reference numerals.
  • the image processing apparatus 200 includes a recognition unit 110, a detection unit 120, and a reception unit 210. Further, the image processing apparatus 200 may further include a storage unit 220.
  • the receiving unit 210 is means for receiving a photographed image obtained by photographing the displayed article.
  • the captured image is, for example, an image captured by an imaging device such as a non-fixed point camera.
  • the receiving unit 210 receives this captured image from, for example, an imaging device.
  • the method for receiving unit 210 to receive a captured image is not particularly limited.
  • the receiving unit 210 may receive a captured image from an imaging device connected to the image processing device 200 using a USB (Universal Serial Bus) cable or the like.
  • the receiving unit 210 may receive a captured image from an imaging device connected to the image processing device 200 via a network.
  • the receiving unit 210 may receive a captured image from, for example, a storage device that stores the captured image.
  • the receiving unit 210 receives, together with the captured image, position information (referred to as captured image information) indicating the position where the captured image was captured and / or the position of the captured fixture.
  • position information referred to as captured image information
  • the reception unit 210 supplies the received captured image and the captured image information associated with the captured image to the recognition unit 110.
  • the storage unit 220 stores information for recognizing articles included in the captured image. Specifically, in the storage unit 220, information on an image of an article and / or a feature amount included in the image of the article identifies the article (for example, an identifier for identifying the article, an article name, etc.). It is linked to and stored. The information stored in the storage unit 220 may be information necessary for recognizing an article. In addition, information indicating the type (category) of the article is associated with the information for identifying the article.
  • the storage unit 220 stores fixture information related to fixtures on which articles are displayed.
  • the fixture information includes installation position information indicating a location where the fixture is installed for each fixture.
  • the fixture information includes the following (a) to (e) associated with the installation position information.
  • B Information on shelf allocation recommended for furniture,
  • C The number of stages of fixtures,
  • D the number of articles that can be placed on each stage of the fixture,
  • E Information indicating a condition related to display of an article displayed on a fixture.
  • the number of articles that can be arranged in each stage of the fixture can be rephrased as the number of slots (number of slots) in which articles can be arranged in each stage of the fixture.
  • (a) above is stored in the storage unit 220 by the recognition unit 110.
  • the above (b) to (e) are stored in the storage unit 220 in advance.
  • the storage unit 220 may store a fixture size as fixture information.
  • (e) above includes, for example, information indicating a condition that articles are arranged in all slots. Further, (e) may include, for example, a condition that articles having the same article name are continuously arranged, and a condition that articles of the same type are displayed at close positions.
  • the storage unit 220 stores information (referred to as ordering information) indicating the ordering (or purchase) of goods, and sales information managed by a POS (Point Of Sale) system or the like.
  • the information for recognizing the article, the fixture information, the ordering information, and the sales information may be stored in the same storage device (for example, the storage unit 220), or may be stored in different storage devices. It may be a thing.
  • the storage unit 220 may be built in the image processing apparatus 200, or may be realized by a storage device separate from the image processing apparatus 200.
  • the recognition unit 110 receives a captured image from the reception unit 210.
  • the recognizing unit 110 refers to the information for recognizing the article stored in the storage unit 220, and recognizes the article included in the photographed image from the received photographed image.
  • the method by which the recognition unit 110 recognizes an article is not particularly limited as in the recognition unit 110 of the image processing apparatus 100 according to the first embodiment, and may be a general recognition method.
  • the recognition unit 110 outputs a captured image and information (recognition result) indicating an article recognized from the captured image to the detection unit 120.
  • FIG. 3 is a diagram for explaining the operation of the recognition unit 110 of the image processing apparatus 200 according to the present embodiment, and is a diagram illustrating an example of a captured image.
  • FIG. 4 is a diagram for explaining a recognition result by the recognition unit 110.
  • the captured image includes images of a plurality of articles 31.
  • the photographed image is an image obtained by photographing one whole fixture as shown in FIG. 3, but is not limited to this.
  • the captured image may be a photograph of a plurality of fixtures. Further, the captured image may be an image of a part of one fixture.
  • the character described in each article 31 indicates the article name.
  • the fixture on which the article is displayed has three stages.
  • the top row (referred to as the first row), three items with the item name “Snack A” and two items with the item name “Snack B” are displayed.
  • two articles “ ⁇ A” to “ ⁇ C” are displayed.
  • articles of “Chocolate A” to “Chocolate H” are displayed one by one.
  • a broken-line frame (article image region 32) surrounding each item 31 indicates an image region of the item 31 recognized by the recognition unit 110. Therefore, in FIG. 3, it is assumed that the article whose name is “Chocolate C” and the two articles “ ⁇ B” are articles that have not been recognized by the recognition unit 110.
  • the recognition unit 110 includes information indicating the recognized article (for example, an article name), image area information indicating the article image area 32 of the article 31, and a recognition score indicating the probability of the recognition result of the article 31. It outputs to the detection part 120 as a recognition result.
  • An example of the recognition result is shown in FIG.
  • the image area information is position information indicating the position of the article image area 32 of the article 31 in the captured image.
  • the recognition result includes, for each article, an article name indicating the recognized article, a recognition score of the article 31, and position information (image area information) indicating the article image area 32 of the article 31. , Is included.
  • the article name, the article score, and the image area information are associated with each other.
  • one row includes information on one recognized article 31.
  • the recognition unit 110 recognizes an article whose article name is “Snack A”.
  • the coordinates of the four corners of the article image area 32 of this article are (x1, y1), (x2, y2), (x3, y3), (x4, y4), respectively, and the recognition score is “0.80”.
  • the recognition score is “0.80”.
  • the recognition unit 110 outputs “snack A, 0.80, x1, y1, x2, y2, x3, y3, x4, y4” as the recognition result of “snack A” as shown in FIG.
  • the article image region 32 is preferably a rectangle that circumscribes the article recognized by the recognition unit 110, but is not limited thereto.
  • the article image area 32 may be an area that matches the shape of the article.
  • the recognition result is not limited to this, and may include, for example, an identifier indicating the item 31 in addition to the item name or instead of the item name. That is, the recognition unit 110 may include information indicating the recognized article 31 in the recognition result. Further, the image area information included in the recognition result is not the coordinates of the four corners of the article image area 32 indicated by a substantially rectangular shape, but, for example, the coordinates of one of the four corners, the width of the article, and the height of the article. May be. That is, the recognition unit 110 may include information indicating the article image region 32 of the recognized article 31 in the recognition result.
  • the above-described recognition score has an upper limit of 1.0, and a value closer to 1.0 indicates higher reliability.
  • the method of expressing the recognition score is not limited to this.
  • the recognition unit 110 may include, for example, a JAN (Japan Article Number) code and information indicating the type of the item (for example, the type name or type code of the item) in the recognition result.
  • a JAN Joint Article Number
  • the recognition unit 110 may perform control such that information regarding an article having a recognition score smaller than a predetermined value is not included in the recognition result.
  • the recognition unit 110 outputs such a recognition result to the detection unit 120 together with the captured image in which the article is recognized and the captured image information of the captured image.
  • the recognition unit 110 receives the detection result from the detection unit 120 and recognizes the article based on the detection result. This operation will be described after the operation of the detection unit 120 is described.
  • the detection unit 120 receives the captured image, the captured image information of the captured image, and the recognition result of the article with respect to the captured image from the recognition unit 110. Then, the detection unit 120 detects an area of an article that is included in the received photographed image and is not recognized by the recognition unit 110 based on the fixture information related to the fixture on which the article is displayed. At this time, the fixture information to be referred to is associated with the installation position information that matches or approximates the received captured image information.
  • the detection unit 120 detects an area on the photographed image where an article is not recognized. Then, using the captured image and the recognition result, the detection unit 120 detects a candidate area (referred to as a candidate area) of the areas that may have a recognition failure among the detected areas.
  • This candidate area is an area where an article is highly likely to be placed.
  • the detection unit 120 calculates the distance between the upper and lower sides and the left and right sides of the article (referred to as the inter-article distance).
  • the detection unit 120 determines whether or not the calculated distance is greater than a predetermined threshold, and when the calculated distance is greater than the predetermined threshold, the area where the distance is calculated is detected as a candidate area.
  • the detection unit 120 is the upper end of the fixture and the upper end of the article image area 32 of each article recognized by the recognition unit 110, and the article on which no other article is arranged above the article.
  • the distance from the upper end of the article image area 32 is calculated. That is, when all the articles are arranged in the first stage, which is the uppermost stage of the fixture, the detection unit 120 calculates the distance between the upper end of each article image region 32 of the first article and the upper end of the fixture. calculate. If an article is not placed in a slot in the first row, the distance between the article placed in the second (or second and later) slot immediately below this slot and the upper end of the fixture is calculated. To do. Then, the detection unit 120 determines whether or not the calculated distance is greater than a predetermined threshold (first predetermined threshold). If the calculated distance is greater than the predetermined threshold, the area in which the distance is calculated Are detected as candidate regions.
  • a predetermined threshold first predetermined threshold
  • the detection unit 120 calculates the distance from the lower end, the left end, and the right end of the fixture to the article, and when the calculated distance is greater than a predetermined threshold, detects the calculated area as a candidate area.
  • a predetermined threshold detects the calculated area as a candidate area.
  • the left end line which shows the left end of a fixture is shown using the dashed-dotted line.
  • the detection unit 120 detects the candidate area by calculating the distance from the outer edge of the fixture to the article.
  • the predetermined threshold value may be stored in the storage unit 220 as fixture information.
  • the detection unit 120 detects the region (34) including the part of the bidirectional arrow (33) in FIG. 3, the region of the article “ ⁇ B”, and the region of the article “chocolate C” as candidate regions. .
  • the number of slots in the first stage of the fixture shown in the captured image of FIG. 3 is 5, the number of slots in the second stage is 6, and the number of slots in the third stage is 8.
  • the information indicating the number of slots is stored in the storage unit 220 as fixture information as described above.
  • the detection part 120 detects the area
  • the third row in FIG. 3 has 8 slots as described above.
  • the detection unit 120 receives information on seven articles as a third-stage recognition result. Therefore, the third level does not satisfy the condition that articles are arranged in all slots. Therefore, the detection unit 120 detects that there is a recognition failure of one article in the third stage. And the detection part 120 detects the area
  • the detection unit 120 detects that there are omissions in recognition of two articles based on the condition that articles are arranged in all slots, as in the third-tier region.
  • the detection unit 120 determines whether or not the width and / or height of the region 34 exceeds a second predetermined threshold. Then, when the width and / or height of the region 34 exceeds the second predetermined threshold, the detection unit 120 detects the region as a region having a high possibility of recognition failure. In this example, it is assumed that the width and / or height of the region 34 does not exceed the second predetermined threshold. Therefore, the detection unit 120 determines that the region 34 is not a recognition failure region.
  • the second predetermined threshold value may be, for example, an average size of articles displayed on a fixture or a fixed value. Further, the average size and the fixed value may be set for each fixture, or may be set for each stage or row of fixtures. In addition, the second predetermined threshold value may be stored in the storage unit 220 as fixture information.
  • the average size may be obtained from the recognition result received by the detection unit 120 from the recognition unit 110. As a result, the detection unit 120 can detect an area where there is a high possibility of recognition failure based on the size of an article around the recognition-rejected article.
  • the detection unit 120 may detect an area that has a high possibility of recognition failure among the candidate areas based on whether or not the amount of feature points of the image of the candidate area is larger than a predetermined value. For example, since no articles are arranged in the region 34, the number of feature points is reduced. On the other hand, in the area of the article “ ⁇ B ”, since the article is arranged, the number of feature points is larger than that in the case where no article is arranged. Based on these results, the detection unit 120 determines that the region 34 is not a region with a high possibility of recognition failure, and determines that the region of the article “ ⁇ B” is a region with a high possibility of recognition failure. To do.
  • the detection unit 120 is included in the distance between the recognized articles, the distance between the recognized article and the outer edge of the fixture, the size of the recognized article, and the area where the article is not recognized. Based on at least one of the number of feature points, an unrecognized article region is detected. Thereby, the detection part 120 can detect the area
  • the detection unit 120 may detect an area where there is a high possibility of recognition failure using past display results as fixture information. For example, when the past display result indicates that all the articles shown in FIG. 3 have been recognized, the detection unit 120 compares the past display result with the recognition result output from the recognition unit 110. To do. Then, the detection unit 120 detects the difference area obtained by the comparison as an area where the possibility of recognition failure is high.
  • the detection unit 120 uses the difference area obtained by comparing the recognition result with the shelf allocation information recommended for the fixture to be imaged as the fixture information in a region where there is a high possibility of recognition failure. You may detect as there being.
  • the detection unit 120 outputs, to the recognition unit 110, information indicating a detected region having a high possibility of recognition failure as a detection result.
  • the image processing apparatus 200 uses a photographed image obtained by photographing a fixture in which articles are displayed side by side on each stage.
  • the present invention is not limited to this.
  • the image processing apparatus 200 may use an image obtained by photographing a fixture in which articles are arranged vertically.
  • the number of stages of fixtures is the number of slots that can be arranged in the row of fixtures. Therefore, the detection unit 120 can detect an area where there is a high possibility of recognition failure even using a captured image obtained by capturing such a fixture.
  • the detection unit 120 further detects the article image region 32 of the misrecognized article. Below, the method to detect the misrecognized article which the detection part 120 detects is demonstrated.
  • the detection unit 120 determines an article that does not satisfy this condition among recognized articles as an erroneously recognized article.
  • the same type of articles is included in the condition that they are displayed at close positions. explain. Articles of the same type are often placed in close proximity within the same fixture.
  • the recognition result includes information indicating the type of the article. Based on the information indicating the type of the article included in the recognition result and the image area information of the article, the detection unit 120 determines that an article that does not satisfy this condition among the recognized articles is an erroneously recognized article. To do.
  • the detection unit 120 determines a misrecognized article based on order information prior to the time when the captured image was captured. Specifically, the detection unit 120 compares the recognized article with the ordered (purchased) article, and determines that the recognized article is an erroneously recognized article when the recognized article is not ordered. .
  • the detection unit 120 determines a misrecognized article based on sales information before the time when the photographed image was photographed. Specifically, the detection unit 120 confirms sales information regarding the recognized article, and determines that the article is an erroneously recognized article if the article is a sold article.
  • the detection unit 120 may determine the misrecognized article based on other fixture information. For example, when the article included in the past display result is significantly different from the recognized article (for example, in the case of an article having a different category), the detection unit 120 determines that the article is an erroneously recognized article. Also good. In addition, when the recommended shelf allocation information for a fixture that is a recognition target of an article is significantly different from the recognized article (for example, an article with a different category), the detection unit 120 may misrecognize the article. It may be determined that the article has been changed. Moreover, the detection part 120 may determine the articles
  • the detection part 120 outputs the information which shows the goods image area
  • FIG. 5 is a diagram for explaining the detection result output by the detection unit 120.
  • the detection unit 120 detects a substantially rectangular region having (x1, y1), (x2, y2), (x3, y3), and (x4, y4) as the coordinates of the four corners as the recognition failure region. And, as the article image region 32 of the article in which the detection unit 120 is erroneously recognized, (x′1, y′1), (x′2, y′2), (x′3, y′3), (x Assume that a substantially rectangular region having coordinates of four corners of '4, y'4) is detected. At this time, as shown in FIG.
  • the detection unit 120 includes, as a recognition failure detection result, a “recognition failure” that includes a character string “recognition failure” that indicates a recognition failure and information that indicates a region where the recognition failure has been detected. Leak, x1, y1, x2, y2, x3, y3, x4, y4 "are output.
  • the detection unit 120 detects, as a misrecognition detection result, a character string “misrecognition” indicating misrecognition and information (position information) indicating the article image region 32 of the misrecognized article. Recognition, x′1, y′1, x′2, y′2, x′3, y′3, x′4, y′4 ”are output. As described above, in FIG. 5, one row includes information of one detected area.
  • the area detected by the detection unit 120 is not limited to a substantially rectangular shape, and may have any shape.
  • the information indicating the region included in the detection result output by the detection unit 120 is not limited to the coordinates of the four corners, and may be any information that represents the region detected by the detection unit 120.
  • the detection result shown in FIG. 5 is an example, and is not limited to this format.
  • the recognition unit 110 receives the detection result from the detection unit 120 and recognizes the article based on the detection result.
  • the recognition unit 110 When the recognition unit 110 receives the detection result from the detection unit 120, the recognition unit 110 recognizes the article again on the region indicated by the received detection result on the captured image. At this time, the recognition unit 110 recognizes the article by changing a recognition parameter set when the article is recognized based on the following (A) to (C).
  • A) Recognition result by the recognition unit 110 (recognition result including information on an article already recognized by the recognition unit 110),
  • B Past display results,
  • C Information on shelf allocation recommended for furniture.
  • the recognition parameter set when the article is recognized is, for example, the likelihood of the article indicated by the information used for recognition stored in the storage unit 220.
  • the recognition unit 110 calculates the likelihood for an article that is determined to have a high possibility of recognition failure for at least one of the recognition failure areas based on at least one of the above (A) to (C).
  • the case where the recognition unit 110 calculates the likelihood is described based on (A), for example.
  • chocolates A, B, and D to H are displayed in the same level (third level) as “Chocolate C” that has not been recognized.
  • the recognition unit 110 recognizes an article having an article name similar to the article name of the article displayed on the same stage as the stage where the area where the article is not recognized exists (in this case, “chocolate” ”Is added to the item name).
  • the recognition unit 110 applies this article to an article of the same type as the article type with respect to the recognized article arranged around the recognition failure area. Increase the likelihood of.
  • the recognition unit 110 calculates the likelihood based on (B), for example.
  • the recognition unit 110 increases the likelihood of an article that is included in the past display result and is arranged at the same position and / or around the position where the recognition omission is present.
  • the recognition unit 110 is an article included in the past display result, and is arranged at the same position as the recognition failure area and / or around the position. The likelihood of this article is increased for an article of the same type as that of the article.
  • the recognition unit 110 calculates the likelihood based on (C), for example.
  • the recognizing unit 110 increases the likelihood of an article that is included in the recommended shelf allocation information and that is arranged at the same position as the area where recognition is not performed and / or around the position.
  • the recognition unit 110 is the article included in the recommended shelf allocation information, and is the same position as the area where the recognition is omitted and / or around the position. The likelihood of this article is increased with respect to an article of the same type as that of the article placed in the box.
  • the recognition unit 110 may set the likelihood (recognition parameter) depending on whether the region in which the article is recognized is an erroneously recognized region or an unrecognized region. For example, when the area for recognizing the article is the article image area 32 of the misrecognized article, the recognition unit 110 performs the misrecognition so that the article included in this area is not recognized again as the misrecognized article. Reduce the likelihood of the item being made.
  • the recognition unit 110 can narrow down the information used for recognition stored in the storage unit 220 by changing the recognition parameters. Thereby, the recognition part 110 can shorten the time of a recognition process.
  • the recognition unit 110 recognizes an article with respect to the region indicated by the detection result based on the calculated likelihood. Thereby, the recognition part 110 can suppress misrecognition.
  • the recognition unit 110 outputs the recognition result to the detection unit 120.
  • the recognition unit 110 adds information indicating the article recognized for the unrecognized region to the previous recognition result. Further, the recognition unit 110 deletes information on the article determined to be erroneously recognized by the detection unit 120 from the previous recognition result, and the article recognized this time for the article image area 32 of the article determined to be erroneously recognized. Is added to the previous recognition result. Thereby, the recognition unit 110 can output a new recognition result. Then, the recognition unit 110 outputs the recognition result to the detection unit 120 until it receives a detection result from the detection unit 120 that there is no region indicating recognition failure or erroneous recognition.
  • the recognition unit 110 When the recognition unit 110 receives a detection result from the detection unit 120 indicating that there is no region indicating a recognition failure or misrecognition, the recognition result output to the detection unit 120 immediately before receiving the detection result is taken by performing article recognition.
  • the result of recognition of the article with respect to the image is stored in the storage unit 220.
  • the recognition result stored in the storage unit 220 by the recognition unit 110 is a past display result when viewed from the recognition result of a photographed image obtained by photographing the same fixture. Therefore, the recognition unit 110 and the detection unit 120 can perform processing of each unit based on the past display result.
  • the recognition unit 110 may store the recognition result after receiving a predetermined number of detection results from the detection unit 120 in the storage unit 220 as a recognition result for the captured image.
  • the recognition unit 110 may store the recognition result in the storage unit 220 when transmitting the recognition result to the detection unit 120.
  • FIG. 6 is a flowchart showing an example of the operation flow of the image processing apparatus 200 according to the present embodiment.
  • the receiving unit 210 receives a captured image (step S1).
  • the recognition unit 110 recognizes an article for the captured image received by the reception unit 210 in step S1 (step S2).
  • the detection unit 120 detects, based on the fixture information, a region in which the article is not recognized from the photographed image and has a high possibility that the article is included (recognition failure region) (Step S120). S3). In addition, the detection unit 120 determines an article in which an article is recognized but has a high possibility of erroneous recognition, and detects the article image region 32 of the article (step S4). Note that step S3 and step S4 may be performed simultaneously or in reverse order.
  • the recognition unit 110 confirms whether or not a recognition failure and / or erroneous recognition area has been detected. Specifically, the recognizing unit 110 checks whether or not a recognition failure and / or misrecognition region is indicated in the detection result received from the detecting unit 120 (step S5). If the detection result indicates a region of recognition failure and / or misrecognition (YES in step S5), recognition unit 110 performs re-recognition of the article in the region indicated by the detection result of detection unit 120. (Step S6). Then, the detection unit 120 executes Step S3 again to detect a recognition failure region.
  • the recognition unit 110 stores the recognition result in the storage unit 220 and ends the process (step S7).
  • (effect) According to the image processing apparatus 200 according to the present embodiment, it is possible to detect a region having a high probability of occurrence of recognition failure with higher accuracy. This is because the detection unit 120 detects the region of the article that the recognition unit 110 did not recognize from the captured image based on the fixture information.
  • a recognition threshold is set, and a recognition result is output based on the recognition threshold.
  • the recognition unit 110 sets the recognition threshold value lower, the incidence of erroneous recognition increases. Therefore, the recognition unit 110 according to the present embodiment sets the recognition threshold value to a value that more effectively suppresses the occurrence rate of erroneous recognition.
  • the recognition threshold is set high, there is a high possibility that the recognition failure area increases.
  • the detection unit 120 can detect such a recognition failure area based on the fixture information.
  • the recognition unit 110 can recognize the article again by changing the recognition parameter only for the detected unrecognized region. Thereby, omission of recognition and misrecognition can be prevented more.
  • the image processing apparatus 200 can acquire information indicating the more accurate shelf allocation from the captured image.
  • FIG. 7 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus 300 according to the present embodiment.
  • the image processing apparatus 300 according to the present embodiment is configured to further include a display control unit and a correction unit in addition to the image processing apparatus 200 according to the second embodiment described above.
  • FIG. 7 is a diagram illustrating an example of a system configuration including the image processing apparatus 300 according to the present embodiment.
  • the system includes an image processing device 300, an imaging device 400, and a display operation device 500.
  • the image processing apparatus 300 is communicably connected to the imaging apparatus 400.
  • the imaging device 400 images the displayed article. Then, the imaging apparatus 400 transmits the captured image (captured image) to the image processing apparatus 300.
  • the imaging device 400 is realized by, for example, a non-fixed point camera.
  • the display operation device 500 is communicably connected to the image processing device 300.
  • the display operation device 500 may be connected to the image processing device 300 via a network, or may be directly connected to the image processing device 300.
  • the display operation device 500 includes a display unit 510 and an input unit 520.
  • the display operation device 500 is described as being configured separately from the image processing device 300, but the display operation device 500 is formed integrally with the image processing device 300. May be.
  • the display operation device 500 is, for example, a touch panel in which the display unit 510 and the input unit 520 are integrally formed.
  • the display unit 510 is a display device that displays a GUI (Graphical User Interface) or the like that is operated by the user on the screen based on a signal transmitted from the image processing apparatus 300.
  • GUI Graphic User Interface
  • the input unit 520 is a device that detects a user instruction.
  • the input unit 520 detects the position (coordinates on the screen) of the instruction made on the screen. For example, when the display operation device 500 is a touch panel, the input unit 520 detects an input operation by an object that has touched / closed on the screen. Further, the input unit 520 detects an input operation input by a user operating a mouse or the like, for example.
  • the input unit 520 transmits the detection result as an input operation signal to the image processing apparatus 300.
  • FIG. 8 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus 300 according to the present embodiment.
  • the image processing apparatus 300 includes a recognition unit 110, a detection unit 120, a reception unit 210, a display control unit 310, and a correction unit 320. Further, the image processing apparatus 300 may further include a storage unit 220.
  • the reception unit 210 receives the captured image transmitted from the imaging device 400 and outputs the received image to the recognition unit 110.
  • an article image to be displayed on the display unit 510 is stored in association with information for identifying the article. Yes.
  • the article image to be displayed on the display unit 510 may be an article image stored as information necessary for recognizing the article, or may be a sample image showing the article.
  • the recognition unit 110 recognizes an article included in the captured image from the received captured image, similarly to the recognition unit 110 according to the second embodiment. Then, the recognition unit 110 outputs the recognition result to the detection unit 120.
  • the recognition unit 110 when the recognition unit 110 receives the detection result from the detection unit 120, the recognition unit 110 changes the recognition parameter based on the detection result, and recognizes the article again in the region indicated by the detection result. Then, the recognition unit 110 outputs the recognition result to the detection unit 120.
  • the detection unit 120 detects a region where there is a high possibility of recognition failure, as with the detection unit 120 according to the second embodiment. Moreover, the detection unit 120 may further have a function of detecting the article image region 32 of the misrecognized article, similarly to the detection unit 120 according to the second embodiment.
  • the detection unit 120 checks whether or not the recognition result has been received from the recognition unit 110 a predetermined number of times. If the recognition result has been received a predetermined number of times, the detection unit 120 outputs the detection result and the received recognition result to the display control unit 310.
  • the detection unit 120 detects an area of recognition failure or misrecognition after receiving the first recognition result, and recognizes the detection result, the received recognition result, and the article.
  • the captured image is output to the display control unit 310.
  • the display control unit 310 receives the detection result, the recognition result, and the captured image from the detection unit 120. Then, the display control unit 310 causes the display unit 510 to display information indicating the area indicated by the detection result. For example, the display control unit 310 generates an image indicating the region indicated by the detection result using the received captured image, or extracts an image indicating the region from the received captured image and displays the image on the display unit 510.
  • the display control unit 310 determines an article candidate (referred to as a correction candidate) that may exist in the region based on at least one of the following (1) to (3).
  • the display control unit 310 identifies an article placed in a region around the region indicated by the detection result from the received recognition result. Then, the display control unit 310 determines the articles arranged in the surrounding area as correction candidates.
  • the display control unit 310 acquires an article image indicating the determined correction candidate article from the storage unit 220. Then, the display control unit 310 causes the display unit 510 to display the acquired article image so that the user can select it.
  • the display control unit 310 may calculate the degree of duplication (similarity degree) of each article based on the received recognition result, and determine a correction candidate based on the degree of duplication. For example, the display control unit 310 may calculate the degree of duplication of the types of articles displayed in the stage including the region indicated by the detection result, and may determine the type of articles having a higher degree of duplication as correction candidates. . At this time, the determined correction candidate may be an article included in the recognition result, or an article whose information is stored in the storage unit 220 although it is not included in the recognition result.
  • the display control unit 310 has at least one of recognition results, information indicating conditions regarding the display of the items displayed on the fixture, order information, and sales information for the items displayed on the display unit 510 as correction candidates.
  • the likelihood may be determined based on either.
  • the display control part 310 may determine a correction candidate based on the determined likelihood.
  • the information indicating the conditions related to the display of the articles displayed on the fixture is, for example, the condition that articles having the same article name are continuously arranged, and the same type of articles are in close positions. It is a condition that it is displayed.
  • the display control unit 310 can narrow down correction candidates to be displayed on the display unit 510.
  • the display control unit 310 displays the correction candidates to be displayed on the display unit 510 in descending order of possibility of existing in the area.
  • the image processing apparatus 300 can more easily understand an article that is likely to exist in the region among the correction candidates, and can present it to the user.
  • the display control unit 310 may determine the order in which there is a high probability of being present in this area, based on the article name and / or the type of the article arranged at a position close to the area. Good.
  • the display control unit 310 may determine the order in which there is a high possibility of being present in this area, based on the recognition score included in the recognition result of the article for this area. At this time, the display control unit 310 instructs the recognition unit 110 to recognize the article again for this area, and receives the recognition result of the article for this area. It is preferable that the recognition result includes a plurality of articles that are likely to exist in the region together with the recognition score. Then, the display control unit 310 determines the descending order of the recognition scores of the plurality of articles included in the recognition result as the descending order of possibility of existing in the region.
  • the display control unit 310 causes the display unit 510 to display the determined correction candidates so that they can be selected.
  • the number of correction candidates displayed on the display unit 510 by the display control unit 310 is not particularly limited.
  • the display control unit 310 selects the article image stored in the storage unit 220 in the display unit 510 by the user. It may be displayed as possible. If the article image of the article desired by the user is not stored in the storage unit 220, the display unit 510 may register the article image in the storage unit 220 based on the user instruction transmitted from the input unit 520. Good.
  • the display control unit 310 supplies information indicating the image displayed on the display unit 510 and the received recognition result to the correction unit 320.
  • the correction unit 320 receives an input operation signal indicating the input operation detected by the input unit 520. Further, the correction unit 320 receives information indicating the image displayed on the display unit 510 by the display control unit 310 and the recognition result from the display control unit 310. Then, the correction unit 320 corrects the recognition result based on the selection result for the article candidate displayed on the display unit 510 indicated by the received input operation signal.
  • the correction unit 320 adds information on the correction candidates selected by the user to the recognition result.
  • the correction unit 320 displays information on the article that has been determined to be erroneously recognized by the detection unit 120 from the recognition result. delete. Then, the correction unit 320 adds information related to the correction candidate selected by the user to the recognition result. Thereby, the recognition unit 110 can output a new recognition result (corrected recognition result).
  • the correction unit 320 stores the corrected recognition result in the storage unit 220 as the recognition result of the article with respect to the photographed image in which the article is recognized.
  • the recognition result stored in the storage unit 220 by the correction unit 320 is a past display result when viewed from the recognition result of a photographed image obtained by photographing the same fixture. Therefore, the recognition unit 110, the detection unit 120, and the display control unit 310 can perform processing of each unit based on the past display result.
  • FIG. 9 to 11 are diagrams showing examples of display images displayed on the display unit 510 by the display control unit 310 of the image processing apparatus 300 according to the present embodiment.
  • the display control unit 310 causes the display unit 510 to display information indicating an area of recognition failure and / or misrecognition in the captured image.
  • the display control unit 310 indicates a region in which a substantially rectangular thick frame (the article image region 32 described above) is not displayed as a recognition failure and / or erroneous recognition region.
  • the input unit 520 uses the information indicating the position selected by the user as an input operation signal as an input operation signal. It transmits to the processing apparatus 300.
  • the correction unit 320 identifies the selected region from the input operation signal transmitted from the input unit 520, and transmits information indicating the region to the display control unit 310.
  • the display control unit 310 causes the display unit 510 to display an image of a recognition failure and / or misrecognition region selected by the user based on the information received from the correction unit 320. For example, when the user selects the “chocolate C” portion in FIG. 9, the display control unit 310 causes the display unit 510 to display an image of the “chocolate C” portion as shown on the left side of FIG. 10. Since the left diagram in FIG. 10 shows a region to be corrected, it is also called a correction target region.
  • the display control part 310 displays the correction candidate with respect to this correction object area
  • the correction unit 320 corrects the recognition result based on the selection result.
  • the display control unit 310 may cause the display unit 510 to display an image including only a recognition failure and / or misrecognition region as illustrated in FIG. 11 instead of the screen illustrated in FIG. 9.
  • the display control unit 310 may display the screen of FIG. 9 and the screen of FIG. 10 or the screen of FIG. 11 and the screen of FIG. 10 on one screen.
  • FIG. 12 is a flowchart showing an example of the operation flow of the image processing apparatus 300 according to the present embodiment.
  • steps S11 to S14 are the same processes as steps S1 to S4 in the operation of the image processing apparatus 200 according to the second embodiment, the description thereof is omitted.
  • the detection unit 120 checks whether or not the recognition result has been received from the recognition unit 110 a predetermined number of times (step S15). When the recognition result has not been received a predetermined number of times (NO in step S15), the recognition unit 110 performs re-recognition of the article in the region indicated by the detection result by the detection unit 120 (step S16). Then, the detection unit 120 executes Step S3 again to detect a recognition failure region.
  • step S15 When the recognition result is received a predetermined number of times (YES in step S15), the display control unit 310 controls the display unit 510 to display the correction candidates on the screen. Then, display unit 510 displays the correction candidates on the screen (step S17).
  • the correction unit 320 corrects the recognition result based on the selection result (step S18). And the correction part 320 stores a recognition result in the memory
  • the image processing apparatus 300 according to the present embodiment can obtain the same effects as those of the image processing apparatuses according to the first and second embodiments described above.
  • the display control unit 310 displays on the screen a candidate for an article that may exist in the region detected by the detection unit 120 so as to be selectable. Therefore, the image processing apparatus 300 according to the present embodiment can reduce the complexity of the correction work by the user. Thereby, the image processing apparatus 300 can acquire information indicating the more accurate shelf allocation from the captured image without increasing the burden on the user.
  • the display control unit 310 is built in the image processing apparatus 300, but the display control unit 310 is realized as a display control apparatus separate from the image processing apparatus 300. It may be a thing.
  • This display control device is an area in which an article is not recognized in an image obtained by photographing the displayed article, and an area in which the article may be displayed is an area in which the article is not recognized. Is displayed on the screen of the display unit 510. Thereby, the display control apparatus can present a highly probable region where recognition failure has occurred to the user.
  • Example of hardware configuration a configuration example of hardware capable of realizing the image processing apparatuses (100, 200, 300) according to the above-described embodiments will be described.
  • the above-described image processing apparatuses (100, 200, 300) may be realized as a dedicated apparatus, but may be realized using a computer (information processing apparatus).
  • FIG. 13 is a diagram illustrating a hardware configuration of a computer (information processing apparatus) capable of realizing each embodiment of the present invention.
  • the hardware of the information processing apparatus (computer) 10 shown in FIG. 13 includes the following members.
  • CPU Central Processing Unit
  • I / F Communication interface
  • I / F Communication interface
  • I / F Communication interface
  • I / F Communication interface
  • I / F Communication interface
  • ROM Read Only Memory
  • -RAM Random Access Memory
  • the input / output user interface 13 is a man-machine interface such as a keyboard which is an example of an input device and a display as an output device.
  • the communication interface 12 is a general communication means for the devices according to the above-described embodiments (FIGS. 1, 2, and 8) to communicate with an external device via the communication network 20.
  • the CPU 11 controls the overall operation of the information processing apparatus 10 that implements the image processing apparatuses (100, 200, 300) according to the embodiments.
  • a program (computer program) that can realize the processing described in each of the above-described embodiments is supplied to the information processing apparatus 10 illustrated in FIG. This is realized by reading out and executing.
  • the program is, for example, the various processes described in the flowcharts (FIGS. 6 and 12) referred to in the description of the above embodiments, or the block diagrams shown in FIGS. It may be a program capable of realizing each unit (each block) shown in the apparatus.
  • the program supplied to the information processing apparatus 10 may be stored in a readable / writable temporary storage memory (15) or a non-volatile storage device (17) such as a hard disk drive. That is, in the storage device 17, the program group 17 ⁇ / b> A is a program that can realize the functions of the respective units shown in the image processing devices (100, 200, 300) in the above-described embodiments, for example.
  • the various kinds of stored information 17B are, for example, a captured image, information for recognizing an article, a recognition result, a detection result, fixture information, sales information, ordering information, an article image, and the like in each of the above-described embodiments.
  • the structural unit of each program module is not limited to the division of each block shown in the block diagrams (FIG. 1, FIG. 2, and FIG. 8). May be selected as appropriate during mounting.
  • a method for supplying a program into the apparatus can employ a general procedure as follows.
  • -CD Compact Disk
  • a method of installing in the apparatus via various computer-readable recording media (19) such as ROM and flash memory A method of downloading from the outside via a communication line (20) such as the Internet.
  • each embodiment of the present invention can be considered to be configured by a code (program group 17A) constituting the computer program or a storage medium (19) in which the code is stored. .

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Mechanical Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Display Racks (AREA)
  • Multimedia (AREA)

Abstract

　認識漏れが発生している蓋然性の高い領域を、より高精度に検出可能な技術を提供する。画像処理装置は、陳列された物品を撮影した撮影画像から、前記物品を認識する認識手段と、前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、前記認識手段によって認識されなかった物品の領域を検出する検出手段と、を備える。

Description

画像処理装置、表示制御装置、画像処理方法、および、記録媒体
　本発明は、画像処理装置、表示制御装置、画像処理方法、および、記録媒体に関する。
　商品を販売する店舗では、商品の売り上げは、商品の陳列状態に依存することが知られている。そのため、商品の陳列状態を効率的に取得する方法が求められている。
　特許文献１には、複数種の商品が陳列されている状態を撮像した画像から陳列されている商品を認識する商品管理装置が記載されている。
　また、特許文献２には、商品陳列棚に陳列された商品が撮影された画像から商品の商品画像を切り出すことにより、該商品を認識する方法が記載されている。
特開２０１２－１２６５３２号公報 特開２０１３－２５０６４７号公報
　商品が陳列される棚の撮影画像は、撮影時の照明の位置、撮影画角、遮蔽等の様々な環境による影響を受ける。このような撮影画像に対して商品の認識を行う際、例えば、認識対象の商品が特定の商品であると認識するか否かの境界の値であって、特定する商品との類似度の値である認識閾値を、誤認識を防ぐために、より高く設定したとする。この場合、撮影画像が環境による影響を受けているため、類似度が低くなってしまい、商品として認識されない認識漏れが増えてしまう可能性がある。一方、認識漏れを防ぐために、認識閾値をより低く設定すると、他の異なる商品に認識されてしまう誤認識の発生率が増えてしまう可能性がある。
　上述した特許文献１および２に記載の技術では、このような環境による影響が考慮されていない。そのため、特許文献１および２に記載の技術では、誤認識を防ぐように認識閾値を設定した場合、商品として認識されない認識漏れの領域が増えてしまう可能性がある。したがって、このような場合、特許文献１および２の技術では、認識漏れが発生した領域に存在する商品が、認識されないままになってしまい、認識結果の精度が低くなってしまう。
　本発明は上記課題に鑑みてなされたものであり、その目的は、認識漏れが発生している蓋然性の高い領域を、より高精度に検出可能な技術を提供することにある。
　上記課題を解決するために、本発明の一態様に係る画像処理装置は、陳列された物品を撮影した撮影画像から、前記物品を認識する認識手段と、前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、前記認識手段によって認識されなかった物品の領域を検出する検出手段と、を備える。
　また、本発明の一態様に係る表示制御装置は、陳列された物品を撮影した撮影画像のうち、前記物品が認識されなかった領域であって、前記物品が陳列されている可能性がある領域を、前記物品が認識されていない領域として画面に表示させる。
　また、本発明の一態様に係る画像処理方法は、陳列された物品を撮影した撮影画像から、前記物品を認識し、前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、認識されなかった物品の領域を検出する。
　なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体も、本発明の範疇に含まれる。
　本発明によれば、認識漏れが発生している蓋然性の高い領域を、より高精度に検出することができる。
本発明の第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 本発明の第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 本発明の第２の実施の形態に係る画像処理装置の認識部の動作を説明するための図である。 本発明の第２の実施の形態に係る画像処理装置の認識部による認識結果を説明するための図である。 本発明の第２の実施の形態に係る画像処理装置の検出部が出力する検出結果を説明するための図である。 本発明の第２の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 本発明の第３の実施の形態に係る画像処理装置を含むシステムの構成の一例を示す図である。 本発明の第３の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 本発明の第３の実施の形態に係る画像処理装置の表示制御部によって、表示部に表示された表示画像の一例を示す図である。 本発明の第３の実施の形態に係る画像処理装置の表示制御部によって、表示部に表示された表示画像の他の例を示す図である。 本発明の第３の実施の形態に係る画像処理装置の表示制御部によって、表示部に表示された表示画像の更に他の例を示す図である。 本発明の第３の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
　＜第１の実施の形態＞
　本発明の第１の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する基本の構成について説明する。図１は、本実施の形態に係る画像処理装置１００の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る画像処理装置１００は、認識部１１０と、検出部１２０とを備えている。また、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。以降に参照する、他のブロック図においても同様に、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
　認識部１１０は、陳列された物品（商品）を撮影した撮影画像から、該撮影画像に含まれる物品を認識する。認識部１１０が物品を認識する方法は特に限定されず、一般的な認識手法であってもよい。認識部１１０は、撮影画像と、該撮影画像から認識した物品を示す情報とを、検出部１２０に出力する。
　検出部１２０は、認識部１１０から、撮影画像と、該撮影画像から認識部１１０が認識した物品を示す情報と、を受信する。そして、検出部１２０は、物品が陳列された什器に関連する什器情報に基づいて、受信した撮影画像に含まれる物品であって、認識部１１０が認識しなかった物品の領域を検出する。
　このように、本実施の形態に係る画像処理装置１００は、撮影画像から認識部１１０が認識しなかった物品の領域を、検出部１２０が検出する。このとき、検出部１２０は、什器情報に基づいて、撮影画像の中から物品が認識されていない領域を検出する。これにより、画像処理装置１００は、認識漏れが発生している蓋然性の高い領域を、より高精度に検出することができる。
　＜第２の実施の形態＞
　次に、上述した第１の実施の形態を基本とする、本発明の第２の実施の形態について、図面を参照して説明する。図２は、本実施の形態に係る画像処理装置２００の機能構成の一例を示す機能ブロック図である。なお、説明の便宜上、前述した第１の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付す。
　図２に示す通り、本実施の形態に係る画像処理装置２００は、認識部１１０と、検出部１２０と、受信部２１０と、を備えている。また、画像処理装置２００は、更に、記憶部２２０を備える構成であってもよい。
　受信部２１０は、陳列された物品を撮影した撮影画像を受信する手段である。撮影画像は、例えば、非定点カメラ等の撮像装置によって撮影された画像である。
　受信部２１０は、この撮影画像を、例えば、撮像装置から受信する。なお、受信部２１０が撮影画像を受信する方法は、特に限定されない。例えば、受信部２１０は、画像処理装置２００にＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ケーブル等を用いて接続された撮像装置から、撮影画像を受信するものであってもよい。また、例えば、受信部２１０は、画像処理装置２００とネットワークを介して接続された撮像装置から、撮影画像を受信するものであってもよい。また、受信部２１０は、例えば、撮影画像が蓄積された記憶装置等から、撮影画像を受け取ってもよい。なお、受信部２１０は、撮影画像と共に、該撮影画像が撮影された位置および／または撮影した什器の位置を示す位置情報（撮影画像情報と呼ぶ）を受信する。
　そして、受信部２１０は、受信した撮影画像と、該撮影画像に関連付けられた撮影画像情報とを、認識部１１０に供給する。
　記憶部２２０には、撮影画像内に含まれる物品を認識するための情報が格納されている。具体的には、記憶部２２０には、物品の画像、および／または、物品の画像に含まれる特徴量が、該物品を識別する情報（例えば、物品を識別するための識別子、物品名等）に紐付けられて、格納されている。なお、記憶部２２０に格納される情報は、物品を認識するために必要な情報であればよい。また、物品を識別するための情報には、物品の種類（カテゴリ）を表す情報が紐付けられている。
　また、記憶部２２０には、物品が陳列された什器に関連する什器情報が格納されている。什器情報は、什器毎に什器が設置された場所を示す設置位置情報を含む。また、什器情報は、上記設置位置情報に関連付けられた、以下の（ａ）～（ｅ）を含む。
（ａ）什器を撮影した撮影画像の撮影時刻より過去の時刻に該什器を撮影した撮影画像に対する、認識部１１０による認識結果（過去の陳列結果と呼ぶ）、
（ｂ）什器において推奨される棚割りの情報、
（ｃ）什器の段数、
（ｄ）什器の各段に配置可能な物品数、
（ｅ）什器に陳列された物品の陳列に関する条件を示す情報。
　ここで、什器の各段に配置可能な物品数は、什器の各段に物品を配置することができるスロットの数（スロット数）と言い換えることができる。
　なお、上記（ａ）は、認識部１１０によって記憶部２２０に格納されるものである。また、上記（ｂ）～（ｅ）は、記憶部２２０に予め格納される。また、記憶部２２０には、什器情報として、什器サイズが格納されていてもよい。
　ここで、上記（ｅ）は、例えば、全てのスロットに物品が配置されるという条件を示す情報を含む。また、（ｅ）は、例えば、同一の物品名を有する物品は、連続して並ぶという条件、および、同一の種類の物品は、近接した位置に陳列されるという条件を含んでもよい。
　また、記憶部２２０には、物品の発注（または仕入）を示す情報（発注情報と呼ぶ）と、ＰＯＳ（Ｐｏｉｎｔ　Ｏｆ　Ｓａｌｅ）システム等によって管理された売上情報とが格納されている。
　なお、物品を認識するための情報、什器情報、発注情報および売上情報は、同じ記憶装置（例えば、記憶部２２０）に格納されるものであってもよいし、夫々、異なる記憶装置に格納されるものであってもよい。
　また、記憶部２２０は、画像処理装置２００内に内蔵されるものであってもよいし、画像処理装置２００とは別個の記憶装置によって実現されるものであってもよい。
　認識部１１０は、受信部２１０から撮影画像を受信する。認識部１１０は、記憶部２２０に格納された、物品を認識するための情報を参照し、受信した撮影画像から、該撮影画像に含まれる物品を認識する。認識部１１０が物品を認識する方法は、第１の実施の形態に係る画像処理装置１００の認識部１１０と同様に特に限定されず、一般的な認識手法であってもよい。認識部１１０は、撮影画像と、該撮影画像から認識した物品を示す情報（認識結果）とを、検出部１２０に出力する。
　ここで、認識部１１０の動作について、図３および図４を参照してさらに説明する。図３は、本実施の形態に係る画像処理装置２００の認識部１１０の動作を説明するための図であり、撮影画像の一例を示す図である。また、図４は、認識部１１０による認識結果を説明するための図である。
　図３に示す通り、撮影画像には、複数の物品３１の画像が含まれる。なお、本実施の形態では、撮影画像は、図３に示すような、１つの什器の全体を撮影した画像であるとするが、これに限定されるものではない。撮影画像は、複数の什器を撮影したものであってもよい。また、撮影画像は、１つの什器の一部を撮影したものであってもよい。また、図３において、各物品３１内に記載の文字は、物品名を示している。
　図３の例では、物品が陳列された什器は、３段からなる。１番上の段（１段目と呼ぶ）には、物品名が「スナックＡ」の物品が３つと、物品名が「スナックＢ」の物品が２つ陳列されている。２段目には、「飴Ａ」～「飴Ｃ」の物品が夫々２つずつ陳列されている。３段目には、「チョコレートＡ」～「チョコレートＨ」の物品が夫々１つずつ陳列されている。
　図３において、各物品３１を囲った破線の枠（物品画像領域３２）は、認識部１１０が認識した物品３１の画像領域を示している。したがって、図３において、物品名が「チョコレートＣ」の物品と、「飴Ｂ」の２つの物品とは、認識部１１０によって認識されなかった物品であるとする。
　認識部１１０は、認識した物品を示す情報（例えば、物品名）と、該物品３１の物品画像領域３２を示す画像領域情報と、該物品３１の認識結果の確からしさを示す認識スコアと、を認識結果として検出部１２０に出力する。この認識結果の一例を図４に示す。ここで、画像領域情報とは、撮影画像内における物品３１の物品画像領域３２の位置を示す位置情報である。
　図４に示す通り、認識結果には、物品ごとに、認識した物品を示す物品名と、該物品３１の認識スコアと、該物品３１の物品画像領域３２を示す位置情報（画像領域情報）と、が含まれる。物品名、物品スコアおよび画像領域情報は、互いに関連付けられている。図４において、１つの行には、認識した１つの物品３１の情報が含まれる。
　ここで、認識部１１０が、物品名が「スナックＡ」である物品を認識したとする。この物品の物品画像領域３２の四隅の座標が、夫々、（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）、（ｘ４、ｙ４）であり、認識スコアが「０．８０」であるとする。
　このとき認識部１１０は、図４に示す通り、「スナックＡ」の認識結果として、「スナックＡ，０．８０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，ｘ４，ｙ４」を出力する。
　なお、物品画像領域３２は、認識部１１０が認識した物品を外接する矩形であることが好ましいが、これに限定されるものではない。物品画像領域３２は、物品の形状に合わせた領域であってもよい。
　また、認識結果は、これに限定されるものではなく、例えば、物品名に加えて、または、物品名の代わりに、物品３１を示す識別子を含んでもよい。つまり、認識部１１０は、認識した物品３１を示す情報を認識結果に含めてもよい。また、認識結果に含まれる画像領域情報は、略矩形で示される物品画像領域３２の四隅の座標ではなく、例えば、四隅のうちの一点の座標と、物品の幅と、物品の高さとであってもよい。つまり、認識部１１０は、認識した物品３１の物品画像領域３２を示す情報を認識結果に含めてもよい。
　なお、上述した認識スコアは、１．０を上限とし、１．０に近い値ほど、信頼性が高いことを示しているが、認識スコアの表現方法はこれに限定されるものではない。
　また、認識部１１０は、認識結果に、例えば、ＪＡＮ（Ｊａｐａｎｅｓｅ　Ａｒｔｉｃｌｅ　Ｎｕｍｂｅｒ）コード、物品の種類を示す情報（例えば、物品の種類名または種類コード等）を含めてもよい。
　なお、認識部１１０は、認識スコアが所定の値より小さい物品に関する情報を、認識結果に含めないという制御を行ってもよい。
　認識部１１０は、このような認識結果を、物品の認識を行った撮影画像および該撮影画像の撮影画像情報と共に、検出部１２０に出力する。
　なお、図４に示した認識結果は一例であり、この形式に限定されるものではない。
　また、認識部１１０は、検出部１２０から検出結果を受信して、この検出結果に基づいて、物品の認識を行う。この動作については、検出部１２０の動作の説明を行った後に説明する。
　検出部１２０は、認識部１１０から撮影画像と、該撮影画像の撮影画像情報と、該撮影画像に対する物品の認識結果とを受信する。そして、検出部１２０は、物品が陳列された什器に関連する什器情報に基づいて、受信した撮影画像に含まれる物品であって、認識部１１０が認識しなかった物品の領域を検出する。このとき、参照する什器情報は、受信した撮影画像情報と一致または近似する、設置位置情報に関連付けられたものである。
　具体的には、検出部１２０は、撮影画像上の領域であって、物品が認識されていない領域を検出する。そして、検出部１２０は、撮影画像および認識結果を用いて、検出した領域のうち、認識漏れの可能性がある領域の候補の領域（候補領域と呼ぶ）を検出する。この候補領域は、物品が配置される可能性が高い領域である。
　例えば、検出部１２０は、物品の上下間および左右間の距離（物品間距離と呼ぶ）を算出する。検出部１２０は、算出した距離が所定の閾値より大きいか否かを判定し、該算出した距離が所定の閾値より大きい場合、この距離が算出された領域を候補領域として検出する。
　また、例えば、検出部１２０は、什器の上端と、認識部１１０によって認識された各物品の物品画像領域３２の上端であって、この物品の上部に、他の物品が配置されていない物品の物品画像領域３２の上端との距離を算出する。つまり、什器の最上段である１段目に全ての物品が配置されている場合、検出部１２０は、１段目の物品の夫々の物品画像領域３２の上端と、什器の上端との距離を算出する。１段目のあるスロットに物品が配置されていない場合は、このスロットの真下にある、２段目（または２段目以降）のスロットに配置された物品と、什器の上端との距離を算出する。そして、検出部１２０は、算出した距離が所定の閾値（第１の所定の閾値）より大きいか否かを判定し、該算出した距離が所定の閾値より大きい場合、この距離が算出された領域を候補領域として検出する。
　同様に、検出部１２０は、什器の下端、左端および右端から、物品までの距離を算出し、該算出した距離が所定の閾値より大きい場合、この距離が算出された領域を候補領域として検出する。なお、図３には、什器の左端を示す左端ラインを、一点鎖線を用いて示している。このように、検出部１２０は、什器の外縁から物品までの距離を算出することにより、候補領域を検出する。なお、上記所定の閾値は、什器情報として、記憶部２２０に格納されるものであってもよい。
　検出部１２０は、図３における双方向矢印（３３）の部分を含む領域（３４）と、「飴Ｂ」の物品の領域と、「チョコレートＣ」の物品の領域とを、候補領域として検出する。
　ここで、図３の撮影画像にて示される什器の１段目のスロット数は５であり、２段目のスロット数は６であり、３段目のスロット数は８であるとする。このスロット数を示す情報は、上述したとおり什器情報として記憶部２２０に格納されている。そして、検出部１２０は、什器情報のうち、全てのスロットに物品が配置されるという条件を示す情報に基づいて、この条件を満たさない領域を認識漏れの可能性が高い領域として検出する。
　図３の３段目は、上述したとおり、８つのスロットを有している。検出部１２０は、３段目の認識結果として、７つの物品に関する情報を受信している。したがって、３段目は、全てのスロットに物品が配置されるという条件を満たしていない。よって、検出部１２０は、３段目に１つの物品の認識漏れがあることを検出する。そして、検出部１２０は、上述した候補領域のうち、３段目の領域である「チョコレートＣ」の物品の領域を、認識漏れの可能性が高い領域として検出する。
　次に、図３の２段目について説明する。検出部１２０は、３段目の領域と同様に、全てのスロットに物品が配置されるという条件に基づいて、２つの物品の認識漏れがあることを検出する。検出部１２０は、領域３４の幅および／または高さが、第２の所定の閾値を超えているか否かを判定する。そして、検出部１２０は、領域３４の幅および／または高さが、第２の所定の閾値を超えているとき、該領域を認識漏れの可能性が高い領域として検出する。本例では、領域３４の幅および／または高さが、第２の所定の閾値を超えていないとする。そのため、検出部１２０は、領域３４が認識漏れの領域ではないと判定する。
　この第２の所定の閾値は、例えば、什器に陳列される物品の平均サイズであってもよいし、固定の値であってもよい。また、平均サイズおよび固定の値は、什器毎に設定されるものであってもよいし、什器の段毎または列毎に設定されるものであってもよい。また、この第２の所定の閾値は、什器情報として記憶部２２０に格納されるものであってもよい。また、平均サイズは、検出部１２０が認識部１１０から受信した認識結果から求められるものであってもよい。これにより、検出部１２０は、認識漏れの物品の周辺の物品のサイズに基づいて、認識漏れの可能性が高い領域を検出することができる。
　なお、検出部１２０は、候補領域の画像の特徴点の量が所定の値より大きいか否かに基づいて、候補領域のうち、認識漏れの可能性が高い領域を検出してもよい。例えば、領域３４には、何も物品が配置されていないため、特徴点の数は少なくなる。一方、「飴Ｂ」の物品の領域は、物品が配置されているため特徴点の数は、何も物品が配置されていない場合と比べ多くなる。これらの結果に基づいて、検出部１２０は、領域３４を認識漏れの可能性が高い領域ではないと判定し、「飴Ｂ」の物品の領域を認識漏れの可能性が高い領域であると判定する。
　このように、検出部１２０は、認識された物品の物品間距離、認識された物品と什器の外縁との距離、認識された物品の大きさ、および、物品が認識されなかった領域に含まれる特徴点の数の少なくとも何れかに基づいて、認識されなかった物品の領域を検出する。これにより、検出部１２０は、認識漏れが発生している蓋然性の高い領域を、より高精度に検出することができる。
　また、検出部１２０は、什器情報として、過去の陳列結果を用いて、認識漏れの可能性が高い領域を検出してもよい。例えば、過去の陳列結果が、図３に示した全ての物品を認識したことを示している場合、検出部１２０は、この過去の陳列結果と、認識部１１０から出力された認識結果とを比較する。そして、検出部１２０は、比較により得られた差分の領域を、認識漏れの可能性が高い領域であるとして、検出する。
　また、検出部１２０は、什器情報として、撮影対象の什器において推奨される棚割りの情報と、認識結果とを比較することによって得られた差分の領域を、認識漏れの可能性が高い領域であるとして検出してもよい。
　検出部１２０は、検出結果として、検出した、認識漏れの可能性が高い領域を示す情報を、認識部１１０に出力する。
　なお、本発明の実施の形態に係る画像処理装置２００は、図３に示すように、物品が各段に横に並んで陳列された什器を撮影した撮影画像を用いているが、これに限定されない。例えば、画像処理装置２００は、縦に物品が並べられる什器を撮影した画像を用いてもよい。この場合、什器の段数が、この什器の列に配置可能なスロット数となる。よって、このような什器を撮影した撮影画像を用いても、検出部１２０は、認識漏れの可能性が高い領域を検出することができる。
　検出部１２０は、更に、誤認識された物品の物品画像領域３２を検出することが好ましい。以下では、検出部１２０が検出する誤認識された物品を検出する方法について説明する。
　まず、記憶部２２０に格納された什器情報のうち、什器に陳列された物品の陳列に関する条件を示す情報として、同一の物品名を有する物品は、連続して並ぶという条件が含まれる場合について説明する。同じ物品名を有する物品は、同じ什器内において、並べて配置されることが多い。そのため、検出部１２０は、認識された物品のうち、この条件を満たさない物品を誤認識された物品と判定する。
　また、記憶部２２０に格納された什器情報のうち、什器に陳列された物品の陳列に関する条件を示す情報として、同一の種類の物品は、近接した位置に陳列されるという条件が含まれる場合について説明する。同じ種類の物品は、同じ什器内において、近接した位置に配置されることが多い。このとき、認識結果には、物品の種類を示す情報が含まれることが好ましい。検出部１２０は、認識結果に含まれる、物品の種類を示す情報と、物品の画像領域情報とに基づいて、認識された物品のうち、この条件を満たさない物品を誤認識された物品と判定する。
　また、検出部１２０は、撮影画像が撮影された時刻より前の発注情報に基づいて、誤認識された物品を判定することが好ましい。具体的には、検出部１２０は、認識された物品と発注（仕入）された物品とを比較し、認識された物品が発注されていない場合、この物品を誤認識された物品と判定する。
　また、検出部１２０は、撮影画像が撮影された時刻より前の売上情報に基づいて、誤認識された物品を判定することが好ましい。具体的には、検出部１２０は、認識された物品に関する売上情報を確認し、該物品が全て売れた物品である場合、この物品を誤認識された物品であると判定する。
　また、検出部１２０は、その他の什器情報に基づいて、誤認識された物品を判定してもよい。例えば、過去の陳列結果に含まれる物品と、認識された物品とが大きく異なる場合（例えば、カテゴリが違う物品の場合など）、検出部１２０は、この物品を誤認識された物品と判定してもよい。また、物品の認識対象の什器に対する推奨される棚割りの情報と、認識された物品とが大きく異なる場合（例えば、カテゴリが違う物品の場合など）、検出部１２０は、この物品を誤認識された物品と判定してもよい。また、検出部１２０は、受信した認識結果のうち、認識スコアが所定の値より小さい物品を、誤認識された物品として判定してもよい。
　そして、検出部１２０は、検出結果として、誤認識された物品として判定した物品の物品画像領域３２を示す情報を認識部１１０に出力する。これにより、検出部１２０は、誤認識された物品の物品画像領域３２を検出することができる。
　検出部１２０が出力する検出結果について、図５を参照して説明する。図５は、検出部１２０が出力する検出結果を説明するための図である。
　ここで、検出部１２０が、認識漏れの領域として、（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）、（ｘ４、ｙ４）を四隅の座標とする略矩形の領域を検出したとする。また、検出部１２０が誤認識された物品の物品画像領域３２として、（ｘ’１、ｙ’１）、（ｘ’２、ｙ’２）、（ｘ’３、ｙ’３）、（ｘ’４、ｙ’４）を四隅の座標とする略矩形の領域を検出したとする。このとき、検出部１２０は、図５に示す通り、認識漏れの検出結果として、認識漏れであることを示す文字列「認識漏れ」と、認識漏れを検出した領域を示す情報とからなる「認識漏れ，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，ｘ４，ｙ４」を出力する。また、検出部１２０は、誤認識の検出結果として、誤認識であることを示す文字列「誤認識」と、誤認識の物品の物品画像領域３２を示す情報（位置情報）とからなる「誤認識，ｘ’１，ｙ’１，ｘ’２，ｙ’２，ｘ’３，ｙ’３，ｘ’４，ｙ’４」を出力する。このように、図５において、１つの行には、検出した１つの領域の情報が含まれる。
　なお、検出部１２０が検出する領域は略矩形に限定されず、どのような形状であってもよい。また、検出部１２０が出力する検出結果に含まれる領域を示す情報は、四隅の座標に限定されず、検出部１２０が検出した領域を表現するものであればよい。また、図５に示した検出結果は一例であり、この形式に限定されるものではない。
　次に、認識部１１０が、検出部１２０から検出結果を受信して、この検出結果に基づいて、物品の認識を行う方法について説明する。
　認識部１１０は、検出部１２０から検出結果を受信すると、撮影画像上における、受信した検出結果にて示される領域に対して、再度物品の認識を行う。このとき、認識部１１０は、物品の認識を行う際に設定する認識パラメータを、以下の（Ａ）～（Ｃ）に基づいて変化させて、物品の認識を行う。
（Ａ）認識部１１０による認識結果（認識部１１０が既に認識した物品の情報が含まれる認識結果）、
（Ｂ）過去の陳列結果、
（Ｃ）什器において推奨される棚割りの情報。
　ここで、物品の認識を行う際に設定する認識パラメータとは、例えば、記憶部２２０に格納された、認識に使用する情報によって示される物品に対する尤度である。認識部１１０は、認識漏れの領域に対し、認識漏れの可能性が高いと判定される物品に対する尤度を、上記（Ａ）～（Ｃ）の少なくとも何れかに基づいて算出する。
　認識部１１０が、例えば、（Ａ）に基づいて、上記尤度を算出する場合について説明する。例えば、図３において、認識されなかった「チョコレートＣ」と同じ段（３段目）には、チョコレートＡ、Ｂ、Ｄ～Ｈが陳列されている。この場合、認識部１１０は、認識結果に基づいて、物品が認識されなかった領域が存在する段と同じ段に陳列された物品の物品名に似た物品名の物品（この例の場合「チョコレート」が物品名に付く物品等）の尤度を上げる。また、物品の種類を表す情報が認識結果に含まれる場合、認識部１１０は、認識漏れの領域の周囲に配置された、認識された物品に対する物品の種類と同じ種類の物品に対し、この物品の尤度を上げる。
　また、認識部１１０が、例えば、（Ｂ）に基づいて、上記尤度を算出する場合について説明する。この場合、認識部１１０は、過去の陳列結果に含まれる物品であって、認識漏れの領域と同じ位置および／または該位置の周囲に配置された物品の尤度を上げる。また、物品の種類を表す情報が認識結果に含まれる場合、認識部１１０は、過去の陳列結果に含まれる物品であって、認識漏れの領域と同じ位置および／または該位置の周囲に配置された物品の種類と同じ種類の物品に対し、この物品の尤度を上げる。
　また、認識部１１０が、例えば、（Ｃ）に基づいて、上記尤度を算出する場合について説明する。この場合、認識部１１０は、推奨される棚割りの情報に含まれる物品であって、認識漏れの領域と同じ位置および／または該位置の周囲に配置された物品の尤度を上げる。また、物品の種類を表す情報が認識結果に含まれる場合、認識部１１０は、推奨される棚割りの情報に含まれる物品であって、認識漏れの領域と同じ位置および／または該位置の周囲に配置された物品の種類と同じ種類の物品に対し、この物品の尤度を上げる。
　なお、認識部１１０は、上記尤度（認識パラメータ）を、物品の認識を行う領域が誤認識された物品の領域か、認識漏れの領域かによって設定してもよい。例えば、物品の認識を行う領域が誤認識された物品の物品画像領域３２である場合、認識部１１０は、この領域に含まれる物品が、誤認識された物品として再度認識されないように、誤認識された物品に対する尤度を下げる。
　このように、認識部１１０は、認識パラメータを変化させることにより、記憶部２２０に格納された、認識に使用する情報を絞り込むことができる。これにより、認識部１１０は認識処理の時間を短縮することができる。
　認識部１１０は、この算出した尤度に基づいて、検出結果によって示される領域に対して、物品の認識を行う。これにより、認識部１１０は誤認識を抑制することができる。
　そして、認識部１１０は認識結果を検出部１２０に出力する。このとき、認識部１１０は、認識漏れの領域に対して認識した物品を示す情報を、前回の認識結果に追加する。また、認識部１１０は、前回の認識結果のうち、検出部１２０によって誤認識と判定された物品に対する情報を削除し、誤認識と判定された物品の物品画像領域３２に対して今回認識した物品を示す情報を該前回の認識結果に追加する。これにより、認識部１１０は、新たな認識結果を出力することができる。そして、認識部１１０は、検出部１２０から認識漏れまたは誤認識を示す領域がないという検出結果を受け取るまで、検出部１２０に認識結果を出力する。
　認識部１１０は、検出部１２０から認識漏れまたは誤認識を示す領域がないという検出結果を受け取ると、この検出結果を受け取る直前に検出部１２０に出力した認識結果を、物品の認識を行った撮影画像に対する物品の認識結果として、記憶部２２０に格納する。認識部１１０が記憶部２２０に格納した認識結果は、次に同じ什器を撮影した撮影画像の認識結果から見て、過去の陳列結果となる。したがって、認識部１１０および検出部１２０は、この過去の陳列結果に基づいて、各部の処理を行うことができる。
　なお、認識部１１０は、所定の回数の検出結果を検出部１２０から受け取った後の認識結果を、撮影画像に対する認識結果として、記憶部２２０に格納してもよい。また、認識部１１０は、検出部１２０に認識結果を送信する際に、この認識結果を、記憶部２２０に格納してもよい。
　（画像処理装置２００の動作の流れ）
　次に、図６を参照して、画像処理装置２００の動作の流れについて説明する。図６は、本実施の形態に係る画像処理装置２００の動作の流れの一例を示すフローチャートである。
　まず、受信部２１０が撮影画像を受信する（ステップＳ１）。次に、認識部１１０がステップＳ１で受信部２１０が受信した撮影画像に対して、物品の認識を行う（ステップＳ２）。
　その後、検出部１２０が、撮影画像から、物品が認識されなかった領域であって、物品が含まれている可能性が高い領域（認識漏れの領域）を、什器情報に基づいて検出する（ステップＳ３）。また、検出部１２０は、物品が認識されているが、誤認識の可能性が高い物品を判別し、該物品の物品画像領域３２を検出する（ステップＳ４）。なお、ステップＳ３とステップＳ４とは同時に行われてもよいし、逆順で行われてもよい。
　そして、認識部１１０は、認識漏れおよび／または誤認識の領域が検出されたか否かを確認する。具体的には、認識部１１０は、検出部１２０から受信した検出結果に認識漏れおよび／または誤認識の領域が示されているか否かを確認する（ステップＳ５）。検出結果に認識漏れおよび／または誤認識の領域が示されている場合（ステップＳ５にてＹＥＳ）、認識部１１０は、検出部１２０による検出結果によって示される領域に対し、物品の再認識を行う（ステップＳ６）。そして、検出部１２０は、再度ステップＳ３を実行し、認識漏れの領域を検出する。
　検出結果に認識漏れおよび／または誤認識の領域が示されていない場合（ステップＳ５にてＮＯ）、認識部１１０は、認識結果を記憶部２２０に格納し、処理を終了する（ステップＳ７）。
　（効果）
　本実施の形態に係る画像処理装置２００によれば、認識漏れが発生している蓋然性の高い領域を、より高精度に検出することができる。なぜならば、検出部１２０が、撮影画像から認識部１１０が認識しなかった物品の領域を、什器情報に基づいて、検出するからである。
　一般的に、認識処理では、認識閾値を設定し、この認識閾値に基づいて、認識結果を出力する。しかしながら、認識部１１０が、認識閾値をより低く設定すると、誤認識の発生率が増えてしまう。そのため、本実施の形態における認識部１１０は、誤認識の発生率をより効果的に抑える値に、認識閾値を設定する。しかしながら、一般的に、認識閾値を高く設定すると、認識漏れの領域が増える可能性が高い。本実施の形態に係る画像処理装置２００によれば、検出部１２０が、什器情報に基づいて、このような認識漏れの領域を検出することができる。
　したがって、認識部１１０は、この検出された認識漏れの領域に対してのみ、認識パラメータを変更して、再度、物品の認識を行うことができる。これにより、認識漏れおよび誤認識をより防ぐことができる。
　したがって、本実施の形態に係る画像処理装置２００は、より精度の高い棚割りを示す情報を、撮影画像から取得することができる。
　＜第３の実施の形態＞
　次に、本発明の第３の実施の形態について説明する。第３の実施の形態も、第２の実施の形態と同様に、上述した第１の実施の形態を基本とする。図７は、本実施の形態に係る画像処理装置３００の機能構成の一例を示す機能ブロック図である。なお、説明の便宜上、前述した第１および第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。本実施の形態に係る画像処理装置３００は、上述した第２の実施の形態に係る画像処理装置２００に、更に、表示制御部と、修正部とを備える構成である。
　まず、本実施の形態に係る画像処理装置３００を含むシステムの構成の一例について、図７を参照して説明する。図７は、本実施の形態に係る画像処理装置３００を含むシステムの構成の一例を示す図である。図７に示す通り、システムは、画像処理装置３００と、撮像装置４００と、表示操作装置５００とを備えている。
　画像処理装置３００は、撮像装置４００と通信可能に接続されている。撮像装置４００は、陳列された物品を撮影する。そして、撮像装置４００は、撮影した画像（撮影画像）を画像処理装置３００に送信する。撮像装置４００は、例えば、非定点カメラ等によって実現される。
　表示操作装置５００は、画像処理装置３００と通信可能に接続されている。表示操作装置５００は、画像処理装置３００にネットワークを介して接続してもよいし、画像処理装置３００に直接接続してもよい。表示操作装置５００は、図７に示す通り、表示部５１０と入力部５２０とを備えている。
　なお、本実施の形態では、表示操作装置５００が画像処理装置３００とは別個の構成であるとして説明を行うが、表示操作装置５００は画像処理装置３００と一体となって形成されるものであってもよい。
　表示操作装置５００は表示部５１０と入力部５２０とが一体となって形成されている、例えば、タッチパネルである。表示部５１０は、画像処理装置３００から送信された信号に基づき、画面にユーザが操作を行うＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する表示デバイスである。
　入力部５２０は、ユーザによる指示を検知するデバイスである。入力部５２０は、画面に対して、行われた指示の位置（画面上の座標）を検知する。入力部５２０は、例えば、表示操作装置５００がタッチパネルであるとき、画面上に接触／近接した物体による入力操作を検知する。また、入力部５２０は、例えば、ユーザがマウス等を操作することにより入力した入力操作を検知する。入力部５２０は、検知結果を入力操作信号として、画像処理装置３００に送信する。
　次に画像処理装置３００について、図８を参照して説明する。図８は、本実施の形態に係る画像処理装置３００の機能構成の一例を示す機能ブロック図である。図８に示す通り、画像処理装置３００は、認識部１１０と、検出部１２０と、受信部２１０と、表示制御部３１０と、修正部３２０とを備えている。また、画像処理装置３００は、更に、記憶部２２０を備える構成であってもよい。
　受信部２１０は、撮像装置４００から送信された撮影画像を受信し、認識部１１０に出力する。
　記憶部２２０には、第２の実施の形態に係る記憶部２２０が格納する情報に加え、表示部５１０に表示するための物品画像が、物品を識別する情報に紐付けられて、格納されている。なお、表示部５１０に表示するための物品画像は、物品を認識するために必要な情報として格納された物品の画像そのものであってもよいし、物品を示す見本画像であってもよい。
　認識部１１０は、第２の実施の形態に係る認識部１１０と同様に、受信した撮影画像から、該撮影画像に含まれる物品を認識する。そして、認識部１１０は、認識結果を検出部１２０に出力する。
　また、認識部１１０は、検出部１２０から検出結果を受信した場合、この検出結果に基づいて、認識パラメータを変化させ、検出結果によって示される領域に対して、再度物品の認識を行う。そして、認識部１１０は、認識結果を検出部１２０に出力する。
　検出部１２０は、第２の実施の形態に係る検出部１２０と同様に、認識漏れの可能性が高い領域を検出する。また、検出部１２０は、第２の実施の形態に係る検出部１２０と同様に、誤認識された物品の物品画像領域３２を検出する機能を更に有してもよい。
　また、検出部１２０は、所定の回数、認識部１１０から認識結果を受信したか否かを確認する。そして、所定の回数、認識結果を受信している場合、検出部１２０は、検出結果と、受信した認識結果とを表示制御部３１０に出力する。
　例えば、所定の回数が１回の場合、検出部１２０は、最初の認識結果を受信後、認識漏れまたは誤認識の領域を検出し、検出結果と、受信した認識結果と、物品の認識を行った撮影画像とを、表示制御部３１０に出力する。
　表示制御部３１０は、検出部１２０から検出結果と、認識結果と、撮影画像とを受信する。そして、表示制御部３１０は、検出結果によって示される領域を示す情報を、表示部５１０に表示させる。表示制御部３１０は、例えば、検出結果によって示される領域を示す画像を、受信した撮影画像を用いて生成し、または、該領域を示す画像を受信した撮影画像から抽出し、表示部５１０に表示させる。
　また、表示制御部３１０は、上記領域に存在する可能性がある物品の候補（修正候補と呼ぶ）を、以下の（１）～（３）の少なくとも何れかに基づいて決定する。
（１）過去の陳列結果、
（２）什器において推奨される棚割りの情報、
（３）認識部１１０が既に認識した物品（受信した認識結果）。
　例えば、表示制御部３１０は、検出結果によって示される領域の周囲の領域に配置された物品を、受信した認識結果より特定する。そして、表示制御部３１０は、この周囲の領域に配置された物品を、修正候補として決定する。
　そして、表示制御部３１０は、決定した修正候補の物品を示す物品画像を、記憶部２２０から取得する。そして、表示制御部３１０は、取得した物品画像をユーザに選択可能に表示部５１０に表示させる。
　また、表示制御部３１０は、受信した認識結果に基づいて、各物品の重複度合（類似度合）を算出し、該重複度合に基づいて、修正候補を決定してもよい。例えば、表示制御部３１０は、検出結果によって示される領域が含まれる段に陳列された物品の種類の重複度合を算出し、重複度合がより高い種類の物品を、修正候補として決定してもよい。このとき、決定した修正候補は、認識結果に含まれる物品であってもよいし、認識結果には含まれないが記憶部２２０に情報が格納された物品であってもよい。
　また、表示制御部３１０は、修正候補として表示部５１０に表示させる物品に対して、認識結果と、什器に陳列された物品の陳列に関する条件を示す情報、発注情報、および、売上情報、の少なくとも何れかと、に基づいて尤度を決定してもよい。そして、表示制御部３１０は、決定した尤度に基づいて、修正候補を決定してもよい。
　ここで、什器に陳列された物品の陳列に関する条件を示す情報とは、例えば、同一の物品名を有する物品は、連続して並ぶという条件、および、同一の種類の物品は、近接した位置に陳列されるという条件である。
　これにより、表示制御部３１０は、表示部５１０に表示する修正候補を絞り込むことができる。
　なお、表示制御部３１０は、表示部５１０に表示させる修正候補を、上記領域に存在する可能性が高い順に表示することが好ましい。これにより、画像処理装置３００は、修正候補のうち、上記領域に存在する可能性が高い物品を、よりわかりやすく、ユーザに提示することができる。
　なお、表示制御部３１０は、この領域に存在する可能性が高い順を、該領域との距離が近い位置に配置された物品の物品名および／または物品の種類に基づいて、決定してもよい。
　また、表示制御部３１０は、この領域に存在する可能性が高い順を、この領域に対する物品の認識結果に含まれる認識スコアに基づいて、決定してもよい。このとき表示制御部３１０は、この領域に対して、再度物品の認識を行うように認識部１１０に指示し、この領域に対する物品の認識結果を受信する。この認識結果には、該領域に存在する可能性が高い物品が、認識スコアと共に複数含まれることが好ましい。そして、表示制御部３１０は、認識結果に含まれる複数の物品の認識スコアの高い順を、上記領域に存在する可能性が高い順として決定する。
　そして、表示制御部３１０は、決定した修正候補を、表示部５１０に、ユーザに対して選択可能に表示させる。なお、表示制御部３１０が、表示部５１０に表示させる修正候補の数は特に限定されない。
　また、表示部５１０に表示させた修正候補に、ユーザが求める物品が含まれていなかった場合、表示制御部３１０は、表示部５１０に、記憶部２２０に記憶された物品画像を、ユーザに選択可能に表示してもよい。また、ユーザが求める物品の物品画像が記憶部２２０に格納されていない場合、表示部５１０は、入力部５２０から送信されるユーザの指示に基づいて、物品画像を記憶部２２０に登録してもよい。
　また、表示制御部３１０は、表示部５１０に表示させた画像を示す情報と、受信した認識結果とを、修正部３２０に供給する。
　修正部３２０は、入力部５２０が検知した入力操作を示す入力操作信号を、受信する。また、修正部３２０は、表示制御部３１０から、該表示制御部３１０が表示部５１０に表示させた画像を示す情報と認識結果とを受信する。そして、修正部３２０は、受信した入力操作信号によって示される、表示部５１０に表示された物品の候補に対する選択結果に基づいて、前記認識結果を修正する。
　表示制御部３１０が認識漏れの領域に対する修正候補を表示部５１０に表示させた場合、修正部３２０は、ユーザによって選択された修正候補に関する情報を、認識結果に追加する。また、表示制御部３１０が誤認識の物品の領域に対する修正候補を表示部５１０に表示させた場合、修正部３２０は、認識結果のうち、検出部１２０によって誤認識と判定された物品に対する情報を削除する。そして、修正部３２０は、ユーザによって選択された修正候補に関する情報を、該認識結果に追加する。これにより、認識部１１０は、新たな認識結果（修正した認識結果）を出力することができる。
　修正部３２０は、修正した認識結果を、物品の認識を行った撮影画像に対する物品の認識結果として、記憶部２２０に格納する。修正部３２０が記憶部２２０に格納した認識結果は、次に同じ什器を撮影した撮影画像の認識結果から見て、過去の陳列結果となる。したがって、認識部１１０、検出部１２０および表示制御部３１０は、この過去の陳列結果に基づいて、各部の処理を行うことができる。
　図９～図１１は、夫々、本実施の形態に係る画像処理装置３００の表示制御部３１０によって、表示部５１０に表示された表示画像の一例を示す図である。図９に示す通り、表示制御部３１０は、撮影画像のうち、認識漏れおよび／または誤認識の領域を示す情報を、表示部５１０に表示させる。図９では、表示制御部３１０は、略矩形の太枠（前述した物品画像領域３２）が表示されていない領域を認識漏れおよび／または誤認識の領域として示している。
　ユーザが、表示制御部３１０は、認識漏れおよび／または誤認識の領域の部分を選択（例えば、タップ）すると、入力部５２０は、ユーザによって選択された位置を示す情報を入力操作信号として、画像処理装置３００に送信する。修正部３２０は、入力部５２０から送信された入力操作信号から、選択された領域を特定し、該領域を示す情報を表示制御部３１０に送信する。表示制御部３１０は、修正部３２０から受信した情報に基づいて、ユーザによって選択された、認識漏れおよび／または誤認識の領域の画像を、表示部５１０に表示させる。例えば、ユーザが図９における「チョコレートＣ」の部分を選択した場合、表示制御部３１０は、図１０の左側に示す通り、「チョコレートＣ」の部分の画像を表示部５１０に表示させる。この図１０の左図は修正を行う対象の領域を示しているため、修正対象領域とも呼ぶ。
　そして、表示制御部３１０は、図１０の右側に示す通り、この修正対象領域に対する修正候補を、表示部５１０に選択可能に表示させる。
　そして、ユーザが、画面に表示された修正候補の何れかを選択すると、修正部３２０は、選択結果に基づいて、認識結果を修正する。
　なお、表示制御部３１０は、図９に示した画面の代わりに、図１１に示すような認識漏れおよび／または誤認識の領域のみからなる画像を表示部５１０に表示させてもよい。
　また、表示制御部３１０は、図９の画面および図１０の画面、または、図１１の画面および図１０の画面を、１つの画面上に表示させてもよい。
　（画像処理装置３００の動作の流れ）
　次に、図１２を参照して、画像処理装置３００の動作の流れについて説明する。図１２は、本実施の形態に係る画像処理装置３００の動作の流れの一例を示すフローチャートである。
　ステップＳ１１からステップＳ１４は、第２の実施の形態に係る画像処理装置２００の動作におけるステップＳ１からステップＳ４と同様の処理であるため、説明を省略する。
　ステップＳ１４終了後、検出部１２０は、所定の回数、認識部１１０から認識結果を受信したか否かを確認する（ステップＳ１５）。所定の回数、認識結果を受信していない場合（ステップＳ１５にてＮＯ）、認識部１１０は、検出部１２０による検出結果によって示される領域に対し、物品の再認識を行う（ステップＳ１６）。そして、検出部１２０は、再度ステップＳ３を実行し、認識漏れの領域を検出する。
　所定の回数、認識結果を受信した場合（ステップＳ１５にてＹＥＳ）、表示制御部３１０は、修正候補を画面に表示させるよう表示部５１０を制御する。そして、表示部５１０は、画面に修正候補を表示する（ステップＳ１７）。
　ユーザが、画面に表示された修正候補の何れかを選択すると、修正部３２０は、選択結果に基づいて、認識結果を修正する（ステップＳ１８）。そして、修正部３２０は、認識結果を記憶部２２０に格納し、処理を終了する（ステップＳ１９）。
　（効果）
　本実施の形態に係る画像処理装置３００は、上述した第１および第２の実施の形態に係る画像処理装置と同様の効果を得ることができる。
　また、オペレータ（ユーザ）に認識結果の修正を行わせる場合、認識対象の物品のマスタの数が増えると、ユーザが行う修正作業が煩雑になってしまう。しかしながら、本実施の形態に係る画像処理装置３００は、表示制御部３１０が検出部１２０によって検出された領域に存在する可能性がある物品の候補を選択可能に前記画面に表示させる。そのため、本実施の形態に係る画像処理装置３００は、ユーザによる修正作業の煩雑さを低減させることができる。これにより、画像処理装置３００は、ユーザの負担を増やすことなく、より精度の高い棚割りを示す情報を、撮影画像から取得することができる。
　なお、本実施の形態では、表示制御部３１０が画像処理装置３００内に内蔵されることについて説明を行ったが、表示制御部３１０は、画像処理装置３００とは別個の表示制御装置として実現されるものであってもよい。この表示制御装置は、陳列された物品を撮影した撮影画像のうち、該物品が認識されなかった領域であって、物品が陳列されている可能性がある領域を、物品が認識されていない領域として表示部５１０の画面に表示させる。これにより、表示制御装置は、ユーザに認識漏れが発生している蓋然性の高い領域を、提示することができる。
　＜ハードウェアの構成例＞
　ここで、上述した各実施の形態に係る画像処理装置（１００、２００、３００）を実現可能なハードウェアの構成例について説明する。上述した画像処理装置（１００、２００、３００）は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。
　図１３は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。
　図１３に示した情報処理装置（コンピュータ）１０のハードウェアは、以下に示す部材を備える。
・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、
・通信インタフェース（Ｉ／Ｆ）１２、入出力ユーザインタフェース１３、
・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１４、
・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１５、
・記憶装置１７、及び
・コンピュータ読み取り可能な記憶媒体１９のドライブ装置１８。
また、これらはバス１６を介して接続されている。入出力ユーザインタフェース１３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース１２は、上述した各実施の形態に係る装置（図１、図２および図８）が、外部装置と、通信ネットワーク２０を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ１１は、各実施の形態に係る画像処理装置（１００、２００、３００）を実現する情報処理装置１０について、全体の動作を司る。
　上述した各実施の形態は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図１３に示す情報処理装置１０に対して供給した後、そのプログラムを、ＣＰＵ１１に読み出して実行することによって実現される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図６、図１２）に記載した各種処理や、或いは、図１、図２および図８に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。
　また、情報処理装置１０内に供給されたプログラムは、読み書き可能な一時記憶メモリ（１５）またはハードディスクドライブ等の不揮発性の記憶装置（１７）に格納されてもよい。即ち、記憶装置１７において、プログラム群１７Ａは、例えば、上述した各実施の形態における画像処理装置（１００、２００、３００）内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報１７Ｂは、例えば、上述した各実施の形態における撮影画像、物品を認識するための情報、認識結果、検出結果、什器情報、売上情報、発注情報、物品画像等である。ただし、情報処理装置１０へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図（図１、図２および図８）に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。
　また、前記の場合において、当該装置内へのプログラムの供給方法は、以下のような現在では一般的な手順を採用することができる。
・ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ）－ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（１９）を介して当該装置内にインストールする方法、
・インターネット等の通信回線（２０）を介して外部よりダウンロードする方法。
そして、このような場合において、本発明の各実施の形態は、係るコンピュータプログラムを構成するコード（プログラム群１７Ａ）或いは係るコードが格納された記憶媒体（１９）によって構成されると捉えることができる。
　以上、本発明を、上述した模範的な実施の形態およびその実施例に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態及び実施例に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。
　この出願は、２０１４年１０月２３日に出願された日本出願特願２０１４－２１６１１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１００　　画像処理装置
　１１０　　認識部
　１２０　　検出部
　２００　　画像処理装置
　２１０　　受信部
　２２０　　記憶部
　３００　　画像処理装置
　３１０　　表示制御部（表示制御装置）
　３２０　　修正部
　４００　　撮像装置
　５００　　表示操作装置
　５１０　　表示部
　５２０　　入力部
　３１　　物品
　３２　　物品画像領域

Claims (12)

  1. 　陳列された物品を撮影した撮影画像から、前記物品を認識する認識手段と、
    　前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、前記認識手段によって認識されなかった物品の領域を検出する検出手段と、を備えることを特徴とする画像処理装置。
  2. 　前記什器情報は、（ａ）前記什器を撮影した撮影画像の撮影時刻より過去の時刻に該什器を撮影した撮影画像に対する前記認識手段による認識結果、（ｂ）前記什器における推奨される棚割りの情報、（ｃ）前記什器の段数または列数、（ｄ）前記什器の各段または各列に配置可能な物品数、および、（ｅ）前記什器に陳列された物品の陳列に関する条件を示す情報、の少なくとも何れかである、ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記認識手段は、前記物品の認識の際に使用する認識パラメータを、（ａ）前記什器を撮影した撮影画像に対する認識結果、（ｂ）前記撮影画像の撮影時刻より過去の時刻に該什器を撮影した撮影画像に対する前記認識手段による認識結果、（ｃ）前記什器における推奨される棚割りの情報、の少なくとも何れかに基づいて変化させ、前記検出された領域に含まれる物品を認識する、ことを特徴とする、請求項１または２に記載の画像処理装置。
  4. 　前記検出手段は、更に、認識手段によって認識された前記物品の物品間距離、認識された前記物品と前記什器の外縁との距離、認識された前記物品の大きさ、および、物品が認識されなかった領域に含まれる特徴点の数の少なくとも何れかに基づいて、前記認識手段によって認識されなかった物品の領域を検出する、ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
  5. 　前記検出手段は、更に、（ａ）前記什器を撮影した撮影画像の撮影時刻より過去の時刻に該什器を撮影した撮影画像に対する前記認識手段による認識結果、（ｂ）前記什器における推奨される棚割りの情報、（ｃ）前記什器に陳列された物品の陳列に関する条件を示す情報、（ｄ）物品の発注情報、および、（ｅ）物品の売上情報、の少なくとも何れかに基づいて、前記認識手段によって認識された物品のうち、誤認識の可能性が高い物品を判定し、誤認識の可能性が高いと判定した前記物品の前記撮影画像上における領域を検出する、ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
  6. 　前記検出手段によって、検出された領域を示す情報を画面に表示させる表示制御手段を更に備える、ことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
  7. 　前記表示制御手段は、前記領域に存在する可能性がある物品の候補を選択可能に前記画面に表示させる、ことを特徴とする、請求項１から６の何れか１項に記載の画像処理装置。
  8. 　前記画面に表示された物品の候補に対する選択結果に基づいて、前記認識結果を修正する修正手段、を更に備えることを特徴とする、請求項７に記載の画像処理装置。
  9. 　前記表示制御手段は、前記領域に存在する可能性がある物品の候補を、（ａ）前記什器を撮影した撮影画像の撮影時刻より過去の時刻に該什器を撮影した撮影画像に対する前記認識手段による認識結果、（ｂ）前記什器における推奨される棚割りの情報、（ｃ）認識手段による認識結果、（ｄ）前記什器に陳列された物品の陳列に関する条件を示す情報、（ｅ）物品の発注情報、および、（ｆ）物品の売上情報、の少なくとも何れかに基づいて決定する、ことを特徴とする請求項７または８に記載の画像処理装置。
  10. 　陳列された物品を撮影した撮影画像のうち、前記物品が認識されなかった領域であって、前記物品が陳列されている可能性がある領域を、前記物品が認識されていない領域として画面に表示させる表示制御装置。
  11. 　陳列された物品を撮影した撮影画像から、前記物品を認識し、
    　前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、認識されなかった物品の領域を検出する、ことを特徴とする画像処理方法。
  12. 　陳列された物品を撮影した撮影画像から、前記物品を認識する処理と、
    　前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、認識されなかった物品の領域を検出する処理と、をコンピュータに実行させるプログラムを記憶する、コンピュータ読み取り可能な記録媒体。
PCT/JP2015/005151 2014-10-23 2015-10-09 画像処理装置、表示制御装置、画像処理方法、および、記録媒体 WO2016063484A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/521,277 US10438079B2 (en) 2014-10-23 2015-10-09 Image processing apparatus, image processing method and recording medium
CN201580057604.2A CN107077686B (zh) 2014-10-23 2015-10-09 图像处理装置和图像处理方法
EP15852272.2A EP3211580B1 (en) 2014-10-23 2015-10-09 Image processing apparatus, display control apparatus, image processing method and recording medium
JP2016555071A JP6620755B2 (ja) 2014-10-23 2015-10-09 画像処理装置、表示制御装置、画像処理方法、および、プログラム
US16/570,809 US11403843B2 (en) 2014-10-23 2019-09-13 Image processing apparatus, display control apparatus, image processing method and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014216117 2014-10-23
JP2014-216117 2014-10-23

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/521,277 A-371-Of-International US10438079B2 (en) 2014-10-23 2015-10-09 Image processing apparatus, image processing method and recording medium
US16/570,809 Continuation US11403843B2 (en) 2014-10-23 2019-09-13 Image processing apparatus, display control apparatus, image processing method and recording medium

Publications (1)

Publication Number Publication Date
WO2016063484A1 true WO2016063484A1 (ja) 2016-04-28

Family

ID=55760545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005151 WO2016063484A1 (ja) 2014-10-23 2015-10-09 画像処理装置、表示制御装置、画像処理方法、および、記録媒体

Country Status (5)

Country Link
US (2) US10438079B2 (ja)
EP (1) EP3211580B1 (ja)
JP (4) JP6620755B2 (ja)
CN (1) CN107077686B (ja)
WO (1) WO2016063484A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018010652A1 (zh) * 2016-07-12 2018-01-18 腾讯科技（深圳）有限公司 图像识别回调通知的方法、服务器和计算机可读存储介质
WO2019188443A1 (ja) * 2018-03-30 2019-10-03 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
JP2020135822A (ja) * 2019-02-26 2020-08-31 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2021015368A (ja) * 2019-07-10 2021-02-12 富士通株式会社 物品推定プログラム、物品推定装置、及び物品推定方法
WO2021054266A1 (ja) * 2019-09-17 2021-03-25 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
US10973720B2 (en) 2017-04-07 2021-04-13 Hill-Rom Services, Inc. Image based monitoring of the state of a device
WO2021240902A1 (ja) * 2020-05-27 2021-12-02 パナソニックＩｐマネジメント株式会社 発注管理装置及び発注管理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664971B2 (en) 2017-12-19 2020-05-26 Wipro Limited Method and device for detecting region of interest based on images
CN111339791B (zh) * 2018-12-18 2021-05-25 北京京东乾石科技有限公司 商品识别方法和通道、控制装置、商品结算通道
JP7234741B2 (ja) * 2019-03-28 2023-03-08 株式会社三洋物産 遊技機
JP7234740B2 (ja) * 2019-03-28 2023-03-08 株式会社三洋物産 遊技機
WO2023141696A1 (en) * 2022-01-31 2023-08-03 Unefi Inc. Data gathering for store fixtures and the products therein

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007021007A (ja) * 2005-07-20 2007-02-01 Casio Comput Co Ltd 商品情報表示装置及びプログラム
JP2009265998A (ja) * 2008-04-25 2009-11-12 Lambda Systems Inc 画像処理システム、画像処理方法及び画像処理プログラム
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
WO2014136559A1 (ja) * 2013-03-04 2014-09-12 日本電気株式会社 物品管理システム、情報処理装置およびその制御方法と制御プログラム
JP2014170431A (ja) * 2013-03-04 2014-09-18 Nec Corp 情報処理システム、情報処理装置およびその制御方法と制御プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246078B2 (en) * 2000-12-04 2007-07-17 Ncr Corporation System and methods for graphically representing purchase profiles and sales guidance to a customer service representative
US8249885B2 (en) * 2001-08-08 2012-08-21 Gary Charles Berkowitz Knowledge-based e-catalog procurement system and method
US7309009B2 (en) * 2005-06-21 2007-12-18 International Business Machines Corporation Retail store fly-around product locator
US20080043013A1 (en) * 2006-06-19 2008-02-21 Kimberly-Clark Worldwide, Inc System for designing shopping environments
WO2008100537A2 (en) * 2007-02-12 2008-08-21 Sorensen Associates Inc. Still image shopping event monitoring and analysis system and method
US9135491B2 (en) * 2007-08-31 2015-09-15 Accenture Global Services Limited Digital point-of-sale analyzer
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
CN102763123B (zh) * 2009-12-02 2015-03-25 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
US9749823B2 (en) * 2009-12-11 2017-08-29 Mentis Services France Providing city services using mobile devices and a sensor network
US8509526B2 (en) 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
JP2012126532A (ja) 2010-12-16 2012-07-05 Japan Tobacco Inc 商品管理装置、商品管理方法およびプログラム
FR2973540B1 (fr) 2011-04-01 2013-03-29 CVDM Solutions Procede d'extraction automatisee d'un planogramme a partir d'images de lineaire
US9785898B2 (en) 2011-06-20 2017-10-10 Hi-Tech Solutions Ltd. System and method for identifying retail products and determining retail product arrangements
CN103150540A (zh) * 2011-12-06 2013-06-12 原熙 一种通过移动通讯设备的摄像装置获取物品信息的系统
JP6043094B2 (ja) 2012-05-30 2016-12-14 辛東主 商品陳列情報集計システム
CN102930264B (zh) * 2012-09-29 2015-10-28 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
US20140195302A1 (en) * 2013-01-10 2014-07-10 Oracle International Corporation Guided walkthrough provider
US9886678B2 (en) * 2013-09-25 2018-02-06 Sap Se Graphic representations of planograms
US10592854B2 (en) * 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007021007A (ja) * 2005-07-20 2007-02-01 Casio Comput Co Ltd 商品情報表示装置及びプログラム
JP2009265998A (ja) * 2008-04-25 2009-11-12 Lambda Systems Inc 画像処理システム、画像処理方法及び画像処理プログラム
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
WO2014136559A1 (ja) * 2013-03-04 2014-09-12 日本電気株式会社 物品管理システム、情報処理装置およびその制御方法と制御プログラム
JP2014170431A (ja) * 2013-03-04 2014-09-18 Nec Corp 情報処理システム、情報処理装置およびその制御方法と制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3211580A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018010652A1 (zh) * 2016-07-12 2018-01-18 腾讯科技（深圳）有限公司 图像识别回调通知的方法、服务器和计算机可读存储介质
US10973720B2 (en) 2017-04-07 2021-04-13 Hill-Rom Services, Inc. Image based monitoring of the state of a device
WO2019188443A1 (ja) * 2018-03-30 2019-10-03 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
JP2019179488A (ja) * 2018-03-30 2019-10-17 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
JP2020135822A (ja) * 2019-02-26 2020-08-31 富士ゼロックス株式会社 情報処理装置及びプログラム
JP7302200B2 (ja) 2019-02-26 2023-07-04 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2021015368A (ja) * 2019-07-10 2021-02-12 富士通株式会社 物品推定プログラム、物品推定装置、及び物品推定方法
JP7346951B2 (ja) 2019-07-10 2023-09-20 富士通株式会社 物品推定プログラム、物品推定装置、及び物品推定方法
WO2021054266A1 (ja) * 2019-09-17 2021-03-25 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
WO2021240902A1 (ja) * 2020-05-27 2021-12-02 パナソニックＩｐマネジメント株式会社 発注管理装置及び発注管理方法

Also Published As

Publication number Publication date
US11403843B2 (en) 2022-08-02
US10438079B2 (en) 2019-10-08
JP2023109773A (ja) 2023-08-08
EP3211580B1 (en) 2021-03-03
EP3211580A4 (en) 2018-04-18
JP6620755B2 (ja) 2019-12-18
JP2020061158A (ja) 2020-04-16
JP6962356B2 (ja) 2021-11-05
JP7279750B2 (ja) 2023-05-23
JPWO2016063484A1 (ja) 2017-09-07
JP2022002100A (ja) 2022-01-06
CN107077686A (zh) 2017-08-18
US20170308764A1 (en) 2017-10-26
EP3211580A1 (en) 2017-08-30
US20200082193A1 (en) 2020-03-12
CN107077686B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
JP6620755B2 (ja) 画像処理装置、表示制御装置、画像処理方法、および、プログラム
US11900316B2 (en) Information processing apparatus, control method, and program
US11210513B2 (en) Detection method and detection device
US10311295B2 (en) Heuristic finger detection method based on depth image
US10318152B2 (en) Modifying key size on a touch screen based on fingertip location
JP5670471B2 (ja) 動画像認識装置及び動画像認識方法
US9256792B2 (en) Image processing apparatus, image processing method, and program
US20170309113A1 (en) Vending machine recognition apparatus, vending machine recognition method, and recording medium
JP2019012546A (ja) 情報処理装置、画像処理方法とプログラム、ならびに、ｐｏｓ端末装置
US20150253861A1 (en) Detecting device and detecting method
US8860695B2 (en) Optical touch system and electronic apparatus including the same
JP5876129B2 (ja) 動画像認識装置及び動画像認識方法
JP6623565B2 (ja) 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム
JPWO2018168515A1 (ja) 画像処理装置、画像処理方法及び記録媒体
CN104281381B (zh) 控制配备有触摸屏的用户界面的装置和方法
US9075465B2 (en) Method of identifying touch event on touch panel by shape of signal group and computer readable medium thereof
US20160139682A1 (en) Displaying corrected logogram input
JP2018200629A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15852272

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016555071

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15521277

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015852272

Country of ref document: EP