WO2019008735A1 - 物品識別装置、物品識別方法、計算装置、システムおよび記録媒体 - Google Patents

物品識別装置、物品識別方法、計算装置、システムおよび記録媒体 Download PDF

Info

Publication number
WO2019008735A1
WO2019008735A1 PCT/JP2017/024924 JP2017024924W WO2019008735A1 WO 2019008735 A1 WO2019008735 A1 WO 2019008735A1 JP 2017024924 W JP2017024924 W JP 2017024924W WO 2019008735 A1 WO2019008735 A1 WO 2019008735A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
article
articles
parameter
space
Prior art date
Application number
PCT/JP2017/024924
Other languages
English (en)
French (fr)
Inventor
岩元　浩太
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/623,641 priority Critical patent/US11462004B2/en
Priority to JP2019528294A priority patent/JP6769555B2/ja
Priority to PCT/JP2017/024924 priority patent/WO2019008735A1/ja
Publication of WO2019008735A1 publication Critical patent/WO2019008735A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Definitions

  • the present disclosure relates to an item identification device, an item identification method, a calculation device, a system, and a recording medium.
  • Patent Document 1 As a method of enhancing recognition accuracy, it has been disclosed to increase the amount of information of a database used for recognition (for example, Patent Document 1). There is also disclosed a technique for estimating the position and orientation of a three-dimensional object based on a two-dimensional image using a database created by using images obtained by capturing an object for reference from different viewpoints (for example, Patent Document 2).
  • an article may be packed together in a predetermined number.
  • an identification image database image
  • the individual item is identified and the item is a combined item or not There is a possibility that you can not understand exactly.
  • the article identification apparatus is a collating unit that collates a captured image with an identification image for identifying an article, and when it is identified that the captured image includes a plurality of articles.
  • the first position in a first space which is an image space of an identification image
  • the second position in a second space that represents an image space when a plurality of articles represented by the identification image are collected based on a predetermined condition
  • Determining means for determining whether the plurality of items identified based on the second parameter are items collected based on the predetermined condition.
  • the captured image is compared with an identification image for identifying an article, and when the captured image is identified as including a plurality of articles, the identification is performed.
  • a first position in the first space which is an image space of the image for the image, and a second position in the second space that represents the image space when a plurality of articles represented by the identification image are collected based on a predetermined condition
  • a first parameter representing a geometrical relationship with a corresponding second position, and a geometrical relationship between the first position and a third position on the captured image corresponding to the first position Based on two parameters, it is determined whether or not the identified plurality of articles are articles bundled based on the predetermined condition.
  • the computing apparatus is the extraction device for extracting feature information representing the feature of the article from the identification image for identifying the article, and the feature information based on the extracted feature information.
  • the first position in a first space which is an image space of an identification image
  • the second position in a second space that represents an image space when a plurality of articles represented by the identification image are collected based on a predetermined condition Is a first parameter representing a geometrical relationship with a second position corresponding to a plurality of articles identified in the case where a plurality of articles are identified in a captured image by collation using the identification image,
  • a geometry between the first position and a third position on the captured image corresponding to the first position Relationship with the second parameter Comprising a calculating means for calculating a first parameter used, the.
  • a computer program for realizing the respective devices or methods by a computer and a computer readable non-transitory recording medium storing the computer program are also included in the scope of the present disclosure.
  • FIG. 1 is a diagram showing an example of the entire configuration of a system according to a first embodiment. It is a figure for demonstrating an example of the usage scene where the system which concerns on 1st Embodiment is utilized.
  • FIG. 2 is a functional block diagram showing an example of functional configurations of an item identification device and a calculation device included in the system according to the first embodiment. It is a figure which shows an example of the image information containing the database image stored in the image storage part. It is a figure for demonstrating calculation of the parameter by a parameter calculation part. It is a figure which shows an example of the parameter information which a parameter storage part stores. It is a figure for demonstrating the determination processing which a determination part performs.
  • 2nd Embodiment it is a functional block diagram which shows an example of a function structure of the calculation apparatus which calculates the 1st parameter which an articles
  • 2nd Embodiment it is a block diagram which shows an example of a structure of the system containing an article identification apparatus and a calculation apparatus. It is a figure which illustrates the hardware constitutions of the computer (information processing apparatus) which can implement each embodiment illustratively.
  • FIG. 1 is a diagram showing an example of the entire configuration of a system 1 according to the present embodiment.
  • the system 1 shown in FIG. 1 includes an item identification device 100, a computing device 200, an imaging device 300, and an output device 400.
  • FIG. 1 shows a configuration unique to the present disclosure, and it goes without saying that the system 1 may have a device not shown in FIG.
  • the devices shown in FIG. 1 may be configured in combination.
  • the item identification device 100 and the calculation device 200 may be integrated, or the item identification device 100 and the imaging device 300 may be integrated.
  • the item identification device 100 is communicably connected to the computing device 200, the imaging device 300, and the output device 400.
  • the communication means between the devices may be either wired or wireless communication, and communication via any of a mobile communication network, a public network, a LAN (Local Area Network), or a WAN (Wide Area Network). It may be As described above, various methods can be considered for communication between devices.
  • the imaging device 300 captures an image including an item to be captured.
  • the imaging device 300 is realized by, for example, a camera including a lens and an imaging element.
  • the imaging device 300 is realized by, for example, a digital camera or a web camera.
  • the imaging device 300 supplies the captured image to the item identification device 100.
  • the imaging device 300 may store the captured image in a storage device different from the inside of the imaging device 300 or the article identification device 100. In this case, the article identification apparatus 100 may acquire a captured image from the place where the captured image is stored.
  • the output device 400 performs an output based on the control signal from the item identification device 100.
  • the output device 400 may be, for example, a display device such as a display or a terminal device having a display. Also, the output device 400 is not limited to this, and may be a speaker, a printer, or a device that outputs the information included in the received signal as a file.
  • FIG. 2 is a diagram for explaining an example of a usage scene in which the system 1 according to the present embodiment is used.
  • a camera 3 installed at a position where it can pick up an article 5 (ball article) packed in a predetermined container and into which a plurality of similar articles are put together is an example of the imaging apparatus 300. It shows.
  • FIG. 2 shows the portable terminal 4 as an example of the output device 400.
  • the predetermined container may include an article (piece article) in a state where a plurality of articles are not collected.
  • the captured image including the item 5 captured by the camera 3 is transmitted to the item identification device 100.
  • the article identification apparatus 100 determines whether the article 5 is a piece article or a ball article based on the identification result of the article 5 and the parameters calculated by the computing apparatus 200, and further determines the number of articles 5 per packing unit. Do. That is, the item identification device 100 determines the number of piece items if the item 5 is a piece item, and determines the number of ball items if the item 5 is a ball item. Then, the article identification apparatus 100 outputs the determination result to the portable terminal 4. Thus, the worker 2 can confirm the determination result displayed on the screen of the portable terminal 4.
  • the article identification apparatus 100 receives a captured image captured by the imaging apparatus 300, collates the articles included in the captured image, and determines the number of articles for each package unit.
  • the article identification apparatus 100 includes a first feature extraction unit 110, a comparison unit 120, a determination unit 130, and an output control unit 140.
  • the computing device 200 stores an identification image (also referred to as a database image) for identifying an item, which is used when the item identification device 100 collates the item included in the captured image.
  • the calculation device 200 also calculates a parameter used when the item identification device 100 determines the number of items in each packing unit.
  • the computing device 200 includes an image storage unit 210, a second feature extraction unit 220, a parameter calculation unit 230, and a parameter storage unit 240.
  • the image storage unit 210 stores a database image for identifying an item.
  • the database image is used when matching items with the captured image.
  • FIG. 4 is a diagram showing an example of the image information 41 stored in the image storage unit 210 and including a database image.
  • the image information 41 includes an image number 42, an item name 43, and a database image 44, as shown in FIG.
  • the image number 42 is an identifier for identifying the database image 44.
  • the item name 43 is the name of the item indicated by the database image 44.
  • the database image 44 is a captured image obtained by capturing an item indicated by the item name 43.
  • the image information 41 includes a database image 44A which is a captured image obtained by capturing an item whose item name 43 is "XXX". Also, the database image 44B is a captured image obtained by capturing an item whose item name 43 is “YYY”. In the present embodiment, the image information 41 includes one captured image for one article as the database image 44, but may include a plurality of captured images for one article as the database image 44.
  • the database image 44 may not be an image actually captured but an image created as an image for comparison. Also, the database image 44 may be an image captured by the imaging device 300 or an image acquired by another method. Further, the image storage unit 210 may be realized by a storage device separate from the computing device 200.
  • the second feature extraction unit 220 extracts feature amounts from each of the database images 44 stored in the image storage unit 210, and extracts (detects) feature points having the feature amounts.
  • feature information the feature amount and the information related to the feature point extracted by the second feature extraction unit 220 will be referred to as feature information.
  • the second feature extraction unit 220 may extract feature information by any method, and the method is not particularly limited.
  • the second feature extraction unit 220 may extract feature information used when the item identification device 100 performs the matching.
  • the second feature extraction unit 220 stores the extracted feature information together with information (for example, an image number 42) indicating the database image 44 of the extraction source in the storage unit such as the image storage unit 210 or the like.
  • the image storage unit 210 may store the feature information extracted by the second feature extraction unit 220 in addition to the database image 44 or in place of the database image 44.
  • the second feature extraction unit 220 may extract a plurality of types of feature amounts as feature information.
  • the second feature extraction unit 220 supplies the extracted feature information to the parameter calculation unit 230 together with information (for example, the image number 42) indicating the database image 44 of the extraction source.
  • the parameter calculation unit 230 uses the feature information extracted by the second feature extraction unit 220 to calculate a parameter (first parameter) representing a geometrical relationship between database images.
  • FIG. 5 is a diagram for explaining calculation of parameters by the parameter calculation unit 230.
  • the database image 51 shown at the top of FIG. 5 is a database image 44A whose image number 42 shown in FIG. 4 is “P401”. Further, at the lower part of FIG. 5, there is shown a ball item image 52 representing a ball item in which four items (piece items) indicated by the database image 51 are put together.
  • the ball item is a combination of the items indicated by the database image 51 so as to be in the same direction and in two rows and two columns.
  • the ball item image 52 may be an image virtually generated based on the database image 51 or may be obtained by imaging a ball item in which articles are put together based on predetermined conditions. May be In the latter case, the second feature extraction unit 220 or another member may extract feature information from a captured image obtained by capturing the ball product.
  • a plurality of articles (B401A to B401D) are assumed to be included in the ball article represented by the ball article image 52 shown in FIG.
  • the parameter calculation unit 230 uses the feature information extracted by the second feature extraction unit 220 from the database image 51 to identify a feature point on the ball item image 52 corresponding to each feature point in the image space of the database image 51 Do.
  • An alternate long and short dash line 53A and a broken line 53B in FIG. 5 are an example of line segments connecting corresponding feature points between the database image 51 and the ball item image 52.
  • the parameter calculation unit 230 specifies the corresponding feature points in this manner, and calculates parameters representing the geometrical relationship of the positions of the feature points between the database image 51 and the ball item image 52.
  • the dashed-dotted line 53A and the broken line 53B have shown only one part for convenience of explanation. That is, the parameter calculation unit 230 similarly calculates parameters representing the geometrical relationship between the database image 51, the image of the part of the article B 401 C and the image of the part of the article B 401 D of the ball item image 52.
  • the image space of the database image 51 is referred to as a piece product image space (first space).
  • the position of the feature point of the database image 51 in the piece product image space is also referred to as a first position.
  • the image space of the ball item image 52 is referred to as a ball item image space (second space).
  • the position of the feature point corresponding to the feature point of the database image 51 in the ball item image space is also referred to as a second position. That is, the parameter calculated by the parameter calculator 230 represents the geometrical relationship between the first position and the second position.
  • the parameter calculation unit 230 calculates a homography matrix which converts coordinates in the piece image space to coordinates in the ball image space.
  • the parameter calculator 230 calculates a homography matrix for each piece included in the ball represented by the ball image 52. That is, the parameter calculation unit 230 calculates parameters for the number of pieces (four in the example shown in FIG. 5) included in the ball represented by the ball image 52.
  • the parameter is described as a homography matrix, it is not limited to this, and may be a conversion coefficient used for affine transformation, or a parameter used for other transformation equations. May be
  • the parameter calculation unit 230 stores the information indicating the database image which is the target of the parameter calculation, the information indicating the piece item in the ball item image space, and the parameter in the parameter storage unit 240 in association with each other.
  • the parameter storage unit 240 stores the parameter calculated by the parameter calculation unit 230 together with information indicating a database image to be calculated for the parameter and information indicating a piece in the ball image space.
  • An example of parameter information including the parameters stored in the parameter storage unit 240 is shown in FIG. As shown in FIG. 6, the parameter storage unit 240 stores parameter information 61.
  • the parameter information 61 includes a conversion source image number 62, a conversion destination position number 63, and a parameter 64, as shown in FIG.
  • the conversion source image number 62 is an image number representing a database image that is the source of geometric conversion
  • the conversion destination position number 63 is a number indicating the position of a piece of a ball product to which geometric conversion is to be performed. It is. In the present embodiment, the positions of the pieces are indicated by reference numerals respectively attached to the plurality of articles shown in FIG.
  • the parameter 64 in the first line of the parameter information 61 is the item B401A at the position indicated by "B401A" in the ball image space, with the coordinates on the database image 44A being the database image 44 with the image number 42 "P401". It is a homography matrix in the case of converting to the coordinates of the area occupied by.
  • the parameter 64 in this case is described as H [P401 ⁇ B401A].
  • the conversion destination position number 63 may be any information indicating the position of the piece in the ball, and may be, for example, “upper left” or the like.
  • H [P401 ⁇ B401B] converts the coordinates on the database image 44A of which the image number 42 is "P401" into the coordinates of the area occupied by the article B401B at the position indicated by "B401B” in the ball goods image space.
  • 6 is the homography matrix in the case, and the parameters 64 included in the second row of FIG. 6 are shown.
  • the parameter storage unit 240 may be realized by a storage device separate from the computing device 200.
  • the parameter storage unit 240 may be integrated with the image storage unit 210. Also, the parameter storage unit 240 may be incorporated in the item identification device 100.
  • the first feature extraction unit 110 extracts a feature amount from the captured image, and extracts a feature point having the feature amount.
  • the first feature extraction unit 110 acquires a captured image from the imaging device 300 or a storage device that stores the captured image.
  • the first feature extraction unit 110 extracts feature information, which is information about feature amounts and feature points, from the acquired captured image.
  • the first feature extraction unit 110 may extract feature information by any method, and the method is not particularly limited.
  • the first feature extraction unit 110 may extract feature information in the same manner as the second feature extraction unit 220. When the second feature extraction unit 220 extracts multiple types of feature amounts as feature information, the first feature extraction unit 110 may extract any type of feature amounts as feature information. Then, the first feature extraction unit 110 supplies the extracted feature information to the matching unit 120 together with the captured image of the extraction source.
  • the first feature extraction unit 110 is an information indicating the captured image of the extraction source as the extracted feature information. May be supplied to the matching unit 120.
  • the matching unit 120 uses the feature information extracted by the first feature extraction unit 110 and the feature information extracted by the second feature extraction unit 220 to match the captured image with the database image. Then, the collation unit 120 supplies the collation result to the judgment unit 130.
  • the matching result includes, for example, the degree of similarity between the captured image and the database image 44, information indicating the database image 44, information indicating the corresponding feature point, the position of the feature point on the captured image, etc. It is not something to be done. Also, the information indicating the database image 44 may be, for example, the image number 42 or other information.
  • the method of collation performed by the collation unit 120 is not particularly limited, and any method may be adopted.
  • the determination unit 130 refers to the verification result and determines whether the verification result indicates that the captured image includes a plurality of articles. If it is determined that the captured image includes a plurality of articles based on the comparison result, the determination unit 130 determines whether the parameter 64 (first parameter) stored in the parameter storage unit 240, the database image 44, and the captured image are It is determined whether or not the plurality of articles are bundled ball articles based on a predetermined condition, based on the second parameter representing the geometrical relationship between them.
  • the second parameter representing the geometrical relationship between the database image 44 and the captured image is preferably the same as the parameter 64 described above.
  • the second parameter is described as being a homography matrix, the present invention is not limited to this, and the second parameter may be a conversion coefficient used for affine transformation, or a parameter used for other conversion equations. May be
  • the determination unit 130 receives the verification result from the verification unit 120. Then, the determination unit 130 refers to the comparison result and determines whether a plurality of articles are identified and the identified plurality of articles indicate the same article. It may be determined, for example, by determining whether a plurality of items identified have the same item, eg, having the same name (eg, item name). Then, when a plurality of articles having the same article name are identified, the determination unit 130 relates to the database image 44 using the information indicating the database image 44 corresponding to the article of the captured image, which is included in the collation result. Parameter 64 to be acquired from the parameter storage unit 240.
  • the determination unit 130 is a ball in which a plurality of the identified items are collected based on a predetermined condition based on the acquired parameter 64 and a second parameter representing a geometrical relationship between the database image 44 and the captured image. It is determined whether it is an article or not.
  • FIG. 7 is a diagram for explaining the determination process performed by the determination unit 130.
  • the captured image 70 shown in FIG. 7 is an image obtained by capturing four articles (71A to 71D).
  • the four articles (71A to 71D) constitute one ball article 72 which is assembled so as to face the same direction and in two rows and two columns.
  • the captured image 70 includes one ball item 72.
  • the four articles (71A to 71D) are not distinguished from one another or collectively referred to, they are referred to as an article 71.
  • the collation unit 120 collates the captured image 70 and the database image 44 shown in FIG. 7 with the feature information extracted from the database image 44 and the feature information extracted from the captured image 70.
  • the matching result that four articles shown by the database image 44A shown in FIG. 4 appear in the captured image 70 is obtained. That is, it is understood from the comparison result that the four articles (piece articles) 71 are shown in the captured image 70.
  • the determining unit 130 compares the database image 44A and the captured image 70 with each other.
  • a parameter representing the geometrical relationship (the second parameter mentioned above) is calculated. Since the comparison result shows that the four articles (71A to 71D) match the database image 44A, the determination unit 130 compares the database image 44 for each of the four recognized articles (71A to 71D).
  • a second parameter is calculated representing a geometrical relationship between the upper position and the position in the region on the captured image of the recognized article 71 corresponding to the position. In the case of the captured image 70 illustrated in FIG. 7, the determination unit 130 calculates four second parameters.
  • the method of calculating the second parameter may be the same as the method performed by the parameter calculator 230.
  • the homography matrix at the time of converting the coordinates on the database image 44 into the coordinates of the image of the part of the article 71A in the captured image 70 is described as H [P401 ⁇ 71A].
  • the position of the feature point on the captured image corresponding to the feature point of the database image 44 is also referred to as a third position. That is, the second parameter calculated by the determination unit 130 represents the geometrical relationship between the first position and the third position.
  • the homography matrix at the time of converting the coordinates on the database image 44 into the coordinates of the image of the part of the article 71B in the captured image 70 is described as H [P401 ⁇ 71B].
  • the homography matrix for article 71C is described as H [P401 ⁇ 71C]
  • the homography matrix for article 71D is described as H [P401 ⁇ 71D].
  • the determination unit 130 calculates the second parameter for the number of items identified.
  • a dashed-line frame 73A illustrated in FIG. 7 is a coordinate on the database image 44 converted into a coordinate on the captured image 70 using H [P 401 ⁇ 71A], on the captured image 70 indicated by the coordinate It is an area.
  • a frame 73B illustrated in FIG. 7 is on the captured image 70 indicated by the coordinates when the coordinates on the database image 44 are converted to the coordinates on the captured image 70 using H [P401 ⁇ 71B].
  • Area of A frame 73C is an area on the captured image 70 indicated by the coordinates when the coordinates on the database image 44 are converted to the coordinates on the captured image 70 using H [P401 ⁇ 71C].
  • a frame 73D is an area on the captured image 70 indicated by the coordinates when the coordinates on the database image 44 are converted to the coordinates on the captured image 70 using H [P401 ⁇ 71D].
  • the determination unit 130 acquires, from the parameter storage unit 240, the parameter 64 associated with “P401” which is the image number 42 indicating the database image 44A based on the comparison result.
  • the determination unit 130 acquires, from the parameter storage unit 240, the parameters 64 in the first to fourth lines shown in FIG. 6 in which the conversion source image number 62 is “P401”.
  • the acquired parameters 64 are set as H [P401 ⁇ B401A], H [P401 ⁇ B401B], H [P401 ⁇ B401C], and H [P401 ⁇ B401D] sequentially from the first line of FIG.
  • the determination unit 130 determines the coordinates of the database image 44, the first parameter and the second parameter, in order to determine whether or not the plurality of identified items are items collected based on a predetermined condition. Use to convert to coordinates on the captured image.
  • the article 71A (first article) is used as a reference.
  • the reference article is optional and is not particularly limited. Further, in the present example, assuming that the article 71A as the reference and the other articles (71B to 71D) form a ball article, the following will be described regarding the article 71B (second article) located on the right of the article 71A.
  • the determination unit 130 performs the determination process by performing the homography conversion described in FIG.
  • the determination unit 130 converts the coordinates of the database image 44 into coordinates in the piece image space.
  • FIG. 8 is a diagram for conceptually explaining the correspondence between the ball item image space and the piece item image space.
  • a piece product image space 81 shown in FIG. 8 is an image space including a database image 81a corresponding to the database image 44A.
  • the position (coordinates) in the ball goods image space 82 corresponding to the position (upper left) in the case where it is assumed that the article 71A which is the reference is included in the ball article is the position of the article B 401A, as described using FIG. .
  • the position in the ball goods image space 82 corresponding to the position (in this case, right next) of the second article with respect to the position (upper left) of the article 71A which is the reference will be described with reference to FIG. It corresponds to the position of the article B 401 B located next to it.
  • the determination unit 130 converts the coordinates of the database image 81a in the piece image space 81 into coordinates in the ball image space 82 using H [P401 ⁇ B401B] (S1).
  • An image 82 B shown in FIG. 8 is an image corresponding to the database image 81 a in the ball item image space 82.
  • the determination unit 130 determines the position (coordinates) in the ball article image space 82 corresponding to the position (upper left) in the case where it is assumed that the article 71A as the reference is included in the ball article, and the coordinates of the database image 44A.
  • the coordinates of the database image 81a converted to the coordinates of the ball image space 82 using the inverse matrix of H [P401 ⁇ B401A], which is a homography matrix between Convert.
  • H ⁇ 1 [P401 ⁇ B401A] H ⁇ 1 [P401 ⁇ B401A].
  • the determination unit 130 sets the coordinates (corresponding to the coordinates of the image 82B) of the database image 81a converted to the coordinates of the ball item image space 82 to the coordinates in the piece image space 81 using H ⁇ 1 [P401 ⁇ B401A].
  • Convert (S2) An image 81 b shown in FIG. 8 is an image corresponding to the image 82 B in the piece product image space 81.
  • the determination unit 130 uses the homography matrix H [P401 ⁇ 71A] between the coordinates of the area of the article 71A on the captured image 70 and the coordinates of the database image 44A, which is the reference, in S2
  • the converted coordinates are converted to coordinates on the captured image 70.
  • FIG. 9 is a diagram showing an example of a region (first region) indicated by the coordinates after conversion when the coordinates of the database image 81a are converted to the coordinates on the captured image 70. As shown in FIG. The captured image 70 shown in FIG. 9 is the same as the captured image 70 shown in FIG.
  • a frame 91B indicated by an alternate long and short dash line illustrated in FIG. 9 illustrates an example of a region indicated by the coordinates after conversion when the coordinates of the database image 81a are converted to coordinates on the captured image 70.
  • the area indicated by the frame 91B is an area estimated using H [P401 ⁇ B401B], H ⁇ 1 [P401 ⁇ B401A] and H [P401 ⁇ 71A].
  • the estimated area is the coordinate of the image 81b estimated to be located to the right of the piece in the coordinate space of the captured image 70 when the piece indicated by the database image 81a is assumed to be a ball. Indicates an area.
  • the determination unit 130 calculates an overlapping rate which is a value indicating the degree of overlap between the area of the frame 73B and the area of the frame 91B, and when the overlapping rate is equal to or more than a predetermined threshold, the article 71B included in the frame 73B is It is determined that the item constitutes a ball item together with the item 71A.
  • the determination unit 130 performs the same determination on the article 71C and the article 71D. Thereby, the determination unit 130 determines whether or not the plurality of articles is an article that constitutes one ball article.
  • the determination unit 130 determines whether or not the plurality of articles are ball articles with a small amount of calculation by using the overlapping rate of the area to determine whether the plurality of articles are ball articles or piece articles. It can be carried out.
  • the determination unit 130 determines an article related to the area based on the overlapping ratio indicating the ratio of the area of the area included in both the one area and the other area to the area of the one area (FIG. In the case, it may be determined whether the article 71B) is an article that constitutes a ball article together with the article 71A that is the reference. For example, the determination unit 130 may perform the determination based on the overlapping ratio of the area of the area included in both the area of the frame 73B and the area of the frame 91B with respect to the area of the area of the frame 73B.
  • the determination unit 130 may perform the determination based on the overlapping ratio of the area of the area included in both the area of the frame 73B and the area of the frame 91B with respect to the area of the area of the frame 91B. In addition, the determination unit 130 may perform the determination using these two overlapping rates. In addition, the overlapping rate is not limited to this, and may be the ratio of the area of the area included in both to the sum of the two areas, or the area of the part included in at least one of the two areas. It may be the ratio of the area of the region included in both.
  • the determination unit 130 may determine whether or not the article associated with the area is an article that constitutes a ball article together with the article serving as the reference, not by the area but by the closeness between the parameters. For example, H [P401 ⁇ 71A] ⁇ H ⁇ 1 [P401 ⁇ B401A] ⁇ H [P401 ⁇ B401B] is calculated, and the similarity between the calculation result and H [P401 ⁇ 71B] is calculated. This similarity may be any index. For example, the proximity of each value of the matrix may be used, or the proximity of values based on any index derived based on the matrix may be used.
  • the determination unit 130 determines that the article related to the area is an article that constitutes a ball article with an article serving as a reference. You may
  • the identification device 100 can more accurately determine whether the item associated with the area is an item that constitutes a ball item together with the item that is the reference.
  • the determination unit 130 may calculate the second parameter of the same type as the parameter 64 after acquiring the parameter 64 based on the comparison result.
  • the determination unit 130 may use feature points instead of all the coordinates on the database image 44 to determine whether an article associated with a region is an article that constitutes a ball article with an article serving as a reference.
  • the determination unit 130 performs conversion using the coordinates of the feature point converted using H [P401 ⁇ B401B], H ⁇ 1 [P401 ⁇ B401A] and H [P401 ⁇ 71A], and H [P401 ⁇ 71B]. If the distance to the coordinates of the feature point is less than or equal to a predetermined threshold, it may be determined that the article associated with the area is an article that constitutes a ball article with the article that is the reference.
  • FIG. 10 is another diagram for describing the determination process performed by the determination unit 130.
  • the captured image 101 shown in FIG. 10 is an image obtained by capturing four articles (102A to 102D).
  • the four articles (102A-102D) are unstocked piece articles.
  • the captured image 101 includes four articles (102A to 102D).
  • the collation unit 120 collates the captured image 101 and the database image 44 with the feature information extracted from the database image 44 and the feature information extracted from the captured image 101.
  • a method will be described in which each of the four articles (102A to 102D) is a piece and not a ball.
  • the determination unit 130 uses the feature information of the database image 44A and the feature information extracted from the captured image 101, which are used by the matching unit 120 for matching, based on the matching result, to determine the geometry of the database image 44A and the captured image 101.
  • a parameter representing the scientific relationship (the second parameter described above) is calculated.
  • the four second parameters calculated are H [P401 ⁇ 102A], H [P401 ⁇ 102B], H [P401 ⁇ 102C] and H [P401 ⁇ 102D].
  • H [P401 ⁇ 102A] is a homography matrix at the time of converting the coordinates on the database image 44 into the coordinates of the image of the part of the article 102A in the captured image 101.
  • the dashed frames 103A to 103D shown in FIG. 10 are each a captured image indicated by the coordinates when the coordinates on the database image 44 are converted to the coordinates on the captured image 101 using the homography matrix described above.
  • the area on 101 is shown.
  • the reference item is the item 102A.
  • the determination unit 130 converts the coordinates of the database image 44 in the piece image space into coordinates in the ball image space using H [P401 ⁇ B401B]. Then, the determination unit 130 performs coordinate conversion using the homography matrix between the coordinates in the ball image space of the position at which the article serving as the reference corresponds to the position in the ball article and the coordinates of the database image 44A. . Since the article 102A which is the reference is an article located at the upper left of the four articles as shown in FIG. 10, the determination unit 130 uses H -1 [P401 ⁇ B401A] to coordinate the ball goods image space The coordinates of the converted database image 44A are further converted to coordinates in the piece image space.
  • the determination unit 130 converts the coordinates in the piece image space using H [P401 ⁇ 102A], which is a homography matrix between the coordinates of the region of the article 102A as the reference and the coordinates of the database image 44A. These coordinates are converted to coordinates on the captured image 101.
  • FIG. 11 is a diagram showing an example of an area indicated by the coordinates after conversion when the coordinates of the database image 44A are converted to coordinates on the captured image 101. As shown in FIG. The captured image 101 shown in FIG. 11 is similar to the captured image 101 shown in FIG.
  • a frame 104B indicated by an alternate long and short dash line illustrated in FIG. 11 illustrates an example of a region indicated by the converted coordinates when the coordinates of the database image 44A are converted to the coordinates on the captured image 101.
  • the area indicated by the frame 104B is an area estimated using H [P401 ⁇ B401B], H ⁇ 1 [P401 ⁇ B401A] and H [P401 ⁇ 102A].
  • the estimated area indicates an area of coordinates in the coordinate space of the captured image 101 which is estimated to be located to the right of the piece when the piece indicated by the database image 44 is assumed to be a ball. .
  • the determination unit 130 determines that the item 102B is not an item that constitutes a ball item together with the item 102A. That is, the determination unit 130 determines that the item 102B and the item 102A are each a piece item. The determination unit 130 performs the same determination on the item 102C and the item 102D to determine that they are piece items. Thus, the determination unit 130 can determine that the item included in FIG. 11 is the four piece item of the item name “XXX”.
  • the article identification apparatus 100 can correctly determine piece articles and ball articles.
  • the article identification apparatus 100 can accurately identify the number of articles for each package unit.
  • the determination unit 130 supplies the information indicating the item (for example, item name) and the number of items for each packing unit to the output control unit 140 as a determination result.
  • the output control unit 140 controls the output of information representing the determination result based on the determination result supplied from the determination unit 130.
  • the output device 400 is a display device such as a display (display unit) or a terminal device having a display
  • the output control unit 140 outputs, to the output device 400, a control signal for displaying information representing the determination result on the screen.
  • the output device 400 displays information representing the determination result on the screen.
  • the output control unit 140 outputs, to the output device 400, a control signal that outputs information representing the determination result as a file.
  • the output device 400 outputs information representing the determination result as a file.
  • FIG. 12 is a diagram showing an example of a display screen output by the output device 400 when the output device 400 is a display device or a terminal device having a display.
  • the output control unit 140 generates a control signal that causes a display unit such as a display to display a display screen in which information indicating the determination result is superimposed on the captured image. Based on the control signal generated by the output control unit 140, the output device 400 displays, on the display unit, a display screen in which the information indicating the determination result is superimposed on the captured image.
  • a display screen 121 shown in FIG. 12 is a screen shown in FIG. 7 on which a captured image 70 including a ball product 72 constituted of articles (71A to 71D) is displayed on the display unit.
  • the output control unit 140 generates a display screen in which the information 122 indicating the determination result is superimposed on the captured image 70, whereby the output device 400 displays the display screen 121 shown in FIG.
  • the display method of a packing unit is not specifically limited, For example, in the case of a piece goods, what is necessary is just the information which shows that it is a piece goods.
  • the shape and the number may be combined.
  • the output control unit 140 may generate a display screen in which the information indicating the determination result is associated with the related item for each item name and each packing unit of the item. For example, when a ball item of an item in the captured image 70 and a ball item of another item are included, the output control unit 140 may be used together with information indicating the position of the identified item (piece item and / or ball item). Receive the judgment result. Then, based on the received determination result and the information indicating the position, the output control unit 140 generates a display screen in which the information indicating the determination result on a certain item is associated with the ball item of the certain item. Similarly, on this display screen, the output control unit 140 associates the information indicating the determination result on the other item with the ball item of the other item.
  • the output control unit 140 generates the display screen in which the information indicating the determination result is associated with the related item for each item name and each packing unit of the item, whereby the output device 400 determines that the determination result is Display the display screen associated with the item. Therefore, the article identification apparatus 100 can make the worker 2 who looks at the display screen easily grasp the number of articles and the number of packing units of the articles.
  • the output control unit 140 outputs positional information indicating the position of the identified article on the captured image
  • positional information indicating a portion of the ball is A control signal may be generated to cause a display unit such as a display to display a display screen superimposed on a captured image.
  • the output control unit 140 may generate a display screen in which position information indicating the position of the ball article 72 on the captured image is superimposed on the captured image 70.
  • the output control unit 140 is a frame including all the areas (areas indicated by the frames 73A to 73D) of the articles (71A to 71D) contained in the ball article 72, as shown in FIG.
  • a display screen may be generated by generating 123 and superimposing the frame 123 on the captured image 70.
  • the output device 400 displays the display screen on which the information indicating the determination result is superimposed on the captured image on the basis of the control signal generated by the output control unit 140, thereby viewing the display screen. It is possible to easily grasp the number of goods per packing unit.
  • FIG. 13 is a diagram showing an example of an output file in the case of an apparatus for outputting the information received by the output apparatus 400 as a file.
  • the output file 131 illustrated in FIG. 13 is table data including a row of article names 132, a row of packing units 133, and a row of 134 pieces.
  • the output control unit 140 may generate a control signal to control the output device 400 to output such an output file 131 based on the determination result. As a result, the worker 2 can easily grasp which articles and how many packages are included in which captured image.
  • the output control unit 140 may, for example, compare the list of articles to be included in the captured image with the determination result, and control the output device 400 to display the comparison result.
  • FIG. 14 is a flowchart showing an example of the process flow of the computing device 200 in the system 1 according to the present embodiment.
  • the second feature extraction unit 220 extracts feature information from the database image 44 stored in the image storage unit 210 (step S141).
  • the parameter calculation unit 230 calculates a parameter representing the geometrical relationship between the first position in the piece image space and the second position in the ball image space based on the extracted feature information (step S142). .
  • the parameter is an article (ball article in which a plurality of articles identified are grouped based on a predetermined condition) Is used together with a second parameter that represents a geometrical relationship between the first position and the third position on the captured image that corresponds to the first position.
  • the parameter calculation unit 230 stores the calculated parameter in the parameter storage unit 240 (step S143).
  • FIG. 15 is a flow chart showing an example of the process flow of the article identification apparatus 100 in the system 1 according to the present embodiment.
  • the first feature extraction unit 110 of the article identification device 100 extracts feature information from the acquired captured image (step S151).
  • the matching unit 120 matches the captured image with the database image 44 using the feature information extracted from the captured image and the feature information extracted from the database image 44 in step S141 (step S152). .
  • the determination unit 130 determines whether or not a plurality of articles are identified and the identified articles indicate the same article name with reference to the collation result (step S153). If a plurality of articles having the same article name have not been identified (NO in step S153), the process proceeds to step S156.
  • determination unit 130 determines the geometry between database image 44 corresponding to the identified articles (matching the imaged image) and the imaged image.
  • a parameter (second parameter) representing the relationship is calculated (step S154).
  • step S155 using the parameters calculated in step S142 and the parameters calculated in step S154, it is determined whether or not the plurality of articles is an article collected based on a predetermined condition.
  • the output control unit 140 generates a control signal for controlling the output of information by the output device 400 (step S156).
  • step S155 the output control unit 140 generates a control signal for outputting information representing the determination result based on the determination result.
  • the output control unit 140 outputs the generated control signal to the output device 400 (step S157).
  • the output device 400 can display, for example, a display screen 121 as shown in FIG. 12 on the display unit based on the control signal output from the output control unit 140.
  • the predetermined condition is the following (1) to (3) has been described as an example.
  • (1) The number of articles is four (2) the articles are all in the same direction (3) articles are arranged in two rows and two columns
  • the predetermined condition is not limited to this.
  • An example of predetermined conditions in the case of four articles is shown in FIG.
  • FIG. 16A is an example of the case where the predetermined condition is that the number of the articles is four, the articles all face the same direction, and the articles are arranged in one vertical row.
  • (B) of FIG. 16 is an example of the case where the predetermined condition is that the number of articles is four, the articles are arranged in two rows and two columns, and the upper part of the articles is the outside.
  • FIG. 16C is an example of the case where the predetermined condition is that the number of articles is four, the articles are all in the same direction, and the articles are arranged in one horizontal row.
  • the parameter calculation unit 230 calculates parameters for each of these and stores the parameters in the parameter storage unit 240.
  • the parameter calculation unit 230 preferably stores information representing a predetermined condition in the parameter storage unit 240 together with the parameter.
  • the article identification apparatus 100 can appropriately determine whether or not it is a ball article regardless of what kind of packing unit.
  • the number of piece goods contained in a ball goods is not specifically limited, You may be arbitrary numbers.
  • the collation unit 120 collates the captured image with the database image for identifying the article. Then, when the determination unit 130 determines that the result of the collation includes a plurality of articles in the captured image, the plurality of articles identified using the first parameter and the second parameter are collected based on a predetermined condition. It is determined whether or not it is an article.
  • the first parameter is a geometry of a first position in the image space of the database image and a second position corresponding to the first position in the image space when a plurality of articles represented by the database image are collected based on a predetermined condition Represents academic relations.
  • the second parameter also represents a geometrical relationship between the first position and a third position on the captured image that corresponds to the first position.
  • determination unit 130 indicates a geometric relationship between the position in the database image and the position in the space of the image of the ball item when the item is a ball item, and And determining whether or not another piece is located at a position forming a ball with respect to a piece based on a parameter representing a geometrical relationship between the captured image and the database image. It is determined whether or not the identified plurality of articles are ball articles. Thereby, the article identification apparatus 100 can determine whether the plurality of articles included in the captured image are articles gathered based on a predetermined condition or individual articles.
  • the article identification apparatus 100 even if a plurality of articles are articles collected as one ball article, they are not accurately as a plurality of articles but as one ball article. Can be determined.
  • the article identification device 100 it is possible to accurately identify the number of articles to be identified for each packing unit.
  • the imaging device 300 and the item identification device 100 may be integrally formed, and may function as, for example, an intelligence camera.
  • some functions of the computing device 200 may be incorporated into the item identification device 100.
  • the first feature extraction unit 110 and the second feature extraction unit 220 may be realized by the same circuit.
  • each device in the system 1 shown in FIG. 1 may be configured in combination.
  • Second Embodiment A second embodiment of the present disclosure will be described.
  • a basic configuration for solving the problem of the present disclosure will be described.
  • FIG. 17 is a functional block diagram showing an example of a functional configuration of the article identification apparatus 10 according to the present embodiment.
  • the article identification device 10 according to the present embodiment includes a check unit 12 and a determination unit 13.
  • the collation unit 12 has the function of the collation unit 120 described above.
  • the collation unit 12 collates the captured image with an identification image for identifying an article.
  • the collation unit 12 supplies the collation result to the judgment unit 13.
  • the method of collation performed by the collation unit 12 is not particularly limited, and the same method as the collation unit 120 described above may be adopted.
  • Determination unit 13 has the function of determination unit 130 described above.
  • the determination unit 13 indicates that the result of the collation includes a plurality of articles in the captured image
  • the plurality of articles identified based on the first parameter and the second parameter are based on a predetermined condition. It is determined whether or not it is an article that has been collected.
  • the first parameter represents a first position in the first space, which is an image space of the identification image, and a second position in the case where a plurality of articles represented by the identification image are collected based on a predetermined condition. It represents a geometrical relationship with a second position corresponding to the first position in space.
  • the second parameter also represents a geometrical relationship between the first position and a third position on the captured image that corresponds to the first position.
  • the plurality of articles will be described as including a first article and a second article different from the first article.
  • the determination unit 13 performs the following (1) to (3), and the first area indicated by the coordinates converted and the second area related to the second article on the captured image
  • the overlapping rate indicating the degree of overlapping with the second region on the captured image of the second article obtained from the parameter is equal to or greater than a predetermined threshold
  • it is determined that the plurality of identified articles are combined articles You may (1) Based on the position of the second article relative to the position of the first article, the coordinates of the identification image are converted into the coordinates of the second space using the first parameter associated with the second article in the second space. (2) The coordinates converted into the coordinates of the second space are converted into the coordinates of the first space based on the first parameter related to the first article in the second space. (3) The coordinates converted to the coordinates of the first space are converted to the coordinates on the captured image using the second parameter related to the first article on the captured image.
  • FIG. 18 is a flow chart showing an example of the process flow of the article identification apparatus 10 according to the present embodiment.
  • the collation unit 12 collates the captured image with an identification image for identifying an item (step S181).
  • the determination unit 13 determines, based on the first parameter and the second parameter, whether or not the plurality of articles is a combined article based on a predetermined condition (step S182).
  • FIG. 19 is a functional block diagram showing an example of a functional configuration of the computing device 20 that computes the first parameter to which the article identification device 10 described above refers.
  • the computing device 20 includes an extracting unit 22 and a computing unit 23.
  • the extraction unit 22 has the function of the second feature extraction unit 220 described above. Feature information representing features of the item is extracted from each of the plurality of identification images for identifying the item. The extraction unit 22 supplies the extracted feature information to the calculation unit 23.
  • the calculating unit 23 has the function of the parameter calculating unit 230 described above.
  • the calculation unit 23 calculates a plurality of first positions in the first space, which is an image space of the identification image, based on the extracted feature information, and a plurality of articles represented by the identification image based on a predetermined condition.
  • a first parameter representing a geometrical relationship with a second position corresponding to the first position in a second space representing an image space is calculated.
  • the first parameter is based on a predetermined condition. Used together with a second parameter that represents the geometrical relationship between the first position and the third position on the captured image that corresponds to the first position in determining whether or not the item is Be
  • the item identification device 10 and the calculation device 20 may be configured as a system 6 shown in FIG.
  • FIG. 20 is a block diagram showing an example of the configuration of a system including the item identification device 10 and the computing device 20.
  • the system 6 includes an item identification device 10 and a computing device 20.
  • the item identification device 10 and the computing device 20 are communicably connected to each other.
  • the item identification device 10 and the calculation device 20 may be integrally formed, or part of the functions of the calculation device 20 may be incorporated into the item identification device 10.
  • the system 6 may be configured to include the imaging device 300 and the output device 400 as in the system 1 described above.
  • the comparison result indicates that the image is captured
  • the image is considered to contain four piece items.
  • determination unit 13 determines the position in the identification image and the image of the ball item when the item is the ball item based on the first parameter and the second parameter.
  • a piece based on a first parameter representing a geometrical relationship between the position of the object in the space and a second parameter representing a geometrical relationship between the captured image and the identification image By determining whether or not the item is located at a position that forms a ball item, it is determined whether the plurality of items identified are ball items.
  • the item identification device 10 can determine whether the plurality of items included in the captured image are items collected based on a predetermined condition or individual items.
  • the article identification device 10 in the case where the plurality of articles are articles brought together based on a predetermined condition, they are not accurately judged as individual articles but put together correctly. can do.
  • the article identification apparatus 10 it is possible to accurately identify the number of articles to be identified for each packing unit.
  • each component of each device indicates a block of functional units.
  • some or all of the components of each device are realized by an arbitrary combination of an information processing device 900 and a program as shown in FIG.
  • FIG. 21 is a block diagram showing an example of a hardware configuration of an information processing apparatus 900 for realizing each component of each apparatus.
  • the information processing apparatus 900 includes the following configuration as an example.
  • each device may be realized by any combination of a separate information processing device 900 and program for each component.
  • a plurality of components included in each device may be realized by any combination of one information processing device 900 and a program.
  • each component of each device may be realized by another general purpose or dedicated circuit, processor or the like, or a combination thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus.
  • each component of each device may be realized by a combination of the above-described circuits and the like and a program.
  • each component of each device When a part or all of each component of each device is realized by a plurality of information processing devices, circuits, etc., the plurality of information processing devices, circuits, etc. may be arranged centrally or distributedly. It is also good.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system, a cloud computing system, and the like.
  • the item identification device (10, 100) in the present disclosure can also be suitably used for a system including a camera installed near a cash register such as a POS (Point Of Sales) register.
  • a POS Point Of Sales
  • the aforementioned item identification device (10, 100) may be realized by being incorporated in a POS register.
  • the POS register may further have the function of the computing device (20, 200).
  • the item identification device (10, 100) may cause the POS register to perform the same output as the output device 400. Even in this case, the item identification device (10, 100) determines whether or not the plurality of recognized objects are the same object from the captured image obtained by the camera capturing the product. The number of objects to be identified can be identified with high accuracy.
  • the item identification device (10, 100) and the computing device (20, 200) in the present disclosure may be realized by a server device capable of communicating with the POS register. Then, the item identification device (10, 100) may cause the POS register to perform the same output as the output device 400.
  • the article identification device (10, 100) and the computing device (20, 200) of the present disclosure can be suitably applied to a configuration using a POS register already installed in a store.
  • the POS register mentioned above is not limited to the cash register which a store clerk operates, and a cash register (semi-self register) of a sharing type which a customer performs settlement, a store clerk does not intervene when passing the register May be any of the cash registers (self-registers).
  • Collating means for collating the captured image with an identification image for identifying an article When it is identified that a plurality of articles are included in the captured image, a plurality of first positions in the first space, which is an image space of the identification image, and a plurality of articles represented by the identification image are combined based on predetermined conditions.
  • Determining means for determining An article identification device comprising:
  • the second position is a position of each article included in the collected articles
  • the determination means calculates the second parameter of the number of the identified plurality of articles, with the position of each of the identified plurality of articles as the third position; Using the first parameter of the number of articles included in the collected articles and a plurality of the second parameters, it is determined whether or not the identified plurality of articles are the collected articles Do, The article identification device according to appendix 1.
  • the plurality of articles identified includes a first article and a second article different from the first article
  • the determination means uses (i) the first parameter associated with the second article in the second space, based on the position of the second article relative to the position of the first article, using the coordinates of the identification image (Ii) convert the coordinates of the second space, and (ii) convert the converted coordinates into the coordinates of the first space based on the first parameter associated with the first article in the second space; iii) converting the coordinates converted into the coordinates of the first space into coordinates on the captured image using the second parameter related to the first article on the captured image; A second region on the captured image of the second article obtained from the first region indicated by the coordinates converted to the coordinates on the captured image, and the second parameter related to the second article on the captured image If the overlapping rate indicating the degree of overlapping with the area is equal to or greater than a predetermined threshold value, it is determined that the plurality of items identified are the collected items.
  • the plurality of articles identified includes a first article and a second article different from the first article
  • the determination means may determine the first parameter associated with the second article in the second space, the first parameter associated with the first article in the second space, and the first article in the captured image.
  • the plurality of articles identified based on the degree of similarity based on a predetermined index between the value obtained from the second parameter associated with the second article and the second parameter associated with the second article on the captured image It is determined whether or not the item is an item collected based on the predetermined condition, An article identification device according to appendix 2.
  • the apparatus further comprises output control means for controlling output of information representing the determination result by the determination means,
  • the output control means controls a display unit to display a display screen in which information indicating the determination result is superimposed on the captured image.
  • the article identification device according to any one of appendices 1 to 4.
  • the output control means controls the display unit to display the display screen in which information indicating the determination result is associated with the collected articles or the individual articles in the captured image.
  • the article identification device according to appendix 5.
  • the second position is a position of each article included in the collected articles
  • the second parameter of the number of the identified plurality of articles is calculated, with the position of each of the identified articles as the third position, and the first parameter of the number of articles included in the collected articles
  • (Appendix 9) A process of comparing the captured image with an identification image for identifying an item; When it is identified that a plurality of articles are included in the captured image, a plurality of first positions in the first space, which is an image space of the identification image, and a plurality of articles represented by the identification image are combined based on predetermined conditions.
  • a process of determining A non-transitory computer readable recording medium storing a program that causes a computer to execute.
  • the second position is a position of each article included in the collected articles
  • the determination process calculates the second parameter of the number of the plurality of identified items, with the position of each of the identified plurality of items as a third position, and the items included in the collected items Using the number of the first parameter and the plurality of the second parameters to determine whether the identified plurality of articles are the combined article.
  • Extracting means for extracting feature information representing features of the article from an identification image for identifying the article;
  • An image space when a plurality of articles represented by the first position in the first space, which is an image space of the identification image, are combined based on predetermined conditions based on the extracted feature information Is a first parameter representing a geometrical relationship with a second position corresponding to the first position in a second space representing a plurality of articles in a captured image by collation using the identification image
  • the imaging corresponding to the first position and the first position Calculating means for calculating a first parameter to be used with a second parameter representing a geometrical relationship between the third position on the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Quality & Reliability (AREA)

Abstract

識別対象の物体の梱包単位ごとの個数を精度よく識別することが可能な技術を提供する。物品識別装置は、撮像画像と物品を識別するための識別用画像との照合を行う照合部と、撮像画像に複数の物品が含まれると識別されると、識別用画像の画像空間である第１空間における第１位置と、識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、第１位置と、第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、を備える。

Description

物品識別装置、物品識別方法、計算装置、システムおよび記録媒体
　本開示は、物品識別装置、物品識別方法、計算装置、システムおよび記録媒体に関する。
　認識精度を高める方法として、認識に用いるデータベースの情報量を増やすことが開示されている（例えば、特許文献１）。また、参照用の物体を異なる複数の視点で撮像した画像を用いて作成したデータベースを用いて、二次元画像に基づいて三次元物体の位置・姿勢を推定する技術が開示されている（例えば、特許文献２）。
特開２００１－０１４４６５号公報 特開２００７－２１９７６５号公報
　ところで、物品は、所定数纏めて梱包される場合がある。このように纏められて梱包された物品の識別において、識別用の画像（データベース画像）として、１つの物品が登録されている場合、個々の物品が識別され、この物品がまとめられた物品か否かが正確に把握できない可能性がある。
　また、複数纏められた物品の画像をデータベース画像とする場合、纏める単位ごとに準備されたデータベース画像と照合することになるため、纏める単位が増えると照合回数が増えてしまう。そのため、照合処理を行う物品識別装置に負荷が掛かってしまい、現実的ではない。
　本開示は上記課題に鑑みてなされたものであり、その目的は、識別対象の物品の梱包単位ごとの個数を精度よく識別することが可能な技術を提供することにある。
　本開示の一態様に係る物品識別装置は、撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、を備える。
　また、本開示の一態様に係る物品識別方法は、撮像画像と物品を識別するための識別用画像との照合を行い、前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する。
　また、本開示の一態様に係る計算装置は、物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第１位置と、該第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える。
　また、上記物品識別装置および計算装置を含むシステムも本開示の範疇に含まれる。
　なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
　本開示によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することができる。
第１の実施の形態に係るシステムの全体構成の一例を示す図である。 第１実施の形態に係るシステムが利用される利用シーンの一例を説明するための図である。 第１の実施の形態に係るシステムに含まれる物品識別装置および計算装置の機能構成の一例を示す機能ブロック図である。 画像記憶部に格納されたデータベース画像を含む画像情報の一例を示す図である。 パラメータ計算部によるパラメータの計算を説明するための図である。 パラメータ記憶部が格納するパラメータ情報の一例を示す図である。 判定部が行う判定処理を説明するための図である。 ボール品画像空間とピース品画像空間との対応関係を概念的に説明する図である。 データベース画像の座標を撮像画像上の座標に変換した場合における変換後の座標によって示される領域の一例を示す図である。 判定部が行う判定処理を更に説明するための図である。 データベース画像の座標を撮像画像上の座標に変換した場合における変換後の座標によって示される領域の他の例を示す図である。 出力装置がディスプレイを有する表示装置または端末装置の場合における、出力装置が出力する画面の一例を示す図である。 出力装置が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。 計算装置の処理の流れの一例を示すフローチャートである。 物品識別装置の処理の流れの一例を示すフローチャートである。 物品が４つの場合における、所定の条件の例を示す図である。 第２の実施の形態に係る物品識別装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る物品識別装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態において、物品識別装置が参照する第１パラメータを計算する計算装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態において、物品識別装置および計算装置を含むシステムの構成の一例を示すブロック図である。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
　＜第１の実施の形態＞
　本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係るシステム１の全体構成の一例を示す図である。図１に示すシステム１は、物品識別装置１００と、計算装置２００と、撮像装置３００と、出力装置４００とを含む。なお、図１は、本開示に特有な構成について示したものであり、システム１が図１に示されていない装置を有していてもよいことは言うまでもない。また、図１に示す各装置は、各々組み合わせて構成されてもよい。例えば、物品識別装置１００と計算装置２００とが一体となっていてもよいし、物品識別装置１００と撮像装置３００とが一体となっていてもよい。
　物品識別装置１００は、計算装置２００、撮像装置３００および出力装置４００と互いに通信可能に接続している。各装置間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）の何れを介した通信であってもよい。このように、各装置間の通信方法は、さまざまな方法が考えられる。
　撮像装置３００は、撮像対象の物品を含む画像を撮像する。撮像装置３００は、例えば、レンズおよび撮像素子を含むカメラによって実現される。撮像装置３００は、例えば、デジタルカメラやＷｅｂカメラ等によって実現される。撮像装置３００は、撮像画像を物品識別装置１００に供給する。なお、撮像装置３００は、撮像画像を撮像装置３００の内部または物品識別装置１００とは異なる記憶装置に格納してもよい。この場合、物品識別装置１００は、撮像画像を該撮像画像が格納された場所から取得すればよい。
　出力装置４００は、物品識別装置１００からの制御信号に基づいた出力を行う。出力装置４００は、例えば、ディスプレイなどの表示装置であってもよいし、ディスプレイを有する端末装置であってもよい。また、出力装置４００はこれに限定されず、スピーカであってもよいし、プリンタであってもよいし、受け取った信号に含まれる情報をファイル出力する装置であってもよい。
　図２は、本実施の形態に係るシステム１が利用される利用シーンの一例を説明するための図である。図２では、物品の例として、所定の容器に梱包された、複数の同種の物品を一纏めにした物品５（ボール品）を撮像可能な位置に設置されたカメラ３を撮像装置３００の一例として示している。また、図２では、携帯端末４を出力装置４００の一例として示している。なお、上記所定の容器は、複数の物品が纏められていない状態の物品（ピース品）を含んでもよい。
　カメラ３によって撮像された、物品５を含む撮像画像は、物品識別装置１００に送信される。物品識別装置１００は、物品５の識別結果と、計算装置２００によって計算されたパラメータとに基づいて、物品５がピース品かボール品かを判定し、更に物品５の梱包単位ごとの個数を判定する。つまり、物品識別装置１００は、物品５がピース品の場合、ピース品の個数を判定し、ボール品の場合、ボール品の個数を判定する。そして、物品識別装置１００は、判定結果を携帯端末４に出力する。これにより、作業者２は、携帯端末４の画面に表示された判定結果を確認することができる。
　次に、図３を参照して、システム１に含まれる物品識別装置１００および計算装置２００の構成について説明する。物品識別装置１００は、撮像装置３００によって撮像された撮像画像を受け取り、該撮像画像に含まれる物品を照合し、該物品の梱包単位ごとの個数を判定する。物品識別装置１００は、第１特徴抽出部１１０と、照合部１２０と、判定部１３０と、出力制御部１４０とを備える。
　計算装置２００は、物品識別装置１００が、撮像画像に含まれる物品の照合を行う際に用いる、物品を識別するための識別用画像（データベース画像とも呼ぶ）を格納する。また、計算装置２００は、物品識別装置１００が物品の梱包単位ごとの個数を判定する際に用いるパラメータを計算する。計算装置２００は、画像記憶部２１０と、第２特徴抽出部２２０と、パラメータ計算部２３０と、パラメータ記憶部２４０とを備える。
　まず、計算装置２００の各部について説明する。画像記憶部２１０は、物品を識別するためのデータベース画像を格納する。データベース画像は、撮像画像との間で物品の照合を行う際に用いられる。画像記憶部２１０が格納するデータベース画像の一例を図４に示す。図４は、画像記憶部２１０に格納された、データベース画像を含む画像情報４１の一例を示す図である。画像情報４１は、図４に示す通り、画像番号４２、物品名４３およびデータベース画像４４を含む。画像番号４２は、データベース画像４４を識別する識別子である。物品名４３は、データベース画像４４が示す物品の名前である。データベース画像４４は、物品名４３によって示される物品を撮像した撮像画像である。
　図４に示す通り、画像情報４１は、物品名４３が「ＸＸＸ」の物品を撮像した撮像画像であるデータベース画像４４Ａを含む。また、物品名４３が「ＹＹＹ」の物品を撮像した撮像画像であるデータベース画像４４Ｂを含む。なお、本実施の形態では、画像情報４１は、１つの物品に対し１つの撮像画像をデータベース画像４４として含むとするが、１つの物品に対し複数の撮像画像をデータベース画像４４として含んでもよい。
　なお、データベース画像４４は、実際に撮像した画像ではなく、照合用の画像として作成された画像であってもよい。また、データベース画像４４は、撮像装置３００によって撮像された画像であってもよいし、その他の方法で取得された画像であってもよい。また、画像記憶部２１０は、計算装置２００とは別個の記憶装置によって実現されてもよい。
　第２特徴抽出部２２０は、画像記憶部２１０に格納されたデータベース画像４４の夫々から特徴量を抽出し、該特徴量を有する特徴点を抽出（検出）する。以降、第２特徴抽出部２２０が抽出する特徴量および特徴点に関連する情報を、特徴情報と呼ぶ。
　第２特徴抽出部２２０は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第２特徴抽出部２２０は、物品識別装置１００が照合を行う際に使用する特徴情報を抽出すればよい。第２特徴抽出部２２０は、抽出した特徴情報を抽出元のデータベース画像４４を示す情報（例えば、画像番号４２）と共に、自身または画像記憶部２１０等の記憶部に格納する。なお、前述した画像記憶部２１０はデータベース画像４４に加え、または、データベース画像４４の代わりに、第２特徴抽出部２２０が抽出した特徴情報を格納してもよい。また、第２特徴抽出部２２０は、複数種類の特徴量を特徴情報として抽出してもよい。第２特徴抽出部２２０は、抽出した特徴情報を、抽出元のデータベース画像４４を示す情報（例えば、画像番号４２）と共に、パラメータ計算部２３０に供給する。
　パラメータ計算部２３０は、第２特徴抽出部２２０が抽出した特徴情報を用いて、データベース画像間の幾何学関係を表すパラメータ（第１パラメータ）を計算する。図５は、パラメータ計算部２３０によるパラメータの計算を説明するための図である。
　図５の上部に示すデータベース画像５１は、図４に示す画像番号４２が「Ｐ４０１」のデータベース画像４４Ａである。また、図５の下部には、データベース画像５１によって示される物品（ピース品）を４つ纏めたボール品を表すボール品画像５２を示す。ボール品は、データベース画像５１によって示される物品を同じ向きになるように、且つ、２行２列になるように纏めたものである。このボール品画像５２は、データベース画像５１に基づいて、仮想的に生成された画像であってもよいし、物品を所定の条件に基づいて纏めたボール品を撮像することによって得られるものであってもよい。なお、後者の場合、第２特徴抽出部２２０またはその他の部材が、このボール品を撮像した撮像画像から、特徴情報を抽出すればよい。なお、図５に示すボール品画像５２によって表されるボール品には、複数の物品（Ｂ４０１Ａ～Ｂ４０１Ｄ）が含まれるとする。
　パラメータ計算部２３０は、第２特徴抽出部２２０がデータベース画像５１から抽出した特徴情報を用いて、データベース画像５１の画像空間における、各特徴点に対応する、ボール品画像５２上の特徴点を特定する。図５における一点鎖線５３Ａおよび破線５３Ｂは、データベース画像５１と、ボール品画像５２との間で対応する特徴点同士を結んだ線分の一例である。パラメータ計算部２３０は、このように対応する特徴点を特定し、データベース画像５１と、ボール品画像５２との間の特徴点の位置の幾何学関係を表すパラメータを計算する。なお、一点鎖線５３Ａおよび破線５３Ｂは、説明の便宜上一部のみを示している。つまり、パラメータ計算部２３０は、データベース画像５１と、ボール品画像５２の物品Ｂ４０１Ｃの部分の画像および物品Ｂ４０１Ｄの部分の画像との間の幾何学関係を表すパラメータも同様に計算する。
　以下、データベース画像５１の画像空間を、ピース品画像空間（第１空間）と呼ぶ。そして、ピース品画像空間におけるデータベース画像５１の特徴点の位置を第１位置とも呼ぶ。また、ボール品画像５２の画像空間を、ボール品画像空間（第２空間）と呼ぶ。そして、ボール品画像空間における、データベース画像５１の特徴点に対応する特徴点の位置を第２位置とも呼ぶ。つまり、パラメータ計算部２３０が計算するパラメータは、第１位置と第２位置との幾何学関係を表す。
　パラメータを、例えば、ホモグラフィ行列としたとき、パラメータ計算部２３０は、ピース品画像空間における座標をボール品画像空間の座標に変換するホモグラフィ行列を計算する。パラメータ計算部２３０は、ボール品画像５２が表すボール品に含まれるピース品毎に、ホモグラフィ行列を計算する。つまり、パラメータ計算部２３０は、ボール品画像５２が表すボール品に含まれるピース品の数（図５に示す例では、４つ）分のパラメータを計算する。
　なお、本実施の形態では、パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。
　そして、パラメータ計算部２３０はパラメータの計算の対象となるデータベース画像を示す情報と、ボール品画像空間におけるピース品を示す情報と、パラメータとを互いに関連付けてパラメータ記憶部２４０に格納する。
　パラメータ記憶部２４０は、パラメータ計算部２３０が計算したパラメータをパラメータの計算の対象となるデータベース画像を示す情報およびボール品画像空間におけるピース品を示す情報と共に格納する。パラメータ記憶部２４０が格納するパラメータを含むパラメータ情報の一例を図６に示す。図６に示す通り、パラメータ記憶部２４０は、パラメータ情報６１を格納する。
　パラメータ情報６１は、図６に示す通り、変換元画像番号６２と、変換先位置番号６３と、パラメータ６４とを含む。変換元画像番号６２は、幾何学変換を行う元となるデータベース画像を表す画像番号であり、変換先位置番号６３は、幾何学変換を行う先となる、ボール品におけるピース品の位置を示す番号である。本実施の形態では、ピース品の位置を、図５に示す複数の物品の夫々に付された符号で示している。
　例えば、パラメータ情報６１の１行目のパラメータ６４は、画像番号４２が「Ｐ４０１」のデータベース画像４４であるデータベース画像４４Ａ上の座標を、ボール品画像空間における「Ｂ４０１Ａ」によって示される位置の物品Ｂ４０１Ａが占める領域の座標に変換する場合におけるホモグラフィ行列である。以下では、説明の便宜上、この場合におけるパラメータ６４をＨ［Ｐ４０１→Ｂ４０１Ａ］と記載する。上述した通り、変換先位置番号６３は、ボール品におけるピース品の位置を示す情報であればよく、例えば「左上」等であってもよい。
　同様に、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］は、画像番号４２が「Ｐ４０１」のデータベース画像４４Ａ上の座標を、ボール品画像空間における「Ｂ４０１Ｂ」によって示される位置の物品Ｂ４０１Ｂが占める領域の座標に変換する場合におけるホモグラフィ行列であり、図６の２行目に含まれるパラメータ６４を示す。
　なお、パラメータ記憶部２４０は、計算装置２００とは別個の記憶装置によって実現されてもよい。また、パラメータ記憶部２４０は、画像記憶部２１０と一体構成されてもよい。また、パラメータ記憶部２４０は、物品識別装置１００に内蔵されてもよい。
　次に、物品識別装置１００について説明する。第１特徴抽出部１１０は、撮像画像から特徴量を抽出し、該特徴量を有する特徴点を抽出する。第１特徴抽出部１１０は、撮像装置３００または撮像画像を格納する記憶装置から撮像画像を取得する。第１特徴抽出部１１０は、取得した撮像画像から特徴量および特徴点に関する情報である特徴情報を抽出する。第１特徴抽出部１１０は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第１特徴抽出部１１０は第２特徴抽出部２２０と同様の方法で特徴情報を抽出してもよい。第２特徴抽出部２２０が複数種類の特徴量を特徴情報として抽出する場合、第１特徴抽出部１１０は、その何れかの種類の特徴量を特徴情報として抽出すればよい。そして、第１特徴抽出部１１０は、抽出した特徴情報を抽出元の撮像画像と共に、照合部１２０に供給する。
　なお、第１特徴抽出部１１０が取得した撮像画像を、物品識別装置１００内の記憶部等に格納する場合、第１特徴抽出部１１０は、抽出した特徴情報を抽出元の撮像画像を示す情報と共に照合部１２０に供給してもよい。
　照合部１２０は、第１特徴抽出部１１０が抽出した特徴情報と、第２特徴抽出部２２０が抽出した特徴情報とを用いて、撮像画像をデータベース画像と照合する。そして、照合部１２０は、照合結果を判定部１３０に供給する。照合結果は、例えば、撮像画像とデータベース画像４４との類似の度合い、データベース画像４４を示す情報、対応する特徴点を示す情報と、該特徴点の撮像画像上の位置等を含むがこれに限定されるものではない。またデータベース画像４４を示す情報は、例えば、画像番号４２であってもよいし、その他の情報であってもよい。照合部１２０が行う照合の方法は特に限定されず、任意の方法を採用してもよい。
　判定部１３０は、照合結果を参照し、該照合結果が撮像画像に複数の物品が含まれることを示すか否かを判定する。判定部１３０は、照合結果に基づくと、撮像画像に複数の物品が含まれると判定される場合、パラメータ記憶部２４０に格納されたパラメータ６４（第１パラメータ）と、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、複数の物品が所定の条件に基づいて纏められたボール品か否かを判定する。
　なお、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータは、上述したパラメータ６４と同じであることが好ましい。本実施の形態では、第２パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。
　まず、判定部１３０は、照合部１２０から照合結果を受け取る。そして、判定部１３０は、照合結果を参照し、複数の物品が識別され、且つ、識別された複数の物品が同じ物品を示すか否かを判定する。識別された複数の物品が同じ物品を示すことは、例えば、同じ名称（例えば、物品名）を有するか否かを判定することによって判定されてもよい。そして、判定部１３０は、同じ物品名を有する複数の物品が識別された場合、照合結果に含まれる、撮像画像の物品に対応するデータベース画像４４を示す情報を用いて、該データベース画像４４に関連するパラメータ６４をパラメータ記憶部２４０から取得する。
　判定部１３０は取得したパラメータ６４と、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータと、に基づいて、識別された複数の物品が所定の条件に基づいて纏められたボール品か否かを判定する。
　判定部１３０が行う判定処理について、図４、図５、図７から図１１を参照してさらに説明する。図７は判定部１３０が行う判定処理を説明するための図である。
　図７に示す撮像画像７０は、４つの物品（７１Ａ～７１Ｄ）を撮像することによって得られた画像である。４つの物品（７１Ａ～７１Ｄ）は、同じ方向を向くように且つ２行２列になるように纏められた１つのボール品７２を成す。図７に示す通り、撮像画像７０には１つのボール品７２が含まれる。なお、以下において、４つの物品（７１Ａ～７１Ｄ）を区別しない場合、または、総称する場合には、物品７１と称す。
　照合部１２０は図７に示す撮像画像７０とデータベース画像４４とを、データベース画像４４から抽出された特徴情報と、撮像画像７０から抽出された特徴情報と用いて照合する。これにより、得られる照合結果から、図４に示すデータベース画像４４Ａが示す物品が４つ撮像画像７０に写っているという照合結果を得るとする。つまり、この照合結果からは、４つの物品（ピース品）７１が撮像画像７０に写っていることがわかる。
　この照合結果から、判定部１３０は、照合部１２０が照合に用いた、データベース画像４４Ａの特徴情報と、撮像画像７０から抽出された特徴情報とを用いて、データベース画像４４Ａと撮像画像７０との幾何学関係を表すパラメータ（上述した第２パラメータ）を計算する。照合結果から、４つの物品（７１Ａ～７１Ｄ）と、データベース画像４４Ａとがマッチすることがわかるため、判定部１３０は、認識された４つの物品（７１Ａ～７１Ｄ）の夫々に対し、データベース画像４４上の位置と、該位置に対応する、認識された物品７１の撮像画像上の領域内の位置との幾何学関係を表す第２パラメータを計算する。図７に示す撮像画像７０の場合、判定部１３０は、４つの第２パラメータを計算する。
　なお、第２パラメータの計算の方法は、パラメータ計算部２３０が行う方法と同じであってもよい。以下、例えば、データベース画像４４上の座標を、撮像画像７０における物品７１Ａの部分の画像の座標に変換する際のホモグラフィ行列を、Ｈ［Ｐ４０１→７１Ａ］と記載する。以下、データベース画像４４の特徴点に対応する撮像画像上の特徴点の位置を第３位置とも呼ぶ。つまり、判定部１３０が計算する第２パラメータは、第１位置と第３位置との幾何学関係を表す。
　同様に、データベース画像４４上の座標を、撮像画像７０における物品７１Ｂの部分の画像の座標に変換する際のホモグラフィ行列を、Ｈ［Ｐ４０１→７１Ｂ］と記載する。同様に、物品７１Ｃに関するホモグラフィ行列はＨ［Ｐ４０１→７１Ｃ］と記載され、物品７１Ｄに関するホモグラフィ行列はＨ［Ｐ４０１→７１Ｄ］と記載される。このように、判定部１３０は、識別された物品の個数分の第２パラメータを計算する。
　図７に示す破線の枠７３Ａは、データベース画像４４上の座標を、Ｈ［Ｐ４０１→７１Ａ］を用いて、撮像画像７０上の座標に変換した場合の、該座標によって示される撮像画像７０上の領域である。同様に、図７に示す枠７３Ｂは、データベース画像４４上の座標を、Ｈ［Ｐ４０１→７１Ｂ］を用いて、撮像画像７０上の座標に変換した場合の、該座標によって示される撮像画像７０上の領域である。枠７３Ｃは、データベース画像４４上の座標を、Ｈ［Ｐ４０１→７１Ｃ］を用いて、撮像画像７０上の座標に変換した場合の、該座標によって示される撮像画像７０上の領域である。枠７３Ｄは、データベース画像４４上の座標を、Ｈ［Ｐ４０１→７１Ｄ］を用いて、撮像画像７０上の座標に変換した場合の、該座標によって示される撮像画像７０上の領域である。
　判定部１３０は、照合結果に基づいて、データベース画像４４Ａを示す画像番号４２である「Ｐ４０１」に関連付けられたパラメータ６４をパラメータ記憶部２４０から取得する。ここでは、判定部１３０は、変換元画像番号６２が「Ｐ４０１」である図６に示す１から４行目のパラメータ６４を、パラメータ記憶部２４０から取得する。取得したパラメータ６４を上述した通り、図６の１行目から順に、Ｈ［Ｐ４０１→Ｂ４０１Ａ］、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］、Ｈ［Ｐ４０１→Ｂ４０１Ｃ］および、Ｈ［Ｐ４０１→Ｂ４０１Ｄ］とする。
　そして、判定部１３０は、識別された複数の物品が所定の条件に基づいて纏められた物品であるか否かを判定するために、データベース画像４４の座標を、第１パラメータおよび第２パラメータを用いて、撮像画像上の座標に変換する。
　ここで、識別された４つの物品（７１Ａ～７１Ｄ）のうち、物品７１Ａ（第１物品）を基準とする。なお、基準の物品は任意であり、特に限定されない。また、本例では、基準である物品７１Ａと他の物品（７１Ｂ～７１Ｄ）とがボール品を形成すると仮定した場合において、物品７１Ａの右隣に位置する物品７１Ｂ（第２物品）に関して、以下に説明するホモグラフィ変換を行うことにより、判定部１３０は、判定処理を行う。
　まず、判定部１３０は、データベース画像４４の座標を、ピース品画像空間上の座標に変換する。図８は、ボール品画像空間とピース品画像空間との対応関係を概念的に説明する図である。
　図８に示すピース品画像空間８１は、データベース画像４４Ａに相当するデータベース画像８１ａを含む画像空間である。基準である物品７１Ａがボール品に含まれると仮定した場合における位置（左上）に対応する、ボール品画像空間８２における位置（座標）は、図５を用いて説明すると、物品Ｂ４０１Ａの位置である。また、基準である物品７１Ａの位置（左上）に対する第２物品の位置（この場合、右隣）に対応する、ボール品画像空間８２における位置は、図５を用いて説明すると、物品Ｂ４０１Ａの右隣に位置する物品Ｂ４０１Ｂの位置に対応する。判定部１３０は、ピース品画像空間８１におけるデータベース画像８１ａの座標を、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］を使用して、ボール品画像空間８２における座標に変換する（Ｓ１）。図８に示す画像８２Ｂは、ボール品画像空間８２におけるデータベース画像８１ａに対応する画像である。
　次に、判定部１３０は、基準である物品７１Ａがボール品に含まれると仮定した場合における位置（左上）に対応する、ボール品画像空間８２における位置（座標）と、データベース画像４４Ａの座標との間のホモグラフィ行列である、Ｈ［Ｐ４０１→Ｂ４０１Ａ］の逆行列を使用して、ボール品画像空間８２の座標に変換したデータベース画像８１ａの座標を、更に、ピース品画像空間８１における座標に変換する。
　ここで、Ｈ［Ｐ４０１→Ｂ４０１Ａ］の逆行列をＨ－１［Ｐ４０１→Ｂ４０１Ａ］と記載する。判定部１３０は、ボール品画像空間８２の座標に変換したデータベース画像８１ａの座標（画像８２Ｂの座標に相当）をＨ－１［Ｐ４０１→Ｂ４０１Ａ］を使用して、ピース品画像空間８１における座標に変換する（Ｓ２）。図８に示す画像８１ｂは、ピース品画像空間８１における、画像８２Ｂに対応する画像である。
　そして、判定部１３０は、基準である、撮像画像７０上の物品７１Ａの領域の座標と、データベース画像４４Ａの座標との間のホモグラフィ行列であるＨ［Ｐ４０１→７１Ａ］を用いて、Ｓ２で変換した座標を、撮像画像７０上の座標に変換する。
　図９は、データベース画像８１ａの座標を撮像画像７０上の座標に変換した場合における変換後の座標によって示される領域（第１領域）の一例を示す図である。図９に示す撮像画像７０は、図７に示す撮像画像７０と同様である。
　図９に示す一点鎖線の枠９１Ｂは、データベース画像８１ａの座標を撮像画像７０上の座標に変換した場合における変換後の座標によって示される領域の一例を示す。この枠９１Ｂが示す領域は、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］、Ｈ－１［Ｐ４０１→Ｂ４０１Ａ］およびＨ［Ｐ４０１→７１Ａ］を用いて推定された領域である。この推定された領域は、撮像画像７０の座標空間における、データベース画像８１ａによって示されるピース品がボール品であると仮定した場合の該ピース品の右隣に位置すると推定される画像８１ｂの座標の領域を示す。
　枠７３Ｂによって示される領域（第２領域）と枠９１Ｂによって示される領域とを比較すると、これらは略重なっていることがわかる。判定部１３０は、この枠７３Ｂの領域と、枠９１Ｂの領域との重なりの度合いを示す値である重複率を計算し、重複率が所定の閾値以上の場合、枠７３Ｂに含まれる物品７１Ｂが、物品７１Ａと共にボール品を構成する物品であると判定する。判定部１３０は、同様の判定を、物品７１Ｃおよび物品７１Ｄに対しても行う。これにより、判定部１３０は、複数の物品が、１つのボール品を構成する物品か否かを判定する。
　このように、複数の物品がボール品かピース品か否かの判定に、領域の重複率を用いることにより、判定部１３０は、少ない計算量で複数の物品がボール品か否かの判定を行うことができる。
　なお、判定部１３０は、一方の領域の面積に対する、該一方の領域と他方の領域との両方に含まれる領域の面積の比を示す重複率に基づいて、領域に関連する物品（図９の場合、物品７１Ｂ）が、基準である物品７１Ａと共にボール品を構成する物品か否かを判定してもよい。例えば、判定部１３０は、枠７３Ｂの領域の面積に対する枠７３Ｂの領域および枠９１Ｂの領域の両方に含まれる領域の面積の重複率に基づいて、判定を行ってもよい。また、判定部１３０は、枠９１Ｂの領域の面積に対する枠７３Ｂの領域および枠９１Ｂの領域の両方に含まれる領域の面積の重複率に基づいて、判定を行ってもよい。また、判定部１３０は、これら２つの重複率を用いて、判定を行ってもよい。また、重複率はこれに限定されず、２つの面積の和に対する、両方に含まれる領域の面積の比であってもよいし、２つの領域の少なくとも何れか一方に含まれる部分の面積に対する、両方に含まれる領域の面積の比であってもよい。
　また、判定部１３０は、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かを、領域ではなく、パラメータ間の近さで判定してもよい。例えば、Ｈ［Ｐ４０１→７１Ａ］×Ｈ－１［Ｐ４０１→Ｂ４０１Ａ］×Ｈ［Ｐ４０１→Ｂ４０１Ｂ］を計算し、計算した結果と、Ｈ［Ｐ４０１→７１Ｂ］との類似度を計算する。この類似度は、どのような指標であってもよい。例えば、行列の各値の近さであってもよいし、行列に基づいて導き出される任意の指標に基づく値の近さであってもよい。そして、類似度が所定の条件を満たす場合、例えば類似度が所定の閾値以上の場合、判定部１３０は、領域に関連する物品が、基準である物品と共にボール品を構成する物品であると判定してもよい。
　このように、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かの判定に、行列同士の類似度を用いることにより、領域の重複率を用いる場合に比べ、物品識別装置１００は、より正確に、領域に関連する物品が基準である物品と共にボール品を構成する物品か否かの判定を行うことができる。なお、類似度を求める場合、判定部１３０は、照合結果に基づいて、パラメータ６４を取得した後に、該パラメータ６４と同じ種類の第２パラメータを、計算してもよい。
　また、判定部１３０は、データベース画像４４上の全ての座標ではなく、特徴点を用いて、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かを判定してもよい。例えば、判定部１３０は、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］、Ｈ－１［Ｐ４０１→Ｂ４０１Ａ］およびＨ［Ｐ４０１→７１Ａ］を用いて変換した特徴点の座標と、Ｈ［Ｐ４０１→７１Ｂ］を用いて変換した特徴点の座標との距離が所定の閾値以下である場合に、領域に関連する物品が、基準である物品と共にボール品を構成する物品であると判定してもよい。
　図１０は、判定部１３０が行う判定処理を説明するための別の図である。図１０に示す撮像画像１０１は、４つの物品（１０２Ａ～１０２Ｄ）を撮像することによって得られた画像である。４つの物品（１０２Ａ～１０２Ｄ）は、纏められていないピース品である。図１０に示す通り、撮像画像１０１には４つの物品（１０２Ａ～１０２Ｄ）が含まれる。照合部１２０はこのような撮像画像１０１とデータベース画像４４とを、データベース画像４４から抽出された特徴情報と、撮像画像１０１から抽出された特徴情報と用いて照合する。ここでは、４つの物品（１０２Ａ～１０２Ｄ）が夫々ピース品であり、ボール品ではないと正しく識別される方法について説明する。
　判定部１３０は、照合結果から、照合部１２０が照合に用いた、データベース画像４４Ａの特徴情報と、撮像画像１０１から抽出された特徴情報とを用いて、データベース画像４４Ａと撮像画像１０１との幾何学関係を表すパラメータ（上述した第２パラメータ）を計算する。計算した４つの第２パラメータを、Ｈ［Ｐ４０１→１０２Ａ］、Ｈ［Ｐ４０１→１０２Ｂ］、Ｈ［Ｐ４０１→１０２Ｃ］およびＨ［Ｐ４０１→１０２Ｄ］とする。なお、Ｈ［Ｐ４０１→１０２Ａ］は、データベース画像４４上の座標を、撮像画像１０１における物品１０２Ａの部分の画像の座標に変換する際のホモグラフィ行列である。
　図１０に示す破線の枠１０３Ａ～１０３Ｄは、夫々、上述したホモグラフィ行列を用いて、データベース画像４４上の座標を、撮像画像１０１上の座標に変換した場合の、該座標によって示される撮像画像１０１上の領域を示す。
　ここで、基準の物品を物品１０２Ａとする。判定部１３０は、ピース品画像空間におけるデータベース画像４４の座標を、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］を使用して、ボール品画像空間における座標に変換する。そして、判定部１３０は、基準である物品がボール品における位置に対応する位置のボール品画像空間における座標と、データベース画像４４Ａの座標との間のホモグラフィ行列を用いて、座標の変換を行う。基準である物品１０２Ａは、図１０に示す通り、４つの物品の左上に位置する物品であるため、判定部１３０は、Ｈ－１［Ｐ４０１→Ｂ４０１Ａ］を使用して、ボール品画像空間の座標に変換したデータベース画像４４Ａの座標を、更に、ピース品画像空間における座標に変換する。更に、判定部１３０は、基準である物品１０２Ａの領域の座標と、データベース画像４４Ａの座標との間のホモグラフィ行列であるＨ［Ｐ４０１→１０２Ａ］を用いて、ピース品画像空間における座標に変換した座標を、撮像画像１０１上の座標に変換する。
　図１１は、データベース画像４４Ａの座標を撮像画像１０１上の座標に変換した場合における変換後の座標によって示される領域の一例を示す図である。図１１に示す撮像画像１０１は、図１０に示す撮像画像１０１と同様である。
　図１１に示す一点鎖線の枠１０４Ｂは、データベース画像４４Ａの座標を撮像画像１０１上の座標に変換した場合における変換後の座標によって示される領域の一例を示す。この枠１０４Ｂが示す領域は、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］、Ｈ－１［Ｐ４０１→Ｂ４０１Ａ］およびＨ［Ｐ４０１→１０２Ａ］を用いて推定された領域である。この推定された領域は、撮像画像１０１の座標空間における、データベース画像４４によって示されるピース品がボール品であると仮定した場合の該ピース品の右隣に位置すると推定される座標の領域を示す。
　枠１０３Ｂによって示される領域と枠１０４Ｂによって示される領域とを比較すると、図９の枠７３Ｂによって示される領域および枠９１Ｂによって示される領域に比べ重複していない箇所が多い。よって、判定部１３０は、物品１０２Ｂが、物品１０２Ａと共にボール品を構成する物品ではないと判定する。つまり、判定部１３０は、物品１０２Ｂおよび物品１０２Ａはそれぞれピース品であると判定する。判定部１３０は、物品１０２Ｃおよび物品１０２Ｄに対しても、同様の判定を行うことにより、これらが夫々ピース品であると判定する。これにより、判定部１３０は、図１１に含まれる物品が、「ＸＸＸ」という物品名の４つのピース品であると判定することができる。
　このように本実施の形態に係る物品識別装置１００はピース品とボール品とを正しく判定することができる。よって、物品識別装置１００は、梱包単位ごとの物品の数を精度よく識別することができる。
　判定部１３０は、物品を示す情報（例えば、物品名）と梱包単位ごとの物品の数とを判定結果として、出力制御部１４０に供給する。
　出力制御部１４０は、判定部１３０から供給された判定結果に基づいて、該判定結果を表す情報の出力を制御する。例えば、出力装置４００がディスプレイ（表示部）などの表示装置またはディスプレイを有する端末装置の場合、出力制御部１４０は、判定結果を表す情報を画面表示する制御信号を、出力装置４００に出力する。これにより、出力装置４００は、判定結果を表す情報を画面表示する。
　また、出力装置４００が受け取った情報をファイル出力する装置の場合、出力制御部１４０は、判定結果を表す情報をファイル出力する制御信号を、出力装置４００に出力する。これにより、出力装置４００は、判定結果を表す情報をファイルとして出力する。
　図１２は、出力装置４００がディスプレイを有する表示装置または端末装置の場合における、出力装置４００が出力する表示画面の一例を示す図である。
　出力制御部１４０は、判定結果を示す情報を撮像画像に重畳した表示画面をディスプレイなどの表示部に表示させる制御信号を生成する。出力装置４００は、出力制御部１４０が生成した制御信号に基づいて、判定結果を示す情報を撮像画像に重畳した表示画面を表示部に表示する。
　図１２に示す表示画面１２１は、図７に示す、物品（７１Ａ～７１Ｄ）によって構成されるボール品７２を含む撮像画像７０を表示部に表示した画面である。出力制御部１４０は、判定結果を示す情報１２２を、撮像画像７０に重畳した表示画面を生成することにより、出力装置４００は、図１２に示す表示画面１２１を表示する。なお、梱包単位の表示方法は特に限定されず、例えば、ピース品の場合は、ピース品であることがわかる情報であればよい。また、ボール品の場合は、纏められる形状や個数であってもよい。
　なお、出力制御部１４０は、物品名ごと、物品の梱包単位ごとに、判定結果を示す情報を、関連する物品に関連付けた表示画面を生成してもよい。例えば、撮像画像７０にある物品のボール品と、他の物品のボール品とが含まれる場合、出力制御部１４０は、識別された物品（ピース品および／またはボール品）の位置を示す情報と共に判定結果を受け取る。そして、出力制御部１４０は、受け取った判定結果および位置を示す情報に基づいて、ある物品に関する判定結果を示す情報を、該ある物品のボール品に関連付けた表示画面を生成する。同様に、出力制御部１４０は、この表示画面において、他の物品に関する判定結果を示す情報を、該他の物品のボール品に関連付ける。このように、出力制御部１４０が、物品名ごと、物品の梱包単位ごとに、判定結果を示す情報を、関連する物品に関連付けた表示画面を生成することにより、出力装置４００は、判定結果が物品に関連付けられた表示画面を表示する。したがって、物品識別装置１００は、表示画面を見る作業者２に物品ごとおよび物品の梱包単位ごとの個数を容易に把握させることができる。
　また、出力制御部１４０は、梱包単位がピース品の場合、識別された物品の撮像画像上における位置を示す位置情報を、梱包単位がボール品の場合は、ボール品の部分を示す位置情報を、撮像画像に重畳した表示画面をディスプレイなどの表示部に表示させる制御信号を生成してもよい。例えば、出力制御部１４０は、ボール品７２の撮像画像上における位置を示す位置情報を、撮像画像７０に重畳した表示画面を生成してもよい。出力制御部１４０は、図１２に示すように、ボール品７２の位置を、ボール品７２に含まれる物品（７１Ａ～７１Ｄ）の夫々の領域（枠７３Ａ～７３Ｄによって示される領域）をすべて含む枠１２３を生成し、該枠１２３を撮像画像７０に重畳した表示画面を生成してもよい。
　このように、出力装置４００は、出力制御部１４０が生成した制御信号に基づいて、判定結果を示す情報を撮像画像に重畳した表示画面を表示部に表示することにより、表示画面を見る作業者２に物品の梱包単位ごとの個数を容易に把握させることができる。
　図１３は、出力装置４００が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。図１３に示す出力ファイル１３１は、物品名１３２の列と、梱包単位１３３の列と、個数１３４の列とを含む表データである。出力制御部１４０は、判定結果に基づいて、このような出力ファイル１３１を出力装置４００が出力するよう制御する制御信号を生成してもよい。これにより、撮像画像に、どの物品がどの梱包単位でいくつ含まれるのかを作業者２は容易に把握することができる。また、出力制御部１４０は、例えば、撮像画像に含まれるべき物品の一覧と判定結果とを比較し、比較結果を出力装置４００に表示するよう制御してもよい。
　図１４は、本実施の形態に係るシステム１における計算装置２００の処理の流れの一例を示すフローチャートである。図１４に示す通り、第２特徴抽出部２２０が、画像記憶部２１０に格納されたデータベース画像４４から特徴情報を抽出する（ステップＳ１４１）。
　そして、パラメータ計算部２３０が、抽出された特徴情報に基づいて、ピース品画像空間における第１位置と、ボール品画像空間における第２位置との幾何学関係を表すパラメータを計算する（ステップＳ１４２）。
　上述した通り、パラメータは、データベース画像４４を用いた照合により、撮像画像に複数の物品が識別される場合において、識別された複数の物品が、所定の条件に基づいて纏められた物品（ボール品）であるか否かを判定する際に、第１位置と、該第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いられるものである。
　その後、パラメータ計算部２３０は、計算したパラメータをパラメータ記憶部２４０に格納する（ステップＳ１４３）。
　図１５は、本実施の形態に係るシステム１における物品識別装置１００の処理の流れの一例を示すフローチャートである。図１５に示す通り、物品識別装置１００の第１特徴抽出部１１０は、取得した撮像画像から特徴情報を抽出する（ステップＳ１５１）。
　そして、照合部１２０が、撮像画像から抽出された特徴情報と、ステップＳ１４１において、データベース画像４４から抽出された特徴情報とを用いて、撮像画像とデータベース画像４４との照合を行う（ステップＳ１５２）。
　判定部１３０は、照合結果を参照し、複数の物品が識別され、且つ、識別された物品が同じ物品名を示すか否かを判定する（ステップＳ１５３）。同じ物品名の物品を複数識別していない場合（ステップＳ１５３にてＮＯ）、処理はステップＳ１５６に進む。
　同じ物品名の物品が複数識別された場合（ステップＳ１５３にてＹＥＳ）、判定部１３０は、識別された物品に対応する（撮像画像とマッチした）データベース画像４４と撮像画像との間の幾何学関係を表すパラメータ（第２パラメータ）を計算する（ステップＳ１５４）。
　そして、ステップＳ１４２で計算されたパラメータと、ステップＳ１５４で計算されたパラメータとを用いて、複数の物品が所定の条件に基づいて纏められた物品か否かを判定する（ステップＳ１５５）。
　その後、出力制御部１４０が、出力装置４００による情報の出力を制御する制御信号を生成する（ステップＳ１５６）。ステップＳ１５５が行われた後の場合、出力制御部１４０は判定結果に基づいて、該判定結果を表す情報の出力を行うための制御信号を生成する。そして、出力制御部１４０は、生成した制御信号を出力装置４００に出力する（ステップＳ１５７）。
　これにより、出力装置４００は、出力制御部１４０が出力した制御信号に基づいて、例えば、図１２に示すような表示画面１２１を表示部に表示することができる。
　なお、本実施の形態では、所定の条件が、以下の（１）～（３）である場合を例に説明を行った。
（１）物品の数が４つ
（２）物品が全て同じ方向を向く
（３）物品が２行２列に並べられている
　しかしながら、所定の条件は、これに限定されない。物品が４つの場合における、所定の条件の例を図１６に示す。図１６の（ａ）は、所定の条件が、物品の数が４つ、物品が全て同じ方向を向く、物品が縦１列に並べられている、である場合の一例である。図１６の（ｂ）は、所定の条件が、物品の数が４つ、物品が２行２列に並べられている、物品の上部が外側になる、である場合の一例である。図１６の（ｃ）は、所定の条件が、物品の数が４つ、物品が全て同じ方向を向く、物品が横１列に並べられている、である場合の一例である。
　このように、物品の梱包単位が複数ある場合、パラメータ計算部２３０は、これらの夫々に対して、パラメータを計算し、パラメータ記憶部２４０に格納する。このとき、パラメータ計算部２３０は、所定の条件を表す情報をパラメータと共にパラメータ記憶部２４０に格納することが好ましい。これにより、物品識別装置１００はどのような梱包単位であっても、適切にボール品か否かを判定することができる。なお、ボール品に含まれるピース品の数は特に限定されず、任意の数であってもよい。
　以上のように、本実施の形態に係るシステム１の物品識別装置１００は、照合部１２０が撮像画像と物品を識別するためのデータベース画像との照合を行う。そして、判定部１３０が、照合の結果が撮像画像に複数の物品が含まれる場合、第１パラメータと第２パラメータとを用いて、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する。第１パラメータは、データベース画像の画像空間における第１位置と、データベース画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間における、第１位置に対応する第２位置との幾何学関係を表す。また、第２パラメータは、第１位置と、第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す。
　例えば、４つのピース品から構成される１つのボール品が含まれる撮像画像において、撮像画像とデータベース画像との照合を行うと、照合結果からは、該撮像画像に４つのピース品が含まれるとみなされる。本実施の形態によれば、判定部１３０がこの照合結果に基づいて、データベース画像における位置と物品がボール品である場合のボール品の画像の空間における位置と間の幾何学関係を表すパラメータと、撮像画像とデータベース画像との間の幾何学関係を表すパラメータとに基づいて、あるピース品に対し、他のピース品が、ボール品を形成する位置に位置しているか否かを判定することにより、識別された複数の物品がボール品か否かを判定する。これにより、物品識別装置１００は、撮像画像に含まれる複数の物品が、所定の条件に基づいて纏められた物品か、個別の物品かを判定することができる。
　よって、本実施の形態に係る物品識別装置１００によれば、複数の物品が、１つのボール品として纏められた物品の場合であっても、複数の物品としてではなく、１つのボール品として正確に判定することができる。
　よって、本実施の形態に係る物品識別装置１００によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することできる。
　なお、本実施の形態に係るシステム１において、撮像装置３００と物品識別装置１００とは一体となって形成され、例えば、インテリジェンスカメラとして機能してもよい。また、計算装置２００の一部の機能が物品識別装置１００に組み込まれてもよい。例えば、第１特徴抽出部１１０と、第２特徴抽出部２２０とが同じ回路で実現されてもよい。
　このように、図１に示すシステム１における各装置は各々組み合わせて構成されてもよい。
　＜第２の実施の形態＞
　本開示の第２の実施の形態について説明する。本実施の形態では、本開示の課題を解決する基本構成について説明する。
　図１７は、本実施の形態に係る物品識別装置１０の機能構成の一例を示す機能ブロック図である。図１７に示す通り、本実施の形態に係る物品識別装置１０は、照合部１２と、判定部１３とを備える。
　照合部１２は、上述した照合部１２０の機能を有する。照合部１２は、撮像画像と物品を識別するための識別用画像との照合を行う。照合部１２は、照合結果を判定部１３に供給する。照合部１２が行う照合の方法は特に限定されず、上述した照合部１２０と同様の方法を採用してもよい。
　判定部１３は、上述した判定部１３０の機能を有する。判定部１３は、照合の結果が撮像画像に複数の物品が含まれることを示す場合、第１パラメータと、第２パラメータとに基づいて、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する。ここで、第１パラメータは、識別用画像の画像空間である第１空間における第１位置と、識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、第１位置に対応する第２位置との幾何学関係を表す。また、第２パラメータは、第１位置と、第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す。
　ここで、照合結果に基づくと、複数の物品が識別されることがわかるため、この複数の物品は、第１物品と、第１物品とは異なる第２物品とが含まれるとして説明する。
　判定部１３は、上述した判定部１３０と同様に、以下の（１）～（３）を行うことにより変換された座標が示す第１領域と、撮像画像上における第２物品に関連する第２パラメータから得られる、第２物品の前記撮像画像上における第２領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された複数の物品が、纏められた物品であると判定してもよい。
（１）第１物品の位置に対する第２物品の位置に基づいて、第２空間における第２物品に関連する第１パラメータを用いて識別用画像の座標を、第２空間の座標に変換する。
（２）第２空間の座標に変換した座標を、第２空間における第１物品に関連する第１パラメータに基づいて第１空間の座標に変換する。
（３）第１空間の座標に変換した座標を、撮像画像上における第１物品に関連する第２パラメータを用いて撮像画像上の座標に変換する。
　図１８は、本実施の形態に係る物品識別装置１０の処理の流れの一例を示すフローチャートである。図１８に示す通り、照合部１２が、撮像画像と物品を識別するための識別用画像との照合を行う（ステップＳ１８１）。そして、判定部１３が、第１パラメータと、第２パラメータとに基づいて、複数の物品が所定の条件に基づいて纏められた物品か否かを判定する（ステップＳ１８２）。
　図１９は、上述した物品識別装置１０が参照する第１パラメータを計算する計算装置２０の機能構成の一例を示す機能ブロック図である。図１９に示す通り、計算装置２０は、抽出部２２と、計算部２３とを備える。
　抽出部２２は、上述した第２特徴抽出部２２０の機能を有する。物品を識別するための複数の識別用画像の夫々から、物品の特徴を表す特徴情報を抽出する。抽出部２２は、抽出した特徴情報を計算部２３に供給する。
　計算部２３は、上述したパラメータ計算部２３０の機能を有する。計算部２３は、抽出された特徴情報に基づいて、識別用画像の画像空間である第１空間における第１位置と、識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、第１位置に対応する第２位置との幾何学関係を表す第１パラメータを計算する。なお、上述した通り、第１パラメータは、物品識別装置１０による識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する際に、第１位置と、該第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いられる。
　また、本実施の形態において、物品識別装置１０および計算装置２０は、図２０に示すシステム６として構成されてもよい。図２０は、物品識別装置１０と計算装置２０とを含むシステムの構成の一例を示すブロック図である。図２０に示す通り、システム６は、物品識別装置１０と計算装置２０とを含む。物品識別装置１０と計算装置２０とは互いに通信可能に接続している。
　なお、物品識別装置１０と計算装置２０とは一体となって形成されてもよいし、計算装置２０の一部の機能が物品識別装置１０に組み込まれてもよい。また、システム６は、上述したシステム１と同様に、撮像装置３００および出力装置４００を含む構成であってもよい。
　例えば、４つの物品（ピース品）から構成される纏められた物品（１つのボール品）が含まれる撮像画像において、撮像画像と識別用画像との照合を行うと、照合結果からは、該撮像画像に４つのピース品が含まれるとみなされる。本実施の形態によれば、判定部１３がこの照合結果に基づいて、第１パラメータと、第２パラメータとに基づいて、識別用画像における位置と物品がボール品である場合のボール品の画像の空間における位置との間の幾何学関係を表す第１パラメータと、撮像画像と識別用画像との間の幾何学関係を表す第２パラメータとに基づいて、あるピース品に対し、他のピース品が、ボール品を形成する位置に位置しているか否かを判定することにより、識別された複数の物品がボール品か否かを判定する。これにより、物品識別装置１０は、撮像画像に含まれる複数の物品が、所定の条件に基づいて纏められた物品か、個別の物品かを判定することができる。
　よって、本実施の形態に係る物品識別装置１０によれば、複数の物品が、所定の条件に基づいて纏められた物品の場合に、個々の物品としてではなく、纏められた物品として正確に判定することができる。
　よって、本実施の形態に係る物品識別装置１０によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することできる。
　（ハードウェア構成について）
　本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば、図２１に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２１は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
　例えば、本開示における物品識別装置（１０、１００）は、ＰＯＳ（Ｐｏｉｎｔ　Ｏｆ　Ｓａｌｅｓ）レジスタ等のキャッシュレジスタの近傍に設置されたカメラを含むシステムにも好適に利用できる。この場合、上述した物品識別装置（１０、１００）は、ＰＯＳレジスタに内蔵されることによって実現されてもよい。なお、該ＰＯＳレジスタは、更に計算装置（２０、２００）の機能を備えてもよい。また、物品識別装置（１０、１００）は、ＰＯＳレジスタに、出力装置４００と同様の出力を行わせてもよい。この場合であっても、物品識別装置（１０、１００）は、カメラが商品を撮像することによって得られた撮像画像から、認識された複数の物体が同一物体か否かを判定することにより、該識別対象の物体の個数を精度よく識別することできる。
　また、本開示における物品識別装置（１０、１００）および計算装置（２０、２００）は、ＰＯＳレジスタと通信可能なサーバ装置で実現されてもよい。そして、物品識別装置（１０、１００）は、ＰＯＳレジスタに、出力装置４００と同様の出力を行わせてもよい。このように、既に店舗に設置されているＰＯＳレジスタを利用した構成にも、本開示の物品識別装置（１０、１００）および計算装置（２０、２００）を好適に適用することができる。
　なお、上述したＰＯＳレジスタとは、店員が操作するキャッシュレジスタに限定されず、精算を顧客が行う分担型のキャッシュレジスタ（セミセルフレジスタ）、レジスタの通過時に店員が介在しない（精算までの一連の作業を顧客のみで行う）キャッシュレジスタ（セルフレジスタ）の何れであってもよい。
　上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、
　前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、
　を備える物品識別装置。
　（付記２）
　前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
　前記判定手段は、識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、
　前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
　付記１に記載の物品識別装置。
　（付記３）
　識別された複数の物品は、第１物品と、該第１物品とは異なる第２物品とを含み、
　前記判定手段は、（ｉ）前記第１物品の位置に対する第２物品の位置に基づいて、前記第２空間における前記第２物品に関連する前記第１パラメータを用いて前記識別用画像の座標を、前記第２空間の座標に変換し、（ｉｉ）前記変換した座標を、前記第２空間における前記第１物品に関連する前記第１パラメータに基づいて前記第１空間の座標に変換し、（ｉｉｉ）前記第１空間の座標に変換した座標を、前記撮像画像上における前記第１物品に関連する前記第２パラメータを用いて前記撮像画像上の座標に変換し、
　該撮像画像上の座標に変換された座標が示す第１領域と、前記撮像画像上における前記第２物品に関連する前記第２パラメータから得られる、前記第２物品の前記撮像画像上における第２領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された前記複数の物品が、前記纏められた物品であると判定する、
　付記２に記載の物品識別装置。
　（付記４）
　識別された複数の物品は、第１物品と、該第１物品とは異なる第２物品とを含み、
　前記判定手段は、前記第２空間における前記第２物品に関連する前記第１パラメータ、前記第２空間における前記第１物品に関連する前記第１パラメータ、および、前記撮像画像上における前記第１物品に関連する前記第２パラメータから得られる値と、前記撮像画像上における前記第２物品に関連する前記第２パラメータとの、所定の指標に基づく類似度に基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
　付記２に記載の物品識別装置。
　（付記５）
　前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
　前記出力制御手段は、前記判定結果を示す情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
　付記１から４の何れか１つに記載の物品識別装置。
　（付記６）
　前記出力制御手段は、前記判定結果を示す情報を、前記撮像画像における前記纏められた物品または個別の物品に関連付けた前記表示画面を前記表示部に表示させるよう制御する、
　付記５に記載の物品識別装置。
　（付記７）
　撮像画像と物品を識別するための識別用画像との照合を行い、
　前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
　物品識別方法。
　（付記８）
　前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
　識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、　付記７に記載の物品識別方法。
　（付記９）
　撮像画像と物品を識別するための識別用画像との照合を行う処理と、
　前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する処理と、
　をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
　（付記１０）
　前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
　前記判定する処理は、識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
　付記９に記載の記録媒体。
　（付記１１）
　物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、
　前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第１位置と、該第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える計算装置。
　（付記１２）
　付記１から６の何れか１つに記載の物品識別装置と、
　付記１１に記載の計算装置と、
を備えるシステム。
　１　　システム
　６　　システム
　１０　　物品識別装置
　１２　　照合部
　１３　　判定部
　２０　　計算装置
　２２　　抽出部
　２３　　計算部
　１００　　物品識別装置
　１１０　　第１特徴抽出部
　１２０　　照合部
　１３０　　判定部
　１４０　　出力制御部
　２００　　計算装置
　２１０　　画像記憶部
　２２０　　第２特徴抽出部
　２３０　　パラメータ計算部
　２４０　　パラメータ記憶部
　３００　　撮像装置
　４００　　出力装置

Claims (12)

  1. 　撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、
    　前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、
    　を備える物品識別装置。
  2. 　前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
    　前記判定手段は、識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、
    　前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
    　請求項１に記載の物品識別装置。
  3. 　識別された複数の物品は、第１物品と、該第１物品とは異なる第２物品とを含み、
    　前記判定手段は、（ｉ）前記第１物品の位置に対する第２物品の位置に基づいて、前記第２空間における前記第２物品に関連する前記第１パラメータを用いて前記識別用画像の座標を、前記第２空間の座標に変換し、（ｉｉ）前記変換した座標を、前記第２空間における前記第１物品に関連する前記第１パラメータに基づいて前記第１空間の座標に変換し、（ｉｉｉ）前記第１空間の座標に変換した座標を、前記撮像画像上における前記第１物品に関連する前記第２パラメータを用いて前記撮像画像上の座標に変換し、
    　該撮像画像上の座標に変換された座標が示す第１領域と、前記撮像画像上における前記第２物品に関連する前記第２パラメータから得られる、前記第２物品の前記撮像画像上における第２領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された前記複数の物品が、前記纏められた物品であると判定する、
    　請求項２に記載の物品識別装置。
  4. 　識別された複数の物品は、第１物品と、該第１物品とは異なる第２物品とを含み、
    　前記判定手段は、前記第２空間における前記第２物品に関連する前記第１パラメータ、前記第２空間における前記第１物品に関連する前記第１パラメータ、および、前記撮像画像上における前記第１物品に関連する前記第２パラメータから得られる値と、前記撮像画像上における前記第２物品に関連する前記第２パラメータとの、所定の指標に基づく類似度に基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
    　請求項２に記載の物品識別装置。
  5. 　前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
    　前記出力制御手段は、前記判定結果を示す情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
    　請求項１から４の何れか１項に記載の物品識別装置。
  6. 　前記出力制御手段は、前記判定結果を示す情報を、前記撮像画像における前記纏められた物品または個別の物品に関連付けた前記表示画面を前記表示部に表示させるよう制御する、
    　請求項５に記載の物品識別装置。
  7. 　撮像画像と物品を識別するための識別用画像との照合を行い、
    　前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
    　を備える物品識別方法。
  8. 　前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
    　識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
    　請求項７に記載の物品識別方法。
  9. 　撮像画像と物品を識別するための識別用画像との照合を行う処理と、
    　前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する処理と、
    　をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
  10. 　前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
    　前記判定する処理は、識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
    　請求項９に記載の記録媒体。
  11. 　物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、
    　前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第１位置と、該第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える計算装置。
  12. 　請求項１から６の何れか１項に記載の物品識別装置と、
    　請求項１１に記載の計算装置と、
    を備えるシステム。
PCT/JP2017/024924 2017-07-07 2017-07-07 物品識別装置、物品識別方法、計算装置、システムおよび記録媒体 WO2019008735A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/623,641 US11462004B2 (en) 2017-07-07 2017-07-07 Object identification device, object identification method, calculation device, system, and recording medium
JP2019528294A JP6769555B2 (ja) 2017-07-07 2017-07-07 物品識別装置、物品識別方法、計算装置、システムおよびプログラム
PCT/JP2017/024924 WO2019008735A1 (ja) 2017-07-07 2017-07-07 物品識別装置、物品識別方法、計算装置、システムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/024924 WO2019008735A1 (ja) 2017-07-07 2017-07-07 物品識別装置、物品識別方法、計算装置、システムおよび記録媒体

Publications (1)

Publication Number Publication Date
WO2019008735A1 true WO2019008735A1 (ja) 2019-01-10

Family

ID=64949819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024924 WO2019008735A1 (ja) 2017-07-07 2017-07-07 物品識別装置、物品識別方法、計算装置、システムおよび記録媒体

Country Status (3)

Country Link
US (1) US11462004B2 (ja)
JP (1) JP6769555B2 (ja)
WO (1) WO2019008735A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210374111A1 (en) * 2020-05-29 2021-12-02 Exelon Clearsight, LLC Methods and systems for construct identification and analysis

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228199A (ja) * 2005-01-20 2006-08-31 Matsushita Electric Ind Co Ltd 顔抽出装置、半導体集積回路
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014465A (ja) 1999-06-29 2001-01-19 Matsushita Electric Ind Co Ltd 物体認識方法及び物体認識装置
JP4492555B2 (ja) * 2006-02-07 2010-06-30 セイコーエプソン株式会社 印刷装置
JP4715539B2 (ja) 2006-02-15 2011-07-06 トヨタ自動車株式会社 画像処理装置、その方法、および画像処理用プログラム
US8209743B1 (en) * 2010-03-09 2012-06-26 Facebook, Inc. CAPTCHA image scramble
JP2016110590A (ja) * 2014-12-10 2016-06-20 コニカミノルタ株式会社 画像処理装置、データ登録方法およびデータ登録プログラム
KR101642200B1 (ko) * 2014-12-19 2016-07-22 포항공과대학교 산학협력단 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법
US9547904B2 (en) * 2015-05-29 2017-01-17 Northrop Grumman Systems Corporation Cross spectral feature correlation for navigational adjustment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228199A (ja) * 2005-01-20 2006-08-31 Matsushita Electric Ind Co Ltd 顔抽出装置、半導体集積回路
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム

Also Published As

Publication number Publication date
US11462004B2 (en) 2022-10-04
US20210287028A1 (en) 2021-09-16
JPWO2019008735A1 (ja) 2020-04-02
JP6769555B2 (ja) 2020-10-14

Similar Documents

Publication Publication Date Title
US11887051B1 (en) Identifying user-item interactions in an automated facility
JP7147921B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6202215B2 (ja) 情報処理装置、棚札管理システム、制御方法、及びプログラム
US20150046299A1 (en) Inventory Assessment with Mobile Devices
US20140247997A1 (en) Information processing system, information processing method, and computer program product
US11514665B2 (en) Mapping optical-code images to an overview image
JP6464612B2 (ja) データ解析装置、データ解析システム、売上予測装置、売上予測システム、データ解析方法、売上予測方法、プログラムおよび記録媒体
JP5816393B1 (ja) 商品評価装置、方法及びプログラム
JP7259754B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7435587B2 (ja) 物品推定装置、物品推定方法、及びプログラム
CN109961472B (zh) 3d热力图生成的方法、系统、存储介质及电子设备
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及系统
JP2017083980A (ja) 行動分析装置及びシステム及び方法
EP3648052A1 (en) Product identification system
US11238401B1 (en) Identifying user-item interactions in an automated facility
JP2016185845A (ja) 検品処理装置、検品処理方法及びプログラム
JP6769554B2 (ja) 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
JP7381330B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
WO2019008735A1 (ja) 物品識別装置、物品識別方法、計算装置、システムおよび記録媒体
JP6409957B2 (ja) 店舗情報表示システム、装置、方法及びプログラム
US20230274227A1 (en) Retail shelf image processing and inventory tracking system
US20230274226A1 (en) Retail shelf image processing and inventory tracking system
US20230127469A1 (en) Computer-readable recording medium storing inference program, computer-readable recording medium storing learning program, inference method, and learning method
US11494729B1 (en) Identifying user-item interactions in an automated facility
JP6695454B1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17916565

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019528294

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17916565

Country of ref document: EP

Kind code of ref document: A1