WO2019008734A1 - 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体 - Google Patents

物体識別装置、物体識別方法、計算装置、システムおよび記録媒体 Download PDF

Info

Publication number
WO2019008734A1
WO2019008734A1 PCT/JP2017/024923 JP2017024923W WO2019008734A1 WO 2019008734 A1 WO2019008734 A1 WO 2019008734A1 JP 2017024923 W JP2017024923 W JP 2017024923W WO 2019008734 A1 WO2019008734 A1 WO 2019008734A1
Authority
WO
WIPO (PCT)
Prior art keywords
identification
image
parameter
captured image
objects
Prior art date
Application number
PCT/JP2017/024923
Other languages
English (en)
French (fr)
Inventor
岩元　浩太
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2017/024923 priority Critical patent/WO2019008734A1/ja
Priority to JP2019528293A priority patent/JP6769554B2/ja
Priority to US16/623,987 priority patent/US11205089B2/en
Publication of WO2019008734A1 publication Critical patent/WO2019008734A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Definitions

  • the present disclosure relates to an object identification device, an object identification method, a calculation device, a system, and a recording medium.
  • Patent Document 1 As a method of enhancing recognition accuracy, it has been disclosed to increase the amount of information of a database used for recognition (for example, Patent Document 1). There is also disclosed a technique for estimating the position and orientation of a three-dimensional object based on a two-dimensional image using a database created by using images obtained by capturing an object for reference from different viewpoints (for example, Patent Document 2).
  • object identification using a local feature amount, for example, images (database images) captured from various directions of an object registered in a database and a query image including an object to be identified
  • a possible method is to identify the object in which position in the query image by matching.
  • a plurality of database images used for identification for one object when a plurality of database images used for identification for one object is registered in the database, a plurality of database images may be output as an identification result for the query image.
  • a plurality of database images By including a plurality of database images in the identification result, there is a possibility that the number of objects identified can not be accurately grasped.
  • An object identification apparatus includes matching means for matching a captured image with a plurality of identification images for identifying an object, and the captured image includes a plurality of objects in the captured image.
  • a first parameter representing a geometrical relationship between the identification images, and a second parameter representing a geometrical relationship between the identification image corresponding to each identified object and the captured image Determining means for determining whether the plurality of objects are the same object based on the determination.
  • the captured image is compared with a plurality of identification images for identifying the object, and the result of the comparison includes the plurality of objects in the captured image. Is indicated based on a first parameter representing the geometrical relationship between the identification images and a second parameter representing the geometrical relationship between the identification image corresponding to each identified object and the captured image It is determined whether the plurality of objects are the same object.
  • a calculation apparatus includes extraction means for extracting feature information representing a feature of the object from each of a plurality of identification images for identifying the object, and the extracted feature information And a plurality of objects are identified based on the first parameter representing the geometrical relationship between the plurality of identification images, in the case where a plurality of objects are identified in the captured image by the matching using the identification images.
  • a system including the object identification device and the computing device is also included in the scope of the present disclosure.
  • a computer program for realizing the respective devices or methods by a computer and a computer readable non-transitory recording medium storing the computer program are also included in the scope of the present disclosure.
  • the number of objects to be identified can be identified with high accuracy.
  • FIG. 1 is a diagram showing an example of the entire configuration of a system according to a first embodiment. It is a figure for demonstrating an example of the usage scene where the system which concerns on 1st Embodiment is utilized.
  • FIG. 2 is a functional block diagram showing an example of functional configurations of an object identification device and a computing device included in the system according to the first embodiment. It is a figure which shows an example of the image information containing the database image stored in the image storage part. It is a figure for demonstrating calculation of the parameter by a parameter calculation part. It is a figure which shows an example of the parameter information which a parameter storage part stores. It is a figure for demonstrating the determination processing which a determination part performs.
  • FIG. 1 is a diagram showing an example of the entire configuration of a system 1 according to the present embodiment.
  • the system 1 shown in FIG. 1 includes an object identification device 100, a computing device 200, an imaging device 300, and an output device 400.
  • FIG. 1 shows a configuration unique to the present disclosure, and it goes without saying that the system 1 may have a device not shown in FIG.
  • the devices shown in FIG. 1 may be configured in combination.
  • the object identification device 100 and the calculation device 200 may be integrated, or the object identification device 100 and the imaging device 300 may be integrated.
  • the object identification device 100 is communicably connected to the computing device 200, the imaging device 300, and the output device 400.
  • the communication means between the devices may be either wired or wireless communication, and communication via any of a mobile communication network, a public network, a LAN (Local Area Network), or a WAN (Wide Area Network). It may be As described above, various methods can be considered for communication between devices.
  • the imaging device 300 captures an image including an object to be captured.
  • the imaging device 300 is realized by, for example, a camera including a lens and an imaging element.
  • the imaging device 300 is realized by, for example, a digital camera or a web camera.
  • the imaging device 300 supplies a captured image to the object identification device 100.
  • the imaging device 300 may store the captured image in a storage device different from the inside of the imaging device 300 or the object identification device 100. In this case, the object identification apparatus 100 may acquire a captured image from the place where the captured image is stored.
  • the output device 400 performs an output based on the control signal from the object identification device 100.
  • the output device 400 may be, for example, a display device such as a display or a terminal device having a display. Also, the output device 400 is not limited to this, and may be a speaker, a printer, or a device that outputs the information included in the received signal as a file.
  • FIG. 2 is a diagram for explaining an example of a usage scene in which the system 1 according to the present embodiment is used.
  • a camera 3 installed at a position where it can pick up an article 5 packed in a predetermined container is shown as an example of the imaging device 300.
  • FIG. 2 shows the portable terminal 4 as an example of the output device 400.
  • the captured image including the article 5 captured by the camera 3 is transmitted to the object identification device 100.
  • the object identification apparatus 100 determines the number of articles 5 based on the identification result of the articles 5 and the parameters calculated by the computing apparatus 200. Then, the object identification device 100 outputs the determination result to the portable terminal 4. Thus, the worker 2 can confirm the determination result displayed on the screen of the portable terminal 4.
  • the object identification device 100 receives a captured image captured by the imaging device 300, collates objects included in the captured image, and determines the number of the objects.
  • the object identification device 100 includes a first feature extraction unit 110, a matching unit 120, a determination unit 130, and an output control unit 140.
  • the computing device 200 stores an identification image (also referred to as a database image) for identifying an object, which is used when the object identification device 100 collates the object included in the captured image.
  • the computing device 200 also computes parameters used when the object identification device 100 determines the number of objects.
  • the computing device 200 includes an image storage unit 210, a second feature extraction unit 220, a parameter calculation unit 230, and a parameter storage unit 240.
  • the image storage unit 210 stores a database image for identifying an object.
  • the database image is used when matching an object with a captured image.
  • the image storage unit 210 stores, for each object, images obtained by capturing the object from a plurality of angles as a database image.
  • FIG. 4 is a diagram showing an example of the image information 41 including the database image stored in the image storage unit 210.
  • the image information 41 includes an image number 42, an item name 43, and a database image 44, as shown in FIG.
  • the image number 42 is an identifier for identifying the database image 44.
  • the item name 43 is the name of the item indicated by the database image 44.
  • the database image 44 is a captured image obtained by capturing an item indicated by the item name 43.
  • the image information 41 includes a database image 44 which is a captured image obtained by capturing an item whose item name 43 is “AAA” from a plurality of directions.
  • the database image 44 (database image 44A) whose image number 42 is "401A” is a captured image obtained by imaging an article from the first direction in which all the labels including the characters "AAA" are included.
  • the database image 44 (database image 44B) of “401B” is a captured image obtained by capturing the same article from a second direction different from the first direction.
  • the image information 41 includes, as the database image 44, captured images obtained by imaging one article in a plurality of directions.
  • the database image 44 may not be an image actually captured but an image created as an image for comparison. Also, the database image 44 may be an image captured by the imaging device 300 or an image acquired by another method. Further, the image storage unit 210 may be realized by a storage device separate from the computing device 200.
  • the second feature extraction unit 220 extracts feature amounts from each of the database images 44 stored in the image storage unit 210, and extracts (detects) feature points having the feature amounts.
  • feature information the feature amount and the information related to the feature point extracted by the second feature extraction unit 220 will be referred to as feature information.
  • the second feature extraction unit 220 may extract feature information by any method, and the method is not particularly limited.
  • the second feature extraction unit 220 may extract feature information used when the object identification device 100 performs the matching.
  • the second feature extraction unit 220 stores the extracted feature information together with information (for example, an image number 42) indicating the database image 44 of the extraction source in the storage unit such as the image storage unit 210 or the like.
  • the image storage unit 210 may store the feature information extracted by the second feature extraction unit 220 in addition to the database image 44 or in place of the database image 44.
  • the second feature extraction unit 220 may extract a plurality of types of feature amounts as feature information.
  • the second feature extraction unit 220 supplies the extracted feature information to the parameter calculation unit 230 together with information (for example, the image number 42) indicating the database image 44 of the extraction source.
  • the parameter calculation unit 230 uses the feature information extracted by the second feature extraction unit 220 to calculate a parameter representing a geometrical relationship between database images.
  • FIG. 5 is a diagram for explaining calculation of parameters by the parameter calculation unit 230.
  • the database image 51 shown in the upper part of FIG. 5 is the database image 44 of which the image number 42 shown in FIG. 4 is “401A”.
  • the database image 52 shown in the lower part of FIG. 5 is a database image 44 whose image number 42 shown in FIG. 4 is “401B”.
  • the parameter calculation unit 230 uses the feature information extracted by the second feature extraction unit 220 from each of the database image 51 and the database image 52 to identify corresponding feature points between the database images.
  • the broken line 53 in FIG. 5 is an example of a line segment connecting corresponding feature points between database images.
  • the parameter calculation unit 230 thus specifies the corresponding feature points, and calculates parameters representing the geometrical relationship between the database images.
  • the parameter calculation unit 230 calculates a homography matrix that converts coordinates on the database image 51 into coordinates on the database image 52.
  • the parameter calculation unit 230 also calculates a homography matrix for converting the coordinates on the database image 52 to the coordinates on the database image 51.
  • the homography matrix for converting coordinates on the database image 52 to coordinates on the database image 51 is an inverse matrix of the homography matrix for converting coordinates on the database image 51 to coordinates on the database image 52. You may calculate
  • the parameter is described as a homography matrix, it is not limited to this, and may be a conversion coefficient used for affine transformation, or a parameter used for other transformation equations. May be
  • the parameter calculation unit 230 calculates parameters for the database images having a geometrical relationship among the database images 44 stored in the image storage unit 210, using the feature information extracted by the second feature extraction unit 220. . Then, the parameter calculation unit 230 stores the information indicating each of the two database images to be calculated for the parameter and the parameter in the parameter storage unit 240 in association with each other.
  • the parameter storage unit 240 stores the parameter calculated by the parameter calculation unit 230 together with information indicating each of the two database images to be calculated for the parameter.
  • An example of parameter information including the parameters stored in the parameter storage unit 240 is shown in FIG. As shown in FIG. 6, the parameter storage unit 240 stores parameter information 61.
  • the parameter information 61 includes a conversion source image number 62, a conversion destination image number 63, and a parameter 64, as shown in FIG.
  • the conversion source image number 62 is an image number representing a database image as a source of geometric conversion
  • the conversion destination image number 63 is an image number representing a database image as a destination of geometric conversion.
  • the parameter 64 in the first line of the parameter information 61 is the database image 44B whose image number 42 is the database image 44 whose image number 42 is "401B". It is a homography matrix in the case of converting to upper coordinates. In the following, for convenience of description, the parameter 64 in this case is described as H [401A ⁇ 401B].
  • H [401A ⁇ 401C] converts the coordinates on the database image 44A of which the image number 42 is "401A” into the coordinates on the database image 44C which is the database image 44 of which the image number 42 is "401C”. It is a homography matrix, and the parameter 64 contained in the 2nd line of FIG. 6 is shown.
  • H [401B ⁇ 401A] is a homography matrix in the case of converting the coordinates on the database image 44B with the image number 42 of "401B” to the coordinates on the database image 44A with the image number 42 of "401A”, It is the inverse matrix of H [401A ⁇ 401B].
  • the parameter storage unit 240 may be realized by a storage device separate from the computing device 200.
  • the parameter storage unit 240 may be integrated with the image storage unit 210.
  • the parameter storage unit 240 may be incorporated in the object identification device 100.
  • the first feature extraction unit 110 extracts a feature amount from the captured image, and extracts a feature point having the feature amount.
  • the first feature extraction unit 110 acquires a captured image from the imaging device 300 or a storage device that stores the captured image.
  • the first feature extraction unit 110 extracts feature information, which is information about feature amounts and feature points, from the acquired captured image.
  • the first feature extraction unit 110 may extract feature information by any method, and the method is not particularly limited.
  • the first feature extraction unit 110 may extract feature information in the same manner as the second feature extraction unit 220. When the second feature extraction unit 220 extracts multiple types of feature amounts as feature information, the first feature extraction unit 110 may extract any type of feature amounts as feature information. Then, the first feature extraction unit 110 supplies the extracted feature information to the matching unit 120 together with the captured image of the extraction source.
  • the first feature extraction unit 110 is an information indicating the captured image of the extraction source as the extracted feature information. May be supplied to the matching unit 120.
  • the matching unit 120 uses the feature information extracted by the first feature extraction unit 110 and the feature information extracted by the second feature extraction unit 220 to match the captured image with the database image. Then, the collation unit 120 supplies the collation result to the judgment unit 130.
  • the matching result includes, for example, the degree of similarity between the captured image and the database image 44, information indicating the database image 44, information indicating the corresponding feature point, the position of the feature point on the captured image, etc. It is not something to be done. Also, the information indicating the database image 44 may be, for example, the image number 42 or other information.
  • the method of collation performed by the collation unit 120 is not particularly limited, and any method may be adopted.
  • the determination unit 130 refers to the comparison result and determines whether the comparison result indicates that the captured image includes a plurality of objects. If it is determined that the captured image includes a plurality of objects based on the comparison result, the determination unit 130 determines whether the parameter 64 (first parameter) stored in the parameter storage unit 240, the database image 44, and the captured image are It is determined whether or not a plurality of objects are the same object based on the second parameter representing the geometrical relationship between them.
  • the second parameter representing the geometrical relationship between the database image 44 and the captured image is the same as the parameter between the database images 44 described above.
  • the second parameter is described as being a homography matrix, the present invention is not limited to this, and the second parameter may be a conversion coefficient used for affine transformation, or a parameter used for other conversion equations. May be
  • the determination unit 130 receives the verification result from the verification unit 120. Then, the determination unit 130 refers to the comparison result, and determines whether a plurality of objects are identified and the plurality of identified objects indicate the same object. The fact that a plurality of identified objects indicate the same object may be determined, for example, by determining whether they have the same name (e.g., an item name). Then, when a plurality of objects having the same item name are identified, the determination unit 130 uses the information indicating the database image 44 corresponding to the object of the captured image, which is included in the comparison result, 64 is acquired from the parameter storage unit 240. Then, based on the acquired parameter 64 and the second parameter representing the geometrical relationship between the database image 44 and the captured image, the determination unit 130 determines whether or not the plurality of identified objects are the same object. .
  • the determination unit 130 uses the information indicating the database image 44 corresponding to the object of the captured image, which is included in the comparison result, 64 is acquired from the parameter storage unit 240. Then, based on
  • FIGS. 4, 5, 7 and 8. 7 and 8 are diagrams for explaining the determination process performed by the determination unit 130.
  • a captured image 70 (also described as Q70) shown in FIG. 7 is an image obtained by capturing an article 71. As shown in FIG. 7, the captured image 70 includes one article 71.
  • the collation unit 120 collates the captured image 70 and the database image 44 with the feature information extracted from the database image 44 and the feature information extracted from the captured image 70.
  • the verification result that the object represented by the database image 44A shown in FIG. 4 and the object represented by the database image 44B are captured in the captured image 70 is obtained from the verification results obtained. That is, from the matching result, it looks as if two objects, that is, an object indicated by the database image 44A and an object indicated by the database image 44B, appear in the captured image 70.
  • the determining unit 130 compares the database image 44A and the captured image 70 with each other.
  • a parameter representing the geometrical relationship (the second parameter mentioned above) is calculated.
  • the method of calculating the second parameter may be the same as the method performed by the parameter calculator 230.
  • the homography matrix which is the second parameter in this case, is described as H [401A ⁇ Q70]. Coordinates obtained by converting the coordinates on the database image 44A into the coordinate space of the captured image 70 using the homography matrix H [401A ⁇ Q70] are referred to as first coordinates P1.
  • the determination unit 130 uses the feature information of the database image 44B and the feature information extracted from the captured image 70 to convert the coordinates on the database image 44B into the coordinates on the captured image 70.
  • the homography matrix which is a parameter in this case is described as H [401B ⁇ Q70].
  • Coordinates obtained by converting the coordinates on the database image 44B into the coordinate space of the captured image 70 using this homography matrix H [401B ⁇ Q70] will be referred to as second coordinates P2.
  • a frame 72 shown in FIG. 7 is an area on the captured image 70 indicated by the first coordinates P1
  • a frame 73 shown in FIG. 7 is an area on the captured image 70 indicated by the second coordinates P2.
  • the determination unit 130 uses the parameter storage unit 240 as the parameter 64 associated with “401A”, which is the image number 42 indicating the database image 44A, and “401B”, which is the image number 42 indicating the database image 44B, based on the comparison result. Get from Here, the determination unit 130 acquires, from the parameter storage unit 240, the parameter 64 in the first line shown in FIG. 6 in which the conversion source image number 62 is “401A” and the conversion destination image number 63 is “401B”. . As described above, the acquired parameter 64 is set to H [401A ⁇ 401B].
  • the determination unit 130 determines whether or not a plurality of identified objects are the same object, using H [401A ⁇ Q70], H [401B ⁇ Q70] and H [401A ⁇ 401B].
  • the determination unit 130 converts the coordinates on the database image 44A into the coordinates of the coordinate space of the database image 44B using H [401A ⁇ 401B]. Then, the determination unit 130 further converts the coordinates converted into the coordinate space of the database image 44B into the coordinates of the coordinate space of the captured image 70 using H [401B ⁇ Q70]. Coordinates after the two homography transformations are performed are referred to as a third coordinate P3.
  • a dashed-line frame 74 illustrated in FIG. 7 illustrates an example of a region on the captured image 70 represented by the third coordinate P3.
  • the area indicated by the frame 74 is an area indicating the estimated position of the coordinates of the database image 44A in the coordinate space of the captured image 70 estimated using H [401A ⁇ 401B] and H [401B ⁇ Q70].
  • the determination unit 130 calculates an overlapping rate which is a value indicating the degree of overlap between the area of the frame 72 and the area of the frame 74, and when the overlapping rate is equal to or more than a predetermined threshold, an object included in the frame 72; It is determined that the object included in the frame 73 is the same object. As described above, the determination unit 130 can determine whether the object is the same with a small amount of calculation by using the overlapping rate of the area to determine whether the object is the same.
  • the determination unit 130 determines whether a plurality of objects are the same object based on the overlapping ratio of the area of the area included in both the area of the frame 72 and the area of the frame 74 with respect to the area of the area of the frame 72. You may judge. Further, the determination unit 130 determines that the plurality of objects are the same object based on the overlapping ratio of the area of the area included in both the area of the frame 72 and the area of the frame 74 with respect to the area of the area of the frame 74. It is also good.
  • the determination unit 130 may determine that a plurality of objects are the same object using these two overlapping rates.
  • the overlapping rate is not limited to this, and may be the ratio of the area of the area included in both to the sum of the two areas, or the area of the part included in at least one of the two areas. It may be the ratio of the area of the region included in both.
  • the determination unit 130 may determine whether the plurality of objects are the same object not by the area but by the closeness between the parameters. For example, H [401B ⁇ Q70] ⁇ H [401A ⁇ 401B] is calculated, and the similarity between H [401B ⁇ Q70] ⁇ H [401A ⁇ 401B] and H [401A ⁇ Q70] is calculated.
  • This similarity may be any index.
  • the proximity of each value of the matrix may be used, or the proximity of values based on any index derived based on the matrix may be used. Then, when the degree of similarity satisfies a predetermined condition, for example, when the degree of similarity is equal to or more than a predetermined threshold, the determination unit 130 may determine that the plurality of objects are the same object.
  • the object identification apparatus 100 more accurately determines whether or not the same object by using the similarity between the matrices to determine whether the object is the same or not, as compared to the case where the overlapping ratio of the regions is used. It can be performed.
  • the determination unit 130 may calculate the second parameter of the same type as the parameter 64 after acquiring the parameter 64 between the database images 44 based on the comparison result.
  • the determination unit 130 may determine whether a plurality of objects are the same object using feature points instead of all the coordinates on the database image 44. For example, the determination unit 130 determines the distance between the coordinates of the feature point converted using H [401A ⁇ 401B] and H [401B ⁇ Q70] and the coordinates of the feature point converted using H [401A ⁇ Q70]. When it is below a predetermined threshold, it may be determined that a plurality of objects are the same object.
  • determination unit 130 uses a plurality of H [401A-> Q70], H [401B-> Q70] and H [401B-> 401A] to identify a plurality of It may be determined whether or not the objects are the same object.
  • the captured image 80 (also referred to as Q80) illustrated in FIG. 8 is an image obtained by imaging the article 81 and the article 82. As shown in FIG. 8, the captured image 80 includes two articles 81 and 82.
  • the collation unit 120 collates the captured image 80 and the database image 44 with the feature information extracted from the database image 44 and the feature information extracted from the captured image 80.
  • the determination method regarding that the article 81 and the article 82 are the same object when they are respectively identified as a plurality of articles is the same as that described with reference to FIG.
  • a method will be described in which two items are correctly identified as different objects.
  • the verification result includes information indicating that the object indicated by the database image 44A and the object indicated by the database image 44C appear in the captured image 80.
  • the determination unit 130 determines the coordinates on the database image 44A as the coordinates on the captured image 80 based on the matching result.
  • the homography matrix H [401A ⁇ Q80] in the case of transformation is calculated. Coordinates obtained by converting the coordinates on the database image 44A into the coordinate space of the captured image 80 using this homography matrix H [401A ⁇ Q80] will be referred to as a fourth coordinate P4.
  • the determination unit 130 converts the coordinates on the database image 44C into coordinates on the captured image 80.
  • H [401C ⁇ Q80] which is a matrix. Coordinates obtained by converting the coordinates on the database image 44C into the coordinate space of the captured image 80 using this homography matrix H [401C ⁇ Q80] will be referred to as a fifth coordinate P5.
  • a frame 83 shown in FIG. 8 is an area on the captured image 80 indicated by the fourth coordinate P4, and a frame 84 shown in FIG. 8 is an area on the captured image 80 indicated by the fifth coordinate P5.
  • the determination unit 130 uses the parameter storage unit 240 for the parameter 64 associated with “401A”, which is the image number 42 indicating the database image 44A, and “401C”, which is the image number 42 indicating the database image 44C. Get from Here, the determination unit 130 acquires, from the parameter storage unit 240, the parameter 64 in the second line shown in FIG. 6 in which the conversion source image number 62 is “401A” and the conversion destination image number 63 is “401C”. . The acquired parameter 64 is expressed as H [401A ⁇ 401C].
  • the determination unit 130 converts the coordinates on the database image 44A into the coordinates of the coordinate space of the database image 44C, using H [401A ⁇ 401C]. Then, the determination unit 130 further converts the coordinates converted into the coordinate space of the database image 44C into the coordinates of the coordinate space of the captured image 80 using H [401C ⁇ Q80]. Coordinates after the two homography transformations are performed are referred to as sixth coordinates P6.
  • a dashed frame 85 shown in FIG. 8 shows an example of the area on the captured image 80 represented by the sixth coordinate P6.
  • the area indicated by the frame 85 is an area indicating the estimated position of the coordinates of the database image 44A in the coordinate space of the imaged image 80 with respect to the article 82 estimated using H [401A ⁇ 401C] and H [401C ⁇ Q80]. It is.
  • the determination unit 130 determines that the object represented by the database image 44C related to the information used for the calculation of the frame 85 and the object represented by the database image 44A related to the frame 83 are different objects. Thereby, the determination unit 130 can determine that two objects are included in FIG. 8.
  • the object identification apparatus 100 can correctly determine that objects adjacent to each other and lined up are another object.
  • the determination unit 130 supplies the output control unit 140 with the determination result indicating whether or not the plurality of objects identified in this manner are the same object.
  • the output control unit 140 controls the output of information representing the determination result based on the determination result supplied from the determination unit 130.
  • the output device 400 is a display device such as a display (display unit) or a terminal device having a display
  • the output control unit 140 outputs, to the output device 400, a control signal for displaying information representing the determination result on the screen.
  • the output device 400 displays information representing the determination result on the screen.
  • the output control unit 140 outputs, to the output device 400, a control signal that outputs information representing the determination result as a file.
  • the output device 400 outputs information representing the determination result as a file.
  • FIG. 9 is a view showing an example of an output file in the case of an apparatus for outputting the information received by the output apparatus 400 as a file.
  • An output file 91 shown in FIG. 9 is tabular data including a column of article names 92 and a column of 93 pieces.
  • the output control unit 140 may generate a control signal that controls the output device 400 to output such an output file 91.
  • the worker 2 can easily grasp which object is included in the captured image and how many.
  • the output control unit 140 may control, for example, to compare the list of objects to be included in the captured image with the determination result and to display the comparison result on the output device 400.
  • FIG. 10 is a diagram showing an example of a display screen output by the output device 400 when the output device 400 is a display device or a terminal device having a display.
  • the output control unit 140 generates a control signal that causes a display unit such as a display to display a display screen in which position information indicating the position of the identified object on the captured image is superimposed on the captured image.
  • the output device 400 displays, on the display unit, a display screen in which the position information is superimposed on the captured image based on the control signal generated by the output control unit 140.
  • a display screen 94 illustrated in FIG. 10 is a screen illustrated in FIG. 7 on which a captured image 70 including an article 71 is displayed on the display unit.
  • the output control unit 140 generates a display screen in which position information indicating the position of the identified object on the captured image is superimposed on the captured image 70.
  • the output control unit 140 also uses, as position information, information indicating the area having the highest similarity score between feature points among the areas on the captured image 70 that match any of the database images 44 at the time of matching by the matching section 120. Good.
  • the output control unit 140 corresponds to the database image 44 in the case of converting the database image 44 determined to match the captured image 70 to the coordinates of the coordinate space of the captured image 70 at the time of matching by the matching unit 120.
  • Information indicating an area to be moved may be used as position information.
  • the output control unit 140 may use information indicating one of the area indicated by the frame 72 shown in FIG. 7 and the area indicated by the frame 73 as position information.
  • the output control unit 140 may use, as position information, information indicating an area having the highest similarity score between feature points among the area indicated by the frame 72 shown in FIG. 7 and the area indicated by the frame 73.
  • the output control unit 140 also generates an image 70 on the captured image 70 of the database image 44 calculated using H [401A ⁇ Q70] and H [401B ⁇ Q70], which are parameters related to an object determined to be the same object.
  • the position of the object may be estimated from the frame 72 and the frame 73 which indicate the position of.
  • the output control unit 140 obtains an average value of the coordinates, for example, using the coordinates calculated using H [401A ⁇ Q70] and the coordinates calculated using H [401B ⁇ Q70].
  • the position of the object may be estimated.
  • the output control unit 140 may generate a display screen in which information indicating the estimated position (region) is displayed superimposed on the captured image 70.
  • a frame 95 shown in FIG. 10 indicates the estimated position.
  • the output control unit 140 causes the output device 400 to display a display screen on which the information indicating the position of the object is superimposed on the captured image 70, whereby, for example, the worker who views the display screen 2 can easily grasp the number and position of objects.
  • FIG. 11 is a flowchart showing an example of the process flow of the computing device 200 in the system 1 according to the present embodiment.
  • the second feature extraction unit 220 extracts feature information from each of the database images 44 stored in the image storage unit 210 (step S111).
  • the parameter calculation unit 230 calculates a parameter representing the geometrical relationship between the database images 44 based on the extracted feature information (step S112).
  • the parameter determines whether or not the plurality of objects are the same object. It is used with a second parameter that represents the geometrical relationship between the images.
  • the parameter calculation unit 230 stores the calculated parameter in the parameter storage unit 240 (step S113).
  • FIG. 12 is a flowchart showing an example of the process flow of the object identification device 100 in the system 1 according to the present embodiment.
  • the first feature extraction unit 110 of the object identification device 100 extracts feature information from the acquired captured image (step S121).
  • the matching unit 120 matches the captured image with the database image 44 using the feature information extracted from the captured image and the feature information extracted from the database image 44 in step S111 (step S122). .
  • the determination unit 130 refers to the comparison result and determines whether a plurality of objects are identified and the identified objects indicate the same item name (step S123). If a plurality of objects having the same article name have not been identified (NO in step S123), the process proceeds to step S126.
  • determination unit 130 determines the geometry between database image 44 corresponding to the identified objects (matching the captured image) and the captured image. Parameters representing the relationship are calculated (step S124).
  • step S125 using the parameters calculated in step S112 and the parameters calculated in step S124, it is determined whether a plurality of objects are the same object (step S125).
  • the output control unit 140 generates a control signal for controlling the output of information by the output device 400 (step S126).
  • step S125 the output control unit 140 generates a control signal for outputting information representing the determination result based on the determination result.
  • the output control unit 140 outputs the generated control signal to the output device 400 (step S127).
  • the output device 400 can display, for example, a display screen 94 as shown in FIG. 10 on the display unit based on the control signal output from the output control unit 140.
  • the collation unit 120 collates the captured image with a plurality of database images for identifying the object. Then, when the determination unit 130 determines that the captured image includes a plurality of objects as a result of the matching, the parameter representing the geometrical relationship between the database images and the database image corresponding to each identified object and the captured image Based on the parameters representing the geometrical relationship, it is determined whether or not multiple objects are the same object.
  • the determination unit 130 determines, based on the comparison result, parameters representing the geometrical relationship between the database images, and a plurality of geometrical relationships between the captured image and each of the plurality of database images. Calculating which position on the captured image corresponds to another database image associated with a given database image to determine whether the identified objects are the same object based on the parameters it can. Thereby, the object identification apparatus 100 can determine whether the object included in the captured image is one object that matches a certain database image and another database image.
  • the object identification apparatus 100 even when one object is associated with a plurality of database images, it is accurately determined that the number of the objects is one. it can.
  • the object identification device 100 According to the object identification device 100 according to the present embodiment, the number of objects to be identified can be identified with high accuracy.
  • the imaging device 300 and the object identification device 100 may be integrally formed, and may function as, for example, an intelligence camera.
  • some functions of the computing device 200 may be incorporated into the object identification device 100.
  • the first feature extraction unit 110 and the second feature extraction unit 220 may be realized by the same circuit.
  • each device in the system 1 shown in FIG. 1 may be configured in combination.
  • Second Embodiment A second embodiment of the present disclosure will be described.
  • a basic configuration for solving the problem of the present disclosure will be described.
  • FIG. 13 is a functional block diagram showing an example of a functional configuration of the object identification device 10 according to the present embodiment.
  • the object identification device 10 according to the present embodiment includes a check unit 12 and a determination unit 13.
  • the collation unit 12 has the function of the collation unit 120 described above.
  • the collation unit 12 collates the captured image with a plurality of identification images for identifying an object.
  • the collation unit 12 supplies the collation result to the judgment unit 13.
  • the method of collation performed by the collation unit 12 is not particularly limited, and the same method as the collation unit 120 described above may be adopted.
  • Determination unit 13 has the function of determination unit 130 described above.
  • the determination unit 13 includes a first parameter representing a geometrical relationship between the identification images, an identification image corresponding to each identified object, and Based on the second parameter representing the geometrical relationship between the captured images, it is determined whether or not the multiple objects are the same object.
  • the determination unit 13 is (1) an area obtained by converting coordinates of a certain identification image into coordinates of a coordinate space of a captured image using the first parameter and the second parameter.
  • the area of the identification image in the coordinate space of the captured image, and (2) the area obtained by converting the coordinates of the other identification image into the coordinates of the coordinate space of the captured image using the second parameter It may be determined whether or not a plurality of objects are the same object based on an overlapping ratio indicating the degree of overlap with the area of another identification image in the coordinate space of the captured image.
  • FIG. 14 is a flowchart showing an example of the process flow of the object identification device 10 according to the present embodiment.
  • the collation unit 12 collates the captured image with a plurality of identification images for identifying an object (step S141). Then, the determination unit 13 determines whether or not the plurality of objects are the same object based on the first parameter and the second parameter (step S142).
  • FIG. 15 is a functional block diagram showing an example of a functional configuration of the computing device 20 that computes the first parameter to which the object identification device 10 described above refers.
  • the computing device 20 includes an extracting unit 22 and a computing unit 23.
  • the extraction unit 22 has the function of the second feature extraction unit 220 described above. Feature information representing features of the object is extracted from each of the plurality of identification images for identifying the object. The extraction unit 22 supplies the extracted feature information to the calculation unit 23.
  • the calculating unit 23 has the function of the parameter calculating unit 230 described above.
  • the calculation unit 23 calculates, based on the extracted feature information, a first parameter representing a geometrical relationship between the plurality of identification images. As described above, when a plurality of objects are identified in the captured image by the collation using the identification image by the object identification device 10, the first parameter determines whether or not the plurality of objects are the same object. At the same time, it is used together with a second parameter that represents the geometrical relationship between the identification image corresponding to each object to be identified and the captured image.
  • the object identification device 10 and the computing device 20 may be configured as a system 6 shown in FIG.
  • FIG. 16 is a block diagram showing an example of the configuration of a system including the object identification device 10 and the computing device 20.
  • the system 6 includes an object identification device 10 and a computing device 20.
  • the object identification device 10 and the computing device 20 are communicably connected to each other.
  • the object identification device 10 and the calculation device 20 may be integrally formed, or part of the functions of the calculation device 20 may be incorporated into the object identification device 10.
  • the system 6 may be configured to include the imaging device 300 and the output device 400 as in the system 1 described above.
  • the captured image includes a plurality of objects.
  • determination unit 13 determines whether or not a plurality of identified objects are the same object based on the first parameter and the plurality of second parameters. It is possible to calculate at which position on the captured image another identification image associated with a certain identification image is included.
  • the object identification device 10 can determine whether the object included in the captured image is one object that matches a certain identification image and another identification image.
  • the object identification device 10 even when one object corresponds to a plurality of identification images, it is accurately determined that the number of the objects is one. Can.
  • the object identification device 10 According to the object identification device 10 according to the present embodiment, the number of objects to be identified can be identified with high accuracy.
  • each component of each device indicates a block of functional units.
  • some or all of the components of each device are realized by an arbitrary combination of an information processing device 900 and a program as shown in FIG.
  • FIG. 17 is a block diagram showing an example of a hardware configuration of an information processing apparatus 900 for realizing each component of each apparatus.
  • the information processing apparatus 900 includes the following configuration as an example.
  • each device may be realized by any combination of a separate information processing device 900 and program for each component.
  • a plurality of components included in each device may be realized by any combination of one information processing device 900 and a program.
  • each component of each device may be realized by another general purpose or dedicated circuit, processor or the like, or a combination thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus.
  • each component of each device may be realized by a combination of the above-described circuits and the like and a program.
  • each component of each device When a part or all of each component of each device is realized by a plurality of information processing devices, circuits, etc., the plurality of information processing devices, circuits, etc. may be arranged centrally or distributedly. It is also good.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system, a cloud computing system, and the like.
  • the object identification device (10, 100) in the present disclosure can also be suitably used for a system including a camera installed near a cash register such as a POS (Point Of Sales) register.
  • POS Point Of Sales
  • the object identification device (10, 100) described above may be realized by being incorporated in a POS register.
  • the POS register may further have the function of the computing device (20, 200).
  • the object identification device (10, 100) may cause the POS register to perform the same output as the output device 400. Even in this case, the object identification device (10, 100) determines whether or not a plurality of recognized objects are the same object from the captured image obtained by the camera capturing a product. The number of objects to be identified can be identified with high accuracy.
  • the object identification device (10, 100) and the computing device (20, 200) in the present disclosure may be realized by a server device capable of communicating with the POS register. Then, the object identification device (10, 100) may cause the POS register to perform the same output as the output device 400.
  • the object identification device (10, 100) and the computing device (20, 200) of the present disclosure can be suitably applied to a configuration using a POS register already installed in a store.
  • the POS register mentioned above is not limited to the cash register which a store clerk operates, and a cash register (semi-self register) of a sharing type which a customer performs settlement, a store clerk does not intervene when passing the register May be any of the cash registers (self-registers).
  • Collating means for collating the captured image with a plurality of identification images for identifying an object;
  • a first parameter representing a geometrical relationship between the identification images, the identification image corresponding to each identified object, and the first parameter
  • a determination unit that determines whether or not the plurality of objects are the same object based on a second parameter that represents a geometrical relationship between captured images;
  • the determination means represents a geometrical relationship in the case of converting coordinates of a first identification image, which is an identification image corresponding to an identified first object, onto the captured image based on the result of the matching.
  • a fourth parameter representing a geometrical relationship in the case of transforming coordinates of a second identification image, which is an identification image corresponding to a second object that is identified and corresponding to a second object that has been identified, onto the captured image
  • a parameter is calculated as the second parameter
  • the plurality of objects are converted using the third parameter and the value obtained from the first and fourth parameters when converting the coordinates of the first identification image onto the second identification image. Determine if it is the same object, The object identification device according to appendix 1.
  • the determination means may include a first area on the captured image of the first object estimated from the first parameter and the fourth parameter, and the captured image on the captured image of the first object obtained from the third parameter.
  • a predetermined threshold value it is determined that the plurality of objects are the same object.
  • the determination means is configured to determine a predetermined value of the first parameter and the value obtained from the fourth parameter when converting the coordinates of the first identification image onto the second identification image, and the third parameter. When the similarity based on the index satisfies a predetermined condition, it is determined that the plurality of objects are the same object, The object identification device according to appendix 2.
  • the apparatus further comprises output control means for controlling output of information representing the determination result by the determination means,
  • the output control means controls a display unit to display a display screen in which position information indicating a position on the captured image of the identified object is superimposed on the captured image.
  • the object identification device according to any one of appendices 1 to 4.
  • the output control means estimates the position of the object from the positions on the captured image of each of a plurality of the identification images, using the second parameter related to the object determined to be the same object. Information indicating the above-mentioned position is taken as the position information, An object identification device according to appendix 5.
  • (Appendix 9) A process of comparing a captured image with a plurality of identification images for identifying an object; When the result of the matching indicates that the captured image includes a plurality of objects, a first parameter representing a geometrical relationship between the identification images, the identification image corresponding to each identified object, and the first parameter Determining whether or not the plurality of objects are the same object based on a second parameter representing a geometrical relationship between captured images;
  • a non-transitory computer readable recording medium storing a program that causes a computer to execute.
  • the determination processing represents a geometrical relationship in the case where the coordinates of the first identification image, which is an identification image corresponding to the identified first object, are converted onto the captured image based on the result of the matching.
  • a third parameter representing a geometrical relationship in the case of converting coordinates of a second identification image, which is an identification image corresponding to a second object identified and different from the first object, onto the captured image;
  • Four parameters are calculated as the second parameter,
  • the plurality of objects are converted using the third parameter and the value obtained from the first and fourth parameters when converting the coordinates of the first identification image onto the second identification image. Determine if it is the same object,

Abstract

識別対象の物体の個数を精度よく識別することが可能な技術を提供する。物体識別装置は、撮像画像と物体を識別するための複数の識別用画像との照合を行う照合部と、照合の結果が撮像画像に複数の物体が含まれることを示す場合、識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する識別用画像および撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、複数の物体が同一物体か否かを判定する判定部と、を備える。

Description

物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
　本開示は、物体識別装置、物体識別方法、計算装置、システムおよび記録媒体に関する。
　認識精度を高める方法として、認識に用いるデータベースの情報量を増やすことが開示されている（例えば、特許文献１）。また、参照用の物体を異なる複数の視点で撮像した画像を用いて作成したデータベースを用いて、二次元画像に基づいて三次元物体の位置・姿勢を推定する技術が開示されている（例えば、特許文献２）。
特開２００１－０１４４６５号公報 特開２００７－２１９７６５号公報
　ところで、局所特徴量を用いた物体識別（被写体識別）では、例えば、データベースに登録された物体の様々な方向から撮像された画像（データベース画像）と、識別対象の物体が含まれるクエリ画像とを照合し、該クエリ画像中のどの位置に何れの物体があるのかを識別する方法が考えられる。
　このように、１つの物体に対し識別に用いる複数のデータベース画像がデータベースに登録されている場合、クエリ画像に対し、複数のデータベース画像が識別結果として出力される可能性がある。識別結果に複数のデータベース画像が含まれることにより、識別された物体の個数が正確に把握できない可能性がある。
　本開示は上記課題に鑑みてなされたものであり、その目的は、識別対象の物体の個数を精度よく識別することが可能な技術を提供することにある。
　本開示の一態様に係る物体識別装置は、撮像画像と物体を識別するための複数の識別用画像との照合を行う照合手段と、前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する判定手段と、を備える。
　また、本開示の一態様に係る物体識別方法は、撮像画像と物体を識別するための複数の識別用画像との照合を行い、前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する。
　また、本開示の一態様に係る計算装置は、物体を識別するための複数の識別用画像の夫々から、前記物体の特徴を表す特徴情報を抽出する抽出手段と、前記抽出された特徴情報に基づいて、前記複数の識別用画像間の幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、識別される各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える。
　また、上記物体識別装置および計算装置を含むシステムも本開示の範疇に含まれる。
　なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
　本開示によれば、識別対象の物体の個数を精度よく識別することができる。
第１の実施の形態に係るシステムの全体構成の一例を示す図である。 第１実施の形態に係るシステムが利用される利用シーンの一例を説明するための図である。 第１の実施の形態に係るシステムに含まれる物体識別装置および計算装置の機能構成の一例を示す機能ブロック図である。 画像記憶部に格納されたデータベース画像を含む画像情報の一例を示す図である。 パラメータ計算部によるパラメータの計算を説明するための図である。 パラメータ記憶部が格納するパラメータ情報の一例を示す図である。 判定部が行う判定処理を説明するための図である。 判定部が行う判定処理を更に説明するための図である。 出力装置が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。 出力装置がディスプレイを有する表示装置または端末装置の場合における、出力装置が出力する画面の一例を示す図である。 計算装置の処理の流れの一例を示すフローチャートである。 物体識別装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る物体識別装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る物体識別装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態において、物体識別装置が参照する第１パラメータを計算する計算装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態において、物体識別装置および計算装置を含むシステムの構成の一例を示すブロック図である。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
　＜第１の実施の形態＞
　本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係るシステム１の全体構成の一例を示す図である。図１に示すシステム１は、物体識別装置１００と、計算装置２００と、撮像装置３００と、出力装置４００とを含む。なお、図１は、本開示に特有な構成について示したものであり、システム１が図１に示されていない装置を有していてもよいことは言うまでもない。また、図１に示す各装置は、各々組み合わせて構成されてもよい。例えば、物体識別装置１００と計算装置２００とが一体となっていてもよいし、物体識別装置１００と撮像装置３００とが一体となっていてもよい。
　物体識別装置１００は、計算装置２００、撮像装置３００および出力装置４００と互いに通信可能に接続している。各装置間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）の何れを介した通信であってもよい。このように、各装置間の通信方法は、さまざまな方法が考えられる。
　撮像装置３００は、撮像対象の物体を含む画像を撮像する。撮像装置３００は、例えば、レンズおよび撮像素子を含むカメラによって実現される。撮像装置３００は、例えば、デジタルカメラやＷｅｂカメラ等によって実現される。撮像装置３００は、撮像画像を物体識別装置１００に供給する。なお、撮像装置３００は、撮像画像を撮像装置３００の内部または物体識別装置１００とは異なる記憶装置に格納してもよい。この場合、物体識別装置１００は、撮像画像を該撮像画像が格納された場所から取得すればよい。
　出力装置４００は、物体識別装置１００からの制御信号に基づいた出力を行う。出力装置４００は、例えば、ディスプレイなどの表示装置であってもよいし、ディスプレイを有する端末装置であってもよい。また、出力装置４００はこれに限定されず、スピーカであってもよいし、プリンタであってもよいし、受け取った信号に含まれる情報をファイル出力する装置であってもよい。
　図２は、本実施の形態に係るシステム１が利用される利用シーンの一例を説明するための図である。図２では、物体の例として、所定の容器に梱包された物品５を撮像可能な位置に設置されたカメラ３を撮像装置３００の一例として示している。また、図２では、携帯端末４を出力装置４００の一例として示している。
　カメラ３によって撮像された、物品５を含む撮像画像は、物体識別装置１００に送信される。物体識別装置１００は、物品５の識別結果と、計算装置２００によって計算されたパラメータとに基づいて、物品５の個数を判定する。そして、物体識別装置１００は、判定結果を携帯端末４に出力する。これにより、作業者２は、携帯端末４の画面に表示された判定結果を確認することができる。
　次に、図３を参照して、システム１に含まれる物体識別装置１００および計算装置２００の構成について説明する。物体識別装置１００は、撮像装置３００によって撮像された撮像画像を受け取り、該撮像画像に含まれる物体を照合し、該物体の個数を判定する。物体識別装置１００は、第１特徴抽出部１１０と、照合部１２０と、判定部１３０と、出力制御部１４０とを備える。
　計算装置２００は、物体識別装置１００が、撮像画像に含まれる物体の照合を行う際に用いる、物体を識別するための識別用画像（データベース画像とも呼ぶ）を格納する。また、計算装置２００は、物体識別装置１００が物体の個数を判定する際に用いるパラメータを計算する。計算装置２００は、画像記憶部２１０と、第２特徴抽出部２２０と、パラメータ計算部２３０と、パラメータ記憶部２４０とを備える。
　まず、計算装置２００の各部について説明する。画像記憶部２１０は、物体を識別するためのデータベース画像を格納する。データベース画像は、撮像画像との間で物体の照合を行う際に用いられる。本実施の形態では、画像記憶部２１０は、物体毎に、該物体を複数の角度から撮像した画像をデータベース画像として格納する。画像記憶部２１０が格納するデータベース画像の一例を図４に示す。図４は、画像記憶部２１０に格納されたデータベース画像を含む画像情報４１の一例を示す図である。画像情報４１は、図４に示す通り、画像番号４２、物品名４３およびデータベース画像４４を含む。画像番号４２は、データベース画像４４を識別する識別子である。物品名４３は、データベース画像４４が示す物品の名前である。データベース画像４４は、物品名４３によって示される物品を撮像した撮像画像である。
　図４に示す通り、画像情報４１は、物品名４３が「ＡＡＡ」の物品を複数の方向から撮像した撮像画像であるデータベース画像４４を含む。例えば、画像番号４２が「４０１Ａ」のデータベース画像４４（データベース画像４４Ａ）は、「ＡＡＡ」の文字を含むラベルが全て含まれる第１方向から物品を撮像した撮像画像であり、画像番号４２が「４０１Ｂ」のデータベース画像４４（データベース画像４４Ｂ）は、同じ物品を第１方向とは異なる第２方向から撮像した撮像画像である。このように、本実施の形態では、画像情報４１は、１つの物品に対し複数の方向から撮像した撮像画像をデータベース画像４４として含むとする。
　なお、データベース画像４４は、実際に撮像した画像ではなく、照合用の画像として作成された画像であってもよい。また、データベース画像４４は、撮像装置３００によって撮像された画像であってもよいし、その他の方法で取得された画像であってもよい。また、画像記憶部２１０は、計算装置２００とは別個の記憶装置によって実現されてもよい。
　第２特徴抽出部２２０は、画像記憶部２１０に格納されたデータベース画像４４の夫々から特徴量を抽出し、該特徴量を有する特徴点を抽出（検出）する。以降、第２特徴抽出部２２０が抽出する特徴量および特徴点に関連する情報を、特徴情報と呼ぶ。第２特徴抽出部２２０は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第２特徴抽出部２２０は、物体識別装置１００が照合を行う際に使用する特徴情報を抽出すればよい。第２特徴抽出部２２０は、抽出した特徴情報を抽出元のデータベース画像４４を示す情報（例えば、画像番号４２）と共に、自身または画像記憶部２１０等の記憶部に格納する。なお、前述した画像記憶部２１０はデータベース画像４４に加え、または、データベース画像４４の代わりに、第２特徴抽出部２２０が抽出した特徴情報を格納してもよい。また、第２特徴抽出部２２０は、複数種類の特徴量を特徴情報として抽出してもよい。第２特徴抽出部２２０は、抽出した特徴情報を、抽出元のデータベース画像４４を示す情報（例えば、画像番号４２）と共に、パラメータ計算部２３０に供給する。
　パラメータ計算部２３０は、第２特徴抽出部２２０が抽出した特徴情報を用いて、データベース画像間の幾何学関係を表すパラメータを計算する。図５は、パラメータ計算部２３０によるパラメータの計算を説明するための図である。
　図５の上部に示すデータベース画像５１は、図４に示す画像番号４２が「４０１Ａ」のデータベース画像４４である。また、図５の下部に示すデータベース画像５２は、図４に示す画像番号４２が「４０１Ｂ」のデータベース画像４４である。パラメータ計算部２３０は、第２特徴抽出部２２０がデータベース画像５１およびデータベース画像５２の夫々から抽出した特徴情報を用いて、データベース画像間で対応する特徴点を特定する。図５における破線５３は、データベース画像間で対応する特徴点同士を結んだ線分の一例である。パラメータ計算部２３０は、このように対応する特徴点を特定し、データベース画像間の幾何学関係を表すパラメータを計算する。
　パラメータを、例えば、ホモグラフィ行列としたとき、パラメータ計算部２３０は、データベース画像５１上の座標をデータベース画像５２上の座標に変換するホモグラフィ行列を計算する。また、パラメータ計算部２３０は、データベース画像５２上の座標をデータベース画像５１上の座標に変換するホモグラフィ行列も計算する。なお、データベース画像５２上の座標をデータベース画像５１上の座標に変換するホモグラフィ行列は、データベース画像５１上の座標をデータベース画像５２上の座標に変換するホモグラフィ行列の逆行列となるため、一方を計算してもよい。
　なお、本実施の形態では、パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。
　パラメータ計算部２３０は、画像記憶部２１０に格納されたデータベース画像４４のうち、幾何学関係を持つデータベース画像間に対し、第２特徴抽出部２２０が抽出した特徴情報を用いて、パラメータを計算する。そして、パラメータ計算部２３０はパラメータの計算の対象となる２つのデータベース画像の夫々を示す情報と、パラメータとを互いに関連付けてパラメータ記憶部２４０に格納する。
　パラメータ記憶部２４０は、パラメータ計算部２３０が計算したパラメータをパラメータの計算の対象となる２つのデータベース画像の夫々を示す情報と共に格納する。パラメータ記憶部２４０が格納するパラメータを含むパラメータ情報の一例を図６に示す。図６に示す通り、パラメータ記憶部２４０は、パラメータ情報６１を格納する。
　パラメータ情報６１は、図６に示す通り、変換元画像番号６２と、変換先画像番号６３と、パラメータ６４とを含む。変換元画像番号６２は、幾何学変換を行う元となるデータベース画像を表す画像番号であり、変換先画像番号６３は、幾何学変換を行う先となるデータベース画像を表す画像番号である。例えば、パラメータ情報６１の１行目のパラメータ６４は、画像番号４２が「４０１Ａ」のデータベース画像４４であるデータベース画像４４Ａ上の座標を画像番号４２が「４０１Ｂ」のデータベース画像４４であるデータベース画像４４Ｂ上の座標に変換する場合におけるホモグラフィ行列である。以下では、説明の便宜上、この場合におけるパラメータ６４をＨ［４０１Ａ→４０１Ｂ］と記載する。
　同様に、Ｈ［４０１Ａ→４０１Ｃ］は、画像番号４２が「４０１Ａ」のデータベース画像４４Ａ上の座標を画像番号４２が「４０１Ｃ」のデータベース画像４４であるデータベース画像４４Ｃ上の座標に変換する場合におけるホモグラフィ行列であり、図６の２行目に含まれるパラメータ６４を示す。
　また、Ｈ［４０１Ｂ→４０１Ａ］は、画像番号４２が「４０１Ｂ」のデータベース画像４４Ｂ上の座標を画像番号４２が「４０１Ａ」のデータベース画像４４Ａ上の座標に変換する場合におけるホモグラフィ行列であり、Ｈ［４０１Ａ→４０１Ｂ］の逆行列である。
　なお、パラメータ記憶部２４０は、計算装置２００とは別個の記憶装置によって実現されてもよい。また、パラメータ記憶部２４０は、画像記憶部２１０と一体構成されてもよい。また、パラメータ記憶部２４０は、物体識別装置１００に内蔵されてもよい。
　次に、物体識別装置１００について説明する。第１特徴抽出部１１０は、撮像画像から特徴量を抽出し、該特徴量を有する特徴点を抽出する。第１特徴抽出部１１０は、撮像装置３００または撮像画像を格納する記憶装置から撮像画像を取得する。第１特徴抽出部１１０は、取得した撮像画像から特徴量および特徴点に関する情報である特徴情報を抽出する。第１特徴抽出部１１０は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第１特徴抽出部１１０は第２特徴抽出部２２０と同様の方法で特徴情報を抽出してもよい。第２特徴抽出部２２０が複数種類の特徴量を特徴情報として抽出する場合、第１特徴抽出部１１０は、その何れかの種類の特徴量を特徴情報として抽出すればよい。そして、第１特徴抽出部１１０は、抽出した特徴情報を抽出元の撮像画像と共に、照合部１２０に供給する。
　なお、第１特徴抽出部１１０が取得した撮像画像を、物体識別装置１００内の記憶部等に格納する場合、第１特徴抽出部１１０は、抽出した特徴情報を抽出元の撮像画像を示す情報と共に照合部１２０に供給してもよい。
　照合部１２０は、第１特徴抽出部１１０が抽出した特徴情報と、第２特徴抽出部２２０が抽出した特徴情報とを用いて、撮像画像をデータベース画像と照合する。そして、照合部１２０は、照合結果を判定部１３０に供給する。照合結果は、例えば、撮像画像とデータベース画像４４との類似の度合い、データベース画像４４を示す情報、対応する特徴点を示す情報と、該特徴点の撮像画像上の位置等を含むがこれに限定されるものではない。またデータベース画像４４を示す情報は、例えば、画像番号４２であってもよいし、その他の情報であってもよい。照合部１２０が行う照合の方法は特に限定されず、任意の方法を採用してもよい。
　判定部１３０は、照合結果を参照し、該照合結果が撮像画像に複数の物体が含まれることを示すか否かを判定する。判定部１３０は、照合結果に基づくと、撮像画像に複数の物体が含まれると判定される場合、パラメータ記憶部２４０に格納されたパラメータ６４（第１パラメータ）と、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、複数の物体が同一物体か否かを判定する。
　ここで、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータは、上述したデータベース画像４４間のパラメータと同じであることが好ましい。本実施の形態では、第２パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。
　まず、判定部１３０は、照合部１２０から照合結果を受け取る。そして、判定部１３０は、照合結果を参照し、複数の物体が識別され、且つ、識別された複数の物体が同じ物体を示すか否かを判定する。識別された複数の物体が同じ物体を示すことは、例えば、同じ名称（例えば、物品名）を有するか否かを判定することによって判定されてもよい。そして、判定部１３０は、同じ物品名を有する複数の物体が識別された場合、照合結果に含まれる、撮像画像の物体に対応するデータベース画像４４を示す情報を用いて、データベース画像４４間のパラメータ６４をパラメータ記憶部２４０から取得する。そして、判定部１３０は取得したパラメータ６４と、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータと、に基づいて、識別された複数の物体が同一物体か否かを判定する。
　判定部１３０が行う判定処理について、図４、図５、図７および図８を参照してさらに説明する。図７および図８は判定部１３０が行う判定処理を説明するための図である。
　図７に示す撮像画像７０（Ｑ７０とも記載する）は、物品７１を撮像することによって得られた画像である。図７に示す通り、撮像画像７０には１つの物品７１が含まれる。照合部１２０はこのような撮像画像７０とデータベース画像４４とを、データベース画像４４から抽出された特徴情報と、撮像画像７０から抽出された特徴情報と用いて照合する。これにより、得られる照合結果から、図４に示すデータベース画像４４Ａが示す物体とデータベース画像４４Ｂが示す物体とが撮像画像７０に写っているという照合結果を得るとする。つまり、この照合結果からは、あたかも、データベース画像４４Ａが示す物体と、データベース画像４４Ｂが示す物体との２つの物体が撮像画像７０に写っているように見える。
　この照合結果から、判定部１３０は、照合部１２０が照合に用いた、データベース画像４４Ａの特徴情報と、撮像画像７０から抽出された特徴情報とを用いて、データベース画像４４Ａと撮像画像７０との幾何学関係を表すパラメータ（上述した第２パラメータ）を計算する。なお、第２パラメータの計算の方法は、パラメータ計算部２３０が行う方法と同じであってもよい。以下、この場合における第２パラメータであるホモグラフィ行列をＨ［４０１Ａ→Ｑ７０］と記載する。このホモグラフィ行列Ｈ［４０１Ａ→Ｑ７０］を用いて、データベース画像４４Ａ上の座標を撮像画像７０の座標空間に変換した座標を、第１座標Ｐ１と呼ぶ。
　同様に、判定部１３０は、データベース画像４４Ｂの特徴情報と、撮像画像７０から抽出された特徴情報とを用いて、データベース画像４４Ｂ上の座標を撮像画像７０上の座標に変換する場合におけるホモグラフィ行列を計算する。以下、この場合におけるパラメータであるホモグラフィ行列をＨ［４０１Ｂ→Ｑ７０］と記載する。このホモグラフィ行列Ｈ［４０１Ｂ→Ｑ７０］を用いて、データベース画像４４Ｂ上の座標を撮像画像７０の座標空間に変換した座標を、第２座標Ｐ２と呼ぶ。
　図７に示す枠７２は、第１座標Ｐ１によって示される撮像画像７０上の領域であり、図７に示す枠７３は、第２座標Ｐ２によって示される撮像画像７０上の領域である。
　判定部１３０は、照合結果に基づいて、データベース画像４４Ａを示す画像番号４２である「４０１Ａ」とデータベース画像４４Ｂを示す画像番号４２である「４０１Ｂ」とに関連付けられたパラメータ６４をパラメータ記憶部２４０から取得する。ここでは、判定部１３０は、変換元画像番号６２が「４０１Ａ」であり、変換先画像番号６３が「４０１Ｂ」である図６に示す１行目のパラメータ６４を、パラメータ記憶部２４０から取得する。取得したパラメータ６４を上述した通り、Ｈ［４０１Ａ→４０１Ｂ］とする。
　そして、判定部１３０は、Ｈ［４０１Ａ→Ｑ７０］、Ｈ［４０１Ｂ→Ｑ７０］およびＨ［４０１Ａ→４０１Ｂ］を用いて、識別された複数の物体が同一物体か否かを判定する。
　具体的には、判定部１３０は、Ｈ［４０１Ａ→４０１Ｂ］を用いて、データベース画像４４Ａ上の座標を、データベース画像４４Ｂの座標空間の座標に変換する。そして、判定部１３０は、Ｈ［４０１Ｂ→Ｑ７０］を用いて、データベース画像４４Ｂの座標空間に変換した座標を、更に、撮像画像７０の座標空間の座標に変換する。この２つのホモグラフィ変換を行った後の座標を第３座標Ｐ３と呼ぶ。
　図７に示す破線の枠７４は、第３座標Ｐ３が表す撮像画像７０上の領域の一例を示す。この枠７４が示す領域は、Ｈ［４０１Ａ→４０１Ｂ］およびＨ［４０１Ｂ→Ｑ７０］を用いて推定された、撮像画像７０の座標空間におけるデータベース画像４４Ａの座標の推定位置を示す領域である。
　枠７２によって示される領域と枠７４によって示される領域とを比較すると、これらは略重なっていることがわかる。判定部１３０は、この枠７２の領域と、枠７４の領域との重なりの度合いを示す値である重複率を計算し、重複率が所定の閾値以上の場合、枠７２に含まれる物体と、枠７３に含まれる物体とは同一物体であると判定する。このように、同一物体か否かの判定に、領域の重複率を用いることにより、判定部１３０は、少ない計算量で同一物体か否かの判定を行うことができる。
　なお、判定部１３０は、一方の領域の面積に対する、該一方の領域と他方の領域との両方に含まれる領域の面積の比を示す重複率に基づいて、複数の物体が同一物体であるか否かを判定してもよい。例えば、判定部１３０は、枠７２の領域の面積に対する枠７２の領域および枠７４の領域の両方に含まれる領域の面積の重複率に基づいて、複数の物体が同一物体であるか否かを判定してもよい。また、判定部１３０は、枠７４の領域の面積に対する枠７２の領域および枠７４の領域の両方に含まれる領域の面積の重複率に基づいて、複数の物体が同一物体であると判定してもよい。また、判定部１３０は、これら２つの重複率を用いて、複数の物体が同一物体であると判定してもよい。また、重複率はこれに限定されず、２つの面積の和に対する、両方に含まれる領域の面積の比であってもよいし、２つの領域の少なくとも何れか一方に含まれる部分の面積に対する、両方に含まれる領域の面積の比であってもよい。
　また、判定部１３０は、複数の物体が同一物体であるかを、領域ではなく、パラメータ間の近さで判定してもよい。例えば、Ｈ［４０１Ｂ→Ｑ７０］×Ｈ［４０１Ａ→４０１Ｂ］を計算し、Ｈ［４０１Ｂ→Ｑ７０］×Ｈ［４０１Ａ→４０１Ｂ］と、Ｈ［４０１Ａ→Ｑ７０］との類似度を計算する。この類似度は、どのような指標であってもよい。例えば、行列の各値の近さであってもよいし、行列に基づいて導き出される任意の指標に基づく値の近さであってもよい。そして、類似度が所定の条件を満たす場合、例えば類似度が所定の閾値以上の場合、判定部１３０は、複数の物体が同一物体であると判定してもよい。
　このように、同一物体か否かの判定に、行列同士の類似度を用いることにより、領域の重複率を用いる場合に比べ、物体識別装置１００は、より正確に、同一物体か否かの判定を行うことができる。なお、類似度を求める場合、判定部１３０は、照合結果に基づいて、データベース画像４４間のパラメータ６４を取得した後に、該パラメータ６４と同じ種類の第２パラメータを、計算してもよい。
　また、判定部１３０は、データベース画像４４上の全ての座標ではなく、特徴点を用いて、複数の物体が同一物体であるか否かを判定してもよい。例えば、判定部１３０は、Ｈ［４０１Ａ→４０１Ｂ］およびＨ［４０１Ｂ→Ｑ７０］を用いて変換した特徴点の座標と、Ｈ［４０１Ａ→Ｑ７０］を用いて変換した特徴点の座標との距離が所定の閾値以下である場合に、複数の物体が同一物体であると判定してもよい。
　また、判定部１３０は、上述した判定の代わりに、または上述した判定に加え、Ｈ［４０１Ａ→Ｑ７０］、Ｈ［４０１Ｂ→Ｑ７０］およびＨ［４０１Ｂ→４０１Ａ］を用いて、識別された複数の物体が同一物体か否かを判定してもよい。
　図８に示す撮像画像８０（Ｑ８０とも呼ぶ）は、物品８１および物品８２を撮像することによって得られた画像である。図８に示す通り、撮像画像８０には２つの物品８１および物品８２が含まれる。照合部１２０はこのような撮像画像８０とデータベース画像４４とを、データベース画像４４から抽出された特徴情報と、撮像画像８０から抽出された特徴情報と用いて照合する。
　物品８１および物品８２が夫々、複数の物品に識別された場合の同一物体であることに関する判定方法は、図７を用いて説明した場合と同様である。ここでは、２つの物品が夫々別の物体であると正しく識別される方法について説明する。
　例えば、照合結果に、データベース画像４４Ａが示す物体およびデータベース画像４４Ｃが示す物体が撮像画像８０に写っているということを示す情報が含まれるとする。
　このような照合結果に基づいて、判定部１３０は、データベース画像４４Ａに含まれる特徴情報と、対応する撮像画像８０上の特徴情報とから、データベース画像４４Ａ上の座標を撮像画像８０上の座標に変換する場合におけるホモグラフィ行列であるＨ［４０１Ａ→Ｑ８０］を計算する。このホモグラフィ行列Ｈ［４０１Ａ→Ｑ８０］を用いて、データベース画像４４Ａ上の座標を撮像画像８０の座標空間に変換した座標を、第４座標Ｐ４と呼ぶ。
　同様に、判定部１３０は、データベース画像４４Ｃに含まれる特徴情報と、対応する撮像画像８０上の特徴情報とから、データベース画像４４Ｃ上の座標を撮像画像８０上の座標に変換する場合におけるホモグラフィ行列であるＨ［４０１Ｃ→Ｑ８０］を計算する。このホモグラフィ行列Ｈ［４０１Ｃ→Ｑ８０］を用いて、データベース画像４４Ｃ上の座標を撮像画像８０の座標空間に変換した座標を、第５座標Ｐ５と呼ぶ。
　図８に示す枠８３は、第４座標Ｐ４によって示される撮像画像８０上の領域であり、図８に示す枠８４は、第５座標Ｐ５によって示される撮像画像８０上の領域である。
　判定部１３０は、照合結果に基づいて、データベース画像４４Ａを示す画像番号４２である「４０１Ａ」とデータベース画像４４Ｃを示す画像番号４２である「４０１Ｃ」とに関連付けられたパラメータ６４をパラメータ記憶部２４０から取得する。ここでは、判定部１３０は、変換元画像番号６２が「４０１Ａ」であり、変換先画像番号６３が「４０１Ｃ」である図６に示す２行目のパラメータ６４を、パラメータ記憶部２４０から取得する。取得したパラメータ６４を、Ｈ［４０１Ａ→４０１Ｃ］と表現する。
　そして、判定部１３０は、Ｈ［４０１Ａ→４０１Ｃ］を用いて、データベース画像４４Ａ上の座標を、データベース画像４４Ｃの座標空間の座標に変換する。そして、判定部１３０は、Ｈ［４０１Ｃ→Ｑ８０］を用いて、データベース画像４４Ｃの座標空間に変換した座標を、更に、撮像画像８０の座標空間の座標に変換する。この２つのホモグラフィ変換を行った後の座標を第６座標Ｐ６と呼ぶ。
　図８に示す破線の枠８５は、第６座標Ｐ６が表す撮像画像８０上の領域の一例を示す。この枠８５が示す領域は、Ｈ［４０１Ａ→４０１Ｃ］およびＨ［４０１Ｃ→Ｑ８０］を用いて推定された、物品８２に対する、撮像画像８０の座標空間におけるデータベース画像４４Ａの座標の推定位置を示す領域である。
　枠８３によって示される領域と枠８５によって示される領域とを比較すると、これらは、図７の枠７２によって示される領域および枠７４によって示される領域に比べ重複していない箇所が多い。よって、判定部１３０は、枠８５の計算に用いた情報に関連するデータベース画像４４Ｃが示す物体と、枠８３に関連するデータベース画像４４Ａが示す物体とが異なる物体であると判定する。これにより、判定部１３０は、図８に含まれる物体が２つであると判定することができる。
　このように本実施の形態に係る物体識別装置１００は隣り合って並んだ物体を別の物体であると正しく判定することができる。
　判定部１３０は、このように識別された複数の物体が同一物体か否かを示す判定結果を出力制御部１４０に供給する。
　出力制御部１４０は、判定部１３０から供給された判定結果に基づいて、該判定結果を表す情報の出力を制御する。例えば、出力装置４００がディスプレイ（表示部）などの表示装置またはディスプレイを有する端末装置の場合、出力制御部１４０は、判定結果を表す情報を画面表示する制御信号を、出力装置４００に出力する。これにより、出力装置４００は、判定結果を表す情報を画面表示する。
　また、出力装置４００が受け取った情報をファイル出力する装置の場合、出力制御部１４０は、判定結果を表す情報をファイル出力する制御信号を、出力装置４００に出力する。これにより、出力装置４００は、判定結果を表す情報をファイルとして出力する。
　図９は、出力装置４００が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。図９に示す出力ファイル９１は、物品名９２の列と、個数９３の列とを含む表データである。出力制御部１４０はこのような出力ファイル９１を出力装置４００が出力するよう制御する制御信号を生成してもよい。これにより、撮像画像に、どの物体がいくつ含まれるのかを作業者２は容易に把握することができる。また、出力制御部１４０は、例えば、撮像画像に含まれるべき物体の一覧と判定結果とを比較し、比較結果を出力装置４００に表示するよう制御してもよい。
　図１０は、出力装置４００がディスプレイを有する表示装置または端末装置の場合における、出力装置４００が出力する表示画面の一例を示す図である。
　出力制御部１４０は、識別された物体の撮像画像上における位置を示す位置情報を撮像画像に重畳した表示画面をディスプレイなどの表示部に表示させる制御信号を生成する。出力装置４００は、出力制御部１４０が生成した制御信号に基づいて、位置情報を撮像画像に重畳した表示画面を表示部に表示する。
　図１０に示す表示画面９４は、図７に示す、物品７１を含む撮像画像７０を表示部に表示した画面である。出力制御部１４０は、識別された物体の撮像画像上における位置を示す位置情報を、撮像画像７０に重畳した表示画面を生成する。出力制御部１４０は、照合部１２０による照合の際に、データベース画像４４の何れかとマッチする撮像画像７０上の領域のうち、特徴点間の類似スコアが最も高い領域を示す情報を位置情報としてもよい。
　また、出力制御部１４０は、照合部１２０による照合の際に、撮像画像７０とマッチすると判定されたデータベース画像４４を、撮像画像７０の座標空間の座標に変換した場合における該データベース画像４４に対応する領域を示す情報を位置情報としてもよい。例えば、出力制御部１４０は、図７に示す枠７２で示される領域とおよび枠７３で示される領域の何れかを示す情報を位置情報としてもよい。また、出力制御部１４０は、図７に示す枠７２で示される領域とおよび枠７３で示される領域とのうち、特徴点間の類似スコアが最も高い領域を示す情報を位置情報としてもよい。
　また、出力制御部１４０は、同一物体と判定された物体に関連するパラメータである、Ｈ［４０１Ａ→Ｑ７０］およびＨ［４０１Ｂ→Ｑ７０］を用いて計算された、データベース画像４４の撮像画像７０上の位置を示す枠７２および枠７３から、物体の位置を推定してもよい。例えば、出力制御部１４０は、Ｈ［４０１Ａ→Ｑ７０］を用いて計算した座標と、Ｈ［４０１Ｂ→Ｑ７０］を用いて計算した座標とを用いて、例えば、座標の平均値を求めることにより、物体の位置を推定してもよい。そして、出力制御部１４０は、推定した位置（領域）を示す情報を撮像画像７０に重畳して表示した表示画面を生成してもよい。図１０に示す枠９５は推定した位置を示す。このように、出力制御部１４０は、物体の位置を示す情報を、撮像画像７０に重畳した表示画面を出力装置４００に表示させることにより、物体識別装置１００は、例えば、表示画面を見る作業者２に物体の個数と位置とを容易に把握させることができる。
　図１１は、本実施の形態に係るシステム１における計算装置２００の処理の流れの一例を示すフローチャートである。図１１に示す通り、第２特徴抽出部２２０が、画像記憶部２１０に格納されたデータベース画像４４の夫々から特徴情報を抽出する（ステップＳ１１１）。
　そして、パラメータ計算部２３０が、抽出された特徴情報に基づいて、データベース画像４４間の幾何学関係を表すパラメータを計算する（ステップＳ１１２）。
　上述した通り、パラメータは、データベース画像４４を用いた照合により、撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータと共に用いられるものである。
　その後、パラメータ計算部２３０は、計算したパラメータをパラメータ記憶部２４０に格納する（ステップＳ１１３）。
　図１２は、本実施の形態に係るシステム１における物体識別装置１００の処理の流れの一例を示すフローチャートである。図１２に示す通り、物体識別装置１００の第１特徴抽出部１１０は、取得した撮像画像から特徴情報を抽出する（ステップＳ１２１）。
　そして、照合部１２０が、撮像画像から抽出された特徴情報と、ステップＳ１１１において、データベース画像４４から抽出された特徴情報とを用いて、撮像画像とデータベース画像４４との照合を行う（ステップＳ１２２）。
　判定部１３０は、照合結果を参照し、複数の物体が識別され、且つ、識別された物体が同じ物品名を示すか否かを判定する（ステップＳ１２３）。同じ物品名の物体を複数識別していない場合（ステップＳ１２３にてＮＯ）、処理はステップＳ１２６に進む。
　同じ物品名の物体が複数識別された場合（ステップＳ１２３にてＹＥＳ）、判定部１３０は、識別された物体に対応する（撮像画像とマッチした）データベース画像４４と撮像画像との間の幾何学関係を表すパラメータを計算する（ステップＳ１２４）。
　そして、ステップＳ１１２で計算されたパラメータと、ステップＳ１２４で計算されたパラメータとを用いて、複数の物体が同一物体か否かを判定する（ステップＳ１２５）。
　その後、出力制御部１４０が、出力装置４００による情報の出力を制御する制御信号を生成する（ステップＳ１２６）。ステップＳ１２５が行われた後の場合、出力制御部１４０は判定結果に基づいて、該判定結果を表す情報の出力を行うための制御信号を生成する。そして、出力制御部１４０は、生成した制御信号を出力装置４００に出力する（ステップＳ１２７）。
　これにより、出力装置４００は、出力制御部１４０が出力した制御信号に基づいて、例えば、図１０に示すような表示画面９４を表示部に表示することができる。
　以上のように、本実施の形態に係るシステム１の物体識別装置１００は、照合部１２０が撮像画像と物体を識別するための複数のデータベース画像との照合を行う。そして、判定部１３０が、照合の結果が撮像画像に複数の物体が含まれる場合、データベース画像間の幾何学関係を表すパラメータと、識別された各物体に対応するデータベース画像および撮像画像の間の幾何学関係を表すパラメータとに基づいて、複数の物体が同一物体か否かを判定する。
　例えば、実際には１つの物体が含まれる撮像画像において、撮像画像と複数のデータベース画像とが対応するとの照合結果を得ると、該照合結果からは、該撮像画像に複数の物体が含まれるとみなされる。本実施の形態によれば、判定部１３０がこの照合結果に基づいて、データベース画像間の幾何学関係を表すパラメータと、撮像画像と上記複数のデータベース画像の夫々との幾何学関係を表す複数のパラメータとに基づいて、識別された複数の物体が同一物体か否かを判定するため、あるデータベース画像と関連する他のデータベース画像が、撮像画像上においてどの位置に対応するのかを計算することができる。これにより、物体識別装置１００は、撮像画像に含まれる物体が、あるデータベース画像と他のデータベース画像とにマッチする１の物体であるか否かを判定することができる。
　よって、本実施の形態に係る物体識別装置１００によれば、１の物体が複数のデータベース画像と対応付いた場合であっても、該物体の数が１つであると正確に判定することができる。
　よって、本実施の形態に係る物体識別装置１００によれば、識別対象の物体の個数を精度よく識別することできる。
　なお、本実施の形態に係るシステム１において、撮像装置３００と物体識別装置１００とは一体となって形成され、例えば、インテリジェンスカメラとして機能してもよい。また、計算装置２００の一部の機能が物体識別装置１００に組み込まれてもよい。例えば、第１特徴抽出部１１０と、第２特徴抽出部２２０とが同じ回路で実現されてもよい。
　このように、図１に示すシステム１における各装置は各々組み合わせて構成されてもよい。
　＜第２の実施の形態＞
　本開示の第２の実施の形態について説明する。本実施の形態では、本開示の課題を解決する基本構成について説明する。
　図１３は、本実施の形態に係る物体識別装置１０の機能構成の一例を示す機能ブロック図である。図１３に示す通り、本実施の形態に係る物体識別装置１０は、照合部１２と、判定部１３とを備える。
　照合部１２は、上述した照合部１２０の機能を有する。照合部１２は、撮像画像と物体を識別するための複数の識別用画像との照合を行う。照合部１２は、照合結果を判定部１３に供給する。照合部１２が行う照合の方法は特に限定されず、上述した照合部１２０と同様の方法を採用してもよい。
　判定部１３は、上述した判定部１３０の機能を有する。判定部１３は、照合の結果が撮像画像に複数の物体が含まれることを示す場合、識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する識別用画像および撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、複数の物体が同一物体か否かを判定する。判定部１３は、上述した判定部１３０と同様に、（１）第１パラメータおよび第２パラメータを用いてある識別用画像の座標を撮像画像の座標空間の座標に変換することによって得られる領域であって、撮像画像の座標空間上における識別用画像の領域と、（２）第２パラメータを用いて他の識別用画像の座標を撮像画像の座標空間の座標に変換することによって得られる領域であって、撮像画像の座標空間上における他の識別用画像の領域と、の重なりの度合いを示す重複率に基づいて、複数の物体が同一物体か否かを判定してもよい。
　図１４は、本実施の形態に係る物体識別装置１０の処理の流れの一例を示すフローチャートである。図１４に示す通り、照合部１２が、撮像画像と物体を識別するための複数の識別用画像との照合を行う（ステップＳ１４１）。そして、判定部１３が、第１パラメータと、第２パラメータとに基づいて、複数の物体が同一物体か否かを判定する（ステップＳ１４２）。
　図１５は、上述した物体識別装置１０が参照する第１パラメータを計算する計算装置２０の機能構成の一例を示す機能ブロック図である。図１５に示す通り、計算装置２０は、抽出部２２と、計算部２３とを備える。
　抽出部２２は、上述した第２特徴抽出部２２０の機能を有する。物体を識別するための複数の識別用画像の夫々から、物体の特徴を表す特徴情報を抽出する。抽出部２２は、抽出した特徴情報を計算部２３に供給する。
　計算部２３は、上述したパラメータ計算部２３０の機能を有する。計算部２３は、抽出された特徴情報に基づいて、複数の識別用画像間の幾何学関係を表す第１パラメータを計算する。なお、上述した通り、第１パラメータは、物体識別装置１０による識別用画像を用いた照合により撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、識別される各物体に対応する識別用画像および撮像画像の間の幾何学関係を表す第２パラメータと共に用いられる。
　また、本実施の形態において、物体識別装置１０および計算装置２０は、図１６に示すシステム６として構成されてもよい。図１６は、物体識別装置１０と計算装置２０とを含むシステムの構成の一例を示すブロック図である。図１６に示す通り、システム６は、物体識別装置１０と計算装置２０とを含む。物体識別装置１０と計算装置２０とは互いに通信可能に接続している。
　なお、物体識別装置１０と計算装置２０とは一体となって形成されてもよいし、計算装置２０の一部の機能が物体識別装置１０に組み込まれてもよい。また、システム６は、上述したシステム１と同様に、撮像装置３００および出力装置４００を含む構成であってもよい。
　例えば、実際には１つの物体が含まれる撮像画像において、撮像画像と複数の識別用画像とが対応するとの照合結果を得ると、該照合結果からは、該撮像画像に複数の物体が含まれると識別される。本実施の形態によれば、判定部１３がこの照合結果に基づいて、第１パラメータと、複数の第２パラメータとに基づいて、識別された複数の物体が同一物体か否かを判定するため、ある識別用画像と関連する他の識別用画像が、撮像画像上においてどの位置に含まれるのかを計算することができる。これにより、物体識別装置１０は、撮像画像に含まれる物体が、ある識別用画像と他の識別用画像とにマッチする１の物体であるか否かを判定することができる。
　よって、本実施の形態に係る物体識別装置１０によれば、１の物体が複数の識別用画像と対応付いた場合であっても、該物体の数が１つであると正確に判定することができる。
　よって、本実施の形態に係る物体識別装置１０によれば、識別対象の物体の個数を精度よく識別することできる。
　（ハードウェア構成について）
　本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば、図１７に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１７は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
　例えば、本開示における物体識別装置（１０、１００）は、ＰＯＳ（Ｐｏｉｎｔ　Ｏｆ　Ｓａｌｅｓ）レジスタ等のキャッシュレジスタの近傍に設置されたカメラを含むシステムにも好適に利用できる。この場合、上述した物体識別装置（１０、１００）は、ＰＯＳレジスタに内蔵されることによって実現されてもよい。なお、該ＰＯＳレジスタは、更に計算装置（２０、２００）の機能を備えてもよい。また、物体識別装置（１０、１００）は、ＰＯＳレジスタに、出力装置４００と同様の出力を行わせてもよい。この場合であっても、物体識別装置（１０、１００）は、カメラが商品を撮像することによって得られた撮像画像から、認識された複数の物体が同一物体か否かを判定することにより、該識別対象の物体の個数を精度よく識別することできる。
　また、本開示における物体識別装置（１０、１００）および計算装置（２０、２００）は、ＰＯＳレジスタと通信可能なサーバ装置で実現されてもよい。そして、物体識別装置（１０、１００）は、ＰＯＳレジスタに、出力装置４００と同様の出力を行わせてもよい。このように、既に店舗に設置されているＰＯＳレジスタを利用した構成にも、本開示の物体識別装置（１０、１００）および計算装置（２０、２００）を好適に適用することができる。
　なお、上述したＰＯＳレジスタとは、店員が操作するキャッシュレジスタに限定されず、精算を顧客が行う分担型のキャッシュレジスタ（セミセルフレジスタ）、レジスタの通過時に店員が介在しない（精算までの一連の作業を顧客のみで行う）キャッシュレジスタ（セルフレジスタ）の何れであってもよい。
　上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　撮像画像と物体を識別するための複数の識別用画像との照合を行う照合手段と、
　前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する判定手段と、
　を備える物体識別装置。
　（付記２）
　前記判定手段は、前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
　前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
　付記１に記載の物体識別装置。
　（付記３）
　前記判定手段は、前記第１パラメータおよび前記第４パラメータから推定される前記第１物体の前記撮像画像上における第１領域と、前記第３パラメータから得られる前記第１物体の前記撮像画像上における第２領域との重複の度合いを示す重複率が、所定の閾値以上の場合、前記複数の物体が同一物体であると判定する、
　付記２に記載の物体識別装置。
　（付記４）
　前記判定手段は、前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとの、所定の指標に基づく類似度が、所定の条件を満たす場合、前記複数の物体が同一物体であると判定する、
　付記２に記載の物体識別装置。
　（付記５）
　前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
　前記出力制御手段は、前記識別された物体の前記撮像画像上における位置を示す位置情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
　付記１から４の何れか１つに記載の物体識別装置。
　（付記６）
　前記出力制御手段は、同一物体と判定された物体に関連する前記第２パラメータを用いて、複数の前記識別用画像の夫々の前記撮像画像上における位置から、前記物体の位置を推定し、推定した前記位置を示す情報を、前記位置情報とする、
　付記５に記載の物体識別装置。
　（付記７）
　撮像画像と物体を識別するための複数の識別用画像との照合を行い、
　前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する、
　物体識別方法。
　（付記８）
　前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
　前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
　付記７に記載の物体識別方法。
　（付記９）
　撮像画像と物体を識別するための複数の識別用画像との照合を行う処理と、
　前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する処理と、
　をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
　（付記１０）
　前記判定する処理は、前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
　前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
　付記９に記載の記録媒体。
　（付記１１）
　物体を識別するための複数の識別用画像の夫々から、前記物体の特徴を表す特徴情報を抽出する抽出手段と、
　前記抽出された特徴情報に基づいて、前記複数の識別用画像間の幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、識別される各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える計算装置。
　（付記１２）
　付記１から６の何れか１つに記載の物体識別装置と、
　付記１１に記載の計算装置と、
を備えるシステム。
　１　　システム
　６　　システム
　１０　　物体識別装置
　１２　　照合部
　１３　　判定部
　２０　　計算装置
　２２　　抽出部
　２３　　計算部
　１００　　物体識別装置
　１１０　　第１特徴抽出部
　１２０　　照合部
　１３０　　判定部
　１４０　　出力制御部
　２００　　計算装置
　２１０　　画像記憶部
　２２０　　第２特徴抽出部
　２３０　　パラメータ計算部
　２４０　　パラメータ記憶部
　３００　　撮像装置
　４００　　出力装置

Claims (12)

  1. 　撮像画像と物体を識別するための複数の識別用画像との照合を行う照合手段と、
    　前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する判定手段と、
    　を備える物体識別装置。
  2. 　前記判定手段は、前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
    　前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
    　請求項１に記載の物体識別装置。
  3. 　前記判定手段は、前記第１パラメータおよび前記第４パラメータから推定される前記第１物体の前記撮像画像上における第１領域と、前記第３パラメータから得られる前記第１物体の前記撮像画像上における第２領域との重複の度合いを示す重複率が、所定の閾値以上の場合、前記複数の物体が同一物体であると判定する、
    　請求項２に記載の物体識別装置。
  4. 　前記判定手段は、前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとの、所定の指標に基づく類似度が、所定の条件を満たす場合、前記複数の物体が同一物体であると判定する、
    　請求項２に記載の物体識別装置。
  5. 　前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
    　前記出力制御手段は、前記識別された物体の前記撮像画像上における位置を示す位置情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
    　請求項１から４の何れか１項に記載の物体識別装置。
  6. 　前記出力制御手段は、同一物体と判定された物体に関連する前記第２パラメータを用いて、複数の前記識別用画像の夫々の前記撮像画像上における位置から、前記物体の位置を推定し、推定した前記位置を示す情報を、前記位置情報とする、
    　請求項５に記載の物体識別装置。
  7. 　撮像画像と物体を識別するための複数の識別用画像との照合を行い、
    　前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する、
    　物体識別方法。
  8. 　前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
    　前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
    　請求項７に記載の物体識別方法。
  9. 　撮像画像と物体を識別するための複数の識別用画像との照合を行う処理と、
    　前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する処理と、
    　をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
  10. 　前記判定する処理は、前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
    　前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
    　請求項９に記載の記録媒体。
  11. 　物体を識別するための複数の識別用画像の夫々から、前記物体の特徴を表す特徴情報を抽出する抽出手段と、
    　前記抽出された特徴情報に基づいて、前記複数の識別用画像間の幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、識別される各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える計算装置。
  12. 　請求項１から６の何れか１項に記載の物体識別装置と、
    　請求項１１に記載の計算装置と、
    を備えるシステム。
PCT/JP2017/024923 2017-07-07 2017-07-07 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体 WO2019008734A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/024923 WO2019008734A1 (ja) 2017-07-07 2017-07-07 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
JP2019528293A JP6769554B2 (ja) 2017-07-07 2017-07-07 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
US16/623,987 US11205089B2 (en) 2017-07-07 2017-07-07 Object identification device, object identification method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/024923 WO2019008734A1 (ja) 2017-07-07 2017-07-07 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体

Publications (1)

Publication Number Publication Date
WO2019008734A1 true WO2019008734A1 (ja) 2019-01-10

Family

ID=64950680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024923 WO2019008734A1 (ja) 2017-07-07 2017-07-07 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体

Country Status (3)

Country Link
US (1) US11205089B2 (ja)
JP (1) JP6769554B2 (ja)
WO (1) WO2019008734A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7242309B2 (ja) * 2019-01-16 2023-03-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP4062268A1 (en) * 2019-11-19 2022-09-28 Orcam Technologies Ltd. Wearable systems and methods for locating an object
US11804039B2 (en) * 2020-05-28 2023-10-31 Science House LLC Systems, methods, and apparatus for enhanced cameras

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228199A (ja) * 2005-01-20 2006-08-31 Matsushita Electric Ind Co Ltd 顔抽出装置、半導体集積回路
JP2007226512A (ja) * 2006-02-23 2007-09-06 Fujifilm Corp 特定向き顔判定方法および装置並びにプログラム
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014465A (ja) 1999-06-29 2001-01-19 Matsushita Electric Ind Co Ltd 物体認識方法及び物体認識装置
FR2825814B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique
JP4004899B2 (ja) * 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4715539B2 (ja) 2006-02-15 2011-07-06 トヨタ自動車株式会社 画像処理装置、その方法、および画像処理用プログラム
US8611673B2 (en) * 2006-09-14 2013-12-17 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
GB2492246B (en) * 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
KR101380777B1 (ko) * 2008-08-22 2014-04-02 정태우 영상에 포함된 객체를 색인하는 방법
EP2528034B1 (en) * 2010-01-22 2019-03-06 Panasonic Intellectual Property Corporation of America Image management device, image management method, program, recording medium, and integrated circuit
US9171195B1 (en) * 2014-06-16 2015-10-27 Amazon Technologies, Inc. Recognizing three-dimensional objects
US9483704B2 (en) * 2014-12-10 2016-11-01 Ricoh Co., Ltd. Realogram scene analysis of images: superpixel scene analysis
US10242287B2 (en) * 2015-06-11 2019-03-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and recording medium
US9449258B1 (en) * 2015-07-02 2016-09-20 Agt International Gmbh Multi-camera vehicle identification system
JP2019200697A (ja) * 2018-05-18 2019-11-21 東芝テック株式会社 棚管理システムおよびプログラム
US10902263B1 (en) * 2018-06-26 2021-01-26 Amazon Technologies, Inc. Image processing system for object identification
US20200193552A1 (en) * 2018-12-18 2020-06-18 Slyce Acquisition Inc. Sparse learning for computer vision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228199A (ja) * 2005-01-20 2006-08-31 Matsushita Electric Ind Co Ltd 顔抽出装置、半導体集積回路
JP2007226512A (ja) * 2006-02-23 2007-09-06 Fujifilm Corp 特定向き顔判定方法および装置並びにプログラム
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム

Also Published As

Publication number Publication date
US11205089B2 (en) 2021-12-21
JP6769554B2 (ja) 2020-10-14
JPWO2019008734A1 (ja) 2020-04-09
US20200143196A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US10078826B2 (en) Digital point-of-sale analyzer
US20150046299A1 (en) Inventory Assessment with Mobile Devices
US20140247997A1 (en) Information processing system, information processing method, and computer program product
EP2375365A1 (en) Digital point-of-sale analyzer
JP5816393B1 (ja) 商品評価装置、方法及びプログラム
JP2010518507A (ja) 特徴マッチング方法
JP6458239B1 (ja) 画像認識システム
CN109961472B (zh) 3d热力图生成的方法、系统、存储介质及电子设备
JP2019046484A (ja) 画像認識システム
JP2013109773A (ja) 特徴マッチング方法及び商品認識システム
WO2019008734A1 (ja) 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
WO2016158438A1 (ja) 検品処理装置及び方法、及びプログラム
US20200311659A1 (en) Information processing apparatus, information processing method, and program
JP2014191423A (ja) 自動販売機の販売商品認識装置及び販売商品認識方法、並びにコンピュータ・プログラム
JP6904430B2 (ja) 情報処理装置、制御方法、及びプログラム
US20180181940A1 (en) Pos terminal device, information processing device, information processing system, image recognition method, and image recognition program
JP2019083532A (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN112154488A (zh) 信息处理装置、控制方法和程序
JP6769555B2 (ja) 物品識別装置、物品識別方法、計算装置、システムおよびプログラム
US20160117630A1 (en) Orphaned package identification
US11756036B1 (en) Utilizing sensor data for automated user identification
JP7322945B2 (ja) 処理装置、処理方法及びプログラム
JP2018142293A (ja) 商品判別装置、商品判別プログラム及び商品の判別方法
JP6737446B2 (ja) 商品特定システム
US20230237558A1 (en) Object recognition systems and methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17916833

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019528293

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17916833

Country of ref document: EP

Kind code of ref document: A1