WO2015136714A1 - 画像識別装置、画像センサ、画像識別方法 - Google Patents

画像識別装置、画像センサ、画像識別方法 Download PDF

Info

Publication number
WO2015136714A1
WO2015136714A1 PCT/JP2014/057003 JP2014057003W WO2015136714A1 WO 2015136714 A1 WO2015136714 A1 WO 2015136714A1 JP 2014057003 W JP2014057003 W JP 2014057003W WO 2015136714 A1 WO2015136714 A1 WO 2015136714A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
model
feature point
similarity
identification
Prior art date
Application number
PCT/JP2014/057003
Other languages
English (en)
French (fr)
Inventor
嘉典 小西
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US15/121,886 priority Critical patent/US10055670B2/en
Priority to PCT/JP2014/057003 priority patent/WO2015136714A1/ja
Priority to EP14885695.8A priority patent/EP3118813B1/en
Priority to JP2016507250A priority patent/JP6176388B2/ja
Priority to CN201480076713.4A priority patent/CN106062820B/zh
Publication of WO2015136714A1 publication Critical patent/WO2015136714A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to a technique for identifying an image based on image feature points.
  • a sensor device called an image sensor (visual sensor) is widely used to measure and monitor a measurement object (hereinafter also referred to as “work”) flowing through a line.
  • the image sensor is composed of a camera and an image processing apparatus, detects a workpiece in an image by matching processing with a pre-registered teacher object (hereinafter also referred to as “model” or “pattern”), and extracts necessary information.
  • model a pre-registered teacher object
  • pattern has a function to perform measurement.
  • the output of the image sensor is used for various purposes such as workpiece identification, inspection, and sorting.
  • mixed flow line in which a plurality of types of workpieces are mixed (hereinafter also referred to as “mixed flow line”), in order to perform different processing depending on the type of workpiece, the type of workpiece is accurately determined by an image sensor. Is required.
  • a plurality of types of model images are registered in advance in the image sensor, and the type of workpiece is estimated by obtaining a model image that best matches the workpiece image.
  • the degree of similarity is calculated depending on how much the feature point of the model image matches the feature point of the input image.
  • object identification using images of six types of dice as shown in FIG.
  • the similarity calculated in each model is 100 points (full score) for a plurality of model images as shown in the figure, and the identification result is noise in the input image. It will be decided by etc.
  • the reason why there is no difference in the degree of similarity is that there are model images in an inclusive relationship with each other or model images with many common parts. That is, when there are many similar model images, it is difficult to perform correct identification by conventional template matching using similarity.
  • Patent Document 1 proposes that correlation values are calculated for similar model images, feature point positions with low correlation are stored, and similarity is calculated using only such feature points. ing. Thus, by calculating the similarity using only feature points with low correlation, correct identification can be performed even when similar model images exist.
  • the present invention has been made in view of the above circumstances, and it is an object of the present invention to provide an image identification technique that can perform identification with low processing load and high accuracy even when similar model images are included. And
  • the present invention adopts a configuration in which a weight based on the saliency in the model image is set for each feature point, and the similarity considering the weight is calculated.
  • an image identification apparatus includes a storage unit in which feature points are registered for each of a plurality of model images, a feature point extraction unit that extracts feature points from an input image, and the input image
  • a first similarity (hereinafter also referred to as a weighted similarity) between the input image and each model image is calculated by comparing the feature point and the feature point of each model image, and based on the first similarity
  • An identification unit for identifying the input image, and the identification unit is configured to correspond to the feature point of the input image that matches the feature point of the model image that is the first similarity calculation target.
  • the first similarity is calculated by adding together the scores (hereinafter also referred to as weight scores), and the score corresponding to the feature point is a model including the feature point among the plurality of model images.
  • the image identification device sets the weight score higher for the feature points having higher saliency, and performs image identification based on the first similarity obtained by adding the weight scores. Thereby, even if there are many similar model images, it becomes possible to identify with high accuracy.
  • a weight score may be obtained at the time of image identification for feature points included in the input image, or a weight score may be obtained in advance and stored at the time of model image registration for feature points included in the model image. May be.
  • the weight score at the time of image identification When obtaining the weight score at the time of image identification, the number of model images that match the feature point is obtained for each feature point of the input image, and the weight score may be calculated according to the number.
  • the weight scores at the time of model image registration the number of model images that match the feature points of feature points of all model images may be obtained, and weight scores may be calculated in advance according to the number.
  • the specific calculation method may be arbitrary as long as the weight score is calculated so as to increase as the number of matching model images decreases. For example, a value corresponding to the reciprocal of the number of matches may be used as the weight score, or a value corresponding to the difference between the number of all model images and the number of matches may be used as the weight score.
  • the identification unit has, for each of the plurality of model images, a second similarity (hereinafter, also referred to as a simple similarity) according to the ratio of feature points of the model image included in the feature points of the input image. It is also preferable that a model image that best matches the input image is determined based on the first similarity and the second similarity.
  • model image having the largest simple sum or weighted sum of the first similarity and the second similarity is determined as the model image that best matches the input image.
  • the model image having the highest first similarity among the model images having the second second similarity is the model image that best matches the input image.
  • the model image having the second high degree of similarity may be a predetermined number of upper order model images with the second degree of similarity, or a model having the second degree of similarity within a predetermined threshold from the maximum value. It may be an image.
  • the present invention can be understood as an image identification device or an object identification device having at least a part of the above configuration.
  • the present invention can also be understood as an image sensor having a camera that captures an object and an object discrimination device or an image processing device.
  • the present invention also provides an image identification method or an object identification method including at least a part of the above processing, a program for causing a computer to execute the method, or a computer-readable recording medium in which the program is temporarily stored. Can also be taken as.
  • the processing load is low and the identification can be performed with high accuracy.
  • the present invention relates to an image identification technique for extracting an image that best matches an input image from a plurality of registered images (model images) registered in advance by template matching when an input image is given. is there.
  • This technology can be applied to object discrimination in an image sensor for FA, computer vision, machine vision, and the like, or a similar image search for detecting an image similar to a query image from a group of images in an image database.
  • the present invention is implemented in an FA image sensor that detects and discriminates each workpiece in a mixed flow line in which a plurality of types of workpieces flow. An example will be described.
  • the image sensor 1 is a system that is installed in a production line or the like and performs type discrimination of the workpiece 2 using an input image obtained by imaging a product (work 2).
  • the image sensor 1 can be mounted with various image processing functions as necessary, such as edge detection, scratch / dirt detection, and area / length / centroid measurement.
  • a PLC (Programmable Logic Controller) 4 is a device that controls a manufacturing apparatus (not shown) such as the image sensor 1, the conveyor 3, and a robot.
  • the image sensor 1 generally includes a camera 11 and an image processing device 10.
  • the camera 11 is a device for capturing the image of the workpiece 2 into the image processing apparatus 10, and for example, a CMOS (Complementary Metal-Oxide-Semiconductor) camera or a CCD (Charge-Coupled Device) camera can be suitably used.
  • CMOS Complementary Metal-Oxide-Semiconductor
  • CCD Charge-Coupled Device
  • the format of the input image is arbitrary, and may be appropriately selected according to the type of workpiece 2 and the purpose of sensing.
  • a special image other than a visible light image such as an X-ray image or a thermo image
  • a camera that matches the image may be used.
  • the image processing apparatus 10 includes a CPU (Central Processing Unit) 110, a main memory 112 and a hard disk 114 as a storage unit, a camera interface 116, an input interface 118, a display controller 120, a PLC interface 122, and a communication interface. 124 and a data reader / writer 126. These units are connected to each other via a bus 128 so that data communication is possible.
  • the camera interface 116 is a part that mediates data transmission between the CPU 110 and the camera 11, and has an image buffer 116 a for temporarily storing image data from the camera 11.
  • the input interface 118 mediates data transmission between the CPU 110 and an input unit (mouse 13, keyboard, touch panel, jog controller, etc.).
  • the display controller 120 is connected to a display 12 such as a liquid crystal monitor, and controls display on the display 12.
  • the PLC interface 122 mediates data transmission between the CPU 110 and the PLC 4.
  • the communication interface 124 mediates data transmission between the CPU 110 and a console (or a personal computer or a server device).
  • the data reader / writer 126 mediates data transmission between the CPU 110 and the memory card 14 as a storage medium.
  • the image processing apparatus 10 can be configured by a computer having a general-purpose architecture, and the CPU 110 reads and executes a program (instruction code) stored in the hard disk 114 or the memory card 14 to provide various functions. .
  • a program instruction code
  • Such a program is distributed while being stored in a computer-readable recording medium such as the memory card 14 or an optical disk.
  • an OS operation for providing a basic function of the computer
  • the program according to the present embodiment may realize a target function by using a program module provided by the OS.
  • the program according to the present embodiment may be provided as a single application program, or may be provided as a module incorporated in a part of another program. Further, a part or all of the functions may be replaced with a dedicated logic circuit.
  • FIG. 3 shows a functional configuration related to type discrimination (object discrimination) provided by the image processing apparatus.
  • the image processing apparatus 10 includes an image input unit 130, a detection unit 131, a feature point extraction unit 132, an identification unit 133, a storage unit 134, and an output unit 135 as functions related to type determination. These functional blocks are realized by the CPU 110 of the image processing apparatus 10 executing a computer program.
  • model image feature points 134a feature points extracted from model images are registered for a plurality of models.
  • feature points based on colors and shapes may be adopted as feature points. For example, blue, yellow, and red can be used as feature points, and the number of straight lines and the number of circles can be used as feature points. Further, a feature point having a large change in gray value and a color feature point can be used in combination.
  • the model image feature point 134a can be extracted from the received model image by the image processing apparatus 10 receiving the model image. Alternatively, data regarding model image feature points extracted by another apparatus may be received by the image processing apparatus 10 and stored in the storage unit 134.
  • FIG. 4 is a flowchart showing the overall flow of the image identification process executed by the image processing apparatus 10. The operation of each functional block in the image identification process and the overall flow of the type determination process will be described below with reference to the flowchart of FIG.
  • FIG. 5A is an example of the captured image, and shows a state where five types of objects (for example, assorted chocolate) are mixed on the conveyor.
  • the detection unit 131 detects each workpiece 2 from the input image (step S101). Any algorithm may be used for the detection process. For example, after cutting the background by binarization, a method of detecting a region (pixel group) larger than a predetermined area as the work 2 or a method of searching for a region that seems to be a work by pattern matching can be used.
  • the detection unit 131 may perform preprocessing such as smoothing and noise removal on the input image as necessary.
  • FIG. 5B is an example of the detection result, and each work area detected from the image is indicated by a dotted rectangle.
  • the feature point extraction unit 132 analyzes the detected workpiece image (hereinafter referred to as a workpiece image) and extracts feature points (step S102).
  • a feature point is a point or a region having a large change in gray value in an image. For example, an edge or a corner can be extracted as a feature point.
  • the identification unit 133 compares the feature point of the workpiece with each feature point of the plurality of model images registered in the storage unit 134 to determine the type of the workpiece (step S103). By repeating the processing of steps S102 and S103 for all the workpieces detected in step S101, the type of each workpiece can be determined.
  • FIG. 5C shows an example of the discrimination result, and the discrimination result (type) of each workpiece is indicated by a number from 1 to 5.
  • the determination result is output to the display 12 or the PLC 4 by the output unit 135 (step S104).
  • step S103 shows details of the processing in step S103.
  • a weight that takes into account a simple similarity score S1 (second similarity) based on the number of simple matches between feature points of the work image and feature points of the model image, and a weight score corresponding to the saliency of each feature point
  • S1 second similarity
  • S2 first similarity
  • the simple similarity score calculation unit 133a of the identification unit 133 initializes a variable n representing the number of matching feature points to 0 when processing of a new model image is started (step S201).
  • the simple similarity score calculation unit 133a determines, for each feature point in the model image, whether or not the corresponding feature point exists in the work image (step S202), and if it exists, increments the matching number n (step S202). S203).
  • the simple similarity score calculation unit 133a repeats the above processing for all feature points, and calculates the ratio of the number n of feature points having corresponding feature points in the work image to the number N of all feature points in the model image.
  • the simple similarity score S1 is calculated (S205).
  • the simple similarity score S1 for the model image “1” is “100” (n / N multiplied by 100). 100 points). Similarly, for the model images “2” to “5”, the simple similarity score S1 is “100”. For the model image “6”, since only four of the six feature points are present in the work image, the simple similarity score S1 is “67”.
  • the simple similarity score calculation unit 133a When collating whether or not a feature point corresponding to the feature point of each model image is present in the work image, the simple similarity score calculation unit 133a includes each feature point in the work image in each model image. Is stored (step S204). A specific description will be given with reference to FIG.
  • the die of “5” is a work image
  • five feature points are extracted from the work image. As indicated by black circles in the column 300 of FIG. 8, the feature points are designated as feature points 1 to 5 (for example, the feature point 1 is the upper left eye (dot)).
  • this work image and the model image of “3” are collated, corresponding feature points for the feature points 1, 3, and 5 of “5” are also present in the model image. Therefore, in step S204, as shown in FIG.
  • the value corresponding to the reciprocal of the number of corresponding model images is used as the weight score.
  • the determination method may be arbitrary as long as the weight score becomes larger as the number of model images decreases.
  • the weight score of a feature point may be determined by a monotone decreasing function using the number of model images including the feature point as a variable.
  • feature points that are commonly used in many model images have low saliency, and the contribution to image identification is small. Conversely, feature points with few commonly used model images have high saliency and can be said to contribute greatly to image identification. Therefore, as described above, by setting a larger weight score for feature points with fewer model images being used, it is possible to calculate a similarity that takes into account the saliency of the feature points.
  • the weighted similarity score calculation unit 133b calculates the weighted similarity score S2 between the work image and each model image using the weight score. Specifically, the sum of the weight scores of the feature points present in the work image among the feature points in the model image is calculated as the weighted similarity score S2 (S207). As shown in FIG. 8, for the model image “1”, only the feature point 3 matches and the weight score of the feature point 3 is “33”, so “33” is the work image (the dice of the “5” eye). And the weighted similarity score S2 between the model image “1” and the model image “1”.
  • the identification unit 133 determines the similarity (identification score) between the work image and each model image. Calculate (S208).
  • the weighted similarity score S2 is normalized so that the maximum value is 100, and the sum of the normalized weighted similarity score S2 and the simple similarity score S1 is used as the identification score.
  • FIG. 9 shows a simple similarity score S1, a weighted similarity score S2, and an identification score with each model image when the work image is a dice “5”.
  • the weighted similarity score S2 the normalized score is shown without parentheses, and the value obtained in step S207 is shown in parentheses.
  • the identification unit 133 determines that the model image with the highest identification score is the best match with the workpiece image, and identifies the type of workpiece (S209). In the example of FIG. 9, since the identification score for the model image “5” is the maximum, the work image is determined to be the model image “5” (the image of the “5” eye of the dice).
  • FIGS. 11 (A) to (B) The calculation results of the simple similarity score, the weighted similarity score, and the identification score when the “1” to “4” and “6” eyes of the dice are input images are shown in FIGS. 11 (A) to (B), respectively.
  • FIGS. 10 (C), 11 (A), and 11 (B) when the dice of the eyes “3”, “4”, and “6” are input images, there is no difference only with the simple similarity score.
  • correct identification cannot be performed without using it, correct identification is possible by using an identification score in consideration of a weighted similarity score.
  • the weighted similarity score is the same for a plurality of model images, but since the difference is large for the simple similarity score, it can be sufficiently identified.
  • a simple sum of a simple similarity score and a weighted similarity score is obtained as an identification score, but a value (weighted sum) obtained by adding these two similarity scores at a predetermined ratio is used as an identification score. You may use as.
  • the weight ratio in this case may be a predetermined value or a value set by the user.
  • the object type may be determined using the simple similarity score and the weighted similarity score without obtaining the identification score. For example, first, a predetermined number of model images having a large simple similarity score are selected, and it is possible to determine that a model image having the highest weighted similarity score matches the input image.
  • the predetermined number of model images having a large simple similarity score may be the upper predetermined number of model images of the simple similarity score, or a simple similarity score within a predetermined threshold from the maximum value of the simple similarity score. May be a model image.
  • the threshold value in this case may be specified by an absolute value of the score, or may be specified by a ratio with respect to the maximum value.
  • the determination is performed based on both the simple similarity score and the weighted similarity score, but the determination may be performed based only on the weighted similarity score. As described above, when only a weighted similarity score is used, correct discrimination may not be performed, but when an image that does not have a sufficient difference in simple similarity score is input, correct discrimination is possible. .
  • the weight score for each feature point is calculated when matching the input images.
  • the weight score may be calculated when the model image is registered. That is, the weight score for each feature point can be obtained by performing the same weight score calculation processing as described above using each model image as an input image.
  • the weighted similarity score can be calculated by adding the weight scores of the feature points in the same manner as described above. Even if it does in this way, the effect similar to the said embodiment is acquired.
  • the present invention is a three-dimensional image (stereoscopic image) to which information in the depth direction is added.
  • the present invention can also be applied to image identification for the target.
  • both the model image and the input image may be processed in the same manner as described above using an image taken using an imaging device with a distance measuring function such as a stereo camera.
  • the identification processing considering the saliency of the feature points according to the present invention can be applied not only to still images but also to time-series data such as moving images and audio data.

Abstract

　画像識別装置は、複数のモデル画像のそれぞれについて特徴点が登録されている記憶部と、入力画像から特徴点を抽出する特徴点抽出部と、前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第１の類似度を算出し、当該第１の類似度に基づいて前記入力画像を識別する識別部と、を有する。前記識別部は、前記第１の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコアを足し合わせることにより前記第１の類似度を算出する。前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である。

Description

画像識別装置、画像センサ、画像識別方法
　本発明は、画像の特徴点に基づいて画像を識別する技術に関する。
　ＦＡ（Factory Automation）分野においては、ラインを流れる計測対象物（以下、「ワーク」とも呼ぶ）を計測・監視するために、画像センサ（視覚センサ）と呼ばれるセンサデバイスが広く用いられている。画像センサは、カメラと画像処理装置から構成され、予め登録された教師物体（以下、「モデル」または「パターン」とも呼ぶ）とのマッチング処理によって画像内のワークを検出し、必要な情報の抽出・計測などを行う機能を有している。画像センサの出力は、例えば、ワークの識別、検査、仕分けなどの様々な用途に利用される。
　ところで、ＦＡ分野における最近の傾向として、一つのラインに複数種類のワークを混在して流し、種類別に異なる処理を適用する、という生産形態が増えている。例えば、アソート商品の箱詰めラインにおいては、コンベヤ上に異なる種類のワークをランダムに流し、ピックアップロボットで種類別にピックアップし正しい位置に箱詰めするという作業を行う。また、多品種少量生産のラインでは、形、色、サイズなどの仕様が少しずつ異なるシリーズ商品が同一のラインで製造され、仕様ごとに加工方法や検査内容などを違える場合がある。
　このように複数種類のワークが混在するライン（以下、「混流ライン」とも呼ぶ）において、ワークの種類別に異なる処理を実施するには、その前提として、画像センサでワークの種類を正確に判別することが要求される。テンプレートマッチングを用いてワークの種別を判別する場合は、複数種類のモデル画像を予め画像センサに登録しておき、ワーク画像と最も良く合致するモデル画像を求めることで、ワークの種類を推定する。
　ここで、形状や色などがよく似た複数種類のモデルを用いた画像識別の問題点について説明する。テンプレートマッチングでは、モデル画像の特徴点が入力画像の特徴点とどれだけマッチするかによって類似度が算出される。図１２のように、６種類のサイコロの画像を用いた物体識別を考える。「５」の画像を入力画像として識別を行った場合、各モデルにおいて算出される類似度は図中に示すように、複数のモデル画像について１００点（満点）となり、識別結果は入力画像におけるノイズ等によって決定されてしまう。このように類似度に差がつかないのは、互いに包含関係にあるモデル画像が存在したり、共通部分が多いモデル画像が存在したりするためである。すなわち、類似するモデル画像が多く存在する場合には、従来の類似度を用いたテンプレートマッチングでは正しい識別を行うことが困難である。
　特許文献１では、類似したモデル画像に対して互いに相関値を算出して、相関の低い特徴点位置を記憶しておき、そのような特徴点のみを用いて類似度を算出することを提案している。このように、相関の低い特徴点のみを用いて類似度を算出することで、類似したモデル画像が存在する場合であっても、正しい識別が可能となる。
　しかしながら、特許文献１の手法では、類似したモデル画像同士の全ての組合せについて相関演算が必要となり、類似したモデル画像が多い場合には組合せ数が増加し（Ｏ（ｎ２））、処理時間および記憶容量の点で課題が残る。さらに、識別時には、１対１の識別処理を階層的に行う必要があり、この処理も類似したモデル数が多い場合には階層数が深くなり、処理時間が増加する（Ｏ（ｎｌｏｇｎ））。
特開２００９－１１６３８５号公報
　本発明は、上記実情に鑑みてなされたものであり、類似するモデル画像を含む場合であっても、処理負荷が低く、かつ、精度の良い識別が可能な画像識別技術を提供することを目的とする。
　上記目的を達成するために本発明では、特徴点ごとにモデル画像における顕著性に基づいた重みを設定し、この重みを考慮した類似度を算出する、という構成を採用する。
　具体的には、本発明に係る画像識別装置は、複数のモデル画像のそれぞれについて特徴点が登録されている記憶部と、入力画像から特徴点を抽出する特徴点抽出部と、前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第１の類似度（以下、重み付き類似度とも称する）を算出し、当該第１の類似度に基づいて前記入力画像を識別する識別部と、を有し、前記識別部は、前記第１の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコア（以下、重みスコアとも称する）を足し合わせることにより前記第１の類似度を算出するものであり、前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、ことを特徴とする。
　一致するモデル画像が少ない特徴点は、画像識別における顕著性が高く他のモデルとの識別性能が高いと考えられる。一方、一致するモデルが多い特徴点は、画像識別における顕著性が低く識別にあまり役立たないと考えられる。したがって、本発明に係る画像識別装置は、顕著性の高い特徴点ほど重みスコアを高く設定し、この重みスコアを足し合わせた第１の類似度に基づいて画像識別を行う。これにより、類似するモデル画像が多く存在する場合であっても、精度良く識別が可能となる。
　本発明において、入力画像に含まれる特徴点を対象として画像識別時に重みスコアを求めてもよいし、モデル画像に含まれる特徴点を対象としてモデル画像登録時に重みスコアを予め求めて記憶しておいてもよい。
　画像識別時に重みスコアを求める場合は、入力画像の特徴点ごとに、その特徴点と一致するモデル画像の数を求め、当該数に応じて重みスコアを算出すればよい。モデル画像登録時に重みスコアを求める場合は、全てのモデル画像の特徴点について、その特徴点と一致するモデル画像の数を求め、当該数に応じて重みスコアを予め算出すればよい。なお、重みスコアは、モデル画像の一致数が少ないほど大きくなるように算出されれば、具体的な算出方法は任意であってよい。例えば、一致数の逆数に応じた値を重みスコアとしてもよいし、全モデル画像数と一致数の差に応じた値を重みスコアとしてもよい。
　また、本発明において、上記第１の類似度とは異なる基準により算出される類似度も考慮して画像識別を行うことも好ましい。例えば、前記識別部は、前記複数のモデル画像のそれぞれについて、当該モデル画像の特徴点が前記入力画像の特徴点に含まれる割合に応じた第２の類似度（以下、単純類似度とも称する）も算出し、前記第１の類似度および前記第２の類似度に基づいて、前記入力画像と最も良く合致するモデル画像を決定する、ことも好ましい。
　第１の類似度と第２の類似度を用いた具体的な識別方法は、種々の方法が考えられる。例えば、第１の類似度と前記第２の類似度の単純和または重み付け和が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定することが考えられる。あるいは、前記第２の類似度が大きいモデル画像のうち、前記第１の類似度が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定することも考えられる。なお、第２の類似度が大きいモデル画像とは、第２の類似度が上位所定数個のモデル画像であってもよいし、最大値から所定の閾値以内の第２の類似度を有するモデル画像であってもよい。
　このように、第１の類似度および第２の類似度に基づいて識別を行うことにより、いずれか一方の類似度に基づいた場合には正しい識別が行えない場合であっても、正しい識別が行えるようになる。
　なお、本発明は、上記構成の少なくとも一部を有する画像識別装置や物体判別装置として捉えることができる。また、本発明は、物体を撮影するカメラと、物体判別装置もしくは画像処理装置とを有する画像センサとして捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む画像識別方法あるいは物体判別方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、類似するモデル画像を含む場合であっても、処理負荷が低く、かつ、精度の良い識別することができる。
画像センサの全体構成を示す図。 画像センサのハードウェア構成を示す図。 画像識別装置の種類判別にかかわる機能構成を示す図。 種類判別処理の流れを示すフローチャート。 （Ａ）取り込まれた画像、（Ｂ）ワークの検出結果、（Ｃ）種類判別結果の一例を示す図。 種類判別処理の詳細な流れを示すフローチャート。 種類判別処理の詳細な流れを示すフローチャート。 種類判別処理における特徴点ごとの重みスコアを説明する図。 種類判別処理による識別スコアの算出例を示す図。 種類判別処理による識別スコアの算出例を示す図。 種類判別処理による識別スコアの算出例を示す図。 従来技術による課題を説明する図。
　本発明は、入力画像が与えられたときに、テンプレートマッチングによって、予め登録された複数の登録画像（モデル画像）のなかから入力画像に最もよく合致するものを抽出する、画像識別技術に関するものである。この技術は、ＦＡ用の画像センサ、コンピュータビジョン、マシンビジョンなどにおける物体判別や、画像データベース内の画像群のなかからクエリ画像に類似する画像を検出する類似画像検索などに応用することができる。以下に述べる実施形態では、本発明の好ましい応用例の一つとして、複数種類のワークが混在して流れる混流ラインにおいて各ワークの検出および種類判別を行うＦＡ用の画像センサに本発明を実装した例を説明する。
　（画像センサ）
　図１を参照して、本発明の実施形態に係る画像センサの全体構成および適用場面について説明する。
　画像センサ１は、生産ラインなどに設置され、製造物（ワーク２）を撮像することで得られる入力画像を用いてワーク２の種類判別などを行うシステムである。なお、画像センサ１には、種類判別のほかにも、エッジ検出、キズ・汚れ検出、面積・長さ・重心の計測など、必要に応じて様々な画像処理機能を実装可能である。
　図１に示すように、コンベヤ３上には複数種類のワーク２が混在して流れている。画像センサ１は、カメラ１１から定期的に、またはＰＬＣ４から送られるトリガー信号のタイミングで画像を取り込み、画像処理装置（画像識別装置）１０によって画像に含まれる各ワーク２の検出、種類判別などの処理を実行し、その結果をディスプレイ１２に表示したり、外部装置（ＰＬＣ４など）へと出力する。ＰＬＣ（Programmable Logic Controller）４は、画像センサ１、コンベヤ３、ロボット等の製造装置（不図示）の制御を司るデバイスである。
　（画像センサのハードウェア構成）
　図２を参照して、画像センサ１のハードウェア構成を説明する。画像センサ１は、概略、カメラ１１と画像処理装置１０から構成される。
　カメラ１１は、ワーク２の画像を画像処理装置１０に取り込むためのデバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。入力画像の形式（解像度、カラー／モノクロ、静止画像／動画、階調、データ形式など）は任意であり、ワーク２の種類やセンシングの目的に合わせて適宜選択すればよい。可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたカメラを用いてもよい。
　画像処理装置１０は、ＣＰＵ（中央演算処理装置）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。
　カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１とのあいだのデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部（マウス１３、キーボード、タッチパネル、ジョグコントローラなど）とのあいだのデータ伝送を仲介する。表示コントローラ１２０は、液晶モニタなどのディスプレイ１２に接続され、当該ディスプレイ１２での表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４のあいだのデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとのあいだのデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記憶媒体であるメモリカード１４との間のデータ伝送を仲介する。
　画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４またはメモリカード１４に格納されたプログラム（命令コード）を読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード１４や光ディスクなどのコンピュータ読取可能な記録媒体に格納された状態で流通する。
　汎用的なパーソナルコンピュータを画像処理装置１０として利用する場合には、本実施形態で述べる物体判別機能を提供するためのアプリケーションプログラムに加えて、コンピュータの基本的な機能を提供するためのＯＳ（オペレーション・システム）がインストールされていてもよい。この場合には、本実施形態に係るプログラムは、ＯＳが提供するプログラムモジュールを利用することで、目的とする機能を実現してもよい。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部または全部が専用のロジック回路で代替されてもよい。
　（画像処理装置の機能構成）
　図３に、画像処理装置が提供する種類判別（物体判別）にかかわる機能構成を示す。画像処理装置１０は、種類判別にかかわる機能として、画像入力部１３０、検出部１３１、特徴点抽出部１３２、識別部１３３、記憶部１３４、出力部１３５を有している。これらの機能ブロックは、画像処理装置１０のＣＰＵ１１０がコンピュータプログラムを実行することにより実現される。
　記憶部１３４には、モデルの画像から抽出した特徴点（モデル画像特徴点１３４ａ）が、複数のモデルについて登録される。本実施形態においては、特徴点として、画像中において濃淡値の変化が大きい点や領域、例えば、エッジやコーナーなどを採用する。特徴点としては、この他にも、色や形状に基づいた特徴点を採用してもよい。例えば、青・黄・赤を特徴点としたり、直線の個数や円の個数などを特徴点として採用することができる。また濃淡値の変化が大きい特徴点と色の特徴点を併用することもできる。モデル画像特徴点１３４ａは、画像処理装置１０がモデル画像を受け取って、受け取ったモデル画像から抽出することができる。あるいは、別の装置によって抽出されたモデル画像特徴点に関するデータを、画像処理装置１０が受け取って記憶部１３４に格納してもよい。
　（画像処理装置の動作）
　画像処理装置１０は、コンベヤ３上を流れるワーク２の画像を取り込み、ワーク２の検出や種類判別などの処理を実行する。図４は、画像処理装置１０が実行する画像識別処理の全体の流れを示すフローチャートである。以下、図４のフローチャートに沿って、画像識別処理における各機能ブロックの動作、および、種類判別処理の全体の流れについて説明する。
　ＰＬＣ４からのトリガー信号が入力されると、画像入力部１３０がカメラ１１から画像を取り込む（ステップＳ１００）。図５（Ａ）は取り込まれた画像の一例であり、コンベヤ上に５種類の物体（例：アソートチョコレート）が混在している状態を示している。
　次に、検出部１３１が、入力画像から個々のワーク２を検出する（ステップＳ１０１）。検出処理にはどのようなアルゴリズムを用いてもよい。例えば、２値化により背景をカットした後、所定の面積よりも大きい領域（ピクセル群）をワーク２として検出する方法、パターンマッチングによりワークらしい領域を探索する方法などを利用することができる。なお、検出部１３１は、必要に応じて入力画像に対し平滑化やノイズ除去などの前処理を行うとよい。図５（Ｂ）は検出結果の一例であり、画像から検出された個々のワークの領域を点線矩形で示している。
　次に、特徴点抽出部１３２が、検出されたワークの画像（以下、ワーク画像と称する）を解析して、特徴点を抽出する（ステップＳ１０２）。特徴点は、画像中において濃淡値の変化が大きい点や領域などであり、例えば、エッジやコーナーなどを特徴点として抽出することができる。
　続いて、識別部１３３が、ワークの特徴点と、記憶部１３４に登録されている複数のモデル画像のそれぞれの特徴点とを比較して、ワークの種類を判別する（ステップＳ１０３）。ステップＳ１０１で検出されたすべてのワークに対し、ステップＳ１０２およびＳ１０３の処理を繰り返すことで、各ワークの種類を判別することができる。図５（Ｃ）は判別結果の一例であり、個々のワークの判別結果（種類）を１～５の数字で示している。この判別結果は、出力部１３５によってディスプレイ１２またはＰＬＣ４に出力される（ステップＳ１０４）。
　図６および図７は、ステップＳ１０３の処理の詳細を示している。この処理では、ワーク画像の特徴点とモデル画像の特徴点の単純な一致数に基づく単純類似スコアＳ１（第２の類似度）と、特徴点ごとの顕著性に応じた重みスコアを考慮した重み付き類似スコアＳ２（第１の類似度）とを求め、これら２つの類似スコアを用いてワークの判別を行う。
　まず、ステップＳ２０１～Ｓ２０５のループ処理において、各モデル画像について、当該モデル画像に含まれる特徴点がどの程度ワーク画像に含まれるかが判断され、単純類似スコアＳ１が算出される。
　識別部１３３の単純類似スコア算出部１３３ａは、新しいモデル画像の処理を開始すると、特徴点の一致数を表す変数ｎを０に初期化する（ステップＳ２０１）。単純類似スコア算出部１３３ａは、モデル画像内の各特徴点について、対応する特徴点がワーク画像中に存在するかどうか判断し（ステップＳ２０２）、存在する場合は、一致数ｎをインクリメントする（ステップＳ２０３）。単純類似スコア算出部１３３ａは、全ての特徴点について上記の処理を繰り返し、対応する特徴点がワーク画像に存在する特徴点の数ｎの、モデル画像内の全特徴点の数Ｎに対する割合を、単純類似スコアＳ１として算出する（Ｓ２０５）。
　図９に示すように、６種類のサイコロの画像をモデルとして用いた物体識別を行う場合を例として考える。簡単のために、サイコロの目の黒丸１つずつを特徴点とし、輪郭の正方形は画像特徴として考慮しないこととする。ここでは、「５」の目のサイコロがワーク画像であるとする。このワーク画像からは５つの特徴点が抽出される。
　モデル画像「１」には１つの特徴点が存在し、その全てがワーク画像中にも存在するので、モデル画像「１」に対する単純類似スコアＳ１は「１００」（ｎ／Ｎを１００倍して１００点満点としている）となる。同様に、モデル画像「２」～「５」についても単純類似スコアＳ１は「１００」となる。モデル画像「６」については、６個の特徴点のうち４個のみがワーク画像に存在することから、単純類似スコアＳ１は「６７」となる。
　上記の各モデル画像の特徴点に対応する特徴点がワーク画像に存在するか否か照合する際に、単純類似スコア算出部１３３ａは、ワーク画像中の各特徴点が各モデル画像内に含まれるかどうかという対応関係を記憶する（ステップＳ２０４）。図８を参照して、具体的に説明する。「５」の目のサイコロがワーク画像であった場合、ワーク画像からは５つの特徴点が抽出される。図８の列３００に黒丸で示すように、それぞれの特徴点を特徴点１～５とする（例えば、特徴点１は左上の目（ドット）である）。このワーク画像と「３」の目のモデル画像とを照合した場合、「５」の目の特徴点１，３，５について対応する特徴点がモデル画像中にも存在する。したがって、ステップＳ２０４では、図８に示すように、ワーク画像の特徴点１，３，５はモデル画像「３」に含まれ、特徴点２，４はモデル画像「３」に含まれないことが記憶される。なお、図８では対応する特徴点が存在することを丸印で表し、存在しないことを×印で表している。全てのモデル画像について、このような対応関係を記憶することで、ステップＳ２０１～Ｓ２０５のループ処理を終了した時点で、図８に示すようなワーク画像の特徴点とモデル画像の特徴点との対応関係３０１が全て求められる。
　ステップＳ２０１～Ｓ２０５のループ処理が終了すると、識別部１３３の重み付き類似スコア算出部１３３ｂは、ワーク画像のそれぞれの特徴点について対応するモデル画像の数に応じた重みスコアを算出する（図７のステップＳ２０６）。図８に示すように、重み付き類似スコア算出部１３３ｂは、ワーク画像の各特徴点について、当該特徴点を含むモデル画像の個数３０２を求め、その個数３０２の逆数に応じた重みスコア３０３を算出する。例えば、「５」の目のモデル画像の特徴点１は、「２」「３」「４」「５」「６」の５個のモデル画像に含まれるので、特徴点１の重みスコアとして「２０（＝１００／５）」が算出される。特徴点２は、「４」「５」「６」の３個のモデル画像に含まれるので、特徴点２の重みスコアは「３３（＝１００／３）」となる。このようにして、ワーク画像の全ての特徴点について重みスコア３０２が求められる。なお、ここでは対応するモデル画像数の逆数に応じた値を重みスコアとしているが、モデル画像数が少ないほど重みスコアが大きい値となるようにすれば、その決定方法は任意であってよい。特徴点の重みスコアは、当該特徴点を含むモデル画像数を変数とする単調減少関数によって決定すればよい。例えば、全モデル画像数と特徴点を含むモデル画像数の差に基づいた値（差自体や全体数に対する差の割合など）を重みスコアとすることもできる。図８の例では、特徴点１の重みスコアは６－５＝１や、（６－５）／６×１００＝１６としてもよい。
　多くのモデル画像で共通使用している特徴点は顕著性が低く、画像識別に対する貢献は小さいといえる。逆に、共通して使用されているモデル画像が少ない特徴点は顕著性が高く、画像識別に対する貢献が大きいといえる。したがって、上述のように、使用されているモデル画像が少ない特徴点ほど重みスコアを大きく設定することで、特徴点の顕著性を考慮した類似度を算出することができる。
　次に、重み付き類似スコア算出部１３３ｂは、上記の重みスコアを利用して、ワーク画像と各モデル画像との間の重み付き類似スコアＳ２を算出する。具体的には、モデル画像中の特徴点のうちワーク画像に存在する特徴点の重みスコアの和を、重み付き類似スコアＳ２として算出する（Ｓ２０７）。図８に示すように、モデル画像「１」については、特徴点３のみが一致し、特徴点３の重みスコアは「３３」なので、「３３」がワーク画像（「５」の目のサイコロ）とモデル画像「１」との間の重み付き類似スコアＳ２となる。モデル画像「２」については、特徴点１，５が一致し、それぞれの重みスコアは「２０」なので、その合計である「４０」がワーク画像とモデル画像「２」との間の重み付き類似スコアＳ２となる。同様にして、全てのモデル画像との間の重み付き類似スコアが求められる。
　識別部１３３は、ステップＳ２０５で求められた単純類似スコアＳ１と、ステップＳ２０７で求められた重み付き類似スコアＳ２とに基づいて、ワーク画像と各モデル画像との間の類似度（識別スコア）を算出する（Ｓ２０８）。ここでは、重み付き類似スコアＳ２を最大値が１００となるように正規化し、正規化後の重み付き類似スコアＳ２と単純類似スコアＳ１との和を、識別スコアとする。
　図９に、ワーク画像がサイコロの「５」である場合の、各モデル画像との間の単純類似スコアＳ１、重み付き類似スコアＳ２、および識別スコアを示す。重み付き類似スコアＳ２については、正規化後のスコアを括弧無しで示し、ステップＳ２０７で求めた値を括弧内に示してある。
　識別部１３３は、識別スコアが最も高いモデル画像を、ワーク画像と最も良く合致すると判断して、ワークの種別を特定する（Ｓ２０９）。図９の例では、モデル画像「５」についての識別スコアが最大であるので、ワーク画像はモデル画像「５」（サイコロの「５」の目の画像）であると判別される。
　サイコロの「１」～「４」および「６」の目を入力画像とした場合の単純類似スコア、重み付き類似スコア、および識別スコアの算出結果を、図１０（Ａ）～（Ｃ）、図１１（Ａ）～（Ｂ）にそれぞれ示す。図１０（Ｃ）、図１１（Ａ）、（Ｂ）に示すように、「３」、「４」、および「６」の目のサイコロが入力画像の場合は、単純類似スコアだけでは差がつかずに正しい識別ができないが、重み付き類似スコアを考慮した識別スコアを用いることで正しい識別可能となる。また、「１」および「２」の目では、重み付き類似スコアが複数のモデル画像について同じとなるが、単純類似スコアについて差が大きいので十分に識別が可能である。この例に示すように、単純類似スコアや重み付き類似スコアのいずれか一方のみを利用すると識別ができない場合も存在するが、これらの類似スコアを組み合わせることで正しい識別が可能となる。
　以上の手法により、図１２に示すような単純類似スコアのみに基づくテンプレートマッチング手法では正確な識別が行えないような場合でも、正確な識別が可能となる。これは、図９、図１０（Ａ）～（Ｃ）、および図１１（Ａ）～（Ｂ）に示すように、最も高い識別スコアと２番目に高い識別スコアの差が十分に大きくなるからである。正解モデルについては単純類似スコアおよび重み付き類似スコアの両方で高い値が得られ、正解モデル以外については単純類似スコアと重み付き類似スコアの少なくとも一方については低い値が得られる。したがって、正解モデルと正解モデル以外について上述の識別スコアの差が十分大きくなる。このように、正解モデルとそれ以外について識別スコアの差が大きくなるので、入力画像にノイズや歪みがある場合であっても正しい識別が可能となる。
　また、本手法を採用するにあたり、従来のテンプレートマッチング手法に加えて、モデル画像特徴点と入力画像特徴点の対応関係の記憶と、この対応関係に基づく重みスコアの算出および重み付き類似スコアの算出を行えばよいだけなので、処理負荷はそれほど増加しない。類似するモデル画像が多く含まれる場合であっても、処理時間や記憶容量は、特許文献１のように爆発的に増加することはなく、従来手法（単純類似スコアのみを算出する手法）とほとんど変わらない。
　（変形例）
　上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば上記実施形態では、本発明を物体判別装置に適用した例を説明したが、本発明の適用範囲はこれに限らず、類似画像検索装置などへ適用することも好ましい。
　上記の実施形態の説明では、単純類似スコアと重み付き類似スコアの単純和を識別スコアとして求めているが、これら２つの類似スコアを所定の割合で足し合わせた値（重み付き和）を識別スコアとして用いても構わない。この場合の重みの割合は、予め定められた値であってもよいし、ユーザが設定した値であってもよい。
　また、識別スコアを求めずに、単純類似スコアと重み付き類似スコアをそれぞれ用いて物体種類の判別を行ってもよい。例えば、まず、単純類似スコアが大きいモデル画像を所定数個選択し、これらの中から重み付き類似スコアが最も高いモデル画像を、入力画像と合致すると判断することができる。ここで、単純類似スコアが大きい所定数個のモデル画像とは、単純類似スコアの上位所定数個のモデル画像であってもよいし、単純類似スコアの最大値から所定の閾値以内の単純類似スコアを有するモデル画像であってもよい。この場合の閾値は、スコアの絶対値で指定されてもよいし、最大値に対する割合で指定されてもよい。
　また、上記の実施形態の説明では、単純類似スコアと重み付き類似スコアの両方に基づいて判別を行っているが、重み付き類似スコアのみに基づいて判別を行ってもよい。上述のように、重み付き類似スコアのみを用いる場合には正しい判別が行えないこともあるが、単純類似スコアに十分な差がつかなかった画像が入力される場合には正しい判別が可能である。
　また、上記の実施形態の説明では、入力画像の照合を行う際に、特徴点ごとの重みスコアを算出しているが、重みスコアの算出はモデル画像の登録時に行ってもよい。すなわち、各モデル画像を入力画像として上記と同様の重みスコア算出処理を行うことで、特徴点ごとの重みスコアを求めることができる。画像識別時には、入力画像の特徴点とモデル画像の特徴点が一致した場合に、その特徴点の重みスコアを足しあわせて重み付き類似スコアを算出することも上記と同様にして行える。このようにしても、上記実施形態と同様の効果が得られる。
　また、上記の実施形態の説明では、２次元画像（平面画像）を対象として画像識別を行う例を示しているが、本発明は、奥行き方向の情報が付加された３次元画像（立体画像）を対象とした画像識別にも適用可能である。この場合、モデル画像および入力画像のいずれもステレオカメラなどの測距機能付きの撮像装置を用いて撮影された画像を用いて、上記と同様の処理を行えばよい。また、本発明による特徴点の顕著性を考慮した識別処理は、静止画像だけでなく、動画像や音声データなどの時系列データに対しても同様に適用可能である。
１：画像センサ、２：ワーク、３：コンベヤ、４：ＰＬＣ
１０：画像処理装置、１１：カメラ、１２：ディスプレイ
１３０：画像入力部、１３１：検出部、１３２：特徴点抽出部、１３３：識別部、１３４：記憶部、１３５：出力部

Claims (10)

  1. 　複数のモデル画像のそれぞれについて特徴点が登録されている記憶部と、
    　入力画像から特徴点を抽出する特徴点抽出部と、
    　前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第１の類似度を算出し、当該第１の類似度に基づいて前記入力画像を識別する識別部と、
    　を有し、
    　前記識別部は、前記第１の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコアを足し合わせることにより前記第１の類似度を算出するものであり、
    　前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、
    　ことを特徴とする画像識別装置。
  2. 　前記識別部は、前記入力画像の特徴点ごとに、当該特徴点と一致するモデル画像の数を求め、当該数に基づいて前記特徴点に応じたスコアを算出する、
    　ことを特徴とする請求項１に記載の画像識別装置。
  3. 　前記識別部は、前記複数のモデル画像の特徴点ごとに、当該特徴点と一致するモデル画像の数を求め、当該数に基づいて前記特徴点に応じたスコアをあらかじめ算出しておく、
    　ことを特徴とする請求項１に記載の画像識別装置。
  4. 　前記識別部は、前記複数のモデル画像のそれぞれについて、当該モデル画像の特徴点が前記入力画像の特徴点に含まれる割合に応じた第２の類似度も算出し、前記第１の類似度および前記第２の類似度に基づいて、前記入力画像と最も良く合致するモデル画像を決定する、
    　ことを特徴とする請求項１～３のいずれか１項に記載の画像識別装置。
  5. 　前記識別部は、前記第１の類似度と前記第２の類似度の単純和または重み付き和が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定する、
    　ことを特徴とする請求項４に記載の画像識別装置。
  6. 　前記識別部は、前記第２の類似度が大きいモデル画像のうち、前記第１の類似度が最も大きいモデル画像を、前記入力画像と最も良く合致するモデル画像であると決定する、
    　ことを特徴とする請求項４に記載の画像識別装置。
  7. 　物体を撮影するカメラと、
    　前記カメラから入力された画像から前記物体の種類を判別し、その結果を出力する、請求項１～６のうちいずれか１項に記載の画像識別装置と、を有する
    　ことを特徴とする画像センサ。
  8. 　入力画像と合致するモデル画像を識別する画像識別方法であって、
    　複数のモデル画像のそれぞれについて特徴点が登録されている記憶部を有するコンピュータが、
    　入力画像から特徴点を抽出する特徴点抽出ステップと、
    　前記入力画像の特徴点と各モデル画像の特徴点の比較により、前記入力画像と各モデル画像の間の第１の類似度を算出し、当該第１の類似度に基づいて前記入力画像を識別する識別ステップと、
    　を実行し、
    　前記識別ステップでは、前記第１の類似度算出対象のモデル画像の特徴点と一致する入力画像の特徴点ごとに、当該特徴点に応じたスコアを足し合わせることにより前記第１の類似度を算出し、
    　前記特徴点に応じたスコアは、前記複数のモデル画像のうち当該特徴点を含むモデル画像の数が少ないほど大きい値である、
    　ことを特徴とする画像識別方法。
  9. 　請求項８に記載の画像識別方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
  10. 　請求項９に記載のプログラムを非一時的に記憶することを特徴とするコンピュータ読み取り可能な記憶媒体。
PCT/JP2014/057003 2014-03-14 2014-03-14 画像識別装置、画像センサ、画像識別方法 WO2015136714A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/121,886 US10055670B2 (en) 2014-03-14 2014-03-14 Image recognition device, image sensor, and image recognition method using feature
PCT/JP2014/057003 WO2015136714A1 (ja) 2014-03-14 2014-03-14 画像識別装置、画像センサ、画像識別方法
EP14885695.8A EP3118813B1 (en) 2014-03-14 2014-03-14 Image recognition device, image sensor, and image recognition method
JP2016507250A JP6176388B2 (ja) 2014-03-14 2014-03-14 画像識別装置、画像センサ、画像識別方法
CN201480076713.4A CN106062820B (zh) 2014-03-14 2014-03-14 图像识别装置、图像传感器、图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/057003 WO2015136714A1 (ja) 2014-03-14 2014-03-14 画像識別装置、画像センサ、画像識別方法

Publications (1)

Publication Number Publication Date
WO2015136714A1 true WO2015136714A1 (ja) 2015-09-17

Family

ID=54071191

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/057003 WO2015136714A1 (ja) 2014-03-14 2014-03-14 画像識別装置、画像センサ、画像識別方法

Country Status (5)

Country Link
US (1) US10055670B2 (ja)
EP (1) EP3118813B1 (ja)
JP (1) JP6176388B2 (ja)
CN (1) CN106062820B (ja)
WO (1) WO2015136714A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019092782A1 (ja) * 2017-11-07 2019-05-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2019192005A (ja) * 2018-04-26 2019-10-31 株式会社日立製作所 物体認識装置および方法
CN111353419A (zh) * 2020-02-26 2020-06-30 北京百度网讯科技有限公司 图像比对方法、装置、电子设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN108460389B (zh) * 2017-02-20 2021-12-03 阿里巴巴集团控股有限公司 一种识别图像中对象的类型预测方法、装置及电子设备
CN108694398B (zh) * 2017-04-06 2020-10-30 杭州海康威视数字技术股份有限公司 一种图像分析方法及装置
JP6889865B2 (ja) * 2017-09-22 2021-06-18 オムロン株式会社 テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
JP6687591B2 (ja) * 2017-12-26 2020-04-22 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法
JP6763914B2 (ja) * 2018-06-08 2020-09-30 ファナック株式会社 ロボットシステムおよびロボットシステムの制御方法
JP7022036B2 (ja) 2018-08-31 2022-02-17 ファナック株式会社 物品取出システム
US11200632B2 (en) * 2018-11-09 2021-12-14 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP7186128B2 (ja) * 2019-04-24 2022-12-08 株式会社日立製作所 物品認識システムおよび物品認識方法
CN110102906A (zh) * 2019-05-10 2019-08-09 定颖电子(黄石)有限公司 一种镭刻打码系统及镭刻打码工艺
US11893718B2 (en) * 2019-07-12 2024-02-06 Murata Machinery, Ltd. Image recognition method and image recognition device
CN110458044A (zh) * 2019-07-22 2019-11-15 苏州慧润百年物联科技有限公司 一种基于图像识别的判断地面浸水方法
US11948130B2 (en) * 2020-01-30 2024-04-02 BlueOwl, LLC Systems and methods for waste management using recurrent convolution neural network with stereo video input
CN112950623A (zh) * 2021-03-29 2021-06-11 云印技术(深圳)有限公司 一种唛头识别方法及系统
CN113591921A (zh) * 2021-06-30 2021-11-02 北京旷视科技有限公司 图像识别方法及装置、电子设备、存储介质
CN115170566B (zh) * 2022-09-07 2022-12-13 湖南视比特机器人有限公司 一种工件的识别方法和识别装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033089A (ja) * 1989-05-31 1991-01-09 Meidensha Corp パターン認識装置
JP2006190201A (ja) * 2005-01-07 2006-07-20 Sony Corp 画像処理システム、学習装置および方法、並びにプログラム
JP2010113731A (ja) * 2007-03-09 2010-05-20 Omron Corp 認識処理方法およびこの方法を用いた画像処理装置
JP2012048593A (ja) * 2010-08-30 2012-03-08 Juki Corp 画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1566788A3 (en) * 2004-01-23 2017-11-22 Sony United Kingdom Limited Display
EP1722331B1 (en) * 2004-03-03 2010-12-01 NEC Corporation Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
GB2431797B (en) * 2005-10-31 2011-02-23 Sony Uk Ltd Image processing
CN101110100B (zh) * 2006-07-17 2012-05-02 松下电器产业株式会社 检测包含任意线段组合的形状的方法及装置
JP5018404B2 (ja) 2007-11-01 2012-09-05 ソニー株式会社 画像識別装置および画像識別方法、並びに、プログラム
US20100166303A1 (en) * 2008-12-31 2010-07-01 Ali Rahimi Object recognition using global similarity-based classifier
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
CN102938071B (zh) * 2012-09-18 2015-06-03 西安电子科技大学 基于非局部均值的sar图像变化检测模糊聚类分析方法
WO2014101803A1 (zh) * 2012-12-27 2014-07-03 Wang Hao 红外选择装置和红外选择方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033089A (ja) * 1989-05-31 1991-01-09 Meidensha Corp パターン認識装置
JP2006190201A (ja) * 2005-01-07 2006-07-20 Sony Corp 画像処理システム、学習装置および方法、並びにプログラム
JP2010113731A (ja) * 2007-03-09 2010-05-20 Omron Corp 認識処理方法およびこの方法を用いた画像処理装置
JP2012048593A (ja) * 2010-08-30 2012-03-08 Juki Corp 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3118813A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019092782A1 (ja) * 2017-11-07 2019-05-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JPWO2019092782A1 (ja) * 2017-11-07 2020-11-12 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11580721B2 (en) 2017-11-07 2023-02-14 Nec Corporation Information processing apparatus, control method, and program
JP2019192005A (ja) * 2018-04-26 2019-10-31 株式会社日立製作所 物体認識装置および方法
JP7207862B2 (ja) 2018-04-26 2023-01-18 株式会社日立製作所 物体認識装置および方法
CN111353419A (zh) * 2020-02-26 2020-06-30 北京百度网讯科技有限公司 图像比对方法、装置、电子设备及存储介质
CN111353419B (zh) * 2020-02-26 2023-08-11 北京百度网讯科技有限公司 图像比对方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20170017862A1 (en) 2017-01-19
EP3118813A4 (en) 2017-11-01
EP3118813A1 (en) 2017-01-18
JP6176388B2 (ja) 2017-08-09
JPWO2015136714A1 (ja) 2017-04-06
CN106062820B (zh) 2018-12-28
EP3118813B1 (en) 2021-06-02
CN106062820A (zh) 2016-10-26
US10055670B2 (en) 2018-08-21

Similar Documents

Publication Publication Date Title
JP6176388B2 (ja) 画像識別装置、画像センサ、画像識別方法
JP6557943B2 (ja) 画像照合装置、画像センサ、処理システム、画像照合方法
US20230410321A1 (en) Information processing apparatus, control method, and program
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
WO2015115274A1 (ja) 物体判別装置、画像センサ、物体判別方法
US10275682B2 (en) Information processing apparatus, information processing method, and storage medium
US10713530B2 (en) Image processing apparatus, image processing method, and image processing program
JP6278108B2 (ja) 画像処理装置、画像センサ、画像処理方法
US9286669B2 (en) Image processing apparatus, image processing method and program
JP2018081402A5 (ja)
CN113297963A (zh) 多人姿态的估计方法、装置、电子设备以及可读存储介质
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN106406507B (zh) 图像处理方法以及电子设备
Ramisa et al. Evaluation of the sift object recognition method in mobile robots
JP2015118582A5 (ja)
CN111275693B (zh) 一种图像中物体的计数方法、计数装置及可读存储介质
WO2017179728A1 (ja) 画像認識装置、画像認識方法および画像認識プログラム
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
JP2015187770A (ja) 画像認識装置、画像認識方法及びプログラム
KR101179401B1 (ko) 정합쌍 분류장치 및 방법
CN116883945B (zh) 一种融合目标边缘检测和尺度不变特征变换的人员识别定位方法
JP7035357B2 (ja) 画像判定用コンピュータプログラム、画像判定装置及び画像判定方法
WO2020003510A1 (ja) 特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置
Wang et al. A New Multi-scale Harris Interesting Point Detector

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14885695

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014885695

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014885695

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016507250

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15121886

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE