JP6338274B2 - Information processing apparatus and feature point selection method, apparatus and program thereof - Google Patents
Information processing apparatus and feature point selection method, apparatus and program thereof Download PDFInfo
- Publication number
- JP6338274B2 JP6338274B2 JP2014130536A JP2014130536A JP6338274B2 JP 6338274 B2 JP6338274 B2 JP 6338274B2 JP 2014130536 A JP2014130536 A JP 2014130536A JP 2014130536 A JP2014130536 A JP 2014130536A JP 6338274 B2 JP6338274 B2 JP 6338274B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- image
- feature point
- feature points
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 17
- 238000010187 selection method Methods 0.000 title claims description 9
- 239000013598 vector Substances 0.000 claims description 78
- 230000009466 transformation Effects 0.000 claims description 64
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 15
- 238000013139 quantization Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008685 targeting Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、情報処理装置ならびにその特徴点選択方法、装置およびプログラムに係り、特に、画像が有する多数の特徴点の中から画像間の類似度算出に好適な特徴点を選択する情報処理装置ならびにその特徴点選択方法、装置およびプログラムに関する。 The present invention relates to an information processing apparatus and its feature point selection method, apparatus, and program, and in particular, an information processing apparatus that selects a feature point suitable for calculating similarity between images from among a large number of feature points of an image, and The present invention relates to a feature point selection method, apparatus, and program.
画像間で特徴点を比較して物体認識を行う技術が知られている。非特許文献１には、物体をカメラ等の撮影手段で撮影した画像から特徴点を抽出し、予め登録されたデータベース(DB)内の物体毎の特徴点と比較することによって、物体を特定する技術が開示されている。非特許文献１では、特徴ベクトルをVisual Wordsと呼ばれる代表ベクトルに量子化することで高速化が実現されている。その際、一般的に特徴点の持つ特徴ベクトルと距離（例えば、ハミング距離）が最も近いVisual Wordに量子化される。 A technique for performing object recognition by comparing feature points between images is known. In Non-Patent Document 1, a feature point is extracted from an image obtained by photographing an object with a photographing unit such as a camera, and the object is identified by comparing it with a feature point for each object in a database (DB) registered in advance. Technology is disclosed. In Non-Patent Document 1, speeding-up is realized by quantizing a feature vector into a representative vector called Visual Words. At that time, the feature vector is generally quantized to Visual Word having the closest feature vector and distance (for example, Hamming distance).
撮影した画像に写る物体を検索する場合、予め検索対象となる物体を撮影した画像から特徴点を検出し、DBに登録しておく必要がある。検索対象が大規模になる場合、DBサイズの削減が重要な問題となる。特に、計算資源の限られたモバイル端末にDBを保持する場合には顕著な問題である。DBサイズを削減する方針の一つとして、検索対象ごとに登録する特徴点数を削減することが挙げられる。 When searching for an object appearing in a photographed image, it is necessary to detect a feature point from an image obtained by photographing the object to be retrieved in advance and register it in the DB. When the search target is large, reducing the DB size is an important issue. This is particularly a problem when the DB is held in a mobile terminal with limited computing resources. One policy to reduce the DB size is to reduce the number of feature points registered for each search target.
画像から抽出される特徴点の中には、物体の撮影視点の違いによって抽出できなくなる不安定な点が存在するため、DBに登録する際にそれらを除外することによって、認識精度を保ちつつDB サイズを削減することができる。 Among the feature points extracted from the image, there are unstable points that cannot be extracted due to the difference in the shooting viewpoint of the object. By removing these when registering in the DB, the DB is maintained while maintaining the recognition accuracy. The size can be reduced.
特許文献１では、ある１枚の画像を参照画像、それを縮小・拡大した画像群を学習画像とし、両者から特徴点を抽出している。そして、参照画像から抽出された特徴点のうち、それと対応する特徴点が学習画像群から抽出される頻度の高い特徴点、すなわち再現性の高い特徴点が選別されてDBに登録される。 In Patent Document 1, a certain image is used as a reference image, and an image group obtained by reducing / enlarging the image is used as a learning image, and feature points are extracted from both images. Of the feature points extracted from the reference image, feature points with a high frequency at which feature points corresponding to the feature points are extracted from the learning image group, that is, feature points with high reproducibility are selected and registered in the DB.
一方、局所特徴点をVisual Wordに量子化する際には、物体の撮影視点の違いによって、物体の同一点から抽出された特徴量であるにも関わらず、異なるVisual Wordに量子化されてしまう点が存在する。このような技術課題に対して、非特許文献２には、ある物体を様々な視点から撮影した画像から特徴点を抽出し、特徴点を量子化した上でマッチングさせ、物体の同一点でマッチしている特徴点を選別する技術が開示されている。 On the other hand, when local feature points are quantized to Visual Word, they are quantized to different Visual Words due to differences in the object's shooting viewpoint, even though the feature values are extracted from the same point of the object. There is a point. In order to deal with such technical problems, Non-Patent Document 2 discloses that feature points are extracted from images obtained by photographing an object from various viewpoints, matched after quantizing the feature points, and matched at the same point of the object. A technique for selecting a feature point is disclosed.
上述の従来技術では、画像検索の用途において、単一の画像のみを用いて射影変化に対して頑健な特徴点を選別することは出来ない。 In the above-described conventional technology, it is not possible to select feature points that are robust against projection changes using only a single image in the application of image search.
特許文献１では量子化誤りについて考慮されておらず、量子化を用いる物体認識に対する有効性は保証されない。また、撮影対象の回転やスケール変化に対しての考慮はされているが、対象を斜め方向から撮影した場合の、射影変換で表現されるような画像から抽出される特徴点の再現性については保証されていない。 In Patent Document 1, no consideration is given to quantization errors, and the effectiveness of object recognition using quantization is not guaranteed. In addition, although consideration is given to the rotation and scale change of the subject, the reproducibility of the feature points extracted from the image expressed by projective transformation when the subject is photographed from an oblique direction. Not guaranteed.
特許文献２では、特徴点を選別する際に同一の物体を様々な視点から撮影した学習用画像群が必要となる。そのため、例えば数万枚のデータベースから画像を検索するシステムへの適用を考えた場合、作業量の観点から見て現実的ではない。 In Patent Document 2, a learning image group in which the same object is photographed from various viewpoints when selecting feature points is required. Therefore, for example, when considering application to a system that retrieves images from a database of tens of thousands of images, it is not realistic from the viewpoint of the amount of work.
本発明の目的は、上記の技術課題を解決し、画像から画像間の類似度算出に好適な特徴点として、撮影対象の回転やスケール変化のみならず射影変化に対しても頑健な特徴点を、量子化誤りの影響を抑えながら適正に選択する情報処理装置ならびにその特徴点選択方法、装置およびプログラムを提供することにある。 An object of the present invention is to solve the above technical problem, and as a feature point suitable for calculating a similarity between images from an image, a feature point that is robust not only to rotation and scale change of an object to be photographed but also to projection change. Another object of the present invention is to provide an information processing apparatus and a feature point selection method, apparatus, and program for appropriately selecting while suppressing the influence of quantization error.
上記の目的を達成するために、本発明の情報処理装置およびその特徴点選択装置（方法およびプログラム）は、以下の構成を具備した点に特徴がある。 In order to achieve the above object, the information processing apparatus and its feature point selection apparatus (method and program) according to the present invention are characterized by having the following configuration.
(1)参照画像の射影変換画像を作成する画像作成手段と、参照画像および各射影変換画像から特徴点を検出して、その局所特徴量を特徴ベクトル化して特徴ベクトルを生成する局所特徴量抽出手段と、参照画像および各射影変換画像の各特徴ベクトルを代表ベクトルと比較照合して代表ベクトルに量子化する量子化手段と、同一の代表ベクトルに量子化された特徴ベクトルの特徴点同士を対象に、特徴ベクトルを比較して、参照画像の各特徴点と各射影変換画像の各特徴点を対応付けるマッチング手段と、対応付けられた参照画像の特徴点と射影変換画像の特徴点の組を対象に、特徴点の幾何的な対応の正当性を検証し、その正当性が検証された射影変換画像の特徴点数に基づいて、参照画像の各特徴点を評価する幾何的検証手段と、幾何的検証手段での評価結果に基づいて参照画像の特徴点の一部を選択する特徴点選択手段とを具備した。
(1) Image creation means for creating a projective transformation image of a reference image, and local feature quantities that generate feature vectors by detecting feature points from the reference image and each projection transformation image and converting the local feature quantities into feature vectors Extraction means, quantization means for comparing and comparing each feature vector of the reference image and each projective transformation image with the representative vector, and quantizing the representative vector, and feature points of the feature vector quantized to the same representative vector to a subject, by comparing the feature vector, the feature points of the reference image and the matching means for associating each feature point of each projection transformation image, the feature points of the feature points and the projection transformation image of the reference image associated pairs targeting, to verify the geometric correspondence validity of feature points, and geometric verification means based on the number of feature points in the projective transformation image legitimacy is verified, we evaluate each feature point of the reference image, Geometric inspection And and a feature point selection means for selecting some of the feature points of the reference image based on the evaluation result of the means.
(2)本発明の特徴点選択装置はさらに、前記マッチング手段が、局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルを比較し、その比較結果が所定の条件を満足する特徴点同士を対応付けるようにした。 (2) In the feature point selection device of the present invention, the matching unit further targets the feature point of the reference image and the feature point of the projective transformation image, wherein the feature vector of the local feature quantity is quantized to the same representative vector. Feature vectors are compared, and feature points whose comparison results satisfy a predetermined condition are associated with each other.
(3) 本発明の特徴点選択装置はさらに、複数の参照画像のそれぞれから選択された特徴点に対して、より多くの参照画像から選択される特徴点をより低く評価する重み付けを行い、重み付け後の評価結果に基づいて一部の特徴点を更に選択するウェイティング手段を具備した。 (3) The feature point selection device according to the present invention further performs weighting on feature points selected from each of a plurality of reference images so that feature points selected from more reference images are evaluated lower, and weighting Weighting means for further selecting some feature points based on the later evaluation results is provided.
本発明の効果によれば、以下のような効果が達成される。 According to the effects of the present invention, the following effects are achieved.
(1) 参照画像ごとに予め蓄積する特徴点を、射影変化やスケール変化に対して頑健であり、対応点として選択され易く、かつ量子化誤りを起こしにくい特徴点のみに絞り込めるので、参照画像ごとに特徴点に関する情報を記憶するために確保すべき記憶容量を削減でき、かつ類似度算出の処理負荷が軽減されて検索時間を短縮できるようになる。 (1) Feature points stored in advance for each reference image are robust against projection changes and scale changes, and can be narrowed down to only feature points that are easy to select as corresponding points and are unlikely to cause quantization errors. Thus, it is possible to reduce the storage capacity to be secured for storing the information on the feature points for each time, and to reduce the processing load for calculating the similarity, thereby shortening the search time.
(2) 特徴点のマッチングでは、局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルに基づいて対応付けが行われるので、量子化誤りに起因する特徴点の誤った対応付けが防止される。 (2) In the feature point matching, the feature points of the reference image and the feature points of the projective transformation image, in which the feature vectors of the local feature quantities are quantized to the same representative vector, are matched based on the feature vectors. Therefore, incorrect association of feature points due to quantization errors is prevented.
(3) 複数の参照画像のそれぞれから選択された特徴点に対して、より多くの参照画像から選択される特徴点を低く評価して排除するようにしたので、参照画像単位では高い評価が得られる特徴点であっても、多数の参照画像から抽出されるような画像識別力の低い特徴点は排除することができ、真に画像識別力の高い特徴点のみを選択できるようになる。 (3) For feature points selected from each of multiple reference images, feature points selected from a larger number of reference images are evaluated with a low evaluation and eliminated, so that a high evaluation is obtained for each reference image. The feature points with low image discrimination power extracted from a large number of reference images can be excluded, and only the feature points with truly high image discrimination power can be selected.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る特徴点選択装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram showing the configuration of the main part of a feature point selection device according to an embodiment of the present invention, and here, the configuration unnecessary for the description of the present invention is omitted.
本発明の特徴点選択装置は、携帯電話、スマートフォン、パーソナルコンピュータあるいはサーバなどの情報処理装置に実装され、後述する各機能を実現するアプリケーション（プログラム）や、このアプリケーションをハードウェア化またはROM化して構成できる。 The feature point selection device of the present invention is mounted on an information processing device such as a mobile phone, a smartphone, a personal computer, or a server, and implements an application (program) for realizing each function described later, or hardware or ROM of this application. Can be configured.
本発明の特徴点選択装置は、画像検索等において参照される画像（参照画像）から画像間の類似度算出に好適な特徴点として、射影変化やスケール変化に対して頑健な特徴点を予め選択して登録し、後の画像検索において、当該特徴点を類似度算出の対象とすることにより、小さな記憶容量および処理負荷で確度の高い類似度算出を実現する。 The feature point selection device according to the present invention selects in advance a feature point that is robust against projection change and scale change as a feature point suitable for calculating similarity between images from an image (reference image) referred to in image search or the like. Thus, in the subsequent image search, the feature point is set as the target of similarity calculation, thereby realizing high-accuracy similarity calculation with a small storage capacity and processing load.
射影変換画像作成部１０１は、参照画像を複数の異なる距離および方向から観察して仮想的なスクリーンに透視投影された射影変換画像を作成し、これを射影変換画像群DBに蓄積する。具体的には、参照画像の周囲に仮想的な視点を滞りなく配置し、視野角等の透視投影パラメータを任意に設定して射影変換行列を算出し、この射影変換行列を用いて参照画像を射影変換する。 Projection conversion image creation unit 101 observes a reference image from a plurality of different distances and directions, creates a projection conversion image that is perspective-projected on a virtual screen, and stores this in the projection conversion image group DB. Specifically, a virtual viewpoint is arranged around the reference image without any delay, a projection transformation matrix is calculated by arbitrarily setting a perspective projection parameter such as a viewing angle, and the reference image is calculated using the projection transformation matrix. Projective transformation.
仮想的な視点の配置には、例えば図２に示したように、参照画像を原点に置き、空間的に均等に配置されるとされるGeodesic Domeの各頂点を用いても良いし、３次元格子状構造の各頂点を用いても良い。また、この際算出された射影変換行列は、作成された射影変換画像を一意に識別するIDと共に蓄積される。 For the virtual viewpoint arrangement, for example, as shown in FIG. 2, the reference image may be placed at the origin, and each vertex of Geodesic Dome, which is supposed to be arranged spatially, may be used. Each vertex of the lattice structure may be used. Further, the projection transformation matrix calculated at this time is stored together with an ID for uniquely identifying the created projection transformation image.
図３は、参照画像から作成される射影変換画像の例を示した図であり、ここでは、複数種類の角度（横軸）および距離（縦軸）の組み合わせから変換した透視投影パラメータを用いて多数の射影変換画像が作成されている。 FIG. 3 is a diagram showing an example of a projective transformation image created from a reference image. Here, perspective projection parameters converted from combinations of a plurality of types of angles (horizontal axis) and distances (vertical axis) are used. A number of projective transformation images have been created.
図１へ戻り、局所特徴抽出部１０２は、特徴点検出器１０２ａおよび特徴量抽出器１０２ｂを含み、図４に示したように、参照画像および各射影変換画像から特徴点を検出し、さらにその局所特徴量を抽出して特徴ベクトル化する。 Returning to FIG. 1, the local feature extraction unit 102 includes a feature point detector 102a and a feature amount extractor 102b, and detects feature points from the reference image and each projective transformation image as shown in FIG. Extract local features and convert them into feature vectors.
前記特徴点検出器１０２ａは、参照画像および各射影変換画像から特徴点を検出する。前記特徴量抽出器１０２ｂは、前記各特徴点の位置における画像の特徴量を局所特徴量と呼ばれるベクトル形式で抽出する。前記特徴点検出器１０２ａおよび特徴量抽出器１０２ｂとしては、Harris，Hessian，SIFT，SURF，FAST，BRIEF，ORB，BRISK，FREAK等のアルゴリズムを用いることができる。 The feature point detector 102a detects a feature point from the reference image and each projective transformation image. The feature quantity extractor 102b extracts the feature quantity of the image at the position of each feature point in a vector format called a local feature quantity. Algorithms such as Harris, Hessian, SIFT, SURF, FAST, BRIEF, ORB, BRISK, and FREAK can be used as the feature point detector 102a and the feature amount extractor 102b.
これらの局所特徴量は、座標p=(x,y)、方向θおよび特徴ベクトルfにより特徴付けられる。また、各画像から検出された特徴群は、プログラム上では配列に格納され、その配列の添え字を特徴点IDとして識別される。 These local feature quantities are characterized by coordinates p = (x, y), direction θ, and feature vector f. The feature group detected from each image is stored in an array on the program, and the subscript of the array is identified as a feature point ID.
量子化部１０３は、前記特徴量抽出部１０２ｂで抽出された特徴ベクトルfと、予め用意されている多数の代表ベクトルとを比較照合し、図５に示したように、特徴ベクトルfとの距離が最も近い代表ベクトルを識別して当該代表ベクトルに固有の代表ベクトルIDと対応付ける。ここで対応付けられる代表ベクトルIDは、特徴ベクトルfとのハミング距離が最も近い１つのみであっても良いし、距離の近い上位k個であっても良い。 The quantization unit 103 compares and collates the feature vector f extracted by the feature amount extraction unit 102b with a number of representative vectors prepared in advance, and the distance from the feature vector f as shown in FIG. Is identified and is associated with a representative vector ID unique to the representative vector. The representative vector ID associated here may be only one with the closest hamming distance to the feature vector f, or may be the top k closest to the distance.
マッチング部１０４は、図６に示したように、参照画像から検出された各特徴点と、射影変換画像ごとに検出された各特徴点との間で、前記量子化部１０３により同一の代表ベクトルに量子化された特徴点同士を対象に、それぞれの特徴ベクトルｆを比較し、所定の条件を満足する特徴点同士を対応付けて特徴点組とする。 As shown in FIG. 6, the matching unit 104 uses the same representative vector by the quantization unit 103 between each feature point detected from the reference image and each feature point detected for each projective transformation image. For feature points quantized to each other, feature vectors f are compared, and feature points satisfying a predetermined condition are associated with each other to form a feature point set.
このように、本実施形態では局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルに基づいて対応付けが行われるので、量子化誤りに起因する特徴点の誤った対応付けが防止される。 As described above, in the present embodiment, the feature points of the reference image and the feature points of the projective transformation image obtained by quantizing the feature vectors of the local feature amounts into the same representative vector are associated based on the feature vectors. Therefore, erroneous association of feature points due to quantization errors is prevented.
対応付けの基準としては、例えば特徴ベクトル同士のハミング距離が最も近いものを選んでも良いし、ハミング距離以外の公知の距離（例えばL2ノルム）を採用しても良い。距離以外にも、方向θの角度差が最も小さいものを選んでも良いし、座標pにおける色情報が最も類似するものを選んでも良いし、半径rの点密度など他の情報を基準としても良い。また、特徴点の対応付けは１対１に限定されず、１対N、N対１あるいはN対Nのいずれであっても良い。 As a reference for association, for example, the one having the shortest Hamming distance between feature vectors may be selected, or a known distance other than the Hamming distance (for example, L2 norm) may be employed. Other than the distance, the one with the smallest angle difference in the direction θ may be selected, the one with the most similar color information at the coordinate p may be selected, or other information such as the point density of the radius r may be used as a reference. . Also, the association of feature points is not limited to one-to-one, and may be any one of 1: N, N: 1, or N: N.
幾何検証部１０５は、前記マッチング部１０４により対応付けられた特徴点組を対象に、幾何的な拘束条件を満たす組を選別し、条件を満たす組の参照画像から検出された特徴点のIDに対してスコアの投票を行う。 The geometric verification unit 105 selects a set that satisfies the geometric constraint condition for the feature point set associated by the matching unit 104, and sets the ID of the feature point detected from the reference image of the set that satisfies the condition. Vote for the score.
具体的には、図７に示したように、前記射影変換画像作成部１０１において各射影変換画像を作成する際に用いた射影変換行列の逆行列H-1を用いて、射影変換画像から検出された特徴点の座標を、参照画像から検出された特徴点と同一の座標系に射影して配列する。これにより、参照画像及び各射影変換画像から検出された特徴点を同一の座標上で比較できるようになる。 Specifically, as shown in FIG. 7, the projection transformation image creation unit 101 detects from the projection transformation image using the inverse matrix H −1 of the projection transformation matrix used when each projection transformation image is created. The coordinates of the feature points thus obtained are projected and arranged on the same coordinate system as the feature points detected from the reference image. This makes it possible to compare feature points detected from the reference image and each projective transformation image on the same coordinates.
なお、上記の逆行列H-1に代えて、前記マッチング結果からRANSAC(Random Sample Consensus)等のロバスト推定法により射影変換行列を推定しても良い。 Instead of the inverse matrix H −1 , a projective transformation matrix may be estimated from the matching result by a robust estimation method such as RANSAC (Random Sample Consensus).
次に、各特徴点組の参照画像から検出された特徴点の座標と、射影変換画像の射影された特徴点の座標とのユークリッド距離を算出し、これが所定の閾値以下であればinlier、そうでなければoutlierと判定する。そして、inlierと判定された特徴点組の参照画像から検出された特徴点のIDにスコアを加算する。スコアは固定値であっても良いし、特徴点組の特徴ベクトル間のハミング距離や、他の基準による重みづけを行っても良い。 Next, the Euclidean distance between the coordinates of the feature points detected from the reference image of each feature point set and the coordinates of the projected feature points of the projective transformation image is calculated. Otherwise, it is determined as outlier. Then, the score is added to the ID of the feature point detected from the reference image of the feature point set determined as inlier. The score may be a fixed value, or may be weighted according to a Hamming distance between feature vectors of a feature point set or other criteria.
以上の処理により、射影変換画像のより多くの特徴点との間でinlier判定された参照画像の特徴点ほど、より高いスコアを獲得できるようになる。換言すれば、視点に関わらず対応点としてより選択され易い特徴点に対して、より高いスコアが付与される。 With the above processing, a higher score can be obtained for the feature point of the reference image that has been inlier-determined with more feature points of the projective transformation image. In other words, a higher score is assigned to a feature point that is more easily selected as a corresponding point regardless of the viewpoint.
特徴点選択部１０６は、図８に示したように、参照画像から抽出された各特徴点を、前記幾何検証部１０５で投票されたスコアの大きい順に並び替え、その上位を選択して当該参照画像に固有の特徴点として登録する。特徴点を選択する基準は、スコアの上位N個を選んでも良いし、スコアが所定の閾値以上である全ての点を選んでも良いし、スコアに加えて他の条件、例えば参照画像における点密度等を考慮して選択しても良い。 As shown in FIG. 8, the feature point selection unit 106 rearranges the feature points extracted from the reference image in descending order of the scores voted by the geometric verification unit 105, selects the higher order, and refers to the feature points. Register as feature points unique to the image. The criteria for selecting feature points may be selected from the top N scores, or all points with a score equal to or higher than a predetermined threshold, or other conditions in addition to the score, for example, the point density in the reference image It may be selected in consideration of the above.
本実施形態によれば、参照画像ごとに予め蓄積する特徴点を、射影変化やスケール変化に対して頑健であり、対応点として選択され易く、かつ量子化誤りを起こしにくい特徴点のみに絞り込めるので、参照画像ごとに特徴点に関する情報を記憶するために確保すべき記憶容量を削減でき、かつ画像間の類似度算出の処理負荷が軽減されて検索時間を短縮できるようになる。 According to this embodiment, feature points stored in advance for each reference image can be narrowed down to only feature points that are robust against projection changes and scale changes, are easily selected as corresponding points, and are unlikely to cause quantization errors. Therefore, it is possible to reduce the storage capacity to be secured for storing the information on the feature points for each reference image, and to reduce the processing load for calculating the similarity between images, thereby shortening the search time.
図９は、本発明の第２実施形態に係る特徴点選択装置の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。 FIG. 9 is a functional block diagram showing the configuration of the feature point selection apparatus according to the second embodiment of the present invention. The same reference numerals as those described above represent the same or equivalent parts, and thus the description thereof is omitted.
本実施形態では、複数の参照画像に対して、前記特徴点選択部１０６により参照画像単位での特徴点選択が終了した後、ウェイティング部１０７が、図１０に示したように、参照画像の同異という制限を外して各参照画像から選択された特徴点の全てを対象にして、その代表ベクトルがより多くの参照画像から抽出される特徴点ほどスコアが低くなる重み付を行うことにより、画像識別力の高い特徴点の更なる選択を行う。 In this embodiment, after the feature point selection unit 106 finishes selecting feature points in units of reference images for a plurality of reference images, the weighting unit 107 uses the same reference image as shown in FIG. By removing the restriction of difference and performing weighting so that all the feature points selected from each reference image are targeted, and the feature points whose representative vectors are extracted from more reference images have a lower score. Perform further selection of highly discriminating feature points.
本実施形態では、全ての参照画像から得られた特徴点のスコアについて、tf-idfの手法により重みづけを行う。具体的には、以下の値をあるVisual Wordに量子化された特徴点の持つ投票スコアに乗算する。 In the present embodiment, the feature point scores obtained from all reference images are weighted by the tf-idf method. Specifically, the voting score of the feature point quantized to a certain Visual Word is multiplied by the following value.
ここで、ni,jは画像j内でのVisual Word iの出現回数、Σknk,jは画像j内での全てのVisual Wordの出現回数の和、Dは全参照画像数、dfiはあるVisual Word iが出現する画像の数である。上記の値を全ての特徴点の投票スコアに乗算することで、多くの射影変換画像に出現する特徴点はスコアが下がり、特定の画像にしか出現しない特徴点はスコアが高くなる。そして、参照画像ごとに投票スコアのリランキングを行い、上位M(<N)件の特徴点を選択する。 Where n i, j is the number of occurrences of Visual Word i in image j, Σ k n k, j is the sum of the number of occurrences of all Visual Words in image j, D is the total number of reference images, df i is the number of images in which a certain Visual Word i appears. By multiplying the voting scores of all feature points by the above values, feature points appearing in many projective transformation images have lower scores, and feature points that appear only in specific images have higher scores. Then, the voting score is reranked for each reference image, and the top M (<N) feature points are selected.
本実施形態によれば、参照画像単位では高い評価が得られる特徴点であっても、多数の参照画像から抽出されるような画像識別力の低い特徴点を排除できる一方、少数の参照画像からしか抽出されない画像識別力の高い特徴点を優先できるので、真に画像識別力の高い特徴点のみを選択できるようになる。 According to the present embodiment, even if feature points are highly evaluated in units of reference images, it is possible to eliminate feature points having low image discrimination power extracted from a large number of reference images, while using a small number of reference images. Since feature points with high image discriminating power that can only be extracted can be prioritized, only feature points with truly high image discriminating power can be selected.
図１１，１２は、本発明の特徴点選択装置を備えた情報処理装置の主要部の構成を示した機能ブロック図であり、それぞれ図１，９に関して説明した実施例の各特徴点選択装置を備えている。本実施形態では、上記の各実施形態で選択された特徴点集合が既にDB１０８に蓄積されている。 11 and 12 are functional block diagrams showing the configuration of the main part of the information processing apparatus provided with the feature point selection device of the present invention. Each of the feature point selection devices of the embodiment described with reference to FIGS. I have. In the present embodiment, the feature point set selected in each of the above embodiments is already accumulated in the DB 108.
なお、図１１に示した実施形態では、前記特徴点選択部１０６が前記選択された各特徴点を、当該特徴点選択部１０６で投票された前記スコアを重み値としてDB１０８上で管理する。 In the embodiment shown in FIG. 11, the feature point selection unit 106 manages the selected feature points on the DB 108 using the score voted by the feature point selection unit 106 as a weight value.
これに対して、図１２に示した実施形態では、前記ウェイティング部１０７が前記選択された各特徴点を、当該ウェイティング部１０７で投票された前記スコアを重み値としてDB１０８上で管理する。 On the other hand, in the embodiment shown in FIG. 12, the weighting unit 107 manages the selected feature points on the DB 108 using the score voted by the weighting unit 107 as a weight value.
内蔵カメラ（図示省略）により検索対象物が撮影され、そのカメラ画像が取得されると、前記局所特徴抽出部１０２では当該カメラ画像の特徴点が前記特徴点検出器１０２ａにより検出される。さらに各特徴点の局所特徴量が前記特徴量抽出器１０２ｂにより抽出され、各局所特徴量は前記量子化部１０３によりVisual Wordsへ量子化される。 When a search target is photographed by a built-in camera (not shown) and the camera image is acquired, the feature point of the camera image is detected by the feature point detector 102a in the local feature extraction unit 102. Further, the local feature quantity of each feature point is extracted by the feature quantity extractor 102b, and each local feature quantity is quantized to Visual Words by the quantization unit 103.
識別部１０９は、カメラ画像の各特徴点から得られたVisual WordsヒストグラムとDB１０８に蓄積されている前記選択された特徴点のVisual Wordsヒストグラムとの類似度を算出する。この際、前記選択された各特徴点の重み値がDB１０８から読み出されて前記類似度の算出結果に反映される。そして、最終的に最も類似度の高い参照画像が前記カメラ画像に対応した参照画像として出力される。 The identification unit 109 calculates the similarity between the Visual Words histogram obtained from each feature point of the camera image and the Visual Words histogram of the selected feature point stored in the DB 108. At this time, the weight value of each selected feature point is read from the DB 108 and reflected in the calculation result of the similarity. Finally, the reference image with the highest similarity is output as a reference image corresponding to the camera image.
本実施形態によれば、小さな記憶容量および処理負荷で、カメラ画像と同一の参照画像を正確に検索できるようになる。 According to the present embodiment, the same reference image as the camera image can be accurately searched with a small storage capacity and processing load.
なお、上記の各実施形態では特徴点選択装置が、入力画像と参照画像との間で類似度算出を行う情報処理端末に実装される場合を例にして説明したが、本発明はこれのみに限定されるものではなく、ネットワーク上のサーバに実装し、選択された特徴点のみを情報処理端末へ送信するようにしても良い。 In each of the above embodiments, the feature point selection device has been described as an example where it is installed in an information processing terminal that calculates the similarity between the input image and the reference image. However, the present invention is not limited to this. However, the present invention is not limited, and it may be mounted on a server on the network, and only selected feature points may be transmitted to the information processing terminal.
１０１…射影変換画像作成部，１０２…局所特徴抽出部，１０２ａ…特徴点検出器，１０２ｂ…特徴量抽出器，１０３…量子化部，１０４…マッチング部，１０５…幾何検証部，１０６…特徴点選択部，１０７…ウェイティング部，１０８…特徴点集合BD，１０９…識別部 DESCRIPTION OF SYMBOLS 101 ... Projection conversion image preparation part, 102 ... Local feature extraction part, 102a ... Feature point detector, 102b ... Feature quantity extractor, 103 ... Quantization part, 104 ... Matching part, 105 ... Geometric verification part, 106 ... Feature point Selection unit 107 ... Waiting unit 108 ... Feature point set BD 109 ... Identification unit
Claims (16)
参照画像を射影変換して複数の射影変換画像を作成する画像作成手段と、
参照画像および各射影変換画像から特徴点を検出して、その局所特徴量を特徴ベクトル化して特徴ベクトルを生成する局所特徴量抽出手段と、
参照画像および各射影変換画像の各特徴ベクトルを、予め用意された複数の代表ベクトルと比較照合していずれかの代表ベクトルに量子化する量子化手段と、
同一の代表ベクトルに量子化された特徴ベクトルの特徴点同士を対象に、特徴ベクトルを比較して、参照画像の各特徴点と各射影変換画像の各特徴点を対応付けるマッチング手段と、
対応付けられた参照画像の特徴点と射影変換画像の特徴点の組を対象に、特徴点の幾何的な対応の正当性を検証し、その正当性が検証された射影変換画像の特徴点数に基づいて、参照画像の各特徴点を評価する幾何的検証手段と、
前記幾何的検証手段での評価結果に基づいて、前記参照画像の特徴点の一部を選択する特徴点選択手段と、を具備したことを特徴とする特徴点選択装置。 In a feature point selection device that selects feature points from a reference image,
Image creation means for projecting a reference image to create a plurality of projective transformation images;
Local feature amount extraction means for detecting a feature point from a reference image and each projective transformation image, converting the local feature amount into a feature vector, and generating a feature vector ;
Quantization means for comparing and collating each feature vector of the reference image and each projective transformation image with a plurality of representative vectors prepared in advance into any representative vector ;
Matching means for comparing feature vectors with respect to feature points of feature vectors quantized to the same representative vector and associating each feature point of the reference image with each feature point of each projective transformation image;
Targeting a set of feature points of the associated reference feature points and projection transformation image of the image, to verify the geometric correspondence validity of feature points, feature points of the projective transformation image legitimacy is verified And a geometric verification means for evaluating each feature point of the reference image ,
Based on the evaluation result in the geometric verification means, feature point selection apparatus characterized by comprising a feature point selecting means for selecting some of the feature points, the said reference image.
参照画像を射影変換して複数の射影変換画像を作成する画像作成手段と、
参照画像、各射影変換画像およびカメラ画像から特徴点を検出して、その局所特徴量を特徴ベクトル化して特徴ベクトルを生成する局所特徴量抽出手段と、
参照画像および各射影変換画像の特徴ベクトルを、予め用意された複数の代表ベクトルと比較照合していずれかの代表ベクトルに量子化する量子化手段と、
同一の代表ベクトルに量子化された特徴ベクトルの特徴点同士を対象に、特徴ベクトルを比較して、参照画像の各特徴点と各射影変換画像の各特徴点を対応付けるマッチング手段と、
対応付けられた参照画像の特徴点と射影変換画像の特徴点の組を対象に、特徴点の幾何的な対応の正当性を検証し、その正当性が検証された射影変換画像の特徴点数に基づいて、参照画像の各特徴点を評価する幾何的検証手段と、
前記幾何的検証手段での評価結果に基づいて、前記参照画像の特徴点の一部を選択する特徴点選択手段と、
前記カメラ画像から検出された特徴点と前記選択された特徴点とのマッチング結果に基づいて、前記カメラ画像に対応する参照画像を識別する識別手段とを具備したことを特徴とする情報処理装置。 In the information processing apparatus for identifying the reference image corresponding to the camera image based on the similarity between the feature point selected from the reference image and the feature point detected from the camera image,
Image creation means for projecting a reference image to create a plurality of projective transformation images;
Local feature amount extraction means for detecting a feature point from a reference image, each projective transformation image, and a camera image, converting the local feature amount into a feature vector, and generating a feature vector ;
The feature vector of the reference image and each projection transformation image, and quantizing means for quantizing the one representative vector comparison and collation to a plurality of representative vectors prepared in advance,
Matching means for comparing feature vectors with respect to feature points of feature vectors quantized to the same representative vector and associating each feature point of the reference image with each feature point of each projective transformation image;
Targeting a set of feature points of the associated reference feature points and projection transformation image of the image, to verify the geometric correspondence validity of feature points, feature points of the projective transformation image legitimacy is verified And a geometric verification means for evaluating each feature point of the reference image ,
Feature point selection means for selecting a part of the feature points of the reference image based on the evaluation result in the geometric verification means ;
An information processing apparatus comprising: identification means for identifying a reference image corresponding to the camera image based on a matching result between the feature point detected from the camera image and the selected feature point.
前記識別手段は、前記カメラ画像から検出された特徴点と前記選択された特徴点とのマッチング結果に前記重み値を反映することを特徴とする請求項６または７に記載の情報処理装置。 The feature point selection means manages each selected feature point with its evaluation result as a weight value,
The information processing apparatus according to claim 6, wherein the identification unit reflects the weight value in a matching result between the feature point detected from the camera image and the selected feature point.
前記識別手段は、前記カメラ画像から検出された特徴点と前記選択された特徴点とのマッチング結果に前記重み値を反映することを特徴とする請求項９に記載の情報処理装置。 The weighting means manages each selected feature point with its evaluation result as a weight value,
The information processing apparatus according to claim 9, wherein the identification unit reflects the weight value in a matching result between the feature point detected from the camera image and the selected feature point.
参照画像を射影変換して複数の射影変換画像を作成する手順と、
参照画像および各射影変換画像の特徴点から局所特徴量を抽出して特徴ベクトル化して特徴ベクトルを生成する手順と、
参照画像および各射影変換画像の特徴ベクトルを、予め用意された複数の代表ベクトルと比較照合していずれかの代表ベクトルに量子化する手順と、
同一の代表ベクトルに量子化された特徴ベクトルの特徴点同士を対象に、特徴ベクトルを比較して、参照画像の各特徴点と各射影変換画像の各特徴点を対応付ける手順と、
対応付けられた参照画像の特徴点と射影変換画像の特徴点の組を対象に、特徴点の幾何的な対応の正当性を検証し、その正当性が検証された射影変換画像の特徴点数に基づいて、参照画像の各特徴点を評価する手順と、
前記評価する手順での評価結果に基づいて、前記参照画像の特徴点の一部を選択する手順と、を含むことを特徴とする特徴点選択方法。 In a feature point selection method for selecting feature points from a reference image,
A procedure for projective transformation of a reference image to create multiple projective transformation images;
A procedure for generating a feature vector by extracting a local feature amount from a feature point of a reference image and each projective transformation image and converting it to a feature vector ;
The feature vector of the reference image and each projection transformation image, a step of quantizing the one of the representative vector compared against the plurality of representative vectors prepared in advance,
Compare the feature vectors for feature points quantized to the same representative vector, and associate each feature point of the reference image with each feature point of each projective transformation image;
Targeting a set of feature points of the associated reference feature points and projection transformation image of the image, to verify the geometric correspondence validity of feature points, feature points of the projective transformation image legitimacy is verified A procedure for evaluating each feature point of the reference image based on
Based on the evaluation results of the procedure for the evaluation, feature point selection method characterized by including the steps of selecting a portion of the feature points of the reference image.
参照画像を射影変換して複数の射影変換画像を作成する手順と、
参照画像および各射影変換画像の特徴点から局所特徴量を抽出して特徴ベクトル化して特徴ベクトルを生成する手順と、
参照画像および各射影変換画像の特徴ベクトルを、予め用意された複数の代表ベクトルと比較照合していずれかの代表ベクトルに量子化する手順と、
同一の代表ベクトルに量子化された特徴ベクトルの特徴点同士を対象に、特徴ベクトルを比較して、参照画像の各特徴点と各射影変換画像の各特徴点を対応付ける手順と、
対応付けられた参照画像の特徴点と射影変換画像の特徴点の組を対象に、特徴点の幾何的な対応の正当性を検証し、その正当性が検証された射影変換画像の特徴点数に基づいて、参照画像の各特徴点を評価する手順と、
前記評価する手順での評価結果に基づいて、前記参照画像の特徴点の一部を選択する手順と、をコンピュータに実行させる特徴点選択プログラム。 In a feature point selection program for selecting feature points from a reference image,
A procedure for projective transformation of a reference image to create multiple projective transformation images;
A procedure for generating a feature vector by extracting a local feature amount from a feature point of a reference image and each projective transformation image and converting it to a feature vector ;
The feature vector of the reference image and each projection transformation image, a step of quantizing the one of the representative vector compared against the plurality of representative vectors prepared in advance,
Compare the feature vectors for feature points quantized to the same representative vector, and associate each feature point of the reference image with each feature point of each projective transformation image;
Targeting a set of feature points of the associated reference feature points and projection transformation image of the image, to verify the geometric correspondence validity of feature points, feature points of the projective transformation image legitimacy is verified A procedure for evaluating each feature point of the reference image based on
On the basis of the evaluation result of the operation of evaluating, feature point selection program for executing a procedure for selecting a portion of the feature points of the reference image, to the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014130536A JP6338274B2 (en) | 2014-06-25 | 2014-06-25 | Information processing apparatus and feature point selection method, apparatus and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014130536A JP6338274B2 (en) | 2014-06-25 | 2014-06-25 | Information processing apparatus and feature point selection method, apparatus and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016009391A JP2016009391A (en) | 2016-01-18 |
| JP6338274B2 true JP6338274B2 (en) | 2018-06-06 |
Family
ID=55226891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014130536A Active JP6338274B2 (en) | 2014-06-25 | 2014-06-25 | Information processing apparatus and feature point selection method, apparatus and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6338274B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6482130B2 (en) * | 2016-02-25 | 2019-03-13 | Kddi株式会社 | Geometric verification apparatus, program and method |
| CN106295710B (en) * | 2016-08-18 | 2019-06-14 | 晶赞广告（上海）有限公司 | Image local feature matching process, device and terminal based on non-geometric constraint |
| JP6950376B2 (en) * | 2017-09-01 | 2021-10-13 | 日本電信電話株式会社 | Image processing device, training image processing device, image identification device, training image processing method, image identification method, and program |
| CN112559959B (en) * | 2020-12-07 | 2023-11-07 | 中国西安卫星测控中心 | Space-based imaging non-cooperative target rotation state resolving method based on feature vector |
| KR102431984B1 (en) * | 2021-02-24 | 2022-08-12 | (주)엠브이텍 | A method for matching pattern using image and an apparatus of thereof |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4613617B2 (en) * | 2005-01-07 | 2011-01-19 | ソニー株式会社 | Image processing system, learning apparatus and method, and program |
| JP4937395B2 (en) * | 2010-10-05 | 2012-05-23 | ヤフー株式会社 | Feature vector generation apparatus, feature vector generation method and program |
-
2014
- 2014-06-25 JP JP2014130536A patent/JP6338274B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016009391A (en) | 2016-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960211B (en) | Multi-target human body posture detection method and system | |
| JP6338274B2 (en) | Information processing apparatus and feature point selection method, apparatus and program thereof | |
| JP6211407B2 (en) | Image search system, image search device, search server device, image search method, and image search program | |
| US10275682B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US10255477B2 (en) | Feature-based matcher for distorted fingerprint matching | |
| JP5261501B2 (en) | Permanent visual scene and object recognition | |
| US8971613B2 (en) | Image processing learning device, image processing learning method, and image processing learning program | |
| JP6071002B2 (en) | Reliability acquisition device, reliability acquisition method, and reliability acquisition program | |
| EP2717223A1 (en) | Information processing device, information processing method, and information processing program | |
| WO2012046426A1 (en) | Object detection device, object detection method, and object detection program | |
| JP5541426B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6460926B2 (en) | System and method for searching for an object in a captured image | |
| Seib et al. | Object recognition using hough-transform clustering of surf features | |
| JP6547903B2 (en) | Image processing apparatus, image processing method and storage medium | |
| JP6403201B2 (en) | Image feature registration apparatus, method, and program | |
| US20150254527A1 (en) | Methods for 3d object recognition and registration | |
| JP2014102746A (en) | Subject recognition device and subject recognition program | |
| JP6035173B2 (en) | Image search system and image search method | |
| US10755439B2 (en) | Estimation device, estimation method and storage medium | |
| JP2014038566A (en) | Image processor | |
| JP5616310B2 (en) | Image matching apparatus and image matching program | |
| JP6427480B2 (en) | IMAGE SEARCH DEVICE, METHOD, AND PROGRAM | |
| JP6399651B2 (en) | Registration device, search device, method and program | |
| JP6218237B2 (en) | Image conversion program, apparatus and method for parallelizing photographed image | |
| JP5723301B2 (en) | Subject recognition device and subject recognition program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160823 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180507 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6338274 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |