JP5468332B2 - Image feature point extraction method - Google Patents

Image feature point extraction method Download PDF

Info

Publication number
JP5468332B2
JP5468332B2 JP2009191240A JP2009191240A JP5468332B2 JP 5468332 B2 JP5468332 B2 JP 5468332B2 JP 2009191240 A JP2009191240 A JP 2009191240A JP 2009191240 A JP2009191240 A JP 2009191240A JP 5468332 B2 JP5468332 B2 JP 5468332B2
Authority
JP
Japan
Prior art keywords
point
feature
points
image
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009191240A
Other languages
Japanese (ja)
Other versions
JP2011043969A (en
Inventor
良美 堀部
山田  和範
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP2009191240A priority Critical patent/JP5468332B2/en
Publication of JP2011043969A publication Critical patent/JP2011043969A/en
Application granted granted Critical
Publication of JP5468332B2 publication Critical patent/JP5468332B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、画像特徴点抽出方法に係り、特に、回転、スケール、平行移動などアフィン変換で示すことができる変動が対象物に対して発生する場合のマッチング処理を精度良く、かつ高速に行なう際に用いるのに好適な、各種オペレータを用いて得ることのできる特徴点から、不要に抽出された点を排除し、マッチング処理の対応付け等に用いる特徴点を、対象物の変動に追随して同じように変動していく、マッチング用モデルとの形状誤差が少なく、対応付けの容易な不変性の高い点に絞込むことが可能な画像特徴点抽出方法に関するものである。   The present invention relates to an image feature point extraction method, and in particular, when performing a matching process accurately and at high speed when a change that can be indicated by affine transformation such as rotation, scale, and parallel movement occurs on an object. The feature points that can be obtained by using various operators that are suitable for use are excluded, and points that are unnecessarily extracted are excluded. The present invention relates to a method for extracting image feature points that can be narrowed down to points having high invariance that are easily changed and have little shape error with a matching model.

従来の画像処理システムでは、Harrisオペレータ(非特許文献1、特許文献1)やSUSANオペレータ(非特許文献2、特許文献2)によって特徴点を抽出する手法が採られている。   In a conventional image processing system, a technique of extracting feature points by a Harris operator (Non-patent Document 1, Patent Document 1) or a SUSAN operator (Non-patent Document 2, Patent Document 2) is employed.

例えば、特許文献1は、複数の画像の位置合わせを行う方法に関するものであるが、複数の画像の対応付けの基準点として、これらのオペレータで得られる特徴点を用いて、特徴点ペアを選択し、画像の位置合わせ処理を行っている。   For example, Patent Document 1 relates to a method of aligning a plurality of images, and selects a feature point pair using a feature point obtained by these operators as a reference point for associating a plurality of images. In addition, image alignment processing is performed.

また、これらのオペレータで得られる特徴点を調整する手法として特許文献2が、これらのオペレータの問題点を改良した特徴点検出方法として特許文献3がある。   Further, Patent Literature 2 is a method for adjusting feature points obtained by these operators, and Patent Literature 3 is a feature point detecting method for improving the problems of these operators.

特開2008−197917号公報JP 2008-197917 A 特開2006−190201号公報JP 2006-190201 A 特許第3764364号公報Japanese Patent No. 3764364

C. G. Harris and M. Stephens,“A combined corner and edge detector,”In Proc. 4th Alvey Vision Conf., Manchester, pages 147-151, 1988.C. G. Harris and M. Stephens, “A combined corner and edge detector,” In Proc. 4th Alvey Vision Conf., Manchester, pages 147-151, 1988. S.M.Smith and J.M.Brady,“SUSAN-a new approach to low lavel image processing”,Int. J. Compt. Vis.,vol.23,no.1,pp.45-78,May 1997.S.M.Smith and J.M.Brady, “SUSAN-a new approach to low lavel image processing”, Int. J. Compt. Vis., Vol. 23, no. 1, pp. 45-78, May 1997.

Harrisオペレータ、SUSANオペレータ等は、局所的なフィルタ処理によるコーナー検出オペレータである。コーナーは、2方向に濃度変化があるので、安定した位置の検出ができ、対応が取りやすいという特性があるので、マッチング処理の対応付けの特徴点としてしばしば用いられる。これらオペレータは確かにコーナーを捉えることができているが、回転、スケール、平行移動などアフィン変換で示すことができるすべての変動を加えた画像に対して、常に同一の出力結果が得られるわけではない。例えば、これらオペレータは、局所的な処理のため、大局的なコーナーだけでなく、図1に例示するような直線分のジャギー(ビットマップ画像上に発生する、階段状のギザギザ)部分に反応し、人間の目で見るとコーナーではない点を抽出することがしばしばある。   Harris operators, SUSAN operators, and the like are corner detection operators based on local filtering. Since the corner has a density change in two directions, it has a characteristic that a stable position can be detected and correspondence can be easily taken. Therefore, the corner is often used as a feature point of correspondence in matching processing. Although these operators can certainly capture corners, the same output results are not always obtained for images with all the variations that can be shown by affine transformation such as rotation, scale, and translation. Absent. For example, these operators react not only to the global corners but also to the jagged portions of straight lines (stepped jagged portions generated on the bitmap image) as shown in FIG. 1 for local processing. Often, points that are not corners of human eyes are extracted.

このような不要な点が抽出されることで、マッチング処理において、処理時間の増加や誤検出などの問題が発生する。   By extracting such unnecessary points, problems such as an increase in processing time and false detection occur in the matching process.

また、これらオペレータは円形ウインドウを用い、回転に対する不変性を考慮はしているものの、反応点は必ずしも同一点が出力されるわけではない。   In addition, these operators use circular windows and consider invariance to rotation, but the reaction points do not necessarily output the same point.

さらに、対象物の傾きによっては、コーナーに対する特徴抽出器の反応が鈍り、図2(A)に例示するように、必要な点が抽出されない場合がある。これは稀なケースであり、図2(B)に例示するように、例えば1度傾きが変われば、必要点が抽出されるようになることがほとんどである。しかし、必要点が抽出されないと、マッチング処理において、検出エラーが発生してしまうため、問題である。   Furthermore, depending on the inclination of the object, the response of the feature extractor to the corner may become dull, and necessary points may not be extracted as illustrated in FIG. This is a rare case, and as shown in FIG. 2B, for example, if the inclination changes, for example, a necessary point is almost always extracted. However, if a necessary point is not extracted, a detection error occurs in the matching process, which is a problem.

又、例えば、特許文献1の実施例では、Harrisオペレータによって特徴点を抽出するとあるが、先に記載したように、撮像した画像によっては、特許文献1で特徴点として定義している「画像のエッジ部であり、かつ、直線のエッジではない点」を安定して抽出できるとは限らず、図1に例示したように、ジャギーに反応してしまうことがある。   Further, for example, in the embodiment of Patent Document 1, the feature point is extracted by the Harris operator. However, as described above, depending on the captured image, the “image image” defined as the feature point in Patent Document 1 may be used. It is not always possible to stably extract “a point that is an edge portion and not a straight edge”, and as illustrated in FIG. 1, it may react to jaggy.

複数の画像の位置合わせを行うための基準点に使う、これら特徴点は、より不変性の高い点に絞込むことでより高い効果が得られるはずである。   These feature points used as reference points for aligning a plurality of images should be able to obtain a higher effect by narrowing down to points having higher invariance.

また、特許文献2では、1枚の学習用モデル画像と、複数枚の学習用入力画像を撮像し、それぞれから特徴点、及び特徴量を抽出し、学習用モデル画像とすべての学習用入力画像とでマッチング処理を行い、位置決めに使われた頻度が高い特徴点のみを登録する、という手法が用いられているが、精度を保つために、抽出特徴点の数が増えるほど、特徴量算出にかかる時間が増え、処理時間がかかる。さらに、学習用モデル画像を撮像する際、理想的な撮像環境が用意されることが望ましいとあるが、これでは、特許文献2の課題の一つである、「操作者のわずらわしさの解消」は実現されていない。また、集計処理を行う際、学習用モデル画像と学習用入力画像とでマッチング処理を行うが、先に述べた、各種オペレータの問題点により、誤認識する恐れがあり、必ずしも、必要な特徴点が正しく抽出されるとは限らない。   Further, in Patent Document 2, one learning model image and a plurality of learning input images are captured, feature points and feature amounts are extracted from each, and the learning model image and all learning input images are extracted. In order to maintain accuracy, the feature amount calculation increases as the number of extracted feature points increases, so that matching processing is performed and only feature points that are frequently used for positioning are registered. This time increases and processing time takes. Furthermore, it is desirable that an ideal imaging environment be prepared when capturing a model image for learning. However, in this case, one of the problems of Patent Document 2 is “elimination of the troublesomeness of the operator”. Is not realized. In addition, when performing aggregation processing, matching processing is performed between the learning model image and the learning input image. However, there is a risk of erroneous recognition due to the problems of various operators described above, and the necessary feature points are not necessarily required. May not be extracted correctly.

本発明は、前記従来の問題点を解決するべくなされたもので、各種オペレータを用いて得ることができる特徴点から、不要に抽出された点を排除し、マッチング処理の対応付け等に用いる特徴点を、対象物の変動に追随して同じように変動していく、マッチング用モデルとの形状誤差が少なく、対応付けの容易な不変性の高い点に絞込むことが可能な画像特徴点抽出方法を提供することを課題とする。   The present invention has been made to solve the above-described conventional problems, and eliminates unnecessary extracted points from feature points that can be obtained by using various operators, and is used for matching processing matching and the like. Image feature point extraction that can be narrowed down to points with high invariance that are easy to match, with little shape error with the matching model that changes in the same way following changes in the object It is an object to provide a method.

図3に、本発明の概要を示す。図3(A)に例示するように対象物が傾いている場合、ジャギー部分にコーナー抽出器が反応し、不要な特徴点が多数抽出される。これを図3(B)に例示するように回転させると、ジャギー部分は平坦になり、コーナー抽出器が反応しない。多くの画像から抽出される特徴点、つまり、画像変動に追随して変動し複数の画像から共に抽出される点のみを必要点とし、他の点を排除することで、コーナー点のみを特徴点として抽出することができる。 FIG. 3 shows an outline of the present invention. When the object is tilted as illustrated in FIG. 3A, the corner extractor reacts with the jaggy and many unnecessary feature points are extracted. When this is rotated as illustrated in FIG. 3B, the jaggy portion becomes flat and the corner extractor does not react. Feature points extracted from many images, that is, only points that change following image fluctuation and are extracted from multiple images are necessary points, and only other corner points are excluded by eliminating other points. Can be extracted as

本発明は、このような知見に着目してなされたもので、画像データから特徴点を抽出するための画像特徴点抽出方法において、画像を変動させて複数枚の画像データを取得し、各画像データごとに特徴点を抽出し、抽出した特徴点の変動前の画像データにおける位置を求め、画像変動に追随して変動し複数の画像から共に抽出される特徴点のみを選択し、他の点を排除することにより、前記課題を解決したものである。
The present invention has been made paying attention to such knowledge. In an image feature point extraction method for extracting feature points from image data, a plurality of pieces of image data are acquired by varying the image, and each image is obtained. Extract feature points for each data, determine the position of the extracted feature points in the image data before the change, select only the feature points that follow the image change and are extracted from multiple images. By eliminating the above, the above-mentioned problem is solved.

ここで、予想される特徴点の周辺に、所定領域に区分された投票空間を設定し、画像を変動させる毎に、変動前の画像の投票空間に、真値を中心に距離が遠くなるほどスコアが小さくなるような重み付けした投票値を加算し、必要な変動についての投票が終了したら、投票空間において、得票数が所定値以上の点について、ラベリング処理を行い、各ラベル塊の面積、最大得票数、総得票数、ラベル重心を算出し、ラベル塊の最大得票数、平均得票数について、閾値処理を行って、特徴点か否かを判定し、特徴点であると判定されたものについては、ラベル塊の重心を特徴点の座標とすることができる。   Here, a voting space divided into predetermined areas is set around the expected feature points, and each time the image is changed, the score increases as the distance around the true value increases in the voting space of the image before the change. When the voting for necessary fluctuations is completed, a labeling process is performed on points where the number of votes obtained exceeds a predetermined value in the voting space, and the area of each label block and the maximum number of votes are obtained. Number, total number of votes, and label centroid, and perform threshold processing on the maximum number of votes and average number of votes for a label block to determine whether or not it is a feature point. The center of gravity of the label block can be used as the coordinate of the feature point.

また、前記特徴点の抽出を、予め設定した特徴抽出領域についてのみ行うことができる。   Further, the feature points can be extracted only for a preset feature extraction region.

本発明によれば、従来の手法に比べ、操作者の手を煩わせることなく、かつ、高速に、回転、スケール、平行移動などアフィン変換で示すことができる様々な変動に対して、追随性が高い点を特徴点として抽出できるので、位置決め処理の対応点として用いる場合、マッチング用モデルとの形状誤差が少なく、対応付けが容易であり、位置決め精度の向上が期待できる。   According to the present invention, it is possible to follow various fluctuations that can be indicated by affine transformation such as rotation, scale, and parallel movement at a high speed without bothering the operator as compared with the conventional method. Can be extracted as a feature point, and when used as a corresponding point in positioning processing, there is little shape error with the matching model, it is easy to associate, and an improvement in positioning accuracy can be expected.

又、不安定な点の抽出を防ぐことで、特徴点の全体数を削減できることから、位置決め処理量を削減でき、高速化することができる。   Further, since the total number of feature points can be reduced by preventing the extraction of unstable points, the amount of positioning processing can be reduced and the speed can be increased.

更に、不安定な点の抽出を防ぐことで、位置決め処理時の誤検出発生を抑制でき、誤検出検査の処理を簡略化できることで、安定した位置決めを高速に行うことができる。   Furthermore, by preventing the extraction of unstable points, the occurrence of erroneous detection during the positioning process can be suppressed, and the process of erroneous detection inspection can be simplified, so that stable positioning can be performed at high speed.

従来の特徴点誤抽出の原因の一つであるジャギーの例を示す図The figure which shows the example of jaggy which is one of the causes of the conventional feature point false extraction 従来の問題点の一つである必要点抜け事例を示す図A diagram showing an example of missing points that is one of the conventional problems 本発明の原理を示す図Diagram showing the principle of the present invention 本発明を実施するためのシステム構成の例を示す図The figure which shows the example of the system configuration for implementing this invention 本発明の第1実施形態の処理手順を示すフローチャートThe flowchart which shows the process sequence of 1st Embodiment of this invention. (A)前記実施形態における基準画像データのコーナー抽出結果及び(B)投票空間の例を示す図(A) The figure which shows the example of the corner extraction result of the reference image data in the said embodiment, and (B) voting space 同じく対象物姿勢の変動画像の例を示す図The figure which similarly shows the example of the fluctuation | variation image of a target object posture 同じく投票処理の様子を示す図The figure which shows the state of voting processing similarly 同じくラベル塊の例を示す図The figure which also shows the example of the label block 同じく近隣の特徴点の除外例を示す図The figure which also shows the example of excluding the neighboring feature point 本発明の第2実施形態の概要を示す図The figure which shows the outline | summary of 2nd Embodiment of this invention. 同じく処理手順を示すフローチャートFlowchart showing processing procedure 第3実施形態の処理手順を示すフローチャートThe flowchart which shows the process sequence of 3rd Embodiment. 同じく原画像の例を示す図Figure showing an example of the original image 同じく特徴点が近接する時の処理の例を示す図The figure which shows the example of a process when a feature point adjoins similarly 同じくエッジセグメントと起点の設定例を示す図The figure which shows the setting example of edge segment and starting point similarly 同じく境界追跡による変曲点取得例を示す図The figure which shows the example of inflection point acquisition by boundary tracking similarly

以下図面を参照して、本発明の実施形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図4は、本発明を実施するのに用いられるシステムの構成例を示す図である。このシステムは、特徴点を抽出する対象物2を吸着し、撮像位置へセットするための吸着ノズル1と、該吸着ノズル1や照明装置3などの動作を制御するマシン制御装置10と、対象物2を撮像するための標準カメラ4及び高解像度カメラ5と、撮像された画像を処理する画像処理装置20とによって構成される。   FIG. 4 is a diagram illustrating a configuration example of a system used to implement the present invention. This system includes a suction nozzle 1 for sucking a target object 2 from which a feature point is extracted and setting it to an imaging position, a machine control device 10 for controlling operations of the suction nozzle 1 and the illumination device 3, and the target object. 2 and the high-resolution camera 5, and an image processing apparatus 20 that processes the captured image.

マシン制御装置10は、通常、対象物2のサイズによって、撮像するカメラ4又は5を選択し、対象物2を吸着ノズル1で吸着し、選択したカメラ4又は5の撮像位置にセットする。さらに、選択したカメラで撮像できるよう照明装置3を移動、点灯させ、画像処理装置20にインタフェース26を介して、選択したカメラチャネル情報とともに処理実行を指示する。画像処理装置20は、指定されたカメラ4又は5を制御し、対象物2の画像を撮像、A/Dコンバータ21でデジタル化し、画像メモリ22に多値画像データとして記憶する。画像処理装置20の演算部24は、画像メモリ22のデータに対して、各種処理を行い、対象物2から特徴点を抽出する。途中、生成させる処理データは、作業用メモリ23に記憶される。図において、25は制御部である。   The machine control device 10 normally selects the camera 4 or 5 to be imaged according to the size of the object 2, adsorbs the object 2 with the adsorption nozzle 1, and sets it to the imaging position of the selected camera 4 or 5. Further, the illumination device 3 is moved and turned on so that the selected camera can capture an image, and the image processing device 20 is instructed to execute processing together with the selected camera channel information via the interface 26. The image processing device 20 controls the designated camera 4 or 5, picks up an image of the object 2, digitizes it with the A / D converter 21, and stores it in the image memory 22 as multivalued image data. The calculation unit 24 of the image processing apparatus 20 performs various processes on the data in the image memory 22 and extracts feature points from the object 2. On the way, the processing data to be generated is stored in the work memory 23. In the figure, reference numeral 25 denotes a control unit.

次に、図5のフローチャートに沿って、画像処理装置20での処理手順について、詳細に説明する。   Next, a processing procedure in the image processing apparatus 20 will be described in detail along the flowchart of FIG.

(1)撮像(ステップs1)
画像処理装置20は、指定されたカメラ4又は5を制御し、基準姿勢の対象物2の画像を撮像、A/Dコンバータ21でデジタル化し、画像メモリ22に基準画像データとして記憶させる。
(1) Imaging (step s1)
The image processing device 20 controls the designated camera 4 or 5, picks up an image of the target object 2 in the reference posture, digitizes it with the A / D converter 21, and stores it in the image memory 22 as reference image data.

(2)特徴抽出(ここではコーナー抽出)処理(ステップs2)
撮像した基準画像についてコーナー抽出処理を行う。コーナー抽出は、例えばHarrisやSUSANなど、コーナー抽出器を用いて行えばよい。図6(A)に例示するようなコーナー抽出結果は、作業用メモリ23に格納される。
(2) Feature extraction (here, corner extraction) processing (step s2)
Corner extraction processing is performed on the captured reference image. Corner extraction may be performed using a corner extractor such as Harris or SUSAN. The corner extraction result illustrated in FIG. 6A is stored in the work memory 23.

(3)投票空間作成(ステップs3)
作業用メモリ23に、図6(B)に例示するような投票空間を設ける。投票空間の桝目サイズは、撮像時刻変化、形状誤差等の許容誤差(マージン)を考慮して設定する。投票空間のサイズは、基準画像から抽出したコーナー座標のX、Y方向のエンベロプ(有効サイズ)を求め、マージンを加えて設定する。ここで、有効な投票空間の桝をすべて0クリアしておく。
(3) Voting space creation (step s3)
The working memory 23 is provided with a voting space as illustrated in FIG. The cell size of the voting space is set in consideration of an allowable error (margin) such as a change in imaging time and a shape error. The size of the voting space is set by obtaining an envelope (effective size) of the corner coordinates extracted from the reference image in the X and Y directions and adding a margin. Here, all the valid voting space traps are cleared to zero.

(4)対象物姿勢を変動(ステップs4)
吸着ノズル1をマシン制御装置10で制御することで、対象物2に、図7に例示する如く、回転、スケール、平行移動などアフィン変換で示すことができる変動を与える。
(4) Change the object posture (step s4)
By controlling the suction nozzle 1 with the machine control device 10, the object 2 is given a variation that can be represented by affine transformation, such as rotation, scale, and parallel movement, as illustrated in FIG.

具体的には、吸着ノズル1を回転、平行移動させることで、対象物2に回転、平行移動変動を与えることができる。回転角度は、例えば1度ずつなど、細かく回転させることが望ましいが、10度ずつなど大きく回転させても良い。また、カメラ4及び/又は5にズームレンズを取り付け、倍率を変えることで、対象物2に拡大/縮小等のスケール変動を与えることができる。このような方法で対象物2に変動を与える場合、どのような変動を与えたかが明確で、その通り、正確に対象物2を移動させることが必要となる。   Specifically, rotation and parallel movement fluctuations can be given to the object 2 by rotating and translating the suction nozzle 1. The rotation angle is desirably finely rotated, for example, by 1 degree, but may be greatly rotated by 10 degrees. In addition, by attaching a zoom lens to the cameras 4 and / or 5 and changing the magnification, scale fluctuations such as enlargement / reduction can be given to the object 2. When a change is given to the object 2 by such a method, it is clear what kind of change is given, and it is necessary to move the object 2 accurately.

このための機構がない場合は、画像データをアフィン変換させることによって、人工的に同等の画像データを生成し、使用してもかまわない。このとき、画像補間手法によって補間誤差が発生し、また、画質が劣化するので、ステップs3で考慮すべき許容誤差に加えておくことが望ましい。   If there is no mechanism for this purpose, the image data may be artificially generated and used by affine transformation of the image data. At this time, an interpolation error is generated by the image interpolation method, and the image quality deteriorates. Therefore, it is desirable to add to the allowable error to be considered in step s3.

(5)撮像(ステップs5)
ステップs4で対象物2及び/又はズームレンズの倍率を変動させた場合、再度撮像し、画像メモリ22に多値画像データとして記憶させる。なお、画像処理にてアフィン変換させて画像を作成した場合、撮像処理は不要である。
(5) Imaging (step s5)
When the magnification of the object 2 and / or the zoom lens is changed in step s4, the image is captured again and stored in the image memory 22 as multi-value image data. Note that when an image is created by affine transformation by image processing, imaging processing is not necessary.

(6)コーナー抽出処理(ステップs6)
ステップs5で撮像した画像データ、もしくは、ステップs4で生成した画像データに対して、コーナー抽出処理を行う。ステップs2と同等の処理となる。
(6) Corner extraction process (step s6)
A corner extraction process is performed on the image data captured in step s5 or the image data generated in step s4. The process is equivalent to step s2.

(7)コーナー点座標逆変換(ステップs7)
ステップs6で抽出したコーナー点の座標について、ステップs4で対象物に与えた変動の逆変換を行い、投票空間上の座標を算出する。
(7) Corner point coordinate inverse transformation (step s7)
With respect to the coordinates of the corner points extracted in step s6, inverse transformation of the fluctuation given to the object in step s4 is performed to calculate the coordinates in the voting space.

(8)投票(ステップs8)
図8に例示する如く、ステップs7で求めた投票座標を元に、ステップs3で設定したコーナー座標に対応する投票空間の桝目に投票する。
(8) Voting (Step s8)
As illustrated in FIG. 8, based on the voting coordinates obtained in step s7, a vote is voted on the voting space corresponding to the corner coordinates set in step s3.

ここでの投票処理は、ステップs2で抽出したコーナー座標に対応する桝目を中心に、その周囲の桝目に対して、真値を中心に距離が遠くなるほどスコアが小さくなるような重み付けした投票値を加算していく処理とすることができる。コーナー抽出器誤差や対象物の形状誤差を、投票空間の桝目サイズだけでなく、投票値の重み付けを加えることで、より誤差への対応力が上がり、精度の高い特徴点位置の抽出が可能となる。   In this voting process, weighted voting values are set such that the score decreases with increasing distance from the center of the square corresponding to the corner coordinates extracted in step s2, centering on the true value. It can be set as the process which adds. By adding not only the corner size of the voting space but also the voting value weighting to the corner extractor error and the object shape error, the ability to deal with errors is improved and feature point positions can be extracted with high accuracy. Become.

(9)集計(ステップs9)
必要な変動についての投票が終了したら、投票空間において、得票数が所定値、例えば1以上の点について、ラベリング処理を行い、図9に例示するような各ラベル塊の面積、最大得票数、総得票数、ラベル重心を算出する。図9において、桝目の濃度は得票数を示す。白部分は得票数が0、濃度が濃くなっている程、得票数が大きい。最大得票数が大きいものは、投票空間の桝目以内の誤差で変動に追随していることを示し、特徴点として適した点であることを示している。図9において、ラベル塊の輪郭線を太線で示している。ラベル塊の面積は、変動時の検出誤差の大きさを示す。ラベル塊の面積が許容値以内のものについては、総得票数/面積(平均得票数)でも評価する。ラベル塊の面積が許容値以上のものは、特徴点としては不適な点とみなして予め除外する。
(9) Aggregation (step s9)
When voting for necessary fluctuations is completed, a labeling process is performed for a point where the number of votes is a predetermined value, for example, 1 or more, in the voting space, and the area of each label block, the maximum number of votes, Calculate the number of votes and the center of gravity of the label. In FIG. 9, the density of the squares indicates the number of votes. The white part has a larger number of votes as the number of votes is 0 and the density is higher. The one with the largest maximum number of votes indicates that it follows the fluctuation with an error within the square of the voting space, and indicates that the point is suitable as a feature point. In FIG. 9, the outline of the label block is shown by a bold line. The area of the label block indicates the magnitude of detection error at the time of fluctuation. When the area of the label block is within the allowable value, the total number of votes / area (average number of votes) is also evaluated. If the area of the label block is larger than the allowable value, it is regarded as an unsuitable feature point and is excluded in advance.

その後、ラベル塊の最大得票数、平均得票数について、しきい値処理を行い、特徴点か否かを判定する。特徴点の座標は、ラベル塊の重心とする。   Thereafter, threshold processing is performed for the maximum number of votes and the average number of votes of the label block, and it is determined whether or not it is a feature point. The coordinates of the feature points are the center of gravity of the label block.

また、他の特徴点が近くに存在することは、誤検出の可能性を高めるので、指定距離以上、離れていることも抽出条件とする。図10に例示するように、得票数の順に特徴点の指定距離以内の近隣の特徴点を除外する。   In addition, the presence of other feature points in the vicinity increases the possibility of erroneous detection, so that it is also assumed that the distance is more than a specified distance. As illustrated in FIG. 10, neighboring feature points within a specified distance of feature points are excluded in order of the number of votes.

特徴点の得票数は、0〜1の値に正規化して、特徴点の付加情報として一緒に出力する。このデータはマッチング処理時の特徴点の重み係数として使用することができる。   The number of votes of feature points is normalized to a value of 0 to 1 and output together as additional information of feature points. This data can be used as a weighting factor for feature points during matching processing.

また、重み係数の高い注目特徴点から優先的に対応付けを行なうようにすれば、誤検出の可能性を下げ、効率良く位置決めができる。   Further, if the preferential association is performed from the feature point of interest having a high weighting coefficient, the possibility of erroneous detection is reduced and the positioning can be performed efficiently.

次に、本発明の第2実施形態として、第1実施形態よりも短時間で必要点を抽出する手法を示す。   Next, as a second embodiment of the present invention, a technique for extracting necessary points in a shorter time than the first embodiment will be described.

図11に第2実施形態の概要を示す。この第2実施形態では、図11(A)に例示するような基準画像から抽出した、図11(B)に例示するような特徴点座標を基準に、図11(C)に例示するような変動画像で特徴点が抽出し得る領域Aを、図11(D)に例示するように設定する。設定した領域Aに、図11(E)に例示するような特徴抽出処理を行い、図11(F)に例示する如く、特徴点Cが得られれば、基準画像上の点を必要点Cとし、特徴点が得られなければ、基準画像上の点を不要点C´として除去する。   FIG. 11 shows an outline of the second embodiment. In the second embodiment, as illustrated in FIG. 11C, the feature point coordinates as illustrated in FIG. 11B extracted from the reference image as illustrated in FIG. A region A from which feature points can be extracted in the variation image is set as illustrated in FIG. When feature extraction processing as illustrated in FIG. 11E is performed on the set area A and a feature point C is obtained as illustrated in FIG. 11F, a point on the reference image is set as the necessary point C. If a feature point is not obtained, a point on the reference image is removed as an unnecessary point C ′.

第1実施形態では、変動画像の全領域を特徴抽出対象としたのに対して、第2実施形態では、特徴抽出対象を領域Aに限定することで、特徴抽出にかかる時間を短縮し、高速に処理を行うことが可能となる。   In the first embodiment, the entire region of the fluctuation image is set as the feature extraction target. In the second embodiment, the feature extraction target is limited to the region A, so that the time required for feature extraction is shortened. It becomes possible to perform processing.

但し、第2実施形態では、基準画像から全ての必要点が抽出されていることが前提となる。図2(A)に示したように、必要点が基準画像から抽出されない場合には、変動画像に特徴抽出領域が設定されず、検出もれの原因となる。従って、基準画像から全ての特徴点が抽出されていることが保証されない場合は、第1実施形態の方が良い。   However, in the second embodiment, it is assumed that all necessary points are extracted from the reference image. As shown in FIG. 2A, when a necessary point is not extracted from the reference image, a feature extraction region is not set in the variation image, which causes a detection leak. Therefore, when it is not guaranteed that all feature points are extracted from the reference image, the first embodiment is better.

次に、図12のフローチャートに沿って、第2実施形態の処理手順を詳細に説明する。   Next, the processing procedure of the second embodiment will be described in detail along the flowchart of FIG.

(1)撮像(ステップs101)
図4に示した画像処理装置20は、指定されたカメラ4又は5を制御し、基準姿勢の対象物2の画像を撮像、A/Dコンバータ21でデジタル化し、画像メモリ22に基準画像データとして記憶させる(図11(A))。
(1) Imaging (step s101)
The image processing apparatus 20 shown in FIG. 4 controls the designated camera 4 or 5, picks up an image of the target object 2 in the reference posture, digitizes it with the A / D converter 21, and stores it as reference image data in the image memory 22. It is memorized (FIG. 11A).

(2)特徴抽出(ここではコーナー抽出)処理(ステップs102)
撮像した基準画像についてコーナーCの抽出処理を行う(図11(B))。コーナー抽出は、例えばHarrisやSUSANなど、コーナー抽出器を用いて行えばよい。コーナー抽出結果は作業用メモリ23に格納される。
(2) Feature extraction (here, corner extraction) processing (step s102)
The corner C is extracted from the captured reference image (FIG. 11B). Corner extraction may be performed using a corner extractor such as Harris or SUSAN. The corner extraction result is stored in the work memory 23.

(3)対象物姿勢を変動(ステップs103)
吸着ノズル1をマシン制御装置10で制御することで、対象物2に回転、スケール、平行移動などアフィン変換で示すことができる変動を与える(図11(C))。
(3) Change the object posture (step s103)
By controlling the suction nozzle 1 with the machine control device 10, a change that can be indicated by affine transformation such as rotation, scale, and parallel movement is given to the object 2 (FIG. 11C).

具体的には、吸着ノズル1を回転、平行移動させることで、対象物2に回転、平行移動変動を与えることができる。回転角度は、例えば1度ずつなど、細かく回転させることが望ましいが、10度ずつなど大きく回転させても良い。また、カメラ4及び/又は5にズームレンズを取り付け、倍率を変えることで、対象物2に拡大/縮小等のスケール変動を与えることができる。このような方法で対象物2に変動を与える場合、どのような変動を与えたかが明確で、その通り、正確に対象物2を移動させることが必要となる。   Specifically, rotation and parallel movement fluctuations can be given to the object 2 by rotating and translating the suction nozzle 1. The rotation angle is desirably finely rotated, for example, by 1 degree, but may be greatly rotated by 10 degrees. In addition, by attaching a zoom lens to the cameras 4 and / or 5 and changing the magnification, scale fluctuations such as enlargement / reduction can be given to the object 2. When a change is given to the object 2 by such a method, it is clear what kind of change is given, and it is necessary to move the object 2 accurately.

このための機構がない場合は、画像データをアフィン変換させることによって、人工的に同等の画像データを生成し、使用してもかまわない。   If there is no mechanism for this purpose, the image data may be artificially generated and used by affine transformation of the image data.

(4)撮像(ステップs104)
ステップs103で対象物2及び/又はズームレンズの倍率を変動させた場合、再度撮像し、画像メモリ22に多値画像データとして記憶させる。なお、画像処理にてアフィン変換した画像を作成した場合、ステップs104の撮像処理は不要である。
(4) Imaging (step s104)
When the magnification of the object 2 and / or the zoom lens is changed in step s103, the image is captured again and stored in the image memory 22 as multi-value image data. Note that when an affine-transformed image is created by image processing, the imaging process in step s104 is unnecessary.

(5)コーナー点座標変換(ステップs105)
ステップs102で抽出したコーナー点座標と対応する座標を、ステップs104で撮像した画像、もしくはステップs103で作成したアフィン変換画像上から求める。このとき、ステップs103で与えた変動量を用いて変換して対応付けする。
(5) Corner point coordinate conversion (step s105)
The coordinates corresponding to the corner point coordinates extracted in step s102 are obtained from the image captured in step s104 or the affine transformation image created in step s103. At this time, conversion is performed using the fluctuation amount given in step s103, and the association is performed.

ここで、ステップs103〜s105における基準画像の特徴点(コーナー)抽出に際して、第1実施形態のステップs4〜s8と同様の変動→投票によるコーナー抽出処理を行う。   Here, when extracting feature points (corners) of the reference image in steps s103 to s105, the same processing as steps s4 to s8 in the first embodiment is performed, and corner extraction processing by voting is performed.

(6)抽出領域設定(ステップs106)
ステップs105で求めた座標を中心に、一定の範囲を設けて特徴抽出領域Aを設定する(図11(D))。第1実施形態と異なり、コーナーを抽出する領域を絞り込むことで、処理時間を短縮することが可能となる。
(6) Extraction area setting (step s106)
A feature extraction area A is set by providing a certain range around the coordinates obtained in step s105 (FIG. 11D). Unlike the first embodiment, the processing time can be shortened by narrowing down the area from which corners are extracted.

(7)コーナー抽出処理(ステップs107)
ステップs106で設定した領域Aのみに対して、第1実施形態のステップs4〜s8と同様の変動→投票によるコーナー抽出処理を行う(図11(E))。コーナー点Cが得られた場合、基準画像上から抽出された点は必要点であると判断する。逆に、コーナー点が得られなかった場合、基準画像上から抽出された点を不要な点C’であると判断し、排除する(図11(F))。
(7) Corner extraction process (step s107)
For only the region A set in step s106, the same variation as in steps s4 to s8 in the first embodiment is performed, and corner extraction processing by voting is performed (FIG. 11E). When the corner point C is obtained, it is determined that the point extracted from the reference image is a necessary point. Conversely, if a corner point is not obtained, it is determined that the point extracted from the reference image is an unnecessary point C ′, and is eliminated (FIG. 11 (F)).

なお、前記説明においては、特徴点としてコーナー点が用いられていたが、特徴点の種類は、これに限定されない。   In the above description, corner points are used as feature points, but the types of feature points are not limited to these.

次に、前記のようにして抽出した特徴点が不足する場合に、エッジセグメントの形状特性に合わせて、境界追跡の起点、終点に不変性の高い点を設定して、境界追跡による特徴点の追加で、より安定した結果が得られるように工夫した第3実施形態の処理手順を、図13のフローチャートに沿って、詳細に説明する。   Next, when the feature points extracted as described above are insufficient, the boundary tracking start point and end point are set in accordance with the shape characteristics of the edge segment, and the feature points by boundary tracking are set. In addition, the processing procedure of the third embodiment devised so as to obtain a more stable result will be described in detail along the flowchart of FIG.

(1)撮像(ステップs201)
図4に示した画像処理装置20は、指定されたカメラ4又は5を制御し、図14に例示するような基準姿勢の対象物2´の画像を撮像、A/Dコンバータ21でデジタル化し、画像メモリ22に基準画像データとして記憶させる。
(1) Imaging (step s201)
The image processing apparatus 20 shown in FIG. 4 controls the designated camera 4 or 5, picks up an image of the object 2 ′ in the reference posture as exemplified in FIG. 14, digitizes it with the A / D converter 21, It is stored in the image memory 22 as reference image data.

(2)エッジ検出処理(ステップs202)
撮像した基準画像についてエッジ検出処理を行う。エッジは、例えばソーベルフィルタやガウシアンフィルタなどの、エッジ検出フィルタをかけ、しきい値処理することで検出する。各画素毎にエッジか否かを示すマークを付したエッジ検出結果は、作業用メモリ23に格納される。
(2) Edge detection process (step s202)
Edge detection processing is performed on the captured reference image. The edge is detected by applying an edge detection filter such as a Sobel filter or a Gaussian filter and performing threshold processing. An edge detection result with a mark indicating whether or not each pixel is an edge is stored in the work memory 23.

(3)コーナー度計算(ステップs203)
ステップs202で検出したエッジ点について、例えばHarrisやSUSANなど、コーナー抽出器を用いて、コーナーの角度に応じて、例えば180°の折返し(反転)コーナーは最高点、コーナーが無い直線は0点、90°のコーナーは中間点とされたコーナー度を計算する。計算結果は、各エッジ点の属性データとして、作業用メモリ23に格納される。
(3) Corner degree calculation (step s203)
For the edge point detected in step s202, for example, a corner extractor such as Harris or SUSAN is used, and for example, a 180 ° folded (reverse) corner is the highest point, and a straight line without a corner is 0 point, The 90 ° corner is calculated as the intermediate point. The calculation result is stored in the work memory 23 as attribute data of each edge point.

(4)ラベリングによるセグメント化(ステップs204)
ステップs202で検出したエッジ点についてラベリングを行い、隣接するエッジ点をつなぎ合わせ、幾つかのエッジセグメントを生成する。ここで、図15に例示する如く、近傍距離内で同一セグメント上に複数の特徴点が抽出された場合は、ステップs203で求めたコーナー度によって、例えば、i)コーナー度が小さい方を無視する、ii)加重平均を採用する等の方法で一つの特徴点にまとめ、不安定な点の抽出を防ぐ。
(4) Segmentation by labeling (step s204)
The edge points detected in step s202 are labeled, and adjacent edge points are connected to generate several edge segments. Here, as illustrated in FIG. 15, when a plurality of feature points are extracted on the same segment within the vicinity distance, for example, i) the smaller corner degree is ignored depending on the corner degree obtained in step s203. Ii) Combine the features into one feature point by using a weighted average, etc. to prevent the extraction of unstable points.

(5)エッジセグメントの形状特性判定処理(ステップs205)
ステップs204で求めたエッジセグメントを、図16に例示するように、開セグメント、折れ線を含みコーナー点がある閉セグメント、曲線のみで構成され、方向性のある閉曲線セグメント、円セグメントの4つのタイプに分類する。
(5) Edge segment shape characteristic determination processing (step s205)
As illustrated in FIG. 16, the edge segment obtained in step s204 is composed of only four types: an open segment, a closed segment including a broken line and having a corner point, and a curved line, and a directional closed curve segment and a circular segment. Classify.

具体的には、エッジセグメントは、まず、境界追跡を行った場合に起点に戻ってくることのできる閉セグメントと、起点と終点が端点となっている開セグメントの2種類に分類できる。   Specifically, the edge segment can be classified into two types: a closed segment that can return to the starting point when boundary tracking is performed, and an open segment that ends at the starting point and the ending point.

更に、閉セグメントは、コーナーがあり、折れ線を含む構成のものと、コーナーが一つもなく、曲線のみで構成されるものに2つに分類できる。後者の曲線のみで構成される場合は、更に、形状に方向性があるか、すなわち、円か否かで2つに分類できる。   Furthermore, the closed segment can be classified into two types, one having a corner and including a polygonal line, and one having only one corner and no curve. In the case of only the latter curve, it can be further classified into two depending on whether the shape has directionality, that is, whether it is a circle or not.

円であると判定した場合は、回転に対して不変性のある境界追跡の起点を設定することができず、これらの特徴点を利用するとノイズ成分としてマッチングの際に一致度を落とす点として働いてしまう。円については、エッジセグメント上にあえて特徴点を発生させない方が好結果を得ることができるので、重心(=中心)を特徴点とする。   If it is determined to be a circle, the origin of boundary tracking that is invariant to rotation cannot be set, and using these feature points will act as a noise component that reduces the degree of coincidence during matching. End up. As for a circle, a better result can be obtained if a feature point is not generated on the edge segment, so the center of gravity (= center) is used as the feature point.

(6)開セグメント時の起点設定(ステップs206)
ステップs204で開セグメントと判定された場合、不変性の高い特徴点として、最低2つの端点を持っていることになる。端点は、ステップs203で計算したコーナー度についても高い値を示すので、これを元に判定してもよいし、この点を仮の起点として境界追跡を行い、次の進むべき方向が180°反転する点かどうかをチェックすることで、確実に端点を起点とすることができる。
(6) Starting point setting at open segment (step s206)
If it is determined in step s204 that the segment is an open segment, it has at least two end points as highly invariant feature points. Since the end point also shows a high value for the corner degree calculated in step s203, the end point may be determined based on this value, and boundary tracking is performed using this point as a temporary starting point, and the next direction to be advanced is inverted by 180 °. By checking whether it is a point to be performed, the end point can be reliably set as the starting point.

(7)コーナー点を含む閉セグメントの起点設定(ステップs207)
エッジセグメントにコーナー点がある場合は、最もコーナー度が高い点を起点とすることで起点の不変性を高めることができ、それにより境界追跡により抽出される特徴点の不変性も高めることができる。確実に不変性の高いコーナー点であると判定できる点が複数ある場合は、それらの点で複数の開セグメントに分割し、処理しても構わない。
(7) Set start point of closed segment including corner point (step s207)
When there is a corner point in the edge segment, the invariance of the starting point can be increased by starting from the point with the highest corner degree, and thereby the invariance of the feature point extracted by boundary tracking can also be increased. . When there are a plurality of points that can be determined to be corner points with high invariance, the points may be divided into a plurality of open segments and processed.

(8)方向性のある閉曲線セグメントの起点設定(ステップs208)
コーナー点のない閉曲線セグメントであっても方向性がある、すなわち円でないものは慣性主軸を求めることができる。この主軸線と閉曲線セグメントの交点は、回転に対して不変性の高い点である。よって、この閉曲線セグメントを、この点で複数の開セグメントに分割し、処理することができる。
(8) Setting the starting point of a directional closed curve segment (step s208)
Even a closed curve segment without a corner point has directionality, that is, it is not a circle, the principal axis of inertia can be obtained. The intersection of the main axis and the closed curve segment is a point that is highly invariant to rotation. Thus, this closed curve segment can be split and processed at this point into a plurality of open segments.

(9)境界追跡による変曲点取得(ステップs209)
ステップs205によりエッジセグメントを4つにタイプ分けし、タイプ別にステップs206〜ステップs208の処理を行うことで、起点から終点までの連続的な画素列のかたまりに帰着させることができる。
(9) Inflection point acquisition by boundary tracking (step s209)
By dividing the edge segment into four types in step s205 and performing the processing in steps s206 to s208 for each type, it is possible to result in a continuous cluster of pixel rows from the start point to the end point.

ステップs209では、これらの一筆書きの曲線データを追跡し、曲率の高い点(起点〜終点間で最も離れている点)を抽出する。   In step s209, the one-stroke curve data is traced, and a point having a high curvature (a point farthest from the start point to the end point) is extracted.

曲率の高い点の抽出方法は、いろいろ考えられるが、例えば図17に示すような方法で得ることができる。まず、起点と終点を結ぶ直線に対して、画素列の中で一番遠い点を選ぶ。その点で画素列を2分して、それぞれの画素列に同様の処理を再帰的に繰り返す。このとき、線分と点との距離の最小値を決めておき、その値より小さくなれば再帰処理を終了するものとする。   Various methods for extracting a point having a high curvature are conceivable. For example, a method as shown in FIG. First, the farthest point in the pixel row is selected with respect to the straight line connecting the starting point and the ending point. At that point, the pixel column is divided into two, and the same processing is recursively repeated for each pixel column. At this time, the minimum value of the distance between the line segment and the point is determined, and if the value is smaller than that value, the recursive process is terminated.

この値を大きくすれば、大まかな折れ線近似曲線が得られ、より曲率の高い点に絞り込まれる。また、小さくすれば、より曲率の小さな点をも含む正確な折れ線近似曲線となるが、出力点は多くなる。この値は、対象物の形状に合わせて調整しなければならない。   If this value is increased, a rough polygonal approximate curve can be obtained and narrowed down to points with higher curvature. Moreover, if it is made smaller, an accurate broken line approximation curve including a point with a smaller curvature is obtained, but the number of output points is increased. This value must be adjusted to the shape of the object.

また、境界追跡区間の起点と終点が不変性の高い点であるので、等間隔で特徴点を発生させるような単純な方式を適用しても構わない。   Further, since the starting point and ending point of the boundary tracking section are highly invariant points, a simple method that generates feature points at equal intervals may be applied.

(10)ステップs205〜ステップs209の処理をエッジセグメント数だけ繰り返したら終了となる。 (10) When the processing from step s205 to step s209 is repeated for the number of edge segments, the processing ends.

この第3実施形態は、画像データからエッジ点を抽出し、隣接するエッジ点をつなぎ合わせてセグメント化し、エッジセグメントの形状を判定して、エッジセグメントの形状に合わせて境界追跡の起点と終点を設定することで、回転、スケール、平行移動などアフィン変換で示すことができる変動に対して安定し、かつ対応付けの取りやすい特徴点を選別することができる。   In the third embodiment, edge points are extracted from image data, adjacent edge points are connected and segmented, the shape of the edge segment is determined, and the start and end points of boundary tracking are determined according to the shape of the edge segment. By setting, it is possible to select feature points that are stable with respect to fluctuations that can be indicated by affine transformation such as rotation, scale, and parallel movement, and that can be easily associated.

ここで、前記起点と終点で与えられた区間を境界追跡し、曲率変化の高い点を検出して特徴点とすることができる。   Here, the section given by the starting point and the ending point is boundary-tracked, and a point having a high curvature change can be detected as a feature point.

又、前記起点と終点で与えられた区間の点の重心を求め、特徴点とすることができる。   In addition, the center of gravity of the points in the section given by the start point and the end point can be obtained and used as a feature point.

又、前記エッジ点にコーナー度を測るオペレータをかけ、その出力値を特徴点の評価値として記憶しておき、明確なコーナーを持つ折れ線セグメントか否かを判定することができる。   An operator that measures the corner degree is applied to the edge point, and the output value is stored as an evaluation value of the feature point, so that it can be determined whether or not the segment is a broken line segment having a clear corner.

又、エッジセグメントの境界を追跡し、閉セグメントか開セグメントかを判定することができる。   Also, the edge segment boundary can be tracked to determine whether it is a closed segment or an open segment.

又、折れ線セグメントでない閉セグメントの場合、円か否かを判定し、円でなければ、慣性主軸にて2つの開セグメントに分割して処理をすることができる。   In the case of a closed segment that is not a polygonal line segment, it is determined whether or not it is a circle, and if it is not a circle, it can be processed by being divided into two open segments by the inertia main axis.

又、円セグメントの場合、特徴点はセグメントの重心のみとし、エッジセグメント上の特徴点は削除することができる。   In the case of a circle segment, the feature point is only the center of gravity of the segment, and the feature point on the edge segment can be deleted.

又、ある近傍距離内で同一セグメント上に特徴点が複数抽出された場合は、特徴点の評価値(例えばコーナー度)で重み付けして一つの特徴点にまとめることができる。   In addition, when a plurality of feature points are extracted on the same segment within a certain neighborhood distance, they can be combined into one feature point by weighting with the evaluation value (for example, the degree of corner) of the feature points.

この第3実施形態によれば、次のような効果を奏する。   According to the third embodiment, the following effects can be obtained.

(1)不変点を境界追跡の起点とすることで、回転、スケール、平行移動などアフィン変換で示すことができる変動に対して、追随性が高い点を特徴点として抽出できるので、位置決め処理の対応点として用いる場合、位置決め精度の向上が期待できる。 (1) By using an invariant point as a starting point for boundary tracking, it is possible to extract a point having high followability as a feature point with respect to fluctuations that can be indicated by affine transformation such as rotation, scale, and parallel movement. When used as a corresponding point, an improvement in positioning accuracy can be expected.

(2)円の場合、セグメント上に不変点が存在しないので、特徴点はセグメントの重心のみとし、不安定なセグメント上の特徴点を削除して、特徴点の全体数を削減し、高速化することができる。 (2) In the case of a circle, there is no invariant point on the segment, so the feature point is only the center of gravity of the segment, and the feature point on the unstable segment is deleted, reducing the total number of feature points and speeding up. can do.

(3)不変点を境界追跡の起点とすることで、回転、スケール、平行移動などアフィン変換で示すことができる変動に対して、追随性が高い点を特徴点として抽出できるので、位置決め処理時の誤検出発生を抑制でき、誤検出検査の処理を簡略化できることで、安定した位置決めを高速に行うことができる。 (3) By using the invariant point as the starting point for boundary tracking, it is possible to extract a point having high follow-up as a feature point with respect to fluctuations that can be indicated by affine transformation such as rotation, scale, and parallel movement. The occurrence of false detection can be suppressed, and the process of false detection inspection can be simplified, so that stable positioning can be performed at high speed.

なお、前記実施形態においては、いずれも、本発明が、吸着ノズルによって吸着された対象物の画像の特徴点抽出に適用されていたが、本発明の適用対象は、これに限定されない。   In any of the above-described embodiments, the present invention is applied to feature point extraction of an image of an object sucked by a suction nozzle. However, the application target of the present invention is not limited to this.

1…吸着ノズル
2、2´…対象物
4…標準カメラ
5…高解像度カメラ
10…マシン制御装置
20…画像処理装置
22…画像メモリ
23…作業用メモリ
24…演算部
25…制御部
26…インタフェース
DESCRIPTION OF SYMBOLS 1 ... Suction nozzle 2, 2 '... Object 4 ... Standard camera 5 ... High resolution camera 10 ... Machine control apparatus 20 ... Image processing device 22 ... Image memory 23 ... Working memory 24 ... Calculation part 25 ... Control part 26 ... Interface

Claims (7)

画像データから特徴点を抽出するための画像特徴点抽出方法において、
画像を変動させて複数枚の画像データを取得し、
各画像データごとに特徴点を抽出し、
抽出した特徴点の変動前の画像データにおける位置を求め、
画像変動に追随して変動し複数の画像から共に抽出される特徴点のみを選択し、他の点を排除することを特徴とする画像特徴点抽出方法。
In an image feature point extraction method for extracting feature points from image data,
Acquire multiple image data by changing the image,
Extract feature points for each image data,
Find the position in the image data before the extracted feature points change,
An image feature point extraction method characterized by selecting only feature points that fluctuate following image variation and are extracted from a plurality of images, and exclude other points.
予想される特徴点の周辺に、所定領域に区分された投票空間を設定し、
画像を変動させる毎に、変動前の画像の投票空間に、真値を中心に距離が遠くなるほどスコアが小さくなるような重み付けした投票値を加算し、必要な変動についての投票が終了したら、投票空間において、得票数が所定値以上の点について、ラベリング処理を行い、
各ラベル塊の面積、最大得票数、総得票数、ラベル重心を算出し、
ラベル塊の最大得票数、平均得票数について、閾値処理を行って、特徴点か否かを判定し、
特徴点であると判定されたものについては、ラベル塊の重心を特徴点の座標とすることを特徴とする請求項1に記載の画像特徴点抽出方法。
Set up a voting space divided into predetermined areas around the expected feature points,
Each time the image is changed, a weighted voting value is added to the voting space of the image before the change so that the score decreases as the distance from the true value increases. In the space, the labeling process is performed for points where the number of votes is greater than or equal to a predetermined value.
Calculate the area of each label block, the maximum number of votes, the total number of votes, the label center of gravity,
Threshold processing is performed for the maximum number of votes and the average number of votes for a label block to determine whether or not it is a feature point.
The image feature point extraction method according to claim 1, wherein for those determined to be feature points, the center of gravity of the label block is used as the coordinates of the feature points.
前記特徴点の抽出を、予め設定した特徴抽出領域についてのみ行うこと特徴とする請求項1又は2に記載の画像特徴点抽出方法。   3. The image feature point extraction method according to claim 1, wherein the feature points are extracted only for a preset feature extraction region. 画像データからエッジ点を抽出し、隣接するエッジ点をつなぎ合わせてセグメント化し、エッジセグメントの形状を判定し、エッジセグメントの形状に合わせて境界追跡の起点と終点を設定して、特徴点を加えることを特徴とする請求項1乃至3のいずれかに記載の特徴点抽出方法。   Extract edge points from image data, connect adjacent edge points to segment, determine edge segment shape, set boundary tracking start and end points according to edge segment shape, add feature points The feature point extraction method according to claim 1, wherein the feature point is extracted. 前記起点と終点で与えられた区間を境界追跡し、曲率変化の高い点を検出して特徴点とすることを特徴とする請求項4に記載の特徴点抽出方法。   5. The feature point extracting method according to claim 4, wherein a boundary point is traced between the start point and the end point, and a point having a high curvature change is detected as a feature point. 前記起点と終点で与えられた区間の点の重心を求め、特徴点とすることを特徴とする請求項4に記載の特徴点抽出方法。   5. The feature point extraction method according to claim 4, wherein a centroid of points in a section given by the start point and the end point is obtained and used as a feature point. 前記エッジ点にコーナー度を測るオペレータをかけ、その出力値を特徴点の評価値として記憶しておき、明確なコーナーを持つ折れ線セグメントか否かを判定することを特徴とする請求項4に記載の特徴点抽出方法。   The operator who measures a corner degree is applied to the edge point, the output value is stored as an evaluation value of the feature point, and it is determined whether or not it is a polygonal line segment having a clear corner. Feature point extraction method.
JP2009191240A 2009-08-20 2009-08-20 Image feature point extraction method Active JP5468332B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009191240A JP5468332B2 (en) 2009-08-20 2009-08-20 Image feature point extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009191240A JP5468332B2 (en) 2009-08-20 2009-08-20 Image feature point extraction method

Publications (2)

Publication Number Publication Date
JP2011043969A JP2011043969A (en) 2011-03-03
JP5468332B2 true JP5468332B2 (en) 2014-04-09

Family

ID=43831362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009191240A Active JP5468332B2 (en) 2009-08-20 2009-08-20 Image feature point extraction method

Country Status (1)

Country Link
JP (1) JP5468332B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582707B2 (en) 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
JP5592308B2 (en) * 2011-05-19 2014-09-17 富士重工業株式会社 Environment recognition device
JP5820236B2 (en) * 2011-10-28 2015-11-24 キヤノン株式会社 Image processing apparatus and control method thereof
JP6221283B2 (en) * 2013-03-19 2017-11-01 富士通株式会社 Image processing apparatus, image processing method, and image processing program
JP6420605B2 (en) * 2014-09-24 2018-11-07 Kddi株式会社 Image processing device
EP3819897B1 (en) * 2018-07-02 2023-05-10 Nissan Motor Co., Ltd. Driving support method and driving support device
CN111369604B (en) * 2020-02-26 2023-10-13 广州海洋地质调查局 Terrain feature point extraction method and processing terminal based on grids
JP2022070648A (en) * 2020-10-27 2022-05-13 オムロン株式会社 Information processing device and information processing method
CN112348864B (en) * 2020-11-11 2022-10-11 湖南大学 Three-dimensional point cloud automatic registration method for laser contour features of fusion line
JP2022167586A (en) * 2021-04-23 2022-11-04 オムロン株式会社 Information processing device, information processing method, and control program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6295686A (en) * 1985-10-21 1987-05-02 Sumitomo Electric Ind Ltd Segment approximating method for ridgeline of object in picture
JP2735043B2 (en) * 1995-08-01 1998-04-02 日本電気株式会社 Imprint positioning method and imprint positioning device
JP4613617B2 (en) * 2005-01-07 2011-01-19 ソニー株式会社 Image processing system, learning apparatus and method, and program
JP4791919B2 (en) * 2006-09-14 2011-10-12 ダイハツ工業株式会社 Image processing device
JP4988408B2 (en) * 2007-04-09 2012-08-01 株式会社デンソー Image recognition device
JP2009042909A (en) * 2007-08-07 2009-02-26 Sanyo Electric Co Ltd Feature point detection device and moving image processor mounted therewith

Also Published As

Publication number Publication date
JP2011043969A (en) 2011-03-03

Similar Documents

Publication Publication Date Title
JP5468332B2 (en) Image feature point extraction method
CN107424160B (en) System and method for finding image central line by visual system
CN110163912B (en) Two-dimensional code pose calibration method, device and system
JP5699788B2 (en) Screen area detection method and system
US8401333B2 (en) Image processing method and apparatus for multi-resolution feature based image registration
JP4042780B2 (en) Object recognition method, object recognition program and storage medium thereof, and object recognition apparatus
CN109426814B (en) Method, system and equipment for positioning and identifying specific plate of invoice picture
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
JP6557943B2 (en) Image collation device, image sensor, processing system, and image collation method
JP2006252162A (en) Pattern recognition device and method therefor
CN106709500B (en) Image feature matching method
KR20080032856A (en) Recognition method of welding line position in shipbuilding subassembly stage
CN114529837A (en) Building outline extraction method, system, computer equipment and storage medium
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
JP5656768B2 (en) Image feature extraction device and program thereof
CN113989604A (en) Tire DOT information identification method based on end-to-end deep learning
CN111696072A (en) Color image line detection method, color image line detection device, electronic device, and storage medium
CN110288040B (en) Image similarity judging method and device based on topology verification
JP6037134B2 (en) Feature point association system, feature point association method, and program
CN111950554A (en) Identification card identification method, device, equipment and storage medium
JP4859061B2 (en) Image correction method, correction program, and image distortion correction apparatus
CN112815936B (en) Rapid all-sky-domain star map identification method and system for noise robustness
CN111684462B (en) Image matching method and vision system
CN104966283A (en) Imaging layered registering method
JP2022009474A (en) System and method for detecting lines in vision system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140129

R150 Certificate of patent or registration of utility model

Ref document number: 5468332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150