JP6944891B2 - How to identify the position in 3D space - Google Patents

How to identify the position in 3D space Download PDF

Info

Publication number
JP6944891B2
JP6944891B2 JP2018024687A JP2018024687A JP6944891B2 JP 6944891 B2 JP6944891 B2 JP 6944891B2 JP 2018024687 A JP2018024687 A JP 2018024687A JP 2018024687 A JP2018024687 A JP 2018024687A JP 6944891 B2 JP6944891 B2 JP 6944891B2
Authority
JP
Japan
Prior art keywords
image data
specifying
dimensional space
edge
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018024687A
Other languages
Japanese (ja)
Other versions
JP2019138859A (en
Inventor
耕太 原田
耕太 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KYB Corp
Original Assignee
KYB Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KYB Corp filed Critical KYB Corp
Priority to JP2018024687A priority Critical patent/JP6944891B2/en
Priority to PCT/JP2018/043430 priority patent/WO2019159479A1/en
Publication of JP2019138859A publication Critical patent/JP2019138859A/en
Application granted granted Critical
Publication of JP6944891B2 publication Critical patent/JP6944891B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は３次元空間の位置の特定方法に関する。 The present invention relates to a method for specifying a position in a three-dimensional space.

対象物の表面に設けられる特徴部の三次元空間位置を確認する方法として光切断法が知られている。特許文献１には、孔を特徴部として光切断法を用いて、孔の外周とレーザ光との交点を抽出する抽出工程を経て、孔の三次元空間の位置を得る方法が開示されている。そして、この抽出工程でさらに正確に孔の外周を抽出するために、孔に照明を当てて孔、及び孔の周囲をカメラ撮影し、その画像から孔のエッジを抽出する技術が知られている。このエッジとレーザ光との交点を抽出することでより正確にエッジとレーザ光との交点の３次元座標点を求めることができ、この交点に基づいて算出することで、より正確に孔の３次元空間の位置を得ることができる。 The optical cutting method is known as a method for confirming the three-dimensional spatial position of a feature portion provided on the surface of an object. Patent Document 1 discloses a method of obtaining a position in a three-dimensional space of a hole through an extraction step of extracting an intersection between the outer periphery of the hole and a laser beam by using an optical cutting method with the hole as a characteristic portion. .. Then, in order to extract the outer circumference of the hole more accurately in this extraction step, a technique is known in which the hole is illuminated, the hole and the periphery of the hole are photographed with a camera, and the edge of the hole is extracted from the image. .. By extracting the intersection of this edge and the laser beam, the three-dimensional coordinate point of the intersection of the edge and the laser beam can be obtained more accurately, and by calculating based on this intersection, the hole 3 can be calculated more accurately. You can get the position in dimensional space.

特開昭６２−４７５０３号公報Japanese Unexamined Patent Publication No. 62-47503

しかし、孔を形成する際にパンチ加工等によって孔の外周の形状がダレた場合、孔に照明を当ててカメラ撮影すると、ダレの向きや角度によって、照明の光がダレを介して直接カメラに反射して、孔の一部が正確にカメラ撮影できないおそれがある。この場合、カメラ撮影した画像から孔のエッジを抽出する際に、孔の一部について正確にエッジを抽出できないおそれがある。
また、切削加工で孔を加工すると孔の周辺にバリが生じ得る。バリが生じた状態で孔、及び孔の周囲をカメラ撮影すると、カメラ撮影した画像からエッジを抽出する際に、バリが孔の一部であると誤認識して孔のエッジが抽出されるおそれがあり、孔の一部について正確にエッジが抽出できないおそれがある。そして、エッジが正確に抽出できていない部分とレーザ光との交点を抽出した場合、交点に基づいて算出された孔の三次元位置が正確に得られなくなる。この点を改善するには、孔とレーザ光との交点をなるべく多く抽出することが考えられるが、多くの交点を抽出するためにはスリット状のレーザ光を照射する位置を変更し、その度に画像を取り込んで演算する必要があるため、処理時間が大幅に増加することになる。 However, when the shape of the outer circumference of the hole is sagging due to punching when forming the hole, when the hole is illuminated and photographed by the camera, the light of the illumination directly reaches the camera through the sagging depending on the direction and angle of the sagging. There is a risk that some of the holes will not be accurately photographed by the camera due to reflection. In this case, when extracting the edge of the hole from the image taken by the camera, there is a possibility that the edge cannot be accurately extracted for a part of the hole.
Further, when a hole is machined by cutting, burrs may occur around the hole. If the hole and the surroundings of the hole are photographed with a camera in a state where burrs are generated, when extracting an edge from the image taken by the camera, the edge of the hole may be extracted by erroneously recognizing that the burr is a part of the hole. There is a risk that edges cannot be extracted accurately for some of the holes. Then, when the intersection of the laser beam and the portion where the edge cannot be accurately extracted is extracted, the three-dimensional position of the hole calculated based on the intersection cannot be accurately obtained. In order to improve this point, it is conceivable to extract as many intersections as possible between the holes and the laser beam, but in order to extract as many intersections as possible, the position of irradiating the slit-shaped laser beam is changed each time. Since it is necessary to capture the image and perform the calculation, the processing time will be significantly increased.

本発明は、上記従来の実情に鑑みてなされたものであって、処理時間の大幅な増加なしに対象物の表面に設けられた特徴部の３次元空間の位置を正確に特定する３次元空間の位置の特定方法を提供することを目的とする。 The present invention has been made in view of the above-mentioned conventional circumstances, and is a three-dimensional space that accurately specifies the position of the three-dimensional space of the feature portion provided on the surface of the object without significantly increasing the processing time. It is an object of the present invention to provide a method of identifying the position of.

第１発明の３次元空間の位置の特定方法は、光源、撮像部、及び情報処理部を用いて実行される。光源は対象物の表面に照射光を照射する。撮像部は対象物の様子を撮像して画像データを得る。情報処理部は画像データに基づいて演算する。
また、本発明の３次元空間の位置の特定方法は、第１撮像工程、表面特定工程、第２撮像工程、エッジ抽出工程、及び位置特定工程を備えている。
第１撮像工程は、光源から対象物の表面に向けて照射光を照射して、表面に照射光が照射された様子を撮像部で撮像して第１画像データを得る。
表面特定工程は、第１画像データにおける照射光の位置に基づいて対象物の表面の３次元空間の位置を情報処理部で演算して特定する。
第２撮像工程は、対象物の表面に設けられた所定の特徴部を撮像部で撮像して第２画像データを得る。
エッジ抽出工程は、第２画像データの所定の特徴部の外周からエッジを情報処理部で抽出する。
位置特定工程は、表面特定工程で特定した対象物の表面の３次元空間の位置におけるエッジの位置を情報処理部で演算して特定する。
表面特定工程は、第１画像データにおける所定の特徴部の周囲から離れた位置であって、所定の特徴部の外周縁から離れる方向に所定の寸法まで広がる領域内の前記照射光を用いる。 The method of specifying the position of the three-dimensional space of the first invention is executed by using the light source, the imaging unit, and the information processing unit. The light source irradiates the surface of the object with irradiation light. The image pickup unit captures the state of the object and obtains image data. The information processing unit calculates based on the image data.
Further, the method for specifying the position in the three-dimensional space of the present invention includes a first imaging step, a surface specifying step, a second imaging step, an edge extraction step, and a position specifying step.
In the first imaging step, the irradiation light is irradiated from the light source toward the surface of the object, and the state in which the irradiation light is irradiated on the surface is imaged by the imaging unit to obtain the first image data.
In the surface identification step, the information processing unit calculates and specifies the position of the surface of the object in the three-dimensional space based on the position of the irradiation light in the first image data.
In the second imaging step, a predetermined feature portion provided on the surface of the object is imaged by the imaging unit to obtain second image data.
In the edge extraction step, the information processing unit extracts an edge from the outer circumference of a predetermined feature portion of the second image data.
In the position specifying step, the information processing unit calculates and specifies the position of the edge in the three-dimensional space position of the surface of the object specified in the surface specifying step.
The surface identification step uses the irradiation light in a region that is located away from the periphery of the predetermined feature portion in the first image data and extends to a predetermined dimension in a direction away from the outer peripheral edge of the predetermined feature portion.

この３次元空間の位置の特定方法は、表面特定工程において、第１画像データに基づいて対象物の表面の３次元面を特定した後、位置特定工程において、第２画像データに基づいて表面特定工程で特定した対象物の表面の３次元面の位置における、特徴部から抽出したエッジの位置を求めることができる。つまり、この３次元空間の位置の特定方法は、予め所定の特徴部が設けられた対象物の表面の３次元面を先に演算して特定する。そして、所定の特徴部におけるエッジが、３次元面の位置のいずれかに位置するかを特定する。つまり、この３次元空間の位置の特定方法は、対象物の表面に設けられた所定の特徴部のエッジと照射光との交点を複数取得するための複数の画像データを得る手間が掛からない。また、所定の特徴部の外縁部が加工等によって変形していても、この変形の影響を受けることなく正確に対象物の表面の３次元空間の位置を特定することができる。 In this method of specifying the position of the three-dimensional space, in the surface specifying step, after specifying the three-dimensional surface of the surface of the object based on the first image data, in the position specifying step, the surface is specified based on the second image data. It is possible to obtain the position of the edge extracted from the feature portion at the position of the three-dimensional surface of the surface of the object specified in the step. That is, in this method of specifying the position of the three-dimensional space, the three-dimensional surface of the surface of the object provided with the predetermined feature portion in advance is calculated and specified first. Then, it is specified whether the edge in the predetermined feature portion is located at any of the positions of the three-dimensional plane. That is, this method of specifying the position in the three-dimensional space does not require the trouble of obtaining a plurality of image data for acquiring a plurality of intersections between the edge of a predetermined feature portion provided on the surface of the object and the irradiation light. Further, even if the outer edge portion of the predetermined feature portion is deformed by processing or the like, the position of the surface of the object in the three-dimensional space can be accurately specified without being affected by this deformation.

したがって、本発明の３次元空間の位置の特定方法は、処理時間の大幅な増加なしに対象物の表面に設けられた特徴部の３次元空間の位置を正確に特定することができる。 Therefore, the method for specifying the position of the three-dimensional space of the present invention can accurately specify the position of the feature portion provided on the surface of the object without significantly increasing the processing time.

第２発明の３次元空間の位置の特定方法は、光源、撮像部、及び情報処理部を用いて実行される。光源は対象物の表面に照射光を照射する。撮像部は対象物の様子を撮像して画像データを得る。情報処理部は画像データに基づいて演算する。
また、本発明の３次元空間の位置の特定方法は、第１撮像工程、表面特定工程、第２撮像工程、エッジ抽出工程、位置特定工程、及び特徴量抽出工程を備えている。
第１撮像工程は、光源から対象物の表面に向けて照射光を照射して、表面に照射光が照射された様子を撮像部で撮像して第１画像データを得る。
表面特定工程は、第１画像データにおける照射光の位置に基づいて対象物の表面の３次元空間の位置を情報処理部で演算して特定する。
第２撮像工程は、対象物の表面に設けられた所定の特徴部を撮像部で撮像して第２画像データを得る。
エッジ抽出工程は、第２画像データの所定の特徴部の外周からエッジを情報処理部で抽出する。
位置特定工程は、表面特定工程で特定した対象物の表面の３次元空間の位置におけるエッジの位置を情報処理部で演算して特定する。
特徴量抽出工程は、位置特定工程において位置が特定されたエッジに基づいて、所定の特徴部の特徴量を抽出する。
この３次元空間の位置の特定方法は、表面特定工程において、第１画像データに基づいて対象物の表面の３次元面を特定した後、位置特定工程において、第２画像データに基づいて表面特定工程で特定した対象物の表面の３次元面の位置における、特徴部から抽出したエッジの位置を求めることができる。つまり、この３次元空間の位置の特定方法は、予め所定の特徴部が設けられた対象物の表面の３次元面を先に演算して特定する。そして、所定の特徴部におけるエッジが、３次元面の位置のいずれかに位置するかを特定する。つまり、この３次元空間の位置の特定方法は、対象物の表面に設けられた所定の特徴部のエッジと照射光との交点を複数取得するための複数の画像データを得る手間が掛からない。また、例えば所定の特徴部の外形が円形である場合、特徴量として直径や、中心の座標を求めることができる。
The method of specifying the position of the three-dimensional space of the second invention is executed by using the light source, the imaging unit, and the information processing unit. The light source irradiates the surface of the object with irradiation light. The image pickup unit captures the state of the object and obtains image data. The information processing unit calculates based on the image data.
Further, the method for specifying the position in the three-dimensional space of the present invention includes a first imaging step, a surface specifying step, a second imaging step, an edge extraction step, a position specifying step, and a feature amount extraction step.
In the first imaging step, the irradiation light is irradiated from the light source toward the surface of the object, and the state in which the irradiation light is irradiated on the surface is imaged by the imaging unit to obtain the first image data.
In the surface identification step, the information processing unit calculates and specifies the position of the surface of the object in the three-dimensional space based on the position of the irradiation light in the first image data.
In the second imaging step, a predetermined feature portion provided on the surface of the object is imaged by the imaging unit to obtain second image data.
In the edge extraction step, the information processing unit extracts an edge from the outer circumference of a predetermined feature portion of the second image data.
In the position specifying step, the information processing unit calculates and specifies the position of the edge in the three-dimensional space position of the surface of the object specified in the surface specifying step.
Feature amount extraction step, on the basis of the edge position specified in the position specifying step, extracts a feature value of the predetermined feature.
In this method of specifying the position of the three-dimensional space, in the surface specifying step, after specifying the three-dimensional surface of the surface of the object based on the first image data, in the position specifying step, the surface is specified based on the second image data. It is possible to obtain the position of the edge extracted from the feature portion at the position of the three-dimensional surface of the surface of the object specified in the step. That is, in this method of specifying the position of the three-dimensional space, the three-dimensional surface of the surface of the object provided with the predetermined feature portion in advance is calculated and specified first. Then, it is specified whether the edge in the predetermined feature portion is located at any of the positions of the three-dimensional plane. That is, this method of specifying the position in the three-dimensional space does not require the trouble of obtaining a plurality of image data for acquiring a plurality of intersections between the edge of a predetermined feature portion provided on the surface of the object and the irradiation light. Further, for example, when the outer shape of a predetermined feature portion is circular, the diameter and the coordinates of the center can be obtained as the feature amount.

本発明の３次元空間の位置の特定方法を実施する装置を示す概略的に示す回路図である。It is a circuit diagram which shows schematicly which shows the apparatus which carries out the method of specifying the position of 3D space of this invention. 本発明の３次元空間の位置の特定方法を実施する装置を示す概略図である。It is the schematic which shows the apparatus which carries out the method of specifying the position of a three-dimensional space of this invention. （Ａ）は対象物の表面に設けられた所定の特徴部にスリット光が照射された様子を撮像した第１画像データであり、（Ｂ）は対象物の表面に設けられた所定の特徴部にスリット光を照射する位置を（Ａ）の第１画像データに対して変更し、撮像した第１画像データであり、（Ｃ）は対象物の表面に設けられた所定の特徴部を撮像した第２画像データである。(A) is the first image data obtained by capturing a state in which a predetermined feature portion provided on the surface of the object is irradiated with slit light, and (B) is a predetermined feature portion provided on the surface of the object. The position of irradiating the slit light is changed with respect to the first image data of (A), and the image is the first image data. In (C), a predetermined feature portion provided on the surface of the object is imaged. This is the second image data. 対象物の表面の領域にのみスリット光が照射された様子を撮像した第１画像データである。This is the first image data obtained by capturing a state in which the slit light is irradiated only to the surface region of the object. 本発明の３次元空間の位置の特定方法を示すフローチャートである。It is a flowchart which shows the method of specifying the position of 3D space of this invention.

本発明の３次元空間の位置の特定方法を具体化した実施形態について、図面を参照しつつ説明する。 An embodiment embodying a method for specifying a position in a three-dimensional space of the present invention will be described with reference to the drawings.

＜実施形態＞
先ず、本発明の３次元空間の位置の特定方法を実行する装置１について、図１、２を参照しつつ説明する。装置１は公知の光切断法を実行することができる。装置１は、図１に示すように、光源Ｌ、撮像部であるカメラＣ、及び情報処理部１２を備えている。また、光源Ｌは、情報処理部１２によって動作が制御されるサーボモータＭによって所定の一方向に移動自在に構成されている。装置１では、対象物であるワークＷの表面に設けられた特徴部のワークＷの表面における位置を特定することができる。ここで、ワークＷの表面に形成された所定の特徴部とは、例えば、孔、突起、溝、リブ、及び塗装や印刷による文字や模様の形状等である。本実施形態ではワークＷの表面に形成された所定の特徴部として孔Ｓを例示して説明する。また、３次元面を特定する方法として、公知の「光レーダ法」等の他の方法も挙げられるが、本実施形態において光切断法を例示して説明する。 <Embodiment>
First, the device 1 that executes the method of specifying the position in the three-dimensional space of the present invention will be described with reference to FIGS. 1 and 2. The device 1 can carry out a known photocutting method. As shown in FIG. 1, the device 1 includes a light source L, a camera C which is an imaging unit, and an information processing unit 12. Further, the light source L is configured to be movable in a predetermined direction by a servomotor M whose operation is controlled by the information processing unit 12. In the device 1, the position of the feature portion provided on the surface of the work W, which is the object, on the surface of the work W can be specified. Here, the predetermined feature portion formed on the surface of the work W is, for example, a hole, a protrusion, a groove, a rib, and a shape of a character or a pattern by painting or printing. In the present embodiment, the hole S will be illustrated and described as a predetermined feature portion formed on the surface of the work W. Further, as a method for specifying a three-dimensional surface, other methods such as a known "optical radar method" can be mentioned, and the optical cutting method will be described as an example in the present embodiment.

光源Ｌは、図２に示すように、例えば、照射口Ｌ１から面状に拡がるレーザＬ２をワークＷ等に照射する構成となっている。つまり、光源Ｌで発生した面状に拡がるレーザＬ２はワークＷに照射されると照射光であるスリット状の光Ｌ３（以降、スリット光Ｌ３という）になる。つまり、光源ＬはワークＷの表面にスリット光Ｌ３を照射する。また、光源Ｌは、情報処理部１２によって動作が制御されるサーボモータＭによって、所定の方向Ｌ４に往復移動自在に構成されている。所定の方向Ｌ４は、例えば、ワークＷの表面に照射されたスリット光Ｌ３が、スリット光Ｌ３が伸びる方向に対して直角方向に移動する方向である。これによって、ワークＷの表面に照射されたスリット光Ｌ３のワークＷの表面に対する位置を変更することができる。 As shown in FIG. 2, the light source L is configured to irradiate the work W or the like with a laser L2 that spreads in a plane from the irradiation port L1, for example. That is, when the work W is irradiated with the laser L2 that spreads in a plane generated by the light source L, it becomes a slit-shaped light L3 (hereinafter, referred to as a slit light L3) that is irradiation light. That is, the light source L irradiates the surface of the work W with the slit light L3. Further, the light source L is configured to be reciprocally movable in a predetermined direction L4 by a servomotor M whose operation is controlled by the information processing unit 12. The predetermined direction L4 is, for example, a direction in which the slit light L3 irradiated on the surface of the work W moves in a direction perpendicular to the direction in which the slit light L3 extends. Thereby, the position of the slit light L3 irradiated on the surface of the work W with respect to the surface of the work W can be changed.

カメラＣは、例えば、ＣＣＤ等で構成された撮像素子Ｃ１、及びレンズＣ２等を有している。カメラＣはワークＷ等の様子を、レンズＣ２を介して撮像素子Ｃ１の表面に結像し、この結像を撮像素子Ｃ１によって撮像して画像データを得ることができる。つまり、カメラＣはワークＷの様子を撮像して画像データを得る。 The camera C has, for example, an image sensor C1 composed of a CCD or the like, a lens C2, or the like. The camera C can image the state of the work W or the like on the surface of the image sensor C1 via the lens C2, and image the image by the image sensor C1 to obtain image data. That is, the camera C captures the state of the work W and obtains image data.

ここで、光源Ｌ、カメラＣ、撮像素子Ｃ１、及びレンズＣ２の位置関係について説明する。光源Ｌは所定の方向Ｌ４に往復移動自在である。このため、光源ＬとカメラＣのレンズＣ２との間の寸法Ｄは光源Ｌの往復移動に伴い変化する。ここで寸法Ｄは、カメラＣのレンズＣ２の中心Ｃcと光源Ｌの照射口Ｌ１の中心との間の寸法である。また、レンズＣ２の中心Ｃcと光源Ｌの照射口Ｌ１の中心とを通る架空の直線Ａと、レーザＬ２を照射する方向とが成す角度は、予め所定の角度θLに調整されている。光源Ｌが移動する所定の方向Ｌ４は架空の直線Ａが伸びる方向と同じである。
また、レンズＣ２の中心Ｃcと撮像素子Ｃ１との間の寸法Ｆも予め所定の大きさに調整されている。具体的には、撮像素子Ｃ１のレンズＣ２に対向する側の面（以降、撮像素子Ｃ１の表面という）に対して直角で撮像素子Ｃ１の中心を通る撮像素子Ｃ１の軸線とレンズＣ２の中心軸とが互いに架空の直線Ｂに位置している。寸法Ｆは架空の直線Ｂにおける、レンズＣ２の中心Ｃcと撮像素子Ｃ１の表面の中心との間の寸法である。また、架空の直線Ｂと架空の直線Ａとが成す角度は予め所定の角度θcに調整されている。 Here, the positional relationship between the light source L, the camera C, the image sensor C1, and the lens C2 will be described. The light source L can reciprocate in a predetermined direction L4. Therefore, the dimension D between the light source L and the lens C2 of the camera C changes with the reciprocating movement of the light source L. Here, the dimension D is the dimension between the center Cc of the lens C2 of the camera C and the center of the irradiation port L1 of the light source L. Further, the angle formed by the fictitious straight line A passing through the center Cc of the lens C2 and the center of the irradiation port L1 of the light source L and the direction of irradiating the laser L2 is adjusted to a predetermined angle θL in advance. The predetermined direction L4 in which the light source L moves is the same as the direction in which the fictitious straight line A extends.
Further, the dimension F between the center Cc of the lens C2 and the image sensor C1 is also adjusted to a predetermined size in advance. Specifically, the axis of the image sensor C1 and the central axis of the lens C2 passing through the center of the image sensor C1 at right angles to the surface of the image sensor C1 facing the lens C2 (hereinafter referred to as the surface of the image sensor C1). Are located on a fictitious straight line B with each other. The dimension F is the dimension between the center Cc of the lens C2 and the center of the surface of the image sensor C1 in the fictitious straight line B. Further, the angle formed by the fictitious straight line B and the fictitious straight line A is adjusted in advance to a predetermined angle θc.

情報処理部１２は本発明の３次元空間の位置の特定方法を実行することができる。具体的には、情報処理部１２はＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、及びＲＡＭ（ランダムアクセスメモリ）等を有している(図示せず。)。ＲＯＭはＣＰＵで実行される制御プログラム等を予め記憶する。ＣＰＵはＲＯＭに格納されたプログラム等を実行する。ＲＡＭはＣＰＵによって実行されたプログラムにしたがって動作する。情報処理部１２はカメラＣの撮像素子Ｃ１で撮像された画像データに基づいてワークＷの表面の３次元空間の位置や、ワークＷの表面の３次元空間の位置における所定の特徴部の位置を演算して特定することができる。つまり、情報処理部１２は画像データに基づいて演算する。 The information processing unit 12 can execute the method of specifying the position in the three-dimensional space of the present invention. Specifically, the information processing unit 12 has a ROM (read-only memory), a CPU (central processing unit), a RAM (random access memory), and the like (not shown). The ROM stores in advance a control program or the like executed by the CPU. The CPU executes a program or the like stored in the ROM. RAM operates according to a program executed by the CPU. The information processing unit 12 determines the position of the three-dimensional space on the surface of the work W and the position of the predetermined feature portion at the position of the three-dimensional space on the surface of the work W based on the image data captured by the image pickup element C1 of the camera C. It can be calculated and specified. That is, the information processing unit 12 calculates based on the image data.

次に、この装置１を用いてワークＷの表面の３次元面における所定の特徴部の位置を特定する３次元空間の位置の特定方法について図２〜５を参照しつつ説明する。 Next, a method of specifying the position of a predetermined feature portion on the three-dimensional surface of the surface of the work W using this device 1 will be described with reference to FIGS. 2 to 5.

先ず、表面に孔Ｓが形成されたワークＷを装置１の所定の位置に配置する。
具体的には、ワークＷの表面に形成された孔Ｓ（以降、孔Ｓという）、及びこの孔Ｓの周囲にスリット光Ｌ３が照射される向きで、且つカメラＣのレンズＣ２に孔Ｓを対向させてワークＷを装置１の所定の位置に配置する。つまり、孔Ｓ、及びこの孔Ｓの周囲にスリット光Ｌ３が照射された状態がカメラＣで撮像できる向きにしてワークＷを装置１の所定の位置に配置する。 First, the work W having the holes S formed on the surface thereof is placed at a predetermined position of the device 1.
Specifically, the hole S formed on the surface of the work W (hereinafter referred to as the hole S) and the direction in which the slit light L3 is irradiated around the hole S, and the hole S is formed in the lens C2 of the camera C. The work W is arranged at a predetermined position of the device 1 so as to face each other. That is, the work W is arranged at a predetermined position of the device 1 so that the hole S and the state in which the slit light L3 is irradiated around the hole S can be imaged by the camera C.

次に、光源ＬからワークＷの表面に設けられた孔Ｓに向けてスリット光Ｌ３を照射して、孔Ｓにスリット光Ｌ３が照射された様子をカメラＣで撮像して第１画像データを得る第１撮像工程を実行する（ステップＳ１）。
具体的には、ステップＳ１では、光源ＬからワークＷの表面にスリット光Ｌ３を照射する。このとき、図３（Ａ）、（Ｂ）に示すように、ワークＷの表面に照射されたスリット光Ｌ３は、孔Ｓ、及びこの孔Ｓの周囲に照射される。そして、カメラＣの撮像素子Ｃ１でスリット光Ｌ３が照射された状態の孔Ｓ、及びこの孔Ｓの周囲を撮像して第１画像データである画像データ１０Ａを得る。そして、光源Ｌを所定の方向Ｌ４に移動させて寸法Ｄを変更する（図２参照。）。そして、再び光源ＬからワークＷの表面にスリット光Ｌ３を照射して、カメラＣの撮像素子Ｃ１で孔Ｓ、及びこの孔Ｓの周囲を撮像して第１画像データである画像データ１０Ｂを得る。画像データ１０Ａ，１０Ｂにはスリット光Ｌ３の形状に対応した像Ｎ（以降、像Ｎという）、及び孔Ｓの形状に対応した像Ｔ（以降、像Ｔという）が含まれている。 Next, the slit light L3 is irradiated from the light source L toward the hole S provided on the surface of the work W, and the state in which the slit light L3 is irradiated to the hole S is imaged by the camera C to obtain the first image data. The first imaging step of obtaining is executed (step S1).
Specifically, in step S1, the slit light L3 is irradiated from the light source L to the surface of the work W. At this time, as shown in FIGS. 3A and 3B, the slit light L3 irradiated on the surface of the work W is irradiated on the hole S and the periphery of the hole S. Then, the image sensor C1 of the camera C images the hole S in the state where the slit light L3 is irradiated and the periphery of the hole S to obtain image data 10A which is the first image data. Then, the light source L is moved in the predetermined direction L4 to change the dimension D (see FIG. 2). Then, the surface of the work W is irradiated with the slit light L3 again from the light source L, and the hole S and the periphery of the hole S are imaged by the image sensor C1 of the camera C to obtain the image data 10B which is the first image data. .. The image data 10A and 10B include an image N (hereinafter referred to as an image N) corresponding to the shape of the slit light L3 and an image T (hereinafter referred to as an image T) corresponding to the shape of the hole S.

次に、画像データ１０Ａ，１０Ｂにおける像Ｎの位置に基づいてワークＷの表面の３次元面の位置を情報処理部１２で演算して特定する表面特定工程を実行する（ステップＳ２）。
具体的には、ステップＳ２では、図３（Ａ）、（Ｂ）に示すように、情報処理部１２によって、画像データ１０Ａ又は１０Ｂにおける像Ｔの領域Ｒ１を把握する。そして、像Ｔの周囲であり、且つ内径が像Ｔの外周より僅かに大きい円環状の領域Ｒ２を決定する。領域Ｒ２は像Ｔの外形形状に基づいており、像Ｔを囲み、像Ｔの周囲から所定の距離を設けている。また、領域Ｒ２の外周縁は像Ｔの外周縁から離れる方向に所定の寸法まで広がった領域内に位置するように決定される。所定の寸法はワークＷの表面における実際の大きさにおいておよそ３０ｍｍである。 Next, the surface identification step of calculating and specifying the position of the three-dimensional surface of the surface of the work W by the information processing unit 12 based on the position of the image N in the image data 10A and 10B is executed (step S2).
Specifically, in step S2, as shown in FIGS. 3A and 3B, the information processing unit 12 grasps the region R1 of the image T in the image data 10A or 10B. Then, an annular region R2 that is around the image T and whose inner diameter is slightly larger than the outer circumference of the image T is determined. The region R2 is based on the outer shape of the image T, surrounds the image T, and provides a predetermined distance from the periphery of the image T. Further, the outer peripheral edge of the region R2 is determined to be located in a region extending to a predetermined dimension in a direction away from the outer peripheral edge of the image T. The predetermined dimension is approximately 30 mm in actual size on the surface of the work W.

次に、像Ｎの中心線Ｅ１，Ｅ２を求める。具体的には、画像データ１０Ａ又は１０Ｂの像Ｎの幅方向における中心位置を求める。中心位置を求める方法として、例えば、像Ｎの幅方向の中心を中心位置とする方法や、像Ｎの幅方向において最も明るい位置を中心位置とする方法等がある。こうして得られた像Ｎの中心線Ｅ１，Ｅ２は１列に並んだ複数の点Ｐの集合である。これら点Ｐのそれぞれは画像データ１０Ａ又は１０Ｂにおける１ピクセルに対応している。また、１ピクセルの大きさはワークＷの表面おける実際の大きさにおいて、およそ０．１ｍｍ〜０．２ｍｍに対応している。 Next, the center lines E1 and E2 of the image N are obtained. Specifically, the center position of the image N of the image data 10A or 10B in the width direction is obtained. As a method for obtaining the center position, for example, there are a method in which the center in the width direction of the image N is set as the center position, a method in which the brightest position in the width direction of the image N is set as the center position, and the like. The center lines E1 and E2 of the image N thus obtained are a set of a plurality of points P arranged in a row. Each of these points P corresponds to one pixel in the image data 10A or 10B. Further, the size of 1 pixel corresponds to about 0.1 mm to 0.2 mm in the actual size on the surface of the work W.

次に、領域Ｒ２内に位置する中心線Ｅ１，Ｅ２の点Ｐを把握する。具体的には、図３（Ａ）、（Ｂ）に示すように、中心線Ｅ１，Ｅ２を構成する複数の点Ｐの内、領域Ｒ２内に位置する任意の点Ｐxを把握する。ここで、xは任意の正の整数であり、点Ｐxが領域Ｒ２内に位置する点Ｐの内の任意の１点であることを示す。つまり、表面特定工程は画像データ１０Ａ，１０Ｂにおける孔Ｓの周囲から所定の距離離れた位置のスリット光Ｌ３の形状に対応した像Ｎを用いる。 Next, the points P of the center lines E1 and E2 located in the region R2 are grasped. Specifically, as shown in FIGS. 3A and 3B, any point Px located in the region R2 among the plurality of points P constituting the center lines E1 and E2 is grasped. Here, x is an arbitrary positive integer, indicating that the point Px is any one of the points P located in the region R2. That is, in the surface specifying step, the image N corresponding to the shape of the slit light L3 at a position separated from the periphery of the hole S in the image data 10A and 10B by a predetermined distance is used.

次に、点Ｐxのそれぞれの３次元空間の位置の座標を求める。ここで、３次元空間の位置を表す座標系の基準（原点）はカメラＣのレンズＣ２の中心Ｃcである。つまり、この座標系におけるカメラＣのレンズＣ２の中心Ｃcの座標は（０，０，０）である。 Next, the coordinates of the position of each point Px in the three-dimensional space are obtained. Here, the reference (origin) of the coordinate system representing the position in the three-dimensional space is the center Cc of the lens C2 of the camera C. That is, the coordinates of the center Cc of the lens C2 of the camera C in this coordinate system are (0,0,0).

ここで、領域Ｒ２内に位置する任意の点Ｐxの３次元空間の位置の座標を求める方法について図２、３を参照しつつ説明する。先ず、レンズＣ２の中心Ｃcに対する点Ｐxの位置を把握する。点Ｐxは撮像素子Ｃ１の表面のいずれかに位置している。具体的には、点Ｐxは撮像素子Ｃ１の表面の中心から撮像素子Ｃ１の表面に沿う方向であるＵ方向、及びＶ方向にそれぞれｐu，ｐv離れた場所に位置している。つまり、撮像素子Ｃ１の表面の中心が撮像素子Ｃ１の表面の座標系の基準（原点）であり、この座標系における点Ｐxの座標は（ｐu，ｐv）である。
また、レンズＣ２の中心Ｃcと撮像素子Ｃ１の表面の中心との間の寸法はＦである。つまり、レンズＣ２の中心Ｃcに対する点Ｐxの位置、すなわち、点Ｐxの３次元空間の位置の座標は（ｐu，ｐv，Ｆ）である。
ここで、レンズＣ２の中心Ｃcと光源Ｌの照射口Ｌ１の中心との間の寸法はＤである。また、レンズＣ２の中心Ｃcと光源Ｌの照射口Ｌ１とを通る架空の直線Ａと、光源Ｌからスリット光Ｌ３を照射する方向とが成す角度はθLである。また、撮像素子Ｃ１の中心線とレンズＣ２の中心軸とが互いに位置する架空の直線Ｂと、架空の直線Ａとが成す角度は予め所定の角度θcである。こうして得られた点Ｐxの座標（ｐu，ｐv，Ｆ）、寸法Ｄ、角度θL、及び角度θcを用いて公知の３角測量法を実行することによって、点Ｐxの３次元空間の位置の座標Ｋx（Ｋxx，Ｋxy，Ｋxz）を求めることができる。
こうして、領域Ｒ２内に位置する任意の点Ｐxのそれぞれについて上記の方法を実行して、各点Ｐxのそれぞれの３次元空間の位置の座標Ｋxを求めることができる。 Here, a method of obtaining the coordinates of the position of an arbitrary point Px located in the region R2 in the three-dimensional space will be described with reference to FIGS. 2 and 3. First, the position of the point Px with respect to the center Cc of the lens C2 is grasped. The point Px is located on any surface of the image sensor C1. Specifically, the points Px are located at locations pu and pv apart from the center of the surface of the image sensor C1 in the U direction and the V direction, which are directions along the surface of the image sensor C1. That is, the center of the surface of the image sensor C1 is the reference (origin) of the coordinate system of the surface of the image sensor C1, and the coordinates of the point Px in this coordinate system are (pu, pv).
Further, the dimension between the center Cc of the lens C2 and the center of the surface of the image sensor C1 is F. That is, the position of the point Px with respect to the center Cc of the lens C2, that is, the coordinates of the position of the point Px in the three-dimensional space are (pu, pv, F).
Here, the dimension between the center Cc of the lens C2 and the center of the irradiation port L1 of the light source L is D. Further, the angle formed by the fictitious straight line A passing through the center Cc of the lens C2 and the irradiation port L1 of the light source L and the direction of irradiating the slit light L3 from the light source L is θL. Further, the angle formed by the fictitious straight line B in which the center line of the image sensor C1 and the central axis of the lens C2 are located at each other and the fictitious straight line A is a predetermined angle θc in advance. By executing a known trigonal survey method using the coordinates (pu, pv, F) of the point Px thus obtained, the dimensions D, the angle θL, and the angle θc, the coordinates of the position of the point Px in the three-dimensional space. Kx (Kxx, Kxy, Kxz) can be obtained.
In this way, the above method can be executed for each of the arbitrary points Px located in the region R2, and the coordinates Kx of the position of each point Px in the three-dimensional space can be obtained.

次に、座標ＫxからワークＷの表面を近似する関数Ｇpを求める。ここで、孔Ｓが設けられたワークＷの表面は平面である場合について説明する。平面は互いに１つの直線上に位置しない任意の３点で特定できる。このため、座標Ｋxの内の互いに１つの直線上に位置しない任意の少なくとも３つの座標を選ぶ。
具体的には、図３（Ａ）、（Ｂ）に示すように、領域Ｒ２内に位置する任意の点Ｐxから、３つの点Ｐ１、Ｐ２、Ｐ３のそれぞれに対応する座標Ｋ１（Ｋ１x，Ｋ１y，Ｋ１z）、Ｋ２（Ｋ２x，Ｋ２y，Ｋ２z）、Ｋ３（Ｋ３x，Ｋ３y，Ｋ３z）を選ぶ。なお、３つの点Ｐ１、Ｐ２、Ｐ３は、互いの間の距離がより離れているほうが、ワークＷの表面をより正確に近似する関数Ｇpを求めることができる。このため、３つの座標Ｋ１、Ｋ２、Ｋ３は、領域Ｒ２と像Ｎの中心線Ｅ１，Ｅ２とが交差する部分において、孔Ｓの一方側、及び他方側から１つずつ選ぶことが好ましい。こうして選んだ座標Ｋxの内の任意の３つの座標Ｋ１、Ｋ２、Ｋ３を用いて孔Ｓが形成されたワークＷの表面を近似する平面の関数Ｇpを求めることができる。また、図４に示すように、スリット光Ｌ３が領域Ｒ２にのみ照射されている場合でも平面の関数Ｇpを求めることができる。そして、このとき、領域Ｒ２内に位置する任意の点Ｐxから３つの点Ｐ１、Ｐ２、Ｐ３を選ぶ場合、互いの点の間の距離がより離れているほうが、ワークＷの表面をより正確に近似する関数Ｇpを求めることができる。
また、座標Ｋxの内の任意の他の少なくとも３つの座標（すなわち、Ｋ１、Ｋ２、Ｋ３でない任意の少なくとも３つの座標）を改めて選び、ワークＷの表面を近似する関数Ｇpを求める工程を所定の回数繰り返す。そして、関数Ｇpが同じ、又は近い値の結果が出現する度合いを判別することによって、より正確にワークＷの表面を近似する関数Ｇpを求めることができる。 Next, the function Gp that approximates the surface of the work W is obtained from the coordinates Kx. Here, a case where the surface of the work W provided with the holes S is a flat surface will be described. Planes can be specified at any three points that are not located on one straight line with each other. Therefore, at least three arbitrary coordinates within the coordinates Kx that are not located on one straight line with each other are selected.
Specifically, as shown in FIGS. 3A and 3B, the coordinates K1 (K1x, K1y) corresponding to each of the three points P1, P2, and P3 from an arbitrary point Px located in the region R2. , K1z), K2 (K2x, K2y, K2z), K3 (K3x, K3y, K3z). It should be noted that the more distant the three points P1, P2, and P3 are from each other, the more accurately the function Gp that approximates the surface of the work W can be obtained. Therefore, it is preferable that the three coordinates K1, K2, and K3 are selected one by one from one side and the other side of the hole S at the portion where the region R2 and the center lines E1 and E2 of the image N intersect. Using any three coordinates K1, K2, and K3 among the coordinates Kx selected in this way, it is possible to obtain a function Gp of a plane that approximates the surface of the work W in which the hole S is formed. Further, as shown in FIG. 4, even when the slit light L3 is irradiated only on the region R2, the plane function Gp can be obtained. At this time, when three points P1, P2, and P3 are selected from an arbitrary point Px located in the region R2, the more the distance between the points is, the more accurately the surface of the work W is. The function Gp to be approximated can be obtained.
Further, a step of reselecting any other at least three coordinates (that is, any at least three coordinates other than K1, K2, and K3) within the coordinates Kx and obtaining a function Gp that approximates the surface of the work W is predetermined. Repeat the number of times. Then, the function Gp that more accurately approximates the surface of the work W can be obtained by determining the degree to which the results having the same or similar values of the function Gp appear.

次に、孔ＳをカメラＣで撮像して第２画像データを得る第２撮像工程を実行する（ステップＳ３）。
具体的には、ステップＳ３では、カメラＣの撮像素子Ｃ１でスリット光Ｌ３が照射されていない状態の孔Ｓ、及びこの孔Ｓの周囲を撮像して第２画像データである画像データ１０Ｃを得る（図３（Ｃ）参照。）。画像データ１０Ｃには孔Ｓの形状に対応した像Ｔが含まれている。
そして、公知の方法を用いて像Ｔのエッジ（すなわち、所定の特徴部の外周である孔Ｓから抽出したエッジ）であるエッジＴe（縁）を情報処理部１２で抽出するエッジ抽出工程を実行する（ステップＳ４）。エッジＴeは像Ｔの周縁に沿って並んだ複数の点Ｑの集合である。エッジＴeである複数の点Ｑのそれぞれは画像データ１０Ｃにおける１ピクセルに対応している。１ピクセルの大きさはワークＷの表面おける実際の大きさにおいて、およそ０．１ｍｍ〜０．２ｍｍに対応している。 Next, the second imaging step of acquiring the second image data by imaging the hole S with the camera C is executed (step S3).
Specifically, in step S3, the image sensor C1 of the camera C images the hole S in a state where the slit light L3 is not irradiated, and the periphery of the hole S to obtain image data 10C which is the second image data. (See FIG. 3 (C).). The image data 10C includes an image T corresponding to the shape of the hole S.
Then, using a known method, the information processing unit 12 executes an edge extraction step of extracting the edge Te (edge) which is the edge of the image T (that is, the edge extracted from the hole S which is the outer circumference of the predetermined feature portion). (Step S4). The edge Te is a set of a plurality of points Q arranged along the periphery of the image T. Each of the plurality of points Q, which is the edge Te, corresponds to one pixel in the image data 10C. The size of 1 pixel corresponds to about 0.1 mm to 0.2 mm in the actual size on the surface of the work W.

次に、表面特定工程で特定したワークＷの表面の３次面の位置における画像データ１０Ｃの像ＴのエッジＴeの位置を情報処理部１２で演算して特定する位置特定工程を実行する（ステップＳ５）。
具体的には、ステップＳ５では、複数の点Ｑのそれぞれの３次元空間の位置の座標を求める。この座標系の基準（原点）はカメラＣのレンズＣ２の中心Ｃcである。この座標系におけるカメラＣのレンズＣ２の中心Ｃcの座標は（０，０，０）である。
ここで、画像データ１０ＣのエッジＴeである複数の点Ｑの内の任意の点Ｑxの３次元空間の位置の座標を求める方法について図２、３を参照しつつ説明する。先ず、レンズＣ２の中心Ｃcに対する点Ｑxの位置を把握する。点Ｑxは撮像素子Ｃ１の表面のいずれかに位置している。具体的には、点Ｑxは撮像素子Ｃ１の表面の中心から撮像素子Ｃ１の表面に沿う方向であるＵ方向、及びＶ方向にそれぞれｑu，ｑv離れた場所に位置している。つまり、撮像素子Ｃ１の表面の中心が撮像素子Ｃ１の表面の座標系の基準（原点）であり、撮像素子Ｃ１の表面の座標系における点Ｑxの座標は（ｑu，ｑv）である。
また、レンズＣ２の中心Ｃcと撮像素子Ｃ１の表面の中心との間の寸法はＦである。つまり、レンズＣ２の中心Ｃcに対する点Ｑxの位置、すなわち、点Ｑxの３次元空間の位置の座標は（ｑu，ｑv，Ｆ）である。
次に、点Ｑx及びレンズＣ２の中心Ｃcを通る直線を表す関数Ｇsを求める。具体的には、直線の関数Ｇsは任意の２点を用いて求めることができる。つまり、点Ｑxの座標（ｑu，ｑv，Ｆ）、及びレンズＣ２の中心Ｃcの座標（０，０，０）を用いることによって点ＱxとレンズＣ２の中心Ｃcを通る直線を表す関数Ｇsを求めることができる。
そして、直線を表す関数Ｇsと、ワークＷの表面を近似する関数Ｇpとが交差する点である座標Ｅx（Ｅxx，Ｅxy，Ｅxz）を求める。
こうして、エッジＴeを構成するＱxのそれぞれについて上記の方法を実行して、各点Ｑxのそれぞれの３次元空間の位置の座標Ｅxを求めることができる。 Next, the information processing unit 12 calculates and specifies the position of the edge Te of the image T of the image data 10C at the position of the tertiary surface of the surface of the work W specified in the surface specifying step (step). S5).
Specifically, in step S5, the coordinates of the positions of the plurality of points Q in the three-dimensional space are obtained. The reference (origin) of this coordinate system is the center Cc of the lens C2 of the camera C. The coordinates of the center Cc of the lens C2 of the camera C in this coordinate system are (0,0,0).
Here, a method of obtaining the coordinates of the position of an arbitrary point Qx in the three-dimensional space among the plurality of points Q which are the edges Te of the image data 10C will be described with reference to FIGS. 2 and 3. First, the position of the point Qx with respect to the center Cc of the lens C2 is grasped. The point Qx is located on any surface of the image sensor C1. Specifically, the points Qx are located at positions qu and qv apart from the center of the surface of the image sensor C1 in the U direction and the V direction, which are directions along the surface of the image sensor C1, respectively. That is, the center of the surface of the image sensor C1 is the reference (origin) of the coordinate system of the surface of the image sensor C1, and the coordinates of the point Qx in the coordinate system of the surface of the image sensor C1 are (qu, qv).
Further, the dimension between the center Cc of the lens C2 and the center of the surface of the image sensor C1 is F. That is, the position of the point Qx with respect to the center Cc of the lens C2, that is, the coordinates of the position of the point Qx in the three-dimensional space are (qu, qv, F).
Next, the function Gs representing the straight line passing through the point Qx and the center Cc of the lens C2 is obtained. Specifically, the linear function Gs can be obtained by using any two points. That is, by using the coordinates of the point Qx (qu, qv, F) and the coordinates of the center Cc of the lens C2 (0, 0, 0), the function Gs representing the straight line passing through the point Qx and the center Cc of the lens C2 is obtained. be able to.
Then, the coordinates Ex (Exx, Exy, Exz), which are the points where the function Gs representing the straight line and the function Gp that approximates the surface of the work W intersect, are obtained.
In this way, the above method can be executed for each of the Qxs constituting the edge Te, and the coordinate Ex of the position of each point Qx in the three-dimensional space can be obtained.

次に、孔Ｓの特徴量を計算して抽出する特徴量抽出工程を実行する（ステップＳ６）。ここで、特徴量とは特徴部の特徴を示す代表的な数値をいう。本実施例のように特徴部が円形の孔である場合、代表的な数値はこの孔の中心の座標や直径等である。本実施例では、座標Ｅxの内の任意の少なくとも３つの座標を用いて、孔Ｓの直径や、孔Ｓの中心の座標等を求める。つまり、特徴量は位置特定工程において位置が特定されたエッジＴeに基づいて抽出される。
また、座標Ｅxの内の任意の他の少なくとも３つの座標を改めて選び、孔Ｓの直径や、孔Ｓの中心の座標等を求める工程を所定の回数繰り返す。所定の回数は任意に設定される。そして、孔Ｓの直径や、孔Ｓの中心の座標等が同じ、又は近い値の結果が出現する度合いを判別することによって、より正確に孔Ｓの直径や、孔Ｓの中心の座標等を求めることができる。 Next, a feature amount extraction step of calculating and extracting the feature amount of the hole S is executed (step S6). Here, the feature amount means a typical numerical value indicating the feature of the feature portion. When the feature portion is a circular hole as in this embodiment, typical numerical values are the coordinates and diameter of the center of the hole. In this embodiment, the diameter of the hole S, the coordinates of the center of the hole S, and the like are obtained by using at least three arbitrary coordinates in the coordinates Ex. That is, the feature amount is extracted based on the edge Te whose position is specified in the position specifying step.
Further, at least three arbitrary coordinates in the coordinates Ex are selected again, and the process of obtaining the diameter of the hole S, the coordinates of the center of the hole S, and the like is repeated a predetermined number of times. The predetermined number of times is arbitrarily set. Then, by determining the degree to which the results of the same or similar values of the diameter of the hole S and the coordinates of the center of the hole S appear, the diameter of the hole S and the coordinates of the center of the hole S can be obtained more accurately. You can ask.

このように、この３次元空間の位置の特定方法は、表面特定工程において、画像データ１０Ａ又は１０Ｂに基づいてワークＷの表面の３次元面を特定した後、位置特定工程において、画像データ１０Ｃに基づいて表面特定工程で特定したワークＷの表面の３次元面の位置における、像ＴのエッジＴeの位置を求めることができる。つまり、この３次元空間の位置の特定方法は、予め孔Ｓが設けられたワークＷの表面の３次元面を先に演算して特定する。そして、孔Ｓに対応した像ＴにおけるエッジＴeが、特定したワークＷの表面の３次元面の位置のいずれかに位置するかを特定する。つまり、この３次元空間の位置の特定方法は、ワークＷの表面に設けられた孔Ｓに対応した像ＴにおけるエッジＴeを構成する点Ｑ毎に、画像データを得て演算する手間が掛からない。 As described above, in this method of specifying the position in the three-dimensional space, after the three-dimensional surface of the surface of the work W is specified based on the image data 10A or 10B in the surface specifying step, the image data 10C is used in the position specifying step. Based on this, the position of the edge Te of the image T at the position of the three-dimensional surface of the surface of the work W specified in the surface specifying step can be obtained. That is, in this method of specifying the position of the three-dimensional space, the three-dimensional surface of the surface of the work W in which the hole S is provided in advance is calculated first and specified. Then, it is specified whether the edge Te in the image T corresponding to the hole S is located at any of the positions of the three-dimensional planes on the surface of the specified work W. That is, this method of specifying the position in the three-dimensional space does not require the trouble of obtaining and calculating the image data for each point Q constituting the edge Te in the image T corresponding to the hole S provided on the surface of the work W. ..

したがって、本発明の３次元空間の位置の特定方法は、処理時間の大幅な増加なしにワークＷの表面に設けられた孔ＳのワークＷの表面における位置を正確に特定することができる。 Therefore, the method for specifying the position of the three-dimensional space of the present invention can accurately specify the position of the hole S provided on the surface of the work W on the surface of the work W without significantly increasing the processing time.

また、この表面特定工程は、画像データ１０Ａ又は１０Ｂにおける像Ｔの周囲から所定の距離離れた位置の像Ｎを用いる。このため、この３次元空間の位置の特定方法は、孔Ｓの外縁部が加工等によって変形していても、この変形の影響を受けることなく正確にワークＷの表面の３次元空間の位置を特定することができる。 Further, in this surface identification step, an image N at a position separated from the periphery of the image T in the image data 10A or 10B by a predetermined distance is used. Therefore, in this method of specifying the position of the three-dimensional space, even if the outer edge of the hole S is deformed by processing or the like, the position of the surface of the work W in the three-dimensional space can be accurately determined without being affected by this deformation. Can be identified.

また、この３次元空間の位置の特定方法は、位置特定工程において位置が特定されたエッジＴeに基づいて、像Ｔの特徴量を抽出する特徴量抽出工程とを備えている。これにより、外形が円形である像Ｔの特徴量である直径や、中心の座標を求めることができる。 Further, the method of specifying the position in the three-dimensional space includes a feature amount extraction step of extracting the feature amount of the image T based on the edge Te whose position is specified in the position specifying step. As a result, it is possible to obtain the diameter, which is a feature amount of the image T having a circular outer shape, and the coordinates of the center.

本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
（１）実施形態では、光源がレーザを発生するが、電球やＬＥＤ等を用いてスリット光を照射しても良い。この場合、スリットが設けられた板を介することによってワークの表面にスリット光が照射される。
（２）実施形態では、光源を所定の方向に移動させて、ワークにスリット光が照射される位置を変更して、複数の画像データを撮像しているが、ワークの表面に対して照射される位置が異なる複数のスリット光を同時にワークの表面に照射しても良い。
（３）実施形態では、スリット光が照射されていない状態のワークの孔、及びこの孔の周囲を撮像した画像データを用いてエッジを抽出しているが、スリット光が照射されている状態のワークの孔、及びこの孔の周囲を撮像した画像データを用いてエッジを抽出しても良い。
（４）実施形態では、ワークの表面が平面であるが、関数で近似できれば良く、曲面等の他の面であっても良い。
（５）実施形態では、撮像素子がＣＣＤで構成されているが、ＣＭＯＳ等の他のデバイスで撮像素子を構成しても良い。
（６）実施形態では、第１画像データを２つ撮像しているが、３つ以上であってもよい。
（７）実施形態では、３次元面の特定に光切断法を用いているが、「光レーダ法」「アクティブスレテオ法」「モアレ法」「干渉法」「ステレオ法」等の公知の方法を用いてもよい。
（８）実施形態の第１撮像工程では、スリット光が孔に重なった状態で照射されているが、スリット光が孔に重なっていない状態で照射されてもよい。 The present invention is not limited to the embodiments described in the above description and drawings, and for example, the following embodiments are also included in the technical scope of the present invention.
(1) In the embodiment, the light source generates a laser, but a light bulb, an LED, or the like may be used to irradiate the slit light. In this case, the slit light is irradiated to the surface of the work through the plate provided with the slit.
(2) In the embodiment, the light source is moved in a predetermined direction, the position where the slit light is irradiated to the work is changed, and a plurality of image data are imaged, but the surface of the work is irradiated. The surface of the work may be irradiated with a plurality of slit lights having different positions at the same time.
(3) In the embodiment, the edge is extracted using the hole of the work in the state where the slit light is not irradiated and the image data obtained by imaging the periphery of the hole, but the edge is extracted in the state where the slit light is irradiated. Edges may be extracted using image data obtained by capturing the holes in the work and the surroundings of the holes.
(4) In the embodiment, the surface of the work is flat, but it may be another surface such as a curved surface as long as it can be approximated by a function.
(5) In the embodiment, the image sensor is composed of a CCD, but the image sensor may be composed of another device such as CMOS.
(6) In the embodiment, two first image data are captured, but three or more may be captured.
(7) In the embodiment, the optical cutting method is used to identify the three-dimensional surface, but known methods such as "optical radar method", "active threadeo method", "moire method", "interferometry", and "stereo method" are used. You may use it.
(8) In the first imaging step of the embodiment, the slit light is irradiated in a state of overlapping the holes, but the slit light may be irradiated in a state of not overlapping the holes.

Ｃ…カメラ（撮像部）、Ｌ…光源、Ｓ…孔（所定の特徴部）、Ｔe…エッジ、Ｗ…ワーク（対象物）、１０Ａ，１０Ｂ…画像データ（第１画像データ）、１０Ｃ…画像データ（第２画像データ）、１２…情報処理部 C ... camera (imaging unit), L ... light source, S ... hole (predetermined feature unit), Te ... edge, W ... work (object), 10A, 10B ... image data (first image data), 10C ... image Data (second image data), 12 ... Information processing department

Claims (2)

対象物の表面に照射光を照射する光源と、
前記対象物の様子を撮像して画像データを得る撮像部と、
前記画像データに基づいて演算する情報処理部と、
を用いた３次元空間の位置の特定方法であって、
前記光源から前記対象物の表面に向けて前記照射光を照射して、前記表面に前記照射光が照射された様子を前記撮像部で撮像して第１画像データを得る第１撮像工程と、
前記第１画像データにおける前記照射光の位置に基づいて前記対象物の表面の３次元空間の位置を前記情報処理部で演算して特定する表面特定工程と、
前記対象物の表面に設けられた所定の特徴部を前記撮像部で撮像して第２画像データを得る第２撮像工程と、
前記第２画像データの前記所定の特徴部の外周からエッジを前記情報処理部で抽出するエッジ抽出工程と、
前記表面特定工程で特定した前記対象物の表面の３次元空間の位置における前記エッジの位置を前記情報処理部で演算して特定する位置特定工程と、
を備え、
前記表面特定工程は、前記第１画像データにおける前記所定の特徴部の周囲から離れた位置であって、前記所定の特徴部の外周縁から離れる方向に所定の寸法まで広がる領域内の前記照射光を用いることを特徴とする３次元空間の位置の特定方法。 A light source that irradiates the surface of an object with irradiation light,
An imaging unit that captures the state of the object and obtains image data,
An information processing unit that calculates based on the image data,
It is a method of specifying the position of the three-dimensional space using
A first imaging step of irradiating the surface of the object from the light source with the irradiation light and imaging the surface of the surface with the irradiation light by the imaging unit to obtain first image data.
A surface identification step of calculating and specifying a position in a three-dimensional space on the surface of the object based on the position of the irradiation light in the first image data by the information processing unit.
A second imaging step of obtaining a second image data by imaging a predetermined feature portion provided on the surface of the object with the imaging unit.
An edge extraction step of extracting an edge from the outer circumference of the predetermined feature portion of the second image data by the information processing unit, and
A position specifying step of calculating and specifying the position of the edge in the position of the surface of the object in the three-dimensional space specified in the surface specifying step by the information processing unit, and a position specifying step of specifying the position.
Equipped with a,
The surface identification step is a position away from the periphery of the predetermined feature portion in the first image data, and the irradiation light in a region extending to a predetermined dimension in a direction away from the outer peripheral edge of the predetermined feature portion. how to locate the three-dimensional space, characterized in that there use a. 対象物の表面に照射光を照射する光源と、
前記対象物の様子を撮像して画像データを得る撮像部と、
前記画像データに基づいて演算する情報処理部と、
を用いた３次元空間の位置の特定方法であって、
前記光源から前記対象物の表面に向けて前記照射光を照射して、前記表面に前記照射光が照射された様子を前記撮像部で撮像して第１画像データを得る第１撮像工程と、
前記第１画像データにおける前記照射光の位置に基づいて前記対象物の表面の３次元空間の位置を前記情報処理部で演算して特定する表面特定工程と、
前記対象物の表面に設けられた所定の特徴部を前記撮像部で撮像して第２画像データを得る第２撮像工程と、
前記第２画像データの前記所定の特徴部の外周からエッジを前記情報処理部で抽出するエッジ抽出工程と、
前記表面特定工程で特定した前記対象物の表面の３次元空間の位置における前記エッジの位置を前記情報処理部で演算して特定する位置特定工程と、
前記位置特定工程において位置が特定された前記エッジに基づいて、前記所定の特徴部の特徴量を抽出する特徴量抽出工程と、
を備えることを特徴とする３次元空間の位置の特定方法。 A light source that irradiates the surface of an object with irradiation light,
An imaging unit that captures the state of the object and obtains image data,
An information processing unit that calculates based on the image data,
It is a method of specifying the position of the three-dimensional space using
A first imaging step of irradiating the surface of the object from the light source with the irradiation light and imaging the surface of the surface with the irradiation light by the imaging unit to obtain first image data.
A surface identification step of calculating and specifying a position in a three-dimensional space on the surface of the object based on the position of the irradiation light in the first image data by the information processing unit.
A second imaging step of obtaining a second image data by imaging a predetermined feature portion provided on the surface of the object with the imaging unit.
An edge extraction step of extracting an edge from the outer circumference of the predetermined feature portion of the second image data by the information processing unit, and
A position specifying step of calculating and specifying the position of the edge in the position of the surface of the object in the three-dimensional space specified in the surface specifying step by the information processing unit, and a position specifying step of specifying the position.
A feature amount extraction step of extracting a feature amount of the predetermined feature portion based on the edge whose position is specified in the position specifying step, and a feature amount extraction step.
How to locate the three dimensional space you comprising: a.
JP2018024687A 2018-02-15 2018-02-15 How to identify the position in 3D space Active JP6944891B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018024687A JP6944891B2 (en) 2018-02-15 2018-02-15 How to identify the position in 3D space
PCT/JP2018/043430 WO2019159479A1 (en) 2018-02-15 2018-11-26 Method for identifying position in three-dimensional space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018024687A JP6944891B2 (en) 2018-02-15 2018-02-15 How to identify the position in 3D space

Publications (2)

Publication Number Publication Date
JP2019138859A JP2019138859A (en) 2019-08-22
JP6944891B2 true JP6944891B2 (en) 2021-10-06

Family

ID=67618567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018024687A Active JP6944891B2 (en) 2018-02-15 2018-02-15 How to identify the position in 3D space

Country Status (2)

Country Link
JP (1) JP6944891B2 (en)
WO (1) WO2019159479A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4006236A4 (en) 2019-07-29 2022-10-19 Sumitomo Construction Machinery Co., Ltd. Excavator

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010286355A (en) * 2009-06-11 2010-12-24 Suzuki Motor Corp Through-hole measurement apparatus and workpiece shape quality determination apparatus
JP6659098B2 (en) * 2015-07-29 2020-03-04 キヤノン株式会社 Image processing method, image processing apparatus, program, and recording medium

Also Published As

Publication number Publication date
WO2019159479A1 (en) 2019-08-22
JP2019138859A (en) 2019-08-22

Similar Documents

Publication Publication Date Title
CN109751973B (en) Three-dimensional measuring device, three-dimensional measuring method, and storage medium
EP3168812B1 (en) System and method for scoring clutter for use in 3d point cloud matching in a vision system
KR102296236B1 (en) System and method for improved scoring of 3d poses and spurious point removal in 3d image data
US20110001799A1 (en) 3d sensor
EP3503033B1 (en) Optical tracking system and optical tracking method
JP2021192064A (en) Three-dimensional measuring system and three-dimensional measuring method
EP1580693A2 (en) System and method for excluding extraneous features from image inspection operations
JP2011185872A (en) Information processor, and processing method and program of the same
CN107680125B (en) System and method for automatically selecting three-dimensional alignment algorithm in vision system
JP2010060494A (en) Posture measurement device
KR102102291B1 (en) Optical tracking system and optical tracking method
JP6621351B2 (en) Image processing apparatus and image processing method for laser processing
JP2020047049A (en) Image processing device and image processing method
JP6944891B2 (en) How to identify the position in 3D space
KR102235999B1 (en) Deformation processing support system and deformation processing support method
JP6797638B2 (en) Image measuring device
US10228239B2 (en) Measuring apparatus, measuring method, and article manufacturing method
CN113290313B (en) Laser processing control method and device and laser processing equipment
CN110836647B (en) Three-dimensional scanning system
CN112102473A (en) Operation scene modeling method and system for distribution network live working robot
US11717970B2 (en) Controller, control method using controller, and control system
CN114049304A (en) 3D grating detection method and device, computer equipment and readable storage medium
KR101747350B1 (en) Method for recognizing coordinates of object for visual servoing
JP4935606B2 (en) Imaging system
CN110769221B (en) Method for detecting corner of projected image in photographed image and projector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210913

R150 Certificate of patent or registration of utility model

Ref document number: 6944891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350