KR100914857B1 - Method and apparatus for detecting of workpiece position and matching of CAD data using 3 dimensional vision camera system - Google Patents
Method and apparatus for detecting of workpiece position and matching of CAD data using 3 dimensional vision camera systemInfo
- Publication number
- KR100914857B1 KR100914857B1 KR1020070126780A KR20070126780A KR100914857B1 KR 100914857 B1 KR100914857 B1 KR 100914857B1 KR 1020070126780 A KR1020070126780 A KR 1020070126780A KR 20070126780 A KR20070126780 A KR 20070126780A KR 100914857 B1 KR100914857 B1 KR 100914857B1
- Authority
- KR
- South Korea
- Prior art keywords
- cad data
- data
- point
- work object
- points
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 작업 대상물의 위치 인식을 위한 방법 및 그 시스템에 관한 것으로서, 3차원 비전 카메라와, 캐드 데이터로 구성된 데이터베이스와, 위치 인식 콘트롤러로 구성되고, 상기 위치 인식 콘트롤러는, 작업 대상물에 존재하는 수직 부재들의 양끝 모서리들 중에서 3개의 위치 값을 계측하는 제1과정과; 3개의 위치 값의 산술평균을 구하여 가상 중심 위치인 기준 위치를 결정하는 제2과정과; 3개의 위치값에서 계산되는 세 선분의 특징 정의에 의해 기준 방향 좌표계를 구하는 제3과정과; 기준 방향 좌표계의 회전 각도를 계산하는 제4과정과; 상기 작업 대상물의 캐드 데이터에 정의된 수직 부재들의 양끝 모서리를 저장한 위치 데이터들 중에 3점씩 조합하여 상기 계측된 3점 위치 데이터들과의 선분길이 및 3차원 회전각도의 비교에 의거하여 허용된 범위 이내에서 일치되는 캐드 데이터의 3점 위치 값을 검출하는 제5과정과; 최종적으로 실제 작업 대상물의 캐드 데이터와 작업 대상물의 3차원 측정 결과를 매칭하여 작업 대상물의 위치를 인식하고 작업 데이터의 위치를 검출하는 제6과정을 수행하도록 이루어짐을 특징으로 한다.The present invention relates to a method and system for recognizing a position of a work object, comprising a three-dimensional vision camera, a database composed of CAD data, and a position recognition controller, wherein the position recognition controller is a vertical present on the work object. A first step of measuring three position values among both edges of the members; A second step of determining a reference position which is a virtual center position by obtaining an arithmetic mean of three position values; A third step of obtaining a reference direction coordinate system by defining features of three segments calculated from three position values; A fourth step of calculating a rotation angle of the reference direction coordinate system; Permissible range based on the comparison of the segment length and the three-dimensional rotation angle with the measured three-point position data by combining three points of position data stored at both end edges of the vertical members defined in the CAD data of the workpiece. A fifth step of detecting a three-point position value of the matched CAD data within the first range; Finally, the sixth process of recognizing the position of the work object and detecting the position of the work data is performed by matching the CAD data of the actual work object with the 3D measurement result of the work object.
Description
본 발명은 3차원 비전 카메라 시스템을 이용한 작업 대상물 위치 인식 방법에 관한 것으로서, 특히 3차원 계측이 가능한 비전 카메라를 이용하여 작업대상물의 특정 위치를 계측한 후, 계측한 위치와 작업 대상물의 캐드 데이터 간에 일치하는 지점을 찾아 일치점 간의 상관 관계를 이용하여 작업 대상물의 위치를 인식하고 캐드 데이터를 매칭하는 3차원 비전 카메라 시스템을 이용한 작업 대상물 위치 인식 및 캐드 데이터 매칭 방법과 그 시스템에 관한 것이다.The present invention relates to a method for recognizing a workpiece position using a three-dimensional vision camera system, and in particular, after measuring a specific position of a workpiece using a vision camera capable of three-dimensional measurement, between the measured position and the CAD data of the workpiece. The present invention relates to a method for recognizing a work object position and a CAD data matching method using a three-dimensional vision camera system that recognizes a location of a work object by using a correlation between the matching points by finding a matching point and matches the CAD data.
일반적으로 선박의 건조 작업시 용접이나 기타 자동화 작업을 위한 작업 대상물의 위치 정보를 획득하기 위한 방법으로는 2D 비전 카메라를 이용하여 대상물의 위치 정보를 인식하는 방법이 이용되고 있다.In general, a method of recognizing position information of an object using a 2D vision camera is used as a method for acquiring position information of a work object for welding or other automated work during a ship's construction work.
도 1은 종래 2D 비전 카메라를 이용한 작업 대상물 인식 방법을 설명하기 위한 예시도이다. 1 is an exemplary view for explaining a work object recognition method using a conventional 2D vision camera.
기존의 작업 대상물 인식 방법은 2D 비전 카메라(1)를 이용하여 각각의 영역을 촬영하고, 이렇게 얻어진 영역별 영상들을 합성하여 작업 정반(3) 전체의 영상을 얻는다. 이렇게 얻어진 전체 영상의 데이터와 DB내의 작업 대상물의 캐드 데이터 간의 패턴 인식을 통하여 영상 내의 작업 대상물(2)을 결정하고 최종적으로는 그 위치를 결정하는 방식이다.In the conventional work object recognition method, each area is photographed using the 2D vision camera 1, and the images for each area are synthesized to obtain an image of the entire work surface 3. The work object 2 in the image is determined through pattern recognition between the data of the entire image and the CAD data of the work object in the DB, and finally the position thereof is determined.
이때 작업 대상물(2) 자체의 결정에는 큰 문제가 없으나, 작업 대상물(2)의 위치 정밀도 향상을 위해서는 카메라의 해상도를 높여야 한다. 또한 카메라와 작업 대상물 간의 거리에 따라서, 각각에서 얻어지는 영상에 대한 왜곡이 존재하며 따라서 해상도와 무관하게 매칭 결과의 위치 정밀도에 영향을 미친다.At this time, the determination of the work object 2 itself is not a big problem, but in order to improve the positional accuracy of the work object 2, the resolution of the camera must be increased. In addition, depending on the distance between the camera and the work object, there is a distortion on the image obtained in each, thus affecting the positional accuracy of the matching result regardless of the resolution.
더불어, 2D 비전의 특성상 작업 대상물의 기준 높이에 대한 데이터를 얻어낼 수 없다. 따라서, 측정이 완료된 후, 패턴 인식을 수행하기 전에 작업자가 모든 부재에 대한 기준 높이를 일일이 입력을 해 줘야 하지만, 작업 부재들 각각에 X, Y, Z 축에 대한 회전변화가 있는 경우 작업자가 이를 측정하는 것은 불가능하다In addition, due to the nature of 2D vision, data on the reference height of the workpiece cannot be obtained. Therefore, after the measurement is completed, the operator must manually input the reference heights for all the members before performing the pattern recognition. However, if there is a rotation change about the X, Y, and Z axes in each of the members, It is impossible to measure
도 2와 같이 작업 부재의 Z 방향 투영 영상만으로 비교를 하기 때문에 투영 영상이 동일한 작업 대상물1(2a)과 작업 대상물2(2b) 중에서 어느 작업 대상물에 해당하는지를 판별하는 과정에서 오류 발생 가능성이 크며 실제로 그 차이를 구별할 방법이 존재하지 않는다. 캐드 데이터의 계측 과정에서 카메라(1) 위치가 조금이라도 변경되는 경우, 혹은 대상물이 높여진 높이가 부분적으로 달라지는 경우에는 모양은 같으나 스케일이 다른, 유사한 작업 대상물로 판별할 수 있으며, 스케일이 다르다는 것 자체를 인식하는 것이 불가능하다. 이를 방지하기 위해서는 작업 대상물의 3차원 데이터를 계측된 2차원 데이터와 비교해야 하는데, 실질적으로 3차원 데이터를 2차원 데이터와 직접 비교하는 것은 불가능하며, 비교를 위해서는 3차원 데이터를 2차원으로 변경해야 하므로 그 과정에서 데이터 손실로 인해 신뢰성이 크게 저하된다. Since the comparison is performed only with the Z-direction projection image of the work member as shown in FIG. 2, an error is likely to occur in the process of determining which of the same work object 1 (2a) and work object 2 (2b) the projected image corresponds to. There is no way to tell the difference. When the position of the camera 1 is changed slightly during the measurement of the CAD data, or when the height of the object is partially changed, it can be determined as a similar work object having the same shape but different scale, and different scale. It is impossible to recognize itself. To prevent this, it is necessary to compare the three-dimensional data of the workpiece with the measured two-dimensional data. Actually, it is impossible to directly compare the three-dimensional data with the two-dimensional data, and for comparison, the three-dimensional data must be changed to two-dimensional. As a result, reliability is greatly reduced due to data loss in the process.
또한 데이터 비교를 위해서는 3차원 데이터를 먼저 2차원 평면으로 투영한 데이터를 만들어야 하는데, 투영 방향에 따라서 동일한 작업 대상물에 대한 무수히 많은 량의 캐드 데이터가 생성되며, 이때도 거리에 따른 스케일 반영은 거의 불가능하다. 따라서 실질적인 비교 과정에서 높이차이가 존재하는 경우, 이중 어느 데이터와 비교를 해야 할지를 선택하는 것도 불가능하며, 그 비교 결과 역시 많은 위치 오차 값을 지닌다.In addition, for data comparison, three-dimensional data must first be projected onto a two-dimensional plane, and according to the projection direction, a large amount of CAD data is generated for the same work object, and even then, the scale according to the distance is almost impossible. Do. Therefore, if there is a height difference in the actual comparison process, it is impossible to select which data to compare with, and the comparison result also has many position error values.
작업 목적에 따라서 작업 대상물의 캐드 데이터가 변경되는 경우, 앞에서 언급된 방향 및 스케일을 반영한 2차원 평면 투영 데이터를 모두 재정의해야 하며, 변경해야 할 작업 대상물의 종류가 많은 경우 재 정의 작업에 많은 시간이 소요된다. If the CAD data of the workpiece changes depending on the purpose of the work, all of the two-dimensional planar projection data reflecting the above-mentioned directions and scales should be overridden. It takes
이와 같이 종래 기술에 의한 2D 비전 카메라를 이용하여 작업 대상물의 위치를 인식하는 방법은, 2차원 카메라를 이용하여 계측을 수행함으로써, 작업 대상물의 높이 데이터를 얻을 수 없고, 거리에 따라서 부재의 스케일이 변경되어 직접적인 작업 대상물 인식이 불가능하다는 문제점이 있다.As described above, in the method of recognizing the position of the work object by using the 2D vision camera according to the related art, the height data of the work object cannot be obtained by performing measurement by using the two-dimensional camera, and the scale of the member depends on the distance. There is a problem that it is impossible to directly recognize the object to be changed.
또한, 매칭을 위해서는 동일한 부재에 대하여 다양한 스케일, 방향의 기준 캐드 데이터가 필요하며, 동일한 스케일에서도 작업 대상물이 놓여진 위치의 높이가 부분적으로 다른 경우에는 실질적인 인식이 불가능하며, 캐드 데이터가 추가/변경되는 경우 데이터를 모두 재정의 해야하는 문제점이 있다.In addition, in order to match, reference CAD data of various scales and directions are required for the same member, and even if the height of the position where the work object is placed is partially different even on the same scale, practical recognition is impossible, and CAD data may be added / changed. The problem is that all data needs to be overridden.
이처럼 종래 기술은 2차원 위치 정보값을 이용하므로, 3차원 데이터의 2차원화 과정이 필요하고, 변경 과정에서 카메라와 대상물 간의 거리에 따른 스케일 및 방향에 따른 많은 량의 캐드 데이터의 투영 데이터를 생성해야 하는 단점이 있으며, 2차원 위치 정보값을 이용하므로 매칭 결과에 대한 위치 오차 크고, 작업 대상물의 형상 변경으로 인한 작업 대상물 캐드 데이터의 추가/수정/삭제 작업에 대한 데이터 변경 난해하다는 단점이 있었다.As described above, since the conventional technology uses two-dimensional position information, a two-dimensional process of three-dimensional data is required, and a large amount of projection data of a large amount of CAD data according to the scale and direction according to the distance between the camera and the object is generated during the change process. There is a drawback that the two-dimensional position information value is used, and the position error of the matching result is large, and the data change of the work object CAD data addition / modification / deletion due to the shape change of the work object is difficult.
본 발명의 목적은 3차원 계측 카메라를 이용하여 작업 대상물의 특정 위치를 계측한 후, 계측한 위치와 작업 대상물의 캐드 데이터 간에 일치하는 지점을 찾아 일치하는 지점을 찾아 일치점 간의 상관관계를 이용하여 작업 대상물의 위치를 인식하고 캐드 데이터를 매칭하는, 3차원 비전 카메라 시스템을 이용한 작업 대상물 위치 인식 및 캐드 데이터 매칭 방법과 그 시스템을 제공하기 위한 것이다.An object of the present invention is to measure the specific position of the work object using a three-dimensional measurement camera, and then to find a match point between the measured position and the CAD data of the work object to find the match point and work by using the correlation between the match points The present invention provides a method and system for recognizing a work object and matching CAD data using a three-dimensional vision camera system that recognizes a location of an object and matches CAD data.
본 발명은 특정 위치의 3차원 데이터를 이용하므로 작업 대상물의 캐드 데이터는 거리에 따른 스케일, 방향에 무관하게 3차원 위치 정보값을 직접 이용하므로, 2차원 위치 정보 변경 과정이 생략되어 2차원 위치 정보 인식 방법에서 이용되는 동일한 작업 대상물에 대한 캐드 데이터의 수량이 절대적으로 감소된다(단 1개만으로도 사용 가능) 또, 3차원 위치 정보값을 이용하므로 매칭을 위한 2차원 캐드 데이로의 변환 과정이 불필요하고, 변환 과정에서의 오차가 생기지 않아서 매칭 결과에 대한 위치 오차 량이 절대 감소되며, 작업 대상물의 형상 변경으로 인한 작업 대상물 캐드 데이터의 추가/수정/삭제 작업에 대한 데이터 변경이 매우 용이하다.Since the present invention uses three-dimensional data of a specific position, the CAD data of the work object directly uses three-dimensional position information values regardless of scale and direction according to the distance, and thus, two-dimensional position information change process is omitted. The quantity of CAD data for the same work object used in the recognition method is absolutely reduced (only one can be used). Since the 3D position information value is used, the conversion process to 2D CAD day for matching is unnecessary. In addition, since there is no error in the conversion process, the position error amount for the matching result is absolutely reduced, and the data change for the addition / modification / deletion of the work object CAD data due to the shape change of the work object is very easy.
3차원 비전 카메라를 이용한 작업 대상물 위치 인식 알고리즘은 다음과 같다. The object position recognition algorithm using 3D vision camera is as follows.
본 발명은 3차원 비전 카메라로 작업 대상물의 3 위치 점을 계측하고, 상기 3위치 점과 허용 오차 범위 이내에서 일치되는 캐드 데이터의 3점을 검색하며, 캐드 데이터의 3점에 의해 용접 정보 데이터의 위치 및 방향을 구하여 상기 계측된 3차원 측정 결과와 실제 작업 대상물의 캐드데이터를 매칭시키도록 하여 작업 대상물의 위치를 인식하도록 한다.The present invention is to measure the three position points of the workpiece with a three-dimensional vision camera, retrieve the three points of the CAD data that match the three position points within the tolerance range, the three points of the CAD data of the welding information data The position and direction are obtained to match the measured 3D measurement result with the CAD data of the actual work object to recognize the position of the work object.
상기와 같은 본 발명의 구체적인 알고리즘은, Specific algorithm of the present invention as described above,
3차원 비전 카메라를 이용하여 한 개의 작업 대상물에 존재하는 수직 부재들의 양끝 모서리들 중에서 3개의 위치를 선정하여 이에 대한 위치 값을 계측하는 제1과정과;A first step of selecting three positions from both edges of the vertical members existing in one work object by using a three-dimensional vision camera and measuring a position value thereof;
상기 제1과정에서 계측된 3개의 위치 값의 산술평균을 구하여 가상 중심 위치인 기준 위치를 결정하는 제2과정과;A second step of determining a reference position which is a virtual center position by obtaining an arithmetic mean of the three position values measured in the first step;
상기 제1과정에서 계측된 3점에 의해 얻어지는 삼각형의 각 선분 중 짧은 선분과 중간 선분의 교점인 기준 꼭지점에서 양선분의 벡터 곱(Cross Product)을 Z축으로, 상기 기준 꼭지점과 상기 제2과정에서 구해진 기준위치 방향의 방향 벡터를 X축으로, 상기 Z축과 X축의 벡터 곱을 Y축으로 정의하여 기준 방향 좌표계를 구하는 제3과정과;From the reference vertex, which is the intersection point of the short line segment and the middle line segment of each of the triangular segments obtained by the three points measured in the first process, the vector product of the two lines is the Z-axis, and the reference vertex and the second process A third step of obtaining a reference direction coordinate system by defining a direction vector in the reference position direction obtained in the X-axis and a vector product of the Z-axis and the X-axis in the Y-axis;
상기 제1과정에서 위치 값 계측의 기준 좌표계에 대해 상기 제3과정의 기준 방향 좌표계의 3차원 회전 각도를 계산하는 제4과정과;A fourth step of calculating a three-dimensional rotation angle of the reference direction coordinate system of the third step with respect to the reference coordinate system of the position value measurement in the first step;
상기 작업 대상물의 캐드 데이터에 정의된 수직 부재들의 양끝 모서리를 저장한 위치 데이터들 중에 3점씩 조합하여 상기 계측된 3점 위치 데이터들과의 선분길이 및 3차원 회전각도의 비교에 의거하여 허용된 범위 이내에서 일치되는 캐드 데이터의 3점 위치 값을 검출하는 제5과정과;Permissible range based on the comparison of the segment length and the three-dimensional rotation angle with the measured three-point position data by combining three points of position data stored at both end edges of the vertical members defined in the CAD data of the workpiece. A fifth step of detecting a three-point position value of the matched CAD data within the first range;
상기 제5과정에서 구해진 캐드 데이터의 3점 위치를 이용하여 제2, 제3, 제4의 과정을 동일하게 적용하여 계산된 기준 좌표계를 기준으로, 상기 계측된 작업 대상물의 3점을 기준으로 계산된 기준 좌표계의 위치 및 방향과 비교하여 최종적으로 작업 대상물의 캐드 데이터와 작업 대상물의 3차원 측정결과를 매칭하는 제6과정을 수행하도록 이루어짐을 특징으로 한다. Based on the three coordinate points calculated by applying the second, third, and fourth processes in the same manner using the three-point positions of the CAD data obtained in the fifth process, the three points are calculated based on the measured work object. And performing a sixth process of finally matching the CAD data of the work object with the three-dimensional measurement result of the work object by comparing the position and the direction of the reference coordinate system.
또한, 본 발명에 의한 시스템은, 본 발명은, 작업 대상물을 3차원 촬영에 의해 작업 위치에 대한 좌표를 검출하기 위하여 작업 대상물을 촬영하는 3차원 비전 카메라 시스템과, 작업 대상물에 대한 설계 도면의 데이터인 캐드데이터를 데이터베이스(DB)로 저장 관리하는 작업 대상 캐드 데이터 DB와, 상기 3차원 비전 카메라 시스템(20)으로부터 작업 대상물의 3점 위치를 측정하여 일치되는 캐드 데이터의 3점 정보를 찾아 상기 측정된 작업 대상물의 3점 위치 정보에 매칭시켜 작업 대상물의 위치를 인식하고 캐드 데이터 정보에 의거한 용접 위치 및 방향 정보를 계산하는 위치 인식 콘트롤러로 구성됨을 특징으로 한다.In addition, the system according to the present invention, the three-dimensional vision camera system for photographing the work object in order to detect the coordinates of the work position by the three-dimensional imaging of the work object, and the data of the design drawings for the work object Work point CAD data DB for storing and managing the in CAD data in a database DB, and measuring three point positions of the work object from the three-dimensional vision camera system 20 to find and match three point information of the CAD data. And a position recognition controller that recognizes the position of the workpiece by matching the three-point positional information of the workpiece and calculates welding position and direction information based on the CAD data information.
상기 위치 인식 콘트롤러는, 상기 3차원 비전 카메라 시스템으로부터 작업 대상물의 계측 정보를 입력받아 3점 위치를 설정하는 3점 위치 설정부와, 상기 3점 위치 설정부의 3점 위치값의 산술평균을 구하여 기준 방향을 결정하는 기준 방향 설정부와, 상기 기준 방향 설정부의 기준방향에 대한 상기 3점 위치의 기준 좌표계를 구하는 계측정보 기준 좌표계설정부와, 상기 작업 대상물 캐드 데이터 DB로부터 임의의 3점 정보를 검색하는 캐드 데이터 선택부와, 상기 기준 좌표 설정부의 계측 정보 의 기준 좌표계 좌표값과 상기 캐드 데이터의 3점에 따른 좌표계의 좌표값을 비교하여 허용범위 내에 일치되는지를 판단하고, 허용 범위 이내로 일치될 때까지 상기 캐드 데이터 선택부를 통해서 새로운 3점의 캐드 데이터를 선택하여 비교하는 방법으로 3점에 대한 계측 데이터와 일치되는 3점의 캐드 데이터를 검출하는 3점 계측 데이터와 일치되는 캐드 데이터 검출부와, 상기 3점 계측 데이터와 일치되는 3점 캐드데이터의 용접 위치 및 방향 데이터에 의거하여 상기 3점 계측 데이터의 용접 위치 및 방향 데이터를 구하여 계측 정보와 캐드 데이터를 매칭시키는 캐드 데이터 위치 및 방향 결정 매칭부로 구성됨을 특징으로 한다.The position recognition controller receives a measurement information of a work object from the 3D vision camera system and sets a three point position, and calculates an arithmetic mean of three point position values of the three point position setting unit. A reference direction setting unit for determining a direction, a measurement information reference coordinate system setting unit for obtaining a reference coordinate system of the three-point position with respect to the reference direction of the reference direction setting unit, and arbitrary three-point information from the work object CAD data DB Compares the CAD data selection unit with the reference coordinate system coordinate values of the measurement information of the reference coordinate setting unit with the coordinate values of the coordinate system according to the three points of the CAD data, and determines whether they match within the allowable range, By using the CAD data selection unit, a new three-point CAD data is selected and compared. The three-point measurement based on the welding position and the orientation data of the three-point CAD data matching the three-point measurement data and the three-point measurement data detecting the three-point CAD data matching the measurement data And a CAD data position and direction determination matching unit which obtains the welding position and the orientation data of the data and matches the measurement information with the CAD data.
이와 같은 본 발명은 3차원 비전 시스템을 이용한 작업 대상물의 3차원 측정결과와 캐드 데이터의 매칭에 의해 작업 대상물의 위치를 인식하고 작업 대상물에 대한 작업 데이터를 생성 및 변경하는 방법으로서, 작업 대상물의 캐드 데이터를 작업 부재의 특정 위치를 기준으로 정의하며, 3차원 계측 방법에 의해 얻어진 계측 결과를 이용하여 기준 위치 및 기준 좌표계를 정의하고, 작업 대상물의 캐드 데이터에 포함된 위치 데이터로부터 3개씩의 데이터를 선택하여 기군 위치 및 기준 좌표계를 정의 한 후, 측정 결과에 의해 얻어진 기준 위치 및 기준 좌표계와 비교하여 3차원 공간상에서 계측된 작업 대상물의 위치 및 방향으로 매칭한다. 상기와 같은 매칭 방법을 이용하여 작업 대상물의 종류 및 위치, 방향을 인식하고 캐드 데이터에 정의된 작업 대상물 각각에 대한 작업 데이터를 이용할 수 있도록 변형하게 된다.The present invention as described above is a method of recognizing the position of a work object by generating a three-dimensional measurement result and the CAD data matching of the work object using a three-dimensional vision system and generating and changing the work data for the work object, CAD of the work object The data is defined based on a specific position of the work member, the reference position and the reference coordinate system are defined using the measurement results obtained by the three-dimensional measurement method, and three pieces of data are obtained from the position data included in the CAD data of the work object. After selecting the air force position and the reference coordinate system, the reference position and the reference coordinate system obtained by the measurement results are compared and matched with the position and direction of the workpiece measured in the three-dimensional space. By using the matching method as described above, the type, location, and direction of the work object are recognized, and the work data for each work object defined in the CAD data can be modified.
3차원 비전 카메라로 계측된 작업 대상물의 측정 결과로부터 작업 대상물을 인식하는 경우, 일단 작업 대상물의 위치를 3차원적으로 측정한 결과를 사용하므로, 작업 대상물을 보는 방향에 따른 투영 형상 캐드 데이터 및 스케일에 대한 고려가 불필요하다. 따라서 작업 대상물을 인식하기 위한 캐드 데이터의 개수가 절대적으로 감소하며, 실질적으로는 단 1개의 파일로 가능하다. 또한, 작업 대상물의 세부 배치 방향까지 계산이 가능하기 때문에, 매칭 과정을 통해서 보다 작업 대상물 및 대상물의 위치, 방향에 대한 보다 정밀한 데이터 추출 및 생성이 가능하다.When the object is recognized from the measurement result of the work object measured by the 3D vision camera, the result of measuring the position of the work object three-dimensionally is used, so projection shape CAD data and scale according to the direction of viewing the work object are used. Consideration is unnecessary. Therefore, the number of CAD data for recognizing a work object is absolutely reduced, and in fact, only one file is possible. In addition, since it is possible to calculate the detailed arrangement direction of the work object, more precise data extraction and generation on the work object and the position and direction of the work object is possible through the matching process.
또한 작업 대상물의 형상이 변경되는 경우에도 2차원 비전 계측 방식과는 달리 원래의 3차원 캐드 데이터를 그대로 사용하기 때문에 작업 대상물의 캐드 데이터의 추가/수정/삭제 등의 작업이 아주 용이하다.In addition, even if the shape of the work object is changed, unlike the 2D vision measurement method, since the original 3D CAD data is used as it is, it is very easy to add / modify / delete the CAD data of the work object.
도 1은 종래 2D 비전 카메라를 이용한 작업 대상물 인식 방법을 설명하기 위한 예시도. 1 is an exemplary view for explaining a work object recognition method using a conventional 2D vision camera.
도 2는 종래 2D 비전 카메라를 이용한 작업 대상물 인식 방법에서 높이차가 존재하는 경우의 설명도. 2 is an explanatory diagram when a height difference exists in a work object recognition method using a conventional 2D vision camera.
도 3은 본 발명에 의한 3차원 비전 카메라를 이용한 작업 대상물 위치 인식 시스템 블록도.3 is a block diagram of a work object position recognition system using a three-dimensional vision camera according to the present invention.
도 4는 도 3에 따른 작업대상물 위치 인식 콘트롤러의 상세 기능 블록도.4 is a detailed functional block diagram of the workpiece position recognition controller according to FIG.
도 5는 본 발명에 의한 3차원 비전 카메라를 이용한 작업 대상물 위치 인식 알고리즘 흐름도.5 is a flowchart of a work object position recognition algorithm using a 3D vision camera according to the present invention.
도 6 내지 도 8은 본 발명에 의한 3차원 비전 카메라를 이용한 작업 대상물 위치 인식 방법을 설명하기 위한 계측 위치 설정 설명도.6 to 8 are measurement position setting explanatory diagrams for explaining a method for recognizing a work object position using a three-dimensional vision camera according to the present invention.
도 9는 본 발명에 의한 작업 대상물 인식을 위한 데이터 기준 위치 및 기준 좌표계 설정 방법 설명도.9 is an explanatory diagram of a method for setting a data reference position and a reference coordinate system for recognizing a work object according to the present invention.
도 10은 본 발명에 의한 기준 위치값 및 계측 값 사이의 변환 관계 설명도.10 is an explanatory diagram of a conversion relationship between a reference position value and a measured value according to the present invention;
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
10 : 작업 대상물 11; 11a-11d : 수직부재10: work object 11; 11a-11d: vertical member
20 : 3차원 비전 카메라시스템 30 : 작업 대상물 캐드 데이터 DB20: 3D vision camera system 30: Work object CAD data DB
40 : 위치 인식 콘트롤러 41 : 작업 대상물 3점 위치 설정부40: position recognition controller 41: three-point position setting unit
42 : 기준 방향 설정부 43 : 계측 정보 기준 좌표계 설정부42: reference direction setting unit 43: measurement information reference coordinate system setting unit
44 : 캐드 데이터 선택부 44: CAD data selection unit
45 : 3점 계측 데이터와 일치되는 캐드 데이터 검출부45: CAD data detector matching three-point measurement data
46 : 계측 데이터 위치 및 방향 결정 매칭부46: measurement data position and direction determination matching unit
이하, 본 발명의 실시 예를 첨부된 도면을 참조해서 상세히 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 3은 본 발명에 의한 3차원 비전 카메라를 이용한 작업 대상물 위치 인식 시스템 블록도이고, 도 4는 도 3에 따른 작업대상물 위치 인식 콘트롤러의 상세 기능 블록도이다.3 is a block diagram of a work object position recognition system using a three-dimensional vision camera according to the present invention, Figure 4 is a detailed functional block diagram of the work object position recognition controller according to FIG.
본 발명은, 작업 대상물(10)을 3차원 촬영에 의해 작업 위치에 대한 좌표를 검출하기 위하여 작업 대상물을 촬영하는 3차원 비전 카메라 시스템(20)과, 작업 대상물에 대한 설계 도면의 데이터인 캐드데이터를 데이터베이스(DB)로 저장관리하는 작업 대상 캐드 데이터 DB(30)와, 상기 3차원 비전 카메라 시스템(20)으로부터 작업 대상물의 3점 위치를 측정하여 일치되는 캐드 데이트 3점 정보를 찾아 캐드 데이터의 3점 정보에 의거한 용접 위치 및 방향 정보를 구하여 상기 측정된 작업 대상물의 3점 위치 정보에 매칭시켜 작업 대상물의 위치를 인식하는 위치 인식 콘트롤러(40)로 구성된다.The present invention provides a three-dimensional vision camera system 20 for photographing a work object in order to detect coordinates of a work position by three-dimensional imaging of the work object, and CAD data which is data of a design drawing for the work object. The target CAD data DB 30 storing and managing the database as a database and measuring the three-point position of the target object from the 3D vision camera system 20 to find matched CAD data three-point information. The position recognition controller 40 recognizes the position of the workpiece by obtaining the welding position and the direction information based on the three-point information and matching the measured three-point position information of the workpiece.
상기 위치 인식 콘트롤러(40)는, 3차원 비전 카메라로 작업 대상물의 3 위치 점을 계측하고, 상기 3위치 점과 허용 오차 범위 이내에서 일치되는 캐드 데이터의 3점을 검색하며, 캐드 데이터의 3점에 의해 용접 정보 데이터의 위치 및 방향을 구하여 상기 계측된 3차원 측정 결과와 실제 작업 대상물의 캐드데이터를 매칭시키도록 하여 작업 대상물의 위치를 인식하고 작업 정보를 생성, 변경하도록 한다.The position recognition controller 40 measures a three position point of the work object with a three-dimensional vision camera, retrieves three points of CAD data that match the three position points within a tolerance range, and three points of the CAD data. By obtaining the position and direction of the welding information data to match the measured three-dimensional measurement result and the CAD data of the actual work object to recognize the position of the work object to generate and change the work information.
상기 위치 인식 콘트롤러(30)는, 도 4에 도시된 바와 같이, 상기 3차원 비전 카메라 시스템(20)으로부터 작업 대상물의 계측 정보를 입력받아 3점 위치를 설정하는 3점 위치 설정부(41)와, 상기 3점 위치 설정부(41)의 3점 위치값의 산술평균을 구하여 기준 방향을 결정하는 기준 방향 설정부(42)와, 상기 기준 방향 설정부(42)의 기준방향에 대한 상기 3점 위치의 기준 좌표계를 구하는 계측정보 기준 좌표계설정부(43)와, 상기 작업 대상물 캐드 데이터 DB(30)로부터 임의의 3점 정보를 검색하는 캐드 데이터 선택부(44)와, 상기 기준 좌표 설정부(43)의 계측 정보 의 기준 좌표계 좌표값과 상기 캐드 데이터의 3점에 따른 좌표계의 좌표값을 비교하여 허용범위 내에 일치되는지를 판단하고, 허용 범위 이내로 일치될 때까지 상기 캐드 데이터 선택부(44)를 통해서 새로운 3점의 캐드 데이터를 선택하여 비교하는 방법으로 3점에 대한 계측 데이터와 일치되는 3점의 캐드 데이터를 검출하는 3점 계측 데이터와 일치되는 캐드 데이터 검출부(45)와, 상기 3점 계측 데이터와 일치되는 3점 캐드데이터의 용접 위치 및 방향 데이터에 의거하여 상기 3점 계측 데이터의 용접 위치 및 방향 데이터를 구하여 계측 정보와 캐드 데이터를 매칭시키는 계측 데이터 위치 및 방향 결정 매칭부(46)로 구성된다.As shown in FIG. 4, the position recognition controller 30 receives a measurement information of a work object from the three-dimensional vision camera system 20 and sets a three-point position setting unit 41 to set three-point positions. A reference direction setting unit 42 for determining a reference direction by obtaining an arithmetic mean of the three point position values of the three point position setting unit 41, and the three points with respect to the reference direction of the reference direction setting unit 42; A measurement information reference coordinate system setting unit 43 for obtaining a reference coordinate system of the position, a CAD data selection unit 44 for retrieving arbitrary three-point information from the work object CAD data DB 30, and the reference coordinate setting unit ( 43) and compares the coordinate values of the reference coordinate system of the measurement information with the coordinate values of the coordinate system according to the three points of the CAD data to determine whether they match within the allowable range, and the CAD data selector 44 until it matches within the allowable range. Through 3 new The CAD data detection unit 45 coincides with the three-point measurement data for detecting the three-point CAD data that matches the measurement data for the three points by selecting and comparing the CAD data of the points, and the three-point measurement data coincide with the three-point measurement data. It consists of the measurement data position and direction determination matching part 46 which obtains the welding position and direction data of the said three point measurement data based on the welding position and the direction data of the three-point CAD data which are matched, and matches measurement information and CAD data.
도 5는 본 발명에 의한 3차원 비전 카메라를 이용한 작업 대상물 위치 인식 알고리즘 흐름도이다.5 is a flowchart of a work object position recognition algorithm using a 3D vision camera according to the present invention.
상기와 같은 본 발명의 구체적인 알고리즘은, Specific algorithm of the present invention as described above,
3차원 비전 카메라를 이용하여 한 개의 작업 대상물에 존재하는 수직 부재들의 양끝 모서리들 중에서 3개의 위치를 선정하여 이에 대한 위치 값을 계측하는 제1과정(S10)과; 상기 제1과정(S10)에서 계측된 3개의 위치 값의 산술평균을 구하여 가상 중심 위치인 기준 위치를 결정하는 제2과정(S20)과; 상기 제1과정(S10)에서 계측된 3점에 의해 얻어지는 삼각형의 각 선분중 짧은 선분과 중간 선분의 교점인 기준 꼭지점에서 양선분의 곱을 Z축으로, 상기 기준 꼭지점과 상기 제2과정에서 구해진 기준위치 방향의 방향 벡터를 X축으로, 상기 Z축과 X축의 곱을 Y축으로 정의하여 기준 방향 좌표계를 구하는 제3과정(S30)과; 상기 제1과정(S10)에서 위치 값 계측의 기준 좌표계에 대해 상기 제3과정(S30)의 기준 방향 좌표계의 회전 각도를 계산하는 제4과정(S40)과; 상기 작업 대상물의 캐드 데이터에 정의된 수직 부재들의 양끝 모서리를 저장한 위치 데이터들 중에 3점씩 조합하여 상기 계측된 3점 위치 데이터들과의 선분길이 및 Z벡터 회전각도의 비교에 의거하여 허용된 범위 이내에서 일치되는 캐드 데이터의 3점 위치 값을 검출하는 제5과정(S50)과; 상기 제5과정(S50)에서 구해진 캐드 데이터의 3점 위치를 이용하여 제2, 제3, 제4의 과정을 동일하게 적용하여 계산된 기준 좌표계를 기준으로, 상기 계측된 작업 대상물의 3점을 기준으로 계산된 기준 좌표계의 위치 및 방향과 비교하여 최종적으로 작업 대상물의 캐드 데이터와 작업 대상물의 3차원 측정결과를 매칭하는 제6과정(S60)을 수행하도록 이루어진다.A first step (S10) of selecting three positions from both edges of the vertical members existing in one work object by using a three-dimensional vision camera and measuring a position value thereof; A second step (S20) of determining a reference position which is a virtual center position by obtaining an arithmetic mean of the three position values measured in the first step (S10); The reference vertex obtained in the second process with the reference vertex obtained by multiplying the two points at the reference vertex, which is the intersection point of the short line segment and the middle line segment of the triangle segment obtained by the three points measured in the first process S10, with the Z axis. A third step (S30) of obtaining a reference direction coordinate system by defining a direction vector in a position direction as the X axis and defining a product of the Z axis and the X axis as the Y axis; A fourth step (S40) of calculating a rotation angle of the reference direction coordinate system of the third step (S30) with respect to the reference coordinate system of the position value measurement in the first step (S10); Permissible range based on the comparison of the line segment length and Z vector rotation angle with the measured three-point position data by combining three points of the position data storing both edges of the vertical members defined in the CAD data of the workpiece. A fifth step (S50) of detecting a three-point position value of the matched CAD data within; Using the three point positions of the CAD data obtained in the fifth process (S50), three points of the measured work object are determined based on a reference coordinate system calculated by applying the second, third, and fourth processes in the same manner. The sixth process S60 is performed to finally match the CAD data of the work object with the three-dimensional measurement result of the work object by comparing the position and direction of the reference coordinate system calculated as a reference.
3차원 비전 카메라로 계측된 작업 대상물의 측정 결과로부터 작업 대상물을 인식하는 경우, 일단 작업 대상물의 위치를 3차원적으로 측정한 결과를 사용하므로, 작업 대상물을 보는 방향에 따른 투영 형상 캐드 데이터 및 스케일에 대한 고려가 불필요하다. 따라서 작업 대상물을 인식하기 위한 캐드 데이터의 개수가 절대적으로 감소하며, 실질적으로는 단 1개의 파일로 가능하다. 또한, 작업 대상물의 세부 배치 방향까지 계산이 가능하기 때문에, 매칭 과정을 통해서 보다 작업 대상물 및 대상물의 위치, 방향에 대한 보다 정밀한 데이터 추출이 가능하다.When the object is recognized from the measurement result of the work object measured by the 3D vision camera, the result of measuring the position of the work object three-dimensionally is used, so projection shape CAD data and scale according to the direction of viewing the work object are used. Consideration is unnecessary. Therefore, the number of CAD data for recognizing a work object is absolutely reduced, and in fact, only one file is possible. In addition, since it is possible to calculate the detailed arrangement direction of the work object, more precise data extraction about the work object and the position and direction of the work object is possible through the matching process.
또한 작업 대상물의 형상이 변경되는 경우에도 2차원 비전 계측 방식과는 달리 원래의 3차원 캐드 데이터를 그대로 사용하기 때문에 작업 대상물의 캐드 데이터의 추가/수정/삭제 등의 작업이 아주 용이하다.In addition, even if the shape of the work object is changed, unlike the 2D vision measurement method, since the original 3D CAD data is used as it is, it is very easy to add / modify / delete the CAD data of the work object.
3차원 비전 카메라를 이용한 작업 대상물 위치 인식 방법은 다음과 같다.The method for recognizing a work object position using a 3D vision camera is as follows.
도 6 내지 도 8은 본 발명에 의한 3차원 비전 카메라를 이용한 작업 대상물 위치 인식 방법을 설명하기 위한 계측 위치 설정 설명도이다.6 to 8 are measurement position setting explanatory diagrams for explaining a method for recognizing a work object position using a three-dimensional vision camera according to the present invention.
먼저 3차원 비전 카메라 시스템(20)으로부터 작업대상물(10)에 대한 계측을 하되, 작업 대상물 3점 위치 설정부(41)는 한 개의 작업 대상물(10)에 존재하는 여러 수직 부재들(11 ; 11a, 11b, 11c, 이하 11로 칭함)의 양끝 모서리들 (A1 - A4)중에서 3개의 위치를 선정하여 이에 대한 위치값을 계측한다.First, the measurement of the workpiece 10 from the three-dimensional vision camera system 20, the workpiece three-point positioning unit 41 is a number of vertical members (11; 11a) present in one workpiece 10 , 11b, 11c, and three positions are selected from the edges A1-A4 of both ends of 11) and the position values thereof are measured.
3개의 모서리를 선정하는 방법은 도 7 및 도 8에 도시된 바와 같이, 3개의 모서리는 여러 모서리들 중에서 상대적으로 가장 거리가 먼 2개의 모서리(a1, a3)와 이렇게 결정된 2개의 모서리(a1, a3)를 가상적으로 연결한 직선으로부터 거리가 제일 멀리 떨어져 있는 것으로 관찰되는 1개의 모서리(a2)를 선택하는 방식으로 선택한다. 그러나 실제로 어느 점간의 거리가 제일 머리 떨어져 있는지를 정밀 측정을 해서 판단할 필요는 없으며, 대략적인 짐작으로 제일 먼 두점을 선택하고 나머지 모서리점들 중에서, 앞서 선택한 두점을 이어주는 가상의 직선과 가장 거리가 먼 것으로 보여지는 모서리를 선택해도 전혀 무방하다. 여기서 도 7과 도 8의 3점 모서리의 부호는 설명상 편의를 위하여 동일하게 부여하였다.As shown in FIGS. 7 and 8, the three corners are selected from the two corners a1 and a3 which are relatively farthest among the various corners, and the two corners a1 and a1 determined as described above. It selects by selecting the one edge a2 in which the distance from the straight line which virtually connected a3) is farthest away is observed. However, there is no need to make a precise measurement of the distance between the points in fact, and the approximate guess is to select the farthest two points and, among the remaining corner points, the distance from the virtual straight line connecting the two points selected earlier. You can also select an edge that looks distant. Here, the reference numerals of the three-point corners of FIGS. 7 and 8 are given the same for convenience of description.
상기 작업 대상물 3점 위치 설정부(41)에서 3점을 설정하여 위치값을 계측하게 되면, 기준방향 설정부(42)는, 상기와 같이 선택하여 계측한 위치값으로부터 가상 중심 위치, 즉 기준위치를 결정하는데 기준 위치는 다음과 같이 3개의 위치값의 산술 평균으로 정의한다.When the three-point position setting unit 41 sets the three points to measure the position value, the reference direction setting unit 42 selects the virtual center position, that is, the reference position from the position value selected and measured as described above. The reference position is defined as the arithmetic mean of three position values as follows.
다음으로 계측 정보 기준 좌표계 설정부(43)는, 3개의 위치값들로 얻어지는 공간상의 3개의 직선 선분으로부터 각각의 길이를 계산하고, 계산한 선분들의 길이를 비교하여, 선분의 길이를 기준으로 세점의 특징을 정의 한다.Next, the measurement information reference coordinate system setting unit 43 calculates each length from three straight line segments in space obtained by three position values, compares the calculated lengths of the segments, and based on the length of the line segments. Define the characteristics of the three points.
도 9는 본 발명에 의한 작업 대상물 인식을 위한 데이터 기준 위치 및 기준 좌표계 설정 방법 설명도이다.9 is a diagram illustrating a method of setting a data reference position and a reference coordinate system for recognizing a work object according to the present invention.
3점의 계측된 위치 값에 의해서, 도 9의 (a)와 같이 삼각형을 구성하고, 세점의 특징을 아래 각 선분의 비교에 의해 아래와 같이 정의한다.By the measured position value of three points, a triangle is comprised like FIG.9 (a), and the characteristic of three points is defined as follows by comparison of each line segment below.
1. 세 선분 중 제일 긴 선분과 제일 짧은 선분의 교점을 스몰 포인트(Small Point(SMALL))로 정의한다.1. The intersection of the longest segment and the shortest segment of the three segments is defined as the small point (SMALL).
2. 세 선분 중 제일 긴 선분과 중간 선분의 교점을 라지 포인트(Large Point(LARGE))로 정의한다.2. Define the large point (LARGE) as the intersection of the longest segment and the middle segment among the three segments.
3. 세 선분 중 제일 짧은 선분과 중간 선분의 교점을 미니멈 포인트(Minimum Point(MIN))로 정의한다.(도 9의 (b))3. The intersection point of the shortest line segment and the middle line segment of three segments is defined as a minimum point (MIN) (FIG. 9B).
결정된 선분들로부터, 먼저 기준 방향 축을 결정한다. 축은 세 선분이 구성하는 가상 삼각형 평면에 수직인 방향으로 정의하며, 이를 위해서 삼각형 두 선분의 곱(Cross Product)을 이용한다. 이에 사용될 두 선분은 다음과 같은 기준에 따라 결정한다.From the determined line segments, first reference direction Determine the axis. The axis is defined as a direction perpendicular to the imaginary triangular plane composed of three segments. For this purpose, the product of two triangle segments is used. The two segments to be used are determined according to the following criteria.
1. 미니멈 포인트(MIN)에 대한 라지 포인트(LARGE)의 위치를 로 정의한다.1. Position the large point relative to the minimum point (MIN). Defined as
2. 미니멈 포인트(MIN)에 대한 스몰 포인트(SMALL)의 위치를 으로 정의한다. (도 9의 (b))2. Position the small point (SMALL) relative to the minimum point (MIN). It is defined as (FIG. 9B)
위와 같이 결정된 두 벡터 , 의 곱(Cross Product) 결과를 기준 방향 축으로 정의한다.(도 9의 (c))Two vectors determined as above , Cross product results in reference direction It is defined as an axis (Fig. 9 (c)).
즉, In other words,
다음으로 축을 결정한다. 축은 미니멈 포인트(Min point)에서 본 가상 중심위치까지의 방향 벡터를 이용한다. (도 9의 (d))to the next Determine the axis. The axis uses the direction vector from the minimum point to the virtual center position. (FIG. 9 (d))
이와 같이 계산된 ,축의 곱(Cross Product) 결과를 축으로 정의한다. (도 9의 (d))Calculated as , Cross product results Defined by the axis. (FIG. 9 (d))
이때, 3점의 위치값은 계측 과정에서의 기준 좌표계 를 기준으로 정의된 값이기 때문에, 계산된 기준 방향 좌표계의 회전 각도, 즉, R-P-Y 각도는 다음과 같이 계산된다At this time, the position value of the three points is the reference coordinate system in the measurement process Since it is a value defined with respect to, the calculated rotation angle of the reference direction coordinate system, that is, the RPY angle, is calculated as follows.
따라서 ,,는 각각 다음과 같이 정의한다.therefore , , Are defined as follows.
이때, 가 -90 도 혹, 90 도 인 경우 는 0 이 되어 상기 결과는 발산하게 된다. 이때에는 를 0 도로 간주하고, 다음과 같이 정의한다.At this time, Is -90 degrees or 90 degrees Becomes 0 and the result is divergent. At this time Is considered to be 0 degrees and is defined as
위의 정의에 따라서 기준 좌표계에 대한 (X 축 회전 각도), (Y 축 회전 각도), (Z축 회전 각도)를 계산한다.According to the definition above (X axis rotation angle), (Y axis rotation angle), Calculate (Z-axis rotation angle).
상기와 같이 회전 각도를 계산하여 계측된 3점 위치값에 대한 기준방향 좌표계를 회전시켜 매칭시킨다.As described above, the rotation angle is calculated and the reference direction coordinate system is rotated to match the measured three-point position value.
다음으로 캐드 데이터 선택부(44)는, 비교할 작업 대상물의 캐드 데이터에 정의된 여러 수직 부재들의 양끝 모서리들의 위치를 저장한 위치 데이터들 중에서 3점씩의 조합을 하여 선택한다.Next, the CAD data selection unit 44 selects a combination of three points from among position data storing positions of both edges of the vertical members defined in the CAD data of the work object to be compared.
그리고 3점 계측 데이터와 일치되는 캐드 데이터 겸출부(45)는, 상기 캐드 데이터 선택부(44)에서 선택한 3점 조합을 이루는 세 선분의 길이를 구해서, 상기 계측된 3점 위치에 따른 삼각형의 세 선분의 길이와 각각 길이 순서에 따라서 비교를 한다. 비교 결과 세 선분의 길이가 설정된 오차 범위 내에서 모두 일치하는 경우, 위에서 정의한 기준 위치값 및 기준 좌표계 정의에 의해 각각의 벡터를 계산하고, 두 벡터들 간에 도트 곱(Dot Product) 계산 결과값이 +이면서(이는 작업대상물이 뒤집혀 있는지 아니면 동일 방향은지를 알기 위한 것으로서, 결과값이 -이면 뒤집혀진 대상물이고, +이면 동일방향의 작업 대상물이다), 계산된 좌표 회전 각도의 회전값이 특정 영역에 속하는 경우에 계측된 3개의 위치값과 작업 대상물의 기준 위치값이 각각 일치하는 것으로 간주한다.The CAD data combiner 45 corresponding to the three-point measurement data obtains the length of the three line segments forming the three-point combination selected by the CAD data selection unit 44, and sets the three triangles according to the measured three-point positions. Compare the lengths of the line segments with their length order. As a result of the comparison, if the lengths of the three segments coincide within the set error range, the reference position values and the reference coordinate system definitions defined above respectively Calculate the vector, two The dot product calculation result between the vectors is + (this is to know if the object is upside down or in the same direction, and the result is-if it is reversed, + is the object in the same direction). When the rotation value of the calculated coordinate rotation angle belongs to a specific area, the measured three position values and the reference position value of the work object are considered to coincide with each other.
도 10은 본 발명에 의한 기준 위치값 및 계측 값 사이의 변환 관계 설명도이다.It is explanatory drawing of the conversion relationship between the reference position value and a measured value by this invention.
상기 작업 대상물의 캐드 데이터에서 결정된 3개의 위치 데이터로부터 정의된 기준 좌표계를 좌표계로 정의하고, 계측을 통해 측정된 3개의 측정 위치 데이터에 대해서 정의된 기준 좌표계를 좌표계로 정의할 때, 작업 대상물의 캐드 데이터내의 포함된 각각의 데이터들은 캐드 데이터 생성 당시 정의된 캐드 데이터 생성 좌표계 를 기준으로 하고 있기 때문에, 캐드 데이터내의 각각의 데이터들을 새롭게 정의된 좌표계를 기준으로 재정의하여야 한다.The reference coordinate system defined from the three position data determined in the CAD data of the work object Define the coordinate system, and define the reference coordinate system defined for the three measurement position data measured by the measurement When defined in the coordinate system, each of the data included in the CAD data of the work object is the CAD data generation coordinate system defined at the time of creation of the CAD data. Since each of the data in the CAD data is newly defined Redefine based on the coordinate system.
따라서, 계측 데이터 위치 및 방향 결정 매칭부(46)는, 캐드 데이터로부터 구해지는 용접 데이터의 위치 및 방향에 의거하여 상기 계측 데이터의 용접 데이터 위치 및 방향을 구하고, 이를 매칭 시켜 캐드데이터와 계측 데이터를 매칭시킨다.Accordingly, the measurement data position and direction determination matching section 46 obtains the welding data position and direction of the measurement data based on the position and direction of the welding data obtained from the CAD data, and matches the CAD data with the measurement data. Match
이 과정에서 좌표계 와 캐드 데이터 생성 좌표계 는 동일하다고 간주, 용접선 데이터의 변환에 있어서, 를 좌표계를 기준으로 정의를 한다.Coordinate system in the process And CAD data generation coordinate system Is considered to be the same, in the conversion of weld seam data, To The definition is based on the coordinate system.
따라서, 는 곧 이며, 이므로, 의 위치 및 방향은 다음과 같다.therefore, Soon , Because of, The position and direction of are as follows.
여기서, 는 좌표계에 대한, 작업 대상물 형상 정보의 기준 위치들 중에서 마커들에 일치하는 세 점으로부터 삼각형 데이터 생성 방법에 의해서 결정된 기준 좌표계, 즉 좌표계로의 변환 행렬이다. 즉,here, Is A reference coordinate system determined by the triangular data generation method from three points corresponding to the markers among the reference positions of the workpiece shape information with respect to the coordinate system, that is, Transformation matrix into coordinate system. In other words,
이때, 위에서 계산된 는 실제로 마커 좌표계에서 본 작업 대상 용접선의 위치값과 동일한 것으로 간주할 수 있다. 즉, 이다. 그리고, 위치값 역시 세 마커를 기준으로 생성된 좌표계를 기준으로 한 위치값이므로, 최종적으로 좌표계에 대한 위치값으로 다시 변경해야 하며, 변경 과정은 앞의 경우와 동일하다.At this time, Can actually be regarded as the same as the position of the weld seam to be viewed in the marker coordinate system. In other words, to be. And position value Also created based on the three markers Is a position value based on the coordinate system, You have to change the position value with respect to the coordinate system again. The change process is the same as the previous case.
최종적으로, 계측된 결과로부터 작업 대상물의 위치 및 방향은 다음과 같이 정의된다.Finally, the position and orientation of the workpiece from the measured results are defined as follows.
따라서, 위의 관계를 이용하여, 계측된 캐드 용접 정보 데이터의 기준 위치값 및 용접 각도 값들을 변경하여 최종적으로 작업 대상물의 3차원 측정 결과와 실제 작업 대상물의 캐드 데이터를 매칭한다.Therefore, by using the above relation, the reference position value and the welding angle value of the measured CAD welding information data are changed to finally match the CAD data of the actual workpiece with the 3D measurement result of the workpiece.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070126780A KR100914857B1 (en) | 2007-12-07 | 2007-12-07 | Method and apparatus for detecting of workpiece position and matching of CAD data using 3 dimensional vision camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070126780A KR100914857B1 (en) | 2007-12-07 | 2007-12-07 | Method and apparatus for detecting of workpiece position and matching of CAD data using 3 dimensional vision camera system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090059751A KR20090059751A (en) | 2009-06-11 |
| KR100914857B1 true KR100914857B1 (en) | 2009-09-02 |
Family
ID=40989815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070126780A KR100914857B1 (en) | 2007-12-07 | 2007-12-07 | Method and apparatus for detecting of workpiece position and matching of CAD data using 3 dimensional vision camera system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100914857B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200078840A (en) | 2018-12-24 | 2020-07-02 | 대우조선해양 주식회사 | Method for welding members using 3D depth sensor |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101370523B1 (en) * | 2012-10-19 | 2014-03-27 | 주식회사 지오시스템 | Method for measurement and accuracy control of ship and marine structures |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10296466A (en) * | 1997-04-25 | 1998-11-10 | Amada Co Ltd | Method for yag laser work |
| KR20040054894A (en) * | 2002-12-18 | 2004-06-26 | 주식회사옌트 | Method for monitoring 3-dimensional position of object using 3-dimensional camera unit |
| KR20060104304A (en) * | 2005-03-30 | 2006-10-09 | 대우조선해양 주식회사 | Recognition method of operation object for automatic welding using three dimensional marker measuring method |
| KR20060125064A (en) * | 2005-06-01 | 2006-12-06 | 주식회사 아이너스기술 | System and method for guiding real time inspection using 3d scanners |
-
2007
- 2007-12-07 KR KR1020070126780A patent/KR100914857B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10296466A (en) * | 1997-04-25 | 1998-11-10 | Amada Co Ltd | Method for yag laser work |
| KR20040054894A (en) * | 2002-12-18 | 2004-06-26 | 주식회사옌트 | Method for monitoring 3-dimensional position of object using 3-dimensional camera unit |
| KR20060104304A (en) * | 2005-03-30 | 2006-10-09 | 대우조선해양 주식회사 | Recognition method of operation object for automatic welding using three dimensional marker measuring method |
| KR20060125064A (en) * | 2005-06-01 | 2006-12-06 | 주식회사 아이너스기술 | System and method for guiding real time inspection using 3d scanners |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200078840A (en) | 2018-12-24 | 2020-07-02 | 대우조선해양 주식회사 | Method for welding members using 3D depth sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090059751A (en) | 2009-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103678754B (en) | Information processor and information processing method | |
| CN110842901B (en) | Robot hand-eye calibration method and device based on novel three-dimensional calibration block | |
| US20100156896A1 (en) | Method of creating three-dimensional model and object recognizing device | |
| US8433128B2 (en) | Method of creating three-dimensional model and object recognizing device | |
| CN110335301B (en) | Three-dimensional scanning method and device based on laser radar and structured light | |
| CN108629810B (en) | Calibration method and device of binocular camera and terminal | |
| CN110000793B (en) | Robot motion control method and device, storage medium and robot | |
| JP2017011328A (en) | Apparatus, method and program for image processing | |
| US20090289953A1 (en) | System and method for adjusting view of a measuring report of an object | |
| JP7353757B2 (en) | Methods for measuring artifacts | |
| EP1174681A2 (en) | Method and apparatus for the determination of the contour of sheet metal blanks | |
| JP4138145B2 (en) | Image forming apparatus | |
| CN109773589B (en) | Method, device and equipment for online measurement and machining guidance of workpiece surface | |
| KR100914857B1 (en) | Method and apparatus for detecting of workpiece position and matching of CAD data using 3 dimensional vision camera system | |
| EP3693697A1 (en) | Method for calibrating a 3d measurement arrangement | |
| JP7063165B2 (en) | Measuring equipment, measuring method and measuring program | |
| JP2000205821A (en) | Instrument and method for three-dimensional shape measurement | |
| JPH08254409A (en) | Three-dimensional shape measuring and analyzing method | |
| KR20060104304A (en) | Recognition method of operation object for automatic welding using three dimensional marker measuring method | |
| JP4236202B2 (en) | Modeling apparatus and camera parameter calculation method | |
| JP4159373B2 (en) | Method and apparatus for associating measurement points in photogrammetry | |
| US20240272086A1 (en) | Surface inspection system and method | |
| CN116625242B (en) | Path planning method and system for optical three-coordinate measuring machine, electronic equipment and medium | |
| US20230405730A1 (en) | Inspection system for welded portion | |
| CN115861422A (en) | Dynamic 3D laser projection positioning system and method based on trinocular vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120720 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20130813 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20140808 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20150821 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20160812 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |