KR20170142379A - Apparatus for detect dimensional welding line of welding robot using image processing - Google Patents

Apparatus for detect dimensional welding line of welding robot using image processing Download PDF

Info

Publication number
KR20170142379A
KR20170142379A KR1020160075753A KR20160075753A KR20170142379A KR 20170142379 A KR20170142379 A KR 20170142379A KR 1020160075753 A KR1020160075753 A KR 1020160075753A KR 20160075753 A KR20160075753 A KR 20160075753A KR 20170142379 A KR20170142379 A KR 20170142379A
Authority
KR
South Korea
Prior art keywords
welding
laser
robot
line
distance
Prior art date
Application number
KR1020160075753A
Other languages
Korean (ko)
Inventor
김지윤
박주이
추길환
Original Assignee
대우조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대우조선해양 주식회사 filed Critical 대우조선해양 주식회사
Priority to KR1020160075753A priority Critical patent/KR20170142379A/en
Publication of KR20170142379A publication Critical patent/KR20170142379A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

The present invention relates to an apparatus (100) for recognizing a welding line of a welding object, comprising: a laser distance sensor (110) installed to emit laser toward the welding object for measuring distance of the welding line; a laser pointer (120) installed to emit the laser toward the welding object for measuring a slope of a welding surface; a camera photographing the welding object to which the laser distance sensor (110) and the laser pointer (120) emit the laser; and an image processing module processing images photographed by the camera, extracting feature points to classify which type of a plurality of preset welding objects types the welding object belongs to, classifying the type of the welding object, and extracting the distance and the slope of the welding line to recognize a welding position and path. The present invention enables a robot to classify the type of the welding object within a block, to automatically recognize the welding line and to perform work by using an image recognition technology, thereby widening application ranges of welding robots and enhancing productivity. In addition, the present invention automatically calculates the welding position and path via the distance sensor and image information such that drawing information needed for works of the welding robot or instructions via an instruction manipulator is not needed, thereby making an unmanned welding robot possible to increase productivity. The drawing information is unnecessary, thereby increasing welding robot application ranges with respect to portions on which drawing information is difficult to acquire.

Description

영상처리를 이용한 용접로봇의 용접선 인식장치{Apparatus for detect dimensional welding line of welding robot using image processing} BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a welding robot,

본 발명은 영상처리를 이용한 용접로봇의 용접선 인식장치에 관한 것으로서, 특히 영상인식기술을 이용하여 로봇이 블록내 용접 대상물의 타입을 스스로 분류하고 용접선을 자동 인식하여 작업할 수 있도록 하는 영상처리를 이용한 용접로봇의 용접선 인식장치에 관한 것이다. The present invention relates to a welding line recognition apparatus for a welding robot using image processing, and more particularly, to a welding line recognition apparatus using image processing, in which a robot automatically classifies types of objects to be welded in a block, To a welding line recognition device for a welding robot.

조선 분야에서 생산의 대부분을 차지하는 용접 작업은 주로 직선 위주의 용접 구간으로 이루어지나 최근 복잡한 선체 구조의 물량이 늘어나면서 이를 자동으로 용접하기 위한 새로운 기술들이 요구되고 있다. 특히 로봇으로 이중 선체나 곡블록을 자동 용접하는 경우 대략 9개 정도의 타입으로 분류가 가능하나 공장 상황에 따라 도면 정보를 실시간으로 로봇에게 전송하기 어려운 경우가 있으며 이 경우 작업자가 로봇에게 작업해야 할 대상물의 형상 정보를 교시 조작기를 통하여 지정해 주어야 한다. 그런데, 사용되는 교시 조작기의 내구성이 공장 환경에 취약한 구조로 되어 있어 조선소에 용접 로봇을 적용하는데 많은 제약이 되고 있다. In the shipbuilding industry, the welding work mainly occupies a straight-line welding section. However, recently, the quantity of the complex hull structure has been increased, and new techniques for automatically welding it have been demanded. Especially, when automatic welding of double hull or tile block is possible with robot, it is possible to classify it into about 9 types. However, it is difficult to transmit drawing information to robot in real time according to factory situation. In this case, The shape information of the object should be specified through the teaching manipulator. However, since the durability of the teaching manipulator to be used is vulnerable to the factory environment, many restrictions are imposed on the application of the welding robot to the shipyard.

종래의 조선용 용접로봇들은 고정식이거나 이동식이거나 서버로부터 도면 정보를 전송받거나 교시 조작기를 통하여 용접 대상물의 형상 정보를 입력하여야만 용접선 인식이 가능하다.Conventional welding robots for shipbuilding can recognize welding lines only if they are fixed or mobile, receive drawing information from a server, or input shape information of a welding object through a teaching actuator.

한편, 종래 관련 분야 특허 기술로서, 3차원 비전 카메라와, 캐드 데이터로 구성된 데이터베이스와, 위치 인식 콘트롤러로 구성되고, 상기 위치 인식 콘트롤러는, 작업 대상물에 존재하는 수직 부재들의 양끝 모서리들 중에서 3개의 위치 값을 계측하는 제1과정과; 3개의 위치 값의 산술평균을 구하여 가상 중심 위치인 기준 위치를 결정하는 제2과정과; 3개의 위치값에서 계산되는 세 선분의 특징 정의에 의해 기준 방향 좌표계를 구하는 제3과정과; 기준 방향 좌표계의 회전 각도를 계산하는 제4과정과; 상기 작업 대상물의 캐드 데이터에 정의된 수직 부재들의 양끝 모서리를 저장한 위치 데이터들 중에 3점씩 조합하여 상기 계측된 3점 위치 데이터들과의 선분길이 및 3차원 회전각도의 비교에 의거하여 허용된 범위 이내에서 일치되는 캐드 데이터의 3점 위치 값을 검출하는 제5과정과; 최종적으로 실제 작업 대상물의 캐드 데이터와 작업 대상물의 3차원 측정 결과를 매칭하여 작업 대상물의 위치를 인식하고 작업 데이터의 위치를 검출하는 제6과정을 수행하도록 이루어짐을 특징으로 한다.작업 대상물의 위치 인식을 위한 방법 및 그 시스템이 제안되어 있다(특허문헌 1 참조).[0003] On the other hand, as a related art patented technology, there is a three-dimensional vision camera, a database composed of CAD data, and a position recognition controller. The position recognition controller includes three positions A first step of measuring a value; A second step of obtaining an arithmetic mean of the three position values and determining a reference position as a virtual center position; A third step of obtaining a reference direction coordinate system by the feature definition of three line segments calculated from the three position values; A fourth step of calculating a rotation angle of the reference direction coordinate system; Three points among the position data storing the edges of both ends of the vertical members defined in the CAD data of the work object are combined to obtain a permissible range based on the comparison of the segment length and the three-dimensional rotation angle with the measured three- A fifth step of detecting a three-point position value of the matched CAD data within a predetermined range; The sixth step of finally recognizing the position of the workpiece and detecting the position of the work data by matching the CAD data of the actual workpiece with the three dimensional measurement results of the workpiece. And a system therefor have been proposed (see Patent Document 1).

또한, (a) 레이저비젼 센서를 이용하여 용접선의 시작점을 인식하는 단계; b) 상기 시작점으로부터 용접이 시작되면, 아크 센서를 이용하여 용접토치의 팁과 부재간의 전류 및 전압을 측정하는 단계; c) 상기 레이저비젼 센서를 이용하여 인식된 데이터 및 아크 센서를 이용하여 측정된 데이터에 기초하여 용접선을 추적하고 용접부재간 갭을 측정하는 단계; d) 상기 측정된 갭이 기준값보다 작으면, 상기 추적한 용접선에 의해 용접을 진행하는 단계; 및 e) 상기 레이저비젼 센서에 의해 용접선의 끝단부가 검출되면 용접을 완료하는 단계를 포함하는 아크 센서와 레이저비젼 센서를 이용한 용접선 추적 및 끝단부 감지 방법이 제안되어 있다(특허문헌 2 참조). (A) recognizing a starting point of a weld line using a laser vision sensor; b) measuring the current and voltage between the tip and the member of the welding torch using an arc sensor when welding is started from the starting point; c) tracking the weld line based on the data recognized using the laser vision sensor and the data measured using the arc sensor and measuring the weld gap; d) if the measured gap is less than a reference value, proceeding the weld by the traced weld line; And e) completing the welding when the end of the weld line is detected by the laser vision sensor. In this method, a weld line tracking and edge detection method using an arc sensor and a laser vision sensor has been proposed (see Patent Document 2).

국내등록특허 제10-0914857Korean Patent No. 10-0914857 국내등록특허 제10-0859334Domestic registered patent No. 10-0859334

본 발명은 영상인식기술을 이용하여 로봇이 블록내 용접 대상물의 타입을 스스로 분류하고 용접선을 자동 인식하여 작업할 수 있도록 함으로써 용접 로봇의 적용 범위를 넓히고 이로 인해 생산성을 향상시킬 수 있는 영상처리를 이용한 용접로봇의 용접선 인식장치를 제공하는데 그 목적이 있다. The present invention relates to an image processing method and a robot image processing method, in which a robot can classify the types of objects to be welded in a block and automatically recognize the welding line by using the image recognition technology, thereby widening the application range of the welding robot, And to provide a weld line recognition device for a welding robot.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 영상처리를 이용한 용접로봇의 용접선 인식장치는, 용접 대상물의 용접선을 인식하기 위한 장치로서, 용접선의 거리를 측정하기 위하여 용접 대상물을 향하여 레이저를 조사할 수 있도록 설치되는 레이저 거리센서와; 용접면의 기울기를 측정하기 위하여 용접 대상물을 향하여 레이저를 조사할 수 있도록 설치되는 레이저 포인터와; 상기 레이저 거리센서 및 레이저 포인터에서 레이저가 조사된 용접 대상물을 촬영하는 카메라와; 상기 카메라에서 촬영된 영상을 처리하여 용접 대상물이 기 설정된 복수의 용접 대상물의 타입 중 어느 타입에 해당되는지를 분류하기 위한 특징점을 추출하여 용접 대상물의 타입을 분류함과 아울러, 용접선의 거리 및 기울기를 도출하여 용접 위치와 경로를 인식하는 영상 처리모듈을 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for recognizing a weld line of a welding robot using image processing, the apparatus comprising: A laser distance sensor installed so as to be able to make a light; A laser pointer installed to be able to irradiate a laser beam toward a welding object to measure a tilt of the welding surface; A camera for photographing a laser-irradiated object to be welded by the laser distance sensor and the laser pointer; The image picked up by the camera is processed to extract feature points for classifying which type of welding object corresponds to a predetermined plurality of types of welding objects to classify the type of the welding object and to classify the distance and slope of the welding object And recognizing the welding position and the path.

여기에서, 상기 레이저 포인터는 3개의 레이저 포인터로 구성되되, 상기 3개의 레이저 포인터는, 장치 전방에 하나의 초점을 형성하도록 상기 레이저 거리센서를 중심으로 동일 거리 상에 위치하며 상호간에 120도를 이루며 설치되될 수 있다. Here, the laser pointer is composed of three laser pointers, and the three laser pointers are located at the same distance with respect to the laser distance sensor so as to form one focus in front of the apparatus, Can be installed.

또한, 조명을 위한 조명기구를 더 구비할 수 있다. Further, a lighting device for lighting may be further provided.

또한, 상기 카메라는 용접로봇의 축 링크 하부에 내삽되는 형태로 설치될 수 있다. In addition, the camera may be installed so as to be inserted into the lower part of the axial link of the welding robot.

또한, 상기 카메라의 렌즈 보호를 위하여 슬라이딩 덮개를 더 구비할 수 있다. In addition, a sliding cover may be further provided to protect the camera lens.

본 발명에 따르면, 영상인식기술을 이용하여 로봇이 블록내 용접 대상물의 타입을 스스로 분류하고 용접선을 자동 인식하여 작업할 수 있도록 함으로써 용접 로봇의 적용 범위를 넓히고 이로 인해 생산성을 향상시킬 수 있다. According to the present invention, by using the image recognition technology, the robot can classify the type of the welding object in the block by itself, and can automatically recognize and weld the welding line, thereby widening the application range of the welding robot and thereby improving the productivity.

또한, 용접 위치와 경로를 거리센서와 영상 정보를 통하여 자동으로 계산해 냄으로써 용접 로봇의 작업에 필요한 도면 정보나 교시 조작기를 통한 교시가 필요치 않아 용접 로봇의 무인화가 가능하여 생산성이 증대되며 도면 정보가 필요치 않아 도면 정보 획득이 어려운 부위에 대한 용접 로봇의 적용 범위 또한 확대가 가능하다. In addition, since the welding position and path are automatically calculated through the distance sensor and image information, the welding robot can be unmanned because the drawing information required for the welding robot or the teaching operation through the teaching manipulator is not needed, thereby increasing the productivity. It is possible to extend the range of welding robots to areas where drawing information is difficult to obtain.

도 1은 본 발명에 따른 용접선 인식장치의 제1 사용 상태도.
도 2는 본 발명에 따른 용접선 인식장치의 제2 사용 상태도.
도 3은 본 발명에 따른 용접 대상물의 타입을 보여주는 도면,
도 4는 본 발명에 따라 허프 변환(Hough Transform)으로 용접선을 인식한 실제예.
도 5는 본 발명에 따른 용접선 인식방법의 흐름도. 1 is a first use state view of a weld seam recognition device according to the present invention;
2 is a second use state view of a weld seam recognition device according to the present invention.
3 is a view showing a type of a welding object according to the present invention,
4 is a practical example in which a weld line is recognized by a Hough Transform according to the present invention.
5 is a flowchart of a weld line recognition method according to the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 1은 본 발명에 따른 용접선 인식장치의 제1 사용 상태도, 도 2는 본 발명에 따른 용접선 인식장치의 제2 사용 상태도, 도 3은 본 발명에 따른 용접 대상물의 타입을 보여주는 도면, 도 4는 본 발명에 따라 허프 변환(Hough Transform)으로 용접선을 인식한 실제예이다. FIG. 1 is a first use state view of a weld seam recognition device according to the present invention, FIG. 2 is a second use state view of a weld seam recognition device according to the present invention, FIG. 3 is a view showing a type of a welding object according to the present invention, 4 is a practical example of recognizing a weld line in a Hough Transform according to the present invention.

본 발명에 따른 영상처리를 이용한 용접로봇의 용접선 인식장치은, 영상인식기술을 이용하여 로봇이 블록내 용접 대상물의 타입을 스스로 분류하고 용접선을 자동 인식하여 작업할 수 있도록 함으로써 용접 로봇의 적용 범위를 넓히고 이로 인해 생산성을 향상시킬 수 있도록 구성된 것을 그 기술적 요지로 한다. The welding line recognition device of the welding robot using the image processing according to the present invention can broaden the application range of the welding robot by allowing the robot to classify the type of the welding object in the block and automatically recognize the welding line by using the image recognition technology And to improve the productivity thereof.

도면에 도시한 바와 같이, 본 발명에 따른 영상처리를 이용한 용접로봇의 용접선 인식장치(100)는 용접 대상물의 용접선을 인식하기 위하여 로봇의 몸체에 부착 가능한 모듈 형태의 장치로서, 크게 레이저 거리센서(110), 레이저 포인터(120), 카메라(미도시) 및 영상 처리모듈(미도시)를 포함하여 이루어진다. As shown in the drawing, a welding line recognition apparatus 100 for a welding robot using image processing according to the present invention is a module-type apparatus that can be attached to a robot body to recognize a welding line of an object to be welded. 110, a laser pointer 120, a camera (not shown), and an image processing module (not shown).

상기 레이저 거리센서(110)는 용접선(2)의 거리를 측정하기 위하여 용접 대상물(1)을 향하여 레이저를 조사할 수 있도록 설치된다. The laser distance sensor 110 is installed to irradiate a laser beam toward the object 1 to measure the distance of the weld line 2.

상기 레이저 포인터(120)는 용접면의 기울기를 측정하기 위하여 용접 대상물(1)을 향하여 레이저를 조사할 수 있도록 설치된다. The laser pointer 120 is installed so as to irradiate a laser beam toward the object 1 to measure a tilt of the welding surface.

구체적으로, 상기 레이저 포인터(120)는 3개의 레이저 포인터로 구성될 수 있는데, 3개의 상기 레이저 포인터(120)는, 장치 전방에 하나의 초점을 형성하도록 상기 레이저 거리센서(110)를 중심으로 동일 거리 즉 동일 원주 상에 각각 120도를 이루며 설치되는 것이 바람직하다. 이 때 3개의 상기 레이저 포인터(120)의 조사 각도는 레이저 거리센서(110)의 경로상에서 초점이 형성되도록 동일한 상수값(각도)으로 미리 정해져 있다. Specifically, the laser pointer 120 may be composed of three laser pointers, and the three laser pointers 120 may be the same as each other around the laser distance sensor 110 so as to form one focus in front of the apparatus. It is preferable that they are installed at a distance of 120 degrees on the same circumference. At this time, the irradiation angles of the three laser pointers 120 are predetermined to have the same constant value (angle) so as to form a focus on the path of the laser distance sensor 110.

따라서, 상기 레이저 거리센서(110)의 측정값과 용접 대상물(1) 벽면에 나타난 3개의 레이저 포인터(120)의 점과 중심점과의 거리비를 계산하면 벽면의 기울기 값이 계산 가능하다. Accordingly, the slope value of the wall surface can be calculated by calculating the distance ratio between the measured value of the laser distance sensor 110 and the point of the three laser pointers 120 on the wall surface of the welding object 1 and the center point.

이러한 계산을 바탕으로 레이저 거리센서(110)로 측정된 인식장치(100)와 용접 대상물(1) 벽면간의 실제 거리를 이용하면 3개의 레이저 포인터(120)의 점과 중심점과의 실제 거리값이 계산 가능하며 이와 촬영 영상 상의 픽셀 거리 비율을 계산하면 영상의 두 픽셀 거리와 실제 거리 비율을 알 수 있다. 이를 바탕으로 이미 상용화된 기술인 영상 처리 기법(라인 디텍팅 기법)과 이렇게 인식된 라인을 사전에 9가지로 분류된 용접 경로 패턴과 비교하여 분류한 후 용접 경로에 해당하는 라인의 실제 용접 위치와 용접 경로를 계산해 낼 수 있다. Using the actual distance between the recognition device 100 measured by the laser distance sensor 110 and the wall surface of the welding object 1 based on this calculation, the actual distance value between the points of the three laser pointers 120 and the center point is calculated It is possible to calculate the ratio of the pixel distance on the photographed image, so that the distance between the two pixels of the image and the actual distance ratio can be known. Based on this, we compared the image processing technique (line detection technique), which is already commercialized, and the recognized line, with nine kinds of welding path patterns, and classified the actual welding position of the line corresponding to the welding path and welding The path can be calculated.

상기 카메라는 상기 레이저 거리센서(110) 및 레이저 포인터(120)에서 레이저가 조사된 용접 대상물(1)을 촬영하다. The camera photographs the welding object 1 irradiated with the laser beam from the laser distance sensor 110 and the laser pointer 120.

상기 영상 처리모듈은 상기 카메라에서 촬영된 영상을 처리하여 용접 대상물(1)이 기 설정된 복수의 용접 대상물(1)의 타입(예를 들면 도 3에 도시한 9가지 타입) 중 어느 타입에 해당되는지를 분류하기 위한 특징점을 추출하여 용접 대상물(1)의 타입을 분류함과 아울러, 용접선(2)의 거리 및 기울기를 도출하여 용접 위치와 경로를 인식한다. 참고적으로, 실제 용접선 추출은 터치센서를 활용하며, 상기 인식된 정보는 OLP 및 터치 초기점 생성을 위해 사용된다. The image processing module processes the image photographed by the camera to determine which type (for example, nine types shown in FIG. 3) of a plurality of predetermined welding objects 1 And the welding position and the path are recognized by classifying the type of the welding object 1 and deriving the distance and slope of the welding line 2. [ For reference, actual seam line extraction utilizes a touch sensor, and the recognized information is used for OLP and touch initial point generation.

이와 같이, 본 발명에서는 용접 경로가 비교적 단순한 형상인 직선으로 구성된다는 점에 착안하여 저비용의 소형화된 카메라(예를 들면 스마트폰 카메라) 등으로 형상을 촬영한 뒤 간단한 직선 추출 알고리즘을 이용하여 직선만을 추출한 뒤 미리 입력된 복수개의 패턴 중 어떤 형태에 속하는지 패턴 매칭을 통해 자동으로 분류하고 3개의 레이저 포인터(120)와 1개의 레이저 거리센서(110)로 용접면의 기울어진 각도 및 실제 거리와 영상상의 픽셀 거리에 대한 스케일링 상수를 계산하여 직선의 실제 위치와 길이를 산출하게 된다. As described above, in the present invention, taking the fact that the welding path is formed by a straight line having a relatively simple shape, the shape is photographed by a low-cost, small-sized camera (e.g., a smartphone camera) The laser pointer 120 and the laser distance sensor 110 are used to classify the angle and the actual distance of the welding surface and the distance between the laser pointer 120 and the laser distance sensor 110. [ The actual position and length of the straight line are calculated by calculating a scaling constant with respect to the pixel distance on the straight line.

도 1,2를 참조하여 용접 경로를 산출하는 과정을 구체적으로 설명하면 다음과 같다, The process of calculating the welding path will be described in detail with reference to FIGS. 1 and 2. FIG.

1.

Figure pat00001
의 세 변의 길이 비율을 계산하여 Trans 평면의 3차원 기울기를 도출한다. 세 변의 길이가 같은 경우 기울기는 0이다. One.
Figure pat00001
And the three-dimensional slope of the Trans plane is derived. If the three sides have the same length, the slope is zero.

2. 레이저 거리센서(110)로 측정된 거리값과 레이저 포인터(120)의 기울기 값 그리고 평면의 기울기 값을 이용하여 세 변의 2차원 투영된 실제 거리 값을 계산한다.2. Calculate the two-dimensional projected actual distance value of three sides using the distance value measured by the laser distance sensor 110, the slope value of the laser pointer 120, and the slope value of the plane.

3. 영상에서의 세 변의 픽셀 거리 값과 2번에서 계산된 실제 거리 값의 비율을 계산하여 Scaling factor를 도출한다. 3. Calculate the scaling factor by calculating the ratio of the pixel distance of three sides in the image to the actual distance value calculated in 2.

4. 영상 처리를 통하여 인식된 용접 경로의 픽셀 위치에 Scaling factor 값을 적용하여 실제 용접 경로의 대략적인 시작점과 끝점을 계산한다. 4. Calculate the approximate starting and ending points of the actual welding path by applying a scaling factor value to the pixel locations of the recognized welding path through image processing.

5. 계산된 용접 경로의 시작점과 끝점 정보를 이용하여 실제 터치 센싱 위치를 도출한다. 5. Derive the actual touch sensing location using the calculated starting point and end point information of the welding path.

6. 터치 센싱 후 센싱된 위치 값을 이용하여 정확한 용접 경로를 계산해 낼 수 있다. 6. Accurate welding path can be calculated by using sensed position value after touch sensing.

결과적으로, 도면이나 OLP 정보 없이 로봇이 자동으로 용접 경로를 인식할 수 있어 용접 로봇의 무인화율 및 적용율을 높일 수 있다. As a result, the robot can automatically recognize the welding path without drawing or OLP information, thereby increasing the unattended and application rate of the welding robot.

한편, 본 발명에 따른 영상처리를 이용한 용접로봇의 용접선 인식장치(100)는 작업장의 조도 상황에 따라 영상 처리가 어려울 수도 있으므로 플래쉬 등의 보조 조명을 위한 조명기구를 더 구비하여 조명상태를 다르게 촬영한 영상을 획득하여 인식률을 향상시킬 수 있다. Meanwhile, the welding line recognition apparatus 100 of the welding robot using the image processing according to the present invention may further include a lighting device for auxiliary illumination such as a flashlight, The recognition rate can be improved by acquiring one image.

또한, 본 발명에 따른 영상처리를 이용한 용접로봇의 용접선 인식장치(100)는 상기 카메라를 용접로봇의 2~3축 링크 하부에 내삽되는 형태로 설치하여 로봇 작업 시 간섭 제거, 촬영에 용이한 자세를 도출할 수 있다. In addition, the welding line recognizing apparatus 100 of the welding robot using the image processing according to the present invention is installed in a manner that the camera is inserted under the 2 ~ 3 axis links of the welding robot, Can be derived.

또한, 상기 카메라의 렌즈 보호를 위하여 슬라이딩 덮개를 더 구비하여 스펙터나 흄 등으로 인한 렌즈의 오염을 방지할 수 있다. Further, a sliding cover may be further provided to protect the lens of the camera, thereby preventing contamination of the lens due to spectra or fumes.

본 발명에 따른 영상처리를 이용한 용접로봇의 용접선 인식장치(100)는 인식에 실패하는 경우 자세 변경 후 재인식 시도를 반복할 수 있으며 일정 횟수 초과 시 작업자에게 알람 후 작업자가 분류하는 것도 가능하다.The welding line recognizing apparatus 100 of the welding robot using the image processing according to the present invention can repeat the attempt of recognition after the posture change if the recognition fails, and it is also possible for the worker to classify the worker after the alarm when the number of times exceeds a predetermined number.

도 5는 본 발명에 따른 용접선 인식방법의 흐름도용접 대상물의 용접선을 인식하기 위한 방법이다. 5 is a flowchart of a method of recognizing a weld line according to the present invention.

먼저, 레이저 거리센서(110)를 이용하여 용접 대상물(1)을 향하여 레이저를 조사하고, 전방에 하나의 초점을 형성하도록 상기 레이저 거리센서(110)를 중심으로 동일 거리 상에 각각 120도를 이루며 설치되는 3개의 레이저 포인터(120)를 이용하여 용접 대상물을 향하여 레이저를 조사한다(S110). First, a laser is irradiated toward the object 1 using the laser distance sensor 110, and 120 degrees are formed on the same distance around the laser distance sensor 110 so as to form one focus on the front side The laser is irradiated toward the object to be welded using the three laser pointers 120 installed (S110).

그 다음에, 카메라를 이용하여 용접 대상물(1)을 촬영한다(S120). Then, the object 1 is photographed using a camera (S120).

그 다음에, 상기 카메라에서 촬영된 영상을 처리하여 용접 대상물(1)이 기 설정된 복수의 용접 대상물의 타입 중 어느 타입에 해당되는지를 분류하기 위한 특징점을 추출하여 용접 대상물(1)의 타입을 분류하고, 또한 용접선(2)의 거리 및 기울기를 도출하여 용접 위치와 경로를 인식한다(S130). Next, the image photographed by the camera is processed to extract feature points for classifying which type of welding object corresponds to which of the predetermined types of welding objects, and the type of the welding object 1 is classified And the welding position and path are recognized by deriving the distance and slope of the weld line 2 (S130).

상술한 바와 같이, 본 발명에서는 영상인식기술을 이용하여 로봇이 블록내 용접 대상물의 타입을 스스로 분류하고 용접선을 자동 인식하여 작업할 수 있도록 함으로써 용접 로봇의 적용 범위를 넓히고 이로 인해 생산성을 향상시킬 수 있다. As described above, in the present invention, by using the image recognition technology, the robot can classify the type of the welding objects in the block and automatically recognize the welding line, thereby widening the application range of the welding robot and thereby improving the productivity have.

또한, 용접 위치와 경로를 거리센서와 영상 정보를 통하여 자동으로 계산해 냄으로써 용접 로봇의 작업에 필요한 도면 정보나 교시 조작기를 통한 교시가 필요치 않아 용접 로봇의 무인화가 가능하여 생산성이 증대되며 도면 정보가 필요치 않아 도면 정보 획득이 어려운 부위에 대한 용접 로봇의 적용 범위 또한 확대가 가능하다. In addition, since the welding position and path are automatically calculated through the distance sensor and image information, the welding robot can be unmanned because the drawing information required for the welding robot or the teaching operation through the teaching manipulator is not needed, thereby increasing the productivity. It is possible to extend the range of welding robots to areas where drawing information is difficult to obtain.

한편, 본 발명에 따른 영상처리를 이용한 용접로봇의 용접선 인식장치를 한정된 실시예에 따라 설명하였지만, 본 발명의 범위는 특정 실시예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, And various modifications, alterations, and changes may be made without departing from the spirit and scope of the invention.

따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . It is intended that the present invention cover the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents.

100 : 용접선 인식장치
110 : 레이저 거리센서
120 : 레이저 포인터100: Seam recognition device
110: Laser distance sensor
120: laser pointer

Claims (5)

용접 대상물의 용접선을 인식하기 위한 장치(100)로서,
용접선의 거리를 측정하기 위하여 용접 대상물을 향하여 레이저를 조사할 수 있도록 설치되는 레이저 거리센서(110)와;
용접면의 기울기를 측정하기 위하여 용접 대상물을 향하여 레이저를 조사할 수 있도록 설치되는 레이저 포인터(120)와;
상기 레이저 거리센서(110) 및 레이저 포인터(120)에서 레이저가 조사된 용접 대상물을 촬영하는 카메라와;
상기 카메라에서 촬영된 영상을 처리하여 용접 대상물이 기 설정된 복수의 용접 대상물의 타입 중 어느 타입에 해당되는지를 분류하기 위한 특징점을 추출하여 용접 대상물의 타입을 분류함과 아울러, 용접선의 거리 및 기울기를 도출하여 용접 위치와 경로를 인식하는 영상 처리모듈을 포함하는 영상처리를 이용한 용접로봇의 용접선 인식장치. An apparatus (100) for recognizing a weld line of a welding object,
A laser distance sensor 110 installed to irradiate a laser beam toward the object to measure the distance of the weld line;
A laser pointer 120 installed to irradiate a laser beam toward the object to measure the inclination of the welding surface;
A camera for photographing a laser-irradiated object to be welded by the laser distance sensor 110 and the laser pointer 120;
The image picked up by the camera is processed to extract feature points for classifying which type of welding object corresponds to a predetermined plurality of types of welding objects to classify the type of the welding object and to classify the distance and slope of the welding object A welding line recognition device for a welding robot using image processing including an image processing module for deriving a welding position and a path. 청구항 1에 있어서,
상기 레이저 포인터(120)는 3개의 레이저 포인터로 구성되되,
상기 3개의 레이저 포인터는, 장치 전방에 하나의 초점을 형성하도록 상기 레이저 거리센서(110)를 중심으로 동일 거리 상에 위치하며 상호간에 120도를 이루며 설치되는 것을 특징으로 하는 영상처리를 이용한 용접로봇의 용접선 인식장치. The method according to claim 1,
The laser pointer 120 is composed of three laser pointers,
Wherein the three laser pointers are disposed at the same distance with respect to the laser distance sensor 110 so as to form one focus in front of the apparatus, . 청구항 1에 있어서,
조명을 위한 조명기구를 더 구비한 것을 특징으로 하는 영상처리를 이용한 용접로봇의 용접선 인식장치. The method according to claim 1,
Wherein the welding robot further comprises a lighting device for illumination. 청구항 1에 있어서,
상기 카메라는 용접로봇의 축 링크 하부에 내삽되는 형태로 설치되는 것을 특징으로 하는 영상처리를 이용한 용접로봇의 용접선 인식장치. The method according to claim 1,
Wherein the camera is installed so as to be inserted into a lower portion of an axial link of the welding robot. 청구항 1에 있어서,
상기 카메라의 렌즈 보호를 위하여 슬라이딩 덮개를 더 구비한 것을 특징으로 하는 영상처리를 이용한 용접로봇의 용접선 인식장치.







The method according to claim 1,
Further comprising a sliding lid for protecting the lens of the camera.







KR1020160075753A 2016-06-17 2016-06-17 Apparatus for detect dimensional welding line of welding robot using image processing KR20170142379A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160075753A KR20170142379A (en) 2016-06-17 2016-06-17 Apparatus for detect dimensional welding line of welding robot using image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160075753A KR20170142379A (en) 2016-06-17 2016-06-17 Apparatus for detect dimensional welding line of welding robot using image processing

Publications (1)

Publication Number Publication Date
KR20170142379A true KR20170142379A (en) 2017-12-28

Family

ID=60939889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160075753A KR20170142379A (en) 2016-06-17 2016-06-17 Apparatus for detect dimensional welding line of welding robot using image processing

Country Status (1)

Country Link
KR (1) KR20170142379A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109551132A (en) * 2019-02-01 2019-04-02 天津伟创达自动化技术有限公司 It is a kind of for welding the process and device of bullet train window
CN110930368A (en) * 2019-10-31 2020-03-27 中船重工鹏力（南京）智能装备系统有限公司 Method for extracting characteristics of real-time welding image of sheet lap weld
CN112659123A (en) * 2020-12-14 2021-04-16 南京工程学院 Double-robot curve welding collaborative planning method based on line structure light vision
KR20230108905A (en) 2022-01-12 2023-07-19 한화오션 주식회사 Method of automatically write block shape and dimension information for robot OLP

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109551132A (en) * 2019-02-01 2019-04-02 天津伟创达自动化技术有限公司 It is a kind of for welding the process and device of bullet train window
CN110930368A (en) * 2019-10-31 2020-03-27 中船重工鹏力（南京）智能装备系统有限公司 Method for extracting characteristics of real-time welding image of sheet lap weld
CN110930368B (en) * 2019-10-31 2022-02-18 中船重工鹏力（南京）智能装备系统有限公司 Method for extracting characteristics of real-time welding image of sheet lap weld
CN112659123A (en) * 2020-12-14 2021-04-16 南京工程学院 Double-robot curve welding collaborative planning method based on line structure light vision
KR20230108905A (en) 2022-01-12 2023-07-19 한화오션 주식회사 Method of automatically write block shape and dimension information for robot OLP

Similar Documents

Publication Publication Date Title
Ding et al. An on-line shape-matching weld seam tracking system
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
KR101973917B1 (en) Three-dimensional measuring device and its supporting method of measurement
US20120099798A1 (en) Information processing apparatus, information processing method, and program
JPWO2015045834A1 (en) Marker image processing system
KR20170142379A (en) Apparatus for detect dimensional welding line of welding robot using image processing
Liu et al. Precise initial weld position identification of a fillet weld seam using laser vision technology
US10708479B2 (en) Optical measurement of object location in three dimensions
Tian et al. Automatic identification of multi-type weld seam based on vision sensor with silhouette-mapping
Wu et al. Monocular-vision-based method for online measurement of pose parameters of weld stud
KR20210019014A (en) Method and plant for determining the location of a point on a complex surface of space
KR20140056790A (en) Apparatus for image recognition and method thereof
JP2903964B2 (en) Three-dimensional position and posture recognition method based on vision and three-dimensional position and posture recognition device based on vision
JP7353757B2 (en) Methods for measuring artifacts
JP6621351B2 (en) Image processing apparatus and image processing method for laser processing
JP2015007639A (en) Information processing apparatus, information processing method and program
KR101359649B1 (en) obstacle detection sensor
KR101784584B1 (en) Apparatus and method for determing 3d object using rotation of laser
CN111179221B (en) Method, equipment and storage medium for detecting welding groove
Takubo et al. Welding Line Detection Using Point Clouds from Optimal Shooting Position
CN106141382A (en) Bevel for welding marginal position visual sensing detection method
Huang et al. Weld line detection using realsense depth camera based on depth map
WO2022239355A1 (en) Position measurement system
Kiddee et al. A geometry based feature detection method of V-groove weld seams for thick plate welding robots
US20230288912A1 (en) Workstation with dynamic machine vision sensing and augmented reality