KR20020084869A - Automatic Recognition Method of Weld Joints - Google Patents
Automatic Recognition Method of Weld Joints Download PDFInfo
- Publication number
- KR20020084869A KR20020084869A KR1020010024228A KR20010024228A KR20020084869A KR 20020084869 A KR20020084869 A KR 20020084869A KR 1020010024228 A KR1020010024228 A KR 1020010024228A KR 20010024228 A KR20010024228 A KR 20010024228A KR 20020084869 A KR20020084869 A KR 20020084869A
- Authority
- KR
- South Korea
- Prior art keywords
- joint
- shape
- neural network
- image processing
- welding
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/0037—Measuring of dimensions of welds
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/08—Testing mechanical properties
- G01M11/081—Testing mechanical properties by using a contact-less detection method, i.e. with a camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 용접 조인트 형상의 자동 인식 방법에 관한 것이다.The present invention relates to a method for automatic recognition of the weld joint shape.
용접선 추적을 위한 시각센서 시스템에 대한 방법들은 많이 알려져 있고 구체화가 되어 있다. 하지만, 용접 조인트 형상 자동 인식에 대한 것은 아직 미진하고 이 방법은 용접자동화 및 용접로봇의 자동화에도 많이 기여할 수 있을 것이다.Methods for visual sensor systems for weld seam tracking are well known and specified. However, the automatic recognition of weld joint shape is still insufficient, and this method may contribute to welding automation and welding robot automation.
일반적으로 도 1에 도시된 바와 같이 용접 조인트 형상은 보통 다섯 가지로분류되어 진다. 그리고 일반적으로 용접선 자동 추적을 위한 비전 시스템은 용접 조인트 형상에 대하여 한가지 혹은 두 가지 정도 인식하도록 시스템을 구성한다. 그러나 용접 조인트 형상을 판단하는 것은 작업자가 직접 형상을 선택하거나 모드를 전환하는 방식으로 비전 시스템이 구성되어 진다. 그러므로 다양한 용접 조인트 형상이 존재하는 현장임에도 불구하고 특정 부재에 제한된 비전시스템을 구성함으로서 활용도가 저하되는 요인이 되었으며 또한 용접 형상이 변경될 경우 작업자가 직접 선택모드를 조작해야 함으로 불편 요인이 되었으며 또한 용접 형상이 변경될 경우 작업자가 직접 선택모드를 조작해야 함으로 불편 요인이 되었다.In general, as shown in FIG. 1, weld joint shapes are generally classified into five types. In general, vision systems for automatic weld line tracking configure the system to recognize one or two types of weld joint geometry. However, to determine the weld joint shape, the vision system is constructed in such a way that the operator directly selects the shape or switches modes. Therefore, despite the presence of various welded joint shapes, the limited vision system for certain members has contributed to the deterioration of utilization. Also, if the welded shape is changed, it is inconvenient because the operator has to manually operate the selection mode. If the shape is changed, it is inconvenient because the operator has to manually operate the selection mode.
본 발명은 실제 현장에서 많이 발생되는 용접 조인트의 형상을 다섯 가지로 구분하였고 이렇게 구분된 형상에 레이저가 비추어지고 부재의 모양에 따라 반사된 상이 카메라를 통해서 입력되어 모니터링 화면에 나타내게 된다. 이렇게 획득되어진 레이저 띠의 영상정보는 신경회로망을 통해서 학습을 시켜서 출력으로 각 형상의 패턴을 구분하도록 하였다. 학습된 신경회로망을 도 3과 같이 이미지 처리 전단에 삽입시킴으로서 여러 가지 레이저 띠 형상의 영상정보가 입력되어도 출력으로서 가장 근접한 조인트 형상을 판단하게 된다. 그리고 각 조인트 형상에 적절한 이미지 처리가 이루어지게 됨으로서 용접선을 자동으로 찾는 시스템이다.According to the present invention, the weld joints generated in the actual field are divided into five types, and the laser beam is reflected on the divided shapes, and the reflected image according to the shape of the member is input through the camera and displayed on the monitoring screen. The image information of the laser strip thus obtained was learned through neural network to distinguish the pattern of each shape by output. By inserting the learned neural network into the front end of the image processing as shown in Fig. 3, even if various laser band-shaped image information is input, the closest joint shape is determined as the output. And the appropriate image processing is performed for each joint shape is a system that automatically finds the weld seam.
본 발명은 시각센서에서 획득된 용접 조인트별 형상 정보를 신경회로망으로 학습시키고 이렇게 학습된 신경회로망에 임의의 조인트 영상 정보를 입력시켜 가장적합한 용접 조인트 패턴을 자동으로 찾아내는 방법과 용접 조인트 형상의 자동인식 후, 인식된 조인트의 패턴에 합당한 이미지처리가 자동으로 이루어지는 방법을 제공코져 하는 것이다.The present invention is to learn the shape information of each weld joint obtained by the visual sensor with a neural network and to automatically find the most suitable weld joint pattern by inputting arbitrary joint image information into the learned neural network and automatic recognition of the weld joint shape. Then, it is to provide a method in which image processing appropriate for the pattern of the recognized joint is automatically performed.
도 1 은 용접 조인트 형상별 레이저 띠 모양의 현장도와 이미지도1 is a field view and an image view of the laser strip shape according to the weld joint shape
도 2 는 본 발명의 한 실시 예에 대한 시스템 현장 개념도2 is a system site conceptual diagram of one embodiment of the present invention;
도 3 은 본 발명에 사용된 신경회로망의 구성도3 is a block diagram of a neural network used in the present invention
도 4 는 본 발명에 사용된 용접 조인트 형상 자동 인식 방법의 수순도4 is a flowchart of a method for automatically recognizing a weld joint shape used in the present invention.
도 5 는 본 발명의 실시 예의 현장도5 is a field view of an embodiment of the present invention;
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
(1) 시각 센서 헤드(1) visual sensor head
(2) 용접 부재(2) welding member
(3) 레이저 빔(3) laser beam
(4) 모니터링 화면(4) monitoring screen
(5) 레이저 띠(5) laser strip
(6) 용접선(6) welding line
(10) 영상 획득 보드10 image acquisition board
(11) 산업용 PC(11) industrial PC
(20) 신경회로망의 입력(20) input of neural network
(21) 신경회로망의 출력(21) output of neural network
(23) 신경회로망의 각 층(23) layers of neural networks
(24) 각 층 23간의 가중치(24) weights between floors 23
(50) 영상 획득 데이터50 image acquisition data
(51) 신경회로망 입력 데이터(51) Neural Network Input Data
(52) 신경회로망 출력 데이터(52) neural network output data
(53) 이미지 프로세싱(53) image processing
(54) 용접선 인식(54) welding seam recognition
도 1은 본 발명의 용접 조인트의 형상을 대표되는 5가지로 분류하였다. 그림 중 레이저 띠의 영상을 입력받는 시각센서 헤드(1)(카메라+ 레이저 띠), 용접 부재(2), 레이저 빔(3), 모니터링 화면(4), 레이저 띠로 형상화 된 용접 조인트 형상(5), 이미지 처리에 의해서 인식된 용접선(6)을 나타내었다.1 is divided into five representative shapes of the weld joint of the present invention. The visual sensor head 1 (camera + laser stripe), the welding member 2, the laser beam 3, the monitoring screen 4, and the weld joint shape (5) shaped as the laser stripe, which receive an image of the laser stripe in the figure. The weld line 6 recognized by the image processing is shown.
도 2는 본 발명의 시스템의 주요 부분을 구성한 구성도이다. 시각센서 헤드(1)은 각 부재에 대한 영상을 카메라를 통하여 영상 획득 보드(10)로 전송한다. 영상 획득 보드(10)는 입력된 영상을 디지털 값으로 변화시키고 이미지처리가 가능하도록 영상 데이터를 보관하는 부분이다. 제어기 본체인 산업용 PC(11)에서 신경회로망을 구현하고 조인트의 형상을 자동 판단 및 용접선 인식이 가능하게 프로그램 처리를 행한다.2 is a block diagram of the main parts of the system of the present invention. The visual sensor head 1 transmits an image of each member to the image acquisition board 10 through a camera. The image acquisition board 10 is a part for storing the image data so that the input image is converted into a digital value and image processing is possible. The industrial PC 11, which is the controller body, implements the neural network and performs program processing to enable automatic determination of the shape of the joint and recognition of the weld seam.
도 3은 본 발명에 사용된 신경회로망이다. 신경회로망의 입력(20)측으로 각각 용접조인트 형상 데이터(레이저 띠의 픽셀 정보)가 신경회로망 입력 데이터(51)로서 입력되고, 신경회로망의 출력(21)은 각각 경우에 해당하는 용접 조인트 형상에 ID를 부여하여 목표값을 갖도록 한다. 신경회로망은 부여된 목표값과 출력의 오차가 최소가 되는 방향으로 신경회로망의 각 층(23)간의 가중치(24)를 조정한다.최종으로 조정되어진 신경회로망을 도 4와 같이 삽입하여 경우에 따른 용접 조인트 형상을 판단하게 된다.3 is a neural network used in the present invention. The weld joint shape data (laser band pixel information) is input as the neural network input data 51 to the input 20 side of the neural network, respectively, and the output 21 of the neural network has an ID corresponding to the weld joint shape corresponding to each case. To have a target value. The neural network adjusts the weight 24 between the layers 23 of the neural network in a direction in which the error between the given target value and the output is minimized. The neural network finally adjusted is inserted as shown in FIG. The shape of the weld joint is determined.
도 4는 본 발명에 사용된 용접조인트 형상 자동 인식 방법이다. 시각 센서 헤드(1)부의 영상신호를 데이터로 바꾸는 영상 획득 데이터(50) 과정이다. 획득한 영상에서 조인트 형상과 관련된 특정 데이터(레이저 띠의 픽셀 정보)를 검출하는 신경회로망 입력 데이터(51) 과정이고, 이곳에서 검출된 데이터를 학습자료로 이용하여 학습된 신경회로망에서 가장 유사한 용접조인트 패턴을 찾는 신경회로망 출력 데이터(52) 과정이고, 신경회로망에서 판단된 패턴인식에 기인하여 용접 조인트의 형상에 대한 이미지처리를 실시하는 이미지 프로세싱(53) 단계이다. 식별된 조인트에 관하여 조인트의 용접선을 이미지 처리로 찾는 용접선 인식(54) 과정이다.4 is an automatic welding joint shape recognition method used in the present invention. Image acquisition data 50 is a process of converting an image signal of the visual sensor head 1 into data. Neural network input data 51 process for detecting specific data related to the joint shape (laser band pixel information) in the acquired image, and the weld joint most similar in the neural network learned using the detected data as learning data. In the neural network output data 52 process of finding a pattern, image processing 53 is performed to perform image processing on the shape of the weld joint due to the pattern recognition determined by the neural network. Weld seam recognition 54 which finds the weld seam of the joint with respect to the identified joint by image processing.
도 5는 본 발명의 현장 실시 예이다. 로봇을 이용하여 조인트를 자동으로 찾을 경우 시간 t1에서 시간 t2를 거쳐 t3까지 이동하게 되면, t1과 t2 사이에서는 획득된 영상을 학습된 내용과 일치가 되지 않지만 t3에서 용접조인트를 위에서 제시된 방법으로 인식을 하게 되는 예이다. t1에서의 정보로는 용접시점을 찾을 수가 없으므로 t2단계를 거쳐 t3의 위치에 카메라가 위치할 경우 현재 부재에 대한 용접조인트를 발견하였으므로 용접지점을 쉽게 찾을 수가 있다.5 is a field embodiment of the present invention. When the joint is automatically found by using a robot, if the user moves from time t1 to time t2 through t3, the image obtained between t1 and t2 is not matched with what is learned, but the welding joint is recognized by t3 This is an example. Since the welding point cannot be found by the information at t1, when the camera is located at the position of t3 through step t2, the welding joint for the current member is found, so the welding point can be easily found.
( 변형예, 응용예 및 법적해석)(Variations, applications and legal interpretations)
본 발명은 상기에서 기술한 특정의 바람직한 실시예에 한정하지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와같은 변경은 청구범위 기재의 범위 내에 있게 된다.The present invention is not limited to the specific preferred embodiments described above, and various modifications can be made by those skilled in the art without departing from the gist of the invention as claimed in the claims. Of course, such changes are intended to fall within the scope of the claims.
본 발명은 상기와 같은 구성 및 작용에 의하여 기대할 수 있는 발명의 효과는 다음과 같다.The present invention has the following effects of the invention can be expected by the configuration and operation as described above.
본 발명은 앞에서 기술한 것처럼 시각센서에 의해서 획득한 영상으로부터 현재의 부재의 조인트 형상이 무엇인지를 자동으로 판단하고 선택되어진 부재의 특징에 적합하도록 이미지 처리가 되어서 용접선을 정확히 알 수 있음과 동시에 용접부재 갭 정보를 얻을 수 있음으로 자동용접 추적이 가능하게 한다. 그러므로 기본의 용접 조인트 형상이 바뀌면 각각에 대한 모드의 변화나 이미지 처리 수정과 같은 비효율적인 처리를 줄일 수 있기 때문에, 시각센서를 이용한 용접작업에서 작업의 효율성 및 시각센서 사용범위 확대의 효과가 있다.The present invention automatically determines what the joint shape of the current member is from the image acquired by the visual sensor as described above, and is imaged to fit the selected member's characteristics so that the welding line can be accurately known and welded at the same time. The member gap information can be obtained to enable automatic welding tracking. Therefore, if the shape of the basic welding joint is changed, inefficient processing such as mode change or image processing correction for each can be reduced, so that the work efficiency and the use range of the visual sensor can be extended in welding work using the visual sensor.
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020010024228A KR20020084869A (en) | 2001-05-04 | 2001-05-04 | Automatic Recognition Method of Weld Joints |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020010024228A KR20020084869A (en) | 2001-05-04 | 2001-05-04 | Automatic Recognition Method of Weld Joints |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20020084869A true KR20020084869A (en) | 2002-11-13 |
Family
ID=27703646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020010024228A KR20020084869A (en) | 2001-05-04 | 2001-05-04 | Automatic Recognition Method of Weld Joints |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20020084869A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040020357A (en) * | 2002-08-30 | 2004-03-09 | 주식회사 포스코 | Profile measurement system using multiple CCD cameras |
CN108262583A (en) * | 2018-01-23 | 2018-07-10 | 广东工业大学 | The type judgement of weld seam and localization method and system |
KR102154559B1 (en) * | 2019-07-01 | 2020-09-11 | 주식회사 하나비전테크 | Automation system and automation method for robot welding |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0518904A (en) * | 1991-07-09 | 1993-01-26 | Nippon Steel Corp | Method for detecting welded part of steel pipe |
JPH0896136A (en) * | 1994-09-26 | 1996-04-12 | Kawasaki Heavy Ind Ltd | Evaluation system for welding defect |
JPH10235490A (en) * | 1996-12-24 | 1998-09-08 | Kawasaki Steel Corp | Method for evaluating weld state of electric welding machine and device therefor |
KR100255070B1 (en) * | 1996-12-31 | 2000-05-01 | 김덕중 | Method for setting reference value in welding machine |
KR20020066847A (en) * | 2001-02-14 | 2002-08-21 | 현대중공업 주식회사 | Shape recognition method using Vision sensor that can cover all type of weld grooves |
-
2001
- 2001-05-04 KR KR1020010024228A patent/KR20020084869A/en not_active Application Discontinuation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0518904A (en) * | 1991-07-09 | 1993-01-26 | Nippon Steel Corp | Method for detecting welded part of steel pipe |
JPH0896136A (en) * | 1994-09-26 | 1996-04-12 | Kawasaki Heavy Ind Ltd | Evaluation system for welding defect |
JPH10235490A (en) * | 1996-12-24 | 1998-09-08 | Kawasaki Steel Corp | Method for evaluating weld state of electric welding machine and device therefor |
KR100255070B1 (en) * | 1996-12-31 | 2000-05-01 | 김덕중 | Method for setting reference value in welding machine |
KR20020066847A (en) * | 2001-02-14 | 2002-08-21 | 현대중공업 주식회사 | Shape recognition method using Vision sensor that can cover all type of weld grooves |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040020357A (en) * | 2002-08-30 | 2004-03-09 | 주식회사 포스코 | Profile measurement system using multiple CCD cameras |
CN108262583A (en) * | 2018-01-23 | 2018-07-10 | 广东工业大学 | The type judgement of weld seam and localization method and system |
CN108262583B (en) * | 2018-01-23 | 2020-10-20 | 广东工业大学 | Welding seam type judging and positioning method and system |
KR102154559B1 (en) * | 2019-07-01 | 2020-09-11 | 주식회사 하나비전테크 | Automation system and automation method for robot welding |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102325359B1 (en) | Active laser vision welding joint tracking system and welding joint position detection method | |
CN101486124B (en) | Multi-structured light binocular composite vision weld joint tracking method and device | |
US7613544B2 (en) | Mobile robot, and system and method for autonomous navigation of the same | |
CN102211245A (en) | Spot welding system and dressing determination method | |
CN108971704B (en) | Three-dimensional weld tracking method and system based on vision and rotating arc composite sensing | |
KR100695945B1 (en) | The system for tracking the position of welding line and the position tracking method thereof | |
CN106113050A (en) | The teaching method of industrial robot, control method and device, system | |
JPH0475887A (en) | Calibration method for visual sensor | |
CN110579215B (en) | Positioning method based on environmental feature description, mobile robot and storage medium | |
AU2023254997A1 (en) | Recharging Control Method of Desktop Robot | |
US5369430A (en) | Patter correlation type focus detecting method and focus detecting apparatus | |
JP6794685B2 (en) | Image processing method and image processing equipment | |
CN110807802B (en) | Welding method, apparatus and storage medium | |
CN107895344B (en) | Video splicing device and method | |
JP4572497B2 (en) | Robot controller | |
CN105469092A (en) | Scanning assistance positioning system, bar code scanning device, and scanning assistance positioning method | |
CN108465900B (en) | System and method for target distance detection and location | |
KR101921113B1 (en) | Detection hybrid visible light-RFID tag and robot system used the same | |
KR20020084869A (en) | Automatic Recognition Method of Weld Joints | |
CN112620926A (en) | Welding spot tracking method and device and storage medium | |
KR102059114B1 (en) | Image compensation device for matching virtual space and real space and image matching system using the same | |
JPH09300264A (en) | Robot controller | |
US20200398421A1 (en) | Robot control apparatus and robot control system | |
CN115022553A (en) | Dynamic control method and device for light supplement lamp | |
CN114147389A (en) | Welding auxiliary method and system for detecting welding process parameters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |