KR102562216B1 - System for 3D shape inspection of weld bead and method thereof - Google Patents

System for 3D shape inspection of weld bead and method thereof Download PDF

Info

Publication number
KR102562216B1
KR102562216B1 KR1020210167194A KR20210167194A KR102562216B1 KR 102562216 B1 KR102562216 B1 KR 102562216B1 KR 1020210167194 A KR1020210167194 A KR 1020210167194A KR 20210167194 A KR20210167194 A KR 20210167194A KR 102562216 B1 KR102562216 B1 KR 102562216B1
Authority
KR
South Korea
Prior art keywords
bead
data
welding
weld bead
welding object
Prior art date
Application number
KR1020210167194A
Other languages
Korean (ko)
Other versions
KR20230079940A (en
Inventor
김회민
전성국
김선만
이광훈
윤정록
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020210167194A priority Critical patent/KR102562216B1/en
Publication of KR20230079940A publication Critical patent/KR20230079940A/en
Application granted granted Critical
Publication of KR102562216B1 publication Critical patent/KR102562216B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

본 발명은 용접 비드의 3차원 형상 검사 시스템 및 그 방법에 관한 것으로서, 용접 대상물 상에 형성된 용접 비드를 포함하는 용접 객체에 대한 3차원 스캐닝 데이터를 측정하는 형상 측정 장치; 및 상기 3차원 스캐닝 데이터를 이용하여 용접 객체에서 용접 비드 데이터를 분리 추출한 후, 상기 용접 비드 데이터에 기초하여 용접 진행 방향과 단면 데이터를 추출하고, 상기 단면 데이터에 기초하여 비드의 폭과 높이를 포함한 비드 프로파일 정보를 용접 결과에 대한 정량적인 정보로 제공하는 모니터링 단말을 포함하는 시스템일 수 있다. The present invention relates to a three-dimensional shape inspection system and method of a weld bead, comprising: a shape measuring device for measuring three-dimensional scanning data for a welding object including a weld bead formed on a welding object; And after separating and extracting the welding bead data from the welding object using the 3D scanning data, extracting the welding progress direction and cross-section data based on the weld bead data, including the width and height of the bead based on the cross-sectional data It may be a system including a monitoring terminal providing bead profile information as quantitative information on welding results.

Description

용접 비드의 3차원 형상 검사 시스템 및 그 방법{System for 3D shape inspection of weld bead and method thereof}System for 3D shape inspection of weld bead and method thereof

본 발명은 용접 품질을 검사하기 위한 용접 비드의 3차원 형상 검사 시스템 및 그 방법에 관한 것이다.The present invention relates to a three-dimensional shape inspection system and method of a weld bead for inspecting welding quality.

이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The information described in this section merely provides background information on an embodiment of the present invention and does not constitute prior art.

레이저 용접은 용접 품질이 우수하며, 가공 속도가 빠르고, 다양한 소재의 이종 접합에 적용 가능하므로 다양한 산업 현장에서 사용되고 있다. 이러한 레이저 용접 뿐만 아니라 아크 용접이나 전자빔 용접의 경우에도, 용접선을 따라 용접작업을 실시하면 모재 위에 응고된 융착 금속이 생기고, 궤적을 따라 모재 상에 일정한 띠 모양으로 생기는 융착 금속을 비드(Bead)라고 한다. Laser welding is used in various industrial fields because it has excellent welding quality, fast processing speed, and can be applied to heterogeneous junctions of various materials. In the case of arc welding or electron beam welding as well as laser welding, when welding is performed along the welding line, a solidified fused metal is formed on the base material, and the fused metal formed in a certain band shape on the base material along the trajectory is called a bead. do.

기존 TWB(Tailer Welded Blanks) 공정에 의한 레이저 용접 비드 품질 검사는 대부분 작업자에 의한 육안 품질 검수로 진행되므로, 후 공정에서 핀 홀(pin hole)의 검출 미스로 인한 소재 터짐이 빈번하게 발생하고 있다. 이러한 문제를 해결하고 용접 품질을 향상시키기 위해서는 용접이 진행되는 동안 실시간으로 용접 비드 형상을 관찰함으로써 용접 품질 상태를 자동으로 판단할 수 있는 장치가 필수적으로 부착되어야 한다.Laser welded bead quality inspection by the existing TWB (Tailer Welded Blanks) process is mostly performed by visual quality inspection by workers, so material burst due to pin hole detection miss in the post process frequently occurs. In order to solve these problems and improve welding quality, a device capable of automatically determining the state of welding quality by observing the shape of a welding bead in real time while welding is in progress must be necessarily attached.

종래의 용접 비드의 측정 장치는 수동 각장 게이지(Leg gage)를 이용하여 용접부의 측정 위치에서만 용접비드의 높이, 넓이에 대한 단편적인 정보만을 획득할 수 있었다. 수동 각장 게이지는 작고, 휴대가 간편하며, 사용법도 간단할 뿐만 아니라 가격이 저렴하다는 특징이 있지만, 측정 시간이 길어 데이터 확보에 많은 공수가 소모되며, 측정 데이터도 검사자가 일일히 기록해야 하고, 검사자마다 측정 데이터에 오차가 발생할 수 있다는 문제점이 있다. 또한, 수동 각장 게이지는 모재의 각도에 따라 편차가 크고, 직각이 아닌 모재, 즉 예각이나 둔각의 경우에 측정이 불가능할 뿐만 아니라 실제보다 작게 측정된다는 문제점도 있다.Conventional welding bead measuring devices were able to obtain only fragmentary information about the height and width of the weld bead only at the measurement location of the weld using a manual leg gage. Manual leg length gauges are small, easy to carry, simple to use, and inexpensive, but they take a lot of time to measure and require a lot of man-hours to obtain data. There is a problem that errors may occur in measurement data for each user. In addition, the manual leg length gauge has a large deviation depending on the angle of the base material, and in the case of a base material that is not right angle, that is, an acute angle or an obtuse angle, not only cannot be measured, but also has a problem that the measurement is smaller than the actual one.

이러한 문제점을 해소하기 위해, 2D 혹은 3D 카메라를 이용하는 용접비드의 3차원 비전 검사 시스템은 디지털 화상으로 용접 비드의 화상을 획득하고, 획득한 화상을 이용하여 용접 비드에 대한 형상 정보를 빠른 시간 내에 획득할 수 있다. In order to solve this problem, the 3D vision inspection system of the welding bead using a 2D or 3D camera acquires the image of the welding bead as a digital image, and obtains the shape information of the welding bead in a short time using the acquired image. can do.

그러나, 용접 비드의 3차원 비전 검사 시스템은 용접 비드의 형상을 추출하는 과정에서 센서와 용접 대상물의 간격이 균일하지 않기 때문에, 용접 비드의 촬영 후에 3차원 영상으로 합성시 누적 오차가 발생하고, 주변 잡음에 의한 신호왜곡이 심할 뿐만 아니라, 필터 구성이 복잡하거나 단순 치수 비교를 통해 불량 여부를 판단하여 검사 결과가 다소 부정확하며 실시간 검사에 한계가 있다는 문제점이 있다. However, since the distance between the sensor and the object to be welded is not uniform in the 3D vision inspection system of the weld bead in the process of extracting the shape of the weld bead, accumulated errors occur when synthesizing a 3D image after photographing the weld bead. In addition to severe signal distortion due to noise, there are problems in that the filter configuration is complicated or the inspection result is somewhat inaccurate and the real-time inspection is limited by determining whether or not the filter is defective through simple size comparison.

소형 용접 대상물은 스테이지 위에 용접 대상물을 고정한 후 측정이 가능하지만, 현장에서 측정을 요구하는 대상물은 누적 오차가 발생할 수밖에 없는 대형 용접물이 대부분이기 때문에, 용접비드의 3차원 비전 검사 시스템은 실제 현장에서 적용하는 데 한계가 있거나 다양한 용접 비드 형상에 적용하는 데 한계가 있다는 문제점이 있다.Small welding objects can be measured after fixing them on the stage, but most of the objects that require measurement in the field are large weldments that inevitably cause cumulative errors, so the 3D vision inspection system for welding beads is applied in the actual field. There is a problem in that there is a limit to doing or there is a limit to applying to various weld bead shapes.

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 용접 비드의 결함을 검출하기 위해 비드 프로파일 정보를 제공할 수 있는 용접 비드의 3차원 형상 검사 시스템 및 그 방법을 제공하는 것에 목적이 있다.In order to solve the above problems, the present invention is to provide a three-dimensional shape inspection system and method of a weld bead capable of providing bead profile information to detect defects in a weld bead according to an embodiment of the present invention. There is a purpose.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 용접 비드의 3차원 형상 검사 시스템은, 용접 대상물 상에 형성된 용접 비드를 포함하는 용접 객체에 대한 3차원 스캐닝 데이터를 측정하는 형상 측정 장치; 및 상기 3차원 스캐닝 데이터를 이용하여 용접 객체에서 용접 비드 데이터를 분리 추출한 후, 상기 용접 비드 데이터에 기초하여 용접 진행 방향과 단면 데이터를 추출하고, 상기 단면 데이터에 기초하여 비드의 폭과 높이를 포함한 비드 프로파일 정보를 용접 결과에 대한 정량적인 정보로 제공하는 모니터링 단말을 포함하는 것이다. As a technical means for achieving the above technical problem, a three-dimensional shape inspection system for a welding bead according to an embodiment of the present invention measures three-dimensional scanning data for a welding object including a welding bead formed on a welding object. shape measuring device; And after separating and extracting the welding bead data from the welding object using the 3D scanning data, extracting the welding progress direction and cross-section data based on the weld bead data, including the width and height of the bead based on the cross-sectional data It includes a monitoring terminal that provides bead profile information as quantitative information on welding results.

상기 형상 측정 장치는, 비젼 센서와 위치 센서를 포함한 적어도 하나 이상의 센서를 포함하여, 상기 용접 객체에 대한 센싱 정보를 제공하는 센서 유닛; 및 상기 센서 유닛에서 측정된 센싱 정보를 이미지 처리하여 3차원 스캐닝 데이터를 생성하여 상기 모니터링 단말에 제공하는 제어 유닛을 포함하는 것이다. The shape measurement device includes at least one sensor including a vision sensor and a position sensor, and a sensor unit providing sensing information about the welding object; and a control unit that processes the sensing information measured by the sensor unit to generate 3D scanning data and provides the result to the monitoring terminal.

상기 형상 측정 장치는, 상기 제어 유닛의 조명 제어 신호에 따라 상기 용접 객체를 향해 기 설정된 밝기의 조명을 제공하는 조명 유닛을 더 포함하는 것이다. The shape measurement device further includes a lighting unit for providing lighting with a preset brightness toward the welding object according to a lighting control signal from the control unit.

상기 형상 측정 장치는, 상기 센서 유닛과 결합되어 상기 용접 대상물과 상기 센서 유닛 간에 기 설정된 간격을 유지하고, 상기 용접 대상물의 상부를 이동하는 센서 보조 유닛을 더 포함하는 것이다. The shape measuring device further includes a sensor auxiliary unit coupled to the sensor unit to maintain a preset distance between the object to be welded and the sensor unit, and to move an upper part of the object to be welded.

상기 센서 보조 유닛은, 상기 센서 유닛이 삽입되어 고정되는 고정홈이 형성된 바디; 상기 바디의 하부에 위치되어, 상기 바디를 지지하면서 상기 용접 대상물의 상부를 이동하는 지지 레그; 및 상기 바디의 일측면에 돌출 형성된 손잡이를 포함하는 것이다. The sensor auxiliary unit may include a body having a fixing groove into which the sensor unit is inserted and fixed; a support leg positioned at a lower portion of the body and moving an upper portion of the object to be welded while supporting the body; and a handle protruding from one side of the body.

상기 센서 보조 유닛은, 상기 지지 레그의 상단부에 형성되어, 상기 용접 객체의 높이에 따라 상기 지지 레그의 상하 높이를 조절하는 높이 조절부를 더 포함하는 것이다.The sensor auxiliary unit may further include a height adjuster formed at an upper end of the support leg to adjust a vertical height of the support leg according to a height of the welding object.

본 발명의 일 실시예에 따른 용접 비드의 3차원 형상 검사 방법은, 용접 비드를 포함한 용접 객체에 대해 3차원 형상을 검사하는 3차원 형상 검사 시스템에 의해 수행되는 용접 비드의 3차원 형상 검사 방법에 있어서, a) 용접 대상물 상에 형성된 용접 비드를 포함하는 용접 객체에 대한 3차원 스캐닝 데이터를 측정하는 형상 측정 장치로부터 포인트 클라우드 기반의 3차원 스캐닝 데이터를 로딩하는 단계; b) 상기 3차원 스캐닝 데이터에서 노멀 벡터를 구하고, 노멀 벡터의 빈도수에 기반하여 용접 객체의 평면 위치를 추정하는 단계; c) 상기 용접 객체의 평면의 노멀 벡터 정보와 용접 객체의 평면 위치 정보를 기반으로 용접 비드 데이터를 생성하는 단계; d) 상기 용접 비드 데이터 내의 포인트 데이터와 기 설정된 개수의 가상 직선과의 거리 합을 계산한 후, 계산된 거리 합이 최소가 되는 가상 직선을 용접 진행 방향으로 추정하는 단계; e) 상기 용접 진행 방향을 따라 기 설정된 간격으로 샘플링하여 단면에 대한 포인트 데이터를 수집하여 단면 데이터를 생성하는 단계; f) 상기 단면 데이터를 기반으로 비드 폭 및 비드 높이를 포함한 용접 비드 형상 정보 추출하는 단계; 및 g) 상기 용접 비드 형상 정보를 기반으로 용접 비드의 중심점을 추출하고, 추출된 중심점을 기준으로 기 설정된 개수의 대표점을 추출하여, 상기 중심점과 대표점을 이용한 비드 프로파일 정보를 제공하는 단계를 포함하는 것이다. The three-dimensional shape inspection method of a weld bead according to an embodiment of the present invention is a three-dimensional shape inspection method of a weld bead performed by a three-dimensional shape inspection system for inspecting the three-dimensional shape of a welding object including a weld bead. In the method, a) loading point cloud-based three-dimensional scanning data from a shape measurement device for measuring three-dimensional scanning data for a welding object including a weld bead formed on the object to be welded; b) obtaining a normal vector from the 3D scanning data and estimating the plane position of the welding object based on the frequency of the normal vector; c) generating weld bead data based on the normal vector information of the plane of the welding object and the plane position information of the welding object; d) calculating a sum of distances between point data in the weld bead data and a preset number of virtual straight lines, and then estimating a virtual straight line having a minimum calculated distance as a welding progress direction; e) generating cross-sectional data by sampling at predetermined intervals along the welding progress direction and collecting point data on the cross-section; f) extracting weld bead shape information including bead width and bead height based on the cross-sectional data; And g) extracting the center point of the weld bead based on the weld bead shape information, extracting a predetermined number of representative points based on the extracted center point, and providing bead profile information using the center point and the representative point. to include

상기 b) 단계는, 상기 용접 객체의 노멀 벡터 방향으로 기 설정된 개수의 가상 평면을 생성하는 단계; 상기 가상 평면과 기 설정된 거리 이하에 위치한 포인트 데이터의 빈도수를 계산하는 단계; 및 상기 포인트 데이터의 빈도수가 최대 값을 갖는 가상 펴면을 용접 객체의 평면 위치로 추정하는 단계를 더 포함하는 것이다. Step b) may include generating a preset number of virtual planes in a normal vector direction of the welding object; calculating a frequency of point data located at or less than a predetermined distance from the virtual plane; and estimating a virtual surface having a maximum frequency of the point data as a plane position of the welding object.

상기 e) 단계는, 상기 용접 진행 방향을 비드 선으로 설정하고, 상기 비드 선과 수직을 이루고 동일한 간격을 갖는 복수 개의 가상 평면을 설정하는 단계; 및 각 가상 평면과 기 설정된 거리 이하에 위치한 포인트 데이터들을 수집한 후 수집한 포인트 데이터들을 xy 평면에 투영하여 단면 데이터를 생성하는 단계를 더 포함하는 것이다. The step e) may include setting the welding progress direction to a bead line, and setting a plurality of virtual planes perpendicular to the bead line and having equal intervals; and generating cross-sectional data by collecting point data located less than a predetermined distance from each virtual plane and then projecting the collected point data onto an xy plane.

상기 f) 단계는, 상기 단면 데이터의 x축 방향에 위치한 포인트 데이터들 중 최소값과 최대값을 이용하여 비드 폭을 계산하는 단계; 및 상기 단면 데이터의 y축 방향에 위치한 포인트 데이터들 중 최소값과 최대값을 이용하여 비드 높이를 계산하는 단계를 더 포함하는 것이다. Step f) may include: calculating a bead width using a minimum value and a maximum value among point data located in the x-axis direction of the cross-sectional data; and calculating a bead height using a minimum value and a maximum value among point data located in the y-axis direction of the cross-sectional data.

상기 g) 단계는, 상기 비드폭과 비드 높이 정보를 이용하여 중심점을 계산하고, 상기 중심점을 기준으로 좌측 끝점과 우측 끝점, 상기 좌측 끝점과 우측 끝점 사이에서 기 설정된 개수(N)-2만큼 균등하게 샘플링된 포인트 데이터를 대표점으로 설정하는 것이다. In step g), a center point is calculated using the bead width and bead height information, and the left end point and the right end point, and the left end point and the right end point are equal by a predetermined number (N)-2 based on the center point. This is to set the sampled point data as the representative point.

본 발명의 다른 일 실시예에 따른 3차원 형상 검사 장치는, 용접 대상물 상에 형성된 용접 비드를 포함하는 용접 객체에 대한 센싱 정보를 제공하는 센서 유닛; 상기 센서 유닛과 결합되어 상기 용접 대상물과 상기 센서 유닛 간에 기 설정된 간격을 유지하고, 상기 용접 대상물의 상부를 이동하는 센서 보조 유닛; 및 상기 센서 유닛에서 측정된 센싱 정보를 이미지 처리하여 3차원 스캐닝 데이터를 제공하는 제어 유닛을 포함하는 것이다. A three-dimensional shape inspection apparatus according to another embodiment of the present invention includes a sensor unit providing sensing information on a welding object including a welding bead formed on a welding object; a sensor auxiliary unit coupled to the sensor unit to maintain a predetermined distance between the object to be welded and the sensor unit, and to move an upper part of the object to be welded; and a control unit providing 3D scanning data by image processing of the sensing information measured by the sensor unit.

상기 센서 보조 유닛은, IMU 또는 GPS 센서를 포함하는 위치 정보 센서를 더 포함하는 것이다.The sensor auxiliary unit further includes a location information sensor including an IMU or a GPS sensor.

전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 용접 비드의 형상과 결함 여부에 대한 비드 프로파일 정보를 정량적으로 제공할 수 있어 신뢰성 있는 비드 검사 방법을 제공할 수 있고, 용접 비드의 단면 형상을 용접 작업 결과로 제공할 수 있어 생산라인에서 바로 비드 결함에 대해 보완할 수 있도록 하여 용접 품질 향상을 도모할 수 있는 효과가 있다.According to the above-described problem solving means of the present invention, the present invention can provide a reliable bead inspection method by quantitatively providing bead profile information on the shape and defect of the weld bead, and can determine the cross-sectional shape of the weld bead. Since it can be provided as a result of welding work, it is possible to compensate for bead defects right in the production line, so that welding quality can be improved.

도 1은 본 발명의 일 실시예에 따른 용접 비드의 3차원 형상 검사 시스템의 구성을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 센서 보조 유닛의 구성을 설명하는 사시도이다.
도 3은 본 발명의 일 실시예에 따른 센서 보조 유닛의 구성을 설명하는 정면도이다.
도 4는 본 발명의 일 실시예에 따른 용접비드의 3차원 형상 검사 방법을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 용접 객체에 대한 3차원 형상 정보를 설명하는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 용접 객체에 대한 3차원 스캐닝 데이터를 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 용접 비드 데이터를 분리하여 추출하는 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 용접 진행 방향과 단면 데이터를 추출하는 과정을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 3차원 스캐닝 데이터로부터 단면 데이터를 추출하는 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 비드 프로파일 정보를 추출하는 과정을 설명하는 도면이다. 1 is a diagram explaining the configuration of a three-dimensional shape inspection system of a weld bead according to an embodiment of the present invention.
2 is a perspective view illustrating the configuration of a sensor auxiliary unit according to an embodiment of the present invention.
3 is a front view illustrating the configuration of a sensor auxiliary unit according to an embodiment of the present invention.
4 is a flowchart illustrating a three-dimensional shape inspection method of a weld bead according to an embodiment of the present invention.
5 is an exemplary view illustrating three-dimensional shape information of a welding object according to an embodiment of the present invention.
6 is an exemplary view illustrating 3D scanning data of a welding object according to an embodiment of the present invention.
7 is a diagram illustrating a process of separating and extracting weld bead data according to an embodiment of the present invention.
8 is a diagram illustrating a process of extracting welding progress direction and cross-sectional data according to an embodiment of the present invention.
9 is a diagram explaining a process of extracting cross-section data from 3D scanning data according to an embodiment of the present invention.
10 is a diagram explaining a process of extracting bead profile information according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected" but also the case where it is "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, this means that it may further include other components, not excluding other components, unless otherwise stated, and one or more other characteristics. However, it should be understood that it does not preclude the possibility of existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. In this specification, a 'terminal' may be a wireless communication device with guaranteed portability and mobility, and may be, for example, any type of handheld-based wireless communication device such as a smart phone, a tablet PC, or a laptop computer. Also, the 'terminal' may be a wired communication device such as a PC capable of accessing other terminals or servers through a network. In addition, a network refers to a connection structure capable of exchanging information between nodes such as terminals and servers, such as a local area network (LAN), a wide area network (WAN), and the Internet (WWW : World Wide Web), wired and wireless data communications network, telephone network, and wired and wireless television communications network.

무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasonic communication, visible light communication (VLC: Visible Light Communication), LiFi, and the like, but are not limited thereto.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.The following examples are detailed descriptions for better understanding of the present invention, and do not limit the scope of the present invention. Therefore, inventions of the same scope that perform the same functions as the present invention will also fall within the scope of the present invention.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.In addition, each configuration, process, process or method included in each embodiment of the present invention may be shared within a range that does not contradict each other technically.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 용접 비드의 3차원 형상 검사 시스템의 구성을 설명하는 도면이다.1 is a diagram explaining the configuration of a three-dimensional shape inspection system of a weld bead according to an embodiment of the present invention.

도 1을 참조하면, 용접 비드의 3차원 형상 검사 시스템은 형상 측정 장치(100) 및 모니터링 단말(150)을 포함하지만 이에 한정되지는 않는다.Referring to Figure 1, the three-dimensional shape inspection system of the weld bead includes a shape measuring device 100 and a monitoring terminal 150, but is not limited thereto.

형상 측정 장치(100)는 용접 대상물(10) 상에 형성된 용접 비드(15)를 포함하는 용접 객체에 대한 스캐닝 데이터를 측정한다.The shape measurement device 100 measures scanning data for a welding object including a welding bead 15 formed on the welding object 10 .

이러한 형상 측정 장치(100)는 스캐닝 스테이지(110), 센서 유닛(120) 및 제어 유닛(130)을 포함한다.The shape measurement device 100 includes a scanning stage 110 , a sensor unit 120 and a control unit 130 .

스캐닝 스테이지(110)는 용접 대상물(10)을 놓여지고, 센서 유닛(120)의 스캐닝 방향에 기초하여 용접 대상물(10)을 이동시킬 수 있다. 스캐닝 스테이지(110)는 용접 대상물이 대형 사이즈이거나, 현장에서 측정을 요구하는 대상물인 경우에 생략될 수 있다. The scanning stage 110 may place the welding object 10 and move the welding object 10 based on the scanning direction of the sensor unit 120 . The scanning stage 110 may be omitted when the object to be welded is of a large size or an object requiring measurement in the field.

센서 유닛(120)은 2D 영상 또는 3D 영상 측정이 가능한 비젼 센서와 현재 위치 정보를 측정할 수 있는 위치 센서를 포함한 적어도 하나 이상의 센서를 포함하여, 용접 객체에 대한 센싱 정보를 제공한다. 센서 유닛(120)은 비젼 센서가 영상을 촬영하는 시점의 위치 및 시간 정보를 동시에 기록할 수 있는 메모리(미도시)를 더 포함할 수 있다. The sensor unit 120 includes at least one sensor including a vision sensor capable of measuring 2D or 3D images and a position sensor capable of measuring current position information, and provides sensing information about the welding object. The sensor unit 120 may further include a memory (not shown) capable of simultaneously recording location and time information at a point in time at which the vision sensor captures an image.

제어 유닛(130)은 스캐닝 스테이지(110)와 센서 유닛(120)의 위치 제어를 수행하고, 센서 유닛(120)에서 측정된 센싱 정보를 디지털 이미지 처리하여 포인트 클라우드 기반의 3차원 스캐닝 데이터를 생성하여 모니터링 단말(150)에 제공한다. 이때, 제어 유닛(130)은 영상 촬영의 시작 시간과 종료 시간을 포함한 시간 정보, 프레임별 위치정보를 포함하는 3차원 스캐닝 데이터를 모니터링 단말(150)에 제공한다. 3차원 스캐닝 데이터는 센서유닛(120)의 식별 정보, 메타 정보, GPS 정보를 포함하되, GPS 정보는 현재 시간 촬영되는 위치가 변경되는 시간, 촬영 시작 및 종료 시간, 좌표 정보를 포함할 수 있다. The control unit 130 controls the positions of the scanning stage 110 and the sensor unit 120, processes the sensing information measured by the sensor unit 120 into digital images, and generates point cloud-based 3D scanning data. It is provided to the monitoring terminal 150. At this time, the control unit 130 provides the monitoring terminal 150 with 3D scanning data including time information including start time and end time of image capturing and location information for each frame. The 3D scanning data includes identification information of the sensor unit 120, meta information, and GPS information, but the GPS information may include the current time and the time at which the captured location is changed, the start and end time of the capture, and coordinate information.

조명 유닛(미도시)은 제어 유닛(130)의 조명 제어 신호에 따라 용접 객체를 향해 기 설정된 밝기의 조명을 제공하는 것으로, LED, 필터, 미러 등의 광학수단을 포함한다. The lighting unit (not shown) provides lighting with a predetermined brightness toward the welding object according to the lighting control signal of the control unit 130, and includes optical means such as LED, filter, and mirror.

모니터링 단말(150)은 3차원 스캐닝 데이터를 이용하여 용접비드의 폭과 높이를 포함한 비드 프로파일 정보를 추출하여, 용접 결과에 대한 정량적인 정보를 제공한다. The monitoring terminal 150 extracts bead profile information including the width and height of the welding bead using the 3D scanning data, and provides quantitative information on the welding result.

모니터링 단말(150)은 일반적인 의미의 서버용 컴퓨터 본체일 수 있고, 그 외에 서버 역할을 수행할 수 있는 다양한 형태의 장치로 구현될 수 있다. 구체적으로, 모니터링 단말(150)은 통신 모듈(미도시), 메모리(미도시), 프로세서(미도시) 및 데이터베이스(미도시)를 포함하는 컴퓨팅 장치에 구현될 수 있는데, 스마트폰이나 TV, PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다. The monitoring terminal 150 may be a computer body for a server in a general sense, and may be implemented in various types of devices capable of performing a server role. Specifically, the monitoring terminal 150 may be implemented in a computing device including a communication module (not shown), a memory (not shown), a processor (not shown), and a database (not shown), such as a smartphone, a TV, or a PDA. , Tablet PC, PC, notebook PC and other user terminal devices may be implemented.

도 2는 본 발명의 일 실시예에 따른 센서 보조 유닛의 구성을 설명하는 사시도이고, 도 3은 본 발명의 일 실시예에 따른 센서 보조 유닛의 구성을 설명하는 정면도이다.2 is a perspective view illustrating a configuration of a sensor auxiliary unit according to an embodiment of the present invention, and FIG. 3 is a front view illustrating a configuration of a sensor auxiliary unit according to an embodiment of the present invention.

도 2 및 도 3을 참조하면, 센서 보조 유닛(200)은 센서 유닛(120)과 결합되어 용접 대상물(10)과 센서 유닛(120) 간에 기 설정된 간격을 유지하면서, 용접 대상물(10)의 상부를 이동한다.2 and 3, the sensor auxiliary unit 200 is coupled to the sensor unit 120 to maintain a predetermined distance between the welding object 10 and the sensor unit 120, while maintaining the upper portion of the welding object 10 move the

이러한 센서 보조 유닛(200)은 바디(210), 지지 레그(220) 및 손잡이(230)를 포함한다.The sensor auxiliary unit 200 includes a body 210 , a support leg 220 and a handle 230 .

바디(210)는 센서 유닛(120)이 삽입되어 고정될 수 있도록 고정홈(215)이 형성되어 있다.The body 210 is formed with a fixing groove 215 so that the sensor unit 120 can be inserted and fixed.

지지 레그(220)는 상기 바디(210)의 하부에 설치되어, 바디(210)를 지지하면서 용접 대상물(10)의 상부를 이동하면서 넘어지지 않도록 적어도 3개 이상으로 형성되어, 3개 이상의 지지 레그(220)가 무게 중심을 형성하여 안정적인 직립 상태를 유지하도록 한다.The support leg 220 is installed on the lower part of the body 210, and is formed in at least three pieces so as not to fall while moving the upper part of the object to be welded 10 while supporting the body 210, so that the three or more support legs (220) forms a center of gravity to maintain a stable upright state.

지지 레그(220)의 상단부, 즉 바디(210)와 접촉되는 면에 높이 조절부(225)가 형성되어 있다. 높이 조절부(225)는 측정하고자 하는 용접 객체(특히, 용접 비드)의 높이에 따라 높이를 조절할 수 있도록 나사형 또는 슬라이더형으로 지지 레그(220)의 상하 높이를 조절할 수 있다. 높이 조절부(225)의 표면에는 사용자가 높이를 육안으로 확인할 수 있도록 수치가 표시될 수도 있다. A height adjustment unit 225 is formed on the upper end of the support leg 220, that is, the surface in contact with the body 210. The height adjusting unit 225 may adjust the vertical height of the support leg 220 in a screw type or slider type so as to adjust the height according to the height of a welding object (in particular, a welding bead) to be measured. A numerical value may be displayed on the surface of the height adjuster 225 so that the user can check the height with the naked eye.

한편, 지지 레그(220)의 하단부, 즉 용접 대상물(10)의 상부면과 접촉되는 면에는 슬립 이동이 가능토록 매끄러운 곡면 형상으로 형성될 수 있다. 또는 지지 레그(220)의 하단부는 용접 대상물(10)과의 접촉 면적을 최소화하기 위해 매우 날카로운 형태, 즉 하방을 향하여 직경이 좁아지는 테이퍼 형상으로 형성될 수도 있다. 또는 지지 레그(220)의 하단부에는 플라스틱 또는 고무 등 마찰계수가 큰 재질로 형성된 바퀴(미도시)가 부착될 수 있다. On the other hand, the lower end of the support leg 220, that is, the surface in contact with the upper surface of the object to be welded 10 may be formed in a smooth curved shape to enable slip movement. Alternatively, the lower end of the support leg 220 may be formed in a very sharp shape, that is, a tapered shape in which a diameter becomes narrower downward in order to minimize a contact area with the object to be welded 10 . Alternatively, a wheel (not shown) formed of a material having a high friction coefficient such as plastic or rubber may be attached to the lower end of the support leg 220 .

지지 레그(220)가 4개인 경우에, 전방의 2개의 지지 레그(220), 후방의 2개의 지지 레그(220) 사이에 나사 방식의 폭 조절편(미도시)이 설치되어 있어, 전방의 지지 레그(220)와 하방의 지지 레그(220)의 폭을 조절할 수 있다.When there are four support legs 220, a screw-type width adjustment piece (not shown) is installed between the front two support legs 220 and the rear two support legs 220 to support the front. The width of the leg 220 and the lower support leg 220 can be adjusted.

지지 레그(220)는 다단 형태로 형성되어 'L'자로 절곡될 수 있어, 'L'자나 기타 다양한 형태의 용접 대상물의 상부에 안정적으로 직립된 상태에서 센서 유닛(120)을 이동시킬 수 있다. The support leg 220 is formed in a multi-stage shape and can be bent in an 'L' shape, so that the sensor unit 120 can be moved in a stable upright state on top of an 'L' shape or other various shapes to be welded.

손잡이(230)는 바디(210)의 일측면에 돌출 형성되어, 사용자에 의해 센서 보조 유닛(200)을 측정 위치로 이동시킬 수 있다. 손잡이(230)는 사용자가 잡기 쉽도록 원 또는 타원 형상으로 굴곡지게 형성된다. The handle 230 protrudes from one side of the body 210, and the user can move the sensor auxiliary unit 200 to a measurement position. The handle 230 is curved in a circular or oval shape so that a user can easily grip it.

도 4는 본 발명의 일 실시예에 따른 용접비드의 3차원 형상 검사 방법을 설명하는 순서도이고, 도 5는 본 발명의 일 실시예에 따른 용접 객체에 대한 3차원 형상 정보를 설명하는 예시도이며, 도 6은 본 발명의 일 실시예에 따른 용접 객체에 대한 3차원 스캐닝 데이터를 설명하는 예시도이다. 도 7은 본 발명의 일 실시예에 따른 용접 비드 데이터를 분리하여 추출하는 과정을 설명하는 도면이고, 도 8은 본 발명의 일 실시예에 따른 용접 진행 방향과 단면 데이터를 추출하는 과정을 설명하는 도면이며, 도 9는 본 발명의 일 실시예에 따른 3차원 스캐닝 데이터로부터 단면 데이터를 추출하는 과정을 설명하는 도면이고, 도 10은 본 발명의 일 실시예에 따른 비드 프로파일 정보를 추출하는 과정을 설명하는 도면이다. 4 is a flowchart illustrating a method for inspecting a three-dimensional shape of a welding bead according to an embodiment of the present invention, and FIG. 5 is an exemplary view illustrating three-dimensional shape information of a welding object according to an embodiment of the present invention. 6 is an exemplary view illustrating three-dimensional scanning data for a welding object according to an embodiment of the present invention. 7 is a diagram illustrating a process of separating and extracting weld bead data according to an embodiment of the present invention, and FIG. 8 illustrates a process of extracting welding progress direction and cross-section data according to an embodiment of the present invention. FIG. 9 is a diagram illustrating a process of extracting cross-section data from 3D scanning data according to an embodiment of the present invention, and FIG. 10 illustrates a process of extracting bead profile information according to an embodiment of the present invention. It is an explanatory drawing.

도 4를 참조하면, 용접비드의 3차원 형상 검사 방법은, 모니터링 단말(150)이 3차원 형상 측정 장치(100)로부터 용접 객체에 대한 3차원 스캐닝 데이터를 로딩한다(S1). 이때, 도 5, 도 6 및 도 9에 도시된 바와 같이, 센서 유닛(120)에서 촬영된 3차원 형상 정보는 디지털 이미지 처리를 통해 포인트 클라우드(Point cloud)의 형태의 3차원 스캐닝 데이터로 저장된다. 이때, 포인트 클라우드는 3차원 점들의 집합이다. Referring to FIG. 4 , in the method for inspecting the 3D shape of a welding bead, the monitoring terminal 150 loads 3D scanning data of a welding object from the 3D shape measuring device 100 (S1). At this time, as shown in FIGS. 5, 6 and 9, the 3D shape information captured by the sensor unit 120 is stored as 3D scanning data in the form of a point cloud through digital image processing. . In this case, the point cloud is a set of 3D points.

모니터링 단말(150)은 3차원 스캐닝 데이터에서 노멀 벡터(normal vector), 즉 평면에 수직인 벡터를 구하고, 도 7에 도시된 바와 같이 노멀 벡터 정보를 기반으로 용접 객체의 평면 위치를 추정한다(S2). The monitoring terminal 150 obtains a normal vector, that is, a vector perpendicular to the plane, from the 3D scanning data, and estimates the plane position of the welding object based on the normal vector information as shown in FIG. 7 (S2 ).

이때, 모니터링 단말(150)은 노멀 벡터의 평균값이 아닌, 노멀 벡터의 빈도수에 기반하여 용접 객체의 노멀 벡터를 추출하고, 용접 객체의 노멀벡터 방향으로 여러 개의 가상 평면을 생성한 후에 평면과 일정 거리 이하에 위치한 포인트 데이터의 빈도를 계산한다. 주변에 가장 많은 포인트 데이터들이 위치하는 가상 평면을 용접 객체의 평면 위치로 추정한다. 가상 평면은 노멀 벡터를 법선으로 하고 해당 위치를 지나는 평면으로 생성한다. At this time, the monitoring terminal 150 extracts the normal vector of the welding object based on the frequency of the normal vector, not the average value of the normal vector, generates several virtual planes in the direction of the normal vector of the welding object, and then a certain distance from the plane. Calculate the frequency of the point data located below. The virtual plane where the most point data is located is estimated as the plane position of the welding object. The virtual plane is created as a plane passing through the position with the normal vector as the normal.

도 8 및 9에 도시된 바와 같이, 모니터링 단말(150)은 용접 객체의 평면에서의 노멀 벡터 정보와 용접 객체의 평면 위치 정보를 기반으로 비드를 구성하는 포인트 데이터만 추출하여 용접 비드 데이터를 생성한다(S3). 용접 비드 데이터는 3차원(xyz) 데이터를 xy 평면에 매핑하고, 비드 높이(h)를 적용하여 생성된다. As shown in FIGS. 8 and 9 , the monitoring terminal 150 generates welding bead data by extracting only the point data constituting the bead based on the normal vector information on the plane of the welding object and the plane position information of the welding object. (S3). The weld bead data is generated by mapping three-dimensional (xyz) data to the xy plane and applying a bead height (h).

도 8에 도시된 바와 같이, 모니터링 단말(150)은 용접 비드 데이터 내의 포인트 데이터들과 임의의 가상 직선을 설정하고, 가상 직선과 포인트 데이터들의 거리 합을 계산한 후 거리의 합이 최소가 되는 직선을 용접 진행 방향, 즉 비드 생성 방향 또는 비드선으로 추정한다(S4). As shown in FIG. 8, the monitoring terminal 150 sets point data and a random virtual straight line in the weld bead data, calculates a distance sum of the virtual straight line and the point data, and then a straight line in which the sum of the distances is minimized. is estimated as a welding progress direction, that is, a bead generation direction or a bead line (S4).

모니터링 단말(150)은 용접 진행 방향(비드선)과 수직이며, 비드선을 따라 일 정 간격으로 샘플링하여 균등하게 배치된 여러 개의 가상 평면을 설정한 후, 각 가상 평면과 임의 거리 이하에 위치한 포인트 데이터를 수집하고, 각 가상 평면에 가까운 포인트 데이터를 평면에 프로젝션하여 용접 진행 방향으로 단면 데이터를 수집한다(S5). The monitoring terminal 150 is perpendicular to the welding progress direction (bead line), samples at regular intervals along the bead line, sets up several evenly spaced virtual planes, and then sets points located below a certain distance from each virtual plane. Data is collected, and point data close to each virtual plane is projected onto the plane to collect cross-sectional data in the welding progress direction (S5).

모니터링 단말(150)은 비드 단면의 x방향, 즉 단면의 바닥축의 최소/최대 포인트 데이터를 기반으로 비드 폭을 계산하고, 비드 단면의 y 방향의 최소/최대 포인트 데이터를 기반으로 비드 높이를 계산하여 용접 비드 형상 정보를 추출한다(S6).The monitoring terminal 150 calculates the bead width based on the minimum/maximum point data of the bottom axis of the cross section in the x direction of the bead cross section, and calculates the bead height based on the minimum/maximum point data in the y direction of the cross section of the bead. Weld bead shape information is extracted (S6).

이렇게 계산된 용접 비드 형상 정보(비드의 폭과 높이 등)를 기반으로, 도 10에 도시된 바와 같이 모니터링 단말(150)은 비드 중심점(C1, C2)을 추출하고, 대표점의 개수(예를 들어, 5개, 6개…n개)를 지정한 후 중심점을 기준으로 대표점의 개수만큼 균등하게 샘플링하여 지정된 개수의 대표점을 추출하여, 단순화된 비드 프로파일 정보를 추출하여 용접 결과에 대한 정략적인 정보를 제공한다(S7). 예를 들어, 대표점은 중심점을 기준으로 동일한 각으로 지정된 개수만큼 균등하게 분포된 점들이 될 수 있다. 예를 들어, 대표점을 5개로 지정할 경우에, 단면 데이터의 단면 형상에 최외각에 있는 5개의 포인트 데이터를 대표점으로 설정하여, 5개의 대표점과 중심점만으로도 단면 형상과 용접 비드의 3차원 형상 정보를 알 수 있어야 한다. 이를 위해, 모니터링 단말(150)은 중심점을 기준으로 좌측 끝점과 우측 끝점, 좌측 끝점과 우측 끝점 사이에 3개의 점을 대표점으로 설정하되, 각각의 대표점과 중심점을 연결하는 직선이 이루는 각도가 동일한 각도가 되도록 한다. Based on the calculated weld bead shape information (bead width and height, etc.), as shown in FIG. 10, the monitoring terminal 150 extracts the bead center points C1 and C2, and the number of representative points (eg, For example, 5, 6…n), sample equally as many representative points as the number of representative points based on the center point, extract the designated number of representative points, and extract simplified bead profile information to provide a quantitative analysis of the welding result. Information is provided (S7). For example, the representative points may be points uniformly distributed by a specified number of points at the same angle with respect to the central point. For example, when specifying 5 representative points, the 5 outermost point data of the cross-sectional shape of the cross-section data are set as representative points, and the cross-sectional shape and the three-dimensional shape of the weld bead are obtained with only 5 representative points and the center point. information should be available. To this end, the monitoring terminal 150 sets three points between the left end point and the right end point, and between the left end point and the right end point as representative points based on the center point, but the angle formed by the straight line connecting each representative point and the center point is make it the same angle.

이와 같이, 모니터링 단말(150)은 비드 프로파일 정보를 이용하여 AI 학습을 통해 비드 단면 형상을 용접 작업 결과 정보로 학습하고, 학습된 AI를 이용하여 비드 단면 형성과 용접 공정 변수와의 연계성을 파악하는데 활용하도록 한다. In this way, the monitoring terminal 150 learns the bead cross-section shape as welding work result information through AI learning using the bead profile information, and uses the learned AI to determine the connection between the bead cross-section formation and the welding process variable. make use of it

한편, 도 4의 단계 S1 내지 S7은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.Meanwhile, steps S1 to S7 of FIG. 4 may be divided into additional steps or combined into fewer steps according to an embodiment of the present invention. Also, some steps may be omitted if necessary, and the order of steps may be changed.

이상에서 설명한 본 발명의 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.The embodiments of the present invention described above may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer. Such recording media includes computer readable media, which can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Computer readable media also includes computer storage media, both volatile and nonvolatile, implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. , including both removable and non-removable media.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

100 : 형상 측정 장치
110 : 스캐닝 스테이지
120 : 센서 유닛
130 : 제어 유닛;
150 : 모니터링 단말
200 : 센서 보조 유닛
210 : 바디
220 : 지지 레그
230 : 손잡이100: shape measuring device
110: scanning stage
120: sensor unit
130: control unit;
150: monitoring terminal
200: sensor auxiliary unit
210: body
220: support leg
230: handle

Claims (13)

용접 대상물 상에 형성된 용접 비드를 포함하는 용접 객체에 대한 3차원 스캐닝 데이터를 측정하는 형상 측정 장치; 및
상기 3차원 스캐닝 데이터를 이용하여 용접 객체에서 용접 비드 데이터를 분리 추출한 후, 상기 용접 비드 데이터에 기초하여 용접 진행 방향과 단면 데이터를 추출하고, 상기 단면 데이터에 기초하여 비드의 폭과 높이를 포함한 비드 프로파일 정보를 용접 결과에 대한 정량적인 정보로 제공하는 모니터링 단말을 포함하며,
상기 모니터링 단말은,
상기 형상 측정장치로부터 용접 객체에 대한 3차원 스캐닝 데이터를 로딩하고,
상기 3차원 스캐닝 데이터에서 노멀 벡터의 빈도수에 기반하여 용접 객체의 노멀 벡터를 추출하고, 추출한 용접 객체의 노멀 벡터의 방향으로 여러 개의 가상 평면을 생성하여 평면과 기 설정된 거리 이하에 위치한 포인트 데이터의 빈도가 가장 많은 가상 평면을 용접 객체의 평면 위치로 추정함으로써, 용접 비드 데이터를 분리 추출하고,
임의의 가상 직선을 설정하고, 용접 비드 데이터 내 각 포인트 데이터들과 가상 직선 간의 거리의 합을 계산한 후, 합이 최소가 되는 직선을 용접 진행 방향으로 추정하고,
용접 진행 방향과 수직이며 기 설정된 간격으로 배치된 복수의 가상 평면을 설정한 후, 각 가상 평면과 기 설정된 거리 이하에 위치한 포인트 데이터를 단면 데이터로서 수집하고,
상기 단면 데이터에 기초하여 비드의 폭과 높이를 포함한 비드 프로파일 정보를 추출한 후, 상기 비드 프로파일 정보를 기반으로 용접 비드의 중심점을 추출하고, 추출된 중심점을 기준으로 기 설정된 개수의 대표점을 추출하여, 단순화된 비드 프로파일 정보를 추출하여 용접 결과에 대한 정량적인 정보로 제공하는 것인, 용접 비드의 3차원 형상 검사 시스템. A shape measurement device for measuring three-dimensional scanning data of a welding object including a weld bead formed on the object to be welded; and
After separating and extracting the welding bead data from the welding object using the 3D scanning data, the welding progress direction and section data are extracted based on the welding bead data, and the bead including the width and height of the bead is extracted based on the section data. Includes a monitoring terminal that provides profile information as quantitative information on welding results,
The monitoring terminal,
Loading the three-dimensional scanning data for the welding object from the shape measuring device,
The normal vector of the welding object is extracted based on the frequency of the normal vector in the 3D scanning data, and several virtual planes are created in the direction of the normal vector of the extracted welding object to generate the frequency of point data located at a predetermined distance or less from the plane. By estimating the most virtual plane as the plane position of the welding object, the weld bead data is separated and extracted,
After setting an arbitrary virtual straight line, calculating the sum of the distances between each point data in the weld bead data and the virtual straight line, estimating the straight line in which the sum is the minimum as the welding progress direction,
After setting a plurality of virtual planes perpendicular to the welding progress direction and disposed at predetermined intervals, point data located at a predetermined distance or less from each virtual plane is collected as cross-section data,
After extracting bead profile information including the width and height of the bead based on the cross-section data, extracting the center point of the weld bead based on the bead profile information, and extracting a predetermined number of representative points based on the extracted center point , The three-dimensional shape inspection system of the weld bead, which extracts simplified bead profile information and provides it as quantitative information about the welding result. 제1항에 있어서,
상기 형상 측정 장치는,
비젼 센서와 위치 센서를 포함한 적어도 하나 이상의 센서를 포함하여, 상기 용접 객체에 대한 센싱 정보를 제공하는 센서 유닛; 및
상기 센서 유닛에서 측정된 센싱 정보를 이미지 처리하여 3차원 스캐닝 데이터를 생성하여 상기 모니터링 단말에 제공하는 제어 유닛을 포함하는 것인, 용접 비드의 3차원 형상 검사 시스템. According to claim 1,
The shape measurement device,
A sensor unit including at least one sensor including a vision sensor and a position sensor to provide sensing information about the welding object; and
A three-dimensional shape inspection system of a weld bead comprising a control unit that processes the sensing information measured by the sensor unit to generate three-dimensional scanning data and provides it to the monitoring terminal. 제2항에 있어서,
상기 형상 측정 장치는,
상기 제어 유닛의 조명 제어 신호에 따라 상기 용접 객체를 향해 기 설정된 밝기의 조명을 제공하는 조명 유닛을 더 포함하는 것인, 용접 비드의 3차원 형상 검사 시스템. According to claim 2,
The shape measurement device,
The three-dimensional shape inspection system of the weld bead further comprising a lighting unit providing lighting of a predetermined brightness toward the welding object according to the lighting control signal of the control unit. 제2항에 있어서,
상기 형상 측정 장치는,
상기 센서 유닛과 결합되어 상기 용접 대상물과 상기 센서 유닛 간에 기 설정된 간격을 유지하고, 상기 용접 대상물의 상부를 이동하는 센서 보조 유닛을 더 포함하는 것인, 용접 비드의 3차원 형상 검사 시스템. According to claim 2,
The shape measurement device,
The three-dimensional shape inspection system of the weld bead coupled to the sensor unit to maintain a predetermined distance between the welding object and the sensor unit, and further comprising a sensor auxiliary unit moving the upper part of the welding object. 제4항에 있어서,
상기 센서 보조 유닛은,
상기 센서 유닛이 삽입되어 고정되는 고정홈이 형성된 바디;
상기 바디의 하부에 위치되어, 상기 바디를 지지하면서 상기 용접 대상물의 상부를 이동하는 지지 레그; 및
상기 바디의 일측면에 돌출 형성된 손잡이를 포함하는 것인, 용접 비드의 3차원 형상 검사 시스템. According to claim 4,
The sensor auxiliary unit,
a body formed with a fixing groove into which the sensor unit is inserted and fixed;
a support leg positioned at a lower portion of the body and moving an upper portion of the object to be welded while supporting the body; and
To include a handle protruding from one side of the body, the three-dimensional shape inspection system of the weld bead. 제5항에 있어서,
상기 센서 보조 유닛은,
상기 지지 레그의 상단부에 형성되어, 상기 용접 객체의 높이에 따라 상기 지지 레그의 상하 높이를 조절하는 높이 조절부를 더 포함하는 것인, 용접비드의 3차원 형상 검사 시스템.According to claim 5,
The sensor auxiliary unit,
Formed at the upper end of the support leg, the three-dimensional shape inspection system of the weld bead further comprises a height adjustment unit for adjusting the vertical height of the support leg according to the height of the welding object. 용접 비드를 포함한 용접 객체에 대해 3차원 형상을 검사하는 3차원 형상 검사 시스템에 의해 수행되는 용접 비드의 3차원 형상 검사 방법에 있어서,
a) 용접 대상물 상에 형성된 용접 비드를 포함하는 용접 객체에 대한 3차원 스캐닝 데이터를 측정하는 형상 측정 장치로부터 포인트 클라우드 기반의 3차원 스캐닝 데이터를 로딩하는 단계;
b) 상기 3차원 스캐닝 데이터에서 노멀 벡터를 추출하고, 추출한 용접 객체의 노멀 벡터의 방향으로 여러 개의 가상 평면을 생성하여 평면과 기 설정된 거리 이하에 위치한 포인트 데이터의 빈도가 가장 많은 가상 평면을 용접 객체의 평면 위치로 추정하는 단계;
c) 상기 용접 객체의 평면의 노멀 벡터 정보와 용접 객체의 평면 위치 정보를 기반으로 용접 비드 데이터를 분리 추출하는 단계;
d) 임의의 가상 직선을 설정하고, 상기 용접 비드 데이터 내의 각 포인트 데이터들과 가상 직선 간의 거리 합을 계산한 후, 계산된 거리 합이 최소가 되는 가상 직선을 용접 진행 방향으로 추정하는 단계;
e) 상기 용접 진행 방향과 수직이며 상기 용접 진행 방향을 따라 기 설정된 간격으로 복수의 가상 평면을 설정하는 단계;
f) 각 가상 평면과 기 설정된 거리 이하에 위치한 포인트 데이터들을 단면 데이터로서 수집하여, 상기 단면 데이터를 기반으로 비드 폭 및 비드 높이를 포함한 용접 비드 형상 정보 추출하는 단계; 및
g) 상기 용접 비드 형상 정보를 기반으로 용접 비드의 중심점을 추출하고, 추출된 중심점을 기준으로 기 설정된 개수의 대표점을 추출하여, 상기 중심점과 대표점을 이용한 비드 프로파일 정보를 제공하는 단계를 포함하는 것인, 용접 비드의 3차원 형상 검사 방법. In the three-dimensional shape inspection method of a weld bead performed by a three-dimensional shape inspection system for inspecting the three-dimensional shape of a welding object including the weld bead,
a) loading point cloud-based 3D scanning data from a shape measurement device for measuring 3D scanning data for a welding object including a weld bead formed on the welding object;
b) A normal vector is extracted from the 3D scanning data, and several virtual planes are created in the direction of the normal vector of the extracted welding object, and a virtual plane having the highest frequency of point data located at a predetermined distance or less from the plane is selected as the welding object. estimating as a plane position of ;
c) separating and extracting weld bead data based on the normal vector information of the plane of the welding object and the plane position information of the welding object;
d) setting an arbitrary virtual straight line, calculating a distance sum between each point data in the weld bead data and the virtual straight line, and then estimating a virtual straight line in which the calculated distance sum is the minimum as a welding progress direction;
e) setting a plurality of virtual planes at predetermined intervals perpendicular to the welding progress direction and along the welding progress direction;
f) collecting point data located less than a predetermined distance from each virtual plane as cross-sectional data, and extracting weld bead shape information including bead width and bead height based on the cross-sectional data; and
g) extracting the center point of the weld bead based on the weld bead shape information, extracting a predetermined number of representative points based on the extracted center point, and providing bead profile information using the center point and the representative point To do, a three-dimensional shape inspection method of the weld bead. 삭제delete 제7항에 있어서,
상기 e) 단계는,
상기 용접 진행 방향을 비드 선으로 설정하고, 상기 비드 선과 수직을 이루고 동일한 간격을 갖는 복수 개의 가상 평면을 설정하는 단계; 및
각 가상 평면과 기 설정된 거리 이하에 위치한 포인트 데이터들을 수집한 후 수집한 포인트 데이터들을 xy 평면에 투영하여 단면 데이터를 생성하는 단계를 더 포함하는 것인, 용접 비드의 3차원 형상 검사 방법. According to claim 7,
In step e),
setting the welding progress direction to a bead line, and setting a plurality of virtual planes perpendicular to the bead line and having equal intervals; and
The three-dimensional shape inspection method of the weld bead, which further comprises collecting point data located at a predetermined distance or less from each virtual plane and then projecting the collected point data onto an xy plane to generate cross-sectional data. 제7항에 있어서,
상기 f) 단계는,
상기 단면 데이터의 x축 방향에 위치한 포인트 데이터들 중 최소값과 최대값을 이용하여 비드 폭을 계산하는 단계; 및
상기 단면 데이터의 y축 방향에 위치한 포인트 데이터들 중 최소값과 최대값을 이용하여 비드 높이를 계산하는 단계를 더 포함하는 것인, 용접 비드의 3차원 형상 검사 방법. According to claim 7,
In step f),
Calculating a bead width using a minimum value and a maximum value among point data located in the x-axis direction of the cross-sectional data; and
Further comprising the step of calculating the bead height using the minimum and maximum values of the point data located in the y-axis direction of the cross-sectional data, the three-dimensional shape inspection method of the weld bead. 제7항에 있어서,
상기 g) 단계는, 상기 비드폭과 비드 높이 정보를 이용하여 중심점을 계산하고, 상기 중심점을 기준으로 좌측 끝점과 우측 끝점, 상기 좌측 끝점과 우측 끝점 사이에서 기 설정된 개수(N)-2만큼 균등하게 샘플링된 포인트 데이터를 대표점으로 설정하는 것인, 용접 비드의 3차원 형상 검사 방법. According to claim 7,
In step g), a center point is calculated using the bead width and bead height information, and the left end point and the right end point, and the left end point and the right end point are equal by a predetermined number (N)-2 based on the center point. A method for inspecting the three-dimensional shape of a weld bead, which is to set point data sampled as representative points. 삭제delete 삭제delete
KR1020210167194A 2021-11-29 2021-11-29 System for 3D shape inspection of weld bead and method thereof KR102562216B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210167194A KR102562216B1 (en) 2021-11-29 2021-11-29 System for 3D shape inspection of weld bead and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210167194A KR102562216B1 (en) 2021-11-29 2021-11-29 System for 3D shape inspection of weld bead and method thereof

Publications (2)

Publication Number Publication Date
KR20230079940A KR20230079940A (en) 2023-06-07
KR102562216B1 true KR102562216B1 (en) 2023-08-01

Family

ID=86761057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210167194A KR102562216B1 (en) 2021-11-29 2021-11-29 System for 3D shape inspection of weld bead and method thereof

Country Status (1)

Country Link
KR (1) KR102562216B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007192721A (en) * 2006-01-20 2007-08-02 Nippon Steel Corp Bead shape detection technique and device thereof
JP2013208645A (en) * 2012-03-30 2013-10-10 National Maritime Research Institute Apparatus, method and program for controlling welding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5952304A (en) * 1982-09-17 1984-03-26 Nissan Motor Co Ltd Preparation of teaching data for welding robot
MY137246A (en) * 2002-04-30 2009-01-30 Jfe Steel Corp Method and instrument for measuring bead cutting shape of electric welded tube
KR101780049B1 (en) * 2013-07-01 2017-09-19 한국전자통신연구원 Apparatus and method for monitoring laser welding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007192721A (en) * 2006-01-20 2007-08-02 Nippon Steel Corp Bead shape detection technique and device thereof
JP2013208645A (en) * 2012-03-30 2013-10-10 National Maritime Research Institute Apparatus, method and program for controlling welding

Also Published As

Publication number Publication date
KR20230079940A (en) 2023-06-07

Similar Documents

Publication Publication Date Title
KR101604037B1 (en) method of making three dimension model and defect analysis using camera and laser scanning
CN109520436B (en) Butterfly spring three-dimensional size automatic measurement system based on machine vision and measurement method thereof
KR102056076B1 (en) Apparatus for weld bead detecting and method for detecting welding defects of the same
US20180108143A1 (en) Height measuring system and method
CN109986201B (en) Tracking detection method and device for welding seam, storage medium and laser welding equipment
CN106623493A (en) Detection method for continuous punching of steel band
CN112629441A (en) 3D curved surface glass contour scanning detection method and system based on line structured light dynamic vision
Cattaneo et al. The importance of camera calibration and distortion correction to obtain measurements with video surveillance systems
CN111353997B (en) Real-time three-dimensional surface defect detection method based on fringe projection
JP6756417B1 (en) Work surface defect detection device and detection method, work surface inspection system and program
CN114813760A (en) Surface defect detection device and surface defect detection method
KR102562216B1 (en) System for 3D shape inspection of weld bead and method thereof
JP2013130566A (en) Lens testing device and method
JP2021056183A (en) Apparatus and method for detecting surface defect of workpiece, surface inspection system for workpiece, and program
US20220076021A1 (en) System and method for automatic visual inspection with deep learning
CN103297799A (en) Testing an optical characteristic of a camera component
JP2008275366A (en) Stereoscopic 3-d measurement system
CN113378663A (en) Inspection pointer type circular instrument identification method and device
CN113446932A (en) Non-contact crack measuring method and system
WO2019196113A1 (en) Method for controlling probe, detection facility, and device for controlling probe
CN112284983A (en) Method for measuring contact angle by image processing
CN116228640B (en) Depth image-based weld joint detection method, system, device and storage medium
CN116786931A (en) Bus bar welding method and bus bar welding system
CN108106610B (en) Object stage perpendicularity detection method and system and control device thereof
CN111192246A (en) Automatic detection method of welding spot

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant