KR102125167B1 - 자동화 용접 장치 및 그의 동작 방법 - Google Patents

자동화 용접 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102125167B1
KR102125167B1 KR1020190007440A KR20190007440A KR102125167B1 KR 102125167 B1 KR102125167 B1 KR 102125167B1 KR 1020190007440 A KR1020190007440 A KR 1020190007440A KR 20190007440 A KR20190007440 A KR 20190007440A KR 102125167 B1 KR102125167 B1 KR 102125167B1
Authority
KR
South Korea
Prior art keywords
welding
line
raw image
welding line
blob
Prior art date
Application number
KR1020190007440A
Other languages
English (en)
Inventor
윤종헌
최승호
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020190007440A priority Critical patent/KR102125167B1/ko
Application granted granted Critical
Publication of KR102125167B1 publication Critical patent/KR102125167B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Abstract

용접 객체에 대한 raw 이미지를 획득하는 이미지 획득부, 상기 raw 이미지를 이루는 픽셀(pixel)들의 깊이 정보를 획득하는 깊이 획득부, 상기 이미지 획득부로부터 획득된 raw 이미지로부터 용접 라인을 추출하는 용접 라인 추출부, 및 상기 깊이 획득부에서 획득된 깊이 정보에 기반하여, 상기 용접 라인 추출부로부터 추출된 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 3D 용접 라인 획득부를 포함하는 자동화 용접 장치가 제공된다.

Description

자동화 용접 장치 및 그의 동작 방법 {Automatic welding device, working method thereof}
본 발명은 자동화 용접 장치 및 그의 동작 방법에 관련된 것으로, 상세하게는 용접 객체에 대한 raw 이미지로부터 추출된 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 제공하는 자동화 용접 장치 및 그의 동작 방법에 관련된 것이다.
용접 객체를 용접하는 용접 공정에 있어서, 인력 부족 및 인건비 상승을 극복하기 위해 용접 자동화가 널리 이용되고 있다. 용접 자동화를 통해 인건비 절감뿐만 아니라 용접 품질을 향상시킬 수 있기 때문에, 종래에는 다양한 자동화 방법들이 개발되고 있다.
예를 들어, 대한민국특허 공개공보 KR100602788B1에는, 거더 상부에 구비된 용접대차 주행 서브 모터에 감속기를 장착하고, 감속기에 장착된 피니언과 안내 레일 일 측에 구비된 래크에 의해 안내 레일을 따라 이송되는 용접 헤드 및 용접 대차를 구비하고, 거더의 일 측 하부에 장착된 컬럼의 하부에 구면 베어링으로 구성된 거더 회전 장치를 구비하며, 상기 용접 대차 일 측에 공기 압축기를 탑재하고, 상기 용접 대차 상하부 좌우에 캠 플로워 2쌍을 구비하고, 상기 용접 대차 주행 서브 모터 일 측에 케이블 베어를 구비하고, 용접 대차 측면 상부에 와이어 릴과 플럭스 회수기를 구비하며, 용접대차 하부에는 헤드 회전 모터에 장착된 기어에 슬루윙 기어가 연결되어 회전되는 용접헤드 회전 장치를 구비하고, 용접헤드 회전 장치 하부에는 구동모터에 연결된 볼 스크류와 LM가이드로 구성된 X-Y 슬라이드를 구비하고, X-Y 슬라이드 하부에는 와이어 송급 모터가 구비되며, 와이어 송급 모터 하부에는 용접 토치 미세 조정 장치가 구비되고, 용접 토치 미세 조정 장치 선단부에는 용접 토치를 구비하며, 용접 토치 앞에 레이저 포인터를 구비하고, 상기 용접 대차 양측에 레이저 빔을 구비하고, 상기 용접 토치 하부의 새들 위에 서버 머지드용 용접기 및 제어반을 구비하며, 새들 측면에 구비된 문형대차 구동 서브 모터에 감속기를 장착하고, 감속기에 장착된 기어가 휠과 연결되어 문형대차가 동기 구동되는 것을 포함하는 양방향 용접 가능한 판계 자동 용접 장치가 개시되어 있다.
하지만, 용접 객체 용접 라인이, 경사각 또는 굴곡을 포함하는 경우 오차가 발생할 수 있고, 이에 따라, 용접 공정 수율 및 신뢰도가 저하되는 문제가 있다.
따라서, 상기 문제를 해결하기 위한 용접 장치 및 방법이 필요한 상황이다.
본 발명이 해결하고자 하는 일 기술적 과제는, 용접 객체에 대한 raw 이미지를 복수의 단위 셀(unit cell)로 분할하고, 상기 단위 셀 당 독립적인 임계 값을 적용하여, 상기 raw 이미지를 이진화하는 자동화 용접 장치 제공하는 데 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 특정 픽셀과 동일한 그레이 스케일(gray scale)을 가지는 인접 픽셀들을 그룹화하여 블롭(blob)들을 검출하는 자동화 용접 장치를 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을 상기 용접 객체에 대한 블롭으로 선택하는 자동화 용접 장치를 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 용접 라인을 이루는 픽셀들의 3 축 좌표 정보를 포함하는 3D 용접 라인을 제공하는 자동화 용접 장치를 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 용접 간격 마다의 용접 좌표를 3D 용접 라인에 기반하여 제공하는 자동화 용접 장치를 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, raw 이미지를 획득하는 단계 및 깊이 정보를 획득하는 단계가 동시에 수행되는 자동화 용접 장치의 동작 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 용접 객체의 용접 라인이 경사각 또는 굴곡을 포함하는 경우에도 오차가 최소화된 자동화 용접 장치의 동작 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 기술적 과제는 상술된 것에 제한되지 않는다.
상기 기술적 과제를 해결하기 위해, 본 발명은 자동화 용접 장치를 제공한다.
일 실시 예에 따르면, 상기 자동화 용접 장치는, 용접 객체에 대한 raw 이미지를 획득하는 이미지 획득부, 상기 raw 이미지를 이루는 픽셀(pixel)들의 깊이 정보를 획득하는 깊이 획득부, 상기 이미지 획득부로부터 획득된 raw 이미지로부터 용접 라인을 추출하는 용접 라인 추출부, 및 상기 깊이 획득부에서 획득된 깊이 정보에 기반하여, 상기 용접 라인 추출부로부터 추출된 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 3D 용접 라인 획득부를 포함할 수 있다.
일 실시 예에 따르면, 상기 용접 라인 추출부는, 상기 raw 이미지를 복수의 단위 셀(unit cell)로 분할하고, 상기 단위 셀 당 독립적인 임계 값을 적용하여, 상기 raw 이미지를 이진화할 수 있다.
일 실시 예에 따르면, 상기 용접 라인 추출부는, 상기 이진화된 이미지에서 특정 픽셀을 선택하고, 상기 특정 픽셀과 동일한 그레이 스케일(gray scale)을 가지는 인접 픽셀들을 그룹화하여 블롭(blob)들을 검출할 수 있다.
일 실시 예에 따르면, 상기 용접 라인 추출부는, 상기 그룹화된 블롭들 중에서, 상기 용접 객체에 대한 블롭을 선택할 수 있다.
일 실시 예에 따르면, 상기 용접 라인 추출부는, 상기 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을 상기 용접 객체에 대한 블롭으로 선택할 수 있다.
일 실시 예에 따르면, 상기 용접 라인 추출부는, 상기 용접 객체로 선택된 블롭의 경계 라인에 위치한 픽셀들로 정의된 용접 라인을 추출할 수 있다.
일 실시 예에 따르면, 상기 3D 용접 라인은, 상기 용접 라인을 이루는 픽셀들의 3 축 좌표 정보를 포함할 수 있다.
일 실시 예에 따르면, 용접 간격을 정의하는 용접 지시 정보를 획득하는 용접 지시 정보 획득부를 더 포함하며, 상기 용접 지시 정보 획득부는, 상기 용접 간격 마다의 용접 좌표를 상기 3D 용접 라인에 기반하여 제공할 수 있다.
상기 기술적 과제를 해결하기 위해, 본 발명은 자동화 용접 장치의 동작 방법을 제공한다.
일 실시 예에 따르면, 상기 자동화 용접 장치의 동작 방법은, 용접 객체에 대한 raw 이미지를 획득하는 단계, 상기 raw 이미지를 이루는 픽셀들의 깊이 정보를 획득하는 단계, 상기 획득된 raw 이미지로부터 용접 라인을 추출하는 단계, 및 상기 획득된 깊이 정보에 기반하여, 상기 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 raw 이미지를 획득하는 단계 및 상기 깊이 정보를 획득하는 단계는 동시에 수행될 수 있다.
일 실시 예에 따르면, 상기 용접 라인을 추출하는 단계는, 상기 raw 이미지를 복수의 단위 셀로 분할하고, 상기 단위 셀 당 독립적인 임계 값을 적용하여, 상기 raw 이미지를 이진화하는 단계, 상기 이진화된 이미지에서 특정 픽셀을 선택하고, 상기 특정 픽셀과 동일한 그레이 스케일을 가지는 인접 픽셀들을 그룹화하여 블롭들을 검출하는 단계, 상기 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을 상기 용접 객체에 대한 블롭으로 선택하는 단계, 및 상기 용접 객체로 선택된 블롭의 경계 라인에 위치한 픽셀들로 정의된 용접 라인을 추출하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 용접 간격을 정의하는 용접 지시 정보를 획득하는 단계, 및 3D 용접 자료를 용접 주체에 제공하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 용접 지시 정보를 획득하는 단계는, 상기 용접 간격 마다의 용접 좌표를 상기 3D 용접 라인에 기반하여 제공할 수 있다.
본 발명의 실시 예에 따르면, 용접 객체에 대한 raw 이미지를 획득하는 이미지 획득부, 상기 raw 이미지를 이루는 픽셀(pixel)들의 깊이 정보를 획득하는 깊이 획득부, 상기 이미지 획득부로부터 획득된 raw 이미지로부터 용접 라인을 추출하는 용접 라인 추출부, 및 상기 깊이 획득부에서 획득된 깊이 정보에 기반하여, 상기 용접 라인 추출부로부터 추출된 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 3D 용접 라인 획득부를 포함하는 자동화 용접 장치가 제공될 수 있다.
상기 자동화 용접 장치를 이용해, 용접 객체에 대한 raw 이미지를 획득하는 단계, 상기 raw 이미지를 이루는 픽셀들의 깊이 정보를 획득하는 단계, 상기 획득된 raw 이미지로부터 용접 라인을 추출하는 단계, 및 상기 획득된 깊이 정보에 기반하여, 상기 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 단계를 포함하는 자동화 용접 장치의 동작 방법이 제공될 수 있다.
상기 raw 이미지를 획득하는 단계, 및 상기 깊이 정보를 획득하는 단계는 동시에 수행될 수 있고, 상기 획득된 raw 이미지를 이진화하여 2 번째로 면적이 큰 블롭의 경계 라인에 위치한 픽셀들로 정의된 용접 라인을 추출할 수 있다.
이에 따라, 용접 라인을 이루는 픽셀들의 3 축 좌표 정보를 포함하는 3D 용접 라인을 제공할 수 있다. 뿐만 아니라, 용접 간격 마다의 용접 좌표를 3D 용접 라인에 기반하여 제공할 수 있다. 따라서, 용접 객체의 용접 라인이 경사각 또는 굴곡을 포함하는 경우에도 오차가 최소화된 3D 용접 라인을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 자동화 용접 장치를 설명하기 위한 개념도이다.
도 2는 본 발명의 실시 예에 따른 자동화 용접 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 자동화 용접 장치의 동작 방법을 설명하기 위한 순서도이다.
도 4(a) 및 (b)는 본 발명의 실시 예에 따른 S110 단계를 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 S130 단계를 설명하기 위한 도면이다.
도 6(a) 및 (b)는 본 발명의 실시 예에 따른 S131 단계를 설명하기 위한 도면이다.
도 7(a) 는 본 발명의 실시 예에 따른 S132 단계를 설명하기 위한 도면이다.
도 7(b) 및 (c)는 본 발명의 실시 예에 따른 S133 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 S134 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른 S140 단계를 설명하기 위한 도면이다.
도 10은 용접 객체의 상이한 위치에 대응하는, 본 발명의 실시 예에 따른 3D 용접 라인을 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따른 S150 단계를 설명하기 위한 도면이다.
도 12(a) 내지 (c)는 본 발명의 실시 예에 따른 소정 각도로 기울어진 용접 라인을 포함하는 용접 객체를 용접하는 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 게재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 형상 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.
명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.
이하, 본 발명의 실시 예에 따른 자동화 용접 장치가 설명된다.
도 1은 본 발명의 실시 예에 따른 자동화 용접 장치를 설명하기 위한 개념도이고, 도 2는 본 발명의 실시 예에 따른 자동화 용접 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 자동화 용접 장치(100)는, 용접 객체(WO; welding object)의 용접 라인을 용접 로봇(WR; welding robot)이 자동으로 용접할 수 있도록, 용접 라인에 대한 정보를 용접 로봇(WR)에 제공하되, 깊이 정보가 반영된 3D 용접 라인에 대한 정보를 제공할 수 있다. 이하 도 2를 참조하여 본 발명의 일 실시 예에 따른 자동화 용접 장치(100)를 설명하기로 한다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 자동화 용접 장치(100)는 이미지 획득부(110), 깊이 획득부(120), 용접 라인 추출부(130), 3D 용접 라인 획득부(140), 및 용접 지시 정보 획득부(150) 중에서 적어도 어느 하나를 포 함할 수 있다. 이하, 각 구성에 대해서 상술하기로 한다.
상기 이미지 획득부(110)는, 이미지 획득 모듈(105)과 전기적으로 연결될 수 있다. 상기 이미지 획득 모듈(105)은 예를 들어, CCD 카메라(charge coupled device camera)일 수 있다. 상기 이미지 획득 모듈(105)은, 용접 객체(WO)에 대한 raw 이미지(RI; raw image)를 수집할 수 있다. 이에 따라, 상기 이미지 획득부(110)는, 상기 이미지 획득 모듈(105)로부터 상기 raw 이미지를 획득할 수 있다. 구체적으로, 제1 용접 객체(WO1) 및 제2 용접 객체(WO2) 간의 용접 라인을 포함하는 상기 raw 이미지(RI)를 획득할 수 있다.
상기 깊이 획득부(120)는, 깊이 획득 모듈(115)과 전기적으로 연결될 수 있다. 상기 깊이 획득 모듈(115)은 예를 들어, 적외선 카메라일 수 있다. 상기 깊이 획득 모듈(115)은 상기 raw 이미지(RI)를 이루는 픽셀(pixel)들의 깊이 정보(DI; depth information)를 획득할 수 있다. 이에 따라 상기 깊이 획득부(120)는 상기 깊이 획득 모듈(115)로부터 깊이 정보를 획득할 수 있다. 즉, 상기 이미지 획득부(110)가 특정 영역에 대한 2차원적인 이미지 데이터를 획득한다면, 상기 깊이 획득부(120)는 특정 영역에 대한 2차원적인 이미지 데이터 외에 깊이 데이터를 추가적으로 제공할 수 있다.
일 실시 예에 따르면, 상기 이미지 획득 모듈(105) 및 상기 깊이 획득 모듈(115)은, 동일한 영역에 대한, raw 이미지(RI) 및 상기 raw 이미지(RI)를 이루는 픽셀들의 깊이 정보(DI)를 획득할 수 있다. 이에 따라, 상기 raw 이미지(RI)에, 상기 raw 이미지(RI)를 이루는 픽셀들에 대한 깊이 정보(DI)를 보다 용이하게 적용할 수 있다.
일 실시 예에 따르면, 상기 이미지 획득 모듈(105) 및 상기 깊이 획득 모듈(115)은, 각각 상기 raw 이미지(RI) 및 상기 raw 이미지(RI)를 이루는 픽셀들의 깊이 정보(DI)를 획득하되, 상기 raw 이미지(RI) 및 상기 깊이 정보(DI)에는 동일한 마커가 포함될 수 있다. 이에 따라, 상기 raw 이미지(RI)를 이루는 픽셀들과, 상기 깊이 정보(DI)를 이루는 픽셀들은 상기 마커를 기준으로 정합될 수 있다.
이에 따라, 상기 용접 객체(WO)에 대한 정확한 정보가 제공될 수 있다. 구체적으로, 상기 깊이 획득부(120)에서 획득된 깊이 정보(DI)에 기반하여, 상기 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인이 제공될 수 있다. 따라서, 종래의 용접 장치보다 공정 수율 및 신뢰도가 향상된 상기 자동화 용접 장치(100)가 제공될 수 있다.
일 실시 예에 따르면, 상기 용접 라인 추출부(130)는, 상기 이미지 획득부(110)로부터 획득된 raw 이미지(RI)로부터 상기 용접 라인을 추출할 수 있다. 구체적으로, 상기 용접 라인 추출부(130)는, 상기 raw 이미지(RI)를 복수의 단위 셀(unit cell)로 분할하고, 상기 단위 셀 당 독립적인 임계 값을 적용하여, 상기 raw 이미지(RI)를 이진화할 수 있다. 또한, 상기 용접 라인 추출부(130)는, 이진화된 이미지에서 특정 픽셀을 선택하고, 상기 특정 픽셀과 동일한 그레이 스케일(gray scale)을 가지는 인접 픽셀들이 그룹화하여 블롭(blob)들을 검출할 수 있다.
일 실시 예에 따르면, 상기 용접 라인 추출부(130)는, 상기 그룹화된 블롭들 중에서, 상기 용접 객체(WO)에 대한 블롭을 선택할 수 있다. 상기 용접 객체(WO)에 대한 블롭을 선택하기 위해, 상기 용접 라인 추출부(130)는, 상기 그룹화된 블롭들 중에서, 배경에 해당하는 블롭 및 노이즈에 해당하는 블롭을 제거할 수 있다. 보다 구체적으로, 상기 그룹화된 블롭들 중에서, 1 번째로 면적이 큰 블롭은 배경으로 간주될 수 있다. 또한, 3 번째 또는 그 이상의 차례로 면적이 큰 블롭들은 노이즈로 간주될 수 있다. 이에 따라, 상기 1 번째 및 3 번째 이상의 차례로 면적이 큰 블롭들이 제거될 수 있다. 다시 말하면, 상기 용접 라인 추출부(130)는, 상기 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을 상기 용접 객체(WO)에 대한 블롭으로 선택할 수 있다. 이에 따라, 상기 용접 객체(WO)로 선택된 블롭의 경계 라인에 위치한 픽셀들로 정의된 용접 라인이 추출될 수 있다.
일 실시 예에 따르면, 3D 용접 라인 획득부(140)는, 상기 깊이 획득부(120)에서 획득된 깊이 정보에 기반하여, 상기 용접 라인 추출부(130)로부터 추출된 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득할 수 있다. 상기 3D 용접 라인에는, 상기 용접 라인을 이루는 픽셀들의 3 축 좌표 정보가 포함될 수 있다.
상기 용접 라인 추출부(130)는, 상기 깊이 획득부(120)에서 획득된 깊이 정보(DI)에 기반하여, 상기 이미지 획득부(110)로부터 획득된 raw 이미지(RI)로부터 추출된 상기 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 제공할 수 있다. 따라서, 종래의 용접 장치와는 달리, 공정 수율 및 신뢰도가 향상된 상기 자동화 용접 장치(100)가 제공될 수 있다.
일 실시 예에 따르면, 용접 지시 정보 획득부(150)는, 용접 간격을 정의하는 용접 지시 정보(WI; welding instruction information)를 획득할 수 있다. 상기 용접 지시 정보(WI)는, 상기 용접 간격 마다의 용접 좌표f 상기 3D 용접 라인에 기반하여 제공할 수 있다. 이에 따라, 종래의 용접 장치와는 달리, 상기 자동화 용접 장치(100)는, 제1 용접 객체(WO1) 및 제2 용접 객체(WO2) 간의 용접 라인이 경사각 또는 굴곡을 포함하는 경우에도 오차를 최소화할 수 있다.
일 실시 예에 따르면, 상기 용접 지시 정보 획득부(150)는, 획득된 상기 용접 지시 정보(WI)를 용접 로봇(WR)에 제공할 수 있고, 상기 용접 로봇(WR)은 상기 용접 지시 정보(WI)에 따라 용접을 수행할 수 있다.
이상, 상기 자동화 용접 장치(100)에 대해 일 실시 예를 들어 설명하였으나, 상술된 이미지 획득부(110), 깊이 획득부(120), 용접 라인 추출부(130), 3D 용접 라인 획득부(140), 및 용접 지시 정보 획득부(150)는 상기 자동화 용접 장치(100)에 한정되지 않고, 변형 예에 따라 다양하게 응용될 수 있다.
다시 말해, 객체에 대한 raw 이미지를 획득하는 이미지 획득부, 상기 raw 이미지를 이루는 픽셀들의 깊이 정보를 획득하는 깊이 획득, 상기 이미지 획득부로부터 획득된 raw 이미지로부터 관심 라인을 추출하는 관심 라인 추출부, 및 상기 깊이 획득부에서 획득된 깊이 정보에 기반하여, 상기 관심 라인 추출부로부터 추출된 관심 라인을 이루는 픽셀들의 깊이 정보를 획득하는 3D 관심 라인 획득부를 포함하는 3D 관심 라인 획득 장치가 제공될 수 있다. 상술된 바와 같이, 상기 3D 관심 라인 획득 장치는, 3D 관심 라인의 간격을 정의하는 작업 지시 정보를 획득하는 작업 지시 정보 획득부를 더 포함할 수 있다.
예를 들어, 일 변형 예에 따르면, 상기 3D 관심 라인 획득 장치는, 자동화 절단 장치일 수 있다. 또는 다른 변형 예에 따르면, 상기 3D 관심 라인 획득 장치는, 자동화 레이저일 수 있다. 이와 같이, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명의 범위에서 벗어나지 않으면서 수정 및 변형될 수 있다.
이하, 본 발명의 실시 예에 따른 자동화 용접 장치의 동작 방법이 설명된다.
도 3은 본 발명의 실시 예에 따른 자동화 용접 장치의 동작 방법을 설명하기 위한 순서도이고, 도 4(a) 및 (b)는 본 발명의 실시 예에 따른 S110 단계를 설명하기 위한 도면이고, 도 5는 본 발명의 실시 예에 따른 S130 단계를 설명하기 위한 도면이다. 도 6(a) 및 (b)는 본 발명의 실시 예에 따른 S131 단계를 설명하기 위한 도면이고, 도 7(a) 는 본 발명의 실시 예에 따른 S132 단계를 설명하기 위한 도면이고, 도 7(b) 및 (c)는 본 발명의 실시 예에 따른 S133 단계를 설명하기 위한 도면이다. 도 8은 본 발명의 실시 예에 따른 S134 단계를 설명하기 위한 도면이고, 도 9는 본 발명의 실시 예에 따른 S140 단계를 설명하기 위한 도면이고, 도 10은 용접 객체의 상이한 위치에 대응하는, 본 발명의 실시 예에 따른 3D 용접 라인을 설명하기 위한 도면이고, 도 11은 본 발명의 실시 예에 따른 S150 단계를 설명하기 위한 도면이고, 도 12(a) 내지 (c)는 본 발명의 실시 예에 따른 소정 각도로 기울어진 용접 라인을 포함하는 용접 객체를 용접하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 자동화 용접 장치의 동작 방법은, 용접 객체에 대한 raw 이미지를 획득하는 단계(S110), 상기 raw 이미지를 이루는 픽셀들의 깊이 정보를 획득하는 단계(S120), 상기 획득된 raw 이미지로부터 용접 라인을 추출하는 단계(S130), 상기 획득된 깊이 정보에 기반하여, 상기 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 단계(S140), 용접 간격을 정의하는 용접 지시 정보를 획득하는 단계(S150), 및 3D 용접 자료를 용접 주체에 제공하는 단계(S160)를 포함할 수 있다. 이하, 도면을 참조하여 각 단계에 대해서 상술하기로 한다,
도 4(a) 및 (b)를 참조하면, 용접 객체에 대한 raw 이미지(RI)가 획득될 수 있다(S110). 즉, 상기 이미지 획득부(110)는 상기 이미지 획득 모듈(105)를 통하여, 상기 용접 객체(WO)에 대한 raw 이미지(RI)를 획득할 수 있다. 예를 들어, 도 4(b)에 도시된 바와 같이, 제1 용접 객체(WO1) 및 제2 용접 객체(WO2)가 적층 배열된 상태에서, 상기 이미지 획득 모듈(105)는 도 4(a)와 같이 raw 이미지(RI)를 획득할 수 있다.
상기 raw 이미지(RI)를 이루는 픽셀들의 깊이 정보(DI)가 획득될 수 있다(S120). 즉, 상기 깊이 획득부(120)는 상기 깊이 획득 모듈(115)을 통하여, 상기 raw 이미지(RI)를 이루는 픽셀들의 깊이 정보(DI)를 획득할 수 있다. 따라서, 본 단계에 따르면, 별도의 상기 깊이 정보(DI) 획득을 위한 상기 깊이 획득 모듈(115)을 이용해, 상기 깊이 정보(DI)가 획득될 수 있다. 일 실시 예에 따르면, 상기 획득된 깊이 정보(DI)는, 상기 깊이 획득부(120)로 제공될 수 있다.
일 실시 예에 따르면, 상기 S110 단계 및 상기 S120 단계는 동시에 수행될 수 있다. 이에 따라, 상기 획득된 깊이 정보(DI)에 기반하여, 상기 용접 라인을 이루는 픽셀들의 깊이 정보(DI)가 반영된 3D 용접 라인이 제공될 수 있다.
상기 획득된 raw 이미지(RI)로부터 용접 라인이 추출될 수 있다(S130). 즉, 상기 용접 라인 추출부(130)는, 상기 획득된 raw 이미지(RI)로부터 용접 라인을 추출할 수 있다. 도 5를 참조하면, S130 단계는, 상기 raw 이미지(RI)를 복수의 단위 셀로 분할하고, 상기 단위 셀 당 독립적인 임계 값을 적용하여, 상기 raw 이미지(RI)를 이진화하는 단계(S131), 상기 이진화된 이미지에서 특정 픽셀을 선택하고, 상기 특정 픽셀과 동일한 그레이 스케일을 가지는 인접 픽셀들을 그룹화하여 블롭들을 검출하는 단계(S132), 상기 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을 상기 용접 객체에 대한 블롭으로 선택하는 단계(S133), 및 상기 용접 객체로 선택된 블롭의 경계 라인에 위치한 픽셀들로 정의된 용접 라인을 추출하는 단계(S134)를 포함할 수 있다. 이하, 상기 S130 단계를, 도 6(a) 내지 도 8을 참조하여 상세히 설명하기로 한다.
도 6(a)를 참조하면, 상기 용접 라인을 추출하기 위해, 상기 raw 이미지(RI)가 복수의 단위 셀 즉, 도 6(a)의 T(1,1), T(1,2) …… T(3,3)로 분할되고, 상기 단위 셀 당 독립적인 임계 값이 적용되어, 상기 raw 이미지(RI)가 도 6(b)와 같이 이진화될 수 있다(S131). 즉, 상기 raw 이미지(RI)를 백색(255)과 흑색(0)으로 나누어 이진화하는 것에 따라, 상기 raw 이미지(RI) 및 상기 이진화된 이미지를 명확하게 구분할 수 있다. 일 실시 예에 따르면, 그레이 스케일 값은, 임계 값을 초과하는 경우 255로 변환되고, 그렇지 않은 경우 0으로 변경될 수 있다. 이때, 상기 임계 값은, 상기 단위 셀마다의 그레이 스케일 값들의 평균 값일 수 있다.
본 발명의 실시 예에 따르면, 상기 raw 이미지(RI)가 분할된 복수의 상기 단위 셀 당 독립적인 임계 값이 적용되는 것에 따라, 후술되는 단계에서, 상기 raw 이미지(RI)에 포함된 배경 및 노이즈가 용이하게 제거되어, 상기 용접 라인이 용이하게 추출될 수 있다.
도 7(a)를 참조하면, 상기 이진화된 이미지에서 특정 픽셀이 선택되고, 상기 특정 픽셀과 동일한 그레이 스케일을 가지는 인접 픽셀들이 그룹화되어 블롭들이 검출될 수 있다(S132). 즉, 상기 용접 라인 추출부(130)는 단계 S131의 이진화된 이미지에 기반하여 블롭들을 검출(blob detection)할 수 있다. 예를 들어, 상기 용접 라인 추출부(130)는, 그레이 스케일 값 255를 가지는 하나의 픽셀을 선택하고, 상기 픽셀의 상하, 좌우, 및 대각선 방향에 포함된 8 방향의 픽셀을 분석하여, 상기 그레이 스케일 값과 동일한 값 즉, 255의 그레이 스케일을 가지는 영역을 하나의 구역 즉, 상기 블롭으로 정의할 수 있다. 이로써, 상기 용접 라인 추출부(130)는 도 7(a)에 도시된 바와 같이, 상기 이진화된 이미지에 기반하여 복수의 블롭들을 검출할 수 있다.
도 7(b) 및 (c)를 참조하면, 상기 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭이 상기 용접 객체에 대한 블롭으로 선택될 수 있다(S133). 즉, 상기 용접 라인 추출부(130)는 상기 S132 단계의 블롭들 중에서, 용접 라인을 추출하기 위한 블롭을 선택할 수 있다. 이를 위하여 상기 용접 라인 추출부(130)는, 도 7(a)에 도시된 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을, 상기 용접 객체에 대한 블롭으로 선택할 수 있다. 다시 말해, 도 7(a)에 도시된 상기 그룹화된 블롭들 중에서, 1 번째로 면적이 큰 블롭은 배경으로 간주될 수 있다. 따라서 도 7(b)에 도시된 바와 같이, 상기 용접 라인 추출부(130)는 가장 큰 블롭 즉, 상기 배경을 제거할 수 있다. 또한, 3 번째 또는 그 이상의 차례로 면적이 큰 블롭들은 노이즈로 간주될 수 있다. 따라서, 도 7(c)에 도시된 바와 같이 상기 용접 라인 추출부(130)는 3 번째 또는 그 이상의 차례로 면적이 큰 블롭들 즉, 노이즈를 제거할 수 있다. 이로써, 상기 용접 라인 추출부(130)는 도 7(c)에 도시된 바와 같이 최종 관심 영역 즉, 용접 객체에 대한 블롭을 추출할 수 있다.
도 8을 참조하면, 상기 용접 객체로 선택된 블롭의 경계 라인에 위치한 픽셀들로 정의된 용접 라인이 추출될 수 있다(S134). 상기 용접 라인 추출부(130)는, 상기 용접 객체로 선택된 불롭의 경계 라인에 위치한 백색 픽셀들 중에서, 흑색 픽셀의 적어도 일 측과 마주하는 백색 픽셀 즉, 백색 픽셀의 아우터 라인(outer line)을 2D 용접 라인으로 추출(적색 픽셀)할 수 있다.
도 9를 참조하면, 상기 S120 단계에서 획득된 깊이 정보(DI)에 기반하여, 상기 S130 단계에서 추출된 용접 라인을 이루는 픽셀들의 깊이 정보(DI)가 반영된 3D 용접 라인이 획득될 수 있다(S140). 즉, 상기 3D 용접 라인 획득부(140)가, 상기 추출된 용접 라인을 이루는 픽셀들의 깊이 정보(DI)가 반영된 3D 용접 라인을 획득할 수 있다. 구체적으로, 상기 S130 단계에서 획득된 용접 라인은 2차원 좌표 데이터 예를 들어, Pn(xn, yn) 형태로 이루어질 수 있다. 상기 3D 용접 라인 획득부(140)는, Pn(xn, yn) 형태의 용접 라인 데이터에, 상기 S120 단계에서 획득된 깊이 정보(DI)를 반영할 수 있다. 이로써, 상기 3D 용접 라인 획득부(140)는, 용접 라인을 이루는 픽셀들을 3차원 좌표 데이터 예를 들어, Pn(xn, yn, zn) 형태로 정리할 수 있다. 따라서, 상기 3D 용접 라인 획득부(140)는 3차원 용접 라인을 획득할 수 있다.
일 실시 예에 따르면, 상기 3D 용접 라인 획득부(140)는, 상기 획득된 깊이 정보(DI)를 포함하는 이미지 및 상기 추출된 용접 라인을 포함하는 이미지가 대응되는 경우, 상기 획득된 깊이 정보(DI)를 포함하는 이미지 및 상기 추출된 용접 라인을 포함하는 이미지를 정합시켜, 상기 3D 용접 라인을 용이하게 획득할 수 있다. 이를 위하여, 일 실시 예에 따르면, 상기 획득된 깊이 정보(DI)를 포함하는 이미지 및 상기 추출된 용접 라인을 포함하는 이미지에는 동일한 마커가 포함될 수 있다. 이에 따라, 상기 마커를 기준으로, 상기 획득된 깊이 정보(DI)를 포함하는 이미지를 이루는 픽셀들과, 상기 추출된 용접 라인을 포함하는 이미지를 이루는 픽셀들이 정합될 수 있다. 이 때, 상기 마커는 특수한 도형일 수 있고, 3 개 이상의 기준점으로 이루어질 수 있다.
상술된 바와 같이, 본 발명의 실시 예에 따르면, 상기 자동화 용접 장치의 동작 방법은, 상기 용접 객체에 대한 raw 이미지를 획득하는 단계(S110), 상기 raw 이미지를 이루는 픽셀들의 깊이 정보를 획득하는 단계(S120), 상기 획득된 raw 이미지로부터 용접 라인을 추출하는 단계(S130), 및 상기 획득된 깊이 정보에 기반하여, 상기 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 단계(S140)를 포함할 수 있다. 다시 말해, 본 발명의 실시 예에 따르면, 상기 S110 단계에서 획득된 raw 이미지에 대해, 상기 S120 단계의 깊이 정보에 기반하여, 상기 S130 단계에서 추출된 용접 라인을 이루는 픽셀들의 깊이 정보가 반영되어, 상기 S140 단계에서 3D 용접 라인을 용이하게 획득할 수 있다.
본 발명의 실시 예에 따르면, 용접 객체(WO)의 상이한 위치에 따라, 상기 3D 용접 라인이 정확하게 제공될 수 있다. 다시 말해, 상기 용접 객체(WO)에 대한 raw 이미지(RI)에서, 배경에 해당하는 블롭 및 노이즈에 해당하는 블롭이 변화하는 경우에도, 상기 3D 용접 라인이 정확하게 제공될 수 있다. 또한, 상기 raw 이미지(RI)를 이루는 픽셀들의 깊이가 변화하는 경우에도, 상기 3D 용접 라인이 정확하게 제공될 수 있다. 따라서, 신뢰성이 향상된 상기 자동화 용접 장치의 동작 방법을 제공할 수 있다. 도 10(a) 및 (b)를 참조하여 설명하면, 도 10(a)에 대비하여 도 10(b)의 용접 라인은 다소 오른쪽으로 이동된 상태로 준비되었다. 이러한 경우에도 본 발명의 실시 예에 따른 자동화 용접 장치의 동작 방법을 이용해, 적색으로 표시된 용접 객체(RI)의 용접 라인이 용이하게 검출되는 것을 알 수 있다.
도 11을 참조하면, 용접 간격을 정의하는 용접 지시 정보(WI)가 획득될 수 있다(S150). 즉, 일 실시 예에 따르면, 상기 용접 지시 정보 획득부(150)가, 상기 용접 지시 정보(WI)를 획득할 수 있다. 이 때, 용접 지시 정보(WI)는 용접 간격에 대한 정보, 최초 용접 점에 대한 정보 등을 포함할 수 있다. 상기 용접 지시 정보 획득부(150)는 용접 지시 정보(WI)를 획득하기 위하여, 작업자에게 용접 지시 정보 입력 창(W)을 제공할 수 있다. 이에 따라, 작업자는 제1 입력 창(W1)을 통하여 용접 간격을 입력하고, 제2 입력 창(W2)을 통하여 최초 용접 점에 대한 정보를 입력할 수 있다. 설명의 편의를 위하여, 용접 간격은 5 cm이고, 최초 용접 점은 (0,0,0)인 것을 상정하기로 한다.
상기 용접 지시 정보 획득부(150)는 상기 3D 용접 라인 획득부(140)가 획득한 3D 용접 라인에 용접 지시 정보(WI)를 적용할 수 있다. 즉, 상기 용접 지시 정보 획득부(150)는 획득한 3D 용접 라인을 이루는 픽셀들의 좌표 중에서 (0,0,0)을 선정하고, (0,0,0)을 기준으로 5 cm 간격으로 용접 점 좌표를 선정할 수 있다. 본 발명의 일 실시 예에서는 3D 용접 라인이 3차원 좌표 데이터로 제공될 수 있으므로, 용접 간격을 정확하게 반영하는 용접 점이 선정될 수 있다. 상기 정확한 용접 점 선정 방법. 및 일 실시 예에 따른 동작 방법의 특유의 효과를 도 12(a) 내지 (b)를 참조하여 설명하기로 한다.
도 12(a)를 참조하면, 상기 제1 용접 객체(WO1) 및 상기 제2 용접 객체(WO2) 간에, 소정 각도(θ)로 기울어진 용접 라인(B)이 제공될 수 있다. 이러한 경우, 본 발명의 실시 예에 따르면, 도 12(b) 좌측에 도시된 바와 같이, 깊이 정보(DI)를 고려한 용접 점 즉, 용접 좌표(WB)가 제공될 수 있다. 이 때, 용접 좌표(WB)는 3차원 좌표 데이터를 포함할 수 있다. 이 때, 용접 좌표가 선정되는 과정은 앞서 설명한 S110 내지 S150 단계에 따라 이루어질 수 있다.
본 발명의 실시 예와 달리, 도 12(a)에 도시된, 용접 라인(B)에 대하여 깊이 정보(DI)를 고려하지 않는 경우, 도 12(b) 우측에 도시된 바와 같이, 용접 좌표(WB')가 제공될 수 있다. 이 경우 용접 좌표(WB')는 2차원 좌표 데이터로만 이루어질 수 있다. 2차원 좌표 데이터에 용접 간격이 반영되는 경우, 비록 2차원 좌표 데이터 상에서는 등 간격이 될 수 있으나, 이를 경사진 3차원 용접 라인(B) 관점에서는 등 간격이 되지 못하는 한계가 발생하게 된다.
정리하면, 도 12(c)에 도시된 바와 같이, 동일한 용접 간격에서, 상기 제1 용접(WO1) 객체 및 상기 제2 용접 객체(WO2) 간의 소정 각도(
Figure 112019007060018-pat00001
)을 포함하는 상기 용접 라인(B)의 용접 좌표(WB)와, 상기 소정 각도(θ)을 포함하지 않는 상기 용접 라인(B')의 용접 좌표(WB')는 상이할 수 있다. 예를 들어, 5 cm의 용접 간격 마다 용접을 수행하는 경우, 상기 용접 좌표 즉, WB 및 WB'은 상이할 수 있다. 이에 따라, 도 12(b) 및 (c)에 도시된 바와 같이, 상기 용접 라인 즉, B 및 B'을 따라 5 cm 간격으로 용접된 용접 점의 위치가 서로 다를 수 있다.
즉, 본 발명의 실시 예에 따르면, 상기 용접 간격 마다의 용접 좌표가, 상기 3D 용접 라인에 기반하여 제공되는 것에 의해, 상기 제1 용접 객체(WO1) 및 상기 제2 용접 객체(WO2) 간의 용접 라인(B)이 소정 각도(
Figure 112019007060018-pat00002
)을 포함하는 경우에도 오차가 최소화될 수 있다.
다시 도 3을 참조하면, 3D 용접 자료가 용접 로봇(WR)에 제공될 수 있다(S160). 즉, 일 실시 예에 따르면, 상기 3D 용접 자료는, 상기 3D 용접 라인에 기반한 3D 용접 좌표일 수 있다. 이에 따라, 상기 용접 로봇(WR)은, 상기 3D 용접 라인에 기반한 3D 용접 좌표에 따라 용접을 수행할 수 있다. 따라서, 용접 객체가 소정 각도(
Figure 112019007060018-pat00003
)를 포함하는 경우에도, 상기 용접 로봇(WR)은 3차원에서 등 간격의 용접 거리로 용접할 수 있다. 다시 말해, 상술된 바와 같이, 본 발명의 실시 예에 따르면, 제1 용접 객체 및 제2 용접 객체 간의 용접 라인(B)이 소정 각도(θ)을 포함하는 경우에도 오차가 최소화된 3D 용접 자료가 상기 용접 로봇(WR)에 제공되는 것에 따라, 상기 용접 로봇(WR)이, 정확하며 신뢰성이 향상된 용접을 수행할 수 있다.
이와는 달리, 종래의 용접 방법에 의하면, 상기 3D 용접 자료가 용접 주체에 제공될 수 없고, 이에 따라, 상기 용접 라인(B)이 상기 소정 각도(θ)을 포함함에도 불구하고, 상기 용접 주체가 상기 소정 각도(θ)를 인지할 수 없다. 다시 말해, 상기 용접 주체가 상기 3D 용접 자료를 획득할 수 없고, 상술된 바와 같은, 상기 B의 용접 좌표 즉, 3차원 좌표 및 상기 B'의 용접 좌표 즉, 2차원 좌표 간의 차이를 인지할 수 없다. 따라서, 용접 공정에 오차가 발생할 수 있고, 용접 공정 수율 및 신뢰도가 저하될 수 있다.
하지만, 본 발명의 실시 예에 따르면, 상기 3D 용접 자료가 용접 로봇(WR)에 제공될 수 있고, 이에 따라, 상기 용접 라인(B)이 상기 소정 각도(θ)을 포함하는 경우에도, 상기 용접 로봇(WR)이 상기 2차원 좌표와는 다른 상기 3차원 좌표를 명확히 인지할 수 있다. 따라서, 용접 공정의 오차가 최소화되어, 용접 공정 수율 및 신뢰도가 향상될 수 있다.
본 발명의 일 실시 예에 따른 동작 방법은 프로그램에 의해 구현될 수 있다. 예를 들어, 상기 프로그램은 매체에 저장된 형태로 제공될 수 있다. 보다 구체적으로, 상기 프로그램은, 용접 객체(WO)에 대한 raw 이미지(RI)를 획득하는 단계, 상기 raw 이미지(RI)를 이루는 픽셀들의 깊이 정보(DI)를 획득하는 단계, 상기 획득된 raw 이미지(RI)로부터 용접 라인을 추출하는 단계, 상기 획득된 깊이 정보(DI)에 기반하여, 상기 용접 라인을 이루는 픽셀들의 깊이 정보(DI)가 반영된 3D 용접 라인을 획득하는 단계, 및 상기 획득된 3D 용접 라인으로부터, 용접 간격을 정의하는 용접 지시 정보를 획득하여, 용접 주체에 제공하는 단계를 실행시키기 위해 매체에 저장된 자동화 용접 프로그램일 수 있다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
100: 자동화 용접 장치
105: 이미지 획득 모듈
110: 이미지 획득부
115: 깊이 획득 모듈
120: 깊이 획득부
130: 용접 라인 추출부
140: 3D 용접 라인 획득부
150: 용접 지시 정보 획득부

Claims (14)

  1. 용접 객체에 대한 raw 이미지를 획득하는 이미지 획득부;
    상기 raw 이미지를 이루는 픽셀(pixel)들의 깊이 정보를 획득하는 깊이 획득부;
    상기 이미지 획득부로부터 획득된 raw 이미지로부터 용접 라인을 추출하는 용접 라인 추출부; 및
    상기 깊이 획득부에서 획득된 깊이 정보에 기반하여, 상기 용접 라인 추출부로부터 추출된 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 3D 용접 라인 획득부;를 포함하되,
    상기 용접 라인 추출부는, 특정 픽셀을 선택하되 상기 특정 픽셀과 동일한 그레이 스케일(gray scale)을 가지는 인접 픽셀들을 그룹화하여 블롭(blob)들을 검출하는 자동화 용접 장치.
  2. 제1 항에 있어서,
    상기 용접 라인 추출부는,
    상기 raw 이미지를 복수의 단위 셀(unit cell)로 분할하고,
    상기 단위 셀 당 독립적인 임계 값을 적용하여, 상기 raw 이미지를 이진화하는, 자동화 용접 장치.
  3. 제2 항에 있어서,
    상기 용접 라인 추출부는,
    상기 이진화된 이미지에서 상기 특정 픽셀을 선택하는, 자동화 용접 장치.
  4. 제1 항에 있어서,
    상기 용접 라인 추출부는,
    상기 그룹화된 블롭들 중에서, 상기 용접 객체에 대한 블롭을 선택하는, 자동화 용접 장치.
  5. 제1 항에 있어서,
    상기 용접 라인 추출부는,
    상기 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을 상기 용접 객체에 대한 블롭으로 선택하는, 자동화 용접 장치.
  6. 제4 항에 있어서,
    상기 용접 라인 추출부는,
    상기 용접 객체로 선택된 블롭의 경계 라인에 위치한 픽셀들로 정의된 용접 라인을 추출하는, 자동화 용접 장치.
  7. 제1 항에 있어서,
    상기 3D 용접 라인은,
    상기 용접 라인을 이루는 픽셀들의 3 축 좌표 정보를 포함하는, 자동화 용접 장치.
  8. 제1 항에 있어서,
    용접 간격을 정의하는 용접 지시 정보를 획득하는 용접 지시 정보 획득부를 더 포함하며,
    상기 용접 지시 정보 획득부는,
    상기 용접 간격 마다의 용접 좌표를 상기 3D 용접 라인에 기반하여 제공하는, 자동화 용접 장치.
  9. 용접 객체에 대한 raw 이미지를 획득하는 단계;
    상기 raw 이미지를 이루는 픽셀들의 깊이 정보를 획득하는 단계;
    상기 획득된 raw 이미지로부터 용접 라인을 추출하는 단계; 및
    상기 획득된 깊이 정보에 기반하여, 상기 용접 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 용접 라인을 획득하는 단계;를 포함하되,
    상기 용접 라인을 추출하는 단계는,
    상기 raw 이미지를 복수의 단위 셀로 분할하고, 상기 단위 셀 당 독립적인 임계 값을 적용하여, 상기 raw 이미지를 이진화하는 단계;
    상기 이진화된 이미지에서 특정 픽셀을 선택하고, 상기 특정 픽셀과 동일한 그레이 스케일을 가지는 인접 픽셀들을 그룹화하여 블롭들을 검출하는 단계;
    상기 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을 상기 용접 객체에 대한 블롭으로 선택하는 단계; 및
    상기 용접 객체로 선택된 블롭의 경계 라인에 위치한 픽셀들로 정의된 용접 라인을 추출하는 단계;를 포함하는 자동화 용접 장치의 동작 방법.
  10. 제9 항에 있어서,
    상기 raw 이미지를 획득하는 단계 및 상기 깊이 정보를 획득하는 단계는 동시에 수행되는, 자동화 용접 장치의 동작 방법.
  11. 삭제
  12. 제9 항에 있어서,
    용접 간격을 정의하는 용접 지시 정보를 획득하는 단계; 및
    3D 용접 자료를 용접 주체에 제공하는 단계;를 더 포함하는 자동화 용접 장치의 동작 방법.
  13. 제12 항에 있어서,
    상기 용접 지시 정보를 획득하는 단계는,
    상기 용접 간격 마다의 용접 좌표를 상기 3D 용접 라인에 기반하여 제공하는, 자동화 용접 장치의 동작 방법.
  14. 객체에 대한 raw 이미지를 획득하는 단계;
    상기 raw 이미지를 이루는 픽셀들의 깊이 정보를 획득하는 단계;
    상기 획득된 raw 이미지로부터 라인을 추출하는 단계; 및
    상기 획득된 깊이 정보에 기반하여, 상기 라인을 이루는 픽셀들의 깊이 정보가 반영된 3D 라인을 획득하는 단계;를 포함하되,
    상기 라인을 추출하는 단계는,
    상기 raw 이미지를 복수의 단위 셀로 분할하고, 상기 단위 셀 당 독립적인 임계 값을 적용하여, 상기 raw 이미지를 이진화하는 단계;
    상기 이진화된 이미지에서 특정 픽셀을 선택하고, 상기 특정 픽셀과 동일한 그레이 스케일을 가지는 인접 픽셀들을 그룹화하여 블롭들을 검출하는 단계;
    상기 그룹화된 블롭들 중에서, 2 번째로 면적이 큰 블롭을 상기 객체에 대한 블롭으로 선택하는 단계; 및
    상기 객체로 선택된 블롭의 경계 라인에 위치한 픽셀들로 정의된 라인을 추출하는 단계;를 실행하기 위해 매체에 저장되는 프로그램.
KR1020190007440A 2019-01-21 2019-01-21 자동화 용접 장치 및 그의 동작 방법 KR102125167B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190007440A KR102125167B1 (ko) 2019-01-21 2019-01-21 자동화 용접 장치 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190007440A KR102125167B1 (ko) 2019-01-21 2019-01-21 자동화 용접 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR102125167B1 true KR102125167B1 (ko) 2020-06-19

Family

ID=71137447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190007440A KR102125167B1 (ko) 2019-01-21 2019-01-21 자동화 용접 장치 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR102125167B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436162A (zh) * 2021-06-23 2021-09-24 湖南国天电子科技有限公司 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置
KR102312982B1 (ko) * 2020-08-28 2021-10-13 한국로봇융합연구원 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100011585A (ko) * 2008-07-25 2010-02-03 삼성중공업 주식회사 용접선 추적 장치
JP2010519056A (ja) * 2007-02-19 2010-06-03 フラウンホッファー−ゲゼルシャフト ツァー フェーデルング デア アンゲバンテン フォルシュング エー ファー 加工対象物を溶接するロボットを制御する方法および装置
KR20150048627A (ko) * 2013-10-28 2015-05-07 가부시기가이샤 디스코 가공 장치
KR20170141793A (ko) * 2015-11-12 2017-12-26 주식회사 상하이 일렉트릭 뉴클리어 파워 이큅먼트 로봇 용접 시스템 및 그 용접방법
KR20180103467A (ko) * 2017-03-10 2018-09-19 아진산업(주) 3차원 카메라를 이용한 용접 로봇 끝단의 위치 추정 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010519056A (ja) * 2007-02-19 2010-06-03 フラウンホッファー−ゲゼルシャフト ツァー フェーデルング デア アンゲバンテン フォルシュング エー ファー 加工対象物を溶接するロボットを制御する方法および装置
KR20100011585A (ko) * 2008-07-25 2010-02-03 삼성중공업 주식회사 용접선 추적 장치
KR20150048627A (ko) * 2013-10-28 2015-05-07 가부시기가이샤 디스코 가공 장치
KR20170141793A (ko) * 2015-11-12 2017-12-26 주식회사 상하이 일렉트릭 뉴클리어 파워 이큅먼트 로봇 용접 시스템 및 그 용접방법
KR20180103467A (ko) * 2017-03-10 2018-09-19 아진산업(주) 3차원 카메라를 이용한 용접 로봇 끝단의 위치 추정 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102312982B1 (ko) * 2020-08-28 2021-10-13 한국로봇융합연구원 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법
CN113436162A (zh) * 2021-06-23 2021-09-24 湖南国天电子科技有限公司 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置

Similar Documents

Publication Publication Date Title
DE112018000827B4 (de) Inspektionssystem, Steuerungsverfahren und Speichermedium
KR102125167B1 (ko) 자동화 용접 장치 및 그의 동작 방법
EP2370935B1 (en) System and method for three-dimensional alignment of objects using machine vision
CN101966617B (zh) 用于焊接机器人连续运动的激光视觉焊件特征检测方法
US8504191B2 (en) Method for picking up work pieces
US20090070077A1 (en) Three-dimensional model data generating method, and three dimensional model data generating apparatus
CN103759648A (zh) 一种基于激光双目视觉的复杂角焊缝位置检测方法
KR20160127046A (ko) 섀도우 그램 이미지를 이용한 자동화 인라인 검사 및 계측
JP2022514586A (ja) シートプランニング幾何学データを準備するための方法、工作物を切り抜くための方法およびレーザ平床式機械
US7599050B2 (en) Surface defect inspecting method and device
CA3153295C (en) Sampling method and sampling system
JP5438475B2 (ja) 隙間段差計測装置、隙間段差計測方法、及びそのプログラム
CN114240944A (zh) 一种基于点云信息的焊接缺陷检测方法
JPH08271223A (ja) 物体の位置認識装置
CN112296515B (zh) 用于多任务激光焊接的系统和方法
CN103853388B (zh) 一种提高红外触摸屏触摸精度的方法
KR20220069929A (ko) 픽업 로봇, 픽업 방법 및 컴퓨터 판독 가능 저장 매체
JP4817384B2 (ja) 移動物体検出装置及び移動物体検出装置用プログラム
KR20120109420A (ko) 화상 처리 방법 및 화상 처리 장치
JP3223414B2 (ja) 物体形状検出方法および装置並びに自動加工システム
CN115014205A (zh) 塔盘的视觉检测方法、检测系统及其引导自动化焊接系统
JP4453503B2 (ja) 基板検査装置および基板検査方法並びに基板検査装置の検査ロジック生成装置および検査ロジック生成方法
KR102413180B1 (ko) 검사대상물의 3차원 이미지 가공장치 및 이를 이용한 불량품 선별 장치
KR20230139164A (ko) 목재 및 목재 제품 표면의 결함검출방법
CN108262583B (zh) 焊缝的类型判断和定位方法及系统

Legal Events

Date Code Title Description
GRNT Written decision to grant