KR102312982B1 - 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법 - Google Patents

비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR102312982B1
KR102312982B1 KR1020200109629A KR20200109629A KR102312982B1 KR 102312982 B1 KR102312982 B1 KR 102312982B1 KR 1020200109629 A KR1020200109629 A KR 1020200109629A KR 20200109629 A KR20200109629 A KR 20200109629A KR 102312982 B1 KR102312982 B1 KR 102312982B1
Authority
KR
South Korea
Prior art keywords
laser sensor
camera
video camera
recognizing
area
Prior art date
Application number
KR1020200109629A
Other languages
English (en)
Inventor
권용섭
이만기
배종호
정구봉
김정준
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020200109629A priority Critical patent/KR102312982B1/ko
Application granted granted Critical
Publication of KR102312982B1 publication Critical patent/KR102312982B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • H04N5/225—

Abstract

상호 소정 간격 이격되어 배치되며 서로 지향하는 방향이 수평을 이루도록 배치되는 2개의 정렬용 레이저센서와, 지향하는 방향이 상기 2개의 정렬용 레이저센서와 수평을 이루면서 상기 2개의 레이저센서의 사이에 배치되어 상기 2개의 정렬용 레이저센서와 함께 삼각형의 배치를 이루는 레이저센서와, 상기 삼각형의 배치의 내부에 배치되며, 상기 거리측정용 레이저센서가 지향하는 방향과 수평한 방향을 지향하는 영상카메라와, 상기 삼각형의 배치의 내부에 배치되며, 상기 거리측정용 레이저센서가 지향하는 방향과 수평한 방향을 지향하는 뎁스카메라를 포함하는 비전 센싱 장치를 제공한다.

Description

비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법{Apparatus for recognizing welding target area based on vision sensing and method therefor}
본 발명은 용접 대상 영역을 인식 기술에 관한 것으로, 보다 상세하게는, 매니퓰레이터 등을 이용하여 비정형 셀 내부의 대상물을 자동으로 용접할 때, 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법에 관한 것이다.
금속 용접은 금속을 가열한 뒤 접합부를 만드는 기술이다. 오랜 시간 동안 제조업 부문에서 매우 중요한 기술로 자리 잡았다. 그런데 이제 용접 기술이 로봇 시스템의 도입으로 새롭게 진보했다. 로봇은 더 정확하고 신속하게 효율적인 용접 작업을 완료할 수 있다. 하지만, 이러한 로봇에 의한 용접은 정형화된 형상 및 루틴으로 이루어진 작업에만 적용되어 있을 뿐이다.
한국공개특허 제2018-0053482호 2018년 05월 23일 공개 (명칭: 로봇 머니퓰레이터 제어 방법)
정형화 되지 않은 인식 대상물을 스스로 인식하는 비전 센싱을 기초로 용접 대상 영역을 인식하고, 이러한 인식 기반으로 매뉴플레이트를 통해 자동으로 용접을 수행하도록 하는 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치는 인식 대상에 대한 2차원 영상을 촬영하는 영상카메라 및 상기 영상카메라와 평행하게 배치되며 상기 인식 대상에 대한 3차원 영상을 촬영하는 뎁스카메라를 포함하는 카메라부와, 상기 3차원 영상을 이용하여 상기 인식 대상 중 ROI를 도출하고, 상기 2차원 영상에서 상기 ROI에 속하는 영역 내에서 특징점을 추출하여 상기 인식 대상에서 용접 대상 영역을 특정하는 제어부를 포함한다.
상기 제어부는 상기 3차원 영상의 복수의 픽셀의 뎁스값으로부터 서로 이웃하는 2 이상의 픽셀 간의 뎁스값이 기 설정된 수치 이상 차이가 있는 복수의 픽셀을 식별하여 ROI로 선정하는 것을 특징으로 한다.
상기 장치는 상기 영상카메라 및 상기 뎁스카메라를 사이에 두고 상호 소정 간격 이격되고, 상기 영상카메라 및 상기 뎁스카메라와 수평하게 배치되는 제1 레이저센서와 제2 레이저센서와, 상기 제1 레이저센서 및 상기 제2 레이저센서 각각과 동일한 간격 이격되면서 상기 제1 레이저센서 및 상기 제2 레이저센서의 상부에 배치되는 제3 레이저센서를 포함하는 레이저센서부를 더 포함한다.
상기 제어부는 상기 제1 레이저센서, 상기 제2 레이저센서 및 상기 제3 레이저센서 각각을 통해 상기 영상카메라의 초점과 인식 대상의 표면의 복수의 점과의 거리를 도출하고, 상기 복수의 점과의 거리에 따라 가장 넓은 면적을 가지는 수평면을 상기 인식 대상의 기준 평면으로 특정하고, 특정된 기준 평면에 따라 상기 영상카메라를 상기 기준 평면과 수평하게 정렬하는 것을 특징으로 한다.
상기 제어부는 상기 레이저센서부를 통해 상기 특정된 용접 대상 영역과 상기 영상카메라의 초점과의 거리를 측정하고, 상기 측정된 거리에 따라 상기 용접 대상 영역을 나타내는 픽셀 좌표계에 따른 2차원 좌표를 로봇 좌표계에 따른 3차원 좌표로 변환하는 것을 특징으로 한다.
상기 장치는 상기 영상카메라의 상하좌우에 배치되어 상기 영상카메라가 지향하는 방향과 동일한 방향을 조명하는 복수의 조명을 포함하는 조명부를 더 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 방법은 카메라부가 영상카메라를 통해 인식 대상에 대한 2차원 영상을 촬영하고 뎁스카메라를 통해 상기 인식 대상에 대한 3차원 영상을 촬영하는 단계와, 제어부가 상기 3차원 영상을 이용하여 상기 인식 대상 중 ROI를 도출하는 단계와, 제어부가 상기 2차원 영상에서 상기 ROI에 속하는 영역 내에서 특징점을 추출하여 상기 인식 대상에서 용접 대상 영역을 특정하는 단계를 포함한다.
상기 ROI를 도출하는 단계는 상기 제어부가 상기 3차원 영상의 복수의 픽셀의 뎁스값으로부터 서로 이웃하는 2 이상의 픽셀 간의 뎁스값이 기 설정된 수치 이상 차이가 있는 복수의 픽셀을 식별하여 ROI로 선정하는 것을 특징으로 한다.
상기 방법은 상기 촬영하는 단계 전, 제어부가 제1 레이저센서, 제2 레이저센서 및 제3 레이저센서 각각을 통해 상기 영상카메라의 초점과 인식 대상의 표면의 복수의 점과의 거리를 도출하는 단계와, 상기 제어부가 상기 복수의 점과의 거리에 따라 가장 넓은 면적을 가지는 수평면을 상기 인식 대상의 기준 평면으로 특정하는 단계와, 상기 특정된 기준 평면에 따라 상기 영상카메라를 상기 기준 평면과 수평하게 정렬하는 단계를 더 포함한다.
상기 방법은 상기 용접 대상 영역을 특정하는 단계 후, 상기 제어부가 제1 레이저센서, 제2 레이저센서 및 제3 레이저센서를 통해 상기 특정된 용접 대상 영역과 상기 영상카메라의 초점과의 거리를 측정하는 단계와, 상기 제어부가 상기 용접 대상 영역의 픽셀 좌표를 상기 측정된 거리에 따라 상기 특정된 용접 대상 영역의 2차원의 픽셀 좌표를 로봇 좌표계로 변환하는 단계를 더 포함한다.
본 발명에 따르면, 정형화 되지 않은 인식 대상물을 스스로 인식할 수 있고, 이를 통해 용접 대상 영역을 특정할 수 있어, 정형화되지 않은 구조물에서도 매뉴플레이트를 이용한 자동 용접을 수행할 수 있다.
도 1은 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치의 외형의 일부를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 방법을 설명하기 위한 화면 예이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치의 외형의 일부를 설명하기 위한 도면이다. 그리고 도 2는 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치(10: 이하, '인식장치'로 축약함)는 카메라부(100), 레이저센서부(200), 조명부(300), 이송부(400), 매니퓰레이터(500), 저장부(600) 및 제어부(700)를 포함한다.
카메라부(100)는 영상카메라(110) 및 뎁스카메라(120)를 포함한다. 이러한 영상카메라(110) 및 뎁스카메라(120)는 상호 간에 평행하게 배치된다.
영상카메라(110)는 인식 대상에 대한 2차원 영상을 촬영하기 위한 것이다. 영상카메라(110)는 이미지 센서를 포함한다. 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 영상카메라(110)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 제어부(700)로 출력할 수 있다.
뎁스카메라(120)는 인식 대상에 대해 3차원 영상을 촬영한다. 즉, 뎁스카메라(120)는 각 픽셀에 대한 깊이 정보, 즉, 뎁스값을 제공한다.
뎁스카메라(120)는 비접촉 방식으로 영상의 각 픽셀의 3차원 좌표를 획득하기 위한 센서이다. 뎁스카메라(120)는 소정의 기준점(예컨대, 초점)으로부터 촬영한 객체까지의 실제 거리를 측정하여 촬영한 영상의 각 픽셀의 깊이 정보를 생성한다. 이러한 깊이 정보를 뎁스값이라고 칭하기로 한다.
뎁스카메라(120)는 레이저, 적외선, 가시광 등을 이용하는 다양한 방식의 센서를 이용할 수 있다. 뎁스카메라(120)는 TOP(Time of Flight), 위상변위(Phase-shift) 및 Online Waveform Analysis 중 어느 하나를 이용하는 레이저 방식 3차원 스캐너, 광 삼각법을 이용하는 레이저 방식 3차원 스캐너, 백색광 혹은 변조광을 이용하는 광학방식 3차원 스캐너, Handheld Real Time 방식의 PHOTO, 광학방식 3차원 스캐너, Pattern Projection 혹은 Line Scanning을 이용하는 광학방식, 레이저 방식 전신 스캐너, 사진 측량(Photogrammetry)을 이용하는 사진방식 스캐너, 키네틱(Kinect Fusion)을 이용하는 실시간(Real Time) 스캐너 등을 예시할 수 있다.
레이저센서부(200)는 거리를 측정하기 위한 3개의 레이저센서, 즉, 제1 레이저센서(210), 제2 레이저센서(220) 및 제3 레이저센서(230)를 포함한다. 제1 레이저센서(210)와 제2 레이저센서(220)는 영상카메라(110) 및 뎁스카메라(120)를 사이에 두고 상호 소정 간격 이격되면서, 영상카메라(110) 및 뎁스카메라(120)와 수평하게 배치된다. 제3 레이저센서(230)는 제1 레이저센서(210)와 제2 레이저센서(220) 각각과 동일한 간격 이격되면서 제1 레이저센서(210)와 제2 레이저센서(220)의 상부에 배치된다. 이에 따라, 제1 레이저센서(210), 제2 레이저센서(220) 및 제3 레이저센서(230)는 삼각 구도로 배치된다.
조명부(300)는 복수의 조명, 예컨대, 제1 조명(310), 제2 조명(320), 제3 조명(330) 및 제4 조명(340)을 포함한다. 조명부(300)의 복수의 조명(310, 320, 330, 340)은 기본적으로, 영상카메라(110)의 상하좌우에 배치된다. 그리고 복수의 조명(310, 320, 330, 340) 모두는 영상카메라(110)의 광축과 평행하고, 영상카메라(110)의 렌즈가 지향하는 방향과 동일한 방향을 조명한다.
이송부(400)는 인식장치(R)를 이동시키기 위한 것이다. 이러한 인송부(400)는 제어부(700)의 제어에 따라 인식장치(R)를 특정 위치로 이동시킬 수 있다. 이러한 이송부(400)는 정해진 경로를 이동하는 레일 형태로 형성될 수도 있고, 정규 경로 없이 자유도 높은 이동을 위해 바퀴, 무한궤도장치(Caterpillar) 등으로 형성될 수도 있다.
매니퓰레이터(500)는 기본적으로 인간의 팔과 유사한 형상으로 형성되며, 기억장치가 있고 물체를 잡을 수 있는 선단부가 달린 팔의 신축, 선회, 상하 이동 등의 동작을 자동적으로 행하는 장치이다. 매니퓰레이터(500)의 말단은 용접에 특화된 그리퍼(Gripper) 혹은 엔드이펙터(End-Effector)로 형성된다. 매니퓰레이터(500)는 제어부(700)에 의해 제어될 수 있다.
저장부(600)는 인식장치(R)의 동작에 필요한 각 종 데이터, 애플리케이션, 인식장치(R)의 동작에 따라 구성되는 각 종 데이터를 저장하는 역할을 수행한다. 이러한 저장부(600)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 프로그램 영역은 인식장치(R)의 부팅(booting) 및 운영(operation)을 위한 운영체제(OS, Operating System), 본 발명의 실시예에 따른 ROI 및 용접 대상 영역을 검출하기 위한 애플리케이션 등을 저장할 수 있다. 데이터 영역에는 특정한 인식 대상의 기준 평면에 대한 정보 등 본 발명의 실시예에 따라 필요한 각 종 데이터를 저장할 수 있다. 저장부(600)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.
제어부(700)는 인식장치(R)의 전반적인 동작 및 인식장치(R)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(700)는 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 또한, 제어부(700)는 추가로 이미지 프로세서(Image processor) 혹은 GPU(Graphic Processing Unit)를 더 구비할 수 있다.
제어부(700)는 레이저센서부(200)의 제1 레이저센서(210), 제2 레이저센서(220) 및 제3 레이저센서(230) 각각을 통해 영상카메라(110)의 초점과 인식 대상의 표면의 복수의 점과의 거리를 도출할 수 있다. 그런 다음, 제어부(700)는 복수의 점과의 거리에 따라 가장 넓은 면적을 가지는 수평면을 인식 대상의 기준 평면으로 특정할 수 있다. 그리고 제어부(700)는 특정된 기준 평면에 따라 영상카메라(110)를 기준 평면과 수평하게 정렬한다. 이는 제어부(700)가 영상카메라(110)의 광축(optical axis)이 기준 평면에 수평하게 정렬되도록 영상카메라(110)를 제어하는 것을 의미한다.
또한, 제어부(700)는 레이저센서부(200)의 복수의 레이저센서(210, 220, 230)를 통해 인식 대상의 표면 중 가장 가까운 점과 가장 멀리 있는 점을 특정할 수 있다. 그러면, 제어부(700)는 가장 가까운 점과 가장 멀리 있는 점 양자 모두가 매니퓰레이터(500)의 작업 범위 내에 위치하도록 이송부(400)를 통해 인식장치(R)를 이동시킨다.
특히, 제어부(700)는 카메라부(100)의 뎁스카메라(120)가 촬영한 3차원 영상을 이용하여 인식 대상 중 ROI(Region Of Interest)를 도출한다. 이때, 제어부(700)는 뎁스카메라(120)가 촬영한 3차원 영상의 복수의 픽셀의 뎁스값으로부터 서로 이웃하는 2 이상의 픽셀 간의 뎁스값이 기 설정된 수치 이상 차이가 있는 복수의 픽셀을 식별하여 ROI로 선정할 수 있다. 그러면, 제어부(700)는 영상카메라(110)가 촬영한 2차원 영상에서 ROI에 속하지 않는 영역을 제외하고, 2차원 영상에서 ROI에 속하는 영역 내에서 특징점을 추출하여 인식 대상에서 용접 대상 영역을 특정할 수 있다. 이와 같이, 본 발명에 따르면, ROI를 통해 영역을 구분하고, ROI가 아닌 영역에 대해서는 이미지 프로세싱 절차, 즉, 특징점 추출 절차를 생략할 수 있어, 용접 대상 영역을 특정하는 시간을 단축할 수 있다.
전술한 바와 같이, 용접 대상 영역을 특정한 후, 제어부(700)는 레이저센서부(200)의 복수의 레이저센서(210, 220, 230)를 통해 특정된 용접 대상 영역과 영상카메라(110)의 초점과의 거리를 측정할 수 있다. 그런 다음, 제어부(700)는 용접 대상 영역과 영상카메라(110)의 초점과의 거리에 따라 픽셀 좌표계에 따라 용접 대상 영역을 나타내는 2차원 좌표를 로봇 좌표계에 따른 3차원 좌표로 변환할 수 있다. 이에 따라, 제어부(700)는 로봇 좌표계에 따라 용접 대상 영역을 나타내는 3차원 좌표를 이용하여 매니퓰레이터(500)를 제어하여 용접 대상 영역을 용접할 수 있다.
다음으로, 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 방법을 설명하기 위한 흐름도이다. 도 4는 본 발명의 실시예에 따른 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 방법을 설명하기 위한 화면 예이다.
도 2를 참조하면, S110 단계에서 인식 대상의 전면에 인식장치(R)가 배치되면, 제어부(700)는 S120 단계에서 레이저센서부(200)의 3개의 레이저센서(210, 220, 230)를 이용하여 인식 대상의 기준 평면(P)을 특정하고, 특정된 기준 평면(P)과 카메라부(100)의 영상카메라(110)가 수평하게 정렬되도록 되도록 영상카메라(110)를 조절한다. 1개 또는 2개의 레이저센서만 사용하는 경우, 인식 대상에 존재하는 평면의 3차원 적인 기울기를 판별할 수 없다. 따라서 본 발명은 3개의 레이저 센서를 적용하여 인식 대상의 기준 평면(P)을 검출하고, 이를 기초로 영상카메라를 수평하게 정렬할 수 있다. 이러한 S120 단계에 대해 보다 상세하게 설명하면 다음과 같다. 먼저, 제어부(700)는 레이저센서부(200)의 3개의 레이저센서, 즉, 제1 레이저센서(210), 제2 레이저센서(220) 및 제3 레이저센서(230) 각각을 통해 카메라부(100)의 영상카메라(110)의 초점과 인식 대상의 표면의 복수의 점과의 거리를 도출한다. 그런 다음, 제어부(700)는 영상카메라(110)의 초점과 인식 대상의 표면의 복수의 점과의 거리에 따라 가장 넓은 면적을 가지는 수평면을 상기 인식 대상의 기준 평면(P)으로 특정한다. 이어서, 제어부(700)는 특정된 기준 평면(P)에 대해 영상카메라(110)가 수평하게 되도록 영상카메라(110)를 조절한다. 즉, 제어부(700)는 영상카메라(110)의 광축(optical axis)이 기준 평면(P)에 수평하게 정렬되도록 영상카메라(110)를 제어한다.
다음으로, 제어부(700)는 S130 단계에서 레이저센서부(200)를 통해 인식 대상 표면 중 가장 가까운 점과 가장 멀리 있는 점을 특정하고, 가장 가까운 점과 가장 멀리 있는 점 양자 모두가 매니퓰레이터(500)의 작업 범위 내에 위치하도록 이송부(400)를 통해 인식장치(R)를 이동시킨다.
다음으로, 제어부(700)는 S140 단계에서 카메라부(100)의 영상카메라(110)를 통해 인식 대상에 대한 2차원 영상을 촬영하고, S150 단계에서 카메라부(100)의 뎁스카메라(120)를 통해 인식 대상에 대한 3차원 영상을 촬영한다.
그런 다음, 제어부(700)는 S160 단계에서 뎁스카메라(120)를 통해 촬영된 3차원 영상을 이용하여 인식 대상에서 ROI(Region Of Interest)를 도출한다. 이러한 S150 단계에 대해 보다 상세하게 설명하면 다음과 같다. 먼저, 제어부(700)는 뎁스카메라(120)를 통해 촬영된 3차원 영상의 복수의 픽셀의 뎁스값을 추출한다. 그런 다음, 제어부(700)는 서로 이웃하는 2 이상의 픽셀 간의 뎁스값이 기 설정된 수치 이상 차이가 있는 복수의 픽셀을 식별한다. 이어서, 제어부(700)는 식별된 복수의 픽셀의 집합을 ROI로 선정한다. 인식 대상에서 2개의 판이 겹치거나, 이격되거나, 홀이 발생한 영역은 서로 이웃하는 2 이상의 픽셀 간의 뎁스값이 소정 수치 이상 차이가 발생한다. 따라서 본 발명은 이러한 영역에 대한 뎁스값을 분석하여 ROI 영역을 선정한다.
이어서, 제어부(700)는 S170 단계에서 2차원 영상에서 앞서 추출된 ROI에 속하는 영역 내에서 특징점을 추출하고, 추출된 특징점이 차지하는 영역을 인식 대상에서 용접 대상 영역(W)으로 특정한다. 이와 같이, 본 발명은 ROI를 특정하고, ROI 이외의 영역을 제외하고, ROI 내에서만 특징점을 추출하는 영상 처리를 수행하기 때문에 연산 부하 및 연산 속도가 개선된다.
다음으로, 제어부(700)는 S180 단계에서 앞서 특정된 용접 대상 영역의 2차원의 픽셀 좌표를 로봇 좌표계에 따른 3차원 좌표로 변환한다. 보다 상세하게 설명하면, 제어부(700)는 레이저센서부(200)의 복수의 레이저센서, 즉, 제1 레이저센서(210), 제2 레이저센서(220) 및 제3 레이저센서(230)를 통해 용접 대상 영역과 영상카메라(110)의 초점과의 거리를 측정한다. 그런 다음, 제어부(700)는 측정된 용접 대상 영역과 영상카메라(110)의 초점과의 거리에 따라 용접 대상 영역을 나타내는 픽셀 좌표계에 따른 2차원 좌표를 로봇 좌표계에 따른 3차원 좌표로 변환한다.
그런 다음, 제어부(700)는 S190 단계에서 로봇 좌표계에 따라 용접 대상 영역을 나타내는 3차원 좌표를 이용하여 매니퓰레이터(500)를 제어하여 용접 대상 영역을 용접할 수 있다.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 영상카메라
20: 뎁스카메라
30: 카메라케이스
40: 정렬용 레이저센서
50: 조명
60: 거리측정용 레이저센서
70: 프레임
80: 매니퓰레이터
90: 제어부

Claims (10)

  1. 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치에 있어서,
    인식 대상에 대한 2차원 영상을 촬영하는 영상카메라 및 상기 영상카메라와 평행하게 배치되며 상기 인식 대상에 대한 3차원 영상을 촬영하는 뎁스카메라를 포함하는 카메라부; 및
    상기 3차원 영상을 이용하여 상기 인식 대상 중 ROI를 도출하고, 상기 2차원 영상에서 상기 ROI에 속하는 영역 내에서 특징점을 추출하여 상기 인식 대상에서 용접 대상 영역을 특정하는 제어부;
    를 포함하며,
    상기 제어부는
    상기 3차원 영상의 복수의 픽셀의 뎁스값으로부터 서로 이웃하는 2 이상의 픽셀 간의 뎁스값이 기 설정된 수치 이상 차이가 있는 복수의 픽셀을 식별하여 ROI로 선정하며,
    상기 장치는
    상기 영상카메라 및 상기 뎁스카메라를 사이에 두고 상호 소정 간격 이격되고, 상기 영상카메라 및 상기 뎁스카메라와 수평하게 배치되는 제1 레이저센서와 제2 레이저센서와,
    상기 제1 레이저센서 및 상기 제2 레이저센서 각각과 동일한 간격 이격되면서 상기 제1 레이저센서 및 상기 제2 레이저센서의 상부에 배치되는 제3 레이저센서를 포함하는
    레이저센서부;
    를 더 포함하는 것을 특징으로 하는
    용접 대상 영역을 인식하기 위한 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는
    상기 제1 레이저센서, 상기 제2 레이저센서 및 상기 제3 레이저센서 각각을 통해 상기 영상카메라의 초점과 인식 대상의 표면의 복수의 점과의 거리를 도출하고,
    상기 복수의 점과의 거리에 따라 가장 넓은 면적을 가지는 수평면을 상기 인식 대상의 기준 평면으로 특정하고,
    특정된 기준 평면에 따라 상기 영상카메라를 상기 기준 평면과 수평하게 정렬하는 것을 특징으로 하는
    용접 대상 영역을 인식하기 위한 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 레이저센서부를 통해 상기 특정된 용접 대상 영역과 상기 영상카메라의 초점과의 거리를 측정하고,
    상기 측정된 거리에 따라 상기 용접 대상 영역을 나타내는 픽셀 좌표계에 따른 2차원 좌표를 로봇 좌표계에 따른 3차원 좌표로 변환하는 것을 특징으로 하는
    용접 대상 영역을 인식하기 위한 장치.
  6. 제1항에 있어서,
    상기 장치는
    상기 영상카메라의 상하좌우에 배치되어 상기 영상카메라가 지향하는 방향과 동일한 방향을 조명하는 복수의 조명을 포함하는 조명부;
    를 더 포함하는 것을 특징으로 하는
    용접 대상 영역을 인식하기 위한 장치.
  7. 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 방법에 있어서,
    카메라부가 영상카메라를 통해 인식 대상에 대한 2차원 영상을 촬영하고 뎁스카메라를 통해 상기 인식 대상에 대한 3차원 영상을 촬영하는 단계;
    제어부가 상기 3차원 영상을 이용하여 상기 인식 대상 중 ROI를 도출하는 단계; 및
    제어부가 상기 2차원 영상에서 상기 ROI에 속하는 영역 내에서 특징점을 추출하여 상기 인식 대상에서 용접 대상 영역을 특정하는 단계;
    를 포함하며,
    상기 ROI를 도출하는 단계는
    상기 제어부가
    상기 3차원 영상의 복수의 픽셀의 뎁스값으로부터 서로 이웃하는 2 이상의 픽셀 간의 뎁스값이 기 설정된 수치 이상 차이가 있는 복수의 픽셀을 식별하여 ROI로 선정하며,
    상기 방법은
    상기 촬영하는 단계 전,
    제어부가 제1 레이저센서, 제2 레이저센서 및 제3 레이저센서 각각을 통해 상기 영상카메라의 초점과 인식 대상의 표면의 복수의 점과의 거리를 도출하는 단계;
    상기 제어부가 상기 복수의 점과의 거리에 따라 가장 넓은 면적을 가지는 수평면을 상기 인식 대상의 기준 평면으로 특정하는 단계; 및
    상기 제어부가 상기 특정된 기준 평면에 따라 상기 영상카메라를 상기 기준 평면과 수평하게 정렬하는 단계;
    를 더 포함하는 것을 특징으로 하는
    용접 대상 영역을 인식하기 위한 방법.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 용접 대상 영역을 특정하는 단계 후,
    상기 제어부가 제1 레이저센서, 제2 레이저센서 및 제3 레이저센서를 통해 상기 특정된 용접 대상 영역과 상기 영상카메라의 초점과의 거리를 측정하는 단계; 및
    상기 제어부가 상기 용접 대상 영역의 픽셀 좌표를 상기 측정된 거리에 따라 상기 특정된 용접 대상 영역의 2차원의 픽셀 좌표를 로봇 좌표계로 변환하는 단계;
    를 더 포함하는 것을 특징으로 하는
    용접 대상 영역을 인식하기 위한 방법.
KR1020200109629A 2020-08-28 2020-08-28 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법 KR102312982B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200109629A KR102312982B1 (ko) 2020-08-28 2020-08-28 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109629A KR102312982B1 (ko) 2020-08-28 2020-08-28 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법

Publications (1)

Publication Number Publication Date
KR102312982B1 true KR102312982B1 (ko) 2021-10-13

Family

ID=78115012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109629A KR102312982B1 (ko) 2020-08-28 2020-08-28 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR102312982B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010184278A (ja) * 2009-02-13 2010-08-26 Kobe Steel Ltd 溶接線選定方法
KR20180053482A (ko) 2016-11-11 2018-05-23 고려대학교 산학협력단 로봇 머니퓰레이터 제어 방법
KR102125167B1 (ko) * 2019-01-21 2020-06-19 한양대학교 에리카산학협력단 자동화 용접 장치 및 그의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010184278A (ja) * 2009-02-13 2010-08-26 Kobe Steel Ltd 溶接線選定方法
KR20180053482A (ko) 2016-11-11 2018-05-23 고려대학교 산학협력단 로봇 머니퓰레이터 제어 방법
KR102125167B1 (ko) * 2019-01-21 2020-06-19 한양대학교 에리카산학협력단 자동화 용접 장치 및 그의 동작 방법

Similar Documents

Publication Publication Date Title
JP5911934B2 (ja) 輪郭線計測装置およびロボットシステム
EP1985416B1 (en) Mobile robot
US10805546B2 (en) Image processing system, image processing device, and image processing program
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN110136208A (zh) 一种机器人视觉伺服系统的联合自动标定方法及装置
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
KR20120053275A (ko) 3차원 얼굴 위치 추정방법 및 장치
JP6988704B2 (ja) センサ制御装置、物体探索システム、物体探索方法及びプログラム
KR100657915B1 (ko) 코너 검출 방법 및 코너 검출 장치
CN113674345A (zh) 一种二维像素级三维定位系统及定位方法
JP2014188617A (ja) ロボット制御システム、ロボット、ロボット制御方法及びプログラム
JP5609760B2 (ja) ロボット、ロボットの動作方法、及びプログラム
JP2004239791A (ja) ズームによる位置計測方法
KR102312982B1 (ko) 비전 센싱을 기초로 용접 대상 영역을 인식하기 위한 장치 및 이를 위한 방법
JP5336325B2 (ja) 画像処理方法
KR20170142379A (ko) 영상처리를 이용한 용접로봇의 용접선 인식장치
Rodrigues et al. Structured light techniques for 3D surface reconstruction in robotic tasks
JP7365567B2 (ja) 計測システム、計測装置、計測方法及び計測プログラム
JP6847442B2 (ja) 物体追跡装置、物体追跡方法、及び物体追跡プログラム
JP2005205519A (ja) ロボットハンド装置
JP2686685B2 (ja) ロボットによる物体操作のための能動的カメラ探索装置
KR101734962B1 (ko) 로봇의 위치 인식 장치 및 방법
JP2021074799A (ja) 制御装置、その制御方法、及び制御システム
TWI776694B (zh) 自動化機械手臂系統與機械手臂與其電腦視覺之間的協調方法
JP7263501B2 (ja) 自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant