KR101010781B1 - 비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된기록매체 - Google Patents
비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된기록매체 Download PDFInfo
- Publication number
- KR101010781B1 KR101010781B1 KR1020080054214A KR20080054214A KR101010781B1 KR 101010781 B1 KR101010781 B1 KR 101010781B1 KR 1020080054214 A KR1020080054214 A KR 1020080054214A KR 20080054214 A KR20080054214 A KR 20080054214A KR 101010781 B1 KR101010781 B1 KR 101010781B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor system
- image
- rotation stage
- contact
- welding
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000007613 environmental effect Effects 0.000 title claims abstract description 18
- 238000004590 computer program Methods 0.000 title claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 22
- 230000001678 irradiating effect Effects 0.000 claims abstract description 8
- 238000000513 principal component analysis Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000000691 measurement method Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000003702 image correction Methods 0.000 claims description 4
- 238000003466 welding Methods 0.000 abstract description 61
- 238000010422 painting Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007591 painting process Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- HSFWRNGVRCDJHI-UHFFFAOYSA-N Acetylene Chemical compound C#C HSFWRNGVRCDJHI-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2531—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 개시된 비접촉 환경 계측 장치는 레이저 슬릿광을 발생시켜 피 측정부재에 수직방향으로 조사하는 레이저 발생기, 레이저 발생기에 의해 레이저 슬릿광이 수직방향으로 조사된 피 측정부재의 영상을 스테레오 비전(stereo vision) 방식으로 획득하는 복수의 카메라를 포함하는 제 1 센서 시스템과, 제 1 센서 시스템을 지지하면서 회전시켜서 제 1 센서 시스템에 의한 전방향 스캔이 가능하게 하는 로테이션 스테이지를 포함하며, 레이저 슬릿광을 수직방향으로 조사하여 장애물을 인식하는 센서 시스템을 구비하고, 이 센서 시스템을 지지하면서 회전시켜서 센서 시스템에 의한 전방향 스캔이 가능하게 하는 로테이션 스테이지를 포함하는 비접촉 환경 계측 장치를 제공함으로써, 용접 로봇이나 도장 로봇 등과 같은 외부장치의 도움 없이 자체적으로 전방향에 대한 스캔이 가능한 이점이 있다.
비접촉 환경 계측, 스테레오 비전, 전방향 스캔
Description
본 발명은 비접촉 환경 계측 장치에 관한 것으로, 더욱 상세하게는 선박 조립공정 중의 폐쇄 블록 환경에서 장애물을 인식하도록 배치할 수 있는 비접촉 환경 계측 장치와 그 계측 방법 및 이러한 비접촉 환경 계측 방법을 수행할 수 있는 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.
로봇 응용 기술과 공정 제어 기술의 발달은 선박 건조 공정에서의 자동화를 급속도로 진행시키고 있다. 높은 인건비와 작업자가 겪게 되는 열악한 작업환경문제를 해결하고, 생산량 증대와 품질 향상을 위해 선박 건조 공정에서의 도장 공정의 자동화는 필수이다. 선박 건조에 있어서 도장 공정 자동화의 역할은 로봇기술을 이용한 생산 자동화 라인에서 선박 구조물의 중간 조립체를 제작하는 것이다. 중간 조립체 제작 공정은 향후에 선박의 외벽을 구성하게 되는 철판재로 이루어진 구조물을 제작하는 공정으로서, 첫 번째 단계인 개방 블록(open block) 공정과 두 번째 단계인 폐쇄 블록(closed block) 공정으로 구분된다. 도장 자동화에 대한 필요성의 증대와 함께 다수의 연구자들이 이 분야의 로봇 도장에 대해 연구를 수행해 오고 있다.
이와 같은 로봇 도장과의 관련성이 매우 높은 로봇 용접에 관련한 종래 기술을 살펴보면 아래와 같다. 이러한 종래 로봇 용접 기술의 이해로부터 종래의 로봇 도장 기술을 유추할 수 있다. 이는 로봇 용접 기술과 로봇 도장 기술을 비교하여 보면 로봇 제어 기술에 있어서는 공유하는 측면이 많기 때문이다.
개방 블록 용접의 경우, 대형 XYZ 위치 결정기구와 다축 로봇으로 구성되는 갠트리형(Gantry type) 용접 로봇 시스템과 소형 이동 로봇으로 다축 용접 로봇을 이송시키는 형태의 이동 용접 로봇 시스템이 현재 개발되어 실제 현장에 적용되고 있다. 개방 블록의 용접은 용접 구조물의 상판이 없기 때문에, 갠트리형 로봇의 접근이나 소형 이동 로봇의 투입이 상대적으로 쉽다. 하지만, 기 개발된 로봇 시스템은 자율성이 없어 CAD 정보에 대한 실제 환경의 변화에 전혀 적응하지 못하며 잘 정리되고 단순한 작업에 한하여 적용이 되고 있다. 더구나, 이러한 개방 블록 용접의 자동화 현황에 비하여 폐쇄 블록 용접에 대한 연구와 개발은 상대적으로 부족한 상황이다. 폐쇄 블록 용접의 경우, 특히 작업 환경이 협소한 밀폐 공간이므로 해로운 용접 가스와 어두운 작업환경 때문에 작업자가 작업을 수행하기에 많은 어려움을 겪고 있다. 최근 이러한 요구에 부응하여 폐쇄형 블록 용접 공정의 자동화에 대한 연구가 선박 선진국인 덴마크, 스페인, 일본 등을 중심으로 진행되고 있다.
도 1은 종래의 선박 중간조립공정의 폐쇄 블록내부와 이동로봇의 주행경로를 나타내는 도면이다.
도시된 바와 같이, 하나의 폐쇄 블록은 플로어(Floor : 1)와 거더(Girder : 2)로 불리는 대형 철판재가 양쪽 벽면, 그리고 베이스 패널(Base panel : 3)이 바닥과 천장을 구성하는 공간이다. 내부는 론지(Longi : 4)라 불리는 가로막들에 의해 다시 길고 폭이 좁은 사각 공간으로 나뉘어져 있고, 여러 목적을 위한 파이프 라인(Pipe Line : 5)들이 설치되어 있다. 이러한 블록은 플로어 홀(Floor Hole : 6)이나 거더 홀(Girder Hole : 7)로 서로 연결되어 있으며 수동 용접 작업동안 작업자는 이 구멍을 통하여 작업공간을 드나들게 된다. 작업 환경이 플로어(1)와 거더(2)로 거의 밀폐된 공간이므로 용접 작업동안 발생하는 용접 연기를 배출하는 것이 쉽지 않으며 작업자의 원활한 작업이 가능하도록 환풍기가 별도 설치된다. 폐쇄 블록 내에서의 수작업 용접이 로봇 용접으로 자동화 될 때 가능한 이동 로봇의 작업 경로 예가 그림에 도시되어 있다. 용접 로봇(8)은 주행 경로상에 있는 론지(4)를 건너갈 수 있는 기능이 필수적이다. 한 블록 내에서 작업을 마치고 난 후, 용접 로봇(8)은 플로어 홀(6)을 통해 다음 블록으로 이동하게 된다. 용접 로봇(8)이 주행하는 폐쇄 블록의 환경은 대부분 판재 구조물로 이루어진 평면 조합 환경이다. 이러한 환경 하에서 용접 로봇(8)이 구조물을 가로질러 주행을 하고 장애물을 피해 작업공간에 접근하고 작업공간 내에서 정확한 용접선을 찾아내어 용접을 수행한다는 것은 고도의 기술이 필요한 작업이다. 용접 로봇(8)은 최종 용접 작업 지점에 도착하기 위해 주행 경로상이나 용접을 위한 로봇 팔의 경로상에 있는 장애물을 인식하고 회피할 수 있는 능력을 가지고 있어야만 한다. 이를 위해, 용접 로봇(8)이 용접선과 작업 환경을 인식할 수 있도록 광 삼각법의 원리를 기초로 레이저 구조광(structured light)을 이용하는 센서 시스템이 개발되어 오고 있다.
도 2는 종래 기술에 따른 폐쇄 블록 용접 로봇 시스템의 사시도이다.
이에 나타낸 바와 같이 종래 기술에 따른 용접 로봇 시스템은, 용접 작업을 수행하는 다축 용접 로봇(10), 용접 로봇(10)을 원하는 위치로 이동시켜 주는 역할을 하는 주행 플랫폼(20), 그리고 작업환경과 용접선을 인식하기 위한 센서 시스템(30)을 포함한다.
주행 플랫폼(20)은 용접 로봇(10)이 정해진 지역 내에서 용접 작업을 마쳤을 때, 다른 용접 지역으로 자유롭게 이동하기 위해 론지를 타고 넘을 수 있는 매카니즘을 가지고 있다. 따라서, 용접 로봇(10)은 두 론지 사이에 형성되는 작업공간 내에서 자유롭게 주행할 수 있을 뿐만 아니라, 론지들로 가로 막혀 있는 폐쇄 블록내의 전체 주행 공간에서도 승강 기구를 통한 자유로운 이동이 가능하다.
이와 같이 구성된 용접 로봇 시스템에 의한 두 론지 사이의 작업공간에서 용접 로봇의 작업 순서는, 작업공간 내에서의 용접 환경을 인식하는 과정과, 획득된 3차원 환경지도와 주어진 CAD 데이터의 정합을 통해 로봇 위치 및 자세를 파악하는 과정과, 작업공간 내에서의 장애물 정보를 추출하여 인식하는 과정과, 용접이 수행되어야 할 용접선을 검출하는 과정과, 용접을 위한 용접 로봇 팔의 경로를 계획하는 과정과, 용접을 수행하는 과정으로 이루어진다. 이와 같은 용접 작업이 성공적으로 끝났을 때, 주행 플랫폼(20)은 정해진 용접 스케줄에 따라 다음 작업공간인 건너편 론지 사이에 용접 로봇(10)을 위치시킨다.
도 3은 종래 기술에 따른 폐쇄 블록 용접 로봇을 위한 센서 시스템의 구성도이다. 이러한 센서 시스템은 폐쇄 블록 도장 로봇에도 그대로 적용할 수 있다.
이에 나타낸 바와 같이 종래 기술에 따른 센서 시스템은, 슬릿광을 발생시키는 세 개의 다이오드 레이저(33,34,35)와 영상을 획득하는 두 개의 소형 카메라(31,32)를 포함한다.
이와 같이 구성된 종래의 센서 시스템은 로봇이 주행하는 환경을 인식하고 용접 작업을 할 때 용접선을 인식하기 위한 것이다.
소형 카메라(31)와 다이오드 레이저(33,34)는 환경인식을 위해 사용되고, 소형 카메라(32)와 다이오드 레이저(35)는 용접선 추적을 위해 사용된다. 두 개의 레이저 슬릿광은 평면으로 구성된 구조화 환경을 보다 쉽게 인식하기 위해 적용된다.
전술한 바와 같은 종래 기술에 따른 폐쇄 블록의 용접 또는 도장을 위한 센서 시스템에 의하면 도 3에 나타낸 바와 같이 레이저 슬릿광을 수평방향으로 조사하여 장애물을 인식하는 것을 알 수 있는데, 이 경우에는 장애물의 전체적인 인식을 위해서 장애물을 상하방향으로 스캐닝(scanning)하여야 하므로 용접 로봇이나 도장 로봇 등과 같은 외부장치의 도움 없이는 카메라의 앵글(angle) 각도 범위 내에서만 스캔이 가능하므로 전방향에 대한 스캔이 불가능한 문제점이 있었다.
본 발명은 이와 같은 종래 기술의 문제점을 해결하기 위해 제안한 것으로서, 레이저 슬릿광을 수직방향으로 조사하여 장애물을 인식하는 센서 시스템을 구비하며, 이 센서 시스템을 지지하면서 회전시켜서 센서 시스템에 의한 전방향 스캔이 가능하게 하는 로테이션 스테이지(rotation stage)를 포함하는 비접촉 환경 계측 장치와 이 계측 장치를 이용한 계측 방법 및 이 계측 방법을 수행할 수 있는 컴퓨터 프로그램이 기록된 기록매체를 제공한다.
본 발명의 일 관점으로서 비접촉 환경 계측 장치는, 레이저 슬릿광을 발생시켜 피 측정부재에 수직방향으로 조사하는 레이저 발생기, 상기 레이저 발생기에 의해 상기 레이저 슬릿광이 수직방향으로 조사된 상기 피 측정부재의 영상을 스테레 오 비전(stereo vision) 방식으로 획득하는 복수의 카메라를 포함하는 제 1 센서 시스템과, 상기 제 1 센서 시스템을 지지하면서 회전시켜서 상기 제 1 센서 시스템에 의한 전방향 스캔이 가능하게 하는 로테이션 스테이지를 포함한다.
여기서, 상기 비접촉 환경 계측 장치는, 상기 레이저 발생기와 동일한 레이저 발생기 및 상기 카메라와 동일한 복수의 카메라를 포함하는 제 2 센서 시스템을 더 포함하며, 상기 로테이션 스테이지는 상기 제 1 센서 시스템 및 상기 제 2 센서 시스템을 지지하면서 회전시킨다. 상기 제 1 센서 시스템과 상기 제 2 센서 시스템은 상기 로테이션 스테이지의 회전축을 중심으로 하여 상호 대향 방향으로 배치되며, 상기 제 1 센서 시스템과 상기 제 2 센서 시스템은 상기 로테이션 스테이지의 회전축 방향이 더 높고 반대 방향이 더 낮도록 기울게 설치된다.
본 발명의 다른 관점으로서 비접촉 환경 계측 방법은, 센서 시스템에 의해 발생한 레이저 슬릿광을 피 측정부재에 수직방향으로 조사하여 상기 센서 시스템을 통해 상기 피 측정부재의 영상을 스테레오 비전 방식으로 획득하는 단계와, 상기 센서 시스템을 지지하면서 회전시키는 로테이션 스테이지를 회전 제어하여 상기 획득하는 단계의 반복을 통해 전방향 스캔을 수행하는 단계와, 상기 전방향 스캔을 통해 획득한 캡처 이미지를 영상 처리하여 얻은 2차원 점 데이터들을 상기 로테이션 스테이지의 회전각 수치를 이용하여 3차원 점 데이터로 변환하는 단계와, 상기 3차원 점 데이터를 이용하여 지역지도를 작성한 후에 상기 지역지도와 CAD 정보를 매칭하여 매칭되지 않는 지역지도 데이터를 장애물 데이터로 인식하는 단계와, 상 기 장애물 데이터에 의한 장애물 객체를 규격의 이미지로 만들어서 물체를 인식하는 단계를 포함한다.
여기서, 상기 로테이션 스테이지는, 회전축을 중심으로 하여 상호 대향 방향으로 배치된 복수의 상기 센서 시스템을 지지하면서 회전시키며, 상기 전방향 스캔을 수행하는 단계는, 상기 복수의 센서 시스템을 통해 상기 캡처 이미지를 획득한다. 상기 3차원 점 데이터로 변환하는 단계는, 상기 캡처 이미지에 포함된 노이즈를 필터링한 후에 상기 캡처 이미지에 포함된 물체 이미지의 모서리 부분을 얇게 하여 최적화하는 이미지 교정을 수행하는 단계와, 상기 이미지 교정을 수행한 캡처 이미지에서 얻은 2차원 점 데이터들의 깊이를 계산하는 단계와, 계산한 상기 깊이와 상기 로테이션 스테이지의 해당하는 상기 회전각 수치를 이용하여 상기 3차원 점 데이터로 변환하는 단계를 포함한다. 상기 물체를 인식하는 단계는, 상기 규격의 이미지를 주성분 분석법(Principal Component Analysis, PCA)을 사용하여 PCA 상수를 구한 후에 학습된 뉴랄 네트워크(neural network) 모델에 상수를 넣어 최종적으로 어떤 물체인지 인식한다.
본 발명은 레이저 슬릿광을 수직방향으로 조사하여 장애물을 인식하는 센서 시스템을 구비하며, 이 센서 시스템을 지지하면서 회전시켜서 센서 시스템에 의한 전방향 스캔이 가능하게 하는 로테이션 스테이지를 포함하는 비접촉 환경 계측 장치를 제공함으로써, 용접 로봇이나 도장 로봇 등과 같은 외부장치의 도움 없이 자 체적으로 전방향에 대한 스캔이 가능한 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 4a는 본 발명에 따른 비접촉 환경 계측 장치의 구성을 보인 평면도이고, 도 4b는 본 발명에 따른 비접촉 환경 계측 장치의 구성을 보인 측면도이며, 도 5는 본 발명에 따른 비접촉 환경 계측 장치를 이용하여 용접 환경이나 도장 환경에서 장애물을 스캔하는 일예를 보인 개념도이다.
도 4a 및 도 4b에 나타낸 바와 같이 본 발명의 비접촉 환경 계측 장치(100)는, 레이저 슬릿광을 발생시켜 피 측정부재에 수직방향으로 조사하는 단일의 레이저 발생기(111)와 이 레이저 발생기(111)에 의해 레이저 슬릿광이 수직방향으로 조사된 피 측정부재의 영상을 스테레오 비전 방식으로 획득하는 두 개의 카메라(113, 115)를 포함하는 제 1 센서 시스템(110)과, 레이저 슬릿광을 발생시켜 피 측정부재에 수직방향으로 조사하는 단일의 레이저 발생기(121)와 이 레이저 발생기(121)에 의해 레이저 슬릿광이 수직방향으로 조사된 피 측정부재의 영상을 스테레오 비전 방식으로 획득하는 두 개의 카메라(123, 125)를 포함하는 제 2 센서 시스템(120) 과, 제 1 센서 시스템(110) 및 제 2 센서 시스템(120)을 지지하면서 회전시켜서 제 1 센서 시스템(110) 및 제 2 센서 시스템(120)에 의한 전방향 스캔이 가능하게 하는 로테이션 스테이지(130)를 포함한다.
제 1 센서 시스템(110)과 제 2 센서 시스템(120)은 로테이션 스테이지(130)의 회전축을 중심으로 하여 상호 대향 방향으로 배치되어 로테이션 스테이지(130)에 의한 180°의 회전으로 전방향 스캔이 가능하게 한다.
제 1 센서 시스템(110)과 제 2 센서 시스템(120)은 로테이션 스테이지(130)의 회전축 방향이 더 높고 반대 방향이 더 낮도록 기울게 설치하여 아래쪽의 장애물 인식이 용이하도록 한다. 예로서 약 15°의 기울기를 갖도록 설치한다.
이와 같이 구성된 비접촉 환경 계측 장치(100)는 바람직한 실시예에 따라 복수의 센서 시스템, 즉 제 1 센서 시스템(110)과 제 2 센서 시스템(120)을 구비하는 예를 설명하였으나, 단일의 센서 시스템만을 구비하도록 설계할 수도 있다. 이 경우에는 로테이션 스테이지(130)에 의한 360°의 회전으로 센서 시스템에 의한 전방향 스캔이 가능하게 된다.
도 5의 미설명 부호인 141, 143은 광학 밴드패스 필터로서 제 1 센서 시스템(110)과 제 2 센서 시스템(120)의 카메라(113, 115, 123, 125)의 전방에 배치되어 소정의 대역을 가지는 파장의 빛만을 투과시킨다. 즉 피 측정부재인 물체에 조사된 레이저 슬릿광에 의한 레이저 띠의 영상만이 카메라(113, 115, 123, 125)에 의해 촬영되도록 한다. 설계에 따라 이러한 광학 밴드패스 필터(141, 143)는 채용하지 않을 수도 있으며, 이 경우에는 동등한 영상처리 알고리즘을 채용할 수 있다.
이와 같이 구성된 본 발명에 따른 비접촉 환경 계측 장치를 이용하여 선박 조립공정 중의 폐쇄 블록 환경에서 장애물을 계측 및 인식하는 과정을 도 5 내지 도 11을 참조하여 설명하기로 한다.
먼저, 선박 조립공정 중의 폐쇄 블록 환경에서 초기화 상태(S201)의 비접촉 환경 계측 장치(100)가 계측 장소에 위치하면 제 1 센서 시스템(110)의 레이저 발생기(111)와 제 2 센서 시스템(120)의 레이저 발생기(121)가 레이저 슬릿광을 발생시켜 주변의 장애물 등과 같은 피 측정부재에 레이저 슬릿광을 수직방향으로 조사한다(S203).
제 1 센서 시스템(110)의 카메라(113, 115)와 제 2 센서 시스템(120)의 카메라(123, 125)는 레이저 발생기(111)에 의해 레이저 슬릿광이 수직방향으로 조사된 피 측정부재의 영상을 스테레오 비전 방식으로 획득, 즉 이미지를 캡쳐한다(S205). 이때, 광학 밴드패스 필터(141, 143)를 거치면서 레이저 슬릿광에 의한 레이저 띠의 영상만이 카메라(113, 115, 123, 125)에 의해 촬영된다.
카메라(113, 115, 123, 125)에 의해 캡쳐된 이미지는 별도의 영상처리 및 제어 장치(도시 생략됨)로 전송되어 저장되며(S207), 영상처리 및 제어 장치는 로테이션 스테이지(130)의 회전각에 의거하여 전방향 스캔이 이루어졌는가를 확인(S209)하여 전방향 스캔이 완료되지 않은 상태이면 로테이션 스테이지(130)에 대한 회전 제어를 수행한다.
로테이션 스테이지(130)는 영상처리 및 제어 장치에 의한 회전 제어에 따라 회전축을 중심으로 소정 각도로 회전하며(S211), 카메라(113, 115, 123, 125)와 영상처리 및 제어 장치에 의해 단계 S205 내지 S211의 과정이 반복적으로 수행된다.
로테이션 스테이지(130)가 영상처리 및 제어 장치에 의해 180°를 회전하면 제 1 센서 시스템(110)과 제 2 센서 시스템(120)에 의한 전방향 스캔이 완료된다. 물론 복수의 센서 시스템이 아닌 단일의 센서 시스템이 채용된 경우라면 로테이션 스테이지(130)가 영상처리 및 제어 장치에 의해 360°를 회전하면 제 1 센서 시스템(110) 또는 제 2 센서 시스템(120)에 의한 전방향 스캔이 완료된다.
이와 같이 전방향 스캔이 완료되면 영상처리 및 제어 장치는 단계 S207에서 저장하여 둔 캡처 이미지를 로딩하며(S213), 이미지에 포함된 노이즈를 필터링한 후에 이미지에 포함된 물체 이미지의 모서리 부분을 얇게 하여 최적화하는 이미지 교정을 수행한다(S215).
그리고, 캡처 이미지에서 얻은 2차원 점 데이터들의 깊이를 계산하며(S217), 로테이션 스테이지(130)의 해당하는 회전각 수치를 이용하여 3차원 점 데이터로 변환한다(S219).
다음으로, 모든 캡처 이미지에 대하여 추출된 3차원 점 데이터를 이용하여 도 7의 일예와 같이 지역지도(triangular mesh map)를 작성한다. 이때 도 8에 나타낸 바와 같은 반복최근법(Iterative Closest Point, ICP) 알고리즘을 이용할 수 있다. 반복최근법은 3차원 점 데이터 중에서 임의의 세 점을 연결하여 삼각형을 그린 후에 이 삼각형을 이용하여 원을 그리는 과정을 반복하여 가장 작은 원을 그리는 데에 이용된 3차원 점 데이터들은 같은 평면에 존재하는 것으로 판정하는 것이다. 이처럼 임의의 3차원 점 데이터에 대해 가장 가까운 면을 찾아내는 과정을 반복한 후에 이러한 3차원 점 데이터들의 평면 정보를 이용하여 도 7의 예시와 같은 지역지도를 완성한다(S221).
이어서, 도 9의 일예와 같이 작성된 지역지도(3차원 측정 환경)와 CAD 정보를 매칭하여 매칭되지 않는 지역지도 데이터를 장애물 데이터로 인식한다. 이때 도 9의 예시와 같이 지역지도에서 CAD 정보를 제외하면 장애물이 추출되어 해당 장애물 데이터를 인식할 수 있다(S223).
장애물로 인식된 데이터들에 대하여 도 10의 일예와 같이 클러스터링(clustering) 알고리즘(예로서, 케이민즈(k-means) 클러스터링 알고리즘)을 적용하여 장애물이 2개 이상 존재할 경우에 각각의 장애물을 분리한다(S225).
끝으로, 분리된 장애물 객체를 규격의 이미지로 만들고, 이를 주성분 분석법(Principal Component Analysis, PCA)을 사용하여 PCA 상수(계수)를 구한 후, 도 11의 일예와 같이 학습된 뉴랄 네트워크 모델에 상수를 넣어 최종적으로 어떤 물체인지 인식한다. 여기서 학습된 뉴랄 네트워크 모델을 이용하는 것은 선박 조립공정 중의 폐쇄 블록 환경에서 나타날 수 있는 장애물이 어느 정도 한정되면서도 이러한 장애물에 대한 캡처 이미지가 매번 동일하게 획득되지 않기 때문이며, 도 11과 같이 뉴랄 네트워크의 입력은 PCA 상수(계수)이고, 뉴랄 네트워크의 출력이 물체 이미지이다(S227).
본 발명에 의한 비접촉 환경 계측 방법은 컴퓨터 프로그램으로 작성 가능하 다. 이 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 비접촉 환경 계측 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
지금까지 본 발명의 일 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
도 1은 종래의 선박 중간조립공정의 폐쇄 블록내부와 이동로봇의 주행경로를 나타내는 도면,
도 2는 종래 기술에 따른 폐쇄 블록 용접 로봇 시스템의 사시도,
도 3은 종래 기술에 따른 폐쇄 블록 용접 로봇 또는 도장 로봇을 위한 센서 시스템의 구성도,
도 4a는 본 발명에 따른 비접촉 환경 계측 장치의 구성을 보인 평면도,
도 4b는 본 발명에 따른 비접촉 환경 계측 장치의 구성을 보인 측면도,
도 5는 본 발명에 따른 비접촉 환경 계측 장치를 이용하여 용접 환경이나 도장 환경에서 장애물을 스캔하는 일예를 보인 개념도,
도 6은 본 발명에 따른 비접촉 환경 계측 장치를 이용하여 용접 환경이나 도장 환경에서 장애물을 인식하는 과정을 설명하기 위한 흐름도,
도 7은 본 발명에 따른 장애물 인식 과정 중에 수행하는 지역지도 작성의 일예도,
도 8은 본 발명에 따른 장애물 인식 과정 중에 수행하는 ICP 알고리즘의 일예도,
도 9는 본 발명에 따른 장애물 인식 과정 중에 지역지도와 CAD 정보를 매칭하는 과정을 보인 일예도,
도 10은 본 발명에 따른 장애물 인식 과정 중에 수행하는 클러스터링 알고리즘의 일예도,
도 11은 본 발명에 따른 장애물 인식 과정 중에 학습된 뉴랄 네트워크 모델을 이용하는 과정을 보인 일예도.
<도면의 주요 부호에 대한 간략한 설명>
100 : 비접촉 환경 계측 장치 110 : 제 1 센서 시스템
111, 121 : 레이저 발생기 113, 115, 123, 125 : 카메라
130 : 로테이션 스테이지 141, 143 : 광학 밴드패스 필터
Claims (9)
- 삭제
- 삭제
- 레이저 슬릿광을 발생시켜 피 측정부재에 수직방향으로 조사하는 레이저 발생기, 상기 레이저 발생기에 의해 상기 레이저 슬릿광이 수직방향으로 조사된 상기 피 측정부재의 영상을 스테레오 비전(stereo vision) 방식으로 획득하는 복수의 카메라를 포함하는 제 1 센서 시스템과,상기 레이저 발생기와 동일한 레이저 발생기 및 상기 카메라와 동일한 복수의 카메라를 포함하는 제 2 센서 시스템과,상기 제 1 센서 시스템 및 제 2 센서 시스템을 지지하면서 회전시켜서 상기 제 1 센서 시스템 및 상기 제 2 센서 시스템에 의한 전방향 스캔이 가능하게 하는 로테이션 스테이지를 포함하며,상기 제 1 센서 시스템과 상기 제 2 센서 시스템은 상기 로테이션 스테이지의 회전축을 중심으로 하여 상호 대향 방향으로 배치된비접촉 환경 계측 장치.
- 제 3 항에 있어서,상기 제 1 센서 시스템과 상기 제 2 센서 시스템은 상기 로테이션 스테이지의 회전축 방향이 더 높고 반대 방향이 더 낮도록 기울게 설치된비접촉 환경 계측 장치.
- 센서 시스템에 의해 발생한 레이저 슬릿광을 피 측정부재에 수직방향으로 조사하여 상기 센서 시스템을 통해 상기 피 측정부재의 영상을 스테레오 비전(stereo vision) 방식으로 획득하는 단계와,상기 센서 시스템을 지지하면서 회전시키는 로테이션 스테이지를 회전 제어하여 상기 획득하는 단계의 반복을 통해 전방향 스캔을 수행하는 단계와,상기 전방향 스캔을 통해 획득한 캡처 이미지를 영상 처리하여 얻은 2차원 점 데이터들을 상기 로테이션 스테이지의 회전각 수치를 이용하여 3차원 점 데이터로 변환하는 단계와,상기 3차원 점 데이터를 이용하여 지역지도를 작성한 후에 상기 지역지도와 CAD 정보를 매칭하여 매칭되지 않는 지역지도 데이터를 장애물 데이터로 인식하는 단계와,상기 장애물 데이터에 의한 장애물 객체를 규격의 이미지로 만들어서 물체를 인식하는 단계를 포함하는 비접촉 환경 계측 방법.
- 제 5 항에 있어서,상기 로테이션 스테이지는, 회전축을 중심으로 하여 상호 대향 방향으로 배치된 복수의 상기 센서 시스템을 지지하면서 회전시키며,상기 전방향 스캔을 수행하는 단계는, 상기 복수의 센서 시스템을 통해 상기 캡처 이미지를 획득하는비접촉 환경 계측 방법.
- 제 5 항에 있어서,상기 3차원 점 데이터로 변환하는 단계는,상기 캡처 이미지에 포함된 노이즈를 필터링한 후에 상기 캡처 이미지에 포함된 물체 이미지의 모서리 부분을 얇게 하여 최적화하는 이미지 교정을 수행하는 단계와,상기 이미지 교정을 수행한 캡처 이미지에서 얻은 2차원 점 데이터들의 깊이를 계산하는 단계와,계산한 상기 깊이와 상기 로테이션 스테이지의 해당하는 상기 회전각 수치를 이용하여 상기 3차원 점 데이터로 변환하는 단계를 포함하는 비접촉 환경 계측 방법.
- 제 5 항에 있어서,상기 물체를 인식하는 단계는, 상기 규격의 이미지를 주성분 분석법(Principal Component Analysis, PCA)을 사용하여 PCA 상수를 구한 후에 학습된 뉴랄 네트워크(neural network) 모델에 상수를 넣어 최종적으로 어떤 물체인지 인식하는비접촉 환경 계측 방법.
- 제 5 항 내지 제 8 항 중에서 어느 한 항의 비접촉 환경 계측 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080054214A KR101010781B1 (ko) | 2008-06-10 | 2008-06-10 | 비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된기록매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080054214A KR101010781B1 (ko) | 2008-06-10 | 2008-06-10 | 비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된기록매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090128178A KR20090128178A (ko) | 2009-12-15 |
| KR101010781B1 true KR101010781B1 (ko) | 2011-01-25 |
Family
ID=41688633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080054214A KR101010781B1 (ko) | 2008-06-10 | 2008-06-10 | 비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된기록매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101010781B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102470072B1 (ko) | 2021-11-02 | 2022-11-23 | (주)미래구조엔지니어링 | 프리캐스트 콘크리트의 품질 관리 시스템 및 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101126626B1 (ko) * | 2010-03-02 | 2012-03-26 | 한국과학기술원 | 광역 3차원 복원을 위한 시스템 및 방법 |
| AU2013242821A1 (en) * | 2012-10-29 | 2014-05-15 | J. Ray Mcdermott, S.A. | Adaptive control of arc welding parameters |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001145123A (ja) * | 1999-11-10 | 2001-05-25 | Shimane Pref Gov | 三次元表示装置用の画像撮影装置 |
| JP2001197521A (ja) * | 2000-01-06 | 2001-07-19 | Toppan Printing Co Ltd | 撮像装置、撮像方法及び撮像条件に係るデータを記録した記録媒体 |
| JP2003042730A (ja) * | 2001-07-30 | 2003-02-13 | Topcon Corp | 表面形状測定装置、及びその方法、並びに表面状態図化装置 |
| KR100516395B1 (ko) * | 2003-01-09 | 2005-09-23 | 삼성중공업 주식회사 | 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법 |
-
2008
- 2008-06-10 KR KR1020080054214A patent/KR101010781B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001145123A (ja) * | 1999-11-10 | 2001-05-25 | Shimane Pref Gov | 三次元表示装置用の画像撮影装置 |
| JP2001197521A (ja) * | 2000-01-06 | 2001-07-19 | Toppan Printing Co Ltd | 撮像装置、撮像方法及び撮像条件に係るデータを記録した記録媒体 |
| JP2003042730A (ja) * | 2001-07-30 | 2003-02-13 | Topcon Corp | 表面形状測定装置、及びその方法、並びに表面状態図化装置 |
| KR100516395B1 (ko) * | 2003-01-09 | 2005-09-23 | 삼성중공업 주식회사 | 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102470072B1 (ko) | 2021-11-02 | 2022-11-23 | (주)미래구조엔지니어링 | 프리캐스트 콘크리트의 품질 관리 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090128178A (ko) | 2009-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Advances techniques of the structured light sensing in intelligent welding robots: a review | |
| JP7355500B2 (ja) | ワークピース上で動作するためのロボットシステムおよび方法 | |
| EP3818337B1 (en) | Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath | |
| KR20160014585A (ko) | 복잡한 표면을 관찰하고 처리하기 위한 관리 자동 로봇 장치 | |
| JP2005326944A (ja) | レーザー計測により地図画像を生成する装置及び方法 | |
| Chen et al. | Seam tracking of large pipe structures for an agile robotic welding system mounted on scaffold structures | |
| US20230372968A1 (en) | System for autonomously applying paint to a target surface | |
| Xiao et al. | An automatic calibration algorithm for laser vision sensor in robotic autonomous welding system | |
| JP6187499B2 (ja) | 自律移動ロボットの自己位置推定方法、自律移動ロボット、及び自己位置推定用ランドマーク | |
| Kim et al. | Autonomous mobile robot localization and mapping for unknown construction environments | |
| Beinschob et al. | Advances in 3d data acquisition, mapping and localization in modern large-scale warehouses | |
| KR101010781B1 (ko) | 비접촉 환경 계측 장치, 방법 및 컴퓨터 프로그램이 기록된기록매체 | |
| Yu et al. | Multiseam tracking with a portable robotic welding system in unstructured environments | |
| Montero et al. | Intelligent robotic system for autonomous crack detection and caracterization in concrete tunnels | |
| EP3924794B1 (en) | Autonomous mobile aircraft inspection system | |
| US10755478B1 (en) | System and method for precision indoors localization and mapping | |
| KR100516395B1 (ko) | 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법 | |
| Nakhaeinia et al. | Trajectory planning for surface following with a manipulator under RGB-D visual guidance | |
| Gilmour et al. | Robotic positioning for quality assurance of feature-sparse components using a depth-sensing camera | |
| Abe et al. | Vision based navigation system for autonomous mobile robot with global matching | |
| JP2021157706A (ja) | 建設作業管理システムおよび自動巡回移動体 | |
| Singh et al. | Toward closed-loop additive manufacturing: paradigm shift in fabrication, inspection, and repair | |
| Ozkan et al. | Surface profile-guided scan method for autonomous 3D reconstruction of unknown objects using an industrial robot | |
| Warszawski et al. | Autonomous mapping system for an interior finishing robot | |
| Nakhaeinia et al. | Surface following with an RGB-D vision-guided robotic system for automated and rapid vehicle inspection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20080610 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20100518 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20101122 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20110118 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20110118 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20140102 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20140102 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20141231 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20141231 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20160104 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160104 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20170102 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170102 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190102 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190102 Start annual number: 9 End annual number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200102 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210104 Start annual number: 11 End annual number: 11 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20221029 |