KR101802207B1 - 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법 - Google Patents

배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101802207B1
KR101802207B1 KR1020160058573A KR20160058573A KR101802207B1 KR 101802207 B1 KR101802207 B1 KR 101802207B1 KR 1020160058573 A KR1020160058573 A KR 1020160058573A KR 20160058573 A KR20160058573 A KR 20160058573A KR 101802207 B1 KR101802207 B1 KR 101802207B1
Authority
KR
South Korea
Prior art keywords
line
image
angle
position detection
dog
Prior art date
Application number
KR1020160058573A
Other languages
English (en)
Other versions
KR20170127847A (ko
Inventor
박경웅
김종필
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020160058573A priority Critical patent/KR101802207B1/ko
Publication of KR20170127847A publication Critical patent/KR20170127847A/ko
Application granted granted Critical
Publication of KR101802207B1 publication Critical patent/KR101802207B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L55/00—Devices or appurtenances for use in, or in connection with, pipes or pipe systems
    • F16L55/26—Pigs or moles, i.e. devices movable in a pipe or conduit with or without self-contained propulsion means
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L2101/00—Uses or applications of pigs or moles
    • F16L2101/30—Inspecting, measuring or testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템은, 배관 내부를 주행하며 검사하는 장비의 중심에서 관경 방향으로 설치된 카메라로부터 획득된 이미지에 대해 소정의 데이터 처리를 통해 라인 형태 대상의 유무를 판단하는 라인 인지 모듈; 및 상기 라인 형태 대상이 인지된 경우, 상기 라인 형태 대상의 라인 각도에 상응하여 1차 위치를 추정하고 국소영역 분석 및 모폴로지 연산을 통해 2차 위치를 추정한 후 최종적으로 상기 라인 형태 대상의 위치를 검출하는 라인 위치 검출 모듈을 포함할 수 있다.

Description

배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법{Line recognition and position detection system for pipe inside testing device}
본 발명은 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법에 관한 것이다.
배관 내부에서 용접의 불량 여부를 검사하는 RT(Radiographic Testing) 검사장비의 경우, 자동화 및 안전성 향상을 위해 효과적인 용접선 인지 및 위치 검출, 전방 주행환경 인식이 주요한 고려사항이다.
기존의 용접선 인지 기술의 경우, 배관의 내부에서 인지하는 방법이 없었다.
도 1은 기존의 자동용접장치의 CCD 카메라와 제어기의 개략도이다. 엘엔지씨 멤브레인(10), 보강재(12), CCD 카메라(30), CCD센서(32), 레이저발진기(34), 수광렌즈(38), 제어기(40)가 도시되어 있다. 도 1에 도시된 것과 같이, 외부로 노출된 환경에서 LVS(Laser-Vision System)를 이용하여 획득된 2D 이미지에서 용접선의 위치를 검출하는 방식이 개발되어 사용되고 있다.
하지만, 이러한 시스템의 경우 배관 내부 검사장비에 장착하여 사용할 때 모노 비전(Mono-Vision) 방식에 비해 복잡하며, 시스템 설계에 따라서는 관경 방향으로 측정영역의 한계가 있는 단점이 존재한다. 이러한 측정영역의 한계는 측정의 정밀도와 트레이드 오프 관계에 있어, 정밀한 측정과 다양한 관경에 대한 장비 적용이라는 두 가지 목적을 모두 달성하기 힘든 문제가 있다.
한국공개특허 10-2006-0078462 (2006.07.05 공개) - 레이저를 이용하여 용접선을 인식하는 자동용접장치
본 발명은 배관 내부에서 용접의 불량 여부를 검사하는 RT 검사장비의 자동화를 위해 2D 카메라 및 LED 광원을 포함하는 모노 비전을 이용한 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법을 제공하기 위한 것이다.
본 발명은 용접선 이외에도 배관 내부와 같은 폐쇄된 공간에서 이물질 조사 및 조명에 특정한 반사 특성을 가지는 라인(Line) 형태의 대상에 대한 인지 및 위치 검출에 유용하게 활용 가능한 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 배관 내부를 주행하며 검사하는 장비의 중심에서 관경 방향으로 설치된 카메라로부터 획득된 이미지에 대해 소정의 데이터 처리를 통해 라인 형태 대상의 유무를 판단하는 라인 인지 모듈; 및 상기 라인 형태 대상이 인지된 경우, 상기 라인 형태 대상의 라인 각도에 상응하여 1차 위치를 추정하고 국소영역 분석 및 모폴로지 연산을 통해 2차 위치를 추정한 후 최종적으로 상기 라인 형태 대상의 위치를 검출하는 라인 위치 검출 모듈을 포함하는 라인 인지 및 위치 검출 시스템이 제공된다.
상기 라인 인지 모듈은, 상기 카메라에서 촬영한 상기 배관 내부에 대한 이미지를 획득하고, 그레이 스케일로 변환하여 저장하는 이미지 획득부; 저장된 상기 이미지에 대해 DoG(Difference of Gaussian)를 산출하는 DoG 산출부; 및 상기 DoG가 소정 임계치를 초과하는 경우 상기 라인 형태 대상이 있는 것으로 판정하는 라인 인지부를 포함할 수 있다.
상기 DoG 산출부는, 상기 이미지에 대해 수평방향 평균을 구하고, 이를 수직방향으로 프로파일(profile)을 구한 후, 상기 프로파일에 대해 1차원 가우시안 함수를 이용하여 콘볼루션을 수행하여 평탄화 곡선을 획득하고, 상기 프로파일에서 상기 평탄화 곡선을 차감하여 상기 DoG를 산출할 수 있다.
상기 라인 위치 검출 모듈은, 상기 이미지를 회전 패딩하여 DoG 값이 소정 임계치 이상인 개수를 카운팅하여 최대값을 가지는 각도를 라인 각도로 산출하는 라인 각도 산출부; 상기 라인 각도에 따라 역회전하여 패딩된 이미지의 DoG 값에 대해 정해진 상한 문턱값 이상과 하한 문턱값 이하에 해당하는 영역의 평균점을 상기 라인 형태 대상의 1차 위치로 추정하는 라인 위치 추정부; 상기 1차 위치를 중심으로 국소영역을 정의하고, 전체 세기에 대한 히스토그램을 분석하여 상위 임계치와 하위 임계치에 대한 이중 문턱값을 이용하여 상기 국소영역에 대해 이진화된 이미지를 획득하는 국소영역 분석부; 상기 국소영역에 대해 모폴로지 연산(Morphological Operation)을 수행하여 베스트 라인 성분을 2차 위치로 추정하는 모폴로지 연산 수행부; 상기 2차 위치와 상기 1차 위치와 상기 라인 각도에 기초하여 회전 이전의 원본 이미지에 대한 수평방향 중심라인에 대한 라인 위치를 최종적으로 찾는 라인 위치 검출부를 포함할 수 있다.
상기 모폴로지 연산 수행부는, 수평방향으로 소정 개수의 구역으로 객체(blob)를 분할하고, 일정 범위의 크기에 해당하는 객체에 한하여 '1'로 설정하고 나머지는 '0'으로 설정하는 사이즈 필터링을 수행하며, 상기 각 객체의 면적을 볼록성 면적으로 나눈 값에 대해 지정된 기준으로 필터링을 수행하고, 상기 각 객체를 포함하는 사각형의 가로방향 길이를 세로방향 길이 로 나눈 면적비(area ratio)를 객체별로 산출하여 최대값만을 반영함으로써 상기 베스트 라인 성분을 찾아낼 수 있다.
상기 라인 각도 산출부는, 상기 이미지를 다운 샘플링한 후 제1 각도 단위로 최대값 각도를 개략 산출하는 제1 단계 이후 상기 제1 단계에서 산출된 최대값 각도를 중심으로 상기 제1 각도보다 작은 제2 각도 단위로 최대값 각도를 미세 산출하는 제2 단계를 수행할 수 있다.
수직방향 세기(intensity) 평균이 소정 임계치 이상인 구역을 0(zero)으로 만들어 상기 카메라의 좌우에 설치된 광원에 의해 발생되는 거울반사를 제거하는 거울반사 제거부를 포함할 수 있다.
상기 라인 인지 및 위치 검출 시스템은 배관 내부를 주행하며 검사하는 장비에 탑재될 수 있다.
상기 라인 형태 대상은 상기 배관 내부의 용접선일 수 있다.
한편 본 발명의 다른 측면에 따르면, 배관 내부를 주행하며 검사하는 장비의 중심에서 관경 방향으로 설치된 카메라로부터 획득된 이미지에 대해 소정의 데이터 처리를 통해 라인 형태 대상의 유무를 판단하는 단계; 상기 라인 형태 대상이 인지된 경우, 상기 라인 형태 대상의 라인 각도에 상응하여 1차 위치를 추정하는 단계; 국소영역 분석 및 모폴로지 연산을 통해 2차 위치를 추정하는 단계; 및 상기 1차 위치 및 상기 2차 위치에 기초하여 최종적으로 상기 라인 형태 대상의 위치를 검출하는 단계를 포함하는 라인 인지 및 위치 검출 방법이 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 배관 내부에서 용접의 불량 여부를 검사하는 RT 검사장비의 자동화를 위해 2D 카메라 및 LED 광원을 포함하는 모노 비전을 이용한 효과가 있다.
또한, 용접선 이외에도 배관 내부와 같은 폐쇄된 공간에서 이물질 조사 및 조명에 특정한 반사 특성을 가지는 라인 형태의 대상에 대한 인지 및 위치 검출에 유용하게 활용 가능하다.
도 1은 기존의 자동용접장치의 CCD 카메라와 제어기의 개략도,
도 2는 본 발명의 일 실시예에 따른 라인 인지 및 위치 검출 시스템이 적용된 배관 내부 검사장비의 개략적인 구성을 나타낸 도면,
도 3은 라인 인지 모듈의 상세 구성을 나타낸 도면,
도 4는 라인 위치 검출 모듈의 상세 구성을 나타낸 도면,
도 5는 배관 내부 검사장비용 라인 인지 및 위치 검출 방법의 순서도,
도 6은 용접선 인지 및 위치 검출을 위한 영상 처리 결과를 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 그리고 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일 실시예에 따른 라인 인지 및 위치 검출 시스템이 적용된 배관 내부 검사장비의 개략적인 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 배관 내부 검사장비에 설치되는 라인 인지 및 위치 검출 시스템은 배관 내부에서 용접의 불량 여부와 같이 라인 형태의 대상에 대한 검사를 수행하는 배관 내부 검사장비에 장착되어 자동화 및 안전성 향상을 위해 용접선과 같은 라인 형태의 대상을 효과적으로 인식하고 그 위치를 검출하는 것을 특징으로 한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 배관 내부 검사장비(200)는 카메라(210), 광원(220), 구동부(230), 검사부(240), 라인 인지 및 위치 검출 시스템(100)을 포함한다.
카메라(210)와 광원(220)은 배관 내부 검사장비(200)의 중심에서 관경 방향으로 설치된다.
구동부(230)는 배관 내부 검사장비(200)가 배관 내부를 주행하거나 자세를 변경하도록 하는 부분으로, 휠, 모터 등을 포함한다. 구동부(230)의 구성 및 기능을 본 발명이 속하는 기술분야의 통상의 기술자에게 자명한 사항인 바 상세한 설명은 생략한다.
카메라(210)는 관경 방향으로 설치되어 있어, 배관 내부 검사장비(200)가 주행하는 배관의 내부 표면을 연속적으로 촬영하여 이미지를 생성한다.
광원(220)은 카메라(210)가 향하고 있는 방향으로 빛을 조사하여 배관 내부에 대한 이미지가 보다 명확하게 촬영될 수 있도록 한다. 예컨대, 광원(220)은 LED일 수 있다.
라인 인지 및 위치 검출 시스템(100)은 카메라(210)에서 촬영한 이미지를 분석하여 배관 내부에서 라인 형태의 대상(예컨대, 용접선)을 인지하고, 라인 형태의 대상이 인지된 경우에는 그 위치를 검출한다. 라인 형태의 대상으로는 대표적으로 용접선이 있을 수 있으며, 이하에서는 발명의 이해와 설명의 편의를 위해 라인 형태의 대상이 용접선인 경우를 가정하여 설명하기로 한다.
라인 인지 및 위치 검출 시스템(100)은 라인 인지 모듈(110), 라인 위치 검출 모듈(120), 장비 제어 모듈(130)을 포함한다.
라인 인지 모듈(110)은 이미지 분석을 통해 배관 내부에서 용접선 유무를 판단한다. 용접선이 없는 경우에는 장비 제어 모듈(130)을 통해 구동부(230)를 구동시켜 배관 내부 검사장비(200)가 진행 방향으로 계속 진행하도록 한다.
하지만, 용접선이 있는 경우에는 라인 위치 검출 모듈(120)을 통해 용접선 위치를 검출하게 한다.
라인 위치 검출 모듈(120)은 라인 인지 모듈(110)에 의해 용접선이 있는 것으로 판정된 경우, 용접선의 위치를 검출한다. 이 때 용접선이 소정 각도만큼 기울어져 있는 경우, 상대적으로 배관 내부 검사장비(200)가 반대 방향으로 소정 각도만큼 기울어져 있는 것으로 볼 수 있어, 구동부(230)를 구동시켜 배관 내부 검사장비(200)가 용접선에 대해 지정된 자세를 가지도록(예. 수직하게 혹은 평행하게) 할 수 있다.
장비 제어 모듈(130)은 라인 인지 모듈(110)에서의 라인 인지 결과 및/또는 라인 위치 검출 모듈(120)에서 검출된 라인 위치에 따라 배관 내부 검사장비(200)의 주행 및/또는 자세를 제어한다. 용접선이 없는 경우에는 배관 내부 검사장비(200)가 원래 동작을 그대로 수행(예. 전진)하게 하고, 용접선이 있는 경우에는 주행을 멈추고 용접 불량 여부에 대해 검사를 수행할 수 있게 배관 내부 검사장비(200)의 자세를 조정할 수 있다.
구동부(230)는 검출된 라인 위치에 기초하여 정밀 검사가 이루어질 수 있도록 배관 내부 검사장비(200)를 이동시키거나 자세를 조정하고, 검사부(240)는 이동된 위치에서 배관 내부에서 인지된 라인 형태의 대상(용접선)에 대한 검사(용접 불량 여부에 대한 정밀 검사)를 수행한다.
본 실시예에서 라인 인지 및 위치 검출 시스템(100)은 배관 내부 검사장비(200)에 탑재(embedded)되도록 구현될 수 있다. 또는 외부에 별도의 시스템으로 구현되어, 네트워크를 통한 통신을 통해 라인 인지 및 위치 검출을 수행할 수도 있다.
이하에서는 관련 도면을 참조하여, 배관 내부 검사장비(200)에 설치되는 라인 인지 및 위치 검출 시스템(100)의 구성 및 라인 인지 및 위치 검출 방법에 대하여 설명하기로 한다.
도 3은 라인 인지 모듈의 상세 구성을 나타낸 도면이며, 도 4는 라인 위치 검출 모듈의 상세 구성을 나타낸 도면이고, 도 5는 배관 내부 검사장비용 라인 인지 및 위치 검출 방법의 순서도이며, 도 6은 용접선 인지 및 위치 검출을 위한 영상 처리 결과를 나타낸 도면이다. 여기서, 도 5에서 표시된 각종 값들은 예시적인 값들로서, 실시예에 따라 사용자에 의해 조정될 수 있는 값들이다.
본 실시예에 따른 라인 인지 모듈(110)은 배관 내부 검사장비(200)가 배관 내부에서 주행 중인 상태에서 항상 모니터링이 가능하도록 처리시간이 단축되도록 라인 인지 알고리즘이 단순화되어 있어, 카메라(210)의 이미지 전송 최대속도(예. 30fps)에 상응하는 데이터 처리가 가능하도록 구성(예. 0.02초 수준)될 수 있다.
도 3을 참조하면, 라인 인지 모듈(110)은 이미지 획득부(111), DoG 산출부(112), 라인 인지부(113)를 포함한다.
라인 인지 모듈(110)은 용접선 유무 판단 단계를 시작한다(단계 S205). 이 때 배관 내부 검사장비(200)는 주행모드로 설정(setting=1)되어 있을 수 있다.
이미지 획득부(111)는 카메라(210)에서 촬영한 배관 내부에 대해 관경 방향으로 촬영한 이미지를 획득한다(단계 S210). 획득한 이미지는 그레이 스케일(grey scale)로 변환하여 저장한다(도 6의 (a) 참조).
DoG 산출부(112)는 저장된 이미지(그레이 스케일)에 대해 소정의 데이터 처리를 통해 DoG(Difference of Gaussian)를 산출한다(단계 S215).
우선 저장된 이미지(그레이 스케일)에 대해서 수평방향 평균을 구하고, 이를 수직방향으로 프로파일(Profile)을 구한다(도 6의 (b) 참조). 여기서, 수직방향이 배관 내부 검사장비(200)의 진행방향에 해당되고, 수평방향은 장비 진행방향에 수직인 방향에 해당한다.
수직방향 프로파일에 대해서는 1차원 가우시안(Gaussian) 함수를 이용하여 각 데이터에 대해서 밸리드(valid) 방식으로 콘볼루션(convolution)을 수행한다. 이렇게 얻어진 데이터는 수직방향 프로파일의 저주파 성분인 평탄화 곡선(smoothing curve)가 된다.
원래의 프로파일에서 평탄화 곡선을 뺀 값이 DoG(Difference of Gaussian)로 산출된다(도 6의 (c) 참조). DoG는 수직방향 프로파일에서 고주파 성분을 추출한 결과가 되며, 용접선 유무 판단의 기준이 된다.
라인 인지부(113)는 DoG 값이 소정의 임계치(예. 5)를 기준을 초과하는지 여부를 통해 용접선 유무 판단을 한다(단계 S220). DoG 값이 소정의 임계치 N(예. 5)를 초과하는 경우 용접선이 있는 것으로 판단하게 된다.
라인 인지부(113)는 용접선이 없다고 판단한 경우에는 배관 내부 검사장비(200)가 계속해서 주행하게 한다. 이를 위해 별도의 제어신호를 출력할 수도 있다. 혹은 별도의 제어신호 출력이 없는 경우 배관 내부 검사장비(200)가 원래대로 계속 주행하도록 설정되어 있을 수도 있다.
라인 인지부(113)에서 용접선이 있다고 판단한 경우, 배관 내부 검사장비(200)를 정지시키는 제어신호(정지모드로의 설정을 위한 신호(setting=2))를 출력하여 배관 내부 검사장비(200)의 주행을 정지시킨다. 그리고 라인 위치 검출 모듈(120)을 활성화시켜 용접선 위치를 검출하는 단계로 넘어갈 수 있다(단계 S225).
도 4를 참조하면, 라인 위치 검출 모듈(120)은 라인 각도 산출부(121), 라인 위치 추정부(123), 국소영역 분석부(124), 모폴로지 연산 수행부(125), 라인 위치 검출부(126)를 포함한다. 필요에 따라 거울반사 제거부(122)를 더 포함할 수도 있다.
일반적으로 엘보(elbow)와 같은 주행환경, 장비 중심설치에 따른 특성 등으로 인해 용접선은 획득된 이미지 내에서 수평하지 않게 놓일 수도 있다. 따라서, 이러한 각도를 측정할 필요가 있어 라인 각도 산출(bead-line angle(BA) detection)을 수행한다.
라인 각도 산출부(121)는 이미지를 회전 패딩(padding)하여 DoG 값이 특정 임계값 이상인 개수를 카운팅하여 최대값을 가지는 각도를 산출한다(단계 S230).
연산속도 향상을 위해 1/25 픽셀로 다운 샘플링하여 수행할 수 있다. 도 6의 (d) 및 (e)에 예시된 것처럼, 첫번째 단계(개략 산출 단계)에서는 3도 단위로 30도 영역을, 두번째 단계(미세 산출 단계)에서는 첫번째 단계에서 산출한 최대 각도 주변으로 4도 영역을 0.25도 단위로 보다 정밀하게 측정하여 용접선 각도를 산출할 수 있다.
본 시스템에서 카메라(210) 이외에도 카메라(210)의 좌우로 광원(220) 2개가 설치될 수 있다. 광원(220)으로 인해 하부에 거울반사(specular reflection)가 발생할 수 있다. 따라서, 본 실시예에서는 거울반사를 제거하기 위해 수직방향 세기(intensity) 평균이 소정 임계치(예. 190) 이상인 구역을 0으로 만드는 거울반사 제거부(122)를 더 포함할 수 있다(단계 S235).
다음으로, 라인 위치 추정부(123)는 산출된 용접선 각도(라인 각도)에 따라 역회전하여 패딩된 이미지의 DoG 값에 대해서 상한과 하한 문턱값을 정하여 특정값 이상 및 이하인 부분에 해당하는 영역의 평균점을 찾아 용접선의 1차 위치(1st BP(Bead-line Position))를 픽셀 단위로 추정한다(단계 S240). 이는 도 6의 (c)에 도시된 것과 같이 용접선 주위 특성에 따라 용접선 중심점 전/후로 DoG 값이 'w' 모양으로 형성되는 계측 특성을 이용한 것이다.
다음으로, 국소영역 분석부(124)는 1차 추정위치에 더해 용접선 중심 전후로 발생하는 그라인딩에 의한 난반사에 기인한 오 검출을 방지하기 위해 국소영역(sub-region)을 정의하고 전체 세기(intensity)에 대한 히스토그램(histogram)을 분석하여 상위 및 하위 임계치에 대한 이중 문턱값(Double threshold)을 이용하여 국소영역에 대해 이진화된 이미지(Image Binarization)를 획득한다(단계 S245). 예를 들어, 상위 임계치는 0.7%, 하위 임계치는 1.8%로 설정될 수 있다. 그리고 국소영역은 1차 추정위치에 대해 ±n%(예. ±10%)에 해당하는 영역으로 정의될 수 있다. 도 6의 (f)를 참조하면, 용접선 주위로 좁은 영역의 이미지가 획득되었음을 확인할 수 있다.
모폴로지 연산 수행부(125)는 국소영역에 대해 모폴로지 연산(Morphological Operation)을 수행한다(단계 S250).
우선 소 영역들을 이어주는 이미지 클로즈(image close)를 수평방향 길이 n(예. 7) 기준으로 수행한다. 이후 수평방향으로 소정 개수(예. 5개)의 구역으로 객체(Blob) 를 강제적으로 나눈다(영상 분할). 이후 각 객체(Blob )의 라벨링 및 영역의 면적을 확인하여 일정 범위의 크기(예. 100~5000 size)에 해당하는 객체에 대해서만 '1'로 설정하고, 나머지 정보는 모두 '0(zero)' 값으로 설정하여 버린다(사이즈 필터링).
또한, 각 객체의 면적을 볼록성(convexity) 면적으로 나눈 값에 대해 지정된 기준(예. 0.5)으로 필터링을 실시한다(convexity 필터링). 이는 그라인딩 부분과 같이 객체의 에지(edge)가 매끄럽지 못한 부분을 용접선 검출 대상에서 제외하기 위함이다.
이후 각 객체를 포함하는 사각형의 가로방향 길이를 세로방향 길이로 나눈 면적비(area ratio)를 객체별로 산출한다. 이에 대한 최대값만 반영하여 역 회전된 이미지의 국소영역에 대해서 오 검출 인자를 제거한 객체를 찾는다(최대면적 필터링).
도 6의 (g)에는 (f)에 도시된 그레이 스케일 이미지에 대해 모폴로지 연산을 수행한 결과가 도시되어 있으며, 최종적인 베스트 용접선 성분(2차 위치(2nd BP))만 남게 됨을 확인할 수 있다.
최종적으로 라인 위치 검출부(126)는 모폴로지 연산 수행부(125)에서 찾아진 국소영역에서의 용접선 2차 위치와 1차로 추정된 위치(국소영역의 중심 픽셀 좌표), 용접선 각도 및 하드웨어 설계값(예. 카메라 FOV(Field of View))을 이용하여 회전 이전의 원본 이미지에 대한 수평방향 중심라인에 대한 용접선 위치(final BP)를 찾는다(단계 S255).
도 5의 우상단 그림에서 검은 점으로 표시된 용접선의 위치 검출 결과를 도 6의 (h)와 비교하면, 본 실시예에 따라 용접선의 중심을 정확히 검출함을 확인할 수 있다.
본 실시예에 따르면, 배관 내부 검사장비(200)의 중심부에 관경방향으로 설치된 카메라를 통해서 획득된 이미지를 전술한 알고리즘에 따라 데이터 처리하면 용접선의 유/무 판단이 가능하며 용접선이 현 FOV 내에 있을 경우에는 용접선의 중심에 대한 픽셀(Pixel) 번호 산출이 가능하다. 이렇게 얻어진 위치 정보는 장비의 검사 위치에 해당하기에 현 광학계 구성과 관경 및 카메라의 수직방향 FOV(Angle)를 이용하여 장비 대비 용접선의 상대 위치를 수 mm(예. 3 mm) 오차 수준으로 정밀 검출이 가능하다.
또한, 본 실시예에 의하면, DoG 값을 이용하여 용접선 이외에도 배관 내부와 같은 폐쇄된 공간에서 이물질 조사 및 조명에 특정한 반사 특성을 가지는 라인 형태의 대상에 대한 인지 및 위치 검출에 유용하게 활용 가능하다.
상술한 본 실시예에 따른 라인 인지 및 위치 검출 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 라인 인지 및 위치 검출 시스템 110: 라인 인지 모듈
120: 라인 위치 검출 모듈 130: 장비 제어 모듈
210: 카메라 220: 광원
230: 구동부 240: 검사부
111: 이미지 획득부 112: DoG 산출부
113: 라인 인지부 121: 라인 각도 산출부
122: 거울반사 제거부 123: 라인 위치 추정부
124: 국소영역 분석부 125: 모폴로지 연산 수행부
126: 라인 위치 검출부

Claims (10)

  1. 배관 내부를 주행하며 검사하는 장비의 중심에서 관경 방향으로 설치된 카메라로부터 획득된 이미지에 대해 소정의 데이터 처리를 통해 라인 형태 대상의 유무를 판단하는 라인 인지 모듈; 및
    상기 라인 형태 대상이 인지된 경우, 상기 라인 형태 대상의 라인 각도에 상응하여 1차 위치를 추정하고 국소영역 분석 및 모폴로지 연산을 통해 2차 위치를 추정한 후 최종적으로 상기 라인 형태 대상의 위치를 검출하는 라인 위치 검출 모듈을 포함하되,
    상기 라인 위치 검출 모듈은,
    상기 이미지를 회전 패딩하여 DoG 값이 소정 임계치 이상인 개수를 카운팅하여 최대값을 가지는 각도를 라인 각도로 산출하는 라인 각도 산출부;
    상기 라인 각도에 따라 역회전하여 패딩된 이미지의 DoG 값에 대해 정해진 상한 문턱값 이상과 하한 문턱값 이하에 해당하는 영역의 평균점을 상기 라인 형태 대상의 1차 위치로 추정하는 라인 위치 추정부;
    상기 1차 위치를 중심으로 국소영역을 정의하고, 전체 세기에 대한 히스토그램을 분석하여 상위 임계치와 하위 임계치에 대한 이중 문턱값을 이용하여 상기 국소영역에 대해 이진화된 이미지를 획득하는 국소영역 분석부;
    상기 국소영역에 대해 모폴로지 연산(Morphological Operation)을 수행하여 베스트 라인 성분을 2차 위치로 추정하는 모폴로지 연산 수행부;
    상기 2차 위치와 상기 1차 위치와 상기 라인 각도에 기초하여 회전 이전의 원본 이미지에 대한 수평방향 중심라인에 대한 라인 위치를 최종적으로 찾는 라인 위치 검출부를 포함하는 라인 인지 및 위치 검출 시스템.
  2. 제1항에 있어서,
    상기 라인 인지 모듈은,
    상기 카메라에서 촬영한 상기 배관 내부에 대한 이미지를 획득하고, 그레이 스케일로 변환하여 저장하는 이미지 획득부;
    저장된 상기 이미지에 대해 DoG(Difference of Gaussian)를 산출하는 DoG 산출부; 및
    상기 DoG가 소정 임계치를 초과하는 경우 상기 라인 형태 대상이 있는 것으로 판정하는 라인 인지부를 포함하는 라인 인지 및 위치 검출 시스템.
  3. 제2항에 있어서,
    상기 DoG 산출부는, 상기 이미지에 대해 수평방향 평균을 구하고, 이를 수직방향으로 프로파일(profile)을 구한 후, 상기 프로파일에 대해 1차원 가우시안 함수를 이용하여 콘볼루션을 수행하여 평탄화 곡선을 획득하고, 상기 프로파일에서 상기 평탄화 곡선을 차감하여 상기 DoG를 산출하는 라인 인지 및 위치 검출 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 모폴로지 연산 수행부는,
    수평방향으로 소정 개수의 구역으로 객체(blob)를 분할하고,
    일정 범위의 크기에 해당하는 객체에 한하여 '1'로 설정하고 나머지는 '0'으로 설정하는 사이즈 필터링을 수행하며,
    상기 각 객체의 면적을 볼록성 면적으로 나눈 값에 대해 지정된 기준으로 필터링을 수행하고,
    상기 각 객체를 포함하는 사각형의 가로방향 길이를 세로방향 길이 로 나눈 면적비(area ratio)를 객체별로 산출하여 최대값만을 반영함으로써 상기 베스트 라인 성분을 찾아내는 라인 인지 및 위치 검출 시스템.
  6. 제1항에 있어서,
    상기 라인 각도 산출부는,
    상기 이미지를 다운 샘플링한 후 제1 각도 단위로 최대값 각도를 개략 산출하는 제1 단계 이후 상기 제1 단계에서 산출된 최대값 각도를 중심으로 상기 제1 각도보다 작은 제2 각도 단위로 최대값 각도를 미세 산출하는 제2 단계를 수행하는 라인 인지 및 위치 검출 시스템.
  7. 제1항에 있어서,
    수직방향 세기(intensity) 평균이 소정 임계치 이상인 구역을 0(zero)으로 만들어 상기 카메라의 좌우에 설치된 광원에 의해 발생되는 거울반사를 제거하는 거울반사 제거부를 포함하는 라인 인지 및 위치 검출 시스템.
  8. 제1항에 있어서,
    상기 라인 인지 및 위치 검출 시스템은 배관 내부를 주행하며 검사하는 장비에 탑재되는 라인 인지 및 위치 검출 시스템.
  9. 제1항 내지 제3항, 제5항 내지 제8항 중 어느 한 항에 있어서,
    상기 라인 형태 대상은 상기 배관 내부의 용접선인 라인 인지 및 위치 검출 시스템.
  10. 삭제
KR1020160058573A 2016-05-13 2016-05-13 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법 KR101802207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160058573A KR101802207B1 (ko) 2016-05-13 2016-05-13 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160058573A KR101802207B1 (ko) 2016-05-13 2016-05-13 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170127847A KR20170127847A (ko) 2017-11-22
KR101802207B1 true KR101802207B1 (ko) 2017-11-29

Family

ID=60810142

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160058573A KR101802207B1 (ko) 2016-05-13 2016-05-13 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101802207B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102653192B1 (ko) * 2021-07-22 2024-04-01 한국생산기술연구원 도장 파이프 길이 인식 장치 및 방법
KR102587921B1 (ko) * 2021-08-25 2023-10-10 한국로봇융합연구원 로봇의 배관 검사 방법
CN116009559B (zh) * 2023-03-24 2023-06-13 齐鲁工业大学(山东省科学院) 一种输水管道内壁巡检机器人及检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015137977A (ja) * 2014-01-23 2015-07-30 株式会社Ihi 配管撮像装置とこれにより得た画像データの画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015137977A (ja) * 2014-01-23 2015-07-30 株式会社Ihi 配管撮像装置とこれにより得た画像データの画像処理装置

Also Published As

Publication number Publication date
KR20170127847A (ko) 2017-11-22

Similar Documents

Publication Publication Date Title
US7012701B2 (en) Measuring for device for contactless measurement of tires
Hautiere et al. Automatic fog detection and estimation of visibility distance through use of an onboard camera
US8873837B2 (en) Image-based crack detection
US8121400B2 (en) Method of comparing similarity of 3D visual objects
CN109871745B (zh) 识别空车位的方法、系统及车辆
US20130155061A1 (en) Autonomous pavement condition assessment
KR101802207B1 (ko) 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법
JP5827508B2 (ja) 車両用障害物検出装置及びそれを用いた車両
WO2017113805A1 (zh) 列车车号和车型识别方法和系统及安全检查方法和系统
KR20150112656A (ko) 카메라 캘리브레이션 방법 및 그 장치
CN112701060B (zh) 半导体芯片焊线的检测方法及装置
KR102027986B1 (ko) 비전 카메라를 이용한 비드 인식 장치 및 그 방법
TWI641516B (zh) 車道線偵測方法
EP2985566B1 (en) Data generation method and data generation apparatus
KR101738034B1 (ko) 개선된 차선 인식 방법
JP2014020926A (ja) 表面欠陥検査装置及び表面欠陥検査方法
CN115752969A (zh) 一种铝箔封口密封性检测方法及系统和设备
KR20180115645A (ko) 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법
CN114331954A (zh) 排除反光干扰的缺陷检测方法、电子设备及存储设备
CN103308536B (zh) 一种x射线罐头检测装置
US11562503B2 (en) Online evaluation for camera intrinsic parameters
JP7159790B2 (ja) 架線摩耗検出装置
CN113763376B (zh) 传送带偏移检测方法、装置、计算机设备及存储介质
CN113781407A (zh) 螺钉检测方法、装置和计算机可读存储介质
CN112767425A (zh) 一种基于视觉的车位检测方法及装置

Legal Events

Date Code Title Description
GRNT Written decision to grant