KR101060995B1 - 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템 - Google Patents

배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템 Download PDF

Info

Publication number
KR101060995B1
KR101060995B1 KR1020080108445A KR20080108445A KR101060995B1 KR 101060995 B1 KR101060995 B1 KR 101060995B1 KR 1020080108445 A KR1020080108445 A KR 1020080108445A KR 20080108445 A KR20080108445 A KR 20080108445A KR 101060995 B1 KR101060995 B1 KR 101060995B1
Authority
KR
South Korea
Prior art keywords
pipe
shadow
landmark
exploration robot
robot system
Prior art date
Application number
KR1020080108445A
Other languages
English (en)
Other versions
KR20100041641A (ko
Inventor
최혁렬
이정섭
김도완
노세곤
문형필
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Publication of KR20100041641A publication Critical patent/KR20100041641A/ko
Application granted granted Critical
Publication of KR101060995B1 publication Critical patent/KR101060995B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/005Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators using batteries, e.g. as a back-up power source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162Mobile manipulator, movable base with manipulator arm mounted on it
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16LPIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L55/00Devices or appurtenances for use in, or in connection with, pipes or pipe systems
    • F16L55/26Pigs or moles, i.e. devices movable in a pipe or conduit with or without self-contained propulsion means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템에 관한 것으로서, 더욱 상세하게는 전방 조명장치를 이용하여 곡관의 그림자 영역을 발생시키고, 전처리 및 랜드마크 인식 과정을 거쳐 랜드마크로 결정된 영상을 기 설정된 랜드마크 분류법에 따라 분류함으로써, 현재 배관탐사 로봇이 위치한 지점 및 배관 형상을 갱신할 수 있는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템을 제공하기 위한 것이다.
그 기술적 구성은 배관 내부를 이동 및 탐사하는 배관탐사 로봇시스템에 있어서, 상기 카메라에 부착된 발광장치로 구성된 전방 조명장치를 포함하며, 상기 카메라가 상기 전방 조명장치에 의해 형성된 그림자를 촬영하고, 상기 그림자만을 추출하기 위해 이진화, 스레쉬홀딩(Thresholding), 모폴로지 닫힘 및 열림 연산을 실시하며, 라벨링을 통해 1 개 이상의 영역들로 상기 그림자를 클러스터링하고, 랜드마크가 아닌 그림자를 제거하는 면적 필터링을 실시하며, 선택 라벨의 중심점을 추출하여 관로진행방향에 대한 랜드마크 정보를 추출하고, 라벨링 및 면적 필터링을 통해 구해진 그림자 영역이 실제 배관 요소의 그림자인지를 확인하는 패턴 매칭을 실시하여 랜드마크로 결정된 배관 요소는 랜드마크 타입을 결정하여 배관망 정보를 갱신하는 것을 특징으로 한다.
랜드마크, 모폴로지 연산, 라벨링, 면적 필터링, 배관, 로봇, 탐사

Description

배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템{IN-PIPE ROBOT INSPECTION SYSTEM BASED ON THE LANDMARK RECOGNITION METHOD USING SHADOW OF INNER PIPELINE}
본 발명은 배관탐사 로봇시스템에 관한 것으로, 특히 전방 조명장치를 이용하여 그림자를 형성시켜 배관 형상에 대한 랜드마크를 인지하고, 영상처리를 통해 현재 위치를 추정 및 배관 지도를 작성할 수 있는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템에 관한 것이다.
일반적으로, 산업 기반시설의 구조물 중 하나인 배관(Pipeline)은 가스 및 석유 등과 같은 각종 에너지 자원을 이송하여 적재 적소에 고루 분배하여 주는 대표적인 시설이다.
이와 같은 각종 배관들은 마치 인체 내의 혈관처럼 국토 곳곳에 분포하여 각종 도시기반 시설 및 공장시설로 석유/가스등과 같은 에너지자원을 끊임없이 공급하여 주는 핵심 기반시설로 자리 잡고 있고, 석유화학공장과 같은 대규모 플랜트에서의 파이프라인은 각종 화학물질을 정제 및 처리할 수 있도록 이송시켜 주는 주요시설로 이용되고 있다.
여기서, 배관의 설비 설치 후 일정기간이 지남에 따라 수분 및 각종 화학물질에 의한 부식, 외부 환경에 의한 작용 등으로 배관이 파손되는 경우가 발생할 수 있다.
그리고, 배관의 파손에 의해 내부물질이 외부로 누출되는 문제점이 발생할 수 있고, 석유 및 화학물질의 누출은 심각한 환경오염을 야기할 수 있으며 가스의 누출은 대형 가스 폭발 사고 등의 원인이 될 수 있으므로, 일정 기간이 경과한 배관은 주기적인 검사 및 교체를 요구하게 된다.
여기서, 사업 현장에서 쓰이는 각종 배관들은 그 설비의 특성상 지면 아래에 매설되거나 플랜트 내부에서 복잡하게 얽히는 등의 문제로 문제점으로 인해 검사를 위한 작업인원의 접근이 어려운 경우가 종종 발생한다. 이와 같은 문제점을 해결하기 위해 무인 탐사로봇을 이용한 배관 검사 방법에 대한 많은 연구가 진행되어 왔다.
최근에 많은 연구실 및 기업체에서는 자체적인 파워소스를 탑재하고 배관 내부를 자율적으로 탐사할 수 있는 배관 로봇의 개발에 노력을 기울이고 있다(A. A. F. Nassiraei 외 4명 "Concept and Design of A Fully Autonomous Sewer Pipe Inspection Mobile Robot" IEEE Int. Conf. Robotics and Automation, 2007, pp. 136-143, C. Birkenhofer 외 3명“Compliant Motion of a Multi-segmented Inspection Robot,”IEEE/RSJ Int. Conf. Intelligent Robots, Systems, 2005, pp. 3353-3358)
이와 같은 자율주행 배관로봇이 배관 내부를 탐사하기 위해서는 정확한 자기 위치 추정이 이루어져야 한다. 일반적으로 탐사를 요구하는 배관은 지면 아래에 매설되거나 대부분 강철로 만들어져 있으므로, GPS(Global Positioning System)에 의한 자기위치 추정이 불가능하다. 따라서, 배관 로봇은 배관 내부의 각종 환경 정보 및 주행 정보를 조합하여 자신의 위치를 추정하여야 한다.
많은 모바일 로봇의 경우와 마찬가지로 배관탐사 로봇에게 있어서 자기 위치 추정을 위한 가장 확실한 방법은 랜드마크 인식에 의한 자기 위치 추정이라 할 수 있다. 이를 위하여 배관 내 환경에서 랜드마크로서 사용가능한 배관 요소를 정의할 필요가 있다. 일반적으로 배관은 직관, 곡관 및 분기관으로 이루어 지게 되는데, 곡관 및 분기관은 그 형상적 특징으로 인하여 현재위치를 알 수 있는 중요한 랜드 마크로 사용이 가능하다.
배관 내 곡관 및 분기관을 인식하기 위한 대표적인 방법들로서, 하기 문헌 1 내지 5에 개시되어 있는 카메라로부터 받은 영상의 비전처리를 이용한 배관인식 방법, 하기 문헌 6에 개시되어 있는 초음파 센서를 이용한 배관인식방법 등을 들 수 있다.
이 중 카메라로부터 얻어온 영상의 비전처리를 통한 배관 인식 방법은 배관 인식을 위한 모든 진행과정을 소프트웨어적으로 처리하므로 부가적인 센서의 설치를 요구하지 않는 매우 효과적인 방법이라 할 수 있다.
[문헌 1] O. Duran, K. Althoefer and L. D. Seneviratne,“Pipe Inspection Using a Laser-Based Transducer and Automated Analysis Techniques,” IEEE/ASME Trans. Mechatronics, vol. 8, No. 3, pp. 401-409, Sep. 2003.
[문헌 2] V. Hlavac, K. G. Jeffery and J. Wiedermann,“On Vision-Based Orientation Method of a Robot Head in a Dark Cylindrical Pipe,”in Proc. Conf. Current Trends in Theory and Practice of Informatics, Milovy, 2000.
[문헌 3] A. Ahrary, L. Tian, S. Kamata and M. Ishikawa,“An Autonomous Sewer Robots Navigation based on Stereo Camera Information,”in Proc. IEEE Int. Conf. Tools with Artificial Intelligence, pp. 628-633, 2005.
[문헌 4] M. Kolesnik and H. Streich, “Visual Orientation and Motion Control of MAKRO/Adaptation to the Sewer Environment,”in Proc. Int. Conf. Simulation of Adaptive Behavior, Edinburgh, 2002.
[문헌 5] O. Duran, K. Althoefer and L. D. Seneviratne, “Automated Sewer Pipe Inspection through Image Processing,”in Proc. IEEE Int. Conf. Robotics and Automation, pp. 2551-2556, 2002.
[문헌 6] F. Gomez, K. Althoefer and L. D. Seneviratne,“An ultrasonic profiling method for sewer inspection,”in Proc. IEEE Int. Conf. Robotics and Automation, pp. 4858-4863, 2004.
이와 같은 이유로 많은 연구실에서 영상처리를 통한 배관 내 랜드마크 인식을 위한 방법들을 개발하여 왔다. 그러나 지금까지 제시된 방법들은 하수관로 탐사만을 위한 랜드마크 인식방법이 주류를 이루고 있다.
하지만, 이들 방법은 일반적으로 배관 내 좌, 우, 상단 등의 고정된 위치에 존재하는 맨홀 등을 랜드마크로 이용하므로, 도시가스 공급배관과 같이 입체적으로 형성되어 다양한 각도로 구부러지는 배관의 랜드마크 인식 시스템에는 적용하기가 불가능하다.
배관 내부를 자율적으로 탐사하는 로봇에게 있어 자신의 정확한 현재위치를 추정하고 이동 경로를 파악하는 일은 매우 중요하다. 로봇이 배관 내부를 탐사함에 따라 휠 엔코더에 의한 이동거리 파악 방법은 이동 간 휠의 미끄러짐에 따른 많은 오차를 내포하고 있으며, 이를 해결하기 위하여 배관 내 곡관 및 분기관을 랜드마크로 인식하고 관망 지도와의 비교를 통하여 자기 위치를 추정하는 방법을 사용할 수 있다.
또한, 본 출원인이 출원한 출원번호 제2007-0074014호에 게재된 곡관 주행을 위한 클러치기반의 선택적 구동방식 및 등록번호 제10-0784932호 및 등록번호 제 10-0467792호에 게재된 분기관 주행을 위한 차동 구동 방식을 가지는 배관 내부 검사용 이동 로봇의 경우 정확한 조향을 위하여 곡관 및 분기관의 정확한 진행 방향을 파악해야 한다.
여기서, 조작자에 의해 조종되는 배관탐사 로봇과는 달리 스스로 배관 내부를 탐사하는 배관 로봇은 계획된 경로를 따라가기 위하여 지속적으로 정확한 자신의 현재 위치 파악 및 이동 경로를 파악할 수 있어야 한다.
이를 위하여 배관 내 곡관 및 분기관을 랜드마크로 인식하고 배관망 지도상에 갱신을 해야 할 필요성이 요구되나, 현재까지 이에 대한 개발된 기술이 전무하여 기술 개발이 필요한 실정이다.
본 발명은 상기한 문제점을 해결하기 위하여 안출한 것으로, 배관 내 곡관 및 분기관을 랜드마크로 인식하고 이들 배관 요소의 정확한 진행 방향을 알아내기 위해, 배관 탐사 로봇의 전방 조명에 의해 발생하는 곡관 및 분기관의 그림자를 이용 및 영상처리를 실시함으로써 현재 위치를 추정할 수 있는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 로봇 전방의 조명장치를 이용하여 곡간 및 분기관에 특정 형상의 그림자를 발생시키고, 이를 전방 카메라로 촬영한 뒤, 영상처리를 통하여 곡관 및 분기관을 랜드마크로 인식하여 배관망 지도 정보를 갱신할 수 있는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템을 제공하는 데 있다.
본 발명의 또 다른 목적은 간단한 영상처리를 통하여 랜드마크를 인식할 수 있으므로, 배관 요소를 파악하고 분석하기 위한 부가적인 센서의 장착을 요구하지 않고, 영상처리에 대한 연산처리량을 줄일 수 있는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템을 제공하는 데 있다.
상기한 바와 같은 목적을 달성하기 위하여 본 발명은 전방 및 후방에 설치되 어 견인력 및 추진력을 발생시킴과 동시에 분기관에서 각 구동모듈의 각속도 차를 이용하여 조향이 가능한 2 개의 구동모듈, 독립적인 컨트롤 장치 및 전원 공급 장치인 배터리를 각각 탑재하는 제어 모듈 및 배터리 모듈, 각 모듈 간 견인력 및 추진력을 전달하며 비틀림을 방지하고 곡관 또는 분기관의 배관 내 형상에 따라 변형되어 배관 내 주행이 가능한 링크 모듈, 전방에 설치된 구동모듈의 중심에 부착되어 배관 내의 영상을 촬영하는 카메라를 포함하여, 배관 내부를 이동 및 탐사하는 배관탐사 로봇시스템에 있어서, 상기 카메라에 부착된 발광장치로 구성된 전방 조명장치를 포함하며, 상기 카메라가 상기 전방 조명장치에 의해 형성된 그림자를 촬영하고, 상기 그림자만을 추출하기 위해 이진화, 스레쉬홀딩(Thresholding), 모폴로지 닫힘 및 열림 연산을 실시하며, 라벨링을 통해 1 개 이상의 영역들로 상기 그림자를 클러스터링하고, 랜드마크가 아닌 그림자를 제거하는 면적 필터링을 실시하며, 선택 라벨의 중심점을 추출하여 관로진행방향에 대한 랜드마크 정보를 추출하고, 라벨링 및 면적 필터링을 통해 구해진 그림자 영역이 실제 배관 요소의 그림자인지를 확인하는 패턴 매칭을 실시하여 랜드마크로 결정된 배관 요소는 랜드마크 타입을 결정하여 배관망 정보를 갱신하는 것을 특징으로 한다.
이상에서 설명한 바와 같이 상기와 같은 구성을 갖는 본 발명은 특수하게 설계된 전방의 조명장치에 의해 랜드마크로 인식하고자 하는 곡관 및 분기관에 특정 그림자 영역을 발생시킨 뒤, 이를 전방 탐사 카메라를 통해 촬영하여 영상처리가 용이하도록 전처리 과정, 패턴 매칭 등을 통한 랜드마크의 인식과정을 진행함으로 써, 기 설정된 배관망 지도와 비교하여 자신의 위치를 추정할 수 있으며, 배관망 지도가 없더라도 기 저장된 랜드마크 타입의 분류를 통해 배관망 지도를 작성할 수 있고, 배관탐사 로봇의 지속적인 자기위치 추정 및 계획된 탐사 임무 수행이 가능하며, 무인 자율주행 배관탐사 로봇의 구현이 가능하여 배관 기반의 인프라 시설의 유지 및 보수가 용이하며, 부가적인 센서의 장착을 요구하지 않으면서도 간단한 영상처리를 통해 시스템의 연산처리과정에 대한 부담을 줄일 수 있는 등의 효과를 거둘 수 있다.
본 발명은 배관 내부를 탐사하는 배관탐사 로봇에 있어서, 전방 조명장치로 발생된 그림자를 CCD 카메라를 이용하여 촬영하며, 배관 내부 이미지의 영상처리를 통해 곡관의 방향을 인식하는 방법을 특징으로 하며, 배관탐사 로봇이 곡관의 진입부에 근접함에 따라 조명에 의해 곡관이 구부러지는 방향으로 그림자가 생성되기 때문에, 곡관의 진행 방향을 찾아내기 위해 그림자 영역을 영상처리를 실시하여 카메라의 기준축과 곡관의 그림자 영역 사이의 각도 및 거리를 추출하며, 배관탐사 로봇의 자세에 대한 곡관의 진행 방향 및 거리를 산출하고, 배관탐사 로봇 스스로 자신의 위치를 추정함과 동시에 배관에 대한 정보를 수집하여 갱신시킬 수 있도록 이루어진다.
먼저 본 발명의 개념에 대해 설명한다.
본 발명에서 개발된 배관 내부 검사용 로봇은 제어 모듈과 배터리 모듈을 장착함으로써 독립된 제어 시스템과 전원 공급 장치를 갖추어 스스로 배관 내부를 탐사하고 배관 지도를 작성할 수 있는 주행 시스템의 기반을 마련하고, 배관 내 한정된 공간 내에서 최대한의 적재공간을 가지는 중간 모듈을 설치하여 비파괴 검사 장비 등 각종 검사 및 시험 장비를 탑재하고 배관 내부를 원활히 주행할 수 있게 하였다.
또한 각 모듈 간 견인력 및 추진력을 전달하며 비틀림을 방지하고 곡관 및 분기관 등의 배관의 형상에 따라 적절히 변형되는 링크 모듈을 설치하여 목적에 따라 추가 장착 및 변형이 가능한 모듈형 배관 내부 검사용 로봇을 개발하였다.
케이블에 의해 제한사항이 발생하는 기존의 배관 내부 검사용 이동로봇의 한계점을 극복하여 제어 모듈과 배터리 모듈을 가지고 독립적으로 배관 내부 탐사가 가능하며 목적에 따라 추가적인 시험 장비의 장착 및 변경이 가능하다.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참고로 하여 상세하게 설명한다.
도 1은 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇의 전체 사시도이다. 도 1에 도시된 바와 같이, 모듈화된 구조를 가지는 가스배관 탐사용 로봇으로, 전 후 2 개의 구동모듈(10, 40)과 전원 공급을 위한 배터리 모듈(30), 제어 및 영상 저장을 위한 제어 모듈(20)로 이루어져 있다.
여기서, 2 개의 구동모듈(10, 40)은 전방 및 후방에 설치되어 견인력 및 추진력을 발생시킴과 동시에 분기관에서 각 구동모듈(10, 40)의 각속도 차를 이용하여 조향이 가능하다.
또한, 본 발명에 따른 로봇은 각 모듈 간 견인력 및 추진력을 전달하며 비틀림을 방지함과 동시에 곡관 및 분기관 등 배관 내 형상에 따라 유연하게 변형되어 원활한 배관 내 주행이 가능하게 하여 주는 링크 모듈을 가진다.
그리고, 배관 내 주행을 위한 구동 모듈(10, 40)은 벽면 압착을 위한 스프링 및 링크 매커니즘으로 이루어진 중심축을 중심으로 120도 간격으로 균일하게 배치된 3 개의 구동 유닛(Unit a, b, c)으로 구성되어 있다.
여기서, 상기 구동 모듈(10, 40)은 본 발명자가 출원한 출원번호 제10-2006-0065530호의 배관 내부 검사용 이동로봇에 개시된 바와 같이, 몸체부, 상기 몸체의 축선을 중심으로 방사상으로 120°각도를 이루며 상호 배치되어 동력을 발생시키는 3개의 구동부, 상기 몸체와 상기 각 구동부 사이에서 상기 몸체와 상기 각 구동부를 연결하는 복수의 링크부 및 전방 감시용 CCD 카메라(50)를 탑재하며, 각기 전방 및 후방에 배치되어 진다.
본 발명에 따른 배관탐사 로봇은 랜드마크, 즉 곡관 및 분기관을 빛으로 조사하여 발생하는 특정 형상의 그림자를 이용하기 때문에, 그림자를 형성시키기 위한 조명장치(60)를 더 포함한다.
여기서, 조명장치(60)는 상기 카메라(50)의 후방에 설치되어 상기 카메라(50)의 시야를 가리지 않도록 설치되며, 상기 카메라(50)와 일정 높이 차를 가지 고 설치되어 배관 내 그림자를 형성할 수 있도록 한다.
그리고, 상기 제어 모듈(20) 내 메모리에는 곡관 및 분기관을 빛으로 비추었을 때의 랜드마크 샘플 이미지가 미리 저장되어 있고, 상기 카메라(50)로 관내를 이동하면서 상기 샘플 이미지와 매칭되는 그림자 형상이 촬영되면, 촬영된 그림자 형상과 기 저장된 샘플 이미지와 비교하여 현재 이동하고 있는 곡관 및 분기관의 형상을 파악할 수 있도록 이루어진다.
제어모듈(20) 내에 포함된 랜드마크 인식방법은 하기에서 설명하기로 한다.
도 2는 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇의 회전을 도시한 도이다. 도 2의 (가)는 차동 주행을 이용한 회전을 도시하고, (나)는 선택 주행을 이용한 회전을 도시한다.
(가)에서는 차동 주행 알고리즘이 적용된 회전을 배관탐사 로봇이 실시하며, 3 개의 구동 모듈 각각의 속도가 제어되고, 각 속도 차에 의해 로봇의 조향(Steering)이 가능해진다.
(나)는 클러치 기반의 선택 주행 알고리즘이 적용된 회전을 배관탐사 로봇이 실시하며, 직관 및 곡관과 같이 단순 직선 주행만을 필요로 하는 배관 내에서 3 개로 구성된 구동 유닛 중 하나만을 작동시키고, 나머지는 공회전 상태로 유지하여 전력 소모를 최소화한다.
상기와 같은 두 가지 알고리즘을 적용하기 위해서, 배관탐사 로봇이 현재 어떠한 형상의 배관을 지나고 있는지, 배관의 진행 방향이 어떠한 쪽으로 구부러져 있는지에 대한 정확한 정보를 알아야 한다.
또, 배관탐사 로봇이 관로 내부 탐사를 진행함에 따라, 바퀴의 미끄러짐에 의한 이동 거리 오차가 발생되게 되는데, 이에 따른 정확한 탐사거리 측정 및 자기 위치 측정이 어려워질 수 있다.
따라서, 이를 극복하기 위해 미리 주어진 배관망 지도와 랜드마크를 비교하여 자기위치 추정방법을 사용할 수 있는데, 이를 위해 랜드마크로 사용가능한 특징을 지니는 배관 요소를 결정할 필요가 있다.
여기서, 단조로운 직관이 대부분을 이루는 배관 내 환경에서 도 3과 같은 분기관 및 곡관의 형상적 특징은 배관 내 자기위치 추정방법을 위한 좋은 랜드마크의 요소로 작용가능하다.
덧붙여서, 배관탐사 로봇이 곡관 및 분기관을 통과할 때, 회전 반경에 따른 각 바퀴의 각속도 차이, 차동 조향 알고리즘에 따른 방향 전환 등에 따라 각 배관 요소 내의 이동 간 이동거리 측정에 오차가 발생할 수 있다.
이때, 배관탐사 로봇이 탐사하게 되는 각 배관 요소는 규격 배관이 사용되므로, 미리 주어진 이들 배관의 크기 정보를 이용하여 배관 내 로봇의 이동 거리를 미리 추정할 수 있다.
따라서, 정확한 곡관 및 분기관의 위치를 파악하고 진행 방향을 측정해내는 기술을 본 발명에서는 랜드마크 인식 시스템을 이용한다.
배관탐사 로봇이 곡관 및 분기관을 랜드마크로 인식하기 위해서, 3 단계의 과정을 거치게 된다.
첫째, 배관탐사 로봇이 관로 내부 탐사를 시작하게 됨에 따라, 로봇은 카메 라(50)로 촬영한 배관 내 영상에서 그림자 영역의 유, 무를 체크하는데, 그림자 영역은 배관탐사 로봇이 랜드마크에 접근하게 됨에 따라 특별히 설계된 로봇 전방의 조명장치(60)에 의해 발생하게 되어 있다.
둘째, 배관탐사 로봇이 랜드마크의 그림자를 인식하게 되면, 이 그림자 영상으로부터 랜드마크 요소인 배관의 구부러지는 진행방향정보를 추출하고, 각 배관 요소의 타입을 결정하게 된다.
셋째, 상기 과정을 거쳐 얻어진 정보로부터 배관 내 배관탐사 로봇이 자신의 위치를 추정하고, 이를 배관 지도 정보 상에 갱신(업데이트)한다.
도 4의 (가)는 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇이 곡관에 접근하는 도이며, (나)는 배관탐사 로봇에 일반적인 발광 시스템이 적용된 경우, 카메라(50)로 관찰되는 곡관의 내부를 도시한 도이며, (다)는 배관탐사 로봇에 본 발명에 따른 발광 시스템이 적용된 경우, 카메라(50)로 관찰되는 곡관의 내부를 도시한 도이다.
여기서, (나)와 같은 영상이 얻어지는 경우, 배관탐사 로봇은 영상처리를 이용하여 배관 내 곡관의 구부러지는 방향에 대한 정보를 얻기에는 많은 어려움이 따른다.
따라서, 곡관 및 분기관의 진행 방향을 분석하기 용이하도록, 이들 진행 방향에 의도적으로 (다)와 같이 선명한 그림자 형상이 발생되게 하며, 이를 위해 특수하게 설계된 전방 조명장치(60)가 배관탐사 로봇에 장착되어 있고, 배관탐사 로봇은 그림자 영역의 인식 및 분석을 통해 곡관 및 분기관의 정확한 진행 방향을 측 정해낼 수 있다.
도 5는 본 발명에 따른 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇에 적용된 전방 조명장치를 도시한 도이다. 도 5에 도시된 바와 같이, 영상 카메라(50)를 둘러싸는 형태의 32 개의 고휘도 LED로 이루어져 있다.
이러한 원형 배열 LED 조립체의 반경은 선명한 그림자 형상을 발생시키기 위해, 배관탐사 로봇의 크기가 허용하는 최대의 반경으로 이루어져 있으며, 각각의 LED는 원주를 중심으로 외부 방향에 위치한 배관의 벽면을 비추도록 구비된다.
도 6은 도 5에 적용된 전방 조명장치가 비추는 부분과 카메라가 촬영하는 부분을 도시한 도이다. 도 6에 도시된 바와 같이, 배관탐사 로봇이 곡관 및 분기관에 접근함에 따라, 구부러지는 방향에 위치한 LED 조립체로 이루어진 전방 조명장치(60)와 카메라(50)의 높이 차에 의해 카메라(50)는 진행방향에 발생되는 그림자를 내려다볼 수 있게 된다.
또한, 각각의 LED 조립체인 전방 조명장치(60)는 15 도(°)의 발광 각도를 지니므로, 서로 반대편에 위치한 LED 조립체는 이들 그림자의 형성에 방해를 주지않게 된다.
도 7은 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템에 적용된 영상처리과정을 도시한 흐름도이고, 도 8은 도 7에 적용된 전처리 과정을 도시한 상세히 도시한 도이며, 도 9는 도 7에 적용된 랜드마크 인식 과정을 상세히 도시한 도이다.
우선, 본 발명에 따른 배관탐사 로봇이 전방 조명장치(60)를 이용하여 랜드마크 내부의 진행 방향에 대한 특정 그림자를 형성하게 되면(S10), 전방 카메라(50)가 이를 영상으로 촬영하게 된다(S20).
그리고 나서, 컬러영상은 불필요한 노이즈 및 연산량을 발생시킬 수 있으므로, 그림자 영상만을 추출하기 위해 본 분야에서 공지된 이진화, 스레쉬홀딩(Thresholding)(S31), 모폴로지 닫힘 및 열림 연산(S33, S35)을 실시한다.(강동중, 하종은, 디지털 영상처리(Digital Image Processing), 사이텍미디어, 2005, pp. 218-243)
이와 같이 전처리 과정이 완료되면(S30), 랜드마크 인식과정을 실시하는데(S40), 이는 그라스 파이어(Grass Fire) 알고리즘(Handbook of Machine Vision, 3rd ed., Wiley-VCH Co., Alexander Hornberg, 2006, pp. 583-586)을 이용한 라벨링(S41), 배관 내 얼룩, 로봇 자신의 그림자 영역 등을 제거하는 면적 필터링(S43), 선택 라벨의 중심점 추출(S45), 관로진행방향에 대한 랜드마크의 정보를 추출(S47), 라벨링 및 면적 필터링을 통해 구해진 그림자 영역이 실제 배관 요소의 그림자인지를 확인하는 패턴 매칭(S49)이 실시된다.
그리고, 패턴 매칭을 통해 최종적으로 랜드 마크로 결정된 배관 요소는 캡쳐된 패턴의 형상과 수량에 따라 랜드마크 타입을 결정하게 되며(S50), 랜드마크 타입에 따라 배관 정보를 배관망 지도에 갱신하게 된다(S60).
본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템에 적용된 방법들은 하기에서 상세히 설명한다.
도 10은 본 발명에 따른 전방 조명장치로 그림자를 형성시키고, 카메라(50)를 이용하여 촬영한 곡관 및 분기관의 그림자 영역 및 전처리 과정을 거친 그림자 영역을 도시한 도이다. 도 10의 (가)는 전처리 과정을 거치기 전, (나)는 전처리 과정을 거친 후의 그림자 영역이 도시된다.
여기서, 전방 조명장치(60)에 의해 발생된 곡관 및 분기관의 그림자 영역의 인식을 위해, 패턴 매칭 방법이 이용되었다.
그리고, 카메라(50)로부터 받은 배관 내 컬러 영상은 영상 처리를 실시하는데 있어서, 불필요한 컬러 정보 및 각종 노이즈를 포함할 수 있고, 이러한 불필요한 데이터는 과도한 연산 처리를 유발하므로, 영상처리의 효율을 낮출 수 있다.
따라서, 데이터의 간략화를 위해 전처리 과정을 실시하는데, 전처리 과정은 그림자 영상만을 추출하기 위한 본 분야에서 공지된 이진화 및 스레쉬홀딩(Thresholding), 노이즈 감소를 위한 모폴로지 열림 및 닫힘 연산(Mopology opening and closing operation)으로 이루어진다.
한편, 전처리 과정이 완료된 그림자 영역의 이미지는 라벨링을 통해 1 개 이상의 영역들로 클러스터링을 실시하는데, 이러한 라벨링은 하기 3 단계를 거친다.
첫째, 이미지 영상의 각 요소를 클러스터링하고, 둘째, 각 요소에 고유 ID를 할당하며, 셋째, 각 요소의 크기를 측정하며, 본 발명에서는 라벨링을 위하여 그라스 파이어(Grass Fire) 알고리즘(Handbook of Machine Vision, 3rd ed., Wiley-VCH Co., Alexander Hornberg, 2006, pp. 583-586)을 이용하며, 이러한 알고리즘은 도 11에 도시되고, 도 12에서는 라벨링이 진행되는 순서가 도시된다.
그리고 나서, 면적 필터링이 진행되는데, 라벨링이 완료된 이미지로부터 라벨의 ID에 따른 1 개 이상의 그림자 영역을 얻을 수 있고(ID1~ID5), 이러한 그림자 영역에는 랜드마크 요소에 의해 발생된 그림자(ID5) 이외의 배관 내 얼룩, 로봇 자신의 그림자 영역(ID1-ID4) 등이 포함될 수 있다.
이러한 경우, 규격 배관 내에서 곡관 진입부의 일정 거리에서 발생하는 이상적인 그림자 영역 샘플의 면적을 이미 알고 있으므로, 이 정보를 이용하여 라벨링 된 영역 중 샘플 이미지의 그림자 영역과 가장 유사한 라벨을 찾아낸 후, 나머지 라벨은 소거한다.
또한, 직관에서 중심 영역은 광원이 닿지 않아 발생되는 그림자 영역이 위치하고 있으므로, 화면 중심으로부터 반경 60 픽셀 영역 내의 라벨은 크기와 관계없이 모두 제거한다.
그리고 나서, 면적 필터링이 완료된 라벨영역의 중심점을 찾는데, 카메라(50)로부터 받은 영상에 대해 곡관 및 분기관의 진행 방향이 위치하는 지점을 찾아내기 위해 각 요소의 그림자 영역의 중심 좌표를 산출한다.
여기서, 그림자 영역의 중심 좌표(xavg, yavg)는 라벨링 영역의 무게중심이므로, 하기 수학식 1 및 수학식 2를 이용하여 구할 수 있다.
Figure 112008076198654-pat00001
Figure 112008076198654-pat00002
여기서, xavg와 yavg는 라벨링된 영상의 구성 픽셀의 가로와 세로 영상좌표를 나타내며, n과 m은 n×m의 해상도를 갖는 라벨링 영역의 가로 총 픽셀 수 및 세로 총 픽셀 수를 의미하고, A는 라벨링 영역의 면적을 의미하며, B[i,j]는 이진 바이너리 함수로서 좌표(i,j)의 픽셀값이 0(검정색)이면 0의 값을 갖고, 0이 아니면 1의 값을 갖는다.
그리고, 면적 필터링을 통해 얻어진 그림자 영역은 곡관 및 분기관의 진행 방향에 위치할 수 있는 가능성을 가진 인자이므로, 그림자 영역의 중심좌표(xavg, yavg)와 영상 중심좌표 (xc, yc)로 이어진 직선과 카메라(50) 중심축 사이의 각도(θ) 및 거리(L)를 산출하여 현재 로봇 방향으로부터 각 배관요소의 진행 방향을 추정할 수 있고, 이는 도 13 및 수학식 3, 수학식 4에 도시된다.
Figure 112008076198654-pat00003
Figure 112008076198654-pat00004
우선, 그림자 영역의 중심좌표를 이용하여 배관탐사 로봇의 기준 축에 대한 배관 내 각 요소의 진행방향의 각도, 로봇까지의 거리를 산출할 수 있다.
그리고, 패턴 매칭은 도 14 및 도 15를 참조하여 설명한다. 도 14를 참조하여 설명하면, 라벨링 및 면적 필터링을 통해 구해진 그림자 영역이 실제 배관 요소의 그림자인지를 확인하고, 이를 위해 이상적인 그림자 형상을 가지는 샘플 이미지를 기준축과 배관요소의 진행방향 사이의 정보 산출을 통해 얻어진 거리정보 및 각도정보를 이용하여 회전 및 이동후 매칭 정도를 파악하게 된다.
여기서, 도 15를 참조하면, 픽셀 간 비교를 통하여 서로 겹쳐진 부분에서는 1 만큼 증가시키며, 서로 어긋나는 부분은 1 만큼 감소를 시켜 패턴매칭을 진행하며, 일정 기준값 이상이 될 경우, 이 그림자 영역을 랜드마크로 인식하고 배관 로봇의 맵 정보 저장에 각도값(θ) 및 거리(L)을 갱신시킨다.
따라서, 패턴매칭을 통해 최종적으로 랜드마크로 결정된 배관 요소는 캡쳐된 패턴의 형상과 수량에 따라 도 16와 같이 3 가지 타입으로 분류된다.
먼저, 영상처리가 완료된 영상정보로부터 검출된 배관 경로의 수를 파악하는데, 2 개의 경로가 인식되는 경우 이는 분기관(T 형상의 관로)에 대한 하부 -> 상부 방향의 접근 경우로 판단하여 랜드마크의 분기관 타입 2로 정의하고 배관 지도 정보상에 갱신한다.
한편, 1 개로 경로가 인식된 경우, 곡관에 대한 접근이거나 분기관(T 형상)에 대한 측면 방향에서의 접근이 발생할 수 있으므로, 배관탐사 로봇이 분기관으로 접근할 경우, 전방 조명장치(60)에 의해 배관 내부의 반사광 영역에 발생되는 반면, 곡관의 경우 반사광 영역이 발생되지 않는다.
따라서, 반사광 영역에 대한 유, 무를 파악하여 1 개의 경로가 인식된 경우, 이러한 랜드마크가 곡관(ㄱ 형상)인지 분기관 타입 1의 분기관인지를 판단하고, 이 역시 배관 지도 정보상에 도 17과 같이 업데이트한다.
본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템은 랜드마크와 미리 주어진 배관망 지도의 매칭을 통한 자기위치 추정을 기반으로 하고 있다.
또, 배관망 지도가 주어지지 않은 경우, 배관탐사 로봇의 탐사 이동 정보와 랜드마크 정보를 조합하면, 배관탐사 로봇 스스로 배관망 지도를 구축가능하다.
이러한 랜드마크 인식 및 정확한 지도 구축을 위해 본 발명에 따른 배관탐사 로봇은 다음 3 단계의 과정을 거치게 된다.
첫째, 배관탐사 로봇이 랜드마크 요소에 진입하기 직전까지 이동거리를 바퀴의 엔코더 정보를 이용하여 측정하며, 둘째, 배관탐사 로봇이 랜드마크 요소에 진입 후, 곡관 및 분기관의 진행 방향에 따라 로봇의 자세가 바뀌기 시작함에 따라, 엔코더에 의한 이동거리 측정을 중단한 후, 미리 주어진 각 랜드마크 타입에 따른 계산된 이동거리 값을 업데이트한다.
셋째, 배관탐사 로봇이 완전히 랜드마크 요소를 벗어난 후, 바퀴의 엔코더에 의한 이동 거리 및 영상처리에 의한 랜드마크 탐색을 다시 시작한다.
이와 같은 과정을 반복함으로써, 로봇은 결과적으로 전체 배관망에 대한 성공적인 탐사를 진행할 수 있다.
도 18은 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇의 곡관 이동을 도시한다. 도 18에 도시한 바와 같이, 배관탐사 로봇이 랜드마크 요소를 통과하는 동안 로봇은 배관 요소에 대한 정확한 진입 시점, 탈출 시점을 인지하고 있어야 한다.
배관탐사 로봇이 랜드마크 요소에 진입하는 순간부터 배관탐사 로봇의 자세는 변화하기 시작하며, 완전히 탈출하는 시점에서 이러한 자세의 변화가 종료되므로, 자세 변화의 측정에 따라 이들 시점을 파악할 수 있다.
이러한 정확한 자세 변화의 측정을 위해 2 축 자이로 모듈이 사용되고, 도 19 및 도 20에 도시된다.
도 19의 (가)는 자이로 센서가 도시되며, (나)에는 2축 자이로 센서 모듈이 도시되며, 도 20에는 2축 자이로에서 회전을 감지하는 것을 도시한다.
이러한 2 축 자이로 모듈은 300도/초의 감도를 가지는 2 개의 1축 자이로 센서의 조합으로 이루어져 있으며, 각각 로봇의 요잉(Yawing) 및 피칭(Pitching)을 측정한다.
도 21은 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템을 도시한다. 도 21에 도시된 바와 같이, 본 발명에 따른 배관탐사 로봇의 주행실험을 위한 테스트 환경을 실시한다.
우선, 테스트 배드는 실제 산업 현장에서 쓰이는 실관 및 관내 주행관찰이 용이한 아크릴 관으로 구성되어 있으며, 각 관망은 정확한 주행환경 실험을 위하여 곡관 및 분기관, 직관 등 다양한 배관 요소로 이루어져 있다. 본 실험에서는 관내 영상처리를 통한 랜드마크 인식 및 자기위치 추정의 성능평가를 위하여 실관 내에서의 실험을 수행하였다.
그리고, 3 가지 랜드마크 타입에 따른 인식 테스트를 실시하는데, 배관탐사 로봇은 각 랜드마크 타입에 따라 곡관의 진입부, 분기관의 하단 진입부, 분기관의 측면 진입부에 위치시킨 후, 배관탐사 로봇의 전방 카메라(50)로부터 얻어진 영상의 결과를 분석하였다.
(가) 타입에 대한 영상처리는 (나)에 도시되고, (다) 타입에 대한 영상처리는 (라)에 도시되었으며, (마) 타입에 대한 영성처리는 (바)에 도시된다.
그리고, 본 발명에 따른 배관탐사 로봇의 성능을 측정하기 위해, 도 22a와 같이 이루어진 실관 조립체에서의 실험을 실시하였고, 이 실험에서 로봇은 A-Point에서 출발하여 연속된 2 개의 곡관을 거친 뒤, T 형상의 분기관의 측방향을 통하여 최종적으로 B-point까지 탐사를 실시한다.
도 22b는 각 배관 요소에 대한 영상처리의 결과 및 배관 지도 작성의 진행을 보여주고 있다.
본 발명에 따른 로봇시스템을 적용한 결과, 평균적으로 17프레임/초 이상의 높은 처리 속도를 나타내고 있으며,다양한 곡관에 접근에 대해 98.3% 이상의 높은 곡관 인식률을 보이는 것을 알 수 있다.
그리고, 3차원적으로 구성된 배관망 내에서 각 랜드마크의 그림자 영역의 인식 및 자세 추정을 이용하며, 주어진 배관망 지도와 랜드마크의 비교를 통해 배관탐사 로봇의 자기위치 추정 및 지도정보가 주어지지 않은 경우, 자체적인 배관망 지도 작성을 실시할 수도 있다.
또, 본 발명에 따른 로봇시스템은 효과적으로 랜드마크 요소인 곡관 및 분기 관을 인식할 수 있고, 이들 요소의 진행방향에 대한 정보를 정확히 추출할 수 있다는 것을 알 수 있다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이 같은 특정 실시예에만 한정되지 않으며 해당 분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위 내에 기재된 범주 내에서 적절하게 변경이 가능할 것이다.
도 1은 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇을 도시한 사시도.
도 2는 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇이 구동되는 원리를 도시한 도.
도 3은 본 발명에 배관탐사 로봇이 랜드마크로 인식하는 배관의 종류를 도시한 도.
도 4는 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇이 회전하는 것을 비교한 도.
도 5는 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇에 적용된 전방 조명장치를 도시한 도.
도 6은 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇의 전방 조명장치에 의해 발생되는 그림자 영역을 도시한 도.
도 7은 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법을 도시한 흐름도.
도 8은 도 7의 방법 중 전처리 과정을 상세히 도시한 도.
도 9는 도 7의 방법 중 랜드마크 인식 과정을 상세히 도시한 도.
도 10은 도 8의 전처리 과정으로 처리되기 전, 후의 영상을 도시한 도.
도 11 내지 도 15는 도 9의 랜드마크 인식과정을 도시한 도.
도 16은 도 7의 방법 중 랜드마크 타입 결정 과정을 도시한 도.
도 17은 도 7의 방법 중 배관망 지도 정보를 갱신하는 시뮬레이션.
도 18은 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템의 기본 개념을 도시한 도.
도 19는 본 발명에 적용된 자이로 센서 및 2축 자이로 센서 모듈을 도시한 도.
도 20은 본 발명에 적용된 2축 자이로에 의해 회전이 감지되는 것을 도시한 도.
도 21은 본 발명에 따른 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템의 랜드마크 인식을 테스트한 도.
도 22a 및 도 22b는 본 발명에 따른 배관탐사 로봇시스템을 실험하기 위해 제작된 모형 및 시뮬레이션 결과를 도시한 도.

Claims (12)

  1. 전방 및 후방에 설치되어 견인력 및 추진력을 발생시킴과 동시에 분기관에서 각 구동 유닛의 각속도 차를 이용하여 조향이 가능한 2 개의 구동모듈(10, 40), 독립적인 컨트롤 장치 및 전원 공급 장치인 배터리를 각각 탑재하는 제어 모듈(20) 및 배터리 모듈(30), 각 모듈 간 견인력 및 추진력을 전달하며 비틀림을 방지하고 곡관 또는 분기관의 배관 내 형상에 따라 변형되어 배관 내 주행이 가능한 링크 모듈, 전방에 설치된 구동모듈의 중심에 부착되어 배관 내의 영상을 촬영하는 카메라(50)를 포함하여, 배관 내부를 이동 및 탐사하는 배관탐사 로봇시스템에 있어서,
    상기 카메라(50)에 부착된 발광장치로 구성된 조명장치(60)
    를 포함하며, 상기 카메라(50)가 상기 조명장치(60)에 의해 형성된 그림자를 촬영하고, 상기 제어 모듈에서는 상기 그림자만을 추출하기 위해 이진화, 스레쉬홀딩(Thresholding), 모폴로지 닫힘 및 열림 연산을 실시하며, 라벨링을 통해 1 개 이상의 영역들로 상기 그림자를 클러스터링하고, 랜드마크가 아닌 그림자를 제거하는 면적 필터링을 실시하며, 선택 라벨의 중심점을 추출하여 관로진행방향에 대한 랜드마크 정보를 추출하고, 라벨링 및 면적 필터링을 통해 구해진 그림자 영역이 실제 배관 요소의 그림자인지를 확인하는 패턴 매칭을 실시하여 랜드마크로 결정된 배관 요소는 랜드마크 타입을 결정하여 배관망 정보를 갱신하는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
  2. 청구항 1에 있어서,
    상기 조명장치(60)는 다수개의 고휘도 LED 조립체로 형성되어 상기 카메라(50)를 둘러싸는 형태로 배치되는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
  3. 청구항 2에 있어서,
    상기 조명장치(60)는 상기 카메라의 후방에서 설치되고, 상기 카메라(50)와 일정 높이 차를 가지는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
  4. 청구항 1에 있어서,
    상기 라벨링은 상기 그림자의 각 요소를 클러스터링하고, 상기 각 요소에 고유 식별 번호를 할당하며, 상기 각 요소의 크기를 측정하는 그라스 파이어(Grass Fire) 알고리즘이 적용되는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
  5. 청구항 4에 있어서,
    상기 면적 필터링은 상기 라벨링이 완료된 그림자에서 각 라벨의 고유 식별 번호에 따른 1 개 이상의 그림자 영역을 추출하되, 상기 랜드마크 요소에 의해 발생된 그림자를 제외한 나머지는 소거하는 것을 특징으로 하는 배관 내 그림자를 이 용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
  6. 청구항 5에 있어서,
    상기 면적 필터링은 상기 제어 모듈 내 메모리에 기 저장된 그림자 영역 샘플을 이용하여 라벨링된 영역 중 샘플 이미지의 그림자 영역과 비교하고, 상기 비교 결과 유사도가 낮은 영역은 소거하는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
  7. 청구항 6에 있어서,
    직관 내에서의 상기 면적 필터링은 상기 카메라가 촬영한 화면 중심으로부터 반경 60 픽셀 영역 내의 라벨은 소거하는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
  8. 청구항 6에 있어서,
    상기 면적 필터링이 완료된 그림자의 가로 및 세로 중심 좌표(xavg, yavg)는 상기 라벨링 영역의 무게중심이며, n과 m은 n×m의 해상도를 갖는 라벨링 영역의 가로 총 픽셀 수 및 세로 총 픽셀 수를 의미하고, A는 라벨링 영역의 면적을 의미하며, B[i,j]는 이진 바이너리 함수로서 좌표(i,j)의 픽셀값이 0(검정색)이면 0의 값을 갖고, 0이 아니면 1의 값을 가지며, 하기 수학식을 통해 산출되는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
    Figure 112011008092016-pat00005
    Figure 112011008092016-pat00006
  9. 청구항 8에 있어서,
    상기 제어 모듈(20)은 상기 그림자 영역의 중심 좌표(xavg, yavg)에서 상기 카메라(50)가 촬영한 영상의 중심 좌표(xc, yc)까지 이어진 직선과, 상기 카메라(50)의 중심축 사이의 각도(θ) 및 거리(L)를 하기 수학식으로 연산하는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
    Figure 112008076198654-pat00007
    Figure 112008076198654-pat00008
  10. 청구항 1에 있어서,
    상기 제어 모듈(20)은 곡관 또는 분기관을 구별하기 위해, 상기 패턴 매칭이 완료된 그림자 이미지와 상기 제어 모듈 내 기 저장된 분류 패턴 이미지를 비교하되, 상기 그림자 이미지가 1 개의 관로 이미지인 경우, 곡관 또는 분기관 타입 1로 분류하고, 상기 그림자 이미지가 2 개의 관로 이미지인 경우, 분기관 타입 2로 분류하며, 상기 곡관 또는 분기관 타입 1을 구분하기 위해 반사점을 확인하여 분류 및 구분하는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기 반한 배관탐사 로봇시스템.
  11. 청구항 10에 있어서,
    상기 제어 모듈(20)은 상기 배관탐사 로봇이 랜드마크 요소에 진입하기 직전까지의 이동 거리를 바퀴의 엔코더 정보를 이용하여 측정하고, 곡관 및 분기관으로 진행하면 이동 거리 측정을 중단하여 기 저장된 랜드마크 타입에 따른 이동거리 값을 산출 및 업데이트하여 상기 랜드마크로 지도를 구축하는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
  12. 청구항 1에 있어서,
    상기 제어 모듈(20)은 상기 배관탐사 로봇이 곡관 및 분기관을 이동할 때 회전을 감지하고, 요잉(Yawing) 및 피칭(Pitching)을 측정하기 위한 2축 자이로 모듈을 구비하는 것을 특징으로 하는 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템.
KR1020080108445A 2008-10-14 2008-11-03 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템 KR101060995B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080100434 2008-10-14
KR20080100434 2008-10-14

Publications (2)

Publication Number Publication Date
KR20100041641A KR20100041641A (ko) 2010-04-22
KR101060995B1 true KR101060995B1 (ko) 2011-09-01

Family

ID=42217338

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080108445A KR101060995B1 (ko) 2008-10-14 2008-11-03 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템

Country Status (1)

Country Link
KR (1) KR101060995B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552807B1 (ko) 2015-01-21 2015-09-14 성균관대학교산학협력단 Psd 모듈을 이용한 배관탐사 로봇의 배관 검사 방법
KR101824408B1 (ko) * 2016-03-31 2018-02-02 삼성중공업 주식회사 배관용 로봇
KR101824417B1 (ko) * 2016-03-31 2018-02-02 삼성중공업 주식회사 배관용 로봇
KR20220075742A (ko) * 2020-11-30 2022-06-08 한국로봇융합연구원 배관 검사 로봇 및 이의 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112945124B (zh) * 2021-03-26 2024-04-30 沈阳国仪检测技术有限公司 一种检测管道内检测器性能的综合检测试验机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4372658A (en) 1980-06-02 1983-02-08 Magnaflux Corporation Pipeline inspection apparatus
JPS6182106A (ja) 1984-09-28 1986-04-25 Tokyo Doro Enjinia Kk 路面段差の検知方法
JPS61202109A (ja) 1985-03-05 1986-09-06 Kawasaki Steel Corp 管の内面検査装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4372658A (en) 1980-06-02 1983-02-08 Magnaflux Corporation Pipeline inspection apparatus
JPS6182106A (ja) 1984-09-28 1986-04-25 Tokyo Doro Enjinia Kk 路面段差の検知方法
JPS61202109A (ja) 1985-03-05 1986-09-06 Kawasaki Steel Corp 管の内面検査装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552807B1 (ko) 2015-01-21 2015-09-14 성균관대학교산학협력단 Psd 모듈을 이용한 배관탐사 로봇의 배관 검사 방법
KR101824408B1 (ko) * 2016-03-31 2018-02-02 삼성중공업 주식회사 배관용 로봇
KR101824417B1 (ko) * 2016-03-31 2018-02-02 삼성중공업 주식회사 배관용 로봇
KR20220075742A (ko) * 2020-11-30 2022-06-08 한국로봇융합연구원 배관 검사 로봇 및 이의 동작 방법
KR102484298B1 (ko) * 2020-11-30 2023-01-02 한국로봇융합연구원 배관 검사 로봇 및 이의 동작 방법

Also Published As

Publication number Publication date
KR20100041641A (ko) 2010-04-22

Similar Documents

Publication Publication Date Title
Kumar et al. Deep learning–based automated detection of sewer defects in CCTV videos
US11398040B2 (en) System and method for data acquisition
Rome et al. Towards autonomous sewer robots: the MAKRO project
Yang et al. Deep concrete inspection using unmanned aerial vehicle towards cssc database
CN113474677A (zh) 用于uav在管道上停落的自动化方法
CN112102646B (zh) 一种泊车定位中的停车场入口定位方法、装置及车载终端
KR101060995B1 (ko) 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템
Aitken et al. Simultaneous localization and mapping for inspection robots in water and sewer pipe networks: A review
Reyes-Acosta et al. 3D pipe reconstruction employing video information from mobile robots
Jacobi et al. Multi sensor underwater pipeline tracking with AUVs
Lee et al. Autonomous navigation of in-pipe working robot in unknown pipeline environment
Chalkiadakis et al. Designing a small-sized autonomous underwater vehicle architecture for regular periodic fish-cage net inspection
Yang et al. A robotic system towards concrete structure spalling and crack database
Lee et al. In-pipe robot navigation based on the landmark recognition system using shadow images
Abdellatif et al. Mechatronics design of an autonomous pipe-inspection robot
CN113780111B (zh) 一种基于优化YOLOv3算法的管道连接器的缺陷精确识别方法
WO2020149797A1 (en) Pipeline analysis systems
Alejo et al. RGBD-based robot localization in sewer networks
Gotts et al. Development of a prototype autonomous inspection robot for offshore riser cables
Tomono et al. Mobile robot navigation in indoor environments using object and character recognition
Hertzberg et al. Sewer robotics
Zheng et al. An autonomous robot for shell and tube heat exchanger inspection
Sudevan et al. Autonomous tracking and tagging of buried pipelines based on Pipe-Locator data
US12002193B2 (en) Inspection device for inspecting a building or structure
Conte et al. A navigation and inspection system for underwater survey vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee