KR102302312B1

KR102302312B1 - Fod 탐지 모듈이 구비된 이동 로봇 및 이를 이용한 fod 수거 방법

Info

Publication number: KR102302312B1
Application number: KR1020190137879A
Authority: KR
Inventors: 이상순; 금재영; 김지용; 박가경; 전민기; 최영진
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2019-10-31
Filing date: 2019-10-31
Publication date: 2021-09-15
Also published as: KR20210052788A

Abstract

본 발명은 D 탐지 모듈이 구비된 이동 로봇 및 이를 이용한 FOD 수거 방법에 관한 것으로서, 이물질(Foreign Object Debris, FOD) 탐지 모듈이 구비된 이동 로봇을 이용한 FOD 수거 방법에 있어서, a) FOD에 대한 하나 이상의 학습 영상 데이터를 수집하고, 상기 수집된 학습 영상 데이터를 이용하여 상기 FOD를 분류하도록 딥러닝에 기반한 FOD 탐지 모델을 학습하는 단계; b) 이동 로봇의 주행 영역에 대한 맵 정보를 수신하고, 상기 맵 정보에 따라 카메라가 장착된 이동 로봇이 주행하면서 상기 카메라를 통해 주변 영상을 획득하는 단계; c) 상기 주변 영상을 상기 학습된 FOD 탐지 모델에 입력하여 실시간 FOD를 탐지하고, 상기 탐지한 FOD의 탐지 위치 정보를 추출하는 단계; d) 상기 이동 로봇의 현재 위치 정보를 거점으로 설정하고, 상기 거점을 기준으로 상기 탐지 위치 정보까지의 주행 방향 및 거리를 계산하여 이동 정보를 산출한 후, 상기 이동 정보에 기초하여 상기 이동 로봇이 이동하여 FOD 수거 동작을 수행하는 단계; 및 e) 상기 이동 로봇의 FOD 수거 동작이 완료되면, 상기 이동 정보에 기초하여 거점으로 이동하여 실시간 FOD 탐지 기능을 수행하는 단계를 포함하는 방법일 수 있다.

Description

FOD 탐지 모듈이 구비된 이동 로봇 및 이를 이용한 FOD 수거 방법{Mobile robot equipped with FOD detection module and FOD collection method using the same }

본 발명은 딥러닝에 기반하여 실시간 FOD 탐지 및 제거가 가능하도록 하는 FOD 탐지 모듈이 구비된 이동 로봇 및 이를 이용한 FOD 수거 방법에 관한 것이다.

이물질(Foreign Object Debris, FOD)은 항공기 이동에 지장을 줄 수 있는 잠재적인 위험요인을 가진 물질을 말한다. 이는 항공기 장애 또는 사고를 발생시키고, 주변 시설 또는 작업자에게 피해를 입히기도 하며, 경제적 손실도 함께 유발한다.

따라서, FOD는 효과적이고 신속한 탐지 및 제거가 이루어져야 한다. 해외 선진공항에서는 레이더 기술, 광학기술 등을 활용하여 공항별 실정에 맞는 자동탐지시스템을 개발 및 적용하여 FOD 탐지 효율을 높이고 있다.

국내에서는 항공안전기술개발 사업의 일환으로 항공기 이동지역 이물질 자동탐지 시스템의 개발이 진행 중에 있으며, 탐지 시스템에 대한 다양한 요구조건이 도출되고 있다. 특히 폭설과 안개 등 악천후와 같은 지역적 및 환경적 특성을 고려하고 공항 특유의 운영조건, 보안성 및 항공학적 영향성을 반영한 연구를 진행하고 있다.

FOD는 공항 기반시설(포장면, 등화시설, 표지판), 환경(야생 동물, 눈, 얼음) 및 이착륙지역에서 운영하는 장비(활주로 유지보수 작업 장비, 제설작업 장비, 항공기 견인장비, 항공기 등)로부터 발생될 수 있다.

국내외 공항의 이물질은 크게는 항공기 정비용 공구 및 부속으로부터 작게는 항공기 부품, 콘크리트 조각 등 다양한 크기와 종류로 발생되고 있으며, 발생위치는 활주로, 유도로, 계류장 지역 등 이착륙시설 전 지역에서 발생하고 있다.

대부분의 항공사는 매일 2~4회씩 활주로를 점검하고, FOD 청소차를 이용하여 주기적으로 이물질을 제거한다. FOD 청소차는 약 6억원 차량의 고가의 장비로서 작업자가 직접 운전하면서 FOD를 수거한다. 이때, FOD 청소차에는 광학 카메라를 통해 FOD 식별 결과를 전송하고, FOD 식별 결과를 도출하기 위해 레이더 시스템, 전자광학 시스템 열영상 시스템, 레이저 스캔 시스템 등을 활용하고 있다.

종래의 FOD 청소차는 작업자에 의해 수동적으로 FOD를 수거하고 있어 활주로나 에이프런 등의 규모에 따라 많은 인력이 확보되어야 하고, 군사적으로 민감한 지역에 위치한 활주로의 경우에 FOD 식별 결과를 전송하는 과정에서 활주로나 공항의 내부 영상이나 시설 등이 노출될 수 있어 보안에 취약하다는 문제점이 있다.

대한민국 등록특허 제 10-1613740호(발명의 명칭 : 활주로 감시 시스템 및 방법)

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 FOD를 탐지하기 위해 딥러닝에 기반한 FOD 탐지 모델을 학습하고, 학습된 FOD 탐지 모델을 통해 실시간 정확히 FOD를 탐지한 후 탐지된 FOD를 자율 주행 가능한 이동 로봇을 통해 자동으로 수거할 수 있도록 하는 것에 목적이 있다.

또한, 본 발명은 FOD 탐지 모델을 통해 노면의 크랙을 감지하여 사용자 단말에 크랙 발생에 대한 경고 신호를 제공할 수 있도록 하는 것에 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 이물질(Foreign Object Debris, FOD) 탐지 모듈이 구비된 이동 로봇을 이용한 FOD 수거 방법은, a) FOD에 대한 하나 이상의 학습 영상 데이터를 수집하고, 상기 수집된 학습 영상 데이터를 이용하여 상기 FOD를 분류하도록 딥러닝에 기반한 FOD 탐지 모델을 학습하는 단계; b) 이동 로봇의 주행 영역에 대한 맵 정보를 수신하고, 상기 맵 정보에 따라 카메라가 장착된 이동 로봇이 주행하면서 상기 카메라를 통해 주변 영상을 획득하는 단계; c) 상기 주변 영상을 상기 학습된 FOD 탐지 모델에 입력하여 실시간 FOD를 탐지하고, 상기 탐지한 FOD의 탐지 위치 정보를 추출하는 단계; d) 상기 이동 로봇의 현재 위치 정보를 거점으로 설정하고, 상기 거점을 기준으로 상기 탐지 위치 정보까지의 주행 방향 및 거리를 계산하여 이동 정보를 산출한 후, 상기 이동 정보에 기초하여 상기 이동 로봇이 이동하여 FOD 수거 동작을 수행하는 단계; 및 e) 상기 이동 로봇의 FOD 수거 동작이 완료되면, 상기 이동 정보에 기초하여 거점으로 이동하여 실시간 FOD 탐지 기능을 수행하는 단계를 포함할 수 있다.

상기 FOD 탐지 모델은, 상기 주변 영상에서 FOD로 추정되는 객체를 검출하고, 상기 검출된 객체를 복수의 격자형 검출 영역으로 나누고, 상기 검출된 객체가 속하는 검출 영역을 추출하는 영역 제안망(region proposal network)을 포함할 수 있다.

상기 FOD 탐지 모델은, 상기 FOD를 지정 객체로 설정하고, 노면의 크랙을 커스텀(Custom) 객체로 설정한 후 다크넷(Darknet)을 기반으로 상기 학습 데이터에서 상기 지정 객체와 커스텀 객체를 분류하도록 학습할 수 있다.

한편, 상기 c) 단계는, 상기 FOD 탐지 모델을 통해 크랙이 탐지된 경우, 상기 주변 영상에서 해당 크랙에 대한 크랙 검출 영역 정보를 추출하고, 상기 추출된 크랙 검출 영역 정보를 상기 이동 로봇에 구비된 통신부를 통해 사용자 단말로 전송할 수 있다.

상기 d) 단계는, 상기 이동 로봇이 적외선 센서와 관성 측정 유닛(Inertial Measurement Unit)을 포함하는 경우, 상기 이동 정보는 상기 주행 방향 및 거리에 따른 직선 주행 및 회전을 위한 모터의 움직임 제어값을 포함할 수 있다.

상기 d) 단계는, 상기 이동 로봇이 청소헤드와 수거함을 구비한 경우, 상기 FOD 수거 동작은 상기 이동 로봇의 청소헤드가 장착된 로봇팔의 움직임을 제어하여 상기 수거함에 해당 FOD를 수거하여 저장할 수 있다.

상기 맵 정보에 하나 이상의 배출 장소를 설정되고, 상기 수거함에 FOD의 저장량이 기설정된 임계값 이상 경우, 상기 FOD 수거 동작을 중지한 후 상기 배출 장소로 상기 이동 로봇을 이동시켜 상기 수거함에서 FOD가 배출되도록 FOD 배출 동작을 수행하도록 한다.

또한, 본 발명의 다른 일 실시예에 따른 FOD 탐지 모듈이 구비된 이동 로봇은, 몸체를 이동시키는 주행부; 상기 몸체의 일측에 장착되어 주행 영역에 대한 주변 영상을 획득하는 하나 이상의 카메라; 상기 몸체에 일측에 결합되고, 타측에 하나 이상의 청소헤드가 장착되는 로봇 팔; 상기 몸체의 하단측에 설치되어 상기 로봇 팔의 움직임에 의해 이물질(Foreign Object Debris, FOD)를 저장하는 수거함; 및 상기 카메라를 통해 획득한 주변 영상을 이용하여 실시간 FOD를 탐지하는 FOD 탐지 모듈을 구비하고, 상기 FOD 탐지 모듈을 통해 탐지된 FOD의 탐지 위치 정보를 추출한 후 현재 위치 정보를 거점으로 설정하고, 상기 거점을 기준으로 상기 탐지 위치 정보까지의 주행 방향 및 거리를 계산하여 이동 정보를 산출하고, 상기 이동 정보에 기초하여 상기 이동 로봇이 이동하여 FOD 수거 동작을 수행하는 제어부를 포함할 수 있다.

상기 주행부는, 상기 몸체의 하단에 설치된 복수 개의 바퀴; 주행 영역 내 노면과 활주로의 경계에 대한 차이값을 측정하여 제공하는 하나 이상의 적외선 센서; 상기 이동 로봇의 자세 제어에 필요한 롤(Roll), 피치(Pitch), 요(Yaw)의 기울어진 각도값을 측정하여 제공하는 하나 이상의 관성 측정 유닛; 및 상기 적외선 센서에서 측정된 차이값 또는 관성 측정 유닛에서 측정된 각도값을 이용하여 상기 이동 로봇을 동작시키기 위한 모터를 구동시키는 모터 제어기를 포함할 수 있다.

상기 모터 제어기는, 상기 이동 정보에 따라 이동 로봇이 주행하는 동안에 상기 적외선 센서를 통해 측정된 차이값을 이용해 상기 바퀴의 제어를 위한 직선주행 제어 신호를 제공하고, 상기 관성 측정 유닛을 통해 측정된 각도값을 이용해 주행 방향 제어 신호를 제공하며, 상기 직선주행 제어 신호와 주행 방향 제어 신호에 따라 모터의 움직임 제어값을 도출할 수 있다.

상기 청소 헤드가 흡입관인 경우에, 상기 흡입관과 수거함 사이에 흡입로가 연결되고, 상기 흡입로를 통해 FOD가 상기 수거함으로 수거되도록 한다.

상기 청소 헤드가 청소솔인 경우에, 다관절 형태로 이루어진 로봇팔의 움직임에 따라 상기 청소솔의 쓸기 동작을 수행하여 FOD가 상기 수거함으로 수거되도록 한다.

상기 FOD 탐지 모듈의 탐지 결과 정보 또는 상기 이동 로봇의 상태 정보를 사용자 단말에 전송하고, 상기 사용자 단말로부터 상기 이동 로봇의 제어에 대한 사용자 명령을 수신하는 통신부를 더 포함할 수 있다.

상기 사용자 단말은, 상기 탐지 결과 정보를 이용하여 상기 주행 영역의 각 위치별로 상기 FOD 발생 통계 정보를 산출하고, 상기 FOD 통계 정보에 기초하여 FOD 다발 지역에 대한 점검 정보를 산출할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 신속하게 FOD를 탐지한 후 자율 주행이 가능한 이동 로봇을 통해 FOD를 수거할 수 있고, 크랙 발생이나 FOD 다발 지역에 대해 사용자 단말에 경보를 제공할 수 있어 FOD 제거 능력 수준을 향상시킬 수 있고, 크랙에 대해 점검 및 보수가 가능하도록 한다.

또한, 본 발명은 FOD 탐지, FOD 수거 및 FOD 배출 동작이 이동 로봇에 의해 처리되고, 사용자 단말로 FOD의 종류나 위치 등의 탐지 결과 정보만 제공하고 있어 외부에 노출 가능한 정보만 송수신되어 활주로나 공항 등의 강인한 보안 기능을 제공할 수 있다.

본 발명은 기존의 레이더와 광학 카메라 등의 사용이 복잡하고 고가인 장비를 사용하는 것이 아니라, RGB 카메라를 이용한 영상 처리 기술로 FOD 탐지 및 제거가 가능하므로 생산 단가를 낮출 수 있고, 그로 인해 다양한 지역과 장소에 이동 로봇을 보급할 수 있어 불필요한 인력 및 시간이 낭비되는 것을 방지할 수 있다. 또한, 넓은 활주로의 모든 구역을 돌아다니는 것이 아니라 활주로의 양끝단을 따라 주행하면서 FOD 수거 작업을 수행하므로 기존에 비해 효율적인 주행이 가능하며 FOD 탐지 및 제거에 소요되는 시간을 절약할 수 있다.

도 1는 본 발명의 일 실시예에 따른 FOD 탐지 모듈이 구비된 이동 로봇의 구성을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 FOD 탐지 모듈이 구비된 이동 로봇의 전체 모델링한 상태를 설명하는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 및 거치대를 설명하는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 수거함을 설명하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇을 이용한 FOD 수거 방법을 설명하는 순서도이다.
도 6은 FOD의 종류를 설명하는 도면이다.
도 7은 FOD 발생 지역 현황을 설명하는 도면이다.
도 8은 노면 위에 있는 FOD의 실제 상태를 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 FOD 탐지 모듈에 의한 FOD 또는 크랙의 탐지 과정을 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 '단말'은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, '단말'은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.

무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1는 본 발명의 일 실시예에 따른 FOD 탐지 모듈이 구비된 이동 로봇의 구성을 설명하는 도면이고, 도 2는 본 발명의 일 실시예에 따른 FOD 탐지 모듈이 구비된 이동 로봇의 전체 모델링한 상태를 설명하는 예시도이며, 도 3은 본 발명의 일 실시예에 따른 카메라 및 거치대를 설명하는 예시도이고, 도 4는 본 발명의 일 실시예에 따른 수거함을 설명하는 예시도이다.

도 1 내지 도 4을 참조하면, FOD 탐지 모듈이 구비된 이동 로봇(100)은 주행부(110), 카메라(120), 로봇팔(130), 수거함(140), 통신부(170), 메모리(160) 및 제어부(150)를 포함하지만 이에 한정되지는 않는다.

주행부(110)는 몸체(101)를 이동시키는 것으로서, 몸체(101)의 하단에 설치된 4개의 바퀴(111), 하나 이상의 적외선 센서(112), 하나 이상의 관성 측정 유닛(113) 및 모터 제어기(114)를 포함한다.

적외선 센서(112)는 주행 영역 내 노면과 활주로의 경계에 대한 차이값을 측정하여 제공하고, 관성 측정 유닛(113)은 이동 로봇(100)의 자세 제어에 필요한 롤(Roll), 피치(Pitch), 요(Yaw)의 기울어진 각도값을 측정하여 제공한다.

모터 제어기(114)는 이동 로봇(100)에 구동력을 제공하는 모터(도시되지 않음)를 제어하는 것으로서, 이동 정보에 따라 이동 로봇(100)이 주행하는 동안에 적외선 센서(112)를 통해 측정된 차이값을 이용해 바퀴(111)의 제어를 위한 직선주행 제어 신호를 생성하고, 관성 측정 유닛(113)을 통해 측정된 각도값을 이용해 주행 방향 제어 신호를 생성함으로써 직선주행 제어 신호와 주행 방향 제어 신호에 따라 모터의 움직임 제어값을 도출할 수 있다.

모터 제어기(114)는 일정 간격으로 배열되어 있는 복수 개의 적외선 센서(112)와 아날로그 포트로 연결되고, 복수 개의 적외선 센서(112)를 통해 노면과 활주로의 경계(또는 라인)에서 추출되는 차이값을 이용해 이동 로봇(100)의 자세를 계산하고, 계산된 자세 계산값을 이용하여 바퀴(111)를 PID 제어함으로 이동 로봇(100)이 자율 주행하도록 한다.

또한, 모터 제어기(114)는 요(Yaw) 방향 누적 오차를 보정하기 위해 9축 관성 측정 유닛(113)을 통해 측정되는 각도값을 0~360도로 보정한 후 사용하고, 관성 측정 유닛(113)에서 측정되는 롤, 피치, 요의 각도 값을 받아들여 지평면과의 수평을 유지하도록 PID 제어 방식에 의해 모터를 제어한다.

하나 이상의 카메라(120)는 몸체(101)의 일측에 장착되어 이동 로봇(100)의 주행 방향에 따라 전방의 주변 영상을 획득한다. 도 3에 도시된 바와 같이, 카메라(120)는 RGB 카메라로서 몸체(101)에 설치된 거치대(121)에 장착된다. 거치대(121)는 카메라(120)가 안착되는 'ㄷ'자 형의 안착 홈(121a)과, 안착홈(121a)과 일체형으로 연결되어 몸체(101)에 결합되는 결합부(121b)로 구성되는데, 카메라(120)의 형태나 무게에 따라 안착홈(121a)과 결합부(121b)의 모양과 결합 형태는 달라질 수 있다.

로봇 팔(130)은 다관절 형태로 형성되고, 일측이 몸체(101)에 결합되고, 타측이 하나 이상의 청소헤드(131)가 장착된다. 청소 헤드(131)가 흡입관인 경우에, 흡입관과 수거함(140) 사이에 흡입로(도시되지 않음)가 연결되고, 흡입로를 통해 FOD가 수거함(140)으로 수거된다. 또한, 청소 헤드(131)가 흡입관인 경우, 진공 흡입을 위한 흡입 모터 등이 더 구비될 수 있다.

그러나, 청소 헤드(131)가 청소솔인 경우에, 로봇팔(30)의 움직임에 따라 청소솔이 쓸기 동작을 수행하여 FOD가 수거함(140)으로 수거된다.

수거함(140)은 몸체(101)의 하단측에 설치되어 로봇 팔(130)의 움직임에 따라 청소 헤드(131)의 수거 동작에 의한 FOD를 저장한다. 도 4에 도시된 바와 같이, 수거함(140)는 바퀴(111)의 동작을 제한하지 않을 정도의 저장 공간을 갖도록 형성되어 몸체(101)의 하단에 설치된다. 이때, 수거함(140)은 일측이 개구되어 쓰레받기 형태로 형성되고, 타측이 폐쇄되어 저장된 FOD가 이탈되지 않도록 한다. 또한, 수거함(140)은 개구되어 있는 일측에 여닫이 형태의 도어(도시되지 않음)가 설치될 수 있고, FOD 수거 동작시 도어가 자동으로 열리고, FOD 수거 동작이 완료되면 자동으로 닫히도록 할 수 있다.

통신부(170)은 FOD 탐지 모듈(151)의 탐지 결과 정보 또는 이동 로봇(100)의 상태 정보를 사용자 단말(200)에 전송하고, 사용자 단말(200)로부터 이동 로봇(100)의 제어에 대한 사용자 명령을 수신한다.

이러한 통신부(170)은 통신망과 연동하여 사용자 단말(200) 사이의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 여기서, 통신부(170)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(160)는 이동 로봇을 이용한 FOD 수거 방법을 수행하기 위한 프로그램이 기록된다. 또한, 메모리(160)는 제어부(150)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(160)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

제어부(150)는 FOD 탐지 모듈(151)에 기초하여 이동로봇을 이용한 FOD 수거 방법을 제공하는 전체 과정을 제어하는 것으로서, 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다.

제어부(150)는 카메라(120)를 통해 획득한 주변 영상을 이용하여 실시간 FOD를 탐지하는 FOD 탐지 모듈(151)을 통해 탐지된 FOD의 탐지 위치 정보를 추출하고, 현재 위치 정보를 거점으로 하여 거점을 기준으로 탐지 위치 정보까지의 주행 방향 및 거리를 계산하여 이동 정보를 산출하며, 산출된 이동 정보에 기초하여 이동 로봇(100)이 이동하여 FOD 수거 동작을 수행하도록 한다.

이 외에도, 이동 로봇(100)은 모터를 포함한 이동 로봇의 구동에 필요한 전원을 제공하는 전원 공급장치, 조명 장치, 키입력 장치, 경고등이나 경고음을 출력하는 경고 장치 등을 더 구비할 수 있다.

도 5는 본 발명의 일 실시예에 따른 이동 로봇을 이용한 FOD 수거 방법을 설명하는 순서도이고, 도 6은 FOD의 종류를 설명하는 도면이며, 도 7은 FOD 발생 지역 현황을 설명하는 도면이고, 도 8은 노면 위에 있는 FOD의 실제 상태를 설명하는 도면이며, 도 9는 본 발명의 일 실시예에 따른 FOD 탐지 모듈에 의한 FOD 또는 크랙의 탐지 과정을 설명하는 도면이다.

도 5 내지 도 10을 참조하면, 이동 로봇을 이용한 FOD 수거 방법은, FOD 탐지 모듈(151)에서 FOD에 대한 하나 이상의 학습 영상 데이터를 수집하고, 수집된 학습 영상 데이터를 이용하여 FOD를 종류별로 분류하도록 컨볼루션 연산을 이용한 딥러닝에 기반한 FOD 탐지 모델을 학습한다(S10).

FOD 탐지 모듈(151)은 네트워크를 통해 활주로나 도로 등의 노면에서 탐지될 수 있는 FOD 에 대한 영상 데이터를 수집한다. 활주로에서 발생되는 FOD의 종류에는 항공기용 리벳과 볼트, 승객 여행용품, 콘트리트, 반 볼트와 너트, 건설 자제, 엔진 내부 물체 등이 있고, FOD 발생 지역은 공항의 에이프런(Apron), 비행기의 유도로(Taxiway), 활주로(Runway) 순으로 많이 발생하고 있다.

FOD 탐지 모델은 카메라(120)를 통해 획득한 주변 영상에서 FOD로 추정되는 객체를 검출하고, 검출된 객체를 복수의 격자형 검출 영역으로 나눈 후에 검출된 객체가 속하는 검출 영역을 추출하는 영역 제안망(region proposal network)을 포함한다. 따라서, FOD 탐지 모델은 단순히 이미지 안에 어떤 객체가 있는지만 다루지 않고 무엇이 어디에 있는지 검출해낼 수 있다.

또한, FOD 탐지 모델은 FOD를 지정 객체로 설정하고, 활주로나 도로 등의 노면의 크랙을 커스텀(Custom) 객체로 설정한 후 다크넷(Darknet)을 기반으로 학습 데이터에서 지정 객체와 커스텀 객체를 분류하도록 학습한다. 즉, 도 8 및 도 9에 도시된 바와 같이, FOD 탐지 모델은 항공기용 리벳, 볼트, 너트 등의 FOD 및 노면의 크랙을 다크넷을 활용해 학습한 후에, 이동 로봇(100)이 주행하는 도중에 FOD 또는 크랙을 검출할 수 있도록 한다.

FOD 탐지 모델은 다크넷을 이용하면 지정 객체 뿐만 아니라 사용자가 원하는 커스텀 객체를 인식하도록 FOD 탐지 모듈(151)을 직접 학습시킬 수 있다. 객체를 학습시키기 위해서는 학습할 영상과 파라미터 파일들, 가중치 파일이 필요하며, 학습을 완료하면 학습시킨 객체들을 인식하는 가중치 파일이 생성된다. 파라미터 파일은 다크넷의 컨볼루션 레이어(convolutional), 학습 횟수, 영상 사이즈(height, width), 그래픽 카드 사용량, 출력층 필터 등의 신경망의 설정들을 조정할 수 있고, 이 파일의 값들을 잘 조정하면 객체 인식의 성능을 높일 수 있다.

이동 로봇(100)은 주행 영역에 대한 맵 정보를 수신하여 메모리(160)에 저장하고(S20), 맵 정보에 따라 주행하면서 카메라(120)를 통해 주변 영상을 획득한다(S30). 맵 정보는 활주로의 모든 구역을 주행 영역으로 설정하는 것이 아니라, 활주로의 양쪽 끝단을 따라 이동하면서 작업을 하도록 주행 영역을 설정할 수 있다.

FOD 탐지 모듈(151)은 주변 영상을 학습된 FOD 탐지 모델에 입력하여 실시간 객체 탐지 기능을 수행한다(S40). 탐지된 객체가 FOD인 경우에 탐지된 FOD의 탐지 위치 정보를 추출하고(S50, S60), 제어부(150)는 이동 로봇의 현재 위치 정보를 거점으로 설정하고, 거점을 기준으로 탐지 위치 정보까지의 주행 방향 및 거리를 계산하여 이동 정보를 산출한 후 이동 정보에 기초하여 이동 로봇이 이동하여 FOD 수거 동작을 수행하도록 한다(S70).

이동 로봇의 FOD 수거 동작이 완료되면, 제어부(150)는 이동 정보에 기초하여 거점으로 이동하여 다시 실시간 FOD 탐지 기능을 수행한다. 또한, 제어부(150)는 활주로의 일측 끝단에 도착하면, 반대쪽 라인으로 이동하여 활주로의 타측 끝단까지 주행하면서 FOD 탐지, FOD 수거 및 FOD 배출 동작을 반복 수행한다.

제어부(150)는 하나 이상의 적외선 센서(112)와 관성 측정 유닛(113)을 통해 주행 방향 및 거리에 따른 직선 주행 및 회전을 위한 모터의 움직임 제어값을 산출하고, 움직임 제어값에 따라 모터를 구동시켜 이동 로봇(100)의 자율주행이 가능하도록 한다.

또한, 제어부(150)는 청소헤드(131)가 장착된 로봇팔(130)의 움직임을 제어하여 수거함(140)에 해당 FOD를 수거하여 저장하는 FOD 수거 동작을 수행하는데, 청소헤드(131)에 청소솔이 장착된 경우에 부피가 작은 너트를 포함한 모든 종류의 FOD를 쓸어 수거함(140)에 담는 동작을 수행한다.

또한, 맵 정보에 하나 이상의 배출 장소가 설정되고, 제어부(150)는 수거함(140)에 FOD의 저장량이 기설정된 임계값 이상 경우, FOD 수거 동작을 중지한 후 맵 정보에 설정된 배출 장소로 이동 로봇(100)을 이동시켜 수거함(140)에서 FOD가 배출되도록 FOD 배출 동작을 수행하도록 한다. 제어부(150)는 FOD 배출 동작이 완료된 이후에 FOD 수거 동작이 중지된 지점으로 되돌아가 FOD 수거 동작을 완료하거나, FOD 수거 동작이 모두 완료된 이후에 FOD 배출 동작을 수행한 경우에 거점으로 되돌아가 FOD 탐지를 통한 FOD 수거 기능을 수행한다.

제어부(150)는 FOD 탐지 모델을 통해 크랙이 탐지된 경우에 주변 영상에서 해당 크랙에 대한 크랙 검출 영역 정보를 추출하고(S80), 추출된 크랙 검출 영역 정보를 통신부(170)을 통해 사용자 단말(200)로 전송한다(S90).

통신부(170)은 근거리 통신이나 무선 통신 중 어느 하나를 이용하여 크랙 검출 영역 정보를 경고 메시지 또는 경고음 형태로 사용자 단말(200)에 전송하면, 사용자 단말(200)은 크랙 검출 영역 정보에 따라 점검 및 보수가 가능하도록 작업 지시를 수행할 수 있다.

또한, 사용자 단말은 FOD의 탐지 결과 정보를 이용하여 맵 정보에 기초하여 주행 영역의 각 위치별로 FOD 발생 통계 정보를 산출하고, FOD 통계 정보에 기초하여 FOD 다발 지역에 대한 점검 정보를 산출한다.

이상에서 설명한 본 발명의 실시예에 따른 이동 로봇을 이용한 FOD 수거 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: FOD 탐지 모듈이 구비된 이동 로봇
110: 주행부 120: 카메라
130: 로봇팔 140: 수거함
150 : 제어부 151 : FOD 탐지 모듈
160 : 메모리 170 : 통신부

Claims

이물질(Foreign Object Debris, FOD) 탐지 모듈이 구비된 이동 로봇을 이용한 FOD 수거 방법에 있어서,
a) FOD에 대한 하나 이상의 학습 영상 데이터를 수집하고, 상기 수집된 학습 영상 데이터를 이용하여 상기 FOD를 분류하도록 딥러닝에 기반한 FOD 탐지 모델을 학습하는 단계;
b) 이동 로봇의 주행 영역에 대한 맵 정보를 수신하고, 상기 맵 정보에 따라 카메라가 장착된 이동 로봇이 주행하면서 상기 카메라를 통해 주변 영상을 획득하는 단계;
c) 상기 주변 영상을 상기 학습된 FOD 탐지 모델에 입력하여 실시간 FOD를 탐지하고, 상기 탐지한 FOD의 탐지 위치 정보를 추출하는 단계;
d) 상기 이동 로봇의 현재 위치 정보를 거점으로 설정하고, 상기 거점을 기준으로 상기 탐지 위치 정보까지의 주행 방향 및 거리를 계산하여 이동 정보를 산출한 후, 상기 이동 정보에 기초하여 상기 이동 로봇이 이동하여 FOD 수거 동작을 수행하는 단계; 및
e) 상기 이동 로봇의 FOD 수거 동작이 완료되면, 상기 이동 정보에 기초하여 거점으로 이동하여 실시간 FOD 탐지 기능을 수행하는 단계를 포함하며,
상기 FOD 탐지 모델은,
상기 FOD를 지정 객체로 설정하고, 노면의 크랙을 커스텀(Custom) 객체로 설정한 후 다크넷(Darknet)을 기반으로 상기 학습 영상 데이터에서 상기 지정 객체와 커스텀 객체를 분류하도록 학습하는 것인, 이동 로봇을 이용한 FOD 수거 방법.
제 1 항에 있어서,
상기 FOD 탐지 모델은,
상기 주변 영상에서 FOD로 추정되는 객체를 검출하고, 상기 검출된 객체를 복수의 격자형 검출 영역으로 나누고, 상기 검출된 객체가 속하는 검출 영역을 추출하는 영역 제안망(region proposal network)을 포함하는 것인, 이동 로봇을 이용한 FOD 수거 방법.
삭제
제 1 항에 있어서,
상기 c) 단계는,
상기 FOD 탐지 모델을 통해 크랙이 탐지된 경우, 상기 주변 영상에서 해당 크랙에 대한 크랙 검출 영역 정보를 추출하고, 상기 추출된 크랙 검출 영역 정보를 상기 이동 로봇에 구비된 통신부를 통해 사용자 단말로 전송하는 것인, 이동 로봇을 이용한 FOD 수거 방법.
제 1 항에 있어서,
상기 d) 단계는,
상기 이동 로봇이 적외선 센서와 관성 측정 유닛(Inertial Measurement Unit)을 포함하는 경우, 상기 이동 정보는 상기 주행 방향 및 거리에 따른 직선 주행 및 회전을 위한 모터의 움직임 제어값을 포함하는 것인, 이동 로봇을 이용한 FOD 수거 방법.
제 1 항에 있어서,
상기 d) 단계는,
상기 이동 로봇이 청소헤드와 수거함을 구비한 경우, 상기 FOD 수거 동작은 상기 이동 로봇의 청소헤드가 장착된 로봇팔의 움직임을 제어하여 상기 수거함에 해당 FOD를 수거하여 저장하는 것인, 이동 로봇을 이용한 FOD 수거 방법.
제 6 항에 있어서,
상기 맵 정보에 하나 이상의 배출 장소를 설정되고, 상기 수거함에 FOD의 저장량이 기설정된 임계값 이상 경우,
상기 FOD 수거 동작을 중지한 후 상기 배출 장소로 상기 이동 로봇을 이동시켜 상기 수거함에서 FOD가 배출되도록 FOD 배출 동작을 수행하도록 하는 것인, 이동 로봇을 이용한 FOD 수거 방법.
몸체를 이동시키는 주행부;
상기 몸체의 일측에 장착되어 주행 영역에 대한 주변 영상을 획득하는 하나 이상의 카메라;
상기 몸체에 일측에 결합되고, 타측에 하나 이상의 청소헤드가 장착되는 로봇 팔;
상기 몸체의 하단측에 설치되어 상기 로봇 팔의 움직임에 의해 이물질(Foreign Object Debris, FOD)를 저장하는 수거함; 및
상기 카메라를 통해 획득한 주변 영상을 이용하여 실시간 FOD를 탐지하는 FOD 탐지 모듈을 구비하고, 상기 FOD 탐지 모듈을 통해 탐지된 FOD의 탐지 위치 정보를 추출한 후 현재 위치 정보를 거점으로 설정하고, 상기 거점을 기준으로 상기 탐지 위치 정보까지의 주행 방향 및 거리를 계산하여 이동 정보를 산출하고, 상기 이동 정보에 기초하여 이동 로봇이 이동하여 FOD 수거 동작을 수행하는 제어부를 포함하되,
상기 FOD 탐지 모듈은
FOD에 대한 하나 이상의 학습 영상 데이터를 수집하고, 상기 수집된 학습 영상 데이터를 이용하여 상기 FOD를 분류하도록 딥러닝에 기반한 FOD 탐지 모델을 학습하고,
상기 FOD 탐지 모델은,
상기 FOD를 지정 객체로 설정하고, 노면의 크랙을 커스텀(Custom) 객체로 설정한 후 다크넷(Darknet)을 기반으로 상기 학습 영상 데이터에서 상기 지정 객체와 커스텀 객체를 분류하도록 학습하는 것인, FOD 탐지 모듈이 구비된 이동 로봇.
제 8 항에 있어서,
상기 주행부는,
상기 몸체의 하단에 설치된 복수 개의 바퀴;
주행 영역 내 노면과 활주로의 경계에 대한 차이값을 측정하여 제공하는 하나 이상의 적외선 센서;
상기 이동 로봇의 자세 제어에 필요한 롤(Roll), 피치(Pitch), 요(Yaw)의 기울어진 각도값을 측정하여 제공하는 하나 이상의 관성 측정 유닛; 및
상기 적외선 센서에서 측정된 차이값 또는 관성 측정 유닛에서 측정된 각도값을 이용하여 상기 이동 로봇을 동작시키기 위한 모터를 구동시키는 모터 제어기를 포함하는 것인, FOD 탐지 모듈이 구비된 이동 로봇.
제 9 항에 있어서,
상기 모터 제어기는,
상기 이동 정보에 따라 이동 로봇이 주행하는 동안에 상기 적외선 센서를 통해 측정된 차이값을 이용해 상기 바퀴의 제어를 위한 직선주행 제어 신호를 제공하고, 상기 관성 측정 유닛을 통해 측정된 각도값을 이용해 주행 방향 제어 신호를 제공하며, 상기 직선주행 제어 신호와 주행 방향 제어 신호에 따라 모터의 움직임 제어값을 도출하는 것인, FOD 탐지 모듈이 구비된 이동 로봇.
제 8 항에 있어서,
상기 청소 헤드가 흡입관인 경우에, 상기 흡입관과 수거함 사이에 흡입로가 연결되고, 상기 흡입로를 통해 FOD가 상기 수거함으로 수거되도록 하는 것인, FOD 탐지 모듈이 구비된 이동 로봇.
제 8 항에 있어서,
상기 청소 헤드가 청소솔인 경우에, 다관절 형태로 이루어진 로봇팔의 움직임에 따라 상기 청소솔의 쓸기 동작을 수행하여 FOD가 상기 수거함으로 수거되도록 하는 것인, FOD 탐지 모듈이 구비된 이동 로봇.
제 8 항에 있어서,
상기 FOD 탐지 모듈의 탐지 결과 정보 또는 상기 이동 로봇의 상태 정보를 사용자 단말에 전송하고, 상기 사용자 단말로부터 상기 이동 로봇의 제어에 대한 사용자 명령을 수신하는 통신부를 더 포함하는 것인, FOD 탐지 모듈이 구비된 이동 로봇.
제 13 항에 있어서,
상기 사용자 단말은,
상기 탐지 결과 정보를 이용하여 상기 주행 영역의 각 위치별로 상기 FOD 발생 통계 정보를 산출하고, 상기 FOD 통계 정보에 기초하여 FOD 다발 지역에 대한 점검 정보를 산출하는 것인, FOD 탐지 모듈이 구비된 이동 로봇.