KR20190091714A - 지능형 무인비행체를 이용한 지하공동구 자율 탐사 방법 및 장치 - Google Patents

Abstract

본 발명은 지능형 무인비행체를 활용한 지하공동구 맵데이터 구축 및 자율비행 학습을 통해 광범위한 지하공동구 영역에서의 설비, 시설 등의 진단 및 관리가 가능한 방법 및 장치에 관한 것이다. 본 발명의 일 측면에 따르면, 가이드객체를 인식추적하여 맵데이터 및 이동경로 학습데이터를 생성하고, 위치태그 영상을 인식하는 설정모드; 이동경로 학습데이터를 기반으로 무인 자율 비행을 통해 지하공동구내 설비 및 장치의 센서 및 시각데이터를 취득분석하여 이상상태를 진단하는 정상모드; 무인비행체가 재기동되었을 경우, 주변환경의 맵데이터 및 위치태그를 기반으로 무인비행체의 현재 위치를 재인식하는 이상모드를 포함하는, 지능형 무인비행체를 이용한 지하공동구 자율탐사방법이 제공된다.

Description

지능형 무인비행체를 이용한 지하공동구 자율 탐사 방법 및 장치 {Method and apparatus for autonomous exploring underground cavity area using intelligent unmmaned flying object}

본 발명은 무인비행체를 활용한 지하공동구 맵데이터 구성 및 자율비행 학습을 통해 시설 진단관리 등을 하는 기술에 관한 것이다. 보다 구체적으로 본 발명은 다양한 영상 및 측정 센서 데이터를 기반으로 SLAM, VIO 등의 기술을 활용하여, 지하공동구에서의 맵데이터를 생성하고 이에 대한 심층학습 기반의 자율적 경로 학습을 통해 무인비행체의 지하공동구 탐사 및 이상 상태를 진단하는 기술에 관한 것이다.

기존의 실내 맵데이터 생성 방법은, 깊이센서나 RGB센서로부터의 데이터를 통해 생성한 점유격자지도(Occupancy Grid Map)를 토대로 하여, 로봇기반의 자율주행 시스템에서 일반적으로 사용되는 SLAM(Simultaneous Localization and Mapping) 기술을 주로 활용한다. 이러한 SLAM 기반의 맵데이터 생성기술은 로봇비전을 위한 용도로 활용되고 있으며, 로봇청소기의 경우에도 옥내 천장의 특징 매칭을 통한 이동성 확보를 위해서 이러한 기술을 사용한다.

최근에는 SLAM 기술과 함께 시각경로추적(Visual Inertial Odometry; VIO) 기술을 활용하기도 한다. VIO 기술은 비전 및 관성센서를 이용하여 객체의 움직임을 추적하는 기법을 의미하는데, 여기에 SLAM 기술을 접목할 경우, 비교적 정확한 이동 경로 추적 및 맵데이터 생성이 가능하다.

한편, 일반적인 실내환경과 달리 지하공동구 환경은 전선이나 통신선과 같은 공중장애물이 훨씬 복잡다단하게 나타나고, 바닥이 균일하거나 평탄하지 않기 때문에 로봇 등을 활용하기도 어렵다. 천장도 실내에서와 같은 일정 패턴을 갖지 않고 다양한 형태를 보이며 이동통로의 형태도 지하공동구 환경에 따라 모두 다르다. 따라서 지하공동구 내에 놓인 각 설비장치의 자율적 상태 진단을 위하여, 무인비행체 활용이 필요하며, 복잡한 장애물로 인한 무인비행체 추락 등을 고려한 새로운 자율 탐사 기법이 필요하다.

따라서 본 발명의 목적은 지능형 무인비행체를 활용한 지하공동구 맵데이터 구축 및 자율비행 학습을 통해 광범위한 지하공동구 영역에서의 설비, 시설 등의 진단 및 관리가 가능한 방법 및 장치를 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 가이드객체를 인식추적하여 맵데이터 및 이동경로 학습데이터를 생성하고, 위치태그 영상을 인식하는 설정모드; 이동경로 학습데이터를 기반으로 무인 자율 비행을 통해 지하공동구내 설비 및 장치의 센서 및 시각데이터를 취득분석하여 이상상태를 진단하는 정상모드; 무인비행체가 재기동되었을 경우, 주변환경의 맵데이터 및 위치태그를 기반으로 무인비행체의 현재 위치를 재인식하는 이상모드를 포함하는, 지능형 무인비행체를 이용한 지하공동구 자율탐사방법이 제공된다.

즉, 설정모드 비행, 정상모드 비행, 이상모드 비행으로 구분하여 자율 비행 훈련 및 활동을 지원하고, 비행 중 이상 동작에 따른 좌표 망실시에도 무리없이 비행경로 학습데이터 및 맵데이터를 기반으로 이동 중 좌표를 재설정할 수 있도록 한다. 설정모드에서의 가이드 객체 추적을 통해 정상모드시의 비행경로를 선학습함과 동시에 비행경로 맵데이터를 구축하고, 학습된 영상을 기반으로 무인비행체 비행을 통해 지하공동구에 설치된 설비장치 상태를 예지진단하며, 비행 중 이상 발생시 자율적으로 현재 좌표 재설정 후 재탐사를 진행할 수 있다.

상기 서술한 바와 같이, 설정모드에서의 가이드 객체 추적을 통해 정상모드시의 비행경로를 선학습함과 동시에 비행경로 맵데이터를 구축하고, 학습된 영상을 기반으로 무인비행체 비행을 통해 지하공동구에 설치된 설비장치 상태를 예지진단하며, 비행 중 이상 발생시 자율적으로 현재 좌표 재설정 후 재탐사를 진행할 수 있다. 이와 같이 설정모드 비행, 정상모드 비행, 이상모드 비행으로 구분하여 자율 비행 훈련 및 활동을 지원하고, 비행 중 이상 동작에 따른 좌표 망실시에도 무리없이 비행경로 학습데이터 및 맵데이터를 기반으로 이동 중 좌표를 재설정할 수 있도록 한다.

설정모드에서는 지하공동구 내의 가이드 객체를 인식하고 이를 추적한다. 가이드 객체는 다양한 형태로 적용 가능한데, 지하공동구 내 특정 위치에 있는 특정 패턴을 갖는 문양이거나 드론을 운용하는 사람 자체일 수도 있고, 연속적 사운드 발생원, 특정 주파수 또는 전계강도를 갖는 연속된 EMI 소스 등도 가능하다.

설정모드에서는, 지하공동구 내의 시각데이터와 깊이정보 간의 데이터 매핑을 통해서 맵데이터를 생성하고, 시각영상 및 깊이정보를 비행 이동경로 심층학습(Deep Learning)을 위한 학습데이터로 활용하여 심층학습을 수행한다.

또한 설정모드에서는 추가로, 지하공동구 내에 존재하는 위치태그의 인식을 수행할 수 있다.

상기 정상모드에서는 무인비행체가 지하공동구 내 설비장치의 예지 진단관리를 위해, 설정모드에서 학습된 결과를 바탕으로 무인비행체는 맵데이터 내 이동시 입력되는 시각영상과 깊이정보를 통해 자신의 이동 방향 및 경로를 결정하여 심층학습기반 자율비행을 한다.

정상모드에서의 자율비행시에는 지하공동구 내 경로에 위치한 설비장치의 센서데이터 및 시각데이터를 취득하여 각 설비장치에 대한 상태 진단을 위한 기계학습을 진행하고 이상 상태를 진단한다.

또한 정상모드에서는 이동시 취득한 시각 및 깊이정보를 기존의 맵데이터와 비교하여 맵데이터를 갱신할 수 있다.

상기 이상모드에서는 비행 상태에서 입력되는 시각영상과 깊이정보가 입력되는 심층학습 네트워크로 학습하면서 현재 비행위치 및 이동방향을 인식하고 이에 대한 검증을 수행한다.

이와 같이, 본 발명은 시각센서 및 깊이센서를 기반으로 특정 가이드 객체를 활용하여 맵데이터 및 진행 경로 학습을 심층적으로 진행하고, 설정-정상-이상 모드에 따른 비행 절차 진행을 통해 주기적 혹은 비주기적으로 지능형 무인비행체를 운용하여 지하공동구를 자율탐사하도록 한다. 또한, GPS정보 활용이 어려운 지하공동구 환경에서 무인비행체를 통해 가이드 객체 인식 및 추적을 기반으로 지하공동구 환경의 맵데이터 생성 및 진행경로를 심층학습한 후, 기생성된 맵데이터를 바탕으로 비정상 동작 발생시에도 자율적 경로 예측을 하도록 하여 강건하게 지하공동구 탐사를 지속할 수 있게 된다.

한편, 본 발명의 다른 측면에 따르면, 상기 지하공동구 자율탐사방법을 수행하기 위하여, 무인비행체가 자신의 위치를 계속 계측하면서 동시에 주변환경 맵데이터를 작성하는 SLAM모듈; 작성된 맵데이터에 위치태그 인식표시와 센서시각데이터 측정위치 및 기록 등을 갱신하고 학습용 메타데이터 등을 관리하는 데이터베이스모듈; 가이드객체에 대한 인식 및 추적, 자율비행 경로 학습 및 훈련, 위치태그 인식 기능을 하는 센서/시각데이터처리모듈; 자율비행 경로 상에 위치한 각 설비 및 장치의 이상상태를 진단하는 상태분석/예지진단 모듈; 설정모드, 정상모드, 이상모드 상태를 인식하고 해당 절차에 맞도록 무인비행체 운용을 지시하는 비행모드 진단모듈을 포함하는 자율비행처리부를 포함하는, 지능형 무인비행체를 이용한 지하공동구 자율탐사장치가 제공된다.

상기 자율비행처리부에는 맵데이터, 위치태그 정보, 센서시각데이터 정보, 자율비행 무인비행체 정보 등을 사용자 친화적으로 컴퓨터 화면에 구현하는 시각화모듈이 추가로 포함될 수 있다.

이상에서 소개한 본 발명의 구성 및 작용은 차후에 도면과 함께 설명하는 구체적인 실시예를 통하여 더욱 명확해질 것이다.

본 발명에 따르면, 맵데이터 구축 및 자율 비행을 할 수 있도록 학습된 무인비행체를 통해, 지하공동구 내 설치된 장치 및 시설 등의 관리 방법이 현장에 직접 투입된 관리원의 육안 검사로 주로 이루어졌던 것과 달리, 무인비행체를 이용하여 지하공동구의 맵데이터를 구축하고 추가적인 사용자 통제없이 자율비행을 통해 장치 및 시설 등의 진단과 관리를 수행할 수 있다. 또한, 시각 및 깊이 센서를 기반으로 무인비행체 자율비행을 위한 학습 및 맵데이터 생성이 가능하여, 무인 설비 모니터링, 장치 진단 및 예지 관리 솔루션, 지하공동구 가이드맵 솔루션 등 폭넓은 분야의 핵심 기술로 활용이 가능하다.

도 1은 본 발명의 한 실시예에 따른 지하공동구 내 무인비행체의 자율탐사방법의 절차도
도 2는 무인비행체에 의한 지하공동구 자율탐사시 설정모드(100) 비행의 예를 보인 것
도 3은 지능형 무인비행체의 형태로 구현되는 지하공동구 내 자율탐사장치의 구성도
도 4는 자율비행처리부(10)의 구성도

도 1은 본 발명의 한 실시예에 따른 지하공동구 내 무인비행체의 자율탐사 절차도이다. 무인비행체의 비행은 설정모드(100), 정상모드(200), 이상모드(300)의 세 가지 비행모드로 구성된다.

먼저, 설정모드 비행(100)에 대해 설명한다. 설정모드 비행이 시작되면, 가이드 객체를 인식하고 이를 추적한다(110). 가이드 객체는 다양한 형태로 적용 가능한데, 지하공동구 내 특정 위치에 있는 특정 패턴을 갖는 문양이거나 드론을 운용하는 사람 자체일 수도 있고, 연속적 사운드 발생원, 특정 주파수 또는 전계강도를 갖는 연속된 EMI 소스 등도 가능하다.

지하공동구 내의 시각데이터와 깊이정보 간의 데이터 매핑을 통해서 맵데이터를 생성하여, 정상모드에서의 자율비행을 위한 지하공동구 환경 학습데이터를 훈련한다(120).

가이드 객체를 따라 지하공동구를 이동하면서 시각(RGB) 영상과 깊이정보(Depth)의 SLAM기법 기반 데이터 정합을 통해 부분적인 맵데이터를 지속적으로 생성하면서 갱신한다(130). 또한 시각영상 및 깊이정보를 비행 이동경로 심층학습(Deep Learning)을 위한 학습데이터로 활용하여 심층학습을 수행한다(140). 심층학습시에는 각 심층학습 네트워크 링크에서의 가중치 학습을 진행할 수 있다.

한편, 일반적으로 지하공동구 내에는 일정 간격마다 위치태그가 존재한다. 이는 해당 위치에 대한 좌표일 수도 있고, 설비장치에 대한 안내용 태그일 수도 있다. 이러한 위치태그는 추후 이상모드(300) 진입시 무인비행체의 현재 위치를 파악할 수 있는 주요 단서가 되므로 위치태그의 영상인식을 수행하여(150) 해당 태그 내용 및 위치를 상기 생성된 맵데이터에 기록한다.

이상의 가이드 객체 추적(110), 맵데이터 생성(130), 비행 이동경로 심층학습(140), 위치태그 영상인식(150)을 반복수행하여 맵데이터의 생성이 완료(160)되면 설정모드가 종료된다(170).

도 2는 무인비행체에 의한 지하공동구 자율탐사시 설정모드(100) 비행의 예를 보인 것이다.

지하공동구 속으로 무인비행체가 비행하면서 앞에 있는 가이드 객체를 인식하고 추적한다. 이 예에서는 유형의 사람(예를 들어, 무인비행체를 운용하는 사람)을 가이드 객체로 활용하고 있다. 가이드 객체를 추적하면서 무인비행체의 시각 및 깊이센서는 각각 좌/우 주변환경을 A^t+0 및 B^t+0로부터 A^t+n 및 B^t+n까지 연속적으로 취득하며 맵데이터 및 학습 메타데이터를 생성한다. 최종적으로 지하공동구 전체를 같은 방식으로 탐색할 때까지 절차를 진행한다.

무인비행체를 운용하는 사람을 가이드 객체로 사용하는 경우의 맵데이터 및 학습 메타데이트를 생성하는 예를 설명한다. 사람을 쫓도록 설정된 비행체는 현재 비행위치에서의 지하공동구 내 좌우의 시각 및 깊이영상을 취득하여, SLAM 및 VIO 기술을 기반으로 공동구 내의 지형환경을 생성하면서, 동시에 좌우 시각 및 깊이영상을 실시간 입력으로 하고, 현재 비행 방향 및 현재 위치를 출력으로 하는 심층 모델 구성 및 학습을 통해, 추후 가이드 객체가 없을 때에도 좌우 시각 및 깊이영상 입력을 기반으로 스스로 자율 이동 가능하도록 훈련한다. 즉, 가이드 객체를 따라 현재 비행체 위치에서의 좌우 시각 및 깊이 영상을 입력으로, 비행 방향 및 현재 위치 출력을 반복 학습시키게 되면, 학습 후 정상모드에서는 비행체의 현재 위치에서의 좌우 시각 및 깊이영상 입상 입력시 다음 순간까지의 비행체의 방향 및 위치가 학습 결과로 출력되고 비행체는 해당 위치로 이동한다. 지하공동구 내에는 송배전 전력선, 통신선, 전력변환장치, 전력선 가이드, 각종 센서류, 통신단자함, 조명 등이 늘어서 있으며, 먼저 오프라인에서 각종 전력 장치의 정상/비정상 상태에 대한 조건 학습을 한 후, 비행체의 센서(시각, 음향, EMI, 진동 등)를 통해 실시간 입력되는 신호를 해석하여, 각 전력 장치의 현재 상태(정상/비정상) 및 맵데이터 상의 장치 위치에 대한 학습 메타데이터를 생성한다.

한편, 가이드 객체가 사운드일 경우에는, 일정 간격을 따라 사운드 발생원(음원)을 지하공동구 좌우 벽에서 순차적으로 음을 발생하도록 배치하고, 비행체가 특정 사운드 발생원에 근접하면, 해당 사운드 발생원을 오프하고, 다음 차례의 사운드 발생원을 새롭게 발생시켜 비행체로 하여금 사운드 발생원의 중심방향으로 계속 진행하도록 구성하여 비행 경로를 가이드할 수 있다. 또한 EMI 소스의 경우도 이와 유사한 과정을 통해 처리 가능하다.

다시 도 1을 참조하면, 정상모드(200)에서는 무인비행체가 지하공동구 내 설비장치의 예지 진단관리를 위해 주기적 혹은 비주기적으로 자율비행을 진행한다. 설정모드(100)에서 학습된 결과를 바탕으로 무인비행체는 맵데이터 내 이동시 입력되는 시각영상과 깊이정보를 통해 자신의 이동 방향 및 경로를 결정하여 심층학습기반 자율비행을 한다(210). 여기서 심층학습 네트워크의 입력은 시각영상과 깊이정보이며, 출력은 무인비행체의 위치 및 이동방향이다.

자율비행시에는 지하공동구 내 경로에 위치한 설비장치의 각종 센서데이터(전류/전압/온습도/기울기/장치계측정보 등) 및 시각데이터(균열/침습/누수/열 등)를 취득하여 각각의 설비장치에 대한 상태 진단을 위한 기계학습을 진행하고 이상 상태를 진단한다(220, 230). 또한 이동시 취득한 시각 및 깊이정보를 기존의 맵데이터와 비교하여 맵데이터를 갱신한다(240). 이러한 자율비행, 데이터 취득, 이상상태 진단, 맵데이터 갱신(210, 220, 230, 240)을 반복하여 자율비행을 완료후 정상모드 비행을 종료한다(250).

좀더 구체적으로 설명하면, 비행체에 부착된 게이트웨이 장치를 통해 이동 중 지하공동구 내 설비장치에서 발생하는 각종 센서데이터 및 시각데이터를 취득한다. 한 예로, 배전반의 경우에 부품 손상시 특정 부품에의 열, 고주파 소음 발생 및 EMI 방사 등의 이상 신호가 나타나는데, 이러한 다양한 신호 데이터를 심층 학습 모델의 입력으로 하여 해당 배전반 장치의 이상 유무를 모니터링 할 수 있다. 또한 비행체가 비행시의 시각 센서(RGB, 열센서 등)를 통해 지하공동구 벽의 균열, 누수, 침습 등의 영상을 획득하고, 이를 입력으로 한 심층학습 모델 운용을 통해 지하공동구의 현재 상태를 진단할 수 있다. 이러한 설비 장치 및 구조물에 대한 진단 결과는 지하공동구의 현재 위치 상의 맵데이터 위치에 매핑되어 정보가 새롭게 갱신된다.

한편, 정상모드 비행시 비행체의 낙하/추락 혹은 소프트웨어 오작동 등으로 인한 예기치 않은 사고가 발생할 수 있다. 이러한 때에 이상모드(300)로 진입하게 되는데, 이상모드에서는 기기 재부팅 등의 재기동 과정을 거친 후, 우선적으로 현재 위치를 인식해야 한다. 현재 위치의 인식이 안 될 경우는 비행 상태에서 입력되는 시각영상과 깊이정보가 입력되는 심층학습 네트워크로 학습하면서 현재 비행위치 및 이동방향을 인식한다(310). 현재 위치를 맵데이터와 매핑하고(320) 비행 경로상 맵데이터에 표시된 위치에 위치태그 영상이 제대로 인식되는지 여부를 통해(330) 심층학습 기반의 현재 위치 인식에 대한 검증 작업을 진행한다. 검증이 완료되면 다시 정상모드 비행으로 전환한다(340).

도 3은 지능형 무인비행체의 형태로 구현되는 지하공동구 내 자율탐사장치의 구성도이다.

자율탐사장치는 비행모드제어 및 맵데이터처리, 센서데이터 및 시각데이터처리 등 주요기능을 담당하는 자율비행처리부(10)를 갖는다.

자율비행처리부(10)는, 이동시 좌우 3D 환경을 스캔할 수 있는 깊이센서(20), 비행체 진행 방향에서의 급작스러운 물체 등장시 이를 감지하거나 가이드 객체와의 거리 등을 인식할 수 있는 거리측정센서(30), 가시광 영역의 RGB 센서, 적외선 영역의 IR 센서 등의 시각센서(40)로부터 환경 신호를 수집한다.

또한, 자율비행처리부(10)는, 무인비행체의 날개 제어를 통해 이동방향 및 속도 등의 제어를 담당하는 비행제어부(50), SLAM 기반 맵데이터 생성을 보다 정밀하고 강건하게 보조해주는 비행보조부(Visual Inertial Odometry)(60)를 포함한다.

자율비행처리부(10)는 원격지와의 네트워크 연결을 통해 맵데이터 및 센서/시각데이터 저장소를 별도로 운용가능하다. 또한, 자율비행처리부(10)에서 처리된 시각화 데이터는 HMI를 통해 관리가능하다. 따라서 심층학습 네트워크 모델의 학습 방식과 같이 무인비행체에서 처리하기에 너무 과도한 부하가 걸리는 경우에는, 원격지의 HMI 서버와 연동하여 처리할 수 있다.

도 4는 자율비행처리부(10)의 구성도이다.

-무인비행체가 자신의 위치를 계속 계측하면서 동시에 주변환경 맵데이터를 작성하는 SLAM모듈(11),

-작성된 맵데이터에 위치태그 인식표시와 센서시각데이터 측정위치 및 기록 등을 갱신하고 학습용 메타데이터 등을 관리하는 데이터베이스모듈(12),

-가이드객체에 대한 인식 및 추적, 자율비행 경로 학습 및 훈련, 위치태그 인식 등의 주요기능을 담당하는 센서/시각데이터처리모듈(13),

-자율비행 경로 상에 위치한 각 설비 및 장치의 이상상태를 진단하는 상태분석/예지진단 모듈(14),

-맵데이터, 위치태그 정보, 센서시각데이터 정보, 자율비행 무인비행체 정보 등을 사용자 친화적으로 컴퓨터 화면에 구현하는 시각화모듈(15),

-설정모드, 정상모드, 이상모드 상태를 인식하고 해당 절차에 맞도록 무인비행체 운용을 지시하는 비행모드 진단모듈(16)을 포함한다.

이상에서 설명한 실시예는 본 발명의 기술 사상을 실제로 구현하기 위한 한 가지 예에 불과하다. 본 발명의 기술적 범위는 이하에 작성된 특허청구범위의 합리적 해석에 의해 결정된다.

Claims (1)

1. 지하공동구 내 무인비행체 자율비행을 통한 자율탐사방법으로서
   가이드객체를 인식추적하여 맵데이터 및 이동경로 학습데이터를 생성하고, 위치태그 영상을 인식하는 설정모드와,
   이동경로 학습데이터를 기반으로 무인 자율 비행을 통해 지하공동구내 설비 및 장치의 센서 및 시각데이터를 취득분석하여 이상상태를 진단하는 정상모드와,
   무인비행체가 재기동되었을 경우, 주변환경의 맵데이터 및 위치태그를 기반으로 무인비행체의 현재 위치를 재인식하는 이상모드를 포함하는 지능형 무인비행체를 이용한 지하공동구 자율탐사방법.
   
   
   
   .
   
   

Images