KR102427876B1

KR102427876B1 - 무인비행장치 및 그의 제어방법

Info

Publication number: KR102427876B1
Application number: KR1020200171071A
Authority: KR
Inventors: 조성욱
Original assignee: 청주대학교 산학협력단
Priority date: 2020-12-09
Filing date: 2020-12-09
Publication date: 2022-07-29
Also published as: KR20220081518A

Abstract

본 발명의 일실시예에 따른 센서가 장착된 로봇팔을 포함한 무인비행장치 제어 방법은, 상기 무인비행장치의 센싱 데이터를 수집하는 단계; 수집한 센싱 데이터에 기초하여 상기 무인비행장치가 상기 대상체와의 사이에서 임계위치에 도달한 것으로 판단되면, 상기 무인비행장치의 수평비행을 제어하고 상대고도를 결정하는 단계; 및 결정된 상대고도에서 상기 센서를 제어하여 상기 대상체에 대한 데이터를 획득하는 단계를 포함한다.

Description

무인비행장치 및 그의 제어방법{Unmanned Aerial Manipulator and Controlling Method Thereof}

본 발명은 무인비행장치에 관한 것으로, 보다 상세하게는 대상체 촬영을 위한 센서 또는 센서 시스템을 포함한 로봇팔이 장착된 무인비행장치 및 그 제어 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

종래 교량 상/하부 구조물, 풍력 발전기 날개 등과 같은 거대 시설물에 대한 검사는 시설물 관리자가 직접 육안이나 망원카메라를 통해 파악하였다. 그러나 시설물의 크기가 통상적으로 수 m 내지 수십 m에 이르기 때문에, 이는 상당히 부정확하고 위험한 방법이며 시설물의 결함 발생을 조기에 발견하여 보수하거나 시설물 유지를 하기에는 어려움이 많았다.

이러한 문제를 해소하고자, 최근 인간의 수동 조작 없이 로봇이 정해진 경로를 따라 이동하는 것뿐만 아니라 사람이 접근하기 어려운 영역에 도달하여 다양한 영상 정보를 획득할 수 있는 드론(drone)을 통하여 시설물의 결함을 검사하는 방법이 도입되고 있다. 최근에는 드론에 김발(gimbal)을 장착하여 자세 안정화 및 떨림 보정이 된 상태로 고화질의 영상을 획득할 수 있어 다양한 산업 전반에 활용되고 있다.

그러나 이러한 3자유도 김발 기반 시설물 촬영은 자세를 기울여야만 이동할 수 있는 드론의 이동 성능 제한으로 인해 큰 움직임이 있는 상태에서 영상 촬영을 하는 임무에는 적합하나, 대상 시설물에 근접한 상태에서 촬영하는 임무에는 부적합하다. 예컨대, 드론을 통한 촬영면에 대한 수직 벡터(normal vector) 방향으로의 촬영을 하기 위해 근접 거리를 이동해야 하므로 잦은 자세 기울임이 발생하고, 이로 인해 불필요한 추력 전원 소모와 자기 움직임으로 인한 난류 외란 등의 문제가 발생하여 자세 불안정성 및 퀄리티가 떨어지는 결과물 획득 등의 어려움이 있다.

본 발명의 일과제는, 센서 또는 센서 시스템을 포함한 로봇팔이 장착된 무인비행장치의 근접 비행을 통하여 대상체에 대한 이미지를 획득함에 있어서, 다양한 외란에 의한 무인비행장치의 근접 비행 안정성을 보장하면서 상기 근접 비행을 통한 고퀄리티의 결과물 획득이 가능하도록 작업 효율성을 높이는 무인비행장치 및 그 제어 방법을 제공하는 것이다.

상기한 과제를 해결하기 위하여, 본 발명의 일실시예에 따른 센서가 장착된 로봇팔을 포함한 무인비행장치 제어 방법은, 상기 무인비행장치의 센싱 데이터를 수집하는 단계; 수집한 센싱 데이터에 기초하여 상기 무인비행장치가 상기 대상체와의 사이에서 임계위치에 도달한 것으로 판단되면, 상기 무인비행장치의 수평비행을 제어하고 상대고도를 결정하는 단계; 및 결정된 상대고도에서 상기 센서를 제어하여 상기 대상체에 대한 데이터를 획득하는 단계를 포함한다.

본 발명의 일실시예에 따르면, 수집된 센싱 데이터에 기초하여 상기 센서가 장착된 로봇팔의 최대연장길이를 고려하여 추정한 무인비행장치와 대상체 사이의 상대거리값과 연산한 충돌위험확률값을 산출하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따르면, 상기 센서의 움직임 데이터와 획득되는 데이터 중 적어도 하나에 기초하여, 상기 무인비행장치의 수평 이동과 상대고도 변경 여부를 판단하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따르면, 상기 무인비행장치의 수평 이동이 필요한 것으로 판단되면, 상기 무인비행장치의 수평비행을 다시 제어하고, 상기 무인비행장치의 상대고도 변경이 필요한 것으로 판단되면, 상기 무인비행장치의 상대고도를 재결정하고 수직비행 제어할 수 있다.

본 발명의 일실시예에 따르면, 상기 재결정된 상대고도로 무인비행장치의 수직비행 제어 후, 상기 센서를 제어하여 상기 대상체에 대한 데이터를 획득하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따른 센서가 장착된 로봇팔을 포함한 무인비행장치는, 메모리; 및 프로세서를 포함하되, 상기 프로세서는, 상기 무인비행장치의 센싱 데이터를 수집하는 센싱정보처리부; 수집한 센싱 데이터에 기초하여 상기 무인비행장치가 상기 대상체와의 사이에서 임계위치에 도달한 것으로 판단되면, 상기 무인비행장치의 수평비행을 제어하고 상대고도를 결정하는 비행제어부; 및 결정된 상대고도에서 상기 센서를 제어하여 상기 대상체에 대한 데이터를 획득하도록 제어하는 센서제어부를 포함한다.

본 발명의 일실시예에 따르면, 상기 비행제어부는, 상기 수집된 센싱 데이터에 기초하여 상기 센서가 장착된 로봇팔의 최대연장길이를 고려하여 추정한 무인비행장치와 대상체 사이의 상대거리값과 연산한 충돌위험확률값을 산출할 수 있다.

본 발명의 일실시예에 따르면, 상기 비행제어부는, 상기 센서의 움직임 데이터와 획득되는 데이터 중 적어도 하나에 기초하여, 상기 무인비행장치의 수평 이동과 상대고도 변경 여부를 판단할 수 있다.

본 발명의 일실시예에 따르면, 상기 비행제어부는, 상기 무인비행장치의 수평 이동이 필요한 것으로 판단되면, 상기 무인비행장치의 수평비행을 다시 제어하고, 상기 무인비행장치의 상대고도 변경이 필요한 것으로 판단되면, 상기 무인비행장치의 상대고도를 재결정하고 수직비행 제어할 수 있다.

본 발명의 일실시예에 따르면, 상기 센서제어부는, 상기 재결정된 상대고도로 무인비행장치의 수직비행 제어 후, 상기 센서를 제어하여 상기 대상체에 대한 데이터를 획득하도록 제어할 수 있다.

본 발명의 다양한 실시예들에 따르면, 다음과 같은 효과가 있다.

첫째, 센서 또는 센서 시스템을 포함한 로봇팔이 장착된 무인비행장치의 근접 비행을 통하여 대상체에 대한 이미지를 획득함에 있어서, 다양한 외란에 의한 무인비행장치의 근접 비행 안정성을 보장하면서 상기 근접 비행을 통한 고퀄리티의 결과물 획득이 가능하도록 작업 효율성을 높이는 무인비행장치 및 그 제어 방법을 제공할 수 있는 효과가 있다.

둘째, 상기한 과정에서 추력 소모를 최소화하고, 그를 통해 무인비행장치의 운용 시간을 보다 늘릴 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 무인비행시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 무인비행장치의 구성 블록도이다.
도 3은 본 발명의 일 실시예에 따른 무인비행장치 내 센싱정보 처리부의 구성 블록도이다.
도 4 내지 도 8은 본 발명의 일실시예에 따른 무인비행장치의 비행 제어 방법을 설명하기 위해 도시한 도면이다.
도 9는 본 발명의 일실싱예에 따른 무인비행장치의 제어 방법을 설명하기 위해 도시한 순서도이다.
도 10은 본 발명의 다른 일실싱예에 따른 무인비행장치의 제어 방법을 설명하기 위해 도시한 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는'이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서는 본 발명의 일실시예에 따른 센서를 포함한 로봇팔(robot arm)이 장착된 무인비행장치(unmanned aerial manipulator)를 통하여 대상체에 대한 이미지를 획득하는 과정에서, 상기 무인비행장치의 비행 안정성을 보장하면서 상기 대상체에 대한 근접 촬영이 가능하도록 하여 작업 효율성을 높이는 것에 대한 다양한 실시예를 개시한다.

이하 본 명세서에서 기술되는 '대상체(target object)'이라 함은, 본 발명에 따른 무인비행장치를 통한 이미지 데이터 획득의 대상이 되는 교량 상/하부 구조물, 풍력 발전기 날개(blade)와 같은 시설물 또는 그 일부를 포함하나, 이에 반드시 한정되는 것은 아니다.

또한, 본 명세서에서 기술되는 '비행장치'는, 무인비행장치를 포함하며, 상기 무인비행장치는 그 일단으로부터 연장되는 구성을 포함하며, 상기 연장되는 구성은 대상체에 대한 이미지 데이터 획득을 위한 센서 또는 센서 시스템(sensor or sensor system)(이하, 센서라 함)을 포함한다. 이 때, 상기 연장의 의미는 단순하게 무인비행장치의 일단으로부터 출발하여 항상 그 외부로 노출되는 경우뿐만 아니라 특정 목적의 기능을 위하여 외부로 노출되기 전까지는 무인비행장치의 내부에 위치하여 그 일부만 노출되거나 전부 노출되지 않는 경우도 포함한다. 본 발명의 이해를 돕고 설명의 편의를 위하여 상기 센서가 포함된 상기 무인비행장치의 일단에서 연장되는 구성은 로봇팔을 예로 하여 설명한다. 한편, 상기 무인비행장치는 드론(drone)을 포함한다. 다만, 본 발명은 그 명칭에 한정되지 않고 그 기능이나 역할에 기초하여 다양한 구성도 포함할 수 있다. 그 밖에, 이하에서 편의상 '로봇팔'이라고만 명명하여 설명하더라도 그것은 로봇팔뿐만 아니라 로봇팔에 장착된 센서도 포함하는 의미일 수 있다.

도 1은 본 발명의 일 실시예에 따른 무인비행시스템(10)의 구성도이다.

도 1을 참조하면, 무인비행시스템(10)은 대상체(110), 무인비행장치(120) 및 컨트롤러(130)를 포함하여 구성할 수 있다.

대상체(110)는 시설물 또는 시설물의 일부일 수 있다.

무인비행장치(120)는, 센서가 포함된 연장부, 즉 로봇팔을 포함할 수 있다. 실시예에 따라, 로봇팔은 6자유도 이상의 정밀 제어가 가능하고 운용 범위가 넓은 로봇팔을 포함할 수 있다.

실시예에 따라, 로봇팔은 무인비행장치(120)에 탈부착 가능할 수 있다. 실시예에 따라, 로봇팔은 항상 무인비행장치(120)의 외부에 노출될 수도 있고, 무인비행장치(120)의 수평 벡터 기준 대상체와의 임계위치 이전까지는 상기 무인비행장치(120)의 내부에 위치하고, 상기 임계위치에 도달하면 임무 수행을 위하여 외부로 노출될 수도 있다. 상기에서 임계위치라 함은, 수평 벡터 기준 대상체와의 상대거리가 상기 대상체에 대한 목적 데이터를 획득하기 위하여 미리 설정된 거리에 해당하는 특정 위치 또는 구간을 의미할 수 있다.

실시예에 따라, 센서는 로봇팔의 일단에 장착된 엔드-이펙터(end-effector) 주위에 설치되며, 영상/라이다 복합 센서 시스템, 이미지 센서 등을 포함하며, 무인비행장치(120) 자체에 장착된 센서와는 다른 구성일 수 있다. 다만, 본 발명에 따른 센서는 이에 한정되는 것은 아니며, 목적 등에 따라 오디오 센서 등을 포함할 수 있다. 비록 도시되진 않았지만, 실시예에 따라, 센서는 로봇팔의 일단에 영구적으로 설치되는 것이 아니라 탈부착 가능한 형태로 구비될 수 있으며, 이 경우 무인비행장치의 비행 목적 등에 따라 다야한 센서를 탈부착하여 작업 효율성을 높일 수 있다.

컨트롤러(130)는, 무인비행장치(120)와 로봇팔 또는/및 센서의 동작을 제어할 수 있다. 실시예에 따라, 컨트롤러(130)는, 무인비행장치(120)를 임계위치 이전까지는 그 비행을 제어하고, 임계위치에 도달하면 결정된 고도에서 정지 비행하도록 제어할 수 있다. 그리고 컨트롤러(130)는 무인비행장치(120)가 결정된 고도에서 정지 비행하면, 로봇팔 또는/및 상기 로봇팔에 장착된 센서의 움직임을 제어하여 근접 비행을 유지하면서 대상체에 대한 이미지 데이터와 같은 목적 데이터를 획득할 수 있다.

본 명세서에서 목적 데이터는 로봇팔에 장착된 센서를 통한 대상체(110)에 대한 비디오 데이터, 이미지 데이터, 오디오 데이터 등을 포함할 수 있다.

한편, 컨트롤러(130)는, 무인비행장치(120)의 이동 경로 등 비행과 로봇팔의 움직임, 목적 데이터 획득 시점 내지 방법 등과 관련된 기능을 담당하는 임베디드 보드(embedded board)와 임무, 경로 생성, 유도 제어, 자세 제어, 촬영 제어 등 다양한 기능을 수행하기 위한 알고리즘이 포함한 프로그램을 내장할 수 있다.

컨트롤러(130)는, 모드 전환을 통한 무인비행장치(120)의 비행 제어 및 로봇팔 또는/및 센서의 움직임 제어를 위한 하드웨어인 단말로서, 전용 장치이거나 상기 무인비행장치(120) 및 로봇팔(센서 포함)의 제어를 위한 프로그램이나 어플리케이션을 포함된 스마트폰과 같은 단말장치일 수 있다.

또한, 컨트롤러(130)는, 무인비행장치(120) 및 로봇팔의 제어를 위한 스틱(stick) 또는 패드 등의 입력 인터페이스를 포함하고, 상기 무인비행장치(120) 및 로봇팔로부터 센싱 데이터를 포함하여 다양한 신호를 수신하는 통신 인터페이스도 포함할 수 있다.

한편, 무인비행장치(120)는 대상체(110)에 대한 촬영 등을 위하여 센서의 센싱 정보에 기초하여 대상체(110)와의 충돌위험확률 및 상대거리값을 추정하고, 충돌위험확률을 산출하여 비행 제어, 즉 결정된 고도에서 정지 비행하도록 제어하여 대상체(110) 근처에서 거리를 유지하면서 근접 비행하거나 충돌을 방지하도록 제어할 수 있다.

무인비행장치(120)의 비행 전 과정이 컨트롤러(130)의 제어를 받는 비자율 비행을 할 수도 있고, 미리 입력된 데이터에 기초하여 별도의 컨트롤러(130)의 제어 없이도 자율 비행할 수도 있다. 또한, 무인비행장치(120)는 비행 전 과정 중 일부는 자율 주행 그리고 일부는 비자율 주행할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 무인비행장치(120)의 구성 블록도이다.

도 3은 본 발명의 일 실시예에 따른 무인비행장치(120) 내 센싱정보 처리부(210)의 구성 블록도이다.

먼저, 도 2를 참조하면, 무인비행장치(120)는 메모리와 프로세서로 구성될 수 있다. 이 때, 프로세서는, 센싱정보처리부(210), 통신부(220), 비행제어부(230), 날개부(240), 로봇팔제어부(250), 로봇팔(260), 센서제어부(270) 및 센서(280)를 포함한다. 실시예에 따라서, 비행제어부(230), 로봇팔제어부(250) 및 센서제어부(270) 중 적어도 둘 이상이 하나의 모듈로 구현될 수도 있다.

센싱정보 처리부(210)는 복수의 센서들을 포함하여, 각 센서로부터 획득한 센싱값에 기초하여 대상체(110)와 무인비행장치(120) 사이의 상대거리를 추정하고, 무인비행장치(120)의 대상체(110)에 대한 충돌 위험확률값을 연산한다. 이 때, 상대거리라 함은, 무인비행장치(120)의 위치(예를 들어, 무인비행장치(120) 내 장착된 센서의 위치)와 대상체(110)와의 거리를 의미한다. 센싱정보처리부(210)는 상기 추정한 상대 거리값(상대거리 추정값)과 충돌 위험 확률값을 산출하여 비행제어부(230)로 전달함으로써, 비행제어부(230)가 수신한 정보들을 이용하여 날개부(240)를 통해 무인비행장치(120)의 비행을 제어할 수 있다.

도 3을 참조하면, 센싱정보처리부(210)는 제1 내지 제n 센서부(310a 내지 310n), 제1 내지 제n 변환부(320a 내지 320n), 충돌 위험확률연산부(330) 및 상대거리추정부(340)를 포함한다.

제1 내지 제n 센서부(310a 내지 310n)는 무인비행장치(120) 내 구비되어, 무인비행장치(120)와 대상체(110) 간의 상대거리를 센싱한다. 각 센서부(310a 내지 310n)는 서로 상이한 종류의 센서로 구현될 수 있다. 예를 들어, 제1 내지 제n 센서부(310a 내지 310n) 중 어느 하나는 라이다 센서로 구현될 수 있고, 다른 하나는 스테레오 카메라와 같은 영상 센서로 구현될 수 있고, 또 다른 하나는 초음파 센서로 구현될 수 있다. 이러한 센서는 상대거리 추정을 위한 모든 장비를 포함할 수 있으며 예로서, 전술한 라이다, 스테레오 카메라 및 초음파 센서 외에 GPS, 자이로 센서, 가속도 센서와 같은 INS 등도 포함될 수 있다. 이와 같이, 제1 내지 제n 센서부(310a 내지 310n)는 서로 다른 종류의 센서를 포함함으로써, 특정 종류의 센서로부터 필연적으로 획득되는 오차가 누적되는 것을 방지하여 오차를 분산시킬 수 있어, 센싱값의 정확도를 높일 수 있다. 다만, 이를 위하여, 이종 센서들을 통해 획득되는 센싱 데이터의 이용을 위한 변환 내지 규준화가 필요하고 이를 위하여 융합 필터가 이용될 수 있다.

또한, 센서부(310a 내지 310n)는, 무인비행장치(120)와 대상체(110) 간의 상대거리에 영향을 미칠 수 있는 정보를 측정하는 센서도 포함될 수 있다. 예를 들어, 무인비행장치(120)에 영향을 미치는 바람의 풍향 또는 풍속을 측정하는 센서나 무인비행장치(120)의 속도를 측정하는 센서 등이 센서부(310a 내지 310n)에 포함될 수도 있다.

제1 내지 제n 변환부(320a 내지 320n)는 센서부(310a 내지 310n)가 측정한 센싱값을 충돌 위험확률 연산부(330)와 상대거리 추정부(340)에서의 이용을 위하여 변환한다. 이는 이종 센서 채용에 따라 상이한 센싱값의 단위나 크기 등에 따른 충돌 위험확률 연산량 증가를 방지하거나 상대거리 추정을 위한 규준화 된 데이터 이용을 위함이다. 후자의 경우, 이러한 의미로 상기 변환부는 융합 필터로서 기능할 수 있다.

제1 내지 제n 변환부(320a 내지 320n)는 변환된 수치를 충돌위험확률연산부(330)로 전달하며, 각 센서부(310a 내지 310n)로부터 수신한 센싱값을 상대거리추정부(340)로 전달한다.

충돌위험확률연산부(330)는 변환된 수치들을 수신하여, 이를 이용해 충돌위험확률값을 연산한다. 충돌위험확률연산부(330)는 변환된 각 확률값을 조합하여 최종 충돌위험확률을 연산하며, 연산된 충돌위험확률을 비행제어부(230)로 전달한다.

상대거리추정부(340)는 각 센서부(310a 내지 310n)로부터 센싱된 상대거리를 수신하여, 수신한 상대거리 값 중 최적의 상대거리값을 추정한다. 상대거리추정부(340)는 추정한 상대거리 값을 비행제어부(230)로 전달한다.

다시 도 2를 참조하면, 통신부(220)는 컨트롤러(130)로부터 조종 입력을 수신하여 비행제어부(230)로 전달하거나 무인비행장치(120)의 데이터를 상기 컨트롤러(130)로 전달한다.

비행제어부(230)는 조종 입력, 충돌위험확률값 및 추정된 상대거리값을 수신하여, 수신한 정보를 이용하여 비행 모드를 결정하고, 결정된 비행 모드로 비행하도록 날개부(240)를 제어한다. 상기 비행 모드는 예컨대, 후술하는 일반 모드, 감속 모드, 정지비행 모드 등이 포함될 수 있다.

비행제어부(230)는 관리자의 의지에 따라 무인비행장치(120)를 비행하도록 제어하거나 일정한 거리를 유지하도록 제어하여 시설물 관리자의 비행을 보조하며, 충돌 위험이 현저히 높은 경우에만 무인비행장치(120)의 제어에 관여할 수 있다. 이에 따라, 무인비행장치(120)의 대상체(110)와의 충돌 위험을 최소화할 수 있다.

날개부(240)는 회전력을 발생시키는 로터(Rotor) 및 회전력을 추진력으로 변환하는 프로펠러를 포함하여, 무인비행장치(120)가 비행할 수 있도록 한다.

로봇팔제어부(250)는 컨트롤러(130)의 제어 입력 등에 따라 비행제어부(230)의 제어에 의해 무인비행장치(120)가 정지 비행을 하면, 대상체(110)에 대한 촬영 등 임무 수행을 위하여 필요한 로봇팔 제어 명령을 생성하고 그 동작을 제어할 수 있다. 실시예에 따라, 로봇팔제어부(250)는 컨트롤러(130)의 제어 명령에 따라 로봇팔(260) 제어를 하거나 미리 입력된 설정에 기초하여 자율적으로 로봇팔(260)을 제어할 수 있다.

로봇팔(260)은 전술한 바와 같이, 적어도 6자유도 이상의 정밀 제어가 가능하고 운용 범위가 넓은 로봇팔일 수 있다. 로봇팔(260)에 대한 상세 설명은 공지 기술을 참조하고 여기서 별도 상세 설명은 생략한다.

센서제어부(270)는 컨트롤러(130) 또는 미리 입력된 설정에 따라 자율적으로 센서(280)를 제어하여 대상체(110)에 대한 목적 데이터 획득을 제어할 수 있다.

센서(280)는 로봇팔(260)의 일단에 장착된 전술한 센서(도 3에 도시된 센서부는 미포함)로서, 대상체(110)의 영상을 촬영한다.

이하 무인비행장치(120)의 비행 제어 및 촬영 제어에 관한 상세 설명은 도 4 내지 8에서 보다 상세히 설명한다.

도 4 내지 도 8은 본 발명의 일실시예에 따른 무인비행장치(120)의 비행 제어 방법을 설명하기 위해 도시한 도면이다.

도 4는, 특히 무인비행장치(120)의 구간별 비행 제어와 관련된다.

도 4를 참조하면, 무인비행장치(120)와 대상체(110)의 사이 구간을 편의상 3개의 구간으로 구분하였다.

3개의 구간은 p1 이전 구간, p1-p2 사이 구간, 및 p2-p3 사이 구간으로 정의할 수 있다.

컨트롤러(130)는, p1 이전 구간에서는 무인비행장치(120)의 비행 속도 등을 별도 제어하지 않을 수 있다. 예를 들어, 무인비행장치(120)는 본 구간에서 최대 속도로 비행할 수 있다.

컨트롤러(130)는, 무인비행장치(120)가 p1-p2 구간에 진입하면, 1차 비행 속도를 제어할 수 있다. 여기서, 비행 속도의 제어라 함은, 무인비행장치(120)의 비행 속도를 감속하는 것을 의미한다. 왜냐하면, 임계위치가 포함된 목적 구간인 p2-p3 구간에서 무인비행장치(120)의 부담을 줄이고 비행 제어를 보다 원활하기 위함이다.

컨트롤러(130)는, 무인비행장치(120)가 p2-p3 구간에 진입하면, 2차 비행 속도를 제어할 수 있다. 1차 비행 속도 제어와 달리, 2차 비행 속도 제어는 무인비행장치(120)의 최저 속도 또는 그에 근접한 속도로 제어할 수 있다. 왜냐하면, 본 구간은 임계 위치에 근접하고, 임계 위치에서 본 발명에 따라 무인비행장치(120)를 정지 비행하도록 제어하기 위함이다.

실시예에 따라서, p1-p2 구간은 p2-p3 구간보다 넓을 수 있다.

실시예에 따라서, p2-p3 구간은 로봇팔(260)의 최대연장길이를 포함한 무인비행장치(120)의 최대 길이의 배수일 수 있다.

도 4에서 편의상 구간으로 표시하였으나, 임계위치는 p3일 수 있다.

실시예에 따라서, 도 4와 같은 구간은 더 세분화되어 무인비행장치(120)의 비행 속도가 제어되거나 반대일 수 있다. 후자의 경우, 적어도 도 4의 p2-p3 구간에서는 무인비행장치(120)의 비행 속도를 정지 비행 전에 수행하는 것이 바람직하다.

도 5 내지 도 7에서는, 특히 무인비행장치(120)의 정지비행 및 상대 고도에 관하여 설명한다.

도 5를 참조하면, 임계위치는 무인비행장치(120)와 그에 장착된 로봇팔(장착된 센서 포함)의 길이를 참조하여 결정될 수 있다.

예를 들어, 임계위치(r)(여기서, r은 무인비행장치(120)의 중심점 기준)는, 로봇팔(장착된 센서 포함)의 길이(r1)과 임의의 길이(r2)의 고려하여 결정된다. 여기서, 임의의 길이(r2)는, 외란 등 돌발 변수를 고려한 무인비행장치(120)의 대상체(110)에 대한 충돌 방지를 위한 최소 거리 확보를 위한 임의의 값일 수 있다. 실시예에 따라, 임의의 길이(r2)는, 로봇팔에 장착된 센서의 성능에 따른 목표 퀄리티 확보 여부에 따른 값을 더 고려하여 결정될 수 있다. 실시예에 따라, 임의의 길이(r2)는, 대상체(110)의 위치에 따른 직전 또는 이전 환경 데이터, 외란 데이터, 타 무인비행장치(120)의 사고 등 데이터, 해당 시간에서의 환경 변수 등을 고려하여 적절히 결정될 수 있다.

무인비행장치(120)는 임계위치에 도달하면, 정지 비행을 시작하고, 대상체(110)에 따른 상대고도(h)를 결정하여 해당 위치에 고정 또는 호버링(hovering)할 수 있다. 실시예에 따라, 상대고도(h)는 대상체의 높이 내지 위치뿐만 아니라 로봇팔에 장착된 센서의 특성이나 성능(예를 들어, 이미지 센서의 화각 등)을 더 고려할 수 있다.

예를 들어, 도 5는 대상체(110) 최하단에서 최상단까지 수직방향으로의 이미지 데이터를 획득하고자 한다고 가정하면, 무인비행장치(120)는 미리 알고 있는 로봇팔에 장착된 센서의 화각을 고려하여, 대상체의 촬영 범위를 구분하여 제1 내지 제n 고도를 결정하고, 결정된 고도로 수직 비행 제어할 수 있다. 실시예에 따라, 제1 내지 제n 고도는 무인비행장치(120)가 최소 횟수로 수직 이동하도록 결정될 수 있다. 실시예에 따라, 제1 내지 제n 고도에서 커버하는 센서의 화각은 설정에 따라 일부 중첩되도록 제어할 수 있다.

한편, 도 6 내지 7은 대상체가 복수개인 경우, 임계위치와 상대고도 결정 방법에 대하여 도시한 것이다.

도 6은 복수의 대상체, 즉 대상체 1(610), 대상체 2(620) 및 대상체 3(630)와 무인비행장치(120)의 상대거리가 모두 동일한 경우이다. 따라서, 이 경우에는 어느 하나의 대상체와의 상대거리를 결정하고 그에 따르면 족하다.

반면, 도 7의 복수의 대상체, 즉 대상체 1(710), 대상체 2(720) 및 대상체 3(730)과 무인비행장치(120)의 상대거리는 서로 다른 경우이다. 따라서, 이 경우에는 임의의 하나의 대상체를 선정하고, 선정된 대상체와 무인비행장치(120) 사이의 상대거리를 결정할 수 있다. 이때, 선정되는 대상체라 함은, 대상체 1 내지 대상체 3 어느 것이어도 상관없다. 실시예에 따라, 컨트롤러(130)는 무인비행장치(120)의 로봇팔에 장착된 센서의 화각을 고려하여, 무인비행장치(120)의 움직임 변경(수평 및 수직 이동)이 최소가 되는 방법을 선택할 수 있다.

도 8에서는 로봇팔(260)과 로봇팔에 장착된 센서의 구성에 대해 설명하기 위해 도시한 도면이다.

도 8의 (a)를 참조하면, 로봇팔(260)에 장착된 센서는 레일부(810)와 센서모듈(820)을 포함할 수 있다.

레일부(810)는 센서모듈(820)이 예를 들어, 수직 방향으로 이동 가능하도록 레일을 제공할 수 있다.

센서모듈(820)는 레일부(820)를 통하여 수직 방향 이동하면서 대상체에 대한 센싱 데이터를 획득할 수 있다.

도 8의 (a)의 센서 구성은, 레일부(810)를 통하여 센서모듈(820)의 화각의 한계를 보완할 수 있을 뿐만 아니라 무인비행장치(120)의 고도 변경을 최소화하여 추력 소모를 최소화할 수 있다.

실시예에 따라, 도 8의 (a)에서 레일부는 소정 기울기를 가지도록 구현될 수도 있다.

도 8의 (b)를 참조하면, 로봇팔(260)은 내부에 센서를 내장할 수 있는 공간을 구비하며, 비행시 센서는 로봇팔(260)의 상기 내장 공간에 배치하여 외란 등에 의한 파손 등을 미연에 방지할 수 있다.

센서모듈은 적어도 하나 이상의 부분으로 구현될 수 있다. 도 8의 (b)에서 센서 모듈은 제1 지지부(830), 제2 지지부(835) 및 센서모듈(820)를 포함할 수 있다.

제1 지지부(830)와 달리 제2 지지부(835)는 상기 제1 지지부(830)의 일단에서 소정 기울기를 가지도록 구현되어 센서 모듈(820) 화각 성능을 보완할 수도 있다.

제1 지지부(830)와 제2 지지부(835)의 길이 또는/및 폭은 동일할 수 있다.

제1 지지부(830)와 제2 지지부(835)의 길이는, 센서모듈(820)을 통해 획득되는 결과물의 퀄리티나 포커스를 위하여 임의로 조정될 수 있다.

도 9는 본 발명의 일실싱예에 따른 무인비행장치(120)의 제어 방법을 설명하기 위해 도시한 순서도이다.

도 10은 본 발명의 다른 일실싱예에 따른 무인비행장치(120)의 제어 방법을 설명하기 위해 도시한 순서도이다.

도 9를 참조하면, 센서를 포함한 로봇팔(260)이 장착된 무인비행장치(120)의 비행제어방법은 다음과 같다. 편의상 도 9는 컨트롤러(130)의 관점에서 기술한다.

컨트롤러(130)는, 무인비행장치의 센싱 데이터를 수집할 수 있다(S110).

컨트롤러(130)는, 수집된 센싱 데이터에 기초하여 로봇팔(260)의 최대연장길이를 고려하여 무인비행장치(120)와 대상체(110) 사이의 상대거리값을 추정하고 충돌위험확률값을 산출할 수 있다(S120).

컨트롤러(130)는, 추정된 상대거리값과 연산된 충돌위험값에 기초하여 무인비행장치(120)가 대상체(110)와의 사이에서 임계위치에 도달하였는지 판단한다(S130).

컨트롤러(130)는, S130 단계 판단 결과, 만약 무인비행장치(120)가 임계위치에 도달하였다고 판단되면, 무인비행장치(120)의 수평 비행을 제어하고 상대고도를 결정할 수 있다(S140).

컨트롤러(130)는, S140 단계에서 결정된 상대고도에서 무인비행장치(120)의 수평비행이 제어되면, 로봇팔(260) 및/또는 센서(280)를 제어하여 대상체(110)에 대한 이미지 데이터를 획득할 수 있다(S150).

도 10을 참조하여, 센서를 포함한 로봇팔(260)이 장착된 무인비행장치(120)의 비행제어방법을 설명하면, 다음과 같다. 이 때, 도 10은 예를 들어, 도 9의 S150 단계 이후의 비행제어방법일 수 있다.

도 10을 참조하면, 컨트롤러(130)는, 로봇팔(260) 및/또는 센서(280)에 대한 움직임 센싱 데이터 및/또는 그를 통해 획득되는 결과물 데이터를 처리한다(S210).

컨트롤러(130)는, 처리된 로봇팔(260) 및/또는 센서(280)에 대한 움직임 센싱 데이터 및/또는 그를 통해 획득되는 결과물 데이터에 기초하여, 무인비행장치(120)의 수평 이동 필요 여부를 판단한다(S220).

컨트롤러(130)는, S220 단계 판단 결과 만약 무인비행장치(120)의 수평 이동이 필요하다고 판단되면, 그 수평 비행을 제어할 수 있다(S230).

컨트롤러(130)는, S220 단계 판단 결과 만약 무인비행장치(120)의 수평 이동이 필요하지 않다고 판단되거나 S230 단계에서 무인비행장치(120)의 수평 비행 제어 후, 고도 변경 여부를 판단할 수 있다(S240). 실시예에 따라, S240 단계는, S220 내지 S230 단계와 무관하게 별도 수행될 수 있다.

컨트롤러(130)는, S240 단계 판단 결과 무인비행장치(120)의 고도 변경이 필요하다고 판단되면, 무인비행장치(120)의 상대 고도를 재결정하고, 재결정된 상대 고도에 따른 수직 비행을 제어할 수 있다(S250).

컨트롤러(130)는, S250 단계 후, 로봇팔(260) 및/또는 센서(280)를 제어하여 대상체(110)에 대한 결과물을 획득 및 처리할 수 있다(S260).

도 10에서 상술한 과정은, 1회만 수행하거나 복수회 반복 수행될 수 있다. 상기 복수회 반복 수행은, 미리 정한 설정에 따라 결정되거나 반복 수행 결과 계속하여 수평 이동 및 고도 변경이 필요없으면 종료될 수 있다.

도 9 내지 10에서는 비록 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 9 내지 10에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 9 내지 10은 반드시 시계열적인 순서로 한정되는 것은 아니다.

한편, 도 9 내지 10에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 무인비행시스템
110: 대상체
120: 무인비행장치
130: 컨트롤러

Claims

하나 이상의 이종 센서가 장착된 로봇팔을 포함하는 무인비행장치의 제어 방법에 있어서,
상기 하나 이상의 이종 센서를 이용하여 상기 무인비행장치와 대상체 간의 상대거리를 나타내는 하나 이상의 이종 센싱 데이터를 수집하는 단계;
상기 수집된 하나 이상의 이존 센싱 데이터를 충돌 위험 확률값 연산에 사용하기 위해 하나 이상의 변환부를 이용하여 센싱 단위 또는 센싱 크기가 통일된 미리 정해진 표준 데이터로 변환하는 단계;
상기 변환된 표준 데이터를 충돌 위험 확률부 및 상대거리 추정부로 각각 전달하여 대상체와의 충돌 위험 확률값을 연산하고 대상체와의 특정 상대거리를 추정하는 단계; 및
상기 충돌 위험 확률값 및 상기 특정 상대거리를 기반으로 하여 상기 무인비행장치의 상대고도 및 비행속도를 제어하고 상기 대상체에 대한 데이터를 획득하는 단계;를 포함하되,
상기 로봇팔은 상기 하나 이상의 이종 센서가 수직 방향으로 이동 가능한 미리 정해진 기울기를 갖는 레일을 포함하고,
상기 하나 이상의 이종 센서는 상기 레일을 수직 방향으로 이동하며 상기 무인비행장치의 상대고도가 가장 최소 횟수로 변경되는 위치에서 상기 이종 센싱 데이터를 수집하며,
상기 무인비행장치는 상기 하나 이상의 이종 센서의 화각 및 수직 이동이 가장 최소 횟수로 결정되는 위치를 고려하여 상기 대상체에 대한 제1 내지 제n 의 상대고도를 결정하여 이를 바탕으로 수직 비행을 제어하며,
상기 무인비행장치와 상기 대상체 사이의 수평 구간을 서로 다른 크기의 거리로 이루어진 n개의 구간으로 구분하되, n-2 구간(n은 대상체와 가장 근접한 구간)에서 상기 무인비행장치의 비행속도를 1차적으로 제어하고, n-1 구간에서 상기 무인비행장치의 비행속도를 2차적으로 제어하여 상기 무인비행장치의 비행속도 제어를 구간 별로 수행하는,
무인비행장치 제어 방법.
제1항에 있어서,
수집된 이종 센싱 데이터에 기초하여 상기 이종 센서가 장착된 로봇팔의 최대연장길이를 고려하여 추정한 무인비행장치와 대상체 사이의 상대거리와 충돌 위험 확률값을 산출하는 단계를 더 포함하는, 무인비행장치 제어 방법.
제1항에 있어서,
상기 이종 센서의 이동 데이터, 연산된 충돌 위험 확률값, 추정된 특정 상대거리 중 적어도 하나에 기초하여, 상기 무인비행장치의 수평 이동과 상대고도 변경 여부를 판단하는 단계를 더 포함하는, 무인비행장치 제어 방법.
제3항에 있어서,
상기 무인비행장치의 수평 이동이 필요한 것으로 판단되면, 상기 무인비행장치의 수평비행을 다시 제어하고,
상기 무인비행장치의 상대고도 변경이 필요한 것으로 판단되면, 상기 무인비행장치의 상대고도를 재결정하고 수직비행을 제어하는, 무인비행장치 제어 방법.
제4항에 있어서,
상기 재결정된 상대고도로 무인비행장치의 수직비행 제어 후 상기 대상체에 대한 데이터를 획득하는 단계를 더 포함하는, 무인비행장치 제어 방법.
하나 이상의 이종 센서가 장착된 로봇팔을 포함하는 무인비행장치에 있어서,
메모리; 및
프로세서;를 포함하되,
상기 로봇팔은 상기 하나 이상의 이종 센서가 수직 방향으로 이동 가능한 미리 정해진 기울기를 갖는 레일을 포함하며,
상기 프로세서는,
상기 하나 이상의 이종 센서를 이용하여 상기 무인비행장치와 대상체 간의 상대거리를 나타내는 하나 이상의 이종 센싱 데이터를 수집하는 단계;
상기 수집된 하나 이상의 이존 센싱 데이터를 충돌 위험 확률값 연산에 사용하기 위해 하나 이상의 변환부를 이용하여 센싱 단위 또는 센싱 크기가 통일된 미리 정해진 표준 데이터로 변환하는 단계;
상기 변환된 표준 데이터를 충돌 위험 확률부 및 상대거리추정부로 각각 전달하여 대상체와의 충돌 위험 확률값을 연산하고 대상체와의 특정 상대거리를 추정하는 단계; 및
상기 충돌 위험 확률값 및 상기 특정 상대거리를 기반으로 하여 상기 무인비행장치의 상대고도 및 비행속도를 제어하고 상기 대상체에 대한 데이터를 획득하는 단계;를 포함하되,
상기 로봇팔은 상기 하나 이상의 이종 센서가 수직 방향으로 이동 가능한 미리 정해진 기울기를 갖는 레일을 포함하고,
상기 하나 이상의 이종 센서는 상기 레일을 수직 방향으로 이동하며 상기 무인비행장치의 상대고도가 가장 최소 횟수로 변경되는 위치에서 상기 이종 센싱 데이터를 수집하며,
상기 무인비행장치는 상기 하나 이상의 이종 센서의 화각 및 수직 이동이 가장 최소 횟수로 결정되는 위치를 고려하여 상기 대상체에 대한 제1 내지 제n 상대고도를 결정하여 이를 바탕으로 수직 비행을 제어하며,
상기 무인비행장치와 상기 대상체 사이의 수평 구간을 서로 다른 크기의 거리로 이루어진 n개의 구간으로 구분하되, n-2 구간(n은 대상체와 가장 근접한 구간)에서 상기 무인비행장치의 비행속도를 1차적으로 제어하고, n-1 구간에서 상기 무인비행장치의 비행속도를 2차적으로 제어하여 상기 무인비행장치의 비행속도 제어를 수행하도록 제어하는, 무인비행장치.
제6항에 있어서,
상기 프로세서는,
상기 수집된 이종 센싱 데이터에 기초하여 상기 이종 센서가 장착된 로봇팔의 최대연장길이를 고려하여 추정한 무인비행장치와 대상체 사이의 상대거리와 충돌 위험 확률값을 산출하는, 무인비행장치.
제6항에 있어서,
상기 프로세서는,
상기 이종 센서의 이동 데이터, 연산된 충돌 위험 확률값, 추정된 특정 상대거리 중 적어도 하나에 기초하여, 상기 무인비행장치의 수평 이동과 상대고도 변경 여부를 판단하는, 무인비행장치.
제8항에 있어서,
상기 프로세서는,
상기 무인비행장치의 수평 이동이 필요한 것으로 판단되면, 상기 무인비행장치의 수평비행을 다시 제어하고,
상기 무인비행장치의 상대고도 변경이 필요한 것으로 판단되면, 상기 무인비행장치의 상대고도를 재결정하고 수직비행을 제어하는, 무인비행장치.
제9항에 있어서,
상기 프로세서는,
상기 재결정된 상대고도로 무인비행장치의 수직비행 제어 후, 상기 대상체에 대한 데이터를 획득하도록 제어하는, 무인비행장치.