KR102467485B1

KR102467485B1 - 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법

Info

Publication number: KR102467485B1
Application number: KR1020200170188A
Authority: KR
Inventors: 서동욱
Original assignee: 주식회사 엘지유플러스
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2022-11-14
Also published as: KR20220080907A

Abstract

픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법이 개시된다. 본 발명의 일 실시예에 따른 무인 비행체의 비행방법은, 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법에 있어서, 무인 비행체의 프로세서에 의해, 무인 비행체에 내장된 카메라를 통해 획득된 영상으로부터, ROI(region of interset) 박스를 추출하는 단계; 제1 픽셀좌표 값을 ROI 박스의 중앙 값으로 설정하고, 제2 픽셀좌표 값을 획득된 영상의 중앙 값으로 설정하는 단계; 및 제1, 제2 픽셀좌표 값의 차이에 기반하여 상기 제1 픽셀좌표 값이 상기 제2 픽셀좌표 값이 인접하거나 동일하도록 무인 비행체의 비행을 제어하는 단계를 포함한다.

Description

픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법{FLIGHT METHOD FOR UNMANNED AERIAL VEHICLE TRACKING OBJECTS BASED ON PIXEL COORDINATES}

본 발명은 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법에 관한 것이다.

무인 비행체는 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기, 헬리콥터 모양의 무인항공기(UAV, Unmanned aerial vehicle / Uninhabited aerial vehicle)의 총칭한다. 최근 무인 비행체는 정찰, 공격 등의 군사적 용도 이외에 영상 촬영, 무인 택배 서비스, 재해 관측 등 다양한 민간·상업 분야에도 활용이 증가되고 있다.

최근에는 객체를 추적하여 비행가능한 무인 비행체들이 제안되고 있으며, 이러한 무인 비행체들은 미신고 공사를 감시하거나, 위험지역을 접근 감시하거나, 비무장지대를 침입 감시하거나, 불법 조업/양식장 절도를 감시하거나, 또는 사유지 침입에 대한 무인 비행체를 활용한 넓은 영역의 감시 시스템에 대한 필요성이 제기되고 있다.

또한, 효과적인 객체 추적 비행을 위하여, 오차가 있는 무인 비행체의 위경도값을 기반으로 AI 엔진에서 인식된 객체의 위/경도값을 계산하고 계산된 객체의 위치로 무인 비행체가 추적비행하는 기존의 방식은 오차가 발생할 수 있고 이 오차로 인해 빠른 속도록 이동하는 객체를 놓치는 경우가 발생할 수 있으므로 객체의 오차를 허용하지 않으면서 추적비행중에 객체의 Miss를 최소화 하는 비행방법에 대한 필요성도 제기된다.

본 발명은 전술한 필요성 및/또는 문제점을 해결하는 것을 목적으로 한다.

본 명세서의 일 실시예에 따른 무인 비행체의 비행방법은, 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법에 있어서, 무인 비행체의 프로세서에 의해,

무인 비행체에 내장된 카메라를 통해 획득된 영상으로부터, ROI(region of interset) 박스를 추출하는 단계; 제1 픽셀좌표 값을 ROI 박스의 중앙 값으로 설정하고, 제2 픽셀좌표 값을 획득된 영상의 중앙 값으로 설정하는 단계; 및 제1, 제2 픽셀좌표 값의 차이에 기반하여 상기 제1 픽셀좌표 값이 상기 제2 픽셀좌표 값이 인접하거나 동일하도록 무인 비행체의 비행을 제어하는 단계를 포함한다.

본 발명의 일 실시예에 따른 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 일 실시예에 따른 무인 비행체는 고속으로 이동하는 객체를 영상의 프레임 주기에 대응하여 추적 비행할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 명세서에서 제안하는 방법이 적용될 수 있는 무인 비행체의 사시도를 나타낸다.
도 2는 도 1의 무인 비행체의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 3은 본 명세서의 일 실시예에 따른 항공 제어 시스템의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 4는 본 명세서의 일 실시예에 따른 무인 비행체의 비행방법의 순서도이다.
도 5 내지 도 7는 도 4의 제1, 제2 픽셀좌표 값이 동일하도록 무인 비행체가 제어되는 과정을 설명하기 위한 도면이다.
도 8은 무인 비행체의 제1 픽셀좌표 값을 설명하기 위한 도면이다.
도 9는 제1, 제2 픽셀좌표 값에 기반하여 피치 및 롤 값을 조절하는 과정을 설명하기 위한 도면이다.
도 10은 고해상도(예: UHD)의 경우 피치 및 롤 값을 조절하는 과정을 설명하기 위한 도면이다.
도 11은 FHD의 경우 객체가 영상의 정중앙에 위치할 때까지 각 프레임 별 과정을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 발명에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 실시예에 따른 무인 비행체의 사시도를 나타낸다.

우선, 무인 비행체(100)은 지상의 관리자에 의해 수동 조작되거나, 설정된 비행 프로그램에 의해 자동 조종되면서 무인 비행하게 되는 것이다. 이와 같은 무인 비행체(100)은 도 1에서와 같이 본체(20), 수평 및 수직이동 추진장치(10), 및 착륙용 레그(130)를 포함하는 구성으로 이루어진다.

본체(20)는 작업부(40) 등의 모듈이 장착되는 몸체 부위이다.

수평 및 수직이동 추진장치(10)는 본체(20)에 수직으로 설치되는 하나 이상의 프로펠러(11)로 이루어지는 것으로, 본 발명의 실시예에 따른 수평 및 수직이동 추진장치(10)는 서로 이격 배치된 복수개의 프로펠러(11)와 모터(12)로 이루어진다. 여기서 수평 및 수직이동 추진장치(10)는 프로펠러(11)가 아닌 에어 분사형 추진기 구조로 이루어질 수도 있다.

복수 개의 프로펠러 지지부는 본체(20)에서 방사상으로 형성된다. 각각의 프로펠러 지지부에는 모터(12)가 장착될 수 있다. 각각의 모터(12)에는 프로펠러(11)가 장착된다.

복수 개의 프로펠러(11)는 본체(20)를 중심을 기준하여 대칭되게 배치될 수 있다. 그리고 복수 개의 프로펠러(11)의 회전 방향은 시계 방향과 반 시계 방향이 조합되도록 모터(12)의 회전 방향이 결정될 수 있다. 본체(20)를 중심을 기준하여 대칭되는 한 쌍의 프로펠러(11)의 회전 방향은 동일(예를 들어, 시계 방향)하게 설정될 수 있다. 그리고 다른 한 쌍의 프로펠러(11)은 이와 달리 회전 방향이 반대일 수 있다(예를 들어, 시계 반대 방향).

착륙용 레그(30)는 본체(20)의 저면에 서로 이격 배치된다. 또한, 착륙용 레그(30)의 하부에는 무인 비행체(100)가 착륙할 때 지면과의 충돌에 의한 충격을 최소화하는 완충 지지부재(미도시)가 장착될 수 있다. 물론 무인 비행체(100)는 상술한 바와 다른 비행체 구성의 다양한 구조로 이루어질 수 있다.

도 2는 도 1의 무인 비행체의 주요 구성들 간의 제어관계를 도시한 블록도이다.

도 2를 참조하면, 무인 비행체(100)은 안정적으로 비행하기 위해서 각종 센서들을 이용해 자신의 비행상태를 측정한다. 무인 비행체(100)는 적어도 하나의 센서를 포함하는 센싱부(130)를 포함할 수 있다.

무인 비행체(100)의 비행상태는 회전운동상태(Rotational States)와 병진운동상태(Translational States)로 정의된다.

회전운동상태는 '요(Yaw)', '피치 (Pitch)', 및 '롤 (Roll)'을 의미하며, 병진운동상태는 경도, 위도, 고도, 및 속도를 의미한다.

여기서, '롤', '피치', 및 '요'는 오일러 (Euler) 각도라 부르며, 비행기 기체좌표 x, y, z 세 축이 어떤 특정 좌표, 예를 들어, NED 좌표 N, E, D 세 축에 대하여 회전된 각도를 나타낸다. 비행기 전면이 기체좌표의 z축을 기준으로 좌우로 회전할 경우, 기체좌표의 x축은 NED 좌표의 N축에 대하여 각도 차이가 생기게 되며, 이각도를 "요"(Ψ)라고 한다. 비행기의 전면이 오른쪽으로 향한 y축을 기준으로 상하로 회전을 할 경우, 기체좌표의 z축은 NED 좌표의 D축에 대하여 각도 차이가 생기게 되며, 이 각도를 "피치"(

)라고 한다. 비행기의 동체가 전면을 향한 x축을 기준으로 좌우로 기울게 될 경우, 기체좌표의 y축은 NED 좌표의 E축에 대하여 각도가 생기게 되며, 이 각도를 "롤"(Φ)이라 한다.

무인 비행체(100)은 회전운동상태를 측정하기 위해 3축 자이로 센서(Gyroscopes), 3축 가속도 센서(Accelerometers), 및 3축 지자기 센서(Magnetometers)를 이용하고, 병진운동상태를 측정하기 위해 GPS 센서와 기압 센서(Barometric Pressure Sensor)를 이용한다.

본 발명의 센싱부(130)는 자이로 센서, 가속도 센서, GPS 센서, 영상 센서 및 기압 센서 중 적어도 하나를 포함한다. 여기서, 자이로 센서와 가속도 센서는 무인 비행체(100)의 기체좌표(Body Frame Coordinate)가 지구관성좌표(Earth Centered Inertial Coordinate)에 대해 회전한 상태와 가속된 상태를 측정해주는데, MEMS(Micro-Electro-Mechanical Systems) 반도체 공정기술을 이용해 관성측정기(IMU: Inertial Measurement Unit)라 부르는 단일 칩(Single Chip)으로 제작될 수도 있다.

또한, IMU 칩 내부에는 자이로 센서와 가속도 센서가 측정한 지구관성좌표 기준의 측정치들을 지역좌표 (Local Coordinate), 예를 들어 GPS가 사용하는 NED(North-East-Down) 좌표로 변환해주는 마이크로 컨트롤러가 포함될 수 있다.

자이로 센서는 무인 비행체(100)의 기체좌표 x, y, z 세 축이 지구관성 좌표에 대하여 회전하는 각속도를 측정한 후 고정좌표로 변환된 값(Wx.gyro, Wy.gyro, Wz.gyro)을 계산하고, 이 값을 선형 미분방정식을 이용해 오일러 각도(Φgyro,

gyro, øgyro)로 변환한다.

가속도 센서는 무인 비행체(100)의 기체좌표 x, y, z 세 축의 지구관성좌표에 대한 가속도를 측정한 후 고정좌표로 변환된 값(fx,acc, fy,acc, fz,acc)을 계산하고, 이 값을 '롤(Φacc)'과 '피치(

acc)'로 변환하며, 이 값 들은 자이로 센서의 측정치를 이용해 계산한 '롤(Φgyro)'과 '피치(

gyro)'에 포함된 바이어스 오차를 제거하는 데 이용된다.

지자기 센서는 무인 비행체(100)의 기체좌표 x, y, z 세 축의 자북점에 대한 방향을 측정하고, 이 값을 이용해 기체좌표의 NED 좌표에 대한 '요' 값을 계산한다.

GPS 센서는 GPS 위성들로부터 수신한 신호를 이용해 NED 좌표 상에서 무인 비행체(100)의 병진운동상태, 즉, 위도(Pn.GPS), 경도(Pe.GPS), 고도(hMSL.GPS), 위도 상의 속도(Vn.GPS), 경도 상의 속도(Ve.GPS), 및 고도 상의 속도(Vd.GPS)를 계산한다. 여기서, 첨자 MSL은 해수면(MSL: Mean Sea Level)을 의미한다.

기압 센서는 무인 비행체(100)의 고도(hALP.baro)를 측정할 수 있다. 여기서, 첨자 ALP는 기압(Air-Level Pressor)을 의미하며, 기압 센서는 무인 비행체(100)의 이륙시 기압과 현재 비행고도에서의 기압을 비교해 이륙 지점으로부터의 현재 고도를 계산한다.

카메라 센서는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수 개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.

무인 비행체(100)는, 정보를 입력받거나 수신하고 정보를 출력하거나 송신하는 커뮤니케이션 모듈(170)을 포함한다. 커뮤니케이션 모듈(170)은 외부의 다른 기기와 정보를 송수신하는 무인 비행체 통신부(175)를 포함할 수 있다. 커뮤니케이션 모듈(170)은 정보를 입력하는 입력부(171)를 포함할 수 있다. 커뮤니케이션 모듈(170)은 정보를 출력하는 출력부(173)를 포함할 수 있다.

물론, 출력부(173)는 무인 비행체(100)에 생략되고 단말기(300)에 형성될 수 있다.

일 예로, 무인 비행체(100)는 입력부(171)로부터 직접 정보를 입력받을 수 있다. 다른 예로, 무인 비행체(100)는 별도의 단말기(300) 또는 서버(200)에 입력된 정보를 무인 비행체 통신부(175)를 통해 수신받을 수 있다.

일 예로, 무인 비행체(100)는 출력부(173)로 직접 정보를 출력시킬 수 있다. 다른 예로, 무인 비행체(100)는 무인 비행체 통신부(175)를 통해 별도의 단말기(300)로 정보를 송신하여, 단말기(300)가 정보를 출력하게 할 수 있다.

무인 비행체 통신부(175)는, 외부의 서버(200), 단말기(300) 등과 통신하게 구비될 수 있다. 무인 비행체 통신부(175)는, 스마트폰이나 컴퓨터 등의 단말기(300)로부터 입력된 정보를 수신할 수 있다. 무인 비행체 통신부(175)는 단말기(300)로 출력될 정보를 송신할 수 있다. 단말기(300)는 무인 비행체 통신부(175)로부터 받은 정보를 출력할 수 있다.

무인 비행체 통신부(175)는 단말기(300) 또는/및 서버(200)로부터 각종 명령 신호를 수신할 수 있다. 무인 비행체 통신부(175)는 단말기(300) 또는/및 서버(200)로부터 주행을 위한 구역 정보, 주행 경로, 주행 명령을 수신받을 수 있다. 여기서, 구역 정보는 비행 제한 구역(A) 정보, 접근 제한 거리 정보를 포함할 수 있다.

입력부(171)는 On/Off 또는 각종 명령을 입력받을 수 있다. 입력부(171)는 구역 정보를 입력받을 수 있다. 입력부(171)는 물건 정보를 입력받을 수 있다. 입력부(171)는, 각종 버튼이나 터치패드, 또는 마이크 등을 포함할 수 있다.

출력부(173)는 각종 정보를 사용자에게 알릴 수 있다. 출력부(173)는 스피커 및/또는 디스플레이를 포함할 수 있다. 출력부(173)는 주행 중 감지한 발견물의 정보를 출력할 수 있다. 출력부(173)는 발견물의 식별 정보를 출력할 수 있다. 출력부(173)는 발견물의 위치 정보를 출력할 수 있다.

무인 비행체(100)는 맵핑 및/또는 현재 위치를 인식하는 등 각종 정보를 처리하고 판단하는 제어부(140)를 포함한다. 제어부(140)는 무인 비행체(100)를 구성하는 각종 구성들의 제어를 통해, 무인 비행체(100)의 동작 전반을 제어할 수 있다.

제어부(140)는 커뮤니케이션 모듈(170)로부터 정보를 받아 처리할 수 있다. 제어부(140)는 입력부(171)로부터 정보를 입력 받아 처리할 수 있다. 제어부(140)는 무인 비행체 통신부(175)로부터 정보를 받아 처리할 수 있다.

제어부(140)는 센싱부(130)로부터 감지 정보를 입력 받아 처리할 수 있다.

제어부(140)는 모터(12)의 구동을 제어할 수 있다. 제어부(140)는 작업부(40)의 동작을 제어할 수 있다.

무인 비행체(100)는 각종 데이터를 저장하는 저장부(150)를 포함한다. 저장부(150)는 무인 비행체(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.

저장부(150)에는 주행구역에 대한 맵이 저장될 수 있다. 맵은 무인 비행체(100)와 무인 비행체 통신부(175)을 통해 정보를 교환할 수 있는 외부 단말기(300)에 의해 입력된 것일 수도 있고, 무인 비행체(100)가 스스로 학습을 하여 생성한 것일 수도 있다. 전자의 경우, 외부 단말기(300)로는 맵 설정을 위한 어플리케이션(application)이 탑재된 리모콘, PDA, 랩탑(laptop), 스마트 폰, 태블릿 등을 예로 들 수 있다.

도 3은 본 발명의 일 실시예에 따른 항공 제어 시스템의 주요 구성들 간의 제어관계를 도시한 블록도이다.

도 3을 참조하면, 본 발명의 일 실시예에 다른 항공 제어 시스템은 무인 비행체(100)와 서버(200)를 포함하거나, 무인 비행체(100), 단말기(300) 및 서버(200)를 포함할 수 있다. 무인 비행체(100), 단말기(300) 및 서버(200)는 서로 무선 통신 방법으로 연결된다.

무선 통신 방법은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 사용될 수 있다.

무선 통신 방법은 무선 인터넷 기술이 사용될 수 있다. 무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G 등이 있다. 특히 5G 통신망을 이용하여 데이터를 송수신함으로써 보다 빠른 응답이 가능하다.

본 명세서에서 기지국은 단말과 직접적으로 통신을 수행하는 네트워크의 종단 노드(terminal node)로서의 의미를 갖는다. 본 명세서에서 기지국에 의해 수행되는 것으로 설명된 특정 동작은 경우에 따라서는 기지국의 상위 노드(upper node)에 의해 수행될 수도 있다. 즉, 기지국을 포함하는 다수의 네트워크 노드들(network nodes)로 이루어지는 네트워크에서 단말과의 통신을 위해 수행되는 다양한 동작들은 기지국 또는 기지국 이외의 다른 네트워크 노드들에 의해 수행될 수 있음은 자명하다. '기지국(BS: Base Station)'은 고정국(fixed station), Node B, eNB(evolved-NodeB), BTS(base transceiver system), 액세스 포인트(AP: Access Point), gNB(Next generation NodeB) 등의 용어에 의해 대체될 수 있다. 또한, '단말(Terminal)'은 고정되거나 이동성을 가질 수 있으며, UE(User Equipment), MS(Mobile Station), UT(user terminal), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D(Device-to-Device) 장치 등의 용어로 대체될 수 있다.

이하에서, 하향링크(DL: downlink)는 기지국에서 단말로의 통신을 의미하며, 상향링크(UL: uplink)는 단말에서 기지국으로의 통신을 의미한다. 하향링크에서 송신기는 기지국의 일부이고, 수신기는 단말의 일부일 수 있다. 상향링크에서 송신기는 단말의 일부이고, 수신기는 기지국의 일부일 수 있다.

이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

본 발명의 실시 예들은 무선 접속 시스템들인 IEEE 802, 3GPP 및 3GPP2 중 적어도 하나에 개시된 표준 문서들에 의해 뒷받침될 수 있다. 즉, 본 발명의 실시 예들 중 본 발명의 기술적 사상을 명확히 드러내기 위해 설명하지 않은 단계들 또는 부분들은 상기 문서들에 의해 뒷받침될 수 있다. 또한, 본 문서에서 개시하고 있는 모든 용어들은 상기 표준 문서에 의해 설명될 수 있다.

이하에서, 본 명세서의 일 실시예에 따른 무인 비행체의 비행방법을 설명한다.

침입객체의 도주 시에 이를 추적비행하는 종래기술은, 전형저으로, 무인 비행체의 현재 위치에 기반하여 객체의 위치를 산출하고, 산출된 위치로 추적비행하는 기술이 사용된다. 객체의 위치는 위도 및 경도로 나타나며, 무인 비행체의 현재 위치로부터의 거리 및 그 방향에 따라 결정될 수 있다. 무인 비행체의 현재 위치로부터의 거리는 삼각 측량법에 기반하여 산출될 수 있으며, 보다 상세하게 무인 비행체의 높이, 무인 비행체에 구비된 카메라의 설치각도, 및 무인 비행체의 현재 위치에 기초하여 삼각 측량법을 통해 산출될 수 있다.

상기 무인 비행체의 현재 위치는 무인 비행체에 구비된 GPS(Global Positioning System) 모듈을 통해 얻을 수 있다. GPS 모듈을 통해 얻은 현재 위치에 오차가 클수록 빠른 속도로 이동하는 침입객체에 대한 추적이 실패할 가능성이 높아지므로, 현재 위치에 대한 오차가 최소화될 필요가 있다. 하지만, GPS 모듈에 의한 위치 정보는 일반적으로 약 1m 내지 7m 의 오차를 가지므로, 대안적으로 오차를 수 cm 범위로 최소화하기 위해서는 일반적인 GPS 모듈 대신 RTK GPS 모듈(Real Time Kinematic GPS) 모듈이 사용될 필요가 있다.

RTK GPS 모듈은 미리 설치된 GPS 기준국(GPS Base)의 위치 정보와 GPS 모듈에 의해 획득된 위치 정보를 비교하여 GPS 모듈에 의해 획득된 위치에 대한 오차를 최소화할 수 있다. 보다 상세하게, RTK GPS 모듈은, 무인 비행체의 비행 전에 GPS 기준국이 설치된 지점에 대한 위치 정보를 GPS 기준국에 저장하고, GPS 기준국은 상기 저장된 GPS 기준국의 위치 정보와 실제로 GPS 기준국이 GPS 모듈로부터 수신한 위치 정보를 비교하여 그들의 차이를 무인 비행체에 전송하여 오차를 cm 단위로 최소화하는 방식이다. 이는, 사전에 GPS 기준국을 미리 설치하여 설치된 지점의 위치 정보를 입력해야 하는 번거로움이 존재하고, RTK GPS 모듈이 일반적인 GPS 모듈보다 비용 측면에서 더 고가인 문제가 있다.

상술한 문제점을 해결하기 위해 본 발명의 일 실시에에 따른 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법이 제안된다.

도 4는 본 명세서의 일 실시예에 따른 무인 비행체의 비행방법의 순서도이다. 본 명세서의 일 실시예에 따른 무인 비행체의 비행방법은, 도 1 내지 도 11을 참조하여 설명하며, 도 5 내지 도 7는 도 4의 제1, 제2 픽셀좌표 값이 동일하도록 무인 비행체가 제어되는 과정을 설명하기 위한 도면이고, 도 8은 무인 비행체의 제1 픽셀좌표 값을 설명하기 위한 도면이고, 도 9는 제1, 제2 픽셀좌표 값에 기반하여 피치 및 롤 값을 조절하는 과정을 설명하기 위한 도면이고, 도 10은 고해상도(예: UHD)의 경우 피치 및 롤 값을 조절하는 과정을 설명하기 위한 도면이고, 도 11은 FHD의 경우 객체가 영상의 정중앙에 위치할 때까지 각 프레임 별 과정을 설명하기 위한 도면이다.

무인 비행체는, 내장된 카메라를 통해 획득된 영상으로부터 ROI(region of interest) 박스를 추출할 수 있다(S110).

무인 비행체는, 제1 픽셀좌표 값을 ROI 박스의 중앙 값으로 설정하고, 제2 픽셀 좌표 값을 획득된 영상의 중앙 값으로 설정할 수 있다(S120).

생성된 ROI 박스는 사람(human)을 AI 엔진을 통해 인식하고 있다(도 4를 참조). 무인 비행체는 제1 픽셀좌표 값을 생성된 ROI 박스의 중앙 값에 대응하게 설정할 수 있다. 제2 픽셀좌표 값은 영상의 화면 중앙의 픽셀좌표 값으로서 영상의 해상도에 따라 고정 값으로 제공된다. 예를 들어, FHD의 경우, 제2 픽셀좌표 값은, 해상도 1902x1080의 중심인 (960, 540)로 결정된다.

본 발명은, 고정된 제2 픽셀좌표 값을 이용함으로써 추적 대상인 객체를 화면 중앙으로 이동시켜 객체가 빠르게 이동하더라도 객체가 놓치는 확률을 최소화시킬 수 있는 이점이 있다.

무인 비행체는, 제1, 제2 픽셀좌표 값의 차이에 기반하여 상기 제1 픽셀좌표 값이 제2 픽셀좌표 값에 인접하거나 동일하도록 무인 비행체의 비행을 제어할 수 있다(S130).

도 5를 참조하면, 객체의 픽셀좌표 값인 제1 픽셀좌표 값과 화면 중앙의 픽셀좌표 값인 제2 픽셀좌표 값을 서로 비교하여 무인 비행체가 이동되도록 제어할 수 있다. 도 6을 참조하면, 제1, 제2 픽셀좌표 값의 차이로 산출되는 객체추적 값에 기반하여, 종국적으로 제1, 제2 픽셀좌표 값이 도 6과 같이 일치하도록 무인 비행체를 이동시킬 수 있다.

제1, 제2 픽셀좌표 값의 차이는 객체추적 값으로 정의될 수 있다. 객체추적 값은 가로 및 세로의 픽셀좌표 값으로 표현된다. 예를 들어, 객체추적 값은, 제1 픽셀좌표 값이 (1200, 900)이고, 제2 픽셀좌표 값이 (960, 540)이면, 객체좌표 값은 (240, 360)으로 산출될 수 있다.

한편, S130에서, 무인 비행체는 양의 피치 값을 수신하면 전방으로 이동하고, 음의 피치 값을 수신하면 후방으로 이동하며, 양의 롤 값을 수신하면 우측이로 이동하고, 음의 롤 값을 수신하면 좌측으로 이동할 수 있다. 이?, 무인 비행체의 이동속도는 피치 값 및/또는 롤 값으로 입력되는 값의 크기에 비례하여 더 빨라지도록 제어될 수 있으며, 피치 값과 롤 값은 동시에 입력 가능하다. 일 예로, 무인 비행체는 피치 값이 1200인 경우 빠른 속도로 전진하나, 피치 값이 80인 경우 느린 속도로 전진한다.

도 9를 참조하면, 영상인 FHD인 경우에 관한 것으로, 도 9의 (a)의 경우 객체추적값은 (240, -340)으로 산출되며, 무인 비행체는 240만큼 롤 이동하고, 340만큼 피치 이동할 수 있다. 도 9의 (b)의 경우 객체추적값은 (-760, -340)으로 산출되며 무인 비행체는 -760 만큼 롤 이동하고, -340 만큼 피치 이동할 수 있다. 도 9의 (c)의 경우 객체추적값은 (240, -360)으로 산출되며 무인 비행체는 240 만큼 롤 이동하고 -360 만큼 피치 이동할 수 있다. 한편, 피치 이동은 피치 값에 기반한 무인 비행체의 이동을 말하며, 무인 비행체는 객체추적값의 피치 값(즉, y축 값)을 부호 변경하여(즉, -를 부여하여) 산출된 값에 따라 이동한다. 또한, 롤 이동은 롤 값에 기반한 무인 비행체의 이동을 말하며, 무인 비행체는 객체추적값의 롤 값(즉, x축 값)으로 산출된 값에 따라 이동한다. 이처럼, 피치 값만 부호 변경하여 산출된 값을 이용하는 이유는 영상 화면의 우너점 위치 및 방향에 따른 증감과 무인 비행체의 우너점 위치 및 방향에 따른 증감에 차이가 있기 때문이다.

무인 비행체는, 객체추적값에 기반하여 객체추적값이 클수록 영상의 프레임 주기 동안에 더 빠르게 제1, 제2 픽셀좌표 값이 일치하는 방향으로 이동되며, 이와 같은 과정이 복수회 반복되며 무인 비행체는 종국적으로 제1, 제2 픽셀좌표 값이 일치하도록 추적할 수 있다. 도 11을 참조하면, FHD의 경우로서 33 ms 마다 무인 비행체의 이동이 제어되며, 추적객체값이 (1200, 900), (1100, 820), 및 (990, 620) 순으로 점점 작아지며 이동 비행체는 상기의 추적객체값들에 기반하여 프레임 주기동안 제어된다. 이후, 종국적으로 추적객체값이 (0, 0)이 될 때까지 S110 내지 S130의 동작들은 반복된다.

일 실시예에서, 피치 값 및 롤 값은 소정의 범위 내의 값으로만 입력되거나 설정될 수 있다. 예를 들어, 피치 값 및 롤 값에 입력되는 값의 범위는 소정의 최대값 및 최소값 사이로 결정될 수 있다. 소정의 최대값 및 최소값은 비행 컨트롤러의 종류에 따라 결정될 수 있다. 일 예로, 비행 컨트롤러가 아두파일럿(Adupilot)인 경우, 소정의 최대값은 1500, 소정의 최소값은 -1500 으로 결정될 수 있다. 그런데, 비행 컨트롤러가 아두파일럿인 경우로서, 영상의 해상도가 UHD(즉, 4K 해상도)인 경우에는 가로 및 세로의 픽셀 수가 피치와 롤에 입력되는 값의 범위를 초과하는 것으로서, 객체추적값은 피치와 롤에 입력되는 값의 범위(예를 들어, -1500 내지 1500) 내로 조정될 필요가 있다.

일 실시예에서, 영상의 해상도를 구성하는 가로 픽셀수 및 세로 픽셀수 주 어느 하나가 피치 값 및 롤 값이 입력되는 값의 범위를 초과하면, 영상의 해상도를 다른 해상도의 해상도 비를 이용하여, 객체추적값이 상기 범위 내에 포함되도록 조절할 수 있다.

예를 들어, 도 10을 참조하면, UHK의 경우에, 객체추적값은 (1900, 540)으로 산출되어 롤 값이 -1500 내지 1500인 소정의 범위를 초과한다. 이때, 객체추적값은 UHD와 FHD의 해상도 비인 2:1에 기반하여, 그 절반인 (950, 270)으로 산출될 수 있다. 새로이 산출된 객체추적값 (950, 270)은 피치 값 및 롤 값이 모두 소정의 범위 내에 포함되는 값으로서, 무인 비행체는 새로이 산출된 객체추적값을 이용하여 제어될 수 있다. 이처럼, 객채추적값을 소정의 범위로 제한하고, 변경하는 이유는 피치 값과 롤 값에 지나치게 큰 값이 입력되면 무인 비행체가 지나치게 빠른 속도로 이동하여 기체와 배터리에 과도한 부하를 주게되어 사고를 초래할 수 있기 때문이다.

일 실시예에서, S110 내지 S130을 포함하는, 비행방법은 카메라에 의한 영상획득 주기마다 수행된다. 예를 들어, 영상획득 주기는 30 fps, 60 fps, 또는 120 fps로 구현될 수 있다. 예를 들어, 영상획득 주기가 30 fps 인 경우, 무인 비행체는 33 ms 마다 영상을 획득하고, 제1, 제2 픽셀좌표 값의 차이에 기반하여 무인 비행체의 비행을 제어할 수 있다. 이처럼, 무인 비행체의 이동주기는 영상의 프레임 주기(frame rate)에 따라 자동으로 결정되므로, 높은 프레임 주기의 영상일수록 더 빠른 주기로 무인 비행체가 이동하기 때문에 추적 대상인 객체를 놓칠 확률이 감소된다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법에 있어서, 무인 비행체의 프로세서에 의해,
무인 비행체에 내장된 카메라를 통해 획득된 영상으로부터, ROI(region of interset) 박스를 추출하는 단계;
제1 픽셀좌표 값을 ROI 박스의 중앙 값으로 설정하고, 제2 픽셀좌표 값을 획득된 영상의 중앙 값으로 설정하는 단계; 및
제1, 제2 픽셀좌표 값의 차이에 기반하여 상기 제1 픽셀좌표 값이 상기 제2 픽셀좌표 값에 인접하거나 동일하도록 무인 비행체의 비행을 제어하는 단계;
를 포함하고,
상기 제2 픽셀좌표 값은 영상의 해상도 값에 대응하여 산출되는 것을 특징으로 하는, 무인 비행체의 비행방법.
제1항에 있어서,
제1, 제2 픽셀좌표 값의 차이에 기반하여 무인 비행체의 비행을 제어하는 단계는, 카메라에 의한 영상 획득 주기마다 수행되는 것을 특징으로 하는, 무인 비행체의 비행방법.
제1항에 있어서,
카메라에 의한 영상 획득 주기는, 30 fps, 60 fps, 또는 120 fps 인 것을 특징으로 하는, 무인 비행체의 비행방법.
삭제
제1항에 있어서,
무인 비행체의 비행을 제어하는 단계에서,
무인 비행체는 양의 피치(pitch) 값을 수신하면 전방으로 이동하고, 음의 피치 값을 수신하면 후방으로 이동하도록 제어되고, 양의 롤(roll) 값을 수신하면 우측으로 이동하고, 음의 롤 값을 수신하면 좌측으로 이동하는 것을 특징으로 하는, 무인 비행체의 비행방법.
제5항에 있어서,
무인 비행체의 이동속도는, 피치 값 또는 롤 값으로 입력되는 값의 크기에 비례하여 빨라지도록 제어되는 것을 특징으로 하는, 무인 비행체의 비행방법.
제5항에 있어서,
피치 값과 롤 값은 동시에 입력가능한 것을 특징으로 하는, 무인 비행체의 비행방법.
제5항에 있어서,
피치 값 및 롤 값에 입력되는 값의 범위는 소정의 최대값 및 최소값 사이로 결정되는 것을 특징으로 하는, 무인 비행체의 비행방법.
제8항에 있어서,
소정의 최대값 및 최소값은, 비행 컨트롤러(flight controller)의 종류에 따라 결정되는 것을 특징으로 하는, 무인 비행체의 비행방법.
제9항에 있어서,
비행 컨트롤러가 아두파일럿(Adupilot)이면, 소정의 최대값 및 최소값은 -1500 내지 1500의 범위로 결정되는 것을 특징으로 하는 무인 비행체의 비행방법.