KR101769603B1 - 호버링용 위치보정장치 - Google Patents

호버링용 위치보정장치 Download PDF

Info

Publication number
KR101769603B1
KR101769603B1 KR1020170070581A KR20170070581A KR101769603B1 KR 101769603 B1 KR101769603 B1 KR 101769603B1 KR 1020170070581 A KR1020170070581 A KR 1020170070581A KR 20170070581 A KR20170070581 A KR 20170070581A KR 101769603 B1 KR101769603 B1 KR 101769603B1
Authority
KR
South Korea
Prior art keywords
sensor
optical flow
ground
camera
center axis
Prior art date
Application number
KR1020170070581A
Other languages
English (en)
Inventor
박주홍
Original Assignee
아이디어주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이디어주식회사 filed Critical 아이디어주식회사
Priority to KR1020170070581A priority Critical patent/KR101769603B1/ko
Application granted granted Critical
Publication of KR101769603B1 publication Critical patent/KR101769603B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B64C2201/14—
    • B64D2700/62184—
    • B64D2700/62271—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 호버링용 위치보정장치에 관한 것으로서, 본 발명에 따른 호버링용 위치보정장치는, 지면을 향하도록 드론의 하부에 장착된 카메라를 통해 입력되는 영상데이터의 옵티컬플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 제1이동변위값을 구하는 옵티컬플로우 처리유닛과; 초음파센서 및 IMU센서를 통해 입력되는 센서값을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 제2이동변위값을 구하는 센서처리유닛; 및 상기 옵티컬플로우 처리유닛의 제1이동변위값과 상기 센서처리유닛의 제2이동변위값을 비교하여 카메라중심축의 위치이동변위를 보정하는 이동변위 보정유닛;을 구비한다.
따라서, 본 발명은, 옵티컬 플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 이동변위를 구하고 IMU 및 초음파센서를 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 이동변위를 구하여 카메라 중심축의 위치를 보정함으로써 무인항공기의 자율비행을 위한 호버링을 용이하게 제어할 수 있는 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치를 제공하는 효과가 있다.

Description

호버링용 위치보정장치 {APPARATUS AND METHOD OF POSITION REVISION FOR HOVERING}
본 발명은 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치 및 위치보정방법에 관한 것으로서, 더욱 상세하게는, 옵티컬 플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 이동변위를 구하고 IMU 및 초음파센서를 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 이동변위를 구하여 카메라 중심축의 위치를 보정함으로써 무인항공기의 자율비행을 위한 호버링을 용이하게 제어할 수 있는 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치 및 위치보정방법에 관한 것이다.
최근 들어 조종사가 탑승하지 않고 원격으로 조종되는 무인항공기(UAV; Unmanned aerial vehicle)에 관한 관심이 날로 증대되고 있다. 이와 같은 무인항공기는 다양한 장비(카메라, 광학, 적외선, 레이더 센서 등)를 탑재하여 드론(dron)이라 불리우며 처음엔 군사용도로 사용되기도 하였으나 방송용이나 레저용에 사용되면서 드론(dron) 산업이라 불릴 정도로 대중화 되기 시작했다.
드론이 대중화되면서 활용목적에 따라 다양한 크기와 성능을 가진 비행체들이 개발되고 있으며 개인의 취미활동으로 개발되어 상품화되기 시작한 것도 많이 있다. 그 중에 카메라를 장착하여 다양한 각도의 생동감 있는 영상을 촬영하는 소형드론은 헬리캠이라는 별도의 명칭을 가지며 활발하게 보급되고 있다.
한편, 드론을 공중에 띄운 다음 움직이지 않고 그 자리에 머물게 하는 것을 공중정지비행, 즉, 호버링(Hovering)이라고 하는 정밀 자세제어기술을 가리키는데, 이와 같은 호버링 기술은 구현하기가 용이하지가 않기 때문에 사용자로 하여금 고도로 숙련된 비행조종술을 요구하는 문제점이 있었다.
또한, 종래기술에 따른 소형드론의 호버링기술은 자세제어를 위해 가속도센서와 각속도센서를 포함하는 관성센서를 비롯하여 지자기센서, 고도센서, 및 GPS와 같은 다수의 센서를 추가로 필요로 하는데, 이것은 비행체 기체가 작아지면 외부환경에 영향을 많이 받게 되고 상대센서인 관성센서의 누적오차를 유발하기 때문에 관성센서만으로는 호버링과 같은 정밀한 자세제어가 어렵기 때문이다.
그러나, 이와 같이, 드론에 지자기센서, 고도센서, 및 GPS와 같은 고가의 절대센서를 탑재하게 되면 제조비용이 증가하여 상업화에 어려움이 있으며, 다수의 센서 값 및 이를 기초로 하는 작동알고리즘을 추가로 필요로 하기 때문에 호버링과 같은 정밀 자세제어를 구현하는 것이 현실적으로 어려운 문제점이 있었다.
따라서, 호버링 기술과 같이 드론의 공중정지비행을 구현할 수 있는 정밀한 자세제어기술도 가능하면서 드론제작에 소요되는 제조비용을 절감할 수 있는 현실적이고도 적용이 가능한 기술이 절실히 요구되는 실정이다.
공개특허공보 KR 10-2013-0081260호(공개일 2013.07.16.)
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은, 옵티컬 플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 이동변위를 구하고 IMU 및 초음파센서를 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 이동변위를 구하여 카메라 중심축의 위치를 보정함으로써 무인항공기의 자율비행을 위한 호버링을 용이하게 제어할 수 있는 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치 및 위치보정방법을 제공하는데 목적이 있다.
본 발명의 실시예에 따른 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치는, 지면을 향하도록 드론의 하부에 장착된 카메라를 통해 입력되는 영상데이터의 옵티컬플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 제1이동변위값을 구하는 옵티컬플로우 처리유닛과; 초음파센서 및 IMU센서를 통해 입력되는 센서값을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 제2이동변위값을 구하는 센서처리유닛; 및 상기 옵티컬플로우 처리유닛의 제1이동변위값과 상기 센서처리유닛의 제2이동변위값을 비교하여 카메라중심축의 위치이동변위를 보정하는 이동변위 보정유닛;을 구비할 수 있다.
또한, 상기 옵티컬플로우 처리유닛은, 상기 지면을 향하는 카메라를 통해 영상데이터가 입력되면 상기 영상데이터를 디지털화한 다음 필터링을 수행하고 노이즈를 제거하는 영상입력부와; 상기 영상입력부의 노이즈가 제거된 영상데이터에서 옵티컬 플로우를 검출하는 옵티컬 플로우 검출부와; 상기 옵티컬 플로우 검출부에서 검출된 옵티컬 플로우의 xy좌표에 대응되는 매칭쌍들에 대한 강체변환을 수행하는 강체변환부; 및 상기 강체변환부를 통해 구한 변화량을 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 제1이동변위값을 계산하는 제1이동변위 계산부;를 구비할 수 있다.
또한, 상기 옵티컬 플로우 검출부는, Knade-Lucas-Tomas(KLT) 알고리즘 방법을 이용하여 옵티컬 플로우를 계산할 수 있다.
또한, 상기 강체변환부는, 상기 옵티컬 플로우의 매칭쌍들을 (x1,y1)- (x1',y1'), (x2,y2)-(x2',y2'), ..., 라 할때 아래와 같은 행렬로부터 a,b,c,d를 구하고,
Figure 112017053909839-pat00001
하기의 수학식[1]을 이용하여 스케일 s와 회전각도θ를 구할 수 있다.
[수학식1]
Figure 112017053909839-pat00002
또한, 상기 제1이동변위 계산부는, 상기 강체변환부에서 구한 회전각도θ와 c,d를 하기의 수학식[2]에 대입하고, 하기의 수학식[3]을 이용하여 옵티컬 플로우에 의한 지면을 향하는 카메라 중심축의 실제 이동량에 해당하는 제1이동변위값을 구할 수 있다.
[수학식 2]
Figure 112017053909839-pat00003
[수학식 3]
Figure 112017053909839-pat00004
본 발명의 실시예에 따른 옵티컬 플로우 및 IMU를 이용한 호버링용 위치보정장치는, 칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 상기 제1이동변위값에 해당하는 데이터를 안정화시킬 수 있다.
또한, 상기 센서처리유닛은, 초음파센서를 통해 높이를 입력받고 IMU센서로부터 Roll, Pitch ,Yaw를 입력받는 센서입력부와; 상기 센서입력부에 입력되는 값을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 대응되는 프로젝션포인트의 위치를 계산하는 위치연산부와; 상기 위치연산부에서 획득한 프로젝션포인트 위치를 IMU센서의 Yaw 각도를 90도가 되게 회전이동시키고 동일한 기준선상에서 위치변화량을 비교하는 위치비교부; 및 상기 위치비교부를 통해 구한 변화량을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 제2이동변위값을 계산하는 제2이동변위 계산부;를 포함할 수 있다.
또한, 상기 위치연산부는, 상기 센서입력부에서 입력된 높이(h), IMU센서로부터 입력된 Roll의 각도(θ1), Pitch의 각도(θ2), Yaw의 각도(θ3)를 이용하여 하기 수학식[4]를 충족시키고 프로젝선포인트의 위치 P(Px,Py)를 구할 수 있다.
[수학식 4]
Figure 112017053909839-pat00005
또한, 상기 위치비교부는, IMU센서에서 입력받은 Yaw의 각도를 90도가 되도록 하기의 수학식 [5]에 따라 상기 위치연산부에서 구한 프로젝선포인트의 위치 P(Px,Py)를 회전이동시켜 변화량을 구할 수 있다.
[수학식 5]
Figure 112017053909839-pat00006
또한, 상기 제2이동변위 계산부는, 상기 위치비교부에서 구한 프로젝션포인트의 변화량을 하기의 수학식[6]에 대입하여 지면을 향하는 카메라 중심축의 회전변화에 따른 실제 이동량에 해당하는 제2이동변위값을 구할 수 있다.
[수학식 6]
Figure 112017053909839-pat00007
본 발명의 실시예에 따른 옵티컬 플로우 및 IMU를 이용한 호버링용 위치보정장치는, 칼만필터를 이용한 방식으로 상기 제2이동변위값에 해당하는 데이터를 안정화시킬 수 있다.
또한, 상기 이동변위 보정유닛은, 상기 옵티컬플로우 처리유닛의 제1이동변위값과 상기 센서처리유닛의 제2이동변위값을 구한 다음 하기의 수학식 [7]을 이용하여 카메라중심축의 위치이동변위를 보정할 수 있다.
[수학식 7]
Figure 112017053909839-pat00008
본 발명의 실시예에 따른 옵티컬 플로우 및 IMU를 이용한 호버링용 위치보정방법은, 드론의 하부에 장착된 카메라를 통해 지면을 향하는 카메라의 영상데이터가 입력되는 단계; 상기 영상데이터의 옵티컬플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 이동변위에 대응되는 제 1 이동변위값을 구하는 단계; 초음파센서 및 IMU센서를 통해 입력되는 센서값을 이용하여 상기 지면을 향하는 카메라 중심축의 회전변화를 가리키는 프로젝션포인트의 이동변위에 대응되는 제 2 이동변위값을 구하는 단계; 및 상기 제1이동변위값과 제2이동변위값을 비교하여 지면을 향하는 카메라중심축의 위치이동변위를 보정하는 단계;를 구비할 수 있다.
상기 프로젝션포인트는, 카메라 중심축에 대한 자세 변화없이 위치이동만 있을 경우 변위값은 발생하지 않는 반면에 위치이동없이 자세의 변화가 있을 경우에 회전변화에 따른 이동변위값이 발생할 수 있다.
상기 제 1 이동변위값을 구하는 단계는, 지면을 향하는 카메라중심축의 옵티컬플로우를 검출한 다음 검출된 옵티컬플로우에 대한 강체변환을 통해 획득한 변화량을 이용하여 실제 이동변위를 구할 수 있다.
상기 제 2 이동변위값을 구하는 단계는, 지면을 향하는 카메라중심축의 회전변화에 따른 프로젝션포인트의 위치 및 변화량을 Yaw의 특정각도를 기준으로 비교하여 이동변위를 용이하게 구할 수 있다.
상기 제1이동변위값과 제2이동변위값을 비교하여 지면을 향하는 카메라중심축의 위치이동변위를 보정하는 단계는, 상기 옵티컬플로우를 이용해 획득한 지면을 향하는 카메라중심축의 위치변화 및 회전변환에 따른 변화량에서 상기 프로젝션포인트의 위치변화에 대응되며 지면을 향하는 카메라중심축의 회전변환에 해당하는 변화량을 차감하는 단계일 수 있다.
이상에서 설명한 바와 같이, 본 발명은, 옵티컬 플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 이동변위를 구하고 IMU 및 초음파센서를 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 이동변위를 구하여 카메라 중심축의 위치를 보정함으로써 무인항공기의 자율비행을 위한 호버링을 용이하게 제어할 수 있는 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치 및 위치보정방법을 제공하는 효과가 있다.
또한, 본 발명은, 지면을 향하는 카메라를 통해 입력되는 영상데이터의 옵티컬플로우를 이용함으로써 구현이 용이하면서 초음파 센서 및 관성센서외에 추가적인 센서를 필요로 하지 않아 제조비용을 절감할 수 있는 효과가 있다.
또한, 본 발명은, 드론에 장착된 카메라와 IMU센서를 이용할 수 있어 기존에 사용되던 드론의 호버링 성능을 높일 수 있는 효과가 있다.
또한, 본 발명은, 호버링에 필요한 자세제어기술을 구현하는데 있어서 복잡한 과정이나 다양한 장치를 필요로 하지 않고 간단한 수학식을 이용한 위치보정기술을 적용함으로써 생산성을 높일 수 있는 효과가 있다.
또한, 본 발명은, 지면을 향하는 카메라의 중심축에 대한 이동변위에 실제 위치변화가 아닌 카메라 회전에 의한 가상의 이동변위가 포함되더라도, 센서처리유닛에 의해 입력된 센서값을 이용하여 카메라 회전에 의한 회전변화에 따른 이동변위를 보정시킬 수 있어 정확한 이동변위를 파악할 수 있어 결과적으로 호버링기술을 용이하게 구현할 수 있는 효과가 있다.
또한, 본 발명은, 드론의 전방측 카메라 대신에 바닥면을 향하는 카메라를 이용함으로써 전방카메라에 의하여 촬영할 경우 발생하는 장애물에 의한 인식불능사태를 미연에 방지하는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치의 전체구성을 개략적으로 나타내는 구성도이다.
도 2는 본 발명의 일시예에 따른 위치보정장치에 적용된 옵티컬플로우를 개략적으로 나타내는 도면이다.
도 3은 도 2에 도시된 옵티컬플로우가 실제 영상데이터에 적용된 화면을 개략적으로 나타내는 표시화면이다.
도 4는 강체변환을 설명하기 위하여 옵티컬플로우를 이용한 카메라 중심축의 실시예를 나타내는 도면이다.
도 5 내지 도 7은 본 발명의 일실시예 따른 위치보정장치의 옵티컬플로우를 이용한 제1이동변위값에 칼만필터를 적용한 결과를 나타내기 위한 도면이다.
도 8은 본 발명의 일실시예 따른 위치보정장치에 적용된 프로젝션포인트를 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예 따른 위치보정장치에 적용된 프로젝션포인트의 위치를 설명하는 도면이다.
도 10은 본 발명의 일실시예 따른 위치보정장치에 적용된 프로젝션포인트의 위치를 회전이동시켜 기준선을 맞춘 도면이다.
도 11 내지 도 12는 제자리에서 좌우로 5번 회전변화와 좌우로 5번 이동변화한 프로젝션포인트의 X축 변화량 및 이동변위 완료된 것을 나타내는 도면이다.
도 13은 본 발명의 일실시예에 따른 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정방법을 개략적으로 나타내는 흐름도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
본 발명에 따른 호버링용 위치보정장치는 드론에 장착되며 지면을 향하는 카메라의 옵티컬 플로우(Optical flow)를 이용하여 물체 이동방향을 먼저 감지한 다음, 초음파센서 및 IMU를 이용함으로써 드론의 자세를 추정하여 이로부터 옵티컬 플로우에 이미 반영된 회전변화율을 보정함으로써 호버링에 필요한 정확한 위치보정기술을 구현하였다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치의 전체구성을 개략적으로 나타내는 구성도이다.
도면에 도시된 바와 같이, 본 발명의 일실시예에 따른 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치는, 옵티컬플로우 처리유닛(100), 센서처리유닛(200), 및 이동변위 보정유닛(300)을 포함하여 이루어진다.
보다 상세하게는, 상기 옵티컬플로우 처리유닛(100)은, 지면을 향하도록 드론의 하부에 장착된 카메라(1)를 통해 입력되는 영상데이터의 옵티컬플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 제1이동변위값을 구할 수 있다.
이때, 도면에 도시된 바와 같이, 상기 옵티컬플로우 처리유닛(100)은, 상기 지면을 향하는 카메라를 통해 영상데이터가 입력되면 상기 영상데이터를 디지털화한 다음 필터링을 수행하고 노이즈를 제거하는 영상입력부(110)와, 상기 영상입력부(110)의 노이즈가 제거된 영상데이터에서 옵티컬 플로우를 검출하는 옵티컬 플로우 검출부(120)와, 상기 옵티컬 플로우 검출부(120)에서 검출된 옵티컬 플로우의 xy좌표에 대응되는 매칭쌍들에 대한 강체변환을 수행하는 강체변환부(130), 및 상기 강체변환부(130)를 통해 구한 변화량을 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 제1이동변위값을 계산하는 제1이동변위 계산부(140)를 구비할 수 있다.
한편, 상기 센서처리유닛(200)은, 초음파센서 및 IMU센서를 통해 입력되는 센서값을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 제2이동변위값을 구할 수 있다.
여기서, 상기 센서처리유닛(200)은, 도면에 도시된 바와 같이, 호버링을 위한 자세측정을 위하여 초음파센서를 통해 높이를 입력받고 IMU센서로부터 Roll, Pitch ,Yaw를 입력받는 센서입력부(210)와, 상기 센서입력부(210)에 입력되는 값을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 대응되는 프로젝션포인트의 위치를 계산하는 위치연산부(220)와, 상기 위치연산부(220)에서 획득한 프로젝션포인트 위치를 IMU센서의 Yaw 각도를 90도가 되게 회전이동시키고 동일한 기준선상에서 위치변화량을 비교하는 위치비교부(230), 및 상기 위치비교부(230)를 통해 구한 변화량을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 제2이동변위값을 계산하는 제2이동변위 계산부(240)를 포함할 수 있다.
이때, 상기 IMU센서는 3축 가속도센서, 3축 자이로스코프, 3축 지자기센서를 포함하는 관성센서(IMU, Inertia Measurement Unit)를 가리킨다.
또한, 상기 이동변위 보정유닛(300)은, 상기 옵티컬플로우 처리유닛의 제1이동변위값과 상기 센서처리유닛의 제2이동변위값을 비교하여 카메라중심축의 위치이동변위를 보정할 수 있다.
도 2 내지 도 7을 참조하여 본 발명의 일시예에 따른 위치보정장치에 적용된 옵티컬플로우를 이용하여 지면을 향하는 카메라 중심축의 제1이동변위값을 구체적으로 구하는 과정을 상세하게 설명하면 다음과 같다.
도 2는 본 발명의 일시예에 따른 위치보정장치에 적용된 옵티컬플로우를 개략적으로 나타내는 도면이고, 도 3은 도 2에 도시된 옵티컬플로우가 실제 영상데이터에 적용된 화면을 개략적으로 나타내는 표시화면이다.
본 발명의 일시예에 따른 위치보정장치에 적용된 옵티컬플로우는 도 2의 Knade-Lucas-Tomasi(KLT) feature tracker 방법을 이용하여 옵티컬 플로우를 계산할 수 있다.
즉, 도 3에 표시된 바와 같이, 붉은 색의 포인트에서 푸른 색의 포인트 방향으로 경로를 형성하는 그린색의 이동경로에 해당하는 옵티컬 플로우는 상술한 KLT 알고리즘을 이용하여 어느 방향으로 향하는지 계산할 수 있다.
이때, 본 발명의 실시예에 적용된 KLT 알고리즘은 옵티컬 플로우(Optical Flow)를 계산하기 위한 일반적으로 적용되는 기술로 이에 대한 상세한 설명은 생략한다.
도 4는 강체변환을 설명하기 위하여 옵티컬플로우를 이용한 카메라 중심축의 실시예를 나타내는 도면이다.
강체변환(Rigid Transform)은 형태와 크기를 유지한 채 위치(translation)와방향(rotation)만 바뀔 수 있는 변환이다.
즉, 회전(rotation)과 평행이동(translation)만을 허용하는 변환이다.
본 발명의 실시예에서, 상기 강체변환부(130)는, 앞서 도 3에서 상술한 상기 옵티컬 플로우의 매칭쌍들을 (x1,y1)- (x1',y1'), (x2,y2)-(x2',y2'), ..., 라 할때 아래와 같은 행렬로부터 a,b,c,d를 구할 수 있다.
Figure 112017053909839-pat00009
이때, 위의 행렬식에서 역행렬(매칭쌍이 2개인 경우) 또는 pseudo inverse(매칭쌍이 2개 이상이고 전체 매칭쌍을 가장 잘 근사하는 강체(rigid)변환을 찾을 경우)를 이용하면 a,b,c,d 를 결정할 수 있다.
또한, 본 발명의 실시예에서, 하기의 수학식[1]을 이용하여 스케일 s와 회전각도θ를 구할 수 있다.
[수학식1]
Figure 112017053909839-pat00010
따라서, 도 4에 도시된 카메라의 중심축의 실제 이동변위값은 제1이동변위 계산부(140)에 의하여 상기 강체변환부(130)에서 구한 회전각도θ와 c,d를 하기의 수학식[2]에 대입하고, 하기의 수학식[3]을 이용하여 옵티컬 플로우에 의한 지면을 향하는 카메라 중심축의 실제 이동량에 해당하는 제1이동변위값을 구할 수 있다.
[수학식 2]
Figure 112017053909839-pat00011
[수학식 3]
Figure 112017053909839-pat00012
도 5 내지 도 7은 본 발명의 일실시예 따른 위치보정장치의 옵티컬플로우를 이용한 제1이동변위값에 칼만필터를 적용한 결과를 나타내기 위한 도면이다.
도 5 내지 도 7은 옵티컬플로우를 이용하여 순서대로 x축변화량, y축변화량, 회전변화량을 나타내는 도면이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 옵티컬 플로우 및 IMU를 이용한 호버링용 위치보정장치는, 칼만필터 및 평균값 중 어느 하나를 이용한 방식으로 상기 제1이동변위값에 해당하는 데이터를 안정화시킬 수 있다.
이때, 본 발명의 실시예에서 사용된 칼만필터는 하기 수식을 만족하는 것이 바람직하다.
Figure 112017053909839-pat00013
Figure 112017053909839-pat00014
한편, 이와 같이, 옵티컬 플로우(Optical Flow)를 적용하여 구한 이동변위값은 위치이동 없이 회전 변화만 있는 경우에도 카메라 영상의 변화로 인해 도 7에 도시된 바와 같이, 변위가 발생하는 것을 알 수 있으며, 즉, 실제로는 정지해 있더라도 옵티컬 플로우만 이용할 경우에 이동된 것으로 판단될 수 있다.
따라서, 후술하는 과정은, 이와 같이 옵티컬 플로우에 의한 오류를 바로 잡기 위한 것으로, 도 8 내지 도 10을 참조하여 본 발명의 일시예에 따른 위치보정장치에 적용된 프로젝션포인트의 제2이동변위값을 구체적으로 구하는 과정을 상세하게 설명하면 다음과 같다.
도 8은 본 발명의 일실시예 따른 위치보정장치에 적용된 프로젝션포인트를 설명하기 위한 도면이다.
도면에 도시된 바와 같이, 본 발명의 실시예에서, 프로젝션포인트는, 카메라 중심축에 대한 자세 변화없이 위치이동만 있을 경우 변위값은 발생하지 않는 반면에 위치이동없이 자세의 변화가 있을 경우에 회전변화에 따른 이동변위값이 발생할 수 있다.
도 9는 본 발명의 일실시예 따른 위치보정장치에 적용된 프로젝션포인트의 위치를 설명하는 도면이다.
본 발명의 실시예에 따른 위치보정장치는, 초음파센서(2)를 이용하여 높이를 구하고, IMU센서(3)를 이용하여 위치(Roll, Pitch, Yaw)를 알 수 있다.
즉, 도 1에서 상술한 위치연산부(220)는, 센서입력부(210)에서 초음파센서(2)를 통해 입력된 높이(h), IMU센서로부터 입력된 Roll의 각도(θ1), Pitch의 각도(θ2), Yaw의 각도(θ3)를 이용하여 하기 수학식[4]를 충족시키고 프로젝션 포인트의 위치 P(Px,Py)를 구할 수 있다.
[수학식 4]
Figure 112017053909839-pat00015
도 10은 본 발명의 일실시예 따른 위치보정장치에 적용된 프로젝션포인트의 위치를 회전이동시켜 기준선을 맞춘 도면이다.
도 1에서 상술한 위치비교부(230)는, IMU센서에서 입력받은 Yaw의 각도를 90도가 되도록 하기의 수학식 [5]에 따라 상기 위치연산부에서 구한 프로젝선포인트의 위치 P(Px,Py)를 회전이동시켜 동일한 기준선에 대한 변화량을 구할 수 있다.
[수학식 5]
Figure 112017053909839-pat00016
이때, 본 발명의 실시예에서, 상기 프로젝션 포인트는 지면을 향하는 카메라의 중심축에 대한 X-Y평면에서의 위치를 가리키는 것으로, 상술한 수학식[4] 및 수학식[5]에 의하여 포르젝션 포인트의 변화량을 구할 수 있다.
한편, 본 발명의 실시예에 따른 위치보정장치의 센서처리유닛(200)을 구성하는 제2이동변위 계산부(240)는, 위치비교부(220)에서 구한 프로젝션포인트의 변화량을 하기의 수학식[6]에 대입하여 지면을 향하는 카메라 중심축의 회전변화에 따른 실제 이동량에 해당하는 제2이동변위값을 구할 수 있다.
[수학식 6]
Figure 112017053909839-pat00017
즉, 본 발명은, 호버링을 위한 자세측정 기술을 구현하기 위해 초음파센서를 이용한 높이계산값, IMU를 이용한 자세 계산값, 2D 프로젝션포인트 계산값, 및 회전에 의한 변화율 계산값을 통합하여 자세를 측정하는 알고리즘을 구현한 것을 알 수 있다.
이와 같이, 본 발명의 실시예에 따른 위치보정장치는, 센서처리유닛(200)을 통해 프로젝션 포인트에 의한 이동변위를 구함으로써 옵티컬 플로우 처리유닛(100)에 의해 카메라 중심축의 회전변화량이 포함된 제1이동변위값을 보정할 수 있다.
또한, 본 발명의 실시예에 따른 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정장치는, 칼만필터를 이용한 방식으로 상기 제2이동변위값에 해당하는 데이터를 안정화시킬 수 있다.
도 11 내지 도 12는 제자리에서 좌우로 5번 회전변화와 좌우로 5번 이동변화한 프로젝션포인트의 X축 변화량 및 이동변위가 완료된 것을 실시예로써 나타내는 도면이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 호버링용 위치보정장치는, 도 1에서 상술한 이동변위 보정유닛(300)을 이용하여 옵티컬플로우 처리유닛(100)의 제1이동변위값과 센서처리유닛(200)의 제2이동변위값을 구한 다음 하기의 수학식 [7]을 이용하여 카메라중심축의 위치이동변위를 보정할 수 있다.
[수학식 7]
Figure 112017053909839-pat00018
도 13은 본 발명의 일실시예에 따른 옵티컬 플로우와 IMU 및 초음파센서를 이용한 호버링용 위치보정방법을 개략적으로 나타내는 흐름도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 옵티컬 플로우와 IMU 및초음파센서를 이용한 호버링용 위치보정방법은, 영상입력단계(S10), 옵티컬플로우 처리단계(S20), 센서값 처리단계(S30), 및 이동변위 보정단계(S40)를 구비할 수 있다.
보다 상세하게는, 상기 영상입력단계(S10)는, 드론의 하부에 장착된 카메라를 통해 지면을 향하는 카메라의 영상데이터가 입력되는 단계일 수 있다.
다음으로, 상기 옵티컬플로우 처리단계(S20)는, 상기 영상데이터의 옵티컬플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 이동변위에 대응되는 제 1 이동변위값을 구하는 단계일 수 있다.
다음으로, 상기 센서값 처리단계(S30)는, 초음파센서 및 IMU센서를 통해 입력되는 센서값을 이용하여 상기 지면을 향하는 카메라 중심축의 회전변화를 가리키는 프로젝션포인트의 이동변위에 대응되는 제 2 이동변위값을 구하는 단계일 수 있다.
다음으로, 상기 이동변위 보정단계(S40는, 상기 제1이동변위값과 제2이동변위값을 비교하여 지면을 향하는 카메라중심축의 위치이동변위를 보정하는 단계일 수 있다.
이때, 본 발명의 실시예에서, 상기 프로젝션포인트는, 카메라 중심축에 대한 자세 변화없이 위치이동만 있을 경우 변위값은 발생하지 않는 반면에 위치이동없이 자세의 변화가 있을 경우에 회전변화에 따른 이동변위값이 발생할 수 있다.
또한, 상기 제 1 이동변위값을 구하는 단계는, 지면을 향하는 카메라중심축의 옵티컬플로우를 검출한 다음 검출된 옵티컬플로우에 대한 강체변환을 통해 획득한 변화량을 이용하여 실제 이동변위를 구할 수 있으며, 강체변환에 대한 상세한 설명은 상술한 것과 일치하여 상세한 설명은 생략한다.
또한, 상기 제 2 이동변위값을 구하는 단계는, 지면을 향하는 카메라중심축의 회전변화에 따른 프로젝션포인트의 위치 및 변화량을 Yaw의 특정각도를 기준으로 비교하여 이동변위를 용이하게 구할 수 있다.
또한, 상기 제1이동변위값과 제2이동변위값을 비교하여 지면을 향하는 카메라중심축의 위치이동변위를 보정하는 단계는, 상기 옵티컬플로우를 이용해 획득한 지면을 향하는 카메라중심축의 위치변화 및 회전변환에 따른 변화량에서 상기 프로젝션포인트의 위치변화에 대응되며 지면을 향하는 카메라중심축의 회전변환에 해당하는 변화량을 차감하는 단계일 수 있다.
상기와 같이, 본 발명은, 옵티컬 플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 이동변위를 구하고 IMU를 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 이동변위를 구하여 카메라 중심축의 위치를 보정함으로써 무인항공기의 자율비행을 위한 호버링을 용이하게 제어할 수 있는 옵티컬 플로우 및 IMU를 이용한 호버링용 위치보정장치 및 위치보정방법을 제공하는 효과가 있다.
또한, 본 발명은, 지면을 향하는 카메라를 통해 입력되는 영상데이터의 옵티컬플로우를 이용함으로써 구현이 용이하면서 초음파 센서 및 관성센서외에 추가적인 센서를 필요로 하지 않아 제조비용을 절감할 수 있는 효과가 있다.
또한, 본 발명은, 드론에 장착된 카메라와 IMU센서를 이용할 수 있어 기존에 사용되던 드론의 호버링 성능을 높일 수 있는 효과가 있다.
또한, 본 발명은, 호버링에 필요한 자세제어기술을 구현하는데 있어서 복잡한 과정이나 다양한 장치를 필요로 하지 않고 간단한 수학식을 이용한 위치보정기술을 적용함으로써 생산성을 높일 수 있는 효과가 있다.
또한, 본 발명은, 지면을 향하는 카메라의 중심축에 대한 이동변위에 실제 위치변화가 아닌 카메라 회전에 의한 가상의 이동변위가 포함되더라도, 센서처리유닛에 의해 입력된 센서값을 이용하여 카메라 회전에 의한 회전변화에 따른 이동변위를 보정시킬 수 있어 정확한 이동변위를 파악할 수 있어 결과적으로 호버링기술을 용이하게 구현할 수 있는 효과가 있다.
또한, 본 발명은, 드론의 전방측 카메라 대신에 바닥면을 향하는 카메라를 이용함으로써 전방카메라에 의하여 촬영할 경우 발생하는 장애물에 의한 인식불능사태를 미연에 방지하는 효과가 있다.
지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐이며, 한정적인 것이 아님을 분명히 하고, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.
1 : 카메라 2 : 초음파센서
3 : IMU센서 100 : 영상정보입력부
110 : 영상입력부 120 : 옵티컬플로우 검출부
130 : 강체변환부 140 : 제1이동변위계산부
200 : 센서처리유닛 210 : 센서입력부
220 : 위치연산부 230 : 위치비교부
240 : 제2이동변위계산부 300 : 이동변위 보정유닛

Claims (5)

  1. 지면을 향하도록 드론의 하부에 장착된 카메라를 통해 입력되는 영상데이터의 옵티컬플로우를 이용하여 지면을 향하는 카메라 중심축의 위치변화 및 회전변화에 따른 제1이동변위값을 구하는 옵티컬플로우 처리유닛과; 초음파센서 및 IMU센서를 통해 입력되는 센서값을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 제2이동변위값을 구하는 센서처리유닛; 및 상기 옵티컬플로우 처리유닛의 제1이동변위값과 상기 센서처리유닛의 제2이동변위값을 비교하여 카메라중심축의 위치이동변위를 보정하는 이동변위 보정유닛;을 구비하고,
    상기 센서처리유닛은,
    초음파센서를 통해 높이를 입력받고 IMU센서로부터 Roll, Pitch ,Yaw를 입력받는 센서입력부와;
    상기 센서입력부에 입력되는 값을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 대응되는 프로젝션포인트의 위치를 계산하는 위치연산부와;
    상기 위치연산부에서 획득한 프로젝션포인트 위치를 IMU센서의 Yaw 각도를 90도가 되게 회전이동시키고 동일한 기준선상에서 위치변화량을 비교하는 위치비교부; 및
    상기 위치비교부를 통해 구한 변화량을 이용하여 지면을 향하는 카메라 중심축의 회전변화에 따른 제2이동변위값을 계산하는 제2이동변위 계산부;를 포함하는 것을 특징으로 하는 호버링용 위치보정장치
  2. 청구항 1항에 있어서, 상기 위치연산부는,
    상기 센서입력부에서 입력된 높이(h), IMU센서로부터 입력된 Roll의 각도(θ1), Pitch의 각도(θ2), Yaw의 각도(θ3)를 이용하여 하기 수학식[4]를 충족시키고 프로젝선포인트의 위치 P(Px,Py)를 구하는 것을 특징으로 하는 호버링용 위치보정장치
    [수학식 4]
    Figure 112017053909839-pat00019
  3. 청구항 2항에 있어서, 상기 위치비교부는,
    IMU센서에서 입력받은 Yaw의 각도를 90도가 되도록 하기의 수학식 [5]에 따라 상기 위치연산부에서 구한 프로젝선포인트의 위치 P(Px,Py)를 회전이동시켜 변화량을 구하는 것을 특징으로 하는 호버링용 위치보정장치
    [수학식 5]
    Figure 112017053909839-pat00020

  4. 청구항 3에 있어서, 상기 제2이동변위 계산부는,
    상기 위치비교부에서 구한 프로젝션포인트의 변화량을 하기의 수학식[6]에 대입하여 지면을 향하는 카메라 중심축의 회전변화에 따른 실제 이동량에 해당하는 제2이동변위값을 구하는 것을 특징으로 하는 호버링용 위치보정장치
    [수학식 6]
    Figure 112017053909839-pat00021

  5. 청구항 4에 있어서,
    칼만필터를 이용한 방식으로 상기 제2이동변위값에 해당하는 데이터를 안정화시키는 것을 특징으로 하는 호버링용 위치보정장치


KR1020170070581A 2017-06-07 2017-06-07 호버링용 위치보정장치 KR101769603B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170070581A KR101769603B1 (ko) 2017-06-07 2017-06-07 호버링용 위치보정장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170070581A KR101769603B1 (ko) 2017-06-07 2017-06-07 호버링용 위치보정장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160101504A Division KR101769602B1 (ko) 2016-08-09 2016-08-09 옵티컬 플로우와 imu 및 초음파센서를 이용한 호버링용 위치보정장치 및 위치보정방법

Publications (1)

Publication Number Publication Date
KR101769603B1 true KR101769603B1 (ko) 2017-08-18

Family

ID=59753283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170070581A KR101769603B1 (ko) 2017-06-07 2017-06-07 호버링용 위치보정장치

Country Status (1)

Country Link
KR (1) KR101769603B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977985A (zh) * 2017-11-29 2018-05-01 上海拓攻机器人有限公司 无人机悬停方法、装置、无人机及存储介质
KR102624503B1 (ko) * 2023-06-30 2024-01-12 주식회사 네스앤텍 드론에 장착된 짐벌의 각도 오차 보정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977985A (zh) * 2017-11-29 2018-05-01 上海拓攻机器人有限公司 无人机悬停方法、装置、无人机及存储介质
KR102624503B1 (ko) * 2023-06-30 2024-01-12 주식회사 네스앤텍 드론에 장착된 짐벌의 각도 오차 보정 방법

Similar Documents

Publication Publication Date Title
KR101769602B1 (ko) 옵티컬 플로우와 imu 및 초음파센서를 이용한 호버링용 위치보정장치 및 위치보정방법
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
Qin et al. Robust initialization of monocular visual-inertial estimation on aerial robots
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158412B1 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
US10060746B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
Weiss et al. Real-time onboard visual-inertial state estimation and self-calibration of MAVs in unknown environments
EP3158411B1 (en) Sensor fusion using inertial and image sensors
Sa et al. Build your own visual-inertial drone: A cost-effective and open-source autonomous drone
Weiss et al. 4dof drift free navigation using inertial cues and optical flow
Fusini et al. Nonlinear observers for GNSS-and camera-aided inertial navigation of a fixed-wing UAV
Moore et al. UAV altitude and attitude stabilisation using a coaxial stereo vision system
Odelga et al. Efficient real-time video stabilization for UAVs using only IMU data
EP3276306B1 (en) Navigating an unmanned aerial vehicle
KR101769603B1 (ko) 호버링용 위치보정장치
Strydom et al. Uav guidance: a stereo-based technique for interception of stationary or moving targets
Hinzmann et al. Flexible stereo: constrained, non-rigid, wide-baseline stereo vision for fixed-wing aerial platforms
Wang et al. Monocular vision and IMU based navigation for a small unmanned helicopter
Liu et al. High altitude monocular visual-inertial state estimation: Initialization and sensor fusion
Kothari et al. Pose estimation for an autonomous vehicle using monocular vision
Gonçalves et al. Vision-based automatic approach and landing of fixed-wing aircraft using a dense visual tracking
Araar et al. A new hybrid approach for the visual servoing of VTOL UAVs from unknown geometries
Gomez-Balderas et al. Vision-based autonomous hovering for a miniature quad-rotor
WO2022101894A1 (ja) 航空機の位置制御システム、航空機、及び航空機の位置制御方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant