KR102354229B1 - 무인 비행체의 비행 제어장치 및 그 방법 - Google Patents

무인 비행체의 비행 제어장치 및 그 방법 Download PDF

Info

Publication number
KR102354229B1
KR102354229B1 KR1020170180540A KR20170180540A KR102354229B1 KR 102354229 B1 KR102354229 B1 KR 102354229B1 KR 1020170180540 A KR1020170180540 A KR 1020170180540A KR 20170180540 A KR20170180540 A KR 20170180540A KR 102354229 B1 KR102354229 B1 KR 102354229B1
Authority
KR
South Korea
Prior art keywords
wide
ultra
angle
information
camera
Prior art date
Application number
KR1020170180540A
Other languages
English (en)
Other versions
KR20190078828A (ko
Inventor
김동진
Original Assignee
해성옵틱스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 해성옵틱스(주) filed Critical 해성옵틱스(주)
Priority to KR1020170180540A priority Critical patent/KR102354229B1/ko
Publication of KR20190078828A publication Critical patent/KR20190078828A/ko
Application granted granted Critical
Publication of KR102354229B1 publication Critical patent/KR102354229B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/2257—
    • H04N5/23219—
    • B64C2201/141—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

본 발명은 무인 비행체의 비행 제어장치 및 그 방법이 개시된다. 본 발명의 무인 비행체의 비행 제어장치는, 객체 추적을 위한 고화질 카메라; 영상을 중첩시켜 스테레오 정합으로 거리를 산출하기 위한 제1 내지 제2 초광각 카메라; 비행체의 후면 하단에 설치되는 제3 초광각 카메라; 고화질 카메라의 영상으로부터 객체를 인식하고, 제1 내지 제2 초광각 카메라의 영상으로부터 거리정보를 추출하여 객체를 추적하면서 충돌회피를 위한 위치정보를 분석하고, 제3 초광각 카메라의 영상을 주기적으로 저장하여 비행 정보의 오류발생시 회귀 제어하는 제어부; 및 제어부로부터 분석된 객체를 추적하면서 위치정보를 기반으로 비행체를 구동시키는 기체구동부;를 포함하는 것을 특징으로 한다.

Description

무인 비행체의 비행 제어장치 및 그 방법{APPARATUS FOR CONTROLLING FLIGHT OF UNMANNED AERIAL VEHICLE AND METHOD THEREOF}
본 발명은 무인 비행체의 비행 제어장치 및 그 방법에 관한 것으로서, 보다 상세하게는 무인 비행체에 탑재된 고화질 카메라와 복수개의 초광각 카메라를 통해 입력되는 영상의 거리정보를 이용하여 비행체의 상하좌우 위치정보를 분석하여 안정적인 위치제어를 수행할 뿐만 아니라 비행 정보의 오류발생시 회귀 제어할 수 있도록 하는 무인 비행체의 비행 제어장치 및 그 방법에 관한 것이다.
현재 여러 개의 구획이 존재하는 백화점, 아파트, 연구소, 밀집상가와 같은 건물 내에서는 문서전달과 소포전달 등이 순전히 인력에 의해 전달되고 있다. 백화점을 예로 들어보자, 백화점 내에서 손님이 물건을 주문할 때 재고가 없다면 창고로 가서 물건을 가져와야 한다.
한 매장당 점원이 많이 배치되지 않는 점을 고려한다면, 사실 물건의 배송을 전담하는 직원을 두는 방식이 가장 효율적일 것이다. 하지만 재고가 있는 곳이 여러 곳임에 따라 매장을 담당하는 직원이 해당 재고를 운반하는 역할까지를 전담하고 있다. 이렇게 사람이 물품을 운반하는 역할을 무인 시스템이 대체하는 국내외 시장의 현황을 보면, 아마존에서 무인비행체를 사용하여 주변 지역에 물품을 배송하는 시스템을 기획하고 있고, 도미노 피자도 무인비행체를 사용한 피자배달서비스를 계획하고 있다.
이와 같은 무인비행체의 경우 실외환경에서는 GPS를 사용하여 위치제어를 수행하고 있으며, 실내 환경에서는 바닥에 그러진 선을 주로 이용하고 있다.
또한, 천장형의 트래킹 라인을 센싱하여 라인 트레이싱하여 위치제어를 하는 등 다양한 방법에 의한 무인 비행체의 비행 제어가 요구되고 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제2016-0056671호(2016.05.20. 공개, 무인 드론 연동형 라인트레이싱 기반의 무인 비행체를 이용한 무인 운송 시스템 및 이를 이용한 무인 운송 서비스 방법)에 개시되어 있다.
본 발명은 상기와 같은 다양한 요구에 따라 안출된 것으로, 일 측면에 따른 본 발명의 목적은 무인 비행체에 탑재된 고화질 줌카메라와 복수개의 초광각 카메라를 통해 입력되는 영상의 거리정보를 이용하여 비행체의 상하좌우 위치정보를 분석하여 안정적인 위치제어를 수행할 수 있도록 하는 무인 비행체의 비행 제어장치 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 무인 비행체의 비행 제어장치는, 객체 추적을 위한 고화질 카메라; 영상을 중첩시켜 스테레오 정합으로 거리를 산출하기 위한 제1 내지 제2 초광각 카메라; 비행체의 후면 하단에 설치되는 제3 초광각 카메라; 고화질 카메라의 영상으로부터 객체를 인식하고, 제1 내지 제2 초광각 카메라의 영상으로부터 거리정보를 추출하여 객체를 추적하면서 충돌회피를 위한 위치정보를 분석하고, 제3 초광각 카메라의 영상을 주기적으로 저장하여 비행 정보의 오류발생시 회귀 제어하는 제어부; 및 제어부로부터 분석된 객체를 추적하면서 위치정보를 기반으로 비행체를 구동시키는 기체구동부;를 포함하는 것을 특징으로 한다.
본 발명에서 고화질 카메라는, 800만 화소의 줌카메라인 것을 특징으로 한다.
본 발명에서 제1 내지 제2 초광각 카메라는 1,600만 화소의 수평각 190도 이상의 광각 카메라인 것을 특징으로 한다.
본 발명에서 제1 내지 제2 초광각 카메라를 좌우로 일정 간격을 갖으며 상하단으로 설치되는 것을 특징으로 한다.
본 발명은 제1 내지 제2 초광각 카메라의 렌즈표면에 눈금자가 구비되는 것을 특징으로 한다.
본 발명은 고화질 카메라와 제1 내지 제3 초광각 카메라로부터 입력된 영상을 전송하는 영상전송부를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 무인 비행체의 비행 제어방법은, 제어부가 고화질 카메라와 제1 내지 제3 초광각 카메라로부터 촬영된 영상을 입력받는 단계; 제어부가 고화질 카메라로부터 추적하기 위한 객체를 추출하는 단계; 제어부가 제1 내지 제2 초광각 카메라로부터 거리정보를 추출하는 단계; 제어부가 객체를 추적하면서 충돌 회피를 위한 위치정보를 분석하고, 제3 초광각 카메라의 영상을 주기적으로 저장하면서 비행 정보의 오류가 발생할 경우 저장된 영상정보에 기초하여 회귀정보를 분석하는 단계; 및 제어부가 객체를 추적하기 위한 위치정보를 기반으로 기체구동부를 제어하여 비행 제어를 수행하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 무인 비행체의 비행 제어장치 및 그 방법은 무인 비행체에 탑재된 고화질 줌카메라와 복수개의 초광각 카메라를 통해 입력되는 영상의 거리정보를 이용하여 비행체의 상하좌우 위치정보를 분석하여 안정적인 위치제어를 수행할 뿐만 아니라 비행 정보의 오류발생시 회귀 제어할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어장치에서 초광각 카메라에 구비된 눈금자를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어장치의 카메라 설치상태를 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 무인 비행체의 비행 제어장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어장치에서 초광각 카메라에 구비된 눈금자를 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어장치의 카메라 설치상태를 나타낸 예시도이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어장치는, 고화질 카메라(10), 제1 내지 제2 초광각 카메라(20)(30), 제3 초광각 카메라(31), 제어부(40) 및 기체구동부(50) 및 영상전송부(60)를 포함한다.
고화질 카메라(10)는 객체 추적을 위해 촬영된 영상을 제어부(40)에 제공하는 카메라로써, 본 실시예에서는 800만 화소의 5배 줌카메라를 적용하여 실내에서 라인 트래킹을 위한 트래킹 라인을 추적할 수 있도록 확대와 축소하여 선명한 영상을 획득할 수 있도록 한다.
제1 내지 제2 초광각 카메라(20)(30)는 비행체의 상단과 하단에 좌우로 일정 간격으로 설치되어 영상을 중첩시켜 스테레오 정합으로 거리를 산출하기 위한 영상을 제어부(40)에 제공하는 카메라로써, 본 실시예에서는 1600만 화소의 수평각 190도 이상의 광각 카메라를 적용하여 사각지대를 제거하거나 최소화하도록 할 수 있다.
이는 제1 내지 제2 초광각 카메라(20)(30) 간의 설치 간격이나 위치를 고려하여 영정보가 겹치는 부분을 이용하여 깊이정보(Depth Map)를 이용하여 카메라 전면의 피사체의 3차원 정보를 취득하여 비행제어를 위한 정보로 사용할 수 있도록 한다.
깊이정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이정보를 획득하는 방법으로는, 스테레오 카메라(stereo camera)를 이용하는 방식, TOF(Time of Flight) 방식 및 구조광 방식 등이 있다.
스테레오 카메라를 이용하는 방식에 따르면, 두 카메라 간의 시차를 이용하여 깊이정보를 획득할 수 있다. TOF 방식에 따르면, 비행시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 깊이 정보를 획득할 수 있다. 구조광 방식에 따르면, IR(InfraRed) 구조광을 카메라에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 획득할 수 있다.
또한, 제1 내지 제2 초광각 카메라(20)(30)의 렌즈표면에는 도 2에 도시된 바와 같이 여러 장의 렌즈로 구성되는 렌즈모듈 중 어느 하나의 렌즈표면에 눈금자를 표시하여 눈금자의 간격과 크기를 비교하여 영상의 거리감을 산출할 수 있도록 한다.
제3 초광각 카메라(31)는 비행체의 후면 하단에 배치되어 비행체의 이동에 따른 후방의 영상을 촬영하여 제어부(40)에 제공함으로써, 비행체가 사용자의 비행범위를 벗어나거나 제1 및 제2 초광각 카메라(20)(30)의 이상으로 인한 영상인식 정보의 오류가 발생하는 경우 기 저장된 영상정보를 역으로 이용하여 출발점으로 되돌아오는 회귀기능을 수행할 수 있도록 한다.
제어부(40)는 고화질 카메라(10)의 영상으로부터 객체를 인식하고, 제1 내지 제2 초광각 카메라(20)(30)의 영상으로부터 거리정보를 추출하여 객체를 추적하면서 충돌회피를 위한 위치정보를 분석한다.
제어부(40)는 도 3에 도시된 바와 같이 고화질 카메라(10)로부터 입력되는 영상을 기반으로 객체를 추적하기 위해 줌 기능을 통해 확대와 축소를 하면서 선명한 영상을 기반으로 트래킹 라인을 추적할 수 있다.
또한, 제어부(40)는 도 3에 도시된 바와 같이 제1 내지 제2 초광각 카메라(20)(30)의 영상으로부터 중첩되는 영상에 대해 스테레오 정합으로 거리정보를 분석하여 비행 중 비행체의 상하좌우 위치정보를 분석하여 충돌 가능한 객체를 검출하여 회피하면서 주행할 수 있도록 위치제어를 수행할 수 있다.
한편, 제어부(40)는 제3 초광각 카메라(31)로부터 비행체의 후방 영상을 입력받아 주기적으로 저장하면서 비행체가 사용자의 비행 범위를 벗어나거나 제1 내지 제2 초광각 카메라(20)(30)의 이상으로 인한 영상인식 정보의 오류가 발생하는 경우 기 저장된 영상정보를 역으로 이용하여 출발 지점이나 특정 위치로 되돌아오는 회귀 기능을 수행하기 위한 회귀정보를 분석할 수 있다.
여기서, 스테레오 정합은 정합 요소에 따라 크게 특징 기반(feature-based)법과 영역 기반(area-based)법으로 정합할 수 있다.
특징 기반에 사용되는 정합 요소(matching primitive)는, 영 교차점, 경계선, 모서리, 마루, 골, 원추 곡선 등이 있다. 이들은 정합점이 정확하고 잡음에 강한 특징을 가지나, 정합되어지는 점들이 적으므로 전체 영상의 변위 값을 구하기 위해서는 폐색 모델링(occlusion modeling)과 변위연속성(disparity continuity) 등을 포함하는 어려운 내삽(interpolation) 과정을 필요로 하게 된다.
반면에, 영역 기반 법에서의 정합 요소는 밝기 정보의 변화가 평탄하거나 동일한 영역의 모양, 평균 밝기 및 면적 등을 이용한다. 이 정합 요소는 밝기 정보에 많이 의존하기 때문에 잡음에 약한 면이 있지만 영상의 전체 거리 정보를 얻을 수 있다는 장점이 있다.
최근에는 계층적인 정합법, 여러 가지 정합 요소를 이용하는 복합적인 정합법, 색 정보를 이용하는 정합법, 여러 장의 스테레오 영상을 이용하는 정합법, 그리고 위상을 이용하는 정합법, 신경회로망을 이용하는 방법, 유전자 알고리즘을 이용하는 방법 등이 제안되고 있다.
한편, 스테레오 정합을 수행하기 위해서는 스테레오 영상이 가지는 고유의 특성을 이용함으로써 좋은 결과를 얻을 수 있는데, 그 제한 사항으로 정합된 값은 서로 유사성을 갖게 되는 유사성의 성질과, 변위값이 급격하게 변하지 않게 되는 완만함의 성질 및 각 영상의 pixel은 동일한 3차원상의 지점을 가리키는 유일성의 성질을 이용할 수 있다.
기체구동부(50)는 제어부(40)로부터 분석된 객체를 추적하면서 위치정보를 기반으로 기체를 구동시킨다.
영상전송부(60)는 고화질 카메라(10)와 제1 내지 제2 초광각 카메라(20)(30)로부터 입력된 영상을 전송하여 모니터링 하거나 VR 기기와 연동하여 광각 영상 콘텐츠를 제공할 수 있다.
한편, 다중센서(70)는 비행체의 위치를 측정하기 위한 물리적인 값을 측정하기 위한 센서로써, GPS 모듈, 방위센서(Compass), 3축 가속도센서, 자이로스코프, 초음파센서 및 라이다(LIDAR) 중 어느 하나 이상을 포함할 수 있다.
따라서, 제어부(40)는 다중센서(70)로부터 입력된 위치정보와 제1 내지 제2 초광각 카메라(20)(30)의 영상으로부터 분석된 위치정보를 기초로 상화 보완하여 비행체의 비행 제어를 수행할 수도 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 무인 비행체의 비행 제어장치에 따르면, 무인 비행체에 탑재된 고화질 줌카메라와 복수개의 초광각 카메라를 통해 입력되는 영상의 거리정보를 이용하여 비행체의 상하좌우 위치정보를 분석하여 안정적인 위치제어를 수행할 뿐만 아니라 비행 정보의 오류발생시 회귀 제어할 수 있도록 한다.
도 4는 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어방법을 설명하기 위한 흐름도이다.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인 비행체의 비행 제어방법은, 제어부(40)가 고화질 카메라(10)와 제1 내지 제3 초광각 카메라(20)(30)(31)로부터 촬영된 영상을 입력받는다(S10).
S10 단계에서 고화질 카메라(10)와 제1 내지 제2 초광각 카메라(20)(30)로부터 촬영된 영상을 입력받으면서, 제어부(40)는 고화질 카메라(10)의 영상으로부터 객체를 추출하여 인식한다(S20).
여기서, 제어부(40)는 도 3에 도시된 바와 같이 고화질 카메라(10)로부터 입력되는 영상을 기반으로 객체를 추적하기 위해 줌 기능을 통해 확대와 축소를 하면서 선명한 영상을 기반으로 트래킹 라인을 추적할 수 있다.
S20 단계에서 객체를 추출하여 인식함과 더불어 제어부는, 제1 내지 제2 초광각 카메라(20)(30)의 영상으로부터 거리정보를 추출한다(S30).
여기서, 제어부(40)는 도 3에 도시된 바와 같이 제1 내지 제2 초광각 카메라(20)(30)의 영상으로부터 중첩되는 영상에 대해 스테레오 정합으로 거리정보를 분석한다.
또한, S30 단계에서 거리정보를 추출하면서, 제어부(40)는 비행 중 비행체의 상하좌우 위치정보를 분석하여 충돌 가능한 객체를 검출하여 회피하면서 주행할 수 있도록 위치제어를 수행할 수 있다(S40).
한편, 제어부(40)는 제3 초광각 카메라(31)로부터 비행체의 후방 영상을 입력받아 주기적으로 저장하면서 비행체가 사용자의 비행 범위를 벗어나거나 제1 내지 제2 초광각 카메라(20)(30)의 이상으로 인한 영상인식 정보의 오류가 발생하는 경우 기 저장된 영상정보를 역으로 이용하여 출발 지점이나 특정 위치로 되돌아오는 회귀 기능을 수행하기 위한 회귀정보를 분석할 수 있다.
S40 단계에서 객체를 추적하기 위한 위치정보를 기반으로 제어부(40)가 기체구동부(60)를 제어하여 비행 제어를 수행할 수 있다(S50).
한편, 제어부(40)는 고화질 카메라(10)와 제1 내지 제3 초광각 카메라(20)(30)(31)로부터 입력된 영상을 영상전송부(60)를 통해 전송하여 모니터링 하거나 VR 기기와 연동하여 광각 영상 콘텐츠를 제공할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 무인 비행체의 비행 제어방법에 따르면, 무인 비행체에 탑재된 고화질 줌카메라와 복수개의 초광각 카메라를 통해 입력되는 영상의 거리정보를 이용하여 비행체의 상하좌우 위치정보를 분석하여 안정적인 위치제어를 수행할 뿐만 아니라 비행 정보의 오류발생시 회귀 제어할 수 있도록 한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 고화질 카메라 20 : 제1 초광각 카메라
30 : 제2 초광각 카메라 31 : 제3 초광각 카메라
40 : 제어부 50 : 기체구동부
60 : 영상전송부 70 : 다중센서

Claims (7)

  1. 객체 추적을 위한 고화질 카메라;
    영상을 중첩시켜 스테레오 정합으로 거리를 산출하기 위한 제1 내지 제2 초광각 카메라;
    비행체의 후면 하단에 설치되는 제3 초광각 카메라;
    상기 고화질 카메라의 영상으로부터 객체를 인식하고, 상기 제1 내지 제2 초광각 카메라의 영상으로부터 거리정보를 추출하여 객체를 추적하면서 충돌회피를 위한 위치정보를 분석하고, 상기 제3 초광각 카메라의 영상을 주기적으로 저장하여 비행 정보의 오류발생시 회귀 제어하는 제어부; 및
    상기 제어부로부터 분석된 객체를 추적하면서 위치정보를 기반으로 상기 비행체를 구동시키는 기체구동부;를 포함하되,
    상기 제1 내지 제2 초광각 카메라는 1,600만 화소의 수평각 190도 이상의 광각 카메라이고,
    상기 제1 내지 제2 초광각 카메라를 좌우로 일정 간격을 가지며 상하단으로 설치되는 것을 특징으로 하는 무인 비행체의 비행 제어장치.
  2. 제 1항에 있어서, 상기 고화질 카메라는, 800만 화소의 줌카메라인 것을 특징으로 하는 무인 비행체의 비행 제어장치.
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서, 상기 제1 내지 제2 초광각 카메라의 렌즈표면에 눈금자가 구비되는 것을 특징으로 하는 무인 비행체의 비행 제어장치.
  6. 제 1항에 있어서, 상기 고화질 카메라와 상기 제1 내지 제3 초광각 카메라 로부터 입력된 영상을 전송하는 영상전송부를 더 포함하는 것을 특징으로 하는 무인 비행체의 비행 제어장치.
  7. 제어부가 고화질 카메라와 제1 내지 제3 초광각 카메라로부터 촬영된 영상을 입력받는 단계;
    상기 제어부가 상기 고화질 카메라로부터 추적하기 위한 객체를 추출하는 단계;
    상기 제어부가 상기 제1 내지 제2 초광각 카메라로부터 거리정보를 추출하는 단계;
    상기 제어부가 객체를 추적하면서 충돌 회피를 위한 위치정보를 분석하고, 상기 제3 초광각 카메라의 영상을 주기적으로 저장하면서 비행 정보의 오류가 발생할 경우 저장된 영상정보에 기초하여 회귀정보를 분석하는 단계; 및
    상기 제어부가 객체를 추적하기 위한 위치정보를 기반으로 기체구동부를 제어하여 비행 제어를 수행하는 단계;를 포함하되,
    상기 제1 내지 제2 초광각 카메라는 1,600만 화소의 수평각 190도 이상의 광각 카메라이고, 상기 제1 내지 제2 초광각 카메라를 좌우로 일정 간격을 가지며 상하단으로 설치되는 것을 특징으로 하는 무인 비행체의 비행 제어방법.
KR1020170180540A 2017-12-27 2017-12-27 무인 비행체의 비행 제어장치 및 그 방법 KR102354229B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170180540A KR102354229B1 (ko) 2017-12-27 2017-12-27 무인 비행체의 비행 제어장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170180540A KR102354229B1 (ko) 2017-12-27 2017-12-27 무인 비행체의 비행 제어장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190078828A KR20190078828A (ko) 2019-07-05
KR102354229B1 true KR102354229B1 (ko) 2022-01-21

Family

ID=67225229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180540A KR102354229B1 (ko) 2017-12-27 2017-12-27 무인 비행체의 비행 제어장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102354229B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180942A (zh) * 2020-10-19 2021-01-05 广东电网有限责任公司 一种输电线路自主仿线巡检系统、方法及终端设备
KR102388501B1 (ko) * 2020-10-23 2022-04-21 한국항공우주연구원 다수의 비행체들의 장기 체공을 위한 비행 제어신호 생성 방법
KR102288079B1 (ko) * 2020-11-30 2021-08-11 한국스마트드론 주식회사 무인 비행체를 이용한 모니터링 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101256926B1 (ko) * 2011-01-14 2013-04-19 (주)백경지앤씨 지반 내시경 시스템
WO2017096548A1 (en) * 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
KR101806453B1 (ko) * 2016-07-07 2017-12-07 한국항공대학교산학협력단 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101256926B1 (ko) * 2011-01-14 2013-04-19 (주)백경지앤씨 지반 내시경 시스템
WO2017096548A1 (en) * 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
KR101806453B1 (ko) * 2016-07-07 2017-12-07 한국항공대학교산학협력단 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법

Also Published As

Publication number Publication date
KR20190078828A (ko) 2019-07-05

Similar Documents

Publication Publication Date Title
US11927450B2 (en) Methods for finding the perimeter of a place using observed coordinates
JP7353747B2 (ja) 情報処理装置、システム、方法、およびプログラム
US10663590B2 (en) Device and method for merging lidar data
JP7341652B2 (ja) 情報処理装置、情報処理方法、プログラム、およびシステム
CN107272710B (zh) 一种基于视觉定位的医用物流机器人系统及其控制方法
US9928438B2 (en) High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
US20220036574A1 (en) System and method for obstacle avoidance
US9911226B2 (en) Method for cleaning or processing a room by means of an autonomously mobile device
US7321386B2 (en) Robust stereo-driven video-based surveillance
US8679260B2 (en) Methods and systems for movement of an automatic cleaning device using video signal
CN110275538A (zh) 智能巡航车导航方法及系统
US10459451B2 (en) Method for processing a floor
KR102354229B1 (ko) 무인 비행체의 비행 제어장치 및 그 방법
US11915192B2 (en) Systems, devices, and methods for scanning a shopping space
JP2017534836A (ja) ステレオ処理及び構造化光処理の組み合わせ
US20230266473A1 (en) Method and system for object detection for a mobile robot with time-of-flight camera
JP2004086779A (ja) 障害物検出装置及びその方法
US10565550B1 (en) Real time scanning of a retail store
US11561102B1 (en) Discovering and plotting the boundary of an enclosure
US20190325379A1 (en) Intelligent inventory management using cleaning machines
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
US11460855B1 (en) Systems and methods for sensor calibration
JP7160257B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220095871A1 (en) Systems and methods for enabling navigation in environments with dynamic objects
KR20190103524A (ko) 자율 주행 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant