KR20160045248A - 소형비행체를 위한 영상기반 호버링 제어장치 - Google Patents

소형비행체를 위한 영상기반 호버링 제어장치 Download PDF

Info

Publication number
KR20160045248A
KR20160045248A KR1020140140458A KR20140140458A KR20160045248A KR 20160045248 A KR20160045248 A KR 20160045248A KR 1020140140458 A KR1020140140458 A KR 1020140140458A KR 20140140458 A KR20140140458 A KR 20140140458A KR 20160045248 A KR20160045248 A KR 20160045248A
Authority
KR
South Korea
Prior art keywords
image
hovering
information
control device
unit
Prior art date
Application number
KR1020140140458A
Other languages
English (en)
Inventor
이감연
Original Assignee
주식회사 엠브레인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠브레인 filed Critical 주식회사 엠브레인
Priority to KR1020140140458A priority Critical patent/KR20160045248A/ko
Publication of KR20160045248A publication Critical patent/KR20160045248A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B64C2201/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 소형비행체를 위한 영상기반 호버링 제어장치에 관한 것으로서, 본 발명에 따른 소형비행체를 위한 영상기반 호버링 제어장치은, 배터리를 동작전원으로 사용하면서 위치정보 및 동작정보를 관성센서를 이용하여 감지하고 소형비행체의 호버링 동작을 제어하는 호버링 제어장치에 있어서, 상기 소형비행체에 장착되는 카메라; 상기 카메라에서 촬영한 영상을 실시간으로 획득하여 특정영역의 경계선을 추출하고 상기 경계선을 일정한 시간 주기로 비교분석하여 위치보정 및 호버링 동작을 제어하는 어플리케이션 프로세서부;를 구비한다.
따라서, 본 발명은, 지자기센서와 같은 절대센서를 구비하지 않더라도 소형비행체의 카메라가 촬영한 영상으로부터 추출되는 특정영역의 경계선을 실시간으로 트래킹하여 비행중인 소형비행체의 자세제어를 정밀하게 할 수 있을 뿐만 아니라 동시에 소형비행체에서 촬영한 영상을 휴대용 단말기에 스트림영상으로 제공할 수 있는 소형비행체를 위한 영상기반 호버링 제어장치를 제공하는 효과가 있다.

Description

소형비행체를 위한 영상기반 호버링 제어장치 {Hovering Control Device of image based for Small Air Vehicle}
본 발명은 소형비행체를 위한 영상기반 호버링 제어장치에 관한 것으로서, 더욱 상세하게는, 소형비행체의 카메라가 촬영한 영상으로부터 추출되는 특정영역의 경계선을 실시간으로 트래킹하여 비행중인 소형비행체의 자세제어를 정밀하게 할 수 있을 뿐만 아니라 동시에 소형비행체에서 촬영한 영상을 휴대용 단말기에 스트림영상으로 제공할 수 있는 소형비행체를 위한 영상기반 호버링 제어장치에 관한 것이다.
최근 들어 방송용 및 레저용으로 각광을 받는 무인항공기에 대한 수요가 늘어나면서 드론 산업이라는 말이 생겨날 정도로 무인항공기에 대한 관심이 증가하고 있으며, 특히, 미국정부에서 일부 민간에 사용을 허가하면서 향후 본격적인 산업용 무인항공기 시대가 열릴 것으로 예측되고 있다.
이러한 무인항공기에 관한 기술 중 취미나 완구용으로 제작이 가능한 멀티콥터와 같은 비행체의 경우에는 초기에 프로펠러날개의 크기가 대형으로 제작되면서 비용이 증가하여 사업성이 떨어질 뿐만 아니라 프로펠러를 위한 구동모터의 힘이 강력하여 사용자의 신체에 해를 입히는 안전사고가 발생하는 문제점이 있으며, 기체의 크기가 크고 대형모터를 사용하기 때문에 사용상 정밀하게 제어하는 것이 어려운 문제점이 있었다.
이와 같은 문제점을 해결하고자 근래 들어 대형으로 제작되던 멀티콥터를 소형화하여 제조비용을 낮추고 안전성을 높여 어린이용 장난감이나 레저용으로 사용할 수 있는 완구용으로 제작하기 위한 다양한 노력이 시도되고 있다.
한편, 종래의 멀티콥터의 경우에 호버링(Hovering)과 같은 정밀한 자세제어를 위해서는 가속도센서와 각속도센서와 같은 관성센서인 상대센서를 포함하여 지자기센서, 고도센서, 및 GPS와 같은 절대센서를 탑재하는 것을 필요로 하고 있다.
이것은, 비행체의 기체가 작아질수록 기체의 진동이나 제어용 모터의 동작 및 실외환경에서의 바람세기 등 외부환경에 영향을 많이 받게 되고 이러한 이유로 관성세선의 누적오차를 유발하게 되기 때문에 관성센서만으로는 일정한 위치에서 정지되어 있는 호버링과 같은 정밀제어가 용이하지 않기 때문이다.
그러나, 이와 같이 지자기센서, 고도센서, 및 GPS와 같은 절대센서를 탑재하는 경우에 소형비행체의 제조비용이 증가하여 상업화하기에는 어려운 문제점이 있었다.
뿐만 아니라, 멀티콥터의 크기를 줄여 소형화 하는 경우에 절대센서인 지자기센서 사이의 간격이 지구 자기에 의해 영향을 받지 않기 위한 최소한의 거리를 만족시키기 어렵기 때문에 소형비행체의 자세를 제어하기 쉽지 않은 문제점이 있었다.
따라서, 무인항공기의 크기를 줄여 제작되는 소형비행체의 경우에 지자기센서와 같은 절대센서를 구비하지 않더라도 호버링과 같은 정밀한 자세제어가 가능하며, 그로 인해 제조비용을 절감하면서 안전성을 향상 시킬 수 있는 현실적이고도 적용이 가능한 소형비행체에 관한 기술이 절실히 요구되는 실정이다.
공개특허공보 KR 10-2013-0081260호 2013.07.16
따라서, 본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은, 지자기센서와 같은 절대센서를 구비하지 않더라도 소형비행체의 카메라가 촬영한 영상으로부터 추출되는 특정영역의 경계선을 실시간으로 트래킹하여 비행중인 소형비행체의 자세제어를 정밀하게 할 수 있을 뿐만 아니라 동시에 소형비행체에서 촬영한 영상을 휴대용 단말기에 스트림영상으로 제공할 수 있는 소형비행체를 위한 영상기반 호버링 제어장치를 제공하는데 목적이 있다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 소형비행체를 위한 영상기반 호버링 제어장치는, 배터리를 동작전원으로 사용하면서 위치정보 및 동작정보를 관성센서를 이용하여 감지하고 소형비행체의 호버링 동작을 제어하는 호버링 제어장치에 있어서, 상기 소형비행체에 장착되는 카메라; 상기 카메라에서 촬영한 영상을 실시간으로 획득하여 특정영역의 경계선을 추출하고 상기 경계선을 일정한 시간 주기로 비교분석하여 위치보정 및 호버링 동작을 제어하는 어플리케이션 프로세서부;를 구비할 수 있다.
또한, 본 발명의 실시예에서, 상기 카메라에서 촬영한 아날로그 영상신호를 변환하여 상기 어플리케이션 프로세서부에서 다양한 영상처리가 가능한 디지털 영상신호를 생성하는 이미지센서부;를 구비할 수 있다.
또한, 본 발명의 실시예에서, 상기 이미지센서부에서 생성된 디지털 영상신호를 이용하여 상기 어플리케이션 프로세서부에서 다양한 영상처리를 수행하는 경우에 상기 영상처리가 완료된 디지털영상신호에 대응되는 영상정보를 저장하기 위한 메모리를 구비할 수 있다.
또한, 본 발명의 실시예에서, 상기 어플리케이션 프로세서부에 의해 영상처리가 완료된 디지털영상신호에 대응되는 영상정보를 외부기기로 송신하고 상기 외부기기로부터 제어신호를 수신하기 위한 와이파이 통신모듈을 구비할 수 있다.
여기서, 상기 어플리케이션 프로세서부는, 이미지센서부에서 생성된 디지털 영상신호를 이용하여 일정한 시간 주기로 각각의 특정영역에 대응되는 경계선을 추출하는 에지추출부와; 상기 각 특정영역에 대응되는 경계선 중 기준영역에 해당하는 경계선을 관심영역으로 선택하여 ROI정보를 생성하는 ROI정보생성부; 상기 ROI정보생성부에서 생성된 ROI정보를 일정한 주기로 비교분석하는 트래킹부; 및 상기 트래킹부를 통해 분석된 ROI정보를 관성센서의 상태정보와 결합하여 소형비행체의 위치보정 및 호버링제어를 위한 호버링제어신호를 생성하는 IMU제어부;를 구비할 수 있다.
상기 ROI정보생성부는, 상기 각 특정영역에 대응되는 경계선 중 에지성이 가장 강한 부분을 자동으로 선택하여 기준영역에 해당하며 상기 트래킹부에 의해 일정한 주기로 비교분석되는 ROI정보로 지정하는 알고리즘으로 구현될 수 있다.
상기 트래킹부는, 상기 ROI정보에 해당하는 기준영역을 주기적으로 인식하고 추적하는 알고리즘을 구현하여 상기 호버링제어신호를 생성하는데 필요한 위치보정 및 호버링제어정보를 구할 수 있다.
또한, 상기 어플리케이션 프로세서부는, 이미지센서부에서 생성된 디지털 영상신호를 가공하여 카메라에서 촬영한 영상정보에 대응되는 디지털동영상정보를 생성하는 영상처리부와; 상기 영상처리부에서 생성된 디지털동영상정보를 디지털동영상 파일포맷으로 압축하여 압축데이터를 생성하는 엔코더기능을 갖는 스트리밍서버; 및 상기 스트리밍서버에서 생성된 압축데이터를 외부기기로 전송하기 위해 와이파이 통신모듈을 제어하는 통신모듈 제어부;를 구비할 수 있다.
한편, 상기 어플리케이션 프로세서부는, 메인 CPU를 웨어러블 디바이스용 CPU로 구현하여 최대전력소비를 줄일 수 있다.
또한, 상기 스트리밍서버는, 외부기기의 디스플레이에서 디지털동영상을 확인하며 비행조작이 가능하도록 외부기기의 디스플레이 장치 해상도에 대응되게 인코딩 될 수 있다.
이상에서 설명한 바와 같이, 본 발명은, 소형비행체의 카메라가 촬영한 영상으로부터 추출되는 특정영역의 경계선을 기준점으로 삼고 상기 기준점의 방향 및 위치가 항상 동일위치가 되도록 실시간으로 트래킹하여 비행중인 소형비행체의 위치제어 뿐만 아니라 자세제어를 정밀하게 할 수 있는 효과가 있다.
또한, 본 발명은, 지자기센서와 같은 절대센서를 구비하지 않더라도 상대센서인 관성센서만 가지고도 호버링과 같은 자세제어를 할 수 있어 소형비행체의 제작단가를 절감할 수 있으며 그로 인해 사업성을 높이는 효과가 있다.
또한, 본 발명은, 휴대용 단말기와 제어신호를 송수신하기 위한 와이파이 통신모듈을 구비하여 스마트폰과 같은 휴대용 단말기를 이용하여 손쉽게 제어할 수 있는 효과가 있다.
또한, 본 발명은, 휴대용 단말기를 포함한 다양한 외부기기의 디스플레이 장치에서 소형비행체에서 촬영한 영상을 표시할 수 있도록 통신모듈과 스트리밍서버를 구비하여 스트리밍서비스를 제공할 수 있다.
게다가, 본 발명은, 메인 CPU를 웨어러블 디바이스용 CPU로 구현하여 최대전력소비를 줄일 수 있어 비행체를 동작시키기 위한 동작전원용 배터리의 제한된 용량을 효율적으로 사용할 수 있는 효과가 있다.
도 1 은 본 발명의 실시예에 따른 소형비행체를 위한 영상기반 호버링 제어장치를 설명하기 위한 개념도
도 2는 본 발명의 실시예에 따른 소형비행체를 위한 영상기반 호버링 제어장치의 개략적인 구성을 나타내는 블럭도
도 3은 도 2에 도시된 영상기반 호버링 제어장치를 구성하는 어플리케이션 프로세서부의 세부구성도
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예들을 상세히 설명한다.
도 1 은 본 발명의 실시예에 따른 소형비행체를 위한 영상기반 호버링 제어장치를 설명하기 위한 개념도이다.
도면에 도시된 바와 같이, 본 발명에 따른 소형비행체를 위한 영상기반 호버링 제어장치는, 소형비행체의 카메라가 촬영한 영상으로부터 추출되는 특정영역의 경계선을 실시간으로 트래킹하여 비행중인 소형비행체의 자세제어를 정밀하게 할 수 있다.
이때, 본 발명에 따른 명세서에 기재된 관심영역은 영상처리에 필요한 영역을 가리키는 것으로 관심영역에 해당하는 영역의 데이터를 ROI정보(관심영역데이터, Rigion of interest)라 한다.
관심영역은 영상전체에 영상처리를 적용하지 않고 필요한 부분의 일부영역에만 영상처리를 해도 원하는 결과를 얻을 수 있을 경우에 사용하며, 이와 같이 영상의 전체영역을 처리하는 대신 부분영역만 처리하는 경우에 영상처리에 걸리는 시간을 단축할 수 있다.
본 발명에 따른 명세서에서, 관심영역은 주로 디지털 영상신호를 이용하여 이미지센서부에서 각각의 특정영역에 대응되는 경계선을 추출하여 생성되는 경계선 중 기준영역에 해당하는 경계선 영역에 해당하는 것으로서, 본 발명에서는 XY좌표범위를 사용하여 직사각형 또는 어느 한 지점으로 한정하여 사용할 수 있으며 단순히 프레임의 좌표범위만을 가리키는 것이 아니라 필요에 따라 각종 정보를 추가로 추출하여 사용할 수 있다.
도 2 내지 도 3을 참조하여 본 발명의 실시예에 따른 소형비행체를 위한 영상기반 호버링 제어장치를 더욱 상세하게 설명하면 다음과 같다.
도 2는 본 발명의 실시예에 따른 소형비행체를 위한 영상기반 호버링 제어장치의 개략적인 구성을 나타내는 블럭도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 소형비행체를 위한 영상기반 호버링 제어장치는, 카메라(10), 어플리케이션 프로세서부(20), 이미지센서부(30), 메모리(40), 와이파이 통신모듈(50), 관성센서부(60), 및 배터리부(70)를 포함할 수 있다.
보다 상세하게는, 상기 카메라(10)는 소형비행체에 장착되어 특정지점을 촬영하는 촬영장치이며, 상기 어플리케이션 프로세서부(20)는 상기 카메라(10)에서 촬영한 영상을 실시간으로 획득하여 특정영역의 경계선을 추출하고 상기 경계선을 일정한 시간 주기로 비교분석하여 위치보정 및 호버링 동작을 제어할 수 있다.
또한, 상기 이미지센서부(30)는, 상기 카메라(10)에서 촬영한 아날로그 영상신호를 변환하여 상기 어플리케이션 프로세서부(20)에서 다양한 영상처리가 가능한 디지털 영상신호를 생성할 수 있다.
상기 메모리(40)는, 상기 이미지센서부(30)에서 생성된 디지털 영상신호를 이용하여 상기 어플리케이션 프로세서부(20)에서 다양한 영상처리를 수행하는 경우에 상기 영상처리가 완료된 디지털영상신호에 대응되는 영상정보를 저장할 수 있다.
상기 와이파이 통신모듈(50)은, 상기 어플리케이션 프로세서부(20)에 의해 영상처리가 완료된 디지털영상신호에 대응되는 영상정보를 외부기기로 송신하고 상기 외부기기로부터 제어신호를 수신할 수 있다.
상기 관성센서부(60)는, 3축 가속도 센서와 3축 각속도 센서와 같은 관성센서를 이용하여 위치정보 및 동작정보를 감지하고 후술하는 상기 어플리케이션 프로세서부(20)에서 소형비행체의 호버링 동작을 제어하기 위한 제어신호를 생성하는데 필요한 상태정보를 생성할 수 있다.
한편, 본 발명의 실시예에 따른 호버링 제어장치는, 도면에 도시된 바와 같이, 배터리를 동작전원으로 사용할 수 있다.
도 3은 도 2에 도시된 영상기반 호버링 제어장치를 구성하는 어플리케이션 프로세서부의 세부구성도이다.
도면을 참조하여 도 2에 도시된 어플리케이션 프로세서부를 더욱 상세하게 설명하면 다음과 같다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 영상기반 호버링 제어장치를 구성하는 어플리케이션 프로세서부는, 에지추출부(21), ROI정보생성부(22), 트래킹부(23), IMU제어부(24), 영상처리부(25), 스트리밍서버(26), 및 통신모듈제어부(27)를 구비할 수 있다.
보다 상세하게는, 상기 에지추출부(21)는, 이미지센서부(30)에서 생성된 디지털 영상신호를 이용하여 일정한 시간 주기로 각각의 특정영역에 대응되는 경계선을 추출할 수 있다.
또한, 상기 ROI정보생성부(22)는, 상기 각 특정영역에 대응되는 경계선 중 기준영역에 해당하는 경계선을 관심영역으로 선택하여 ROI정보를 생성할 수 있다.
여기서, 상기 ROI정보생성부(22)는, 상기 각 특정영역에 대응되는 경계선 중 에지성이 가장 강한 부분을 자동으로 선택하여 기준영역에 해당하며 후술하는 트래킹부(23)에 의해 일정한 주기로 비교분석되는 ROI정보로 지정하는 알고리즘으로 구현될 수 있다.
상기 트래킹부(23)는, 상기 ROI정보생성부(22)에서 생성된 ROI정보를 일정한 주기로 비교분석할 수 있다.
이때, 상기 트래킹부(23)는, 상기 ROI정보에 해당하는 기준영역을 주기적으로 인식하고 추적하는 알고리즘을 구현하여 상기 호버링제어신호를 생성하는데 필요한 위치보정 및 호버링제어정보를 구할 수 있다.
상기 IMU제어부(24)는, 상기 트래킹부(23)를 통해 분석된 ROI정보를 관성센수부(60)를 구성하는 관성센서(3축 가속도 센서, 3축 각속도 센서)의 상태정보와 결합하여 소형비행체의 위치보정 및 호버링제어를 위한 호버링제어신호를 생성할 수 있다.
상기 영상처리부(25)는, 이미지센서부(30)에서 생성된 디지털 영상신호를 가공하여 카메라에서 촬영한 영상정보에 대응되는 디지털동영상정보를 생성할 수 있다.
상기 스트리밍서버(26)는, 상기 영상처리부(25)에서 생성된 디지털동영상정보를 디지털동영상 파일포맷으로 압축하여 압축데이터를 생성하는 엔코더기능을 가질 수 있다.
여기서, 상기 스트리밍서버(26)는, 외부기기의 디스플레이에서 디지털동영상을 확인하며 비행조작이 가능하도록 외부기기의 디스플레이 장치 해상도에 대응되게 인코딩 될 수 있다.
상기 통신모듈 제어부(27)는, 상기 스트리밍서버(26)에서 생성된 압축데이터를 외부기기로 전송하기 위해 와이파이 통신모듈(50)을 제어할 수 있다.
한편, 본 발명의 실시예에서, 상기 어플리케이션 프로세서부(20)는, 메인 CPU를 웨어러블 디바이스용 CPU로 구현하여 최대전력소비를 줄일 수 있다.
상기와 같이, 본 발명은, 소형비행체의 카메라가 촬영한 영상으로부터 추출되는 특정영역의 경계선을 기준점으로 삼고 상기 기준점의 방향 및 위치가 항상 동일위치가 되도록 실시간으로 트래킹하여 비행중인 소형비행체의 위치제어 뿐만 아니라 자세제어를 정밀하게 할 수 있는 효과가 있다.
또한, 본 발명은, 지자기센서와 같은 절대센서를 구비하지 않더라도 상대센서인 관성센서만 가지고도 호버링과 같은 자세제어를 할 수 있어 소형비행체의 제작단가를 절감할 수 있으며 그로 인해 사업성을 높이는 효과가 있다.
또한, 본 발명은, 휴대용 단말기와 제어신호를 송수신하기 위한 와이파이 통신모듈을 구비하여 스마트폰과 같은 휴대용 단말기를 이용하여 손쉽게 제어할 수 있는 효과가 있다.
또한, 본 발명은, 휴대용 단말기를 포함한 다양한 외부기기의 디스플레이 장치에서 소형비행체에서 촬영한 영상을 표시할 수 있도록 통신모듈과 스트리밍서버를 구비하여 스트리밍서비스를 제공할 수 있다.
게다가, 본 발명은, 메인 CPU를 웨어러블 디바이스용 CPU로 구현하여 최대전력소비를 줄일 수 있어 비행체를 동작시키기 위한 동작전원용 배터리의 제하된 용량을 효율적으로 사용할 수 있는 효과가 있다.
지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐이며, 한정적인 것이 아님을 분명히 하고, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.
10 : 카메라 20 : 어플리케이션 프로세서부
21 : 에지추출부 22 : ROI정보생성부
23 : 트래킹부 24 : IMU제어부
25 : 영상처리부 26 : 스트리밍서버
27 : 통신모듈제어부 30 : 이미지센서부
40 : 메모리 50 : 와이파이 통신모듈
60 : 관성센서부 70 : 배터리부

Claims (10)

  1. 배터리를 동작전원으로 사용하면서 위치정보 및 동작정보를 관성센서를 이용하여 감지하고 소형비행체의 호버링 동작을 제어하는 호버링 제어장치에 있어서,
    상기 소형비행체에 장착되는 카메라;
    상기 카메라에서 촬영한 영상을 실시간으로 획득하여 특정영역의 경계선을 추출하고 상기 경계선을 일정한 시간 주기로 비교분석하여 위치보정 및 호버링 동작을 제어하는 어플리케이션 프로세서부;를 구비하는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  2. 제 1 항에 있어서,
    상기 카메라에서 촬영한 아날로그 영상신호를 변환하여 상기 어플리케이션 프로세서부에서 다양한 영상처리가 가능한 디지털 영상신호를 생성하는 이미지센서부;를 구비하는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  3. 제 2 항에 있어서,
    상기 이미지센서부에서 생성된 디지털 영상신호를 이용하여 상기 어플리케이션 프로세서부에서 다양한 영상처리를 수행하는 경우에 상기 영상처리가 완료된 디지털영상신호에 대응되는 영상정보를 저장하기 위한 메모리를 구비하는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  4. 제 3 항에 있어서,
    상기 어플리케이션 프로세서부에 의해 영상처리가 완료된 디지털영상신호에 대응되는 영상정보를 외부기기로 송신하고 상기 외부기기로부터 제어신호를 수신하기 위한 와이파이 통신모듈을 구비하는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  5. 제 4 항에 있어서, 상기 어플리케이션 프로세서부는,
    이미지센서부에서 생성된 디지털 영상신호를 이용하여 일정한 시간 주기로 각각의 특정영역에 대응되는 경계선을 추출하는 에지추출부와;
    상기 각 특정영역에 대응되는 경계선 중 기준영역에 해당하는 경계선을 관심영역으로 선택하여 ROI정보를 생성하는 ROI정보생성부;
    상기 ROI정보생성부에서 생성된 ROI정보를 일정한 주기로 비교분석하는 트래킹부; 및
    상기 트래킹부를 통해 분석된 ROI정보를 관성센서의 상태정보와 결합하여 소형비행체의 위치보정 및 호버링제어를 위한 호버링제어신호를 생성하는 IMU제어부;를 구비하는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  6. 제 5 항에 있어서, 상기 ROI정보생성부는,
    상기 각 특정영역에 대응되는 경계선 중 에지성이 가장 강한 부분을 자동으로 선택하여 기준영역에 해당하며 상기 트래킹부에 의해 일정한 주기로 비교분석되는 ROI정보로 지정하는 알고리즘으로 구현되는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  7. 제 6 항에 있어서, 상기 트래킹부는,
    상기 ROI정보에 해당하는 기준영역을 주기적으로 인식하고 추적하는 알고리즘을 구현하여 상기 호버링제어신호를 생성하는데 필요한 위치보정 및 호버링제어정보를 구하는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  8. 제 5 항에 있어서, 상기 어플리케이션 프로세서부는,
    이미지센서부에서 생성된 디지털 영상신호를 가공하여 카메라에서 촬영한 영상정보에 대응되는 디지털동영상정보를 생성하는 영상처리부와;
    상기 영상처리부에서 생성된 디지털동영상정보를 디지털동영상 파일포맷으로 압축하여 압축데이터를 생성하는 엔코더기능을 갖는 스트리밍서버; 및
    상기 스트리밍서버에서 생성된 압축데이터를 외부기기로 전송하기 위해 와이파이 통신모듈을 제어하는 통신모듈 제어부;를 더 구비하는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  9. 제 8 항에 있어서, 상기 어플리케이션 프로세서부는,
    메인 CPU를 웨어러블 디바이스용 CPU로 구현하여 최대전력소비를 줄일 수 있는 것을 특징으로 하는 소형비행체를 위한 영상기반 호버링 제어장치
  10. 제 8 항에 있어서, 상기 스트리밍서버는,
    외부기기의 디스플레이에서 디지털동영상을 확인하며 비행조작이 가능하도록 외부기기의 디스플레이 장치 해상도에 대응되게 인코딩 되는 것을 특징으로 소형비행체를 위한 영상기반 호버링 제어장치
KR1020140140458A 2014-10-17 2014-10-17 소형비행체를 위한 영상기반 호버링 제어장치 KR20160045248A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140140458A KR20160045248A (ko) 2014-10-17 2014-10-17 소형비행체를 위한 영상기반 호버링 제어장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140140458A KR20160045248A (ko) 2014-10-17 2014-10-17 소형비행체를 위한 영상기반 호버링 제어장치

Publications (1)

Publication Number Publication Date
KR20160045248A true KR20160045248A (ko) 2016-04-27

Family

ID=55914567

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140140458A KR20160045248A (ko) 2014-10-17 2014-10-17 소형비행체를 위한 영상기반 호버링 제어장치

Country Status (1)

Country Link
KR (1) KR20160045248A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038441A1 (en) * 2016-08-23 2018-03-01 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130081260A (ko) 2012-01-06 2013-07-16 엘아이지넥스원 주식회사 무인 비행체 제어 장치 및 이를 구비하는 무인 비행체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130081260A (ko) 2012-01-06 2013-07-16 엘아이지넥스원 주식회사 무인 비행체 제어 장치 및 이를 구비하는 무인 비행체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038441A1 (en) * 2016-08-23 2018-03-01 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
KR20180022020A (ko) * 2016-08-23 2018-03-06 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10054946B2 (en) 2016-08-23 2018-08-21 Samsung Electronics Co., Ltd Electronic device and operating method thereof

Similar Documents

Publication Publication Date Title
US11649052B2 (en) System and method for providing autonomous photography and videography
CN110692027B (zh) 用于提供无人机应用的易用的释放和自动定位的系统和方法
US11748898B2 (en) Methods and system for infrared tracking
EP3397554B1 (en) System and method for utilization of multiple-camera network to capture static and/or motion scenes
CN107168352B (zh) 目标追踪系统及方法
EP3494443B1 (en) Systems and methods for controlling an image captured by an imaging device
US10901437B2 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
CN108769531B (zh) 控制拍摄装置的拍摄角度的方法、控制装置及遥控器
US10789722B2 (en) Processing images to obtain environmental information
US11348265B1 (en) Computing a point cloud from stitched images
US20170192430A1 (en) Unmanned aerial vehicles
CN109032184B (zh) 飞行器的飞行控制方法、装置、终端设备及飞行控制系统
CN111194433A (zh) 用于构图和捕捉图像的方法和系统
CN109949381B (zh) 图像处理方法、装置、图像处理芯片、摄像组件及飞行器
US20210181769A1 (en) Movable platform control method, movable platform, terminal device, and system
US11428362B2 (en) Two-axis gimbal system for supporting a camera
US20200089259A1 (en) Course correction method and device, and aircraft
KR20160045248A (ko) 소형비행체를 위한 영상기반 호버링 제어장치
US20220309699A1 (en) Information processing apparatus, information processing method, program, and information processing system
WO2019120214A1 (en) Two-axis gimbal system
WO2020143029A1 (en) Two-axis gimbal system for supporting a camera
CN110720055A (zh) 一种定位方法、设备、飞行器及计算机可读存储介质
CN113212777A (zh) 载人飞行器体感控制方法、系统及相关设备
JP2018128804A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2016220005A (ja) 撮像装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Withdrawal due to no request for examination