KR20220001472A - 드론 위치 판단 장치 및 방법 - Google Patents

드론 위치 판단 장치 및 방법 Download PDF

Info

Publication number
KR20220001472A
KR20220001472A KR1020210079427A KR20210079427A KR20220001472A KR 20220001472 A KR20220001472 A KR 20220001472A KR 1020210079427 A KR1020210079427 A KR 1020210079427A KR 20210079427 A KR20210079427 A KR 20210079427A KR 20220001472 A KR20220001472 A KR 20220001472A
Authority
KR
South Korea
Prior art keywords
drone
interest
region
specific object
image
Prior art date
Application number
KR1020210079427A
Other languages
English (en)
Other versions
KR102553469B1 (ko
Inventor
김동철
Original Assignee
김동철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김동철 filed Critical 김동철
Publication of KR20220001472A publication Critical patent/KR20220001472A/ko
Application granted granted Critical
Publication of KR102553469B1 publication Critical patent/KR102553469B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/02—Arrangements or adaptations of signal or lighting devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • B64C2201/12—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

본 개시는 드론 위치 판단 장치 및 방법에 관한 것으로서, 특히, 이미지 내에 관심 영역을 설정하고, 관심 영역 내에 픽셀의 색상 정보에 기초하여 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 획득함으로써, 관심 영역 내에 특정 오브젝트의 존재 여부를 판단하여 보다 간편하고 정확하게 드론의 위치를 판단할 수 있는 드론 위치 판단 장치 및 방법을 제공할 수 있다. 따라서, 드론 국가 자격증 취득을 위해 라바콘의 위치로 호버링 시키는 동작을 도와주는 드론 위치 판단 장치 및 방법을 제공할 수 있다.

Description

드론 위치 판단 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING POSITION OF A DRONE}
본 실시예들은 드론 위치 판단 장치 및 방법에 관한 것이다.
드론이란 UAV(Unmanned Aerial Vehicle), 무인 비행선, 무인 비행체 등 조종사가 비행체에 직접 탑승하지 않고 지상에서 원격조종(Remote piloted), 사전 프로그램된 경로에 따라 자동(auto-piloted) 또는 반자동(Semi-auto-piloted)형식으로 자율비행하거나 인공지능 탑재하여 자체 환경판단에 따라 임무를 수행하는 비행체와 지상통제장비(GCS: Ground Control Station/System) 및 통신장비(Data link) 지원장비(Support Equipments) 등의 전체 시스템을 통칭한다.
종래에는 드론이 주로 군사용 목적으로 이용되었지만, 최근 들어 상업적 활용가치가 부각되면서 여러 업체들이 드론 사업에 뛰어들고 있다.
그러나, 이러한 드론은 외부 환경의 변화와 운전 조작의 미숙으로 인해 추락할 우려가 있으며, 추락 시 여러 고가의 부품들이 파손되어 경제적 피해가 발생되거나 대인 및 대물에 대한 2차적인 안전 사고가 동반될 수 있는 피해의 위험성 또한 심각하게 대두되고 있다. 이러한 위험성에도 불구하고 드론은 이미 시장에 널리 확대 보급되고 있는 실정으로, 드론 전문인의 양성을 위해 현재 드론 자격 시험이 운용되고 있으며 미숙련자의 경우 조종 능력의 향상을 위한 연습이 필요하고, 이에 발맞추어 조종 능력을 도와 줄 수 있는 다양한 방법이 필요한 실정이다.
이러한 배경에서, 본 실시예들은 특정 오브젝트를 이용하여 드론의 위치를 판단하는 드론 위치 판단 장치 및 방법을 제안하고자 한다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 실시예들은 드론의 하측에 설치되는 카메라를 통해 드론의 수직 아래 방향의 이미지를 획득하는 영상 획득부, 이미지 내에 일정 크기의 관심 영역을 설정하고, 관심 영역 내에 특정 오브젝트가 존재하는지 여부를 판단하며, 특정 오브젝트의 존재 여부에 따라 알림 신호를 생성하는 제어부, 알림 신호를 출력 모듈로 전달하는 송신부를 포함하되, 제어부는 이미지를 구성하는 각 픽셀의 색상 정보에 기초하여 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 특정 오브젝트의 존재 여부를 판단하는 것을 특징으로 하는 드론 위치 판단 장치를 제공할 수 있다.
다른 측면에서, 본 실시예들은 카메라, 레이저 센서 및 초음파 센서 중 적어도 하나를 포함하는 센서 모듈, 센서 모듈로부터 획득한 이미지 내에 일정 크기의 관심 영역을 설정하고, 관심 영역 내에 이미지를 구성하는 픽셀 중 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 특정 오브젝트의 존재 여부를 판단하고, 판단 결과에 따라 알림 신호를 생성하여 송신하는 드론 위치 판단 장치 및 수신된 알림 신호에 의해 제어되는 발광 소자, 진동 소자 및 음향 소자 중 적어도 하나를 포함하는 출력 모듈이 드론에 장착되는 것을 특징으로 하는 드론 위치 판단 시스템을 제공할 수 있다.
또 다른 측면에서, 본 실시예들은 드론의 하측에 설치되는 카메라를 통해 드론의 수직 아래 방향의 이미지를 획득하는 영상 획득 단계, 이미지 내에 일정 크기의 관심 영역을 설정하고, 관심 영역 내에 특정 오브젝트가 존재하는지 여부를 판단하며, 특정 오브젝트의 존재 여부에 따라 알림 신호를 생성하는 알림 생성 단계 및 알림 신호를 출력 모듈로 전달하는 알림 송신 단계를 포함하되, 알림 생성 단계는 이미지를 구성하는 각 픽셀의 색상 정보에 기초하여 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 특정 오브젝트의 존재 여부를 판단하는 것을 특징으로 하는 드론 위치 판단 방법을 제공할 수 있다.
본 실시예들에 의하면, 특정 오브젝트를 이용하여 드론의 위치를 판단하는 드론 위치 판단 장치 및 방법을 제공할 수 있다.
도 1은 본 개시가 적용될 수 있는 시스템 구성을 예시적으로 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 위치 판단 장치의 구성을 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 관심 영역을 포함하는 이미지을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 가변적인 관심 영역을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 방향 정보를 기초로 알림 신호의 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 높이 정보를 기초로 알림 신호의 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 관심 영역에서 특정 오브젝트의 존재 여부를 판단하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 관심 영역에서 복수의 특정 오브젝트가 존재하는 경우를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 드론 위치 판단 방법에 대한 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 기울기 정보를 기초로 관심 영역을 이동시키는 동작을 설명하기 위한 도면이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.
구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다.
구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
한편, 구성 요소에 대한 수치 또는 그 대응 정보(예: 레벨 등)가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인(예: 공정상의 요인, 내부 또는 외부 충격, 노이즈 등)에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다.
또한, 본 발명에 실시 예에 따른 드론 위치 판단 장치 및 방법에서 사용되는 용어에 대해 설명한다.
본 명세서에서의 드론은 조종자가 외부에 위치하고, 조종자의 조종신호에 맞추어 동작하는 비행체를 의미하는 것으로, 무인비행체, 무인비행기 등 다양한 용어를 포괄하는 의미이다. 따라서, 본 명세서에서의 드론은 크기, 속도 등에 따라 제한 해석되지 않으며, 전술한 의미를 만족하는 객체는 모두 해당될 수 있다.
본 명세서에서의 특정 오브젝트라 함은 본 개시에 따라 드론이 수신하는 이미지 정보에 기초하여 존재 여부를 검출하기 위한 대상체를 의미한다. 예를 들어, 특정 오브젝트는 라바콘일 수 있다. 예를 들어, 라바콘은 원뿔 형상으로 이루어지고, 외면에는 주황색 바탕에 띠 형태의 반사시트가 부착되어 있다. 이러한 라바콘은 드론 국가 자격 실기 시험에서 조종 능력을 평가하기 위한 기준 등의 목적으로 사용되고 있다. 단, 이는 특정 오브젝트의 예를 든 것으로, 본 개시에 따라 드론이 존재 여부를 검출하는 다양한 대상이 특정 오브젝트에 해당될 수 있다.
본 명세서에서의 호버링(hovering)은 드론을 일정한 고도로 유지한 채 움직이지 않는 상태를 의미하는 것으로 공중 정지라고도 한다. 예를 들어 드론 실기 시험자는 원격 조종기를 통해 평가 대상 드론을 이륙시키고, 상기 라바콘의 위치로 호버링 시키는 동작을 통해 평가 받을 수 있다.
본 명세서에서의 픽셀(pixel)은 이미지, 디스플레이를 구성하고 있는 최소 단위로, 실제로는 매우 작은 사각형의 점을 의미할 수 있다. 따라서 각각의 픽셀은 해당 위치에서 색상 정보를 표현하는 방식으로 이미지를 구성하고 있다. 또한, 해상도는 이미지나 디스플레이를 구성하는 최소 단위인 픽셀의 총량 또는 픽셀의 밀도를 의미할 수 있다.
도 1은 본 개시가 적용될 수 있는 시스템 구성을 예시적으로 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 드론 위치 판단 시스템(100)은, 카메라, 레이저 센서 및 초음파 센서 중 적어도 하나를 포함하는 센서 모듈(110)과 센서 모듈(110)로부터 획득한 이미지 내에 일정 크기의 관심 영역을 설정하고, 관심 영역 내에 이미지를 구성하는 픽셀 중 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 특정 오브젝트의 존재 여부를 판단하고, 판단 결과에 따라 알림 신호를 생성하여 송신하는 드론 위치 판단 장치(120) 및 수신된 알림 신호에 의해 제어되는 발광 소자, 진동 소자 및 음향 소자 중 적어도 하나를 포함하는 출력 모듈(130)을 포함할 수 있다.
일 예에 따라 센서 모듈(110)은 드론의 수직 아래 방향의 이미지를 획득하기 위한 카메라와 드론의 비행 고도를 획득하기 위한 초음파 센서 또는 레이저 센서로 구성될 수 있다. 예를 들어, 카메라는 광학 및 전기적인 원리에 의하여 영상을 촬영하고 촬영된 영상을 스트리밍 방식 등으로 외부장치 전송할 수 있다. 또한, 이미지 획득을 위한 카메라는 일반 카메라 또는 TOF 카메라 센서 등일 수도 있다. 다른 예를 들어, 고도 측정을 위한 센서는 초음파 센서 또는 레이저 센서와 같이 광을 지면에 대해 수직방향으로 조사하고, 지면으로부터 반사되어 되돌아오는 신호를 다시 수신하여 고도를 측정하는 센서일 수도 있고, 가속도 센서, 기압형 고도 센서 등일 수 도 있다. 즉, 카메라 및 센서들은 종류에 의해서 한정되지는 않는다.
다른 일 예에 따라 센서 모듈(110)은 드론의 비행 자세를 인식하고 기울기 정보를 획득하기 위한 기울기 센서로 구성될 수 있다. 예를 들어, 센서 모듈(110)은 드론의 기울기를 측정하여 기울기 정보를 획득하기 위해 자이로 센서(Gyroscopes), 가속도 센서(Accelerometers) 또는 지자기 센서(Magnetometers) 등으로 구성될 수 있다. 다만. 기울기 정보를 획득할 수 있으면 센서의 종류는 이에 한정되지는 않는다.
일 예에 따라 출력 모듈(130)은 발광다이오드(LED)를 이용하여 정상 호버링 상태를 표시해줄 수 있다. 예를 들어, 출력 모듈(130)은 특정 오브젝트가 관심 영역 내에게 인식되면 발광다이오드(LED)를 점등할 수 있다. 또는 출력 모듈(130)은 특정 오브젝트가 관심 영역 내에 인식되지 않더라도, 어느 방향에 위치하는지에 따라 발광다이오드(LED)의 색을 변경시켜 점등할 수 있다. 또는 출력 모듈(130)은 드론이 기준 고도를 벗어나게 되면 발광다이오드(LED)를 점등할 수 있다.
다른 예에 따라 출력 모듈(130)은 필요에 따라 조종기에서 동작 여부가 결정될 수 있다. 예를 들어, 출력 모듈(130)은 조종자의 선택 또는 운영 모드에 따라서 발광다이오드(LED)의 점등 동작을 할 수 있다. 다른 예를 들어, 출력 모듈(130)은 원격 조종기의 동작에 따라 방향 및 비행 고도에 따른 발광다이오드(LED)의 점등 동작을 할 수 있다.
또한, 드론 위치 판단 시스템(100)은 드론의 운행되는 과정에서 조종자에게 도움을 주는 시스템이다. 예를 들어, 드론 위치 판단 시스템(100)은 드론에 탈착 가능하게 결합될 수 있다. 따라서, 드론은 드론 위치 판단 시스템(100)을 부착한 상태 또는 탈착한 상태로 운행할 수 있다. 또한, 드론 위치 판단 시스템(100)은 자체 배터리를 구비하고 있어, 드론과 별도로 동작할 수도 있다.
드론 위치 판단 시스템(100)은 드론 위치 판단 장치(120)에서 생성한 드론의 비행 점수를 디스플레이 하는 결과 출력 모듈(140)을 더 포함할 수 있다. 예를 들어, 결과 출력 모듈(140)은 LCD 화면을 구비한 별도의 모니터 장치일 수 있고, 또는 LCD 화면을 구비한 원격 조종기일 수 있다. 또한, 결과 출력 모듈(140)은 프린터 등으로 구성될 수 도 있으며, 스피커 등을 통해 드론의 평가 점수를 출력하는 방식으로 구성될 수 있다.
도 2는 본 개시의 일 실시예에 따른 위치 판단 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 드론 위치 판단 장치(120)는 드론의 하측에 설치되는 카메라를 통해 드론의 수직 아래 방향의 이미지를 획득하는 영상 획득부(210)와 이미지 내에 일정 크기의 관심 영역을 설정하고, 관심 영역 내에 특정 오브젝트가 존재하는지 여부를 판단하며, 특정 오브젝트의 존재 여부에 따라 알림 신호를 생성하는 제어부(220) 및 알림 신호를 출력 모듈로 전달하는 송신부(230)를 포함할 수 있다.
본 개시의 일 실시예에 따른 제어부(220)는 이미지를 구성하는 각 픽셀의 색상 정보에 기초하여 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 특정 오브젝트의 존재 여부를 판단할 수 있다. 예를 들어, 라바콘을 특정 오브젝트의 일 예시로 설명하면, 제어부(220)는 라바콘의 주 색상인 빨간색 계열의 색상을 미리 특정 색상으로 설정할 수 있다. 제어부(220)는 드론의 하측에 설치되는 카메라가 획득한 이미지를 일정한 크기의 픽셀로 나누고, 각각의 픽셀 중 미리 설정한 빨간색 색상과 동일 또는 유사한 색상을 가지는 픽셀을 타켓 픽셀로 검출할 수 있다. 제어부(220)는 검출된 타켓 픽셀의 수와 위치 정보를 획득할 수 있다.
일 예에 따라 제어부(220)는 연속되는 픽셀에서 기준 개수를 초과하는 타켓 픽셀이 확인되면, 연속되는 픽셀을 특정 오브젝트로 판단 할 수 있다. 구체적으로, 제어부(220)는 타켓 픽셀의 수와 위치 정보를 이용하여, 연속되는 타켓 픽셀의 개수를 획득할 수 있다. 예를 들어, 제어부(220)는 연속되는 빨간색 계열의 픽셀의 개수가 기준 개수를 초과하면, 연속되는 빨간색 계열의 픽셀은 특정 오브젝트인 라바콘이라고 판단 할 수 있다. 이 때, 기준 개수는 특정 오브젝트를 구성하는 특정 색상의 픽셀의 개수를 의미할 수 있고, 기준 개수는 이미지의 해상도에 따라서 변경될 수 있다. 예를 들어, 제어부(220)는 라바콘이 인식되면 드론이 라바콘 위에 있는 것으로 판단 할 수 있다.
다른 예에 따라 제어부(220)는 관심 영역 내에 복수의 특정 오브젝트가 존재한다고 판단되는 경우, 연속되는 타켓 픽셀의 개수와 기준 개수의 차이가 더 적은 오브젝트를 특정 오브젝트로 결정할 수 있다. 이는 도7 및 도8을 참조하여 보다 상세하게 후술한다.
본 개시의 다른 실시예에 따른 제어부(220)는 드론의 비행 고도가 설정된 높이를 기준으로 특정 범위를 벗어나는 경우에는 알림 신호를 생성할 수 있다. 이 때, 비행 고도는 드론의 하측에 설치되는 레이저 센서 또는 초음파 센서에 의해서 수신되는 높이 정보에 기초하여 획득할 수 있다.
또한, 일 예에 따라 제어부(220)는 드론의 비행 고도에 따라서 이미지에서 차지하는 관심 영역의 비율을 가변적으로 제어할 수 있다. 또한, 드론이 일정한 높이에서 운행하는 경우에 있어서, 제어부(220)는 카메라로부터 획득한 이미지 내에 관심 영역의 크기를 조절하여 라바콘의 인식 여부를 판단할 수 있다.
또한, 일 예에 따라 제어부(220)는 드론의 기울기 정보에 기초하여 이미지 내에서 관심 영역의 설정 위치가 이동되도록 제어할 수 있다. 예를 들어, 드론이 한쪽 방향으로 기울어지면, 드론이 획득한 이미지의 위치가 변경되면서 관심 영역 내에 라바콘이 인식되지 않을 수도 있다. 이 경우, 제어부(220)는 기울기 센서에 의해서 측정된 기울기 정보에 기초하여 이미지 내에서 관심 영역의 설정 위치가 이동되도록 제어할 수 있다. 구체적으로 예를 들면, 제어부(220)는 드론의 기울기 정보에 기초하여 이미지 내에서 관심 영역의 설정 위치를 드론이 기울어지는 방향으로 기울어진 만큼 이동시키도록 제어할 수 있다. 따라서, 제어부(220)는 이미지 내에서 관심 영역의 설정 위치를 이동시켜 관심 영역 내에 라바콘이 인식되도록 제어할 수 있다.
일 예에 따라, 제어부(220)는 관심 영역 내에 특정 오브젝트가 존재하지 않는 경우에는 관심 영역과 특정 오브젝트의 위치를 비교하여, 특정 오브젝트로부터 드론이 위치한 방향을 판단하고, 방향 정보를 포함하는 알림 신호를 생성할 수 있다. 즉, 제어부(220)는 특정 오브젝트가 관심 영역 밖에 있는 경우 관심 영역의 어느 방향으로 특정 오브젝트가 존재하는지 판단할 수 있다. 판단 결과, 제어부(220)는 발광다이오드(LED)의 색상이 방향 정보에 따라 변경되도록 제어할 수 있다. 예를 들어, 제어부(220)는 관심 영역 밖의 방향 전체를 N등분(N은 2 이상의 자연수)해서 위치에 따라 발광다이오드(LED)의 색을 변경시켜 점등하도록 제어할 수 있다. 예를 들어, N은 4일 수 있다.
다른 예에 따라, 제어부(220)는 운영 모드에 따라 구분되어 설정되는 활성화 조건이 만족되면 알림 신호를 생성할 수 있다. 예를 들어, 활성화 조건은 관심 영역 내에 상기 특정 오브젝트가 존재하는 지속시간 및 사용자 요청신호 중 적어도 하나의 조건을 포함하며, 운영모드 별로 지속시간 및 사용자 요청신호가 다른 값으로 설정될 수 있다. 다른 예를 들어, 제어부(220)는 초보자, 중급자, 고급자 모드(예를 든 것으로, 복수의 모드로 구분 설정될 수 있음)로 운영 모드를 구분하여 제어할 수 있다. 예를 들어, 초보자, 중급자, 고급자 모드는 사용자에 의해서 입력되는 사용자 입력신호에 따라 변경되어 설정될 수 있다. 제어부(220)는 초보자 모드의 경우에 특정 오브젝트가 인식되면 발광다이오드(LED)를 항상 점등시키도록 제어할 수 있다. 제어부(220)는 중급자 모드의 경우에는 특정 오브젝트가 인식되고 나서 일정 시간 동안 인식 상태가 유지되면 발광다이오드(LED)를 점등시키도록 제어할 수 있다. 제어부(220)는 고급자 모드의 경우에는 원격 조종기의 스위치 작동이 입력 후 특정 오브젝트가 인식되면 발광다이오드(LED)를 점등시키도록 제어할 수 있다.
송신부(230)는 제어부(220)의 판단 결과에 따라 생성된 알림 신호를 출력 모듈로 전달 할 수 있다.
본 개시의 다른 실시예에 따른 드론 위치 판단 장치(120)는 점수 생성부를 더 포함할 수 있다. 예를 들어, 점수 생성부(240)는 드론의 비행 고도가 기준 범위 내에 존재하고, 관심 영역 내에 특정 오브젝트가 존재하는 경우 점수를 부가할 수 있다. 또한, 점수 생성부(240)는 관심 영역 내에 존재하는 동일 특정 오브젝트가 일정 시간 내에 반복하여 검출되는 경우에는 반복 검출에 따른 점수 부가를 제외하도록 제어할 수 있다. 예를 들어, 점수 생성부(240)는 부가된 점수를 누적하고, 이를 드론 실기 평가 점수로 저장함과 동시에 결과 출력 모듈(140)을 통해 이를 표시해줄 수 있다. 따라서 조종자는 실시간으로 드론 실기 평가의 합격 유무를 판단할 수 있다. 또한 다른 예를 들어, 점수 생성부(240)는 원격 조종기의 리셋 버튼 또는 결과 출력 모듈의 리셋 버튼에 의해서 다시 시작하도록 제어할 수 있다.
도 3은 본 개시의 일 실시예에 따른 관심 영역을 포함하는 이미지을 설명하기 위한 도면이다.
도 3을 참조하여, 드론의 카메라를 통해 획득한 이미지로부터 관심 영역을 설정하는 것에 대한 일 예를 설명한다. 예를 들어, 드론 위치 판단 장치(120)는 드론의 카메라를 통해 획득한 이미지(310)의 중앙에 일정 수의 픽셀을 반경으로 하는 원을 그려 관심 영역(320)으로 설정할 수 있다. 또한, 예를 들어, 드론의 위치는 관심 영역(320)으로 설정한 중앙 반경 내에 라바콘(330)의 인식 여부로 판단할 수 있다. 따라서, 관심 영역(320)의 크기는 드론의 위치 판단에 있어서 중요한 요소가 될 수 있다. 예를 들어, 드론 위치 판단 장치(120)는 드론의 비행 고도에 따라서 반경을 구성하는 픽셀의 수를 변경하여 관심 영역(320)의 크기를 설정할 수 있다. 구체적인 예를 들면, 드론 위치 판단 장치(120)는 관심 영역(320)의 크기를 일정하게 유지하기 위해 드론의 비행 고도가 높아질수록 관심 영역의 반경을 구성하는 픽셀의 수는 감소하도록 설정할 수 있다. 본 명세서에서의 관심 영역은 원 형태를 기준으로 설명한다. 그러나, 이는 이해의 편의를 위한 것으로, 관심 영역의 형태에 대한 제한은 없다.
도 4는 본 개시의 일 실시예에 따른 가변적인 관심 영역을 설명하기 위한 도면이다.
도 4를 참조하여, 드론의 비행 고도에 따라 이미지에서 차지하는 관심 영역의 비율이 가변적으로 제어되는 일 예를 설명한다. 상대적으로 높은 고도를 비행하는 드론(420)의 카메라는 보다 넓은 지역을 촬영한 이미지(430)를 획득할 수 있다. 이 때, 드론 위치 판단 장치(120)는 획득한 이미지(430)에 대해 상대적으로 관심 영역(320)을 형성하는 원의 반경이 줄여야 드론의 위치를 보다 정확하게 판단할 수 있다. 즉, 관심 영역(320)의 반경이 줄어들지 않으면, 관심 영역 안에 복수의 라바콘이 인식되어 드론의 위치를 판단하기가 어려울 수 있다. 또한 상대적으로 낮은 고도를 비행하는 드론(400)의 카메라는 보다 좁은 지역을 촬영한 이미지(410)를 획득할 수 있다. 이 때, 드론 위치 판단 장치(120)는 획득한 이미지(410)에 대해 상대적으로 관심 영역(320)을 형성하는 원의 반경을 늘려야 드론의 위치를 판단할 수 있다. 관심 영역(320)의 반경을 늘리지 않으면 관심 영역 안에 라바콘을 인식하는 것 자체가 어려울 수 있다. 따라서 드론이 비행 고도를 변경하여 운행하는 경우에 있어서, 드론 위치 판단 장치(120)는 비행 고도에 따라 이미지에 대해 상대적인 크기가 조절된 관심 영역 내에서 라바콘의 인식 여부로 드론의 위치를 판단할 수 있다.
다른 일 예로, 드론 위치 판단 장치(120)는 드론의 비행 고도에 따라서 관심 영역(320)에 할당되는 픽셀의 수를 조절할 수 있다. 다만, 해상도는 동일하게 유지하는 것을 전제로 한다. 예를 들어, 드론(420)의 비행 고도가 상대적으로 높은 경우에 있어서, 드론 위치 판단 장치(120)는 관심 영역(320)에 할당되는 픽셀의 수가 감소하도록 제어할 수 있다. 반면에, 드론(400)의 비행 고도가 상대적으로 낮은 경우에 있어서, 드론 위치 판단 장치(120)는 관심 영역(320)에 할당되는 픽셀의 수가 증가하도록 제어할 수 있다. 따라서, 드론 위치 판단 장치(120)는 비행 고도와 상관없이 절대적인 크기가 일정하게 유지되는 관심 영역(320) 내에서 라바콘의 인식 여부로 드론의 위치를 판단할 수 있다.
관심 영역(320)의 픽셀을 통해 특정 오브젝트를 인식하는 내용은 도7 및 도8을 참조하여 보다 상세하게 후술한다.
예를 들어, 드론 위치 판단 장치(120)는 관심 영역 안에 특정 오브젝트인 라바콘이 존재한다고 판단되면, 드론(420,400)이 라바콘 상부를 비행하고 있다고 판단할 수 있다. 또한, 드론 위치 판단 장치(120)는 관심 영역 내에 라바콘이 인식되면 발광다이오드(LED)를 점등시키는 알림 신호를 생성할 수 있다. 따라서, 조종자는 원거리에서 발광다이오드(LED)의 점등 여부로 드론이 라바콘 상부를 비행하고 있다고 판단할 수 있다.
도 5는 본 개시의 일 실시예에 따른 방향 정보를 기초로 알림 신호의 동작을 설명하기 위한 도면이다.
도 5를 참조하여, 드론의 비행 방향에 따라 알림 신호가 동작하는 일 예를 설명한다. 드론 위치 판단 장치(120)는 관심 영역 내에 특정 오브젝트가 존재하지 않는 경우에는 드론이 위치한 방향을 표시하는 알림 신호를 생성할 수 있다. 예를 들어, 드론 위치 판단 장치(120)는 드론(500)의 관심 영역(510)내에 특정 오브젝트인 라바콘(330)이 존재여부를 판단할 수 있다. 판단 결과, 라바콘(330)이 관심 영역(510) 밖에 위치하면, 드론 위치 판단 장치(120)는 관심 영역 내에 라바콘이 인식되었다는 것을 표시하는 발광다이오드(LED) 점등 신호를 생성하지 않는다.
다만, 드론 위치 판단 장치(120)는 라바콘(330)으로부터 관심 영역(510)이 위치한 방향을 판단 할 수 있다. 따라서, 조종자에 의해 방향 지시 기능의 동작이 선택되면, 드론 위치 판단 장치(120)는 판단된 방향에 따라 발광다이오드(LED)의 색을 변경시켜 점등하도록 제어할 수 있다. 예를 들어,방향은 전체(360도)를 4등분해서 나눈 구획으로 구분할 수도 있고, 라바콘을 기준으로 앞뒤 및 좌우로 구분할 수도 있다. 구체적인 예를 들어, 드론 위치 판단 장치(120)는 드론(500)의 관심 영역(510)이 라바콘(330)으로부터 좌측 방향에 위치하는 것으로 판단되면, 드론(500)의 발광다이오드(LED)의 색을 초록색으로 점등하도록 제어할 수 있다. 또한, 드론 위치 판단 장치(120)는 드론(520)의 관심 영역(530)이 라바콘(330)으로부터 우측 방향에 위치하는 것으로 판단되면, 드론(520)의 발광다이오드(LED)의 색을 파란색으로 점등하도록 제어할 수 있다. 다만, 방향에 따른 발광다이오드(LED)의 색상 종류는 일 예로, 이에 한정되지 않는다.
또한, 드론 위치 판단 장치(120)는 드론(500,520)의 수평 방향 위치가 특정 오브젝트인 라바콘(330)으로부터 얼마나 이탈되는지 또는 몇 회 이탈했는지 등을 판단할 수도 있다.
도 6은 본 개시의 일 실시예에 따른 높이 정보를 기초로 알림 신호의 동작을 설명하기 위한 도면이다.
도 6을 참조하여, 드론의 비행 고도에 따라 알림 신호가 동작하는 일 예를 설명한다. 드론 위치 판단 장치(120)는 드론(600)의 수직 방향 위치 변화 상태를 판단할 수 있다. 따라서, 조종자에 의해 고도 파악 기능의 동작이 선택되면, 드론 위치 판단 장치(120)는 판단된 수직 방향 위치에 따라 발광다이오드(LED)의 색을 변경시켜 점등하도록 제어할 수 있다.
일 예에 따라, 드론 위치 판단 장치(120)는 지면에 위치한 라바콘(330)을 기준으로, 라바콘(300)의 상부에서 특정 고도에 맞추어 정확히 비행하는지 여부를 판단할 수 있다. 예를 들어, 드론 위치 판단 장치(120)는 드론(630)의 비행 고도가 설정된 높이(610)를 기준으로 특정 범위(620)를 벗어나는 경우에는 알림 신호를 생성할 수 있다. 구체적으로, 특정 범위(620)는 설정된 높이(610) 기준으로 상하로 드론 실기 평가의 합격 기준치를 고려하여 설정할 수 있다.
예를 들어, 드론 위치 판단 장치(120)는 드론(600)의 비행고도가 라바콘(330)으로부터 설정된 높이(610)를 기준으로 특정 범위(620)에 위치하고, 관심 영역 내에 라바콘이 인식된다고 판단되면, 드론(520)의 발광다이오드(LED)의 색을 점등하도록 제어할 수 있다. 또한, 드론 위치 판단 장치(120)는 드론(630)의 비행고도가 설정된 높이(610)를 기준으로 특정 범위(620)를 벗어나는 것으로 판단되면, 드론(520)의 발광다이오드(LED)의 색을 변경시켜 점등하도록 제어할 수 있다.
또한, 드론 위치 판단 장치(120)는 드론(600)의 수직 방향 위치가 기준 범위(620)으로부터 얼마나 이탈되는지 또는 몇 회 이탈했는지 등을 판단할 수도 있다.
다른 일 예에 따라, 드론 위치 판단 장치(120)는 드론(600)의 하측에 설치되는 레이저 센서 또는 초음파 센서가 지면에 대해 수직 방향으로 신호를 보내도록 배치 상태를 조절하는 구성을 가질 수도 있다.
도 7은 본 개시의 일 실시예에 따른 관심 영역에서 특정 오브젝트의 존재 여부를 판단하는 동작을 설명하기 위한 도면이다.
도 7을 참조하여, 관심 영역을 구성하는 픽셀로부터 특정 오브젝트의 존재를 판단하는 동작의 일 예를 설명한다. 드론 위치 판단 장치(120)는 영상 획득부(210)으로부터 획득한 이미지를 픽셀로 구분할 수 있다. 이미지를 구성하는 픽셀은 위치 정보 및 색상 정보를 포함할 수 있다. 예를 들어, 드론 위치 판단 장치(120)는 특정 오브젝트인 라바콘을 구성하는 픽셀의 주 색상인 주황색 계열의 색상을 특정 색상으로 설정할 수 있다. 또한, 드론 위치 판단 장치(120)는 특정 오브젝트를 구성하는 연속되는 픽셀의 수를 기준으로 기준 개수를 설정할 수 있다. 이 때, 드론 위치 판단 장치(120)는 드론의 비행 고도 및 카메라의 해상도를 기초로 기준 개수를 설정할 수 있다.
다른 예를 들어, 드론 위치 판단 장치(120)는 관심 영역(320)의 이미지를 구성하는 픽셀 중에서 특정한 주황색 계열의 색상과 매핑되는 동일 유사한 색상의 픽셀을 1차로 타켓 픽셀로 검출할 수 있다. 그리고, 드론 위치 판단 장치(120)는 연속되는 타켓 픽셀 중에서 설정된 기준 개수를 기준으로 임계 이하의 연속되는 픽셀을 제외하고, 최종적으로 연속되는 타켓 픽셀(710)을 특정 오브젝트로 판단할 수 있다. 또는 드론 위치 판단 장치(120)는 연속되는 타켓 픽셀 중 기준 개수 이상의 타켓 픽셀(710)을 그룹핑하여 특정 오브젝트로 판단할 수 있다.
또 다른 예를 들어, 드론 위치 판단 장치(120)는 관심 영역(320) 내에 설정된 기준 개수 이상의 연속되는 타켓 픽셀(710)이 있는 경우에, 특정 오브젝트의 위치를 판단할 수 있다. 구체적으로, 드론 위치 판단 장치(120)는 촬영 시 드론의 위치 정보 및 관심 영역(320)을 구성하는 총 픽셀 수를 기초로 특정 오브젝트의 위치를 판단할 수 있다. 즉, 드론 위치 판단 장치(120)는 관심 영역(320)의 위치 정보로부터 기준 개수 이상의 연속되는 타켓 픽셀(710)의 픽셀 위치를 산출하여, 특정 오브젝트의 위치를 판단할 수 있다.
따라서, 드론 위치 판단 장치(120)는 관심 영역 내에 기준 개수 이상의 연속되는 타켓 픽셀(710)이 존재한다고 판단되면, 드론 위치 판단 장치(120)는 특정 오브젝트가 존재하고, 특정 오브젝트의 위치와 동일한 위치의 상부에 드론이 위치한다고 판단할 수 있다.
예를 들어, 드론 위치 판단 장치(120)는 이미지를 구성하는 픽셀의 색상 정보와 미리 설정된 특정 색상의 매핑 여부를 판단하여 타켓 픽셀을 검출한다. 여기서, 미리 설정된 특정 색상은 범위 형태로 주어질 수 있다. 예를 들어, 검출하기 위한 특정 오브젝트의 색상을 기준으로 일정 범위 내의 색상이 특정 색상으로 미리 설정될 수 있다. 드론 위치 판단 장치(120)는 이미지 내에서 검출되는 각 픽셀의 색상 정보가 미리 설정된 특정 색상의 범위 내에 포함되면 해당 픽셀을 타켓 픽셀로 검출할 수 있다.
한편, 픽셀의 색상과 미리 설정되는 특정 색상의 일치 여부는 해당 색상의 색 기호의 일치 여부로 판단될 수도 있다. 색 기호란 색상의 명도, 채도 등을 기호로 구분하여 지정함으로써 색을 체계적으로 구분하기 위한 표색계를 의미할 수 있다. 국내의 경우에 한국 산업규격(KS A0062)에서 채택되고 있으며, 해외의 경우에 각 국가 또는 글로벌 기준에 따라 색을 구분하기 위한 색기호가 설정될 수도 있다.
또는 색상 일치 여부는 NCS 표색계 상의 일치 여부로 판단될 수도 있다. 이 밖에도 색을 구분할 수 있는 다양한 방식이 본 개시에 적용될 수 있다.
도 8은 본 개시의 일 실시예에 따른 관심 영역에서 복수의 특정 오브젝트가 존재하는 경우를 설명하기 위한 도면이다.
도 8을 참조하여, 관심 영역을 구성하는 픽셀로부터 복수의 특정 오브젝트가 존재하는 경우의 일 예를 설명한다. 드론 위치 판단 장치(120)는 관심 영역(320) 내 연속되는 타켓 픽셀 중에서 설정된 기준 개수를 기준으로 임계 이하의 연속되는 픽셀(830)을 제외하고, 연속되는 타켓 픽셀을 특정 오브젝트(810,820)로 판단할 수 있다. 타켓 픽셀 및 기준 개수의 내용은 도 7을 참조하여 전술한 바와 같다.
예를 들어, 드론 위치 판단 장치(120)는 관심 영역(320) 내에서 복수의 특정 오브젝트(810,820)가 존재한다고 판단되면, 연속되는 타켓 픽셀의 개수와 설정된 기준 개수의 차이가 더 적은 특정 오브젝트(810)를 최종적으로 특정 오브젝트로 결정할 수 있다. 따라서, 드론 위치 판단 장치(120)는 관심 영역 내에 최종적으로 결정된 특정 오브젝트(810)를 기준으로 상부에 드론이 위치한다고 판단할 수 있다.
도 10은 본 개시의 일 실시예에 따른 기울기 정보를 기초로 관심 영역을 이동시키는 동작을 설명하기 위한 도면이다.
도 10을 참조하면, 드론의 기울기 정보에 기초하여 관심 영역을 이동시키는 동작의 일 예를 설명한다. 드론(1000)은 정지해 있는 경우에 바람에 의해 위치가 변경되지 않도록 유지하기 위해 드론(1000)의 기울기가 변경될 수 있다. 또한, 드론(1000)은 이동 또는 정지하는 경우에 일부 프롭의 회전 속도를 높임에 따라 드론(1000)의 기울기가 변경될 수 있다. 따라서, 드론(1000)의 기울기가 변경됨에 따라 드론(1000)이 획득한 이미지의 위치가 변경되면서 기존에 설정된 관심 영역 내에서 라바콘이 인식되지 않을 수 있다. 이 때, 드론의 카메라는 고정되어 설치된 형태로 수직 아래 방향만을 촬영할 수 있는 것을 전제로 한다.
일 예로, 드론 위치 판단 장치(120)는 드론에 설치된 기울기 센서에 의해서 측정된 기울기 정보에 기초하여 이미지 내에서 기존에 설정된 관심 영역의 설정 위치가 이동되도록 제어할 수 있다. 여기서, 기울기 정보는 드론의 피치(pitch) 및 롤(roll) 값일 수 있다. 예를 들어, 드론 위치 판단 장치(120)는 드론이 수평으로 비행하는 경우에 카메라로부터 획득한 이미지(1010)에 관심 영역(1040)을 설정할 수 있다. 또한, 드론 위치 판단 장치(120)는 드론이 기울어져 비행하는 경우에 카메라로부터 획득한 이미지(1020)는 수평으로 비행하는 경우에 획득한 이미지(1010)와 다를 수 있다. 그리고, 드론 위치 판단 장치(120)는 드론이 기울어져 비행하는 경우에 획득한 변경된 이미지(1020)에서 관심 영역(1030)을 다시 설정할 수 있다. 이 경우, 드론 위치 판단 장치(120)는 변경된 이미지(1020)의 관심 영역(1030)내에 라바콘(330)이 인식되지 않을 수 있다. 따라서 드론 위치 판단 장치(120)는 변경된 이미지(1020) 내에서 관심 영역(1030)의 설정 위치를 이동시켜 라바콘(330)이 인식되도록 제어할 수 있다. 다른 일 예로, 드론 위치 판단 장치(120)는 드론의 기울기가 특정 각도 이하에 해당되는지 여부를 판단하여 관심 영역이 설정되는 설정 위치의 이동 여부를 결정할 수 있다. 예를 들어, 드론 위치 판단 장치(120)는 드론의 기울기가 특정 각도 이하이면, 관심 영역의 설정 위치를 이동하도록 제어할 수 있다. 반면에, 드론 위치 판단 장치(120)는 드론의 기울기가 특정 각도를 초과하면 이미지 내에 관심 영역의 설정 위치가 이동할 수 없음을 알람으로 제공할 수 있다. 다른 예를 들어, 드론 위치 판단 장치(120)는 드론의 고도 및 카메라의 시야각(Field of view, FOV)에 기초하여 획득한 이미지(1020) 내에서 비콘을 인식할 수 있는 드론의 기울기 제한 각도를 계산할 수 있다. 드론 위치 판단 장치(120)는 계산된 제한 범위를 관심 영역의 설정 위치를 이동하도록 제어하는 동작 조건으로 설정할 수 있다. 이 때, 동작 조건은 드론의 기울기 각도로 고도와 카메라의 시야각에 따라 다른 각도일 수 있다. 따라서, 드론 위치 판단 장치(120)는 드론의 기울기가 특정 각도 이하인 경우를 동작 조건으로 설정하고, 동작 조건에 만족하지 않으면 관심 영역의 설정 위치를 이동시키지 않고 알람을 제공할 수 있다. 구체적인 예를 들면, 드론 위치 판단 장치(120)는 동작 조건이 30도인 경우에 드론의 기울기가 30도를 초과하면 획득한 이미지 내에 비콘이 인식되지 않을 수 있다. 이 경우는 관심 영역의 설정 위치를 이동시켜도 관심 영역 내에 비콘이 인식될 수 없다. 따라서, 관심 영역의 설정 위치를 이동시키지 않고 드론의 위치를 이동시키도록 운전자에게 알람을 제공할 수 있다. 반면에, 드론 위치 판단 장치(120)는 동작 조건이 30도인 경우에 드론의 기울기가 30도 이하이면, 획득한 이미지 내에서 관심 영역의 설정 위치가 이동되도록 제어할 수 있다. 다만, 동작 조건 30도는 일 예를 설명한 것으로 이에 한정되지는 않는다.
또 다른 일 예로, 드론 위치 판단 장치(120)는 드론이 수평으로 비행하는 경우에 측정된 기울기 정보와 드론이 기울어져 비행하는 경우에 측정된 기울기 정보를 이용하여 설정 위치의 이동량을 계산할 수 있다. 예를 들어, 드론 위치 판단 장치(120)는 각각의 비행 상태에서 측정된 기울기 정보로부터 드론의 피치(pitch) 및 롤(roll)의 각도 변화량을 획득할 수 있다. 또한, 드론 위치 판단 장치(120)는 획득한 각도 변화량을 좌표 변환 또는 삼각 측량을 통해 관심 영역의 설정 위치의 이동량을 계산할 수 있다. 구체적으로, 드론 위치 판단 장치(120)는 피치(pitch) 및 롤(roll)의 각도 변화량을 회전 행렬에 적용하여 수평으로 비행하는 경우의 관심영역의 중심점 좌표와 기울어져 비행하는 경우의 관심 영역의 중심점 좌표를 계산할 수 있다. 따라서, 드론 위치 판단 장치(120)는 계산된 관심 영역의 중심점 좌표를 이용하여 관심 영역의 설정 위치가 이동되도록 제어할 수 있다.
이에 따라, 드론 위치 판단 장치(120)는 기울기 정보를 이용하면 관심 영역(1030)의 설정 위치를 수평으로 비행하는 경우에 설정된 관심 영역(1040)의 설정 위치로 이동시킬 수 있다. 이는 드론에서 카메라의 설치 위치를 하드웨어 적으로 변경하는 대신 이미지 내에서 관심 영역의 설정 위치를 변경하도록 제어함으로써, 적은 비용으로 드론의 카메라가 수직 아래 방향을 집중적으로 모니터링 하는 효과를 제공할 수 있다.
이하에서는 도 1 내지 도 8, 도10을 참조하여 설명한 드론 위치 판단 장치(120)가 수행할 수 있는 드론 위치 판단 방법에 대하여 설명하기로 한다.
도 9는 본 개시의 일 실시예에 따른 드론 위치 판단 방법에 대한 흐름도이다.
도 9를 참조하면, 본 개시의 드론 위치 판단 방법은 영상 획득 단계를 포함할 수 있다(S910). 예를 들어, 드론 위치 판단 장치는 드론의 하측에 설치되는 카메라를 통해 드론의 수직 아래 방향의 이미지를 획득할 수 있다.
또한, 드론 위치 판단 방법은 알림 생성 단계를 포함할 수 있다(S920). 예를 들어, 드론 위치 판단 장치는 획득한 이미지 내에 일정 크기의 관심 영역을 설정하고, 관심 영역 내에 특정 오브젝트가 존재하는지 여부를 판단하며, 특정 오브젝트의 존재 여부에 따라 알림 신호를 생성할 수 있다. 또한, 드론 위치 판단 장치는 이미지를 구성하는 각 픽셀의 색상 정보에 기초하여 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 특정 오브젝트의 존재 여부를 판단할 수 있다. 구체적인 예를 들어, 드론 위치 판단 장치는 연속되는 픽셀에서 기준 개수를 초과하는 타켓 픽셀이 확인되면, 연속되는 픽셀을 특정 오브젝트로 판단할 수 있다. 이때, 드론 위치 판단 장치는 특정 오브젝트인 라바콘을 구성하는 픽셀의 주 색상인 주황색 계열의 색상과 특정 오브젝트를 구성하는 연속되는 픽셀의 수를 미리 특정 색상 및 기준 개수로 설정할 수 있다.
예를 들면, 드론 위치 판단 장치는 관심 영역의 이미지를 구성하는 픽셀 중에서 특정 색상과 매핑되는 동일 유사한 색상의 픽셀을 1차로 타켓 픽셀로 검출하고, 연속되는 타켓 픽셀 중에서 기준 개수를 기준으로 임계 이하의 연속되는 픽셀을 제외하여 최종적으로 연속되는 타켓 픽셀을 특정 오브젝트로 판단할 수 있다.
다른 예를 들어, 드론 위치 판단 장치는 드론의 비행 고도에 따라서 이미지에서 차지하는 관심 영역의 비율을 가변적으로 제어할 수 있다. 또한, 드론 위치 판단 장치는 드론의 기울기 정보에 기초하여 이미지 내에서 관심 영역의 설정 위치가 이동되도록 제어할 수 있다.
또 다른 예를 들어, 드론 위치 판단 장치는 운영 모드에 따라 구분되어 설정되는 활성화 조건이 만족되면 상기 알림 신호를 생성할 수 있다. 활성화 조건은 관심 영역 내에 상기 특정 오브젝트가 존재하는 지속시간 및 사용자 요청신호 중 적어도 하나의 조건을 포함하며, 운영모드 별로 지속시간 및 사용자 요청신호가 다른 값으로 설정될 수 있다. 다른 예를 들어, 드론 위치 판단 장치는 초보자, 중급자, 고급자 모드로 운영 모드를 구분하여 제어할 수 있다. 드론 위치 판단 장치는 초보자 모드의 경우에 특정 오브젝트가 인식되면 발광다이오드(LED)를 항상 점등시키도록 제어할 수 있다. 드론 위치 판단 장치는 중급자 모드의 경우에는 특정 오브젝트가 인식되고 나서 일정 시간 동안 인식 상태가 유지되면 발광다이오드(LED)를 점등시키도록 제어할 수 있다. 드론 위치 판단 장치는 고급자 모드의 경우에는 원격 조종기의 스위치 작동이 입력 후 특정 오브젝트가 인식되면 발광다이오드(LED)를 점등시키도록 제어할 수 있다.
또한, 드론 위치 판단 방법은 알림 송신 단계를 포함할 수 있다(S930). 예를 들어, 드론 위치 판단 장치는 알림 신호를 출력 모듈로 전달 할 수 있다. 드론 위치 판단 장치는 원격 조종기에서 결정한 동작 여부에 따라 출력 모듈의 동작이 결정될 수 있다.
또한, 드론 위치 판단 방법은 점수 생성 단계를 더 포함할 수 있다(S940). 예를 들어, 드론 위치 판단 장치는 드론의 비행 고도가 기준 범위 내에 존재하고, 관심 영역 내에 상기 특정 오브젝트가 존재하는 경우 점수를 부가할 수 있다. 또한, 드론 위치 판단 장치는 관심 영역 내에 존재하는 동일 특정 오브젝트가 일정 시간 내에 반복하여 검출되는 경우에는 반복 검출에 따른 점수 부가를 제외하도록 제어할 수 있다.
이상에서 설명한 바와 같이 본 개시에 의하면, 드론 위치 판단 장치 및 방법을 제공할 수 있다. 특히, 이미지 내에 관심 영역을 설정하고, 관심 영역 내에 픽셀의 색상 정보에 기초하여 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 획득함으로써, 관심 영역 내에 특정 오브젝트의 존재 여부를 판단하여 보다 간편하고 정확하게 드론의 위치를 판단할 수 있는 드론 위치 판단 장치 및 방법을 제공할 수 있다. 따라서, 드론 국가 자격증 취득을 위해 라바콘의 위치로 호버링 시키는 동작을 도와주는 드론 위치 판단 장치 및 방법을 제공할 수 있다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 기술 사상의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로 이러한 실시예에 의하여 본 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (21)

  1. 드론의 하측에 설치되는 카메라를 통해 상기 드론의 수직 아래 방향의 이미지를 획득하는 영상 획득부;
    상기 이미지 내에 일정 크기의 관심 영역을 설정하고, 상기 관심 영역 내에 특정 오브젝트가 존재하는지 여부를 판단하며, 상기 특정 오브젝트의 존재 여부에 따라 알림 신호를 생성하는 제어부; 및
    상기 알림 신호를 출력 모듈로 전달하는 송신부를 포함하되,
    상기 제어부는,
    상기 이미지를 구성하는 각 픽셀의 색상 정보에 기초하여 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 상기 특정 오브젝트의 존재 여부를 판단하는 것을 특징으로 하는 드론 위치 판단 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    연속되는 픽셀에서 기준 개수를 초과하는 상기 타켓 픽셀이 확인되면, 상기 연속되는 픽셀을 특정 오브젝트로 판단하는 것을 특징으로 하는 드론 위치 판단 장치.
  3. 제 1항에 있어서,
    상기 관심 영역은,
    상기 드론의 비행 고도에 따라서 상기 이미지에서 차지하는 비율이 가변적으로 제어되는 것을 특징으로 하는 드론 위치 판단 장치.
  4. 제 3항에 있어서,
    상기 드론의 비행 고도는,
    상기 드론의 하측에 설치되는 레이저 센서 또는 초음파 센서에 의해서 수신되는 높이 정보에 기초하여 획득되는 것을 특징으로 하는 드론 위치 판단 장치.
  5. 제 1항에 있어서,
    상기 관심 영역은,
    상기 드론에 설치되는 기울기 센서에 의해 측정된 기울기 정보에 기초하여 상기 이미지 내에서 설정 위치가 이동되도록 제어되는 것을 특징으로 하는 드론 위치 판단 장치.
  6. 제 1항에 있어서,
    상기 제어부는,
    상기 드론의 비행 고도가 설정된 높이를 기준으로 특정 범위를 벗어나는 경우에는 알림 신호를 생성하는 드론 위치 판단 장치.
  7. 제 1항에 있어서,
    상기 제어부는
    운영 모드에 따라 구분되어 설정되는 활성화 조건이 만족되면 상기 알림 신호를 생성하는 것을 특징으로 하는 드론 위치 판단 장치.
  8. 제 7항에 있어서,
    상기 활성화 조건은,
    상기 관심 영역 내에 상기 특정 오브젝트가 존재하는 지속시간 및 사용자 요청신호 중 적어도 하나의 조건을 포함하며,
    상기 지속시간 및 상기 사용자 요청신호는 상기 운영 모드 별로 다른 값으로 설정되는 드론 위치 판단 장치.
  9. 제 1항에 있어서,
    상기 제어부는,
    상기 관심 영역 내에 상기 특정 오브젝트가 존재하지 않는 경우,
    상기 관심 영역과 상기 특정 오브젝트의 위치를 비교하여, 상기 특정 오브젝트로부터 상기 드론이 위치한 방향을 판단하고, 상기 방향 정보를 포함하는 알림 신호를 생성하는 것을 특징으로 하는 드론 위치 판단 장치
  10. 제 9항에 있어서,
    상기 알림 신호는,
    발광 소자의 색상을 상기 방향 정보에 따라 변경하도록 제어하는 것을 특징으로 하는 드론 위치 판단 장치.
  11. 제 1항에 있어서,
    상기 제어부는,
    상기 관심 영역 내에 복수의 특정 오브젝트가 존재한다고 판단되는 경우,
    연속되는 상기 타켓 픽셀의 개수와 기준 개수의 차이가 더 적은 오브젝트를 상기 특정 오브젝트로 결정하는 드론 위치 판단 장치
  12. 제 1항에 있어서
    상기 드론의 비행 고도가 기준 범위 내에 존재하고, 상기 관심 영역 내에 상기 특정 오브젝트가 존재하는 경우 점수를 부가하는 점수 생성부를 더 포함하되,
    상기 점수 생성부는,
    상기 관심 영역 내에 존재하는 동일 상기 특정 오브젝트가 일정 시간 내에 반복하여 검출되는 경우에는 반복 검출에 따른 점수 부가를 제외하도록 제어하는 드론 위치 판단 장치.
  13. 카메라, 레이저 센서 및 초음파 센서 중 적어도 하나를 포함하는 센서 모듈;
    상기 센서 모듈로부터 획득한 이미지 내에 일정 크기의 관심 영역을 설정하고, 상기 관심 영역 내에 상기 이미지를 구성하는 픽셀 중 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 특정 오브젝트의 존재 여부를 판단하고, 판단 결과에 따라 알림 신호를 생성하여 송신하는 드론 위치 판단 장치; 및
    수신된 상기 알림 신호에 의해 제어되는 발광 소자, 진동 소자 및 음향 소자 중 적어도 하나를 포함하는 출력 모듈이 드론에 장착되는 것을 특징으로 하는 드론 위치 판단 시스템.
  14. 제 13항에 있어서,
    상기 드론의 위치 판단 장치에서 생성한 상기 드론의 비행 점수를 디스플레이 하는 결과 출력 모듈을 더 포함하는 것을 특징으로 하는 드론 위치 판단 시스템.
  15. 제 13항에 있어서,
    상기 센서 모듈은,
    기울기 센서를 더 포함하고,
    상기 관심 영역은,
    상기 기울기 센서에 의해서 측정된 기울기 정보에 기초하여 상기 이미지 내에서 설정 위치가 이동되도록 제어되는 것을 특징으로 하는 드론 위치 판단 시스템.
  16. 드론의 하측에 설치되는 카메라를 통해 상기 드론의 수직 아래 방향의 이미지를 획득하는 영상 획득 단계;
    상기 이미지 내에 일정 크기의 관심 영역을 설정하고, 상기 관심 영역 내에 특정 오브젝트가 존재하는지 여부를 판단하며, 상기 특정 오브젝트의 존재 여부에 따라 알림 신호를 생성하는 알림 생성 단계; 및
    상기 알림 신호를 출력 모듈로 전달하는 알림 송신 단계;를 포함하되,
    상기 알림 생성 단계는,
    상기 이미지를 구성하는 각 픽셀의 색상 정보에 기초하여 미리 설정된 색상과 매핑되는 타켓 픽셀의 수와 위치 정보를 이용하여 상기 특정 오브젝트의 존재 여부를 판단하는 것을 특징으로 하는 드론 위치 판단 방법.
  17. 제 16항에 있어서,
    상기 알림 생성 단계는,
    연속되는 픽셀에서 기준 개수를 초과하는 상기 타켓 픽셀이 확인되면, 상기 연속되는 픽셀을 특정 오브젝트로 판단하는 것을 특징으로 하는 드론 위치 판단 방법.
  18. 제 16항에 있어서,
    상기 관심 영역은,
    상기 드론의 비행 고도에 따라서 상기 이미지에서 차지하는 비율이 가변적으로 제어되는 것을 되는 것을 특징으로 하는 드론 위치 판단 방법.
  19. 제 16항에 있어서,
    상기 관심 영역은,
    상기 드론에 설치되는 기울기 센서에 의해서 측정된 기울기 정보에 기초하여 상기 이미지 내에서 설정 위치가 이동되도록 제어되는 것을 특징으로 하는 드론 위치 판단 방법.
  20. 제 16항에 있어서,
    상기 알림 생성 단계는,
    운영 모드에 따라 구분되어 설정되는 활성화 조건이 만족되면 상기 알림 신호를 생성하는 것을 특징으로 하는 드론 위치 판단 방법.
  21. 제 16항에 있어서,
    상기 드론의 비행 고도가 기준 범위 내에 존재하고, 상기 관심 영역 내에 상기 특정 오브젝트가 존재하는 경우 점수를 부가하는 점수 생성 단계를 더 포함하되,
    상기 점수 생성 단계는,
    상기 관심 영역 내에 존재하는 동일 상기 특정 오브젝트가 일정 시간 내에 반복하여 검출되는 경우에는 반복 검출에 따른 점수 부가를 제외하도록 제어하는 드론 위치 판단 방법.
KR1020210079427A 2020-06-29 2021-06-18 드론 위치 판단 장치 및 방법 KR102553469B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200079122 2020-06-29
KR1020200079122 2020-06-29

Publications (2)

Publication Number Publication Date
KR20220001472A true KR20220001472A (ko) 2022-01-05
KR102553469B1 KR102553469B1 (ko) 2023-07-11

Family

ID=79349000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210079427A KR102553469B1 (ko) 2020-06-29 2021-06-18 드론 위치 판단 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102553469B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102446806B1 (ko) * 2022-04-08 2022-09-26 (주)네온테크 건 타입 드론 컨트롤러 및 이를 이용한 드론 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587479B1 (ko) * 2015-08-25 2016-01-21 한국항공대학교 산학협력단 영상 정보를 이용한 무인비행체의 위치 유도 제어방법
KR101794609B1 (ko) * 2015-10-22 2017-12-01 농업회사법인 주식회사 호그린 무인 농약 공급 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587479B1 (ko) * 2015-08-25 2016-01-21 한국항공대학교 산학협력단 영상 정보를 이용한 무인비행체의 위치 유도 제어방법
KR101794609B1 (ko) * 2015-10-22 2017-12-01 농업회사법인 주식회사 호그린 무인 농약 공급 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102446806B1 (ko) * 2022-04-08 2022-09-26 (주)네온테크 건 타입 드론 컨트롤러 및 이를 이용한 드론 제어 방법

Also Published As

Publication number Publication date
KR102553469B1 (ko) 2023-07-11

Similar Documents

Publication Publication Date Title
CN108416963B (zh) 基于深度学习的森林火灾预警方法及系统
US10338581B2 (en) Unmanned aerial vehicle, flight control method, non-transitory computer-readable recording medium, and control device
US10322804B2 (en) Device that controls flight altitude of unmanned aerial vehicle
JP7120002B2 (ja) 飛行装置
US9645581B1 (en) Method and apparatus for navigating unmanned aerial vehicle
CN108496133B (zh) 中继无人机的控制方法和中继无人机
US7061401B2 (en) Method and apparatus for detecting a flight obstacle
KR20180133745A (ko) 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법
US11372410B2 (en) Methods and apparatus for regulating a position of a drone
JP2021184262A (ja) 制御装置、制御方法およびプログラム
KR102391210B1 (ko) 드론 및 드론의 제어 방법
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
KR102112340B1 (ko) 근거리용 드론 감지 장치
KR20220001472A (ko) 드론 위치 판단 장치 및 방법
KR20180027847A (ko) 무인비행체의 충전위치 탐지 장치
WO2017138049A1 (ja) 飛行体及びその制御システム
WO2021166845A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10131447B2 (en) Glide path indicator
CN107885220A (zh) 一种舰船上无人机可精准起降系统及其工作方法
Norton et al. Decisive benchmarking data report: suas performance results from phase i
KR101866218B1 (ko) 드론을 이용한 함포 영점 조정 방법
KR20120105966A (ko) 가시거리 측정장치 및 그 방법
KR20190141389A (ko) 비전 인식을 이용한 자동 드론 착륙 장치 및 방법
US20220070986A1 (en) Lighting system
KR102333350B1 (ko) 무인비행체 수직이착륙 시스템 및 그의 작동방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant