KR102308900B1 - 영상 프레임 기반 위치 추정 방법 및 전자 장치 - Google Patents

영상 프레임 기반 위치 추정 방법 및 전자 장치 Download PDF

Info

Publication number
KR102308900B1
KR102308900B1 KR1020190135230A KR20190135230A KR102308900B1 KR 102308900 B1 KR102308900 B1 KR 102308900B1 KR 1020190135230 A KR1020190135230 A KR 1020190135230A KR 20190135230 A KR20190135230 A KR 20190135230A KR 102308900 B1 KR102308900 B1 KR 102308900B1
Authority
KR
South Korea
Prior art keywords
path
image frame
image
unit
frame
Prior art date
Application number
KR1020190135230A
Other languages
English (en)
Other versions
KR20210050781A (ko
Inventor
이성진
함수연
Original Assignee
경상국립대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경상국립대학교산학협력단 filed Critical 경상국립대학교산학협력단
Priority to KR1020190135230A priority Critical patent/KR102308900B1/ko
Publication of KR20210050781A publication Critical patent/KR20210050781A/ko
Application granted granted Critical
Publication of KR102308900B1 publication Critical patent/KR102308900B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 영상 프레임 기반 위치 추정 방법에 관한 것으로, 미리 설정된 영역 내에서 드론의 비행 이동 경로를 설정하는 단계; 상기 드론이 상기 설정된 비행 이동 경로를 따라 이동하면서 촬영된 영상을 확인하는 단계; 상기 확인된 영상에 포함된 복수의 영상 프레임들 중 각 영상 프레임에 대한 상대적 위치를 추정하는 단계; 및 상기 추정된 상대적 위치와 관련된 정보를 상기 각 영상 프레임에 삽입하는 단계;를 포함한다.

Description

영상 프레임 기반 위치 추정 방법 및 전자 장치{METHOD FOR ESTIMATING A LOCATION BASED ON IMAGE FRAME AND ELECTRONIC DEVICE}
본 발명은 영상 프레임 기반 위치 추정 방법 및 전자 장치에 관한 것으로서, 보다 구체적으로는 드론에 의해 촬영된 각 영상 프레임의 위치를 추정할 수 있는 영상 프레임 기반 위치 추정 방법 및 전자 장치에 관한 것이다.
드론(drone)은 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 군사용 무인항공기(UAV: unmanned aerial vehicle or uninhabited aerial vehicle)의 총칭으로서, 2010년대를 전후하여 군사적 용도 외 다양한 민간 분야에도 활용되고 있다. 예를 들어, 드론을 이용하여 택배 물품을 배달할 수 있으며, 카메라를 드론에 장착하고, 카메라 및 드론을 조작하여 드론이 공중에서 비행 중인 동안 영상 또는 사진을 촬영할 수 있다.
과거, 드론은 사용자가 원격 조종기를 이용하여 드론의 비행 동작을 제어해야 하는 불편함이 있었다. 최근들어, 드론이 지정된 위치로 자동으로 이동하거나, 카메라에 의해 인식된 대상 물체를 자동으로 추적하는 등과 같이 비행 제어 알고리즘의 발전으로 인하여, 사용자의 수동 조종이 없더라도 드론 스스로 비행할 수 있게 되었다.
한편, 드론의 위치를 제어하거나 현재 위치를 측정하기 위해서는 GPS(global positioning system) 장치를 이용할 수 있으나, GPS 장치가 없는 드론의 경우 위치를 측정하기 어려우며, GPS 장치를 이용한다고 하더라도 정밀한 위치의 측정은 어렵다는 문제점이 있다. 특히, 드론에 구비된 카메라를 통해 건물의 외벽 등을 촬영하고자 할 경우, 정밀한 위치의 측정이 요구되고 있다.
[문헌 1] 대한민국공개특허공보 제10-2019-0092789호 드론의 위치 측정 방법 및 이를 이용한 드론의 위치 보정 시스템(에디테크놀로지 2019.08.08
따라서 본 발명의 목적은 드론에 의해 촬영된 영상 이미지에 대해 상대적 위치를 추정하고, 상대적 위치를 출력 영상에 삽입하는 영상 프레임 기반 위치 추정 방법 및 전자 장치를 제공한다.
또한, 본 발명의 목적은 드론에 의해 촬영된 영상 이미지에 대해 상대적 위치를 추정하고, 상대적 위치를 출력 영상에 삽입하여 GPS에 의존하지 않고 정확한 위치 추정이 가능한 영상 프레임 기반 위치 추정 방법 및 전자 장치를 제공한다.
상기와 같은 목적을 달성하기 위한 영상 프레임 기반 위치 추정 방법은, 미리 설정된 영역 내에서 드론의 비행 이동 경로를 설정하는 단계; 상기 드론이 상기 설정된 비행 이동 경로를 따라 이동하면서 촬영된 영상을 확인하는 단계; 상기 확인된 영상에 포함된 복수의 영상 프레임들 중 각 영상 프레임에 대한 상대적 위치를 추정하는 단계; 및 상기 추정된 상대적 위치와 관련된 정보를 상기 각 영상 프레임에 삽입하는 단계;를 포함한다.
바람직하게는, 상기 드론의 비행 이동 경로는, 좌측 또는 우측으로 비행한 후 상승하는 경로를 하나의 단위 경로로 설정하는 것을 특징으로 한다.
바람직하게는, 상기 방법은, 각 단위 경로당 촬영된 영상 프레임들의 총 프레임 개수를 확인하는 단계; 상기 확인된 총 프레임 개수로부터 각 영상 프레임별 이동 거리를 산출하는 단계; 및 상기 산출된 영상 프레임별 이동 거리에 기반하여, 각 영상 프레임에 대한 상대적 위치를 추정하는 단계;를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 상대적 위치는, 상기 미리 설정된 영역 내에서 미리 설정된 기준 위치로부터의 상대적 거리를 나타내는 것을 특징으로 한다.
바람직하게는, 상기 각 영상 프레임에 대한 상대적 위치를 추정하는 단계는, 상기 설정된 단위 경로에 따라, 상기 각 영상 프레임의 경로 회차를 확인하는 단계; 상기 확인된 경로 회차에 기반하여 기준 위치로부터 x 축 상의 상대적 거리를 나타내는 x 좌표를 산출하는 단계; 및 상기 확인된 경로 회차에 기반하여 기준 위치로부터 z 축 상의 상대적 거리를 나타내는 z 좌표를 산출하는 단계;를 포함한다.
바람직하게는, 상기 각 영상 프레임별 이동 거리를 산출하는 단계는, 각 단위 경로별 촬영된 영상의 총 영상 프레임 개수를 확인하는 단계; 상기 각 단위 경로에 대한 실제 거리를 확인하는 단계; 및 상기 확인된 단위 경로에 대한 실제 거리 및 총 영상 프레임 개수에 기반하여 각 영상 프레임별 이동 거리를 산출하는 단계;를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 각 영상 프레임에 대한 상대적 위치를 추정하는 단계는, 상기 영상 프레임의 경로 회차가 홀수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 증가하도록 설정되는 것을 특징으로 한다.
바람직하게는, 상기 각 영상 프레임에 대한 상대적 위치를 추정하는 단계는, 상기 영상 프레임의 경로 회차가 짝수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 감소하도록 설정되는 것을 특징으로 한다.
다른 측면에서 상기와 같은 목적을 달성하기 위한 본 발명의 영상 프레임 기반 위치 추정을 위한 전자 장치는, 미리 설정된 영역 내에서 드론의 비행 이동 경로를 설정하는 경로 설정부; 상기 드론이 상기 설정된 비행 이동 경로를 따라 이동하면서 촬영된 영상을 확인하고, 상기 확인된 영상에 포함된 복수의 영상 프레임들 중 각 영상 프레임에 대한 상대적 위치를 추정하는 프레임 위치 산출부; 및 상기 추정된 상대적 위치와 관련된 정보를 상기 각 영상 프레임에 삽입하는 위치 정보 삽입부;를 포함한다.
바람직하게는, 상기 드론의 비행 이동 경로는, 좌측 또는 우측으로 비행한 후 상승하는 경로를 하나의 단위 경로로 설정하는 것을 특징으로 한다.
바람직하게는, 상기 프레임 위치 산출부는, 각 단위 경로당 촬영된 영상 프레임들의 총 프레임 개수를 확인하고, 상기 확인된 총 프레임 개수로부터 각 영상 프레임별 이동 거리를 산출하며, 상기 산출된 영상 프레임별 이동 거리에 기반하여, 각 영상 프레임에 대한 상대적 위치를 추정하는 것을 특징으로 한다.
바람직하게는, 상기 상대적 위치는, 상기 미리 설정된 영역 내에서 미리 설정된 기준 위치로부터의 상대적 거리를 나타내는 것을 특징으로 한다.
바람직하게는, 상기 프레임 위치 산출부는, 상기 설정된 단위 경로에 따라, 상기 각 영상 프레임의 경로 회차를 확인하고, 상기 확인된 경로 회차에 기반하여 기준 위치로부터 x 축 상의 상대적 거리를 나타내는 x 좌표를 산출하며, 상기 확인된 경로 회차에 기반하여 기준 위치로부터 z 축 상의 상대적 거리를 나타내는 z 좌표를 산출하는 것을 특징으로 한다.
바람직하게는, 상기 프레임 위치 산출부는, 각 단위 경로별 촬영된 영상의 총 영상 프레임 개수를 확인하고, 상기 각 단위 경로에 대한 실제 거리를 확인하며, 상기 확인된 단위 경로에 대한 실제 거리 및 총 영상 프레임 개수에 기반하여 각 영상 프레임별 이동 거리를 산출하는 것을 특징으로 한다.
바람직하게는, 상기 프레임 위치 산출부는, 상기 영상 프레임의 경로 회차가 홀수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 증가하도록 설정되는 것을 특징으로 한다.
바람직하게는, 상기 프레임 위치 산출부는, 상기 영상 프레임의 경로 회차가 짝수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 감소하도록 설정되는 것을 특징으로 한다.
본 발명에 따르면, GPS에 의존하지 않고 드론의 비행 중 촬영한 영상의 위치를 추정할 수 있는 장점이 있다.
또한, 본 발명에 따르면, GPS에 의존하지 않고 정확한 위치 추정이 가능함으로써, 건물 외벽 및 교량 등에 드론을 활용한 균열 탐지 및 촬영이 가능한 장점이 있다.
도 1은 본 발명의 실시 예에 따른 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 전자 장치의 세부 구조를 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 드론의 세부 구조를 나타내는 블록도이다.
도 4는 본 발명의 실시 예에 따른 영상 프레임 기반 위치 추정 방법을 나타내는 흐름도이다.
도 5는 본 발명의 실시 예에 따른 위치 추정 세부 절차를 나타내는 흐름도이다.
도 6은 본 발명의 실시 예에 따른 위치 정보가 삽입된 영상 프레임의 예를 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 전자 장치의 세부 구성을 나타내는 도면이다.
이하, 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 실시 예에 기초하여 설명한다. 이들 실시 예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있는 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백히 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 발명의 실시예들은 드론에 의해 촬영된 영상 이미지에 대해 상대적 위치를 추정하고, 상대적 위치를 출력 영상에 삽입하는 영상 프레임 기반 위치 추정 방법 및 전자 장치를 제공한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 시스템을 나타내는 도면이다. 도 1을 참조하면, 본 발명의 실시 예에 따른 시스템은, 전자 장치(110) 및 드론(120)을 포함하여 구성할 수 있다.
상기 전자 장치(110)에서는 상기 드론의 비행 이동 경로(111)를 설정할 수 있다. 또한, 상기 전자 장치(110)는 무선 통신을 이용하여 상기 드론(120)으로 제어 신호를 전송할 수 있으며, 상기 드론(120)으로부터 위치 정보, 비행 정보 등과 같은 상태 정보를 실시간으로 수신할 수 있다.
상기 드론(120)은 상기 전자 장치(110)에서 설정한 이동 경로(111)에 대응하는 건물(130)의 이동 경로(131)를 따라 비행할 수 있다. 상기 드론(120)의 이동 경로(131)는 상기 전자 장치(110)에서 미리 전송할 수도 있으며, 상기 드론(120)으로부터 수신된 위치 정보 또는 비행 정보에 기반하여 상기 전자 장치(110)에서 제어할 수도 있다.
상기 드론(120)은 상기 건물의 외벽에서 설정된 이동 경로(131)를 따라 비행하면서, 상기 드론(120)에 구비된 카메라(121)를 이용하여 영상을 촬영할 수 있다. 상기 드론(120)에 구비된 카메라(121)를 통해 촬영된 영상은 실시간으로 상기 전자 장치(110)로 전송될 수 있다. 다양한 실시예에 따라, 상기 드론(120)에 구비된 카메라(121)를 통해 촬영된 영상은 메모리에 저장된 후, 상기 전자 장치(110)에 전송될 수도 있다.
상기 전자 장치(110)는 상기 드론(120)으로부터 상기 촬영된 영상을 수신하고, 상기 드론(120)이 상기 설정된 비행 이동 경로(111)를 따라 이동하면서 촬영된 영상을 확인할 수 있다. 또한, 상기 전자 장치(110)는 상기 확인된 영상에 포함된 복수의 영상 프레임들 중 각 영상 프레임에 대한 상대적 위치를 추정할 수 있다. 다음으로, 상기 전자 장치(110)는 상기 추정된 상대적 위치와 관련된 정보를 상기 각 영상 프레임에 삽입할 수 있다.
상기 전자 장치(110)와 상기 드론(120)은 통신 네트워크를 통해 서로 데이터를 송수신할 수 있다. 상기 통신 네트워크는 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등 중 적어도 하나를 포함할 수 있다. 또한, 상기 통신 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 통신 네트워크는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(Infrared Data Association; IrDA) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선전송기술을 이용할 수도 있다.
또한, 상기 통신 네트워크는 근거리 무선 통신을 포함할 수 있으며, 예컨대, WiFi(wireless fidelity), LiFi(light fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(ZigBee), NFC(near field communication), 또는 자력 시큐어 트랜스미션(magnetic secure transmission) 중 적어도 하나를 포함할 수 있다.
이하, 도 2 및 도 3을 참조하여, 본 발명의 실시 예에 따른 상기 전자 장치(110) 및 드론(120)의 구조를 상세히 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 전자 장치의 세부 구조를 나타내는 블록도이다. 도 2를 참조하면, 본 발명의 실시 예에 따른 전자 장치(110)는 입력부(210), 표시부(220), 제어부(230), 통신부(240), 저장부(250), 위치 정보 삽입부(20), 프레임 위치 산출부(270), 경로 설정부(280)를 포함하여 구성될 수 있다.
상기 입력부(210)는 사용자의 입력에 따라 미리 설정된 영역 내에서 드론의 비행 이동 경로를 설정하기 위한 설정 정보를 입력할 수 있다.
상기 표시부(220)는 상기 입력부(210)에 의해 입력된 비행 이동 경로를 화면상에 표시하거나, 상기 드론으로부터 촬영된 영상 이미지를 화면에 표시할 수 있다.
상기 제어부(230)는 상기 전자 장치(110)에 포함된 각 구성들 간의 데이터 송수신을 제어할 수 있다.
상기 통신부(240)는 유무선 통신 수단을 이용하여 상기 드론(120)과 통신하는 기능을 수행할 수 있다. 예컨대, 상기 전자 장치(110)는 상기 통신부(240)를 통해 상기 설정된 드론의 비행 이동 경로를 상기 드론(120)으로 전송할 수 있다. 또한, 상기 전자 장치(110)는 상기 통신부(240)를 통해 상기 드론(120)으로부터 위치 정보, 비행 정보 등과 같은 상태 정보를 실시간으로 수신할 수 있다.
본 발명의 실시예에 따라, 상기 경로 설정부(280)는 상기 입력부(210)를 통한 사용자 입력에 따라 미리 설정된 영역 내에서 드론의 비행 이동 경로를 설정할 수 있다. 다양한 실시예에 따라, 상기 드론의 비행 이동 경로는, 좌측 또는 우측으로 비행한 후 상승하는 경로를 하나의 단위 경로로 설정할 수 있다.
상기 프레임 위치 산출부(270)는 상기 드론(120)이 경로 설정부(280)에 의해 설정된 비행 이동 경로를 따라 이동하면서 촬영된 영상을 확인하고, 상기 확인된 영상에 포함된 복수의 영상 프레임들 중 각 영상 프레임에 대한 상대적 위치를 추정할 수 있다.
다양한 실시예에 따라, 상기 프레임 위치 산출부(270)는 각 단위 경로당 촬영된 영상 프레임들의 총 프레임 개수를 확인하고, 상기 확인된 총 프레임 개수로부터 각 영상 프레임별 이동 거리를 산출하며, 상기 산출된 영상 프레임별 이동 거리에 기반하여, 각 영상 프레임에 대한 상대적 위치를 추정한다. 이때, 상기 상대적 위치는, 상기 미리 설정된 영역 내에서 미리 설정된 기준 위치로부터의 상대적 거리를 나타낸다.
또한, 상기 프레임 위치 산출부(270)는 상기 설정된 단위 경로에 따라, 상기 각 영상 프레임의 경로 회차를 확인하고, 상기 확인된 경로 회차에 기반하여 기준 위치로부터 x 축 상의 상대적 거리를 나타내는 x 좌표를 산출하며, 상기 확인된 경로 회차에 기반하여 기준 위치로부터 z 축 상의 상대적 거리를 나타내는 z 좌표를 산출한다.
또한, 상기 프레임 위치 산출부(270)는 각 단위 경로별 촬영된 영상의 총 영상 프레임 개수를 확인하고, 상기 각 단위 경로에 대한 실제 거리를 확인하며, 상기 확인된 단위 경로에 대한 실제 거리 및 총 영상 프레임 개수에 기반하여 각 영상 프레임별 이동 거리를 산출한다.
또한, 상기 프레임 위치 산출부(270)는 상기 영상 프레임의 경로 회차가 홀수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 증가하도록 설정하고, 상기 영상 프레임의 경로 회차가 짝수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 감소하도록 설정한다.
상기 위치 정보 삽입부(260)는 상기 프레임 위치 산출부(270)를 통해 추정된 상대적 위치와 관련된 정보를 상기 각 영상 프레임에 삽입할 수 있다. 상기 위치와 관련된 정보가 삽입된 각 영상 프레임은 상기 표시부(220)를 통해 화면에 표시될 수 있다.
도 3은 본 발명의 실시 예에 따른 드론의 세부 구조를 나타내는 블록도이다. 도 3을 참조하면, 본 발명의 실시예에 따른 드론(120)은 카메라(310), 카메라 제어부(320), 무선 통신부(330), 비행 제어부(340), 비행부(350), 배터리(360)를 포함하여 구성될 수 있다.
카메라(310)는 사진을 촬영하고, 촬영된 사진의 이미지 데이터를 무선 통신부(330)로 출력하거나 메모리에 저장할 수 있다. 카메라 제어부(320)는 카메라의 촬영 각도를 조절할 수 있다. 카메라 제어부(320)는 드론을 제어하는 전자 장치(110)로부터 전송된 카메라의 촬영 각도 값에 기초하여, 카메라의 촬영 각도(예를 들어, 상하좌우 각도)를 조절할 수 있다. 추가적으로, 카메라 제어부(320)는 카메라(310)의 줌, 조리개 등을 조절할 수 있다.
비행 제어부(340)는 비행부(350)를 제어하여, 드론(120)의 비행 동작을 제어한다. 비행부(350)는 예컨대 네 개의 모터와 이것에 일대일로 직결된 네 개의 프로펠러로 구성되며 네 개의 프로펠러를 사용하여 비행한다. 비행부(350)는 여섯 개의 모터와 여섯 개의 프로펠러로 구성될 수도 있다. 비행 제어부(340)는 전자 장치(110)로부터 전송된 드론의 위치 값에 기초하여, 드론의 비행 동작을 제어할 수 있다. 보다 구체적으로, 비행 제어부(340)는 전자 장치(110)로부터 전송된 드론의 비행 동작에 대한 제어 명령에 따라, 비행부(350)의 네 개의 모터 각각의 회전수를 제어하는 방식으로 네 개의 프로펠러의 회전수를 제어함으로써 드론(120)의 위치를 이동시키거나 드론(120)의 공중 자세를 제어할 수 있다. 본 발명의 실시예에 따라, 상기 전자 장치(110)에서 전송되는 드론의 비행 동작에 대한 제어 명령은 전술한 미리 설정된 드론의 비행 이동 경로(111)에 기반하여 생성될 수 있다.
무선 통신부(330)는 전자 장치(110)의 통신부(240)와 무선으로 통신하기 위한 모듈이다. 무선 통신부(330)는 카메라(320)에 의해 촬영된 사진의 이미지 데이터, 드론(120)의 위치 정보 및 카메라(310)의 촬영 각도 값을 포함하는 데이터 신호를 전자 장치(110)로 전송하고, 전자 장치(110)로부터 드론(120)의 보정된 위치값 및 카메라(310)의 보정된 촬영 각도 값을 포함하는 피드백 신호를 수신할 수 있다. 드론(120)의 무선 통신부(330)는 예를 들어, WLAN(Wireless Local Area Network), 와이파이(Wi-Fi), 직비(ZigBee), 와이맥스(Wimax) 등과 같은 무선 통신 기술에 의하여 전자 장치(110)의 통신부(240)와 무선으로 통신할 수 있다. 배터리(360)는 드론의 구동계와 전자회로의 구동 전원, 즉 카메라(310), 카메라 제어부(320), 비행 제어부(340), 비행부(350), 무선 통신부(330)의 구동 전원을 공급한다.
명확하게 도시하지 않았으나, 도 2 및 도 3에 도시된 장치는 도 2 및 도 3에 도시되지 않은 구성요소를 더 포함하거나 또는 도 2 및 도 3에 도시된 일부 구성요소를 포함하지 않을 수 있다. 또한, 도 2 및 도 3에 도시된 바와 다르게, 일부 구성요소가 복수의 세부적인 구성요소로 분리되거나, 복수의 구성요소가 하나의 구성요소로 결합되어 제공될 수도 있다.
한편, 상기 장치의 각각의 구성요소들은 기능 및 논리적으로 분리될 수 있음을 나타나기 위해 별도로 도면에 표시한 것이며, 물리적으로 반드시 별도의 구성요소이거나 별도의 코드로 구현되는 것을 의미하는 것은 아니다.
그리고 본 명세서에서 각 기능부(또는 모듈)라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각 기능부는 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
또한, 본 명세서에서 저장부 또는 데이터베이스라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. 데이터베이스는 상기 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.
이하, 도 4 및 도 5를 참조하여, 본 발명의 실시예에 따른 영상 프레임 기반 위치 추정 방법을 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 영상 프레임 기반 위치 추정 방법을 나타내는 흐름도이다. 도 4를 참조하면, 전자 장치는 미리 설정된 영역 내에서 드론의 비행 이동 경로를 설정(410)할 수 있다.
상기 설정된 비행 이동 경로에 따라 드론 비행이 시작(420)된다.
상기 드론은 상기 설정된 비행 이동 경로에 따라 비행하면서 영상을 촬영(430)한다.
상기 설정된 이동 경로에 따른 비행이 종료(440)되면, 상기 비행 이동 경로에 따라 비행하면서 촬영된 영상을 전자 장치로 전송할 수 있다.
상기 전자 장치는 상기 드론이 상기 설정된 비행 이동 경로를 따라 이동하면서 촬영된 영상을 확인하고, 상기 확인된 영상에 포함된 복수의 영상 프레임들 중 각 영상 프레임에 대한 상대적 위치를 추정(450)한다.
상기 전자 장치는 상기 추정된 상대적 위치와 관련된 정보를 상기 각 영상 프레임에 삽입(460)한다.
이하, 도 5를 참조하여, 상기 450단계의 각 영상 프레임의 상대적 위치를 추정하는 구체적인 실시예를 상세히 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 위치 추정 세부 절차를 나타내는 흐름도이다. 도 5를 참조하면, 전자 장치는 상기 설정된 비행 이동 경로를 따라 이동하면서 촬영된 영상의 총 프레임의 개수를 확인(510)한다.
또한, 상기 전자 장치는 각 회차별 이동한 축의 총 프레임 개수를 확인(520)하고, 각 영상 프레임당 이동 거리를 산출(530)한다.
다음으로, 각 영상 프레임에 대한 상대적 좌표(예컨대, x 좌표 및 z 좌표)를 추정할 수 있다.
본 발명의 실시예에 따라, 상기 각 영상 프레임에 대한 상대적 좌표를 추정하는 방법으로서 상기 설정된 비행 이동 경로를 복수의 경로 회차들로 구분할 수 있다. 예컨대, 도 1에서의 비행 이동 경로(111)를 예를 들면, 드론(120)은 일정한 속도와 호버링을 유지하면서 설정된 이동 경로를 따라 비행하고, 드론(120)에 장착된 카메라(121)로 설정한 영역을 촬영한다.
상기 촬영된 영상의 개별 프레임에 대해 위치(즉, 상대적 위치)를 계산하여 해당 프레임 이미지에 위치 좌표를 임베딩한다. 예컨대, 미리 설정된 전체 촬영 대상 영역의 좌측 하단을 시작점 좌표로 하고 우측으로 비행한 후 상승하는 것을 경로 1회차라고 하면, 짝수 회차에는 드론이 좌측으로 이동한 후 상승하게 된다. 그리고 한 프레임 당 번호를 카운트할 수 있다. 한 방향으로 이동하는 동안의 총 프레임 개수와 현재 프레임의 번호 및 경로 회차를 계산하여 최종 위치를 추정하게 된다.
먼저, 촬영된 프레임 개수는 fps(frame per second)와 이동 시간의 곱으로 구할 수 있으며, 드론(120)이 이동한 거리를 이동하는 동안 촬영된 영상 프레임 개수로 나누어 한 영상 프레임당 이동 거리를 구한다. 그 다음 현재 프레임 번호(N)와 이동한 축의 총 프레임 개수(x축 총 프레임 개수(fx) 및 z축 총 프레임 개수(fz))를 이용하여 몇 번째 회차(T)인지 하기 <수학식 1>에 따라 산출(540)하며, 여기서 한 층 범위에서 x축 방향으로 이동한 프레임의 개수 C는 하기 <수학식 2>를 이용하여 산출할 수 있다.
Figure 112019110457484-pat00001
Figure 112019110457484-pat00002
상기 <수학식 1>에 의해 그 값이 짝수인지 홀수인지를 판단하여 각각의 경우에 따라 하기 <수학식 3>과 같이 x 좌표 및 y 좌표를 상이하게 산출(550, 560)할 수 있다.
Figure 112019110457484-pat00003
상기 각 영상 프레임에 대한 x 좌표 및 z 좌표 산출은 마지막 프레임까지 반복하여 수행(570)될 수 있다. 상기 <수학식 3>에서 H는 한 영상 프레임에 들어오는 실제 높이 규격, T는 Turn(회차, 즉 층수라고 볼 수 있음), Dx는 한 프레임당 x축 방향으로 이동한 거리를 의미하며, Dz는 한 프레임당 z축 방향으로 이동한 거리를 의미한다.
이와 같이, 각 영상 프레임에 대해 산출된 x 좌표 및 z 좌표는 도 6에 도시된 바와 같이 각 영상 프레임(600)에 삽입될 수 있다. 예컨대, 상기 도 6을 참조하면, 영상 프레임(600)에 촬영된 이미지가 표시될 수 있으며, 상기 촬영된 이미지에는 건물의 균열부(620)가 확인될 수 있다. 또한, 본 발명의 실시예에 따라 산출된 상대적 위치(610)가 [3m, 5m]로 삽입될 수 있다.
한편, 본 발명의 일 실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상으로, 본 발명의 실시 예에 따른 시스템, 장치 및 방법을 상세히 설명하였다. 전술한 본 발명의 실시 예에서는 어떠한 전자 장치에도 동일하게 적용할 수 있다. 이하, 본 발명의 실시 예에 따른 변형 가능한 다양한 전자 장치의 구현 예를 설명한다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 예를 들면 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
도 7은 본 발명의 실시 예에 따른 전자 장치의 세부 구성을 나타내는 도면이다. 도 7을 참조하면, 전자 장치(700)는, 프로세서(710), 메모리(720), 버스(730), 입출력 인터페이스(740), 디스플레이(750), 통신 인터페이스(760) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(700)는, 상기 구성요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.
상기 버스(730)는, 예를 들면, 상기 구성요소들(710 내지 770)을 서로 연결하고, 상기 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
상기 프로세서(710)는, 중앙처리장치(central processing unit(CPU)), 애플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 상기 프로세서(710)는, 예를 들면, 상기 전자 장치(700)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리(720)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리(720)는, 예를 들면, 상기 전자 장치(700)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 상기 메모리(720)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 상기 프로그램은, 예를 들면, 커널(724), 미들웨어(723), 애플리케이션 프로그래밍 인터페이스(application programming interface(API))(722), 및/또는 애플리케이션 프로그램(또는 "애플리케이션")(721) 등을 포함할 수 있다. 상기 커널(724), 미들웨어(723), 또는 API(722)의 적어도 일부는, 운영 체제(operating system(OS))라 불릴 수 있다.
상기 커널(724)은, 예를 들면, 다른 프로그램들(예: 미들웨어(723), API(722), 또는 애플리케이션 프로그램(721))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(730), 프로세서(710), 또는 메모리(720) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(724)은 상기 미들웨어(723), 상기 API(722), 또는 상기 애플리케이션 프로그램(721)에서 상기 전자 장치(700)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(723)는, 예를 들면, 상기 API(722) 또는 상기 애플리케이션 프로그램(721)이 상기 커널(724)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(723)는 상기 애플리케이션 프로그램(721)으로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 애플리케이션 프로그램(721) 중 적어도 하나의 애플리케이션에 상기 전자 장치(700)의 시스템 리소스(예: 버스(730), 프로세서(710), 또는 메모리(720) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)를 수행할 수 있다.
상기 API(722)는, 예를 들면, 상기 애플리케이션(721)이 상기 커널(724) 또는 상기 미들웨어(723)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
상기 입출력 인터페이스(740)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 상기 전자 장치(700)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 상기 입출력 인터페이스(740)는 상기 전자 장치(700)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
상기 디스플레이(750)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 상기 디스플레이(750)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 상기 디스플레이(750)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
상기 통신 인터페이스(760)는, 예를 들면, 상기 전자 장치(700)와 외부 장치 간의 통신을 설정할 수 있다. 예를 들면, 상기 통신 인터페이스(760)는 무선 통신 또는 유선 통신을 통해서 통신 네트워크에 연결되어 상기 외부 장치와 통신할 수 있다.
상기 무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등 중 적어도 하나를 사용할 수 있다. 상기 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 상기 통신 네트워크(telecommunications network)는, 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
본 발명은 특정 기능들 및 그의 관계들의 성능을 나타내는 방법 단계들의 목적을 가지고 위에서 설명되었다. 이러한 기능적 구성 요소들 및 방법 단계들의 경계들 및 순서는 설명의 편의를 위해 여기에서 임의로 정의되었다. 상기 특정 기능들 및 관계들이 적절히 수행되는 한 대안적인 경계들 및 순서들이 정의될 수 있다. 임의의 그러한 대안적인 경계들 및 순서들은 그러므로 상기 청구된 발명의 범위 및 사상 내에 있다. 추가로, 이러한 기능적 구성 요소들의 경계들은 설명의 편의를 위해 임의로 정의되었다. 어떠한 중요한 기능들이 적절히 수행되는 한 대안적인 경계들이 정의될 수 있다. 마찬가지로, 흐름도 블록들은 또한 어떠한 중요한 기능성을 나타내기 위해 여기에서 임의로 정의되었을 수 있다. 확장된 사용을 위해, 상기 흐름도 블록 경계들 및 순서는 정의되었을 수 있으며 여전히 어떠한 중요한 기능을 수행한다. 기능적 구성 요소들 및 흐름도 블록들 및 순서들 둘 다의 대안적인 정의들은 그러므로 청구된 본 발명의 범위 및 사상 내에 있다.
본 발명은 또한 하나 이상의 실시 예들의 용어로, 적어도 부분적으로 설명되었을 수 있다. 본 발명의 실시 예는 본 발명, 그 측면, 그 특징, 그 개념, 및/또는 그 예를 나타내기 위해 여기에서 사용된다. 본 발명을 구현하는 장치, 제조의 물건, 머신, 및/또는 프로세스의 물리적인 실시 예는 여기에 설명된 하나 이상의 실시 예들을 참조하여 설명된 하나 이상의 측면들, 특징들, 개념들, 예들 등을 포함할 수 있다. 더구나, 전체 도면에서, 실시 예들은 상기 동일한 또는 상이한 참조 번호들을 사용할 수 있는 상기 동일하게 또는 유사하게 명명된 기능들, 단계들, 모듈들 등을 통합할 수 있으며, 그와 같이, 상기 기능들, 단계들, 모듈들 등은 상기 동일한 또는 유사한 기능들, 단계들, 모듈들 등 또는 다른 것들일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110 : 전자 장치 111 : 이동 경로
120 : 드론 121 : 카메라
130 : 건물 131 : 이동 경로
140 : 촬영 영역 210 : 입력부
220 : 표시부 230 : 제어부
240 : 통신부 250 : 저장부
260 : 위치 정보 삽입부 270 : 프레임 위치 산출부
280 : 경로 설정부 310 : 카메라
320 : 카메라 제어부 330 : 무선 통신부
340 : 비행 제어부 350 : 비행부
360 : 배터리

Claims (16)

  1. 영상 프레임 기반 위치 추정 방법에 있어서,
    미리 설정된 영역 내에서 좌측 또는 우측으로 비행한 후 상승하는 경로를 하나의 단위 경로로 하는 드론의 비행 이동 경로를 설정하는 단계;
    상기 드론이 상기 설정된 비행 이동 경로를 따라 이동하면서 촬영된 영상을 확인하는 단계;
    상기 설정된 단위 경로에 따라, 상기 확인된 영상에 포함된 복수의 영상 프레임들 중 각 영상 프레임의 경로 회차를 확인하는 단계;
    상기 확인된 경로 회차에 기반하여 기준 위치로부터 x 축 상의 상대적 거리를 나타내는 x 좌표를 산출하는 단계;
    상기 확인된 경로 회차에 기반하여 기준 위치로부터 z 축 상의 상대적 거리를 나타내는 z 좌표를 산출하여, 각 영상 프레임에 대한 상대적 위치를 추정하는 단계; 및
    상기 추정된 상대적 위치와 관련된 정보를 상기 각 영상 프레임에 삽입하는 단계;를 포함하는, 영상 프레임 기반 위치 추정 방법.
  2. 제1항에 있어서, 상기 드론의 비행 이동 경로는,
    좌측 또는 우측으로 비행한 후 상승하는 경로를 하나의 단위 경로로 설정하는 것을 특징으로 하는, 영상 프레임 기반 위치 추정 방법.
  3. 제2항에 있어서, 상기 방법은,
    각 단위 경로당 촬영된 영상 프레임들의 총 프레임 개수를 확인하는 단계;
    상기 확인된 총 프레임 개수로부터 각 영상 프레임별 이동 거리를 산출하는 단계; 및
    상기 산출된 영상 프레임별 이동 거리에 기반하여, 각 영상 프레임에 대한 상대적 위치를 추정하는 단계;를 포함하는 것을 특징으로 하는, 영상 프레임 기반 위치 추정 방법.
  4. 제3항에 있어서, 상기 상대적 위치는,
    상기 미리 설정된 영역 내에서 미리 설정된 기준 위치로부터의 상대적 거리를 나타내는 것을 특징으로 하는, 영상 프레임 기반 위치 추정 방법.
  5. 제2항에 있어서, 상기 각 영상 프레임에 대한 상대적 위치를 추정하는 단계는,
    상기 설정된 단위 경로에 따라, 상기 각 영상 프레임의 경로 회차를 확인하는 단계;
    상기 확인된 경로 회차에 기반하여 기준 위치로부터 x 축 상의 상대적 거리를 나타내는 x 좌표를 산출하는 단계; 및
    상기 확인된 경로 회차에 기반하여 기준 위치로부터 z 축 상의 상대적 거리를 나타내는 z 좌표를 산출하는 단계;를 포함하는, 영상 프레임 기반 위치 추정 방법.
  6. 제3항에 있어서, 상기 각 영상 프레임별 이동 거리를 산출하는 단계는,
    각 단위 경로별 촬영된 영상의 총 영상 프레임 개수를 확인하는 단계;
    상기 각 단위 경로에 대한 실제 거리를 확인하는 단계; 및
    상기 확인된 단위 경로에 대한 실제 거리 및 총 영상 프레임 개수에 기반하여 각 영상 프레임별 이동 거리를 산출하는 단계;를 포함하는 것을 특징으로 하는, 영상 프레임 기반 위치 추정 방법.
  7. 제5항에 있어서, 상기 각 영상 프레임에 대한 상대적 위치를 추정하는 단계는,
    상기 영상 프레임의 경로 회차가 홀수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 증가하도록 설정되는 것을 특징으로 하는, 영상 프레임 기반 위치 추정 방법.
  8. 제5항에 있어서, 상기 각 영상 프레임에 대한 상대적 위치를 추정하는 단계는,
    상기 영상 프레임의 경로 회차가 짝수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 감소하도록 설정되는 것을 특징으로 하는, 영상 프레임 기반 위치 추정 방법.
  9. 영상 프레임 기반 위치 추정을 위한 전자 장치에 있어서,
    미리 설정된 영역 내에서 좌측 또는 우측으로 비행한 후 상승하는 경로를 하나의 단위 경로로 하는 드론의 비행 이동 경로를 설정하는 경로 설정부;
    상기 드론이 상기 설정된 비행 이동 경로를 따라 이동하면서 촬영된 영상을 확인하고, 상기 설정된 단위 경로에 따라, 상기 확인된 영상에 포함된 복수의 영상 프레임들 중 각 영상 프레임의 경로 회차를 확인하고, 상기 확인된 경로 회차에 기반하여 기준 위치로부터 x 축 상의 상대적 거리를 나타내는 x 좌표를 산출하며, 상기 확인된 경로 회차에 기반하여 기준 위치로부터 z 축 상의 상대적 거리를 나타내는 z 좌표를 산출하여, 각 영상 프레임에 대한 상대적 위치를 추정하는 프레임 위치 산출부; 및
    상기 추정된 상대적 위치와 관련된 정보를 상기 각 영상 프레임에 삽입하는 위치 정보 삽입부;를 포함하는, 전자 장치.
  10. 제9항에 있어서, 상기 드론의 비행 이동 경로는,
    좌측 또는 우측으로 비행한 후 상승하는 경로를 하나의 단위 경로로 설정하는 것을 특징으로 하는, 전자 장치.
  11. 제10항에 있어서, 상기 프레임 위치 산출부는,
    각 단위 경로당 촬영된 영상 프레임들의 총 프레임 개수를 확인하고, 상기 확인된 총 프레임 개수로부터 각 영상 프레임별 이동 거리를 산출하며, 상기 산출된 영상 프레임별 이동 거리에 기반하여, 각 영상 프레임에 대한 상대적 위치를 추정하는 것을 특징으로 하는, 전자 장치.
  12. 제11항에 있어서, 상기 상대적 위치는,
    상기 미리 설정된 영역 내에서 미리 설정된 기준 위치로부터의 상대적 거리를 나타내는 것을 특징으로 하는, 전자 장치.
  13. 제10항에 있어서, 상기 프레임 위치 산출부는,
    상기 설정된 단위 경로에 따라, 상기 각 영상 프레임의 경로 회차를 확인하고, 상기 확인된 경로 회차에 기반하여 기준 위치로부터 x 축 상의 상대적 거리를 나타내는 x 좌표를 산출하며, 상기 확인된 경로 회차에 기반하여 기준 위치로부터 z 축 상의 상대적 거리를 나타내는 z 좌표를 산출하는 것을 특징으로 하는, 전자 장치.
  14. 제11항에 있어서, 상기 프레임 위치 산출부는,
    각 단위 경로별 촬영된 영상의 총 영상 프레임 개수를 확인하고, 상기 각 단위 경로에 대한 실제 거리를 확인하며, 상기 확인된 단위 경로에 대한 실제 거리 및 총 영상 프레임 개수에 기반하여 각 영상 프레임별 이동 거리를 산출하는 것을 특징으로 하는, 전자 장치.
  15. 제13항에 있어서, 상기 프레임 위치 산출부는,
    상기 영상 프레임의 경로 회차가 홀수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 증가하도록 설정되는 것을 특징으로 하는, 전자 장치.
  16. 제13항에 있어서, 상기 프레임 위치 산출부는,
    상기 영상 프레임의 경로 회차가 짝수 회차인 경우, 상기 영상 프레임의 프레임 번호가 증가함에 따라 x 좌표가 감소하도록 설정되는 것을 특징으로 하는, 전자 장치.
KR1020190135230A 2019-10-29 2019-10-29 영상 프레임 기반 위치 추정 방법 및 전자 장치 KR102308900B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190135230A KR102308900B1 (ko) 2019-10-29 2019-10-29 영상 프레임 기반 위치 추정 방법 및 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190135230A KR102308900B1 (ko) 2019-10-29 2019-10-29 영상 프레임 기반 위치 추정 방법 및 전자 장치

Publications (2)

Publication Number Publication Date
KR20210050781A KR20210050781A (ko) 2021-05-10
KR102308900B1 true KR102308900B1 (ko) 2021-10-06

Family

ID=75917168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135230A KR102308900B1 (ko) 2019-10-29 2019-10-29 영상 프레임 기반 위치 추정 방법 및 전자 장치

Country Status (1)

Country Link
KR (1) KR102308900B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339354B1 (ko) * 2012-03-26 2013-12-09 한국철도기술연구원 영상을 이용한 철도차량의 위치검지 시스템 및 위치검지방법
KR101569919B1 (ko) * 2013-10-30 2015-11-17 인하대학교 산학협력단 차량의 위치 추정 장치 및 방법
KR102016551B1 (ko) * 2014-01-24 2019-09-02 한화디펜스 주식회사 위치 추정 장치 및 방법
KR20190092789A (ko) 2018-01-31 2019-08-08 주식회사 에디테크놀로지 드론의 위치 측정 방법 및 이를 이용한 드론의 위치 보정 시스템

Also Published As

Publication number Publication date
KR20210050781A (ko) 2021-05-10

Similar Documents

Publication Publication Date Title
US10635902B2 (en) Electronic apparatus and operating method thereof
US10809711B2 (en) Electronic device and method for controlling the same
US20190369613A1 (en) Electronic device and method for controlling multiple drones
US10310290B2 (en) Camera module having stabilizer and electronic device including the same
US11262748B2 (en) Electronic device for controlling unmanned aerial vehicle and control method therefor
US20170293297A1 (en) Electronic apparatus and operating method thereof
WO2019113727A1 (zh) 无人飞行器返航方法、装置、存储介质和无人飞行器
US10452063B2 (en) Method, storage medium, and electronic device for controlling unmanned aerial vehicle
WO2018214074A1 (zh) 无人飞行器的返航控制方法、设备及无人飞行器
US10425576B2 (en) Drone and method for controlling the same
US20170134699A1 (en) Method and apparatus for photographing using electronic device capable of flying
US20200271269A1 (en) Method of controlling gimbal, gimbal, and unmanned aerial vehicle
EP3330178B1 (en) Control device and method for unmanned arial photography vehicle
WO2018120350A1 (zh) 对无人机进行定位的方法及装置
EP3680610A1 (en) Method, device, and remote control for planning navigation region of unmanned aerial vehicle
KR20180096190A (ko) 무인 비행 장치를 제어하는 전자 장치와 이의 동작 방법
KR20160123885A (ko) 비행이 가능한 전자 장치를 이용한 촬영 방법 및 장치
KR102308900B1 (ko) 영상 프레임 기반 위치 추정 방법 및 전자 장치
CN110278717B (zh) 控制飞行器飞行的方法及设备
CN113660452A (zh) 系统、移动体以及信息处理装置
KR20180107642A (ko) 외부 객체의 움직임에 기반하여 이동 위치를 결정하는 방법 및 이를 구현한 전자 장치
KR102017194B1 (ko) 무인항공기 및 무인항공기의 비행방법
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
US11820488B2 (en) Image capturing method
WO2021087724A1 (zh) 一种控制方法、控制设备、可移动平台及控制系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant