KR20240057023A

KR20240057023A - 공중 촬영 사진 및 메타데이터 기반 실제 좌표를 제공하는 전자 장치의 제어 방법

Info

Publication number: KR20240057023A
Application number: KR1020220137252A
Authority: KR
Inventors: 서호석; 성수남
Original assignee: 주식회사 시드웨어
Priority date: 2022-10-24
Filing date: 2022-10-24
Publication date: 2024-05-02

Abstract

본 발명은 공중 촬영 사진 및 메타데이터 기반 실제 좌표를 제공하는 전자 장치의 제어 방법에 관한 것으로, 전자 장치가, 메타데이터를 포함하는 이미지를 획득하는 단계, 전자 장치가, 사용자의 단말로 이미지를 제공하는 단계, 전자 장치가, 단말로부터 이미지에 대한 일 지점을 선택하는 사용자 명령을 획득하는 단계, 전자 장치가, 메타데이터를 바탕으로 지점에 대한 실제 좌표를 산출하는 단계, 및 전자 장치가, 실제 좌표를 단말로 제공하는 단계를 포함한다.

Description

공중 촬영 사진 및 메타데이터 기반 실제 좌표를 제공하는 전자 장치의 제어 방법{CONTROL METHOD OF ELECTRONIC DEVICE PROVIDING ACTUAL COORDINATE BASED ON AERIAL PHOTOGRAPHY AND METADATA}

본 발명은 공중 촬영 사진 및 메타데이터 기반 실제 좌표를 제공하는 전자 장치의 제어 방법에 관한 것으로, 상세하게는, GPS(Global Positioning System) 및 카메라가 장착된 드론, 항공기, 헬리콥터 등의 비행 장치를 통해 지면을 대상으로한 이미지를 획득하고, 사용자가 이미지 상에서 선택한 일 지점에 대한 실제 좌표를 산출하는 기술이다.

GPS(Global Positioning System), GIS(Geographic Information System), AR(Augmented Reality) 등의 기술 분야은 대체적으로 대형 항공측량 업체에서 연구 개발이 이뤄지고 있으나, 주요 업무가 항공측량, 항공영상제작, 수치지도제작 등 GIS에 대한 데이터베이스를 구축하는 것에 집중하고 있어 GPS 관련 솔루션 개발에는 소극적인 상황이다.

한편, 특정 지점에 대한 좌표를 산출하는 종래의 기술들은 라이다 장비, 포인트 장비 등을 탑재한 차량이 광범위하게 데이터베이스를 추출해서 지형지물을 생성하는 등, 대체로 포인트 클라우드 형태의 데이터를 추출함에 따라 데이터가 굉장이 무거워지기 때문에 데이터를 가공하는 시간이 많이 들고, 장비의 비용이 굉장히 높다.

한편, 상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.

등록특허공보 제10-2325128호, 2021.11.05.

본 발명이 해결하고자 하는 과제는 비행 장치가 카메라를 통해 이미지를 촬영하면, 이미지, 이미지에 포함된 메타데이터(이미지를 촬영한 카메라가 장착된 비행 장치의 제1 자세 데이터, 비행 장치의 위치 데이터, 비행 장치의 지표면으로부터의 고도, 카메라의 제2 자세 데이터, 및 카메라의 화각 데이터)를 바탕으로 사용자가 임의로 이미지 상에 선택한 지점의 실제 좌표(경도, 위도, 지표고 등)를 산출하는, 공중 촬영 사진 및 메타데이터 기반 실제 좌표를 제공하는 전자 장치의 제어 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전자 장치의 제어 방법에 있어서, 전자 장치가, 메타데이터를 포함하는 이미지를 획득하는 단계, 전자 장치가, 사용자의 단말로 이미지를 제공하는 단계, 전자 장치가, 단말로부터 이미지에 대한 일 지점을 선택하는 사용자 명령을 획득하는 단계, 전자 장치가, 메타데이터를 바탕으로 지점에 대한 실제 좌표를 산출하는 단계, 및 전자 장치가, 실제 좌표를 단말로 제공하는 단계를 포함한다.

추가로, 메타데이터는, 이미지를 촬영한 카메라가 장착된 비행 장치의 제1 자세 데이터, 비행 장치의 위치 데이터, 비행 장치의 지표면으로부터의 고도, 카메라의 제2 자세 데이터, 및 카메라의 화각 데이터를 포함하는 것을 특징으로 할 수 있다.

추가로, 실제 좌표를 산출하는 단계는, 위치 데이터를 바탕으로, 경도 및 위도를 식별하는 단계, 제1 자세 데이터 및 제2 자세 데이터를 바탕으로, 이미지에 대한 비행 장치의 촬영시 자세 정보를 생성하는 단계, 화각 데이터, 고도, 및 이미지의 해상도를 바탕으로, 이미지에 포함된 사각형을 이루는 촬영 영역의 가로 거리값 및 촬영 영역의 세로 거리값을 산출하는 단계, 촬영 영역의 가로 거리값, 촬영 영역의 세로 거리값, 및 이미지 상의 중심점을 기준으로, 지점의 상대 좌표를 산출하는 단계, 위치 데이터, 및 고도를 포함하는 좌표를 원점으로 저장하는 단계, 자세 정보를 적용하여, 원점 및 상대 좌표를 각각 3차원 회전시켜, 3차원 원점 및 3차원 상대 좌표를 획득하는 단계, 3차원 원점을 일 단위 좌표로 변환하는 단계, 변환된 3차원 원점을 바탕으로, 비행 장치를 이동시켜, 비행 장치의 이동된 위치에 대한 고도를 획득하는 단계, 비행 장치의 이동된 위치에 TIN(Triangulated Irregular Network)를 적용하여, 비행 장치의 이동된 위치에 대한 지표고를 획득하는 단계, 고도 및 지표고를 바탕으로, 비행 장치의 이동된 위치에 대한 해발 고도를 산출하는 단계, 비행 장치의 이동된 위치에 대한 좌표 및 해발 고도를 바탕으로, 비행 장치의 실제 위치 좌표를 획득하는 단계, 3차원 원점을 시작점으로 하여 실제 위치 좌표를 끝점으로 갖는 벡터를 적용하여, 3차원 상대 좌표를 이동시키는 단계, 실제 위치 좌표를 꼭지점으로 갖되, 이동된 3차원 상대 좌표를 포함하는 3차원 선형을 생성하는 단계, TIN을 적용하여, 3차원 선형이 지형과 교차하는 적어도 하나의 교점 중, 실제 위치 좌표에 가장 가까운 교점을 획득하는 단계, 및 획득된 교점의 좌표를 산출하여, 실제 좌표로 획득하는 단계를 더 포함할 수 있다.

추가로, 비행 장치는, GPS(Global Positioning System) 센서를 포함하고, 제1 자세 데이터 및 제2 자세 데이터는, 각각이 Roll, Pitch, 및 Yaw에 대한 3축으로 구성된 각도 값이고, 화각 데이터는, 카메라의 가로 화각 정보(Hfov, Horizontal field of View), 및 세로 화각 정보(Vfov, Vertical field of View)를 포함하는 것을 특징으로 할 수 있다.

추가로, 사용자의 단말로 이미지를 제공하는 단계는, 단말로부터 목적 객체에 대한 정보를 수신하면, 이미지 내에서 목적 객체를 획득하는 단계, 목적 객체가 위치하는 특이 지점을 획득하는 단계, 메타데이터를 바탕으로, 특이 지점의 실제 좌표인 제1 좌표를 산출하는 단계, 및 제1 좌표를 단말로 제공하는 단계를 더 포함할 수 있다.

추가로, 전자 장치의 제어 방법은, 일정 시간 간격에 따라, 제1 좌표를 원점으로 갖는 트래킹 이미지를 획득하는 단계, 트래킹 이미지 내에서 목적 객체를 재획득하는 단계, 재획득된 목적 객체가 위치하는 특이 지점을 재획득하는 단계, 트래킹 이미지에 포함된 메타데이터를 바탕으로, 재획득된 특이 지점의 실제 좌표인 제2 좌표를 산출하는 단계, 및 산출된 제2 좌표를 단말로 제공하는 단계를 더 포함하고, 트래킹 이미지는, 전자 장치가 단말로부터 트래킹 종료 요청을 수신하기 전까지 일정 시간 간격에 따라, 가장 마지막에 획득된 제2 좌표를 원점으로 하여 재획득되는 것을 특징으로 할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 공중 촬영 사진 및 메타데이터 기반 실제 좌표를 제공하는 전자 장치의 제어 방법에 의하면, 데이터 구축을 위한 비용이나 시간의 불필요한 소모 없이, DEM(Digital Elevation Model), DSM(Digital Surface Model), TIN(Triangulated Irregular Network) 중 적어도 하나의 기술만으로도, 비행 장치를 통해 촬영된 이미지 상의 일 지점에 대한 실제 좌표(3D 좌표)를 산출할 수 있어 효과적이다.

본 발명의 전자 장치의 제어 방법은, 불법 주차 단속, 임시주차장 관제, 교통상황 조사, 사고현장 탐사 등 다양한 분야에서 활용될 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 전자 장치 구성도이다.
도 2는 본 개시의 일 실시예에 따른 시스템 구성도이다.
도 3은 본 개시의 일 실시예에 따른 기본 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 상세 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 고도 산출 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 개시의 일 실시예에 따른 전자 장치 구성도이다.

도 1에 도시된 바와 같이, 전자 장치(100)는 메모리(110), 적어도 하나의 단말 및 적어도 하나의 비행 장치와 통신하는 통신부(120), 및 메모리(110) 및 통신부(120) 각각에 연결되며, 전자 장치(100)의 전반적인 동작을 제어하는 프로세서(130)를 포함한다.

일 실시예로, 전자 장치(100)는, 서버, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 노트북 컴퓨터(notebook computer), PDA(personal digital assistant), PMP(portable multimedia player), 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다.

한편, 메모리(110)는 서버(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(110)는 비휘발성 메모리(110), 휘발성 메모리(110), 플래시메모리(110)(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.

통신부(120)는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부(120)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.

프로세서(130)는 메모리(110)에 저장된 각종 프로그램을 이용하여 서버(100)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.

RAM은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 서버(100)가 부팅되면 O/S가 RAM에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM에 저장될 수 있다.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리(110)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

그래픽 처리부는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 여기서, 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하는 구성일 수 있다. 그리고, 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성하는 구성이 일 수 있다. 이러한 렌더링부에서 생성된 화면은 디스플레이의 디스플레이 영역 내에 표시될 수 있다.

메인 CPU는 메모리(110)에 액세스하여, 메모리(110)에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

한편, 프로세서(130)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.

일 실시예에 따른 프로세서(130)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 발명과 관련하여 설명된 방법을 수행한다.

예를 들어, 프로세서(130)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다.

한편, 프로세서(130)는 프로세서(130) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(130)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(110)에는 프로세서(130)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(110)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.

도 2는 본 개시의 일 실시예에 따른 시스템 구성도이다.

도 2에 도시된 바와 같이, 전자 장치(100)를 포함하는 시스템은, 전자 장치(100)를 통해 이미지, 및 이미지 상의 일 지점에 대한 실제 좌표를 획득하고자 하는, 사용자의 단말(200) 및 이미지를 촬영하기 위해 비행하여, 카메라(310)를 통해 지면을 촬영하고, 전자 장치(100)와 통신하는 비행 장치(300)를 포함할 수 있다.

단말(200)은 이미지를 출력하고, 이미지 상의 일 지점을 선택하는 사용자 명령을 획득하는 UI(User Interface)를 사용자에게 제공하고, 사용자의 입력에 따른 사용자 명령을 획득하는 입출력 모듈, 전자 장치(100)와 통신하는 통신 모듈, 및 단말(200)의 전반적인 동작을 제어하는 제어 모듈을 포함할 수 있다.

일 실시예로, 단말(200)은, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 노트북 컴퓨터(notebook computer), PDA(personal digital assistant), PMP(portable multimedia player), 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다.

입출력 모듈은, 키보드, 디스플레이, 마우스, 드론 컨트롤러, 리모컨 등을 포함할 수 있다.

여기서, 디스플레이는 다양한 정보를 시각적으로 출력하기 위한 구성이다.

디스플레이는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED), Micro LED 등으로 구현될 수 있으나, 이에 한정되는 것은 아니고 이밖에 종래 알려진 다양한 형태의 디스플레이를 포함할 수 있다.

디스플레이는, 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수 있으며, 접히거나 구부러질 수 있는 플렉서블 디스플레이로 구현될 수도 있다.

한편, 비행 장치(300)는 GPS(Global Positioning System) 센서, 지면을 대상으로 촬영을 수행하여 이미지를 획득하는 카메라(310), 전자 장치(100) 및 단말(200) 중 적어도 하나와 통신하는 통신기, 고도를 센싱하는 적외선 센서 및 가속도 센서, 기울기를 센싱하는 자이로 센서, 및 비행 장치(300)의 전반적인 동작을 제어하는 제어기를 포함할 수 있다.

일 실시예로, 비행 장치(300)는 유인 항공기, 무인 항공기 중 적어도 하나를 포함하며, 구체적으로는, 드론, 비행기, 헬리콥터, 전투기, 열기구, 계류 기구, 비행선, 행글라이더, 활공기 등이 있을 수 있다.

여기서, 카메라(310)는 적어도 하나의 피사체를 촬영하기 위한 구성으로, 프로세서(130)는 카메라(310)를 통해 적어도 하나의 객체를 인식하거나 객체와의 거리를 식별할 수 있다.

한편, 비행 장치(300)는 일 이미지가 촬영된 시점에, 카메라(310)가 비행 장치(300) 상의 장착된 위치에 대해 틸딩된 각도(Roll. Pitch, Yaw)를 메타데이터로 저장할 수 있다.

도 3은 본 개시의 일 실시예에 따른 기본 흐름도이다.

도 3에 도시된 바와 같이, 본 발명의 전자 장치(100)의 제어 방법에 있어서, 전자 장치(100)는, 메타데이터를 포함하는 이미지를 획득(S310)하고, 사용자의 단말(200)로 이미지를 제공(S320)하여, 단말(200)로부터 이미지에 대한 일 지점을 선택하는 사용자 명령을 획득(S330)한다.

이에 따라, 전자 장치(100)는 메타데이터를 바탕으로 지점에 대한 실제 좌표를 산출(S340)하여, 실제 좌표를 단말(200)로 제공(S350)한다.

실제 좌표는, (x, y, z)의 좌표가 (위도, 경도, 지표고)로 구성될 수 있으나, 이에 한정하지는 않는다.

도 4는 본 개시의 일 실시예에 따른 상세 흐름도이다.

이때. 도 4에 도시된 바와 같이, 메타데이터는, 이미지를 촬영한 카메라(310)가 장착된 비행 장치(300)의 제1 자세 데이터, 비행 장치(300)의 위치 데이터, 비행 장치(300)의 지표면으로부터의 고도, 카메라(310)의 제2 자세 데이터, 및 카메라(310)의 화각 데이터를 포함한다.

한편, 단계 S340을 수행함에 있어서, 도 4에 도시된 바와 같이, 전자 장치(100)는 위치 데이터를 바탕으로, 경도 및 위도를 식별하고, 제1 자세 데이터 및 제2 자세 데이터를 바탕으로, 이미지에 대한 비행 장치(300)의 촬영시 자세 정보를 생성하고, 화각 데이터, 고도, 및 이미지의 해상도를 바탕으로, 이미지에 포함된 사각형을 이루는 촬영 영역의 가로 거리값 및 촬영 영역의 세로 거리값을 산출한다.

구체적으로, 전자 장치(100)는 자세 정보를 기준으로, 비행 장치(200)를 기준으로 실제 어느 방향에 위치한 지면에 대한 촬영이 수행되어 이미지가 획득되었는지 식별할 수 있으며, 화각 데이터 및 고도를 통해 이미지에 포함된 지면의 범위가 산출될 수 있다.

예컨대, 전자 장치(100)는 이미지 픽셀 당 면적이 산출하고, 이미지를 구성하는 픽셀의 수에 픽셀 당 면적을 적용하여 지면의 범위를 산출할 수 있다.

이때, 지면의 경사도가 불규칙하므로, DEM(Digital Elevation Model), DSM(Digital Surface Model), TIN(Triangulated Irregular Network) 중 적어도 하나를 기반으로 하는 공간 데이터를 바탕으로, 픽셀 당 좌표(경도, 위도 등)를 매핑하여, 이미지를 구성하는 모든 픽셀 각각에 대한 면적을 상이하게 적용할 수 있다.

따라서, 빌딩 등의 건축물을 포함하는 이미지 상에서도, 지표면을 기반으로 하는 공간 데이터를 바탕으로 픽셀 당 좌표를 매핑함으로써, 건축물을 제외한 지표면의 정확한 지표고(해발 높이로 표시한 지면의 높이), 경도, 및 위도를 획득할 수 있다.

이후, 전자 장치(100)는 촬영 영역의 가로 거리값, 촬영 영역의 세로 거리값, 및 이미지 상의 중심점을 기준으로, 지점의 상대 좌표를 산출하여, 위치 데이터, 및 고도를 포함하는 좌표를 원점으로 저장한다.

전자 장치(100)는 자세 정보를 적용하여, 원점 및 상대 좌표를 각각 3차원 회전(ex. 3행 3열 회전 행렬 적용)시켜, 3차원 원점 및 3차원 상대 좌표를 획득하고, 3차원 원점을 일 단위 좌표로 변환한다.

이에 따라, 전자 장치(100)는 변환된 3차원 원점을 바탕으로, 비행 장치(300)를 이동시켜, 비행 장치(300)의 이동된 위치에 대한 고도를 획득하고, 비행 장치(300)의 이동된 위치에 TIN(Triangulated Irregular Network)를 적용하여, 비행 장치(300)의 이동된 위치에 대한 지표고를 획득한다.

전자 장치(100)는 고도 및 지표고를 바탕으로, 즉, 고도와 지표고의 합값을 산출하여, 비행 장치(300)의 이동된 위치에 대한 해발 고도를 획득하고, 비행 장치(300)의 이동된 위치에 대한 좌표 및 해발 고도를 바탕으로, 비행 장치(300)의 실제 위치 좌표를 획득한다.

여기서, 실제 위치 좌표는, (x, y, z) 좌표가 (위도, 경도, 해발고도), (비행 장치로부터의 가로미터 거리, 비행 장치로부터의 세로미터 거리, 고도) 등으로 구성될 수 있으나, 이에 한정하지는 않는다.

전자 장치(100)는 3차원 원점을 시작점으로 하여 실제 위치 좌표를 끝점으로 갖는 벡터를 적용하여, 3차원 상대 좌표를 이동시키고, 실제 위치 좌표를 꼭지점으로 갖되, 이동된 3차원 상대 좌표를 포함하는 3차원 선형을 생성한다.

이에, 전자 장치(100)는 TIN을 적용하여, 3차원 선형이 지형과 교차하는 적어도 하나의 교점 중, 실제 위치 좌표에 가장 가까운 교점을 획득함에 따라, 획득된 교점의 좌표를 산출하여, 실제 좌표로 획득한다.

도 5는 본 개시의 일 실시예에 따른 고도 산출 예시도이다.

도 5에 도시된 바와 같이, 메타데이터를 구성하기 위해, 비행 장치(300)는 GPS(Global Positioning System) 센서를 포함한다.

또한, 제1 자세 데이터 및 제2 자세 데이터는, 각각이 Roll, Pitch, 및 Yaw에 대한 3축으로 구성된 각도 값이고, 화각 데이터는, 카메라(310)의 가로 화각 정보(Hfov, Horizontal field of View), 및 세로 화각 정보(Vfov, Vertical field of View)를 포함한다.

실시예로, 단계 S320을 수행함에 있어서, 전자 장치(100)는 사유지 및 출입제한 구역(희귀종에 대한 생태 보존 구역 등) 중 적어도 하나로 기 등록된 제한 영역을 식별할 수 있다.

이때, 식별된 제한 영역은, 비행 범위 별 촬영 가능한 화각 데이터 및 비행 범위 별 촬영 가능한 자세 데이터가 기 매칭되어 저장되어 있으며, 비행 범위는 (x, y, z) 좌표에 대한 범위이며, 이는, (위도, 경도, 고도), (제한 영역으로부터 비행 장치까지의 최소 가로미터 거리, 제한 영역으로부터 비행 장치까지의 최소 세로미터 거리, 거리에 따른 고도) 등으로 구성될 수 있으나, 이에 한정하지는 않는다.

구체적으로, 전자 장치(100)는 메타데이터 및 비행 범위를 바탕으로, 이미지에 제한 영역이 포함되었는지 여부를 식별하고, 이미지에 제한 영역이 포함된 것으로 식별되면, 메타데이터 및 비행 범위를 기준으로 이미지 상의 제한 영역이 위치하는 좌표 범위를 산출하여, 산출된 좌표 범위를 이미지 상에서 삭제 또는 마크 처리하여 변형된 이미지를 단말(200)로 제공할 수 있다.

이에 따라, 법적 및 환경적으로 문제가 될 수 있는 사유지 및 출입제한 구역에 대한 무단 이미지 공개를 방지할 수 있다.

한편, 단계 S320을 수행함에 있어서, 전자 장치(100)는 단말(200)로부터 목적 객체에 대한 정보를 수신하면, 이미지 내에서 목적 객체를 획득한다.

목적 객체는 탐색, 추적, 위치 파악 등의 대상이 되는 객체로, 비행 장치(300)에 의해 촬영될 수 있는 다양한 객체(ex. 차량, 동물, 사람, 컨테이너 박스 등)에 해당할 수 있다. 주로, 움직이거나 이송 가능한 목적 객체를 추적하고자 할 때 활용되는 개념이다.

일 실시 예로, 전자 장치(100)는 단말(200)로부터 목적 객체에 대한 정보를 수신하고, 이후 비행 장치(300)가 촬영한 이미지 내에서 목적 객체를 식별할 수 있다.

목적 객체에 대한 정보는, 목적 객체의 시각적 특성 외에도 과거 비행 장치(300)에 의해 목적 객체가 마지막으로 촬영된 시점(ex. 목적 객체를 포함하는 마지막 이미지가 촬영된 시점), 마지막으로 촬영된 목적 객체가 위치한 실제 좌표 등을 포함할 수 있다.

시각적 특성은, 목적 객체의 컬러, 형상, 기타 다양한 시각적 요소에 해당할 수 있다. 예를 들어, 목적 객체가 차량인 경우, 시각적 특성은 차량 번호, 차종, 목적 객체의 색깔 등도 시각적 특성에 포함될 수 있다. 예를 들어, 목적 객체가 동물인 경우, 동물의 종, 색깔, 크기, 이동 속도 등이 시각적 특성에 포함될 수 있다.

이에 따라, 전자 장치(100)는 목적 객체가 위치하는 특이 지점을 획득하고, 메타데이터를 바탕으로, 특이 지점의 실제 좌표인 제1 좌표를 산출하여, 제1 좌표를 단말(200)로 제공한다.

이후, 전자 장치(100)는 일정 시간 간격에 따라, 제1 좌표를 원점으로 갖는 트래킹 이미지를 획득하며, 트래킹 이미지로부터 목적 객체를 재획득하여, 재획득된 목적 객체가 위치하는 특이 지점을 재획득한다.

전자 장치(100)는 트래킹 이미지에 포함된 메타데이터를 바탕으로, 재획득된 특이 지점의 실제 좌표인 제2 좌표를 산출하고, 산출된 제2 좌표를 단말(200)로 제공한다.

트래킹 이미지는, 전자 장치(100)가 단말(200)로부터 트래킹 종료 요청을 수신하기 전까지 일정 시간 간격에 따라, 가장 마지막에 획득된 제2 좌표를 원점으로 하여 재획득된다.

실시예로, 단계 S320을 수행함에 있어서, 목적 객체에 대한 정보를 수신한 경우, 전자 장치(100)는 위도 및 경도에 따른 최저 비행 고도를 제한할 수 있다.

최저 비행 고도는, 위도 및 경도에 대해 기 등록된 지물 정보(ex. 건물, 구조물 등)를 바탕으로 산출된 고도로, 비행 장치(300)가 지물에 추돌하는 것을 방지하기 위해 지물로부터 일정 높이를 유지하도록 비행 장치의 항강 높이를 제한하는 값이다.

구체적으로, 전자 장치(100)는 이미지 상에서 제1 좌표를 포함하는 일정 크기의 영역을 획득하고, 획득된 영역에 대한 최저 비행 고도의 값이 가장 큰 기준 지점을 식별할 수 있다.

전자 장치(100)는 제1 좌표의 가로축 및 세로축 각각에 대한 좌표값과 기준 지점에 대한 최저 비행 고도로 비행 장치(300)를 이동시킬 수 있다.

전자 장치(100)는 식별된 기준 지점은, 제2 좌표가 획득됨에 따라, 제2 좌표를 포함하는 일정 크기의 영역에 대한 기준 지점으로 업데이트 할 수 있으며, 이에 따라, 더 좁은 면적에서 목적 객체에 대한 추적을 수행하여 정확성을 높일 수 있다.

실시예로, 목적 객체에 대한 정보를 수신함에 있어서, 전자 장치(100)는 목적 객체에 대한 트래킹 사유를 단말(200)을 통해 획득하고, 획득된 트래킹 사유가 기 설정된 공무관련 항목에 포함되는 경우, 실제 좌표를 기준으로, 가장 근접한 편의점의 지점명, 주유소의 지점명, 숙박업소명, 찜질방명 중 적어도 하나를 포함하는 인접 매장 정보를 획득할 수 있다.

인접 매장 정보가 획득되면, 전자 장치(100)는 단말(200)로 인접 매장 정보 및 인접 매장 정보에 포함된 업체에 대한 연락처 정보(ex. 전화번호, 이메일주소, 사이트주소 등)를 제공하고, 단말(200)로부터 협조 공문 이미지 및 협조 공문을 발화하는 음성 데이터를 획득하여, 연락처 정보를 통해

이때, 전자 장치(100)는, 획득한 인접 매장 정보 및 인접 매장 정보에 포함된 업체에 대한 연락처를 단말(200)로 제공할 수 있다.

이를 통해 수배중인 차량의 위치를 실시간으로 트래킹하되, 실제 좌표를 기준으로 인접한 숙박 가능한 업체, 편의시설, 및 주유업체에 협조 공문을 전달하여 빠른 공무를 처리할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

또한, 본 발명의 서로 다른 실시예들은 상호 보완되거나 결합될 수 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler), 파이썬(Python) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 서버
110 : 메모리
120 : 통신부
130 : 프로세서
200 : 단말
300 : 비행 장치
310 : 카메라

Claims

전자 장치의 제어 방법에 있어서,
상기 전자 장치가, 메타데이터를 포함하는 이미지를 획득하는 단계;
상기 전자 장치가, 사용자의 단말로 상기 이미지를 제공하는 단계;
상기 전자 장치가, 상기 단말로부터 상기 이미지에 대한 일 지점을 선택하는 사용자 명령을 획득하는 단계;
상기 전자 장치가, 상기 메타데이터를 바탕으로 상기 지점에 대한 실제 좌표를 산출하는 단계; 및
상기 전자 장치가, 상기 실제 좌표를 상기 단말로 제공하는 단계;를 포함하는, 전자 장치의 제어 방법.
제1 항에 있어서,
상기 메타데이터는,
상기 이미지를 촬영한 카메라가 장착된 비행 장치의 제1 자세 데이터, 상기 비행 장치의 위치 데이터, 상기 비행 장치의 지표면으로부터의 고도, 상기 카메라의 제2 자세 데이터, 및 상기 카메라의 화각 데이터를 포함하는 것을 특징으로 하는, 전자 장치의 제어 방법.
제2 항에 있어서,
상기 실제 좌표를 산출하는 단계는,
상기 위치 데이터를 바탕으로, 경도 및 위도를 식별하는 단계;
상기 제1 자세 데이터 및 상기 제2 자세 데이터를 바탕으로, 상기 이미지에 대한 상기 비행 장치의 촬영시 자세 정보를 생성하는 단계;
상기 화각 데이터, 상기 고도, 및 상기 이미지의 해상도를 바탕으로, 상기 이미지에 포함된 사각형을 이루는 촬영 영역의 가로 거리값 및 상기 촬영 영역의 세로 거리값을 산출하는 단계;
상기 촬영 영역의 가로 거리값, 상기 촬영 영역의 세로 거리값, 및 상기 이미지 상의 중심점을 기준으로, 상기 지점의 상대 좌표를 산출하는 단계;
상기 위치 데이터, 및 상기 고도를 포함하는 좌표를 원점으로 저장하는 단계;
상기 자세 정보를 적용하여, 상기 원점 및 상기 상대 좌표를 각각 3차원 회전시켜, 3차원 원점 및 3차원 상대 좌표를 획득하는 단계;
상기 3차원 원점을 일 단위 좌표로 변환하는 단계;
상기 변환된 3차원 원점을 바탕으로, 상기 비행 장치를 이동시켜, 상기 비행 장치의 이동된 위치에 대한 고도를 획득하는 단계;
상기 비행 장치의 이동된 위치에 TIN(Triangulated Irregular Network)를 적용하여, 상기 비행 장치의 이동된 위치에 대한 지표고를 획득하는 단계;
상기 고도 및 상기 지표고를 바탕으로, 상기 비행 장치의 이동된 위치에 대한 해발 고도를 산출하는 단계;
상기 비행 장치의 이동된 위치에 대한 좌표 및 상기 해발 고도를 바탕으로, 상기 비행 장치의 실제 위치 좌표를 획득하는 단계;
상기 3차원 원점을 시작점으로 하여 상기 실제 위치 좌표를 끝점으로 갖는 벡터를 적용하여, 상기 3차원 상대 좌표를 이동시키는 단계;
상기 실제 위치 좌표를 꼭지점으로 갖되, 상기 이동된 3차원 상대 좌표를 포함하는 3차원 선형을 생성하는 단계;
TIN을 적용하여, 상기 3차원 선형이 지형과 교차하는 적어도 하나의 교점 중, 상기 실제 위치 좌표에 가장 가까운 교점을 획득하는 단계; 및
상기 획득된 교점의 좌표를 산출하여, 상기 실제 좌표로 획득하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
제2 항에 있어서,
상기 비행 장치는,
GPS(Global Positioning System) 센서를 포함하고,
상기 제1 자세 데이터 및 상기 제2 자세 데이터는,
각각이 Roll, Pitch, 및 Yaw에 대한 3축으로 구성된 각도 값이고,
상기 화각 데이터는,
상기 카메라의 가로 화각 정보(Hfov, Horizontal field of View), 및 세로 화각 정보(Vfov, Vertical field of View)를 포함하는 것을 특징으로 하는, 전자 장치의 제어 방법.
제2 항에 있어서,
상기 사용자의 단말로 상기 이미지를 제공하는 단계는,
상기 단말로부터 목적 객체에 대한 정보를 수신하면, 상기 이미지 내에서 상기 목적 객체를 획득하는 단계;
상기 목적 객체가 위치하는 특이 지점을 획득하는 단계;
상기 메타데이터를 바탕으로, 상기 특이 지점의 실제 좌표인 제1 좌표를 산출하는 단계; 및
상기 제1 좌표를 상기 단말로 제공하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
제5 항에 있어서,
상기 전자 장치의 제어 방법은,
일정 시간 간격에 따라, 상기 제1 좌표를 원점으로 갖는 트래킹 이미지를 획득하는 단계;
상기 트래킹 이미지 내에서 상기 목적 객체를 재획득하는 단계;
상기 재획득된 목적 객체가 위치하는 특이 지점을 재획득하는 단계;
상기 트래킹 이미지에 포함된 메타데이터를 바탕으로, 상기 재획득된 특이 지점의 실제 좌표인 제2 좌표를 산출하는 단계; 및
상기 산출된 제2 좌표를 상기 단말로 제공하는 단계;를 더 포함하고,
상기 트래킹 이미지는,
상기 전자 장치가 상기 단말로부터 트래킹 종료 요청을 수신하기 전까지 일정 시간 간격에 따라, 가장 마지막에 획득된 상기 제2 좌표를 원점으로 하여 재획득되는 것을 특징으로 하는, 전자 장치의 제어 방법.