KR20230070890A

KR20230070890A - Region of interest visualization method of electronic apparatus

Info

Publication number: KR20230070890A
Application number: KR1020210156923A
Authority: KR
Inventors: 박휘성; 이기혁; 안성근; 김태준; 김연수
Original assignee: 국방과학연구소; 한국과학기술원
Priority date: 2021-11-15
Filing date: 2021-11-15
Publication date: 2023-05-23
Also published as: KR102694286B1

Abstract

A region of interest visualization method of an electronic apparatus is provided. The method includes checking the image coordinates of a region of interest in a camera view; correcting the image coordinates using a previously created distortion correction function; checking the first direction of the region of interest from the camera in a world coordinate system based on the corrected image coordinates and the view angle and posture of the camera; checking the first coordinates corresponding to the region of interest in a birdeye's view based on the first direction; displaying information about the first coordinate in the birdeye's view. Therefore, a user can easily check a region corresponding to the region of interest shown in different views.

Description

A method for visualizing a region of interest in an electronic device {REGION OF INTEREST VISUALIZATION METHOD OF ELECTRONIC APPARATUS}

본 개시는 전자 장치의 관심 영역 시각화 방법에 관한 것이다.The present disclosure relates to a method for visualizing a region of interest in an electronic device.

드론 기술의 발전으로 무인 비행 장치 (Unmanned Aerial Vehicle; 이하 UAV)를 원격으로 조정하는 방법에 관한 수요가 증가하고 있다. UAV가 조작자로부터 멀어질 경우 조작자는 UAV의 주변상황에 대한 정보를 파악할 수 없기에 효과적으로 UAV를 조작할 수 없다. 이에 UAV의 원격 조작을 위해서는 UAV의 주변 정보를 조작자에게 전달하는 방법이 필요하다. UAV 조종자는 UAV를 목표 지점으로 보내기 위해 조작 대상이 되는 UAV를 어느 방향으로 이동시켜야 하는지 분명하게 파악해야 효율적으로 기체 조작을 수행 할 수 있다.With the development of drone technology, there is an increasing demand for methods of remotely controlling unmanned aerial vehicles (UAVs). When the UAV moves away from the operator, the operator cannot effectively operate the UAV because the operator cannot grasp information about the UAV's surroundings. Accordingly, a method for transmitting information about the UAV's surroundings to the operator is required for remote operation of the UAV. A UAV pilot must clearly identify in which direction the UAV to be manipulated must be moved in order to send the UAV to the target point in order to efficiently operate the aircraft.

목표 이동 방향을 파악하기 위해 사용자에게는 2가지의 서로 다른 뷰포트(viewport)에서 제공되는 정보가 필요하다. UAV 중심의 1인칭 시점 카메라 정보 (이하 1인칭 뷰)는 UAV 주변의 인접한 장애물 혹은 목표물을 식별하기 위한 정보를 제공할 수 있다. 또한 UAV 주변의 항공뷰(bird's eye view)는 1인칭 카메라 보다 넓은 범위의 거시적인 UAV 이동 동선 계획을 위한 정보를 제공할 수 있다. 즉, 미시적 조작을 위한 정보는 1인칭 뷰, 거시적 조작을 위한 정보는 항공뷰가 제공할 수 있다.In order to determine the target movement direction, the user needs information from two different viewports. UAV-centered first-person view camera information (hereafter referred to as first-person view) may provide information for identifying nearby obstacles or targets around the UAV. In addition, a bird's eye view around the UAV can provide information for planning a macroscopic UAV movement path in a wider range than a first-person camera. That is, information for microscopic manipulation can be provided by a first-person view, and information for macroscopic manipulation can be provided by an aerial view.

사용자는 UAV를 효율적으로, 또한 안전하게 조작하기 위해 1인칭 뷰와 항공뷰의 정보를 번갈아가며 취득해야 한다. 그러나 상기 두 가지 형태의 뷰의 좌표계들은 서로 상이하다.In order to efficiently and safely operate the UAV, users must alternately acquire information from a first-person view and an aerial view. However, the coordinate systems of the two types of views are different from each other.

이에 따라 사용자는 1인칭 뷰에서 항공뷰로, 혹은 항공뷰에서 1인칭 뷰로의 관심 전환 시, 기존 뷰에서의 관심영역의 위치와 방향을 전환된 뷰에서의 위치와 방향으로 치환하기 위한 인지적인 노력이 필요하다. 이로 인한 인지적인 부담은 사용자의 일시적 방향감 상실을 야기할 수 있으며, 이는 UAV 조작 능력을 저해하는 원인으로 작용할 수 있다.Accordingly, when the user switches attention from the first-person view to the aerial view or from the aerial view to the first-person view, cognitive efforts are made to replace the position and direction of the region of interest in the existing view with the position and direction in the switched view. need. The resulting cognitive burden may cause a temporary loss of direction for the user, which may act as a cause of hindering the ability to manipulate the UAV.

본 발명에 따르면, 전자 장치는 본 발명에서 기술되는 방법을 수행하는 프로세서를 포함하여, 카메라 뷰의 관심 영역에 대응하는 항공 뷰의 위치를 파악하거나, 그 반대를 수행할 수 있다. 사용자는 서로 다른 뷰에서 나타난 관심 영역에 대응되는 영역을 용이하게 파악할 수 있다.According to the present invention, an electronic device may include a processor performing the method described in the present invention to locate an aerial view corresponding to a region of interest of a camera view or vice versa. A user can easily grasp a region corresponding to a region of interest shown in different views.

본 발명이 이루고자 하는 기술적 과제는 상기된 바와 같은 과제로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.The technical problem to be achieved by the present invention is not limited to the above problem, and other technical problems can be inferred from the following embodiments.

일 실시예에 따라, 전자 장치의 관심 영역(region of interest) 시각화 방법에 있어서, 카메라 뷰(camera view)에서 상기 관심 영역의 이미지 좌표를 확인하는 단계; 기 생성된 왜곡 보정 함수를 이용하여 상기 이미지 좌표를 보정하는 단계; 보정된 이미지 좌표, 카메라의 화각 및 자세를 기초로 월드 좌표계에서 상기 카메라로부터 상기 관심 영역의 제1 방향을 확인하는 단계; 상기 제1 방향을 기초로 항공뷰(birdeye's view)에서 상기 관심 영역에 대응하는 제1 좌표를 확인하는 단계; 및 상기 항공뷰에서 상기 제1 좌표에 관한 정보를 표시하는 단계를 포함할 수 있다.According to an embodiment, a method for visualizing a region of interest in an electronic device includes: checking image coordinates of the region of interest in a camera view; correcting the image coordinates using a pre-generated distortion correction function; identifying a first direction of the region of interest from the camera in a world coordinate system based on corrected image coordinates, a view angle of the camera, and a posture; checking first coordinates corresponding to the region of interest in a birdeye's view based on the first direction; and displaying information about the first coordinate in the aerial view.

일 실시예에 따라, 전자 장치로서, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써, 카메라 뷰(camera view)에서 상기 관심 영역의 이미지 좌표를 확인하고, 기 생성된 왜곡 보정 함수를 이용하여 상기 이미지 좌표를 보정하고, 보정된 이미지 좌표, 카메라의 화각 및 자세를 기초로 월드 좌표계에서 상기 카메라로부터 상기 관심 영역의 제1 방향을 확인하고, 상기 제1 방향을 기초로 항공뷰(birdeye's view)에서 상기 관심 영역에 대응하는 제1 좌표를 확인하고, 상기 항공뷰에서 상기 제1 좌표에 관한 정보를 표시하는 프로세서를 포함할 수 있다.According to one embodiment, an electronic device includes a memory in which at least one program is stored; and by executing the at least one program, checking the image coordinates of the region of interest in a camera view, correcting the image coordinates using a pre-generated distortion correction function, and using the corrected image coordinates of the camera. Identifying a first direction of the region of interest from the camera in a world coordinate system based on an angle of view and a posture, and determining a first coordinate corresponding to the region of interest in a birdeye's view based on the first direction; A processor displaying information about the first coordinate in the aerial view may be included.

일 실시예에 따라, 전자 장치의 관심 영역(region of interest) 시각화 방법에 있어서, 항공뷰(birdeye's view)에서 상기 관심 영역의 제4 좌표를 확인하는 단계; 상기 제4 좌표를 기초로 월드 좌표계에서 카메라로부터 상기 관심 영역의 제4 방향을 확인하는 단계; 상기 제4 방향, 상기 카메라의 화각 및 자세를 기초로 카메라 뷰(camera view) 에서 상기 관심 영역의 이미지 좌표를 확인하는 단계; 기 생성된 왜곡 보정 함수를 이용하여 상기 이미지 좌표를 보정하는 단계; 및 상기 카메라 뷰에서 보정된 이미지 좌표에 관한 정보를 표시하는 단계를 포함할 수 있다.According to an embodiment, a method for visualizing a region of interest in an electronic device includes: checking fourth coordinates of the region of interest in a birdeye's view; checking a fourth direction of the ROI from a camera in a world coordinate system based on the fourth coordinate; checking image coordinates of the region of interest in a camera view based on the fourth direction, the angle of view, and the posture of the camera; correcting the image coordinates using a pre-generated distortion correction function; and displaying information about image coordinates corrected in the camera view.

일 실시예에 따라, 전자 장치로서, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써, 항공뷰(birdeye's view)에서 상기 관심 영역의 제4 좌표를 확인하고, 상기 제4 좌표를 기초로 월드 좌표계에서 카메라로부터 상기 관심 영역의 제4 방향을 확인하고, 상기 제4 방향, 상기 카메라의 화각 및 자세를 기초로 카메라 뷰(camera view) 에서 상기 관심 영역의 이미지 좌표를 확인하고, 기 생성된 왜곡 보정 함수를 이용하여 상기 이미지 좌표를 보정하고, 상기 카메라 뷰에서 보정된 이미지 좌표에 관한 정보를 표시하는 프로세서를 포함할 수 있다.According to one embodiment, an electronic device includes a memory in which at least one program is stored; and by executing the at least one program, checking fourth coordinates of the region of interest in a birdeye's view, and determining a fourth direction of the region of interest from a camera in a world coordinate system based on the fourth coordinates; , Checking the image coordinates of the region of interest in a camera view based on the fourth direction, the angle of view and the posture of the camera, correcting the image coordinates using a pre-generated distortion correction function, and It may include a processor displaying information about image coordinates corrected in the view.

일 실시예에 따라, 컴퓨터로 읽을 수 있는 기록매체는 상술한 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 비일시적 기록매체를 포함할 수 있다.According to an embodiment, the computer-readable recording medium may include a non-transitory recording medium on which a program for executing the above-described operating method is recorded on a computer.

기타 실시예들의 구체적인 사항은 상세한 설명 및 도면들에 포함된다.Details of other embodiments are included in the detailed description and drawings.

일반적인 드론 조작기는 기체의 방향을 중심으로 조작이 이뤄진다. 하지만 사용자가 기체조작을 위해서 활용할 수 있는 대표적인 시각적 정보인 1인칭 뷰는 기체의 방향이 아닌 카메라의 방향을 중심으로 제공된다. 이에 사용자는 기체 조작에 대한 방향감을 상실하거나 혼동하기 쉽다. 심지어 1인칭 뷰 만이 아닌 항공뷰를 같이 활용하는 경우라면 이러한 혼동이 가중될 수 있다. 이에 본 발명은 서로 다른 뷰포트로의 전환이 일어날 때, 상기 시각화 방법을 이용하여 뷰포트 전환 시 유발 될 수 있는 방향감 상실, 혼동 및 인지부담을 개선할 수 있다.A typical drone controller is operated based on the direction of the aircraft. However, the first-person view, which is a representative visual information that the user can utilize for aircraft manipulation, is provided based on the camera direction, not the aircraft direction. Accordingly, the user is likely to lose or confuse the sense of direction for aircraft manipulation. Even when using an aerial view instead of a first-person view, this confusion can be aggravated. Accordingly, the present invention can improve disorientation, confusion, and cognitive burden that may occur when switching to a different viewport by using the visualization method when switching to a different viewport.

발명의 효과는 이상에서 언급한 효과만으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있다.Effects of the invention are not limited to only the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1 은 본 개시에 따른 전자 장치를 나타낸다.
도 2 는 이미지의 왜곡 보정 방법의 일례를 나타낸다.
도 3 은 본 개시에 따른 실시예에서, 카메라, 카메라가 촬영한 이미지 및 화각의 관계를 나타낸다.
도 4 는 본 개시에 따른 실시예에서, 카메라, 카메라 뷰에 나타난 관심 영역 및 실제 위치의 관계를 나타낸다.
도 5 는 본 개시에 따른 방법의 카메라 뷰를 제공하는 카메라를 탑재한 UAV의 일례를 나타낸다.
도 6 은 본 개시에 따른 방법에서 카메라 뷰, 항공 뷰 및 월드 좌표계의 관계를 나타낸다.
도 7 은 본 개시에 따른 방법에서 카메라 뷰, 항공 뷰 및 월드 좌표계의 관계를 나타낸다.
도 8 은 본 개시에 따른 방법의 일 실시예를 나타낸다.
도 9 는 본 개시에 따른 방법의 일 실시예를 나타낸다.
도 10 은 본 개시에 따른 방법의 일 실시예를 나타낸다.
도 11 은 본 개시에 따른 방법의 일 실시예를 나타낸다.
도 12 은 본 개시에 따른 방법의 일 실시예를 나타낸다.
도 13 은 본 개시에 따른 방법의 일 실시예를 나타낸다.1 shows an electronic device according to the present disclosure.
2 shows an example of a method for correcting distortion of an image.
3 illustrates a relationship between a camera, an image captured by the camera, and an angle of view in an embodiment according to the present disclosure.
4 illustrates a relationship between a camera, a region of interest shown in a camera view, and an actual location in an embodiment according to the present disclosure.
5 shows an example of a UAV equipped with a camera providing a camera view of the method according to the present disclosure.
6 shows the relationship between a camera view, an aerial view and a world coordinate system in the method according to the present disclosure.
7 shows the relationship between a camera view, an aerial view and a world coordinate system in a method according to the present disclosure.
8 shows one embodiment of a method according to the present disclosure.
9 shows one embodiment of a method according to the present disclosure.
10 shows one embodiment of a method according to the present disclosure.
11 shows one embodiment of a method according to the present disclosure.
12 shows one embodiment of a method according to the present disclosure.
13 shows one embodiment of a method according to the present disclosure.

본 개시에 기술된 실시예는 본 개시를 제한하는 것이 아니라 예시하는 것이고, 통상의 기술자는 첨부된 청구범위에 의해 정의된 본 개시의 범주를 벗어나지 않으면서, 다수의 대안적인 실시예를 설계할 수 있다. 실시 예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.The embodiments described in this disclosure are illustrative rather than limiting of the disclosure, and a person skilled in the art may design many alternative embodiments without departing from the scope of the disclosure defined by the appended claims. there is. The terms used in the embodiments have been selected as general terms that are currently widely used as much as possible while considering the functions in the present disclosure, but they may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technologies, and the like. In addition, in a specific case, there are also terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the corresponding description. Therefore, terms used in the present disclosure should be defined based on the meaning of the term and the general content of the present disclosure, not simply the name of the term.

달리 반대되는 기재가 없는 한, 본 명세서에서 "뷰포트(viewport)" 및 "뷰(view)"는 "시점(point of view)"과 동일한 의미로 쓰이며, 주변환경을 관찰하는 관점을 뜻한다. Unless otherwise stated, “viewport” and “view” herein are used synonymously with “point of view” and refer to a point of view from which a surrounding environment is observed.

달리 반대되는 기재가 없는 한, 본 명세서에서 "카메라 뷰(camera view)"는 카메라가 주변환경을 관찰하는 시점을 뜻한다. 카메라가 드론 또는 UAV 등에 탑재되어 있다면 일정 상공에서의 카메라 뷰의 시점에서 촬영된 이미지가 존재할 수 있다.Unless stated to the contrary, a “camera view” herein refers to a point in time from which a camera observes its surroundings. If the camera is mounted on a drone or a UAV, an image captured from a camera view point in a certain sky may exist.

달리 반대되는 기재가 없는 한, 본 명세서에서 "항공뷰(bird's eye view)"는 지면으로부터 일정 고도 올라간 상공에서 지면을 내려다보는 시점을 뜻한다. 지도 또는 위성 사진 등은 항공 뷰의 시점에서 그려진 그림에 해당한다.Unless otherwise stated, in this specification, "bird's eye view" means a viewpoint looking down at the ground from above at a certain altitude from the ground. A map or satellite photograph, etc. corresponds to a picture drawn from the point of view of an aerial view.

달리 반대되는 기재가 없는 한, 본 명세서에서 "관심 영역(region of interest)"은 이미지 또는 영상 내에서 사용자가 관심 있는 영역을 의미한다. 이는 특정한 위치의 픽셀 또는 그들의 집합일 수 있다.Unless otherwise stated, “region of interest” in this specification means a region of interest to a user within an image or video. It can be a pixel at a specific location or a set of them.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 반대되는 기재가 존재하지 않는 한, 단수는 물론 복수를 모두 포함한다. Expressions in the singular as used herein include both the singular and the plural unless the context clearly dictates the contrary.

본 명세서 전체에서 어떤 부분이 어떤 구성요소들 또는 어떤 단계들을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 어떤 부분이 구성요소들 또는 단계들을 반드시 모두 포함해야 하는 것은 아니고, 청구범위 또는 명세서 전체에 열거된 것 이외의 구성요소 또는 단계가 포함되는 것을 배제하는 것도 아니며, 단지 이들을 더 포함할 수 있음을 의미한다. Throughout this specification, when a part is said to "include" certain elements or certain steps, this does not necessarily mean that a part must include all of the elements or steps, unless specifically stated to the contrary. or the inclusion of elements or steps other than those listed throughout the specification, but merely means that they may be further included.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 서수를 포함하는 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 문맥상 명세서의 일 부분에서 일 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 명세서의 다른 부분에서 제2 구성요소로 명명될 수 있고, 반대로 제2 구성요소도 명세서의 다른 부분에서 제1 구성요소로 명명될 수 있다.Also, terms including ordinal numbers such as first and second used in this specification may be used to describe various components, but the components should not be limited by terms including the ordinal numbers. The terms are used solely for the purpose of distinguishing one element from another element in one part of the specification in context. For example, a first component may be referred to as a second component in another part of the specification without departing from the scope of the present invention, and conversely, the second component may also be referred to as a first component in another part of the specification. It can be.

본 명세서에서 "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.In this specification, terms such as "mechanism", "element", "means", and "configuration" may be used broadly, and are not limited to mechanical and physical components. The term may include a meaning of a series of software routines in association with a processor or the like.

본 명세서(특히 청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 재배열되어 행해질 수 있고, 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 통상의 기술자는 본 명세서에 개시된 실시예에 설계 조건 및 팩터에 따라 다양한 수정, 조합 및 변경을 부가하여 특허청구범위 또는 그 균등물의 범주에 속하는 새로운 실시예를 구성할 수 있다.In this specification (particularly in the claims), the use of the term "the" and similar denoting terms may correspond to both the singular and the plural. In addition, when a range is described, it includes individual values belonging to the range (unless otherwise stated), as if each individual value constituting the range was described in the detailed description. Finally, if the order of the steps constituting the method is not explicitly described or stated to the contrary, the steps may be rearranged in an appropriate order and are not necessarily limited to the order in which the steps are described. The use of all examples or illustrative terms (eg, etc.) is simply for explaining technical ideas in detail, and the scope is not limited by the examples or illustrative terms unless limited by the claims. A person skilled in the art may add various modifications, combinations, and changes to the embodiments disclosed in this specification according to design conditions and factors to construct new embodiments that fall within the scope of the claims or equivalents thereof.

이하에서는 도면을 참조하여 본 개시의 실시예를 설명한다.Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.

도 1 는 본 개시의 적어도 하나의 실시예를 실행하는데 사용될 수 있는 전자 장치(100)의 예시적이고 단순화된 블록도를 나타낸다. 다양한 실시예에서, 전자 장치(100)는 본 개시에서 서술된 임의의 시스템 또는 방법을 구현하는데 사용될 수 있다. 예를 들어, 전자 장치(100)는 데이터 서버, 웹 서버, 휴대용 컴퓨팅 디바이스, 개인용 컴퓨터, 태블릿 컴퓨터, 워크스테이션, 휴대폰, 스마트 폰(smart phone) 또는 아래에서 서술되는 임의의 다른 디바이스를 포함하는 임의의 전자 장치로서 사용되도록 구성될 수 있다.1 shows an exemplary and simplified block diagram of an electronic device 100 that can be used to implement at least one embodiment of the present disclosure. In various embodiments, electronic device 100 may be used to implement any system or method described in this disclosure. For example, electronic device 100 may be any device including a data server, web server, portable computing device, personal computer, tablet computer, workstation, mobile phone, smart phone, or any other device described below. It can be configured to be used as an electronic device of.

전자 장치(100)는 메모리(120) 및 메모리(120)와 통신하도록 구성될 수 있는 하나 이상의 캐시 메모리 및 메모리 제어기를 갖는 하나 이상의 프로세서(110)를 포함할 수 있다. 추가적으로, 전자 장치(100)는 하나 이상의 포트(예컨대, USB(Universal Serial Bus), 헤드폰 잭, 라이트닝(Lightning) 커넥터, 썬더볼트(Thunderbolt) 커넥터 등)를 통해 전자 장치(100)에 연결될 수 있는 다른 디바이스를 포함할 수 있다. 전자 장치(100)에 연결될 수 있는 디바이스는 광섬유 커넥터를 수용하도록 구성되는 복수의 포트를 포함할 수 있다. 도시된 전자 장치(100)의 구성은 디바이스의 바람직한 실시예를 예시할 목적으로 특정 예시로서만 의도된다. 도시된 전자 장치(100)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 전자 장치(100)에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. Electronic device 100 may include one or more processors 110 having memory 120 and one or more cache memories and memory controllers that may be configured to communicate with memory 120 . Additionally, the electronic device 100 may be connected to the electronic device 100 through one or more ports (eg, Universal Serial Bus (USB), headphone jack, Lightning connector, Thunderbolt connector, etc.) device may be included. Devices connectable to electronic device 100 may include a plurality of ports configured to receive fiber optic connectors. The configuration of the illustrated electronic device 100 is intended only as a specific example for the purpose of illustrating a preferred embodiment of the device. In the illustrated electronic device 100, only components related to the present embodiments are shown. Accordingly, it is apparent to those skilled in the art that the electronic device 100 may further include other general-purpose components in addition to the illustrated components.

프로세서(110)는 전자 장치(100)가 본 개시에서 서술된 임의의 실시예의 단계 또는 기능을 제공하도록 하기 위해 이용될 수 있다. 예를 들어, 프로세서(110)는 전자 장치(100) 내의 메모리(120)에 저장된 프로그램들을 실행함으로써, 전자 장치(100)를 전반적으로 제어한다. 프로세서(110)는 전자 장치(100) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.Processor 110 may be used to enable electronic device 100 to provide the steps or functions of any of the embodiments described in this disclosure. For example, the processor 110 generally controls the electronic device 100 by executing programs stored in the memory 120 of the electronic device 100 . The processor 110 may be implemented as a central processing unit (CPU), graphics processing unit (GPU), or application processor (AP) included in the electronic device 100, but is not limited thereto.

메모리(120)는 전자 장치(100) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 메모리(120)는 전자 장치(100)에서 프로세서(110)를 통해 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(120)는 본 개시의 적어도 하나의 실시예의 기능을 제공할 수 있는 기본 프로그래밍 및 데이터 구조를 저장하는 것은 물론, 본 개시의 실시예의 기능을 제공할 수 있는 애플리케이션들(프로그램, 코드 모듈, 명령어), 드라이버들 등을 저장할 수 있다. 메모리(120)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다. The memory 120 is hardware that stores various data processed in the electronic device 100, and the memory 120 may store data processed through the processor 110 in the electronic device 100 and data to be processed. there is. In addition, the memory 120 stores basic programming and data structures capable of providing functions of at least one embodiment of the present disclosure, as well as applications (programs, code modules) capable of providing functions of embodiments of the present disclosure. , commands), drivers, etc. The memory 120 may include random access memory (RAM) such as dynamic random access memory (DRAM) and static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), and CD-ROM. ROM, Blu-ray or other optical disk storage, hard disk drive (HDD), solid state drive (SSD), or flash memory.

일 실시예에서, 전자 장치(100)의 프로세서(110)는 카메라 뷰(camera view)에서 관심 영역의 이미지 좌표를 확인할 수 있다. 이미지 좌표는 픽셀 단위로 나타내어질 수 있다. 예를 들어, 관심 영역은 전자 장치(100)의 메모리(120)에 별도로 저장된 명령을 프로세서(110)가 실행하여, 프로세서(110)에 의해 검출될 수 있다. 이 때 사용되는 명령은 이미지 상에서 대상을 검출하는 알려진 임의의 알고리즘을 포함할 수 있다. 다른 예를 들어, 관심 영역은 사용자가 카메라 뷰의 일 영역을 선택함으로써 검출될 수 있다. 이 때, 전자 장치(100)는 별도의 입력 디바이스를 포함하여, 사용자가 입력 디바이스를 이용하여 카메라 뷰의 일 영역을 선택하도록 할 수 있다. 예를 들어, 사용자는 마우스로 카메라 뷰의 일 영역을 선택하거나, 카메라 뷰를 나타내는 스크린을 터치하는 방식 등 당업자에게 알려진 방식으로 일 영역을 선택할 수 있다. 다른 예를 들어, 프로세서(110)는 사용자가 카메라 뷰의 이미지에서 응시하는 대상을 검출하고, 검출된 대상을 기초로 관심 영역의 이미지 좌표를 결정할 수 있다. 이 때 사용자가 카메라 뷰의 이미지에서 응시하는 대상은 아이트래커(eye tracker) 등의 입력 디바이스를 통해 검출될 수 있다. 이러한 검출 방식은 사용자가 본인의 손을 사용하여 별도의 조작을 할 필요가 없다는 점에서, 사용자의 손이 자유로워지는 이점이 있다.In one embodiment, the processor 110 of the electronic device 100 may check the image coordinates of the region of interest in a camera view. Image coordinates may be expressed in units of pixels. For example, the region of interest may be detected by the processor 110 by executing a command separately stored in the memory 120 of the electronic device 100 . The command used at this time may include any known algorithm for detecting an object on an image. For another example, the region of interest may be detected when a user selects a region of a camera view. In this case, the electronic device 100 may include a separate input device and allow the user to select an area of the camera view using the input device. For example, a user may select an area of a camera view with a mouse or a method known to those skilled in the art, such as a method of touching a screen representing a camera view. For another example, the processor 110 may detect an object that the user is gazing at in the image of the camera view, and determine image coordinates of the region of interest based on the detected object. In this case, a target the user gazes at in the image of the camera view may be detected through an input device such as an eye tracker. This detection method has an advantage in that the user's hand is free in that the user does not need to perform a separate operation using the user's hand.

카메라 뷰의 이미지는 광학계의 구성에 따라, 일정 수준의 왜곡(distortion)을 포함할 수 있다. 이에 따라 일 실시예에서, 프로세서(110)는 기 생성된 왜곡 보정 함수를 이용하여 이미지 좌표를 보정할 수 있다. 왜곡은 방사 왜곡(radial distortion) 및 접선왜곡(tangential distortion) 등 알려진 왜곡을 포함할 수 있다. 이에 따라, 왜곡 보정 함수는 카메라에 포함되는 광학계의 방사 왜곡을 보정하는 명령을 포함할 수 있다. 도 2 는 이러한 방사 왜곡이 존재하는 이미지 및 보정된 이미지를 나타낸다. 보정 전 이미지(210)에는 방사 왜곡 중 하나인 배럴 왜곡(barrel distortion)이 존재한다. 보정 전 이미지(210) 상의 점(213)은 보정 후 이미지(220) 상의 점(223)에 대응한다. 방사 왜곡은 이미지가 가로축(211) 및 세로축(212)이 교차하는 원점을 기준으로 방사되는 방향으로 이미지가 왜곡되는 현상을 뜻한다. 즉, 점(213)은 점(223)에 대비하여 원점 기준 방사되는 방향으로 이동되어 있다. 이를 보정하기 위하여, 점(213)은 보정 벡터(214)에 따라 이동될 수 있다. 방사 왜곡의 성질에 따라, 보정 벡터(214)의 방향은, 점(213)과 원점을 이은 직선에 평행할 수 있다. 또한, 보정 벡터(214)의 길이는, 점(213)이 원점으로부터 떨어진 거리에 비례할 수 있다. 방사 왜곡은 원점을 기준으로 한 왜곡이므로, 원점은 왜곡 보정 후에도 이동하지 않을 수 있다. 또한, 가로축(211) 또는 세로축(212) 상에 위치한 점은 각각 가로축(211) 또는 세로축(212)에 평행한 방향으로 이동할 수 있고, 왜곡 보정 후에도 여전히 각각 가로축(221) 또는 세로축(222) 상에 위치할 수 있다. 이러한 왜곡에 대한 보정을 위하여, 본 개시에 따른 방법의 실시 이전에 왜곡 보정 함수를 미리 설정하고, 본 개시에 따른 방법의 실시 중에는 기 설정된 왜곡 보정 함수를 사용할 수 있다. 이는 본 개시에 따른 방법의 실시 도중 왜곡 보정 함수를 일일이 다시 설정하는 방법에 비해 처리 속도가 빨라지는 이점이 있다. 왜곡 보정 함수의 설정은 업계에 알려진 방식을 사용할 수 있다. 예를 들어, 왜곡 보정 함수는 격자의 크기를 이미 알고 있는 체커보드(checkerboard)를 사용하여 생성될 수 있다.An image of a camera view may include a certain level of distortion according to the configuration of an optical system. Accordingly, in one embodiment, the processor 110 may correct image coordinates using a pre-generated distortion correction function. Distortion may include known distortions such as radial distortion and tangential distortion. Accordingly, the distortion correction function may include a command for correcting radial distortion of an optical system included in the camera. Figure 2 shows an image in which this radial distortion exists and a corrected image. In the image 210 before correction, barrel distortion, which is one type of radial distortion, is present. A point 213 on the image 210 before correction corresponds to a point 223 on the image 220 after correction. Radial distortion refers to a phenomenon in which an image is distorted in a direction in which the image is radiated based on the origin at which the horizontal axis 211 and the vertical axis 212 intersect. That is, the point 213 is moved in a direction in which the point 223 is radiated relative to the origin. To compensate for this, point 213 can be moved according to correction vector 214 . Depending on the nature of the radial distortion, the direction of the correction vector 214 may be parallel to the straight line connecting the point 213 and the origin. Also, the length of the correction vector 214 may be proportional to the distance the point 213 is from the origin. Since radial distortion is distortion based on the origin, the origin may not move even after distortion correction. In addition, a point located on the horizontal axis 211 or the vertical axis 212 can move in a direction parallel to the horizontal axis 211 or the vertical axis 212, respectively, and is still on the horizontal axis 221 or the vertical axis 222 after distortion correction, respectively. can be located in To correct such distortion, a distortion correction function may be set in advance before the method according to the present disclosure is executed, and the preset distortion correction function may be used during execution of the method according to the present disclosure. This has the advantage of increasing the processing speed compared to the method of manually resetting the distortion correction function during the execution of the method according to the present disclosure. A method known in the industry may be used to set the distortion correction function. For example, the distortion correction function can be created using a checkerboard where the size of the grid is already known.

도 3 은 카메라(300) 및 카메라 이미지(310)의 화각(angle of view, field of view, FOV)의 관계를 나타낸다. 카메라(300)에서 촬영한 이미지(310)는 직사각형 형태로 표시될 수 있으며, 일정한 수의 픽셀을 가질 수 있다. 이 때, 카메라(300)의 가로 화각은 W_deg, 세로 화각은 H_deg로 나타낼 수 있다. 이미지(310)의 픽셀 단위의 너비는 W_p, 높이는 H_p로 나타낼 수 있다. 카메라(300)의 가로 및 세로 화각은 카메라(300)가 출력할 수 있는 최대 크기의 이미지(310)의 너비 및 높이에 대응될 수 있다. 즉, 카메라(300)는 W_deg 및 H_deg 범위의 이미지(310)를 촬영하고, 촬영된 이미지(310)는 W_p × H_p 크기의 직사각형 이미지로 표현될 수 있다.FIG. 3 shows a relationship between an angle of view (field of view) of a camera 300 and a camera image 310 . The image 310 photographed by the camera 300 may be displayed in a rectangular shape and may have a certain number of pixels. In this case, the horizontal angle of view of the camera 300 may be expressed as W _deg , and the vertical angle of view may be expressed as H _deg . The width of the image 310 in units of pixels may be expressed as W _p and the height H _p . The horizontal and vertical angles of view of the camera 300 may correspond to the width and height of the maximum image 310 that the camera 300 can output. That is, the camera 300 captures the image 310 in the range of W _deg and H _deg , and the captured image 310 may be expressed as a rectangular image having a size of W _p × H _p .

일 실시예에서, 프로세서(110)는 보정된 이미지 좌표, 카메라의 화각 및 자세를 기초로 월드 좌표계에서 카메라로부터 관심 영역의 제1 방향을 확인할 수 있다. 도 4 는 카메라(300), 이미지(310), 관심 영역(314) 및 관심 영역의 실제 위치(324)와의 관계를 나타낸다. 핀홀 카메라(pinhole camera) 모델에서, 물체에 반사된 빛은 카메라 렌즈를 통해 이미지 센서에 상으로 맺히게 된다. 따라서, 물체의 위치와 카메라 렌즈 중심 및 이미지 센서에 맺힌 상의 위치는 서로 이어져 직선이 될 수 있다. 이에 따라, 도 4 와 같이, 카메라(300), 실제 위치(324) 및 실제 위치의 상에 해당하는 관심 영역(314)은 모두 직선 상에 존재할 수 있다. 따라서 카메라(300)로부터 실제 위치(324)를 향하는 방향은 카메라(300)로부터 관심 영역(314)을 향하는 관심 방향(302)과 일치할 수 있다. 방향(302)은, 이미지 중심 방향(301)을 가로 방향으로 x_deg 만큼, 세로 방향으로 y_deg만큼 회전한 방향으로 나타내어질 수 있다. 한편, x_deg는 이미지(310)의 중심(311)으로부터 관심 영역(314)이 가로 축(312) 방향으로 떨어진 픽셀 단위 거리인 x_p 에 대응할 수 있고, y_deg는 이미지(310)의 중심(311)으로부터 관심 영역(314)이 세로 축(313) 방향으로 떨어진 픽셀 단위 거리인 y_p 에 대응할 수 있다. 다른 말로, 픽셀 단위 거리 x_p및 y_p 는 이미지 중심 방향에서부터의 회전각 x_deg 및 y_deg에 비례할 수 있다. 따라서, 관심 방향(302)의 회전각 x_deg= (x_p/W_p)×W_deg , y_deg= (y_p/H_p)×H_deg 으로 결정될 수 있다.In an embodiment, the processor 110 may determine the first direction of the ROI from the camera in the world coordinate system based on the corrected image coordinates, the angle of view and the attitude of the camera. 4 shows the relationship between the camera 300, the image 310, the region of interest 314, and the actual location 324 of the region of interest. In the pinhole camera model, light reflected from an object is projected onto an image sensor through a camera lens. Accordingly, the position of the object and the position of the center of the camera lens and the image formed on the image sensor may be connected to each other to form a straight line. Accordingly, as shown in FIG. 4 , the camera 300, the real position 324, and the region of interest 314 corresponding to the real position may all exist on a straight line. Accordingly, a direction from the camera 300 toward the actual location 324 may coincide with a direction of interest 302 from the camera 300 toward the region of interest 314 . The direction 302 may be represented by a rotation of the image center direction 301 by x _deg in the horizontal direction and by y _deg in the vertical direction. Meanwhile, x _deg may correspond to x _p , which is a distance in units of pixels from the center 311 of the image 310 to the region of interest 314 in the direction of the horizontal axis 312, and y _deg may correspond to the center of the image 310 ( 311), the region of interest 314 may correspond to y _p , which is a pixel-unit distance away from each other in the direction of the vertical axis 313 . In other words, the pixel unit distance x _p and y _p may be proportional to the rotation angle x _deg and y _deg from the image center direction. Accordingly, the angle of rotation of the direction of interest 302 x _deg = (x _p /W _p )×W _deg , and y _deg = (y _p /H _p )×H _deg may be determined.

도 5 는 본 개시에 따른 방법의 카메라 뷰를 제공하는 카메라(510)를 포함하는 UAV(500)를 나타낸다. 항공 촬영을 위하여 UAV(500)는 카메라(510)를 포함할 수 있다. UAV(500)의 헤딩(heading) 방향 또는 이동 방향과 독립적으로 카메라(510)를 지향하기 위하여, UAV(500)는 카메라 회전 구조(520)를 포함할 수 있다. 예를 들어, 카메라 회전 구조(520)는 짐벌(gimbal)을 포함하여, 카메라(510)를 좌우 방향으로 회전시키는 패닝(panning) 동작 및 상하 방향으로 회전시키는 틸팅(tilting) 동작을 수행할 수 있다. 이 때 팬(pan) 각도와 틸트(tilt) 각도는 사용자가 조작하거나, 별도의 전자 장치에 의해 조작될 수 있고, 타코미터(tachometer) 등의 각도 측정 센서로 측정될 수 있다. 5 shows a UAV 500 comprising a camera 510 providing a camera view of a method according to the present disclosure. For aerial photography, the UAV 500 may include a camera 510. In order to direct the camera 510 independently of the heading direction or moving direction of the UAV 500, the UAV 500 may include a camera rotation structure 520. For example, the camera rotation structure 520 may include a gimbal and perform a panning operation of rotating the camera 510 in a left-right direction and a tilting operation of rotating the camera 510 in an up-down direction. . In this case, the pan angle and the tilt angle may be manipulated by a user or by a separate electronic device, and may be measured by an angle measurement sensor such as a tachometer.

UAV(500)의 월드 좌표계 상 위치, 속도 및 자세 정보를 획득하기 위하여, UAV(500)는 관성 항법 장치(Inertial Measurement Unit, IMU), 지자기센서(magnetometer) 등의 센서를 포함할 수 있다. 관심 방향(302)을 월드 좌표계에서 카메라로부터 관심 영역의 제1 방향으로 나타내기 위해서, 프로세서(110)는 우선, 센서에서 측정된 월드 좌표계에서의 UAV(500)의 헤딩 방향을 획득할 수 있다. 헤딩 방향은 UAV(500)와의 유/무선 통신을 통해 전자 장치(100)의 메모리(120)등으로 저장될 수 있다. 다음으로, 프로세서(110)는 UAV(500)의 헤딩 방향을 기준으로 한, 짐벌 등 카메라 장착 구조의 상대적 장착 각도를 확인할 수 있다. 상대적 장착 각도는 UAV(500)의 비행 전 미리 측정되어, 메모리(120)에 저장될 수 있다. 프로세서(110)는 이를 이용하여 헤딩 방향을 상대적 장착 각도만큼 회전시킨 짐벌 장착 방향을 계산할 수 있다. 팬 및 틸트 각도는 짐벌 장착 방향을 기준으로 측정된 것일 수 있으며, 프로세서(110)는 짐벌 장착 방향을 팬 및 틸트 각도만큼 회전시킨 카메라 지향 방향을 계산할 수 있다. 카메라 지향 방향은 이미지 중심 방향과 유사하거나 일치할 수 있다. 따라서, 프로세서(110)는 계산된 카메라 지향 방향을 이미지 중심 방향으로 할 수 있다. 프로세서(110)는 이미지 중심 방향을 회전각 x_deg 및 y_deg 만큼 회전시킨, 도 6 에서 나타나는, 월드 좌표계(605)에서의 제1 방향(602)을 계산할 수 있다.In order to obtain position, speed, and attitude information on the world coordinate system of the UAV 500, the UAV 500 may include sensors such as an inertial measurement unit (IMU) and a magnetometer. In order to indicate the direction of interest 302 as the first direction of the region of interest from the camera in the world coordinate system, the processor 110 may first obtain the heading direction of the UAV 500 in the world coordinate system measured by the sensor. The heading direction may be stored in the memory 120 of the electronic device 100 through wired/wireless communication with the UAV 500. Next, the processor 110 may check a relative mounting angle of a camera mounting structure such as a gimbal based on the heading direction of the UAV 500 . The relative mounting angle may be measured in advance before flight of the UAV 500 and stored in the memory 120 . The processor 110 may use this to calculate the gimbal mounting direction obtained by rotating the heading direction by the relative mounting angle. The pan and tilt angles may be measured based on the mounting direction of the gimbal, and the processor 110 may calculate a camera orientation direction obtained by rotating the mounting direction of the gimbal by the pan and tilt angle. The camera facing direction may be similar to or coincident with the image center direction. Accordingly, the processor 110 may set the calculated camera direction as the image center direction. The processor 110 may calculate a first direction 602 in the world coordinate system 605 shown in FIG. 6 by rotating the image center direction by rotation angles x _deg and y _deg .

도 6 은 본 개시에 따른 방법에서 카메라 뷰, 항공 뷰(620) 및 월드 좌표계(605)의 관계를 나타낸다. 제1 방향(602)은 UAV(600)에 장착된 카메라로부터, 카메라 뷰의 이미지(610)에 나타난 관심 영역(614)을 가리키는 방향을 월드 좌표계(605)에서 표현한 것이다. 제1 방향(602)은 단위 벡터로 표현될 수 있다. 도 4 에서 나타낸 것과 같이, 제1 방향(602)을 연장한 직선 상의 어느 한 점에 관심 영역으로 선택된 대상의 실제 위치(624)가 존재할 수 있으므로, 일 실시예에서, 프로세서(110)는 제1 방향(602)을 기초로 항공뷰(620)에서 관심 영역(614)에 대응하는 제1 좌표를 확인하고, 항공뷰에서 제1 좌표에 관한 정보를 표시할 수 있다. 제1 좌표는 대상의 실제 위치(624)를 항공뷰(620)의 좌표축(625)을 기준으로 나타내어진 값일 수 있다. 예를 들어, 제1 좌표는 지도 상의 위도 또는 경도 값일 수 있다. 또 다른 예를 들어, 제1 좌표는 항공뷰(620)의 좌표축(625)의 원점으로부터 미터 단위로 측정된 거리로 표현되는 2차원 좌표일 수 있다. 항공뷰(620)의 좌표축(625)의 원점은 UAV(600)의 초기 위치일 수 있다. 6 shows the relationship between a camera view, an aerial view 620 and a world coordinate system 605 in a method according to the present disclosure. The first direction 602 is a direction from a camera mounted on the UAV 600 to a region of interest 614 shown in the image 610 of the camera view expressed in a world coordinate system 605 . The first direction 602 can be expressed as a unit vector. As shown in FIG. 4 , since the actual position 624 of the object selected as the region of interest may exist at any one point on a straight line extending in the first direction 602, in one embodiment, the processor 110 performs the first Based on the direction 602 , first coordinates corresponding to the region of interest 614 may be checked in the aerial view 620 , and information about the first coordinates may be displayed in the aerial view. The first coordinate may be a value representing the actual location 624 of the object based on the coordinate axis 625 of the aerial view 620 . For example, the first coordinate may be a latitude or longitude value on a map. As another example, the first coordinates may be two-dimensional coordinates expressed as a distance measured in units of meters from the origin of the coordinate axis 625 of the aerial view 620 . The origin of the coordinate axis 625 of the aerial view 620 may be the initial position of the UAV 600.

일 실시예에서, 프로세서(110)는 카메라로부터 관심 영역(614)에 대응하는 대상까지의 거리(D)를 확인하고, 거리 및 제1 방향(602)을 기초로 제1 좌표를 결정할 수 있다. 예를 들어, 프로세서(110)는 UAV(600)에 탑재되는 거리 측정 센서로부터 관심 영역(614)에 대응하는 대상의 실제 위치(624)까지의 거리(D)를 획득할 수 있다. 이 때, 프로세서(110)는, 제1 방향(602)을 나타내는 단위 방향 벡터에 D 를 곱하여 월드 좌표계(605) 상에서 표현된, UAV(600)로부터 실제 위치(624)까지의 상대 위치 벡터를 계산하고, 계산된 벡터를 항공뷰(620)에 투사하여 UAV(500)의 항공뷰(620)상의 위치(621)로부터 실제 위치(624)까지의 상대 위치 벡터(622)를 계산할 수 있다. 프로세서(110)는 UAV(600)의 항공뷰(620)상의 위치(621) 및 상대 위치 벡터(622)로부터, 항공뷰(620)의 좌표축(625)의 원점을 기준으로 한 실제 위치(624)의 제1 좌표를 계산할 수 있다.In an embodiment, the processor 110 may determine a distance D from the camera to an object corresponding to the ROI 614 and determine a first coordinate based on the distance and the first direction 602 . For example, the processor 110 may obtain a distance D from a distance measuring sensor mounted on the UAV 600 to the actual position 624 of the target corresponding to the region of interest 614 . At this time, the processor 110 multiplies the unit direction vector representing the first direction 602 by D to calculate a relative position vector from the UAV 600 to the actual position 624 expressed on the world coordinate system 605 And, by projecting the calculated vector onto the aerial view 620, a relative position vector 622 from the position 621 on the aerial view 620 of the UAV 500 to the actual position 624 can be calculated. The processor 110 calculates the actual position 624 based on the origin of the coordinate axis 625 of the aerial view 620 from the position 621 on the aerial view 620 of the UAV 600 and the relative position vector 622. The first coordinates of can be calculated.

일 실시예에서, 프로세서(110)는 월드 좌표계(605)에서 카메라로부터 제1 방향(602)을 따라 연장된 직선과 지면(630)이 교차하는 경우, 교차점(624)의 좌표를 기초로 제1 좌표를 결정할 수 있다. 구체적으로, UAV(600)의 주변 지면(630)을 평면으로 가정하여, 프로세서(110)는 UAV(600)의 지면 고도(A)를 기초로, 제1 방향(602)에 대한 삼각함수를 이용하여 UAV(500)의 항공뷰(620)상의 위치(621)로부터 교차점(624)까지의 상대 위치 벡터(622)를 계산하고, UAV(600)의 항공뷰(620)상의 위치(621) 및 상대 위치 벡터(622)로부터, 항공뷰(620)의 좌표축(625)의 원점을 기준으로 한 실제 위치(624)의 제1 좌표를 계산할 수 있다. 이는 UAV(600)로부터 관심 영역(614)에 대응하는 실제 대상까지의 거리(D)를 별도로 측정할 필요가 없어지는 이점이 있다. 다른 실시예에서, 프로세서(110)의 메모리(120)에 UAV(600)의 주변 지형에 대한 정보가 저장되어 있는 경우, 프로세서(110)는 지형 정보를 이용하여 교차점(624)의 좌표를 결정하고, 교차점(624)의 좌표를 기초로 제1 좌표를 결정할 수 있다. 이는 UAV(600)의 주변 지면(630)을 평면으로 가정한 앞서의 경우보다 더 정확한 제1 좌표를 결정할 수 있다는 이점이 있다.In one embodiment, the processor 110, when a straight line extending along the first direction 602 from the camera in the world coordinate system 605 and the ground 630 intersect, based on the coordinates of the intersection point 624, the first coordinates can be determined. Specifically, assuming that the surrounding ground 630 of the UAV 600 is flat, the processor 110 uses a trigonometric function for the first direction 602 based on the ground elevation A of the UAV 600 The relative position vector 622 from the position 621 on the aerial view 620 of the UAV 500 to the intersection 624 is calculated, and the position 621 on the aerial view 620 of the UAV 600 and the relative position vector 622 are calculated. From the position vector 622, a first coordinate of the actual position 624 based on the origin of the coordinate axis 625 of the aerial view 620 can be calculated. This has the advantage of eliminating the need to separately measure the distance D from the UAV 600 to the actual object corresponding to the region of interest 614 . In another embodiment, when information on the terrain around the UAV 600 is stored in the memory 120 of the processor 110, the processor 110 determines the coordinates of the intersection 624 using the terrain information and , the first coordinates may be determined based on the coordinates of the intersection point 624 . This has the advantage of being able to determine more accurate first coordinates than in the previous case in which the surrounding ground 630 of the UAV 600 is assumed to be a plane.

도 7 은 본 개시에 따른 방법에서 카메라 뷰, 항공 뷰 및 월드 좌표계의 관계를 나타낸다. 일 실시예에서, 프로세서(110)는 왜곡 보정 함수를 이용하여 이미지를 보정하고, 보정된 이미지의 경계 좌표, 카메라의 화각 및 자세를 기초로 월드 좌표계에서 카메라로부터 경계 좌표에 대응하는 제3 방향을 확인하고, 카메라로부터 제3 방향을 따라 연장된 직선과 지면이 교차하는 좌표를 기초로 항공뷰에서 경계 좌표에 대응하는 제3 좌표를 확인하고, 항공뷰에서 제3 좌표에 관한 정보를 표시할 수 있다. 7 shows the relationship between a camera view, an aerial view and a world coordinate system in a method according to the present disclosure. In one embodiment, the processor 110 corrects the image using the distortion correction function, and determines a third direction corresponding to the boundary coordinates from the camera in the world coordinate system based on the coordinates of the boundary of the corrected image, the angle of view of the camera, and the posture of the camera. check, check the third coordinates corresponding to the boundary coordinates in the aerial view based on the coordinates where the straight line extending along the third direction from the camera and the ground intersect, and display information about the third coordinates in the aerial view there is.

도 7 을 참조하여 설명하면, 프로세서(110)는 우선, 왜곡 보정 함수를 이용하여 이미지를 보정하고, 보정된 이미지에서 제1 경계 좌표(716)를 확인할 수 있다. 왜곡 보정 방법은 상술한 바와 같다. 제1 경계 좌표(716), 제2 경계 좌표(717), 제3 경계 좌표(718) 및 제4 경계 좌표(719)는 각각 직사각형 형태의 이미지(710)의 네 꼭지점 픽셀의 좌표를 의미한다. 하지만 "경계 좌표"는 꼭지점 좌표에만 한정되지 않으며, 이미지의 모서리에 해당하는 어느 한 픽셀의 좌표일 수 있다. 즉, "경계 좌표"는 이미지의 너비 방향 또는 높이 방향으로 이웃하는 픽셀이 하나라도 존재하지 않는 픽셀의 좌표를 뜻한다.Referring to FIG. 7 , the processor 110 first corrects an image using a distortion correction function, and may check first boundary coordinates 716 in the corrected image. The distortion correction method is as described above. The first boundary coordinates 716, the second boundary coordinates 717, the third boundary coordinates 718, and the fourth boundary coordinates 719 mean coordinates of four vertex pixels of the rectangular image 710, respectively. However, "boundary coordinates" are not limited to vertex coordinates, and may be coordinates of any one pixel corresponding to a corner of an image. That is, the "boundary coordinates" refer to the coordinates of pixels that do not have any neighboring pixels in the width direction or height direction of the image.

다음으로, 프로세서(110)는 보정된 이미지의 제1 경계 좌표(716), 카메라의 화각 및 자세를 기초로 월드 좌표계(705)에서 카메라로부터 제1 경계 좌표(716)에 대응하는 제3 방향을 확인할 수 있다. 도 7 과 같이, 카메라, 제1 경계 좌표(716) 및 제1 경계 좌표(716)에 대응하는 제1 실제 위치(726)는 모두 하나의 직선 상에 존재할 수 있다. 제3 방향은 월드 좌표계(705)에서 이 직선이 향하는 방향을 의미하고, 제3 방향은 도 6 의 제1 방향(702)을 구하는 방법과 동일한 방법으로 계산될 수 있다.Next, the processor 110 determines a third direction corresponding to the first boundary coordinates 716 from the camera in the world coordinate system 705 based on the first boundary coordinates 716 of the corrected image and the angle of view and posture of the camera. You can check. As shown in FIG. 7 , the camera, the first boundary coordinates 716 , and the first actual position 726 corresponding to the first boundary coordinates 716 may all exist on one straight line. The third direction means the direction the straight line faces in the world coordinate system 705, and the third direction can be calculated in the same way as the method of obtaining the first direction 702 of FIG. 6 .

다음으로, 프로세서(110)는 카메라로부터 제3 방향을 따라 연장된 직선과 지면(730)이 교차하는 좌표를 기초로 항공뷰(720)에서 제1 경계 좌표(716)에 대응하는 제3 좌표를 확인하고, 항공뷰(720)에서 제3 좌표에 관한 정보를 표시할 수 있다.Next, the processor 110 generates third coordinates corresponding to the first boundary coordinates 716 in the aerial view 720 based on the coordinates at which the ground 730 intersects a straight line extending from the camera along the third direction. It is checked, and information about the third coordinate may be displayed in the aerial view 720 .

이는 상술한 제1 좌표를 계산하는 방법과 유사하게, UAV(700)의 주변 지면(730)을 평면으로 가정하여, 프로세서(110)는 UAV(700)의 지면 고도(A)를 기초로, 제3 방향에 대한 삼각함수를 이용하여 항공뷰(720)의 좌표축(725)의 원점을 기준으로 한 제1 실제 위치(726)의 제3 좌표를 계산할 수 있다. 프로세서(110)는 상술한 방법과 동일한 방법으로, 제2 경계 좌표(717), 제3 경계 좌표(718) 및 제4 경계 좌표(719)에 각각 대응하는 제2 실제 위치(727)와 좌표, 제3 실제 위치(728)의 좌표 및 제4 실제 위치(729)의 좌표를 계산할 수 있다. 프로세서(110)는 그 다음, 제1 실제 위치(726)의 좌표, 제2 실제 위치(727)의 좌표, 제3 실제 위치(728)의 좌표 및 제4 실제 위치(729)의 좌표를 꼭짓점으로 하는 사각형을 항공뷰에 표시할 수 있다. 이는 항공뷰에서 카메라의 시야를 확인할 수 있는 이점이 있다.Similar to the above-described method of calculating the first coordinate, assuming that the surrounding ground 730 of the UAV 700 is a plane, the processor 110 calculates the first coordinate based on the ground elevation A of the UAV 700. Third coordinates of the first actual position 726 based on the origin of the coordinate axis 725 of the aerial view 720 may be calculated using trigonometric functions in three directions. The processor 110 obtains the second real position 727 and coordinates corresponding to the second boundary coordinates 717, the third boundary coordinates 718, and the fourth boundary coordinates 719, respectively, in the same way as the above-described method. Coordinates of the third actual position 728 and the coordinates of the fourth actual position 729 may be calculated. The processor 110 then converts the coordinates of the first real position 726, the second real position 727, the third real position 728, and the fourth real position 729 into vertices. can be displayed in the aerial view. This has the advantage of being able to check the camera's field of view from an aerial view.

도 8 은 본 개시에 따른 방법의 일 실시예를 나타낸다. 일 실시예에 따라, 프로세서(110)는 UAV의 항공뷰 상 위치(821) 및 헤딩 방향(823)을 항공뷰에 표시할 수 있다. 또한, 프로세서(110)는 카메라 뷰(810)의 관심영역(814)에 대응하는 제1 좌표에 관한 실제 위치(824)를 항공뷰(820)에 표시할 수 있다. 또한, 프로세서(110)는 제1 경계 좌표(816), 제2 경계 좌표(817), 제3 경계 좌표(818) 및 제4 경계 좌표(819)에 각각 대응하는 제1 실제 위치(826), 제2 실제 위치(827), 제3 실제 위치(828) 및 제4 실제 위치(829)를 항공뷰(820)에 함께 표시할 수 있다. 이는 카메라가 지면을 지향하는 경우, 사용자가 카메라의 시야와 카메라 뷰에서의 관심 영역(814)의 실제 위치(824)를 쉽게 인식할 수 있는 이점이 있다.8 shows one embodiment of a method according to the present disclosure. According to an embodiment, the processor 110 may display a position 821 and a heading direction 823 of the UAV on the aerial view. Also, the processor 110 may display the actual location 824 of the first coordinates corresponding to the ROI 814 of the camera view 810 on the aerial view 820 . In addition, the processor 110 provides a first actual position 826 corresponding to the first boundary coordinates 816, the second boundary coordinates 817, the third boundary coordinates 818, and the fourth boundary coordinates 819, respectively; The second real location 827 , the third real location 828 , and the fourth real location 829 may be displayed together on the aerial view 820 . This has the advantage that the user can easily recognize the field of view of the camera and the real position 824 of the region of interest 814 in the camera view when the camera is pointed at the ground.

도 9 는 본 개시에 따른 방법의 일 실시예를 나타낸다. UAV의 카메라가 지면과 평행하거나 지면이 아닌 상공 방향을 지향하는 경우, 제1 방향(여기서 제1 방향은 도 6 의 제1 방향(602)에 대응된다. 즉, 제1 방향은 월드 좌표계에서 카메라 뷰(910)의 관심 영역(914)의 방향을 나타낸다.)을 따라 연장된 직선이 지면과 교차하지 않을 수 있다. 이러한 경우, 항공뷰(920)에 실제 위치를 표시하기 어려울 수 있으므로, 일 실시예에서, 프로세서(110)는 제1 방향을 기초로, 항공뷰에서 제1 방향에 대응하는 제2 방향(923)을 확인하고, 항공뷰(920)에서 제2 방향(923)에 관한 정보를 표시할 수 있다. 예를 들어, 제2 방향(923)은 항공뷰(920) 상의 UAV의 위치(921)로부터 제2 방향(923)으로 뻗어나가는 직선 형태일 수 있다. 제2 방향(923)의 표현은 위에 한정되지 않으며, 화살표 등 방향을 표현할 수 있는 알려진 인터페이스 형식이 될 수 있다.9 shows one embodiment of a method according to the present disclosure. When the camera of the UAV is parallel to the ground or directed in an upward direction other than the ground, the first direction (here, the first direction corresponds to the first direction 602 of FIG. 6 . That is, the first direction corresponds to the camera in the world coordinate system) Indicates the direction of the region of interest 914 of the view 910) may not intersect the ground. In this case, since it may be difficult to display the actual location in the aerial view 920, in one embodiment, the processor 110 determines the second direction 923 corresponding to the first direction in the aerial view based on the first direction. , and information about the second direction 923 may be displayed in the aerial view 920 . For example, the second direction 923 may be a straight line extending from the position 921 of the UAV on the aerial view 920 to the second direction 923 . Expression of the second direction 923 is not limited to the above, and may be a known interface format capable of expressing a direction such as an arrow.

도 9 의 상황에서, 관심 영역(914)의 제2 방향(923)만 항공뷰(920)에 표시한다면, 사용자가 카메라의 화각을 고려해서 대상의 항공뷰(920) 상 실제 위치를 추론해야 하므로, 대상의 항공뷰(920) 상 위치를 식별하는데 어려움이 있을 수 있다. 따라서 일 실시예에서, 프로세서(110)는 카메라의 자세 및 화각을 기초로 항공뷰(920)에서 카메라의 수평 시야(922)를 삼각형으로 표시할 수 있다. 이는 사용자가 카메라의 화각에 상대적인 관심 영역(914)의 실제 위치 또는 제2 방향(923)을 쉽게 인지할 수 있는 이점을 가진다. 이 경우, 삼각형의 일 꼭지점은 항공뷰(920) 상의 UAV의 위치(921)와 동일하거나 인접할 수 있으며, 상기 꼭지점을 중심으로 하는 내각은 카메라의 수평 화각(W_deg)과 같거나 유사할 수 있다. 또한, 삼각형은 반투명한 색으로 표시되어, 삼각형 내의 항공뷰(920)의 정보를 가리지 않도록 표현될 수 있다. 카메라의 수평 시야(922)의 표시는 도 9 와 같이 삼각형 형태에만 한정되지 않으며, 카메라의 수평 화각(W_deg)을 표현할 수 있는 알려진 형태의 인터페이스를 포함할 수 있다. In the situation of FIG. 9 , if only the second direction 923 of the ROI 914 is displayed on the aerial view 920, the user must infer the actual location of the target on the aerial view 920 by considering the angle of view of the camera. , there may be difficulty in identifying the location on the aerial view 920 of the object. Accordingly, in one embodiment, the processor 110 may display the horizontal field of view 922 of the camera as a triangle in the aerial view 920 based on the attitude and angle of view of the camera. This has an advantage that the user can easily recognize the second direction 923 or the actual position of the region of interest 914 relative to the angle of view of the camera. In this case, one vertex of the triangle may be the same as or adjacent to the position 921 of the UAV on the aerial view 920, and the interior angle centered on the vertex may be equal to or similar to the horizontal angle of view (W _deg ) of the camera. there is. Also, the triangle may be displayed in a translucent color so as not to cover the information of the aerial view 920 within the triangle. The display of the horizontal field of view 922 of the camera is not limited to the triangular shape as shown in FIG. 9 , and may include a known interface capable of expressing the horizontal angle of view (W _deg ) of the camera.

도 10 은 본 개시에 따른 방법의 일 실시예를 나타낸다. 상술한 바에 따라 도 2 내지 도 9 를 참고하여 설명된 방법은, 카메라 뷰의 관심 영역에 대응하는 위치를 항공뷰에 표시하는 방법과 관련된다. 상술한 방법에 포함되는 단계를 역순으로 수행한다면, 도 10 의 항공뷰(1020)의 관심 영역(1024)에 대응하는 위치에 관련된 정보를 카메라 뷰(1014)에 표시할 수도 있음을 알 수 있다. 따라서 일 실시예에서, 프로세서(110)는 항공뷰(1020)에서 관심 영역(1024)의 제4 좌표를 확인하고, 제4 좌표를 기초로 월드 좌표계에서 카메라로부터 관심 영역의 제4 방향을 확인하고, 제4 방향, 카메라의 화각 및 자세를 기초로 카메라 뷰(1014) 에서 관심 영역의 이미지 좌표를 확인하고, 기 생성된 왜곡 보정 함수를 이용하여 이미지 좌표를 보정하고, 카메라 뷰에서 보정된 이미지 좌표에 관한 정보를 표시할 수 있다. 이는 사용자가 항공뷰의 관심 영역에 대응하는 실제 위치를 카메라 뷰에서 확인할 수 있게 되어, 사용자가 주변 환경을 더 잘 인지할 수 있는 이점이 있다. 왜곡 보정 함수는 카메라에 포함되는 광학계의 방사 왜곡을 보정하는 명령을 포함할 수 있다. 왜곡 보정 방법의 자세한 내용은 도 2 에서 상술한 바와 같다.10 shows one embodiment of a method according to the present disclosure. As described above, the method described with reference to FIGS. 2 to 9 relates to a method of displaying a location corresponding to a region of interest in a camera view on an aerial view. If the steps included in the above method are performed in reverse order, it can be seen that information related to a position corresponding to the ROI 1024 of the aerial view 1020 of FIG. 10 may be displayed on the camera view 1014 . Accordingly, in one embodiment, the processor 110 determines a fourth coordinate of the region of interest 1024 in the aerial view 1020, and based on the fourth coordinate, determines a fourth direction of the region of interest from the camera in world coordinates; , the fourth direction, the image coordinates of the region of interest in the camera view 1014 are checked based on the angle of view and posture of the camera, the image coordinates are corrected using a previously generated distortion correction function, and the image coordinates corrected in the camera view are corrected. information can be displayed. This allows the user to check the actual location corresponding to the region of interest of the aerial view from the camera view, so that the user can better recognize the surrounding environment. The distortion correction function may include a command for correcting radial distortion of an optical system included in the camera. Details of the distortion correction method are as described above with reference to FIG. 2 .

일 실시예에서, 관심 영역(1024)은 사용자가 항공뷰(1020)의 일 영역을 선택함으로써 검출될 수 있다. 이 때, 전자 장치(100)는 별도의 입력 디바이스를 포함하여, 사용자가 입력 디바이스를 이용하여 항공뷰(1020)의 일 영역을 선택하도록 할 수 있다. 예를 들어, 사용자는 마우스로 항공뷰(1020)의 일 영역을 선택하거나, 항공뷰(1020)를 나타내는 스크린을 터치하는 방식 등 당업자에게 알려진 방식으로 일 영역을 선택할 수 있다. 다른 예를 들어, 프로세서(110)는 사용자가 항공뷰(1020)의 이미지에서 응시하는 대상을 검출하고, 검출된 대상을 기초로 관심 영역(1024)의 제4 좌표를 결정할 수 있다. 이 때 사용자가 카메라 뷰의 이미지에서 응시하는 대상은 아이트래커(eye tracker) 등의 입력 디바이스를 통해 검출될 수 있다. 이러한 검출 방식은 사용자가 본인의 손을 사용하여 별도의 조작을 할 필요가 없다는 점에서, 사용자의 손이 자유로워지는 이점이 있다.In one embodiment, region of interest 1024 may be detected by a user selecting an area of aerial view 1020 . At this time, the electronic device 100 may include a separate input device so that the user can select a region of the aerial view 1020 using the input device. For example, a user may select an area of the aerial view 1020 with a mouse or a method known to those skilled in the art, such as touching a screen displaying the aerial view 1020 . For another example, the processor 110 may detect an object that the user gazes at in the image of the aerial view 1020 and determine fourth coordinates of the region of interest 1024 based on the detected object. In this case, a target the user gazes at in the image of the camera view may be detected through an input device such as an eye tracker. This detection method has an advantage in that the user's hand is free in that the user does not need to perform a separate operation using the user's hand.

도 10 에 따라, 사용자는 항공뷰(1020)에 표시된 항공뷰(1020) 상의 UAV의 위치(1021) 및 카메라의 수평 시야(1022)를 참고하여, 관심 영역(1024)을 선택할 수 있다. 이 때, 카메라가 지면 뿐만 아니라 상공 영역도 촬영하고 있다면, 항공뷰(1020)의 2차원 평면 상에서 선택된 관심 영역(1024)의 실제 위치는 카메라의 높이 방향에서 결정되기 어려울 수 있다. 따라서 이 경우 일 실시예에서, 프로세서(110)는 이미지 좌표를 카메라 뷰(1010)의 일부 영역(1014)으로 표시할 수 있다. 영역(1014)은 카메라 뷰(1010) 이미지의 너비 픽셀 수보다 같거나 적은 너비를 가지는 띠 형태를 가질 수 있다. 프로세서(110)는 띠를 반투명하게 표시하여 사용자가 띠 안쪽의 이미지를 식별할 수 있도록 할 수 있다. 이와 같은 표시는, 사용자가 카메라 뷰(1010)의 이미지에 표시되는 주변 환경의 형태를 이용하여 카메라 뷰(1010) 내에서 항공뷰(1020)의 관심 영역(1024)에 대응하는 실제 위치를 추론할 수 있도록 돕는 이점이 있다.According to FIG. 10 , the user may select a region of interest 1024 by referring to the position 1021 of the UAV and the horizontal field of view 1022 of the camera on the aerial view 1020 displayed on the aerial view 1020 . At this time, if the camera captures not only the ground but also the sky, the actual location of the selected region of interest 1024 on the 2D plane of the aerial view 1020 may be difficult to determine in the height direction of the camera. Accordingly, in this case, in one embodiment, the processor 110 may display the image coordinates as a partial area 1014 of the camera view 1010 . The area 1014 may have a band shape having a width equal to or less than the number of pixels in the width of the camera view 1010 image. The processor 110 may display the band translucently so that the user can identify the image inside the band. Such a display allows the user to infer an actual location corresponding to the region of interest 1024 of the aerial view 1020 within the camera view 1010 using the shape of the surrounding environment displayed in the image of the camera view 1010. There are benefits to helping you.

도 10 에는 항공뷰(1020)에 카메라의 수평 시야(1022)가 나타나 있지만, 도 8 에서와 같이, 항공뷰(1020)에는 카메라의 시야가 사각형 형태로 표시될 수도 있다. 이러한 경우, 항공뷰(1020)의 관심 영역(1024) 에 대응하는 제4 좌표는 마치 도 8 의 카메라 뷰(810)에 표시된 관심 영역(1024)과 같이 항공뷰(1020) 상의 하나의 지점으로 표시될 수 있다.Although the horizontal field of view 1022 of the camera is shown in the aerial view 1020 in FIG. 10 , the field of view of the camera may be displayed in a rectangular shape in the aerial view 1020 as shown in FIG. 8 . In this case, the fourth coordinate corresponding to the ROI 1024 of the aerial view 1020 is displayed as a point on the aerial view 1020, like the ROI 1024 displayed on the camera view 810 of FIG. 8 . It can be.

도 11 은 본 개시에 따른 방법의 일 실시예를 나타낸다. 도 11 의 항공뷰(1120)에는 UAV(1121) 및 카메라의 수평 시야(1122)가 표시되어 있다. 사용자의 관심 영역(1124)은 도 10 에서와 달리 수평 시야(1122)를 벗어난 위치에 표시되어 있다. 이러한 경우라도, 사용자가 카메라 뷰(1110)를 참고하여 UAV를 조작해서 관심 영역(1124)을 촬영할 수 있도록 돕기 위해, 일 실시예에서, 프로세서(110)는 관심 영역(1124)에 대응하는 보정된 이미지 좌표가 카메라 뷰(1110)의 이미지의 경계를 벗어나는 경우, 카메라 뷰(1110)에서 보정된 이미지 좌표의 방향(1114)을 표시할 수 있다. 보정된 이미지 좌표의 방향(1114)은 카메라 뷰(1110)의 경계를 향하는 화살표 형태로 표시될 수 있다. 보정된 이미지 좌표의 방향(1114)은 화살표에 한정되지 않고, 방향을 표시할 수 있는 알려진 인터페이스가 될 수 있다.11 shows one embodiment of a method according to the present disclosure. In the aerial view 1120 of FIG. 11, the UAV 1121 and the horizontal field of view 1122 of the camera are displayed. Unlike in FIG. 10 , the user's region of interest 1124 is displayed at a position out of the horizontal field of view 1122 . Even in this case, in order to assist the user to photograph the region of interest 1124 by manipulating the UAV with reference to the camera view 1110, in one embodiment, the processor 110 generates a calibrated image corresponding to the region of interest 1124. When the image coordinates deviate from the boundary of the image of the camera view 1110, the direction 1114 of the image coordinates corrected in the camera view 1110 may be displayed. The direction 1114 of the corrected image coordinates may be displayed in the form of an arrow pointing toward the boundary of the camera view 1110 . The direction 1114 of the corrected image coordinates is not limited to an arrow, and may be a known interface capable of displaying the direction.

도 12 는 일 실시예에 따른 전자 장치(100)의 동작 방법을 나타낸다. 도 12 의 동작 방법의 각 단계는 도 1 의 전자 장치(100)에 의해 수행될 수 있으므로, 도 1 과 중복되는 내용에 대해서는 설명을 생략한다.12 illustrates an operating method of the electronic device 100 according to an exemplary embodiment. Since each step of the operating method of FIG. 12 can be performed by the electronic device 100 of FIG. 1 , descriptions of overlapping contents with those of FIG. 1 will be omitted.

단계 S1210에서, 전자 장치(100)는 카메라 뷰(camera view)에서 관심 영역의 이미지 좌표를 확인할 수 있다. In step S1210, the electronic device 100 may check image coordinates of the region of interest in a camera view.

전자 장치(100)는 사용자가 카메라 뷰의 이미지에서 응시하는 대상을 검출하고, 검출된 대상을 기초로 관심 영역의 이미지 좌표를 결정할 수 있다.The electronic device 100 may detect an object that the user is gazing at in the image of the camera view and determine image coordinates of the region of interest based on the detected object.

단계 S1220에서, 전자 장치(100)는 기 생성된 왜곡 보정 함수를 이용하여 이미지 좌표를 보정할 수 있다.In step S1220, the electronic device 100 may correct the image coordinates using the pre-generated distortion correction function.

왜곡 보정 함수는 카메라에 포함되는 광학계의 방사 왜곡(radial distortion)을 보정하는 명령을 포함할 수 있다.The distortion correction function may include a command for correcting radial distortion of an optical system included in the camera.

단계 S1230에서, 전자 장치(100)는 보정된 이미지 좌표, 카메라의 화각 및 자세를 기초로 월드 좌표계에서 카메라로부터 관심 영역의 제1 방향을 확인할 수 있다.In step S1230, the electronic device 100 may check the first direction of the ROI from the camera in the world coordinate system based on the corrected image coordinates, the angle of view and the posture of the camera.

단계 S1240에서, 전자 장치(100)는 제1 방향을 기초로 항공뷰(birdeye's view)에서 관심 영역에 대응하는 제1 좌표를 확인할 수 있다.In step S1240, the electronic device 100 may check first coordinates corresponding to the region of interest in a birdeye's view based on the first direction.

전자 장치(100)는 카메라로부터 관심 영역에 대응하는 대상까지의 거리를 확인하고, 거리 및 제1 방향을 기초로 제1 좌표를 결정할 수 있다.The electronic device 100 may determine a distance from the camera to an object corresponding to the region of interest and determine a first coordinate based on the distance and the first direction.

전자 장치(100)는 월드 좌표계에서 카메라로부터 제1 방향을 따라 연장된 직선과 지면이 교차하는 경우, 교차점의 좌표를 기초로 제1 좌표를 결정할 수 있다.When a straight line extending along the first direction from the camera intersects the ground in the world coordinate system, the electronic device 100 may determine the first coordinate based on the coordinates of the intersection point.

단계 S1250에서, 전자 장치(100)는 항공뷰에서 제1 좌표에 관한 정보를 표시할 수 있다.In step S1250, the electronic device 100 may display information about the first coordinate in the aerial view.

전자 장치(100)는 제1 방향을 기초로, 항공뷰에서 제1 방향에 대응하는 제2 방향을 확인하고, 항공뷰에서 제2 방향에 관한 정보를 표시할 수 있다.Based on the first direction, the electronic device 100 may identify a second direction corresponding to the first direction in the aerial view and display information about the second direction in the aerial view.

전자 장치(100)는 자세 및 화각을 기초로 항공뷰에서 카메라의 수평 시야를 삼각형으로 표시할 수 있다.The electronic device 100 may display the horizontal field of view of the camera as a triangle in an aerial view based on the posture and angle of view.

도 13 은 일 실시예에 따른 전자 장치(100)의 동작 방법을 나타낸다. 도 13 의 동작 방법의 각 단계는 도 1 의 전자 장치(100)에 의해 수행될 수 있으므로, 도 1 과 중복되는 내용에 대해서는 설명을 생략한다.13 illustrates an operating method of the electronic device 100 according to an exemplary embodiment. Since each step of the operating method of FIG. 13 can be performed by the electronic device 100 of FIG. 1 , descriptions of overlapping contents with those of FIG. 1 will be omitted.

단계 S1310에서, 전자 장치(100)는 항공뷰(birdeye's view)에서 관심 영역의 제4 좌표를 확인할 수 있다.In step S1310, the electronic device 100 may check fourth coordinates of the region of interest in a birdeye's view.

전자 장치(100)는 사용자가 항공뷰의 이미지에서 응시하는 대상을 검출하고, 검출된 대상을 기초로 제4 좌표를 결정할 수 있다.The electronic device 100 may detect an object that the user gazes at in the aerial view image, and determine fourth coordinates based on the detected object.

단계 S1320에서, 전자 장치(100)는 제4 좌표를 기초로 월드 좌표계에서 카메라로부터 관심 영역의 제4 방향을 확인할 수 있다.In step S1320, the electronic device 100 may check a fourth direction of the ROI from the camera in the world coordinate system based on the fourth coordinates.

단계 S1330에서, 전자 장치(100)는 제4 방향, 카메라의 화각 및 자세를 기초로 카메라 뷰(camera view) 에서 관심 영역의 이미지 좌표를 확인할 수 있다.In step S1330, the electronic device 100 may check the image coordinates of the region of interest in the camera view based on the fourth direction, the angle of view, and the attitude of the camera.

단계 S1340에서, 전자 장치(100)는 기 생성된 왜곡 보정 함수를 이용하여 이미지 좌표를 보정할 수 있다.In step S1340, the electronic device 100 may correct the image coordinates using the pre-generated distortion correction function.

단계 S1350에서, 전자 장치(100)는 카메라 뷰에서 보정된 이미지 좌표에 관한 정보를 표시할 수 있다.In step S1350, the electronic device 100 may display information about corrected image coordinates in the camera view.

전자 장치(100)는 이미지 좌표를 카메라 뷰의 일부 영역으로 표시할 수 있다.The electronic device 100 may display image coordinates as a partial area of a camera view.

전자 장치(100)는 보정된 이미지 좌표가 이미지의 경계를 벗어나는 경우, 카메라 뷰에서 보정된 이미지 좌표의 방향을 표시할 수 있다.When the corrected image coordinates deviate from the image boundary, the electronic device 100 may display the direction of the corrected image coordinates in the camera view.

본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어, 소프트웨어, 또는 이들의 조합들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 데이터 처리 또는 이들의 조합 등을 위하여 종래 기술을 채용할 수 있다. This embodiment can be presented as functional block structures and various processing steps. These functional blocks may be implemented with any number of hardware, software, or combinations thereof that perform specific functions. For example, an embodiment is an integrated circuit configuration such as memory, processing, logic, look-up table, etc., which can execute various functions by control of one or more microprocessors or other control devices. can employ them. Similar to components that can be implemented as software programming or software elements, the present embodiments include data structures, processes, routines, or various algorithms implemented as combinations of other programming constructs, such as C, C++, Java ( It can be implemented in a programming or scripting language such as Java), assembler, or the like. Functional aspects may be implemented in an algorithm running on one or more processors. In addition, this embodiment may employ conventional techniques for electronic environment setting, signal processing, data processing, or a combination thereof.

Claims

In the method for visualizing a region of interest of an electronic device,
checking image coordinates of the region of interest in a camera view;
correcting the image coordinates using a pre-generated distortion correction function;
identifying a first direction of the region of interest from the camera in a world coordinate system based on corrected image coordinates, a view angle of the camera, and a posture;
checking first coordinates corresponding to the region of interest in a birdeye's view based on the first direction; and
and displaying information about the first coordinate in the aerial view.

According to claim 1,
Checking a distance from the camera to an object corresponding to the region of interest;
The step of checking the first coordinates,
and determining the first coordinate based on the distance and the first direction.

According to claim 1,
The step of checking the first coordinates,
and determining the first coordinates based on coordinates of an intersection point when a straight line extending along the first direction from the camera intersects the ground in the world coordinate system.

According to claim 1,
The display step is
Based on the first direction, identifying a second direction corresponding to the first direction in the aerial view, and displaying information about the second direction in the aerial view. visualization method.

According to claim 1,
correcting the image using a distortion correction function;
checking a third direction corresponding to the boundary coordinates from a camera in a world coordinate system based on the boundary coordinates of the corrected image, the angle of view and the attitude of the camera;
checking third coordinates corresponding to the boundary coordinates in an aerial view based on coordinates at which a straight line extending along the third direction from the camera intersects the ground; and
The method of visualizing a region of interest of an electronic device further comprising displaying information about the third coordinate in the aerial view.

According to claim 1,
The display step is
and displaying a horizontal field of view of the camera as a triangle in the aerial view based on the posture and the angle of view.

According to claim 1,
The step of checking the image coordinates,
detecting a target that a user gazes at in the image of the camera view; and
A method for visualizing a region of interest in an electronic device, comprising determining image coordinates of the region of interest based on the detected object.

According to claim 1,
The distortion correction function includes a command for correcting radial distortion of an optical system included in the camera.

As an electronic device,
a memory in which at least one program is stored; and
By executing the at least one program,
Check the image coordinates of the region of interest in the camera view,
Correcting the image coordinates using a pre-generated distortion correction function;
Checking a first direction of the region of interest from the camera in a world coordinate system based on the corrected image coordinates, the camera's angle of view and posture;
Checking first coordinates corresponding to the region of interest in a birdeye's view based on the first direction;
And a processor for displaying information about the first coordinate in the aerial view.

A computer-readable non-transitory recording medium recording a program for executing a method of visualizing a region of interest on a computer,
The method for visualizing the region of interest,
checking image coordinates of a region of interest in a camera view;
correcting the image coordinates using a pre-generated distortion correction function;
identifying a first direction of the region of interest from the camera in a world coordinate system based on corrected image coordinates, a view angle of the camera, and a posture;
checking first coordinates corresponding to the region of interest in a birdeye's view based on the first direction; and
and displaying information about the first coordinate in the aerial view.

In the method for visualizing a region of interest of an electronic device,
checking fourth coordinates of the region of interest in a birdeye's view;
checking a fourth direction of the ROI from a camera in a world coordinate system based on the fourth coordinate;
checking image coordinates of the region of interest in a camera view based on the fourth direction, the angle of view, and the posture of the camera;
correcting the image coordinates using a pre-generated distortion correction function; and
A method of visualizing a region of interest of an electronic device comprising the step of displaying information about image coordinates calibrated in the camera view.

According to claim 11,
The display step is
and displaying the image coordinates as a partial region of the camera view.

According to claim 11,
The display step is
and displaying a direction of the corrected image coordinates in the camera view when the corrected image coordinates are out of a boundary of the image.

According to claim 11,
The step of checking the fourth coordinate,
detecting an object the user is gazing at in the image of the aerial view; and
and determining the fourth coordinate based on the detected object.

According to claim 11,
The distortion correction function includes a command for correcting radial distortion of an optical system included in the camera.

As an electronic device,
a memory in which at least one program is stored; and
By executing the at least one program,
Checking the fourth coordinates of the region of interest in a birdeye's view;
Checking a fourth direction of the region of interest from a camera in a world coordinate system based on the fourth coordinate;
Checking image coordinates of the region of interest in a camera view based on the fourth direction, an angle of view, and a posture of the camera;
Correcting the image coordinates using a pre-generated distortion correction function;
An electronic device comprising a processor displaying information about image coordinates calibrated in the camera view.

A computer-readable non-transitory recording medium recording a program for executing a method of visualizing a region of interest on a computer,
The method for visualizing the region of interest,
checking fourth coordinates of a region of interest in a birdeye's view;
checking a fourth direction of the ROI from a camera in a world coordinate system based on the fourth coordinate;
checking image coordinates of the region of interest in a camera view based on the fourth direction, the angle of view, and the posture of the camera;
correcting the image coordinates using a pre-generated distortion correction function; and
and displaying information about image coordinates corrected in the camera view.