KR102252662B1 - Device and method to generate data associated with image map - Google Patents

Device and method to generate data associated with image map Download PDF

Info

Publication number
KR102252662B1
KR102252662B1 KR1020190016010A KR20190016010A KR102252662B1 KR 102252662 B1 KR102252662 B1 KR 102252662B1 KR 1020190016010 A KR1020190016010 A KR 1020190016010A KR 20190016010 A KR20190016010 A KR 20190016010A KR 102252662 B1 KR102252662 B1 KR 102252662B1
Authority
KR
South Korea
Prior art keywords
image
map
coordinates
polygonal
region
Prior art date
Application number
KR1020190016010A
Other languages
Korean (ko)
Other versions
KR20200098194A (en
Inventor
정경전
김대봉
김은영
김준식
김현호
변재운
이상욱
최진혁
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020190016010A priority Critical patent/KR102252662B1/en
Publication of KR20200098194A publication Critical patent/KR20200098194A/en
Application granted granted Critical
Publication of KR102252662B1 publication Critical patent/KR102252662B1/en

Links

Images

Classifications

    • G06T3/06
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/0031Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof

Abstract

본 발명의 실시 예에 따른 이미지 맵과 연관되는 데이터를 생성하는 방법은, 영상을 디스플레이하는 단계; 영상 중 적어도 3개의 영상 좌표들을 선택하는 제 1 사용자 입력을 수신하는 단계; 선택된 영상 좌표들에 의해 정의되는 다각형 영역을 이미지 맵에 중첩시켜 디스플레이하는 단계; 다각형 영역을 이미지 맵 상에서 변형하는 제 2 사용자 입력을 수신하는 단계; 및 제 2 사용자 입력에 따라 이미지 맵 상 변형된 다각형 영역의 맵 좌표들을 감지하여, 영상에서의 다각형 영역의 영상 좌표들 및 변형된 다각형 영역의 맵 좌표들 사이의 매핑 정보를 생성하는 단계를 포함한다.A method of generating data associated with an image map according to an embodiment of the present invention includes: displaying an image; Receiving a first user input for selecting at least three image coordinates from among the images; Displaying a polygonal area defined by the selected image coordinates by superimposing it on the image map; Receiving a second user input for transforming the polygonal region on the image map; And generating mapping information between image coordinates of the polygonal region in the image and map coordinates of the transformed polygonal region by detecting map coordinates of the polygonal region transformed on the image map according to a second user input. .

Description

이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법{DEVICE AND METHOD TO GENERATE DATA ASSOCIATED WITH IMAGE MAP}An apparatus for generating data associated with an image map, and a method of operation thereof. TECHNICAL FIELD [DEVICE AND METHOD TO GENERATE DATA ASSOCIATED WITH IMAGE MAP}

본 발명은 전자 장치에 관한 것으로, 좀 더 구체적으로는 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법에 관한 것이다.The present invention relates to an electronic device, and more particularly, to an apparatus for generating data associated with an image map and a method of operating the same.

최근 들어, 치안 및 안전 등의 다양한 목적으로 영상 감시(video monitoring) 시스템들이 빠른 속도로 보급되고 있다. 이러한 영상 감시 시스템들은 촬영된 영상을 재생하거나 저장할 수 있으며, 네트워크를 통해 다른 장치로 촬영된 영상을 제공할 수도 있다.In recent years, video monitoring systems are spreading at a rapid rate for various purposes such as security and safety. These video surveillance systems can play or store a captured image, and provide an image captured by another device through a network.

영상 감시 시스템을 통해 촬영된 영상에 대한 영상 분석(Video content analysis)을 수행함으로써 생성되는 데이터는 다양한 방면에서 활용될 수 있다. 영상 분석에 따른 데이터를 2차원의 이미지 맵에 나타낸다고 가정한다. 영상은 3차원 공간을 촬영하여 획득되는 것인 반면 이미지 맵은 2차원이므로, 다양한 요소들에 대한 고려가 필요하다. 예를 들면, 카메라가 설치된 높이, 카메라의 촬영 방향, 화각 등 다양한 요소들에 따라 영상 및/또는 영상 분석에 따른 데이터는 2차원의 맵과는 상이한 스케일을 가질 수 있다.Data generated by performing video content analysis on an image captured through a video surveillance system can be utilized in various fields. It is assumed that data according to image analysis is displayed on a two-dimensional image map. An image is acquired by photographing a three-dimensional space, whereas an image map is two-dimensional, so various factors need to be considered. For example, according to various factors such as a height at which the camera is installed, a photographing direction of the camera, and an angle of view, an image and/or data according to an image analysis may have a different scale than a two-dimensional map.

위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.The above-described content is only intended to aid in understanding the background art of the technical idea of the present invention, and therefore, it cannot be understood as the content corresponding to the prior art known to those skilled in the art of the present invention.

본 발명의 실시 예들은 향상된 신뢰성을 갖는 영상과 이미지 맵 사이의 매핑 정보를 생성 및 저장하는 영상 매핑 장치 및 그것의 동작 방법을 제공하기 위한 것이다.Embodiments of the present invention are to provide an image mapping apparatus for generating and storing mapping information between an image and an image map having improved reliability, and a method of operating the same.

본 발명의 실시 예에 따른 이미지 맵을 저장하고 상기 이미지 맵과 연관되는 데이터를 생성하는 방법은, 영상을 디스플레이하는 단계; 상기 영상 중 적어도 3개의 영상 좌표들을 선택하는 제 1 사용자 입력을 수신하는 단계; 상기 선택된 영상 좌표들에 의해 정의되는 다각형 영역을 상기 이미지 맵에 중첩시켜 디스플레이하는 단계; 상기 다각형 영역을 상기 이미지 맵 상에서 변형하는 제 2 사용자 입력을 수신하는 단계; 및 상기 제 2 사용자 입력에 따라 상기 이미지 맵 상 상기 변형된 다각형 영역의 맵 좌표들을 감지하여, 상기 영상에서의 상기 다각형 영역의 영상 좌표들 및 상기 변형된 다각형 영역의 상기 맵 좌표들 사이의 매핑 정보를 생성하는 단계를 포함한다.A method of storing an image map and generating data associated with the image map according to an embodiment of the present invention includes: displaying an image; Receiving a first user input for selecting at least three image coordinates among the images; Displaying a polygonal area defined by the selected image coordinates by superimposing it on the image map; Receiving a second user input for transforming the polygonal region on the image map; And mapping information between image coordinates of the polygonal region in the image and map coordinates of the transformed polygonal region by detecting map coordinates of the transformed polygonal region on the image map according to the second user input. And generating.

상기 제 2 사용자 입력은 상기 다각형 영역에 대한 회전, 상기 다각형 영역의 사이즈의 조절, 및 상기 다각형 영역의 왜곡 중 적어도 하나를 포함할 수 있다.The second user input may include at least one of rotation of the polygonal region, adjustment of the size of the polygonal region, and distortion of the polygonal region.

상기 방법은 상기 영상의 적어도 일부의 영상 좌표들에 대응하는 영상 분석 신호들을 수신하는 단계; 및 상기 매핑 정보를 참조하여 상기 이미지 맵에 상기 영상 분석 신호들을 시각화하는 단계를 더 포함할 수 있다.The method includes receiving image analysis signals corresponding to at least some image coordinates of the image; And visualizing the image analysis signals on the image map with reference to the mapping information.

상기 영상 분석 신호들은 히트맵 데이터일 수 있다.The image analysis signals may be heat map data.

상기 방법은, 상기 이미지 맵 내에서 제 1 영역을 선택하는 제 3 사용자 입력을 수신하는 단계; 및 상기 매핑 정보를 참조하여 상기 제 1 영역에 매핑되는 상기 영상 내 제 2 영역을 식별하는 단계를 더 포함할 수 있다.The method includes receiving a third user input for selecting a first area within the image map; And identifying a second region in the image mapped to the first region by referring to the mapping information.

상기 방법은, 상기 영상을 제공하는 카메라에 상기 제 2 영역에 대한 정보를 제공하는 단계를 더 포함할 수 있다.The method may further include providing information on the second area to a camera that provides the image.

본 발명의 실시 예들에 따르면, 향상된 신뢰성을 갖는 영상과 이미지 맵 사이의 매핑 정보를 생성 및 저장하는 영상 매핑 장치 및 그것의 동작 방법이 제공된다.According to embodiments of the present invention, an image mapping apparatus for generating and storing mapping information between an image and an image map having improved reliability, and an operating method thereof are provided.

도 1은 카메라를 포함하는 영상 촬영 시스템을 보여주는 블록도이다.
도 2는 본 발명의 실시 예에 따른 영상 매핑 장치를 보여주는 블록도이다.
도 3은 본 발명의 실시 예에 따른 영상 매핑 장치의 동작 방법을 보여주는 순서도이다.
도 4는 도 3의 S110단계에서 디스플레이되는 화면을 보여주는 도면이다.
도 5는 도 3의 S120단계에서 디스플레이되는 화면을 보여주는 도면이다.
도 6은 도 3의 S130단계에서 디스플레이되는 화면을 보여주는 도면이다.
도 7 및 도 8은 도 3의 S140단계에서 수신되는 사용자 입력들에 따라 디스플레이되는 화면들을 보여주는 도면들이다.
도 9는 영상 좌표들 및 이미지 맵의 맵 좌표들 사이의 매핑 관계를 포함하는 매핑 테이블을 개념적으로 보여주는 도면이다.
도 10은 매핑 정보를 이용한 영상 매핑 장치의 동작 방법의 실시 예를 보여주는 순서도이다.
도 11은 매핑 정보를 이용한 영상 매핑 장치의 동작 방법의 다른 실시 예를 보여주는 순서도이다.
도 12는 영상 매핑 장치를 구현하기 위한 예시적인 컴퓨터 장치를 보여주는 블록도이다.
1 is a block diagram showing an image capturing system including a camera.
2 is a block diagram illustrating an image mapping apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method of operating an image mapping apparatus according to an embodiment of the present invention.
4 is a diagram illustrating a screen displayed in step S110 of FIG. 3.
5 is a diagram illustrating a screen displayed in step S120 of FIG. 3.
6 is a diagram illustrating a screen displayed in step S130 of FIG. 3.
7 and 8 are diagrams showing screens displayed according to user inputs received in step S140 of FIG. 3.
9 is a diagram conceptually showing a mapping table including a mapping relationship between image coordinates and map coordinates of an image map.
10 is a flowchart illustrating an embodiment of a method of operating an image mapping apparatus using mapping information.
11 is a flowchart illustrating another embodiment of a method of operating an image mapping apparatus using mapping information.
12 is a block diagram illustrating an exemplary computer device for implementing an image mapping device.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다. 또한 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 여기에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, it should be noted that only parts necessary to understand the operation according to the present invention are described, and descriptions of other parts will be omitted so as not to obscure the subject matter of the present invention. In addition, the present invention is not limited to the embodiments described herein and may be embodied in other forms. However, the embodiments described herein are provided to explain in detail enough to be able to easily implement the technical idea of the present invention to those of ordinary skill in the art to which the present invention pertains.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 여기에서 사용된 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명을 한정하기 위한 것이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 해석될 수 있다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.Throughout the specification, when a part is said to be "connected" with another part, this includes not only "directly connected" but also "indirectly connected" with another element interposed therebetween. . The terms used herein are for describing specific embodiments and not for limiting the present invention. Throughout the specification, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. "At least any one of X, Y, and Z", and "at least any one selected from the group consisting of X, Y, and Z" means X one, Y one, Z one, or two of X, Y, and Z, or It can be interpreted as any combination beyond that (eg, XYZ, XYY, YZ, ZZ). Herein, "and/or" includes all combinations of one or more of the corresponding elements.

도 1은 카메라를 포함하는 영상 촬영 시스템을 보여주는 블록도이다.1 is a block diagram showing an image capturing system including a camera.

도 1을 참조하면, 영상 촬영 시스템(10)은 네트워크(11), 카메라(12), 및 영상 매핑 장치(13)를 포함한다.Referring to FIG. 1, an image capturing system 10 includes a network 11, a camera 12, and an image mapping device 13.

영상 촬영 시스템(10)은 여기에 설명된 실시 예들에 따른 방법들을 수행하도록 동작하는 복수의 장치들 및/또는 소프트웨어 구성 요소들을 포함할 수 있다. 도 1에 도시된 장치들은 다른 방식으로 배치될 수 있고, 그러한 장치들에 의해 제공되는 동작들 및 서비스들은 여기에 설명된 실시 예들을 수행하기 위해 결합되거나 분리될 수 있으며, 더 많은 수 혹은 더 적은 수의 장치들에 의해 수행될 수도 있다. 하나 또는 그 이상의 장치들은 동일한 혹은 다른 독립체들(entities), 예를 들면 기업들에 의해 구동될 수 있다.The imaging system 10 may include a plurality of devices and/or software components that operate to perform methods according to the embodiments described herein. The devices shown in FIG. 1 may be arranged in different ways, and the operations and services provided by such devices may be combined or separated to perform the embodiments described herein, and may be used in a larger number or fewer. It can also be performed by veterinary devices. One or more devices may be driven by the same or different entities, eg companies.

네트워크(11)는 카메라(12) 및 영상 매핑 장치(13)를 연결한다. 네트워크(11)는 공용 네트워크(public network), 적어도 하나의 사설 네트워크(private network), 유선 네트워크, 무선 네트워크, 다른 적절한 타입의 네트워크, 및 그것들의 조합들 중 적어도 하나를 포함할 수 있다. 카메라(12) 및 영상 매핑 장치(13) 각각은 유선 통신 기능 및 무선 통신 기능 중 적어도 하나를 포함할 수 있으며, 그에 따라 네트워크(11)를 통해 상호 간 통신할 수 있다.The network 11 connects the camera 12 and the image mapping device 13. The network 11 may include at least one of a public network, at least one private network, a wired network, a wireless network, another suitable type of network, and combinations thereof. Each of the camera 12 and the image mapping device 13 may include at least one of a wired communication function and a wireless communication function, and accordingly, may communicate with each other through the network 11.

카메라(12)는 촬영을 수행하여 영상(VD)를 생성하고, 영상 매핑 장치(130)의 요청에 응답하여 생성한 영상(VD)을 영상 매핑 장치(13)에 전송하도록 구성된다. 또는, 카메라(12)는 영상(VD)을 전송하는 데에 소요되는 자원(resource)을 감소시키기 위해, 영상에 포함되는 적어도 하나의 이미지 프레임을 영상 매핑 장치(13)에 전송할 수도 있다. 카메라(12)는, 예를 들면 렌즈를 통해 입력되는 광 신호들을 전자 신호들로 변환하는 이미지 센서, 그리고 음성을 전자 신호들로 변환하는 마이크로폰을 포함하며, 이를 이용하여 영상(VD) 및 음성 신호를 제공할 수 있다. 영상(VD) 및 음성 신호는 멀티미디어 데이터를 구성하며, 그러한 멀티미디어 데이터는 영상 매핑 장치(13)에 전송될 수 있다.The camera 12 is configured to perform photographing to generate an image VD, and to transmit the generated image VD to the image mapping device 13 in response to a request from the image mapping device 130. Alternatively, the camera 12 may transmit at least one image frame included in the image to the image mapping apparatus 13 in order to reduce a resource required to transmit the image VD. The camera 12 includes, for example, an image sensor that converts optical signals input through a lens into electronic signals, and a microphone that converts audio into electronic signals. Can provide. The video (VD) and audio signals constitute multimedia data, and such multimedia data can be transmitted to the video mapping device 13.

도 1에서, 카메라(12)는 영상 매핑 장치(13)와 분리되어 네트워크(11)를 통해 영상(VD)을 영상 매핑 장치(13)에 제공하는 것으로 도시된다. 실시 예들에서, 카메라(12)는 IP(Internet Protocol) 카메라일 수 있다. 그러나, 이는 예시적인 것으로 본 발명의 실시 예들은 여기에 한정되지 않는다. 예를 들면, 카메라(12)는 영상 매핑 장치(13)에 포함되는 구성 요소로서 제공될 수 있다. 이러한 경우, 카메라(12)는 촬영된 영상(VD)을 내부의 통신 프로토콜을 통해 영상 매핑 장치(13)의 구성 요소에 제공할 수 있다.In FIG. 1, the camera 12 is shown as being separated from the image mapping device 13 and providing an image VD to the image mapping device 13 through a network 11. In embodiments, the camera 12 may be an Internet Protocol (IP) camera. However, this is exemplary and embodiments of the present invention are not limited thereto. For example, the camera 12 may be provided as a component included in the image mapping apparatus 13. In this case, the camera 12 may provide the captured image VD to the constituent elements of the image mapping apparatus 13 through an internal communication protocol.

영상 매핑 장치(13)는 카메라(12)로부터 영상(VD)을 수신할 수 있다. 영상 매핑 장치(13)는 이미지 맵(MP)을 저장하고 있으며, 이미지 맵(MP)은 카메라(12)가 촬영하고 있는 영역을 이차원적으로 나타내는 이미지 데이터일 수 있다. 본 발명의 실시 예에 따르면, 영상 매핑 장치(13)는 영상(VD)에서의 영상 좌표들과 이미지 맵(MP)의 맵 좌표들 사이의 매핑 정보를 생성하도록 구성된다.The image mapping apparatus 13 may receive an image VD from the camera 12. The image mapping apparatus 13 stores an image map MP, and the image map MP may be image data that two-dimensionally represents an area photographed by the camera 12. According to an embodiment of the present invention, the image mapping apparatus 13 is configured to generate mapping information between image coordinates of the image VD and map coordinates of the image map MP.

영상(VD)과 연관된 정보를 이미지 맵(MP)과 연관된 정보로 변환하거나 그 반대로 변환하는 데에 맵 좌표들을 영상 좌표들에 정확하게 매핑하는 것이 요구될 수 있다. 실시 예들에서, 영상(VD)에 대한 영상 분석(Video content analysis) 결과는 매핑 정보를 이용함으로써 이미지 맵(MP) 상에 시각화될 수 있는데, 이때 매핑 정보의 신뢰성이 향상될수록 이미지 맵(MP) 상에 시각화된 영상 분석 결과는 상대적으로 높은 신뢰성을 가질 수 있다. 실시 예들에서, 이미지 맵(MP)에서 관심 영역이 선택될 때, 매핑 정보를 이용함으로써 영상(VD)에서의 해당 영상 영역이 판별되고 판별된 영상 영역에 대한 영상 분석이 수행될 수 있는데, 이때 매핑 정보의 신뢰성이 향상될수록 판별된 영상 영역은 상대적으로 높은 신뢰성을 가질 수 있다.In converting information associated with the image VD into information associated with the image map MP or vice versa, it may be required to accurately map the map coordinates to the image coordinates. In embodiments, the result of video content analysis on the video VD may be visualized on the image map MP by using mapping information. In this case, as the reliability of the mapping information increases, the image map MP The image analysis result visualized in may have relatively high reliability. In embodiments, when a region of interest is selected in the image map MP, a corresponding image region in the image VD is determined by using the mapping information, and image analysis may be performed on the determined image region. As the reliability of information increases, the determined image region may have a relatively high reliability.

도 2는 본 발명의 실시 예에 따른 영상 매핑 장치를 보여주는 블록도이다.2 is a block diagram illustrating an image mapping apparatus according to an embodiment of the present invention.

도 2를 참조하면, 영상 매핑 장치(100)는 영상 수신기(110), 매핑 제어기(120), 저장 매체(130), 디스플레이 장치(140), 사용자 인터페이스(150, 사용자 I/F), 영역 정의기(160), 및 영상 변환기(170)를 포함할 수 있다.Referring to FIG. 2, the image mapping device 100 includes an image receiver 110, a mapping controller 120, a storage medium 130, a display device 140, a user interface 150, a user I/F, and a region definition. A device 160 and an image converter 170 may be included.

영상 수신기(110)는 매핑 제어기(120)의 제어에 응답하여 카메라(12, 도 1 참조)와의 통신을 수행하도록 구성된다. 영상 수신기(110)는 유무선 통신 기능들을 포함할 수 있다. 영상 수신기(110)는 카메라(12)로부터 영상(VD)을 수신하고, 수신된 영상(VD)을 매핑 제어기(120)에 전달할 수 있다.The image receiver 110 is configured to perform communication with the camera 12 (see FIG. 1) in response to the control of the mapping controller 120. The image receiver 110 may include wired/wireless communication functions. The image receiver 110 may receive the image VD from the camera 12 and transmit the received image VD to the mapping controller 120.

매핑 제어기(120)는 영상 매핑 장치(100)의 제반 동작을 제어할 수 있다. 매핑 제어기(120)는 영상 수신기(110), 저장 매체(130), 디스플레이 장치(140), 사용자 인터페이스(150), 영역 정의기(160), 및 영상 변환기(170)에 연결된다.The mapping controller 120 may control all operations of the image mapping apparatus 100. The mapping controller 120 is connected to the image receiver 110, the storage medium 130, the display device 140, the user interface 150, the region definer 160, and the image converter 170.

매핑 제어기(120)는 영상 수신기(110)를 통해 수신된 영상(VD)을 디스플레이 장치(140)에 디스플레이할 수 있다. 또한, 매핑 제어기(120)는 저장 매체(130)에 액세스하여 저장 매체(130)에 저장된 이미지 맵(MP)을 읽고, 읽어진 이미지 맵(MP)을 디스플레이 장치(140)에 디스플레이할 수 있다.The mapping controller 120 may display the image VD received through the image receiver 110 on the display device 140. Further, the mapping controller 120 may access the storage medium 130 to read the image map MP stored in the storage medium 130 and display the read image map MP on the display device 140.

매핑 제어기(120)는 사용자 인터페이스(150)로부터 사용자 입력들(UI1, UI2)을 수신하고, 수신된 사용자 입력들을 영역 정의기(160) 및 영상 변환기(170)에 전달할 수 있다. 사용자는 디스플레이 장치(140)에 디스플레이되는 영상(VD)과 이미지 맵(MP)을 보고, 영상(VD) 중 적어도 3개의 영상 좌표들을 선택하는 제 1 사용자 입력(UI1)을 제공할 수 있다. 제 1 사용자 입력(UI1)은 사용자 인터페이스(150)를 통해 매핑 제어기(120)에 제공되며, 매핑 제어기(120)는 제 1 사용자 입력(UI1)을 영역 정의기(160)에 전달할 수 있다.The mapping controller 120 may receive user inputs UI1 and UI2 from the user interface 150 and transmit the received user inputs to the region definer 160 and the image converter 170. The user may view the image VD and the image map MP displayed on the display apparatus 140 and provide a first user input UI1 for selecting at least three image coordinates among the images VD. The first user input UI1 is provided to the mapping controller 120 through the user interface 150, and the mapping controller 120 may transmit the first user input UI1 to the region definer 160.

영역 정의기(160)는 제 1 사용자 입력(UI1)에 의해 선택된 영상 좌표들에 기반하여, 영상(VD) 내 다각형 영역을 선택할 수 있다. 또한, 영역 정의기(160)는 영상(VD) 내 선택된 다각형 영역을 가리키는 영상 좌표들을 제공할 수 있다. 영역 정의기(160)는 선택된 다각형 영역의 영상 좌표들을 매핑 테이블(MT)에 업데이트하도록 매핑 제어기(120)에 요청할 수 있다.The region definer 160 may select a polygonal region within the image VD based on image coordinates selected by the first user input UI1. In addition, the region definer 160 may provide image coordinates indicating a polygonal region selected in the image VD. The region definer 160 may request the mapping controller 120 to update the image coordinates of the selected polygonal region in the mapping table MT.

영역 정의기(160)는 선택된 다각형 영역을 이미지 맵(MP)의 적어도 일부에 중첩시킬 수 있다. 영역 정의기(160)는 선택된 다각형 영역이 중첩할 이미지 맵(MP)의 부분을 가리키는 맵 좌표들을 제공할 수 있으며, 매핑 제어기(120)는 제공된 맵 좌표들에 따라 선택된 다각형 영역을 이미지 맵(MP)에 중첩시켜 디스플레이 장치(140)에 디스플레이할 수 있다. 영역 정의기(160)는 선택된 다각형 영역의 맵 좌표들을 매핑 테이블(MT)에 업데이트하도록 매핑 제어기(120)에 요청할 수 있다. 실시 예들에서, 매핑 제어기(120)는 이미지 맵(MP) 상에서 선택된 다각형 영역과 함께 해당 영상을 더 디스플레이할 수 있다.The region definer 160 may overlap the selected polygonal region on at least a portion of the image map MP. The region definer 160 may provide map coordinates indicating a portion of the image map MP to be overlapped by the selected polygonal region, and the mapping controller 120 maps the selected polygonal region according to the provided map coordinates. ) To be displayed on the display device 140. The region definer 160 may request the mapping controller 120 to update the map coordinates of the selected polygonal region in the mapping table MT. In embodiments, the mapping controller 120 may further display a corresponding image along with a polygonal region selected on the image map MP.

이어서, 사용자는 이미지 맵(MP)에 중첩되어 있는 다각형 영역을 이미지 맵(MP) 상에서 변형하는 제 2 사용자 입력(UI2)을 제공하여 영상(VD) 내에서 선택되었던 다각형 영역과 연관되는 이미지 맵(MP)의 부분을 선택할 수 있다. 제 2 사용자 입력(UI2)은 사용자 인터페이스(150)를 통해 매핑 제어기(120)에 제공되며, 매핑 제어기(120)는 제 2 사용자 입력(UI2)을 영상 변환기(170)에 전달할 수 있다.Subsequently, the user provides a second user input (UI2) for transforming the polygonal region overlapped on the image map MP on the image map MP to provide an image map associated with the polygonal region selected in the image VD ( MP) can be selected. The second user input UI2 is provided to the mapping controller 120 through the user interface 150, and the mapping controller 120 may transmit the second user input UI2 to the image converter 170.

제 2 사용자 입력(UI2)은 이미지 맵(MP) 상에서 다각형 영역을 회전하고, 다각형 영역의 사이즈를 변경하고, 다각형 영역을 왜곡하는 다양한 종류의 벡터값들 중 적어도 하나를 포함할 수 있다. 영상 변환기(170)는 제 2 사용자 입력(UI2)을 참조하여 이미지 맵(MP) 상에서 변형되는 다각형 영역을 감지할 수 있다. 영상 변환기(170)는 다각형 영역이 위치하고 있는 맵 좌표들 및 제 2 사용자 입력(UI2)에 기반하여, 다각형 영역이 변형되어 위치할 이미지 맵(MP)의 부분의 맵 좌표들을 연산하고, 연산된 맵 좌표들을 제공할 수 있다. 실시 예들에서, 영상 변환기(170)는 아핀 변환(affine transformation)을 통해 다각형 영역이 변형되어 위치할 이미지 맵(MP)의 부분의 맵 좌표들을 결정할 수 있다. 이에 따라, 매핑 제어기(120)는 변형된 다각형 영역을 이미지 맵(MP)에 중첩시켜 디스플레이 장치(140)에 디스플레이할 수 있다.The second user input UI2 may include at least one of various types of vector values for rotating the polygonal region on the image map MP, changing the size of the polygonal region, and distorting the polygonal region. The image converter 170 may detect a polygonal region that is deformed on the image map MP with reference to the second user input UI2. The image converter 170 calculates the map coordinates of the portion of the image map MP where the polygonal region is deformed and located based on the map coordinates where the polygonal region is located and the second user input (UI2), and calculates the calculated map. You can provide coordinates. In embodiments, the image converter 170 may determine map coordinates of a portion of the image map MP to be located by transforming a polygonal region through affine transformation. Accordingly, the mapping controller 120 may superimpose the transformed polygonal region on the image map MP and display it on the display apparatus 140.

영상 변환기(170)는 변형된 다각형 영역의 맵 좌표들을 매핑 테이블(MT)에 업데이트하도록 매핑 제어기(120)에 요청할 수 있다. 영상 변환기(170)는 제 2 사용자 입력(UI2)에 기인하여 맵 좌표들이 생성될 때마다, 생성되는 맵 좌표들을 매핑 테이블(MT)에 업데이트하도록 매핑 제어기(120)에 요청할 것이다. 결과적으로, 매핑 테이블(MT)은 영상(VD) 내 선택된 다각형 영역의 영상 좌표들과 이미지 맵(MP) 내에서 최종적으로 변형된 다각형 영역의 맵 좌표들 사이의 매핑 정보를 포함하게 된다.The image converter 170 may request the mapping controller 120 to update the map coordinates of the transformed polygonal region in the mapping table MT. Whenever map coordinates are generated due to the second user input UI2, the image converter 170 will request the mapping controller 120 to update the generated map coordinates in the mapping table MT. As a result, the mapping table MT includes mapping information between the image coordinates of the polygonal region selected in the image VD and the map coordinates of the polygonal region finally transformed in the image map MP.

실시 예들에서, 매핑 제어기(120), 영역 정의기(160), 및 영상 변환기(170)는 여기에 설명된 동작들을 수행하기 위해 결합되거나 분리될 수 있으며, 더 많은 수 혹은 더 적은 수의 장치들에 의해 수행될 수도 있다. 실시 예들에서, 매핑 제어기(120), 영역 정의기(160), 및 영상 변환기(170)는 하드웨어, 소프트웨어, 펌웨어, 및/또는 그것들의 조합을 통해 구현될 수 있다.In embodiments, the mapping controller 120, the region definer 160, and the image converter 170 may be combined or separated to perform the operations described herein, with a larger or smaller number of devices. It can also be done by In embodiments, the mapping controller 120, the region definer 160, and the image converter 170 may be implemented through hardware, software, firmware, and/or a combination thereof.

도 3은 본 발명의 실시 예에 따른 영상 매핑 장치의 동작 방법을 보여주는 순서도이다. 도 4는 도 3의 S110단계에서 디스플레이되는 화면을 보여주는 도면이다. 도 5는 도 3의 S120단계에서 디스플레이되는 화면을 보여주는 도면이다. 도 6은 도 3의 S130단계에서 디스플레이되는 화면을 보여주는 도면이다. 도 7 및 도 8은 도 3의 S140단계에서 수신되는 사용자 입력들에 따라 디스플레이되는 화면들을 보여주는 도면들이다. 도 4 내지 도 8에서, 영상(VD)의 일 실시 예(210)와 이미지 맵(MP)의 일 실시 예(220)가 설명의 편의를 위해 도시되어 있다.3 is a flowchart illustrating a method of operating an image mapping apparatus according to an embodiment of the present invention. 4 is a diagram illustrating a screen displayed in step S110 of FIG. 3. 5 is a diagram illustrating a screen displayed in step S120 of FIG. 3. 6 is a diagram illustrating a screen displayed in step S130 of FIG. 3. 7 and 8 are diagrams showing screens displayed according to user inputs received in step S140 of FIG. 3. In FIGS. 4 to 8, an exemplary embodiment 210 of an image VD and an exemplary embodiment 220 of an image map MP are illustrated for convenience of description.

먼저 도 2 및 도 3을 참조하면, S110단계에서, 영상 매핑 장치(100)는 영상(VD) 및 이미지 맵(MP)을 디스플레이 장치(140)에 디스플레이한다. 도 4를 참조하면, 영상 매핑 장치(100)는 촬영된 영상(210)과 기 저장되어 있는 이미지 맵(220)을 디스플레이할 수 있다.First, referring to FIGS. 2 and 3, in step S110, the image mapping apparatus 100 displays an image VD and an image map MP on the display apparatus 140. Referring to FIG. 4, the image mapping apparatus 100 may display a captured image 210 and a previously stored image map 220.

다시 도 2 및 도 3을 참조하면, S120단계에서, 영상 매핑 장치(100)는 영상(VD) 중 적어도 3개의 영상 좌표들을 선택하는 제 1 사용자 입력(UI1)을 수신한다. 적어도 3개의 영상 좌표들을 통해 영상(VD) 내에서 다각형 영역이 정의될 수 있다. 2차원인 이미지 맵(MP)에 대응할 수 있는 최대한 넓은 영역의 선택이 요구되는 경우, 상기 선택된 영상 좌표들 중 적어도 2개의 영상 좌표들은 상기 영상의 가장자리에 위치할 수 있다. 도 5를 참조하면, 제 1 사용자 입력(UI1)을 통해 제 1 내지 제 4 포인트들(P11~P14)이 선택된다. 영상 매핑 장치(100)는 제 1 내지 제 4 포인트들(P11~P14)을 다양한 방식들로 시각화할 수 있다. 도 5에서, 제 1 내지 제 4 포인트들(P11~P14)은 각각 원, 삼각형, 사각형, 및 오각형으로 시각화되어 있는 것으로 예시된다. 제 1 내지 제 4 포인트들(P11~P14)은 각각 제 1 내지 제 4 영상 좌표들(VCRDN1~VCRDN4)을 갖는다. 실시 예들에서, 영상 좌표들 각각은 영상 영역의 가로축 좌표 및 세로축 좌표로서 특정될 수 있다. 제 1 내지 제 4 포인트들(P11~P14)에 의해 영상(210) 내에서 다각형 영역(SELA)이 정의될 수 있으며, 다각형 영역(SELA)에 포함되는 포인트들의 영상 좌표들이 특정될 수 있다.Referring back to FIGS. 2 and 3, in step S120, the image mapping apparatus 100 receives a first user input UI1 for selecting at least three image coordinates among the images VD. A polygonal region may be defined in the image VD through at least three image coordinates. When it is required to select an area as wide as possible corresponding to the two-dimensional image map MP, at least two of the selected image coordinates may be located at the edge of the image. Referring to FIG. 5, first to fourth points P11 to P14 are selected through a first user input UI1. The image mapping apparatus 100 may visualize the first to fourth points P11 to P14 in various ways. In FIG. 5, the first to fourth points P11 to P14 are illustrated as being visualized as circles, triangles, squares, and pentagons, respectively. The first to fourth points P11 to P14 have first to fourth image coordinates VCRDN1 to VCRDN4, respectively. In embodiments, each of the image coordinates may be specified as a horizontal axis coordinate and a vertical axis coordinate of the image area. The polygonal area SELA may be defined in the image 210 by the first to fourth points P11 to P14, and image coordinates of points included in the polygonal area SELA may be specified.

다시 도 2 및 도 3을 참조하면, S130단계에서, 영상 매핑 장치(100)는 영상(VD)에서 선택된 다각형 영역을 이미지 맵(MP)에 중첩시켜 디스플레이한다. 도 6을 참조하면, 영상(210)에서 선택된 다각형 영역(SELA)은 제 1 다각형 영역(PLG1)으로서 이미지 맵(220)에 중첩되어 디스플레이된다. 제 1 다각형 영역(PLG1)은 이미지 맵(220) 내에서 맵 좌표들을 갖는다. 맵 좌표들 각각은 이미지 맵 영역의 가로축 좌표 및 세로축 좌표로서 특정될 수 있다. 제 1 다각형 영역(PLG1)의 맵 좌표들은 각각 영상(210)에서 선택된 다각형 영역(SELA)의 영상 좌표들에 매핑될 수 있다. 예를 들면, 제 1 다각형 영역(PLG1)의 모서리들은 제 1 내지 제 4 포인트들(P21~P24)일 수 있으며, 그것들은 각각 제 1 내지 제 4 맵 좌표들(MCRDN11~MCRDN14)을 가질 수 있다. 이때, 제 1 내지 제 4 맵 좌표들(MCRDN11~MCRDN14)은 각각 영상(210)에서 선택된 다각형 영역(SELA)의 제 1 내지 제 4 영상 좌표들(VCRDN1~VCRDN4)에 매핑될 수 있다.Referring back to FIGS. 2 and 3, in step S130, the image mapping apparatus 100 displays a polygonal area selected from the image VD by superimposing it on the image map MP. Referring to FIG. 6, the polygonal region SELA selected from the image 210 is a first polygonal region PLG1 and is displayed overlaid on the image map 220. The first polygonal area PLG1 has map coordinates within the image map 220. Each of the map coordinates may be specified as a horizontal axis coordinate and a vertical axis coordinate of the image map area. The map coordinates of the first polygonal area PLG1 may be mapped to image coordinates of the polygonal area SELA selected in the image 210, respectively. For example, the corners of the first polygonal area PLG1 may be first to fourth points P21 to P24, and they may have first to fourth map coordinates MCRDN11 to MCRDN14, respectively. . In this case, the first to fourth map coordinates MCRDN11 to MCRDN14 may be mapped to the first to fourth image coordinates VCRDN1 to VCRDN4 of the polygonal area SELA selected in the image 210, respectively.

다시 도 2 및 도 3을 참조하면, S140단계에서, 영상 매핑 장치(100)는 이미지 맵(MP) 상에서 다각형 영역을 변형하는 제 2 사용자 입력(UI2)을 수신한다. 제 2 사용자 입력(UI2)은 복수회에 걸쳐 수신될 수 있다. 제 2 사용자 입력(UI2)은 이미지 맵(MP) 상에서 다각형 영역을 회전하고, 다각형 영역의 사이즈를 변경하고, 다각형 영역을 왜곡하는 등 다각형 영역을 변형하기 위한 다양한 천이 값들을 포함할 수 있다. Referring back to FIGS. 2 and 3, in step S140, the image mapping apparatus 100 receives a second user input UI2 for transforming a polygonal region on the image map MP. The second user input UI2 may be received multiple times. The second user input UI2 may include various transition values for deforming the polygonal region, such as rotating the polygonal region on the image map MP, changing the size of the polygonal region, and distorting the polygonal region.

S150단계에서, 영상 매핑 장치(100)는 이미지 맵(MP) 상에서 변형된 다각형 영역의 맵 좌표들을 감지하여 영상(VD)의 영상 좌표들 및 이미지 맵(MP)의 맵 좌표들 사이의 매핑 정보를 생성한다.In step S150, the image mapping apparatus 100 detects map coordinates of the transformed polygonal region on the image map MP, and provides mapping information between the image coordinates of the image VD and the map coordinates of the image map MP. Generate.

도 7을 참조하면, 제 2 사용자 입력(UI2)에 따라 도 6의 제 1 다각형 영역(PLG1)은 회전하여 제 2 다각형 영역(PLG2)으로 변형될 수 있다. 제 2 다각형 영역(PLG2)의 맵 좌표들은 각각 회전에 따라 제 1 다각형 영역(PLG1)의 맵 좌표들에 매핑될 수 있다. 예를 들면, 제 2 다각형 영역(PLG2)은 제 1 내지 제 4 포인트들(P31~P34)의 모서리들을 가질 수 있으며, 그것들은 각각 제 1 내지 제 4 맵 좌표들(MCRDN21~MCRDN24)을 가질 수 있다. 이때, 제 1 내지 제 4 맵 좌표들(MCRDN21~MCRDN24)은 각각 제 1 다각형 영역(PLG1)의 제 1 내지 제 4 맵 좌표들(MCRDN11~MCRDN14)에 매핑될 수 있다.Referring to FIG. 7, the first polygonal area PLG1 of FIG. 6 may be rotated according to a second user input UI2 to be transformed into a second polygonal area PLG2. Map coordinates of the second polygonal area PLG2 may be mapped to map coordinates of the first polygonal area PLG1 according to rotation. For example, the second polygonal region PLG2 may have corners of the first to fourth points P31 to P34, and they may each have first to fourth map coordinates (MCRDN21 to MCRDN24). have. In this case, the first to fourth map coordinates MCRDN21 to MCRDN24 may be mapped to the first to fourth map coordinates MCRDN11 to MCRDN14 of the first polygonal area PLG1, respectively.

이어서 도 8을 참조하면, 추가적인 제 2 사용자 입력(UI2)에 따라 도 7의 제 2 다각형 영역(PLG2)은 그 형상의 변형되어 제 3 다각형 영역(PLG3)으로 변형될 수 있다. 예를 들면, 사다리꼴의 제 2 다각형 영역(PLG2)은 직사각형의 제 3 다각형 영역(PLG3)으로 변형될 수 있다. 실시 예들에서, 영상 변환기(170)는 아핀 변환과 같은 다양한 알고리즘들 중 적어도 하나를 이용하여 제 2 다각형 영역(PLG2)을 그와 다른 형상의 제 3 다각형 영역(PLG3)으로 변형할 수 있다. 이에 따라, 제 3 다각형 영역(PLG3)의 맵 좌표들은 각각 형상 변화에 따라 제 2 다각형 영역(PLG2)의 맵 좌표들에 매핑될 수 있다. 예를 들면, 제 3 다각형 영역(PLG3)은 제 1 내지 제 4 포인트들(P41~P44)의 모서리들을 가질 수 있으며, 그것들은 각각 제 1 내지 제 4 맵 좌표들(MCRDN31~MCRDN34)을 가질 수 있다. 이때, 제 1 내지 제 4 맵 좌표들(MCRDN31~MCRDN34)은 각각 제 2 다각형 영역(PLG2)의 제 1 내지 제 4 맵 좌표들(MCRDN21~MCRDN24)에 매핑될 수 있다.Next, referring to FIG. 8, according to an additional second user input UI2, the second polygonal region PLG2 of FIG. 7 may be transformed into a third polygonal region PLG3 by changing its shape. For example, the trapezoidal second polygonal region PLG2 may be transformed into a rectangular third polygonal region PLG3. In embodiments, the image converter 170 may transform the second polygonal region PLG2 into a third polygonal region PLG3 having a different shape from the second polygonal region PLG2 using at least one of various algorithms such as affine transformation. Accordingly, the map coordinates of the third polygonal area PLG3 may be mapped to the map coordinates of the second polygonal area PLG2 according to the shape change, respectively. For example, the third polygonal region PLG3 may have corners of the first to fourth points P41 to P44, and they may each have first to fourth map coordinates (MCRDN31 to MCRDN34). have. In this case, the first to fourth map coordinates MCRDN31 to MCRDN34 may be mapped to the first to fourth map coordinates MCRDN21 to MCRDN24 of the second polygonal area PLG2, respectively.

위 설명된 바와 같이, 제 3 다각형 영역(PLG3, 도 8 참조)의 맵 좌표들은 각각 제 2 다각형 영역(PLG2, 도 7 참조)의 맵 좌표들에 매핑되고, 제 2 다각형 영역(PLG2)의 맵 좌표들은 각각 제 1 다각형 영역(PLG1, 도 6 참조)의 맵 좌표들에 매핑된다. 이와 같이, 영상 매핑 장치(100)는 이미지 맵(MP)에 최초에 중첩한 제 1 다각형 영역(PLG1)의 맵 좌표들 및 각 제 2 사용자 입력(UI2)에 포함된 다각형 영역을 변형하기 위한 천이 값에 따라 제 3 다각형 영역(PLG3)의 맵 좌표들을 제 1 다각형 영역(PLG1)의 맵 좌표들에 매핑할 수 있다.As described above, the map coordinates of the third polygonal area (PLG3, see FIG. 8) are mapped to the map coordinates of the second polygonal area (PLG2, see FIG. 7), respectively, and the map of the second polygonal area (PLG2). The coordinates are mapped to map coordinates of the first polygonal area (PLG1, see FIG. 6), respectively. As described above, the image mapping apparatus 100 includes a transition for transforming the map coordinates of the first polygonal region PLG1 initially superimposed on the image map MP and the polygonal region included in each second user input UI2. Map coordinates of the third polygonal area PLG3 may be mapped to map coordinates of the first polygonal area PLG1 according to a value.

제 1 다각형 영역(PLG1)의 맵 좌표들은 각각 영상(210) 내 선택된 다각형 영역(SELA)의 영상 좌표들에 매핑된다. 이에 따라, 영상 매핑 장치(100)는 제 3 다각형 영역(PLG3)의 맵 좌표들과 선택된 다각형 영역(SELA)의 영상 좌표들 사이의 매핑 정보를 생성할 수 있다.The map coordinates of the first polygonal area PLG1 are mapped to image coordinates of the selected polygonal area SELA in the image 210, respectively. Accordingly, the image mapping apparatus 100 may generate mapping information between map coordinates of the third polygonal area PLG3 and image coordinates of the selected polygonal area SELA.

도 9는 영상 좌표들 및 이미지 맵의 맵 좌표들 사이의 매핑 관계를 포함하는 매핑 테이블을 개념적으로 보여주는 도면이다.9 is a diagram conceptually showing a mapping table including a mapping relationship between image coordinates and map coordinates of an image map.

도 9를 참조하면, 매핑 테이블(MT)은 영상 좌표들의 적어도 일부와 맵 좌표들의 적어도 일부 사이의 매핑 정보를 포함할 수 있다. 예를 들면, 매핑 테이블(MT)은 도 8의 영상(210) 내 선택된 다각형 영역(SELA)의 영상 좌표들과 도 8의 이미지 맵(220) 내 제 3 다각형 영역(PLG3)의 맵 좌표들 사이의 매핑 정보를 포함할 수 있다. 이러한 경우, 매핑 테이블(MT)은 제 1 영상 좌표(VCRDN1)와 제 1 맵 좌표(MCRDN31) 사이의 매핑 정보, 제 2 영상 좌표(VCRDN2)와 제 2 맵 좌표(MCRDN32) 사이의 매핑 정보, 제 3 영상 좌표(VCRDN3)와 제 3 맵 좌표(MCRDN33) 사이의 매핑 정보, 그리고 제 4 영상 좌표(VCRDN4)와 제 4 맵 좌표(MCRDN34) 사이의 매핑 정보를 포함할 것이다.Referring to FIG. 9, the mapping table MT may include mapping information between at least some of the image coordinates and at least some of the map coordinates. For example, the mapping table MT is between the image coordinates of the selected polygonal area SELA in the image 210 of FIG. 8 and the map coordinates of the third polygonal area PLC3 in the image map 220 of FIG. 8. Mapping information of may be included. In this case, the mapping table MT includes mapping information between the first image coordinate (VCRDN1) and the first map coordinate (MCRDN31), the mapping information between the second image coordinate (VCRDN2) and the second map coordinate (MCRDN32), Mapping information between the 3 image coordinates (VCRDN3) and the third map coordinate (MCRDN33), and the mapping information between the fourth image coordinate (VCRDN4) and the fourth map coordinate (MCRDN34) will be included.

영상(VD)은 3차원 공간을 촬영하여 획득되는 것인 반면 영상(VD)을 촬영하는 카메라가 설치된 공간을 나타내는 이미지 맵(MP)은 2차원이므로, 영상(VD)의 영상 좌표들과 이미지 맵(MP)의 맵 좌표들 사이의 매핑 관계는 카메라가 설치된 높이, 카메라의 촬영 방향, 화각 등 다양한 요소들에 따라 변할 수 있다. 본 발명의 실시 예에 따르면, 영상 매핑 장치(100)는 영상 중 적어도 3개의 영상 좌표들을 선택하는 제 1 사용자 입력을 수신하고, 선택된 영상 좌표들에 의해 정의되는 다각형 영역을 이미지 맵(MP) 상에서 변형하는 제 2 사용자 입력(UI2)을 수신하고, 이미지 맵(MP) 상에서 변형된 다각형 영역의 맵 좌표들을 감지하여 영상(VD)의 영상 좌표들 및 이미지 맵(MP)의 맵 좌표들 사이의 매핑 정보를 생성한다. 본 발명의 실시 예들은 제 1 및 제 2 사용자 입력들과 같은 비교적 간단한 사용자 입력들을 요한다. 또한, 사용자 입력들에 기반하여 매핑 정보가 생성되므로, 카메라가 설치된 높이, 카메라의 촬영 방향, 화각 등 다양한 요소들이 영상(VD)의 영상 좌표들 및 이미지 맵(MP)의 맵 좌표들 사이의 매핑 관계에 미치는 영향은 없거나, 적어도 감소할 수 있다. 따라서, 사용자 편의성을 보장하면서도, 향상된 신뢰성의 매핑 정보를 생성 및 저장하는 영상 매핑 장치(100) 및 그것의 동작 방법이 제공될 수 있다.The image (VD) is acquired by photographing a three-dimensional space, whereas the image map (MP) representing the space in which the camera to shoot the image (VD) is installed is two-dimensional, so the image coordinates and the image map of the image (VD) The mapping relationship between the map coordinates of (MP) may change according to various factors such as the height at which the camera is installed, the shooting direction of the camera and the angle of view. According to an embodiment of the present invention, the image mapping apparatus 100 receives a first user input for selecting at least three image coordinates among images, and displays a polygonal region defined by the selected image coordinates on the image map MP. Mapping between the image coordinates of the image VD and the map coordinates of the image map MP by receiving the transforming second user input (UI2) and detecting the map coordinates of the transformed polygonal region on the image map MP Generate information. Embodiments of the present invention require relatively simple user inputs, such as first and second user inputs. In addition, since mapping information is generated based on user inputs, various factors such as the height at which the camera is installed, the shooting direction of the camera, and the angle of view are mapped between the image coordinates of the image (VD) and the map coordinates of the image map (MP). There is no impact on the relationship, or at least it can be diminished. Accordingly, while ensuring user convenience, an image mapping apparatus 100 for generating and storing mapping information with improved reliability, and an operation method thereof may be provided.

도 10은 매핑 정보를 이용한 영상 매핑 장치의 동작 방법의 실시 예를 보여주는 순서도이다.10 is a flowchart illustrating an embodiment of a method of operating an image mapping apparatus using mapping information.

도 2 및 도 10을 참조하면, S210단계에서, 영상 매핑 장치(100)는 영상(VD)의 적어도 일부의 영상 좌표들에 대응하는 영상 분석 신호들을 수신할 수 있다. 영상 분석 신호들은 카메라(12, 도 1 참조)에 의해 생성될 수 있다. 또는, 영상 매핑 장치(100)는 카메라(12)로부터 영상(VD)을 수신하고, 수신된 영상(VD)에 대한 영상 분석을 수행하여 영상 분석 신호들을 생성할 수 있다.2 and 10, in step S210, the image mapping apparatus 100 may receive image analysis signals corresponding to at least some image coordinates of the image VD. Image analysis signals may be generated by the camera 12 (refer to FIG. 1). Alternatively, the image mapping apparatus 100 may receive the image VD from the camera 12 and generate image analysis signals by performing image analysis on the received image VD.

실시 예들에서, 영상 분석(Video content analysis) 신호들은 히트맵 데이터일 수 있다. 예를 들면, 영상(VD) 내 오브젝트들의 움직임들이 감지되고, 감지 결과들에 따라 오브젝트들이 상대적으로 빈번하게 위치한 영역을 붉은색 계열로, 오브젝트들이 상대적으로 적게 위치한 영역을 푸른색 계열로 표현될 수 있다. 이 밖에도, 다양한 방식들에 따라 오브젝트들의 움직임들이 영상 좌표들에 시각화될 수 있다.In embodiments, video content analysis signals may be heatmap data. For example, motions of objects in the image (VD) are detected, and according to the detection results, an area in which objects are located relatively frequently may be expressed in red color, and an area in which objects are located relatively few may be expressed in blue color. have. In addition, movements of objects may be visualized in image coordinates according to various methods.

S220단계에서, 영상 매핑 장치(100)는 매핑 테이블(MT)을 참조하여 영상 분석 신호들을 이미지 맵(MP)에 시각화할 수 있다. 예를 들면, 도 8의 선택된 다각형 영역(SELA)의 영상 좌표들에 대응하는 영상 분석 신호들은 매핑 테이블(MT)을 통해 도 8의 제 3 다각형 영역(PLG3)의 맵 좌표들에 대응하도록 시각화될 수 있다.In step S220, the image mapping apparatus 100 may visualize the image analysis signals on the image map MP by referring to the mapping table MT. For example, the image analysis signals corresponding to the image coordinates of the selected polygonal area SELA of FIG. 8 may be visualized to correspond to the map coordinates of the third polygonal area PLC3 of FIG. 8 through the mapping table MT. I can.

이와 같이, 매핑 정보를 통해 영상 좌표들에 대응하는 영상 분석 신호들은 맵 좌표들에 대응하도록 시각화될 수 있다. 향상된 신뢰성의 매핑 정보를 이용함으로써, 맵 좌표들에 대응하도록 시각화되는 영상 분석 신호들은 상대적으로 높은 신뢰성을 가질 수 있다.In this way, image analysis signals corresponding to the image coordinates may be visualized to correspond to the map coordinates through the mapping information. By using mapping information of improved reliability, image analysis signals visualized to correspond to map coordinates may have relatively high reliability.

도 11은 매핑 정보를 이용한 영상 매핑 장치의 동작 방법의 다른 실시 예를 보여주는 순서도이다.11 is a flowchart illustrating another embodiment of a method of operating an image mapping apparatus using mapping information.

도 2 및 도 11을 참조하면, S310단계에서, 영상 매핑 장치(100)는 이미지 맵(MP) 내 제 1 영역을 선택하는 사용자 입력을 수신할 수 있다. 이때, 제 1 영역은 이미지 맵 영역의 매핑 정보(MT)를 갖는 부분에 적어도 부분적으로 포함될 수 있다.2 and 11, in step S310, the image mapping apparatus 100 may receive a user input for selecting a first area in the image map MP. In this case, the first region may be at least partially included in a portion having the mapping information MT of the image map region.

S320단계에서, 영상 매핑 장치(100)는 매핑 정보(MT)를 참조하여 제 1 영역에 매핑되는 영상 영역 내 제 2 영역을 식별할 수 있다. 이때, 제 2 영역은 영상 영역의 매핑 정보(MT)를 갖는 부분에 적어도 부분적으로 포함될 수 있다.In step S320, the image mapping apparatus 100 may identify a second region in the image region mapped to the first region by referring to the mapping information MT. In this case, the second region may be at least partially included in a portion having the mapping information MT of the image region.

S330단계에서, 영상 매핑 장치(100)는 제 2 영역을 나타내는 정보를 제공할 수 있다. 예를 들면, 카메라(12, 도 1 참조)가 영상(VD)에 대한 영상 분석으로 수행하는 경우, 영상 매핑 장치(100)는 제 2 영역을 나타내는 정보를 카메라(12)에 제공할 수 있다. 이러한 경우, 카메라(120)는 제 2 영역 및/또는 제 2 영역에 인접하는 영상 영역에 대해 모션 감지(motion detection)와 같은 다양한 영상 분석들을 수행할 수 있다. 다른 예로서, 영상 매핑 장치(100)가 카메라(12)로부터 영상(VD)을 수신하고 영상(VD)에 대한 영상 분석을 수행하는 경우, 영상 매핑 장치(100)는 영상 분석을 수행하는 하드웨어, 소프트웨어, 및/또는 펌웨어와 같은 내부 구성 요소에 제 2 영역을 나타내는 정보를 제공할 수 있다.In step S330, the image mapping apparatus 100 may provide information indicating the second area. For example, when the camera 12 (refer to FIG. 1) performs image analysis on the image VD, the image mapping apparatus 100 may provide information indicating the second area to the camera 12. In this case, the camera 120 may perform various image analysis such as motion detection on the second region and/or the image region adjacent to the second region. As another example, when the image mapping apparatus 100 receives an image VD from the camera 12 and performs image analysis on the image VD, the image mapping apparatus 100 includes hardware for performing image analysis, Information indicating the second area may be provided to an internal component such as software and/or firmware.

이와 같이, 이미지 맵 영역의 제 1 영역이 선택될 때, 매핑 정보를 이용하여 제 1 영역에 대응하는 영상 영역의 제 2 영역이 결정될 수 있다. 향상된 신뢰성의 매핑 정보를 이용함으로써, 제 1 영역에 대응하는 것으로 결정되는 제 2 영역은 상대적으로 높은 신뢰성을 가질 수 있다.In this way, when the first region of the image map region is selected, the second region of the image region corresponding to the first region may be determined using the mapping information. By using the mapping information of improved reliability, the second area determined to correspond to the first area may have relatively high reliability.

도 12는 영상 매핑 장치를 구현하기 위한 예시적인 컴퓨터 장치를 보여주는 블록도이다.12 is a block diagram illustrating an exemplary computer device for implementing an image mapping device.

도 12을 참조하면, 컴퓨터 장치(1000)는 프로세서(1100), 메모리(1200), 불휘발성 저장 매체(1300), 통신기(1400), 디스플레이 장치(1500), 및 사용자 인터페이스(1600, 사용자 I/F)를 포함한다.Referring to FIG. 12, the computer device 1000 includes a processor 1100, a memory 1200, a nonvolatile storage medium 1300, a communicator 1400, a display device 1500, and a user interface 1600, user I/ F).

프로세서(1100)는 도 2, 도 3, 도 10, 및 도 11을 참조하여 설명된 동작들 및/또는 단계들을 야기하는 명령어들 및/또는 프로그램 코드들을 로드하고, 로드된 명령어들 및/또는 프로그램 코드들을 실행할 수 있다. 예를 들면, 프로세서(1100)는 프로세서(1100)에 의해 실행될 때 도 2의 매핑 제어기(120), 영역 정의기(160), 및 영상 변환기(170)의 기능들을 수행하는 영상 매핑 모듈(1210)을 예를 들면 불휘발성 저장 매체(1300)로부터 메모리(1200)에 로딩하고, 로딩된 영상 매핑 모듈(1210)을 실행할 수 있다. 또한, 프로세서(1100)는 다른 기능들을 수행하는 소프트웨어 모듈, 예를 들면 운영 체제를 메모리(1200)에 더 로딩하고, 로딩된 소프트웨어 모듈을 실행할 수 있다.The processor 1100 loads instructions and/or program codes that cause the operations and/or steps described with reference to FIGS. 2, 3, 10, and 11, and loads the loaded instructions and/or programs. You can run the code. For example, the processor 1100 is an image mapping module 1210 that performs functions of the mapping controller 120, the region definer 160, and the image converter 170 of FIG. 2 when executed by the processor 1100. For example, the nonvolatile storage medium 1300 may be loaded into the memory 1200 and the loaded image mapping module 1210 may be executed. In addition, the processor 1100 may further load a software module that performs other functions, such as an operating system, into the memory 1200 and execute the loaded software module.

메모리(1200)는 SRAM (Static RAM), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM) 등 다양한 타입들의 메모리들 중 적어도 하나를 포함할 수 있다. 실시 예에서, 메모리(1200)는 프로세서(1100)의 워킹 메모리로서 이용될 수 있다. 실시 예에서, 프로세서(1100)는 메모리(1200)와 구분되는 워킹 메모리를 포함할 수 있다.The memory 1200 may include at least one of various types of memories such as static RAM (SRAM), dynamic RAM (DRAM), and synchronous DRAM (SDRAM). In an embodiment, the memory 1200 may be used as a working memory of the processor 1100. In an embodiment, the processor 1100 may include a working memory that is separate from the memory 1200.

불휘발성 저장 매체(1300)는 전원이 차단되더라도 저장된 데이터를 유지하는 다양한 타입들의 저장 매체들, 예를 들면 플래시 메모리(flash memory), 하드 디스크(hard disk) 등과 같은 저장 매체들을 포함할 수 있다. 불휘발성 저장 매체(1300)는 도 2의 저장 매체(130)로서 제공될 수 있다. 이러한 경우, 불휘발성 저장 매체(1300)는 이미지 맵(MP) 및 매핑 테이블(MT)을 저장할 수 있으며, 프로세서(1100)에 의해 이용될 때 메모리(1200)에 로딩될 수 있다.The nonvolatile storage medium 1300 may include various types of storage media that maintain stored data even when power is cut off, for example, storage media such as flash memory and hard disk. The nonvolatile storage medium 1300 may be provided as the storage medium 130 of FIG. 2. In this case, the nonvolatile storage medium 1300 may store the image map MP and the mapping table MT, and may be loaded into the memory 1200 when used by the processor 1100.

통신기(1400)(혹은 트랜시버)는 컴퓨터 장치(1000)와 다른 외부 장치들 사이의 신호들을 송수신한다. 통신기(1400)는 도 2의 영상 수신기(110)로서 제공될 수 있다.The communicator 1400 (or transceiver) transmits and receives signals between the computer device 1000 and other external devices. The communicator 1400 may be provided as the image receiver 110 of FIG. 2.

디스플레이 장치(1500)는 프로세서(1100)의 제어에 따라 컴퓨터 장치(1000)에서 처리되는 정보를 표시한다. 디스플레이 장치(1500)는 도 2의 디스플레이 장치(140)로서 제공될 수 있다.The display device 1500 displays information processed by the computer device 1000 under the control of the processor 1100. The display device 1500 may be provided as the display device 140 of FIG. 2.

사용자 인터페이스(1600)는 컴퓨터 장치(1000)의 동작을 제어하기 위한 사용자의 입력을 감지하고, 해당 입력 데이터를 발생시킨다. 사용자 인터페이스(1600)는 사용자의 조작에 의한 명령 또는 정보를 감지할 수 있는 키 패드(key pad), 마우스(mouse), 지문 인식 센서(finger scan sensor), 돔 스위치(dome switch), 터치 패드, 조그 휠 등과 같은 입력 장치를 포함할 수 있다. 사용자 인터페이스(1600)는 도 2의 사용자 인터페이스(150)로서 제공될 수 있다.The user interface 1600 detects a user's input for controlling the operation of the computer device 1000 and generates corresponding input data. The user interface 1600 includes a key pad, a mouse, a fingerprint recognition sensor, a dome switch, a touch pad, which can detect commands or information by a user's manipulation. It may include an input device such as a jog wheel. The user interface 1600 may be provided as the user interface 150 of FIG. 2.

비록 특정 실시 예들 및 적용 례들이 여기에 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정들 및 변형들이 가능하다.Although specific embodiments and application examples have been described herein, these are provided only to aid in a more general understanding of the present invention, and the present invention is not limited to the above embodiments, and those with ordinary knowledge in the field to which the present invention pertains. As it grows, various modifications and variations are possible from this description.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention is limited to the described embodiments and should not be defined, and all things that are equivalent or equivalent to the claims as well as the claims to be described later fall within the scope of the inventive concept. .

12: 카메라
13, 100: 영상 매핑 장치
110: 영상 수신기
120: 매핑 제어기
130: 저장 매체
140: 디스플레이 장치
150: 사용자 인터페이스
160: 영역 정의기
170: 영상 변환기
12: camera
13, 100: image mapping device
110: video receiver
120: mapping controller
130: storage medium
140: display device
150: user interface
160: area definer
170: video converter

Claims (6)

이미지 맵을 저장하고 상기 이미지 맵과 연관되는 데이터를 생성하는 방법에 있어서:
영상을 디스플레이하는 단계;
상기 영상 중 적어도 3개의 영상 좌표들을 선택하는 제 1 사용자 입력을 수신하는 단계;
상기 선택된 영상 좌표들에 의해 정의되는 상기 영상에서의 제 1 다각형 영역과 대응되는 제 2 다각형 영역을 상기 이미지 맵에 중첩시켜 디스플레이하는 단계;
상기 제 2 다각형 영역을 상기 이미지 맵 상에서 변형하는 제 2 사용자 입력을 수신하는 단계; 및
상기 제 2 사용자 입력에 따라 상기 이미지 맵 상 상기 변형된 제 2 다각형 영역의 맵 좌표들을 감지하여, 상기 영상에서의 상기 제 1 다각형 영역의 영상 좌표들 및 상기 변형된 제 2 다각형 영역의 상기 맵 좌표들 사이의 매핑 정보를 생성하는 단계를 포함하되,
상기 제 1 다각형 영역의 꼭지점과 상기 제 2 다각형 영역의 꼭지점에는 각각 서로 다른 형태의 마커가 표시되고, 같은 형태의 마커가 표시된 상기 제 1 다각형 영역의 꼭지점과 상기 제 2 다각형 영역의 꼭지점 사이에서 상기 매핑 정보가 생성되는, 방법.
A method of storing an image map and generating data associated with the image map:
Displaying an image;
Receiving a first user input for selecting at least three image coordinates among the images;
Displaying a second polygonal region corresponding to a first polygonal region of the image defined by the selected image coordinates on the image map;
Receiving a second user input for transforming the second polygonal region on the image map; And
By detecting the map coordinates of the transformed second polygonal region on the image map according to the second user input, image coordinates of the first polygonal region in the image and the map coordinates of the transformed second polygonal region Including the step of generating mapping information between the,
Different types of markers are displayed at the vertices of the first polygonal area and the vertices of the second polygonal area, and between the vertices of the first polygonal area and the vertices of the second polygonal area on which the same type of marker is displayed How mapping information is generated.
제 1 항에 있어서,
상기 제 2 사용자 입력은 상기 제 2 다각형 영역에 대한 회전, 상기 다각형 영역의 사이즈의 조절, 및 상기 다각형 영역의 왜곡 중 적어도 하나를 포함하는 방법.
The method of claim 1,
The second user input includes at least one of rotation of the second polygonal region, adjustment of the size of the polygonal region, and distortion of the polygonal region.
제 1 항에 있어서,
상기 영상의 적어도 일부의 영상 좌표들에 대응하는 영상 분석 신호들을 수신하는 단계; 및
상기 매핑 정보를 참조하여 상기 이미지 맵에 상기 영상 분석 신호들을 시각화하는 단계를 더 포함하는 방법.
The method of claim 1,
Receiving image analysis signals corresponding to at least some image coordinates of the image; And
And visualizing the image analysis signals on the image map by referring to the mapping information.
제 3 항에 있어서,
상기 영상 분석 신호들은 히트맵 데이터인 방법.
The method of claim 3,
The image analysis signals are heat map data.
제 1 항에 있어서,
상기 이미지 맵 내에서 제 3 다각형 영역을 선택하는 제 3 사용자 입력을 수신하는 단계; 및
상기 매핑 정보를 참조하여 상기 제 3 다각형 영역에 매핑되는 상기 영상 내의 영역을 식별하는 단계를 더 포함하는 방법.
The method of claim 1,
Receiving a third user input for selecting a third polygonal area in the image map; And
And identifying a region in the image mapped to the third polygonal region by referring to the mapping information.
제 5 항에 있어서,
상기 영상을 제공하는 카메라에 제 3 다각형 영역에 매핑되는 상기 영상 내의 영역에 대한 정보를 제공하는 단계를 더 포함하는 방법.
The method of claim 5,
The method further comprising providing information on a region in the image mapped to a third polygonal region to a camera providing the image.
KR1020190016010A 2019-02-12 2019-02-12 Device and method to generate data associated with image map KR102252662B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190016010A KR102252662B1 (en) 2019-02-12 2019-02-12 Device and method to generate data associated with image map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190016010A KR102252662B1 (en) 2019-02-12 2019-02-12 Device and method to generate data associated with image map

Publications (2)

Publication Number Publication Date
KR20200098194A KR20200098194A (en) 2020-08-20
KR102252662B1 true KR102252662B1 (en) 2021-05-18

Family

ID=72242689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016010A KR102252662B1 (en) 2019-02-12 2019-02-12 Device and method to generate data associated with image map

Country Status (1)

Country Link
KR (1) KR102252662B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341681A (en) * 1999-03-23 2000-12-08 Canon Inc Information presenting device and its method and camera controller and its method and computer readable storage medium
JP2014534786A (en) * 2011-11-22 2014-12-18 ペルコ インコーポレーテッドPelco, Inc. Control based on map

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102015954B1 (en) * 2014-03-21 2019-08-29 한화테크윈 주식회사 System and method for processing image
KR20180020374A (en) * 2016-08-18 2018-02-28 한화테크윈 주식회사 The System, Apparatus And MethodFor Searching Event

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341681A (en) * 1999-03-23 2000-12-08 Canon Inc Information presenting device and its method and camera controller and its method and computer readable storage medium
JP2014534786A (en) * 2011-11-22 2014-12-18 ペルコ インコーポレーテッドPelco, Inc. Control based on map

Also Published As

Publication number Publication date
KR20200098194A (en) 2020-08-20

Similar Documents

Publication Publication Date Title
US10681271B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
EP3373236B1 (en) Image processing system, image generation apparatus, and image generation method
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
CA2888943C (en) Augmented reality system and method for positioning and mapping
JP6625745B2 (en) Image processing device
JPWO2017217411A1 (en) Image processing apparatus, image processing method, and storage medium
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2014042160A (en) Display terminal, setting method of target area of moving body detection and program
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JPWO2018179040A1 (en) Camera parameter estimation device, method and program
JP2017211811A (en) Display control program, display control method and display control device
EP3293960A1 (en) Information processing device, information processing method, and program
US10089726B2 (en) Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image
TW201401868A (en) Electronic devices and methods for enhancing image resolution and computer-readable mediums thereof
KR102252662B1 (en) Device and method to generate data associated with image map
JP2018005091A (en) Display control program, display control method and display controller
KR102528983B1 (en) Device and method to generate data associated with image map
JP2018032991A (en) Image display unit, image display method and computer program for image display
KR20210076615A (en) Method and appratus for providong video infromation
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
JP2020088571A (en) Management system, information processing system, information processing method and program
WO2024018975A1 (en) Information processing method, information processing device, and information processing program
KR102339825B1 (en) Device for situation awareness and method for stitching image thereof
JP2013143709A (en) Image display device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant