KR102223335B1 - Server, method and computer program for generating normalized video - Google Patents
Server, method and computer program for generating normalized video Download PDFInfo
- Publication number
- KR102223335B1 KR102223335B1 KR1020180101743A KR20180101743A KR102223335B1 KR 102223335 B1 KR102223335 B1 KR 102223335B1 KR 1020180101743 A KR1020180101743 A KR 1020180101743A KR 20180101743 A KR20180101743 A KR 20180101743A KR 102223335 B1 KR102223335 B1 KR 102223335B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- area
- marker
- markers
- feature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000004590 computer program Methods 0.000 title claims description 19
- 239000003550 marker Substances 0.000 claims abstract description 100
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims description 58
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 229910052698 phosphorus Inorganic materials 0.000 claims 1
- 239000011574 phosphorus Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
정규화 영상을 생성하는 서버는 대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하는 영상 수신부, 상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 검출부, 상기 각 마커의 제 2 특징 영역을 분석하는 분석부, 상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고, 상기 평면 영상으로부터 정규화 영상을 생성하는 생성부를 포함한다. The server for generating the normalized image includes an image receiving unit configured to receive an image of the target place in which at least three markers are arranged by a camera installed at the target place, and a control for each of the markers based on the respective markers in the received image. 1 A detection unit that detects a characteristic area and detects a second characteristic area located within the detected first characteristic area, an analysis unit that analyzes the second characteristic area of each marker, and based on the analyzed second characteristic area And a generator configured to generate a planar image of the target location and generate a normalized image from the planar image.
Description
본 발명은 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a server, a method, and a computer program for generating a normalized image.
타임 슬라이스(time slice) 기법이란, 복수의 카메라가 다양한 각도로 피사체를 향하도록 설치하여 순간적으로 동시에 촬영한 후, 컴퓨터를 이용해 사진을 연결함으로써, 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말한다. 타임 슬라이스는 피사체를 입체적으로 묘사할 수 있을 뿐만 아니라, 시간과 공간을 초월한 느낌을 제공한다. The time slice technique means that a plurality of cameras are installed facing the subject at various angles and taken instantaneously at the same time, and then the still motions of the subject appear as if they were taken with a movie camera by connecting the pictures using a computer. It refers to the video technique to do. Time slice not only can describe the subject in three dimensions, but also provides a feeling that transcends time and space.
이러한 타임 슬라이스 기법과 관련하여, 선행기술인 한국공개특허 제 2007-0000994호는 화상을 기록 및 재생하는 시스템 및 방법을 개시하고 있다. With respect to such a time slice technique, Korean Patent Publication No. 2007-0000994, which is a prior art, discloses a system and method for recording and reproducing an image.
타임 슬라이스 영상을 제공하기 위해서는 카메라의 포즈를 추정하는 작업을 필요로 한다. 종래에는 사각형 패턴 또는 원형 패턴과 같은 패턴을 이용하여 카메라의 포즈를 추정하였다. 그러나 넓은 면적의 장소에서 카메라의 포즈를 추정하는 경우, 패턴이 넓은 영역을 포괄하도록 설치하는데 어려움이 따르며, 넓은 면적에 의해 카메라와 지면이 수직으로 촬영된 영상을 획득하기 어려워 카메라 포즈 추정에 오류가 발생한다는 문제점을 가지고 있다. In order to provide a time slice image, it is necessary to estimate the pose of the camera. Conventionally, the pose of the camera was estimated using a pattern such as a square pattern or a circular pattern. However, when estimating the pose of the camera in a large area, it is difficult to install the pattern so that it covers a large area, and it is difficult to obtain an image taken vertically between the camera and the ground due to the large area, which causes errors in estimating the camera pose. It has a problem that it occurs.
마커를 인식하는 방법을 통해 카메라의 이동에 따른 포즈를 쉽고 정확도 높게 추정할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다. An object of the present invention is to provide a server, a method, and a computer program for generating a normalized image that enables easy and accurate estimation of a pose according to a camera movement through a method of recognizing a marker.
하나의 마커 디자인을 이용하여 각각의 장소에 마커 디자인을 회전 배치 하여 설치함으로써, 촬영 환경에 따라 색상값 변경 등을 통해 다양한 상황에 적용할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.A server, method, and computer program that generates normalized images that can be applied to various situations by changing color values according to the shooting environment by rotating and installing marker designs in each place using a single marker design. I want to provide.
타임 슬라이스 영상 촬영 시스템, 전역적 증강 현실, 감시 시스템과 같이 다양한 영상 응용 시스템에서 카메라 포즈 추정을 적용할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.An object of the present invention is to provide a server, a method, and a computer program for generating a normalized image that enables camera pose estimation to be applied in various image application systems such as a time slice image capture system, global augmented reality, and surveillance system.
넓은 면적의 장소에 설치된 카메라에 대해 포즈를 쉽고 정확하게 추정할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.It is intended to provide a server, a method and a computer program for generating a normalized image that enables easy and accurate estimation of a pose for a camera installed in a large area.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. However, the technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하는 영상 수신부, 상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 검출부, 상기 각 마커의 제 2 특징 영역을 분석하는 분석부, 상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고, 상기 평면 영상으로부터 정규화 영상을 생성하는 생성부를 포함하는 정규화 서버를 제공할 수 있다. As a means for achieving the above-described technical problem, an embodiment of the present invention provides an image receiving unit for receiving an image photographed of the target place in which at least three markers are arranged by a camera installed at the target place, and in the received image A detection unit that detects a first feature region for each marker based on the respective markers, detects a second feature region located within the detected first feature region, and analyzes a second feature region of each marker Second, a normalization server including a generator configured to generate a planar image of the target place based on the analyzed second feature region and generate a normalized image from the planar image may be provided.
본 발명의 다른 실시예는, 대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하는 단계, 상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하는 단계, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 단계, 상기 각 마커의 제 2 특징 영역을 분석하는 단계, 상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하는 단계, 상기 평면 영상으로부터 정규화 영상을 생성하는 단계를 포함하는 정규화 영상 생성 방법을 제공할 수 있다. Another embodiment of the present invention is the step of receiving, by a camera installed at the target place, an image photographed of the target place in which at least three markers are disposed, and a selection for each marker based on the respective markers in the received image. 1 detecting a feature region, detecting a second feature region located within the detected first feature region, analyzing a second feature region of each marker, based on the analyzed second feature region It is possible to provide a normalized image generation method including generating a planar image for the target place and generating a normalized image from the planar image.
본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하고, 상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하고, 상기 각 마커의 제 2 특징 영역을 분석하고, 상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고, 상기 평면 영상으로부터 정규화 영상을 생성하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다. In another embodiment of the present invention, when the computer program is executed by a computing device, a camera installed at the target place receives an image photographing the target place in which at least three markers are arranged, and Based on a marker, a first feature region for each marker is detected, a second feature region located within the detected first feature region is detected, a second feature region of each marker is analyzed, and the analyzed A computer program stored in a medium including a sequence of instructions for generating a planar image of the target location based on the second feature area and generating a normalized image from the planar image may be provided.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present invention. In addition to the above-described exemplary embodiments, there may be additional embodiments described in the drawings and detailed description of the invention.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 마커를 인식하는 방법을 통해 카메라의 이동에 따른 포즈를 쉽고 정확도 높게 추정할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다. According to any one of the above-described problem solving means of the present invention, it is possible to provide a server, a method, and a computer program for generating a normalized image allowing easy and accurate estimation of a pose according to movement of a camera through a method of recognizing a marker I can.
하나의 마커 디자인을 이용하여 각각의 장소에 마커 디자인을 회전 배치 하여 설치함으로써, 촬영 환경에 따라 색상값 변경 등을 통해 다양한 상황에 적용할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다. A server, method, and computer program that generates normalized images that can be applied to various situations by changing color values according to the shooting environment by rotating and installing marker designs in each place using a single marker design. Can provide.
타임 슬라이스 영상 촬영 시스템, 전역적 증강 현실, 감시 시스템과 같이 다양한 영상 응용 시스템에서 카메라 포즈 추정을 적용할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다. It is possible to provide a server, a method, and a computer program for generating a normalized image that enables camera pose estimation to be applied in various image application systems such as a time slice image capturing system, a global augmented reality, and a surveillance system.
넓은 면적의 장소에 설치된 카메라에 대해 포즈를 쉽고 정확하게 추정할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다. It is possible to provide a server, a method, and a computer program for generating a normalized image that enables easy and accurate estimation of a pose for a camera installed in a large area.
도 1은 본 발명의 일 실시예에 따른 정규화 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 정규화 서버의 구성도이다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 정규화 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 정규화 서버에서 정규화 영상을 생성하는 방법의 순서도이다. 1 is a block diagram of a normalization system according to an embodiment of the present invention.
2 is a block diagram of a normalization server according to an embodiment of the present invention.
3A to 3D are exemplary diagrams for explaining a process of generating a normalized image according to an embodiment of the present invention.
4 is a flowchart of a method of generating a normalized image in a normalization server according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is said to be "connected" with another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included, and one or more other features, not excluding other components, unless specifically stated to the contrary. It is to be understood that it does not preclude the presence or addition of any number, step, action, component, part, or combination thereof.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In the present specification, the term "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized by using two or more hardware, or two or more units may be realized by one piece of hardware.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal or device may be performed instead in a server connected to the terminal or device. Likewise, some of the operations or functions described as being performed by the server may also be performed by a terminal or device connected to the server.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 정규화 시스템의 구성도이다. 도 1을 참조하면, 정규화 시스템(1)은 카메라(110) 및 정규화 서버(120)를 포함할 수 있다. 카메라(110) 및 정규화 서버(120)는 정규화 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다. 1 is a block diagram of a normalization system according to an embodiment of the present invention. Referring to FIG. 1, the
도 1의 정규화 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 카메라(110)는 정규화 서버(120)와 동시에 또는 시간 간격을 두고 연결될 수 있다. Each component of the
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다. A network refers to a connection structure that enables information exchange between nodes such as terminals and servers, and is a local area network (LAN), a wide area network (WAN), and the Internet (WWW: World). Wide Web), wired and wireless data communication networks, telephone networks, wired and wireless television networks, etc. Examples of wireless data networks include 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), Wi-Fi, Bluetooth communication, infrared communication, and ultrasound. Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.
카메라(110)는 대상 장소(100)에 설치되어 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영할 수 있다. 여기서, 대상 장소(100)는 넓은 면적의 스포츠 경기장, 공연장 등일 수 있다. The
정규화 서버(120)는 대상 장소(100)에 설치된 카메라(110)가 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영한 영상을 수신할 수 있다. The
정규화 서버(120)는 수신한 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출하고, 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출할 수 있다.The
각 마커는 적어도 하나의 색으로 구성된 테두리 영역을 포함할 수 있다. 예를 들어, 정규화 서버(120)는 기설정된 색 모델에 기초하여 수신한 영상으로부터 각 마커의 테두리 영역을 검출하고, 검출된 각 마커의 테두리 영역을 이용하여 각 마커에 대한 제 1 특징 영역을 검출할 수 있다. Each marker may include a border area composed of at least one color. For example, the
각 마커는 패턴 영역을 더 포함할 수 있다. 여기서, 각 마커의 패턴 영역은 적어도 둘 이상으로 분할된 내부 영역(예를 들어, 4분할된 내부 영역)으로 구성되고, 각 내부 영역은 2 진 코드화된 것일 수 있다. 이 때, 각 마커의 내부 영역은 대상 장소(100)에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화되어 있는 것일 수 있다. 다른 예를 들어, 각 마커의 패턴 영역은 경계선을 기준으로 2 분할된 원 형상의 내부 영역으로 구성될 수 있다. 이 때, 각 마커는 경계선이 대상 장소의 경계에 대한 접선과 각도가 일치하도록 배치될 수 있다. Each marker may further include a pattern area. Here, the pattern area of each marker is composed of an inner area divided into at least two or more (eg, an inner area divided into four), and each inner area may be binary coded. In this case, the inner region of each marker may be binary coded differently from each other in a clockwise or counterclockwise order for each marker disposed on the
정규화 서버(120)는 검출된 제 1 특징 영역으로부터 테두리 영역을 제외시켜 패턴 영역에 해당하는 제 2 특징 영역을 검출할 수 있다. The
정규화 서버(120)는 각 마커의 제 2 특징 영역을 분석할 수 있다. 예를 들어, 정규화 서버(120)는 제 2 특징 영역으로 검출된 각 마커의 패턴 영역을 분석할 수 있다. The
정규화 서버(120)는 각 마커의 패턴 영역을 분석하여 각 마커에 대해 인덱싱할 수 있다. The
정규화 서버(120)는 분석된 제 2 특징 영역에 기초하여 대상 장소에 대한 평면 영상을 생성하고, 평면 영상으로부터 정규화 영상을 생성할 수 있다. The
정규화 서버(120)는 인덱싱된 각 마커의 중심점을 대상 장소(100)의 지면의 꼭지점 좌표와 대응시켜 평면 영상을 생성하고, 평면 영상을 와핑(warping)하여 정규화 영상을 생성할 수 있다. The
정규화 서버(120)는 대상 장소(100)에 설치된 다른 카메라로부터 촬영된 대상 장소(100)에 대한 영상과 정규화 영상에 기초하여 다른 카메라에 대한 포즈 정보를 추정할 수 있다. 예를 들어, 정규화 서버(120)는 대상 장소(100)에 대한 영상과 정규화 영상 간의 특징점 매칭을 수행하여 연산된 매칭된 특징점에 대한 변환 매트릭스를 통해 다른 카메라에 대한 포즈 정보를 추정할 수 있다.The
도 2는 본 발명의 일 실시예에 따른 정규화 서버의 구성도이다. 도 2를 참조하면, 정규화 서버(120)는 영상 수신부(210), 검출부(220), 분석부(230), 생성부(240) 및 추정부(250)를 포함할 수 있다. 2 is a block diagram of a normalization server according to an embodiment of the present invention. Referring to FIG. 2, the
영상 수신부(210)는 대상 장소(100)에 설치된 카메라(110)가 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영한 영상을 수신할 수 있다. 여기서, 적어도 세 개의 마커는 동일 패턴이 인쇄된 다각형 또는 원형의 기구물로 대상 장소(100)의 모서리에 패턴의 회전 순서에 따라 배치될 수 있다. The
검출부(220)는 수신한 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출하고, 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출할 수 있다. The
검출부(220)는 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출할 수 있다. 여기서, 각 마커는 적어도 하나의 색으로 구성된 테두리 영역을 포함하며, 각 마커의 테두리 영역의 색상은 촬영 환경에 따라 선택적으로 구성되되, 각 마커가 설치될 바닥면의 색상과 대비되는 색상으로 구성될 수 있다. The
검출부(220)는 기설정된 색 모델에 기초하여 수신한 영상으로부터 각 마커의 테두리 영역을 검출할 수 있다. 예를 들어, 검출부(220)는 HSV(Hue Saturation Value) 색공간을 이용하여 'Hue' 영역을 테두리 영역의 범위로 제한하여 테두리 영역의 색상을 검출할 수 있다. The
여기서, 색상 정보를 이용하여 마커의 테두리 영역을 검출하는 이유는 대상 장소(100)에 설치된 카메라(110)가 기울어진 경우, 카메라(110)로부터 수신한 영상에서 특징 정보의 왜곡, 영상 열화 등이 발생되어 테두리 영역의 검출이 어렵게 된다. 따라서, 외부 환경의 변화에도 강인해지도록 명확한 색상 정보를 이용하여 쉽고 정확하게 테두리 영역을 추정하기 위함이다. Here, the reason for detecting the border area of the marker using color information is that when the
검출부(220)는 검출된 각 마커의 테두리 영역을 이용하여 각 마커에 대한 제 1 특징 영역을 검출할 수 있다. 여기서, 제 1 특징 영역은 검출된 테두리 영역이 모폴로지 과정을 거쳐 빈 영역을 클로징하여 테두리 내부까지 포함되도록 각 연결 성분들이 라벨링된 것일 수 있다. 이 때, 라벨링 작업을 통해 각 테두리 영역에 인덱스가 부여될 수 있다. The
검출부(220)는 검출된 제 1 특징 영역으로부터 테두리 영역을 제외시켜 패턴 영역에 해당하는 제 2 특징 영역을 검출할 수 있다. 여기서, 각 마커는 패턴 영역을 더 포함할 수 있다. 예를 들어, 각 마커의 패턴 영역은 적어도 둘 이상으로 분할된 다각형의 내부 영역으로 구성되고, 각 내부 영역은 2 진 코드화된 것일 수 있다. 다른 예를 들어, 각 마커의 패턴 영역은 경계선을 기준으로 2 분할된 원 형상의 내부 영역으로 구성될 수 있다. 각 마커는 경계선이 대상 장소의 경계에 대한 접선과 각도가 일치하도록 배치될 수 있다. The
분석부(230)는 각 마커의 제 2 특징 영역을 분석할 수 있다. 예를 들어, 분석부(230)는 검출부(220)에서 제 2 특징 영역으로 검출된 각 마커의 패턴 영역을 분석할 수 있다. 분석부(230)는 각 마커의 패턴 영역을 분석하여 각 마커에 대해 인덱싱할 수 있다. The
각 마커의 패턴 영역은 4 분할된 내부 영역으로 구성될 수 있다. 각 마커의 내부 영역은 대상 장소(100)에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화될 수 있다. 예를 들어, 각 마커의 내부 영역은 검정 영역과 흰 영역으로 구성될 수 있으며, 검정 영역은 '0'값을 가지고, 흰 영역은 '1'값으로 하여 각 마커당 4자리의 코드로 인덱싱될 수 있다. 이를 통해, 최대 16개의 코드가 가능하며, 최대 16각형의 평면까지 추정할 수 있다. 예를 들어, 각 마커가 이진 코드화된 정사각형의 내부 영역이 균등하게 4분할되어 시계 방향으로 코드화된 경우, 좌상은 '1001', '우상은 '1100', 좌하는 '0011', 우하는 '0011'로 정의될 수 있다. 각 마커에 2 진 코드화를 하는 이유는 생성부(240)에서 평면 영상에 대한 와핑 처리 시에 와핑 오류의 발생을 방지하기 위함이다.The pattern area of each marker may be composed of 4 divided inner areas. The inner region of each marker may be binary coded differently in a clockwise or counterclockwise order for each marker disposed on the
생성부(240)는 분석된 제 2 특징 영역에 기초하여 대상 장소에 대한 평면 영상을 생성하고, 평면 영상으로부터 정규화 영상을 생성할 수 있다. 예를 들어, 생성부(240)는 인덱싱된 각 마커의 중심점을 대상 장소(100)의 지면의 꼭지점 좌표와 대응시켜 평면 영상을 생성하고, 평면 영상을 와핑(warping)하여 정규화 영상을 생성할 수 있다. 이를 통해, 생성부(240)는 카메라(110)의 중심과 수직이며, 카메라(110)의 중심을 지나는 공간의 좌표축인 주축의 값이 '0'에 위치한 정규화 영상을 생성할 수 있다. The
정규화 영상은 2차원 영상을 3차원 공간으로 변환한 실세계 좌표계 영상으로, 영상을 기준으로 입력되는 새 프레임의 특징 좌표를 동차 좌표계로 전환함으로써, 매칭된 정규화 영상의 좌표값을 획득하고, 연산을 통해 크기, 회전, 비틀림, 이동 등을 포함하는 행렬을 획득할 수 있게 된다. The normalized image is a real-world coordinate system image obtained by converting a two-dimensional image into a three-dimensional space, and by converting the feature coordinates of a new frame input based on the image into a homogeneous coordinate system, the coordinate values of the matched normalized image are obtained, and It is possible to obtain a matrix including size, rotation, twist, and movement.
추정부(250)는 대상 장소(100)에 설치된 다른 카메라(115)로부터 촬영된 대상 장소(100)에 대한 영상과 정규화 영상에 기초하여 다른 카메라(115)에 대한 포즈 정보를 추정할 수 있다. 예를 들어, 추정부(250)는 대상 장소(100)에 대한 영상과 정규화 영상 간의 특징점 매칭을 수행하여 연산된 매칭된 특징점에 대한 변환 매트릭스를 통해 다른 카메라(115)에 대한 포즈 정보를 추정할 수 있다. 이 때, 대상 장소(100)에 대한 영상과 정규화 영상 간의 특징점 매칭이 어려운 경우, 다중 카메라를 통해 대상 장소(100)에 배치된 각 마커를 촬영하여 특징점을 추정하여 대상 장소(100)에 대한 영상과 정규화 영상 간의 특징점을 매칭시킬 수 있다. The estimating
이러한 정규화 서버(120)는 정규화 영상을 생성하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 대상 장소(100)에 설치된 카메라(110)가 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영한 영상을 수신하고, 수신한 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출하고, 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하고, 각 마커의 제 2 특징 영역을 분석하고, 분석된 제 2 특징 영역에 기초하여 대상 장소(100)에 대한 평면 영상을 생성하고, 평면 영상으로부터 정규화 영상을 생성하도록 하는 명령어들의 시퀀스를 포함할 수 있다. The
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 정규화 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 3A to 3D are exemplary diagrams for explaining a process of generating a normalized image according to an embodiment of the present invention.
도 3a는 본 발명의 일 실시예에 따른 대상 장소에 설치된 카메라를 통해 마커가 배치된 대상 장소를 촬영하는 과정을 설명하기 위한 예시적인 도면이다. 도 3a를 참조하면, 대상 장소(100)에 설치된 카메라(110)는 4개의 마커(300)가 배치된 대상 장소(100)를 촬영할 수 있다. 3A is an exemplary diagram for explaining a process of photographing a target place on which a marker is placed through a camera installed at the target place according to an embodiment of the present invention. Referring to FIG. 3A, the
4개의 마커(300)는 하나의 마커(301)가 동일한 패턴으로 인쇄된 정사각형의 기구물로, 대상 장소(100)의 모서리 위치에 각각 회전되어 순서에 따라 배치될 수 있다. The four
도 3b는 본 발명의 일 실시예에 따른 사각형 형태의 마커로부터 패턴 영역을 분석하여 인덱싱하는 과정을 설명하기 위한 예시적인 도면이다. 도 3b를 참조하면, 사각형 형태의 마커(310)는 붉은색으로 구성된 테두리 영역(311)을 포함하고, 검정색과 흰색으로 구성된 패턴 영역(312)을 포함할 수 있다. 이 때, 패턴 영역(312)은 4개로 분할된 내부 영역으로 구성될 수 있으며, 각 내부 영역은 2진 코드화될 수 있다. 예를 들어, 내부 영역 중 검정 영역은 '0'값을 가지고, 흰 영역은 '1'값을 가질 수 있다. 3B is an exemplary diagram for explaining a process of analyzing and indexing a pattern area from a rectangular marker according to an embodiment of the present invention. Referring to FIG. 3B, the
정규화 서버(120)는 기설정된 색 모델에 기초하여 사각형 형태의 마커(310)의 테두리 영역(311)을 검출하고, 검출된 사각형 형태의 테두리 영역(311)을 이용하여 사각형 형태의 마커(310)에 대한 제 1 특징 영역을 검출할 수 있다. The
정규화 서버(120)는 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하여 분석할 수 있다. 예를 들어, 정규화 서버(120)는 제 1 특징 영역으로부터 테두리 영역(311)을 제외시켜 패턴 영역(312)에 해당하는 제 2 특징 영역을 검출할 수 있다. 이 때, 정규화 서버(120)는 사각형 형태의 마커(310)의 패턴 영역(312)을 분석하여 사각형 형태의 마커(310) 각각에 대해 인덱싱할 수 있다. The
예를 들어, 대상 장소(100)에 4개의 마커가 배치(320)된 경우, 정규화 서버(120)는 좌상(1001, 9), 우상(1100, 12), 우하(0110, 5), 우좌(0011, 3)로 사각형 마커 각각에 대해 인덱싱할 수 있다. For example, when four markers are arranged 320 in the
다른 예를 들어, 대상 장소(100)에 6개의 마커가 배치(330)된 경우, 정규화 서버(120)는 제 1 마커(0000, 0), 제 2 마커(0001, 1), 제 3 마커(0010, 2), 제 4 마커(0011, 3), 제 5 마커(0100, 4), 제 6 마커(0101, 5)로 사각항 마커 각각에 대해 인덱싱할 수 있다. For another example, when six markers are placed 330 in the
이를 통해, 최대 16개의 이진 코드를 통해, 최대 16각형의 평면까지 추정할 수 있다.Through this, through up to 16 binary codes, it is possible to estimate up to a hexagonal plane.
도 3c는 본 발명의 일 실시예에 따른 원형 형태의 마커로부터 패턴 영역을 분석하여 인덱싱하는 과정을 설명하기 위한 예시적인 도면이다. 도 3c를 참조하면, 원형 형태의 마커(340)는 붉은색으로 구성된 테두리 영역(341)을 포함하고, 검정색과 흰색으로 구성된 패턴 영역(342)을 포함할 수 있다. 이 때, 패턴 영역(342)은 2개로 분할된 내부 영역으로 구성될 수 있으며, 각 내부 영역은 2진 코드화될 수 있다. 예를 들어, 내부 영역 중 검정 영역은 '0'값을 가지고, 흰 영역은 '1'값을 가질 수 있다. 원형 형태의 마커(340)는 경계선이 대상 장소(100)의 경계에 대한 접선과 각도가 일치하도록 배치될 수 있다.3C is an exemplary diagram for explaining a process of analyzing and indexing a pattern area from a circular marker according to an embodiment of the present invention. Referring to FIG. 3C, the
정규화 서버(120)는 기설정된 색 모델에 기초하여 원형 형태의 마커(340)의 테두리 영역(341)을 검출하고, 검출된 테두리 영역(341)을 이용하여 원형 형태의 마커(340)에 대한 제 1 특징 영역을 검출할 수 있다. The
정규화 서버(120)는 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하여 분석할 수 있다. 예를 들어, 정규화 서버(120)는 제 1 특징 영역으로부터 테두리 영역(341)을 제외시켜 패턴 영역(342)에 해당하는 제 2 특징 영역을 검출할 수 있다. 이 때, 정규화 서버(120)는 원형 형태의 마커(340)의 패턴 영역(342)을 분석하여 원형 형태의 마커(340) 각각에 대해 인덱싱할 수 있다. The
정규화 서버(120)는 예를 들어, 대상 장소(100)에 4개의 원형 형태의 마커(340)가 배치(350)된 경우 또는 6개의 원형 형태의 마커(340)가 배치(360)된 경우에 대해 제 2 특징 영역이 정원이 되도록 와핑한 후, 허프 변환을 통해 흑과 백의 경계를 이루는 선을 검출하고, 선이 이루는 각의 정보로 마커를 독립적으로 인덱싱할 수 있다. The
도 3d는 본 발명의 일 실시예에 따른 다른 카메라에 대한 포즈 정보를 추정하는 과정을 설명하기 위한 예시적인 도면이다. 도 3d를 참조하면, 정규화 서버(120)는 대상 장소(100)에 설치된 다른 카메라(115)로부터 촬영된 대상 장소(100)에 대한 영상(370)과 정규화 영상(380)에 기초하여 다른 카메라에 대한 포즈 정보를 추정할 수 있다. 이 때, 정규화 서버(120)는 대상 장소(100)에 대한 영상(370)과 정규화 영상(380) 간의 특징점(390) 매칭을 수행하여 연산된 매칭된 특징점(390)에 대한 변환 매트릭스를 통해 다른 카메라(115)에 대한 포즈 정보를 추정할 수 있다. 3D is an exemplary diagram for explaining a process of estimating pose information for another camera according to an embodiment of the present invention. Referring to FIG. 3D, the
도 4는 본 발명의 일 실시예에 따른 정규화 서버에서 정규화 영상을 생성하는 방법의 순서도이다. 도 4에 도시된 정규화 서버(120)에서 정규화 영상을 생성하는 방법은 도 1 내지 도 3d에 도시된 실시예에 따른 정규화 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도1 내지 도 3d에 도시된 실시예에 따른 정규화 서버(120)에서 정규화 영상을 생성하는 방법에도 적용된다. 4 is a flowchart of a method of generating a normalized image in a normalization server according to an embodiment of the present invention. A method of generating a normalized image in the
단계 S410에서 정규화 서버(120)는 대상 장소(100)에 설치된 카메라(110)가 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영한 영상을 수신할 수 있다. In step S410, the
단계 S420에서 정규화 서버(120)는 수신한 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출할 수 있다. In step S420, the
단계 S430에서 정규화 서버(120)는 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출할 수 있다. In step S430, the
단계 S440에서 정규화 서버(120)는 각 마커의 제 2 특징 영역을 분석할 수 있다. In step S440, the
단계 S450에서 정규화 서버(120)는 분석된 제 2 특징 영역에 기초하여 대상 장소에 대한 평면 영상을 생성할 수 있다. In step S450, the
단계 S460에서 정규화 서버(120)는 평면 영상으로부터 정규화 영상을 생성할 수 있다. In step S460, the
상술한 설명에서, 단계 S410 내지 S460은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the above description, steps S410 to S460 may be further divided into additional steps or may be combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted as necessary, and the order between steps may be switched.
도 1 내지 도 4를 통해 설명된 정규화 서버에서 정규화 영상을 생성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 4를 통해 설명된 정규화 서버에서 정규화 영상을 생성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. The method of generating a normalized image in the normalization server described with reference to FIGS. 1 to 4 may be implemented in the form of a computer program stored in a medium executed by a computer or a recording medium including instructions executable by a computer. In addition, the method of generating a normalized image in the normalization server described with reference to FIGS. 1 to 4 may be implemented in the form of a computer program stored in a medium executed by a computer.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. Computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable medium may include a computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.
110: 카메라
120: 정규화 서버
210: 영상 수신부
220: 검출부
230: 분석부
240: 생성부
250: 추정부110: camera
120: normalization server
210: image receiving unit
220: detection unit
230: analysis unit
240: generation unit
250: estimation unit
Claims (18)
대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소을 촬영한 영상을 수신하는 영상 수신부;
상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 검출부;
상기 각 마커의 제 2 특징 영역을 분석하는 분석부; 및
상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고, 상기 평면 영상으로부터 정규화 영상을 생성하는 생성부
를 포함하되,
상기 각 마커는 테두리 영역 및 상기 테두리 영역 내에 적어도 둘 이상으로 분할된 내부 영역으로 구성되고, 각 내부 영역이 2진 코드화된 패턴 영역을 포함하고,
상기 각 마커의 내부 영역은 상기 대상 장소에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화되어 있는 것인, 정규화 서버.
In the server for generating a normalized image,
An image receiving unit configured to receive an image of the target place in which at least three markers are arranged by the camera installed at the target place;
A detector configured to detect a first feature region for each marker based on the markers in the received image and detect a second feature region located within the detected first feature region;
An analysis unit that analyzes a second feature region of each of the markers; And
A generator that generates a planar image of the target place based on the analyzed second feature area and generates a normalized image from the planar image
Including,
Each of the markers is composed of a border area and an inner area divided into at least two or more within the border area, and each inner area includes a binary coded pattern area,
The inner region of each of the markers is binary coded differently in a clockwise or counterclockwise order for each marker disposed at the target location.
상기 테두리 영역은 적어도 하나의 색으로 구성되고,
상기 검출부는 기설정된 색 모델에 기초하여 상기 수신한 영상으로부터 상기 각 마커의 테두리 영역을 검출하고, 상기 검출된 각 마커의 테두리 영역을 이용하여 상기 각 마커에 대한 제 1 특징 영역을 검출하는 것인, 정규화 서버.
The method of claim 1,
The border area is composed of at least one color,
The detection unit detects a border area of each marker from the received image based on a preset color model, and detects a first feature area for each marker by using the detected border area of each marker. , Normalization server.
상기 검출부는 상기 검출된 제 1 특징 영역으로부터 상기 테두리 영역을 제외시켜 상기 패턴 영역에 해당하는 제 2 특징 영역을 검출하고,
상기 분석부는 상기 제 2 특징 영역으로 검출된 상기 각 마커의 패턴 영역을 분석하는 것인, 정규화 서버.
The method of claim 2,
The detection unit detects a second characteristic region corresponding to the pattern region by excluding the edge region from the detected first characteristic region,
The analysis unit to analyze the pattern area of each marker detected as the second feature area, normalization server.
상기 분석부는 상기 각 마커의 패턴 영역을 분석하여 상기 각 마커에 대해 인덱싱하는 것인, 정규화 서버.
The method of claim 1,
The analysis unit is to index for each of the markers by analyzing the pattern region of each of the markers, normalization server.
상기 생성부는 상기 인덱싱된 각 마커의 중심점을 상기 대상 장소의 지면의 꼭지점 좌표와 대응시켜 상기 평면 영상을 생성하고, 상기 평면 영상을 와핑(warping)하여 상기 정규화 영상을 생성하는 것인, 정규화 서버.
The method of claim 5,
The generation unit generates the planar image by matching the center point of each of the indexed markers with the coordinates of the vertex of the ground of the target place, and generates the normalized image by warping the planar image.
상기 각 마커의 패턴 영역은 4 분할된 내부 영역으로 구성되는 것인, 정규화 서버.
The method of claim 1,
The normalization server, wherein the pattern area of each marker is composed of 4 divided inner areas.
상기 각 마커의 패턴 영역은 경계선을 기준으로 2 분할된 원 형상의 내부 영역으로 구성되는 것인, 정규화 서버.
The method of claim 1,
The normalization server, wherein the pattern area of each marker is composed of an inner area of a circular shape divided by two based on a boundary line.
상기 각 마커는 상기 경계선이 상기 대상 장소의 경계에 대한 접선과 각도가 일치하도록 배치되어 있는 것인, 정규화 서버.
The method of claim 9,
The normalization server, wherein each of the markers is arranged so that the boundary line matches the tangent line with respect to the boundary of the target place.
상기 대상 장소에 설치된 다른 카메라로부터 촬영된 상기 대상 장소에 대한 영상과 상기 정규화 영상에 기초하여 상기 다른 카메라에 대한 포즈 정보를 추정하는 추정부
를 더 포함하는 것인, 정규화 서버.
The method of claim 1,
An estimating unit for estimating pose information for the other camera based on the image of the target place and the normalized image taken from another camera installed in the target place
That further comprises a normalization server.
상기 추정부는 상기 대상 장소에 대한 영상과 상기 정규화 영상 간의 특징점 매칭을 수행하여 연산된 상기 매칭된 특징점에 대한 변환 매트릭스를 통해 상기 다른 카메라에 대한 포즈 정보를 추정하는 것인, 정규화 서버.
The method of claim 11,
Wherein the estimating unit estimates pose information for the other camera through a transformation matrix for the matched feature points calculated by performing feature point matching between the image for the target location and the normalized image.
대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하는 단계;
상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하는 단계;
상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 단계;
상기 각 마커의 제 2 특징 영역을 분석하는 단계;
상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하는 단계; 및
상기 평면 영상으로부터 정규화 영상을 생성하는 단계
를 포함하되,
상기 각 마커는 테두리 영역 및 상기 테두리 영역 내에 적어도 둘 이상으로 분할된 내부 영역으로 구성되고, 각 내부 영역이 2진 코드화된 패턴 영역을 포함하고,
상기 각 마커의 내부 영역은 상기 대상 장소에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화되어 있는 것인, 정규화 영상 생성 방법.
In the method of generating a normalized image,
Receiving, by a camera installed at the target place, an image photographing the target place on which at least three markers are disposed;
Detecting a first feature region for each marker based on the respective markers in the received image;
Detecting a second feature area located within the detected first feature area;
Analyzing a second feature region of each of the markers;
Generating a planar image of the target place based on the analyzed second feature area; And
Generating a normalized image from the planar image
Including,
Each of the markers is composed of a border area and an inner area divided into at least two or more within the border area, and each inner area includes a binary coded pattern area,
The inner region of each of the markers is binary coded differently in a clockwise or counterclockwise order for each marker disposed at the target location.
상기 테두리 영역은 적어도 하나의 색으로 구성되고,
상기 제 1 특징 영역을 검출하는 단계는 기설정된 색 모델에 기초하여 상기 수신한 영상으로부터 상기 각 마커의 테두리 영역을 검출하고, 상기 검출된 각 마커의 테두리 영역을 이용하여 상기 각 마커에 대한 제 1 특징 영역을 검출하는 것인, 정규화 영상 생성 방법.
The method of claim 13,
The border area is composed of at least one color,
In the detecting of the first feature area, a border area of each marker is detected from the received image based on a preset color model, and the first feature area is used for each marker using the detected border area. The method of generating a normalized image to detect a feature region.
상기 제 2 특징 영역을 검출하는 단계는 상기 검출된 제 1 특징 영역으로부터 상기 테두리 영역을 제외시켜 상기 패턴 영역에 해당하는 제 2 특징 영역을 검출하고,
상기 각 마커의 제 2 특징 영역을 분석하는 단계는 상기 제 2 특징 영역으로 검출된 상기 각 마커의 패턴 영역을 분석하는 것인, 정규화 영상 생성 방법.
The method of claim 14,
In the detecting of the second characteristic region, the second characteristic region corresponding to the pattern region is detected by excluding the edge region from the detected first characteristic region,
Analyzing the second feature region of each marker comprises analyzing the pattern region of each marker detected as the second feature region.
상기 각 마커의 패턴 영역을 분석하여 상기 각 마커에 대해 인덱싱하는 단계
를 더 포함하는 것인, 정규화 영상 생성 방법.
The method of claim 15,
Analyzing the pattern area of each marker and indexing each marker
The method of generating a normalized image further comprising a.
상기 정규화 영상을 생성하는 단계는 상기 인덱싱된 각 마커의 중심점을 상기 대상 장소의 지면의 꼭지점 좌표와 대응시켜 상기 평면 영상을 생성하고, 상기 평면 영상을 와핑(warping)하여 상기 정규화 영상을 생성하는 것인, 정규화 영상 생성 방법.
The method of claim 16,
The generating of the normalized image includes generating the planar image by matching the center point of each of the indexed markers with the coordinates of the vertex of the ground of the target place, and generating the normalized image by warping the planar image. Phosphorus, normalized image generation method.
상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하고,
상기 촬영된 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고,
상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하고,
상기 각 마커의 제 2 특징 영역을 분석하고,
상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고,
상기 평면 영상으로부터 정규화 영상을 생성하고,
상기 각 마커는 테두리 영역 및 상기 테두리 영역 내에 적어도 둘 이상으로 분할된 내부 영역으로 구성되고, 각 내부 영역이 2진 코드화된 패턴 영역을 포함하고,
상기 각 마커의 내부 영역은 상기 대상 장소에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화되어 있도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램.In the computer program stored in a medium comprising a sequence of instructions for generating a normalized image,
When the computer program is executed by a computing device,
A camera installed in the target place receives an image of the target place in which at least three markers are placed,
Detecting a first feature region for each marker based on the respective markers in the captured image,
Detecting a second feature region located within the detected first feature region,
Analyzing the second feature region of each of the markers,
Generate a planar image of the target place based on the analyzed second feature area,
Generate a normalized image from the planar image,
Each of the markers is composed of a border area and an inner area divided into at least two or more within the border area, and each inner area includes a binary coded pattern area,
The computer program stored in the medium, wherein the inner area of each marker includes a sequence of instructions that are binary coded differently in a clockwise or counterclockwise order for each marker disposed at the target location.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180101743A KR102223335B1 (en) | 2018-08-29 | 2018-08-29 | Server, method and computer program for generating normalized video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180101743A KR102223335B1 (en) | 2018-08-29 | 2018-08-29 | Server, method and computer program for generating normalized video |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200025019A KR20200025019A (en) | 2020-03-10 |
KR102223335B1 true KR102223335B1 (en) | 2021-03-08 |
Family
ID=69801364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180101743A KR102223335B1 (en) | 2018-08-29 | 2018-08-29 | Server, method and computer program for generating normalized video |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102223335B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220025600A (en) | 2020-08-24 | 2022-03-03 | 삼성전자주식회사 | Method and apparatus for generating image |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005227929A (en) * | 2004-02-12 | 2005-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Processing method for photography image of object, image display system, program and recording medium |
JP2013084031A (en) * | 2011-10-06 | 2013-05-09 | Seiko Epson Corp | Marker, two-dimensional code, recognition method for marker, and recognition method for two-dimensional code |
JP2013520743A (en) | 2010-04-16 | 2013-06-06 | ビズモードライン カンパニー リミテッド | Marker search system for augmented reality services |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101460350B1 (en) * | 2013-03-26 | 2014-11-13 | 금오공과대학교 산학협력단 | Apparatus and method for recognizing maker recognition |
-
2018
- 2018-08-29 KR KR1020180101743A patent/KR102223335B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005227929A (en) * | 2004-02-12 | 2005-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Processing method for photography image of object, image display system, program and recording medium |
JP2013520743A (en) | 2010-04-16 | 2013-06-06 | ビズモードライン カンパニー リミテッド | Marker search system for augmented reality services |
JP2013084031A (en) * | 2011-10-06 | 2013-05-09 | Seiko Epson Corp | Marker, two-dimensional code, recognition method for marker, and recognition method for two-dimensional code |
Also Published As
Publication number | Publication date |
---|---|
KR20200025019A (en) | 2020-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Reilly et al. | Detection and tracking of large number of targets in wide area surveillance | |
US9734427B2 (en) | Surveillance systems and image processing methods thereof | |
Shim et al. | Auto-adjusting camera exposure for outdoor robotics using gradient information | |
KR101125765B1 (en) | Apparatus and method for registration between color channels based on depth information of image taken by multiple color filter aperture camera | |
CN110910460B (en) | Method and device for acquiring position information and calibration equipment | |
US11233983B2 (en) | Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium | |
US8531519B1 (en) | Automatic multi-device localization and collaboration using cameras | |
KR20160031967A (en) | Muti-projection system and method for projector calibration thereof | |
KR100951309B1 (en) | New Calibration Method of Multi-view Camera for a Optical Motion Capture System | |
CN111815672B (en) | Dynamic tracking control method, device and control equipment | |
CN111932590B (en) | Object tracking method and device, electronic equipment and readable storage medium | |
Zhang et al. | A new modified panoramic UAV image stitching model based on the GA-SIFT and adaptive threshold method | |
St-Charles et al. | Online multimodal video registration based on shape matching | |
KR102223335B1 (en) | Server, method and computer program for generating normalized video | |
AU2011331381B2 (en) | Change detection in video data | |
Brzeszcz et al. | Real‐time construction and visualisation of drift‐free video mosaics from unconstrained camera motion | |
Piciarelli et al. | Outdoor environment monitoring with unmanned aerial vehicles | |
CN116912331A (en) | Calibration data generation method and device, electronic equipment and storage medium | |
KR20170133666A (en) | Method and apparatus for camera calibration using image analysis | |
Aktar et al. | Performance evaluation of feature descriptors for aerial imagery mosaicking | |
US10705217B2 (en) | Controlling multiple imaging sensors | |
Neves et al. | A Master‐Slave Calibration Algorithm with Fish‐Eye Correction | |
CN113592917A (en) | Camera target handover method and handover system | |
EP2455915A1 (en) | Change detection in image sequences | |
EP3891700A1 (en) | Object location determination in frames of a video stream |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |