KR20150109919A

KR20150109919A - Method and apparatus for generating panorama image

Info

Publication number: KR20150109919A
Application number: KR1020140033486A
Authority: KR
Inventors: 석주명; 임성용; 조용주; 안상우; 차지훈
Original assignee: 한국전자통신연구원
Priority date: 2014-03-21
Filing date: 2014-03-21
Publication date: 2015-10-02
Also published as: KR102189298B1

Abstract

A method and an apparatus for generating a panorama image are provided. It includes recognizing effective image photographing devices which have a similar photographing center among photographing devices for generating a panorama image in a panorama image system having independently distributed photographing devices, selecting a representative photographing device suitable for cooperation photography among the photographing devices, and generating a cooperated mosaic panorama image by using grouped effective image photographing device arrangement information and photographed cooperation image photographed from the grouped effective image photographing device according to the representative image photographing device.

Description

Field of the Invention [0001] The present invention relates to a panoramic image generation method,

본 발명은 파노라마 영상 생성을 위한 시스템 및 방법에 관한 것으로, 더욱 상세하게는 독립된 다수의 영상촬영장치를 이용하여 직접 촬영이 어려운 특정 공간을 재현할 수 있는 협력형 파노라마 영상을 생성하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for generating a panoramic image, and more particularly, to a system and method for generating a cooperative panorama image that can reproduce a specific space that is difficult to directly capture using a plurality of independent image capturing apparatuses .

일반적으로 넓은 공간을 재현하기 위하여 활용되는 파노라마 영상은 영상촬영장치가 가진 고유의 화각과 초점거리의 한계로 동일한 촬영 위치에서 이웃 촬영장치간에 겹쳐서 촬영한 후에 촬영 이미지간의 특징점 등의 연관성을 이용하여 촬영 이미지를 이어 붙이는 방법으로 공간을 재현한다. In general, a panoramic image used to reproduce a wide space is superimposed between neighboring photographing apparatuses at the same photographing position due to the inherent angle of view and focal length limitations of the image photographing apparatus, The space is reproduced by attaching images.

이러한 일반적인 파노라마 영상 촬영 방법은 촬영장치의 크기 등이 달라 동일 중심점을 일치시키지 못하는 시차 문제가 발생하므로 파노라마 영상의 스티칭 왜곡을 최소화하기 위해 모든 영상촬영장치들이 동일한 촬영중심을 가질 수 있도록 릭 구조체를 탑재하여 세밀한 카메라 보정 과정을 수행한다. 그러나, 촬영자가 직접 가기 어려운 장소를 촬영하는 경우에는 영상촬영장치를 고정하는 구조체를 활용하기가 어려운 문제점이 있다. Such a general panoramic imaging method has a problem of time lag which does not allow the same center points to be coincided due to the size of a photographing apparatus and the like. Therefore, in order to minimize the stitching distortion of the panoramic image, a rick structure is mounted so that all image photographing apparatuses can have the same photographing center And performs a detailed camera calibration process. However, in the case of photographing a place where the photographer can not easily approach, there is a problem that it is difficult to utilize a structure for fixing the image photographing device.

따라서, 자유롭게 배치된 다수의 영상촬영장치를 이용하여 파노라마 영상을 생성하기 위한 기술이 요구된다. Therefore, there is a demand for a technique for generating a panoramic image using a plurality of freely arranged image capturing apparatuses.

한국 등록 특허 제10-1323099호("모자이크 영상생성장치", 쎄트렉아이, 2013.05.28 공개)Korean Patent No. 10-1323099 ("Mosaic image generating device ", The Trek Eye, published on May 28, 2013)

전술한 문제점을 해결하기 위한 본 발명의 목적은 독립된 다수의 영상촬영장치를 이용하여 직접 촬영이 어려운 특정 공간을 재현할 수 있는 협력형 파노라마 영상을 생성하기 위한 시스템 및 방법에 관한 것이다.An object of the present invention is to provide a system and method for generating a cooperative panorama image that can reproduce a specific space that is difficult to directly capture using a plurality of independent image capturing apparatuses.

발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. The technical objects of the present invention are not limited to the technical matters mentioned above, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.

전술한 본 발명의 목적을 달성하기 위한 본 발명의 실시예에 따른 독립적으로 분산된 복수의 영상촬영장치를 구비한 파노라마 영상 시스템에서 파노라마 영상을 생성하는 방법에 있어서, 상기 복수의 영상촬영장치 중 촬영중심이 유사한 유효 영상촬영장치를 인지하는 단계; 상기 유효 영상촬영장치 중 협력촬영에 적합한 대표 영상촬영장치를 선정하는 단계; 및 상기 대표 영상촬영장치 별로 군집된 유효 영상촬영장치로부터 촬영된 협력영상 및 상기 군집된 유효 영상촬영장치 배치정보를 이용하여 협력형 모자이크 파노라마 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for generating a panoramic image in a panoramic image system including a plurality of independently dispersed image capturing apparatuses, Recognizing an effective image photographing apparatus having a similar center; Selecting a representative image photographing apparatus suitable for cooperative photographing among the effective image photographing apparatuses; And generating a cooperative mosaic panorama image using the cooperative image captured from the effective image capturing device clustered by each representative image capturing device and the clustered effective image capturing device disposition information.

상술한 파노라마 영상 생성을 위한 시스템 및 방법에 따르면, 특정 공간에서 자유롭게 배치된 독립된 다수의 촬영 장치 노드 중 촬영중심이 유사한 연관성이 높은 유효 영상촬영장치를 선별한 후 유효 영상촬영장치로부터 획득한 협력영상을 이용하여 특정 공간을 촬영한 유효 영상촬영장치의 위치를 산출함에 따라 촬영중심이 동일해 지도록 하기 위한 카메라 보정없이 공간 재현에 필요한 영상촬영장치를 선별하여 협력형 파노라마 영상을 생성할 수 있다. 그에 따라, 사람이 직접 가서 촬영하기 어려운 장소나 하나의 카메라로 실제 공간을 촬영하기 어려운 점을 해결할 수 있다. According to the system and method for generating a panoramic image described above, an effective image photographing apparatus having a high similarity in similarity among photographing apparatus centers among a plurality of independent photographing apparatus nodes freely arranged in a specific space is selected, The cooperative panorama image can be generated by selecting the image photographing apparatuses necessary for the spatial reproduction without the camera correction so that the center of the photographing can be made identical by calculating the position of the effective image photographing apparatus that photographs the specific space. Accordingly, it is possible to solve the problem that it is difficult for a person to directly go and photograph a real space with a camera or a camera which is difficult to shoot.

또한, 독립된 다수 영상촬영장치로 촬영된 협력영상을 이용하여 특정 공간을 재현하는 협력형 파노라마 서비스를 제공하여 다양한 파노라마 영상 콘텐츠 획득을 통한 촬영 편의성을 제공할 수 있다. 그에 따라, 실사 기반 파노라마 영상 서비스 산업 활성화에 기여할 수 있으며, 영화의 특수촬영, 산불 감시, 지역탐사 등과 같은 다양한 산업 분야에 광범위하게 적용할 수 있다. In addition, a cooperative panorama service for reproducing a specific space using a cooperative image photographed by an independent multiple image photographing apparatus can be provided to provide photographing convenience through acquisition of various panorama image contents. As a result, it can contribute to the revitalization of real-world panoramic image service industry, and it can be widely applied to various industrial fields such as special shooting of movies, forest fire monitoring, and local exploration.

도 1은 본 발명의 실시예에 따른 파노라마 영상 생성 시스템을 개략적으로 나타내는 블록도이다.
도 2는 도 1에 도시한 복수의 영상촬영장치를 통해 생성된 토폴로지 정보의 일례를 나타내는 도면이다.
도 3은 도 1에 도시한 영상촬영장치의 구성을 개략적으로 나타내는 도면이다.
도 4는 도 1에 도시한 영상생성장치의 구성을 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 영상촬영장치의 동작을 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따른 영상생성장치의 동작을 나타내는 순서도이다.1 is a block diagram schematically showing a panoramic image generation system according to an embodiment of the present invention.
2 is a diagram showing an example of topology information generated through a plurality of image capturing apparatuses shown in Fig.
Fig. 3 is a view schematically showing the configuration of the image photographing apparatus shown in Fig. 1. Fig.
FIG. 4 is a view schematically showing a configuration of the image generating apparatus shown in FIG. 1. FIG.
5 is a flowchart showing the operation of the image photographing apparatus according to the embodiment of the present invention.
6 is a flowchart showing an operation of an image generating apparatus according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도 1은 본 발명의 실시예에 따른 파노라마 영상 생성 시스템을 개략적으로 나타내는 블록도이다. 도 2는 도 1에 도시한 복수의 영상촬영장치를 통해 생성된 토폴로지 정보의 일례를 나타내는 도면이다. 1 is a block diagram schematically showing a panoramic image generation system according to an embodiment of the present invention. 2 is a diagram showing an example of topology information generated through a plurality of image capturing apparatuses shown in Fig.

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 파노라마 영상 생성 시스템(100)은 복수의 영상촬영장치(110) 및 영상생성장치(120)를 포함한다. As shown in FIG. 1, the panoramic image generation system 100 according to the embodiment of the present invention includes a plurality of image capturing apparatuses 110 and an image generating apparatus 120.

복수의 영상촬영장치(110)는 각각 카메라를 구비하여 영상을 촬영할 수 있는 장치이며, 직접 촬영이 어려운 특정 공간(100a)에서 자유롭게 흩어져 있다. 본 발명의 실시예에 따른 복수의 영상촬영장치(110)는 N 개인 것으로 가정한다. 복수의 영상촬영장치(110)는 각각 서로간의 통신을 수행하여 영상촬영장치 별 위치정보, 카메라의 자세정보, 촬영영상을 포함하는 협력촬영정보를 송수신하여 자신과 이웃한 영상촬영장치와의 이웃 거리를 산출한다. 여기서, 영상촬영장치 별 위치정보는 복수의 영상촬영장치(110)의 GPS 및 GIS 측위정보를 포함하는 위성지리정보이다. 카메라의 자세정보는 위성지리정보에 의한 방향과 수평계를 기준으로 하거나 또는 다른 영상촬영장치의 카메라 자세기준 대비 영상촬영장치의 렌즈 방향에 대하여 공간 상의 카메라 3차원 각도(X/Y/Z 각도: 패닝/틸팅/회전)에 대한 정보이다. 이때, 영상촬영장치에 장착된 렌즈는 동일한 화각을 갖는 것으로 가정한다.Each of the plurality of image capturing apparatuses 110 is equipped with a camera and is capable of capturing an image, and is freely scattered in a specific space 100a where shooting is difficult. It is assumed that a plurality of image photographing apparatuses 110 according to the embodiment of the present invention are N persons. The plurality of image capturing apparatuses 110 communicate with each other to transmit and receive cooperative capturing information including position information of each image capturing apparatus, attitude information of the camera, and captured image, . Here, the location information of each image photographing apparatus is satellite geographical information including GPS and GIS positioning information of the plurality of image photographing apparatuses 110. The attitude information of the camera is determined by a three-dimensional angle of the camera (X / Y / Z angle: panning) with respect to the direction by the geographical information of the camera and the direction of the level system or the lens direction of the image- / Tilting / rotation). At this time, it is assumed that the lenses mounted on the image photographing apparatus have the same angle of view.

구체적으로, 복수의 영상촬영장치(110)는 각각 협력촬영정보로부터 영상촬영장치 별 위치정보를 검출한다. 복수의 영상촬영장치(110)는 영상촬영장치 별 위치정보에 포함된 위성지리정보를 이용하여 자신과 이웃한 영상촬영장치와의 이웃 거리를 산출한다. 이때, 측위정보 정확성의 한계로 인해 거리계산 오차가 발생할 수 있으나, 위성지리정보에 의한 거리계산 오차는 영상촬영장치에 탑재된 무선 송수신기(WIFI, 3G)(도시하지 않음) 등을 통해 영상촬영장치 사이에서의 무선세기 송수신피드백 시간 등과 같은 무선 시그널링을 수행하여 세밀하게 보정할 수 있다. More specifically, the plurality of image capturing apparatuses 110 respectively detect position information of each image capturing apparatus from the cooperative photographing information. The plurality of image capturing apparatuses 110 calculate the neighborhood distance between the neighboring image capturing apparatuses using the satellite geographical information included in the location information of each image capturing apparatus. In this case, the distance calculation error may occur due to the limitation of the positioning information accuracy. However, the distance calculation error due to the satellite geographical information may be detected through the wireless transceiver (WIFI, 3G) (not shown) The wireless signaling such as the transmission / reception feedback time of the wireless strength between the mobile station and the base station can be finely corrected.

직접 촬영이 어려운 특정 공간을 재현하기 위한 파노라마 영상을 생성하기 위해서는 동일한 촬영중심을 가져야 파노라마 영상 생성시 왜곡이 최소화되므로, 복수의 영상촬영장치(110)는 각각 협력촬영정보로부터 영상촬영장치 별 위치정보 및 카메라의 자세정보를 검출하고, 이를 이용하여 촬영중심이 유사한 유효 영상촬영장치(110a)를 인지한다. In order to generate a panoramic image for reproducing a specific space that is difficult to be directly photographed, it is necessary to have the same photographing center to minimize distortion in the generation of the panoramic image, so that the plurality of image capturing apparatuses 110 respectively acquire positional information And attitude information of the camera, and recognizes the effective image photographing apparatus 110a having the same photographing center using the detected attitude information.

유효 영상촬영장치(110a)는 각각 서로간의 통신을 수행하여 인접범위 기준에서 이웃 유효 영상촬영장치를 검색하여 개수를 누적한다. 이때, 유효 영상촬영장치(110a) 중 높은 이웃 유효 영상촬영장치 개수를 가진 유효 영상촬영장치가 대표 영상촬영장치(110b)로 선정된다. 여기서, 인접범위는 이웃 유효 영상촬영장치 개수를 판단하기 위한 기준범위이며, 기본값은 예를 들어 10m 이내 거리 등으로 설정 가능하나 위성지리정보의 분해력에 따라 값이 변경될 수 있다. 다시 말해, 이웃 유효 영상촬영장치의 개수가 많은 유효 영상촬영장치가 이웃 유효 영상촬영장치와 함께 협력 촬영을 하기에 적합하다고 가정할 수 있으므로 이웃 유효 영상촬영장치의 개수가 많은 유효 영상촬영장치를 군집(Group)의 대표 영상촬영장치로 선정한다. 이때, 대표 영상촬영장치를 선정하기 위한 이웃 유효 영상촬영장치의 개수는 산발적으로 흩어진 영상촬영장치의 개수와 분포형태, 탑재된 카메라 렌즈 화각에 따라 달라질 수 있으며, 그 값은 조정될 수 있다. 이처럼 인접범위 내 유효 영상촬영장치의 개수에 따라서 다수의 군집(Group)이 형성된다. 본 발명의 실시예에서는 4개의 군집(Group1-Group4)이 형성된 것으로 가정한다. The effective image photographing apparatus 110a communicates with each other to search neighboring effective image photographing apparatuses based on the adjacent range reference, and accumulates the number. At this time, the effective image photographing apparatus having the high effective neighboring effective image photographing apparatus among the effective image photographing apparatus 110a is selected as the representative image photographing apparatus 110b. Here, the adjacent range is a reference range for determining the number of neighboring effective image pickup devices, and the default value can be set to a distance within 10 m, for example. However, the value can be changed according to the decomposition power of the satellite geographic information. In other words, since it can be assumed that an effective image photographing apparatus having a large number of neighboring effective image photographing apparatuses is suitable for cooperative photographing together with a neighboring effective image photographing apparatus, an effective image photographing apparatus having a large number of neighboring effective image photographing apparatuses (Group) representative image photographing apparatus. At this time, the number of neighboring effective image photographing apparatuses for selecting a representative image photographing apparatus may vary depending on the number and distribution of scattered image photographing apparatuses, the angle of view of the mounted camera lens, and the value thereof may be adjusted. As described above, a plurality of groups are formed according to the number of effective image capturing devices in the adjacent range. It is assumed that four clusters (Group1-Group4) are formed in the embodiment of the present invention.

인접범위에 의하여 군집화된 영상촬영장치들이 협력촬영하기 위해서는 각 영상촬영장치들의 촬영방향 및 촬영각도 등과 같은 촬영상태를 파악해야 하므로, 먼저 군집(Group1-Group4)별 대표 영상촬영장치(110b)가 자신이 촬영기준에 적합한지를 판단한다. In order to cooperate with the image capturing devices clustered by the adjacent ranges, the photographing conditions such as the photographing direction and the photographing angle of each image capturing device must be grasped. Therefore, the representative image capturing device 110b for each group (Group1- It is determined whether or not the photographing standard meets the photographing standard.

구체적으로, 대표 영상촬영장치(110b)는 자신이 속한 군집내 이웃 유효 영상촬영장치로부터 촬영영상을 수집한다. 대표 영상촬영장치(110b)는 다수의 촬영영상을 특징점 추출 기반의 영상처리 방법을 활용하여 자신의 카메라 자세정보 기준 대비 이웃 유효 영상촬영장치의 카메라 자세정보를 산출한다. 대표 영상촬영장치(110b)는 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수와 군집내 이웃 유효 영상촬영장치의 개수를 비교하여 촬영기준의 적합성을 판단한다. 즉, 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수가 군집내 이웃 유효 영상촬영장치의 개수 대비 설정값 이하인 경우, 대표 영상촬영장치(110b)의 카메라 자세가 아래를 바라보는 등과 같이 촬영기준에 적합하지 않은 것으로 판단할 수 있다. 여기서, 설정값은 대표 영상촬영장치(110b)가 촬영기준에 적합한지를 판단하기 위한 기준으로, 군집내 이웃 유효 영상촬영장치 개수에 기초하여 그 값이 달라질 수 있다.Specifically, the representative image capturing apparatus 110b collects the captured image from the neighboring effective image capturing apparatus in the cluster to which the representative image capturing apparatus 110b belongs. The representative image capturing apparatus 110b calculates the camera attitude information of the neighboring effective image capturing apparatus with respect to the camera attitude information criterion by using the image processing method based on the feature point extraction based on the plurality of captured images. The representative image capturing apparatus 110b compares the number of effective image capturing apparatuses having camera attitude information determined to be adjacent and the number of neighboring effective image capturing apparatuses in the cluster to determine suitability of the capturing criteria. That is, when the number of effective image capturing devices having camera attitude information determined to be adjacent is less than or equal to the set value of the number of neighboring effective image capturing devices in the cluster, the camera posture of the representative image capturing device 110b It can be judged that it does not meet the shooting standard. Here, the set value is a criterion for determining whether the representative video image capturing apparatus 110b conforms to the shooting criterion, and the value may be changed based on the number of neighboring effective video image capturing apparatuses in the cluster.

만일, 군집(Group1-Group4)별 대표 영상촬영장치(110b)가 촬영기준에 적합하지 않은 것으로 판단되면, 최적의 촬영기준점을 파악하기 위해 대표 영상촬영장치를 변경하여 새로운 대표 영상촬영장치를 선정한다. 구체적으로, 대표 영상촬영장치를 변경해야 하는 해당 군집 내에서 다음으로 이웃 유효 영상촬영장치의 개수가 많은 영상촬영장치를 새로운 대표 영상촬영장치로 선정하거나 또는 유효 영상촬영장치의 카메라 자세정보가 수평좌표와 오차가 적은 유효 영상촬영장치를 새로운 대표 영상촬영장치로 선정한다. 새로운 대표 영상촬영장치를 선정한 후에도 최적의 촬영기준점을 위해 특징점 추출 기반의 영상처리 방법을 반복적으로 수행하여 촬영중심이 유사한 유효 영상촬영장치를 새로운 대표 영상촬영장치로 선정한다. If it is determined that the representative image photographing device 110b per group (Group 1-Group 4) does not meet the photographing criterion, a new representative photographing device is selected by changing the representative image photographing device to grasp the optimum photographing reference point . Specifically, if the representative image capturing apparatus is to be changed, the image capturing apparatus having the largest number of neighbor valid image capturing apparatuses is selected as the new representative image capturing apparatus, or the camera attitude information of the effective image capturing apparatus is set as the horizontal coordinate And an effective image capturing device with a small error is selected as a new representative image capturing device. After selecting a new representative image capturing device, the image processing method based on the feature point extraction is repeatedly performed for an optimal photographing reference point, and a new effective image capturing device having a similar shooting center is selected as a new representative image capturing device.

이처럼 반복적으로 새로운 대표 영상촬영장치 선정을 통해 파노라마 영상 촬영에 적합한 노드의 군집의 형성이 완료되면, 군집(Group1-Group4)별 유효 영상촬영장치는 현재 위치에서 자신이 촬영 가능한 화각범위 내 영상을 촬영한 협력영상을 대표 영상촬영장치로 전달한다. 군집(Group1-Group4)별 대표 영상촬영장치(110b)는 협력영상을 이용하여 군집내 유효 영상촬영장치 배치정보를 산출한다. 군집(Group1-Group4)별 대표 영상촬영장치(110b)는 검증과 제어를 위해 도 2와 같이 군집(Group1-Group4)별 유효 영상촬영장치의 위치를 연결선/색상(310-340)으로 표시하여 유효 영상촬영장치 배치정보를 시각화하여 토폴로지 정보(300)를 생성한다 그리고, 군집(Group1-Group4)별 대표 영상촬영장치(110b)는 토폴로지 정보(300) 및 협력영상을 포함하는 최종 협력 정보를 영상생성장치(120)로 전달한다. When the formation of a cluster of nodes suitable for panoramic imaging is completed through the selection of a new representative image capturing device repeatedly, the effective image capturing device for each group (Group 1-Group 4) captures an image within the range of the angle of view And transmits the cooperative image to the representative image capturing device. The representative image capturing device 110b for each group (Group1-Group4) calculates the effective image capturing device placement information in the community using the cooperation image. As shown in FIG. 2, the representative image capturing device 110b for each group (Group1-Group4) displays the position of the effective image capturing device for each group (Group1-Group4) by connecting line / color 310-340 The representative image photographing apparatus 110b for each group (Group1-Group4) collects the topology information 300 and the final cooperation information including the cooperation image, and generates the topology information 300 by visualizing the image capturing apparatus arrangement information. To the device (120).

다시 도 1을 참고하면, 영상생성장치(120)는 제어국(도시하지 않음)에 탑재되며 복수의 영상촬영장치(110)와의 통신하여 최종 협력 정보를 전달받는다. 영상생성장치(120)는 최종 협력 정보로부터 토폴로지 정보(300) 및 협력영상을 검출한다. 영상생성장치(120)는 토폴로지 정보(300)에 기초하여 공간재현에 필요한 유효 영상촬영장치의 위치를 인지한다. 영상생성장치(120)는 군집(Group1-Group4)별 유효 영상촬영장치에서 촬영된 협력영상을 이용하여 직접 촬영이 어려운 특정 공간에 대한 협력형 모자이크 파노라마 영상을 생성한다.
Referring again to FIG. 1, the image generating apparatus 120 is mounted on a control station (not shown) and communicates with a plurality of image capturing apparatuses 110 to receive final cooperation information. The image generating apparatus 120 detects the topology information 300 and the collaboration image from the final cooperation information. The image generating apparatus 120 recognizes the position of the effective image photographing apparatus necessary for spatial reproduction based on the topology information 300. The image generating apparatus 120 generates a cooperative mosaic panorama image for a specific space, which is difficult to be directly photographed, by using the cooperative images photographed by the effective image photographing device for each group (Group 1-Group 4).

도 3은 도 1에 도시한 영상촬영장치의 구성을 개략적으로 나타내는 도면이다. Fig. 3 is a view schematically showing the configuration of the image photographing apparatus shown in Fig. 1. Fig.

도 2 및 도 3을 참고하면, 본 발명의 실시예에 따른 복수의 영상촬영장치(110)의 구성 및 기능은 동일하며, 대표 영상촬영장치로 동작할 수 있으므로 대표 영상촬영장치(110b)를 이용하여 구체적으로 설명한다. 유효 영상촬영장치(110b)는 영상 촬영부(111b), 통신부(112b) 및 제어부(113b)를 포함한다. Referring to FIGS. 2 and 3, the configuration and functions of the plurality of image capturing apparatuses 110 according to the embodiment of the present invention are the same and can operate as a representative image capturing apparatus, so that the representative image capturing apparatus 110b can be used . The effective image photographing apparatus 110b includes an image photographing unit 111b, a communication unit 112b, and a control unit 113b.

영상 촬영부(111b)는 영상을 촬영하는 카메라이다. 영상 촬영부(111b)는 촬영된 영상을 제어부(113b)로 전달한다. The image capturing unit 111b is a camera for capturing an image. The image capturing unit 111b transmits the captured image to the control unit 113b.

통신부(112b)는 다른 영상촬영장치 또는 영상생성장치(120)와 통신을 수행하여 협력형 모자이크 파노라마 영상을 생성하기 위한 정보를 송수신한다. 그리고, 통신부(112b)는 송수신된 모든 정보를 제어부(113b)로 전달한다. The communication unit 112b communicates with another image capturing apparatus or the image generating apparatus 120 to transmit and receive information for generating a cooperative mosaic panorama image. Then, the communication unit 112b transmits all the transmitted and received information to the control unit 113b.

제어부(113b)는 이웃 거리 산출부(1131b), 유효 영상촬영장치 인지부(1132b), 촬영기준 확인부(1133b), 토폴로지 생성부(1134b) 및 협력정보 관리부(1135b)를 포함한다. The control unit 113b includes a neighboring distance calculating unit 1131b, an effective video photographing apparatus recognizing unit 1132b, a photographing reference confirming unit 1133b, a topology generating unit 1134b and a cooperation information managing unit 1135b.

이웃 거리 산출부(1131b)는 복수의 영상촬영장치(110) 중 자신과 이웃한 영상촬영장치를 감지하기 위해 협력촬영정보를 이용하여 이웃 거리를 산출한다. 이웃 거리 산출부(1131b)는 이웃 거리 산출이 완료되었음을 유효 영상촬영장치 인지부(1132a)로 알린다. The neighboring distance calculating unit 1131b calculates the neighboring distance using the cooperative photographing information to detect the neighboring image capturing apparatus among the plurality of image capturing apparatuses 110. [ The neighboring distance calculating unit 1131b notifies the effective image sensing apparatus perception unit 1132a that the calculation of the neighboring distance is completed.

유효 영상촬영장치 인지부(1132b)는 협력촬영정보로부터 영상촬영장치 별 위치정보 및 카메라의 자세정보를 검출한다. 유효 영상촬영장치 인지부(1132b)는 영상촬영장치 별 위치정보 및 카메라의 자세정보를 이용하여 촬영중심이 유사한 유효 영상촬영장치(110a)를 인지한다. 유효 영상촬영장치 인지부(1132b)는 유효 영상촬영장치를 인지하였음을 촬영기준 확인부(1133b)로 알린다.The effective image capturing device recognizing unit 1132b detects position information of each image capturing device and attitude information of the camera from the cooperative photographing information. The effective image capturing device recognizing unit 1132b recognizes the effective image capturing apparatus 110a having the similar shooting center using the position information of the image capturing apparatus and the attitude information of the camera. The effective image capturing device recognizing unit 1132b informs the photographing standard confirming unit 1133b of the recognition of the effective image capturing device.

촬영기준 확인부(1133b)는 자신이 속한 군집내 이웃 유효 영상촬영장치로부터 촬영영상을 수집한다. 촬영기준 확인부(1133b)는 다수의 촬영영상을 특징점 추출 기반의 영상처리 방법을 활용하여 자신의 카메라 자세정보 기준 대비 이웃 유효 영상촬영장치로의 카메라 자세정보를 산출한다. 촬영기준 확인부(1133b)는 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수와 군집내 이웃 유효 영상촬영장치의 개수를 비교하여 촬영기준의 적합성을 판단한 결과에 따라 군집내 적합한 유효 영상촬영장치로 대표 권한을 넘겨주거나 또는 지속적으로 대표 영상촬영장치로 동작한다. 촬영기준 확인부(1133b)는 지속적으로 대표 영상촬영장치로 동작하는 경우, 대표 영상촬영장치로 동작함을 토폴로지 생성부(1134b)로 알린다. The photographing standard confirmation unit 1133b collects the photographed image from the neighboring effective photographing apparatus in the community to which the photographing standard confirmation unit 1133b belongs. The photographing standard verifying unit 1133b calculates the camera attitude information of the plurality of photographed images to the neighboring effective image photographing apparatus based on the camera posture information reference based on the feature point extraction based image processing method. The photographing standard confirming unit 1133b compares the number of effective image photographing apparatuses having camera attitude information determined to be adjacent and the number of neighboring effective photographing apparatuses in the community to determine an appropriate effective image within the community The representative authority is handed over to the photographing apparatus or continuously operated as the representative image photographing apparatus. When the imaging reference confirmation unit 1133b continuously operates as the representative imaging device, it informs the topology generation unit 1134b that it operates as the representative imaging device.

토폴로지 생성부(1134b)는 촬영기준 확인부(1133b)를 통해 대표 영상촬영장치로 동작하는 것이 확인되면, 자신이 속한 군집내 유효 영상촬영장치로부터 현재 위치에서 촬영한 협력영상을 전달받는다. 토폴로지 생성부(1134b)는 협력영상을 이용하여 군집내 유효 영상촬영장치 배치정보를 산출한다. 토폴로지 생성부(1134b)는 검증과 제어를 위해 군집내 유효 영상촬영장치 배치정보를 이용하여 유효 영상촬영장치의 위치를 연결선/색상(310-340)으로 표시하여 영상촬영장치 배치정보를 시각화하는 방법으로 토폴로지 정보(300)를 생성한다. 토폴로지 생성부(1134b)는 군집내 유효 영상촬영장치로부터 전달된 협력영상과 토폴로지 정보(300)를 협력정보 관리부(1135b)로 전달한다.When the topology generation unit 1134b is confirmed to operate as the representative image capturing apparatus through the photographing criteria confirmation unit 1133b, the topology generation unit 1134b receives the cooperation image captured at the current position from the effective image capturing apparatus in the community to which the topology generation unit 1134b belongs. The topology generation unit 1134b calculates effective image capturing device placement information in the community using the collaboration image. The topology generation unit 1134b displays the position of the effective image photographing apparatus using the connection line / color 310-340 using the effective image capturing apparatus arrangement information in the community for verification and control to visualize the image capturing apparatus arrangement information The topology information 300 is generated. The topology generation unit 1134b transmits the cooperation image and the topology information 300 transmitted from the effective image capturing apparatus in the cluster to the cooperation information management unit 1135b.

협력정보 관리부(1135b)는 토폴로지 생성부(1134b)로부터 군집내 유효 영상촬영장치로부터 전달된 협력영상과 토폴로지 정보(300)를 전달받는다. 협력정보 관리부(1135b)는 토폴로지 정보(300) 및 협력영상을 포함하는 최종 협력 정보를 생성한다. 협력정보 관리부(1135b)는 최종 협력 정보를 영상생성장치(120)로 전달한다.
The cooperation information management unit 1135b receives the cooperation image and the topology information 300 transmitted from the effective image capturing apparatus in the cluster from the topology generation unit 1134b. The cooperation information management unit 1135b generates the final cooperation information including the topology information 300 and the collaboration image. The cooperation information management unit 1135b transmits the final cooperation information to the image generation apparatus 120. [

도 4는 도 1에 도시한 영상생성장치의 구성을 개략적으로 나타내는 도면이다. FIG. 4 is a view schematically showing a configuration of the image generating apparatus shown in FIG. 1. FIG.

도 2 및 도 4를 참고하면, 본 발명의 실시예에 따른 영상생성장치(120)는 통신부(121) 및 파노라마 영상 생성부(122)를 포함한다. 2 and 4, the image generating apparatus 120 according to the embodiment of the present invention includes a communication unit 121 and a panorama image generating unit 122. [

통신부(121)는 군집(Group1-Group4)별 대표 영상촬영장치와의 통신을 통해 최종 협력 정보를 전달받는다. 통신부(121)는 군집(Group1-Group4)별 최종 협력 정보를 파노라마 영상 생성부(122)로 전달한다. The communication unit 121 receives the final cooperation information through communication with the representative image capturing device for each group (Group 1-Group 4). The communication unit 121 transmits final cooperation information for each group (Group 1-Group 4) to the panorama image generation unit 122.

파노라마 영상 생성부(122)는 군집(Group1-Group4)별 최종 협력 정보로부터 토폴로지 정보(300) 및 협력영상을 검출한다. 파노라마 영상 생성부(122)는 토폴로지 정보(300)에 기초하여 공간재현에 필요한 군집(Group1-Group4)별 유효 영상촬영장치를 인지한다. 그리고, 파노라마 영상 생성부(122)는 군집(Group1-Group4)별 유효 영상촬영장치에서 촬영한 협력영상을 이용하여 직접 촬영이 어려운 특정 공간에 대한 협력형 모자이크 파노라마 영상을 생성한다.
The panorama image generation unit 122 detects the topology information 300 and the collaboration image from the final cooperation information for each group (Group 1-Group 4). The panorama image generating unit 122 recognizes the effective image photographing apparatuses per group (Group 1-Group 4) necessary for spatial reproduction based on the topology information 300. The panoramic image generation unit 122 generates a cooperative mosaic panorama image for a specific space that is difficult to directly capture using the cooperative image captured by the effective image capturing device for each group (Group1-Group4).

도 5는 본 발명의 실시예에 따른 영상촬영장치의 동작을 나타내는 순서도이다. 5 is a flowchart showing the operation of the image photographing apparatus according to the embodiment of the present invention.

도 1 및 도 5를 참고하면, 본 발명의 실시예에 따른 파노라마 영상 생성 시스템(100)의 복수의 영상촬영장치(110)는 각각 서로간의 통신을 수행하여 영상촬영장치 별 위치정보, 카메라의 자세정보, 촬영영상을 포함하는 협력촬영정보를 송수신하여 자신과 이웃한 영상촬영장치와의 이웃 거리를 산출한다(S100). 복수의 영상촬영장치(110)는 각각 협력촬영정보로부터 영상촬영장치 별 위치정보 및 카메라의 자세정보를 검출하고, 이를 이용하여 촬영중심이 유사한 유효 영상촬영장치(110a)를 인지한다(S110).1 and 5, a plurality of image capturing apparatuses 110 of a panoramic image generating system 100 according to an embodiment of the present invention communicate with each other to obtain position information for each image capturing apparatus, Information and a shot image, and calculates a neighbor distance between the neighboring image capturing apparatus and the neighboring image capturing apparatus (S100). The plurality of image capturing apparatuses 110 respectively detect the position information of each of the image capturing apparatuses and the attitude information of the camera from the cooperative image capturing information, and recognize the effective image capturing apparatus 110a having the similar image capturing center using the same.

유효 영상촬영장치(110a)는 각각 서로간의 통신을 수행하여 인접범위 기준에서 이웃 유효 영상촬영장치를 검색하여 개수를 누적한다. 그리고, 유효 영상촬영장치(110a)는 각각 서로간의 통신을 수행하여 높은 이웃 유효 영상촬영장치 개수를 가진 유효 영상촬영장치를 대표 영상촬영장치(110b)로 선정한다(S120). 이때, 인접범위 내 유효 영상촬영장치의 개수에 따라서 다수의 군집(Group)이 형성된다.The effective image photographing apparatus 110a communicates with each other to search neighboring effective image photographing apparatuses based on the adjacent range reference, and accumulates the number. Then, the effective image capturing apparatus 110a communicates with each other to select an effective image capturing apparatus having a high number of neighboring effective image capturing apparatuses as a representative image capturing apparatus 110b (S120). At this time, a plurality of groups are formed according to the number of effective image photographing apparatuses in the adjacent range.

군집(Group1-Group4)별 대표 영상촬영장치(110b)는 다수의 촬영영상을 특징점 추출 기반의 영상처리 방법을 활용하여 자신이 촬영기준에 적합한지를 판단한다(S130). 즉, 대표 영상촬영장치(110b)는 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수가 군집내 이웃 유효 영상촬영장치의 개수 대비 설정값이하인지의 여부를 판단한다. The representative image capturing apparatus 110b for each group (Group1-Group4) judges whether or not the representative image capturing apparatus 110b meets the capturing standard by using the image processing method based on the feature point extraction (S130). That is, the representative image capturing apparatus 110b determines whether the number of effective image capturing apparatuses having camera attitude information determined to be adjacent is equal to or smaller than a set value of the number of neighboring valid image capturing apparatuses in the cluster.

S130 단계의 판단결과, 군집별 대표 영상촬영장치(110b)가 촬영기준에 적합하지 않은 것으로 판단되면, 대표 영상촬영장치(110b)의 카메라 자세가 아래를 바라보는 등과 같이 촬영기준에 적합하지 않은 것으로 판단하여 S120 단계로 돌아가 군집 내 새로운 대표 영상촬영장치를 선정한다. As a result of the determination in step S130, if it is determined that the representative image capturing apparatus 110b per cluster does not meet the image capturing standard, it is determined that the camera posture of the representative image capturing apparatus 110b is not suitable for the capturing standard And returns to step S120 to select a new representative image capturing apparatus in the community.

한편, S130 단계의 판단결과, 대표 영상촬영장치(110b)가 촬영기준에 적합한 것으로 판단되면, 대표 영상촬영장치(110b)는 자신이 속한 군집내 유효 영상촬영장치에서 촬영한 협력영상을 전달받는다(S140). 대표 영상촬영장치(110b)는 협력영상을 이용하여 군집내 유효 영상촬영장치 배치정보를 산출한다. 대표 영상촬영장치(110b)는 군집내 유효 대표 영상촬영장치(110b)는 협력형 모자이크 파노라마 영상이 생성될 수 있도록 토폴로지 정보(300) 및 협력영상을 포함하는 최종 협력 정보를 생성하고, 이를 영상생성장치(120)로 전달한다(S160).On the other hand, if it is determined in operation S130 that the representative image capturing apparatus 110b is appropriate for the capturing standard, the representative image capturing apparatus 110b receives the cooperative image captured by the effective image capturing apparatus in its own community S140). The representative image capturing apparatus 110b calculates the effective image capturing apparatus placement information in the community using the cooperation image. The representative image capturing apparatus 110b generates the final cooperation information including the topology information 300 and the cooperation image so that the cooperative mosaic panorama image can be generated by the effective representative image capturing apparatus 110b in the community, To the device 120 (S160).

도 6은 본 발명의 실시예에 따른 영상생성장치의 동작을 나타내는 순서도이다. 6 is a flowchart showing an operation of an image generating apparatus according to an embodiment of the present invention.

도 1 및 도 6을 참고하면, 본 발명의 실시예에 따른 파노라마 영상 생성 시스템(100)의 영상생성장치(120)는 군집(Group1-Group4)별 대표 영상촬영장치와의 통신을 통해 최종 협력 정보를 전달받는다(S200). 영상생성장치(120)는 군집(Group1-Group4)별 최종 협력 정보로부터 토폴로지 정보(300) 및 협력영상을 검출한다(S210). 영상생성장치(120)는 토폴로지 정보(300)에 기초하여 직접 촬영이 어려운 특정 공간(100a)의 재현을 위해 필요한 군집(Group1-Group4)별 유효 영상촬영장치의 위치를 인지한다(S220). 그리고, 영상생성장치(120)는 군집(Group1-Group4)별 유효 영상촬영장치에서 촬영한 협력영상을 이용하여 특정 공간(100a)에 대한 협력형 모자이크 파노라마 영상을 생성한다(S230).1 and 6, the image generation apparatus 120 of the panorama image generation system 100 according to the embodiment of the present invention communicates the final cooperation information (S200). The image generation apparatus 120 detects the topology information 300 and the collaboration image from the final cooperation information for each of the groups (Group1-Group4) (S210). The image generating apparatus 120 recognizes the position of the effective image photographing device for each of the groups Group1 to Group4 necessary for reproducing the specific space 100a which is difficult to directly photograph based on the topology information 300 in operation S220. Then, the image generating apparatus 120 generates a cooperative mosaic panorama image for the specific space 100a by using the cooperative image photographed by the effective image photographing device for each group (Group1-Group4) (S230).

이상, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였으나 이는 본 발명의 권리 범위를 한정하는 것으로 해석될 수 없으며, 이하에서 기술되는 특허 청구 범위에 의해 판단되는 본 발명의 사상 및 범위를 벗어나지 않는 한도 내에서 해당 기술 분야에서 통상의 지식을 가진 자에 의해 다양하게 변형되어 실시될 수 있을 것이다. While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, And various modifications may be made by those skilled in the art without departing from the scope of the present invention.

100 : 파노라마 영상 생성 시스템
110 : 영상촬영장치
120 : 영상생성장치100: Panoramic image generation system
110:
120: Image generating device

Claims

A method for generating a panoramic image in a panoramic image system having a plurality of independently distributed image capturing apparatuses,
Recognizing an effective image photographing apparatus having a similar photographing center among the plurality of image photographing apparatuses;
Selecting a representative image photographing apparatus suitable for cooperative photographing among the effective image photographing apparatuses; And
Generating a cooperative mosaic panorama image by using the cooperative image photographed from the effective image photographing device grouped by the representative image photographing device and the collected effective image photographing device arrangement information
And generating a panoramic image.