KR20200051465A

KR20200051465A - Method and apparatus for compensating projection images

Info

Publication number: KR20200051465A
Application number: KR1020190105908A
Authority: KR
Inventors: 도락주; 최형아; 장범철; 안상민
Original assignee: 고려대학교 산학협력단
Priority date: 2018-11-05
Filing date: 2019-08-28
Publication date: 2020-05-13

Abstract

Disclosed is a method for compensating projection images. According to an embodiment of the present invention, a method for compensating projection images comprises the steps of: acquiring mesh data for an indoor space, one or more representative images, one or more compensation images, and location information, which is information on the acquisition pose of each image; adding an index of each of a plurality of faces constituting the mesh data to a matrix corresponding to the size of the one or more representative images according to a result obtained by projecting the plurality of faces onto each of the one or more representative images; detecting one or more occluded faces, on which other faces are positioned between the acquisition pose included in the location information of each of the one or more representative images and the vertexes included in the plurality of faces among the plurality of faces by using the index added to the matrix; and extracting pixel information, which is information on pixel values corresponding to the one or more occluded faces, from the one or more compensation images. Therefore, the method can provide excellent quality projection images at any position and with any field of view.

Description

METHOD AND APPARATUS FOR COMPENSATING PROJECTION IMAGES}

본 발명은 투영 이미지 보완 방법 및 장치에 관한 것으로, 보다 상세하게는, 실내공간에 대한 이미지와 메쉬데이터를 이용하여 생성된 투영 이미지에서 발생하는 문제점을 보완하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for complementing a projected image, and more particularly, to a method and apparatus for compensating for a problem occurring in a projected image generated using image and mesh data for an indoor space.

투영 이미지는 실내공간에 대하여 취득한 메쉬와 이미지를 바탕으로 생성한 정보로, 임의 위치에 존재하는 사용자의 시야에서 바라본 3차원 이미지 또는 이를 투영시켜 얻을 수 있는 이차원 이미지를 나타낸다. The projected image is information generated based on the mesh and image acquired for the indoor space, and represents a three-dimensional image viewed from a user's field of view located at an arbitrary location or a two-dimensional image obtained by projecting it.

실내외 환경에 대한 3차원 이미지를 제공하는 기존 서비스의 경우, 보통은 이미지 취득 위치에서의 결과만을 제공한다. 즉, 단일 이미지는 해당 취득 위치의 카메라 시야에서 보이는 영역에 대한 정보만을 제공한다. 따라서 이미지의 취득 위치가 아닌 다른 위치, 다른 각도에서 바라볼 경우 RGB 정보가 정의되지 않은 영역이 존재하여 사용자가 부자연스러움을 느낄 수 있기 때문에, 현재 제공되는 서비스들은 사용자의 위치 및 시야를 제한하고 있는 실정이다. In the case of existing services that provide 3D images of indoor and outdoor environments, usually only results from the image acquisition location are provided. That is, a single image only provides information about the area visible in the camera's field of view at that acquisition location. Therefore, when viewed from a different angle than a location where the image is acquired, there is an area where RGB information is not defined, so the user may feel unnatural, and currently provided services restrict the user's location and field of view. This is true.

이와 관련하여, 임의의 위치 및 시야에서 보이는 메쉬 영역에 대해 다수의 이미지를 이용하여 텍스쳐 맵핑을 하여 기존 서비스의 한계를 극복하고자 할 때, 이미지 내의 불연속 구간, 시야에서 가려진 영역, 이미지 간 조명차 등과 같은 문제점이 발생할 수 있다. In this regard, when attempting to overcome the limitations of the existing service by performing texture mapping using a plurality of images for a mesh area visible in an arbitrary position and a field of view, discontinuous sections in the image, areas obscured from the field of view, lighting differences between images, etc. The same problem can occur.

이미지 내 불연속 구간은 도 1과 같이 메쉬를 구성하는 페이스를 이루는 버텍스들을 이미지에 투영시켰을 때, 그 투영된 점들이 이미지 내부에서 서로 연결되지 않는 경우를 의미한다. 일반적으로, 이미지를 이용하여 텍스쳐 맵핑을 할 경우 메쉬 페이스를 구성하는 버텍스들을 이미지에 투영시킨 후 투영된 점들이 이루는 영역 내의 픽셀값을 이용하여 RGB 값을 정의한다. 그러나, 넓은 실내공간의 경우 위치를 이동하면서 여러 장의 이미지를 취득하게 되는데, 각 이미지가 커버하는 영역의 경계 부근의 페이스의 경우에 페이스를 이루는 버텍스가 서로 다른 이미지에 투영될 수 있다. 그 결과, 투영된 점들이 모두 하나의 이미지에 존재하지 않을 경우, 해당 페이스의 RGB값은 정의되지 않을 수 있다. 즉, 서로 다른 이미지에 RGB값의 정보가 나뉘어 존재하나 이를 이용하지 못하고 정보의 손실이 발생하게 된다. The discontinuous section in the image means that when the vertices constituting the mesh constituting the mesh are projected onto the image, as shown in FIG. 1, the projected points are not connected to each other in the image. In general, in the case of texture mapping using an image, RGB values are defined using pixel values in an area formed by projected dots after projecting vertices constituting a mesh face to the image. However, in the case of a large indoor space, multiple images are acquired while moving the position. In the case of a face near the boundary of an area covered by each image, vertices forming a face may be projected on different images. As a result, when all of the projected points are not present in one image, the RGB value of the corresponding face may not be defined. That is, the RGB value information is divided into different images, but the information cannot be used and loss of information occurs.

기존 텍스쳐 맵핑 기술은 주로 가상 모델을 이용하기 때문에 이미지 경계에 의해 나뉘는 페이스가 없도록 버텍스의 위치를 조정하여 문제를 해결할 수 있다. 하지만 실제 환경에서 취득한 메쉬와 다수의 이미지를 이용할 경우 각 이미지의 취득 위치를 모두 고려하여 버텍스를 조정하는 것은 사실상 불가능하다. Since the existing texture mapping technology mainly uses a virtual model, the problem can be solved by adjusting the position of the vertex so that there is no face divided by the image boundary. However, it is virtually impossible to adjust vertices considering both the acquisition position of each image when using a mesh acquired in a real environment and multiple images.

일반적인 정면 이미지를 이용할 경우 이미지 경계마다 RGB 정보가 정의되지 않는 페이스들이 다수 존재할 수 있다. 이를 방지하기 위해 이전 이미지와 겹치는 영역이 크도록 이미지를 취득할 수 있으나, 항상 이전 이미지와의 관계를 고려해야 하기 때문에 데이터 취득이 매우 번거로워지며, 불필요한 데이터가 많아지는 단점이 생긴다. When using a general frontal image, there may be multiple faces where RGB information is not defined for each image boundary. In order to prevent this, an image may be acquired so that a region overlapping with the previous image is large, but the data acquisition is very cumbersome and the unnecessary data is increased because the relationship with the previous image must always be considered.

이를 보완하기 위해 정면 이미지 대신 360도를 모두 나타내는 파노라마 이미지를 이용할 수 있다. 그러나, 파노라마 이미지 이용 시에도 도 2와 같이 페이스를 이루는 버텍스들이 이미지 좌우 끝에 나뉘어 투영되는 또다른 형태의 이미지 불연속 구간이 존재한다. 이 경우 페이스와 매칭되어야 할 영역 또한 이미지 좌우 경계에 의해 나뉜 두 영역이다. 예를 들어, 세 개의 버텍스가 하나의 페이스를 구성하는 경우, 도 2의 빨간색 영역(210)과 같이 이미지 좌우 경계를 기준으로 사각형과 삼각형으로 쪼개진 영역이 페이스와 매칭되어야 할 영역이다. 그러나, 이미지 좌우 끝에 위치한 쪼개진 영역이 아닌 도 2의 파란색 영역(220)과 같이 이미지를 가로지르는 삼각형 내의 픽셀을 바탕으로 텍스쳐링이 수행됨에 따라 해당 페이스는 잘못된 RGB 정보를 가지게 될 수 있다. 이때, 잘못 텍스쳐링된 페이스들이 모여 도 3과 같이 주변 픽셀과 구별되는 비정상적인 선(seam, 310)이 발생할 수 있다. To compensate for this, a panoramic image showing all 360 degrees may be used instead of the front image. However, when using a panoramic image, there is another image discontinuity section in which vertices forming a face are projected by dividing the left and right ends of the image as shown in FIG. 2. In this case, the areas to be matched with the faces are also two areas divided by left and right borders of the image. For example, when three vertices constitute one face, as shown in the red region 210 of FIG. 2, an area divided into squares and triangles based on the left and right boundaries of the image is an area to be matched with the faces. However, as texturing is performed based on pixels in a triangle traversing the image as in the blue region 220 of FIG. 2 rather than the split region located at the left and right ends of the image, the corresponding face may have incorrect RGB information. At this time, incorrectly textured faces may be gathered and an abnormal line (seam, 310) distinct from the surrounding pixels may occur as shown in FIG.

또한, 시야에서 가려진 영역(occlusion)은 벽, 사물 등에 의해 가려 사용자의 시야에 보이지 않는 영역을 의미한다. 이미지와 메쉬는 투영행렬을 이용한 단순 투영 방식을 통해 맵핑 관계를 구한다. 이 경우 가려진 영역에 전면 영역의 이미지가 중복 텍스쳐링 되는 문제가 발생할 수 있다. 즉, 잘못된 RGB 정보가 들어감으로써 다른 이미지에 의한 올바른 RGB 정보에 영향을 미치거나 RGB 정보가 없어야 할 부분에 RGB 값이 정의되어 사용자가 부자연스러움을 느낄 수 있다. 한편, 가려진 영역을 찾기 위한 가장 쉬운 방법은 ray casting으로 이미지 취득 위치에서 버텍스를 향해 ray를 쏘았을 때 다른 페이스를 지나는 지 여부를 확인하는 것이다. 그러나, 버텍스 마다 모든 페이스와 만나는 지를 확인할 경우 버텍스 및 페이스 개수에 따라 소요 시간이 급격히 증가하여 실사용에 한계가 있을 수 있다.In addition, the occluded area (occlusion) in the field of view refers to an area that is invisible to the user's field of view by a wall, an object, or the like. The mapping relationship between the image and the mesh is obtained through a simple projection method using a projection matrix. In this case, a problem may occur in which the image of the front area is overlapped with the hidden area. In other words, since incorrect RGB information is entered, a user may feel unnatural because the RGB values are defined in areas where RGB information is not affected or RGB information is defined by other images. On the other hand, the easiest way to find the obscured area is to check whether it passes through another face when ray is shot from the image acquisition location to the vertex by ray casting. However, if it is confirmed that every face meets every vertex, the time required may increase rapidly depending on the number of vertices and faces, thereby limiting practical use.

따라서, 상술한 기존의 문제점을 해결하면서 임의의 위치 및 시야에서 우수한 품질의 투영 이미지를 제공하는 투영 이미지 보완 방법 및 장치에 대한 필요성이 대두되고 있다.Accordingly, there is a need for a method and apparatus for complementing a projected image that provides a projected image of excellent quality at an arbitrary position and field of view while solving the above-described problems.

관련 선행기술로는 한국등록특허 제10-1835434호(발명의 명칭: 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법, 공개일자: 2017년 1월 18일)가 있다.Related prior art is Korean Registered Patent No. 10-1835434 (name of invention: a method for generating a projected image and its apparatus, a mapping method between image pixels and depth values, publication date: January 18, 2017).

본 발명은 다수의 이미지와 메쉬데이터를 이용하여 생성된 투영 이미지에서 발생하는 불연속 구간 및 가려진 영역에 관한 문제를 보완함으로써, 임의의 위치 및 시야에서 우수한 품질의 투영 이미지를 제공하는 방법 및 장치를 제공하고자 한다.The present invention provides a method and apparatus for providing a projected image of excellent quality at an arbitrary position and field of view by compensating for problems related to discontinuous sections and occluded areas occurring in a projected image generated using a plurality of images and mesh data I want to.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the problem (s) mentioned above, and another problem (s) not mentioned will be clearly understood by those skilled in the art from the following description.

상기 목적을 달성하기 위해, 본 발명에서 제공하는 투영 이미지 보완 방법은 실내공간에 대한 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 이미지 각각의 취득 포즈에 관한 정보인 위치정보를 획득하는 단계; 상기 메쉬데이터를 구성하는 복수의 페이스 중에서 소정의 기준에 따라 상기 적어도 하나의 대표이미지에 대응되는 픽셀값이 존재하지 않는 적어도 하나의 불연속페이스를 검출하는 단계; 및 상기 적어도 하나의 보완이미지로부터 상기 적어도 하나의 불연속페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출하는 단계를 포함한다.In order to achieve the above object, the method for compensating the projected image provided by the present invention acquires location information, which is mesh data for an indoor space, at least one representative image, at least one supplemental image, and information about each acquisition pose of the image. step; Detecting at least one discontinuous face having no pixel value corresponding to the at least one representative image according to a predetermined criterion among a plurality of faces constituting the mesh data; And extracting pixel information, which is information on pixel values corresponding to the at least one discontinuous face, from the at least one complementary image.

바람직하게는, 상기 적어도 하나의 불연속페이스를 검출하는 단계의 이전에, 상기 적어도 하나의 대표이미지 각각과 상기 메쉬데이터를 구성하는 복수의 페이스를 교차시킨 결과에 기초하여, 상기 메쉬데이터를 갱신한 갱신메쉬데이터를 생성하는 단계를 더 포함하고, 상기 적어도 하나의 불연속페이스를 검출하는 단계는 상기 갱신메쉬데이터를 구성하는 복수의 페이스 중에서 적어도 하나의 불연속페이스를 검출할 수 있다.Preferably, prior to the step of detecting the at least one discontinuous face, the mesh data is updated based on a result of crossing each of the at least one representative image and a plurality of faces constituting the mesh data. The method may further include generating mesh data, and detecting the at least one discontinuous face may detect at least one discontinuous face among a plurality of faces constituting the update mesh data.

바람직하게는, 상기 갱신메쉬데이터를 생성하는 단계는 상기 메쉬데이터를 상기 적어도 하나의 대표이미지 각각에 대응되는 상기 위치정보를 이용하여 좌표변환하는 단계; 상기 적어도 하나의 대표이미지 각각의 경계와 상기 좌표변환된 메쉬데이터를 구성하는 복수의 페이스가 교차되는 위치에서 추가버텍스를 추가하는 단계; 및 상기 추가버텍스를 이용하여 상기 복수의 페이스를 분할함으로써, 상기 갱신메쉬데이터를 생성하는 단계를 포함할 수 있다.Preferably, the step of generating the updated mesh data comprises the steps of transforming the mesh data using the location information corresponding to each of the at least one representative image; Adding an additional vertex at a position where a boundary of each of the at least one representative image and a plurality of faces constituting the coordinate-converted mesh data intersect; And generating the update mesh data by dividing the plurality of faces using the additional vertex.

바람직하게는, 상기 갱신메쉬데이터를 생성하는 단계는 상기 적어도 하나의 대표이미지 각각에 대하여 상기 메쉬데이터를 순차적으로 갱신함으로써, 상기 갱신메쉬데이터를 생성할 수 있다.Preferably, the step of generating the update mesh data may generate the update mesh data by sequentially updating the mesh data for each of the at least one representative image.

바람직하게는, 상기 적어도 하나의 불연속페이스를 검출하는 단계는 상기 메쉬데이터를 구성하는 복수의 페이스 각각에 대하여, 페이스를 구성하는 버텍스 각각에 대응되는 대표이미지의 픽셀값을 확인하는 단계; 및 대표이미지 내 대응되는 픽셀값이 존재하지 않는 버텍스가 1개 이상인 페이스 또는 경계를 포함하여 2개 이상의 대표이미지의 영역에 대응되는 페이스로 상기 적어도 하나의 불연속페이스를 검출하는 단계를 포함할 수 있다.Preferably, the step of detecting the at least one discontinuous face includes: checking, for each of a plurality of faces constituting the mesh data, a pixel value of a representative image corresponding to each vertex constituting the faces; And detecting the at least one discontinuous face at a face corresponding to an area of two or more representative images, including a face or boundary having one or more vertices having no corresponding pixel value in the representative image. .

또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 투영 이미지 보완 장치는 실내공간에 대한 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 이미지 각각의 취득 포즈에 관한 정보인 위치정보를 획득하는 획득부; 상기 메쉬데이터를 구성하는 복수의 페이스 중에서 소정의 기준에 따라 상기 적어도 하나의 대표이미지에 대응되는 픽셀값이 존재하지 않는 적어도 하나의 불연속페이스를 검출하는 검출부; 및 상기 적어도 하나의 보완이미지로부터 상기 적어도 하나의 불연속페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출하는 추출부를 포함한다.In addition, in order to achieve the above object, the projection image complementary device provided in the present invention provides mesh data for an indoor space, at least one representative image, at least one supplemental image, and location information, which is information about an acquisition pose of each image. An acquisition unit to acquire; A detection unit for detecting at least one discontinuous face having no pixel value corresponding to the at least one representative image according to a predetermined criterion among a plurality of faces constituting the mesh data; And an extraction unit that extracts pixel information, which is information on pixel values corresponding to the at least one discontinuous face, from the at least one supplemental image.

바람직하게는, 상기 적어도 하나의 대표이미지 각각과 상기 메쉬데이터를 구성하는 복수의 페이스를 교차시킨 결과에 기초하여, 상기 메쉬데이터를 갱신한 갱신메쉬데이터를 생성하는 메쉬갱신부를 더 포함하고, 상기 검출부는 상기 갱신메쉬데이터를 구성하는 복수의 페이스 중에서 적어도 하나의 불연속페이스를 검출할 수 있다.Preferably, based on the result of crossing each of the at least one representative image and a plurality of faces constituting the mesh data, further comprising a mesh updating unit generating updated mesh data updating the mesh data, the detection unit Is capable of detecting at least one discontinuous face among a plurality of faces constituting the update mesh data.

바람직하게는, 상기 메쉬갱신부는 상기 메쉬데이터를 상기 적어도 하나의 대표이미지 각각에 대응되는 상기 위치정보를 이용하여 좌표변환하고, 상기 적어도 하나의 대표이미지 각각의 경계와 상기 좌표변환된 메쉬데이터를 구성하는 복수의 페이스가 교차되는 위치에서 추가버텍스를 추가하고, 상기 추가버텍스를 이용하여 상기 복수의 페이스를 분할함으로써, 상기 갱신메쉬데이터를 생성할 수 있다.Preferably, the mesh update unit coordinates the mesh data using the location information corresponding to each of the at least one representative image, and configures the boundary of each of the at least one representative image and the coordinate-converted mesh data. The update mesh data may be generated by adding an additional vertex at a position where a plurality of faces intersect and dividing the plurality of faces using the additional vertex.

바람직하게는, 상기 메쉬갱신부는 상기 적어도 하나의 대표이미지 각각에 대하여 상기 메쉬데이터를 순차적으로 갱신함으로써, 상기 갱신메쉬데이터를 생성할 수 있다.Preferably, the mesh updater may generate the update mesh data by sequentially updating the mesh data for each of the at least one representative image.

바람직하게는, 상기 검출부는 상기 갱신메쉬데이터를 구성하는 복수의 페이스 각각에 대하여, 페이스를 구성하는 버텍스 각각에 대응되는 대표이미지의 픽셀값을 확인하고, 대표이미지 내 대응되는 픽셀값이 존재하지 않는 버텍스가 1개 이상인 페이스 또는 경계를 포함하여 2개 이상의 대표이미지의 영역에 대응되는 페이스로 상기 적어도 하나의 불연속페이스를 검출할 수 있다.Preferably, the detection unit checks a pixel value of a representative image corresponding to each vertex constituting a face for each of the plurality of faces constituting the update mesh data, and a corresponding pixel value in the representative image does not exist. The at least one discontinuous face may be detected as a face corresponding to an area of two or more representative images including a face or a border having one or more vertices.

또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 투영 이미지 보완 방법은 실내공간에 대한 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 이미지 각각의 취득 포즈에 관한 정보인 위치정보를 획득하는 단계; 상기 메쉬데이터를 구성하는 복수의 페이스를 상기 적어도 하나의 대표이미지 각각에 투영한 결과에 따라, 상기 적어도 하나의 대표이미지의 크기에 대응되는 매트릭스에 상기 복수의 페이스 각각의 인덱스를 추가하는 단계; 상기 매트릭스에 추가된 인덱스를 이용하여, 상기 복수의 페이스 중에서 상기 적어도 하나의 대표이미지 각각의 상기 위치정보에 포함된 취득 포즈와 상기 복수의 페이스에 포함된 버텍스의 사이에 다른 페이스가 위치하는 적어도 하나의 폐색페이스를 검출하는 단계; 및 상기 적어도 하나의 보완이미지로부터 상기 적어도 하나의 폐색페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출하는 단계를 포함한다.In addition, in order to achieve the above object, the projected image supplement method provided in the present invention provides mesh data for the indoor space, at least one representative image, at least one supplemental image, and location information, which is information about the acquisition pose of each image. Obtaining; Adding an index of each of the plurality of faces to a matrix corresponding to the size of the at least one representative image according to a result of projecting a plurality of faces constituting the mesh data onto each of the at least one representative image; At least one different face is located between an acquisition pose included in the location information of each of the at least one representative image and a vertex included in the plurality of faces using the index added to the matrix. Detecting an occluded face of the; And extracting pixel information, which is information on pixel values corresponding to the at least one occluded face, from the at least one complementary image.

바람직하게는, 상기 복수의 페이스 각각의 인덱스를 추가하는 단계는 상기 복수의 페이스 각각을 상기 적어도 하나의 대표이미지 각각에 투영하고, 상기 매트릭스에서 상기 각각의 투영된 영역을 포함하는 최소의 사각형에 대응되는 영역에 해당 페이스의 인덱스를 추가할 수 있다.Preferably, the step of adding an index of each of the plurality of faces projects each of the plurality of faces to each of the at least one representative image, and corresponds to a minimum rectangle including the respective projected areas in the matrix. The index of the corresponding face can be added to the area.

바람직하게는, 상기 적어도 하나의 폐색페이스를 검출하는 단계는 상기 복수의 페이스에 포함된 버텍스를 상기 적어도 하나의 대표이미지 각각에 투영하는 단계; 상기 매트릭스에서 상기 버텍스가 투영된 픽셀로부터 소정의 거리 이내에 위치한 픽셀에 대응되는 복수의 인덱스를 획득하는 단계; 및 상기 복수의 인덱스 각각에 대응되는 페이스가 상기 취득 포즈와 상기 복수의 페이스에 포함된 버텍스의 사이에 위치하는지에 따라, 상기 적어도 하나의 폐색페이스를 검출하는 단계를 포함할 수 있다.Preferably, the detecting of the at least one occluded face may include projecting vertices included in the plurality of faces to each of the at least one representative image; Obtaining a plurality of indices corresponding to pixels located within a predetermined distance from pixels in which the vertices are projected in the matrix; And detecting the at least one occluded face according to whether a face corresponding to each of the plurality of indexes is located between the acquisition pose and a vertex included in the plurality of faces.

또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 투영 이미지 보완 장치는 실내공간에 대한 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 이미지 각각의 취득 포즈에 관한 정보인 위치정보를 획득하는 획득부; 상기 메쉬데이터를 구성하는 복수의 페이스를 상기 적어도 하나의 대표이미지 각각에 투영한 결과에 따라, 상기 적어도 하나의 대표이미지의 크기에 대응되는 매트릭스에 상기 복수의 페이스 각각의 인덱스를 추가하는 매트릭스생성부; 상기 매트릭스에 추가된 인덱스를 이용하여, 상기 복수의 페이스 중에서 상기 적어도 하나의 대표이미지 각각의 상기 위치정보에 포함된 취득 포즈와 상기 복수의 페이스에 포함된 버텍스의 사이에 다른 페이스가 위치하는 적어도 하나의 폐색페이스를 검출하는 검출부; 및 상기 적어도 하나의 보완이미지로부터 상기 적어도 하나의 폐색페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출하는 추출부를 포함한다.In addition, in order to achieve the above object, the projection image complementary device provided in the present invention provides mesh data for an indoor space, at least one representative image, at least one supplemental image, and location information, which is information about an acquisition pose of each image. An acquisition unit to acquire; A matrix generator that adds the indexes of each of the plurality of faces to a matrix corresponding to the size of the at least one representative image according to a result of projecting a plurality of faces constituting the mesh data onto each of the at least one representative image ; At least one different face is located between an acquisition pose included in the location information of each of the at least one representative image and a vertex included in the plurality of faces using the index added to the matrix. A detection unit for detecting the occluded face of the; And an extraction unit that extracts pixel information, which is information on a pixel value corresponding to the at least one occluded face, from the at least one complementary image.

바람직하게는, 상기 매트릭스생성부는 상기 복수의 페이스 각각을 상기 적어도 하나의 대표이미지 각각에 투영하고, 상기 매트릭스에서 상기 각각의 투영된 영역을 포함하는 최소의 사각형에 대응되는 영역에 해당 페이스의 인덱스를 추가할 수 있다.Preferably, the matrix generator projects each of the plurality of faces to each of the at least one representative image, and indexes the corresponding face in an area corresponding to a minimum rectangle including the respective projected areas in the matrix. Can be added.

바람직하게는, 상기 검출부는 상기 복수의 페이스에 포함된 버텍스를 상기 적어도 하나의 대표이미지 각각에 투영하고, 상기 매트릭스에서 상기 버텍스가 투영된 픽셀로부터 소정의 거리 이내에 위치한 픽셀에 대응되는 복수의 인덱스를 획득하고, 상기 복수의 인덱스 각각에 대응되는 페이스가 상기 취득 포즈와 상기 복수의 페이스에 포함된 버텍스의 사이에 위치하는지에 따라, 상기 적어도 하나의 폐색페이스를 검출할 수 있다.Preferably, the detection unit projects the vertices included in the plurality of faces to each of the at least one representative image, and a plurality of indices corresponding to pixels located within a predetermined distance from a pixel in which the vertex is projected in the matrix. Acquiring and detecting the at least one occluded face according to whether a face corresponding to each of the plurality of indexes is located between the acquisition pose and a vertex included in the plurality of faces.

본 발명은 대표이미지 및 보완이미지를 함께 이용함으로써, 임의의 위치 및 시야 내 영역에 대한 모든 RGB 정보를 정의하여 3차원 이미지를 생성할 수 있는 효과가 있다. The present invention has an effect of generating a 3D image by defining all RGB information for an arbitrary position and a region within a field of view by using a representative image and a complementary image together.

또한, 본 발명은 다수의 대표이미지 사용 시 페이스가 대표이미지의 경계에 투영되어 투영 이미지의 RGB 값이 잘못 설정되는 경우를 구별하고, 이를 최소화함으로써 투영 이미지의 퀄리티를 향상시킬 수 있는 효과가 있다. In addition, the present invention has an effect of improving the quality of the projected image by distinguishing and minimizing the case in which the RGB value of the projected image is incorrectly set when the face is projected to the boundary of the representative image when using a plurality of representative images.

또한, 본 발명은 사용자의 시야에서 가려진 영역(occlusion)을 구분하고 보완이미지를 이용하여 처리함으로써 실제와 보다 유사하게 텍스쳐 맵핑을 수행할 수 있으며, 가려진 영역을 구분하는 과정을 적은 연산량으로 처리할 수 있어 넓은 공간에 대해서도 빠르게 처리할 수 있는 효과가 있다.In addition, according to the present invention, texture mapping can be performed more similarly to the reality by classifying occlusions in the user's field of view and processing using a complementary image, and a process of classifying occluded regions can be processed with a small amount of computation. It has the effect of being able to quickly process even a large space.

도 1 및 2는 투영 이미지 생성 시 발생하는 불연속페이스를 설명하기 위한 예시 도면이다.
도 3은 투영 이미지 생성 시 발생하는 비정상적인 선(seam)을 설명하기 위한 예시 도면이다.
도 4는 본 발명의 일 실시예에 따른 투영 이미지 보완 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 투영 이미지 보완 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 갱신메쉬데이터를 생성 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 투영 이미지 보완 장치를 설명하기 위한 블록도이다.
도 8은 본 발명의 또 다른 실시예에 따른 투영 이미지 보완 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 폐색페이스 검출 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 다른 실시예에 따른 투영 이미지 보완 장치를 설명하기 위한 블록도이다.
도 11은 본 발명의 일 실시예에 따른 페이스 분할 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 인덱스 매트릭스 생성 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 폐색페이스 검출 과정을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 페이스 인덱스를 포함하는 매트릭스를 설명하기 위한 도면이다.1 and 2 are exemplary views for describing a discontinuous face generated when a projected image is generated.
3 is an exemplary diagram for describing an abnormal line generated when a projected image is generated.
4 is a flowchart illustrating a method for compensating a projected image according to an embodiment of the present invention.
5 is a flowchart illustrating a method for compensating a projected image according to another embodiment of the present invention.
6 is a flowchart illustrating a method of generating update mesh data according to an embodiment of the present invention.
7 is a block diagram illustrating a projection image complementing apparatus according to an embodiment of the present invention.
8 is a flowchart illustrating a method for compensating a projected image according to another embodiment of the present invention.
9 is a flowchart illustrating a method for detecting occluded faces according to an embodiment of the present invention.
10 is a block diagram illustrating a projection image complementing apparatus according to another embodiment of the present invention.
11 is a view for explaining a face division process according to an embodiment of the present invention.
12 is a view for explaining an index matrix generation process according to an embodiment of the present invention.
13 is a view for explaining an occlusion face detection process according to an embodiment of the present invention.
14 is a view for explaining a matrix including a face index according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals are used for similar components.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component. The term and / or includes a combination of a plurality of related described items or any one of a plurality of related described items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is said to be "connected" or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but there may be other components in between. It should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as “include” or “have” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms, such as those defined in a commonly used dictionary, should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일 실시예에 따른 투영 이미지 보완 장치는 카메라, 관성센서, 라이다센서 등을 포함하는 센서시스템이 부착된 바퀴형 이동로봇으로부터 필요한 데이터를 유선 또는 무선 통신을 통해 수신하여 획득할 수 있다. 혹은, 본 발명의 일 실시예에 따른 투영 이미지 보완 장치는 센서시스템이 부착된 바퀴형 이동로봇에 직접 탑재되어, 투영 이미지 보완을 수행할 수 있다. 또는, 본 발명의 일 실시예에 따른 투영 이미지 보완 장치는 배낭형 시스템이나, 소형 스캐너나, 카메라와 관성센서를 구비한 스마트폰 그 자체 혹은 스마트폰 확장장치를 부착한 시스템에 탑재되어, 투영 이미지 보완을 수행할 수 있다.Projection image complementary device according to an embodiment of the present invention can be obtained by receiving the necessary data through a wired or wireless communication from a wheeled mobile robot equipped with a sensor system including a camera, an inertial sensor, a lidar sensor, and the like. . Alternatively, the projection image complementary device according to an embodiment of the present invention may be mounted directly on a wheeled mobile robot with a sensor system attached to perform projection image complementation. Alternatively, the projection image complementary device according to an embodiment of the present invention is mounted on a backpack-type system, a small scanner, a smartphone itself equipped with a camera and an inertial sensor, or a system with a smart phone extension device, and complements the projection image. You can do

하지만, 본 발명의 일 실시예에 따른 투영 이미지 보완 장치는 상술한 예시에 의해 한정되지 않으며, 이외에도 다양한 종류의 센서시스템을 포함하는 기기로부터 필요한 데이터를 수신하거나, 또는 다양한 종류의 기기에 탑재되어 투영 이미지 보완을 수행할 수 있음은 물론이다.However, the apparatus for complementing a projection image according to an exemplary embodiment of the present invention is not limited by the above-described examples, and additionally, necessary data is obtained from a device including various types of sensor systems. Needless to say, it can be received or mounted on various types of devices to perform projected image supplementation.

도 4은 본 발명의 일 실시예에 따른 투영 이미지 보완 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method for compensating a projected image according to an embodiment of the present invention.

단계 S410에서는, 투영 이미지 보완 장치가 실내공간에 대한 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 이미지 각각의 취득 포즈에 관한 정보인 위치정보를 획득한다.In step S410, the projection image complementary device acquires the mesh data for the indoor space, the at least one representative image, the at least one supplemental image, and location information that is information about the acquisition pose of each image.

예컨대, 투영 이미지 보완 장치는 상술한 센서시스템이 부착된 바퀴형 이동로봇으로부터 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 위치정보를 획득할 수 있다. 즉, 투영 이미지 보완 장치는 바퀴형 이동로봇으로부터 데이터를 유선 또는 무선 통신을 통해 수신하여 획득하거나, 바퀴형 이동로봇에 직접 탑재되어 데이터를 획득할 수 있다.For example, the projection image complementary device may acquire mesh data, at least one representative image, at least one supplemental image, and location information from the wheeled mobile robot with the sensor system described above. That is, the projected image supplement device may receive data from a wheeled mobile robot through wired or wireless communication, or may be directly mounted on the wheeled mobile robot to acquire data.

이때, 위치정보는 적어도 하나의 대표이미지 각각과 적어도 하나의 보완이미지 각각에 대한 취득 포즈에 관한 정보를 포함할 수 있다. 취득 포즈는 이미지가 취득된 2D 또는 3D 좌표, 카메라의 방향 및 시야각에 관한 정보를 포함할 수 있다.In this case, the location information may include information about an acquisition pose for each of the at least one representative image and each of the at least one complementary image. The acquisition pose may include information regarding 2D or 3D coordinates from which the image was acquired, camera direction, and viewing angle.

한편, 메쉬데이터는 실내공간을 3개 또는 4개의 버텍스(vertex)로 구성된 복수의 페이스(face)를 이용하여 나타낸 데이터로, 각각의 버텍스에는 그 실내공간의 기준좌표계에 따른 좌표값이 부여될 수 있다. 이때, 투영 이미지 보완 장치는 메쉬데이터에 포함된 버텍스의 좌표계와 취득 포즈에 관한 좌표계가 상이한 경우에, 메쉬데이터에 포함된 버텍스를 취득 포즈에 관한 좌표계를 기준으로 좌표변환할 수 있다.On the other hand, the mesh data is data represented by using a plurality of faces consisting of three or four vertices (vertex), and each vertex may be assigned a coordinate value according to the reference coordinate system of the indoor space. have. At this time, when the coordinate system of the vertex and the coordinate system of the vertex included in the mesh data is different from the projection image complementary device, the vertex included in the mesh data may be coordinate-converted based on the coordinate system of the acquisition pose.

단계 S420에서는, 투영 이미지 보완 장치가 메쉬데이터를 구성하는 복수의 페이스 중에서 소정의 기준에 따라 적어도 하나의 대표이미지에 대응되는 픽셀값이 존재하지 않는 적어도 하나의 불연속페이스를 검출한다.In step S420, the projection image complementary apparatus detects at least one discontinuous face in which a pixel value corresponding to at least one representative image does not exist among a plurality of faces constituting mesh data according to a predetermined criterion.

예컨대, 투영 이미지 보완 장치는 일부 버텍스가 대표이미지의 경계 외부에 존재하는 페이스 또는 대표이미지의 경계를 포함하는 2개 이상의 대표이미지의 영역에 대응되는 페이스를 기준으로 하여, 적어도 하나의 대표이미지에 대응되는 픽셀값이 존재하지 않는 것으로 검출할 수 있다.For example, the projected image supplement device corresponds to at least one representative image based on a face corresponding to a region in which some vertices exist outside the boundary of the representative image or two or more representative images including the boundary of the representative image. It can be detected that there is no pixel value.

이는, 투영 이미지 보완 장치가 해당 페이스에 대하여 특정한 RGB값을 설정하기 어렵기 때문이다. 보다 구체적으로, 일부 버텍스가 대표이미지의 경계 외부에 존재하는 페이스의 경우는 그 경계 외부의 영역에 대한 RGB값을 정의할 수 없으며, 대표이미지의 경계를 포함하는 2개 이상의 영역에 대응되는 페이스의 경우는 다른 단일영역의 RGB값이 대응될 수 있기 때문이다.This is because it is difficult for the projection image complement device to set a specific RGB value for the corresponding face. More specifically, in the case of a face in which some vertices exist outside the boundary of the representative image, an RGB value for an area outside the boundary cannot be defined, and the face corresponding to two or more areas including the boundary of the representative image This is because the RGB values of different single regions may correspond.

다른 실시예에서는, 투영 이미지 보완 장치가 메쉬데이터를 구성하는 복수의 페이스 각각에 대하여, 적어도 하나의 불연속페이스를 검출할 수 있다.In another embodiment, the projected image complementary apparatus may detect at least one discontinuous face for each of a plurality of faces constituting mesh data.

즉, 투영 이미지 보완 장치는 메쉬데이터를 구성하는 복수의 페이스 각각에 대하여, 페이스를 구성하는 버텍스 각각에 대응되는 대표이미지의 픽셀값을 확인할 수 있다. 그 후, 투영 이미지 보완 장치는 대표이미지 내 대응되는 픽셀값이 존재하지 않는 버텍스가 1개 이상인 페이스 또는 경계를 포함하여 2개 이상의 대표이미지의 영역에 대응되는 페이스로 적어도 하나의 불연속페이스를 검출할 수 있다.That is, the projected image supplement device may check the pixel values of the representative image corresponding to each vertex constituting the face, for each of the plurality of faces constituting the mesh data. Then, the projected image complementary device detects at least one discontinuous face at a face corresponding to an area of two or more representative images, including one or more faces or borders that do not have corresponding pixel values in the representative image. Can be.

예컨대, 투영 이미지 보완 장치는 어떤 페이스의 버텍스 일부 또는 전부가 적어도 하나의 대표이미지의 경계 외부에 존재하는 경우에는 대응되는 픽셀값이 존재하지 않게 되므로, 불연속페이스로 검출할 수 있다. 또한, 투영 이미지 보완 장치는 어떤 페이스의 버텍스 전부가 대표이미지의 경계를 포함하는 2개 이상의 대표이미지의 영역에 대응되는 경우에는 불연속페이스로 검출할 수 있다.For example, when a part or all of vertices of a certain face exist outside the boundary of at least one representative image, the projected image complementary device may detect a discontinuous face since the corresponding pixel value does not exist. Also, the apparatus for complementing the projected image may detect a discontinuous face when all of the vertices of a certain face correspond to regions of two or more representative images including the boundary of the representative image.

마지막으로 단계 S430에서는, 투영 이미지 보완 장치가 적어도 하나의 보완이미지로부터 적어도 하나의 불연속페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출한다.Finally, in step S430, the projection image complementary device extracts pixel information, which is information on pixel values corresponding to at least one discontinuous face, from at least one complementary image.

예컨대, 투영 이미지 보완 장치는 적어도 하나의 보완이미지 각각과 적어도 하나의 불연속페이스를 일정한 반지름을 갖는 구에 투영함으로써 서로 교차시킬 수 있다. 그리고, 투영 이미지 보완 장치는 적어도 하나의 불연속페이스 각각이 적어도 하나의 보완이미지 중 어느 하나에 포함되는 경우에, 그 하나의 보완이미지로부터 해당 불연속페이스에 대응되는 픽셀정보를 추출할 수 있다.For example, the projected image complementary device may cross each other by projecting each of the at least one complementary image and the at least one discontinuous face onto a sphere having a constant radius. In addition, when each of the at least one discontinuous face is included in any one of the at least one complementary image, the projection image complementary apparatus may extract pixel information corresponding to the discontinuous face from the one complementary image.

나아가, 투영 이미지 보완 장치는 그 픽셀정보를 이용하여 적어도 하나의 불연속페이스를 보완하여 투영 이미지의 품질을 향상시킬 수 있다.Furthermore, the projected image supplement device may improve the quality of the projected image by supplementing at least one discontinuous face using the pixel information.

이와 같이, 본 발명의 일 실시예에 따른 투영 이미지 보완 방법은 적어도 하나의 대표이미지 사용 시 페이스가 대표이미지의 경계에 투영되어 투영 이미지의 RGB 값이 잘못 설정되는 경우를 구별하고, 이를 최소화함으로써 투영 이미지의 퀄리티를 향상시킬 수 있는 효과가 있다. As described above, in the method of compensating the projected image according to an embodiment of the present invention, when at least one representative image is used, the face is projected on the boundary of the representative image to distinguish the case where the RGB value of the projected image is incorrectly set, and the projection is performed by minimizing it. This has the effect of improving the image quality.

도 5는 본 발명의 다른 실시예에 따른 투영 이미지 보완 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method for compensating a projected image according to another embodiment of the present invention.

단계 S510에서는, 투영 이미지 보완 장치가 실내공간에 대한 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 이미지 각각의 취득 포즈에 관한 정보인 위치정보를 획득한다.In step S510, the projection image complementary device acquires the mesh data for the indoor space, the at least one representative image, the at least one supplemental image, and location information that is information about the acquisition pose of each image.

단계 S520에서는, 투영 이미지 보완 장치가 적어도 하나의 대표이미지 각각과 메쉬데이터를 구성하는 복수의 페이스를 교차시킨 결과에 기초하여, 메쉬데이터를 갱신한 갱신메쉬데이터를 생성한다.In step S520, the projection image complementing apparatus generates updated mesh data that updates the mesh data based on a result of intersecting each of the at least one representative image and a plurality of faces constituting the mesh data.

예컨대, 투영 이미지 보완 장치는 적어도 하나의 대표이미지 각각과 메쉬데이터를 일정한 반지름을 갖는 구에 투영함으로써 서로 교차시킬 수 있다. 그리고, 투영 이미지 보완 장치는 메쉬데이터에 포함된 복수의 페이스 중에서 적어도 하나의 대표이미지의 경계에 걸쳐져 있는 페이스로부터 그 경계에 걸쳐진 부분의 교차점에 관한 정보를 획득한 후, 그 교차점을 이용하여 해당 페이스를 분할함으로써 갱신메쉬데이터를 생성할 수 있다.For example, the projected image complementary device may intersect each other by projecting each of the at least one representative image and mesh data onto a sphere having a constant radius. Then, the projected image complementary device obtains information on an intersection of a portion across the boundary from a face that spans the boundary of at least one representative image among a plurality of faces included in the mesh data, and then uses the intersection to use the corresponding face. By dividing, update mesh data can be generated.

한편, 갱신메쉬데이터를 생성하는 자세한 방법은 도 6에 대한 설명에서 구체적으로 후술한다.Meanwhile, a detailed method of generating update mesh data will be described later in detail with reference to FIG. 6.

다른 실시예에서는, 투영 이미지 보완 장치가 적어도 하나의 대표이미지 각각에 대하여 메쉬데이터를 순차적으로 갱신함으로써, 갱신메쉬데이터를 생성할 수 있다.In another embodiment, the updated image complementary apparatus may generate updated mesh data by sequentially updating the mesh data for each of the at least one representative image.

즉, 투영 이미지 보완 장치는 적어도 하나의 대표이미지 각각에 대하여, 개별적으로 갱신메쉬데이터를 갱신하면서 그 갱신된 결과를 누적시킬 수 있다. 예컨대, 대표이미지가 5개인 경우에, 투영 이미지 보완 장치는 메쉬데이터를 총 5회에 걸쳐 반복적으로 갱신할 수 있다.That is, the projected image supplement device may accumulate the updated results while individually updating the update mesh data for each of the at least one representative image. For example, in the case of five representative images, the projected image supplement device may repeatedly update the mesh data over a total of five times.

이때, 투영 이미지 보완 장치가 그 갱신된 결과를 누적시키는 이유는 이전 에 추가된 버텍스 및 페이스를 그 후속 갱신 과정에 반영하기 위함이다. 즉, 새롭게 추가된 버텍스 및 페이스들은 이전의 대표이미지의 페이스 분할 시 고려되지 않았기 때문에, 마지막 대표이미지에 대해 갱신한 후 다시 첫번째 대표이미지부터 같은 갱신 과정을 반복 수행할수록, 불연속페이스의 크기가 줄어들 수 있다.At this time, the reason why the projected image supplement device accumulates the updated results is to reflect the previously added vertices and faces in the subsequent update process. That is, since the newly added vertices and faces are not considered when dividing the face of the previous representative image, the size of the discontinuous faces may decrease as the same update process is repeated from the first representative image again after updating the last representative image. have.

단계 S530에서는, 투영 이미지 보완 장치가 갱신메쉬데이터를 구성하는 복수의 페이스 중에서 소정의 기준에 따라 적어도 하나의 대표이미지에 대응되는 픽셀값이 존재하지 않는 적어도 하나의 불연속페이스를 검출한다.In step S530, the projection image complementary apparatus detects at least one discontinuous face having no pixel value corresponding to at least one representative image according to a predetermined criterion among a plurality of faces constituting the update mesh data.

마지막으로 단계 S540에서는, 투영 이미지 보완 장치가 적어도 하나의 보완이미지로부터 적어도 하나의 불연속페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출한다.Finally, in step S540, the projection image complementary device extracts pixel information, which is information on pixel values corresponding to at least one discontinuous face, from at least one complementary image.

도 6은 본 발명의 일 실시예에 따른 갱신메쉬데이터를 생성 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of generating update mesh data according to an embodiment of the present invention.

단계 S610에서는, 투영 이미지 보완 장치가 메쉬데이터를 적어도 하나의 대표이미지 각각에 대응되는 위치정보를 이용하여 좌표변환한다.In step S610, the projected image complement device converts the mesh data into coordinates using location information corresponding to each of the at least one representative image.

즉, 투영 이미지 보완 장치는 메쉬데이터를 대표이미지와 교차시키기 위하여, 대표이미지의 위치정보에 포함된 취득 포즈를 기준으로 메쉬데이터의 좌표변환을 수행할 수 있다. That is, in order to intersect the mesh data with the representative image, the projected image complementation apparatus may perform coordinate transformation of the mesh data based on the acquisition pose included in the location information of the representative image.

그리고, 투영 이미지 보완 장치는 적어도 하나의 대표이미지 각각과 좌표변환된 메쉬데이터를 일정한 반지름을 갖는 구에 투영함으로써 서로 교차시킬 수 있다.In addition, the projected image complementary apparatus may cross each other by projecting each of the at least one representative image and the coordinate-converted mesh data onto a sphere having a constant radius.

단계 S620에서는, 투영 이미지 보완 장치가 그 적어도 하나의 대표이미지 각각의 경계와 좌표변환된 메쉬데이터를 구성하는 복수의 페이스가 교차되는 위치에서 추가버텍스를 추가한다.In step S620, the projection image complementary apparatus adds an additional vertex at a location where a plurality of faces constituting the boundary-coordinated mesh data of each of the at least one representative image intersects.

이때, 투영 이미지 보완 장치는 페이스와 대표이미지의 경계가 교차되는 위치에서, 추가버텍스를 검출하여 추가할 수 있다.At this time, the projection image complementary device may detect and add an additional vertex at a position where the boundary between the face and the representative image intersects.

예컨대, 도 11을 참조하면, 투영 이미지 보완 장치는 3개의 버텍스(1101, 1102, 1104)로 구성된 페이스와 대표이미지의 경계가 교차되는 위치에서, 2개의 추가버텍스(1105, 1106)를 검출하여 추가할 수 있다.For example, referring to FIG. 11, the projected image supplement device detects and adds two additional vertices 1105 and 1106 at a position where the boundary of the face and the representative image composed of three vertices 1101, 1102, and 1104 intersect. can do.

마지막으로 단계 S630에서는, 투영 이미지 보완 장치가 추가버텍스를 이용하여 복수의 페이스를 분할함으로써, 갱신메쉬데이터를 생성한다.Finally, in step S630, the projection image supplement device generates update mesh data by dividing a plurality of faces using an additional vertex.

예컨대, 도 11을 참조하면, 투영 이미지 보완 장치는 2개의 추가버텍스(1105, 1106)를 이용하여, 1개의 페이스(1101, 1102, 1104)를 3개의 페이스로 분할하여, 갱신메쉬데이터를 생성할 수 있다. 이때, 3개의 페이스 각각은 (1101, 1105, 1106), (1104, 1105, 1106), (1102, 1104, 1105) 의 버텍스로 구성될 수 있다.For example, referring to FIG. 11, the projection image complementation apparatus divides one face 1101, 1102, 1104 into three faces using two additional vertices 1105, 1106, and generates update mesh data. Can be. At this time, each of the three faces (1101, 1105, 1106), (1104, 1105, 1106), may be composed of a vertex of (1102, 1104, 1105).

도 7은 본 발명의 일 실시예에 따른 투영 이미지 보완 장치를 설명하기 위한 블록도이다.7 is a block diagram illustrating a projection image complementing apparatus according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 투영 이미지 보완 장치(700)는 획득부(710), 검출부(720) 및 추출부(730)를 포함한다. 또한, 선택적으로 매쉬갱신부(미도시)를 포함할 수 있다.Referring to FIG. 7, the apparatus 700 for complementing a projected image according to an embodiment of the present invention includes an acquisition unit 710, a detection unit 720, and an extraction unit 730. In addition, it may optionally include a mesh update unit (not shown).

획득부(710)는 실내공간에 대한 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 이미지 각각의 취득 포즈에 관한 정보인 위치정보를 획득한다.The acquiring unit 710 acquires mesh data for the indoor space, at least one representative image, at least one complementary image, and location information, which is information about the acquisition pose of each image.

매쉬갱신부(미도시)는 적어도 하나의 대표이미지 각각과 메쉬데이터를 구성하는 복수의 페이스를 교차시킨 결과에 기초하여, 메쉬데이터를 갱신한 갱신메쉬데이터를 생성한다.The mesh update unit (not shown) generates updated mesh data that updates the mesh data based on a result of crossing each of the at least one representative image and a plurality of faces constituting the mesh data.

다른 실시예에서는, 매쉬갱신부(미도시)는 메쉬데이터를 적어도 하나의 대표이미지 각각에 대응되는 위치정보를 이용하여 좌표변환하고, 적어도 하나의 대표이미지 각각의 경계와 좌표변환된 메쉬데이터를 구성하는 복수의 페이스가 교차되는 위치에서 추가버텍스를 추가하고, 추가버텍스를 이용하여 복수의 페이스를 분할함으로써 갱신메쉬데이터를 생성할 수 있다.In another embodiment, the mesh update unit (not shown) converts the mesh data to coordinates using location information corresponding to each of the at least one representative image, and configures the boundary and coordinate converted mesh data of each of the at least one representative image. It is possible to generate update mesh data by adding an additional vertex at a location where a plurality of faces intersect and dividing the plurality of faces using the additional vertex.

또 다른 실시예에서는, 매쉬갱신부(미도시)는 적어도 하나의 대표이미지 각각에 대하여 메쉬데이터를 순차적으로 갱신함으로써, 갱신메쉬데이터를 생성할 수 있다.In another embodiment, the mesh update unit (not shown) may generate update mesh data by sequentially updating the mesh data for each of the at least one representative image.

검출부(720)는 메쉬데이터 또는 갱신메쉬데이터를 구성하는 복수의 페이스 중에서 소정의 기준에 따라 적어도 하나의 대표이미지에 대응되는 픽셀값이 존재하지 않는 적어도 하나의 불연속페이스를 검출한다.The detection unit 720 detects at least one discontinuous face having no pixel value corresponding to at least one representative image according to a predetermined criterion among a plurality of faces constituting mesh data or update mesh data.

다른 실시예에서는, 검출부(720)는 메쉬데이터를 구성하는 복수의 페이스 각각에 대하여, 페이스를 구성하는 버텍스 각각에 대응되는 대표이미지의 픽셀값을 확인하고, 대표이미지 내 대응되는 픽셀값이 존재하지 않는 버텍스가 1개 이상인 페이스 또는 경계를 포함하여 2개 이상의 대표이미지의 영역에 대응되는 페이스로 적어도 하나의 불연속페이스를 검출할 수 있다.In another embodiment, the detector 720 checks the pixel value of the representative image corresponding to each vertex constituting the face for each of the plurality of faces constituting the mesh data, and there is no corresponding pixel value in the representative image. At least one discontinuous face may be detected as a face corresponding to an area of two or more representative images including a boundary or a boundary having one or more vertices.

추출부(730)는 적어도 하나의 보완이미지로부터 적어도 하나의 불연속페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출한다.The extraction unit 730 extracts pixel information, which is information on pixel values corresponding to at least one discontinuous face, from at least one complementary image.

도 8은 본 발명의 또 다른 실시예에 따른 투영 이미지 보완 방법을 설명하기 위한 흐름도이다.8 is a flowchart illustrating a method of complementing a projected image according to another embodiment of the present invention.

단계 S810에서는, 투영 이미지 보완 장치가 실내공간에 대한 메쉬데이터, 적어도 하나의 대표이미지, 적어도 하나의 보완이미지 및 이미지 각각의 취득 포즈에 관한 정보인 위치정보를 획득한다.In step S810, the projection image complement device acquires the location information, which is the mesh data for the indoor space, at least one representative image, at least one supplemental image, and information about each acquisition pose of the image.

단계 S820에서는, 투영 이미지 보완 장치가 메쉬데이터를 구성하는 복수의 페이스를 적어도 하나의 대표이미지 각각에 투영한 결과에 따라, 적어도 하나의 대표이미지의 크기에 대응되는 매트릭스에 복수의 페이스 각각의 인덱스를 추가한다.In step S820, the index of each of the plurality of faces in the matrix corresponding to the size of the at least one representative image, according to a result of the projection image complementing apparatus projecting a plurality of faces constituting the mesh data onto each of the at least one representative image. Add it.

이때, 매트릭스의 행과 열은 대표이미지의 가로방향 픽셀수 및 세로방향 픽셀수에 따라 결정될 수 있다. 예를 들어, 매트릭스의 행과 열은 대표이미지의 가로방향 픽셀수 및 세로방향 픽셀수와 같도록 설정될 수 있다. 또한, 투영 이미지 보완의 처리시간 단축을 위하여 매트릭스의 행과 열은 대표이미지의 가로방향 픽셀수 및 세로방향 픽셀수보다 작은 값을 가지도록 설정될 수 있다.In this case, the rows and columns of the matrix may be determined according to the number of horizontal and vertical pixels of the representative image. For example, the rows and columns of the matrix may be set to be the same as the number of horizontal and vertical pixels of the representative image. Also, in order to shorten the processing time of complementing the projected image, the rows and columns of the matrix may be set to have values smaller than the number of horizontal and vertical pixels of the representative image.

그 뒤, 투영 이미지 보완 장치는 복수의 페이스를 순차적으로 대표이미지 각각에 투영할 수 있다. 그리고, 투영 이미지 보완 장치는 대표이미지의 픽셀 중에서 페이스가 투영된 픽셀에 대하여, 그 픽셀에 대응되는 매트릭스의 영역에 그 페이스의 인덱스를 추가할 수 있다.Thereafter, the projection image complementary apparatus may sequentially project a plurality of faces to each of the representative images. Also, the apparatus for complementing the projected image may add an index of the face to an area of a matrix corresponding to the pixel with respect to a pixel on which the face is projected among pixels of the representative image.

예컨대, 도 14을 참조하면, 투영 이미지 보완 장치는 매트릭스의 1410 및 1420의 영역에 1과 2의 인덱스를 추가할 수 있다.For example, referring to FIG. 14, the projection image complementary apparatus may add indices 1 and 2 to areas 1410 and 1420 of the matrix.

다른 실시예에서는, 투영 이미지 보완 장치가 복수의 페이스 각각을 적어도 하나의 대표이미지 각각에 투영하고, 매트릭스에서 그 각각의 투영된 영역을 포함하는 최소의 사각형에 대응되는 영역에 해당 페이스의 인덱스를 추가할 수 있다.In another embodiment, the projected image complementary device projects each of the plurality of faces to each of the at least one representative image, and adds the index of the corresponding face to the area corresponding to the smallest rectangle including the respective projected area in the matrix. can do.

즉, 투영 이미지 보완 장치는 페이스가 투영된 영역 대신 투영된 영역을 포함하는 최소의 사각형 영역을 구함으로써, 매트릭스의 페이스 인덱스를 기록하는데 소요되는 시간을 단축할 수 있다. 이는, 투영 이미지 보완 장치가 대표이미지에서 해당 페이스가 정확하게 투영되는 픽셀을 일일이 계산할 필요가 없기 때문이다.That is, the projection image complementary device can reduce the time required to record the face index of the matrix by obtaining a minimum rectangular area including the projected area instead of the area where the face is projected. This is because the projected image complementation device does not need to calculate the pixels on which the corresponding face is accurately projected in the representative image.

예컨대, 도 12를 참조하면, 투영 이미지 보완 장치는 페이스를 포함하는 최소의 사각형 영역에 페이스의 인덱스를 추가할 수 있다.For example, referring to FIG. 12, the apparatus for compensating the projection image may add an index of a face to a minimum rectangular area including the face.

단계 S830에서는, 투영 이미지 보완 장치가 매트릭스에 추가된 인덱스를 이용하여, 복수의 페이스 중에서 적어도 하나의 대표이미지 각각의 위치정보에 포함된 취득 포즈와 복수의 페이스에 포함된 버텍스의 사이에 다른 페이스가 위치하는 적어도 하나의 폐색페이스를 검출한다.In step S830, a different face between the acquisition pose included in the location information of each of the at least one representative image among the plurality of faces and the vertex included in the plurality of faces, using the index added to the matrix by the projection image complementary device. At least one occluded face located is detected.

즉, 투영 이미지 보완 장치는 레이 인터섹션(ray intersection) 기법을 이용하여 적어도 하나의 폐색페이스를 검출할 수 있다.That is, the projected image complementary device may detect at least one occluded face using a ray intersection technique.

보다 구체적으로, 투영 이미지 보완 장치는 대표이미지의 취득 포즈와 제1 페이스의 버텍스를 연결하는 선분을 그었을 때 그 선분과 교차하는 제2 페이스가 존재하는 경우, 그 제1 페이스를 시야에서 가려진 페이스인 폐색페이스로 검출할 수 있다. 이때, 투영 이미지 보완 장치는 매트릭스에서 그 버텍스에 대응되는 위치에 추가된 페이스 인덱스를 이용하여, 제2 페이스가 존재하는지 판단할 수 있다.More specifically, when a line segment connecting the acquisition pose of the representative image and the vertex of the first face is present, the projected image supplement device is a face that is obscured from the field of view when the second face crosses the segment. It can be detected with an occluded face. At this time, the apparatus for complementing the projected image may determine whether a second face exists by using a face index added to a position corresponding to the vertex in the matrix.

다른 실시예에서는, 투영 이미지 보완장치가 대표이미지의 취득 포즈와 제1 페이스를 구성하는 버텍스 각각을 연결하는 선분을 그었을 때 그 선분과 교차하는 제2 페이스가 존재하는 버텍스의 개수에 따라 적어도 하나의 폐색페이스를 검출할 수 있다. In another embodiment, when the projection image complementation apparatus draws a segment connecting the acquisition pose of the representative image and each of the vertices constituting the first face, at least one of the vertices having a second face intersecting the segment is present. The occluding face can be detected.

예컨대, 투영 이미지 보완 장치는 페이스를 구성하는 버텍스 일부에 대해 제2 페이스가 존재하는 경우를 폐색페이스로 결정하여, 제2 페이스가 존재하는 버텍스 개수가 1개 이상인 경우 폐색페이스로 검출할 수 있다.For example, the projection image complementary apparatus may determine a case where a second face exists for a part of vertices constituting a face as an occluded face, and detect the occluded face when the number of vertices in which the second face exists is 1 or more.

또한, 투영 이미지 보완 장치는 페이스를 구성하는 버텍스 전체에 대해 제2 페이스가 존재하는 경우를 폐색페이스로 결정하여, 제2 페이스가 존재하는 버텍스 개수가 페이스를 구성하는 버텍스의 개수보다 적을 때는 불연속페이스로 검출하지 않을 수 있다.In addition, the projection image complementary device determines that the second face exists for all of the vertices constituting the face as the occluded face, and when the number of vertices having the second face is less than the number of vertices constituting the face, the discontinuous face. It may not be detected.

마지막으로 단계 S840에서는, 투영 이미지 보완 장치가 적어도 하나의 보완이미지로부터 적어도 하나의 폐색페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출한다.Finally, in step S840, the projection image complementary device extracts pixel information, which is information on pixel values corresponding to at least one occluded face, from at least one complementary image.

즉, 투영 이미지 보완 장치는 시야의 제한으로 인하여 적어도 하나의 대표이미지를 이용하여서는 폐색페이스의 픽셀정보를 추출할 수 없기 때문에, 적어도 하나의 보완이미지로부터 픽셀정보를 추출할 수 있다.That is, since the projection image complement apparatus cannot extract the pixel information of the occluded face using at least one representative image due to the limitation of the field of view, the pixel information can be extracted from the at least one complement image.

이와 같이, 본 발명의 다른 실시예에 따른 투영 이미지 보완 방법은 사용자의 시야에서 가려진 영역(occlusion)을 구분하고 보완이미지를 이용하여 처리함으로써 실제와 보다 유사하게 텍스쳐 맵핑을 수행할 수 있는 효과가 있다.As described above, the method for compensating the projected image according to another embodiment of the present invention has an effect of performing texture mapping more similar to the reality by classifying occlusions in the user's field of view and processing using the supplemental image. .

도 9는 본 발명의 일 실시예에 따른 폐색페이스 검출 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method for detecting occluded faces according to an embodiment of the present invention.

단계 S910에서는, 투영 이미지 보완 장치가 복수의 페이스에 포함된 버텍스를 적어도 하나의 대표이미지 각각에 투영한다.In step S910, the projection image complementary device projects the vertices included in the plurality of faces to each of the at least one representative image.

이때, 투영 이미지 보완 장치는 매트릭스를 이용하여 폐색 여부를 판단하기 위하여, 그 버텍스를 우선 적어도 하나의 대표이미지 각각에 투영할 수 있다.In this case, in order to determine whether or not the occlusion is performed using the matrix, the projected image complementation apparatus may first project the vertex to each of at least one representative image.

단계 S920에서는, 투영 이미지 보완 장치가 매트릭스에서 그 버텍스가 투영된 픽셀로부터 소정의 거리 이내에 위치한 픽셀에 대응되는 복수의 인덱스를 획득한다.In step S920, the projected image complementation apparatus acquires a plurality of indices corresponding to pixels located within a predetermined distance from pixels in which the vertices are projected in the matrix.

이때, 투영 이미지 보완 장치는 계산 상의 오차를 고려하여 소정의 거리 이내에 위치한 픽셀에 대응되는 복수의 인덱스를 획득할 수 있다. 이때, 투영 이미지 보완 장치는 그 복수의 인덱스에 대응되는 페이스로만 검출 대상을 한정함으로써, 폐색페이스 검출에 소요되는 시간을 단축할 수 있다.At this time, the apparatus for complementing the projection image may acquire a plurality of indices corresponding to pixels located within a predetermined distance in consideration of calculation errors. At this time, the projection image complementary device can shorten the time required to detect the occluded face by limiting the detection target only to the faces corresponding to the plurality of indexes.

또한, 투영 이미지 보완 장치는 복수의 인덱스에 그 버텍스가 포함된 페이스의 인덱스는 포함되지 않도록 할 수 있다. 이는, 그 버텍스가 포함된 페이스에 의하여 취득 포즈로부터 그 버텍스가 포함된 페이스의 시야가 가려질 수는 없기 때문이다.Also, the apparatus for complementing the projected image may prevent the index of a face including the vertex from being included in a plurality of indices. This is because the view of the face containing the vertex cannot be obscured from the acquisition pose by the face containing the vertex.

마지막으로 단계 S930에서는, 투영 이미지 보완 장치가 복수의 인덱스 각각에 대응되는 페이스가 취득 포즈와 복수의 페이스에 포함된 버텍스의 사이에 위치하는지에 따라, 적어도 하나의 폐색페이스를 검출한다.Finally, in step S930, the projected image complementary apparatus detects at least one occluded face according to whether a face corresponding to each of the plurality of indices is located between the acquisition pose and the vertex included in the plurality of faces.

예컨대, 도 13을 참조하면, 투영 이미지 보완 장치는 버텍스(vertex)로부터 취득 포즈까지 선분을 연결할 수 있다. 그리고, 투영 이미지 보완 장치는 그 복수의 인덱스에 대응되는 복수의 페이스 중에서 그 선분과 교차하는 페이스(face)가 존재하면 그 버텍스(vertex)를 포함하는 페이스를 폐색페이스로 검출할 수 있다.For example, referring to FIG. 13, the projection image complementary device may connect segments from vertices to acquisition poses. In addition, when a face intersecting the line segment is present among a plurality of faces corresponding to the plurality of indexes, the projection image complementary apparatus may detect a face including the vertex as an occluded face.

이와 같이, 본 발명의 일 실시예에 따른 폐색페이스 검출 방법은 취득 포즈로부터 가려진 영역을 구분하는 과정을 해당 취득 포즈의 시야에 한정하여 적용함으로써 적은 연산량으로 처리할 수 있어 넓은 공간에 대해서도 빠르게 검출할 수 있는 효과가 있다.As described above, in the occlusion face detection method according to an embodiment of the present invention, the process of classifying the occluded area from the acquisition pose is limited to the field of view of the acquisition pose, and thus can be processed with a small amount of computation, so that a large space can be quickly detected. It has the effect.

도 10은 본 발명의 다른 실시예에 따른 투영 이미지 보완 장치를 설명하기 위한 블록도이다.10 is a block diagram illustrating a projection image complementing apparatus according to another embodiment of the present invention.

도 10을 참조하면, 본 발명의 다른 실시예에 따른 투영 이미지 보완 장치(700)는 획득부(710), 매트릭스생성부(740), 검출부(720) 및 추출부(730)를 포함한다.Referring to FIG. 10, the apparatus 700 for complementing a projection image according to another embodiment of the present invention includes an acquisition unit 710, a matrix generation unit 740, a detection unit 720, and an extraction unit 730.

매트릭스생성부(740)는 메쉬데이터를 구성하는 복수의 페이스를 적어도 하나의 대표이미지 각각에 투영한 결과에 따라, 적어도 하나의 대표이미지의 크기에 대응되는 매트릭스에 복수의 페이스 각각의 인덱스를 추가한다.The matrix generator 740 adds the indexes of each of the plurality of faces to the matrix corresponding to the size of the at least one representative image according to a result of projecting a plurality of faces constituting the mesh data onto each of the at least one representative image. .

다른 실시예에서는, 매트릭스생성부(740)는 복수의 페이스 각각을 적어도 하나의 대표이미지 각각에 투영하고, 매트릭스에서 그 각각의 투영된 영역을 포함하는 최소의 사각형에 대응되는 영역에 해당 페이스의 인덱스를 추가할 수 있다.In another embodiment, the matrix generator 740 projects each of the plurality of faces to each of the at least one representative image, and indexes the corresponding face in an area corresponding to the smallest rectangle including the respective projected area in the matrix. You can add

검출부(720)는 매트릭스에 추가된 인덱스를 이용하여, 복수의 페이스 중에서 적어도 하나의 대표이미지 각각의 위치정보에 포함된 취득 포즈와 복수의 페이스에 포함된 버텍스의 사이에 다른 페이스가 위치하는 적어도 하나의 폐색페이스를 검출한다.The detection unit 720 uses the index added to the matrix, and at least one of which a different face is located between an acquisition pose included in each location information of at least one representative image among a plurality of faces and a vertex included in the plurality of faces. To detect the occluded face.

다른 실시예에서는, 검출부(720)는 복수의 페이스에 포함된 버텍스를 적어도 하나의 대표이미지 각각에 투영하고, 매트릭스에서 버텍스가 투영된 픽셀로부터 소정의 거리 이내에 위치한 픽셀에 대응되는 복수의 인덱스를 획득하고, 복수의 인덱스 각각에 대응되는 페이스가 취득 포즈와 복수의 페이스에 포함된 버텍스의 사이에 위치하는지에 따라, 적어도 하나의 폐색페이스를 검출할 수 있다.In another embodiment, the detector 720 projects the vertices included in the plurality of faces to each of the at least one representative image, and acquires a plurality of indices corresponding to pixels located within a predetermined distance from the pixels in which the vertices are projected in the matrix. Then, depending on whether a face corresponding to each of the plurality of indexes is located between the acquisition pose and the vertex included in the plurality of faces, at least one occluded face can be detected.

추출부(730)는 적어도 하나의 보완이미지로부터 적어도 하나의 폐색페이스에 대응되는 픽셀값의 정보인 픽셀정보를 추출한다.The extraction unit 730 extracts pixel information, which is information on pixel values corresponding to at least one occluded face, from at least one supplemental image.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be written in a program executable on a computer and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.The computer-readable recording medium includes a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
So far, the present invention has been focused on the preferred embodiments. Those skilled in the art to which the present invention pertains will appreciate that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in terms of explanation, not limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range should be interpreted as being included in the present invention.

Claims

Acquiring location information, which is information about the acquisition pose of each of the mesh data, the at least one representative image, the at least one complementary image, and the image for the indoor space;
Detecting at least one discontinuous face having no pixel value corresponding to the at least one representative image according to a predetermined criterion among a plurality of faces constituting the mesh data; And
Extracting pixel information, which is information on a pixel value corresponding to the at least one discontinuous face, from the at least one complementary image;
Compensation image projection method comprising a.

According to claim 1,
Prior to the step of detecting the at least one discontinuous face,
Generating updated mesh data updating the mesh data based on a result of crossing each of the at least one representative image and a plurality of faces constituting the mesh data.
Further comprising,
The step of detecting the at least one discontinuous face is
And detecting at least one discontinuous face among a plurality of faces constituting the update mesh data.

According to claim 2,
The step of generating the update mesh data
Converting the mesh data into coordinates using the location information corresponding to each of the at least one representative image;
Adding an additional vertex at a position where a boundary of each of the at least one representative image and a plurality of faces constituting the coordinate-converted mesh data intersect; And
Generating the update mesh data by dividing the plurality of faces using the additional vertex
Compensation image projection method comprising a.

According to claim 2,
The step of generating the update mesh data
And updating the mesh data for each of the at least one representative image in order to generate the updated mesh data.

According to claim 1,
The step of detecting the at least one discontinuous face is
Checking a pixel value of a representative image corresponding to each vertex constituting the face for each of the plurality of faces constituting the mesh data; And
Detecting the at least one discontinuous face at a face corresponding to an area of two or more representative images, including a face or border having one or more vertices that do not have a corresponding pixel value in the representative image.
Compensation image projection method comprising a.

An acquiring unit for acquiring location information, which is information about the acquisition pose of each of the mesh data for the indoor space, at least one representative image, at least one complementary image, and images;

A detection unit for detecting at least one discontinuous face having no pixel value corresponding to the at least one representative image according to a predetermined criterion among a plurality of faces constituting the mesh data; And
An extraction unit that extracts pixel information, which is information on pixel values corresponding to the at least one discontinuous face, from the at least one complementary image.
Projection image supplement device comprising a.

The method of claim 6,
Based on the result of crossing each of the at least one representative image and a plurality of faces constituting the mesh data, a mesh updating unit generating updated mesh data updating the mesh data.
Further comprising,
The detection unit
And at least one discontinuous face among a plurality of faces constituting the update mesh data.

The method of claim 7,
The mesh update unit
Coordinate transformation of the mesh data using the location information corresponding to each of the at least one representative image,
An additional vertex is added at a position where a boundary of each of the at least one representative image and a plurality of faces constituting the coordinate-converted mesh data intersect,
Projection image complementary apparatus, characterized in that by generating the update mesh data by dividing the plurality of faces using the additional vertex.

The method of claim 7,
The mesh update unit
And the mesh data is sequentially updated for each of the at least one representative image to generate the updated mesh data.

The method of claim 6,
The detection unit
For each of the plurality of faces constituting the update mesh data, a pixel value of a representative image corresponding to each vertex constituting the face is checked,
Compensation of the projected image characterized by detecting the at least one discontinuous face with a face corresponding to an area of two or more representative images, including one or more faces or borders having no vertex corresponding to a pixel value in the representative image. Device.

Acquiring location information, which is information about the acquisition pose of each of the mesh data, the at least one representative image, the at least one complementary image, and the image for the indoor space;
Adding an index of each of the plurality of faces to a matrix corresponding to the size of the at least one representative image according to a result of projecting a plurality of faces constituting the mesh data onto each of the at least one representative image;
At least one different face is located between an acquisition pose included in the location information of each of the at least one representative image and a vertex included in the plurality of faces using the index added to the matrix. Detecting an occluded face of the; And
Extracting pixel information, which is information on pixel values corresponding to the at least one occluded face, from the at least one complementary image;
Compensation image projection method comprising a.

The method of claim 11,
The step of adding the index of each of the plurality of faces
Each of the plurality of faces are projected onto each of the at least one representative image, and an index of the corresponding face is added to an area corresponding to a minimum rectangle including the respective projected areas in the matrix. Complementary method.

The method of claim 11,
The step of detecting the at least one occluded face is
Projecting vertices included in the plurality of faces to each of the at least one representative image;
Obtaining a plurality of indices corresponding to pixels located within a predetermined distance from pixels in which the vertices are projected in the matrix; And
Detecting the at least one occluded face according to whether a face corresponding to each of the plurality of indexes is located between the acquisition pose and a vertex included in the plurality of faces.
Compensation image projection method comprising a.

An acquiring unit for acquiring location information, which is information about the acquisition pose of each of the mesh data for the indoor space, at least one representative image, at least one complementary image, and images;
A matrix generator that adds the indexes of each of the plurality of faces to a matrix corresponding to the size of the at least one representative image according to a result of projecting a plurality of faces constituting the mesh data onto each of the at least one representative image ;
At least one different face is located between an acquisition pose included in the location information of each of the at least one representative image and a vertex included in the plurality of faces using the index added to the matrix. A detection unit for detecting the occluded face of the; And
An extraction unit that extracts pixel information, which is information on pixel values corresponding to the at least one occluded face, from the at least one complementary image.
Projection image supplement device comprising a.

The method of claim 14,
The matrix generating unit
Each of the plurality of faces are projected onto each of the at least one representative image, and an index of the corresponding face is added to an area corresponding to a minimum rectangle including the respective projected areas in the matrix. Complementary device.

The method of claim 14,
The detection unit
Projecting the vertex included in the plurality of faces to each of the at least one representative image,
In the matrix, a plurality of indices corresponding to pixels located within a predetermined distance from a pixel on which the vertex is projected is obtained,
And the at least one occluded face is detected according to whether a face corresponding to each of the plurality of indices is located between the acquisition pose and a vertex included in the plurality of faces.