KR20200057612A

KR20200057612A - Method and apparatus for generating virtual viewpoint image

Info

Publication number: KR20200057612A
Application number: KR1020190121007A
Authority: KR
Inventors: 곽상운; 윤정일
Original assignee: 한국전자통신연구원
Priority date: 2018-11-16
Filing date: 2019-09-30
Publication date: 2020-05-26
Also published as: KR102491674B1

Abstract

Provided are a method and apparatus for generating a virtual viewpoint image. According to the present invention, the method for generating the virtual viewpoint image comprises the steps of: obtaining at least one input viewpoint image and warping pixels of the at least one input viewpoint image into a virtual viewpoint image coordinate system; mapping a super pixel to a position in which a first pixel is warped if the difference between a first depth value of the first pixel and a second depth value of a second pixel adjacent to the first pixel among a plurality of pixels warped with the image coordinate system is less than or equal to a predetermined threshold value, and not mapping the super pixel if the difference is greater than a predetermined threshold value; and blending the plurality of warped pixels and/or super pixel to generate a virtual viewpoint image.

Description

Method and device for generating a virtual viewpoint image {METHOD AND APPARATUS FOR GENERATING VIRTUAL VIEWPOINT IMAGE}

본 기재는 가상시점 영상을 생성하는 방법 및 장치에 관한 것이다. The present description relates to a method and apparatus for generating a virtual viewpoint image.

가상시점(virtual-viewpoint) 영상의 생성 기술은 획득된 시점의 영상으로부터 가상의 위치에서의 시점 영상을 생성하는 기술이다. 도 1을 참조하면, 시점 1 및 시점 2에서 획득된 영상을 사용하여 시점 1 및 시점 2의 중간 위치에서의 시점이 생성될 수 있다. 그리고 더 많은 시점에서 획득되는 영상을 사용하면 임의의 위치에서의 시점 영상이 생성될 수도 있다. The technology for generating a virtual-viewpoint image is a technique for generating a viewpoint image at a virtual location from an acquired viewpoint image. Referring to FIG. 1, a viewpoint at an intermediate position between viewpoints 1 and 2 may be generated using the images acquired at viewpoints 1 and 2. In addition, when an image obtained from more viewpoints is used, a viewpoint image at an arbitrary position may be generated.

획득된 영상으로부터 가상시점 영상을 직접 합성하는 방법에는 3차원 워핑(warping)을 이용하는 방법 및 변이(disparity)를 이용하는 방법이 있다. 도 2를 참조하면 3차원 워핑을 이용하는 방법에서, 획득된 영상 내의 각 점들의 3차원 세계 좌표가 획득된 영상의 깊이 정보로부터 계산되고, 계산된 3차원 세계 좌표는 가상시점 위치 상의 영상 좌표로 변환된다. 도 3을 참조하면, 변이를 이용하는 방법에서, 입력 시점의 픽셀은 변이맵(disparity map)을 통해 직접 이동될 수 있다. Methods of directly synthesizing a virtual viewpoint image from the acquired image include a method using 3D warping and a method using disparity. Referring to FIG. 2, in the method using 3D warping, 3D world coordinates of each point in the acquired image are calculated from depth information of the acquired image, and the calculated 3D world coordinates are converted into image coordinates on a virtual viewpoint location. do. Referring to FIG. 3, in a method using a variation, pixels at an input time point may be directly moved through a disparity map.

한 실시예는, 가상시점 영상을 생성하는 방법을 제공한다.One embodiment provides a method of generating a virtual viewpoint image.

다른 실시예는, 가상시점 영상을 생성하는 장치를 제공한다.Another embodiment provides an apparatus for generating a virtual viewpoint image.

한 실시예에 따르면, 가상시점 영상을 생성하는 방법이 제공된다. 상기 가상시점 영상 생성 방법은, 적어도 하나의 입력시점 영상(input-viewpoint image)을 획득하고, 적어도 하나의 입력시점 영상의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 단계, 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 제1 픽셀에 인접하는 제2 픽셀의 제2 깊이 값 사이의 차이가 미리 결정된 임계치보다 작거나 같으면 제1 픽셀에 패치(patch)를 맵핑하고, 차이가 미리 결정된 임계치보다 크면 제1 픽셀에 패치를 맵핑하지 않는 단계, 그리고 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계를 포함한다.According to one embodiment, a method of generating a virtual viewpoint image is provided. The method for generating a virtual viewpoint image includes: obtaining at least one input-viewpoint image and warping pixels of at least one input viewpoint image into a virtual-viewpoint image coordinate system, as an image coordinate system. If a difference between a first depth value of a first pixel among a plurality of warped pixels and a second depth value of a second pixel adjacent to the first pixel is less than or equal to a predetermined threshold, a patch is mapped to the first pixel. And, if the difference is greater than a predetermined threshold, not mapping the patch to the first pixel, and blending the warped plurality of pixels and / or patches to generate a virtual view image.

상기 가상시점 영상 생성 방법에서 제1 픽셀의 깊이 값은 제2 픽셀의 깊이 값보다 작을 수 있다. In the method of generating a virtual viewpoint image, a depth value of a first pixel may be smaller than a depth value of a second pixel.

상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 워핑된 복수의 픽셀에 각각 가중치를 할당하는 단계, 그리고 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하는 단계를 포함할 수 있다.In the method of generating a virtual viewpoint image, the step of generating a virtual viewpoint image by blending a plurality of warped pixels and / or patches includes weighting each of the warped pixels based on a distribution of depth values of the warped pixels. The method may include allocating and blending a plurality of warped pixels and / or patches based on weights.

상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 워핑된 복수의 픽셀에 각각 가중치를 할당하는 단계는, 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀에는 큰 가중치를 할당하고, 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀에는 작은 가중치를 할당하는 단계를 포함할 수 있다.In the method of generating a virtual viewpoint image, the step of assigning weights to a plurality of warped pixels based on a distribution of depth values of a plurality of warped pixels is large among a plurality of pixels in a dense distribution among a plurality of warped pixels. The method may include allocating a weight and assigning a small weight to a pixel having a sparse distribution among a plurality of warped pixels.

상기 가상시점 영상 생성 방법에서 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하는 단계는, 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀을 블렌딩에서 제외하고, 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀을 블렌딩에 사용하는 단계를 포함할 수 있다. In the method of generating a virtual viewpoint image, blending a plurality of warped pixels and / or patches based on weights may include excluding a pixel having a rare distribution among the warped plurality of pixels from the blending, and dense among the warped plurality of pixels. And using a plurality of pixels included in the distribution for blending.

상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 패치 중 상대적으로 크기가 큰 패치에 상대적으로 작은 가중치를 할당하고, 패치 중 상대적으로 크기가 작은 패치에 상대적으로 큰 가중치를 할당하는 단계를 더 포함할 수 있다. In the method of generating a virtual view image, the step of generating a virtual view image by blending a plurality of warped pixels and / or patches is assigned a relatively small weight to a relatively large patch among the patches, and a relatively large size among the patches. It may further include the step of assigning a relatively large weight to the small patch.

상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하는 단계, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하는 단계, 그리고 제1 가중치 및 제2 가중치를 통합하여 최종 가중치를 결정하고, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하는 단계를 포함할 수 있다.In the method of generating a virtual viewpoint image, the step of generating a virtual viewpoint image by blending a plurality of warped pixels and / or patches is performed according to a distance in which the warped plurality of pixels are separated from the pixels of at least one input viewpoint image. Determining a weight, determining a second weight proportional to the reciprocal of a depth value of a plurality of warped pixels, and integrating the first weight and the second weight to determine the final weight, and warping based on the final weight It may include the step of blending the plurality of pixels and / or patches.

상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 패치 중 상대적으로 크기가 큰 제1 패치에는 상대적으로 작은 가중치를 할당하고, 패치 중 상대적으로 크기가 작은 제2 패치에는 상대적으로 큰 가중치를 할당하는 단계, 및 제1 패치에 할당된 가중치 및 제2 패치에 할당된 가중치를 고려하여 제1 패치 및 제2 패치를 블렌딩하는 단계를 포함할 수 있다.In the method of generating a virtual viewpoint image, blending a plurality of warped pixels and / or patches to generate a virtual viewpoint image, a relatively small weight is assigned to a relatively large first patch among the patches, and a relative weight among the patches. As a result, the method may include assigning a relatively large weight to the second patch having a small size, and blending the first patch and the second patch in consideration of the weight assigned to the first patch and the weight assigned to the second patch. Can be.

상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하는 단계, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하는 단계, 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하는 단계, 패치의 크기에 따른 제4 가중치를 결정하는 단계, 그리고 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치를 통합하여 최종 가중치를 결정하고, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하는 단계를 포함할 수 있다.In the method of generating a virtual viewpoint image, the step of generating a virtual viewpoint image by blending a plurality of warped pixels and / or patches is performed according to a distance in which the warped plurality of pixels are separated from the pixels of at least one input viewpoint image. Determining a weight, determining a second weight proportional to the reciprocal of the depth value of the plurality of warped pixels, determining a third weight based on the distribution of the depth values of the plurality of warped pixels, of the patch Determining a fourth weight according to the size, and integrating the first weight, the second weight, the third weight, and the fourth weight to determine the final weight, and based on the final weight, a plurality of warped pixels and / or And blending the patch.

다른 실시예에 따르면, 가상시점 영상을 생성하는 장치가 제공된다. 상기 가상시점 영상 생성 장치는, 적어도 하나의 입력시점 영상(input-viewpoint image)의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 워핑부, 및 영상좌표계로 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 워핑된 복수의 픽셀에 각각 가중치를 할당하고, 가중치를 바탕으로 워핑된 복수의 픽셀을 블렌딩하는 블렌딩부를 포함한다.According to another embodiment, an apparatus for generating a virtual viewpoint image is provided. The virtual viewpoint image generating apparatus includes a warping unit for warping pixels of at least one input-viewpoint image to a virtual-viewpoint image coordinate system, and depth values of a plurality of pixels warped with the image coordinate system. It includes a blending unit for assigning a weight to each of the plurality of warped pixels based on the distribution of and blending the plurality of warped pixels based on the weight.

상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀에는 큰 가중치를 할당하고, 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀에는 작은 가중치를 할당할 수 있다.In the virtual viewpoint image generating apparatus, a blending unit may allocate a large weight to a plurality of pixels included in a dense distribution among a plurality of warped pixels, and a small weight to a pixel showing a rare distribution among the plurality of warped pixels. .

상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀을 블렌딩에서 제외하고, 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀을 블렌딩에 사용할 수 있다.In the virtual viewpoint image generating apparatus, the blending unit may exclude pixels showing a rare distribution among a plurality of warped pixels from blending, and use a plurality of pixels included in a dense distribution among the warped pixels.

상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 제1 가중치 및 제2 가중치를 통합하여 최종 가중치를 결정하며, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩할 수 있다.In the virtual viewpoint image generating apparatus, the blending unit determines a first weight according to a distance from which a plurality of warped pixels are separated from at least one pixel of an input viewpoint image, and is proportional to an inverse number of depth values of the warped pixels. The second weight may be determined, the final weight may be determined by combining the first weight and the second weight, and a plurality of warped pixels and / or patches may be blended based on the final weight.

상기 가상시점 영상 생성 장치는, 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 제1 픽셀에 인접하는 제2 픽셀의 제2 깊이 값 사이의 차이를 바탕으로 제1 픽셀에 슈퍼픽셀을 맵핑하는 슈퍼픽셀 맵핑부를 더 포함할 수 있다.The apparatus for generating a virtual view image, based on a difference between a first depth value of a first pixel among a plurality of warped pixels and a second depth value of a second pixel adjacent to the first pixel, superpixels the first pixel. A super pixel mapping unit for mapping may be further included.

상기 가상시점 영상 생성 장치에서 슈퍼픽셀 맵핑부는, 차이가 미리 결정된 임계치보다 작거나 같으면 제1 픽셀에 패치(patch)를 맵핑하고, 차이가 미리 결정된 임계치보다 크면 패치를 맵핑하지 않을 수 있다.In the virtual viewpoint image generating apparatus, the superpixel mapping unit may map a patch to a first pixel when the difference is less than or equal to a predetermined threshold, and may not map a patch if the difference is greater than a predetermined threshold.

상기 가상시점 영상 생성 장치에서 블렌딩부는, 적어도 하나의 입력시점 영상 중 제1 입력시점 영상으로부터 복수의 제1 픽셀이 가상시점 영상좌표계의 제1 위치로 워핑될 때, 복수의 제1 픽셀 중 가장 작은 깊이 값을 갖는 픽셀을 제1 입력시점 영상의 대표 픽셀로 결정할 수 있다.In the virtual viewpoint image generating apparatus, when a plurality of first pixels are warped from a first input viewpoint image among at least one input viewpoint image to a first position in the virtual viewpoint image coordinate system, the blending unit is the smallest of the plurality of first pixels. A pixel having a depth value may be determined as a representative pixel of the first input point image.

상기 가상시점 영상 생성 장치에서 블렌딩부는, 슈퍼픽셀 중 상대적으로 크기가 큰 슈퍼픽셀에 상대적으로 작은 가중치를 할당하고, 슈퍼픽셀 중 상대적으로 크기가 작은 슈퍼픽셀에 상대적으로 큰 가중치를 할당할 수 있다. In the virtual view image generating apparatus, the blending unit may allocate a relatively small weight to a super-large superpixel among superpixels and a relatively large weight to a super-small superpixel among superpixels.

상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하고, 제1 가중치, 제2 가중치, 및 제3 가중치를 통합하여 최종 가중치를 결정하며, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩할 수 있다.In the virtual viewpoint image generating apparatus, the blending unit determines a first weight according to a distance from which a plurality of warped pixels are separated from at least one pixel of an input viewpoint image, and is proportional to an inverse number of depth values of the warped pixels. The second weight is determined, the third weight is determined based on the distribution of the depth values of the warped pixels, the first weight, the second weight, and the third weight are combined to determine the final weight, and the final weight is determined. A plurality of warped pixels and / or patches may be blended based on.

상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하고, 패치의 크기에 따른 제4 가중치를 결정하고, 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치를 통합하여 최종 가중치를 결정하며, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩할 수 있다. In the virtual viewpoint image generating apparatus, the blending unit determines a first weight according to a distance from which a plurality of warped pixels are separated from at least one pixel of an input viewpoint image, and is proportional to an inverse number of depth values of the warped pixels. The second weight is determined, the third weight is determined based on the distribution of depth values of the warped pixels, the fourth weight is determined according to the size of the patch, and the first weight, the second weight, and the third weight A final weight is determined by integrating, and a fourth weight, and a plurality of warped pixels and / or patches may be blended based on the final weight.

또 다른 실시예에 따르면, 가상시점 영상을 생성하는 장치가 제공된다. 상기 가상시점 영상 생성 장치는, 프로세서 및 메모리를 포함하고, 프로세서는 메모리에 포함된 프로그램을 실행하여, 영상 촬영 장치로부터 전달된 적어도 하나의 입력시점 영상(input-viewpoint image)의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 단계, 및 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 제1 픽셀에 인접하는 제2 픽셀의 제2 깊이 값 사이의 차이가 미리 결정된 임계치보다 작거나 같으면 제1 픽셀에 패치(patch)를 맵핑하고, 차이가 미리 결정된 임계치보다 크면 제1 픽셀에 패치를 맵핑하지 않는 단계, 그리고 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계를 수행한다.According to another embodiment, an apparatus for generating a virtual viewpoint image is provided. The virtual viewpoint image generating apparatus includes a processor and a memory, and the processor executes a program included in the memory to virtually view pixels of at least one input-viewpoint image transmitted from the image photographing apparatus. virtual-viewpoint) a step of warping with the image coordinate system, and a difference between the first depth value of the first pixel and the second depth value of the second pixel adjacent to the first pixel among the plurality of pixels warped with the image coordinate system is predetermined. Mapping a patch to a first pixel if less than or equal to a threshold, not mapping a patch to a first pixel if the difference is greater than a predetermined threshold, and blending a plurality of warped pixels and / or patches to create a virtual view point. The step of generating an image is performed.

인접 픽셀간 깊이 값 차이에 기반하여 슈퍼픽셀의 맵핑 여부가 결정되고 픽셀이 떨어진 거리에 따라 슈퍼픽셀의 크기 및 모양이 가변될 수 있어서, 객체-배경 간의 홀 영역에 생기는 흐려짐 현상이 감소될 수 있다. 또한 가상시점 영상좌표계의 한 점으로 워핑된 픽셀의 깊이 값 분포를 기반으로 가중치가 할당되고, 밀집도가 높은 구간에 큰 가중치가 할당됨으로써, 아웃라이어의 영향이 감소되고 영상 혼합 신뢰도가 높아질 수 있다. 또한 가시성이 좋은 영역과 상대적으로 좋지 않은 영역에 대한 가중치의 강도가 조절되어 신뢰도가 더욱 개선될 수 있다. 또한 개별 워핑 영상에 맵핑된 슈퍼픽셀의 크기에 따라 가중치가 설정되고, 큰 크기로 맵핑된 슈퍼픽셀에 낮은 가중치가 할당됨으로써, 영상 혼합과정에서 슈퍼픽셀에 의한 왜곡이 감소될 수 있다. 또한, 베이스라인 기반 가중치, 깊이 값 기반 가중치, 깊이 값 분포 기반의 가중치, 및 슈퍼픽셀 크기 기반의 가중치가 가중평균됨으로써, 블렌딩 결과가 개선될 수 있다.Whether or not superpixels are mapped is determined based on a difference in depth values between adjacent pixels, and the size and shape of the superpixels can be changed according to the distance from which the pixels are separated, so that blurring occurring in the hole region between object and background can be reduced . In addition, weights are assigned based on the depth value distribution of the warped pixels as a point of the virtual viewpoint image coordinate system, and a large weight is assigned to a section having high density, thereby reducing the influence of outliers and increasing image mixing reliability. In addition, the strength of weights for regions with good visibility and regions with poor visibility can be adjusted to further improve reliability. In addition, since weights are set according to the size of superpixels mapped to individual warping images and low weights are assigned to superpixels mapped to large sizes, distortion caused by superpixels in the image mixing process may be reduced. In addition, the blending result may be improved by weighted average of the baseline-based weight, the depth-value-based weight, the depth-value-based weight, and the superpixel size-based weight.

도 1은 시점 1 및 시점 2의 중간 위치의 중간시점 영상을 생성하는 방법의 개념도이다.
도 2는 3차원 워핑을 이용하는 중간시점 영상 생성 방법의 개념도이다.
도 3은 변이를 이용하는 중간시점 영상 생성 방법의 개념도이다.
도 4는 한 실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이다.
도 5는 한 실시예에 따른 6-자유도 영상이 제공되는 상황의 개념도이다.
도 6a 및 도 6b는 한 실시예에 따른 슈퍼픽셀 기법을 나타낸 개념도이다.
도 7은 한 실시예에 따른 블렌딩을 위한 제1 가중치 결정 방법 및 그에 따른 가상시점 영상을 나타낸 개념도이다.
도 8은 다른 실시예에 따른 블렌딩을 위한 제2 가중치 결정 방법 및 그에 따른 가상시점 영상을 나타낸 개념도이다.
도 9는 한 실시예에 따른 슈퍼픽셀이 맵핑되는 홀을 나타낸 개념도이다.
도 10은 한 실시예에 따른 슈퍼픽셀 맵핑 방법을 나타낸 개념도이다.
도 11은 다른 실시예에 따른 슈퍼픽셀 맵핑 방법을 나타낸 개념도이다.
도 12는 종래 방식의 슈퍼픽셀 맵핑 방법에 의한 워핑 영상 및 블렌딩 영상을 나타낸 도면이다.
도 13은 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 의한 워핑 영상 및 블렌딩 영상을 나타낸 도면이다.
도 14는 한 실시예에 따른 가상 시점 영상좌표계의 한 점으로 워핑된 픽셀들을 나타낸 개념도이다.
도 15는 한 실시예에 따른 깊이 값 분포에 기반한 제3 가중치 결정 방법을 나타낸 개념도이다.
도 16은 한 실시예에 따른 블렌딩 가중치를 결정하는 방법을 나타낸 흐름도이다.
도 17a 내지 도 17f는 한 실시예에 따른 블렌딩 가중치를 결정하는 방법의 각 단계를 나타낸 개념도이다.
도 18 및 도 19는 한 실시예에 따른 슈퍼픽셀의 크기에 따라 제4 가중치를 결정하는 방법을 나타낸 개념도이다.
도 20은 한 실시예에 따른 최종 가중치 결정 방법을 나타낸 개념도이다.
도 21은 다른 실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이다.1 is a conceptual diagram of a method of generating an intermediate viewpoint image at an intermediate position between viewpoints 1 and 2.
2 is a conceptual diagram of a method for generating a mid-view image using 3D warping.
3 is a conceptual diagram of a method for generating an intermediate viewpoint image using variation.
4 is a block diagram illustrating an apparatus for generating a virtual viewpoint image according to an embodiment.
5 is a conceptual diagram of a situation in which a 6-degree-of-freedom image is provided according to an embodiment.
6A and 6B are conceptual diagrams illustrating a superpixel technique according to an embodiment.
7 is a conceptual diagram illustrating a first weight determination method for blending and a virtual viewpoint image according to one embodiment.
8 is a conceptual diagram illustrating a second weight determination method for blending according to another embodiment and a virtual viewpoint image accordingly.
9 is a conceptual diagram illustrating holes to which superpixels are mapped according to an embodiment.
10 is a conceptual diagram illustrating a superpixel mapping method according to an embodiment.
11 is a conceptual diagram illustrating a superpixel mapping method according to another embodiment.
12 is a view showing a warping image and a blending image using a conventional superpixel mapping method.
13 is a diagram illustrating warping images and blending images by a superpixel mapping method according to an embodiment.
14 is a conceptual diagram illustrating pixels warped with a point of a virtual viewpoint image coordinate system according to an embodiment.
15 is a conceptual diagram illustrating a third weight determination method based on a depth value distribution according to an embodiment.
16 is a flowchart illustrating a method for determining a blending weight according to an embodiment.
17A to 17F are conceptual views illustrating each step of a method for determining a blending weight according to an embodiment.
18 and 19 are conceptual views illustrating a method of determining a fourth weight according to the size of a superpixel according to an embodiment.
20 is a conceptual diagram illustrating a final weight determination method according to an embodiment.
21 is a block diagram illustrating an apparatus for generating a virtual viewpoint image according to another embodiment.

아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present disclosure will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains may easily practice. However, the present description can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present description in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.

도 4는 한 실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이고, 도 5는 한 실시예에 따른 6-자유도 영상이 제공되는 상황의 개념도이며, 도 6a 및 도 6b는 한 실시예에 따른 슈퍼픽셀 기법을 나타낸 개념도이다.4 is a block diagram showing an apparatus for generating a virtual viewpoint image according to an embodiment, FIG. 5 is a conceptual diagram of a situation in which a 6-degree-of-freedom image according to an embodiment is provided, and FIGS. 6A and 6B are shown in one embodiment It is a conceptual diagram showing the superpixel technique.

도 4를 참조하면, 가상시점 영상을 생성하는 영상 생성 장치(100)는 워핑부(110), 블렌딩부(130), 및 후처리부(post processor)(140)를 포함한다. 워핑부(110)는, 카메라 등의 영상 촬영 장치로부터 전달된, 입력시점의 영상에 대해 전방향 깊이맵 워핑(forward depthmap warping), 중간값 필터링(median filtering), 및 후방향 텍스쳐 워핑(backward texture warping)을 수행한다. 블렌딩부(130)는 가상시점의 영상좌표계로 워핑된 영상에 대해 영상 혼합(blending)을 수행한다. 변이를 이용하는 가상시점 영상의 생성 방법은 장면의 기하학적 구조를 반영할 수 없기 때문에, 비교적 단순한 중간 시점의 영상을 생성하기 위해 주로 사용될 수 있고, 한 실시예에 따른 영상 생성 장치(100)는 임의의 위치의 가상시점 영상을 생성하기 위해 3차원 워핑 기법을 사용할 수 있다.Referring to FIG. 4, the image generating apparatus 100 for generating a virtual viewpoint image includes a warping unit 110, a blending unit 130, and a post processor 140. The warping unit 110 is forward depthmap warping, median filtering, and backward texture warping on an image at an input time, which is transmitted from an imaging device such as a camera. warping). The blending unit 130 performs image blending on the image warped with the image coordinate system at the virtual point of view. Since a method of generating a virtual viewpoint image using a variation cannot reflect the geometry of a scene, it can be mainly used to generate a relatively simple intermediate viewpoint image, and the image generating apparatus 100 according to an embodiment is random A 3D warping technique can be used to generate a virtual viewpoint image of a location.

3차원 워핑을 이용한 가상시점의 영상 생성 방법에서, 전방향 깊이맵 워핑 단계에서 입력된 깊이 영상은 카메라 파라미터 정보를 사용하여 가상시점 위치로 전방향 워핑된다. 이후 전방향 워핑된 깊이 영상에 대해 중간값 필터링이 수행될 수 있다. 중간값 필터링은 가상시점 영상 위치의 정수 좌표계에 픽셀을 맵핑할 때 발생할 수 있는 작은 크랙(crack) 형태의 홀(hole)을 필터링을 통해 채우기 위해 수행된다. 작은 홀들이 일부 채워진, 전방향 워핑된 깊이 영상을 사용하여, 입력 텍스쳐 영상으로부터의 텍스쳐 값에 대해 후방향 워핑이 수행된다. 이후 각각의 후방향 워핑된 텍스쳐 영상은 가중 혼합을 통해 하나의 가상시점 영상으로 합성된다. 이때 후방향 워핑된 텍스쳐 영상의 혼합을 위해, 입력 시점 카메라와 가상시점 위치 간의 거리(baseline) 정보가 혼합 가중치로서 사용되거나, 또는 가상시점의 하나의 픽셀 위치로 워핑된 복수의 픽셀의 깊이 정보가 사용될 수 있다. 후처리 단계는, 혼합된 영상을 후보정 알고리즘을 통해 개선하는 과정이다. 후보정 알고리즘으로서, 가려짐(occlusion) 등에 의한 공통 홀(common hole) 영역을 인페인팅(in-painting)하는 기법 등이 적용될 수 있다.In the method of generating a virtual view image using 3D warping, the depth image input in the omnidirectional depth map warping step is warped forward to the virtual view position using camera parameter information. Subsequently, intermediate value filtering may be performed on the omnidirectional warped depth image. The median filtering is performed to fill a small crack-shaped hole that may occur when mapping a pixel to an integer coordinate system of a virtual viewpoint image location through filtering. Backward warping is performed on the texture values from the input texture image, using the forward warped depth image, partially filled with small holes. Then, each backward warped texture image is synthesized into one virtual viewpoint image through weighted mixing. At this time, for mixing the warped texture image in the backward direction, the baseline information between the input viewpoint camera and the virtual viewpoint position is used as a blend weight, or the depth information of a plurality of pixels warped to one pixel position of the virtual viewpoint Can be used. The post-processing step is a process of improving the mixed image through a candidate algorithm. As a candidate algorithm, a technique of in-painting a common hole region due to occlusion or the like may be applied.

픽셀 단위로 가상시점 영상을 합성하는 3차원 워핑 기법은 원활한 6-자유도(degree of freedom, DoF) 시점을 사용자에게 제공하는 데 어려움을 가질 수 있다. 6-자유도 시점의 제공이란, 사용자에게 롤(roll) 요(yaw), 피치(pitch) 방향의 회전운동의 3-자유도와, 전후, 상하, 좌우 방향의 병진운동의 3-자유도에 따른 운동 시차를 지원하는 것을 의미한다. 도 5를 참조하면, 회전운동 및 병진운동이 결합된 복합적인 시점이 이동할 때 발생할 수 있는 문제점이 도시되어 있다. 도 5는 입력시점 영상(input-viewpoint image)의 9개의 픽셀을 도시하고 있고, 흰색 픽셀을 전경(foreground)을 나타내고 회색 픽셀은 배경(background)을 나타낸다. (b)와 같이 가상시점 위치(즉, 왼쪽 도면의 가상 카메라)가 전진 이동(step-in)하면, 기존의 입력시점의 정수 좌표계에 맵핑되어 있던 픽셀 간 거리가 줌인(zoom-in) 효과 때문에 벌어진다. 따라서 픽셀 사이로 크랙과 같은 작은 홀이 발생할 수 있다. 특히 카메라에서 가까운 지점에 위치한 전경 픽셀(즉, 깊이값이 작은 픽셀)들 사이에 홀이 크게 발생할 수 있다. 이런 경우 홀은 후처리 단계에서 보정될 수 있다. 하지만 가상 카메라가 (c)와 같은 높은 자유도로 복합적 이동을 할 때, 전경 객체의 픽셀 사이의 크랙에 배경 픽셀이 맵핑될 수 있다. 이때 배경 픽셀이 맵핑된 크랙은 홀로서 구분되지 않기 때문에, 후처리 단계에서 보정되지 않고, 최종 합성 영상에 남게 되어 영상 품질의 열화의 원인이 된다. A 3D warping technique for synthesizing a virtual viewpoint image in units of pixels may have difficulty in providing a user with a smooth six-degree of freedom (DoF) viewpoint. Providing a 6-degree-of-freedom viewpoint is a movement according to the 3-degree of freedom of rotational motion in the roll yaw and pitch directions to the user, and 3-degree of freedom in translational motions in the front, back, up, down, and left and right directions. It means supporting parallax. Referring to FIG. 5, there is illustrated a problem that may occur when a complex viewpoint combined with rotational and translational motions is moved. 5 shows nine pixels of an input-viewpoint image, white pixels represent the foreground, and gray pixels represent the background. As shown in (b), if the virtual point of view (ie, the virtual camera in the left drawing) is stepped in, the distance between pixels mapped to the integer coordinate system of the existing input point is due to the zoom-in effect. Happen Therefore, small holes such as cracks may occur between pixels. In particular, a large hole may occur between the foreground pixels (ie, pixels having a small depth value) located close to the camera. In this case, the hole can be corrected in the post-processing step. However, when the virtual camera moves in a complex manner with a high degree of freedom such as (c), background pixels may be mapped to cracks between pixels of the foreground object. At this time, since the cracks to which the background pixels are mapped are not distinguished as holes, they are not corrected in the post-processing step, and remain in the final composite image, causing deterioration of image quality.

이러한 문제점을 해결하기 위해 한 실시예에 따른 영상 생성 장치(100)는 슈퍼픽셀(super-pixel) 맵핑부(120)를 더 포함할 수 있다. 한 실시예에 따른 슈퍼픽셀 맵핑부(120)는, 입력 시점의 영상 좌표 내의 서로 인접하는 픽셀들이 가상시점 영상의 영상좌표계로 워핑되며 픽셀 간 간격이 벌어질 때 워핑된 픽셀에 슈퍼 픽셀을 맵핑할 수 있다. 슈퍼픽셀은 패치(patch) 또는 패치 형태로 확장된 픽셀일 수 있다. 슈퍼픽셀의 크기는 픽셀 간 거리에 따라 결정될 수 있고, 슈퍼픽셀의 깊이 값은 슈퍼픽셀이 맵핑되는 픽셀의 깊이 값으로 결정될 수 있다. 도 6a를 참조하면, 입력 시점 영상 내의 각 픽셀이 가상시점의 영상좌표계로 워핑된 이후 서로 떨어진 거리(수평방향으로 떨어진 거리(D_horizontal) 및 수직방향으로 떨어진 거리(D_vertical))가 계산되고, 그 중 최대값을 한 변의 길이(D=max(D_horizontal,D_vertical))로 갖는 정사각형 슈퍼픽셀이 맵핑된다. 슈퍼픽셀을 통해 전경 객체의 픽셀이 크게 벌어짐으로써 발생하는 크랙 사이로 배경 픽셀이 맵핑되는 현상이 감소될 수 있다. 하지만 슈퍼픽셀 방법에서 인접하는 픽셀이 영상 좌표계 내에서 떨어진 거리만이 장면의 기하학적 구조와 무관하게 비교되기 때문에, 각 인접 픽셀의 깊이 값이 크게 다를 때 문제가 발생할 수 있다. 도 6의 (b)를 참조하면, 전경을 나타내는 두 개의 픽셀 간 거리는 가깝지만, 전경을 나타내는 흰색 픽셀과 배경을 나타내는 회색 픽셀 사이의 거리는 멀다. 전경 픽셀과 배경 픽셀의 사이는 크랙이 아닌 홀로서 처리되어야 하지만, 슈퍼픽셀 기법에서 그 사이는 큰 크기의 슈퍼픽셀로 맵핑되어 장면 왜곡이 발생할 수 있다. 또한 슈퍼픽셀 기법에서 픽셀 간 기하 관계(예를 들어, 워핑된 픽셀이 떨어져 있는 방향, 거리에 관한 고려)는 무시되고 정사각형 형태의 슈퍼픽셀이 일률적으로 맵핑되어서 왜곡이 발생될 가능성이 크다. 전경 객체와 배경 사이에 슈퍼픽셀로 인한 왜곡이 존재하면, 영상의 혼합 및 후처리가 수행된 최종 합성 영상에 흐려짐(blur)과 같은 현상이 발생할 수 있다. In order to solve this problem, the image generating apparatus 100 according to an embodiment may further include a super-pixel mapping unit 120. The super-pixel mapping unit 120 according to an embodiment may map super pixels to warped pixels when pixels adjacent to each other in the image coordinates of the input viewpoint are warped to the image coordinate system of the virtual viewpoint image and a gap between pixels increases. Can be. The superpixel may be a patch or a pixel extended in the form of a patch. The size of the superpixel may be determined according to the distance between pixels, and the depth value of the superpixel may be determined as the depth value of the pixel to which the superpixel is mapped. Referring to FIG. 6A, after each pixel in the input viewpoint image is warped to the virtual coordinate image coordinate system, distances (D_horizontal distance and D_vertical distance) from each other are calculated, among which A square superpixel having a maximum value of one side length (D = max (D_horizontal, D_vertical)) is mapped. A phenomenon in which background pixels are mapped between cracks caused by widening of pixels of a foreground object through a superpixel may be reduced. However, in the superpixel method, a problem may occur when a depth value of each adjacent pixel is significantly different because only the distances of adjacent pixels within the image coordinate system are compared regardless of the geometry of the scene. Referring to (b) of FIG. 6, the distance between two pixels representing the foreground is close, but the distance between the white pixels representing the foreground and the gray pixels representing the background is long. The gap between the foreground pixel and the background pixel should be treated as a hole, not a crack, but in the superpixel technique, the gap is mapped to a large sized superpixel, which may cause scene distortion. Also, in the superpixel technique, the geometric relationship between pixels (for example, the direction in which the warped pixels are apart and the distance) is ignored, and the superpixels of the square form are uniformly mapped, and thus, distortion is likely to occur. When distortion due to a superpixel exists between the foreground object and the background, a phenomenon such as blur may occur in a final composite image in which image mixing and post-processing are performed.

도 7은 한 실시예에 따른 블렌딩을 위한 제1 가중치 결정 방법 및 그에 따른 가상시점 영상을 나타낸 개념도이고, 도 8은 다른 실시예에 따른 블렌딩을 위한 제2 가중치 결정 방법 및 그에 따른 가상시점 영상을 나타낸 개념도이다.7 is a conceptual diagram illustrating a first weight determination method for blending according to one embodiment and a virtual viewpoint image according to the embodiment, and FIG. 8 is a second weight determination method for blending according to another embodiment and a virtual viewpoint image according to the embodiment It is a conceptual diagram.

한 실시예에 따른 블렌딩부(130)는 개별 워핑 영상을 혼합할 때, 가상시점 위치와 입력시점 위치가 서로 떨어진 거리(baseline)에 따른 가중치(weight)를 바탕으로 가중 평균(weighted average)을 수행하는 방식(베이스라인의 역수에 비례하여 워핑된 픽셀을 블렌딩하는 방식) 또는 가상시점 영상의 영상 좌표계에서 한 픽셀 위치에 맵핑되는 복수의 픽셀의 깊이값을 바탕으로 가중 평균을 수행하는 방식(깊이값의 역수에 비례하여 워핑된 픽셀을 블렌딩하는 방식) 등을 사용할 수 있다. When blending individual warping images, the blending unit 130 according to an embodiment performs a weighted average based on a weight based on a distance between the virtual viewpoint and the input viewpoint. Method (a method of blending warped pixels in proportion to the reciprocal of the baseline) or a method of performing weighted average based on depth values of a plurality of pixels mapped to one pixel position in the image coordinate system of a virtual viewpoint image (depth value) And a method of blending warped pixels in proportion to the inverse of).

도 7을 참조하면, 블렌딩부(130)는 워핑된 각 픽셀에 베이스라인의 역수에 비례하는 제1 가중치를 할당할 수 있다. 블렌딩이 수행될 때 비교적 가까운 입력시점의 정보가 많이 사용되기 때문에 워핑 오류가 일반적으로 적다. 하지만, 베이스라인에 따른 가중치에는 깊이에 대한 고려가 포함되어 있지 않기 때문에 전경 픽셀과 배경 픽셀이 구분되기 어렵고, 블렌딩 이후 배경이 전경 위로 투과(오른쪽 사진의 박스 안 참조)되어 보일 수 있다. Referring to FIG. 7, the blending unit 130 may assign a first weight proportional to the reciprocal of the baseline to each warped pixel. When blending is performed, warping errors are generally small because information at a relatively close input time is used a lot. However, since the weighting according to the baseline does not include depth consideration, it is difficult to distinguish between the foreground pixel and the background pixel, and after blending, the background may appear transmitted over the foreground (see the box in the right picture).

도 8을 참조하면, 블렌딩부(130)는 워핑된 각 픽셀에 깊이 값의 역수에 비례하는 제2 가중치를 할당할 수 있다. 블렌딩이 수행될 때 깊이 값을 기준으로 가중치가 적용되기 때문에 배경 투과 현상은 완화될 수 있지만, 가상시점 영상좌표계의 특정 시점으로부터 멀리 떨어진 입력시점의 영상으로부터 워핑된 픽셀에 높은 가중치가 잘못 부여되는 오류가 발생할 수 있다(오른쪽 사진의 박스 안 참조). Referring to FIG. 8, the blending unit 130 may allocate a second weight proportional to the reciprocal of the depth value to each warped pixel. Background blending can be alleviated because weighting is applied based on the depth value when blending is performed, but an error in which a high weight is incorrectly assigned to a warped pixel from an image at an input point far away from a specific point in the virtual coordinate system Can occur (see inside the box on the right).

도 9는 한 실시예에 따른 슈퍼픽셀이 맵핑되는 홀을 나타낸 개념도이고, 도 10은 한 실시예에 따른 슈퍼픽셀 맵핑 방법을 나타낸 개념도이고, 도 11은 다른 실시예에 따른 슈퍼픽셀 맵핑 방법을 나타낸 개념도이다.9 is a conceptual diagram showing a hole to which superpixels are mapped according to an embodiment, FIG. 10 is a conceptual diagram showing a superpixel mapping method according to an embodiment, and FIG. 11 is a superpixel mapping method according to another embodiment It is a conceptual diagram.

도 9를 참조하면, 가상 카메라의 복합적인 움직임으로 표현될 수 있는 가상시점의 위치가 높은 자유도로 이동하면, 워핑된 깊이 영상에는 복수의 전경 픽셀과 배경 픽셀이 겹쳐지거나 픽셀이 워핑되지 않은 홀이 발생한다. 이때 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 따르면 슈퍼픽셀 맵핑부(120)는, 서로 인접한 두 개의 워핑된 픽셀이 미리 결정된 거리만큼 떨어져 있더라도, 두 개의 워핑된 픽셀의 깊이 값 간의 차이가 크면 홀에 슈퍼픽셀을 맵핑하지 않는다. Referring to FIG. 9, when the position of the virtual viewpoint, which can be expressed by the complex movement of the virtual camera, is moved with high freedom, a plurality of foreground pixels and background pixels overlap or a hole in which the pixels are not warped in the warped depth image. Occurs. In this case, according to the superpixel mapping method according to an embodiment, the superpixel mapping unit 120 may be in a hole when a difference between depth values of two warped pixels is large, even if two adjacent warped pixels are separated by a predetermined distance. Do not map superpixels.

도 10을 참조하면, 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀(11) 및 제2 픽셀(12)은 전경 픽셀이고, 제3 픽셀(13)은 배경 픽셀이다. 제1 픽셀(11)과 제2 픽셀(12)은 미리 결정된 거리보다 더 멀리 떨어져있기 때문에 슈퍼픽셀 맵핑부(120)는 제1 픽셀(11)과 제2 픽셀(12)에 각각 슈퍼픽셀을 맵핑할 수 있다. 제1 픽셀(11)과 제3 픽셀(13)도 미리 결정된 거리보다 더 멀리 떨어져있지만, 제1 픽셀(11)의 깊이 값과 제3 픽셀(13)의 깊이 값 사이의 차이가 미리 결정된 임계치보다 크기 때문에, 슈퍼픽셀 맵핑부(120)는 제1 픽셀에는 슈퍼픽셀을 맵핑하지 않는다. 즉, 제1 픽셀(11) 및 제2 픽셀(12)은 모두 전경 픽셀이기 때문에 둘의 깊이 값 차이는 미리 결정된 임계치보다 작고, 따라서 제1 픽셀(11) 및 제2 픽셀(12)에는 각각 슈퍼픽셀이 맵핑될 수 있다. 하지만, 제3 픽셀(13)은 배경 픽셀이고, 따라서 제1 픽셀(11)의 깊이 값과 제3 픽셀(13)의 깊이 값 사이의 차이는 미리 결정된 임계치보다 크다. 최종적으로 슈퍼픽셀 맵핑부(120)는 전경 픽셀인 제1 픽셀(11)에 슈퍼픽셀을 맵핑하지 않는다. Referring to FIG. 10, the first pixel 11 and the second pixel 12 of the plurality of pixels warped with the image coordinate system are foreground pixels, and the third pixel 13 is a background pixel. Since the first pixel 11 and the second pixel 12 are farther than a predetermined distance, the superpixel mapping unit 120 maps the superpixel to the first pixel 11 and the second pixel 12, respectively. can do. The first pixel 11 and the third pixel 13 are also farther than a predetermined distance, but the difference between the depth value of the first pixel 11 and the depth value of the third pixel 13 is greater than a predetermined threshold. Because of its size, the superpixel mapping unit 120 does not map the superpixel to the first pixel. That is, since both the first pixel 11 and the second pixel 12 are foreground pixels, the difference in the depth values between the two is smaller than a predetermined threshold, and thus the first pixel 11 and the second pixel 12 are super Pixels can be mapped. However, the third pixel 13 is a background pixel, so the difference between the depth value of the first pixel 11 and the depth value of the third pixel 13 is greater than a predetermined threshold. Finally, the superpixel mapping unit 120 does not map the superpixel to the first pixel 11 that is the foreground pixel.

한 실시예에 따른 슈퍼픽셀 맵핑부(120)는 슈퍼픽셀이 맵핑될 픽셀과 인접 픽셀 사이의 거리 및 인접 픽셀의 깊이 값에 따라 슈퍼픽셀의 크기 및 모양을 결정할 수 있다. 예를 들어, 슈퍼픽셀의 각 변의 길이는 슈퍼픽셀이 맵핑될 픽셀과 인접 픽셀 사이의 가로 방향 거리 및 세로 방향 거리의 정수(integer) 변환(올림, 반올림, 버림, 천장 함수, 바닥 함수 등의 연산)을 통해 결정될 수 있다. 도 11을 참조하면, 제2 픽셀(12)에는 슈퍼픽셀이 맵핑되지만, 위에서 설명한 대로 제1 픽셀(11)에는 슈퍼픽셀이 맵핑되지 않는다. 이때 제2 픽셀(12)에 맵핑된 슈퍼픽셀의 형태는 인접 픽셀인 제1 픽셀(11)까지의 간격 및 제1 픽셀(11)의 깊이 값에 따라 가변될 수 있다. 도 10과 도 11을 비교하면, 제2 픽셀(12)에 맵핑된 슈퍼픽셀(20)의 형태는 아래에 맵핑된 슈퍼픽셀과 중첩되지 않고(세로 방향 수축), 제1 픽셀(11)까지 연장(가로 방향 연장)되어 직사각형이다. 한 실시예에 따른 슈퍼픽셀 맵핑부(120)는, 인접하는 전경 픽셀들 간의 간격과, 인접하는 슈퍼픽셀 간의 간격을 바탕으로 슈퍼픽셀의 각 변의 길이를 결정할 수 있다. 도 11을 참조하면, 제2 픽셀(12)에 맵핑된 슈퍼픽셀(20)의 가로 변은 인접하는 전경 픽셀인 제1 픽셀(11)을 덮도록 연장된다. 도 11의 슈퍼픽셀(20)의 세로 변은 인접하는 슈퍼픽셀과 중첩되지 않도록 축소된다. The superpixel mapping unit 120 according to an embodiment may determine the size and shape of the superpixel according to the distance between the pixel to which the superpixel is mapped and the adjacent pixel and the depth value of the adjacent pixel. For example, the length of each side of a superpixel is an integer transform (rounding, rounding, rounding, ceiling function, floor function, etc.) of the horizontal and vertical distances between the pixel to which the superpixel is mapped and the adjacent pixel. ). Referring to FIG. 11, a superpixel is mapped to the second pixel 12, but a superpixel is not mapped to the first pixel 11 as described above. At this time, the shape of the superpixel mapped to the second pixel 12 may be varied according to the distance to the first pixel 11, which is an adjacent pixel, and the depth value of the first pixel 11. 10 and 11, the shape of the superpixel 20 mapped to the second pixel 12 does not overlap with the superpixel mapped below (vertical contraction), and extends to the first pixel 11 It is rectangular (extended in the horizontal direction). The superpixel mapping unit 120 according to an embodiment may determine the length of each side of the superpixel based on the spacing between adjacent foreground pixels and the spacing between adjacent superpixels. Referring to FIG. 11, the horizontal side of the superpixel 20 mapped to the second pixel 12 extends to cover the first pixel 11, which is an adjacent foreground pixel. The vertical side of the superpixel 20 in FIG. 11 is reduced so as not to overlap with the adjacent superpixel.

도 12는 종래 방식의 슈퍼픽셀 맵핑 방법에 의한 워핑 영상 및 블렌딩 영상을 나타내고, 도 13은 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 의한 워핑 영상 및 블렌딩 영상을 나타낸다.FIG. 12 shows warping images and blending images using a conventional superpixel mapping method, and FIG. 13 shows warping images and blending images using a superpixel mapping method according to an embodiment.

도 12의 왼쪽은, 종래 방식의 슈퍼픽셀 맵핑 방법에 따라 입력시점 영상의 픽셀이 가상시점의 영상좌표계로 워핑됨으로써 생성된 워핑 영상이고, 도 12의 오른쪽은, 왼쪽의 워핑 영상의 픽셀들이 블렌딩 조작에 의해 합성된 블렌딩 영상이다. 도 13의 왼쪽은, 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 따라 입력시점 영상의 픽셀이 가상시점의 영상좌표계로 워핑됨으로써 생성된 워핑 영상이고, 도 13의 오른쪽은, 왼쪽의 워핑 영상의 픽셀들이 블렌딩 조작에 의해 합성된 블렌딩 영상이다. The left side of FIG. 12 is a warping image generated by warping pixels of an input time image into a virtual coordinate system according to a conventional superpixel mapping method, and the right side of FIG. 12 is a blending operation of pixels of the left warping image It is a blended image synthesized by. The left side of FIG. 13 is a warping image generated by warping pixels of an input time image into a virtual coordinate image system according to a superpixel mapping method according to an embodiment, and the right side of FIG. 13 shows pixels of the left warping image This is a blending image synthesized by a blending operation.

도 12와 도 13을 비교하면, 도 13에서 전경 객체(몇 권의 책)의 내부 영역에는 슈퍼픽셀의 효과가 유지되고, 전경 객체와 배경 객체 간의 경계 영역에는 슈퍼픽셀이 맵핑되지 않고 홀로서 남겨져 있다. 검은색 홀로 남겨진 경계 영역은 추후 후처리 과정을 통해 보정될 수 있다. 그리고, 전경 객체의 모양 또는 깊이 값 등에 따라 전경 픽셀에 맵핑된 슈퍼픽셀의 형태가 가변되므로, 객체의 형태가 변형 없이 보존될 수 있다. 또한, 블렌딩 단계에서도 왜곡 및 흐려짐이 감소될 수 있다. 12 and 13, in FIG. 13, the effect of the superpixel is maintained in the inner region of the foreground object (a few books), and the superpixel is not mapped to the boundary region between the foreground object and the background object, and is left as a hole. have. The boundary area left by the black hole may be corrected through a post-processing process. In addition, since the shape of the superpixel mapped to the foreground pixel varies depending on the shape or depth value of the foreground object, the shape of the object can be preserved without deformation. Also, distortion and blurring can be reduced in the blending step.

위에서 설명한 대로 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 따르면, 인접 픽셀간 깊이 값 차이에 기반하여 슈퍼픽셀의 맵핑 여부가 결정되고 픽셀이 떨어진 거리에 따라 슈퍼픽셀의 크기 및 모양이 가변될 수 있어서, 객체-배경 간의 홀 영역에 생기는 흐려짐 현상이 감소될 수 있다. According to the superpixel mapping method according to an embodiment as described above, whether a superpixel is mapped based on a difference in depth values between adjacent pixels is determined, and the size and shape of a superpixel may be changed according to a distance from which a pixel is separated. The blurring occurring in the hole region between the object and the background can be reduced.

도 14는 한 실시예에 따른 가상 시점 영상좌표계의 한 점으로 워핑된 픽셀들을 나타낸 개념도이고, 도 15는 한 실시예에 따른 깊이 값 분포에 기반한 제3 가중치 결정 방법을 나타낸 개념도이다.14 is a conceptual diagram illustrating pixels warped with a point of a virtual viewpoint image coordinate system according to an embodiment, and FIG. 15 is a conceptual diagram illustrating a third weight determination method based on a depth value distribution according to an embodiment.

도 14를 참조하면, 가상시점 영상좌표계의 한 점 (x,y)로 워핑된 복수의 픽셀이 z축 상에서 깊이 값에 따라 분포되어 있다. 도 14에서 제4 픽셀(14)은 점 (x,y)에 워핑된 다른 픽셀의 깊이 값과 다른 깊이 값을 가진다. 즉, 제4 픽셀(14)과 달리, 유사한 픽셀 값을 갖고 z축 상에서 인접하여 분포하는 복수의 픽셀은 정확히 워핑된 것으로 판단될 수 있다(z축 상에서 서로 인접하여 분포하는 복수의 픽셀은 상호 신뢰성이 높음). 반면, z축 상에서 서로 인접하여 분포하는 복수의 픽셀과 달리 z축 상에서 홀로 멀리 떨어져서 위치하는 제4 픽셀(14)(outlier)은 잘못 워핑된 것으로 판단될 수 있다. Referring to FIG. 14, a plurality of pixels warped with one point (x, y) of the virtual viewpoint image coordinate system are distributed according to a depth value on the z-axis. In FIG. 14, the fourth pixel 14 has a depth value different from a depth value of another pixel warped at a point (x, y). That is, unlike the fourth pixel 14, it can be determined that a plurality of pixels having similar pixel values and adjacently distributed on the z-axis are accurately warped (the plurality of pixels distributed adjacent to each other on the z-axis are mutually reliable. This is high). On the other hand, unlike a plurality of pixels distributed adjacent to each other on the z-axis, it may be determined that the fourth pixel 14 (outlier) which is located far apart on the z-axis is warped incorrectly.

한 실시예에 따른 블렌딩부(130)는, 가상 시점 영상좌표계 상의 한 점으로 워핑된 복수의 픽셀의 깊이 값 분포를 바탕으로 각 픽셀에 대한 제3 가중치를 결정하고, 결정된 가중치를 고려하여 블렌딩을 수행할 수 있다. 가상 시점 영상좌표계의 한 점으로 워핑되는 복수의 픽셀은 둘 이상의 입력시점 영상으로부터 워핑되거나 또는 하나의 입력시점 영상으로부터 워핑될 수 있다. 하나의 입력시점 영상 내의 복수의 픽셀이 가상 시점 영상좌표계의 한 점으로 워핑될 때, 복수의 픽셀 중 가장 작은 깊이 값을 갖는 픽셀(즉, 최전경(the most foreground) 픽셀)이 상기 하나의 입력시점 영상으로부터 워핑된 것으로 결정될 수 있다. 예를 들어, 블렌딩부(130)는 하나의 입력시점 영상으로부터 워핑되는 복수의 픽셀 중 가장 작은 깊이 값을 갖는 픽셀을 상기 하나의 입력시점 영상의 대표 픽셀로 결정할 수 있다. 즉, 복수의 입력시점 영상으로부터 픽셀이 워핑될 때, 각 입력시점 영상의 최전경 픽셀이 가상 시점 영상좌표계의 한 점으로 워핑되는 것으로 간주될 수 있고, 블렌딩부(130)는 각 입력시점 영상의 대표 픽셀을 사용하여 영상 블렌딩을 수행할 수 있다. 도 15를 참조하면, 깊이 값에 대한 z축 상에서 밀집 분포 내에 포함된 복수의 픽셀에는 큰 가중치가 할당되고, 희소 분포를 보이는 픽셀에는 상대적으로 작은 가중치가 할당될 수 있다. 각 픽셀에 할당되는 가중치의 크기는 z축 상에서의 픽셀의 밀집도에 따라 결정될 수 있다. 또는 블렌딩부(130)는, z축 상에서 밀집 분포 내에 포함된 적어도 하나의 픽셀 군을 블렌딩에 사용할 수 있고, 희소 분포를 나타내는 픽셀은 블렌딩에서 제외할 수 있다.The blending unit 130 according to an embodiment determines the third weight for each pixel based on the distribution of depth values of a plurality of pixels warped to a point on the virtual viewpoint image coordinate system, and performs blending by considering the determined weight It can be done. The plurality of pixels warped to one point of the virtual viewpoint image coordinate system may be warped from two or more input viewpoint images or warped from one input viewpoint image. When a plurality of pixels in one input viewpoint image are warped to a point in the virtual viewpoint image coordinate system, the pixel having the smallest depth value among the plurality of pixels (ie, the most foreground pixel) is input to the one It can be determined to be warped from the viewpoint image. For example, the blending unit 130 may determine a pixel having the smallest depth value among a plurality of pixels warped from one input viewpoint image as a representative pixel of the one input viewpoint image. That is, when a pixel is warped from a plurality of input viewpoint images, the foremost pixel of each input viewpoint image may be considered to be warped as a point of the virtual viewpoint image coordinate system, and the blending unit 130 of each input viewpoint image Image blending may be performed using a representative pixel. 15, a large weight is assigned to a plurality of pixels included in a dense distribution on a z-axis for a depth value, and a relatively small weight can be assigned to a pixel showing a sparse distribution. The size of the weight assigned to each pixel may be determined according to the density of pixels on the z-axis. Alternatively, the blending unit 130 may use at least one group of pixels included in a dense distribution on the z-axis, and pixels representing a sparse distribution may be excluded from blending.

도 16은 한 실시예에 따른 블렌딩 가중치를 결정하는 방법을 나타낸 흐름도이고, 도 17a 내지 도 17f는 한 실시예에 따른 블렌딩 가중치를 결정하는 방법의 각 단계를 나타낸 개념도이다.16 is a flowchart illustrating a method for determining a blending weight according to an embodiment, and FIGS. 17A to 17F are conceptual diagrams showing each step of a method for determining a blending weight according to an embodiment.

한 실시예에 따른 블렌딩부(130)는 가상시점 영상좌표계의 한 점으로 워핑된 각 픽셀의 제3 가중치를 결정하고, 결정된 제3 가중치를 바탕으로 블렌딩을 수행할 수 있다. 도 16을 참조하면, 블렌딩부(130)는 가상시점 영상좌표계의 각 점에 대해, 각 점으로 워핑된 모든 픽셀의 깊이 값의 범위를 결정한다(S110). 도 17a를 참조하면, 가상시점 영상좌표계의 각 점으로 워핑된 모든 픽셀의 깊이 값의 범위는 Z_range로 결정된다. 블렌딩부(130)는 깊이 값의 범위 Z_range를 미리 결정된 크기 Z_step의 d개의 구간으로 분할한다(S120). 도 17b를 참조하면, d개의 구간은 각각 미리 결정된 크기 Z_range를 갖고, 실수인 깊이 값을 일정한 범위로 클러스터링할 수 있다. 이후, 블렌딩부(130)는 가상시점의 영상좌표계의 한 점에서, 일정한 범위로 클러스터링된 d개의 각 구간 z_i에 포함된 픽셀의 개수 n(z_x,y,i)를 카운트한다(S130). 도 17c를 참조하면, 가상시점의 영상좌표계의 한 점 (x,y)의 구간 z₀, z₁, ..., z_d _- ₁ 중 z₁에 7개, z₂에 2개, ..., z_d _-2에 1개의 픽셀이 각각 카운트된다. 이후, 블렌딩부(130)는 가상시점 영상좌표계의 한 점으로 워핑된 모든 픽셀에 대한 각 구간에 포함된 픽셀의 개수의 비율을 바탕으로 각 픽셀의 초기 가중치를 결정한다(S140). 예를 들어, 각 구간에 포함된 픽셀의 초기 가중치

는 아래 수학식 1과 같이 결정될 수 있다.The blending unit 130 according to an embodiment may determine a third weight of each pixel warped as a point of the virtual viewpoint image coordinate system, and perform blending based on the determined third weight. Referring to FIG. 16, the blending unit 130 determines a range of depth values of all pixels warped with each point for each point of the virtual viewpoint image coordinate system (S110). Referring to FIG. 17A, a range of depth values of all pixels warped to each point of the virtual viewpoint image coordinate system is determined as a Z _range . The blending unit 130 divides the range of depth values Z _range into d sections of a predetermined size Z _step (S120). Referring to FIG. 17B, each d section has a predetermined size Z _range , and a real depth value can be clustered in a constant range. Thereafter, the blending unit 130 counts the number of pixels n (z _{x, y, i} ) included in each of the d intervals z _i clustered in a certain range at a point of the virtual coordinates image coordinate system (S130). . Referring to FIG. 17C, a section z ₀ , z ₁ , ..., z _d _- ₁ of z ₁ , ₂ of z ₂ , and 2 of z. One pixel is counted in., z _d _-2 , respectively. Thereafter, the blending unit 130 determines the initial weight of each pixel based on the ratio of the number of pixels included in each section to all the pixels warped as one point of the virtual viewpoint image coordinate system (S140). For example, the initial weight of the pixels included in each section

Can be determined as in Equation 1 below.

수학식 1을 참조하면, 초기 가중치는 가상시점 영상좌표계 상의 한 점(x,y)의 픽셀이 구간 z_i에 포함될 확률을 나타낼 수 있다. 예를 들어, 구간 z1과 zd-2에 포함된 각 픽셀의 초기 가중치는 각각 아래 수학식 2와 같다.Referring to Equation 1, the initial weight may indicate a probability that a pixel of one point (x, y) on the virtual viewpoint image coordinate system is included in the section z _i . For example, the initial weight of each pixel included in the sections z1 and zd-2 is as shown in Equation 2 below.

초기 가중치는 그대로 블렌딩에 적용되거나, 또는 초기 가중치에 대해 추가 연산(예를 들어, 제곱 연산 등)이 수행된 후에 블렌딩에 적용될 수 있다. 추가 연산은 가중 효과의 강화를 위해 적용될 수 있다. 도 17e를 참조하면, 초기 가중치는 가중합(weighted sum) 연산을 통해 영상 블렌딩에 적용될 수 있다. 또는 픽셀의 깊이 값이 밀집 분포된 곳이 둘 이상 있을 때, 깊이 값이 큰 픽셀의 가중치가 강화될 수 있다. 즉, 한 실시예에 따른 블렌딩부(130)는, 밀집 분포된 곳이 둘 이상의 픽셀 클러스터 중에서, 깊이 값이 더 큰 픽셀의 가중치를 더 강화함으로써 픽셀의 가시성에 따라 가중치를 강화할 수 있다. 도 17f를 참조하면, 깊이 값이 상대적으로 작은 z₁ 구간과 깊이 값이 상대적으로 큰 z_d _- ₁ 구간에 각각 비슷한 개수의 픽셀이 분포되어 있을 때, 한 실시예에 따른 블렌딩부(130)는 z₁ 구간의 가중치를 약화시키고 z_d-1 구간의 가중치를 강화시키는 방식으로 픽셀의 가시성에 따라 가중치의 강도를 조절할 수 있다. 가상시점 영상좌표계의 한 점 (x,y)에, 구간 z_d _-1에 해당하는 깊이 값을 갖는 픽셀이 많이 위치한다는 것은, 구간 z_d _-1 내에 포함된 픽셀을 가리는 다른 픽셀이 적다는 것이다. 즉, z₁ 깊이 영역에 대한 관측이 가능했음에도 불구하고 z_d _-1 범위의 깊이 값을 갖는 픽셀이 워핑 및 맵핑되었음을 의미한다. 따라서, 블렌딩부(130)는, 구간 z_d _-1 내의 픽셀이 가시성이 높은 곳에 맵핑된 픽셀(깊이 값이 작은 픽셀)보다 상대적으로 높은 신뢰성을 갖는 것으로 판단하고, z_d _- ₁ 구간 내의 픽셀의 가중치의 강도를 더 강화할 수 있다. 픽셀의 가시성은, 픽셀이 포함되는 구간보다 더 큰 깊이 값을 갖는 픽셀의 개수의 누적으로 결정될 수 있다.The initial weight may be applied to the blending as it is, or may be applied to the blending after an additional operation (eg, a square operation, etc.) is performed on the initial weight. Additional calculations can be applied to enhance the weighting effect. Referring to FIG. 17E, the initial weight may be applied to image blending through a weighted sum operation. Alternatively, when there are two or more places where the depth values of the pixels are densely distributed, the weight of the pixels having a large depth value may be enhanced. That is, the blending unit 130 according to an embodiment may strengthen the weight according to the visibility of the pixel by further strengthening the weight of a pixel having a larger depth value among two or more pixel clusters where densely distributed. Referring to FIG. 17F, when a similar number of pixels are distributed in a z ₁ section having a relatively small depth value and a z _d ₋ ₁ section having a relatively large depth value, the blending unit 130 according to an embodiment in a way that affects the weight of the section z ₁ and strengthen the weight of the _{z-d 1} segment in accordance with the visibility of the pixel you can adjust the intensity of weighting. The fact that a number of pixels having a depth value corresponding to the interval z _d _-1 is located at one point (x, y) of the virtual viewpoint image coordinate system means that there are fewer other pixels that cover pixels included in the interval z _d _-1 . That is, it means that pixels having a depth value in the range of z _d _-1 are warped and mapped despite the observation of the z ₁ depth region. Accordingly, the blending unit 130, a pixel in the interval z _d _-1 likely than with a relatively high reliability of the pixel (the pixel depth value is less) mapped on high visibility, and _d z _- ₁ pixel in the interval The strength of the weight can be further strengthened. The visibility of a pixel can be determined by the accumulation of the number of pixels having a depth value greater than the interval in which the pixel is included.

위에서 설명한 대로 한 실시예에 따르면, 가상시점 영상좌표계의 한 점으로 워핑된 픽셀의 깊이 값 분포를 기반으로 가중치가 할당되고, 밀집도가 높은 구간에 큰 가중치가 할당됨으로써, 아웃라이어의 영향이 감소되고 영상 혼합 신뢰도가 높아질 수 있다. 또한 가시성이 좋은 영역과 상대적으로 좋지 않은 영역에 대한 가중치의 강도가 조절되어 신뢰도가 더욱 개선될 수 있다.As described above, according to an embodiment, weights are assigned based on the distribution of depth values of pixels warped to a point in the virtual viewpoint image coordinate system, and large weights are assigned to sections with high density, thereby reducing the influence of outliers. Image mixing reliability can be increased. In addition, the strength of weights for regions with good visibility and regions with poor visibility can be adjusted to further improve reliability.

도 18 및 도 19는 한 실시예에 따른 슈퍼픽셀의 크기에 따라 제4 가중치를 결정하는 방법을 나타낸 개념도이다.18 and 19 are conceptual views illustrating a method of determining a fourth weight according to the size of a superpixel according to an embodiment.

슈퍼픽셀 기법은 픽셀 단위의 워핑기반 시점 합성을 일부 보완할 수 있지만, 가상시점의 영상좌표계 상의 한 점으로 직접 워핑된 픽셀보다는 부정확하다. 실제로는 워핑되지 않은 픽셀이 인접 픽셀의 정보를 이용하여 근사되는 방식이기 때문이다. 즉, 가상시점 영상좌표계의 한 점에, 직접 워핑된 픽셀과 슈퍼픽셀이 모두 있다면, 직접 워핑된 픽셀의 신뢰성이 더 높다. 한 실시예에 따른 블렌딩부(130)는 가상시점 영상좌표계의 한 점에 대응하는 복수의 픽셀의 크기를 기반으로 제4 가중치를 결정하고, 결정된 제4 가중치를 블렌딩에 적용할 수 있다. 예를 들어, 가중치는 픽셀의 변(또는 큰 변)의 길이에 반비례하거나(또는 변의 길이의 역수에 비례) 또는 픽셀의 면적의 크기에 반비례(또는 면적의 크기의 역수에 비례)할 수 있다. 도 18을 참조하면, 제5 픽셀(15), 제6 픽셀(16), 및 제7 픽셀(17)에 각각 할당되는 가중치의 크기의 순서는 w₁₅>w₁₆>w₁₇일 수 있다. The superpixel technique can partially complement warping-based view synthesis in units of pixels, but is inaccurate than a pixel directly warped with a point on the virtual coordinate image system. This is because, in practice, an unwarped pixel is approximated using information of adjacent pixels. That is, if there is both a directly warped pixel and a superpixel at one point of the virtual view image coordinate system, the reliability of the directly warped pixel is higher. The blending unit 130 according to an embodiment may determine the fourth weight based on the size of a plurality of pixels corresponding to one point of the virtual viewpoint image coordinate system, and apply the determined fourth weight to the blending. For example, the weight may be inversely proportional to the length of the side (or large side) of the pixel (or proportional to the reciprocal of the length of the side) or inversely proportional to the size of the area of the pixel (or proportional to the reciprocal of the size of the area). Referring to FIG. 18, an order of magnitudes of weights allocated to the fifth pixel 15, the sixth pixel 16, and the seventh pixel 17 may be w ₁₅ > w ₁₆ > w ₁₇ .

가상시점의 영상좌표계의 한 점에 대응하는 하나의 워핑 영상은, 상기 한 점으로 워핑된 픽셀 중 가장 작은 깊이 값을 가지는 단일 픽셀로 결정될 수 있다. 이때 블렌딩부(130)는 맵핑된 슈퍼픽셀의 크기를 기준으로 가중치를 부여하여, 큰 크기의 슈퍼픽셀에는 영상 블렌딩 과정에서 낮은 가중치가 할당될 수 있다. 도 19를 참조하면, 제8 픽셀(18)의 크기가 제9 픽셀(19)의 크기보다 클 때, 각 슈퍼픽셀에는 변의 길이(또는 변의 길이 중 긴 변)의 역수만큼의 가중치가 할당되므로, 제8 픽셀(18)에는 제9 픽셀(19)보다 더 작은 크기의 가중치가 할당될 수 있다. 위에서 설명한 대로 한 실시예에 따르면, 개별 워핑 영상에 맵핑된 슈퍼픽셀의 크기에 따라 가중치가 설정되고, 큰 크기로 맵핑된 슈퍼픽셀에 낮은 가중치가 할당됨으로써, 영상 혼합과정에서 슈퍼픽셀에 의한 왜곡이 감소될 수 있다. One warping image corresponding to one point of the image coordinate system of the virtual viewpoint may be determined as a single pixel having the smallest depth value among pixels warped by the one point. At this time, the blending unit 130 assigns weights based on the size of the mapped superpixels, so that a large weighted superpixel may be assigned a low weight in the image blending process. Referring to FIG. 19, when the size of the eighth pixel 18 is larger than the size of the ninth pixel 19, each superpixel is assigned a weight equal to the reciprocal of the length of the side (or the longer side of the side), The eighth pixel 18 may be assigned a weight smaller than the ninth pixel 19. As described above, according to an embodiment, the weight is set according to the size of a superpixel mapped to an individual warping image, and a low weight is assigned to a superpixel mapped to a large size, thereby distorting the superpixel during image mixing. Can be reduced.

도 20은 한 실시예에 따른 최종 가중치 결정 방법을 나타낸 개념도이다.20 is a conceptual diagram illustrating a final weight determination method according to an embodiment.

한 실시예에 따른 블렌딩부(130)는 위에서 설명한 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치를 통합하여 하나의 픽셀에 대한 최종 가중치를 결정할 수 있다. 블렌딩부(130)는 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치 중 하나를 선택하여 픽셀에 할당할 수도 있고, 또는 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치 중 일부를 선택하여 선택된 일부를 통합할 수도 있으며, 또는 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치를 모두 통합할 수도 있다.The blending unit 130 according to an embodiment may determine the final weight for one pixel by combining the first weight, the second weight, the third weight, and the fourth weight described above. The blending unit 130 may select one of the first weight, the second weight, the third weight, and the fourth weight and assign it to the pixel, or the first weight, the second weight, the third weight, and the fourth weight The selected part may be integrated by selecting some of the weights, or all of the first weight, the second weight, the third weight, and the fourth weight may be integrated.

위의 도 7에서, 베이스라인(baseline)에 기반한 제1 가중치는 워핑 오류를 줄일 수 있지만 전경 픽셀 및 배경 픽셀을 구분시키기 어렵다. 그리고 도 8에서, 깊이 값에 기반한 제2 가중치는 멀리 떨어진 입력 시점으로부터 잘못 워핑된 전경 객체에 인한 오류에 취약하다. 이 두 가중치가 적절한 비율로 가중평균될 때, 두 가중치는 상호보완적으로 이용될 수 있다. 위에서 설명한 깊이 값의 분포에 기반하는 제3 가중치 및 슈퍼픽셀의 크기에 기반하는 제4 가중치도, 통합되어 최종 가중치로서 사용될 수 있다. 도 20을 참조하면, 베이스라인에 기반하는 제1 가중치, 깊이 값에 기반하는 제2 가중치, 깊이 값 분포에 기반하는 제3 가중치, 및 슈퍼픽셀의 크기에 기반하는 제4 가중치는 가중 평균을 통해 최종 가중치로 결정된다. 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치의 통합 비율은 a:b:c:d로 표현될 수 있고, 가중치 통합 비율의 조정을 통해 영상 블렌딩 시 필요한 기능이 강조되거나 제거될 수 있다. 이때 가중치는 가상시점 영상좌표계의 각 픽셀마다 계산되며, 가상시점 영상좌표계의 한 점에 위치하는 픽셀의 가중치의 총합은 1이다(normalization). 즉, 한 실시예에 따르면, 베이스라인 기반 가중치, 깊이 값 기반 가중치, 깊이 값 분포 기반의 가중치, 및 슈퍼픽셀 크기 기반의 가중치가 가중평균됨으로써, 블렌딩 결과가 개선될 수 있다.In FIG. 7 above, the first weight based on the baseline can reduce warping errors, but it is difficult to distinguish between foreground and background pixels. In addition, in FIG. 8, the second weight based on the depth value is vulnerable to an error due to a foreground object that is erroneously warped from an input point far away. When these two weights are weighted and averaged at an appropriate ratio, the two weights can be used complementarily. The third weight based on the distribution of the depth value described above and the fourth weight based on the size of the superpixel may also be integrated and used as the final weight. Referring to FIG. 20, the first weight based on the baseline, the second weight based on the depth value, the third weight based on the depth value distribution, and the fourth weight based on the size of the superpixel are through a weighted average. It is determined by the final weight. The combined ratio of the first weight, the second weight, the third weight, and the fourth weight may be expressed as a: b: c: d, and functions necessary for image blending may be emphasized or removed through adjustment of the weight integration ratio. Can be. At this time, the weight is calculated for each pixel of the virtual viewpoint image coordinate system, and the sum of the weights of pixels located at one point of the virtual viewpoint image coordinate system is 1 (normalization). That is, according to an embodiment, the blending result may be improved by weighted average of the baseline-based weight, the depth-value-based weight, the depth-value-based weight, and the superpixel size-based weight.

도 21은 다른 실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이다.21 is a block diagram illustrating an apparatus for generating a virtual viewpoint image according to another embodiment.

한 실시예에 따른 가상시점 영상 생성 장치는, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 도 21을 참조하면, 컴퓨터 시스템(2100)은, 버스(2170)를 통해 통신하는 프로세서(2110), 메모리(2130), 입력 인터페이스 장치(2150), 출력 인터페이스 장치(2160), 및 저장 장치(2140) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(2100)은 또한 네트워크에 결합된 통신 장치(2120)를 포함할 수 있다. 프로세서(2110)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(2130) 또는 저장 장치(2140)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(2130) 및 저장 장치(2140)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.The virtual viewpoint image generating apparatus according to an embodiment may be implemented as a computer system, for example, a computer-readable medium. Referring to FIG. 21, the computer system 2100 includes a processor 2110 communicating through a bus 2170, a memory 2130, an input interface device 2150, an output interface device 2160, and a storage device 2140 ). The computer system 2100 can also include a communication device 2120 coupled to a network. The processor 2110 may be a central processing unit (CPU) or a semiconductor device that executes instructions stored in the memory 2130 or the storage device 2140. The memory 2130 and the storage device 2140 may include various types of volatile or nonvolatile storage media. For example, the memory may include read only memory (ROM) and random access memory (RAM). In the embodiments of the present disclosure, the memory may be located inside or outside the processor, and the memory may be connected to the processor through various known means. Memory is a volatile or non-volatile storage medium of various types, and for example, the memory may include read-only memory (ROM) or random access memory (RAM).

따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.Thus, embodiments of the present invention may be implemented as a computer-implemented method or as a non-transitory computer-readable medium having computer-executable instructions stored thereon. In one embodiment, when executed by a processor, computer readable instructions may perform a method according to at least one aspect of the present disclosure.

통신 장치(2120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. The communication device 2120 may transmit or receive a wired signal or a wireless signal.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. 구체적으로, 본 발명의 실시예에 따른 방법(예, 네트워크 관리 방법, 데이터 전송 방법, 전송 스케줄 생성 방법 등)은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. Meanwhile, the embodiment of the present invention is not implemented only through the apparatus and / or method described so far, and may be implemented through a program that realizes a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded. There is, such an implementation can be easily implemented by those skilled in the art to which the present invention pertains from the description of the above-described embodiment. Specifically, a method according to an embodiment of the present invention (eg, a network management method, a data transmission method, a transmission schedule generation method, etc.) is implemented in the form of program instructions that can be performed through various computer means, and is used for computer-readable media. Can be recorded. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the computer-readable medium may be specially designed and configured for an embodiment of the present invention, or may be known and usable by those skilled in the computer software field. The computer-readable recording medium may include hardware devices configured to store and execute program instructions. For example, computer readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and floptical disks. It may be the same magneto-optical media, ROM, RAM, flash memory, and the like. The program instructions may include machine language codes such as those produced by a compiler, as well as high-level language codes that can be executed by a computer through an interpreter or the like.

이상에서 실시예에 대하여 상세하게 설명하였지만 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 권리범위에 속하는 것이다.Although the embodiments have been described in detail above, the scope of rights is not limited to this, and various modifications and improvements of those skilled in the art using the basic concepts defined in the following claims also belong to the scope of rights.

Claims

As a method of generating a virtual viewpoint image,
Obtaining at least one input-viewpoint image and warping pixels of the at least one input-viewpoint image to a virtual-viewpoint image coordinate system,
If a difference between a first depth value of a first pixel and a second depth value of a second pixel adjacent to the first pixel among a plurality of pixels warped with the image coordinate system is less than or equal to a predetermined threshold, the first pixel Mapping a patch, and if the difference is greater than the predetermined threshold, not mapping the patch to the first pixel, and
Blending the plurality of warped pixels and / or the patch to generate the virtual viewpoint image
Method for generating a virtual viewpoint image comprising a.

In claim 1,
The depth value of the first pixel is smaller than the depth value of the second pixel, the method of generating a virtual viewpoint image.

In claim 1,
The step of generating the virtual viewpoint image by blending the warped pixels and / or the patch may include:
Assigning a weight to each of the plurality of warped pixels based on a distribution of depth values of the plurality of warped pixels, and
Blending the warped plurality of pixels and / or the patch based on the weight
Including, a virtual viewpoint image generation method.

In claim 3,
The step of assigning a weight to each of the plurality of warped pixels based on the distribution of depth values of the plurality of warped pixels may include:
Assigning a large weight to a plurality of pixels included in a dense distribution among the warped pixels, and assigning a small weight to a pixel showing a sparse distribution among the warped pixels.
Including, a virtual viewpoint image generation method.

In claim 3,
Blending the plurality of warped pixels and / or the patch based on the weight may include:
Excluding from the blending the pixels showing the sparse distribution of the plurality of warped pixels, using a plurality of pixels included in the dense distribution of the plurality of warped pixels for blending
Including, a virtual viewpoint image generation method.

In claim 3,
The step of generating the virtual viewpoint image by blending the warped pixels and / or the patch may include:
Assigning a relatively small weight to a relatively large patch among the patches, and assigning a relatively large weight to a relatively small patch among the patches
Further comprising, a virtual viewpoint image generation method.

In claim 1,
The step of generating the virtual viewpoint image by blending the warped pixels and / or the patch may include:
Determining a first weight according to a distance from which the warped pixels are separated from the pixels of the at least one input viewpoint image,
Determining a second weight proportional to the reciprocal of the depth value of the warped plurality of pixels, and
Determining a final weight by combining the first weight and the second weight, and blending the warped pixels and / or the patch based on the final weight
Including, a virtual viewpoint image generation method.

In claim 1,
The step of generating the virtual viewpoint image by blending the warped pixels and / or the patch may include:
Assigning a relatively small weight to a relatively large first patch among the patches, and assigning a relatively large weight to a relatively small second patch among the patches, and
Blending the first patch and the second patch in consideration of the weight assigned to the first patch and the weight assigned to the second patch
Including, a virtual viewpoint image generation method.

In claim 1,
The step of generating the virtual viewpoint image by blending the warped pixels and / or the patch may include:
Determining a first weight according to a distance from which the warped pixels are separated from the pixels of the at least one input viewpoint image,
Determining a second weight proportional to the reciprocal of the depth value of the warped plurality of pixels,
Determining a third weight based on the distribution of depth values of the warped pixels,
Determining a fourth weight according to the size of the patch, and
Combining the first weight, the second weight, the third weight, and the fourth weight to determine a final weight, and blending the warped pixels and / or the patch based on the final weight
Including, a virtual viewpoint image generation method.

A device for generating a virtual viewpoint image,
A warping unit for warping pixels of at least one input-viewpoint image to a virtual-viewpoint image coordinate system, and
A blending unit that assigns weights to the plurality of warped pixels based on a distribution of depth values of a plurality of pixels warped with the image coordinate system, and blends the warped pixels based on the weights.
Virtual viewpoint image generating apparatus comprising a.

In claim 10,
The blending portion,
An apparatus for generating a virtual viewpoint image, wherein a large weight is assigned to a plurality of pixels included in a dense distribution among the plurality of warped pixels, and a small weight is assigned to a pixel showing a rare distribution among the plurality of warped pixels.

In claim 10,
The blending portion,
A virtual viewpoint image generating apparatus using a plurality of pixels included in a dense distribution among the warped plurality of pixels, except for pixels displaying a rare distribution among the warped pixels.

In claim 10,
The blending portion,
Determining a first weight according to a distance from which the plurality of warped pixels are separated from a pixel of the at least one input viewpoint image, and determining a second weight proportional to an inverse of a depth value of the warped plurality of pixels, A virtual viewpoint image generating apparatus that determines the final weight by integrating the first weight and the second weight, and blends the warped pixels and / or the patch based on the final weight.

In claim 10,
Superpixel mapping that maps a superpixel to the first pixel based on a difference between a first depth value of a first pixel and a second depth value of a second pixel adjacent to the first pixel among the plurality of warped pixels. part
A virtual viewpoint image generating device further comprising a.

In claim 14,
The super pixel mapping unit,
If the difference is less than or equal to a predetermined threshold, a patch is mapped to the first pixel, and if the difference is greater than the predetermined threshold, the patch is not mapped.

In claim 10,
The blending portion,
When a plurality of first pixels are warped to a first position of the virtual viewpoint image coordinate system from a first input viewpoint image among the at least one input viewpoint image, the pixels having the smallest depth value among the plurality of first pixels are recalled. An apparatus for generating a virtual viewpoint image, which is determined as a representative pixel of the first input viewpoint image.

In claim 14,
The blending portion,
And a relatively small weight assigned to a relatively large superpixel among the superpixels and a relatively large weight assigned to a relatively small superpixel among the superpixels.

In claim 10,
The blending portion,
Determining a first weight according to a distance from which the plurality of warped pixels are separated from a pixel of the at least one input viewpoint image, and determining a second weight proportional to an inverse of a depth value of the warped plurality of pixels, A third weight is determined based on a distribution of depth values of the warped pixels, and a final weight is determined by combining the first weight, the second weight, and the third weight, and based on the final weight A device for generating a virtual viewpoint image by blending the warped pixels and / or the patch.

In claim 14,
The blending portion,
Determining a first weight according to a distance from which the plurality of warped pixels are separated from a pixel of the at least one input viewpoint image, and determining a second weight proportional to an inverse of a depth value of the warped plurality of pixels, A third weight is determined based on a distribution of depth values of the warped pixels, a fourth weight is determined according to the size of the patch, and the first weight, the second weight, the third weight, and A virtual viewpoint image generating apparatus that determines the final weight by integrating the fourth weight, and blends the warped pixels and / or the patch based on the final weight.

A device for generating a virtual viewpoint image,
Includes a processor and memory,
The processor executes a program included in the memory,
Warping the pixels of at least one input-viewpoint image transmitted from the imaging device to a virtual-viewpoint image coordinate system, and
If a difference between a first depth value of a first pixel and a second depth value of a second pixel adjacent to the first pixel among a plurality of pixels warped with the image coordinate system is less than or equal to a predetermined threshold, the first pixel Mapping a patch, and if the difference is greater than the predetermined threshold, not mapping the patch to the first pixel, and
Blending the plurality of warped pixels and / or the patch to generate the virtual viewpoint image
A device for generating a virtual viewpoint image.