KR20160048271A - Quality-adaptive Method and System for Multiview Image Synthesis - Google Patents
Quality-adaptive Method and System for Multiview Image Synthesis Download PDFInfo
- Publication number
- KR20160048271A KR20160048271A KR1020140144160A KR20140144160A KR20160048271A KR 20160048271 A KR20160048271 A KR 20160048271A KR 1020140144160 A KR1020140144160 A KR 1020140144160A KR 20140144160 A KR20140144160 A KR 20140144160A KR 20160048271 A KR20160048271 A KR 20160048271A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- binocular
- synthesis
- quality
- view
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
본 발명은 영상 합성에 관한 것으로, 다시점 디스플레이를 위한 가상 시점 영상 합성 방법 및 시스템에 관한 것이다.
The present invention relates to image synthesis, and more particularly, to a virtual viewpoint image synthesis method and system for multi-view display.
1) HEVC 확장 표준의 다시점 영상 합성 방법1) Multi-view image synthesis method of HEVC extension standard
HEVC(High Efficiency Video Coding)는 영상 압축 표준 H.264/AVC 이후 고해상도 및 초고속 프레임율을 갖는 초고화질 디지털 영상이 증가함에 따라 기존의 압축 성능을 능가하는 새로운 압축 표준이 필요해짐에 따라 새롭게 표준화된 차세대 영상 압축 표준이다. 또한, HEVC 기반 3차원 영상 부호화 표준인 3D-HEVC와 다시점 영상 부호화 표준인 MV-HEVC는 다시점 카메라로 획득한 영상의 효율적인 압축 기술과 가상 시점 합성 방법을 포함하고 있다.Since the HEVC (High Efficiency Video Coding) requires a new compression standard that exceeds the existing compression performance as the H.264 / AVC and H.264 / AVC super high resolution digital images with high resolution and super high frame rate are increased, It is the next generation image compression standard. In addition, 3D-HEVC, which is a HEVC-based 3D image coding standard, and MV-HEVC, a multi-view image coding standard, include an efficient compression technique of an image obtained by a multi-view camera and a virtual view synthesis method.
3D-HEVC와 MV-HEVC의 참조 소프트웨어인 3D-HTM의 가상 시점 영상 합성 방법을 살펴보면, 2개의 서로 다른 시점에서 촬영한 컬러 영상과 그에 대응하는 깊이맵을 사용하여 두 시점 사이에 위치하는 가상의 시점 영상을 합성한다. 합성 과정의 주요 내용은 아래의 두 경우에 해당하는 영역들을 탐지(detection)하여 두 개의 입력 영상과 깊이맵을 사용하여 보간(interpolation)하는 것이다.The virtual-view image synthesis method of 3D-HEVC and MV-HEVC, which is the reference software of 3D-HTVC, can be described as follows. By using a color image photographed at two different viewpoints and a corresponding depth map, The viewpoint image is synthesized. The main content of the synthesis process is to detect areas corresponding to the following two cases and interpolate using two input images and a depth map.
- disocclusion: 참조 영상에서 안보였던 부분이 가상 시점에서 보이게 되는 픽셀. 즉, 빈 영역(hole region)으로 남음.- disocclusion: A pixel where the part that was not visible in the reference image is visible at the virtual point. That is, it remains as a hole region.
- occlusion: 참조 영상에서 보였던 부분이 가상 시점에서 안보이게 되는 픽셀
- occlusion: a pixel that is visible in the reference image and not visible at the virtual viewpoint
2) H.264/AVC 확장 표준의 다시점 영상 합성 방법2) Multi-view image synthesis method of H.264 / AVC extension standard
HEVC와 유사하게 H.264/AVC에서도 3차원 영상 부호화 표준인 3D-AVC와 다시점 영상 부호화 표준인 MVC+D가 존재한다. 두 확장 표준의 참조 소프트웨어인 3D-ATM의 가상 시점 영상 합성 방법을 살펴보면, HEVC에서와 거의 동일하게 합성 과정이 이루어진다.
Similar to HEVC, 3D-AVC, which is a 3D image coding standard, and MVC + D, a multi-view image coding standard exist in H.264 / AVC. If we look at the virtual-view image synthesis method of 3D-ATM, which is the reference software of the two extension standards, the synthesis process is almost the same as in HEVC.
기존의 HEVC의 다시점 영상 합성 방법은 계산 복잡도가 높기 때문에 빠른 합성 속도를 요구하는 어플리케이션에는 적합하지 못하다는 문제가 있다.
Conventional multi-view image synthesis method of HEVC has a problem in that it is not suitable for applications requiring fast synthesis speed because of high computational complexity.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다시점 영상 생성을 위한 영상 합성 속도를 높이기 위한 방안으로, 합성에 사용되는 영상의 화질에 따라 가상 시점 영상의 합성 기법을 다르게 하여 불필요한 연산량과 리소스 소비를 줄이는 방법 및 시스템을 제공함에 있다.
SUMMARY OF THE INVENTION It is an object of the present invention to improve the speed of image synthesis for multi-view image generation, And a method and system for reducing unnecessary computation amount and resource consumption by using different techniques.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 다시점 영상 합성 방법은, 양안 영상의 화질값을 판별하는 단계; 판별된 화질값을 기초로, 영상 합성 모드를 결정하는 단계; 및 결정된 영상 합성 모드에 따라, 상기 양안 영상으로부터 다시점 영상을 생성하는 단계;를 포함한다.According to an aspect of the present invention, there is provided a multi-view image synthesis method including: discriminating an image quality value of a binocular image; Determining an image combining mode based on the determined image quality value; And generating a multi-view image from the binocular image in accordance with the determined image combining mode.
그리고, 상기 결정단계는, 상기 판별된 화질값이 제1 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나를 이용하는 제1 합성 모드를 결정하고, 상기 생성단계는, 상기 제1 합성 모드에 따라, 상기 양안 영상을 구성하는 좌-영상과 우-영상 중 화질이 더 좋은 영상을 이용하여 상기 다시점 영상들을 생성할 수 있다.If the determined image quality value is in the first range, the determining step determines a first combining mode using one of a left-image and a right-image forming the binocular image in the image combining mode, According to the first combining mode, the multi-view images can be generated by using an image having better image quality among the left-eye image and the right-eye image constituting the binocular image.
또한, 상기 결정단계는, 상기 판별된 화질값이 제2 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나를 선별적으로 이용하는 제2 합성 모드를 결정하고, 상기 생성단계는, 상기 제2 합성 모드에 따라, 상기 양안 영상을 구성하는 좌-영상 및 우-영상 중, 우-영상 보다 좌-영상에 가까운 시점의 영상은 좌-영상을 이용하고, 좌-영상 보다 우-영상에 가까운 시점의 영상은 우-영상을 이용하여 상기 다시점 영상을 생성할 수 있다.If the determined image quality value is in the second range, the determining step determines a second combining mode in which one of the left-image and the right-image forming the binocular image is selectively used in the image combining mode, In the second synthesis mode, among the left-image and right-eye images constituting the binocular image, a left-eye image is used for a viewpoint closer to the left-eye image than a right- The multi-view image can be generated using the right-eye image at a time point close to the right-eye image than the image.
그리고, 상기 판별 단계는, 상기 양안 영상에 대한 QP(quantization parameter)를 기반으로, 상기 양안 영상의 화질값을 판별할 수 있다.The determining step may determine an image quality value of the binocular image based on a quantization parameter (QP) of the binocular image.
또한, 상기 양안 영상의 화질값은, 좌-영상에 대한 정규화된 QP와 우-영상에 대한 정규화된 QP의 평균값일 수 있다.In addition, the image quality value of the binocular image may be an average value of the normalized QP for the left-image and the normalized QP for the right-image.
한편, 본 발명의 다른 실시예에 따른, 다시점 영상 합성 시스템은, 양안 영상의 화질값을 판별하여, 영상 합성 모드를 결정하는 결정부; 및 상기 결정부에서 결정된 영상 합성 모드에 따라, 상기 양안 영상으로부터 다시점 영상들을 생성하는 합성부;를 포함한다.
According to another aspect of the present invention, there is provided a multi-view image synthesis system including: a determination unit for determining image quality values of a binocular image and determining an image synthesis mode; And a synthesizer for generating multi-view images from the binocular image according to the image synthesis mode determined by the determination unit.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 입력 영상 화질에 적합한 합성 기법을 자동으로 결정함으로써 불필요한 계산과 리소스 낭비를 줄일 수 있게 된다.As described above, according to the embodiments of the present invention, unnecessary calculation and resource waste can be reduced by automatically determining a synthesis technique suitable for the input image quality.
뿐만 아니라, 기존의 양안 영상 기반 합성 알고리즘 보다 낮은 복잡도의 합성 알고리즘을 제공함으로써 빠른 속도로 합리적인 화질의 합성 결과를 얻을 수 있게 된다.
In addition, by providing a synthesis algorithm with lower complexity than the conventional binocular image-based synthesis algorithm, it is possible to achieve a reasonable image quality synthesis result at a high speed.
도 1은 본 발명의 일 실시예에 따른 영상 합성 시스템의 블럭도,
도 2는 본 발명의 다른 실시예에 따른 영상 합성 방법의 설명에 제공되는 흐름도,
도 3은 단일 영상 기반 합성 기법을 도식적으로 나타낸 도면,
도 4는 단순화된 단일 영상 기반 합성 기법을 도식적으로 나타낸 도면, 그리고,
도 5는 양안 영상 기반 합성 기법을 도식적으로 나타낸 도면이다.1 is a block diagram of a video synthesis system according to an embodiment of the present invention;
FIG. 2 is a flow chart for explaining an image synthesis method according to another embodiment of the present invention;
3 illustrates schematically a single image-based synthesis technique,
Figure 4 is a diagrammatic representation of a simplified single image based synthesis scheme,
5 is a diagram schematically illustrating a binocular image-based synthesis technique.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 영상 합성 시스템의 블럭도이다. 본 발명의 실시예에 따른 영상 합성 시스템은, 디코딩된 영상의 화질에 따라 각기 다른 기법으로 영상을 합성하여 다시점 영상을 생성한다.1 is a block diagram of a video synthesis system according to an embodiment of the present invention. The image synthesis system according to the embodiment of the present invention generates a multi-view image by synthesizing images according to different methods according to the image quality of the decoded image.
이와 같은 기능을 수행하는, 본 발명의 실시예에 따른 영상 합성 시스템은, 도 1에 도시된 바와 같이, 영상 입력부(110), 영상 디코더(120), 영상 합성부(130) 및 합성모드 결정부(140)를 포함한다.1, the image synthesizing system according to the embodiment of the present invention performs the functions as described above. The image synthesizing system includes an
영상 입력부(110)는 저장매체나 네트워크로부터 영상을 입력받고, 영상 디코더(120)는 입력된 영상을 디코딩한다. 영상 합성부(130)는 영상 디코더(120)에서 디코딩된 영상을 이용하여 다시점 영상을 생성한다. 합성모드 결정부(140)는 영상 합성부(130)가 다시점 영상에 적용할 영상 합성 모드를 결정한다.The
합성 모드 결정시, 합성모드 결정부(140)는 영상 디코더(120)에서 디코딩된 영상의 화질을 참조한다. 즉, 영상의 화질에 따라, 영상 합성부(130)가 이용할 영상 합성 기법이 결정된다.When determining the combining mode, the combining
이하에서, 도 1에 도시된 영상 합성 시스템에 의한 영상 합성 과정에 대해, 도 2를 참조하여 상세히 설명한다. 도 2는 본 발명의 다른 실시예에 따른 영상 합성 방법의 설명에 제공되는 흐름도이다.Hereinafter, an image synthesizing process by the image synthesizing system shown in FIG. 1 will be described in detail with reference to FIG. FIG. 2 is a flowchart illustrating an image synthesis method according to another embodiment of the present invention.
도 2에 도시된 바와 같이, 먼저, 영상 디코더(120)는 영상 입력부(110)를 통해 입력된 영상을 디코딩한다(S210).As shown in FIG. 2, the
그러면, 합성모드 결정부(140)는 S210단계에서 디코딩된 영상의 화질을 판별한다(S220).Then, the combining
국제표준 영상 인코더는 입력 동영상을 압축한 결과물로서 비트스트림(bitstream)을 출력한다. 비트스트림 내에는 신택스 요소(Syntax element)라 불리는 영상 디코딩을 위한 정보들이 정해진 순서에 따라 기술되어 있다.The international standard video encoder outputs a bitstream as a result of compressing an input moving image. In the bit stream, information for image decoding called a syntax element is described in a predetermined order.
영상 디코더(120)는 비트스트림을 입력받아 각 신택스 요소에 해당하는 비트를 값으로 복호화하고, 그 규칙에 따라 영상을 복호화하여 출력한다. 신택스 요소에는 픽쳐의 화질과 관련된 요소들도 포함되어 있다.The
QP(quantization parameter, 양자화 파라미터)는 주파수 계수의 스케일링을 위해 사용되는 변수로서, QP 값에 따라 디코딩된 영상의 화질이 선형 또는 비선형적으로 변화된다. 따라서, 본 발명의 실시예에서는 QP 관련 신택스 요소 값을 사용하여 입력 영상의 화질값(Vqp)을 결정하며, 구체적인 과정은 다음과 같다.The QP (quantization parameter) is a variable used for scaling the frequency coefficient, and the image quality of the decoded image is changed linearly or nonlinearly according to the QP value. Accordingly, in the embodiment of the present invention, the image quality value (Vqp) of the input image is determined using the QP-related syntax element value, and the concrete procedure is as follows.
1) 먼저, 입력 영상의 QP 값을 픽쳐 단위로 계산한다. 즉, 비트스트림 내에 압축 기본 단위(예를 들면, H.264/AVC의 매크로블록, HEVC의 Coding Uuit (CU) 내의 QP 값들을 픽쳐 마다 평균하여 사용한다. 1) First, the QP value of the input image is calculated in units of pictures. That is, the QP values in the compressed basic unit (for example, a macroblock of H.264 / AVC and Coding Uuit (CU) of HEVC) are averaged for each picture in the bitstream.
2) 다음, QP 값의 범위는 국제표준 영상 코덱마다 달라지기 때문에, QP 값을 스케일링(정규화)하여 화질값이 1~100의 범위를 갖도록 한다. 여기서, 1의 값이 가장 고화질이고 100의 값은 가장 저화질이 된다. 예를 들어, 사용할 QP 값의 범위가 0~51이고, 1) 단계에서 결정된 QP 값이 26인 경우, 이를 스케일링한 값(Scaled QP; SQP)은 50이된다.2) Next, since the range of the QP value varies according to the international standard image codec, the QP value is scaled (normalized) so that the image quality value ranges from 1 to 100. Here, the value of 1 is the highest quality and the value of 100 is the lowest quality. For example, if the QP value to be used is in the range of 0 to 51 and the QP value determined in step 1) is 26, the scaled QP (SQP) is 50.
3) 마지막으로, 영상 합성에 사용되는 좌-영상과 우-영상에 대해, 위에 따라 계산된 두 개 SQP 값을 평균하여 최종 화질값(Vqp)으로 설정한다. 화질값의 계산은 컬러 영상에 대해서만 수행되며 깊이 맵은 사용되지 않는다.3) Finally, for the left-image and right-image used in the image synthesis, the two SQP values calculated above are averaged to set the final image quality value (Vqp). The calculation of the picture quality value is performed only for the color image, and the depth map is not used.
Vqp = (SQPL + SQPR)/2Vqp = (SQP L + SQP R ) / 2
여기서, SQPL은 좌-영상에 대한 스케일링된 QP 평균값이고, SQPR은 우-영상에 대한 스케일링된 QP 평균값이다.Where SQP L is the scaled QP mean value for the left-eye and SQP R is the scaled QP mean for the right-eye image.
한편, 입력 영상의 화질값(Vqp)의 범위(1~100)가 합성 모드의 개수만큼 나누어지도록 2개의 임계값(th1, th2)을 설정한다. 임계값은 중간값 m과 정수 d를 사용자 입력으로 사용하여 th1=m-d, th2= m+d로 설정한다. m의 기본값은 50으로 한다.On the other hand, two threshold values (th 1 , th 2 ) are set so that the range (1 to 100) of the image quality value (Vqp) of the input image is divided by the number of synthesis modes. The threshold is set to th 1 = md, th 2 = m + d using the median m and integer d as the user input. The default value of m is 50.
영상 화질은 화질값(Vqp)과 임계값(th1, th2)을 비교하여 결정한다. 구체적으로, 1) 화질값이 th1보다 작은 경우는 고화질 영상으로, 2) 화질값이 th1 이상이고 th2보다 작은 경우는 중간 화질 영상으로, 3) 화질값이 th2 이상인 경우는 저화질 영상으로 판별한다.Image quality is determined by comparing the quality value (Vqp) with the threshold value (th 1, th 2). Specifically, 1) In case the image quality value is less than th 1 is a high-definition image, and 2) If image quality is above th 1, and is smaller than th 2 is a medium quality image, and 3) if the quality value is equal to or greater than th 2 is a low-quality image .
S220단계에서 영상이 고화질로 판단되면(S230-Y), 영상 합성부(130)는 좌-영상과 우-영상 중 화질이 더 좋은 영상을 선택하여(S240), S240단계에서 선택된 단일 영상을 이용한 영상 합성을 통해 다시점 영상을 생성하고(S250), 생성된 다시점 영상을 출력한다(S260).If it is determined in step S220 that the image is of a high image quality (S230-Y), the
영상 합성은 아래의 두 경우에 해당하는 영역들을 탐지(detection) 하여 입력 영상과 깊이맵을 사용하여 보간(interpolation) 하는 것이며, 이는 이하에서 설명할 다른 영상 합성 모드에 대해서도 공통된다.The image synthesis is performed by detecting regions corresponding to the following two cases and interpolating the input image and the depth map, which is common to other image synthesis modes to be described below.
- disocclusion: 영상 합성의 기초가 되는 참조 영상에서 안보였던 부분이 가상 시점에서 보이게 되는 픽셀- disocclusion: the pixel that is not visible in the reference image, which is the basis of the image synthesis,
- occlusion: 영상 합성의 기초가 되는 참조 영상에서 보였던 부분이 가상 시점에서 안 보이게 되는 픽셀- occlusion: the pixel that the part of the reference image that is the base of the image synthesis is visible at the virtual viewpoint
도 3에는 S250단계를 통해 수행되는 단일 영상 기반 합성 기법을 도식적으로 나타내었다. 도 3에 도시된 바와 같이, 단일 영상 기반 합성은, 좌-영상과 우-영상 중 하나만을 이용하여 가상 시점 영상들을 합성한다. 여기서는, disocclusion과 occlusion 영역의 픽셀값을 모두 한 영상을 사용하여 계산한다.FIG. 3 schematically shows a single image-based synthesis method performed in step S250. As shown in FIG. 3, the single image-based synthesis combines the virtual view images using only one of the left-image and the right-image. Here, the pixel values of the disocclusion and occlusion regions are all calculated using one image.
따라서, 합성 영상의 화질은 떨어지지만, 다른 영상 합성 모드들에 비해 수행시간은 가장 적게 소요된다. 한편, 합성 영상의 기초가 되는 영상은 고화질이므로, 화질이 크게 떨어진다고 볼 수도 없다.Therefore, although the image quality of the composite image is degraded, the execution time is the least as compared with other image combining modes. On the other hand, since the image serving as the basis of the synthesized image is high-quality, the image quality can not be considered to be greatly reduced.
S240단계에서 선택되는 좌-영상과 우-영상 중 영상 합성에 이용할 영상은, 화질값(SQPL, SQPR)을 기반으로 결정한다. 즉, SQPL과 SQPR을 비교하여, 더 큰 값을 가지는 영상을 선택한다. 두 화질값이 동일한 경우, 좌-영상과 우-영상 중 어느 것을 사용하여도 무방하다.The image to be used for image synthesis among left-image and right-image selected in step S240 is determined based on image quality values (SQP L , SQP R ). That is, SQP L and SQP R are compared and an image having a larger value is selected. If the two image quality values are the same, either left-image or right-image may be used.
한편, S220단계에서 영상이 중간 화질로 판단되면(S270-Y), 영상 합성부(130)는 단순화된 양안 영상 기반 합성 기법에 따라 영상을 합성하여 다시점 영상을 생성하고(S280), 생성된 다시점 영상을 출력한다(S260).If it is determined in step S220 that the image is an intermediate image quality (S270-Y), the
도 4에는 S280단계를 통해 수행되는 단순화된 단일 영상 기반 합성 기법을 도식적으로 나타내었다. 도 4에 도시된 바와 같이, 단순화된 단일 영상 기반 합성은, 좌-영상과 우-영상 중 하나만을 이용하여 가상 시점 영상들을 합성한다는 점에서, 단일 영상 기반 합성 방법과 동일하다.FIG. 4 schematically illustrates a simplified single image-based synthesis method performed in step S280. As shown in FIG. 4, the simplified single image based synthesis is the same as the single image based synthesis method in that virtual view images are synthesized using only one of left-image and right-image.
하지만, 가상 시점의 위치에 가까운 정도에 따라 사용하는 영상을 달리한다는 점에서, 단일 영상 기반 합성 방법과 차이가 있다. 즉, 가상 시점이 좌-영상에 가까운 경우 좌-영상을 사용하여 영상 합성을 수행하고, 가상 시점이 우-영상에 가까운 경우 우-영상을 사용하여 영상 합성을 수행한다.However, this method differs from the single-image-based synthesis method in that the image used varies according to the position near the virtual viewpoint. That is, if the virtual viewpoint is close to the left-image, the image synthesis is performed using the left-image, and when the virtual viewpoint is close to the right-image, the image synthesis is performed using the right-view.
따라서, 전술한 단일 영상 기반 합성 결과 보다는 개선된 화질을 제공하고, 후술할 양안 영상 기반 합성 보다는 높은 처리 속도를 기대할 수 있다.Therefore, it is possible to provide an improved image quality rather than the above-described single image-based synthesis result and expect a higher processing speed than a binocular image-based synthesis described later.
다른 한편으로, S220단계에서 영상이 저화질로 판단되면(S290-Y), 영상 합성부(130)는 좌-영상과 우-영상 모두를 이용한 영상 합성을 통해 다시점 영상을 생성하고(S300), 생성된 다시점 영상을 출력한다(S260).On the other hand, if it is determined in step S220 that the image is of a low quality (S290-Y), the
S300단계는 HEVC의 기본 합성 알고리즘을 그대로 수행하는 모드로, 도 5에 도시된 바와 같이, 가상 시점 영상 합성에 좌-영상과 우-영상을 모두 사용한다. 즉, disocclusion과 occlusion 영역의 픽셀값을 좌-영상과 우-영상 모두를 사용하여 계산한다.In step S300, the basic synthesis algorithm of the HEVC is performed. As shown in FIG. 5, both the left-image and the right-image are used for the synthesis of the virtual viewpoint image. That is, the pixel values of the disocclusion and occlusion regions are calculated using both left-eye and right-eye images.
따라서, 합성 영상의 화질이 세 가지 모드 중에서 가장 좋으나, 연산량이 많기 때문에 수행시간이 가장 길게 소요된다.Therefore, the image quality of the composite image is the best among the three modes, but the execution time is longest because of the large amount of computation.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.
110 : 영상 입력부
120 : 영상 디코더
130 : 영상 합성부
140 : 합성모드 결정부110:
120: video decoder
130:
140:
Claims (6)
판별된 화질값을 기초로, 영상 합성 모드를 결정하는 단계; 및
결정된 영상 합성 모드에 따라, 상기 양안 영상으로부터 다시점 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 다시점 영상 합성 방법.
Determining an image quality value of the binocular image;
Determining an image combining mode based on the determined image quality value; And
And generating a multi-view image from the binocular image in accordance with the determined image synthesis mode.
상기 결정단계는,
상기 판별된 화질값이 제1 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나를 이용하는 제1 합성 모드를 결정하고,
상기 생성단계는,
상기 제1 합성 모드에 따라, 상기 양안 영상을 구성하는 좌-영상과 우-영상 중 화질이 더 좋은 영상을 이용하여 상기 다시점 영상들을 생성하는 것을 특징으로 하는 다시점 영상 합성 방법.
The method according to claim 1,
Wherein,
Determining a first combining mode using one of a left-image and a right-image forming the binocular image in the image combining mode if the determined image quality value is in the first range,
Wherein the generating comprises:
Wherein the multi-view image is generated using an image having better image quality than the left-eye image and the right-eye image constituting the binocular image according to the first combining mode.
상기 결정단계는,
상기 판별된 화질값이 제2 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나를 선별적으로 이용하는 제2 합성 모드를 결정하고,
상기 생성단계는,
상기 제2 합성 모드에 따라, 상기 양안 영상을 구성하는 좌-영상 및 우-영상 중, 우-영상 보다 좌-영상에 가까운 시점의 영상은 좌-영상을 이용하고, 좌-영상 보다 우-영상에 가까운 시점의 영상은 우-영상을 이용하여 상기 다시점 영상을 생성하는 것을 특징으로 하는 다시점 영상 합성 방법.
The method according to claim 1,
Wherein,
Determining a second combining mode for selectively using one of a left-image and a right-image forming the binocular image in the image combining mode if the determined image quality value is in the second range,
Wherein the generating comprises:
According to the second combining mode, of the left-image and right-eye images constituting the binocular image, a left-image is used for an image closer to the left-eye image than a right-image, Wherein the multi-view image is generated using a right-view image at a time point close to the multi-view image.
상기 판별 단계는,
상기 양안 영상에 대한 QP(quantization parameter)를 기반으로, 상기 양안 영상의 화질값을 판별하는 것을 특징으로 하는 다시점 영상 합성 방법.
The method according to claim 1,
Wherein,
Wherein the image quality of the binocular image is determined based on a quantization parameter (QP) of the binocular image.
상기 양안 영상의 화질값은,
좌-영상에 대한 정규화된 QP와 우-영상에 대한 정규화된 QP의 평균값인 것을 특징으로 하는 다시점 영상 합성 방법.
The method of claim 4,
The image quality value of the binocular image may be expressed as:
Wherein the normalized QP for the left-eye image and the normalized QP for the right-eye image are an average value.
상기 결정부에서 결정된 영상 합성 모드에 따라, 상기 양안 영상으로부터 다시점 영상들을 생성하는 합성부;를 포함하는 것을 특징으로 하는 다시점 영상 합성 시스템.
A determining unit for determining image quality values of a binocular image and determining an image combining mode; And
And a synthesizer for generating multi-view images from the binocular image according to the image synthesis mode determined by the determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140144160A KR102162057B1 (en) | 2014-10-23 | 2014-10-23 | Quality-adaptive Method and System for Multiview Image Synthesis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140144160A KR102162057B1 (en) | 2014-10-23 | 2014-10-23 | Quality-adaptive Method and System for Multiview Image Synthesis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160048271A true KR20160048271A (en) | 2016-05-04 |
| KR102162057B1 KR102162057B1 (en) | 2020-10-07 |
Family
ID=56021833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140144160A KR102162057B1 (en) | 2014-10-23 | 2014-10-23 | Quality-adaptive Method and System for Multiview Image Synthesis |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102162057B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012150614A (en) * | 2011-01-18 | 2012-08-09 | Nagoya Univ | Free viewpoint image generation device |
| KR20140080893A (en) * | 2012-12-20 | 2014-07-01 | 삼성전자주식회사 | Method and apparatus for rendering hybrid multi-view |
| WO2014110426A1 (en) * | 2013-01-10 | 2014-07-17 | Qualcomm Incorporated | View synthesis in 3d video |
-
2014
- 2014-10-23 KR KR1020140144160A patent/KR102162057B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012150614A (en) * | 2011-01-18 | 2012-08-09 | Nagoya Univ | Free viewpoint image generation device |
| KR20140080893A (en) * | 2012-12-20 | 2014-07-01 | 삼성전자주식회사 | Method and apparatus for rendering hybrid multi-view |
| WO2014110426A1 (en) * | 2013-01-10 | 2014-07-17 | Qualcomm Incorporated | View synthesis in 3d video |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102162057B1 (en) | 2020-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6633694B2 (en) | Multi-view signal codec | |
| US8345751B2 (en) | Method and system for encoding a 3D video signal, enclosed 3D video signal, method and system for decoder for a 3D video signal | |
| US8537200B2 (en) | Depth map generation techniques for conversion of 2D video data to 3D video data | |
| JP6178017B2 (en) | Improved depth recognition for stereo video | |
| JP5763184B2 (en) | Calculation of parallax for 3D images | |
| US9035939B2 (en) | 3D video control system to adjust 3D video rendering based on user preferences | |
| US10158838B2 (en) | Methods and arrangements for supporting view synthesis | |
| JP5970609B2 (en) | Method and apparatus for unified disparity vector derivation in 3D video coding | |
| US9414047B2 (en) | Signaling change of camera parameter and/or depth parameter using update message | |
| Merkle et al. | Coding of depth signals for 3D video using wedgelet block segmentation with residual adaptation | |
| WO2013022401A2 (en) | Method and apparatus for creating a disocclusion map used for coding a three-dimensional video | |
| KR102162057B1 (en) | Quality-adaptive Method and System for Multiview Image Synthesis | |
| Li et al. | Joint view filtering for multiview depth map sequences | |
| Duan et al. | Enhancing wedgelet-based depth modeling in 3d-HEVC | |
| Ye et al. | New approach to stereo video coding for auto-stereo display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |