KR102162057B1 - Quality-adaptive Method and System for Multiview Image Synthesis - Google Patents
Quality-adaptive Method and System for Multiview Image Synthesis Download PDFInfo
- Publication number
- KR102162057B1 KR102162057B1 KR1020140144160A KR20140144160A KR102162057B1 KR 102162057 B1 KR102162057 B1 KR 102162057B1 KR 1020140144160 A KR1020140144160 A KR 1020140144160A KR 20140144160 A KR20140144160 A KR 20140144160A KR 102162057 B1 KR102162057 B1 KR 102162057B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- synthesis
- binocular
- synthesis mode
- determined
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
화질 적응적인 고속 다시점 영상 합성 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 다시점 영상 합성 방법은, 양안 영상의 화질값을 판별하고, 판별된 화질값을 기초로 영상 합성 모드를 결정하며, 결정된 영상 합성 모드에 따라 양안 영상으로부터 다시점 영상을 생성한다. 이에 의해, 입력 영상 화질에 적합한 합성 기법을 자동으로 결정함으로써 불필요한 계산과 리소스 낭비를 줄일 수 있게 된다.A method and system for high-speed multi-view image synthesis adaptive in image quality are provided. In the multi-view image synthesis method according to an embodiment of the present invention, the image quality value of the binocular image is determined, the image synthesis mode is determined based on the determined image quality value, and the multi-view image is obtained from the binocular image according to the determined image synthesis mode. Generate. Accordingly, it is possible to reduce unnecessary calculations and waste of resources by automatically determining a synthesis technique suitable for the input image quality.
Description
본 발명은 영상 합성에 관한 것으로, 다시점 디스플레이를 위한 가상 시점 영상 합성 방법 및 시스템에 관한 것이다.
The present invention relates to image synthesis, and to a method and system for synthesizing a virtual viewpoint image for multi-view display.
1) HEVC 확장 표준의 다시점 영상 합성 방법1) Multi-view video synthesis method of HEVC extension standard
HEVC(High Efficiency Video Coding)는 영상 압축 표준 H.264/AVC 이후 고해상도 및 초고속 프레임율을 갖는 초고화질 디지털 영상이 증가함에 따라 기존의 압축 성능을 능가하는 새로운 압축 표준이 필요해짐에 따라 새롭게 표준화된 차세대 영상 압축 표준이다. 또한, HEVC 기반 3차원 영상 부호화 표준인 3D-HEVC와 다시점 영상 부호화 표준인 MV-HEVC는 다시점 카메라로 획득한 영상의 효율적인 압축 기술과 가상 시점 합성 방법을 포함하고 있다.HEVC (High Efficiency Video Coding) has been newly standardized as a new compression standard that surpasses the existing compression performance is required as the number of ultra-high-definition digital images with high resolution and ultra-high frame rates increase after the image compression standard H.264/AVC. It is the next generation video compression standard. In addition, 3D-HEVC, which is an HEVC-based 3D image coding standard, and MV-HEVC, which is a multi-view image coding standard, include an efficient compression technology for images acquired by a multi-view camera and a virtual view synthesis method.
3D-HEVC와 MV-HEVC의 참조 소프트웨어인 3D-HTM의 가상 시점 영상 합성 방법을 살펴보면, 2개의 서로 다른 시점에서 촬영한 컬러 영상과 그에 대응하는 깊이맵을 사용하여 두 시점 사이에 위치하는 가상의 시점 영상을 합성한다. 합성 과정의 주요 내용은 아래의 두 경우에 해당하는 영역들을 탐지(detection)하여 두 개의 입력 영상과 깊이맵을 사용하여 보간(interpolation)하는 것이다.Looking at the virtual viewpoint image synthesis method of 3D-HTM, the reference software for 3D-HEVC and MV-HEVC, a virtual image located between the two viewpoints using a color image captured from two different viewpoints and a corresponding depth map The viewpoint image is synthesized. The main content of the synthesis process is to detect the regions corresponding to the following two cases and interpolate using two input images and a depth map.
- disocclusion: 참조 영상에서 안보였던 부분이 가상 시점에서 보이게 되는 픽셀. 즉, 빈 영역(hole region)으로 남음.-disocclusion: Pixels in which the invisible part of the reference image is visible from the virtual viewpoint. That is, it remains as a hole region.
- occlusion: 참조 영상에서 보였던 부분이 가상 시점에서 안보이게 되는 픽셀
-occlusion: pixels in which the part seen in the reference image is not visible in the virtual viewpoint
2) H.264/AVC 확장 표준의 다시점 영상 합성 방법2) Multi-view video synthesis method of H.264/AVC extension standard
HEVC와 유사하게 H.264/AVC에서도 3차원 영상 부호화 표준인 3D-AVC와 다시점 영상 부호화 표준인 MVC+D가 존재한다. 두 확장 표준의 참조 소프트웨어인 3D-ATM의 가상 시점 영상 합성 방법을 살펴보면, HEVC에서와 거의 동일하게 합성 과정이 이루어진다.
Similar to HEVC, in H.264/AVC, there are 3D-AVC, which is a 3D video coding standard, and MVC+D, which is a multiview video coding standard. Looking at the virtual viewpoint image synthesis method of 3D-ATM, which is the reference software of the two extended standards, the synthesis process is performed almost the same as in HEVC.
기존의 HEVC의 다시점 영상 합성 방법은 계산 복잡도가 높기 때문에 빠른 합성 속도를 요구하는 어플리케이션에는 적합하지 못하다는 문제가 있다.
The conventional HEVC multi-view image synthesis method has a problem that it is not suitable for an application that requires a high synthesis speed because the computational complexity is high.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다시점 영상 생성을 위한 영상 합성 속도를 높이기 위한 방안으로, 합성에 사용되는 영상의 화질에 따라 가상 시점 영상의 합성 기법을 다르게 하여 불필요한 연산량과 리소스 소비를 줄이는 방법 및 시스템을 제공함에 있다.
The present invention was conceived to solve the above problems, and an object of the present invention is to increase the speed of image synthesis for generating a multi-view image. Synthesis of a virtual viewpoint image according to the image quality used for synthesis. It is to provide a method and system to reduce unnecessary computation and resource consumption by different techniques.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 다시점 영상 합성 방법은, 양안 영상의 화질값을 판별하는 단계; 판별된 화질값을 기초로, 영상 합성 모드를 결정하는 단계; 및 결정된 영상 합성 모드에 따라, 상기 양안 영상으로부터 다시점 영상을 생성하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a method for synthesizing a multi-view image includes determining a quality value of a binocular image; Determining an image synthesis mode based on the determined quality value; And generating a multiview image from the binocular image according to the determined image synthesis mode.
그리고, 상기 결정단계는, 상기 판별된 화질값이 제1 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나를 이용하는 제1 합성 모드를 결정하고, 상기 생성단계는, 상기 제1 합성 모드에 따라, 상기 양안 영상을 구성하는 좌-영상과 우-영상 중 화질이 더 좋은 영상을 이용하여 상기 다시점 영상들을 생성할 수 있다.And, in the determining step, if the determined image quality value is in a first range, a first synthesis mode using one of a left-image and a right-image constituting a binocular image as the image synthesis mode is determined, and the generation step According to the first synthesis mode, the multiview images may be generated by using an image having a higher quality among the left-image and the right-image constituting the binocular image.
또한, 상기 결정단계는, 상기 판별된 화질값이 제2 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나를 선별적으로 이용하는 제2 합성 모드를 결정하고, 상기 생성단계는, 상기 제2 합성 모드에 따라, 상기 양안 영상을 구성하는 좌-영상 및 우-영상 중, 우-영상 보다 좌-영상에 가까운 시점의 영상은 좌-영상을 이용하고, 좌-영상 보다 우-영상에 가까운 시점의 영상은 우-영상을 이용하여 상기 다시점 영상을 생성할 수 있다.In addition, in the determining step, if the determined quality value is in a second range, a second synthesis mode selectively using one of a left-image and a right-image constituting a binocular image as the image synthesis mode is determined, and In the generating step, among the left-image and the right-image constituting the binocular image, the image at a viewpoint closer to the left-image than the right-image uses the left-image, and the left- An image of a viewpoint closer to the right-image than the image may generate the multi-view image by using the right-image.
그리고, 상기 판별 단계는, 상기 양안 영상에 대한 QP(quantization parameter)를 기반으로, 상기 양안 영상의 화질값을 판별할 수 있다.In the determining step, the quality value of the binocular image may be determined based on a quantization parameter (QP) of the binocular image.
또한, 상기 양안 영상의 화질값은, 좌-영상에 대한 정규화된 QP와 우-영상에 대한 정규화된 QP의 평균값일 수 있다.In addition, the quality value of the binocular image may be an average value of a normalized QP for a left-image and a normalized QP for a right-image.
한편, 본 발명의 다른 실시예에 따른, 다시점 영상 합성 시스템은, 양안 영상의 화질값을 판별하여, 영상 합성 모드를 결정하는 결정부; 및 상기 결정부에서 결정된 영상 합성 모드에 따라, 상기 양안 영상으로부터 다시점 영상들을 생성하는 합성부;를 포함한다.
On the other hand, according to another embodiment of the present invention, a multi-view image synthesizing system includes: a determination unit for determining an image synthesis mode by determining an image quality value of a binocular image; And a synthesis unit that generates multi-view images from the binocular image according to the image synthesis mode determined by the determination unit.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 입력 영상 화질에 적합한 합성 기법을 자동으로 결정함으로써 불필요한 계산과 리소스 낭비를 줄일 수 있게 된다.As described above, according to embodiments of the present invention, it is possible to reduce unnecessary calculations and waste of resources by automatically determining a synthesis technique suitable for the quality of an input image.
뿐만 아니라, 기존의 양안 영상 기반 합성 알고리즘 보다 낮은 복잡도의 합성 알고리즘을 제공함으로써 빠른 속도로 합리적인 화질의 합성 결과를 얻을 수 있게 된다.
In addition, by providing a synthesis algorithm of lower complexity than the existing binocular image-based synthesis algorithm, it is possible to obtain a synthesis result of reasonable quality at a high speed.
도 1은 본 발명의 일 실시예에 따른 영상 합성 시스템의 블럭도,
도 2는 본 발명의 다른 실시예에 따른 영상 합성 방법의 설명에 제공되는 흐름도,
도 3은 단일 영상 기반 합성 기법을 도식적으로 나타낸 도면,
도 4는 단순화된 단일 영상 기반 합성 기법을 도식적으로 나타낸 도면, 그리고,
도 5는 양안 영상 기반 합성 기법을 도식적으로 나타낸 도면이다.1 is a block diagram of an image synthesis system according to an embodiment of the present invention;
2 is a flow chart provided to explain an image synthesis method according to another embodiment of the present invention;
3 is a diagram schematically showing a single image-based synthesis technique;
4 is a diagram schematically showing a simplified single image-based synthesis technique, and,
5 is a diagram schematically showing a binocular image-based synthesis technique.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 영상 합성 시스템의 블럭도이다. 본 발명의 실시예에 따른 영상 합성 시스템은, 디코딩된 영상의 화질에 따라 각기 다른 기법으로 영상을 합성하여 다시점 영상을 생성한다.1 is a block diagram of an image synthesis system according to an embodiment of the present invention. The image synthesizing system according to an embodiment of the present invention generates a multiview image by synthesizing images using different techniques according to the quality of the decoded image.
이와 같은 기능을 수행하는, 본 발명의 실시예에 따른 영상 합성 시스템은, 도 1에 도시된 바와 같이, 영상 입력부(110), 영상 디코더(120), 영상 합성부(130) 및 합성모드 결정부(140)를 포함한다.In the image synthesis system according to the embodiment of the present invention, which performs such a function, as shown in FIG. 1, the
영상 입력부(110)는 저장매체나 네트워크로부터 영상을 입력받고, 영상 디코더(120)는 입력된 영상을 디코딩한다. 영상 합성부(130)는 영상 디코더(120)에서 디코딩된 영상을 이용하여 다시점 영상을 생성한다. 합성모드 결정부(140)는 영상 합성부(130)가 다시점 영상에 적용할 영상 합성 모드를 결정한다.The
합성 모드 결정시, 합성모드 결정부(140)는 영상 디코더(120)에서 디코딩된 영상의 화질을 참조한다. 즉, 영상의 화질에 따라, 영상 합성부(130)가 이용할 영상 합성 기법이 결정된다.When determining the synthesis mode, the synthesis mode determiner 140 refers to the image quality of the image decoded by the
이하에서, 도 1에 도시된 영상 합성 시스템에 의한 영상 합성 과정에 대해, 도 2를 참조하여 상세히 설명한다. 도 2는 본 발명의 다른 실시예에 따른 영상 합성 방법의 설명에 제공되는 흐름도이다.Hereinafter, an image synthesis process by the image synthesis system shown in FIG. 1 will be described in detail with reference to FIG. 2. 2 is a flowchart for explaining an image synthesis method according to another exemplary embodiment of the present invention.
도 2에 도시된 바와 같이, 먼저, 영상 디코더(120)는 영상 입력부(110)를 통해 입력된 영상을 디코딩한다(S210).As shown in FIG. 2, first, the
그러면, 합성모드 결정부(140)는 S210단계에서 디코딩된 영상의 화질을 판별한다(S220).Then, the synthesis
국제표준 영상 인코더는 입력 동영상을 압축한 결과물로서 비트스트림(bitstream)을 출력한다. 비트스트림 내에는 신택스 요소(Syntax element)라 불리는 영상 디코딩을 위한 정보들이 정해진 순서에 따라 기술되어 있다.The international standard video encoder outputs a bitstream as a result of compressing the input video. In the bitstream, information for decoding an image called a syntax element is described in a predetermined order.
영상 디코더(120)는 비트스트림을 입력받아 각 신택스 요소에 해당하는 비트를 값으로 복호화하고, 그 규칙에 따라 영상을 복호화하여 출력한다. 신택스 요소에는 픽쳐의 화질과 관련된 요소들도 포함되어 있다.The
QP(quantization parameter, 양자화 파라미터)는 주파수 계수의 스케일링을 위해 사용되는 변수로서, QP 값에 따라 디코딩된 영상의 화질이 선형 또는 비선형적으로 변화된다. 따라서, 본 발명의 실시예에서는 QP 관련 신택스 요소 값을 사용하여 입력 영상의 화질값(Vqp)을 결정하며, 구체적인 과정은 다음과 같다.A quantization parameter (QP) is a variable used for scaling a frequency coefficient, and the quality of a decoded image changes linearly or nonlinearly according to the QP value. Accordingly, in an embodiment of the present invention, a quality value Vqp of an input image is determined using a syntax element value related to QP, and a specific process is as follows.
1) 먼저, 입력 영상의 QP 값을 픽쳐 단위로 계산한다. 즉, 비트스트림 내에 압축 기본 단위(예를 들면, H.264/AVC의 매크로블록, HEVC의 Coding Uuit (CU) 내의 QP 값들을 픽쳐 마다 평균하여 사용한다. 1) First, calculate the QP value of the input video in picture units. That is, the QP values in the compression basic unit (eg, H.264/AVC macroblock, HEVC Coding Uuit (CU)) in the bitstream are averaged for each picture and used.
2) 다음, QP 값의 범위는 국제표준 영상 코덱마다 달라지기 때문에, QP 값을 스케일링(정규화)하여 화질값이 1~100의 범위를 갖도록 한다. 여기서, 1의 값이 가장 고화질이고 100의 값은 가장 저화질이 된다. 예를 들어, 사용할 QP 값의 범위가 0~51이고, 1) 단계에서 결정된 QP 값이 26인 경우, 이를 스케일링한 값(Scaled QP; SQP)은 50이된다.2) Next, since the range of the QP value varies for each international standard video codec, the QP value is scaled (normalized) so that the quality value has a range of 1 to 100. Here, a value of 1 is the highest quality and a value of 100 is the lowest quality. For example, if the range of the QP value to be used is 0 to 51, and the QP value determined in step 1) is 26, the scaled value (Scaled QP; SQP) becomes 50.
3) 마지막으로, 영상 합성에 사용되는 좌-영상과 우-영상에 대해, 위에 따라 계산된 두 개 SQP 값을 평균하여 최종 화질값(Vqp)으로 설정한다. 화질값의 계산은 컬러 영상에 대해서만 수행되며 깊이 맵은 사용되지 않는다.3) Finally, for the left-video and right-video used for image synthesis, the two SQP values calculated according to the above are averaged and set as the final quality value (Vqp). The image quality value is calculated only for color images, and the depth map is not used.
Vqp = (SQPL + SQPR)/2Vqp = (SQP L + SQP R )/2
여기서, SQPL은 좌-영상에 대한 스케일링된 QP 평균값이고, SQPR은 우-영상에 대한 스케일링된 QP 평균값이다.Here, SQP L is the scaled QP average value for the left-image, and SQP R is the scaled QP average value for the right-image.
한편, 입력 영상의 화질값(Vqp)의 범위(1~100)가 합성 모드의 개수만큼 나누어지도록 2개의 임계값(th1, th2)을 설정한다. 임계값은 중간값 m과 정수 d를 사용자 입력으로 사용하여 th1=m-d, th2= m+d로 설정한다. m의 기본값은 50으로 한다.Meanwhile, two threshold values th 1 and th 2 are set so that the range (1 to 100) of the image quality value Vqp of the input image is divided by the number of synthesis modes. The threshold value is set as th 1 =md, th 2 = m+d using the median m and the integer d as user inputs. The default value of m is 50.
영상 화질은 화질값(Vqp)과 임계값(th1, th2)을 비교하여 결정한다. 구체적으로, 1) 화질값이 th1보다 작은 경우는 고화질 영상으로, 2) 화질값이 th1 이상이고 th2보다 작은 경우는 중간 화질 영상으로, 3) 화질값이 th2 이상인 경우는 저화질 영상으로 판별한다.The image quality is determined by comparing the image quality value Vqp and the threshold values th 1 and th 2 . Specifically, 1) a high-quality image if the image quality value is less than th 1 , 2) a medium-quality image if the image quality value is greater than th 1 and less than th 2 , and 3) a low-quality image if the image quality value is greater than th 2 It is determined by
S220단계에서 영상이 고화질로 판단되면(S230-Y), 영상 합성부(130)는 좌-영상과 우-영상 중 화질이 더 좋은 영상을 선택하여(S240), S240단계에서 선택된 단일 영상을 이용한 영상 합성을 통해 다시점 영상을 생성하고(S250), 생성된 다시점 영상을 출력한다(S260).If the image is determined to be of high quality in step S220 (S230-Y), the
영상 합성은 아래의 두 경우에 해당하는 영역들을 탐지(detection) 하여 입력 영상과 깊이맵을 사용하여 보간(interpolation) 하는 것이며, 이는 이하에서 설명할 다른 영상 합성 모드에 대해서도 공통된다.In image synthesis, regions corresponding to the following two cases are detected and interpolated using an input image and a depth map, which is also common to other image synthesis modes described below.
- disocclusion: 영상 합성의 기초가 되는 참조 영상에서 안보였던 부분이 가상 시점에서 보이게 되는 픽셀-disocclusion: Pixels in which the invisible part of the reference image, which is the basis for image synthesis, is visible from the virtual viewpoint
- occlusion: 영상 합성의 기초가 되는 참조 영상에서 보였던 부분이 가상 시점에서 안 보이게 되는 픽셀-occlusion: Pixels in which the part seen in the reference image, which is the basis for image synthesis, is not visible in the virtual viewpoint
도 3에는 S250단계를 통해 수행되는 단일 영상 기반 합성 기법을 도식적으로 나타내었다. 도 3에 도시된 바와 같이, 단일 영상 기반 합성은, 좌-영상과 우-영상 중 하나만을 이용하여 가상 시점 영상들을 합성한다. 여기서는, disocclusion과 occlusion 영역의 픽셀값을 모두 한 영상을 사용하여 계산한다.3 schematically shows a single image-based synthesis technique performed through step S250. As shown in FIG. 3, in the single image-based synthesis, virtual viewpoint images are synthesized using only one of a left-image and a right-image. Here, the pixel values of both the disocclusion and occlusion areas are calculated using one image.
따라서, 합성 영상의 화질은 떨어지지만, 다른 영상 합성 모드들에 비해 수행시간은 가장 적게 소요된다. 한편, 합성 영상의 기초가 되는 영상은 고화질이므로, 화질이 크게 떨어진다고 볼 수도 없다.Therefore, the image quality of the synthesized image is degraded, but the execution time is the least required compared to other image synthesis modes. On the other hand, the image that is the basis of the composite image is of high quality, so it cannot be considered that the image quality is significantly lowered.
S240단계에서 선택되는 좌-영상과 우-영상 중 영상 합성에 이용할 영상은, 화질값(SQPL, SQPR)을 기반으로 결정한다. 즉, SQPL과 SQPR을 비교하여, 더 큰 값을 가지는 영상을 선택한다. 두 화질값이 동일한 경우, 좌-영상과 우-영상 중 어느 것을 사용하여도 무방하다.An image to be used for image synthesis among the left-image and the right-image selected in step S240 is determined based on image quality values SQP L and SQP R. That is, by comparing SQP L and SQP R , an image having a larger value is selected. If the two quality values are the same, you can use either left-video or right-video.
한편, S220단계에서 영상이 중간 화질로 판단되면(S270-Y), 영상 합성부(130)는 단순화된 양안 영상 기반 합성 기법에 따라 영상을 합성하여 다시점 영상을 생성하고(S280), 생성된 다시점 영상을 출력한다(S260).On the other hand, if the image is determined to be of intermediate quality in step S220 (S270-Y), the
도 4에는 S280단계를 통해 수행되는 단순화된 단일 영상 기반 합성 기법을 도식적으로 나타내었다. 도 4에 도시된 바와 같이, 단순화된 단일 영상 기반 합성은, 좌-영상과 우-영상 중 하나만을 이용하여 가상 시점 영상들을 합성한다는 점에서, 단일 영상 기반 합성 방법과 동일하다.4 schematically shows a simplified single image-based synthesis technique performed through step S280. As shown in FIG. 4, the simplified single image-based synthesis is the same as the single image-based synthesis method in that virtual viewpoint images are synthesized using only one of a left-image and a right-image.
하지만, 가상 시점의 위치에 가까운 정도에 따라 사용하는 영상을 달리한다는 점에서, 단일 영상 기반 합성 방법과 차이가 있다. 즉, 가상 시점이 좌-영상에 가까운 경우 좌-영상을 사용하여 영상 합성을 수행하고, 가상 시점이 우-영상에 가까운 경우 우-영상을 사용하여 영상 합성을 수행한다.However, it differs from the single image-based synthesis method in that the image to be used is different depending on the degree to which it is close to the position of the virtual viewpoint. That is, when the virtual viewpoint is close to the left-image, image synthesis is performed using the left-image, and when the virtual viewpoint is close to the right-image, the image synthesis is performed using the right-image.
따라서, 전술한 단일 영상 기반 합성 결과 보다는 개선된 화질을 제공하고, 후술할 양안 영상 기반 합성 보다는 높은 처리 속도를 기대할 수 있다.Accordingly, it is possible to provide improved image quality than the above-described single image-based synthesis result, and a higher processing speed than the binocular image-based synthesis to be described later.
다른 한편으로, S220단계에서 영상이 저화질로 판단되면(S290-Y), 영상 합성부(130)는 좌-영상과 우-영상 모두를 이용한 영상 합성을 통해 다시점 영상을 생성하고(S300), 생성된 다시점 영상을 출력한다(S260).On the other hand, if the image is determined to be of low quality in step S220 (S290-Y), the
S300단계는 HEVC의 기본 합성 알고리즘을 그대로 수행하는 모드로, 도 5에 도시된 바와 같이, 가상 시점 영상 합성에 좌-영상과 우-영상을 모두 사용한다. 즉, disocclusion과 occlusion 영역의 픽셀값을 좌-영상과 우-영상 모두를 사용하여 계산한다.Step S300 is a mode in which the basic synthesis algorithm of HEVC is performed as it is. As shown in FIG. 5, both the left-image and the right-image are used to synthesize the virtual viewpoint image. That is, the pixel values of the disocclusion and occlusion areas are calculated using both the left-image and the right-image.
따라서, 합성 영상의 화질이 세 가지 모드 중에서 가장 좋으나, 연산량이 많기 때문에 수행시간이 가장 길게 소요된다.Therefore, the image quality of the synthesized image is the best among the three modes, but the execution time is the longest due to the large amount of computation.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.
110 : 영상 입력부
120 : 영상 디코더
130 : 영상 합성부
140 : 합성모드 결정부110: video input unit
120: video decoder
130: image synthesis unit
140: synthesis mode determination unit
Claims (6)
판별된 화질값을 기초로, 영상 합성 모드를 결정하는 단계; 및
결정된 영상 합성 모드에 따라, 상기 양안 영상으로부터 다시점 영상을 생성하는 단계;를 포함하고,
상기 결정단계는,
상기 판별된 화질값이 제1 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나만을 이용하는 제1 합성 모드를 결정하며,
상기 판별된 화질값이 제2 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나를 생성할 다시점 영상의 시점을 기초로 선별적으로 이용하는 제2 합성 모드를 결정하고,
상기 판별된 화질값이 제3 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 모두를 이용하는 제3 합성 모드를 결정하는 것을 특징으로 하는 다시점 영상 합성 방법.
Determining an image quality value of the binocular image;
Determining an image synthesis mode based on the determined quality value; And
Generating a multi-view image from the binocular image according to the determined image synthesis mode; Including,
The determining step,
If the determined image quality value is in the first range, a first synthesis mode using only one of a left-image and a right-image constituting a binocular image is determined as the image synthesis mode,
If the determined quality value is in the second range, a second synthesis mode selectively used based on a viewpoint of a multiview image to generate one of a left-image and a right-image constituting a binocular image in the image synthesis mode Decide,
And if the determined quality value is in the third range, determining a third synthesis mode using both left-video and right-image constituting the binocular image as the image synthesis mode.
상기 생성단계는,
상기 제1 합성 모드에 따라, 상기 양안 영상을 구성하는 좌-영상과 우-영상 중 화질이 더 좋은 영상을 이용하여 상기 다시점 영상들을 생성하는 것을 특징으로 하는 다시점 영상 합성 방법.
The method according to claim 1,
The generation step,
And generating the multi-view images by using an image having a higher quality among a left-image and a right-image constituting the binocular image according to the first synthesis mode.
상기 생성단계는,
상기 제2 합성 모드에 따라, 상기 양안 영상을 구성하는 좌-영상 및 우-영상 중, 우-영상 보다 좌-영상에 가까운 시점의 영상은 좌-영상을 이용하고, 좌-영상 보다 우-영상에 가까운 시점의 영상은 우-영상을 이용하여 상기 다시점 영상을 생성하는 것을 특징으로 하는 다시점 영상 합성 방법.
The method according to claim 1,
The generation step,
According to the second synthesis mode, an image of a viewpoint closer to the left-image than the right-image among the left-image and the right-image constituting the binocular image uses a left-image, and a right-image than the left-image. The multi-view image synthesizing method, characterized in that the multi-view image is generated by using the right-image for the image of a viewpoint close to.
상기 판별 단계는,
상기 양안 영상에 대한 QP(quantization parameter)를 기반으로, 상기 양안 영상의 화질값을 판별하는 것을 특징으로 하는 다시점 영상 합성 방법.
The method according to claim 1,
The determining step,
And determining a quality value of the binocular image based on a quantization parameter (QP) of the binocular image.
상기 양안 영상의 화질값은,
좌-영상에 대한 정규화된 QP와 우-영상에 대한 정규화된 QP의 평균값인 것을 특징으로 하는 다시점 영상 합성 방법.
The method of claim 4,
The quality value of the binocular image is,
A method for synthesizing a multiview image, characterized in that it is an average value of a normalized QP for a left-image and a normalized QP for a right-image.
상기 결정부에서 결정된 영상 합성 모드에 따라, 상기 양안 영상으로부터 다시점 영상들을 생성하는 합성부;를 포함하고,
상기 결정부는,
상기 판별된 화질값이 제1 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나만을 이용하는 제1 합성 모드를 결정하며,
상기 판별된 화질값이 제2 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 중 하나를 생성할 다시점 영상의 시점을 기초로 선별적으로 이용하는 제2 합성 모드를 결정하고,
상기 판별된 화질값이 제3 범위이면, 상기 영상 합성 모드로 양안 영상을 구성하는 좌-영상 및 우-영상 모두를 이용하는 제3 합성 모드를 결정하는 것을 특징으로 하는 다시점 영상 합성 시스템.
A determination unit determining an image synthesis mode by determining an image quality value of the binocular image; And
Including; a synthesis unit for generating multi-view images from the binocular image according to the image synthesis mode determined by the determination unit,
The determination unit,
If the determined image quality value is in the first range, a first synthesis mode using only one of a left-image and a right-image constituting a binocular image is determined as the image synthesis mode,
If the determined quality value is in the second range, a second synthesis mode selectively used based on a viewpoint of a multiview image to generate one of a left-image and a right-image constituting a binocular image in the image synthesis mode Decide,
If the determined quality value is in the third range, the image synthesis mode determines a third synthesis mode using both left-video and right-image constituting the binocular image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140144160A KR102162057B1 (en) | 2014-10-23 | 2014-10-23 | Quality-adaptive Method and System for Multiview Image Synthesis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140144160A KR102162057B1 (en) | 2014-10-23 | 2014-10-23 | Quality-adaptive Method and System for Multiview Image Synthesis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160048271A KR20160048271A (en) | 2016-05-04 |
| KR102162057B1 true KR102162057B1 (en) | 2020-10-07 |
Family
ID=56021833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140144160A KR102162057B1 (en) | 2014-10-23 | 2014-10-23 | Quality-adaptive Method and System for Multiview Image Synthesis |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102162057B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012150614A (en) * | 2011-01-18 | 2012-08-09 | Nagoya Univ | Free viewpoint image generation device |
| WO2014110426A1 (en) * | 2013-01-10 | 2014-07-17 | Qualcomm Incorporated | View synthesis in 3d video |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101918030B1 (en) * | 2012-12-20 | 2018-11-14 | 삼성전자주식회사 | Method and apparatus for rendering hybrid multi-view |
-
2014
- 2014-10-23 KR KR1020140144160A patent/KR102162057B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012150614A (en) * | 2011-01-18 | 2012-08-09 | Nagoya Univ | Free viewpoint image generation device |
| WO2014110426A1 (en) * | 2013-01-10 | 2014-07-17 | Qualcomm Incorporated | View synthesis in 3d video |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160048271A (en) | 2016-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6633694B2 (en) | Multi-view signal codec | |
| JP6178017B2 (en) | Improved depth recognition for stereo video | |
| JP5575908B2 (en) | Depth map generation technique for converting 2D video data to 3D video data | |
| JP6250805B2 (en) | Method and apparatus for encoding and decoding texture blocks using depth-based block partitioning | |
| US8345751B2 (en) | Method and system for encoding a 3D video signal, enclosed 3D video signal, method and system for decoder for a 3D video signal | |
| AU2012391251A1 (en) | Method, apparatus and system for encoding and decoding video | |
| JP2014171097A (en) | Encoder, encoding method, decoder, and decoding method | |
| Merkle et al. | Coding of depth signals for 3D video using wedgelet block segmentation with residual adaptation | |
| JP2022179505A (en) | Video decoding method and video decoder | |
| US20170070751A1 (en) | Image encoding apparatus and method, image decoding apparatus and method, and programs therefor | |
| WO2014166338A1 (en) | Method and apparatus for prediction value derivation in intra coding | |
| WO2013022401A2 (en) | Method and apparatus for creating a disocclusion map used for coding a three-dimensional video | |
| KR20140124919A (en) | A method for adaptive illuminance compensation based on object and an apparatus using it | |
| CN114503558A (en) | Adaptive use of interpolation filters in affine motion compensation | |
| Dou et al. | View synthesis optimization based on texture smoothness for 3D-HEVC | |
| CN114679583A (en) | Video encoder, video decoder and corresponding methods | |
| KR102162057B1 (en) | Quality-adaptive Method and System for Multiview Image Synthesis | |
| KR20130086980A (en) | Methods and apparatuses of deblocking on intra prediction block | |
| Duan et al. | Enhancing wedgelet-based depth modeling in 3d-HEVC | |
| Lee et al. | Modified Intra Prediction Method for Depth Video Coding using Median Filter | |
| KR20130122567A (en) | Method for reconstructing intermediate depth view of multi-view video | |
| KR20140124045A (en) | A method for adaptive illuminance compensation based on object and an apparatus using it |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |