KR101383486B1 - Method for recificating image for multi-view video coding - Google Patents
Method for recificating image for multi-view video coding Download PDFInfo
- Publication number
- KR101383486B1 KR101383486B1 KR1020120065211A KR20120065211A KR101383486B1 KR 101383486 B1 KR101383486 B1 KR 101383486B1 KR 1020120065211 A KR1020120065211 A KR 1020120065211A KR 20120065211 A KR20120065211 A KR 20120065211A KR 101383486 B1 KR101383486 B1 KR 101383486B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- frame
- viewpoint image
- view
- parallelization
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법에 관한 것으로, 보다 구체적으로 다중 시점 영상의 모든 프레임을 평행화하는 대신 시차 보정에 사용하는 각 B 프레임 시점 영상을 B 프레임 시점 영상의 인접 왼쪽 시점 영상과 인접 오른쪽 시점 영상에 각각 평행화하여 평행화에 소요되는 계산량을 줄일 수 있으며, 각 B 프레임 시점 영상을 인접 시점 영상에 평행화함으로써 영상의 왜곡을 줄일 수 있는 다중 시점 영상의 평행화 방법에 관한 것이다.The present invention relates to a parallelization method of a multi-view image for multi-view image encoding. More specifically, each B-frame view image used for parallax correction instead of parallelizing all frames of the multi-view image is obtained from the B-frame view image. Parallelism of adjacent left view images and adjacent right view images can reduce parallelism, and parallelism of multi-view images can reduce distortion of images by parallelizing each B-frame view image to adjacent view images. It is about how to get angry.
Description
본 발명은 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법에 관한 것으로, 보다 구체적으로 다중 시점 영상의 모든 프레임을 평행화하는 대신 시차 보정에 사용하는 각 B 프레임 시점 영상을 B 프레임 시점 영상의 인접 왼쪽 시점 영상과 인접 오른쪽 시점 영상에 각각 평행화하여 평행화에 소요되는 계산량을 줄일 수 있으며, 각 B 프레임 시점 영상을 인접 시점 영상에 평행화함으로써 영상의 왜곡을 줄일 수 있는 다중 시점 영상의 평행화 방법에 관한 것이다.The present invention relates to a parallelization method of a multi-view image for multi-view image encoding. More specifically, each B-frame view image used for parallax correction instead of parallelizing all frames of the multi-view image is obtained from the B-frame view image. Parallelism of adjacent left view images and adjacent right view images can reduce parallelism, and parallelism of multi-view images can reduce distortion of images by parallelizing each B-frame view image to adjacent view images. It is about how to get angry.
실세계에 존재하는 3차원 물체를 2차원의 화면에 표현하고자 하는 연구가 활발히 진행중이다. 다수 카메라를 통해 획득한 다중 시점의 3차원 영상을 효과적으로 인코딩하는 위해 카메라 시점별로 움직임 예측 보상을 수행하는 동시에 카메라 시점 사이의 시차 예측 보상을 수행한다. 이러한 움직임 예측 보상과 시차 예측 보상은 다중 시점 영상에서 일치점을 검색하는 과정으로 다수 카메라가 서로 평행하게 배치되어 있는 경우에는 일치점을 적은 계산량으로 빠르고 정확하게 구할 수 있다. 그러나 실제 다중 시점 영상을 촬영하는 다중 카메라는 서로 평행하고 배치되지 않은 경우가 많으므로, 도 1(a)와 같이 평행하지 않은 다수 카메라에서 획득한 다중 시점 영상을 도 1(b)와 같이 평행하게 배치된 다수 카메라에서 얻은 다중 영상으로 변환하는 과정이 필요한데 이를 다중 시점 영상의 평행화(retification)라고 한다. 즉, 다중 시점 영상의 평행화란 다중 시점 영상의 각 등극선(epipolar line)을 공통 기준선(baseline)에 평행하게 위치하도록 각 영상의 영상면을 이동하는 것을 의미한다.
Research is actively underway to represent three-dimensional objects in the real world on a two-dimensional screen. In order to effectively encode a multi-dimensional 3D image obtained through multiple cameras, motion prediction compensation is performed for each camera viewpoint and disparity prediction compensation between camera viewpoints is performed. Such motion prediction compensation and parallax prediction compensation are processes of searching for matching points in a multi-view image, and when multiple cameras are arranged in parallel with each other, the matching points can be quickly and accurately obtained with a small amount of calculation. However, since multiple cameras that take actual multi-view images are often parallel to each other and are not arranged, the multi-view images obtained from multiple non-parallel cameras as shown in FIG. 1 (a) are parallel to each other as shown in FIG. 1 (b). The process of converting to multiple images obtained from a plurality of arranged cameras is required. This is called parallelization of multi-view images. That is, parallelization of a multi-view image means moving an image plane of each image so that each epipolar line of the multi-view image is parallel to a common baseline.
도 2는 종래 다중 시점 영상의 평행화 방법을 설명하는 도면이다.2 is a diagram illustrating a parallelization method of a conventional multi-view image.
도 2(a)를 참고로 살펴보면, 다수의 카메라는 서로 다른 촬영 각도로 평행하지 않게 배치되어 있으며, 서로 평행하지 않은 다수의 카메라를 통해 실제 영상의 이미지를 각 카메라 각도의 이미지로 촬영하여 다중 시점의 영상(S0 내지 S4)를 획득한다. Referring to FIG. 2 (a), a plurality of cameras are arranged not parallel to different photographing angles, and a plurality of cameras are photographed by using multiple cameras that are not parallel to each other to capture an image of an actual image as an image of each camera angle. Obtain the images S0 to S4.
도 2(b)를 참고로 다중 시점 영상의 종래 평행화 방법을 살펴보면, 다중 시점의 공통 기준선(BL)을 계산하고, 계산한 공통 기준선(BL)을 기준으로 다중 시점의 각 시점 영상면을 회전 변환하여 평행화를 수행하였다. 그러나 다중 시점 영상의 종래 평행화 방법은 반드시 다중 시점의 공통 기준선(BL)을 계산하여야 하는데, 공통 기준선(BL)은 다중 시점 영상에서 각 시점 영상을 획득한 카메라 초점과 후보 공통 기준선의 거리의 합을 계산하고, 후보 공통 기준선 중 최소의 거리 합을 가지는 후보 공통 기준선을 공통 기준선(BL)으로 선택한다. 따라서, 공통 기준선(BL)을 계산하기 위해 많은 계산량이 필요하며, 다시 공통 기준선(BL)을 기준으로 다중 시점 영상을 회전 변환하여야 한다. 더욱이 공통 기준선(BL)을 기준으로 다중 시점 영상을 회전 변환하는 경우 좌우 최단측에 위치하고 있는 카메라를 통해 획득한 시점 영상(S0, S4)은 공통 기준선(BL)과 굴곡 각도(distortion angle)가 커져 평행화 과정에서 큰 왜곡이 발생한다는 문제점을 가진다.
Referring to FIG. 2 (b), a conventional parallelization method of a multi-view image is calculated. The common reference line BL of the multi-view is calculated, and each view image plane of the multi-view is rotated based on the calculated common reference line BL. Transformation was performed for parallelism. However, in the conventional parallelization method of a multi-view image, a common reference line BL of a multi-view image must be calculated. The common reference line BL is the sum of the distances of a camera focus and a candidate common reference line obtained from each view image in the multi-view image. The candidate common reference line having the minimum sum of distances among the candidate common reference lines is selected as the common reference line BL. Therefore, a large amount of calculation is required to calculate the common reference line BL, and the multi-view image must be rotated again based on the common reference line BL. In addition, when the multi-view image is rotated based on the common reference line BL, the view images S0 and S4 obtained through the cameras positioned at the left and right ends are larger than the common reference line BL and the distortion angle. There is a problem that large distortion occurs in the parallelization process.
또한 계층적 B 프레임 구조를 가지는 그룹픽쳐그룹(GGOP, Group of Group of picture)에서 시차 보정은 B 프레임 시점 영상에 대해서만 이루어지는데, 시차 보정의 선행 단계로 이루어지는 종래 다중 시점 영상의 평행화 방법은 실제 시차 보정에 사용되는 B 프레임 시점 영상을 포함하여 모든 다중 시점 영상을 공통 기준선(BL)에 평행화하여 불필요한 계산량을 증가시킨다는 문제점을 가진다.In addition, parallax correction is performed only on B frame viewpoint images in a group of group of picture (GGOP) having a hierarchical B frame structure. All multi-view images including the B-frame view image used for parallax correction are parallelized to the common reference line BL to increase unnecessary computation amount.
본 발명은 위에서 언급한 다중 시점 영상의 종래 평행화 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 계층적 B 프레임 구조를 가지는 그룹픽쳐그룹(GGOP, Group of Group of picture)에서 실제 시차 보정에 사용되는 B 프레임 시점 영상에 대해서만 평행화를 수행하여 적은 계산량으로 평행화를 수행하는 방법을 제공하는 것이다.The present invention is to solve the problems of the conventional parallelization method of the above-mentioned multi-view image, the object of the present invention is to achieve a group picture group (GGOP) having a hierarchical B frame structure The present invention provides a method of performing parallelism with only a small amount of computation by performing parallelization only on a B-frame viewpoint image used for actual parallax correction.
본 발명이 이루고자 하는 다른 목적은 다중 시점 영상 중 각 B 프레임 시점 영상을 기준으로 각 B 프레임 시점 영상의 왼쪽 인접 시점 영상과 오른쪽 인접 시점 영상을 평행화하여 공통 기준선 없이도 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법을 제공하는 것이다.Another object of the present invention is to parallelize a left adjacent view image and a right adjacent view image of each B frame view image based on each B frame view image among the multi view images, so that the multi view for multi-view image coding without a common reference line is obtained. It provides a method of parallelizing images.
본 발명이 이루고자 하는 또 다른 목적은 다중 시점 영상 중 각 B 프레임 시점 영상을 기준으로 각 B 프레임 시점 영상의 왼쪽 인접 시점 영상과 오른쪽 인접 시점 영상을 평행화하여 시점 영상의 영상 왜곡을 최소화할 수 있는 다중 시점 영상의 평행화 방법을 제공하는 것이다.Another object of the present invention is to parallelize the left adjacent view image and the right adjacent view image of each B frame view image based on each B frame view image of the multi-view image to minimize image distortion of the view image. It is to provide a parallelization method of a multi-view image.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 다중시점 영상의 평행화 방법은 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 인접 왼쪽 시점 영상을 기준으로 B 프레임 시점 영상을 변환하여 B 프레임 시점 영상과 인접 왼쪽 시점 영상을 서로 제1 평행화하는 단계와, B 프레임 시점 영상의 인접 오른쪽 시점 영상을 기준으로 B 프레임 시점 영상을 변환하여 B 시점의 영상과 인접 오른쪽 시점 영상을 서로 제2 평행화하는 단계를 포함한다.In order to achieve the object of the present invention, a method of parallelizing a multiview image according to the present invention converts a B frame view image based on an adjacent left view image of a B frame view image composed of B frames among the multiview images, thereby converting a B frame. First paralleling the viewpoint image and the adjacent left viewpoint image with each other; converting the B frame viewpoint image based on the adjacent right viewpoint image of the B frame viewpoint image, and performing a second parallelism between the image of the B viewpoint and the adjacent right viewpoint image; Incorporating steps.
여기서 다중 시점 영상은 I 프레임을 첫 번째 시점에만 두고 나머지 시점 사이의 참조를 허용하는 계층적 B 프레임 구조(hierarchical B picture structure)로 이루어진 그룹 픽쳐 그룹인 것을 특징으로 한다.In this case, the multi-view video is a group picture group composed of a hierarchical B-frame structure that allows an I frame to be placed only at the first view and allows reference between the remaining views.
바람직하게, 다중 시점 영상의 평행화 방법은 제1 평행화된 B 프레임 시점 영상과 인접 왼쪽 시점 영상을 제1 시차 보정하고, 제2 평행화된 B 프레임 시점 영상과 인접 오른쪽 시점 영상을 제2 시차 보정하는 단계를 더 포함하는 것을 특징으로 한다.Preferably, the parallelization method of the multi-view image includes first parallax correction of the first parallelized B-frame viewpoint image and the adjacent left viewpoint image, and second parallax of the second parallelized B-frame viewpoint image and the adjacent right viewpoint image. It further comprises the step of correcting.
B 프레임 시점 영상과 인접 왼쪽 시점 영상을 서로 제1 평행화하는 단계는 구체적으로 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제1 투영 행렬(Q1)을 계산하는 단계와, B 프레임 시점 영상의 인접 왼쪽 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 인접 왼쪽 시점 영상으로 변환하는 제2 투영 행렬(Q2)을 계산하는 단계와, 제1 투영 행렬과 상기 제2 투영 행렬로부터 인접 왼쪽 시점 영상을 기준으로 B 프레임 시점 영상을 인접 왼쪽 시점 영상에 평행화하는 제1 평행화 행렬(T1)을 계산하는 단계와, 제1 평행화 행렬을 이용하여 B 프레임 시점 영상을 인접 왼쪽 시점 영상에 평행화하는 단계를 포함하는 것을 특징으로 한다.The first parallelizing of the B frame view image and the adjacent left view image may include a two-dimensional actual image having three-dimensional coordinates from an internal parameter and an external parameter of the B frame view image including B frames. Calculating a first projection matrix Q 1 for converting the B frame viewpoint image into a two-dimensional adjacent left viewpoint from an internal parameter and an external parameter of an adjacent left viewpoint image of a B frame viewpoint image; Calculating a second projection matrix Q 2 for converting to an image; and parallelizing a B frame viewpoint image to an adjacent left viewpoint image based on an adjacent left viewpoint image from the first projection matrix and the second projection matrix. Computing a 1 parallelization matrix T 1 and parallelizing a B frame viewpoint image to an adjacent left viewpoint image using a first parallelization matrix. And a system.
제1 평행화 행렬(T1)은 아래의 수학식(1)로 표현되며,The first parallelization matrix T 1 is represented by the following equation (1),
[수학식 1][Equation 1]
여기서 제1 투영 행렬(Q1)과 제2 투영 행렬(Q2)는 각각 아래의 수학식(2)와 수학식(3)으로 표현되며,Here, the first projection matrix Q 1 and the second projection matrix Q 2 are represented by the following equations (2) and (3), respectively.
[수학식2]&Quot; (2) "
[수학식3]&Quot; (3) "
여기서 A1과 A2는 각각 B 프레임 시점 영상과 인접 왼쪽 시점 영상의 내부 파라미터 행렬이고 R1, R2는 각각 B 프레임 시점 영상과 인접 왼쪽 시점 영상의 회전 행렬인 것을 특징으로 한다.A 1 and A 2 are internal parameter matrices of the B frame view image and the adjacent left view image, respectively, and R 1 and R 2 are the rotation matrices of the B frame view image and the adjacent left view image, respectively.
B 시점의 영상과 인접 오른쪽 시점 영상을 서로 제2 평행화하는 단계는 구체적으로 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제3 투영 행렬(Q3)을 계산하는 단계와, B 프레임 시점 영상의 인접 오른쪽 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 인접 오른쪽 시점 영상으로 변환하는 제4 투영 행렬(Q4)을 계산하는 단계와, 제3 투영 행렬과 제4 투영 행렬로부터 인접 오른쪽 시점 영상을 기준으로 B 프레임 시점 영상을 인접 오른쪽 시점 영상에 평행화하는 제2 평행화 행렬(T2)을 계산하는 단계와, 제2 평행화 행렬을 이용하여 B 프레임 시점 영상을 인접 오른쪽 시점 영상에 제2 평행화하는 단계를 포함하는 것을 특징으로 한다.The second parallelizing of the image of the B viewpoint and the adjacent right viewpoint image may be performed by performing a two-dimensional actual image of three-dimensional coordinates from an internal parameter and an external parameter of the B frame viewpoint image composed of B frames among the multi-view images. Calculating a third projection matrix Q 3 for converting the B-frame viewpoint image into a two-dimensional adjacent right viewpoint from an internal parameter and an external parameter of an adjacent right viewpoint image of the B frame viewpoint image; Calculating a fourth projection matrix Q 4 for converting to an image; and parallelizing a B-frame viewpoint image to an adjacent right viewpoint image from the third and fourth projection matrices, based on the adjacent right viewpoint image. parallelizing the matrix (T 2) the calculation step, and a second collimating matrix used in a second parallel to the adjacent right-viewpoint image for the B frame, the point image of Chemistry It is characterized by including the steps:
제2 평행화 행렬(T2)은 아래의 수학식(4)로 표현되며,The second parallelism matrix T 2 is represented by the following equation (4),
[수학식 4]&Quot; (4) "
여기서 제3 투영 행렬(Q3)과 제4 투영 행렬(Q4)는 각각 아래의 수학식(5)와 수학식(6)으로 표현되며,Here, the third projection matrix Q 3 and the fourth projection matrix Q 4 are represented by Equations (5) and (6), respectively,
[수학식5][Equation 5]
[수학식6][Equation 6]
여기서 A3과 A4는 각각 B 프레임 시점 영상과 인접 오른쪽 시점 영상의 내부 파라미터 행렬이고 R3, R4는 각각 B 프레임 시점 영상과 인접 오른쪽 시점 영상의 회전 행렬인 것을 특징으로 한다.A 3 and A 4 are internal parameter matrices of the B frame view image and the adjacent right view image, respectively, and R 3 and R 4 are the rotation matrices of the B frame view image and the adjacent right view image, respectively.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 다중 시점 영상의 평행화 장치는 다중 시점 영상 중 각 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 이미지 영상으로 변환하는 투영 행렬을 계산하는 투영 행렬 계산부와, 계산된 투영 행렬을 이용하여 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 인접 왼쪽 시점 영상을 기준으로 B 프레임 시점 영상과 인접 왼쪽 시점 영상을 서로 평행화하는 제1 평행화부와, 계산된 투영 행렬을 이용하여 B 프레임 시점 영상의 인접 오른쪽 시점 영상을 기준으로 B 프레임 시점 영상과 인접 오른쪽 시점 영상을 평행화하는 제2 평행화부를 포함한다.In order to achieve the object of the present invention, the multi-view image parallelization apparatus according to the present invention is a projection for converting the actual image of the three-dimensional coordinates from the internal and external parameters of each viewpoint image of the multi-view image into a two-dimensional image image The B-frame viewpoint image and the adjacent left viewpoint image are parallel to each other based on a projection matrix calculator which calculates a matrix and a neighboring left viewpoint image of a B frame viewpoint image composed of B frames among the multi-view images using the calculated projection matrix. And a second parallelizer configured to parallelize the B frame view image and the adjacent right view image based on the adjacent right view image of the B frame view image using the calculated projection matrix.
제1 평행화부는 구체적으로 투영 행렬 계산부에서 계산된, 다중 시점 영상 중 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제1 투영 행렬(Q1)과 실제 영상을 2차원의 B 프레임 시점 영상의 인접 왼쪽 시점 영상으로 변환하는 제2 투영 행렬(Q2)을 이용하여 B 프레임 시점 영상과 인접 왼쪽 시점 영상을 평행화하는 제1 평행화 행렬(T1)을 계산하는 제1 평행화 행렬 계산부와, 제1 평행화 행렬에 B 프레임 시점 영상을 적용하여 B 프레임 시점 영상을 인접 왼쪽 시점 영상에 평행화하는 제1 평행화 수행부를 포함한다.The first parallelizing unit specifically converts the first projection matrix Q 1 and the actual image to two-dimensional B-frame viewpoint images of the three-dimensional coordinates among the multi-view images, which are calculated by the projection matrix calculator, to two-dimensionally. A first parallelization matrix T 1 for parallelizing the B frame viewpoint image and the adjacent left viewpoint image using a second projection matrix Q 2 that converts the B frame viewpoint image to the adjacent left viewpoint image of the B frame viewpoint image. And a first parallelization matrix calculator and a first parallelization performer configured to apply the B frame viewpoint image to the first parallelization matrix and to parallelize the B frame viewpoint image to the adjacent left viewpoint image.
제2 평행화부는 구체적으로 투영 행렬 계산부에서 계산된, 다중 시점 영상 중 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제3 투영 행렬(Q3)과 실제 영상을 2차원의 B 프레임 시점 영상의 인접 오른쪽 시점 영상으로 변환하는 제4 투영 행렬(Q4)을 이용하여 B 프레임 시점 영상과 인접 오른쪽 시점 영상을 평행화하는 제2 평행화 행렬을 계산하는 제2 평행화 행렬 계산부와, 제2 평행화 행렬에 B 프레임 시점 영상을 적용하여 B 프레임 시점 영상을 인접 오른쪽 시점 영상에 평행화하는 제2 평행화 수행부를 포함한다.The second parallelizing unit specifically converts the third projection matrix Q 3 and the actual image, which are calculated by the projection matrix calculation unit, to a two-dimensional B-frame viewpoint image of the three-dimensional coordinate image among the multi-view images. A second parallelism matrix for calculating a second parallelism matrix for parallelizing the B frame viewpoint image and the adjacent right viewpoint image using a fourth projection matrix Q 4 that converts the B frame viewpoint image to the adjacent right viewpoint image of the B frame viewpoint image. A calculation unit and a second parallelization unit for applying the B frame viewpoint image to the second parallelization matrix to parallelize the B frame viewpoint image to the adjacent right viewpoint image.
본 발명에 따른 다중 시점 영상의 평행화 방법은 종래 다중 시점 영상의 평행화 방법과 비교하여 다음과 같은 다양한 효과들을 가진다.The parallelization method of a multi-view image according to the present invention has various effects as follows as compared to the conventional parallelization method of a multi-view image.
첫째, 본 발명에 따른 다중 시점 영상의 평행화 방법은 실제 시차 보정에 사용되는 B 프레임 시점 영상에 대해서만 평행화를 수행함으로써, 종래 모든 다중 시점을 동일한 기준선으로 평행화하는 것보다 적은 계산량으로 다중 시점 영상의 부호화를 위한 평행화를 수행한다.First, the parallelization method of a multi-view image according to the present invention performs parallelization only on a B-frame viewpoint image used for actual parallax correction, so that the multiple viewpoints with a smaller amount of calculation than the conventional parallelization of all the multiple viewpoints to the same reference line. Parallelization is performed to encode an image.
둘째, 본 발명에 따른 다중 시점 영상의 평행화 방법은 다중 시점 영상 중 각 B 프레임 시점 영상을 기준으로 각 B 프레임 시점 영상의 왼쪽 인접 시점 영상과 오른쪽 인접 시점 영상을 평행화함으로써, 다중 시점 영상의 공통 기준선 없이도 다중 시점 영상의 부호화를 위한 다중 시점 영상의 평행화를 수행할 수 있다.Second, according to the present invention, a paralleling method of a multi-view image is performed by parallelizing a left adjacent view image and a right adjacent view image of each B frame view image based on each B frame view image among the multi view images. Parallelization of multi-view images for encoding a multi-view image may be performed without a common reference line.
셋째, 본 발명에 따른 다중 시점 영상의 평행화 방법은 다중 시점 영상 중 각 B 프레임 시점 영상을 기준으로 각 B 프레임 시점 영상의 왼쪽 인접 시점 영상과 오른쪽 인접 시점 영상을 평행화함으써, 다중 시점 영상 중 외곽에 위치하는 시점 영상의 영상 왜곡을 최소화할 수 있다.Third, the multi-view image parallelization method according to the present invention is performed by parallelizing the left adjacent view image and the right adjacent view image of each B frame view image based on each B frame view image among the multi view images. Image distortion of the viewpoint image located at the outer side can be minimized.
도 1은 다수의 카메라를 통해 획득한 다중 시점 영상과 평행화된 다중 시점 영상의 일 예를 도시하고 있다.
도 2는 종래 다중 시점 영상의 평행화 방법을 설명하는 도면이다.
도 3은 픽쳐그룹그룹(GGOP)의 계층적 B 프레임 구조를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 다중시점 영상의 평행화 장치를 설명하기 위한 기능 블록도이다.
도 5는 제1 평행화부(20)와 제2 평행화부(30)를 보다 구체적으로 도시하고 있다.
도 6은 본 발명에 따른 다중 시점 영상의 평행화 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 다중 시점 영상의 평행화 방법의 일 예를 설명하기 위한 도면이다.
도 8은 본 발명에 따른 B 프레임 시차 영상과 인접 왼쪽 시점 영상 사이의 제1 평행화를 수행하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 9는 본 발명에 따른 B 프레임 시차 영상과 인접 오른쪽 시점 영상 사이의 제2 평행화를 수행하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 10은 본 발명에 따른 제1 평행화 수행 단계와 제2 평행화 수행 단계의 일 예를 설명하기 위한 도면이다.1 illustrates an example of a multi-view image parallelized with a multi-view image acquired through a plurality of cameras.
2 is a diagram illustrating a parallelization method of a conventional multi-view image.
FIG. 3 is a diagram for describing a hierarchical B frame structure of a picture group group (GGOP).
4 is a functional block diagram illustrating a parallelizing apparatus of a multi-view image according to the present invention.
5 illustrates the
6 is a flowchart illustrating a parallelization method of a multi-view image according to the present invention.
7 is a view for explaining an example of a parallelization method of a multi-view image according to the present invention.
8 is a flowchart illustrating a step of performing first parallelism between a B frame parallax image and an adjacent left viewpoint image according to the present invention in more detail.
FIG. 9 is a flowchart for describing in more detail a step of performing a second parallelism between a B frame parallax image and an adjacent right view image according to the present invention.
10 is a view for explaining an example of the first parallelization step and the second parallelization step according to the present invention.
이하 첨부한 도면을 참고로 본 발명에 따른 다중 시점 부호화를 위한 다중 시점 영상의 평행화 방법 및 그 장치에 대해 보다 구체적으로 살펴본다.
Hereinafter, a method and apparatus for parallelizing a multiview image for multiview encoding according to the present invention will be described in detail with reference to the accompanying drawings.
도 3은 픽쳐그룹그룹(GGOP)의 계층적 B 프레임 구조를 설명하기 위한 도면이다.FIG. 3 is a diagram for describing a hierarchical B frame structure of a picture group group (GGOP).
MPEG((Moving Picture Expert Group)의 3DAV(3 Dimensional Audio Video)에서는 다시점 비디오 및 3차원 오디오/비디오 기술의 표준을 규정하고 있는데, 그룹 픽쳐 그룹(Group of Group Of Picture, GoGOP)의 구조 변경을 통해 종래 다시점 영상 처리가 가지는 문제점을 향상시기키 위한 연구가 진행되고 있다. 그룹 픽쳐 그룹은 단일 시점(Single view)에서 프레임의 집합을 나타내는 그룹 픽쳐(Group Of Picture, GOP)를 다시점으로 확장한 개념으로 시점 수에 따른 그룹 픽쳐의 그룹(Group of GOP, GGOP)을 의미한다.Moving Picture Expert Group (MPEG) 's 3 Dimensional Audio Video (3DAV) sets the standard for multi-view video and three-dimensional audio / video technology, which changes the structure of the Group of Group Of Picture (GoGOP). In order to improve the problems of conventional multi-view image processing, research is being conducted on a group picture group which extends a group picture (GOP) representing a set of frames in a single view to a multi-view. In one concept, it means a group of group pictures according to the number of viewpoints (Group of GOP, GGOP).
다시점 영상 처리를 위한 종래 그룹픽쳐 그룹의 구조는 앵커(Anchor) 구조로, 각 시점별로 I 프레임을 구비하고 있으며 각 시점별로 독립적으로 부호화를 수행하기 때문에 비효율적인 예측 부호화 방식이다. 이러한 앵커 구조가 가지는 문제점을 해결하기 위하여 계층적 B 프레임 구조(hierarchical B picture structure)가 제시되었다. 계층적 B 프레임 구조의 그룹 픽쳐 그룹은 앵커 구조와 달리 I 프레임을 첫 번째 시점에만 두고 나머저 시점 사이의 참조를 허용한다.
The conventional group picture group structure for multi-view image processing is an anchor structure, which has an I frame for each viewpoint and is inefficient predictive encoding method because encoding is independently performed for each viewpoint. In order to solve the problem of such an anchor structure, a hierarchical B frame structure has been proposed. Groups of hierarchical B frame structures A picture group, unlike an anchor structure, allows an I frame to be placed only at the first time point and allows references between the other time points.
도 3을 참고로 계층적 B 프레임 구조를 보다 구체적으로 살펴보면, 사각형 블록은 다시점 영상 소스에서의 영상 프레임을 나타낸다. 수직방향 화살표는 시점 또는 카메라 위치에 따른 프레임의 시퀀스를 나타내고, 수평방향 화살표는 시간에 따른 프레임의 시퀀스를 나타낸다. 한편 프레임 간의 화살표는 예측 방향을 의미하는데 수평방향을 지시하는 화살표는 움직임 예측 방향을 의미하고, 수직방향을 지시하는 화살표는 시차 예측 방향을 의미한다. I 프레임은 MPEG-2/4 또는 H.264에서의 I 프레임과 동일한 "인트라 프레임"을 나타내며, P 프레임 및 B 프레임은 각각 MPEG-2/4 또는 H.264에서와 유사하게 "예측 프레임" 및 "양방향 예측 프레임"을 나타낸다. Referring to FIG. 3, the hierarchical B frame structure will be described in more detail. The rectangular block represents an image frame in a multiview image source. Vertical arrows represent a sequence of frames according to a viewpoint or camera position, and horizontal arrows represent a sequence of frames over time. On the other hand, the arrow between the frames means the prediction direction, the arrow indicating the horizontal direction means the motion prediction direction, the arrow indicating the vertical direction means the parallax prediction direction. I frames represent the same "intra frames" as I frames in MPEG-2 / 4 or H.264, and P and B frames are similar to "predictive frames" and in MPEG-2 / 4 or H.264, respectively. Represents a "bidirectional prediction frame".
도 3에 도시되어 있는 것과 같이 각 시점을 구성하는 프레임의 시퀀스는 서로 상이한 프레임으로 구성되어 있음을 알 수 있다. 제1 시점(S0)은 I 프레임을 포함하여 구성되어 있으며, 제2 시점(S1)은 B 프레임을 포함하여 구성되어 있으며, 제3 시점은 P 프레임을 포함하여 구성되어 있다. 이하 I 프레임을 포함하여 구성되어 있는 제1 시점의 그룹 픽쳐를 I 프레임 시점 영상이라 언급하며, B 프레임을 포함하여 구성되어 있는 제2 시점의 그룹 픽쳐를 B 프레임 시점 영상이라 언급하며, P 프레임을 포함하여 구성되어 있는 제3 시점의 그룹 픽쳐를 P 프레임 시점 영상이라 언급한다.As shown in FIG. 3, it can be seen that the sequence of frames constituting each viewpoint consists of different frames. The first view point S0 includes an I frame, the second view point S1 includes a B frame, and the third view point includes a P frame. Hereinafter, a group picture of a first view including an I frame is referred to as an I frame view image, and a group picture of a second view including a B frame is referred to as a B frame view image, and a P frame The group picture of the third view including the P-frame view is referred to as a P frame view image.
도 3에 도시되어 있는 것과 같이 시차 예측은 B 프레임 시점 영상에 대해 이루어지며, 본 발명은 시차 예측 보정을 위한 선행 단계로 이루어지는 평행화를 실제 시차 예측 보정에 사용되는 B 프레임 시점 영상에 대해 수행하여, 모든 다중 시점 영상에 대한 공통 기준선을 계산할 필요가 없으며, 더욱이 계산한 공통 기준선에 기초하여 모든 다중 시점 영상을 공통 기준선에 평행화하지 않도록 하여 시차 예측 보정의 선행 단계로 필요한 다중 시점 영상의 평행화를 적은 연산량으로 수행할 수 있다. As shown in FIG. 3, parallax prediction is performed on a B frame viewpoint image, and the present invention performs parallelization, which is performed as a preceding step for parallax prediction correction, on a B frame viewpoint image used for actual parallax prediction correction. No need to calculate a common baseline for all multi-view images, and further parallelization of multi-view images required as a preliminary step of parallax prediction correction by avoiding parallelizing all multi-view images to a common baseline based on the calculated common baseline. Can be performed with a small amount of computation.
이하 설명하는 본 발명에 따른 다중시점 영상의 평행화 방법 및 그 장치는 계층적 B 프레임 구조(hierarchical B picture structure)로 이루어진 그룹 픽쳐 그룹으로 구성되는 다중시점 영상의 평행화 방법이다.
A method and an apparatus for parallelizing a multiview image according to the present invention described below are a parallelization method for a multiview image composed of a group picture group having a hierarchical B frame structure.
도 4는 본 발명에 따른 다중시점 영상의 평행화 장치를 설명하기 위한 기능 블록도이다.4 is a functional block diagram illustrating a parallelizing apparatus of a multi-view image according to the present invention.
도 4를 참고로 보다 구체적으로 살펴보면, 투영 행렬 계산부(10)는 다중 시점 영상 중 각 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 이미지 영상으로 변환하는 투영 행렬을 계산한다. 여기서 내부 파라미터(intrinsic parameter)는 카메라의 초점거리(focal length), 카메라 광축(optical center), 스큐값(skew factor)를 의미하며, 외부 파라미터(extrinsic parameter)는 회전 행렬(rotation matrix), 변환 벡터(translation vector)를 의미한다. Referring to FIG. 4, the
각 카메라에서 획득된 3차원 좌표의 실제 영상에 대한 2차원 이미지 영상은 아래의 수학식(1)과 같이 계산되는데, 투영 행렬 계산부(10)는 각 카메라의 내부 파라미터와 외부 파라미터를 이용하여 수학식(1)에서 3차원 좌표의 실제 영상을 2차원의 이미지 영상으로 변환하는 투영 행렬(Q)을 계산한다.The two-dimensional image image of the actual image of the three-dimensional coordinates obtained from each camera is calculated as shown in Equation (1) below, the projection
[수학식1][Equation 1]
여기서 m은 2차원의 이미지 영상, 예측 투영 행렬(perspective projection matrix), A는 내부 파라미터 행렬, R은 회전 행렬, t는 변환 벡터, w은 3차원 좌표의 실제 영상을 의미한다. 여기서 A[R│t]는, 예를 들어 A와 R이 n×n 행렬이고 t가 1×n 행렬인 경우, 행렬 t의 전치 값을 q14, q24, q34로 유지하는 n×(n+1) 행렬을 생성하는 함수이다.Where m is a two-dimensional image image, a perspective projection matrix, A is an internal parameter matrix, R is a rotation matrix, t is a transform vector, and w is an actual image of three-dimensional coordinates. Here, A [R│t] is n × (for maintaining the transpose value of the matrix t as q 14 , q 24 , q 34 , for example, when A and R are n × n matrices and t is 1 × n matrices. n + 1) Creates a matrix.
제1 평행화부(20)는 투영 행렬 계산부(10)에서 계산된 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 투영 행렬과 B 프레임 시점 영상의 인접 왼쪽 시점 영상의 투영 행렬로부터 인접 왼쪽 시점 영상을 기준으로 B 프레임 시점 영상과 인접 왼쪽 시점 영상을 서로 평행화한다. 한편, 제2 평행화부(30)는 투영 행렬 계산부(10)에서 계산된 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 투영 행렬과 B 프레임 시점 영상의 인접 오른쪽 시점 영상의 투영 행렬로부터 인접 오른쪽 시점 영상을 기준으로 B 프레임 시점 영상과 인접 오른쪽 시점 영상을 평행화한다.The
인코딩부(40)는 평행화된 B 프레임 시점 영상과 인접 왼쪽 시점 영상으로부터 제1 시차 예측 보정하고, 평행화된 B 프레임 시점 영상과 인접 오른쪽 시점 영상을 제2 시차 예측 보정하여 제1 시차 예측 보정 영상 데이터, 제2차 시차 예측 보정 영상 데이터를 인접 왼쪽 시점 영상 및 인접 오른쪽 시점 영상과 함께 인코팅한다.
The
제1 평행화부(20)와 제2 평행화부(30)를 보다 구체적으로 도시하고 있는 도 5를 참고로 살펴보면, 제1 평행화부(20)는 제1 평행화 행렬 계산부(21)와 제1 평행화 수행부(23)를 구비하며, 제2 평행화부(30)는 제2 평행화 행렬 계산부(31)와 제2 평행화 수행부(33)를 구비한다. 제1 평행화 행렬 계산부(21)는 투영 행렬 계산부(10)에서 계산된, 다중 시점 영상 중 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제1 투영 행렬(Q1)과 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상의 인접 왼쪽 시점 영상으로 변환하는 제2 투영 행렬(Q2)을 이용하여 B 프레임 시점 영상과 인접 왼쪽 시점 영상을 평행화하는 제1 평행화 행렬(T1)을 계산한다. 제1 평행화 수행부(23)는 제1 평행화 행렬(T1)에 B 프레임 시점 영상을 적용하여 B 프레임 시점 영상을 인접 왼쪽 시점 영상에 평행화한다.Referring to FIG. 5, which illustrates the
한편, 제2 평행화 행렬 계산부(31)는 투영 행렬 계산부(10)에서 계산된, 다중 시점 영상 중 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제3 투영 행렬(Q3)과 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상의 인접 오른쪽 시점 영상으로 변환하는 제4 투영 행렬(Q4)을 이용하여 B 프레임 시점 영상과 인접 오른쪽 시점 영상을 평행화하는 제2 평행화 행렬(T2)을 계산한다. 제2 평행화 수행부(33)는 제2 평행화 행렬(T2)에 B 프레임 시점 영상을 적용하여 B 프레임 시점 영상을 인접 오른쪽 시점 영상에 평행화한다.
Meanwhile, the second
도 6은 본 발명에 따른 다중 시점 영상의 평행화 방법을 설명하기 위한 흐름도이고, 도 7은 본 발명에 따른 다중 시점 영상의 평행화 방법의 일 예를 설명하기 위한 도면이다.6 is a flowchart illustrating a parallelization method of a multi-view image according to the present invention, and FIG. 7 is a view illustrating an example of a parallelization method of a multi-view image according to the present invention.
도 6과 도 7을 참고로 보다 구체적으로 살펴보면, 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상(S1, S3)을 B 프레임 시점 영상과 인접 왼쪽 시점 영상 사이의 각 제1 평행화 행렬에 적용하여 인접 왼쪽 시점 영상(S0, S2)을 기준으로 B 프레임 시점 영상(S1, S3)과 B 프레임 시점 영상의 인접 왼쪽 시점 영상(S0, S2)을 서로 제1 평행화한다(S110). 한편, B 프레임 시점 영상(S1, S3)을 B프레임 시점 영상과 인접 오른쪽 시점 영상 사이의 각 제2 평행화 행렬에 적용하여 인접 오른쪽 시점 영상(S2, S4)을 기준으로 B 프레임 시점 영상과 인접 오른쪽 시점 영상을 서로 제2 평행화한다(S120). Referring to FIG. 6 and FIG. 7, the B-frame viewpoint images S1 and S3 including B frames among the multi-view images are included in each first parallelization matrix between the B-frame viewpoint image and the adjacent left viewpoint image. In operation S110, the B frame view images S1 and S3 and the adjacent left view images S0 and S2 of the B frame view image are first parallelized with respect to the adjacent left view images S0 and S2 (S110). Meanwhile, the B frame viewpoint image S1 and S3 are applied to each second parallelization matrix between the B frame viewpoint image and the adjacent right viewpoint image, so that the B frame viewpoint image S2 and S4 is adjacent to the B frame viewpoint image based on the adjacent right viewpoint image S2 and S4. The right view image is second parallelized with each other (S120).
제1 평행화된 B 프레임 시점 영상과 인접 왼쪽 시점 영상을 이용하여 B 프레임 시점 영상과 인접 왼쪽 시점 영상의 제1 시차 예측 보정을 수행하고, 제2 평행화된 B 프레임 시점 영상과 인접 오른쪽 시점 영상을 이용하여 B 프레임 시점 영상과 인접 오른쪽 시점 영상의 제2 시차 예측 보정을 수행한다(S130). 제1 시차 예측 보정된 영상 데이터, 제2 시차 예측 보정된 영상 데이터를 이용하여 다중 시점 영상을 부호화한다(S140). 본 발명이 적용되는 분야에 따라 시차 예측 보정된 영상 데이터를 부호화하는 방식은 종래 다양한 부호화 방식으로 부호화될 수 있으며, 이에 대한 자세한 설명은 생략한다.
The first parallax prediction correction of the B frame viewpoint image and the adjacent left viewpoint image is performed using the first parallelized B frame viewpoint image and the adjacent left viewpoint image, and the second parallelized B frame viewpoint image and the adjacent right viewpoint image are performed. The second parallax prediction correction of the B frame view image and the adjacent right view image is performed by using S130. The multi-view image is encoded using the first parallax prediction-corrected image data and the second parallax prediction-corrected image data (S140). According to the field to which the present invention is applied, a method of encoding parallax prediction-corrected image data may be encoded by various conventional coding methods, and a detailed description thereof will be omitted.
도 8은 본 발명에 따른 B 프레임 시차 영상과 인접 왼쪽 시점 영상 사이의 제1 평행화를 수행하는 단계를 보다 구체적으로 설명하기 위한 흐름도이며, 도 9는 본 발명에 따른 B 프레임 시차 영상과 인접 오른쪽 시점 영상 사이의 제2 평행화를 수행하는 단계를 보다 구체적으로 설명하기 위한 흐름도이며, 도 10은 본 발명에 따른 제1 평행화 수행 단계와 제2 평행화 수행 단계의 일 예를 설명하기 위한 도면이다.FIG. 8 is a flowchart for explaining in detail a step of performing a first parallelization between a B frame parallax image and an adjacent left viewpoint image according to the present invention, and FIG. 9 is a B frame parallax image and an adjacent right side according to the present invention. 10 is a flowchart illustrating a step of performing a second parallelization between viewpoint images in more detail, and FIG. 10 is a view illustrating an example of a first parallelization step and a second parallelization step according to the present invention. to be.
도 8과 도 10을 참고로 제1 평행화를 수행하는 단계를 보다 구체적으로 살펴보면, 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상(S1)의 내부 파라미터와 외부 파라미터로부터 실제 영상의 3차원 좌표를 2차원 좌표의 B 프레임 시점 영상으로 변환하는 제1 투영 행렬(Q1)을 계산하고(S111), B 프레임 시점 영상(S1)의 인접 왼쪽 시점 영상(S0)의 내부 파라미터와 외부 파라미터로부터 실제 영상의 3차원 좌표를 2차원의 B 프레임 시점 영상의 인접 왼쪽 시점 영상(S0)으로 변환하는 제2 투영 행렬(Q2)을 계산한다(S113).Referring to FIG. 8 and FIG. 10, the step of performing the first parallelization in more detail will be described. The three-dimensional image of the actual image is based on an internal parameter and an external parameter of the B-frame viewpoint image S1 consisting of B frames. A first projection matrix Q 1 for converting coordinates into a B frame viewpoint image of two-dimensional coordinates is calculated (S111), and from the internal and external parameters of the adjacent left viewpoint image S0 of the B frame viewpoint image S1. A second projection matrix Q 2 is calculated to convert the three-dimensional coordinates of the actual image into the adjacent left viewpoint image S0 of the two-dimensional B-frame viewpoint image (S113).
제1 투영 행렬(Q1)과 제2 투영 행렬(Q2)로부터 인접 왼쪽 시점 영상(S0)을 기준으로 B 프레임 시점 영상(S1)을 인접 왼쪽 시점 영상(S0)에 평행화하는 제1 평행화 행렬(T1)을 아래의 수학식(2)와 같이 계산한다(S115).First parallelism parallelizing the B frame viewpoint image S1 to the adjacent left viewpoint image S0 based on the adjacent left viewpoint image S0 from the first projection matrix Q 1 and the second projection matrix Q 2 . The sum matrix T 1 is calculated as in
[수학식 2]&Quot; (2) "
아래의 수학식(3)과 같이 제1 평행화 행렬(T1)에 B 프레임 시점 영상(S1)을 적용하여 인접 왼쪽 시점 B 프레임 시점 영상(S1)을 B 프레임 시점 영상(S1)의 인접 왼쪽 시점 영상(S0)에 평행화한다(S117).As shown in Equation (3) below, by applying the B frame viewpoint image S1 to the first parallelization matrix T 1 , the adjacent left viewpoint B frame viewpoint image S1 is adjacent to the B frame viewpoint image S1. Parallel to the viewpoint image S0 (S117).
[수학식 3]&Quot; (3) "
여기서 mi는 B 프레임 시점 영상(S1)의 카메라를 통해 획득되는 3차원 좌표의 실제 영상의 픽셀값을 의미하며, mr은 B 프레임 시점 영상(S1)이 인접 왼쪽 시점 영상(S0)에 평행화된 2차원 좌표의 영상 픽셀값을 의미한다.
Here, mi denotes a pixel value of an actual image of three-dimensional coordinates obtained through a camera of a B frame viewpoint image S1, and mr denotes that the B frame viewpoint image S1 is parallel to an adjacent left viewpoint image S0. Means an image pixel value of two-dimensional coordinates.
도 9와 도 10을 참고로 제2 평행화를 수행하는 단계를 보다 구체적으로 살펴보면, 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상(S1)의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원 좌표의 B 프레임 시점 영상으로 변환하는 제3 투영 행렬(Q3)을 계산하고(S121), B 프레임 시점 영상(S1)의 인접 오른쪽 시점 영상(S2)의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상(S1)의 인접 오른쪽 시점 영상(S2)으로 변환하는 제4 투영 행렬(Q4)을 계산한다(S123).Referring to FIG. 9 and FIG. 10, the step of performing the second parallelization in more detail will be described. In detail, the three-dimensional coordinates are actualized from the internal and external parameters of the B-frame viewpoint image S1 consisting of B frames. A third projection matrix Q 3 for converting an image into a B frame viewpoint image having two-dimensional coordinates is calculated (S121), and from the internal and external parameters of the adjacent right viewpoint image S2 of the B frame viewpoint image S1. A fourth projection matrix Q 4 for converting an actual image having three-dimensional coordinates into an adjacent right view image S2 of the two-dimensional B frame view image S1 is calculated (S123).
제3 투영 행렬(Q3)과 제4 투영 행렬(Q4)로부터 인접 오른쪽 시점 영상(S2)을 기준으로 B 프레임 시점 영상(S1)을 인접 오른쪽 시점 영상(S2)에 평행화하는 제2 평행화 행렬(T2)을 아래의 수학식(4)와 같이 계산한다(S125).Second parallelism parallelizing the B frame viewpoint image S1 to the adjacent right viewpoint image S2 based on the adjacent right viewpoint image S2 from the third projection matrix Q 3 and the fourth projection matrix Q 4 . The summation matrix T 2 is calculated as in Equation (4) below (S125).
[수학식 4]&Quot; (4) "
아래의 수학식(5)과 같이 제2 평행화 행렬(T2)에 B 프레임 시점 영상(S1)을 적용하여 인접 오른쪽 영상 시점(S2)을 기준으로 B 프레임 시점 영상(S1)을 B 프레임 시점 영상(S1)의 인접 오른쪽 시점 영상(S2)에 평행화한다(S127).As shown in Equation (5) below, the B-frame viewpoint image S1 is applied to the second parallelization matrix T 2 and the B-frame viewpoint image S1 is based on the adjacent right image viewpoint S2. The image S1 is parallelized to the adjacent right view image S2 (S127).
[수학식 5]&Quot; (5) "
여기서 mi는 B 프레임 시점 영상(S1)의 카메라를 통해 획득되는 3차원 좌표의 실제 영상을 의미하며, mr은 B 프레임 시점 영상(S1)이 인접 오른쪽 시점 영상(S2)에 평행화된 2차원 좌표의 영상을 의미한다.Here, mi denotes an actual image of three-dimensional coordinates obtained by the camera of the B frame viewpoint image S1, and mr denotes a two-dimensional coordinate in which the B frame viewpoint image S1 is parallel to an adjacent right viewpoint image S2. Means video.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
10: 투영 행렬 계산부 20: 제1 평행화부
30: 제2 평행화부 40: 인코딩부
21: 제1 평행화 행렬 계산부 23: 제1 평행화 수행부
31: 제2 평행화 행렬 계산부 33: 제2 평행화 수행부10: projection matrix calculation unit 20: first parallelization unit
30: second parallelizing unit 40: encoding unit
21: first parallelization matrix calculation unit 23: first parallelization execution unit
31: second parallelization matrix calculation unit 33: second parallelization execution unit
Claims (12)
(a) 상기 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 인접 왼쪽 시점 영상을 기준으로 상기 B 프레임 시점 영상을 변환하여 상기 B 프레임 시점 영상과 상기 인접 왼쪽 시점 영상을 서로 제1 평행화하는 단계; 및
(b) 상기 B 프레임 시점 영상의 인접 오른쪽 시점 영상을 기준으로 상기 B 프레임 시점 영상을 변환하여 상기 B 프레임 시점 영상과 상기 인접 오른쪽 시점 영상을 서로 제2 평행화하는 단계를 포함하는 것을 특징으로 하는 다중 시점 영상의 평행화 방법.In the parallelization method of a multi-view image for multi-view image coding,
(a) converting the B frame view image based on the adjacent left view image of the B frame view image including the B frame among the multi-view images, and first parallelizing the B frame view image and the adjacent left view image Making; And
(b) converting the B frame viewpoint image based on the adjacent right viewpoint image of the B frame viewpoint image to second parallelize the B frame viewpoint image and the adjacent right viewpoint image; Parallelization method of multi-view image.
I 프레임을 첫 번째 시점에만 두고 나머지 시점 사이의 참조를 허용하는 계층적 B 프레임 구조(hierarchical B picture structure)로 이루어진 그룹 픽쳐 그룹인 것을 특징으로 하는 다중 시점 영상의 평행화 방법.The method of claim 1, wherein the multi-view image is
A method of parallelizing a multi-view image, characterized in that it is a group picture group consisting of a hierarchical B frame structure allowing an I frame to be placed only at the first view and allowing reference between remaining views.
상기 제1 평행화된 B 프레임 시점 영상과 상기 인접 왼쪽 시점 영상을 제1 시차 보정하고, 상기 제2 평행화된 B 프레임 시점 영상과 상기 인접 오른쪽 시점 영상을 제2 시차 보정하는 단계를 더 포함하는 것을 특징으로 하는 다중 시점 영상의 평행화 방법.The method of claim 2, wherein the parallelization method of the multi-view image is
And correcting a first parallax of the first parallelized B frame viewpoint image and the adjacent left viewpoint image, and correcting a second parallax correction of the second parallelized B frame viewpoint image and the adjacent right viewpoint image. Parallelization method of a multi-view image, characterized in that.
상기 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제1 투영 행렬(Q1)을 계산하는 단계;
상기 B 프레임 시점 영상의 인접 왼쪽 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 상기 인접 왼쪽 시점 영상으로 변환하는 제2 투영 행렬(Q2)을 계산하는 단계;
상기 제1 투영 행렬과 상기 제2 투영 행렬로부터 상기 인접 왼쪽 시점 영상을 기준으로 상기 B 프레임 시점 영상을 상기 인접 왼쪽 시점 영상에 평행화하는 제1 평행화 행렬(T1)을 계산하는 단계; 및
상기 제1 평행화 행렬을 이용하여 상기 B 프레임 시점 영상을 상기 인접 왼쪽 시점 영상에 평행화하는 단계를 포함하는 것을 특징으로 하는 다중 시점 영상의 평행화 방법.3. The method of claim 2, wherein said first parallelizing step
Calculating a first projection matrix Q 1 for converting an actual image having three-dimensional coordinates into a two-dimensional B frame viewpoint image from an internal parameter and an external parameter of the B frame viewpoint image of the multi-view image; ;
Calculating a second projection matrix (Q 2 ) for converting an actual image of three-dimensional coordinates into the two-dimensional adjacent left viewpoint image from internal and external parameters of the adjacent left viewpoint image of the B frame viewpoint image;
Calculating a first parallelization matrix (T 1 ) for parallelizing the B-frame viewpoint image to the adjacent left viewpoint image based on the adjacent left viewpoint image from the first projection matrix and the second projection matrix; And
And parallelizing the B frame viewpoint image to the adjacent left viewpoint image by using the first parallelization matrix.
[수학식 1]
여기서 제1 투영 행렬(Q1)과 제2 투영 행렬(Q2)는 각각 아래의 수학식(2)와 수학식(3)으로 표현되며,
[수학식2]
[수학식3]
여기서 A1과 A2는 각각 상기 B 프레임 시점 영상과 상기 인접 왼쪽 시점 영상의 내부 파라미터 행렬이고 R1, R2는 각각 상기 B 프레임 시점 영상과 상기 인접 왼쪽 시점 영상의 회전 행렬인 것을 특징으로 하는 다중 시점 영상의 평행화 방법. The method of claim 4, wherein the first parallelism matrix T 1 is represented by Equation 1 below.
[Equation 1]
Here, the first projection matrix Q 1 and the second projection matrix Q 2 are represented by the following equations (2) and (3), respectively.
&Quot; (2) "
&Quot; (3) "
Wherein A 1 and A 2 are internal parameter matrices of the B frame view image and the adjacent left view image, respectively, and R 1 and R 2 are rotation matrices of the B frame view image and the adjacent left view image, respectively. Parallelization method of multi-view image.
상기 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제3 투영 행렬(Q3)을 계산하는 단계;
상기 B 프레임 시점 영상의 인접 오른쪽 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 상기 인접 오른쪽 시점 영상으로 변환하는 제4 투영 행렬(Q4)을 계산하는 단계;
상기 제3 투영 행렬과 상기 제4 투영 행렬로부터 상기 인접 오른쪽 시점 영상을 기준으로 상기 B 프레임 시점 영상을 상기 인접 오른쪽 시점 영상에 평행화하는 제2 평행화 행렬(T2)을 계산하는 단계; 및
상기 제2 평행화 행렬을 이용하여 상기 B 프레임 시점 영상을 상기 인접 오른쪽 시점 영상에 제2 평행화하는 단계를 포함하는 것을 특징으로 하는 다중 시점 영상의 평행화 방법.The method of claim 4, wherein the second parallelizing step
Calculating a third projection matrix (Q 3 ) for converting an actual image of three-dimensional coordinates into a two-dimensional B-frame viewpoint image from internal and external parameters of the B-frame viewpoint image of the multi-viewpoint image; ;
Calculating a fourth projection matrix (Q 4 ) for converting an actual image having three-dimensional coordinates into the two-dimensional adjacent right viewpoint image from internal and external parameters of the adjacent right viewpoint image of the B frame viewpoint image;
Calculating a second parallelization matrix (T 2 ) for parallelizing the B-frame viewpoint image to the adjacent right viewpoint image based on the adjacent right viewpoint image from the third projection matrix and the fourth projection matrix; And
And parallelizing the B-frame viewpoint image to the adjacent right viewpoint image by using the second parallelization matrix.
[수학식 4]
여기서 제3 투영 행렬(Q3)과 제4 투영 행렬(Q4)는 각각 아래의 수학식(5)와 수학식(6)으로 표현되며,
[수학식5]
[수학식6]
여기서 A3과 A4는 각각 상기 B 프레임 시점 영상과 상기 인접 오른쪽 시점 영상의 내부 파라미터 행렬이고 R3, R4는 각각 상기 B 프레임 시점 영상과 상기 인접 오른쪽 시점 영상의 회전 행렬인 것을 특징으로 하는 다중 시점 영상의 평행화 방법. The method of claim 6, wherein the second parallelism matrix T 2 is represented by Equation 4 below.
&Quot; (4) "
Here, the third projection matrix Q 3 and the fourth projection matrix Q 4 are represented by Equations (5) and (6), respectively,
[Equation 5]
[Equation 6]
Wherein A 3 and A 4 are internal parameter matrices of the B frame view image and the adjacent right view image, respectively, and R 3 and R 4 are rotation matrices of the B frame view image and the adjacent right view image, respectively. Parallelization method of multi-view image.
상기 제1 투영 행렬(Q1)와 제3 투영 행렬(Q3)은 서로 동일한 것을 특징으로 하는 다중 시점 영상의 평행화 방법.The method of claim 6,
And the first projection matrix (Q 1 ) and the third projection matrix (Q 3 ) are identical to each other.
상기 다중 시점 영상 중 각 시점 영상의 내부 파라미터와 외부 파라미터로부터 3차원 좌표의 실제 영상을 2차원의 이미지 영상으로 변환하는 투영 행렬을 계산하는 투영 행렬 계산부;
상기 계산된 투영 행렬을 이용하여 상기 다중 시점 영상 중 B 프레임으로 구성되는 B 프레임 시점 영상의 인접 왼쪽 시점 영상을 기준으로 상기 B 프레임 시점 영상과 상기 인접 왼쪽 시점 영상을 서로 평행화하는 제1 평행화부; 및
상기 계산된 투영 행렬을 이용하여 상기 B 프레임 시점 영상의 인접 오른쪽 시점 영상을 기준으로 상기 B 프레임 시점 영상과 상기 인접 오른쪽 시점 영상을 평행화하는 제2 평행화부를 포함하는 것을 특징으로 하는 다중 시점 영상의 평행화 장치.In the parallelization (rectification) apparatus of a multi-view image for multi-view image coding,
A projection matrix calculator configured to calculate a projection matrix for converting an actual image of three-dimensional coordinates into a two-dimensional image image from internal and external parameters of each viewpoint image among the multi-view images;
A first parallelizer configured to parallelize the B frame view image and the adjacent left view image based on the adjacent left view image of the B frame view image including B frames among the multi-view images using the calculated projection matrix ; And
And a second parallelizer configured to parallelize the B frame viewpoint image and the adjacent right viewpoint image based on the adjacent right viewpoint image of the B frame viewpoint image by using the calculated projection matrix. Paralleling device.
I 프레임을 첫 번째 시점에만 두고 나머지 시점 사이의 참조를 허용하는 계층적 B 프레임 구조(hierarchical B picture structure)로 이루어진 그룹 픽쳐 그룹인 것을 특징으로 하는 다중 시점 영상의 평행화 장치.The method of claim 9, wherein the multi-view image is
And a group picture group consisting of a hierarchical B picture structure allowing an I frame to be placed only at the first view and allowing reference between the remaining views.
상기 투영 행렬 계산부에서 계산된, 상기 다중 시점 영상 중 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제1 투영 행렬(Q1)과 상기 실제 영상을 2차원의 상기 B 프레임 시점 영상의 인접 왼쪽 시점 영상으로 변환하는 제2 투영 행렬(Q2)을 이용하여 상기 B 프레임 시점 영상과 상기 인접 왼쪽 시점 영상을 평행화하는 제1 평행화 행렬(T1)을 계산하는 제1 평행화 행렬 계산부; 및
상기 제1 평행화 행렬에 상기 B 프레임 시점 영상을 적용하여 상기 B 프레임 시점 영상을 상기 인접 왼쪽 시점 영상에 평행화하는 제1 평행화 수행부를 포함하는 것을 특징으로 하는 다중 시점 영상의 평행화 장치.The method of claim 10, wherein the first parallelizing unit
The first projection matrix Q 1 for converting an actual image of three-dimensional coordinates from the multi-viewpoint image to a two-dimensional B-frame viewpoint image calculated by the projection matrix calculator and the B-frame of the two-dimensional image. A first parallelization matrix T 1 for parallelizing the B-frame viewpoint image and the adjacent left viewpoint image using a second projection matrix Q 2 that converts the viewpoint image into an adjacent left viewpoint image; A parallelization matrix calculator; And
And a first parallelization performing unit configured to apply the B frame viewpoint image to the first parallelization matrix and to parallelize the B frame viewpoint image to the adjacent left viewpoint image.
상기 투영 행렬 계산부에서 계산된, 상기 다중 시점 영상 중 3차원 좌표의 실제 영상을 2차원의 B 프레임 시점 영상으로 변환하는 제3 투영 행렬(Q3)과 상기 실제 영상을 2차원의 상기 B 프레임 시점 영상의 인접 오른쪽 시점 영상으로 변환하는 제4 투영 행렬(Q4)을 이용하여 상기 B 프레임 시점 영상과 상기 인접 오른쪽 시점 영상을 평행화하는 제2 평행화 행렬을 계산하는 제2 평행화 행렬 계산부; 및
상기 제2 평행화 행렬에 상기 B 프레임 시점 영상을 적용하여 상기 B 프레임 시점 영상을 상기 인접 오른쪽 시점 영상에 평행화하는 제2 평행화 수행부를 포함하는 것을 특징으로 하는 다중 시점 영상의 평행화 장치.The method of claim 10, wherein the second parallelizing unit
The third projection matrix Q 3 , which is calculated by the projection matrix calculation unit, and converts an actual image of three-dimensional coordinates of the multi-view image into a two-dimensional B-frame viewpoint image, and the B-frame of the two-dimensional actual image. Computing a second parallelism matrix for calculating a second parallelism matrix for parallelizing the B-frame viewpoint image and the adjacent right viewpoint image by using a fourth projection matrix Q 4 that converts the viewpoint image into an adjacent right viewpoint image. part; And
And a second parallelization performing unit configured to apply the B frame viewpoint image to the second parallelization matrix to parallelize the B frame viewpoint image to the adjacent right viewpoint image.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110130009 | 2011-12-07 | ||
| KR20110130009 | 2011-12-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130063995A KR20130063995A (en) | 2013-06-17 |
| KR101383486B1 true KR101383486B1 (en) | 2014-04-09 |
Family
ID=48861144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120065211A KR101383486B1 (en) | 2011-12-07 | 2012-06-18 | Method for recificating image for multi-view video coding |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101383486B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101629103B1 (en) * | 2014-12-11 | 2016-06-10 | 경희대학교 산학협력단 | Method for encoding muti-view video with non-referenced B frame |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102265109B1 (en) | 2014-01-24 | 2021-06-15 | 삼성전자주식회사 | Method and apparatus for image processing |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010152535A (en) | 2008-12-24 | 2010-07-08 | Nippon Hoso Kyokai <Nhk> | Three-dimensional shape restoring apparatus and program therefor |
| KR101031624B1 (en) | 2006-09-20 | 2011-04-27 | 니폰덴신뎅와 가부시키가이샤 | Image encoding and decoding methods, their devices, and storage medium containing programs thereof |
-
2012
- 2012-06-18 KR KR1020120065211A patent/KR101383486B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101031624B1 (en) | 2006-09-20 | 2011-04-27 | 니폰덴신뎅와 가부시키가이샤 | Image encoding and decoding methods, their devices, and storage medium containing programs thereof |
| JP2010152535A (en) | 2008-12-24 | 2010-07-08 | Nippon Hoso Kyokai <Nhk> | Three-dimensional shape restoring apparatus and program therefor |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101629103B1 (en) * | 2014-12-11 | 2016-06-10 | 경희대학교 산학협력단 | Method for encoding muti-view video with non-referenced B frame |
| US10075691B2 (en) | 2014-12-11 | 2018-09-11 | University-Industry Cooperation Group Of Kyung-Hee University | Multiview video coding method using non-referenced view video group |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130063995A (en) | 2013-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108886598B (en) | Compression method and device of panoramic stereo video system | |
| US8385628B2 (en) | Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs | |
| JP5153940B2 (en) | System and method for image depth extraction using motion compensation | |
| JP5561781B2 (en) | Method and system for converting 2D image data into stereoscopic image data | |
| Lu et al. | An epipolar geometry-based fast disparity estimation algorithm for multiview image and video coding | |
| CN107545586B (en) | Depth obtaining method and system based on light field polar line plane image local part | |
| KR20170140187A (en) | Method for fully parallax compression optical field synthesis using depth information | |
| JP6027143B2 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program | |
| WO2014103967A1 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium | |
| WO2009097714A1 (en) | Depth searching method and depth estimating method for multi-viewing angle video image | |
| JP4838275B2 (en) | Distance information encoding method, decoding method, encoding device, decoding device, encoding program, decoding program, and computer-readable recording medium | |
| Kang et al. | An efficient rectification algorithm for multi-view images in parallel camera array | |
| CN104871534A (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium | |
| JP6232075B2 (en) | Video encoding apparatus and method, video decoding apparatus and method, and programs thereof | |
| Tang et al. | A universal optical flow based real-time low-latency omnidirectional stereo video system | |
| Nozick | Multiple view image rectification | |
| KR101383486B1 (en) | Method for recificating image for multi-view video coding | |
| US20150281672A1 (en) | Stereo Matching Apparatus Using Image Property | |
| JP2009164865A (en) | Video coding method, video decoding method, video coding apparatus, video decoding apparatus, programs therefor and computer-readable recording medium | |
| JP6595878B2 (en) | Element image group generation apparatus and program thereof | |
| JP4937161B2 (en) | Distance information encoding method, decoding method, encoding device, decoding device, encoding program, decoding program, and computer-readable recording medium | |
| JP7257272B2 (en) | DEPTH MAP GENERATION DEVICE AND PROGRAM THEREOF, AND 3D IMAGE GENERATION DEVICE | |
| CN104350748B (en) | Use the View synthesis of low resolution depth map | |
| US11962745B2 (en) | Method and apparatus for processing image content | |
| Lu et al. | An effective epipolar geometry assisted motion estimation technique for multi-view image and video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170327 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180403 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190402 Year of fee payment: 6 |