KR20120087867A - Method for converting 2 dimensional video image into stereoscopic video - Google Patents
Method for converting 2 dimensional video image into stereoscopic video Download PDFInfo
- Publication number
- KR20120087867A KR20120087867A KR1020120066329A KR20120066329A KR20120087867A KR 20120087867 A KR20120087867 A KR 20120087867A KR 1020120066329 A KR1020120066329 A KR 1020120066329A KR 20120066329 A KR20120066329 A KR 20120066329A KR 20120087867 A KR20120087867 A KR 20120087867A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- edge
- depth map
- map
- pixels
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것으로서, 보다 상세하게는 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 스테레오 영상으로 변환하는 방법에 관한 것이다.The present invention relates to a method for converting a 2D image into a stereo image. More specifically, an object depth map and a background depth map are separately generated and merged to generate a final depth map, and use the generated final depth map. The present invention relates to a stereo image.
최근 3D 영상(Stereoscopic Video)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다. 일반적으로 인간은 양 안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이함으로써 구현될 수 있다.Recently, as interest in 3D video (Stereoscopic Video) has been amplified, research on 3D video has been actively conducted. In general, it is known that humans feel the most three-dimensional effect by the parallax between both eyes. Thus, 3D imaging can be implemented using these characteristics of humans. For example, by distinguishing a particular subject into a left eye image seen through the viewer's left eye and a right eye image seen through the viewer's right eye, the viewer simultaneously displays the left eye image and the right eye image, thereby allowing the viewer to view the 3D image as a 3D image. I can make it visible. As a result, the 3D image may be implemented by producing a binocular image divided into a left eye image and a right eye image and displaying the same.
본 발명의 목적은 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하는 2차원 영상을 스테레오 영상으로 변환하는 방법을 제공하고자 하는 것이다.본 발명의 목적은 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하는 2차원 영상을 스테레오 영상으로 변환하는 방법을 제공하고자 하는 것이다.An object of the present invention is to create an object depth map and a background depth map separately from the two-dimensional image and merge them to create a final depth map, and to create a two-dimensional image to generate a more natural stereo image using the generated final depth map SUMMARY OF THE INVENTION An object of the present invention is to separately generate an object depth map and a background depth map from a two-dimensional image, merge them together to generate a final depth map, and use the generated final depth map. To provide a method of converting a two-dimensional image to a stereo image to create a more natural stereo image.
상기 본 발명의 목적은 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서, 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계와, 2차원 YUV 영상으로부터 에지맵을 생성하는 제 2단계와, 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 객체 깊이맵과 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 3단계와, 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 4단계 및 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 5단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법에 의해서 달성 가능하다.An object of the present invention is a method for converting a two-dimensional RGB image to a stereo image, a first step of converting a two-dimensional RGB image to a two-dimensional YUV image, and a second step of generating an edge map from the two-dimensional YUV image And a third step of generating an object depth map and a background depth map by using an edge map, and then integrating an object depth map and a background depth map to generate a final depth map, and using the final depth map. And a fifth step of filling the empty hole pixels generated in the fourth step and the fourth step of acquiring the left-eye image and the right-eye image by moving the RGB image in the horizontal direction, using the surrounding pixel values. Achievable by a method of converting a dimensional image into a stereo image.
본 발명에서는 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하여 제공할 수 있게 되었다.In the present invention, the object depth map and the background depth map are separately generated from the two-dimensional image, and the final depth map is generated by merging them, and a more natural stereo image can be generated and provided using the generated final depth map.
도 1은 본 발명에 따른 2차원 영상을 스테레오 영상으로 변환하는 흐름을 설명하는 흐름도.
도 2는 크기가 W x H 인 에지맵 영상에서 좌우배경 깊이맵을 생성하는 방법을 설명하는 도면.
도 3은 크기가 W x H 인 에지맵 영상에서 좌우배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면.
도 4는 크기가 W x H 인 에지맵 영상에서 상하배경깊이맵을 생성하는 방법을 설명하는 도면.
도 5는 크기가 W x H 인 에지맵 영상에서 상하배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면.
도 6은 영상의 좌우 이동에 따라 발생하는 홀 픽셀을 채우는 방법을 설명하는 설명도.
도 7은 홀 픽셀이 발생한 경우, 홀 픽셀을 채우는 방법을 설명하는 흐름도.1 is a flow chart illustrating a flow of converting a two-dimensional image to a stereo image according to the present invention.
2 is a diagram illustrating a method of generating a left and right background depth map in an edge map image having a size W × H.
FIG. 3 is a view for explaining a method of allocating depth to left and right background depth maps in an edge map image having a size W × H. FIG.
4 is a view for explaining a method of generating a vertical background depth map in an edge map image of size W x H.
FIG. 5 is a diagram for explaining a method of allocating depth to a vertical background depth map in an edge map image having a size W × H. FIG.
FIG. 6 is an explanatory diagram for explaining a method of filling a hole pixel generated according to left and right movement of an image; FIG.
7 is a flowchart for explaining a method of filling a hole pixel when a hole pixel occurs.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.
In the following, preferred embodiments, advantages and features of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 2차원 영상을 스테레오 영상으로 변환하는 흐름을 설명하는 흐름도의 일 례이다. 도 1에 도시된 바와 같이 입력되는 RGB 영상을 YUV 컬러 모델로 변환하고(ST100), 변환된 YUV 컬러 모델로부터 에지를 추출하여 에지맵을 생성한다(ST110). 다음으로 에지맵을 이용하여 객체 깊이맵을 생성하고(ST120), 또한 동일한 에지맵을 이용하여 좌우 배경 깊이맵과 상하 배경 깊이맵을 계산하고(ST130 및 ST140), 계산된 좌우 배경 깊이맵과 상하 배경 깊이맵을 통합하여 배경 깊이맵을 생성한다(ST150). 생성된 객체 깊이맵과 배경 깊이맵을 통합하여 최종 깊이맵을 생성하고(ST160), 최종 깊이맵을 이용하여 픽셀의 변이를 구하고, 변이만큼 RGB 영상을 좌우로 이동하여 좌우 영상을 생성한다(ST170). 다음으로 변이만큼 이동으로 인해 발생되는 비어있는 홀 픽셀을 채움으로써(ST180), 최종적인 스테레오 영상(IR, IL)을 생성할 수 있게 된다(ST190).1 is an example of a flowchart illustrating a flow of converting a 2D image into a stereo image according to the present invention. As shown in FIG. 1, an input RGB image is converted into a YUV color model (ST100), and an edge map is generated by extracting an edge from the converted YUV color model (ST110). Next, an object depth map is generated using an edge map (ST120), and a left and right background depth map and an up and down background depth map are calculated using the same edge map (ST130 and ST140), and the calculated left and right background depth map and up and down are calculated. The background depth map is generated by integrating the background depth map (ST150). The final depth map is generated by integrating the generated object depth map and the background depth map (ST160), and the variation of pixels is obtained using the final depth map, and the left and right images are generated by moving the RGB image left and right by the variation (ST170). ). Next, by filling the empty hole pixels generated by the shift by the shift (ST180), it is possible to generate the final stereo image (I R , I L ) (ST190).
도 1에 설명된 처리 흐름은 하드웨어적으로 처리하거나 또는 소프트웨어적으로 처리할 수 있음은 물론이며, 다양한 장치에서 본 발명의 처리 기술을 사용할 수 있다. 본 발명의 변환 기술을 적용하는 장치의 일 예로는 2차원 영상을 수신하는 텔레비젼 수상기에서 이를 스테레오 영상으로 변환하여 시청자에게 제공하는 장치를 들 수 있다. 이러한 텔레비젼 수상기는 압축된 2차원 영상을 수신한 후, 디코딩하여 2차원 RGB 영상을 생성하여 메모리에 저장하고, 처리 프로세서를 이용하여 도 1의 ST100 내지 ST180 단계를 수행한 후, 좌안용 영상과 우안용 영상을 생성하여 비디오 신호로 제공하게 된다.
The processing flow described in FIG. 1 can be processed in hardware or software, as well as the processing techniques of the present invention in various devices. An example of a device to which the conversion technology of the present invention is applied is a device for converting a stereoscopic image into a stereo image in a television receiver receiving a 2D image and providing the same to a viewer. The television receiver receives a compressed two-dimensional image, decodes it, generates a two-dimensional RGB image, stores it in a memory, and performs the steps ST100 to ST180 of FIG. 1 using a processing processor. It generates a video for providing a video signal.
다음으로 도 1의 각 단계에 대해 상세히 설명하기로 한다.Next, each step of FIG. 1 will be described in detail.
1. 컬러모델변환1. Color Model Conversion
RGB영상이 주어지면, 먼저 YUV 컬러공간으로 변환한다. YUV 컬러 영상은 Y(luminance)는 밝기, U는 청색-밝기, V는 적색-밝기로 색상을 표현하며, RGB 영상과 달리 색차 정보를 가지는 것을 특징이다.
Given an RGB image, first convert it to the YUV color space. A YUV color image is represented by Y (luminance) brightness, U is blue-brightness, V is red-brightness, and has color difference information unlike an RGB image.
2. 2. 에지맵Edge map ( ( edgeedge mapmap ) 계산) Calculation
다음으로 에지 정보을 구해야 하며, 단일 데이터에서 얻은 정보는 불확실성이 크기 때문에, 복합 데이터로부터 에지 데이터를 얻는다. 에지정보는 Y, U, V 에 각각 적용하는데, 다음 식에 따라 에지를 추출한다.Next, the edge information must be obtained, and since the information obtained from a single data is uncertain, the edge data is obtained from the composite data. Edge information is applied to Y, U, and V, respectively, and the edge is extracted according to the following equation.
각 화소에 다음과 같이 주변 블록(block) 픽셀들의 편차(variance) 를 구한다. 먼저 Y영상에서 주어진 화소를 포함하는 NxN 블록 B의 평균값은 수학식 1과 같이 계산된다.Variance of neighboring block pixels in each pixel as follows . First, the average value of the N × N block B including the given pixel in the Y image is calculated as in
편차 은 다음 수학식 2와 같이 계산된다.Deviation Is calculated as in
또한 U, V 데이터에서 화소의 편차는 다음 수학식 3, 수학식 4, 수학식 5 및 수학식 6과 같이 구해진다.In addition, the deviation of the pixels in the U and V data is calculated as in Equation 3, Equation 4, Equation 5 and Equation 6 below.
, , 가 얻어지면 평균 를 수학식 7를 이용하여 구한다. , , Average is obtained Is obtained using Equation 7.
또는 평균값 이외에도 화소의 최대값을 구할 수 있다.Alternatively, the maximum value of the pixel can be obtained in addition to the average value.
또는 가중치 곱의 합으로도 수학식 9와 같이 구할 수 있다.Alternatively, the sum of the weighted products may be obtained as shown in Equation 9.
여기서 이다.here to be.
각 화소의 편차가 구해지면, 중에서 하나를 선택하여 영상의 에지맵 을 구한다.Once the deviation of each pixel is found, Select one of the edge maps of the image .
또한 에지는 소벨(Sobel) 에지연산, 캐니(Canny) 에지연산 등의 다양한 에지 검출 방법들이 있는데, 2차원 영상으로부터 깊이를 예측하기 위해서, 평균 필터와 에지필터를 결합한다. 이것을 만족하는 필터 M은 다음 수학식 10을 사용하였다.In addition, edges include various edge detection methods such as Sobel edge operation and Canny edge operation. An average filter and an edge filter are combined to predict depth from a 2D image. The filter M satisfying this used the following equation (10).
수학식 11의 F(i, j)는 영상 I를 필터 M으로 콘볼루션하여 얻은 결과이다.F (i, j) in Equation 11 is a result obtained by convolving the image I with the filter M.
여기서 는 콘볼루션 연산자이다. 에지맵은 수학식 12와 같이 F(i,j)의 절대값으로 표현된다.here Is the convolution operator. The edge map is represented by the absolute value of F (i, j) as shown in Equation 12.
마지막으로 최종 에지맵 EdgeMap은 와 수학식 13의 가중치곱의 합으로 얻어진다.Finally, the final edge map EdgeMap And the sum of the weighted products of Equation (13).
이렇게 함으로써 한 개의 에지 추출 기법을 사용하는 것보다는 복합 기법들을 사용함으로써 에지의 불확실성을 줄일 수 있다.
This reduces the uncertainty of the edges by using complex techniques rather than one edge extraction technique.
3. 객체 3. Object 깊이맵Depth map 생성 produce
수학식 13에서 얻어진 에지맵을 객체의 깊이맵으로 사용하면, 에지정보의 손실, 이웃 화소들간에 에지 강도의 강약 차이로 만족스러운 깊이를 얻을 수가 없다. 이 경우 좌우입체영상을 시청하면, 눈의 피로감 등의 입체시청 저하현상이 발생한다. 이를 해결하기 위하여 에지맵을 다음과 같이 처리한다.When the edge map obtained in Equation 13 is used as the depth map of the object, satisfactory depth cannot be obtained due to the loss of edge information and the strength difference between edge intensities between neighboring pixels. In this case, when viewing the left and right stereoscopic images, stereoscopic hearing deterioration such as eye fatigue occurs. To solve this problem, the edge map is processed as follows.
먼저 에지맵을 [0, 255]로 정규화값으로 변환한다. 변환식은 수학식 14처럼 선형변환을 사용한다. EdgeMap의 최대값을 라고 하면, 에지강도 값 E는 [0, 255]의 값으로 변환한다.First, the edge map is converted to a normalized value with [0, 255]. The transformation uses a linear transformation as shown in equation (14). The maximum value of the EdgeMap , The edge strength value E is equal to [0, 255]. Convert to a value.
모든 화소들의 값으로부터 정규화된 에지맵 이 만들어진다. 정규화 값에서 에지강도가 임계치 T보다 큰 에지맵 화소들의 평균 을 수학식 15와 같이 계산한다. 여기서 임계치 T는 여러 영상 처리를 통해 경험적으로 얻어지는 임의의 수이다.
Of all the pixels Normalized Edgemap from Values This is made. Average of edgemap pixels whose edge intensity is greater than threshold T at normalization value Is calculated as shown in Equation 15. The threshold T here is an arbitrary number obtained empirically through various image processing.
다음 과정에서는 이웃 화소간에 에지강도의 차이를 줄이기 위하여 먼저 보다 큰 화소에는 동일한 값 (예, 30) 을 할당하고, 아닌 화소에는 0을 할당하여, 강도가 매우 약한 화소는 무시하고, 그렇지 않은 화소로 일단 동일 에지로 판단한다. 얻어진 임계치화된 에지맵은 수학식 16에 제시된 이다. In the next step, first, to reduce the difference in edge strength between neighboring pixels, Same value for larger pixels (E.g., 30) is assigned and 0 is assigned to non-pixels, so that pixels with very low intensity are ignored, and pixels that are not very strong are determined as the same edge once. The obtained thresholded edgemap is presented in equation (16). to be.
다음에 과 의 적절한 조합으로 객체의 깊이맵 을 만든다.Next and Depth map of objects with proper combination of Make
여기서 는 입체감의 강도를 조절하는 기능을 가지고 있다.
here Has the function of adjusting the intensity of the three-dimensional effect.
4. 좌우 4. Left and right 배경깊이맵Background Depth Map 생성 produce
전체 배경 구도를 결정하는 것은 입체감을 전달하는데, 중요한 역할을 한다. 주어진 영상에서 좌측과 우측 중 어느 곳이 앞에 있고 뒤에 있는지를 판단하고 깊이를 달리해야 하며, 이를 좌우 배경깊이맵에 의해 결정한다. 수학식 13에서 얻어진 에지맵을 활용하여 배경깊이맵을 만든다. Determining the overall background composition plays an important role in conveying three-dimensional appearance. In a given image, it is necessary to determine whether the left side and the right side are in front and behind, and have different depths, which are determined by the left and right background depth maps. A background depth map is made using the edge map obtained in Equation 13.
도 2는 크기가 W x H 인 에지맵 영상에서 좌우 배경깊이맵을 생성하는 방법을 설명하는 도면이다. 수직중심선은 j = W/2인 선인데, 수직중심선을 중심으로 좌측에 v1, v2, 우측에 v3, v4를 설정한다. 그러면, 좌측의 에지 강도(edge strength)를 다음 수학식 18에서 계산한다.FIG. 2 is a diagram for describing a method of generating left and right background depth maps in an edge map image having a size W × H. The vertical center line is j = W / 2, and sets v1, v2 on the left and v3, v4 on the right. Then, the edge strength of the left side is calculated by the following equation (18).
우측의 에지 강도는 다음 수학식 19에서 계산된다.The edge strength on the right side is calculated in the following equation (19).
여기서 min(v1) = 0, max(v2) = H/2, min(v3) = H/2, max(v4) = W이다.
Where min (v1) = 0, max (v2) = H / 2, min (v3) = H / 2, max (v4) = W.
두 개의 에지 강도로부터 좌우배경 깊이맵의 깊이 범위인 []를 계산한다. 최소 및 최대 깊이값은 다음과 같이 계산된다. 최대 깊이값이 이면, 최소 깊이값은 다음 수학식 20으로 결정한다.The depth range of the left and right background depth maps from the two edge intensities, [ ] Is calculated. The minimum and maximum depth values are calculated as follows. Maximum depth value In this case, the minimum depth value is determined by the following equation (20).
여기서 은 사용자가 지정할 수 있다(예를 들어 2.0, 3.0, 등등). 비율 는 다음 수학식 21과 같이 계산된다.here Can be specified by the user (eg 2.0, 3.0, etc.). ratio Is calculated as in Equation 21 below.
두 에지강도의 차이가 적으면, 양쪽의 깊이 차이가 없다는 것이므로, 깊이 차이값을 줄이고, 반대로 차이가 크면, 양쪽의 깊이차이가 크다는 것을 의미한다. 따라서 제안방법은 영상 내용에 따라 적절한 깊이값을 할당할 수 있는 장점이 있다. 동시에 좌측 또는 우측 중에 어느 쪽이 멀고 가까운지에 대한 정보를 저장한다.If the difference between the two edge strengths is small, there is no depth difference between the two sides, and therefore, the depth difference value is reduced, and if the difference is large, the difference between the two means a large depth difference. Therefore, the proposed method has an advantage of assigning an appropriate depth value according to the image content. At the same time, it stores information about which side is far or near.
얻어진 깊이값의 범위는 D = []이다. 이 범위를 도 3에서 보는 것처럼, 다음 수학식 22를 이용하여 수직선에 깊이를 할당한다. 도 3은 크기가 W x H 인 에지맵 영상에서 좌우 배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면이다.The range of the obtained depth values is D = [ ]to be. As shown in FIG. 3, this range is assigned to a vertical line using the following equation (22). FIG. 3 is a diagram for describing a method of allocating depth to left and right background depth maps in an edge map image having a size W × H.
여기서 j = [0, W-1]이다.
Where j = [0, W-1].
5. 상하 5. Up and down 배경깊이맵Background Depth Map 생성 produce
주어진 영상에서 상측과 하측 중 어느 곳이 앞에 있고 뒤에 있는지를 판단하고 깊이를 달리해야 하며, 이를 상하 배경깊이맵에 의해 결정한다.In a given image, it is necessary to determine whether the upper side or the lower side is in front and behind, and the depth is different, which is determined by the upper and lower background depth map.
도 4는 크기가 W x H 인 에지맵 영상에서 상하 배경깊이맵을 생성하는 방법을 설명하는 도면이다. 수평중심선은 i = H/2인 라인이데, 수평중심선을 중심으로 위로 h1, h2, 아래로 h3, h4를 설정한다. 그러면, 상단의 에지 강도를 다음 수학식 23에서 계산한다.
FIG. 4 is a diagram for describing a method of generating a vertical background depth map in an edge map image having a size W × H. The horizontal center line is a line with i = H / 2, and sets h1, h2, and h3, h4 up and down about the horizontal center line. Then, the edge strength at the top is calculated in the following equation (23).
하단의 에지 강도를 다음 수학식 24에서 계산한다.The edge strength at the bottom is calculated in the following equation (24).
두 값이 결정되면, 상하 배경깊이맵의 깊이값은 다음과 같이 계산된다. 최대 깊이값이 이면, 최소 깊이값은 다음 수학식 25로 결정한다.Once the two values are determined, the depth values of the upper and lower background depth maps are calculated as follows. Maximum depth value In this case, the minimum depth value is determined by the following equation (25).
여기서 은 사용자가 지정할 수 있다. here Can be specified by the user.
여기서 비율 는 다음 수학식 26과 같이 계산된다.Where ratio Is calculated as in Equation 26 below.
동시에 하단 또는 상단 중에서 어느 쪽이 가깝고 먼지를 결정한다.
At the same time, either the bottom or the top is close and determines the dust.
얻어진 깊이값의 범위는 D = []이다. 이 범위를 도 5에서 보는 것처럼, 다음 수학식 27을 이용하여 분할된 수평선에 깊이를 할당한다. 도 5는 크기가 W x H 인 에지맵 영상에서 상하 배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면이다.The range of the obtained depth values is D = [ ]to be. As shown in FIG. 5, this range is assigned the depth to the divided horizontal lines using the following equation (27). FIG. 5 is a diagram illustrating a method of allocating depth to upper and lower background depth maps in an edge map image having a size W × H.
6. 좌우/상하 6. Left / Right / Up / Down 깊이맵Depth map 통합 integrated
수학식 22와 수학식 27에 의해서 얻어진 배경 깊이값을 다음 수학식 28을 이용하여 통합한다.The background depth values obtained by the equations (22) and (27) are integrated using the following equation (28).
7. 최종 7. Final 깊이맵Depth map 생성 produce
최종적으로 깊이맵은 배경 깊이맵과 객체깊이맵의 합으로 구해진다.Finally, the depth map is obtained from the sum of the background depth map and the object depth map.
여기서 = [0, 1]을 조정하여, 객체의 입체감의 증감이 가능하다.
here = [0, 1] can be adjusted to increase or decrease the three-dimensional effect of the object.
8. 8. 좌안용For left eye 영상, video, 우안용Right eye 영상 생성 Create image
RGB영상과 최종 깊이맵이 구해지면, 좌안용 영상과 우안용 영상은 다음 수학식 30과 같이 계산된다. 픽셀의 변이(disparity)를 구해 영상을 좌측 및 우측으로 수평으로 이동하여 각각 좌안용 영상과 우안용 영상을 만든다.When the RGB image and the final depth map are obtained, the left eye image and the right eye image are calculated as in Equation 30 below. The disparity of the pixels is obtained and the image is moved horizontally to the left and the right to make a left eye image and a right eye image, respectively.
여기서 IL과 IR은 각각 좌안용 영상 및 우안용 영상이고, 변이 d는 다음 수학식 31을 이용하여 수학식 29의 D로부터 계산한다.Where I L and I R are the left eye image and the right eye image, respectively, and the variation d is calculated from D in Equation 29 using Equation 31 below.
여기서 τ는 최대 입체 시차이다. 영상을 변이값에 의해 이동을 하게 되면 홀이 발생한다. 이 홀들은 주변 화소값으로 채우게 된다.
Where τ is the maximum stereo parallax. When the image is moved by the shift value, a hole occurs. These holes are filled with the surrounding pixel values.
깊이맵에서 D의 범위는 일반적으로 [0, 255]이다. 이것을 변이 d로 변환하는데, 각 픽셀은 해당 d값에 따라 좌영상은 좌측으로, 우영상에서는 우측으로 이동한다. 따라서 좌영상과 우영상에서 발생할 수 있는 최대 시차값은 2d 가 됩니다.
The range of D in the depth map is typically [0, 255]. This is transformed into a variation d. Each pixel moves to the left in the left image and to the right in the right image according to the corresponding d value. Therefore, the maximum parallax that can occur in the left and right images is 2d.
9. 9. 홀화소Hall pixel 채우기( Fill ( HoleHole pixelpixel fillingfilling ))
영상을 좌우로 이동하게 되면 비어있는 홀(hole) 화소가 발생한다. 홀 화소들은 도 6과 같이 채워지며 이를 홀 필링(filling)이라고 한다. 도 6은 영상의 좌우 이동에 따라 발생하는 홀 화소를 채우는 방법을 설명하는 설명도이다. 홀 필링은 주변화소들의 평균값을 일반적으로 사용하고 있으나, 보간(interpolation)기법을 이용하여 개선된 화질을 얻을 수 있다.When the image is moved left and right, empty hole pixels are generated. The hole pixels are filled as shown in FIG. 6, which is called hole filling. FIG. 6 is an explanatory diagram for explaining a method of filling a hole pixel generated according to left and right movement of an image. Hole filling generally uses an average value of neighboring pixels, but an improved image quality can be obtained by using an interpolation technique.
비어있는 홀 화소들이 이면, 동일 스캔라인에서 N개의 화소를 탐색한다. 영상의 각 화소를 수학식 31의 변위값으로 이동하게 되면, 변위값이 큰 화소는 상대적으로 멀리 보이게 되는데, 변위값이 작은 화소의 이동에서 홀이 발생하게 된다. 도 7은 홀 화소가 발생한 경우, 홀 화소를 채우는 방법을 설명하는 흐름도이다. 도 7에 도시된 바와 같이 홀 화소가 L개 발생하면(ST700), 변이 값이 큰 화소가 있는 방향으로 연속적으로 화소들의 편차를 구한다(ST710). 구한 편차값이 임계치 P보다 작거나 동일할 때까지 탐색한다. 탐색한 화소들 의 개수가 N이면, N개의 화소로 L개의 홀 화소 들을 보간법으로 채운다. 먼저 수학식 32와 같이 신축비율(Scale factor)을 구한다.
Empty hole pixels In this case, N pixels are searched in the same scan line. When each pixel of the image is moved to the displacement value of Equation 31, a pixel having a large displacement value is relatively far away, and a hole is generated in the movement of the pixel having a small displacement value. 7 is a flowchart illustrating a method of filling a hall pixel when the hall pixel is generated. As shown in FIG. 7, when L Hall pixels are generated (ST700), deviations of the pixels are continuously calculated in a direction in which the pixel having a large disparity value exists (ST710). Search until the deviation value is less than or equal to the threshold P. Searched pixels If the number of is N, L pixels Fill them with interpolation. First, a scaling factor is obtained as shown in Equation 32.
신축비율을 구한 다음 수학식 33의 역변환을 이용하여 화소값을 가져온다.After the expansion ratio is obtained, pixel values are obtained by using an inverse transformation of Equation 33.
10. 최종 10. Final 좌안용For left eye 영상 및 최종 Visual and final 우안용Right eye 영상 생성 Create image
홀 필링이 완료된 좌안용 영상과 우안용 영상이 만들어지면, 3D 디스플레이의 전송 포맷에 적합하게 Top-bottom, Side by Side, Vertical Interleaving, Interlaced 포맷으로 변환하여 전송하면 된다.
When the left eye image and the right eye image are completed, the hole filling is completed, and then converted into Top-bottom, Side by Side, Vertical Interleaving, and Interlaced formats for transmission format of 3D display.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다.While the preferred embodiments of the present invention have been described and illustrated using specific terms, such terms are only for clarity of the present invention, and the embodiments and the described terms of the present invention are defined and the technical spirit and scope of the following claims. It is obvious that various changes and changes can be made without departing from the scope.
Claims (7)
상기 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계;
상기 2차원 YUV 영상 I(i,j)로부터 에지맵을 생성하는 제 2단계;
상기 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 3단계;
상기 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 4단계; 및
상기 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 5단계를 포함하는 것을 특징으로 하고,
상기 2단계가 주변 블록 화소들의 Y, U, 및 V에 대한 각각의 편차를 구하고, 각 편차의 평균값, 편차의 최대값 및 가중치 곱 중에서 선택된 어느 하나를 이용하여 에지맵 을 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
In the method for converting a two-dimensional RGB image to a stereo image,
A first step of converting the two-dimensional RGB image into a two-dimensional YUV image;
Generating an edge map from the two-dimensional YUV image I (i, j);
A third step of generating an object depth map and a background depth map by using the edge map, and then integrating the object depth map and the background depth map to generate a final depth map;
A fourth step of obtaining a left eye image and a right eye image by moving the 2D RGB image in a horizontal direction by using the final depth map; And
And a fifth step of filling the empty hole pixels generated in the fourth step by using surrounding pixel values.
The second step calculates respective deviations of Y, U, and V of neighboring block pixels, and uses an edge map using any one selected from the mean value, the maximum value of the deviations, and the weighted product. Method for converting a two-dimensional image to a stereo image, characterized in that for generating a.
상기 에지맵 은
(1) 주변 블록 화소들의 Y, U, 및 V에 대한 각각의 편차를 구하고, 각 편차의 평균값, 편차의 최대값 및 가중치 곱 중에서 선택된 어느 하나를 이용하여 생성되는 에지맵 와,
(2) 상기 이차원 영상 I(i,j)를 아래 수학식 34의 필터로 콘볼루션한 결과의 절대값으로 표현되는 에지맵 의 가중치 합으로 생성되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
수학식 34
The method of claim 1,
The edge map silver
(1) An edge map generated by using each selected deviation of Y, U, and V of neighboring block pixels, and using any one selected from an average value of each deviation, a maximum value of the deviations, and a weighted product. Wow,
(2) An edge map expressed as an absolute value of the result of convolution of the two-dimensional image I (i, j) with the filter of Equation 34 below Method for converting a two-dimensional image to a stereo image, characterized in that generated by the weighted sum of.
Equation 34
상기 제 3단계의 객체 깊이맵 생성은
상기 에지맵 으로부터 정규화된 에지맵 을 생성하는 제 3-1 단계;
임계치 T보다 큰 에지맵 화소들의 평균 를 계산하고, 보다 큰 화소에는 동일값(K)을 할당하고, 같거나 작은 화소에는 0을 할당하여 임계치화된 에지맵 를 생성하는 제 3-2 단계; 및
상기 정규화된 에지맵과 상기 임계치화된 에지맵의 가중치 합으로 객체 깊이맵을 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
3. The method according to claim 1 or 2,
The object depth map generation in the third step
The edge map Normalized edge map from Generating a 3-1 step;
Average of Edgemap Pixels Above Threshold T And calculate Edge map that is thresholded by assigning the same value (K) to larger pixels and assigning zeros to equal or smaller pixels Generating a 3-2 step; And
The normalized edgemap And the thresholded edgemap A method for converting a 2D image into a stereo image, characterized in that to generate an object depth map by the weighted sum of.
상기 제 3단계에서 상기 배경깊이맵 생성은 에지맵을 수직 중심선을 기준으로 분할한 후, 상기 수직 중심선에 의해 분할된 후 좌측에 위치하는 화소의 에지맵의 강도의 합과, 상기 수직 중심선에 의해 분할된 후 우측에 위치하는 화소의 에지맵의 강도의 합을 구한 후, 상기 좌측에 위치하는 화소의 에지맵의 강도의 합과 상기 우측에 위치하는 화소의 에지맵의 강도의 합 사이의 차이를 이용하여 좌우 배경깊이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
The method of claim 1,
In the third step, the background depth map is generated by dividing an edge map based on a vertical center line, and then, by the sum of the intensities of edge maps of pixels located on the left side after being divided by the vertical center line, and by the vertical center line. After dividing, the sum of the intensities of the edge maps of the pixels located on the right side is obtained, and the difference between the sum of the intensities of the edge maps of the pixels located on the left side and the sum of the intensities of the edge maps of the pixels located on the right side is determined. And generating a left and right background depth map by using the two-dimensional image.
상기 제 3단계에서 상기 상하 배경깊이맵 생성은 에지맵을 수평 중심선을 기준으로 분할한 후, 상기 수평 중심선에 의해 분할된 후 상단에 위치하는 화소의 에지맵의 강도의 합과, 상기 수평 중심선에 의해 분할된 후 하단에 위치하는 화소의 에지맵의 강도의 합을 구한 후, 상기 상단에 위치하는 화소의 에지맵의 강도의 합과 상기 하단에 위치하는 화소의 에지맵의 강도의 합 사이의 차이를 이용하여 상하 배경깊이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
The method of claim 1,
In the third step, the vertical background depth map is generated by dividing an edge map with respect to a horizontal center line, and then dividing the edge map by the horizontal center line, and then adding the sum of the intensities of the edge maps of pixels located at the top and the horizontal center line. After obtaining the sum of the intensities of the edge maps of the pixels located at the bottom after being divided by, the difference between the sum of the intensities of the edge maps of the pixels located at the top and the sum of the intensities of the edge maps of the pixels located at the bottom And generating a top and bottom background depth map using the 2D image to a stereo image.
상기 제 4단계의 상기 2차원 RGB 영상을 수평 방향으로 이동시키는 량은 최대 입체 시차와 깊이맵에 대한 함수의 곱으로 결정되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
The method of claim 1,
The amount of shifting the two-dimensional RGB image in the horizontal direction of the fourth step is determined as a product of the maximum stereo parallax and the function of the depth map is converted into a stereo image.
상기 제 5단계는 보간법을 이용하여 수행되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.The method of claim 1,
The fifth step is a method for converting a two-dimensional image to a stereo image, characterized in that performed using interpolation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120066329A KR101302431B1 (en) | 2012-06-20 | 2012-06-20 | Method for converting 2 dimensional video image into stereoscopic video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120066329A KR101302431B1 (en) | 2012-06-20 | 2012-06-20 | Method for converting 2 dimensional video image into stereoscopic video |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100134675A Division KR101207862B1 (en) | 2010-12-24 | 2010-12-24 | Method for converting 2 dimensional video image into stereoscopic video |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120087867A true KR20120087867A (en) | 2012-08-07 |
KR101302431B1 KR101302431B1 (en) | 2013-09-02 |
Family
ID=46873350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120066329A KR101302431B1 (en) | 2012-06-20 | 2012-06-20 | Method for converting 2 dimensional video image into stereoscopic video |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101302431B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140070856A (en) * | 2012-11-28 | 2014-06-11 | 엘지디스플레이 주식회사 | Global depth map generation method and stereoscopic image display device using the same |
KR20140078408A (en) * | 2012-12-17 | 2014-06-25 | 엘지디스플레이 주식회사 | 3d image data formation method and stereoscopic image display device using the same |
KR101626679B1 (en) * | 2014-11-26 | 2016-06-01 | 강원대학교산학협력단 | Method for generating stereoscopic image from 2D image and for medium recording the same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100322727B1 (en) * | 1995-10-24 | 2002-06-20 | 윤종용 | Method and system for converting two-dimensional/stereo images |
KR100927734B1 (en) * | 2006-12-05 | 2009-11-18 | 한국전자통신연구원 | Multi-view image generating device and method |
KR101497503B1 (en) * | 2008-09-25 | 2015-03-04 | 삼성전자주식회사 | Method and apparatus for generating depth map for conversion two dimensional image to three dimensional image |
-
2012
- 2012-06-20 KR KR1020120066329A patent/KR101302431B1/en not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140070856A (en) * | 2012-11-28 | 2014-06-11 | 엘지디스플레이 주식회사 | Global depth map generation method and stereoscopic image display device using the same |
KR20140078408A (en) * | 2012-12-17 | 2014-06-25 | 엘지디스플레이 주식회사 | 3d image data formation method and stereoscopic image display device using the same |
KR101626679B1 (en) * | 2014-11-26 | 2016-06-01 | 강원대학교산학협력단 | Method for generating stereoscopic image from 2D image and for medium recording the same |
Also Published As
Publication number | Publication date |
---|---|
KR101302431B1 (en) | 2013-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2519433C2 (en) | Method and system for processing input three-dimensional video signal | |
JP5587894B2 (en) | Method and apparatus for generating a depth map | |
KR101385514B1 (en) | Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information | |
KR101185870B1 (en) | Apparatus and method for processing 3 dimensional picture | |
KR101856805B1 (en) | Image processing device, image processing method, and program | |
US20120293489A1 (en) | Nonlinear depth remapping system and method thereof | |
US20140111627A1 (en) | Multi-viewpoint image generation device and multi-viewpoint image generation method | |
KR20130095655A (en) | Method and apparatus for customizing 3-dimensional effects of stereo content | |
TWI531212B (en) | System and method of rendering stereoscopic images | |
US9723290B2 (en) | Method for generating, transmitting and receiving stereoscopic images and relating devices | |
KR101302431B1 (en) | Method for converting 2 dimensional video image into stereoscopic video | |
KR101207862B1 (en) | Method for converting 2 dimensional video image into stereoscopic video | |
US20120121163A1 (en) | 3d display apparatus and method for extracting depth of 3d image thereof | |
KR101336956B1 (en) | Method for converting 2 dimensional video image into stereoscopic video | |
US20130050183A1 (en) | System and Method of Rendering Stereoscopic Images | |
Tam et al. | Depth image based rendering for multiview stereoscopic displays: Role of information at object boundaries | |
KR101754976B1 (en) | Contents convert method for layered hologram and apparatu | |
JP2014072809A (en) | Image generation apparatus, image generation method, and program for the image generation apparatus | |
KR20140113066A (en) | Multi-view points image generating method and appararus based on occulsion area information | |
WO2012175386A1 (en) | Method for reducing the size of a stereoscopic image | |
TWM529333U (en) | Embedded three-dimensional image system | |
Lü et al. | Virtual view synthesis for multi-view 3D display | |
EP2547109A1 (en) | Automatic conversion in a 2D/3D compatible mode | |
US8947507B2 (en) | Method of processing 3D images, and corresponding system including the formulation of missing pixels using windows of details from first and second views | |
Vázquez et al. | 3D-TV: Are two images enough? How depth maps can enhance the 3D experience |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160622 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |