KR20150037203A - Device for correcting depth map of three dimensional image and method for correcting the same - Google Patents
Device for correcting depth map of three dimensional image and method for correcting the same Download PDFInfo
- Publication number
- KR20150037203A KR20150037203A KR20130116590A KR20130116590A KR20150037203A KR 20150037203 A KR20150037203 A KR 20150037203A KR 20130116590 A KR20130116590 A KR 20130116590A KR 20130116590 A KR20130116590 A KR 20130116590A KR 20150037203 A KR20150037203 A KR 20150037203A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- pixel
- depth
- block
- reliability
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 3차원 입체 영상용 깊이지도 보정장치에 관한 것으로, 특히 우수한 품질의 깊이지도를 생성할 수 있는 3차원 입체 영상용 깊이지도 보정장치 및 보정방법에 대한 것이다.The present invention relates to a depth map correcting apparatus for a three-dimensional image, and more particularly, to a depth map correcting apparatus and a correcting method for a three-dimensional image capable of generating a depth map of excellent quality.
스테레오(stereo) 방식의 3차원 입체 영상은 2차원 영상인 좌안 영상과 우안 영상간의 조합으로 생성된다. 이러한 입체 영상을 생성하기 위해서는, 좌안 영상 및 우안 영상에 포함된 피사체들간의 입체적인 거리차(깊이차)에 대한 정보가 필요한 바, 이러한 정보는 깊이지도(depth map)에 담긴다. A stereoscopic three-dimensional stereoscopic image is generated by a combination of a left-eye image and a right-eye image, which are two-dimensional images. In order to generate such a stereoscopic image, information on the stereoscopic distance difference (depth difference) between the objects included in the left eye image and the right eye image is required, and this information is contained in a depth map.
이 3차원 영상의 화질은 이 깊이지도의 정확도에 영향을 받으므로, 3차원 입체 영상의 화질 향상을 위해서는 이 깊이지도내의 오류 및 노이즈를 제거하는 것이 중요하다.Since the image quality of the three-dimensional image is influenced by the accuracy of the depth map, it is important to eliminate errors and noise in the depth map in order to improve the image quality of the three-dimensional image.
그러나, 종래에는 화소의 깊이지도에 대한 신뢰도값에 상관없이 항상 일정한 비율로 화소깊이값과 블록깊이값을 연산하므로, 그 신뢰도가 낮을 경우 오히려 아티팩트(artifact)가 더욱 강조되어 그 깊이지도내에 오류 및 노이즈가 더욱 많이 발생되며, 결국 그러한 깊이지도를 근거로 생성된 3차원 영상의 화질이 저하되는 문제점이 있었다.Conventionally, however, the pixel depth value and the block depth value are always calculated at a constant rate irrespective of the reliability value of the depth map of the pixel. If the reliability is low, the artifact is more emphatically emphasized, There is a problem that noise is generated more and the quality of the 3D image generated based on such depth map is lowered.
본 발명은 상술된 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 신뢰도값에 따라 화소깊이값과 블록깊이값간의 비율을 조절하고 융합깊이값을 산출함으로써 3차원 영상의 화질을 향상시킬 수 있는 3차원 입체 영상용 깊이지도 보정장치 및 보정방법을 제공하는데 그 목적이 있다. SUMMARY OF THE INVENTION The present invention has been conceived to solve the problems as described above, and it is an object of the present invention to provide a three-dimensional image display device capable of improving the image quality of a three-dimensional image by adjusting a ratio between a pixel depth value and a block depth value according to a reliability value, There is provided a depth map correction apparatus and method for a stereoscopic image.
상술된 목적을 달성하기 위한 본 발명에 따른 3차원 입체 영상용 깊이지도 보정장치는, 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하는 신뢰도산출부; 상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 화소깊이산출부; 전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 블록깊이산출부; 및, 상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 융합깊이산출부를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for correcting a depth map for a three-dimensional (3D) stereoscopic image, comprising: a reliability calculator for calculating a reliability value for each pixel based on left eye image data and right eye image data; A pixel depth calculation unit for calculating a pixel depth value for each pixel based on the left eye image data, the right eye image data, and the reliability value; All the pixels are classified into a plurality of pixel group blocks based on their spatial positions, an average depth value is calculated for each pixel group block based on the pixel depth values, and based on the average depth value, A block depth calculator for calculating a block depth value for the block; And calculating the pixel depth value and the block depth values corresponding to the same pixel with each other, and calculating a pixel gain value and a block depth value for the pixel depth value based on the reliability value for the pixel during the calculation operation, And a fused depth calculating unit for calculating a fused depth value for each pixel by performing the calculation based on the set gain values.
상기 융합깊이산출부는 신뢰도값이 높을수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 한다.And the fusion depth calculating unit increases the pixel gain value and the block gain value as the reliability value increases.
융합깊이값은 아래의 수학식1로 정의되며; <수학식1> 화소깊이값*화소 게인값+블록깊이값*블록 게인값; 상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며; 상기 신뢰도값이 증가할수록 a의 값이 선형적으로 감소함을 특징으로 한다.The fusion depth value is defined by
상기 융합깊이산출부는, 신뢰도값이 미리 설정된 신뢰 임계값보다 클 때 그 신뢰도값에 관계없이 화소 게인값 및 블록 게인값을 일정한 값으로 유지시키고; 그리고, 신뢰도값이 그 신뢰 임계값으로부터 감소할수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 한다.Wherein the fusing depth calculating unit maintains the pixel gain value and the block gain value at a constant value irrespective of the reliability value when the reliability value is greater than a predetermined confidence threshold value; The pixel gain value is increased and the block gain value is lowered as the reliability value is decreased from the confidence threshold value.
융합깊이값은 아래의 수학식2로 정의되며; <수학식2> 화소깊이값*화소 게인값+블록깊이값*블록 게인값; 상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며; 상기 신뢰도값이 신뢰 임계값보다 작거나 같을 때, 상기 a는 아래의 수학식3로 정의되며; <수학식3> 블록 임계값+{(0.5-블록 임계값)/신뢰 임계값*신뢰도값}; 상기 블록 임계값은 0.5와 1.0사이의 정수이며; 그리고, 상기 신뢰도값이 신뢰 임계값보다 클 때, 상기 a는 0.5로 설정됨을 특징으로 한다.The fusion depth value is defined by the following equation (2); &Quot; (2) " pixel depth value * pixel gain value + block depth value * block gain value; When the block gain value is a (a is an integer between 0 and 1.0), the pixel gain value is 1-a; When the confidence value is less than or equal to the confidence threshold, the a is defined by: < EMI ID = 3.0 > (3) block threshold + {(0.5-block threshold) / confidence threshold * confidence value}; The block threshold value is an integer between 0.5 and 1.0; When the confidence value is greater than the confidence threshold, the value a is set to 0.5.
상기 신뢰도산출부는, 어느 특정 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 특정 화소 및 그 특정 화소에 인접한 몇 개의 화소들 각각에 대한 우안 계조값을 상기 좌안 영상 데이터로부터 찾고, 상기 우안 계조값들 중 상기 좌안 계조값과 가장 유사한 값을 갖는 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 상기 특정 화소에 대한 신뢰도값을 설정하며; 그리고, 상기 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가함을 특징으로 한다.Wherein the reliability calculating unit searches the left eye image data for a specific pixel from the left eye image data and finds a right eye tone value for the specific pixel and a plurality of pixels adjacent to the specific pixel from the left eye image data, Selecting a right eye tone value having a value most similar to the left eye tone value among the tone values and setting a reliability value for the specific pixel based on a difference between the selected right eye tone value and the left eye tone value; The reliability value increases as the difference between the selected right-eye tone value and the left-eye tone value becomes smaller.
상기 블록깊이산출부는, 상기 화소군 블록들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행함을 특징으로 한다.The block depth calculating unit further performs an operation of correcting a block depth value of pixels adjacent to the boundary by using linear interpolation in order to reduce the gradation between pixels located at the boundary between the pixel group blocks .
또한 상술된 목적을 달성하기 위한 본 발명에 따른 3차원 입체 영상용 깊이지도 보정방법은, 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하는 A단계; 상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 B단계; 전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 C단계; 및, 상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 D단계를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided a depth map correction method for a three-dimensional (3D) stereoscopic image, the method comprising: A) calculating a reliability value for each pixel based on left eye image data and right eye image data; Calculating a pixel depth value for each pixel based on the left eye image data, the right eye image data, and the reliability value; All the pixels are classified into a plurality of pixel group blocks based on their spatial positions, an average depth value is calculated for each pixel group block based on the pixel depth values, and based on the average depth value, Calculating a block depth value for the block; And calculating the pixel depth value and the block depth values corresponding to the same pixel with each other, and calculating a pixel gain value and a block depth value for the pixel depth value based on the reliability value for the pixel during the calculation operation, And a D step of calculating a fused depth value for each pixel by performing the calculation on the basis of the set gain values.
상기 D단계는 신뢰도값이 높을수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 한다.The step (D) increases the pixel gain value and decreases the block gain value as the reliability value increases.
융합깊이값은 아래의 수학식1로 정의되며; <수학식1> 화소깊이값*화소 게인값+블록깊이값*블록 게인값; 상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며; 상기 신뢰도값이 증가할수록 a의 값이 선형적으로 감소함을 특징으로 한다.The fusion depth value is defined by
상기 D단계는, 신뢰도값이 미리 설정된 신뢰 임계값보다 클 때 그 신뢰도값에 관계없이 화소 게인값 및 블록 게인값을 일정한 값으로 유지시키고; 그리고, 신뢰도값이 그 신뢰 임계값으로부터 감소할수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 한다.Wherein the step (D) comprises the steps of: maintaining a pixel gain value and a block gain value at a constant value regardless of the reliability value when the reliability value is greater than a predetermined confidence threshold value; The pixel gain value is increased and the block gain value is lowered as the reliability value is decreased from the confidence threshold value.
융합깊이값은 아래의 수학식2로 정의되며; <수학식2> 화소깊이값*화소 게인값+블록깊이값*블록 게인값; 상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며; 상기 신뢰도값이 신뢰 임계값보다 작거나 같을 때, 상기 a는 아래의 수학식3로 정의되며; <수학식3> 블록 임계값+{(0.5-블록 임계값)/신뢰 임계값*신뢰도값}; 상기 블록 임계값은 0.5와 1.0사이의 정수이며; 그리고, 상기 신뢰도값이 신뢰 임계값보다 클 때, 상기 a는 0.5로 설정됨을 특징으로 하한다.The fusion depth value is defined by the following equation (2); &Quot; (2) " pixel depth value * pixel gain value + block depth value * block gain value; When the block gain value is a (a is an integer between 0 and 1.0), the pixel gain value is 1-a; When the confidence value is less than or equal to the confidence threshold, the a is defined by: < EMI ID = 3.0 > (3) block threshold + {(0.5-block threshold) / confidence threshold * confidence value}; The block threshold value is an integer between 0.5 and 1.0; When the confidence value is greater than the confidence threshold, the value a is set to 0.5.
상기 A단계는, 어느 특정 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 특정 화소 및 그 특정 화소에 인접한 몇 개의 화소들 각각에 대한 우안 계조값을 상기 좌안 영상 데이터로부터 찾고, 상기 우안 계조값들 중 상기 좌안 계조값과 가장 유사한 값을 갖는 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 상기 특정 화소에 대한 신뢰도값을 설정하며; 그리고, 상기 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가함을 특징으로 한다.Wherein the step (A) searches the left eye image data for a specific pixel from the left eye image data, finds a right eye tone value for the specific pixel and a plurality of pixels adjacent to the specific pixel, from the left eye image data, Selecting a right eye tone value having a value most similar to the left eye tone value among the tone values and setting a reliability value for the specific pixel based on a difference between the selected right eye tone value and the left eye tone value; The reliability value increases as the difference between the selected right-eye tone value and the left-eye tone value becomes smaller.
상기 C단계는, 상기 화소군 블록들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행함을 특징으로 한다.The step C further performs an operation of correcting the block depth value of the pixels adjacent to the boundary by using linear interpolation to reduce the sum of the pixels located at the boundary between the pixel group blocks .
본 발명에 따른 3차원 입체 영상용 깊이지도 보정장치 및 보정방법에는 다음과 같은 효과가 있다.The apparatus and method for correcting a depth map for a three-dimensional image according to the present invention have the following effects.
본 발명은 신뢰도값에 따라 화소깊이값과 블록깊이값간의 비율을 조절하고 이들을 합산하여 융합깊이값을 산출한다. 즉, 본 발명은 신뢰도가 낮은 화소는 그 화소의 최종 깊이값(즉, 융합깊이값)이 그 화소깊이값보다는 덜 강조된 값을 갖는 블록깊이값을 상대적으로 더 많이 포함하도록 그들간의 비율을 조절하는 반면, 신뢰도가 높은 화소는 그 화소의 최종 깊이값(즉, 융합깊이값)이 그 블록깊이값보다는 더욱 강조된 값을 갖는 화소깊이값을 상대적으로 더 많이 포함하도록 그들간의 비율을 조절한다. 따라서, 본 발명은 그 신뢰도값에 상관없이 항상 일정한 비율로 화소깊이값과 블록깊이값을 합산하는 종래 방식에 비하여 더 우수한 품질의 깊이지도를 생성할 수 있다. 그러므로, 본 발명은 종래에 비하여3차원 영상의 화질을 향상시킬 수 있다.The present invention adjusts the ratio between the pixel depth value and the block depth value according to the reliability value, and adds the values to calculate the fusion depth value. That is, according to the present invention, a pixel with low reliability adjusts the ratio between them such that the final depth value of the pixel (i.e., the fused depth value) includes a relatively larger block depth value having a less emphasized value than the pixel depth value On the other hand, a highly reliable pixel adjusts the ratio between them such that the final depth value of the pixel (i. E., The fused depth value) contains relatively more pixel depth values that have a more emphasized value than the block depth value. Accordingly, the present invention can generate a depth map of higher quality than the conventional method of summing the pixel depth value and the block depth value at a constant rate regardless of the reliability value. Therefore, the present invention can improve the image quality of a three-dimensional image.
도 1은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 보정장치의 블록도
도 2는 도 1의 화소깊이산출부로부터 생성된 화소깊이지도(DP-mp)의 생성과정을 설명하기 위한 도면
도 3은 신뢰도값 산출 방법을 설명하기 위한 도면
도 4는 도 1의 화소깊이산출부 및 신뢰도산출부에 인가된 좌안 영상 데이터 및 우안 영상 데이터를 나타낸 도면
도 5는 도 4의 좌안 영상 데이터 및 우안 영상 데이터를 근거로 생성된 신뢰도지도를 나타낸 도면
도 6은 블록깊이지도의 생성 과정을 설명하기 위한 도면
도 7은 신뢰도값과 블록 게인값간의 관계를 나타낸 그래프
도 8은 신뢰도값과 블록 게인값간의 관계를 나타낸 또 다른 그래프
도 9는 종래의 융합깊이지도와 본 발명에 따른 융합깊이지도를 비교 설명하기 위한 도면
도 10은 종래의 융합깊이지도를 근거로 생성된 3차원 영상과 본 발명에 따른 융합깊이지도를 근거로 생성된 3차원 영상을 비교 설명하기 위한 도면1 is a block diagram of an apparatus for correcting a depth map for a three-dimensional image according to an embodiment of the present invention.
2 is a diagram for explaining a process of generating a pixel depth map DP-mp generated from the pixel depth calculating unit of FIG.
3 is a diagram for explaining a reliability value calculating method
4 is a diagram showing left eye image data and right eye image data applied to the pixel depth calculating unit and the reliability calculating unit of FIG. 1;
5 is a view showing a reliability map generated based on the left eye image data and the right eye image data of FIG. 4
6 is a diagram for explaining a process of generating a block depth map;
7 is a graph showing the relationship between the reliability value and the block gain value
8 is another graph showing the relationship between the reliability value and the block gain value
9 is a view for explaining a comparison between the conventional depth map of fusion and the depth map of the present invention
FIG. 10 is a view for explaining a comparison between a three-dimensional image generated based on a conventional fusion depth map and a three-dimensional image generated based on a fusion depth map according to the present invention
도 1은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 보정장치의 블록도이다.1 is a block diagram of an apparatus for correcting a depth map for a three-dimensional image according to an embodiment of the present invention.
본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 보정장치는, 도 1에 도시된 바와 같이, 신뢰도산출부(101), 화소깊이산출부(103), 블록깊이산출부(105) 및 융합깊이산출부(107)를 포함한다.1, the apparatus for correcting a depth map for a three-dimensional image according to an embodiment of the present invention includes a
화소깊이산출부(103)는 좌안 영상 데이터(Img_L) 및 우안 영상 데이터(Img_R), 그리고 신뢰도산출부(101)로부터의 신뢰도지도(CF_mp)(화소별 신뢰도값을 나타낸 지도)를 공급받아 화소깊이지도(PD-mp)를 생성한다. 여기서, 좌안 영상 데이터(Img_L)와 우안 영상 데이터(Img_R)는 동일 영상을 서로 다른 각도에서 촬영하여 얻어진 영상들(좌안 영상, 우안 영상)에 대한 2차원 영상 데이터이다. 좌안 영상 데이터(Img_L) 및 우안 영상 데이터(Img_R)는 모두 한 프레임의 영상 데이터이다. 화소깊이지도(DP-mp)는, 한 프레임의 영상에 포함된 다수 피사체들간의 상대적인 거리를 계조차로 표현하는 지도이다.The pixel
도 2를 참조하여, 전술된 화소깊이지도(PD-mp)에 대하여 좀 더 구체적으로 살펴본다.With reference to Fig. 2, the pixel depth map PD-mp described above will be described in more detail.
도 2는 도 1의 화소깊이산출부(103)로부터 생성된 화소깊이지도(DP-mp)의 생성과정을 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining a process of generating a pixel depth map DP-mp generated from the pixel
도 2에 도시된 바와 같이, 좌안 영상 데이터(Img_L)와 우안 영상 데이터(Img_R)는 모두 원(CC)과 삼각형(TA)을 포함하고 있다. 여기서, 원(CC)이 삼각형(TA)보다 상대적으로 더 앞으로 돌출되어 있다고 가정하고, 그리고 삼각형(TA)은 원(CC)보다 상당히 뒤에 위치하고 있다고 가정하자. 일반적으로, 피사체가 앞으로 더 돌출될수록 좌안 영상 데이터(Img_L)에서의 그 피사체와 우안 영상 데이터(Img_R)에서의 그 피사체간의 위치 변화량이 더 증가한다. 반면, 피사체가 더 뒤에 위치할수록 그 피사체의 위치 변화량은 감소한다. 예를 들어, 도 2에 도시된 바와 같이, 좌안 영상 데이터(Img_L)에 포함된 원(CC)의 위치와 우안 영상 데이터(Img_R)에 포함된 원(CC)의 위치가 확연하게 다름을 알 수 있다. 반면, 좌안 영상 데이터(Img_L)에 포함된 삼각형(TA)의 위치와 우안 영상 데이터(Img_R)에 포함된 삼각형(TA)의 위치는 거의 동일함을 알 수 있다. As shown in FIG. 2, both the left eye image data Img_L and the right eye image data Img_R include a circle CC and a triangle TA. Assume here that the circle CC is projected further forward than the triangle TA and that the triangle TA is located considerably behind the circle CC. Generally, as the subject further protrudes further, the amount of positional change between the subject in the left-eye image data Img_L and the subject in the right eye image data Img_R further increases. On the other hand, as the subject is located further behind, the amount of positional change of the subject decreases. For example, as shown in FIG. 2, it can be seen that the position of the circle CC included in the left eye image data Img_L and the position of the circle CC included in the right eye image data Img_R are significantly different have. On the other hand, the positions of the triangle TA included in the left eye image data Img_L and the positions of the triangle TA included in the right eye image data Img_R are substantially the same.
화소깊이산출부(103)는 좌안 영상 데이터(Img_L)와 우안 영상 데이터(Img_R)를 비교하여, 좌안 영상 데이터(Img_L)에 포함된 원(CC) 및 삼각형(TA)이 우안 영상 데이터(Img_R)에 포함된 원(CC) 및 삼각형(TA)이 자리한 위치로부터 얼마나 이동하였는지를 산출한다. 그리고 이 산출된 결과를 근거로 좌안 영상 데이터(Img_L)에서의 원(CC)을 구성하는 화소들의 계조값 및 삼각형(TA)을 구성하는 화소들의 계조값을 설정하고, 이 설정된 계조값을 화소깊이지도(PD-mp)에 반영한다. The pixel
도 2의 화소깊이지도(PD-mp)에 도시된 바와 같이, 상대적으로 이동 정도가 큰 피사체인 원(CC)은 밝은 계조값(즉, 높은 화소깊이값)들로 표시되는 반면, 이동 정도가 상당히 작은 피사체인 삼각형(TA)은 어두운 계조값(즉, 낮은 화소깊이값)들로 표시된다. 즉, 앞으로 더 돌출된 피사체일수록 밝은 계조값들로 표시되고, 반면 뒤에 위치한 피사체일수록 어두운 계조값들로 표시된다. As shown in the pixel depth map PD-mp in Fig. 2, the circle CC, which is a relatively moving subject, is represented by a bright gradation value (i.e., a high pixel depth value) A triangle (TA), which is a very small subject, is represented by a dark tone value (i.e., a low pixel depth value). In other words, the more projected subjects are displayed as bright tonal values, while the darker tonal values are displayed as the darker tonal values of the subject located behind.
한편, 신뢰도산출부(101)는 전술된 바와 같은 좌안 영상과 우안 영상에 있어서, 이들간의 유사도를 화소 단위로 고려하여 각 화소의 화소깊이값에 대한 신뢰도값을 산출한다. 이를 위해, 이 신뢰도산출부(101)는 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하고, 그리고 화소별 신뢰도값을 포함하는 신뢰도지도(CF_mp)를 생성한다. 구체적으로, 이 신뢰도산출부(101)는 각 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 화소 및 그 화소에 인접한 몇 개의 주변 화소들 각각에 대한 우안 계조값을 그 좌안 영상 데이터로부터 찾고, 그 우안 계조값들 중 좌안 계조값과 가장 유사한 값을 갖는 하나의 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 각 화소에 대한 신뢰도값을 설정한다. 여기서, 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가한다. 이러한 신뢰도값 산출 방법을 도 3을 참조로 하여 좀 더 구체적으로 설명한다.On the other hand, the
도 3은 신뢰도값 산출 방법을 설명하기 위한 도면이다.3 is a diagram for explaining a reliability value calculating method.
도 3의 (a) 및 (b)에서의 좌안 영상 데이터(Img_L)와 우안 영상 데이터(Img_R)는 동일 영상을 서로 다른 각도에서 촬영하여 얻어진 영상들(좌안 영상, 우안 영상)에 대한 2차원 영상 데이터이다. 여기서, 화소들 표시된 숫자는 그 화소에 공급된 영상 데이터의 계조값을 의미하는 바, 숫자가 표시되지 않는 화소는 그 영상 데이터의 계조값이 0임을 의미한다.The left eye image data Img_L and the right eye image data Img_R in FIGS. 3 (a) and 3 (b) are two-dimensional images of images (left eye image, right eye image) obtained by photographing the same image at different angles Data. Here, the displayed number of pixels means the tone value of the image data supplied to the pixel, and a pixel for which no number is displayed means that the tone value of the image data is zero.
여기서, 그 각도 차에 의해, 좌안 영상 데이터에서 보이는 영상 데이터, 예를 들어 12의 계조에 해당하는 영상 데이터 및 13의 계조에 해당하는 영상 데이터는 우안 영상 데이터로부터 보이지 않을 수 있다.Here, the image data shown in the left eye image data, for example, the image data corresponding to the 12th gradation and the image data corresponding to the 13th gradation may not be seen from the right eye image data by the angle difference.
이러한 도 3에서, 예를 들어 어느 특정 화소(이하, 제 1 화소(PXL))에 대한 신뢰도값을 산출한다고 할 때, 그 신뢰도산출부(101)는 그 제 1 화소에 대한 좌안 계조값을 좌안 영상 데이터(Img_L)로부터 찾는다. 즉, 도 3의 (a)에 도시된 바와 같이 그 제 1 화소(PXL1)의 좌안 계조값은 3임을 알 수 있다. 이어서, 그 신뢰도산출부(101)는 그 제 1 화소(PXL1) 및 그 제 1 화소(PXL1)에 인접한 몇 개의 주변 화소들 각각에 대한 우안 계조값을 그 우안 영상 데이터(Img_R)로부터 찾는다. 즉, 신뢰도산출부(101)는, 도 3의 (b)에 도시된 바와 같이, 그 제 1 화소(PXL1)를 중심으로 제 1 블록(BL1)을 설정하고, 그 제 1 블록(BL1)내에 위치한 모든 화소들에 대한 우안 계조값들을 찾는 바, 그 우안 계조값들은 각각 2, 3, 5, 6 및 11개의 0임을 알 수 있다. 다음으로, 신뢰도산출부(101)는 그 우안 계조값들로부터 좌안 계조값과 가장 유사한 값을 갖는 하나의 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 각 화소에 대한 신뢰도값을 설정한다. 즉, 신뢰도산출부(101)는, 도 3의 (b)에 도시된 바와 같이, 그 제 1 블록(BL1)내의 우안 계조값들 중 전술된 3의 좌안 계조값과 가장 유사한 계조값을 선택하는 바, 이는 도 3의 (b)에서 알 수 있듯이 3임을 알 수 있다. 이때, 이들간의 계조값 차이가 0이므로, 제 1 화소(PXL1)는 상당히 높은 신뢰도값을 갖는다. 예를 들어, 신뢰도값이 0에서 255까지의 값을 가질 때, 제 1 화소(PXL1)는 255의 최고 신뢰도값을 갖게 된다. 3, for example, when calculating the reliability value for a specific pixel (hereinafter, referred to as the first pixel PXL), the
한편, 제 2 화소(PXL2)의 우안 계조값은 13으로서, 그 제 2 화소(PXL2)를 중심으로 설정된 제 2 블록(BL2)내의 좌안 계조값들(7, 8, 9 및 12개의 0)들 중 이 우안 계조값에 가장 근접한 값은 9이다. 따라서, 제 2 화소는 낮은 신뢰도값을 나타내는 바, 이와 같은 제 2 화소(PXL2)는 실제 화면에서 노이즈와 같은 형태로 나타날 수 있다.On the other hand, the right eye grayscale value of the second pixel PXL2 is 13, and the left eye
이와 같은 방식으로 모든 화소에 대하여 개별적으로 신뢰도값이 산출되면, 그 신뢰도값들로 구성된 신뢰도지도(CF_mp)가 만들어진다.When the reliability values are individually calculated for all the pixels in this manner, a reliability map CF_mp composed of the reliability values is created.
전술된 화소깊이산출부(103)는 화소깊이지도(PD-mp)를 생성하는 과정에서, 전술된 신뢰도지도(CF_map)를 활용하여 각 화소별 화소깊이값을 보정함으로써 화소깊이지도(PD-mp)의 신뢰도를 높인다.The above-described pixel-
도 4는 도 1의 화소깊이산출부(103) 및 신뢰도산출부(101)에 인가된 좌안 영상 데이터(Img_L) 및 우안 영상 데이터(Img_R)를 나타낸 도면이며, 그리고 도 5는 도 4의 좌안 영상 데이터(Img_L) 및 우안 영상 데이터(Img_R)를 근거로 생성된 신뢰도지도(CF_mp)를 나타낸 도면이다. 여기서, 도 5에서 밝은 색으로 표시된 부분의 화소들일수록 그의 신뢰도값이 높은 것이며, 어두울수록 그의 신뢰도값이 낮은 것이다.4 is a diagram showing left eye image data Img_L and right eye image data Img_R applied to the pixel
블록깊이산출부(105)는 전체 화소들을 이들의 공간적 위치를 근거로 n개(n은 1보다 큰 자연수)의 화소군 블록들(BLK)로 분류하고, 전술된 화소깊이지도(PD-mp)로부터의 화소깊이값들을 근거로 각 화소군 블록(BLK)에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출한다.The block
이 블록깊이산출부(105)는 화소깊이지도(DP-mp)에 포함된 화소별 화소깊이값들을 참조하여 각 화소군 블록(BLK)별로 평균깊이값을 산출하고, 그리고 그 n개의 평균깊이값들을 포함하는 블록깊이지도(BD_mp)를 생성한다. 예를 들어, 특정 화소군 블록(BLK)에 대한 평균깊이값은, 그 특정 화소군 블록(BLK)에 포함된 모든 화소들의 화소깊이값들을 더하고, 그리고 이 더한 값을 그 특정 화소군 블록(BLK)에 포함된 화소수로 나눔으로써 산출된다. 한편, 이 블록깊이산출부(105)는 화소군 블록(BLK)들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행할 수도 있다.The block
도 6은 블록깊이지도의 생성 과정을 설명하기 위한 도면으로, 도 6의 (a)에 도시된 화소깊이지도(DP-mp)를 810개(27*30)의 화소군 블록(BLK)들로 구획하고, 각 화소군 블록(BLK)별로 평균깊이값을 구하고, 그리고 각 화소의 블록깊이값을 그 화소가 속하는 화소군 블록(BLK)의 평균깊이값으로 설정함으로써 화소별 블록깊이값이 생성된다. 따라서, 하나의 화소군 블록(BLK)내에 포함된 화소들은 동일한 블록깊이값들을 갖는다. 다만, 그러한 평균깊이값 적용 작업 후 전술된 바와 같은 선형보간법(linear interpolation)에 의해 경계부 화소들의 블록깊이값이 보정되므로, 한 화소군 블록(BLK)에 포함된 화소들은 반드시 동일한 블록깊이값을 가지지 않을 수도 있다.FIG. 6 is a diagram for explaining a process of generating a block depth map. The pixel depth map DP-mp shown in FIG. 6A is divided into 810 (27 * 30) pixel group blocks BLK The average depth value is obtained for each pixel group block BLK, and the block depth value for each pixel is set to the average depth value of the pixel group block BLK to which the pixel belongs, thereby generating a block depth value for each pixel . Therefore, the pixels included in one pixel group block BLK have the same block depth values. However, since the block depth values of the boundary pixels are corrected by the linear interpolation after the operation of applying the average depth value, the pixels included in one pixel group BLK always have the same block depth value .
위와 같은 화소군 블록별 평균깊이값 산출 작업 및 선형보간법이 수행되면, 도 6의 (b)와 같은 블록깊이지도(BD-mp)가 완성된다.When the average depth value calculation operation and the linear interpolation method for each pixel group are performed as described above, the block depth map BD-mp shown in FIG. 6B is completed.
융합깊이산출부(107)는 화소깊이산출부(103)로부터 화소깊이지도(PD-mp)를, 그리고 블록깊이산출부(105)로부터 블록깊이지도(BD-mp)를 공급받는다. 이후, 이 융합깊이산출부(107)는 화소깊이값들과 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인(gain)값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하고, 그 산출된 융합깊이값들을 포함하는 융합깊이지도(FD-mp)를 생성한다.The fusing
이때, 융합깊이산출부(107)는 다음의 2가지 방법으로 화소 게인값과 블록 게인(gain)값을 설정할 수 있는 바, 도 7 및 도 8을 참조로 하여 이를 설명하면 다음과 같다.At this time, the fused
도 7은 신뢰도값과 블록 게인값간의 관계를 나타낸 그래프로서, 동 도면에 도시된 바와 같이, 신뢰도값이 높아질수록 이에 반비례하여 블록 게인값이 선형적으로 감소한다. 한편, 화소 게인값은 블록 게인값에 따라 결정되는 값으로, 이 화소 게인값은 그 신뢰도값이 증가함에 따라 이에 비례하여 선형적으로 증가한다.7 is a graph showing the relationship between the reliability value and the block gain value. As shown in the figure, the block gain value decreases linearly in inverse proportion to the reliability value. On the other hand, the pixel gain value is determined according to the block gain value, and the pixel gain value increases linearly with the increase of the reliability value.
이 도 7과 같은 그래프 및 다음과 같은 수학식1을 근거로, 융합깊이산출부(107)는 각 화소에 대한 융합깊이값을 아래와 같이 산출할 수 있다.Based on the graph shown in FIG. 7 and the following equation (1), the fused
[수학식1][Equation 1]
FusionDepth = PixelDepth*(1-a) + BlockDepth*aFusionDepth = PixelDepth * (1-a) + BlockDepth * a
위의 수학식1에서, FusionDepth는 화소의 융합깊이값을, PixelDepth는 그 화소의 화소깊이값을, BlockDepth는 그 화소의 블록깊이값을, a는 그 화소의 신뢰도에 따른 블록 게인값을, 그리고 (1-a)는 그 화소의 신뢰도에 따른 화소 게인값을 의미한다. 여기서, 블록 게인값 a는 0과 1.0사이에서 선택되는 정수이다.In
도 8은 신뢰도값과 블록 게인값간의 관계를 나타낸 또 다른 그래프로서, 동 도면에 도시된 바와 같이, 신뢰도값이 미리 설정된 신뢰 임계값(th2)보다 클 때 그 신뢰도값에 관계없이 블록 게인값이 일정한 값으로 유지되며, 신뢰도값이 그 신뢰 임계값(th2)으로부터 감소할수록 그에 비례하여 블록 게인값이 선형적으로 감소한다. 한편, 화소 게인값은 블록 게인값에 따라 결정되는 값으로, 이 화소 게인값은 전술된 신뢰 임계값(th2)보다 클 때 그 신뢰도값에 관계없이 일정한 값으로 유지되며, 신뢰도값이 그 신뢰 임계값(th2)으로부터 감소할수록 그에 비례하여 선형적으로 증가한다.8 is a graph showing the relationship between the reliability value and the block gain value. As shown in the figure, when the reliability value is larger than the predetermined confidence threshold value th2, the block gain value The block gain value is linearly decreased in proportion to the decrease of the reliability value from its confidence threshold value th2. On the other hand, the pixel gain value is determined according to the block gain value. When the pixel gain value is larger than the above-described reliability threshold value th2, the pixel gain value is maintained at a constant value regardless of the reliability value thereof, And increases linearly in proportion to the decrease from the value th2.
이 도 8과 같은 그래프 및 다음과 같은 수학식2를 근거로, 융합깊이산출부(107)는 각 화소에 대한 융합깊이값을 아래와 같이 산출할 수 있다.Based on the graph as shown in FIG. 8 and the following equation (2), the fusing
[수학식2]&Quot; (2) "
FusionDepth = PixelDepth*(1-a) + BlockDepth*aFusionDepth = PixelDepth * (1-a) + BlockDepth * a
위의 수학식2에서, FusionDepth는 화소의 융합깊이값을, PixelDepth는 그 화소의 화소깊이값을, BlockDepth는 그 화소의 블록깊이값을, a는 그 화소의 신뢰도에 따른 블록 게인값을, 그리고 (1-a)는 그 화소의 신뢰도에 따른 화소 게인값을 의미한다.In Equation (2), FusionDepth denotes a fused depth value of a pixel, PixelDepth denotes a pixel depth value of the pixel, BlockDepth denotes a block depth value of the pixel, a denotes a block gain value according to the reliability of the pixel, (1-a) denotes a pixel gain value according to the reliability of the pixel.
이때, 신뢰도값이 신뢰 임계값(th2)보다 작거나 같을 때, 전술된 블록 게인값 a는 아래의 수학식3으로 정의된다.At this time, when the reliability value is less than or equal to the trust threshold value th2, the above-mentioned block gain value a is defined by the following equation (3).
[수학식3]&Quot; (3) "
a = th1+{(0.5-th1)/th2*Confidence_Level} a = th1 + {(0.5-th1) / th2 * Confidence_Level}
위의 수학식3에서, th1은 블록 임계값을, th2는 신뢰 임계값을, 그리고 Confidence_Level은 신뢰도값을 의미한다. 여기서, 블록 임계값(th1)은 0.5와 1.0사이에서 선택되는 정수이다.In Equation (3), th1 denotes a block threshold value, th2 denotes a confidence threshold value, and Confidence_Level denotes a confidence value. Here, the block threshold value th1 is an integer selected between 0.5 and 1.0.
한편, 신뢰도값이 신뢰 임계값(th2)보다 클 때, 전술된 블록 게인값 a는 일정한 값, 예를 들면 0.5로 유지된다.On the other hand, when the reliability value is larger than the trust threshold value th2, the aforementioned block gain value a is maintained at a constant value, for example, 0.5.
이와 같이 본 발명에 따르면, 신뢰도값에 따라 화소깊이값과 블록깊이값간의 비율을 조절하고 이들을 합산하여 융합깊이값을 산출한다. 다시 말하여, 신뢰도가 낮은 화소는 그의 화소깊이값이 아티팩트(artifact)의 발생에 직접적인 영향을 줄 확률이 매우 높으므로, 그 화소의 최종 깊이값(즉, 융합깊이값)이 그 화소깊이값보다는 덜 강조된 값을 갖는 블록깊이값을 상대적으로 더 많이 포함하도록 그들간의 비율을 조절한다. 반대로, 신뢰도가 높은 화소는 그의 화소깊이값이 원 영상의 일부일 가능성이 매우 높으므로, 그 화소의 최종 깊이값(즉, 융합깊이값)이 그 블록깊이값보다는 더욱 강조된 값을 갖는 화소깊이값을 상대적으로 더 많이 포함하도록 그들간의 비율을 조절한다. 따라서, 본 발명은 그 신뢰도값에 상관없이 항상 일정한 비율로 화소깊이값과 블록깊이값을 합산하는 종래 방식에 비하여 더 우수한 품질의 깊이지도를 생성할 수 있다. 그러므로, 본 발명은 종래에 비하여3차원 영상의 화질을 향상시킬 수 있다.As described above, according to the present invention, the ratio between the pixel depth value and the block depth value is adjusted according to the reliability value, and the fused depth value is calculated by summing the ratio. In other words, a pixel with a low reliability has a very high probability that its pixel depth value will directly affect the occurrence of an artifact, so that the final depth value of the pixel (i.e., the fused depth value) Adjust the ratio between them to include relatively more block depth values with less emphasized values. Conversely, a pixel with a high reliability has a very high probability that its pixel depth value is part of the original image, so that the final depth value (i.e., fused depth value) of the pixel has a pixel depth value that is more emphasized than the block depth value Adjust the ratio between them to include relatively more. Accordingly, the present invention can generate a depth map of higher quality than the conventional method of summing the pixel depth value and the block depth value at a constant rate regardless of the reliability value. Therefore, the present invention can improve the image quality of a three-dimensional image.
도 9는 종래의 융합깊이지도(FD-mp)와 본 발명에 따른 융합깊이지도(FD-mp)를 비교 설명하기 위한 도면이다.FIG. 9 is a diagram for explaining a comparison between a conventional depth map FD-mp and a depth map FD-mp according to the present invention.
도 9의 (a)는 종래의 융합깊이지도(FD-mp)이고, 그리고 도 9의 (b)는 본 발명에 따른 융합깊이지도(FD-mp)를 나타낸 것으로, 이 두 개의 융합깊이지도(FD-mp)는 모두 동일한 화소깊이지도(PD-mp) 및 블록깊이지도(BD-mp)를 근거로 생성된 것이다. 여기서, 그 화소깊이지도(PD-mp)는 신뢰도값이 낮은 화소들을 상당히 많이 포함하고 있는 바, 도 9의 (a)와 같이 그 신뢰도값에 관계없이 고정된 비율로 융합깊이지도(FD-mp)를 생성할 경우 밝은 색으로 강조된 부분이 많아지게 되고 그로 인해 그 것들이 아티팩트로서 작용하게 되어 3차원 영상의 화질이 저하될 가능성이 높다. 그러나, 도 9의 (b)에 도시된 바와 같이 그 낮은 신뢰도값을 고려하여, 상대적으로 부드럽게(smoothingly) 처리된 블록깊이값의 비율을 더 높게 하여 융합깊이지도(FD-mp)를 작성하게 되면 아티팩트가 확연히 줄어들게 되어 3차원 영상의 화질이 향상될 수 있다.9 (a) shows a conventional fused depth map FD-mp, and Fig. 9 (b) shows a fused depth map FD-mp according to the present invention. FD-mp) are all generated based on the same pixel depth map (PD-mp) and block depth map (BD-mp). Here, since the pixel depth map PD-mp includes a considerably large number of pixels with low reliability values, the fused depth map FD-mp is obtained at a fixed ratio irrespective of the reliability value, ), There are many portions highlighted with bright colors. As a result, they are likely to act as artifacts, and the image quality of a three-dimensional image is likely to deteriorate. However, as shown in FIG. 9 (b), when the convergence depth map FD-mp is created by increasing the ratio of the relatively smoothingly processed block depth values in consideration of the low reliability value Artifacts are significantly reduced and the image quality of the three-dimensional image can be improved.
도 10은 종래의 융합깊이지도(FD-mp)를 근거로 생성된 3차원 영상과 본 발명에 따른 융합깊이지도(FD-mp)를 근거로 생성된 3차원 영상을 비교 설명하기 위한 도면이다.FIG. 10 is a diagram for explaining a comparison between a 3-dimensional image generated based on a conventional fused depth map (FD-mp) and a 3-dimensional image generated based on a fused depth map (FD-mp) according to the present invention.
도 10의 (a)는 종래의 융합깊이지도(FD-mp)를 근거로 생성된 3차원 영상이고, 도 10의 (b)는 본 발명에 따른 융합깊이지도(FD-mp)를 근거로 생성된 3차원 영상으로서, 도 10의 (b)에 나타난 영상이 도 10의 (a)에 나타난 영상에 비하여 더 화질이 우수함을 알 수 있다.10 (a) is a three-dimensional image generated based on a conventional fused depth map (FD-mp), and FIG. 10 (b) is a three-dimensional image generated based on a fused depth map As a result, it can be seen that the image shown in FIG. 10 (b) is more excellent in image quality than the image shown in FIG. 10 (a).
이상에서 설명한 본 발명은 상술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents. Will be clear to those who have knowledge of.
101: 신뢰도산출부 103: 화소깊이산출부
105: 블록깊이산출부 107: 융합깊이산출부
Img_L: 좌안 영상 데이터 Img_R: 우안 영상 데이터
CF-mp: 신뢰도지도 PD-mp: 화소깊이지도
BD-mp: 블록깊이지도 FD-mp: 융합깊이지도101: reliability calculating unit 103: pixel depth calculating unit
105: block depth calculating unit 107: fused depth calculating unit
Img_L: Left eye image data Img_R: Right eye image data
CF-mp: reliability map PD-mp: pixel depth map
BD-mp: Block depth map FD-mp: Fusion depth map
Claims (14)
상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 화소깊이산출부;
전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 블록깊이산출부; 및,
상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 융합깊이산출부를 포함함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치. A reliability calculating unit for calculating a reliability value for each pixel based on left eye image data and right eye image data;
A pixel depth calculation unit for calculating a pixel depth value for each pixel based on the left eye image data, the right eye image data, and the reliability value;
All the pixels are classified into a plurality of pixel group blocks based on their spatial positions, an average depth value is calculated for each pixel group block based on the pixel depth values, and based on the average depth value, A block depth calculator for calculating a block depth value for the block; And
The pixel depth values and the block depth values corresponding to the same pixel are calculated with respect to each other, and based on the reliability value for the pixel, And a fused depth calculating unit for calculating a fused depth value for each pixel by setting the block gain value and performing the calculation based on the set gain values.
상기 융합깊이산출부는 신뢰도값이 높을수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.The method according to claim 1,
Wherein the fusing depth calculating unit raises the pixel gain value and decreases the block gain value as the reliability value is higher.
융합깊이값은 아래의 수학식1로 정의되며;
<수학식1>
화소깊이값*화소 게인값+블록깊이값*블록 게인값;
상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며;
상기 신뢰도값이 증가할수록 a의 값이 선형적으로 감소함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.3. The method of claim 2,
The fusion depth value is defined by Equation 1 below;
&Quot; (1) "
Pixel depth value * pixel gain value + block depth value * block gain value;
When the block gain value is a (a is an integer between 0 and 1.0), the pixel gain value is 1-a;
Wherein the value of a is linearly decreased as the reliability value increases.
상기 융합깊이산출부는,
신뢰도값이 미리 설정된 신뢰 임계값보다 클 때 그 신뢰도값에 관계없이 화소 게인값 및 블록 게인값을 일정한 값으로 유지시키고; 그리고,
신뢰도값이 그 신뢰 임계값으로부터 감소할수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.The method according to claim 1,
The fusion depth calculating unit
Maintaining the pixel gain value and the block gain value at a constant value regardless of the reliability value when the reliability value is greater than a predetermined confidence threshold value; And,
Wherein the pixel gain value is increased and the block gain value is decreased as the reliability value is decreased from the confidence threshold value.
융합깊이값은 아래의 수학식2로 정의되며;
<수학식2>
화소깊이값*화소 게인값+블록깊이값*블록 게인값;
상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며;
상기 신뢰도값이 신뢰 임계값보다 작거나 같을 때, 상기 a는 아래의 수학식3로 정의되며;
<수학식3>
블록 임계값+{(0.5-블록 임계값)/신뢰 임계값*신뢰도값};
상기 블록 임계값은 0.5와 1.0사이의 정수이며; 그리고,
상기 신뢰도값이 신뢰 임계값보다 클 때, 상기 a는 0.5로 설정됨을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.5. The method of claim 4,
The fusion depth value is defined by the following equation (2);
&Quot; (2) "
Pixel depth value * pixel gain value + block depth value * block gain value;
When the block gain value is a (a is an integer between 0 and 1.0), the pixel gain value is 1-a;
When the confidence value is less than or equal to the confidence threshold, the a is defined by: < EMI ID = 3.0 >
&Quot; (3) "
Block threshold + {(0.5-block threshold) / confidence threshold * confidence value};
The block threshold value is an integer between 0.5 and 1.0; And,
And when the confidence value is greater than the confidence threshold, the value a is set to 0.5.
상기 신뢰도산출부는, 어느 특정 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 특정 화소 및 그 특정 화소에 인접한 몇 개의 화소들 각각에 대한 우안 계조값을 상기 좌안 영상 데이터로부터 찾고, 상기 우안 계조값들 중 상기 좌안 계조값과 가장 유사한 값을 갖는 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 상기 특정 화소에 대한 신뢰도값을 설정하며; 그리고,
상기 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.The method according to claim 1,
Wherein the reliability calculating unit searches the left eye image data for a specific pixel from the left eye image data and finds a right eye tone value for the specific pixel and a plurality of pixels adjacent to the specific pixel from the left eye image data, Selecting a right eye tone value having a value most similar to the left eye tone value among the tone values and setting a reliability value for the specific pixel based on a difference between the selected right eye tone value and the left eye tone value; And,
Wherein the reliability value is increased as the difference between the selected right-eye gradation value and the left-eye gradation value is smaller.
상기 블록깊이산출부는,
상기 화소군 블록들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.The method according to claim 1,
Wherein the block depth calculating unit comprises:
Further comprising the step of correcting a block depth value of pixels adjacent to the boundary by using linear interpolation in order to reduce a gradation between pixels located at a boundary between the pixel group blocks, Depth map correction device for stereoscopic image.
상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 B단계;
전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 C단계; 및,
상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 D단계를 포함함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법. A step of calculating a reliability value for each pixel based on left eye image data and right eye image data;
Calculating a pixel depth value for each pixel based on the left eye image data, the right eye image data, and the reliability value;
All the pixels are classified into a plurality of pixel group blocks based on their spatial positions, an average depth value is calculated for each pixel group block based on the pixel depth values, and based on the average depth value, Calculating a block depth value for the block; And
The pixel depth values and the block depth values corresponding to the same pixel are calculated with respect to each other, and based on the reliability value for the pixel, Calculating a fused depth value for each pixel by setting a block gain value, and performing the calculation based on the set gain values, to calculate a fused depth value for each pixel.
상기 D단계는 신뢰도값이 높을수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.9. The method of claim 8,
Wherein the step (D) increases the pixel gain value and decreases the block gain value as the reliability value is higher.
융합깊이값은 아래의 수학식1로 정의되며;
<수학식1>
화소깊이값*화소 게인값+블록깊이값*블록 게인값;
상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며;
상기 신뢰도값이 증가할수록 a의 값이 선형적으로 감소함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.10. The method of claim 9,
The fusion depth value is defined by Equation 1 below;
&Quot; (1) "
Pixel depth value * pixel gain value + block depth value * block gain value;
When the block gain value is a (a is an integer between 0 and 1.0), the pixel gain value is 1-a;
And the value of a linearly decreases as the reliability value increases.
상기 D단계는,
신뢰도값이 미리 설정된 신뢰 임계값보다 클 때 그 신뢰도값에 관계없이 화소 게인값 및 블록 게인값을 일정한 값으로 유지시키고; 그리고,
신뢰도값이 그 신뢰 임계값으로부터 감소할수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.9. The method of claim 8,
The step (D)
Maintaining the pixel gain value and the block gain value at a constant value regardless of the reliability value when the reliability value is greater than a predetermined confidence threshold value; And,
Wherein the pixel gain value is increased and the block gain value is lowered as the reliability value is decreased from the confidence threshold value.
융합깊이값은 아래의 수학식2로 정의되며;
<수학식2>
화소깊이값*화소 게인값+블록깊이값*블록 게인값;
상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며;
상기 신뢰도값이 신뢰 임계값보다 작거나 같을 때, 상기 a는 아래의 수학식3로 정의되며;
<수학식3>
블록 임계값+{(0.5-블록 임계값)/신뢰 임계값*신뢰도값};
상기 블록 임계값은 0.5와 1.0사이의 정수이며; 그리고,
상기 신뢰도값이 신뢰 임계값보다 클 때, 상기 a는 0.5로 설정됨을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.12. The method of claim 11,
The fusion depth value is defined by the following equation (2);
&Quot; (2) "
Pixel depth value * pixel gain value + block depth value * block gain value;
When the block gain value is a (a is an integer between 0 and 1.0), the pixel gain value is 1-a;
When the confidence value is less than or equal to the confidence threshold, the a is defined by: < EMI ID = 3.0 >
&Quot; (3) "
Block threshold + {(0.5-block threshold) / confidence threshold * confidence value};
The block threshold value is an integer between 0.5 and 1.0; And,
And when the confidence value is greater than the confidence threshold, the value a is set to 0.5.
상기 A단계는, 어느 특정 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 특정 화소 및 그 특정 화소에 인접한 몇 개의 화소들 각각에 대한 우안 계조값을 상기 좌안 영상 데이터로부터 찾고, 상기 우안 계조값들 중 상기 좌안 계조값과 가장 유사한 값을 갖는 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 상기 특정 화소에 대한 신뢰도값을 설정하며; 그리고,
상기 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.9. The method of claim 8,
Wherein the step (A) searches the left eye image data for a specific pixel from the left eye image data, finds a right eye tone value for the specific pixel and a plurality of pixels adjacent to the specific pixel, from the left eye image data, Selecting a right eye tone value having a value most similar to the left eye tone value among the tone values and setting a reliability value for the specific pixel based on a difference between the selected right eye tone value and the left eye tone value; And,
Wherein the reliability value is increased as the difference between the selected right eye tone value and the left eye tone value is smaller.
상기 C단계는,
상기 화소군 블록들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
9. The method of claim 8,
In the step C,
Further comprising the step of correcting a block depth value of pixels adjacent to the boundary by using linear interpolation in order to reduce a gradation between pixels located at a boundary between the pixel group blocks, Depth Map Correction Method for Stereoscopic Image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130116590A KR102122523B1 (en) | 2013-09-30 | 2013-09-30 | Device for correcting depth map of three dimensional image and method for correcting the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130116590A KR102122523B1 (en) | 2013-09-30 | 2013-09-30 | Device for correcting depth map of three dimensional image and method for correcting the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150037203A true KR20150037203A (en) | 2015-04-08 |
KR102122523B1 KR102122523B1 (en) | 2020-06-12 |
Family
ID=53033209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130116590A KR102122523B1 (en) | 2013-09-30 | 2013-09-30 | Device for correcting depth map of three dimensional image and method for correcting the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102122523B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180107333A (en) * | 2017-03-16 | 2018-10-02 | 삼성디스플레이 주식회사 | Image Processing method and apparatus for LCD Device |
WO2022050646A1 (en) * | 2020-09-02 | 2022-03-10 | 삼성전자 주식회사 | Image generation device and method |
KR20230082230A (en) | 2021-12-01 | 2023-06-08 | 한국전자통신연구원 | Method and apparatus for refining depth map and normal map |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012078942A (en) * | 2010-09-30 | 2012-04-19 | Toshiba Corp | Depth correction device and method |
WO2013111552A1 (en) * | 2012-01-27 | 2013-08-01 | パナソニック株式会社 | Image processor, imaging device, and image processing method |
-
2013
- 2013-09-30 KR KR1020130116590A patent/KR102122523B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012078942A (en) * | 2010-09-30 | 2012-04-19 | Toshiba Corp | Depth correction device and method |
WO2013111552A1 (en) * | 2012-01-27 | 2013-08-01 | パナソニック株式会社 | Image processor, imaging device, and image processing method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180107333A (en) * | 2017-03-16 | 2018-10-02 | 삼성디스플레이 주식회사 | Image Processing method and apparatus for LCD Device |
WO2022050646A1 (en) * | 2020-09-02 | 2022-03-10 | 삼성전자 주식회사 | Image generation device and method |
US11917273B2 (en) | 2020-09-02 | 2024-02-27 | Samsung Electronics Co., Ltd. | Image generating device and method thereof |
KR20230082230A (en) | 2021-12-01 | 2023-06-08 | 한국전자통신연구원 | Method and apparatus for refining depth map and normal map |
Also Published As
Publication number | Publication date |
---|---|
KR102122523B1 (en) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9445071B2 (en) | Method and apparatus generating multi-view images for three-dimensional display | |
US9407896B2 (en) | Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions | |
KR101742120B1 (en) | Apparatus and method for image processing | |
US9053575B2 (en) | Image processing apparatus for generating an image for three-dimensional display | |
US9509971B2 (en) | Image processing device, image processing method, and program | |
JP6717855B2 (en) | Method and apparatus for determining a depth map of an image | |
US9710955B2 (en) | Image processing device, image processing method, and program for correcting depth image based on positional information | |
WO2012071356A1 (en) | Depth estimation based on global motion | |
US9041773B2 (en) | Conversion of 2-dimensional image data into 3-dimensional image data | |
US20130293533A1 (en) | Image processing apparatus and image processing method | |
US20130342529A1 (en) | Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method | |
KR101364860B1 (en) | Method for transforming stereoscopic images for improvement of stereoscopic images and medium recording the same | |
US8994722B2 (en) | Method for enhancing depth images of scenes using trellis structures | |
TWI712990B (en) | Method and apparatus for determining a depth map for an image, and non-transitory computer readable storage medium | |
JP5669599B2 (en) | Image processing apparatus and control method thereof | |
US9113145B2 (en) | Contrast matching for stereo image | |
KR101970562B1 (en) | Device for correcting depth map of three dimensional image and method for correcting the same | |
KR102122523B1 (en) | Device for correcting depth map of three dimensional image and method for correcting the same | |
US20140125778A1 (en) | System for producing stereoscopic images with a hole filling algorithm and method thereof | |
JP2013090272A (en) | Video processing device, video processing method and video display device | |
US9064338B2 (en) | Stereoscopic image generation method and stereoscopic image generation system | |
KR101760463B1 (en) | Method and Apparatus for correcting a depth map | |
JP2012203852A (en) | Image processing device, image processing method, and program | |
US20140313199A1 (en) | Image processing device, 3d image display apparatus, method of image processing and computer-readable medium | |
US20130208976A1 (en) | System, method, and computer program product for calculating adjustments for images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |