KR101970563B1

KR101970563B1 - 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Info

Publication number: KR101970563B1
Application number: KR1020120133373A
Authority: KR
Inventors: 전호민; 김성균
Original assignee: 엘지디스플레이 주식회사
Priority date: 2012-11-23
Filing date: 2012-11-23
Publication date: 2019-08-14
Also published as: CN103841401B; KR20140066872A; US20140146041A1; CN103841401A; US9374570B2

Abstract

본 발명은 최초 생성된 깊이지도(depth map)를 영상 특성에 따라 올바르게 보정하여 3차원 입체 영상의 화질을 향상시킬 수 있는 3차원 입체 영상용 깊이지도 보정장치 및 보정방법에 관한 것으로, 외부로부터 공급된 프레임 영상 데이터에 대한 원본 깊이지도를 생성하는 원본 깊이지도생성부; 및, 외부로부터 공급된 프레임 영상 데이터를 분석하여 영상의 패턴 및 각 화소별 휘도값들을 산출하고, 이 영상의 패턴 및 휘도값들에 근거하여 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정함으로써 보정 깊이지도를 생성하는 깊이지도보정부를 포함함을 특징으로 한다.

Description

3차원 입체 영상용 깊이지도 보정장치 및 보정방법{DEVICE FOR CORRECTING DEPTH MAP OF THREE DIMENSIONAL IMAGE AND METHOD FOR CORRECTING THE SAME}

본 발명은 2차원 영상을 3차원 영상으로 변환하는데 필요한 3차원 입체 영상용 깊이지도 보정장치에 관한 것으로, 특히 최초 생성된 깊이지도(depth map)를 영상 특성에 따라 올바르게 보정하여 3차원 입체 영상의 화질을 향상시킬 수 있는 3차원 입체 영상용 깊이지도 보정장치 및 보정방법에 대한 것이다.

3차원 입체 영상 구현 방법은 크게, 3차원 입체 영상 구현을 목적으로 만들어진 2차원 좌안 영상과 2차원 우안 영상으로부터 깊이지도를 생성하고 이를 이용하여 3차원 영상을 표현하는 방법(3차원 영상 표시 방법)과, 원래 2차원 영상을 구현을 목적으로 만들어진 영상을 근거로 깊이지도를 생성하고 이를 이용하여 상기 2차원 영상을 3차원 영상으로 변환함으로써 3차원 입체 영상을 표시하는 방법(3차원 영상 변환 방법)이 있다.

종래의 3차원 영상 변환 방법에 따르면, 영상의 통계적 휘도 및 컬러 특성을 이용하여 영상내의 피사체들의 3차원적인 거리를 판단한다. 일반적으로, 영상에서 휘도가 높은 피사체는 통계적으로 높은 깊이값을 부여받아 깊이지도내에서 앞으로 돌출되도록 표시되며, 반면, 영상에서 휘도가 낮은 피사체는 통계적으로 낮은 깊이값을 부여받아 깊이지도내에서 뒤로 들어가도록 표시된다. 이러한 통계에 근거한 생성된 깊이지도는 대체적으로 상당수의 영상의 특성을 잘 반영한다. 그러나, 영상의 특성에 따라 어두운 색상(예를 들어 흑색)의 피사체가 밝은 색상(예를 들어 백색)의 피사체보다 앞에 위치한 경우도 있는 바, 이와 같은 특성을 갖는 영상에 대한 깊이지도는 원래의 영상 특성을 정확히 나타내지 못할 가능성이 높다. 즉, 종래의 3차원 영상 변환 장치는, 밝은 색상의 피사체가 보다 앞에 위치하고, 어두운 색상의 피사체가 보다 뒤에 위치하는 것으로 판단하여 잘못된 정보를 갖는 깊이지도를 생성하기 때문이다.

3차원 영상의 화질은 이 깊이지도의 정확도에 영향을 받으므로, 3차원 입체 영상의 화질 향상을 위해서는 이 깊이지도내의 잘못된 정보를 바로 잡는 것이 중요하다.

그러나, 종래에는 이러한 깊이지도내의 잘못된 정보를 정확하게 보정하지 못하였기 때문에, 3차원 영상의 화질이 저하되는 문제점을 여전히 피할 수 없었다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 최초 생성된 깊이지도를 영상 특성에 따라 올바르게 보정하여 3차원 입체 영상의 화질을 향상시킬 수 있는 3차원 입체 영상용 깊이지도 보정장치 및 보정방법을 제공하는데 그 목적이 있다.

상술된 목적을 달성하기 위한 본 발명에 따른 3차원 입체 영상용 깊이지도 보정장치는, 외부로부터 공급된 프레임 영상 데이터에 대한 원본 깊이지도를 생성하는 원본 깊이지도생성부; 및, 외부로부터 공급된 프레임 영상 데이터를 분석하여 영상의 패턴 및 각 화소별 휘도값들을 산출하고, 이 영상의 패턴 및 휘도값들에 근거하여 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정함으로써 보정 깊이지도를 생성하는 깊이지도보정부를 포함함을 특징으로 한다.

상기 깊이지도보정부는, 외부로부터의 프레임 영상 데이터로부터 각 화소별 휘도값을 추출하는 휘도추출부; 상기 휘도추출부로부터의 휘도값들을 근거로 상기 프레임 영상 데이터의 영상 패턴을 파악하고, 이 파악된 결과를 근거로 미리 설정된 어느 하나의 패턴 게인값을 출력하는 영상패턴분석부; 화소들을 이들의 공간적 위치에 근거하여 n개(n은 1보다 큰 자연수)의 화소군 블록으로 분류하고, 상기 휘도추출부로부터의 휘도값들을 참조로 각 화소군 블록별로 평균 휘도값을 산출하고, 이 화소군 블록별 평균 휘도값 및 상기 영상패턴분석부로부터의 패턴 게인값을 근거로 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정하여 블록기반 깊이지도를 생성하는 블록 깊이지도생성부; 상기 휘도추출부로부터의 휘도값들 및 상기 영상패턴분석부로부터의 패턴 게인값을 근거로 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정하여 화소기반 깊이지도를 생성하는 화소 깊이지도생성부; 및, 상기 블록 깊이지도생성부로부터의 블록기반 깊이지도 및 상기 화소 깊이지도생성부로부터의 화소기반 깊이지도를 근거로 보정 깊이지도를 생성하는 보정 깊이지도생성부를 포함함을 특징으로 한다.

상기 영상패턴분석부는, 화소들을 이들의 공간적 위치에 근거하여 m개의 패턴 블록(m은 1보다 큰 자연수)으로 분류하고, 상기 m개의 패턴 영역들 중 일부 패턴 영역들을 하나로 묶어 이를 스카이 영역으로 구분하고, 상기 m개의 패턴 영역들 중 또 다른 일부 패턴 영역들을 하나로 묶어 이를 사이드 영역으로 구분하고, 상기 휘도추출부로부터의 휘도값들을 참조로 상기 스카이 영역의 평균 휘도값 및 상기 사이드 영역의 평균 휘도값을 산출하고, 이 산출된 평균 휘도값들을 근거로 영상 패턴을 파악하고, 그리고 이 파악된 결과를 근거로 어느 하나의 패턴 게인값을 선택함을 특징으로 한다.

상기 영상패턴분석부는, 상기 스카이 영역의 평균 휘도값과 미리 설정된 기준 휘도값간의 비교 결과와 상기 사이드 영역의 평균 휘도값과 상기 기준 휘도값간의 비교 결과를 근거로, 미리 설정된 다수의 패턴 게인값들 중 어느 하나를 선택함을 특징으로 한다.

상기 영상패턴분석부는, 상기 화소들을 9개의 패턴 영역들로 분류하고, 이 9개의 패턴 영역들 중 공간적으로 최상측에 수평으로 인접하여 위치한 3개의 패턴 영역들을 하나로 묶어 이를 상기 스카이 영역으로 구분하고, 상기 9개의 패턴 영역들 중 공간적으로 좌측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들 및 우측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들을 하나로 묶어 이를 상기 사이드 영역으로 구분함을 특징으로 한다.

상기 영상패턴분석부는, 상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 클 때, 상기 외부로부터의 프레임 영상 데이터를 제 1 영상 패턴으로 인식하여 제 1 패턴 게인값을 선택하고; 상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 크고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같을 때, 상기 외부로부터의 프레임 영상 데이터를 제 2 영상 패턴으로 인식하여 제 2 패턴 게인값을 선택하고; 상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같을 때, 상기 외부로부터의 프레임 영상 데이터를 제 3 영상 패턴으로 인식하여 제 3 패턴 게인값을 선택하고; 상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 크고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 클 때, 상기 외부로부터의 프레임 영상 데이터를 제 4 영상 패턴으로 인식하여 제 4 패턴 게인값을 선택함을 특징으로 한다.

상기 제 1 패턴 게인값은 0.3이며, 상기 제 2 패턴 게인값은 0.7이며, 상기 제 3 패턴 게인값은 0이며, 그리고 상기 제 4 패턴 게인값은 1인 것을 특징으로 한다.

상기 블록 깊이지도생성부는, 화소군 블록내의 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 1 수직 가중치를 더 산출하고, 상기 화소군 블록별 평균 휘도값, 상기 영상패턴분석부로부터의 패턴 게인값 및 상기 제 1 수직 가중치를 근거로 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정하여 블록기반 깊이지도를 생성하며; 그리고, 상기 화소 깊이지도생성부는, 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 2 수직 가중치를 더 산출하고, 상기 휘도추출부로부터의 휘도값들, 상기 영상패턴분석부로부터의 패턴 게인값 및 상기 제 2 수직 가중치를 근거로 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정하여 화소기반 깊이지도를 생성함을 특징으로 한다.

상기 제 1 수직 가중치 및 제 2 수직 가중치는, 아래의 수학식1로 정의되며; [수학식1]: (HL_total/60)-(N_HL_pxl/60)*8; 상기 HL_total은 표시화면에 구성된 총 수평라인의 수를, 그리고 N_HL_pxl은 특정 화소가 위치한 수평라인의 번호를 의미하며; 제 1 수직 가중치의 값이 소수점을 포함할 경우, 그 소수점 이하는 반올림됨을 특징으로 한다.

상기 블록 깊이지도생성부는, 특정 화소가 위치한 제 k 화소군 블록의 평균 휘도값을 근거로 상기 제 k 화소군 블록에 대한 k블록 게인값을 산출하고, 상기 제 k 화소군 블록의 좌측에 인접하여 위치한 제 k-1 화소군 블록의 평균 휘도값을 근거로 상기 제 k-1 화소군 블록에 대한 k-1블록 게인값을 산출하고, 상기 제 k 화소군 블록의 우측에 인접하여 위치한 제 k+1 화소군 블록의 평균 휘도값을 근거로 상기 제 k+1 화소군 블록에 대한 k+1블록 게인값을 산출하고; 상기 k-1블록 게인값 및 k+1블록 게인값 중 더 큰 값을 사이드블록 게인값으로 정의하고; 그리고, 상기 k블록 게인값, 상기 사이드블록 게인값, 상기 제 1 수직 가중치 및 패턴 게인값을 모두 곱하여 제 1 총 게인값을 산출하고; 상기 특정 화소에 부여된 원본 깊이값을 상기 원본 깊이지도로부터 찾고, 이 찾은 원본 깊이값에 상기 제 1 총 게인값을 더함으로써 상기 특정 화소에 대한 블록 깊이값을 산출하며; 그리고, 모든 화소에 대한 블록 깊이값을 산출함으로써 블록기반 깊이지도를 생성함을 특징으로 한다.

상기 k블록 게인값은 아래의 수학식1로 정의되고, k-1블록 게인값은 아래의 수학식2로 정의되며, 그리고 k+1블록 게인값은 아래의 수학식3으로 정의되며; 수학식1: (Max_th1 - blk_apl_k)/(Max_th1 - Min_th1); 수학식2: (Max_th2 - blk_apl_k-1)/(Max_th2 - Min_th2); 수학식3: (Max_th2 - blk_apl_k+1)/(Max_th2 - Min_th2); 상기 Max_th1은 미리 설정된 제 1 최대 기준값을, 상기 Min_th1은 미리 설정된 제 1 최소 기준값을, 상기 Max_th2는 미리 설정된 제 2 최대 기준값을, 상기 Min_th2는 미리 설정된 제 2 최소 기준값을, 상기 blk_apl_k는 제 k 화소군 블록의 평균 휘도값을, 상기 blk_apl_k-1는 제 k-1 화소군 블록의 평균 휘도값을, 상기 blk_apl_k+1은 제 k+1 화소군 블록의 평균 휘도값을 의미하는 것을 특징으로 한다.

상기 제 1 최대 기준값, 제 1 최소 기준값, 제 2 최대 기준값 및 제 2 최소 기준값은, 각각 400, 200, 440 및 240인 것을 특징으로 한다.

상기 화소 깊이지도생성부는, 특정 제 i 화소의 휘도값을 근거로 상기 제 i 화소에 대한 i화소 게인값을 산출하고, 상기 제 i 화소의 좌측에 인접하여 위치한 제 i-1 화소의 휘도값을 근거로 상기 제 i-1 화소에 대한 i-1화소 게인값을 산출하고, 상기 제 i 화소의 우측에 인접하여 위치한 제 i+1 화소의 휘도값을 근거로 상기 제 i+1 화소에 대한 i+1화소 게인값을 산출하고; 상기 i-1화소 게인값 및 i+1화소 게인값 중 더 큰 값을 사이드화소 게인값으로 정의하고; 그리고, 상기 i화소 게인값, 상기 사이드화소 게인값, 상기 제 2 수직 가중치 및 패턴 게인값을 모두 곱하여 제 2 총 게인값을 산출하고; 상기 특정 화소에 부여된 원본 깊이값을 상기 원본 깊이지도로부터 찾고, 이 찾은 원본 깊이값에 상기 제 2 총 게인값을 더함으로써 상기 특정 화소에 대한 화소 깊이값을 산출하며; 그리고, 모든 화소에 대한 화소 깊이값을 산출함으로써 화소기반 깊이지도를 생성함을 특징으로 한다.

상기 i화소 게인값은 아래의 수학식1로 정의되고, i-1화소 게인값은 아래의 수학식2로 정의되며, 그리고 i+1화소 게인값은 아래의 수학식3으로 정의되며; 수학식1: (Max_th3 - pxl_i)/(Max_th3 - Min_th3); 수학식2: (Max_th4 - pxl_i-1)/(Max_th4 - Min_th4); 수학식3: (Max_th4 - pxl_i+1)/(Max_th4 - Min_th4); 상기 Max_th3은 미리 설정된 제 3 최대 기준값을, 상기 Min_th3은 미리 설정된 제 3 최소 기준값을, 상기 Max_th4는 미리 설정된 제 4 최대 기준값을, 상기 Min_th4는 미리 설정된 제 4 최소 기준값을, 상기 pxl_i는 제 i 화소의 휘도값을, 상기 pxl_i-1은 제 i-1 화소의 휘도값을, 상기 pxl_i+1은 제 i+1 화소의 휘도값을 의미하는 것을 특징으로 한다.

상기 제 3 최대 기준값, 제 3 최소 기준값, 제 4 최대 기준값 및 제 4 최소 기준값은, 각각 250, 170, 290 및 210인 것을 특징으로 한다.

상기 보정 깊이지도생성부는, 특정 화소에 부여된 블록 깊이값을 상기 블록기반 깊이지도로부터 찾고, 상기 특정 화소에 부여된 화소 깊이값을 상기 화소기반 깊이지도로부터 찾고, 그 찾은 블록 깊이값에 제 1 보정 게인값을 곱하여 보정 블록 깊이값을 산출하고, 그 찾은 화소 깊이값에 제 2 보정 게인값을 곱하여 보정 화소 깊이값을 산출하고, 상기 보정 블록 깊이값과 보정 화소 깊이값을 합하여 상기 특정 화소에 대한 보정 깊이값을 산출하고, 모든 화소들에 대하여 보정 깊이값을 산출함으로써 보정 깊이지도를 생성함을 특징으로 한다.

상기 제 1 보정 게인값과 상기 제 2 보정 게인값을 합한 값이 1인 것을 특징으로 한다.

상기 제 1 보정 게인값은 0.7이고, 그리고 상기 제 2 보정 게인값은 0.3인 것을 특징으로 한다.

또한 상술된 목적을 달성하기 위한 본 발명에 따른 3차원 입체 영상용 깊이지도 보정방법은, 외부로부터 공급된 프레임 영상 데이터에 대한 원본 깊이지도를 생성하는 1단계; 및, 외부로부터 공급된 프레임 영상 데이터를 분석하여 영상의 패턴 및 각 화소별 휘도값들을 산출하고, 이 영상의 패턴 및 휘도값들에 근거하여 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정함으로써 보정 깊이지도를 생성하는 2단계를 포함함을 특징으로 한다.

상기 2단계는, 외부로부터의 프레임 영상 데이터로부터 각 화소별 휘도값을 추출하는 2-A단계; 상기 휘도값들을 근거로 상기 프레임 영상 데이터의 영상 패턴을 파악하고, 이 파악된 결과를 근거로 미리 설정된 어느 하나의 패턴 게인값을 출력하는 2-B단계; 화소들을 이들의 공간적 위치에 근거하여 n개(n은 1보다 큰 자연수)의 화소군 블록으로 분류하고, 상기 휘도값들을 참조로 각 화소군 블록별로 평균 휘도값을 산출하고, 이 화소군 블록별 평균 휘도값 및 상기 패턴 게인값을 근거로 상기 원본 깊이지도를 보정하여 블록기반 깊이지도를 생성하는 2-C단계; 상기 휘도값들 및 상기 패턴 게인값을 근거로 상기 원본 깊이지도를 보정하여 화소기반 깊이지도를 생성하는 2-D단계; 및, 상기 블록기반 깊이지도 및 상기 화소기반 깊이지도를 근거로 보정 깊이지도를 생성하는 2-E단계를 포함함을 특징으로 한다.

상기 2-B단계에서는, 화소들을 이들의 공간적 위치에 근거하여 m개의 패턴 블록(m은 1보다 큰 자연수)으로 분류하고, 상기 m개의 패턴 영역들 중 일부 패턴 영역들을 하나로 묶어 이를 스카이 영역으로 구분하고, 상기 m개의 패턴 영역들 중 또 다른 일부 패턴 영역들을 하나로 묶어 이를 사이드 영역으로 구분하고, 상기 휘도값들을 참조로 상기 스카이 영역의 평균 휘도값 및 상기 사이드 영역의 평균 휘도값을 산출하고, 이 산출된 평균 휘도값들을 근거로 영상 패턴을 파악하고, 그리고 이 파악된 결과를 근거로 어느 하나의 패턴 게인값을 선택함을 특징으로 한다.

상기 2-B단계에서는, 상기 스카이 영역의 평균 휘도값과 미리 설정된 기준 휘도값간의 비교 결과와 상기 사이드 영역의 평균 휘도값과 상기 기준 휘도값간의 비교 결과를 근거로, 미리 설정된 다수의 패턴 게인값들 중 어느 하나를 선택함을 특징으로 한다.

상기 2-B단계에서는, 상기 화소들을 9개의 패턴 영역들로 분류하고, 이 9개의 패턴 영역들 중 공간적으로 최상측에 수평으로 인접하여 위치한 3개의 패턴 영역들을 하나로 묶어 이를 상기 스카이 영역으로 구분하고, 상기 9개의 패턴 영역들 중 공간적으로 좌측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들 및 우측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들을 하나로 묶어 이를 상기 사이드 영역으로 구분함을 특징으로 한다.

상기 2-B단계에서는, 상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 클 때, 상기 외부로부터의 프레임 영상 데이터를 제 1 영상 패턴으로 인식하여 제 1 패턴 게인값을 선택하고; 상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 크고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같을 때, 상기 외부로부터의 프레임 영상 데이터를 제 2 영상 패턴으로 인식하여 제 2 패턴 게인값을 선택하고; 상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같을 때, 상기 외부로부터의 프레임 영상 데이터를 제 3 영상 패턴으로 인식하여 제 3 패턴 게인값을 선택하고; 상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 크고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 클 때, 상기 외부로부터의 프레임 영상 데이터를 제 4 영상 패턴으로 인식하여 제 4 패턴 게인값을 선택함을 특징으로 한다.

상기 2-C단계에서는, 화소군 블록내의 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 1 수직 가중치를 더 산출하고, 상기 화소군 블록별 평균 휘도값, 상기 패턴 게인값 및 상기 제 1 수직 가중치를 근거로 상기 원본 깊이지도를 보정하여 블록기반 깊이지도를 생성하며; 그리고, 상기 2-D단계에서는, 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 2 수직 가중치를 더 산출하고, 상기 휘도값들, 패턴 게인값 및 상기 제 2 수직 가중치를 근거로 상기 원본 깊이지도를 보정하여 화소기반 깊이지도를 생성함을 특징으로 한다.

상기 2-C단계에서는, 특정 화소가 위치한 제 k 화소군 블록의 평균 휘도값을 근거로 상기 제 k 화소군 블록에 대한 k블록 게인값을 산출하고, 상기 제 k 화소군 블록의 좌측에 인접하여 위치한 제 k-1 화소군 블록의 평균 휘도값을 근거로 상기 제 k-1 화소군 블록에 대한 k-1블록 게인값을 산출하고, 상기 제 k 화소군 블록의 우측에 인접하여 위치한 제 k+1 화소군 블록의 평균 휘도값을 근거로 상기 제 k+1 화소군 블록에 대한 k+1블록 게인값을 산출하고; 상기 k-1블록 게인값 및 k+1블록 게인값 중 더 큰 값을 사이드블록 게인값으로 정의하고; 그리고, 상기 k블록 게인값, 상기 사이드블록 게인값, 상기 제 1 수직 가중치 및 패턴 게인값을 모두 곱하여 제 1 총 게인값을 산출하고; 상기 특정 화소에 부여된 원본 깊이값을 상기 원본 깊이지도로부터 찾고, 이 찾은 원본 깊이값에 상기 제 1 총 게인값을 더함으로써 상기 특정 화소에 대한 블록 깊이값을 산출하며; 그리고, 모든 화소에 대한 블록 깊이값을 산출함으로써 블록기반 깊이지도를 생성함을 특징으로 한다.

상기 2-D단계에서는, 특정 제 i 화소의 휘도값을 근거로 상기 제 i 화소에 대한 i화소 게인값을 산출하고, 상기 제 i 화소의 좌측에 인접하여 위치한 제 i-1 화소의 휘도값을 근거로 상기 제 i-1 화소에 대한 i-1화소 게인값을 산출하고, 상기 제 i 화소의 우측에 인접하여 위치한 제 i+1 화소의 휘도값을 근거로 상기 제 i+1 화소에 대한 i+1화소 게인값을 산출하고; 상기 i-1화소 게인값 및 i+1화소 게인값 중 더 큰 값을 사이드화소 게인값으로 정의하고; 그리고, 상기 i화소 게인값, 상기 사이드화소 게인값, 상기 제 2 수직 가중치 및 패턴 게인값을 모두 곱하여 제 2 총 게인값을 산출하고; 상기 특정 화소에 부여된 원본 깊이값을 상기 원본 깊이지도로부터 찾고, 이 찾은 원본 깊이값에 상기 제 2 총 게인값을 더함으로써 상기 특정 화소에 대한 화소 깊이값을 산출하며; 그리고, 모든 화소에 대한 화소 깊이값을 산출함으로써 화소기반 깊이지도를 생성함을 특징으로 한다.

상기 2-E단계에서는, 특정 화소에 부여된 블록 깊이값을 상기 블록기반 깊이지도로부터 찾고, 상기 특정 화소에 부여된 화소 깊이값을 상기 화소기반 깊이지도로부터 찾고, 그 찾은 블록 깊이값에 제 1 보정 게인값을 곱하여 보정 블록 깊이값을 산출하고, 그 찾은 화소 깊이값에 제 2 보정 게인값을 곱하여 보정 화소 깊이값을 산출하고, 상기 보정 블록 깊이값과 보정 화소 깊이값을 합하여 상기 특정 화소에 대한 보정 깊이값을 산출하고, 모든 화소들에 대하여 보정 깊이값을 산출함으로써 보정 깊이지도를 생성함을 특징으로 한다.

본 발명에 따른 3차원 입체 영상용 깊이지도 생성장치 및 생성방법에는 다음과 같은 효과가 있다.

본 발명에서는 프레임 영상 데이터를 분석하여 영상의 패턴 및 각 화소별 휘도값들을 산출하고, 이 영상의 패턴 및 휘도값들에 근거하여 원본 깊이지도생성부로부터의 원본 깊이지도를 올바르게 보정한다. 따라서, 보다 정확한 3차원 정보를 갖는 깊이지도를 생성할 수 있다.

도 1은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 생성장치의 블록도
도 2는 도 1의 영상패턴분석부의 동작을 설명하기 위한 도면
도 3은 영상 패턴의 종류를 나타낸 도면
도 4는 화소군 블록을 설명하기 위한 도면
도 5는 도 4의 화소군 블록들 중 일부를 나타낸 도면
도 6은 도 5의 화소군 블록들에 대응되는 표시화면의 일부를 나타낸 도면
도 7은 보정 깊이지도생성부의 동작을 설명하기 위한 도면
도 8은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도의 보정방법을 나타낸 도면
도 9 내지 도 11은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 생성장치의 효과를 설명하기 위한 도면

도 1은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 생성장치의 블록도이다.

본 발명에 따른 3차원 입체 영상용 깊이지도 생성장치는, 도 1에 도시된 바와 같이, 원본 깊이지도생성부(100) 및 깊이지도보정부(200)를 포함한다.

원본 깊이지도생성부(100)는 외부로부터 공급된 프레임 영상 데이터(img_data)에 대한 원본 깊이지도(d-mp_org)를 생성한다. 프레임 영상 데이터(img_data)는 한 장의 2D(dimension) 영상에 대한 데이터로서, 이 원본 깊이지도생성부(100)는 이 프레임 영상 데이터(img_data)를 분석하여 그 영상에 포함된 피사체들간의 3차원적인 거리차를 판단하고, 이 판단 결과를 근거로 상대적으로 앞으로 돌출된 피사체는 좀 더 높은 휘도값(밝은 계조)으로 표시하고, 그리고 상대적으로 뒤로 들어간 피사체는 좀 더 낮은 휘도값(어두운 계조)으로 표시한다. 즉, 이러한 피사체들간의 3차원적인 거리차에 대한 정보는 원본 깊이지도(d-mp_org)에 깊이값으로서 표시된다. 이 원본 깊이지도생성부(100)는, 영상의 통계적 휘도 및 컬러 특성을 이용하여 전술된 피사체들의 3차원적인 거리를 판단한다. 예를 들어, 영상에서 휘도가 높은 피사체는 통계적으로 높은 깊이값을 부여받으며, 또한 붉은색 계열이 많이 포함될수록 그 피사체는 높은 깊이값을 부여받는다. 반면, 파란색 계열이 많이 포함될수록 그 피사체는 낮은 깊이값을 부여받는다. 이러한 원본 깊이지도(d-mp_org)에는 화소별 깊이값(원본 깊이값)이 저장된다.

깊이지도보정부(200)는 외부로부터 공급된 프레임 영상 데이터(img_data)를 분석하여 영상의 패턴 및 각 화소별 휘도값들을 산출하고, 이 영상의 패턴 및 휘도값들에 근거하여 원본 깊이지도생성부(100)로부터의 원본 깊이지도(d-mp_org)를 보정한다. 이 깊이지도보정부(200)에 의해 보정된 원본 깊이지도(d-mp_org)가 보정 깊이지도(d-mp_cr)이다.

영상의 특성에 따라 어두운 색상(예를 들어 흑색)의 피사체가 밝은 색상(예를 들어 백색)의 피사체보다 앞에 위치한 경우도 있는 바, 이와 같은 특성을 갖는 영상에 대한 원본 깊이지도(d-mp_org)는 원래의 영상 특성을 정확히 나타내지 못할 가능성이 높다. 즉, 전술된 원본 깊이지도생성부(100)는 밝은 색상의 피사체가 보다 앞에 위치하고, 어두운 색상의 피사체가 보다 뒤에 위치하는 것으로 판단하여 깊이지도를 생성하기 때문이다. 따라서, 본 발명에서의 깊이지도보정부(200)는 이러한 영상의 특성을 파악하고, 이를 파악된 결과를 근거로 원본 깊이지도(d-mp_org)를 보정함으로써 보다 정확한 3차원 정보를 갖는 깊이지도를 생성할 수 있다.

이를 위해 전술된 깊이지도보정부(200)는, 도 1에 도시된 바와 같이, 휘도추출부(201), 영상패턴분석부(202), 블록 깊이지도생성부(203A), 화소 깊이지도생성부(203B) 및 보정 깊이지도생성부(204)를 포함할 수 있는 바, 상기 열거된 구성요소들을 구체적으로 설명하면 다음과 같다.

휘도추출부 (201)

휘도추출부(201)는 외부로부터의 프레임 영상 데이터(img_data)로부터 각 화소별 휘도값을 추출한다. 하나의 프레임 영상 데이터(img_data)는, 한 장의 화면을 구성하는 전체 화소들에 대응되는 화소 데이터들을 포함하고 있는 바, 각 화소 데이터는 적색 데이터, 녹색 데이터 및 청색 데이터로 구분된다. 이 휘도추출부(201)는 그 한 프레임의 영상 데이터에 포함된 화소 데이터들 각각을 휘도 성분(Y)과 색차 성분(UV)으로 분리하고, 그 휘도 성분(Y)만을 선택적으로 추출한다. 이 추출된 휘도 성분(Y)이 그 화소 데이터에 대한 휘도값(Y)이다. 이와 같이 휘도추출부(201)는 한 프레임의 영상 데이터로부터 각 화소별 휘도값을 추출한다.

한편, 각 색상 데이터(적색, 녹색 및 청색 데이터 중 하나)는 8비트의 크기를 가질 수 있으며, 휘도값은 10비트의 크기를 가질 수 있다. 또 한편, 전술된 원본 깊이지도(d-mp_org)의 각 화소별 깊이값은 8비트의 크기를 가질 수 있다.

영상패턴분석부(202)

영상패턴분석부(202)는 휘도추출부(201)로부터의 휘도값(Y)들을 근거로 프레임 영상 데이터(img_data)의 영상 패턴을 파악하고, 이 파악된 결과를 근거로 미리 설정된 어느 하나의 패턴 게인값(patten gain value; gn_pt)을 출력한다.

구체적으로, 영상패턴분석부(202)는, 화소들을 이들의 공간적 위치에 근거하여 m개의 패턴 블록(m은 1보다 큰 자연수)으로 분류한다. 즉, 표시화면(도 2의 DSP)을 m개의 패턴 블록으로 구획할 때, 어느 하나의 화소는 m개의 패턴 블록들 중 어느 하나에 속하게 된다. 이어서, 이 영상패턴분석부(202)는 m개의 패턴 영역들 중 일부 패턴 영역들을 하나로 묶어 이를 스카이 영역(도 2의 SK)으로 구분하고, m개의 패턴 영역들 중 또 다른 일부 패턴 영역들을 하나로 묶어 이를 사이드 영역(도 2의 SD)으로 구분하고, 휘도추출부(201)로부터의 휘도값들을 참조로 스카이 영역(SK)의 평균 휘도값 및 상기 사이드 영역(SD)의 평균 휘도값을 산출하고, 이 산출된 평균 휘도값들을 근거로 영상 패턴을 파악하고, 그리고 이 파악된 결과를 근거로 어느 하나의 패턴 게인값을 선택할 수 있다. 이때, 영상패턴분석부(202)는, 스카이 영역(SK)의 평균 휘도값과 미리 설정된 기준 휘도값간의 비교 결과와 사이드 영역(SD)의 평균 휘도값과 상기 기준 휘도값간의 비교 결과를 근거로, 미리 설정된 다수의 패턴 게인값들 중 어느 하나를 선택할 수 있다. 이러한 영상패턴부의 동작을, 도 2를 참조하여 보다 상세히 설명하기로 한다.

도 2는 도 1의 영상패턴분석부(202)의 동작을 설명하기 위한 도면이다.

영상패턴분석부(202)는, 도 2에 도시된 바와 같이, 전체 화소들을 9개의 패턴 영역들(PB1 내지 PB9)로 분류할 수 있다.

이 영상패턴분석부(202)는 이 9개의 패턴 영역들(PB1 내지 PB9) 중 공간적으로 최상측에 수평으로 인접하여 위치한 3개의 패턴 영역들(PB1, PB2, PB3)을 하나로 묶어 이를 스카이 영역(SK)으로 구분한다. 예를 들어, 도 2에서의 제 1 패턴 블록(PB1), 제 2 패턴 블록(PB2) 및 제 3 패턴 블록(PB3)이 모두 모여 하나의 스카이 영역(SK)을 이룬다.

또한, 영상패턴분석부(202)는 이들 9개의 패턴 영역들 중 공간적으로 좌측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들(PB4, PB7) 및 우측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들(PB6, PB9)을 하나로 묶어 이를 사이드 영역(SD)으로 구분한다. 예를 들어, 도 2에서의 제 4 패턴 블록(PB4), 제 7 패턴 블록(PB7), 제 6 패턴 블록(PB6) 및 제 9 패턴 블록(PB9)이 모두 모여 하나의 사이드 영역(SD)을 이룬다.

영상패턴분석부(202)는 스카이 영역(SK)의 평균 휘도값 및 사이드 영역(SD)의 평균 휘도값을 근거로 영상 패턴을 분석한다. 예를 들어, 영상패턴분석부(202)는, 스카이 영역(SK)에 위치한 모든 화소들 각각의 휘도값을 모두 합하여 총 휘도값을 산출하고, 이 총 휘도값을 그 스카이 영역(SK)내의 총 화소수들로 나누어 이 스카이 영역(SK)의 평균 휘도값을 구한다. 마찬가지 방식으로, 영상패턴분석부(202)는, 사이드 영역(SD)에 위치한 모든 화소들 각각의 휘도값을 모두 합하여 총 휘도값을 산출하고, 이 총 휘도값을 그 사이드 영역(SD)내의 총 화소수들로 나누어 이 사이드 영역(SD)의 평균 휘도값을 구한다.

이후, 영상패턴분석부(202)는, 스카이 영역(SK)의 평균 휘도값과 기준 휘도값간의 크기를 비교하고, 그리고 사이드 영역(SD)의 평균 휘도값과 기준 휘도값간의 크기를 비교하는 바, 이 비교 결과에 따라 그 영상 패턴은 도 3에 도시된 바와 같은 4가지 영상 패턴 중 어느 하나가 될 수 있다.

도 3은 영상 패턴의 종류를 나타낸 도면이다.

도 3의 (a)는 제 1 영상 패턴을 나타낸 도면으로서, 이는 스카이 영역(SK; PB1 내지 PB3로 구성된 영역)의 평균 휘도값이 기준 휘도값보다 작거나 같고, 그리고 사이드 영역(SD; PB4, PB7, PB6, PB9로 구성된 영역)의 평균 휘도값이 기준 휘도값보다 클 때의 영상 패턴이다. 외부로부터의 프레임 영상 데이터(img_data)가 도 3의 (a)에 도시된 바와 같은 제 1 영상 패턴 특성을 나타낼 때, 영상패턴분석부(202)는 제 1 패턴 게인값을 선택하여 출력한다.

도 3의 (b)는 제 2 영상 패턴을 나타낸 도면으로서, 이는 스카이 영역(SK)의 평균 휘도값이 기준 휘도값보다 크고, 그리고 사이드 영역(SD)의 평균 휘도값이 기준 휘도값보다 작거나 같을 때의 영상 패턴이다. 외부로부터의 프레임 영상 데이터(img_data)가 도 3의 (b)에 도시된 바와 같은 제 2 영상 패턴 특성을 나타낼 때, 영상패턴분석부(202)는 제 2 패턴 게인값을 선택하여 출력한다.

도 3의 (c)는 제 3 영상 패턴을 나타낸 도면으로서, 이는 스카이 영역(SK)의 평균 휘도값이 기준 휘도값보다 작거나 같고, 그리고 사이드 영역(SD)의 평균 휘도값이 기준 휘도값보다 작거나 같을 때의 영상 패턴이다. 외부로부터의 프레임 영상 데이터(img_data)가 도 3의 (c)에 도시된 바와 같은 제 3 영상 패턴 특성을 나타낼 때, 영상패턴분석부(202)는 제 3 패턴 게인값을 선택하여 출력한다.

도 3의 (d)는 제 4 영상 패턴을 나타낸 도면으로서, 이는 스카이 영역(SK)의 평균 휘도값이 기준 휘도값보다 크고, 그리고 사이드 영역(SD)의 평균 휘도값이 기준 휘도값보다 클 때의 영상 패턴이다. 외부로부터의 프레임 영상 데이터(img_data)가 도 3의 (d)에 도시된 바와 같은 제 4 영상 패턴 특성을 나타낼 때, 영상패턴분석부(202)는 제 4 패턴 게인값을 선택하여 출력한다.

전술된 기준 휘도값은 300 또는 400으로 설정될 수 있다.

전술된 제 1 내지 제 4 패턴 게인값은 미리 설정된 값으로서, 이들은 0 내지 1의 값을 가질 수 있다. 예를 들어, 제 1 패턴 게인값은 0.3으로, 제 2 패턴 게인값은 0.7로, 제 3 패턴 게인값은 0으로, 그리고 제 4 패턴 게인값은 1로 설정될 수 있다.

블록 깊이지도생성부 (203A)

도 4는 화소군 블록을 설명하기 위한 도면이다.

블록 깊이지도생성부(203A)는, 도 4에 도시된 바와 같이, 화소들을 이들의 공간적 위치에 근거하여 n개(n은 1보다 큰 자연수)의 화소군 블록으로 분류한다. 즉, 표시화면(DSP)을 n개의 화소군 블록(PX-B)들로 구획할 때, 어느 하나의 화소는 n개의 화소군 블록(PX-B)들 중 어느 하나에 속하게 된다. 이어서, 블록 깊이지도생성부(203A)는 휘도추출부(201)로부터의 휘도값(Y)들을 참조로 각 화소군 블록(PX-B)별로 평균 휘도값을 산출하고, 이 화소군 블록(PX-B)별 평균 휘도값 및 영상패턴분석부(202)로부터의 패턴 게인값(gn_pt)을 근거로 원본 깊이지도생성부(100)로부터의 원본 깊이지도(d-mp_org)를 보정하여 블록기반 깊이지도(d-mp_blk)를 생성한다.

한편, 이 블록 깊이지도생성부(203A)는. 화소군 블록(PX-B)내의 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 1 수직 가중치를 더 산출할 수도 있다. 이와 같은 경우, 블록 깊이지도생성부(203A)는, 화소군 블록(PX-B)별 평균 휘도값, 패턴 게인값(gn_pt) 및 제 1 수직 가중치를 근거로 원본 깊이지도(d-mp_org)를 보정하여 블록기반 깊이지도(d-mp_blk)를 생성한다.

이러한 블록 깊이지도생성부(203A)의 동작을, 도 5를 참조하여 보다 상세히 설명한다.

도 5는 도 4의 화소군 블록들 중 일부를 나타낸 도면이다.

블록 깊이지도생성부(203A)는, 모든 화소들에 대한 블록 깊이값을 산출함으로써 블록기반 깊이지도(d-mp_blk)를 생성하는 바, 일단 하나의 특정 화소(PX_i)에 대한 블록 깊이값을 산출하는 것을 설명한다.

도 5에는, 3개의 인접한 화소군 블록들(PX-B_k-1 내지 PX-B_k+1)이 나타나 있다. 여기서, 특정 화소(PX_i)가 제 k 화소군 블록(PX-B_k)에 위치하고 있다고 가정하자.

이와 같은 경우, 블록 깊이지도생성부(203A)는, 그 특정 화소(PX_i)가 위치한 제 k 화소군 블록(PX-B_k)의 평균 휘도값을 산출하고, 그리고 이 평균 휘도값을 근거로 제 k 화소군 블록(PX-B_k)에 대한 k블록 게인값을 산출한다. 또한, 제 k-1 화소군 블록(PX-B_k-1)의 평균 휘도값을 근거로 제 k-1 화소군 블록(PX-B_k-1)에 대한 k-1블록 게인값을 산출하고, 제 k+1 화소군 블록(PX-B_k+1)의 평균 휘도값을 근거로 제 k+1 화소군 블록(PX-B_k+1)에 대한 k+1블록 게인값을 산출한다.

여기서, 특정 화소(PX_i)가 위치한 제 k 화소군 블록(PX-B_k)에 대한 k블록 게인값은 다음과 같은 수학식1로 정의된다.

[수학식1]: (Max_th1 - blk_apl_k)/(Max_th1 - Min_th1)

위의 수학식1에서, Max_th1은 미리 설정된 제 1 최대 기준값을, Min_th1은 미리 설정된 제 1 최소 기준값을, blk_apl_k는 제 k 화소군 블록(PX-B_k)의 평균 휘도값을 의미한다. 여기서, 제 1 최대 기준값은 400으로, 그리고 제 1 최소 기준값은 200으로 설정될 수 있다. 한편, 제 k 화소군 블록(PX-B_k)의 평균 휘도값은, 제 k 화소군 블록(PX-B_k)에 위치한 모든 화소들의 휘도값들을 합한 값을 그 화소들의 수로 나눈 값을 의미한다.

또한, 전술된 제 k 화소군 블록(PX-B_k)의 좌측에 인접하여 위치한 제 k-1 화소군 블록(PX-B_k-1)에 대한 k-1블록 게인값은 다음과 같은 수학식2로 정의된다.

[수학식2]: (Max_th2 - blk_apl_k-1)/(Max_th2 - Min_th2)

위의 수학식2에서, Max_th2는 미리 설정된 제 2 최대 기준값을, Min_th2는 미리 설정된 제 2 최소 기준값을, blk_apl_k-1은 제 k-1 화소군 블록(PX-B_k-1)의 평균 휘도값을 의미한다. 여기서, 제 2 최대 기준값은 440으로, 그리고 제 2 최소 기준값은 240으로 설정될 수 있다. 한편, 제 k-1 화소군 블록(PX-B_k-1)의 평균 휘도값은, 제 k-1 화소군 블록(PX-B_k-1)에 위치한 모든 화소들의 휘도값들을 합한 값을 그 화소들의 수로 나눈 값을 의미한다.

또한, 전술된 제 k 화소군 블록(PX-B_k)의 우측에 인접하여 위치한 제 k+1 화소군 블록(PX-B_k+1)에 대한 k+1블록 게인값은 다음과 같은 수학식3으로 정의된다.

[수학식3]: (Max_th2 - blk_apl_k+1)/(Max_th2 - Min_th2)

위의 수학식3에서, Max_th2는 전술된 제 2 최대 기준값을, 그리고 Min_th2는 전술된 제 2 최소 기준값을 나타내며, blk_apl_k+1은 제 k+1 화소군 블록(PX-B_k+1)의 평균 휘도값을 의미한다. 한편, 제 k+1 화소군 블록(PX-B_k+1)의 평균 휘도값은, 제 k+1 화소군 블록(PX-B_k+1)에 위치한 모든 화소들의 휘도값들을 합한 값을 그 화소들의 수로 나눈 값을 의미한다.

이와 같이 k블록 게인값, k-1블록 게인값 및 k+1블록 게인값들이 산출되면, 블록 깊이지도보정부(200)는 전술된 k-1블록 게인값 및 k+1블록 게인값 중 더 큰 값을 선택하고, 이를 사이드블록 게인값으로 정의한다. 그리고, k블록 게인값, 사이드블록 게인값, 제 1 수직 가중치 및 패턴 게인값을 모두 곱하여 제 1 총 게인값을 산출한다.

여기서, 제 1 수직 가중치는 다음과 같은 수학식4로 정의된다.

[수학식4]: (HL_total/60)-(N_HL_pxl/60)*8

위의 수학식4에서, HL_total은 표시화면(DSP)에 구성된 총 수평라인의 수를, 그리고 N_HL_pxl은 특정 화소(PX_i)가 위치한 수평라인의 번호를 의미한다. 예를 들어, 본 발명에 따른 3차원 입체 영상용 깊이지도 생성장치가 1080*960의 해상도를 갖는 FHD(Full High Definition)의 표시장치에 적용된다면, GL_total은 1080이 된다. 이때, 표시화면(DSP)의 가장 상측에 위치한 수평라인이 1번 수평라인이고, 가장 하측에 위치한 수평라인이 1080번 수평라인이 된다. N_HL_pxl은 그 특정 화소(PX_i)가 위치하는 수평라인의 번호가 된다. 예를 들어, 그 특정 화소(PX_i)가 p번째(p는 1 내지 1080 중 어느 하나) 수평라인(HL_p)에 위치하면, 상기 N_HL_pxl의 값은 p가 된다.

제 1 수직 가중치는, 표시화면(DSP)의 하단 부분에 표시되는 영상이 상단 부분에 표시되는 영상에 비하여 더 돌출되어 있다는 통계적 근거를 기준으로 그 값이 설정되는 바, 따라서 그 특정 화소(PX_i)가 표시화면(DSP)의 아래쪽의 수평라인에 위치할수록 이의 제 1 수직 가중치가 증가한다. 한편, 이 제 1 수직 가중치의 값이 소수점을 포함할 경우, 그 소수점 이하는 반올림된다. 따라서, FHD급 표시장치에서의 제 1 수직 가중치는 8 내지 144의 자연수들 중 어느 하나의 값을 갖게 된다.

다음으로, 이 블록 깊이지도보정부(200)는, 원본 깊이지도(d-mp_org)로부터, 그 특정 화소(PX_i)에 부여된 원본 깊이값을 찾는다. 그리고, 이 찾은 원본 깊이값에 전술된 제 1 총 게인값을 더함으로써 그 특정 화소(PX_i)에 대한 블록 깊이값을 산출한다.

즉, 특정 화소(PX_i)에 대한 블록 깊이값은 아래의 수학식5로 정의된다.

[수학식5]: 원본 깊이값 + (제 1 수직 가중치 * k블록 게인값 * 사이드블록 게인값 * 패턴 게인값)

이와 같이 특정 화소(PX_i)에 대한 블록 깊이값을 구하기 위해서는, 그 특정 화소(PX_i)가 위치하는 화소군 블록(제 k 화소군 블록(PX-B_k))으로부터 얻어진 블록 게인값과, 이 화소군 블록의 좌우에 인접한 2개의 화소군 블록(제 k-1 화소군 블록(PX-B_k-1), 제 k+1 화소군 블록(PX-B_k+1))으로부터 얻어진 사이드블록 게인값과, 그 특정 화소(PX_i)의 수직적인 위치로부터 얻어진 제 1 수직 가중치와, 그리고 그 특정 화소(PX_i)에 대응되는 원본 깊이값이 필요한다.

블록 깊이지도생성부(203A)는, 나머지 다른 화소들에 대해서도 그 화소가 위치한 화소군 블록을 기준으로 하여 전술된 바와 같은 방식으로 블록 깊이값을 산출한다. 따라서, 동일 화소군 블록 및 동일 수평라인에 위치한 화소들은 모두 갖은 블록 깊이값을 갖게 된다.

단, 그 특정 화소가 위치하는 화소군 블록이 표시화면의 좌측 끝 가장자리 또는 우측 끝 가장자리에 위치하고 있다면, 그 때의 사이드블록 게인값은 어느 하나의 인접 화소군 블록으로부터 생성된다. 예를 들어, 블록 깊이값을 구하고자 하는 그 특정 화소가 표시화면의 좌측 끝단에 위치한 화소군 블록(이하 특정 화소군 블록)내에 포함되어 있다면, 그 특정 화소군 블록의 좌측에는 화소군 블록이 존재하지 않으므로, 그 특정 화소군 블록의 우측에 인접하여 위치한 화소군 블록으로부터 생성된 게인값이 바로 사이드블록 게인값이 된다. 반대로, 그 특정 화소군 블록이 표시화면의 우측 끝단에 위치할 경우, 그 특정 화소군 블록의 우측에는 화소군 블록이 존재하지 않으므로, 그 특정 화소군 블록의 좌측에 인접하여 위치한 화소군 블록으로부터 생성된 게인값이 바로 사이드블록 게인값이 된다.

이와 같이 모든 화소에 대한 블록 깊이값들이 산출되면, 이들을 기반으로 하는 블록기반 깊이지도(d-mp_blk)가 생성된다.

한편, 전술된 k블록 게인값, k-1블록 게인값, k+1블록 게인값 및 제 1 수직 가중치는 모두 부극성의 값을 가질 수 없다. 따라서, 이들이 부극성의 값으로 산출될 경우, 그 값은 무조건 0으로 처리된다. 즉, 이들 값은 0보다 작을 수 없다.

화소 깊이지도생성부 (203B)

화소 깊이지도생성부(203B)는, 휘도추출부(201)로부터의 휘도값(Y)들 및 영상패턴분석부(202)로부터의 패턴 게인값(gn_pt)을 근거로 원본 깊이지도생성부(100)로부터의 원본 깊이지도(d-mp_org)를 보정하여 화소기반 깊이지도(d-mp_pxl)를 생성한다.

한편, 이 화소 깊이지도생성부(203B)는. 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 2 수직 가중치를 더 산출할 수도 있다. 이와 같은 경우, 화소 깊이지도생성부(203B)는, 휘도값(Y)들, 패턴 게인값(gn_pt) 및 제 2 수직 가중치를 근거로 원본 깊이지도(d-mp_org)를 보정하여 화소기반 깊이지도(d-mp_pxl)를 생성한다.

이러한 화소 깊이지도생성부(203B)의 동작을, 도 6을 참조하여 보다 상세히 설명한다.

도 6은 도 5의 화소군 블록들에 대응되는 표시화면의 일부를 나타낸 도면이다.

화소 깊이지도생성부(203B)는, 모든 화소들에 대한 화소 깊이값을 산출함으로써 화소기반 깊이지도(d-mp_pxl)를 생성하는 바, 일단 하나의 특정 화소(PX_i)에 대한 화소 깊이값을 산출하는 것을 설명한다. 여기서, 이 특정 화소(PX_i)는 도 5에서의 특정 화소(PX_i)와 동일한 것으로, 여기서는 이 특정 화소(PX_i)를 제 i 화소(PX_i)로 고쳐 부르기로 한다.

도 6에는, 3개의 인접한 화소들이 나타나 있다. 여기서, 가운데 위치한 화소가 제 i 화소(PX_i)이다.

이와 같은 경우, 화소 깊이지도생성부(203B)는, 제 i 화소(PX_i)의 휘도값을 근거로 제 i 화소(PX_i)에 대한 i화소 게인값을 산출하고, 제 i-1 화소(PX_i-1)의 휘도값을 근거로 제 i-1 화소(PX_i-1)에 대한 i-1화소 게인값을 산출하고, 그리고 제 i+1 화소(PX_i+1)의 휘도값을 근거로 제 i+1 화소(PX_i+1)에 대한 i+1화소 게인값을 산출한다.

여기서, 특정 화소(PX_i)에 대한 i화소 게인값은 다음과 같은 수학식6으로 정의된다.

[수학식6]: (Max_th3 - pxl_i)/(Max_th3 - Min_th3)

위의 수학식6에서, Max_th3은 미리 설정된 제 3 최대 기준값을, Min_th3은 미리 설정된 제 3 최소 기준값을, pxl_i는 제 i 화소(PX_i)의 휘도값을 의미한다. 여기서, 제 3 최대 기준값은 250으로, 그리고 제 3 최소 기준값은 170으로 설정될 수 있다.

또한, 전술된 제 i 화소(PX_i)의 좌측에 인접하여 위치한 제 i-1 화소(PX_i-1)에 대한 i-1화소 게인값은 다음과 같은 수학식7로 정의된다.

[수학식7]: (Max_th4 - pxl_i-1)/(Max_th4 - Min_th4)

위의 수학식7에서, Max_th4는 미리 설정된 제 4 최대 기준값을, Min_th4는 미리 설정된 제 4 최소 기준값을, pxl_i-1는 제 i-1 화소(PX_i-1)의 휘도값을 의미한다. 여기서, 제 4 최대 기준값은 290으로, 그리고 제 4 최소 기준값은 210으로 설정될 수 있다.

또한, 전술된 제 i 화소(PX_i)의 우측에 인접하여 위치한 제 i+1 화소(PX_i+1)에 대한 i+1화소 게인값은 다음과 같은 수학식8로 정의된다.

[수학식8]: (Max_th4 - pxl_i+1)/(Max_th4 - Min_th4)

위의 수학식8에서, Max_th4는 전술된 제 4 최대 기준값을, 그리고 Min_th4는 전술된 제 4 최소 기준값을 나타내며, pxl_i+1는 제 i+1 화소(PX_i+1)의 휘도값을 의미한다.

이와 같이 i화소 게인값, i-1화소 게인값 및 i+1화소 게인값들이 산출되면, 블록 깊이지도보정부(200)는 전술된 i-1화소 게인값 및 i+1화소 게인값 중 더 큰 값을 선택하고, 이를 사이드화소 게인값으로 정의한다. 그리고, i화소 게인값, 사이드화소 게인값, 제 2 수직 가중치 및 패턴 게인값을 모두 곱하여 제 2 총 게인값을 산출한다.

여기서, 제 2 수직 가중치는 전술된 수학식4로 정의된다. 단, 이 제 2 수직 가중치는, 전술된 제 1 수직 가중치와 달리 소수점 이하를 그 값 그대로 사용한다. 즉, 제 2 수직 가중치는 소수점을 포함한 값을 가질 수 있다.

다음으로, 이 화소 깊이지도보정부(200)는, 원본 깊이지도(d-mp_org)로부터, 제 i 화소(PX_i)에 부여된 원본 깊이값을 찾는다. 그리고, 이 찾은 원본 깊이값에 전술된 제 2 총 게인값을 더함으로써 이 제 i 화소(PX_i)에 대한 블록 깊이값을 산출한다.

즉, 제 i 화소(PX_i)에 대한 블록 깊이값은 아래의 수학식9로 정의된다.

[수학식9]: 원본 깊이값 + (제 2 수직 가중치 * i화소 게인값 * 사이드화소 게인값 * 패턴 게인값)

이와 같이 제 i 화소(PX_i)(즉, 전술된 특정 화소(PX_i))에 대한 화소 깊이값을 구하기 위해서는, 이 제 i 화소(PX_i)로부터 얻어진 화소 게인값과, 이 제 i 화소(PX_i)의 좌우에 인접한 2개의 화소들(제 i-1 화소(PX_i-1), 제 i+1 화소(PX_i+1))으로부터 얻어진 사이드화소 게인값과, 이 제 i 화소(PX_i)의 수직적인 위치로부터 얻어진 제 2 수직 가중치와, 그리고 제 i 화소(PX_i)에 대응되는 원본 깊이값이 필요한다.

화소 깊이지도생성부(203B)는, 나머지 다른 화소들에 대해서도 그 화소의 위치를 기준으로 하여 전술된 바와 같은 방식으로 화소 깊이값을 산출한다.

단, 그 특정 화소가 표시화면(DSP)의 좌측 끝 가장자리 또는 우측 끝 가장자리에 위치하고 있다면, 그 때의 사이드화소 게인값은 어느 하나의 인접 화소로부터 생성된다. 예를 들어, 화소 깊이값을 구하고자 하는 그 특정 화소가 표시화면(DSP)의 좌측 끝단에 위치하고 있다면, 그 특정 화소의 좌측에는 화소가 존재하지 않으므로, 그 특정 화소의 우측에 인접하여 위치한 화소로부터 생성된 게인값이 바로 사이드화소 게인값이 된다. 반대로, 그 특정 화소가 표시화면(DSP)의 우측 끝단에 위치할 경우, 그 특정 화소의 우측에는 화소가 존재하지 않으므로, 그 특정 화소의 좌측에 인접하여 위치한 화소로부터 생성된 게인값이 바로 사이드블록 게인값이 된다.

이와 같이 모든 화소에 대한 화소 깊이값들이 산출되면, 이들을 기반으로 하는 화소기반 깊이지도(d-mp_pxl)가 생성된다.

한편, 전술된 i화소 게인값, i-1화소 게인값, i+1화소 게인값 및 제 2 수직 가중치는 모두 부극성의 값을 가질 수 없다. 따라서, 이들이 부극성의 값으로 산출될 경우, 그 값은 무조건 0으로 처리된다. 즉, 이들 값은 0보다 작을 수 없다.

보정 깊이지도생성부 (204)

보정 깊이지도생성부(204)는, 블록 깊이지도생성부(203A)로부터의 블록기반 깊이지도(d-mp_blk) 및 화소 깊이지도생성부(203B)로부터의 화소기반 깊이지도(d-mp_pxl)를 근거로 보정 깊이지도(d-mp_cr)를 생성한다. 이러한 보정 깊이지도생성부(204)의 동작을, 도 7을 참조하여 보다 상세히 설명한다.

도 7은 보정 깊이지도생성부(204)의 동작을 설명하기 위한 도면이다.

이 보정 깊이지도생성부(204)는, 도 7에 도시된 바와 같이, 특정 화소(PX_i)에 부여된 블록 깊이값(dvl_blk)을 블록기반 깊이지도(d-mp_blk)로부터 찾고, 이 특정 화소(PX_i)에 부여된 화소 깊이값(dvl_pxl)을 화소기반 깊이지도(d-mp_pxl)로부터 찾는다. 이어서, 그 찾은 블록 깊이값(dvl_blk)에 제 1 보정 게인값을 곱하여 보정 블록 깊이값(dvl_blk_cr)을 산출하고, 그 찾은 화소 깊이값(dvl_pxl)에 제 2 보정 게인값을 곱하여 보정 화소 깊이값(dvl_pxl_cr)을 산출한다. 그 후, 이 보정 깊이지도생성부(204)는 전술된 보정 블록 깊이값(dvl_blk_cr)과 보정 화소 깊이값(dvl_pxl_cr)을 합하여 그 특정 화소(PX_i)에 대한 최종적인 보정 깊이값(dvl_cr)을 산출한다.

이 보정 깊이지도생성부(204)는, 나머지 다른 화소들에 대해서도 전술된 바와 같은 방식으로 보정 깊이값을 산출한다.

이와 같이 모든 화소에 대한 보정 깊이값들이 산출되면, 이들을 기반으로 하는 최종적인 보정 깊이지도(d-mp_cr)가 생성된다.

한편, 제 1 보정 게인값과 상기 제 2 보정 게인값을 합한 값은 1이 되는 바, 예를 들어, 제 1 보정 게인값은 0.7로, 그리고 제 2 보정 게인값은 0.3으로 설정될 수 있다.

한편, 전술된 보정 깊이지도(d-mp_cr)는, 도시되지 않은 입체 영상 생성부로 공급된다. 이 입체 영상 생성부는 이 보정 깊이지도(d-mp_cr)를 근거로 프레임 영상 데이터(img_data)를 처리하여, 이 프레임 영상 데이터(img_data)를 3차원 프레임 영상 데이터로 변환한다.

한편, 이러한 프레임 영상 데이터(img_data) 이후에 입력되는 그 다음 프레임 영상 데이터에 대해서도 전술된 바와 같은 방식으로 영상 패턴이 분석되어 이에 따른 보정 깊이지도(d-mp_cr)가 생성된다. 즉, 본 발명의 깊이지도 보정장치는, 매 프레임 마다 그 때의 영상 특성을 매번 판단하여, 각 프레임 별로 보정 깊이지도(d-mp_cr)를 생성한다.

도 8은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도의 보정방법을 나타낸 도면이다.

도 8에 도시된 바와 같이, 본 발명의 3차원 입체 영상용 깊이지도 보정장치는, 프레임 영상 데이터(img_data)를 분석하여 스카이 영역(SK) 및 사이드 영역(SD)을 검출한다. 그리고, 스카이 영역(SK) 및 사이드 영역(SD) 중 어두운 부분을 검출하여(즉, 로우 스카이 영역(SK) 및 로우 사이드 영역(SD)을 검출하여) 영상 패턴을 판단한다.

이후, 이 깊이지도 보정장치는, 그 영상 패턴을 근거로 패턴 게인값을 산출한다.

이어서, 이 깊이지도 보정장치는, 전술된 블록 게인값 및 화소 게인값을 산출한다.

다음으로, 이 깊이지도 보정장치는, 전술된 사이드블록 게인값 및 사이드화소 게인값을 산출한다.

또한, 이 깊이지도 보정장치는, 화소의 수직적 위치에 따른 수직 가중치를 산출한다.

마지막으로, 이 깊이지도 보정장치는, 블록 게인값, 화소 게인값, 사이드블록 게인값, 사이드화소 게인값 및 수직 가중치를 근거로 원본 깊이지도(d-mp_org)를 보정함으로써 보정 깊이지도(d-mp_cr)를 생성한다.

이와 같이 본 발명에 따른 깊이지도 보정장치는, 예를 들어, 영상 특성을 파악하여 특정 화소의 휘도값이 미리 설정된 기준값(예를 들어 최대 기준값)보다 낮으면 그 화소의 깊이값을 높이는 반면, 그 특정 화소의 휘도값이 기준값보다 낮을 때는 그 화소의 깊이값(원본 깊이값)을 그대로 유지시킨다. 그러나, 그 특정 화소의 휘도값이 기준값보다 높더라도, 이의 양 옆에 위치한 화소들 중 적어도 하나가 기준값보다 낮은 휘도값을 가질 경우 그 화소의 깊이값을 높일 수 있다. 다만, 그 특정 화소의 휘도값이 상당히 클 경우(예를 들어 그 휘도값이 최대 기준값을 초과할 경우), 그 특정 화소의 깊이값을 그대로 유지한다.

본 발명에 따른 깊이지도 보정장치는, 스카이 영역(SK) 및 사이드 영역(SD)이 모두 기준 휘도값보다 작은 어두운 영역일 경우(제 3 패턴 영상), 상대적으로 낮은 휘도값을 갖는 화소들은 배경 영역으로 판단한다. 반면, 스카이 영역(SK) 및 사이드 영역(SD) 중 적어도 하나가 어두운 영역이 아닐 경우, 상대적으로 낮은 휘도값을 갖는 화소들이 화면의 앞에 위치한 것으로 판단한다. 또한, 어두운 영역으로 판별된 영역에서의 게인값에 따라 그 화소의 깊이값을 적응적으로 산출한다.

또한, 본 발명에서는 프레임간 영상의 급격한 변화를 방지하기 위해, 전술된 기준 최대값과 기준 최소값 간에 최적의 크기차를 두었다.

도 9 내지 도 11은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 생성장치의 효과를 설명하기 위한 도면이다.

도 9의 (a)는 원본 프레임 영상 데이터(img_data)를, 도 9의 (b)는 원본 깊이지도(d-mp_org)를, 그리고 도 9의 (c)는 보정 깊이지도(d-mp_cr)를 나타낸다.

도 9의 (a)에 도시된 A영역(A), 도 9의 (b)에 도시된 B영역(B), 그리고 도 9의 (c)에 도시된 C영역(C)은 모두 표시화면(DSP)에서의 특정 부분에 대응되는 동일한 영역이다.

도 9의 (a)에 도시된 바와 같이 원본 프레임 영상 데이터(img_data)의 A영역(A)이 3차원적으로 상당히 앞으로 돌출된 형태임에도 불구하고, 단지 이 A영역(A)이 어두운 계조를 갖기 때문에, 도 9의 (b)에 도시된 바와 같이 이 원본 프레임 영상을 근거로 생성된 원본 깊이지도(d-mp_org)의 B영역(B)은 상당히 어두운 휘도값으로 처리되어 있다. 이는 전술된 바와 같이 원본 깊이지도(d-mp_org)의 생성 방법에 한계가 있기 때문이다.

그러나, 도 9의 (c)에 도시된 바와 같은 보정 깊이지도(d-mp_cr)에서의 C영역(C)은 B영역(B)과 달리 상당히 밝은 계조로 올바르게 표시되었다. 이는 전술된 바와 같이 본 발명에 따른 깊이지도 보정 방법에 따라 그 원본 깊이지도(d-mp_org)가 올바르게 보정되었기 때문이다.

도 10의 (a)는 원본 프레임 영상 데이터(img_data)를, 도 10의 (b)는 원본 깊이지도(d-mp_org)를, 그리고 도 10의 (c)는 보정 깊이지도(d-mp_cr)를 나타내는 바, 동 도면에서 알 수 있듯이 보정 깊이지도(d-mp_cr)의 계조가 올바르게 표현되었음을 알 수 있다.

마찬가지로, 도 11의 (a)는 원본 프레임 영상 데이터(img_data)를, 도 11의 (b)는 원본 깊이지도(d-mp_org)를, 그리고 도 11의 (c)는 보정 깊이지도(d-mp_cr)를 나타내는 바, 동 도면에서 알 수 있듯이 보정 깊이지도(d-mp_cr)의 계조가 올바르게 표현되었음을 알 수 있다.

이상에서 설명한 본 발명은 상술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

100: 원본 깊이지도생성부 200: 깊이지도보정부
201: 휘도추출부 202: 영상패턴분석부
203A: 블록 깊이지도생성부 203B: 화소 깊이지도생성부
204: 보정 깊이지도생성부 img_data: 프레임 영상 데이터
d-mp_org: 원본 깊이지도 Y: 휘도값
gn_pt: 패턴 게인값 d-mp_blk: 블록기반 깊이지도
d-mp_pxl: 화소기반 깊이지도 d-mp_cr: 보정 깊이지도

Claims

외부로부터 공급된 프레임 영상 데이터에 대한 원본 깊이지도를 생성하는 원본 깊이지도생성부;
외부로부터의 프레임 영상 데이터로부터 각 화소별 휘도값을 추출하는 휘도추출부;
상기 휘도추출부로부터의 휘도값들을 근거로 상기 프레임 영상 데이터의 영상 패턴을 파악하고, 이 파악된 결과를 근거로 미리 설정된 어느 하나의 패턴 게인값을 출력하는 영상패턴분석부;
화소들을 이들의 공간적 위치에 근거하여 n개(n은 1보다 큰 자연수)의 화소군 블록으로 분류하고, 상기 휘도추출부로부터의 휘도값들을 참조로 각 화소군 블록별로 평균 휘도값을 산출하고, 이 화소군 블록별 평균 휘도값 및 상기 영상패턴분석부로부터의 패턴 게인값을 근거로 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정하여 블록기반 깊이지도를 생성하는 블록 깊이지도생성부;
상기 휘도추출부로부터의 휘도값들 및 상기 영상패턴분석부로부터의 패턴 게인값을 근거로 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정하여 화소기반 깊이지도를 생성하는 화소 깊이지도생성부; 및,
상기 블록 깊이지도생성부로부터의 블록기반 깊이지도 및 상기 화소 깊이지도생성부로부터의 화소기반 깊이지도를 근거로 보정 깊이지도를 생성하는 보정 깊이지도생성부를 포함함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
삭제
제 1 항에 있어서,
상기 영상패턴분석부는,
화소들을 이들의 공간적 위치에 근거하여 m개의 패턴 블록(m은 1보다 큰 자연수)으로 분류하고, 상기 m개의 패턴 영역들 중 일부 패턴 영역들을 하나로 묶어 이를 스카이 영역으로 구분하고, 상기 m개의 패턴 영역들 중 또 다른 일부 패턴 영역들을 하나로 묶어 이를 사이드 영역으로 구분하고, 상기 휘도추출부로부터의 휘도값들을 참조로 상기 스카이 영역의 평균 휘도값 및 상기 사이드 영역의 평균 휘도값을 산출하고, 이 산출된 평균 휘도값들을 근거로 영상 패턴을 파악하고, 그리고 이 파악된 결과를 근거로 어느 하나의 패턴 게인값을 선택함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 3 항에 있어서,
상기 영상패턴분석부는,
상기 스카이 영역의 평균 휘도값과 미리 설정된 기준 휘도값간의 비교 결과와 상기 사이드 영역의 평균 휘도값과 상기 기준 휘도값간의 비교 결과를 근거로, 미리 설정된 다수의 패턴 게인값들 중 어느 하나를 선택함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 4 항에 있어서,
상기 영상패턴분석부는,
상기 화소들을 9개의 패턴 영역들로 분류하고, 이 9개의 패턴 영역들 중 공간적으로 최상측에 수평으로 인접하여 위치한 3개의 패턴 영역들을 하나로 묶어 이를 상기 스카이 영역으로 구분하고, 상기 9개의 패턴 영역들 중 공간적으로 좌측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들 및 우측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들을 하나로 묶어 이를 상기 사이드 영역으로 구분함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 5 항에 있어서,
상기 영상패턴분석부는,
상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 클 때, 상기 외부로부터의 프레임 영상 데이터를 제 1 영상 패턴으로 인식하여 제 1 패턴 게인값을 선택하고;
상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 크고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같을 때, 상기 외부로부터의 프레임 영상 데이터를 제 2 영상 패턴으로 인식하여 제 2 패턴 게인값을 선택하고;
상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같을 때, 상기 외부로부터의 프레임 영상 데이터를 제 3 영상 패턴으로 인식하여 제 3 패턴 게인값을 선택하고;
상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 크고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 클 때, 상기 외부로부터의 프레임 영상 데이터를 제 4 영상 패턴으로 인식하여 제 4 패턴 게인값을 선택함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 6 항에 있어서,
상기 제 1 패턴 게인값은 0.3이며, 상기 제 2 패턴 게인값은 0.7이며, 상기 제 3 패턴 게인값은 0이며, 그리고 상기 제 4 패턴 게인값은 1인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 1 항에 있어서,
상기 블록 깊이지도생성부는, 화소군 블록내의 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 1 수직 가중치를 더 산출하고, 상기 화소군 블록별 평균 휘도값, 상기 영상패턴분석부로부터의 패턴 게인값 및 상기 제 1 수직 가중치를 근거로 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정하여 블록기반 깊이지도를 생성하며; 그리고,
상기 화소 깊이지도생성부는, 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 2 수직 가중치를 더 산출하고, 상기 휘도추출부로부터의 휘도값들, 상기 영상패턴분석부로부터의 패턴 게인값 및 상기 제 2 수직 가중치를 근거로 상기 원본 깊이지도생성부로부터의 원본 깊이지도를 보정하여 화소기반 깊이지도를 생성함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 8 항에 있어서,
상기 제 1 수직 가중치 및 제 2 수직 가중치는, 아래의 수학식1로 정의되며;
[수학식1]: (HL_total/60)-(N_HL_pxl/60)*8;
상기 HL_total은 표시화면에 구성된 총 수평라인의 수를, 그리고 N_HL_pxl은 특정 화소가 위치한 수평라인의 번호를 의미하며;
제 1 수직 가중치의 값이 소수점을 포함할 경우, 그 소수점 이하는 반올림됨을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 8 항에 있어서,
상기 블록 깊이지도생성부는,
특정 화소가 위치한 제 k 화소군 블록의 평균 휘도값을 근거로 상기 제 k 화소군 블록에 대한 k블록 게인값을 산출하고, 상기 제 k 화소군 블록의 좌측에 인접하여 위치한 제 k-1 화소군 블록의 평균 휘도값을 근거로 상기 제 k-1 화소군 블록에 대한 k-1블록 게인값을 산출하고, 상기 제 k 화소군 블록의 우측에 인접하여 위치한 제 k+1 화소군 블록의 평균 휘도값을 근거로 상기 제 k+1 화소군 블록에 대한 k+1블록 게인값을 산출하고;
상기 k-1블록 게인값 및 k+1블록 게인값 중 더 큰 값을 사이드블록 게인값으로 정의하고; 그리고,
상기 k블록 게인값, 상기 사이드블록 게인값, 상기 제 1 수직 가중치 및 패턴 게인값을 모두 곱하여 제 1 총 게인값을 산출하고;
상기 특정 화소에 부여된 원본 깊이값을 상기 원본 깊이지도로부터 찾고, 이 찾은 원본 깊이값에 상기 제 1 총 게인값을 더함으로써 상기 특정 화소에 대한 블록 깊이값을 산출하며; 그리고,
모든 화소에 대한 블록 깊이값을 산출함으로써 블록기반 깊이지도를 생성함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 10 항에 있어서,
상기 k블록 게인값은 아래의 수학식1로 정의되고, k-1블록 게인값은 아래의 수학식2로 정의되며, 그리고 k+1블록 게인값은 아래의 수학식3으로 정의되며;
수학식1: (Max_th1 - blk_apl_k)/(Max_th1 - Min_th1);
수학식2: (Max_th2 - blk_apl_k-1)/(Max_th2 - Min_th2);
수학식3: (Max_th2 - blk_apl_k+1)/(Max_th2 - Min_th2);
상기 Max_th1은 미리 설정된 제 1 최대 기준값을, 상기 Min_th1은 미리 설정된 제 1 최소 기준값을, 상기 Max_th2는 미리 설정된 제 2 최대 기준값을, 상기 Min_th2는 미리 설정된 제 2 최소 기준값을, 상기 blk_apl_k는 제 k 화소군 블록의 평균 휘도값을, 상기 blk_apl_k-1는 제 k-1 화소군 블록의 평균 휘도값을, 상기 blk_apl_k+1은 제 k+1 화소군 블록의 평균 휘도값을 의미하는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 11 항에 있어서,
상기 제 1 최대 기준값, 제 1 최소 기준값, 제 2 최대 기준값 및 제 2 최소 기준값은, 각각 400, 200, 440 및 240인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 8 항에 있어서,
상기 화소 깊이지도생성부는,
특정 제 i 화소의 휘도값을 근거로 상기 제 i 화소에 대한 i화소 게인값을 산출하고, 상기 제 i 화소의 좌측에 인접하여 위치한 제 i-1 화소의 휘도값을 근거로 상기 제 i-1 화소에 대한 i-1화소 게인값을 산출하고, 상기 제 i 화소의 우측에 인접하여 위치한 제 i+1 화소의 휘도값을 근거로 상기 제 i+1 화소에 대한 i+1화소 게인값을 산출하고;
상기 i-1화소 게인값 및 i+1화소 게인값 중 더 큰 값을 사이드화소 게인값으로 정의하고; 그리고,
상기 i화소 게인값, 상기 사이드화소 게인값, 상기 제 2 수직 가중치 및 패턴 게인값을 모두 곱하여 제 2 총 게인값을 산출하고;
상기 특정 제 i 화소에 부여된 원본 깊이값을 상기 원본 깊이지도로부터 찾고, 이 찾은 원본 깊이값에 상기 제 2 총 게인값을 더함으로써 상기 특정 제 i 화소에 대한 화소 깊이값을 산출하며; 그리고,
모든 화소에 대한 화소 깊이값을 산출함으로써 화소기반 깊이지도를 생성함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 13 항에 있어서,
상기 i화소 게인값은 아래의 수학식1로 정의되고, i-1화소 게인값은 아래의 수학식2로 정의되며, 그리고 i+1화소 게인값은 아래의 수학식3으로 정의되며;
수학식1: (Max_th3 - pxl_i)/(Max_th3 - Min_th3);
수학식2: (Max_th4 - pxl_i-1)/(Max_th4 - Min_th4);
수학식3: (Max_th4 - pxl_i+1)/(Max_th4 - Min_th4);
상기 Max_th3은 미리 설정된 제 3 최대 기준값을, 상기 Min_th3은 미리 설정된 제 3 최소 기준값을, 상기 Max_th4는 미리 설정된 제 4 최대 기준값을, 상기 Min_th4는 미리 설정된 제 4 최소 기준값을, 상기 pxl_i는 제 i 화소의 휘도값을, 상기 pxl_i-1은 제 i-1 화소의 휘도값을, 상기 pxl_i+1은 제 i+1 화소의 휘도값을 의미하는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 14 항에 있어서,
상기 제 3 최대 기준값, 제 3 최소 기준값, 제 4 최대 기준값 및 제 4 최소 기준값은, 각각 250, 170, 290 및 210인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 1 항에 있어서,
상기 보정 깊이지도생성부는,
특정 화소에 부여된 블록 깊이값을 상기 블록기반 깊이지도로부터 찾고, 상기 특정 화소에 부여된 화소 깊이값을 상기 화소기반 깊이지도로부터 찾고, 그 찾은 블록 깊이값에 제 1 보정 게인값을 곱하여 보정 블록 깊이값을 산출하고, 그 찾은 화소 깊이값에 제 2 보정 게인값을 곱하여 보정 화소 깊이값을 산출하고, 상기 보정 블록 깊이값과 보정 화소 깊이값을 합하여 상기 특정 화소에 대한 보정 깊이값을 산출하고, 모든 화소들에 대하여 보정 깊이값을 산출함으로써 보정 깊이지도를 생성함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 16 항에 있어서,
상기 제 1 보정 게인값과 상기 제 2 보정 게인값을 합한 값이 1인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
제 17 항에 있어서,
상기 제 1 보정 게인값은 0.7이고, 그리고 상기 제 2 보정 게인값은 0.3인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
외부로부터 공급된 프레임 영상 데이터에 대한 원본 깊이지도를 생성하는 1단계;
외부로부터의 프레임 영상 데이터로부터 각 화소별 휘도값을 추출하는 2-A단계;
상기 휘도값들을 근거로 상기 프레임 영상 데이터의 영상 패턴을 파악하고, 이 파악된 결과를 근거로 미리 설정된 어느 하나의 패턴 게인값을 출력하는 2-B단계;
화소들을 이들의 공간적 위치에 근거하여 n개(n은 1보다 큰 자연수)의 화소군 블록으로 분류하고, 상기 휘도값들을 참조로 각 화소군 블록별로 평균 휘도값을 산출하고, 이 화소군 블록별 평균 휘도값 및 상기 패턴 게인값을 근거로 상기 원본 깊이지도를 보정하여 블록기반 깊이지도를 생성하는 2-C단계;
상기 휘도값들 및 상기 패턴 게인값을 근거로 상기 원본 깊이지도를 보정하여 화소기반 깊이지도를 생성하는 2-D단계; 및,
상기 블록기반 깊이지도 및 상기 화소기반 깊이지도를 근거로 보정 깊이지도를 생성하는 2-E단계를 포함함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
삭제
제 19 항에 있어서,
상기 2-B단계에서는,
화소들을 이들의 공간적 위치에 근거하여 m개의 패턴 블록(m은 1보다 큰 자연수)으로 분류하고, 상기 m개의 패턴 영역들 중 일부 패턴 영역들을 하나로 묶어 이를 스카이 영역으로 구분하고, 상기 m개의 패턴 영역들 중 또 다른 일부 패턴 영역들을 하나로 묶어 이를 사이드 영역으로 구분하고, 상기 휘도값들을 참조로 상기 스카이 영역의 평균 휘도값 및 상기 사이드 영역의 평균 휘도값을 산출하고, 이 산출된 평균 휘도값들을 근거로 영상 패턴을 파악하고, 그리고 이 파악된 결과를 근거로 어느 하나의 패턴 게인값을 선택함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 21 항에 있어서,
상기 2-B단계에서는,
상기 스카이 영역의 평균 휘도값과 미리 설정된 기준 휘도값간의 비교 결과와 상기 사이드 영역의 평균 휘도값과 상기 기준 휘도값간의 비교 결과를 근거로, 미리 설정된 다수의 패턴 게인값들 중 어느 하나를 선택함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 22 항에 있어서,
상기 2-B단계에서는,
상기 화소들을 9개의 패턴 영역들로 분류하고, 이 9개의 패턴 영역들 중 공간적으로 최상측에 수평으로 인접하여 위치한 3개의 패턴 영역들을 하나로 묶어 이를 상기 스카이 영역으로 구분하고, 상기 9개의 패턴 영역들 중 공간적으로 좌측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들 및 우측 가장자리에 수직으로 인접하여 위치한 2개의 패턴 영역들을 하나로 묶어 이를 상기 사이드 영역으로 구분함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 23 항에 있어서,
상기 2-B단계에서는,
상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 클 때, 상기 외부로부터의 프레임 영상 데이터를 제 1 영상 패턴으로 인식하여 제 1 패턴 게인값을 선택하고;
상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 크고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같을 때, 상기 외부로부터의 프레임 영상 데이터를 제 2 영상 패턴으로 인식하여 제 2 패턴 게인값을 선택하고;
상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 작거나 같을 때, 상기 외부로부터의 프레임 영상 데이터를 제 3 영상 패턴으로 인식하여 제 3 패턴 게인값을 선택하고;
상기 스카이 영역의 평균 휘도값이 상기 기준 휘도값보다 크고, 그리고 사이드 영역의 평균 휘도값이 상기 기준 휘도값보다 클 때, 상기 외부로부터의 프레임 영상 데이터를 제 4 영상 패턴으로 인식하여 제 4 패턴 게인값을 선택함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 24 항에 있어서,
상기 제 1 패턴 게인값은 0.3이며, 상기 제 2 패턴 게인값은 0.7이며, 상기 제 3 패턴 게인값은 0이며, 그리고 상기 제 4 패턴 게인값은 1인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 19 항에 있어서,
상기 2-C단계에서는, 화소군 블록내의 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 1 수직 가중치를 더 산출하고, 상기 화소군 블록별 평균 휘도값, 상기 패턴 게인값 및 상기 제 1 수직 가중치를 근거로 상기 원본 깊이지도를 보정하여 블록기반 깊이지도를 생성하며; 그리고,
상기 2-D단계에서는, 어느 하나의 화소에 대한 수직적인 위치를 근거로 그 화소에 대한 제 2 수직 가중치를 더 산출하고, 상기 휘도값들, 패턴 게인값 및 상기 제 2 수직 가중치를 근거로 상기 원본 깊이지도를 보정하여 화소기반 깊이지도를 생성함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 26 항에 있어서,
상기 제 1 수직 가중치 및 제 2 수직 가중치는, 아래의 수학식1로 정의되며;
[수학식1]: (HL_total/60)-(N_HL_pxl/60)*8;
상기 HL_total은 표시화면에 구성된 총 수평라인의 수를, 그리고 N_HL_pxl은 특정 화소가 위치한 수평라인의 번호를 의미하며;
제 1 수직 가중치의 값이 소수점을 포함할 경우, 그 소수점 이하는 반올림됨을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 26 항에 있어서,
상기 2-C단계에서는,
특정 화소가 위치한 제 k 화소군 블록의 평균 휘도값을 근거로 상기 제 k 화소군 블록에 대한 k블록 게인값을 산출하고, 상기 제 k 화소군 블록의 좌측에 인접하여 위치한 제 k-1 화소군 블록의 평균 휘도값을 근거로 상기 제 k-1 화소군 블록에 대한 k-1블록 게인값을 산출하고, 상기 제 k 화소군 블록의 우측에 인접하여 위치한 제 k+1 화소군 블록의 평균 휘도값을 근거로 상기 제 k+1 화소군 블록에 대한 k+1블록 게인값을 산출하고;
상기 k-1블록 게인값 및 k+1블록 게인값 중 더 큰 값을 사이드블록 게인값으로 정의하고; 그리고,
상기 k블록 게인값, 상기 사이드블록 게인값, 상기 제 1 수직 가중치 및 패턴 게인값을 모두 곱하여 제 1 총 게인값을 산출하고;
상기 특정 화소에 부여된 원본 깊이값을 상기 원본 깊이지도로부터 찾고, 이 찾은 원본 깊이값에 상기 제 1 총 게인값을 더함으로써 상기 특정 화소에 대한 블록 깊이값을 산출하며; 그리고,
모든 화소에 대한 블록 깊이값을 산출함으로써 블록기반 깊이지도를 생성함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 28 항에 있어서,
상기 k블록 게인값은 아래의 수학식1로 정의되고, k-1블록 게인값은 아래의 수학식2로 정의되며, 그리고 k+1블록 게인값은 아래의 수학식3으로 정의되며;
수학식1: (Max_th1 - blk_apl_k)/(Max_th1 - Min_th1);
수학식2: (Max_th2 - blk_apl_k-1)/(Max_th2 - Min_th2);
수학식3: (Max_th2 - blk_apl_k+1)/(Max_th2 - Min_th2);
상기 Max_th1은 미리 설정된 제 1 최대 기준값을, 상기 Min_th1은 미리 설정된 제 1 최소 기준값을, 상기 Max_th2는 미리 설정된 제 2 최대 기준값을, 상기 Min_th2는 미리 설정된 제 2 최소 기준값을, 상기 blk_apl_k는 제 k 화소군 블록의 평균 휘도값을, 상기 blk_apl_k-1는 제 k-1 화소군 블록의 평균 휘도값을, 상기 blk_apl_k+1은 제 k+1 화소군 블록의 평균 휘도값을 의미하는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 29 항에 있어서,
상기 제 1 최대 기준값, 제 1 최소 기준값, 제 2 최대 기준값 및 제 2 최소 기준값은, 각각 400, 200, 440 및 240인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 26 항에 있어서,
상기 2-D단계에서는,
특정 제 i 화소의 휘도값을 근거로 상기 제 i 화소에 대한 i화소 게인값을 산출하고, 상기 제 i 화소의 좌측에 인접하여 위치한 제 i-1 화소의 휘도값을 근거로 상기 제 i-1 화소에 대한 i-1화소 게인값을 산출하고, 상기 제 i 화소의 우측에 인접하여 위치한 제 i+1 화소의 휘도값을 근거로 상기 제 i+1 화소에 대한 i+1화소 게인값을 산출하고;
상기 i-1화소 게인값 및 i+1화소 게인값 중 더 큰 값을 사이드화소 게인값으로 정의하고; 그리고,
상기 i화소 게인값, 상기 사이드화소 게인값, 상기 제 2 수직 가중치 및 패턴 게인값을 모두 곱하여 제 2 총 게인값을 산출하고;
상기 특정 제 i 화소에 부여된 원본 깊이값을 상기 원본 깊이지도로부터 찾고, 이 찾은 원본 깊이값에 상기 제 2 총 게인값을 더함으로써 상기 특정 제 i 화소에 대한 화소 깊이값을 산출하며; 그리고,
모든 화소에 대한 화소 깊이값을 산출함으로써 화소기반 깊이지도를 생성함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 31 항에 있어서,
상기 i화소 게인값은 아래의 수학식1로 정의되고, i-1화소 게인값은 아래의 수학식2로 정의되며, 그리고 i+1화소 게인값은 아래의 수학식3으로 정의되며;
수학식1: (Max_th3 - pxl_i)/(Max_th3 - Min_th3);
수학식2: (Max_th4 - pxl_i-1)/(Max_th4 - Min_th4);
수학식3: (Max_th4 - pxl_i+1)/(Max_th4 - Min_th4);
상기 Max_th3은 미리 설정된 제 3 최대 기준값을, 상기 Min_th3은 미리 설정된 제 3 최소 기준값을, 상기 Max_th4는 미리 설정된 제 4 최대 기준값을, 상기 Min_th4는 미리 설정된 제 4 최소 기준값을, 상기 pxl_i는 제 i 화소의 휘도값을, 상기 pxl_i-1은 제 i-1 화소의 휘도값을, 상기 pxl_i+1은 제 i+1 화소의 휘도값을 의미하는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 32 항에 있어서,
상기 제 3 최대 기준값, 제 3 최소 기준값, 제 4 최대 기준값 및 제 4 최소 기준값은, 각각 250, 170, 290 및 210인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 19 항에 있어서,
상기 2-E단계에서는,
특정 화소에 부여된 블록 깊이값을 상기 블록기반 깊이지도로부터 찾고, 상기 특정 화소에 부여된 화소 깊이값을 상기 화소기반 깊이지도로부터 찾고, 그 찾은 블록 깊이값에 제 1 보정 게인값을 곱하여 보정 블록 깊이값을 산출하고, 그 찾은 화소 깊이값에 제 2 보정 게인값을 곱하여 보정 화소 깊이값을 산출하고, 상기 보정 블록 깊이값과 보정 화소 깊이값을 합하여 상기 특정 화소에 대한 보정 깊이값을 산출하고, 모든 화소들에 대하여 보정 깊이값을 산출함으로써 보정 깊이지도를 생성함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 34 항에 있어서,
상기 제 1 보정 게인값과 상기 제 2 보정 게인값을 합한 값이 1인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
제 35 항에 있어서,
상기 제 1 보정 게인값은 0.7이고, 그리고 상기 제 2 보정 게인값은 0.3인 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.