KR101619327B1 - 적응적 결합 양측 깊이 맵 업샘플링 - Google Patents

Abstract

본 발명의 실시 예에 따른 디지털 촬영장치에서 비디오 신호를 깊이 업샘플링하는 방법에 있어서, 이중 선형 보간을 통해 시간적 업샘플된 깊이 맵을 획득하는 단계와, 엣지 검출 필터를 이용하여 현재 픽셀의 그래디언트를 계산하는 단계와, 상기 픽셀이 엣지 영역에 속하는지 판단하는 단계와, 상기 픽셀이 엣지 영역에 속하는 경우, 공동 적응형 양측 깊이 업샘플러를 실행하는 단계 및 상기 픽셀에 대한 최종 가중치를 계산하여 업샘플된 깊이 맵을 획득하는 단계를 포함한다.

Description

적응적 결합 양측 깊이 맵 업샘플링{JOINT-ADAPTIVE BILATERAL DEPTH MAP UPSAMPLING}

본 발명은 새로운 깊이의 업샘플러에 관한 것으로 특히, 컬러 이미지에 대응하여 정렬이 잘된 깊이 맵을 생산하기 위한 고품질의 깊이 업샘플링 방법에 관한 것이다.

3차원 컨텐츠는 영화와 텔레비전의 경제적 성공에 따라 더욱 확산되고 있다. 2차원 체제와는 달리, 3차원 컨텐츠는 별도로 3차원 형식으로 제공된 깊이 맵을 사용하여 향상될 수 있다. 깊이 맵은 완벽한 보완 정보를 제공한다[1].

강화된 3차원 컨텐츠는 캡쳐된 장면의 깊이 지각을 개선하고, 렌더링 기반 깊이 이미지(depth image based rendering: DIBR)와 원본 컬러 이미지로부터 가상 뷰를 생성하는데 도움이 된다[2,3]. 추가적으로, 깊이 맵은 3DVC(3D video coding)과 같은 전형적인 코덱에서 데이터의 볼륨을 줄이는데 사용된다[4,,5].

깊이 맵은 적외선의 비행시간 깊이 카메라 또는 스테레오 매칭을 이용한 깊이 추정을 통해 획득된다[6]. 그러나 상기와 같은 방법에 의해 얻어진 대부분의 깊이 맵은 다음과 같은 고품질의 깊이 맵 요건을 충족하지 못한다.

* 스무스(smooth) 또는 거의 일정한 내부 객체와 백그라운드.

* 객체의 경계 또는 주위에서의 샤프한 전환.

* 컬러 이미지에 대응하는 것들과 이에 잘 정렬된 깊이 가장자리.

* 컬러 이미지와 동일한 해상도 크기.

대부분의 깊이 맵은 연관된 컬러 이미지에 비해서 상당히 작은 해상도를 갖는 깊이 센싱 카메라들을 통해 얻어진다. 예를 들면, HD 시퀀스는 깊이 맵에서 200×200나 640×480에 비해 상대적으로 1920×1080의 해상도를 갖는다[7]. 깊이 업샘플링은 광범위하게 이용되기 때문에 3D-AVC(3D-advanced video coding)과 같은 국제적인 3D 비디오 스탠다드는 컬러 이미지의 반 사이즈인 깊이 맵을 이용한다[4].

게다가, 깊이 맵과 컬러 이미지 사이에 오정렬(misalignment)을 야기할 정도로 깊이 센서는 객체의 반사율에 민감하기 때문에 깊이 맵은 상당한 잡음을 포함한다. 그러므로, 컬러 이미지에 대응하여 정렬이 잘된 깊이 맵을 생산하기 위한 고품질의 깊이 업샘플링 방법이 요구된다.

본 발명의 목표는 스무스한 내부 객체와 엣지에서 샤프하고, 컬러 이미지와 동일한 사이즈인 깊이 맵을 생산하는 것이다.

[1] M.N. Do,Q.H.Nguyen,H.T.Nguyen,D.Kubacki,S.J.Patel,Immersive visual communication,IEEESignalProcess.Mag.28(January(1)) (2011)58-66. [2] L. Zhang,W.Tam,Stereoscopic image generation based on depth images for 3DTV, IEEE Trans. Broadcast. 51(June(2))(2005) 191-199. [3] C. Fehn, Depth-image-basedrendering(DIBR), compression, and transmission for a new approach on 3D-TV, in : Proceedings of SPIE 5291, Stereoscopic Display sand Virtual Reality Systems XI, CA, USA, May 2004,p.93. [4] 3D-AVC Test Model5, Document JCT 3V-C1003, ITU-TSG16WP3 and ISO/IEC JTC1/SC29/WG11,January2013. [5] 3D-HEVC Test Model3, Document JCT3V-C1005, ITU-TSG16WP3 and ISO/IECJTC1/SC29/WG11, January 2013. [6] L. P. J. Vosters, C. Varekamp, G. deHaan, Evaluation of efficient high quality depth upsampling methods for 3DTV, in : Proceedings of SPIE 8650, Three-Dimensional Image Processing and Applications 2013, CA, USA, March 2013, p. 865005. [7] S.-Y. Kim, Y.-S. Ho, Fast edge-preserving depth image upsampler, IEEE Trans. Consum. Electron. 58(August(3))(2012)971-977.

본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 컬러 이미지에 대응하여 정렬이 잘된 깊이 맵을 생산하기 위한 고품질의 깊이 업샘플링 방법을 제공하는데 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 디지털 촬영장치에서 비디오 신호를 깊이 업샘플링하는 방법에 있어서, 이중 선형 보간을 통해 시간적 업샘플된 깊이 맵을 획득하는 단계와, 엣지 검출 필터를 이용하여 현재 픽셀의 그래디언트를 계산하는 단계와, 상기 픽셀이 엣지 영역에 속하는지 판단하는 단계와, 상기 픽셀이 엣지 영역에 속하는 경우, 공동 적응형 양측 깊이 업샘플러를 실행하는 단계 및 상기 픽셀에 대한 최종 가중치를 계산하여 업샘플된 깊이 맵을 획득하는 단계를 포함한다.

본 발명의 실시 예에 따른 제안된 업샘플러는 종래 기술에 비하여 업샘플된 깊이 맵의 품질을 향상시킴을 보여준다. 즉, 적응형 스무딩과 컨트롤에 관한 파라미터를 이용하는 적응형 결합 양측 깊이 맵 업샘플링을 통해, 이웃 픽셀 가중치의 동적 범위를 컨트롤하고, 결여 픽셀의 반대면의 픽셀은 능률적으로 제거하며, 텍스쳐 카핑과 흐린 현상을 완화시킨다.

도 1은 본 발명의 실시 예에 따른 알고리즘의 플로우 차트.
도 2는 제어 파라미터의 영향을 나타내는 예를 보여주는 그래프.
도 3은 Tsukuba 이미지의 결과를 보여주는 사진.
도 4는 Cones 이미지를 이용하여 엣지 보존 퍼포먼스를 비교하기 위한 사진.
도 5 및 도 6은 VSRS 3.5.을 이용하여 합성된 뷰를 통한 이미지 품질을 비교하기 위한 사진.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.

본 발명은 새로운 깊이의 업샘플러에 관한 것으로 특히, 컬러 이미지에 대응하여 정렬이 잘된 깊이 맵을 생산하기 위한 고품질의 깊이 업샘플링 방법에 관한 것이다.

업샘플링된 깊이 맵은 이웃 픽셀의 평균으로서 각각의 픽셀에서 계산되고, 색상과 깊이 강도 필터에 의해 가중된다. 제안된 방법은 두 개의 매개변수를 제공하는데, 이는 적응형 스무딩 파라미터(adaptive smoothing parameter) 및 제어 파라미터(control parameter)이다. 적응형 스무딩 파라미터는 깊이 맵 및 해당 컬러 이미지 간의 비율에 기초하여 결정된다. 적응형 스무딩 파라미터는 컬러 범위 필터의 동적 범위를 제어하기 위해 사용된다. 제어 파라미터는 결여(missing) 픽셀이 속하는 객체화소에 큰 가중치를 할당한다. 기존의 5개의 업샘플러와 비교하면, 제안된 방법은 객관적이고 주관적 품질의 측면에서 다섯을 능가하는 성능을 구현한다.

깊이 업샘플링 방법은 두 가지 타입이 있다. 첫 번째 카테고리에서는 최단 이웃(nearest neighbor), 선형(bilinear) 또는 큐빅 보간(cubic interpolation)과 같은 종래의 보간 방법이 이용된다. 이러한 보간 방법이 심플하고 빠르더라도, 결과는 엣지 주위의 지그재그 인공물이 발생하고, 이는 컬러 이미지와 오정렬을 가져오는데, 이는 컬러에서 변화를 고려하지 않았기 때문이다. 다른 카테고리는 동일한 장면에서 컬러 이미지 센서에 관련하여 덜 민감한 업샘플된 깊이 맵을 활용한다.

양측 필터(bilateral filter)는 스무딩 필터로 가장 넓게 쓰이고, 이웃 픽셀들의 비선형 조합에 의해서 결과를 획득한다. 그것의 엣지-보존 소유를 위해, 종래 기술은 깊이 맵을 업샘플하기 위해 양측 필터를 적용한다. kopf 등은 공동 양측 업샘플링(joint bilateral upsampling; JBU)를 제안한다. 이것은 추가적인 정보를 이용하는 베이스 업샘플링 프레임워크로서 일반적으로 이용된다. JBU 메커니즘은 컬러 이미지에서보다는 깊이 이미지에서 정보를 사용한다. 이는 동일한 장면에서 컬러 이미지의 고품질인 경우에 기초한다. 그러나 이 방법은 두 이미지 사이의 오정렬을 간과한다.

Yang 외는 후보자 깊이 값을 위해 현재 깊이 맵에 기초하여 코스트 볼륨을 계산하고, 반복적으로 양측 필터를 적용함으로써 코스트 볼륨을 업데이트한다.

Chan 외는 깊이 업샘플링을 위한 노이즈 인식 필터(noise aware filter for depth upsampling: NAFDU)를 제안한다. 그들은 인터벌 0-1에서 블렌딩 기능을 이용하여 컬러 강도 필터와 깊이 강도 필터를 병합한다. NAFDU는 JBU보다 특히 노이지 이미지에서 나은 퍼포먼스를 보여준다. 가중치 픽셀 평균 기법(PWAS: pixel weighted average strategy)는 신뢰성 맵을 더한다. 이것은 가우시안 그래디언트 필터와 같이 동작한다. 즉, PWAS는 부분 거리 필터(spatial distance filter), 컬러 강도 필터 및 그래디언트 필터를 병합한 트리래트럴(trilateral)필터를 사용한다. 패스트 엣지 보존 깊이 이미지 업샘플러(FEPDU)는 트리래터럴 필터를 이용하는 다른 방법이다. FEPDU 첫 번째는 깊이 이미지와 그것의 컬러 이미지의 엣지의 교차로 정의되는 공통 엣지 영역에 위치한다. 만약 결여 픽셀이 공통 엣지 영역에 속하면, 트리래트럴 필터를 표준으로 이용하여 로컬 윈도우 내 5개의 후보 픽셀 중 한 픽셀이 결여 픽셀의 값으로 선택된다. 유사한 방법으로, Diebel과 Thrun은 Markov random field(MRF)를 범위 센싱으로 소개한다. 그것은 깊이 이미지에서 중단되는 사실과, 알고리즘 기반 양측에서와 같이 공동 정렬하는 경향의 컬러링을 악용한다. 그들은 공액 구배 알고리즘을 이용하는 MRF 공식화로 최소화 문제를 해결한다. 그러나 정사각형 기능은 견고하지 않다.

본 발명에서는 두 번째 타입으로서 깊이 맵을 업샘플링할 때 컬러 이미지와 같은 추가적 정보를 이용하는 우월한 새로운 깊이 맵 업샘플러를 제안한다. 고품질 깊이 맵의 요건을 충족시키기 위해 본 발명은 공동 적응형 양측 깊이 맵 업샘플러(JABDU: joint adaptive bilateral depth map)를 제공하고, 이것은 JBU를 수정한 것이다. 본 발명은 JABDU에서 업샘플된 깊이 맵의 품질을 높여주는 적응형 스무딩 파라미터와 컨트롤 파라미터 이 두 개의 파라미터를 추가한다.

나머지는 다음과 같이 정리된다. : 본 발명은 섹션 2에서 JBU를 리뷰하고, 섹션 3에서 제안된 방법을 자세하게 설명한다. 섹션 4에서 실험적 결과에 의한 제안된 방법의 퍼포먼스를 보여준다. 섹션 5에서 종합적인 결론을 내린다.

한편, 본 발명에서 깊이 맵 업샘플링을 실행하는 주체는 디지털 촬영장치이고, 상기 디지털 촬영장치 중에서도 프로세서라 할 수 있고, 이는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.

2. 선행조사

kopf 외는 깊이 업샘플링을 위해 공동 양측 필터(joint bilateral filter: JBF)를 이용하는 기초 프레임워크를 제안한다. JBF는 공간 폐쇄와 강도 유사성을 이용하여 이웃 픽셀의 가중치를 계산하고, 가중된 평균에 의해 결여 픽셀을 보간한다. D와 d는 각각 업샘플된 깊이 맵과 주어진 저해상도 깊이 맵을 나타낸다. 그러면, 업샘플된 깊이 맵의 p 포지션에서 추정된 값은 수학식 (1)에 따른다.

(1)

여기서 j는 이웃 픽셀의 픽셀 인덱스이고, q_j는 그것에 대응하는 포지션이며,

는 q_j에서 픽셀의 깊이 값이다. 수학식(1)에서 이용된 가중치는 다음과 같이 주어진다.

(2)

여기서 k_p는 정규화 파라미터이고, I_p와

는 각각 p와 q_j의 컬러 강도이다. 파라미터

와

는 각각 공간적 폐쇄와 강도 유사성의 영향을 조정한다.

JBU는 깊이 엣지가 컬러 엣지에 해당하는 가정 하에 컬러 데이터를 언급한다. 그러나 깊이 엣지는 종종 동종의 컬러 영역에 해당하고, 그 반대의 경우도 마찬가지이다. 그와 같은 환경 하에서는, JBU는 흐린 깊이 엣지와 텍스처 복사와 같은 인공물을 유발한다.

3. 제안된 알고리즘

깊이 맵은 엣지와 플랫 영역에서 크게 다른 면을 갖는다. 이것은 컬러 이미지에서보다 더 익스트림하다. 깊이 맵은 단조롭기 때문에 복잡성과 이미지 품질 측면에서 엣지와 플랫 영역에 동일한 과정을 적용하기는 능률적이지 않다. 이 속성을 고려하기 위해서 본 발명은 픽셀은 그래디언트, 엣지 영역과 플랫 영역에 기초하여 두 케이스로 분류한다.

깊이 맵에서 결여 픽셀이 플랫 영역으로 분류될 때, 대부분의 종래의 보간 방법은 유사한 결과를 보여줬다. 그러나, 깊이 맵에서 플랫 영역은 컬러 이미지에 대응하는 엣지 영역이 될 수 있기 때문에, 컬러 이미지를 이용하는 JBU같은 방법은 잘못된 텍스쳐 카피를 야기한다. 예를 들어, 두 개의 다른 컬러를 포함하는 객체는 컬러 이미지에서 하나 이상의 엣지를 가져야하나, 그것의 깊이 맵에서 엣지 없이 하나의 객체로 표현될 수도 있다. 본 발명은 단순화를 위한 이중선형 알고리즘을 이용하여 그 픽셀을 보간한다.

반면에, 본 발명은 세 가지 요건, 즉 컬러 이미지와 정렬을 충족시키기 위해 엣지 영역에서 픽셀을 업샘플할 때 , 상응하는 컬러 이미지를 이용한다. 종래의 양측 필터는 두 가지 단점을 갖는다.

* 고정된 스무딩 파라미터

를 이용하는 문제와

* 그래디언트 전환 인공물.

첫 번째 문제에 대해서, 고정된

를 이용하는 JBF는 부정확한 가중치를 픽셀에 적용한다. 결과 정보는 깊이 맵과 컬러 이미지 간의 미스매치 때문에 깊이 맵에 관련되지 못하다. 이것은 흐림과 노이지 깊이 맵의 주요 원인이다. 이 문제를 해결하기 위해서, 본 발명은 사용된 가중치의 세기뿐만 아니라 픽셀 범위 폭을 결정하는 적응적 스무딩 파라미터를 이용한다. 화소 수 또는 가중치의 세기를 적응적으로 제어함에 의해 본 발명은 제안된 알고리즘에서 적절한 가중치를 얻을 수 있다.

기존 양측 필터의 다른 약점은 그래디언트 전환 인공물이다. 그래디언트 전환 인공물은 주로 엣지의 반대쪽 픽셀의 이용을 통해 발생한다. 반대쪽 픽셀의 영향을 줄이기 위해서, 본 발명은 윈도우를 두 지역으로 나누고, 현재 픽셀이 속하는 영역 내에서 픽셀의 평균에 가장 가까운 픽셀들에 더 큰 가중치를 적용하기 위해 제어 파라미터를 이용한다. 적응형 스무딩 파라미터와 제어 파라미터를 가지고, 본 발명은 다이나믹한 색상 강도 필터 가중치의 범위를 규제할 수 있고, 그래디언트 반전 문제뿐만 아니라 텍스쳐 카핑 인공물(texture copying artifacts)을 줄이기 위해서 반대 영역의 픽셀을 제외한다.

도 1은 제안된 알고리즘의 플로우 차트를 도시한다. 본 발명은 먼저 이중선형 보간을 통해서 시간적 업샘플된 깊이 맵, D’을 획득한다. Sobel과 같은 엣지 검출 필터의 이용을 통해 현재 픽셀의 그래디언트를 계산한 후에, 본 발명은 이 픽셀이 엣지 영역에 속하는지 판단한다. 픽셀이 만약 엣지 영역에 속하지 않으면, 업샘플된 깊이 맵 D(x, y)의 픽셀 값은 D’(x, y)로 설정된다. 그렇지 않으면, JABDU를 적용한다.

3.1. 공동 적응형 양측 깊이 업샘플러(JABDU)

d와 I는 주어진 저해상도 깊이 맵과 그것에 상응하는 고해상도 컬러 이미지로 나타낸다. 적응형 스무딩 파라미터,

와 제어 파라미터, ε_ρ와 함께 종래의 JBU를 다음과 같이 수정한다:

(3)

수학식 (3)에서 가중치는 다음에 의해 계산된다.

(4)

여기서 p는 보간될 현재 픽셀 위치이고, k_p는 정규화 파라미터이다. 윈도우 사이즈는 5×5로 설정되고, 본 발명은 공간적 가우시안 가중 필터 대신 박스 필터를 이용한다. 여기서 싱글 윈도우가 적용되고, 모든 외부값은 제로로 설정된다.

는 깊이 강도를 위한 스무딩 파라미터로 고정되고,

는 적응적으로 정의된다.

3.2. 컬러 강도를 위한 적응적 스무딩 파라미터:

종래의 양측 필터,

는 컬러 강도를 위한 가중치의 동적 범위를 결정하는데 중요한 역할을 한다. 만약, 깊이 맵과 컬러 이미지가 외관상 현저히 다르다면, 깊이 맵을 업샘플하기 위한 컬러 이미지의 사용은 소정의 인공물을 끌어낼 것이다. 이러한 인공물을 줄이기 위해서, 본 발명은

를 일치율(

)에 따라서 조정한다.

이중 선형 보간과 컬러 이미지 각각에 의해서 획득된 임시로 업샘플된 깊이 맵의 현재 위치 p를 중심으로 하는 윈도우에서

와

를 분할 맵으로 하자.

분할 맵을 생성하기 위해서, 본 발명은 컬러 이미지와 깊이 맵의 평균을 계산하고, 그들을 다음과 같은 방정식을 이용하는 두 영역으로 분류한다.

(5)

여기서 j는 윈도우 내 픽셀의 인덱스를 나타내고, q_j는 그것에 상응하는 위치이며,

는 q_j에서 픽셀의 컬러 강도이며,

는 컬러 이미지의 윈도우 내 픽셀의 평균이다. 깊이 맵의 분할 맵은 유사하게 생성된다. S_C와 S_D는 일치율을 추정하기 위해 사용된다.

(6)

여기서 SAD는 앱솔루트 디퍼런스(absolute difference)의 합이고, N²는 윈도우 사이즈이다. 본 발명은

에 의존하여

를 변경한다.

(7)

여기서 동일율은 작은 값을 갖고, 이것은 컬러 이미지와 깊이 맵이 잘 매치되는 것을 나타낸다. 본 발명은 컬러 정보를 중요하게 고려하기 위해 작은

를 이용한다. 반대로,

는 큰 값을 갖고, 컬러 이미지는 이에 상응하는 깊이 맵과 상당히 다르고, 그러므로 컬러 이미지로부터의 정보는 신뢰할 수 없다. 이 경우 본 발명은 큰

를 이용한다. 여기서, 모든 이웃 픽셀들의 가중치는 유사하기 때문에 컬러 강도 필터는 필터 박스처럼 동작한다. 극도로 작은 스무딩 파라미터는 많은 픽셀을 제외하기 때문에, 본 발명은 경험적으로 결정된 0.6×

를 선택한다.

3.3 제어 파라미터,

JABDU는 엣지 영역에 적용된 스무딩 보다 엣지 보존 속성에 더 포커스를 요구한다. 엣지의 반대 방면에 픽셀을 제외하기 위해서, 본 발명은 제어 파라미터,

를 추가한다.

의 도움으로 본 발명은 영역 내의 현재 픽셀을 결정하고, 영역 내 픽셀의 평균값을 계산한다. 만약, 이웃 픽셀이 현재 픽셀과 동일한 면에 있으면, 그것의 값은 현재 픽셀이 속하는 영역의 평균에 가깝고, 반대의 경우도 마찬가지다. 그러므로 본 발명은 제어 파라미터

를 이용하여 반대 영역의 픽셀의 가중치를 효율적으로 줄일 수 있다.

(8)

여기서

는 윈도우 내 픽셀들의 평균이고,

는 현재 픽셀이 속한 영역 내 픽셀들의 평균이다.

제어 파라미터를 이용하여, JABDU는 현재 픽셀 p가 속하는 영역의 평균에 가까운 픽셀들에 큰 가중치를 할당함에 의해서 로컬 영역의 속성에 따르는 가중치를 제어할 수 있다.

도 2는 제어 파라미터의 영향을 나타내는 예를 보여준다. 보는 바와 같이 샤프한 변화에 의해 야기된 큰 제어 파라미터는 픽셀 반대 면의 가중치를 줄여준다.

4. 시뮬레이션 결과

제안된 방법은 테스트된다.

Middlebury에 의해 제공된 사실 깊이 데이터와 3DV 표준에 이용된 멀티뷰 비디오 플러스 깊이 시퀀스로 제안된 방법은 테스트 된다. 저해상도 깊이 맵은 다운샘플링에 의해 시뮬레이션되고, 제안된 방법을 통해 생성된 업샘플된 맵은 기준으로서 PSNR(peak-signal-to-noise ratio)을 이용하여 오리지널 깊이 맵과 비교된다.

현존하는 최첨단 방법과 비교를 위해, 본 발명은 다섯 가지 방법을 채택한다.: 이중선형 보간법(bilinear interpolation: BI), 공동 양측 업샘플러(joint bilateral upsampler: JBU), 깊이 업샘플링을 위한 노이즈 인식 필터(NAFDU), 가중치 픽셀 평균 전략(PWAS) 및 패스트 엣지 보전 깊이 이미지 업샘플러(FEPDIU). JBU를 포함하는 종래의 방법은 수학식 (2)의 σ_S와 수학식 (3)의 σ_C는 각각 0.5와 0.1D이 된다.

표 1은 13 그라운드 사실 깊이 맵의 PSNR 결과를 보여준다. 제안된 방법은 다른 방법들에 비해 깊이 맵에서 뛰어나다. 0.47에서 1.25dB까지 차이가 난다. 옷 이미지에서, JBU와 비교했을 때, 0.87dB만큼이나 차이가 난다. 이 결과는 JABDU가 컬러 이미지를 더 능률적으로 이용함을 보여준다.

표 2는 3D 비디오 표준에 이용된 멀티뷰 비디오-플러스-깊이 시퀀스를 위한 깊이 맵들의 PSNR 결과를 도표화한다. 본 발명의 실험에서 이용된 순서는 Dancer(1920×1088), Lovebird(1024×768), News-paper(1024×768) 및 Gt-fly(1920×1088)이다. 결과는 Middlebury 데이터 세트의 결과와 유사하다. 평균적으로, 제안된 방법으로부터 PSNR 결과는 JBU를 이용한 것보다 0.53dB 높고, PWAS를 통해 얻은 것보다 0.49dB 높다. Lovebird와 Newspaper와 같은 시퀀스에서, 이중선형 보간법은 더 나은 결과를 보여준다. 이는 그래디언트 리버설 인공물과 컬러 이미지의 부적당한 이용 때문이다. 그러나, BI는 섹션 3에 언급된 대로 엣지에서 지그재그 인공물에 의해 피해를 입는다.

도 3은 Tsukuba 이미지의 결과를 보여준다. 도 3(a) 및 (b)는 각각 오리지널 컬러 이미지와 그에 상응하는 오리지널 깊이 맵이다. 도 3(c)-(h)는 종래의 알고리즘의 결과이고, 제안된 방법의 결과는 도 3(i)에 나타난다. 결과로부터 제안된 방법이 엣지를 보존하면서 깊이 맵을 스무드하게 할 수 있음을 알 수 있다. 이것은 램프(ramp)가 부드럽고 잘 정의된 것을 보고 알 수 있다.

도 4는 Cones 이미지를 이용하여 엣지 보존 퍼포먼스를 비교한다. 도 4로부터 본 발명은 제안된 방법이 최고의 결과를 보여줌을 알 수 있다. 다른 방법을 이용하여 생성된 이미지들과 비교해보았을 때, cone의 엣지에서 지그재그 인공물은 줄어듦을 보이고, 이미지는 깨끗해짐을 보인다.

도 4(d-g)는 cone의 오른쪽 면에 하얀 점을 보인다. 이것은 컬러 이미지의 부적절한 사용 때문이다. 도 4(i)에서 보듯이, 제안된 방법은 이러한 인공물을 제거하고, 관련 이미지와 같은 추가적 정보의 유효한 이용을 보여준다. 도 3과 도 4로부터 제안된 방법은 인공물 발생없이 최고의 퍼포먼스를 보여준다.

본 발명은 다른 실험으로서, VSRS 3.5.을 이용하여 합성된 뷰를 통한 이미지 품질을 비교한다. 도 5는 오리지널 이미지와 Dancer 시퀀스의 첫 번째와 9번째를 합성하여 생성된 뷰의 58번째 프레임을 보여준다. 도 6은 오리지널 이미지와 Lovebird 시퀀스의 4번째와 8번째와 병합된 뷰의 58번째 프레임이다. Dancer 시퀀스에서 6개의 종래의 알고리즘과 제안된 알고리즘의 평균 PSNR 값들은 각각 34.88dB, 35.75dB, 35.91dB, 35.89dB 및 36.12dB이다. 도 5 및 도 6은 제안된 알고리즘에 의해 깊이 맵이 업샘플되어 생성된 가상 뷰가 인공물이 덜 있음을 보여준다. 특히, 도 5에서 사람의 머리 위의 고스트 인공물들은 사라지고, 팔꿈치는 엣지가 보존되면서 부드럽다. 추가적으로, 도 6에서 본 발명은 여자의 머리 주위의 지그재그 인공물이 줄어듦을 보인다.

5. 결론

본 발명은 새로운 깊이 업샘플러인 JABDU를 제안한다. JABDU 방법은 두 파라미터, 적응형 스무딩과 컨트롤을 특징으로 한다. 두 파라미터는 부적절한 컬러 이미지의 사용을 줄인다. 이는 이웃 픽셀 가중치의 동적 범위를 컨트롤 함에 의해 그리고, 결여 픽셀의 반대면의 픽셀은 능률적으로 제거하며, 텍스쳐 카핑과 흐린 현상을 완화시킴에 의해 이루어진다. 본 발명의 실험 결과는 제안된 업샘플러가 종래 기술에 비하여 업샘플된 깊이 맵의 품질을 향상시킴을 보여준다. 따라서, 본 발명의 제안된 방법은 개선된 해결방법에 의해 고품질의 깊이 맵을 생성한다.

이상에서 설명된 본 발명의 업샘플링 방법의 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

Claims (7)

1. 삭제
2. 디지털 촬영장치에서 비디오 신호를 깊이 업샘플링하는 방법에 있어서,
   이중 선형 보간을 통해 시간적 업샘플된 깊이 맵을 획득하는 단계;
   엣지 검출 필터를 이용하여 현재 픽셀의 그래디언트를 계산하는 단계;
   상기 픽셀이 엣지 영역에 속하는지 판단하는 단계;
   상기 픽셀이 엣지 영역에 속하는 경우, 공동 적응형 양측 깊이 업샘플러를 실행하는 단계; 및
   상기 픽셀에 대한 최종 가중치를 계산하여 업샘플된 깊이 맵을 획득하는 단계를 포함하는 것을 특징으로 하며,
   상기 공동 적응형 양측 깊이 업샘플러를 실행하는 단계는,
   상기 이중 선형 보간과 컬러 이미지 각각에 의해서 획득된 임시로 업샘플된 깊이 맵의 현재 위치 p를 중심으로 하는 윈도우를 두 개의 맵으로 분할하는 단계;
   상기 분할된 맵의 일치율을 추정하는 단계;
   상기 일치율에 기초하여 스무딩 파라미터를 변경하는 단계; 및
   제어 파라미터를 이용하여 상기 현재 픽셀 p가 속하는 영역의 평균에 가까운 픽셀들에 가중치를 할당하는 단계를 포함하는 것을 특징으로 하는, 깊이 업샘플링 방법.
3. 제2항에 있어서, 상기 분할 맵을 생성하는 단계는,
   상기 컬러 이미지와 깊이 맵의 평균을 계산하고, 그들을
   

   

   와 같은 방정식을 이용하는 두 영역으로 분류하며, 여기서 j는 윈도우 내 픽셀의 인덱스를 나타내고, q_j는 그것에 상응하는 위치이며,

   

   는 q_j에서 픽셀의 컬러 강도이고,

   

   는 컬러 이미지의 윈도우 내 픽셀의 평균인 것을 특징으로 하는, 깊이 업샘플링 방법.
4. 제2항에 있어서, 상기 일치율은,
   

   

   로 구해지고, 여기서 SAD는 앱솔루트 디퍼런스(absolute difference)의 합이고, N²는 윈도우 사이즈이며, S_C와 S_D는 분할된 맵인 것을 특징으로 하는, 깊이 업샘플링 방법.
5. 제2항에 있어서, 상기 일치율에 기초하여 스무딩 파라미터를 변경하는 단계는,
   

   

   로 구하고,
   여기서

   

   는 적응적 스무딩 파라미터이고,

   

   는 분할된 두 맵의 일치율이며,

   

   는 깊이 강도를 위한 고정된 스무딩 파라미터인 것을 특징으로 하는, 깊이 업샘플링 방법.
6. 제2항에 있어서, 상기 제어 파라미터는,
   상기 엣지의 반대 방면의 픽셀의 가중치를 제외하기 위해 이용되고,
   

   

   로 구해지며, 여기서

   

   는 윈도우 내 픽셀들의 평균이고,

   

   는 현재 픽셀이 속한 영역 내 픽셀들의 평균이고,

   

   는 분할된 두 맵의 일치율인 것을 특징으로 하는, 깊이 업샘플링 방법.
7. 디지털 촬영장치에서 비디오 신호를 깊이 업샘플링하는 방법에 있어서,
   이중 선형 보간을 통해 시간적 업샘플된 깊이 맵을 획득하는 단계;
   엣지 검출 필터를 이용하여 현재 픽셀의 그래디언트를 계산하는 단계;
   상기 픽셀이 엣지 영역에 속하는지 판단하는 단계;
   상기 픽셀이 엣지 영역에 속하는 경우, 공동 적응형 양측 깊이 업샘플러를 실행하는 단계; 및
   상기 픽셀에 대한 최종 가중치를 계산하여 업샘플된 깊이 맵을 획득하는 단계를 포함하는 것을 특징으로 하며,
   상기 업샘플된 깊이 맵을 획득하는 단계는,
   

   

   
   여기서, D_p는 현재 픽셀 p가 속하는 업샘플된 깊이 맵이고,
   

   

   이며, p는 보간될 현재 픽셀 위치이고, k_p는 정규화 파라미터이다. 윈도우 사이즈는 5×5로 설정되고, 싱글 윈도우가 적용되며, 모든 외부값은 제로로 설정되고,

   

   는 깊이 강도를 위한 스무딩 파라미터로 고정되며,

   

   는 적응적으로 정의되고, I_p는 p의 컬러 강도이고,

   

   는 q_j에서 픽셀의 컬러 강도이며, ε_ρ는 제어 파라미터인 것을 특징으로 하는, 깊이 업샘플링 방법.

Images