KR101655036B1 - 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템 - Google Patents

Abstract

애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템이 제시된다. 애너글리프 영상 복원 및 깊이 지도 생성 방법은 애너글리프(anaglyph) 영상을 입력 받는 단계; 상기 애너글리프 영상으로부터 색상 채널을 분리하여 추출하는 단계; 소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여 애너글리프 스테레오 정합을 수행하는 단계; 깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 상기 애너글리프 영상을 색채화하는 단계; 및 상기 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 상기 깊이 지도(depth map)를 보정하는 단계를 포함할 수 있다.

Description

애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템{Method and System for Generating Anaglyph Image Reconstruction and Depth Map}

아래의 실시예들은 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템에 관한 것이다. 더욱 상세하게는, 정확한 깊이 지도(depth map)를 생성하고 색채화하는 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템에 관한 것이다.

3D 기술은 연구 분야와 산업 분야 모두에서 많은 발전을 이루고 있다. 가전제품에서 편광필터 안경과 셔터 안경은 3D TV 또는 입체 극장에서 이용되어 이용자에게 입체영상의 감상 환경을 제공하였다. 더욱 고전적인 방법은 적/청 안경을 이용한 애너글리프(anaglyph) 방식이며, 좌우 영상을 적/청 필터를 통해 좌/우 안에 통과시켜 입체 영상을 구현한다. 애너글리프(anaglyph)는 색상 차를 이용해 3D 영상을 구현하는 것으로, 편광 필터 방식과 셔터 안경 방식에 비해 저비용으로 구현 가능하므로 3D 입체 비디오 또는 영상을 간편하게 구현하는데 자주 사용된다.

애너글리프(anaglyph) 영상은 일반적으로 왼쪽 영상으로부터 획득한 적색(적색 채널)과 오른쪽 영상으로부터 획득한 청록색(청색과 녹색 채널)으로 구성되어 있는 영상이다. 결과적으로, 왼쪽 영상의 청록색 정보와 오른쪽 영상의 적색 정보가 사라졌으므로, 애너글리프 영상에 전통적인 영상처리나 컴퓨터비전 알고리즘들을 적용하기가 어려울 수밖에 없다.

일반적인 스테레오 정합 방식은 장면의 같은 지점에 대해서는 비슷한 색상 값을 가진다는 가정에 기반한다. 그러나 애너글리프 스테레오 정합은 색상 채널들의 반이 완전히 사라졌으므로 이러한 가정을 만족하지 못한다. 현재까지 애너글리프 영상에 대해 정확한 깊이 지도(depth map)를 취득할 수 있는 알고리즘은 제안되지 않았다.

1. Y. Boykov, O. Veksler, and R. Zabih. Fast approximate energy minimization via graph cuts. IEEE Trans. on Pattern Analysis and Machine Intelligence, 23(11):1222-1239, Nov. 2001. 2 2. L. Hong and G. Chen. Segment-based stereo matching using graph cuts. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages I-74-I-81, 2004. 3, 5 3. A. Joulin and S. B. Kang. Recovering stereo pairs from anaglyphs. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 289-296, 2013. 1, 2, 6,7 4. J. Kim, V. Kolmogorov, and R. Zabih. Visual correspondence using energy minimization and mutual information. In Proc. of IEEE International Conference on Computer Vision, pages 1033-1040, 2003. 2, 6 5. A. Levin, D. Lischinski, and Y. Weiss. Colorization using optimization. ACM Transactions on Graphics, 23(3):689-694, Aug. 2004. 2, 5 6. H. S. Lin, C. L. Zheng, Y. H. Lin, and M. Ouhyoung. Optimized anaglyph colorization. In Proc. of SIGGRAPH Asia 2010 Technical Briefs, 2012. 1, 2, 6, 7 7. C. Liu, J. Yuen, A. Torralba, J. Sivic, and W. T. Freeman. Sift flow: Dense correspondence across different scenes. In Proc. of the European Conference on Computer Vision (ECCV): Part III, pages 28-42, 2008. 1, 2, 6, 7 8. K.-J. Yoon and I. S. Kweon. Adaptive support-weight approach for correspondence search. IEEE Trans. on Pattern Analysis and Machine Intelligence, 28(4):650-656, Apr.2006. 9. R. Zabih and J. Woodfill. Non-parametric local transform for computing visual correspondence. In Proc. of European Conference on Computer Vision, pages 151-158, 1994.

실시예들은 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템에 관하여 기술하며, 보다 구체적으로 애너글리프(anaglyph) 영상으로부터 깊이 지도(depth map)와 색상을 복원한 영상들을 동시에 취득하기 위한 스테레오 정합과 색채화(colorization)하는 기술을 제공한다.

실시예들은 정확한 깊이 지도(depth map)를 취득하기 위해 부분 색상 프라이어(local color prior)와 역 강도 분포(reverse intensity distribution)를 이용하여 두 개의 새로운 애너글리프 데이터 값(data cost)를 제안함으로써, 정확한 깊이 지도(depth map)를 계산할 수 있을 뿐만 아니라 동시에 손실된 애너글리프 영상의 색상 정보를 복원하는 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템을 제공하는데 있다.

일 실시예에 따른 애너글리프 영상 복원 및 깊이 지도 생성 방법은 애너글리프(anaglyph) 영상을 입력 받는 단계; 상기 애너글리프 영상으로부터 색상 채널을 분리하여 추출하는 단계; 소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여 애너글리프 스테레오 정합을 수행하는 단계; 깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 상기 애너글리프 영상을 색채화하는 단계; 및 상기 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 상기 깊이 지도(depth map)를 보정하는 단계를 포함한다.

여기서, 상기 애너글리프 스테레오 정합을 수행하는 단계는 상기 부분 색상 프라이어(local color prior)를 이용한 적응적 데이터 값(adaptive data cost)과, 상기 역 강도 분포(reverse intensity distribution)을 이용한 개선된 센서스 데이터 값(modified census data cost)을 구하는 단계; 및 패치(patch)에 따라 나타나는 각 데이터 값의 모호성을 제거하기 위해 상기 적응적 데이터 값과 상기 개선된 센서스 데이터 값을 통합하여, 상기 애너글리프 스테레오 정합을 수행하는 단계를 포함할 수 있다.

상기 애너글리프 영상을 색채화하는 단계는 상기 두 개의 영상에서 가려진 지역을 찾기 위해 왼쪽과 오른쪽의 일관성을 확인하는 단계; 상기 깊이 지도(depth map)를 이용하여 가려짐이 없는 영역에 대해 하나의 영상에서 다른 영상으로 색상 정보를 전파하는 단계; 및 상기 애너글리프 영상을 색채화하기 위해 상기 가려짐이 없는 영역에서 획득된 디스패리티 값들을 이용하여 확산(diffusion)에 의해 가려짐이 있는 영역의 화소들을 채색하여 상기 애너글리프 영상을 색채화하는 단계를 포함할 수 있다.

상기 애너글리프 영상을 색채화하는 단계는 상기 애너글리프 영상의 경계에서 상기 가려짐이 있는 영역의 화소들을 위한 색상의 유사성에 기반을 둔 가중치 커널 함수를 사용하여 정확한 색채화를 수행할 수 있다.

다른 실시예에 따른 애너글리프 영상 복원 및 깊이 지도 생성 시스템은 애너글리프(anaglyph) 영상을 입력 받는 영상 입력부; 상기 애너글리프 영상으로부터 색상 채널을 분리하여 추출하는 색상 채널 추출부; 소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여, 애너글리프 스테레오 정합을 수행하는 애너글리프 스테레오 정합부; 깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 상기 애너글리프 영상을 색채화하는 애너글리프 영상을 색채화부; 및 상기 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 상기 깊이 지도(depth map)를 보정하는 색채화된 스테레오 영상 제공부를 포함한다.

여기서, 상기 애너글리프 스테레오 정합부는 상기 부분 색상 프라이어(local color prior)를 이용한 적응적 데이터 값(adaptive data cost)을 구하는 부분 색상 프라이어(local color prior)부; 상기 역 강도 분포(reverse intensity distribution)을 이용한 개선된 센서스 데이터 값(modified census data cost)을 구하는 역 강도 분포(reverse intensity distribution)부; 및 패치(patch)에 따라 나타나는 각 데이터 값의 모호성을 제거하기 위해 상기 적응적 데이터 값과 상기 개선된 센서스 데이터 값을 통합하여, 상기 애너글리프 스테레오 정합을 수행하는 데이터 값 통합부를 포함할 수 있다.

상기 애너글리프 영상을 색채화부는 상기 두 개의 영상에서 가려진 지역을 찾기 위해 왼쪽과 오른쪽의 일관성을 확인하고, 상기 깊이 지도(depth map)를 이용하여 가려짐이 없는 영역에 대해 하나의 영상에서 다른 영상으로 색상 정보를 전파하며, 상기 애너글리프 영상을 색채화하기 위해 상기 가려짐이 없는 영역에서 획득된 디스패리티 값들을 이용하여 확산(diffusion)에 의해 가려짐이 있는 영역의 화소들을 채색하여 상기 애너글리프 영상을 색채화할 수 있다.

실시예들에 따르면 정확한 깊이 지도(depth map)를 취득하기 위해 부분 색상 프라이어(local color prior)와 역 강도 분포(reverse intensity distribution)를 이용하여 두 개의 새로운 애너글리프 데이터 값(data cost)를 제안함으로써, 정확한 깊이 지도(depth map)를 계산할 수 있을 뿐만 아니라 동시에 손실된 애너글리프 영상의 색상 정보를 복원하는 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템을 제공할 수 있다.

도 1은 일 실시예에 따른 애너글리프 영상 복원 시스템에 대해 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 애너글리프 영상 복원 방법을 순차적으로 나타내는 흐름도이다.
도 3은 일 실시예에 따른 데이터 안에 하나의 부분 의사 색상(pseudo color)의 재복원을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 데이터 안에 하나의 부분 데이터 값(data cost) 곡선을 비교하여 나타낸 도면이다.
도 5는 일 실시예에 따른 각 데이터 값(data cost)의 디스패리티 지도를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 각 패치(patch) 쌍의 값을 곡선으로 나타내는 도면이다.
도 7은 일 실시예에 따른 영상의 중간단계의 디스패리티 결과를 나타낼 수 있다.
도 8 내지 도 12는 일 실시예에 따른 알고리즘과 기존 기술을 비교하여 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

실시예들은 애너글리프(anaglyph) 영상으로부터 깊이 지도(depth map, 또는 disparity map)와 색상을 복원한 영상들을 동시에 취득하기 위한 스테레오 정합과 색채화(colorization)하는 기술을 제안한다.

애너글리프 영상은 좌, 우 영상에서 절반의 색상 채널이 사라졌기 때문에 기존의 영상 정합 알고리즘들은 잘 동작하지 않는다. 이에, 실시예들은 정확한 깊이 지도(depth map)를 취득하기 위해 부분 색상 프라이어(local color prior)와 역 강도 분포(reverse intensity distribution)를 이용하여 두 개의 새로운 애너글리프 데이터 값(data cost)을 나타낼 수 있다. 또한, 애너글리프 영상을 색채화하기 위해 가려짐이 없는 영역에서 획득된 디스패리티(disparity) 값들을 이용하여 한 시점에서의 화소의 색상을 다른 시점으로 변환할 수 있다. 특히, 최적화한 색채화 알고리즘은 가려짐이 있는 영역을 채색하기 위해 추가적인 제약 조건을 함께 사용할 수 있다. 실험 결과, 실시예들에 따른 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템은 다양한 애너글리프 영상에 대해 정확한 깊이 지도(depth map)를 생성하고 색채화될 수 있다.

본 실시예에서는 정확한 깊이 지도(depth map)를 계산할 수 있을 뿐만 아니라 동시에 손실된 애너글리프 영상의 색상 정보를 복원하는 효율적인 알고리즘을 제안할 수 있다.

도 1은 일 실시예에 따른 애너글리프 영상 복원 시스템에 대해 개략적으로 나타내는 도면이다.

도 1을 참조하면, 애너글리프 영상 복원 시스템(100)은 애너글리프 스테레오 정합과 색채화를 위한 알고리즘을 포함하며, 부분 색상 프라이어(local color prior)와 역 강도 분포(reverse intensity distribution)에 기반하여 최적화를 위한 두 개의 데이터 값(data cost)를 제공할 수 있다.

애너글리프 영상 복원 시스템(100)은 영상 입력부(110), 색상 채널 추출부(120), 애너글리프 스테레오 정합부(130), 애너글리프 영상을 색채화부(140), 및 색채화된 스테레오 영상 제공부(150)를 포함할 수 있다.

영상 입력부(110)는 애너글리프(anaglyph) 영상을 입력 받을 수 있다.

색상 채널 추출부(120)는 영상 입력부(110)에서 입력 받은 애너글리프 영상으로부터 색상 채널을 분리하여 추출할 수 있다.

애너글리프 스테레오 정합부(130)는 소실된 색상 채널의 색상 복원을 위하여 소실된 부분인 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여, 애너글리프 스테레오 정합을 수행할 수 있다.

여기서, 애너글리프 스테레오 정합부(130)는 부분 색상 프라이어(local color prior)부(131), 역 강도 분포(reverse intensity distribution)부(132), 및 데이터 값 통합부(133)를 포함할 수 있다.

더 구체적으로, 부분 색상 프라이어(local color prior)부(131)는 부분 색상 프라이어(local color prior)를 이용한 적응적 데이터 값(adaptive data cost)을 구할 수 있다.

역 강도 분포(reverse intensity distribution)부(132)는 역 강도 분포(reverse intensity distribution)를 이용한 개선된 센서스 데이터 값(modified census data cost)을 구할 수 있다.

데이터 값 통합부(133)는 패치(patch)에 따라 나타나는 각 데이터 값의 모호성을 제거하기 위해 적응적 데이터 값과 개선된 센서스 데이터 값을 통합하여, 애너글리프 스테레오 정합을 수행할 수 있다.

애너글리프 영상을 색채화부(140)는 깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 애너글리프 영상을 색채화할 수 있다.

애너글리프 영상을 색채화부(140)는 두 개의 영상에서 가려진 지역을 찾기 위해 왼쪽과 오른쪽의 일관성을 확인하고, 깊이 지도(depth map)를 이용하여 가려짐이 없는 영역에 대해 하나의 영상에서 다른 영상으로 색상 정보를 전파할 수 있다. 그리고, 애너글리프 영상을 색채화하기 위해 가려짐이 없는 영역에서 확산(diffusion)에 의해 가려짐이 있는 영역의 화소들을 채색하여 애너글리프 영상을 색채화할 수 있다.

다시 말하면, 손실된 색상을 색채화하기 위하여, 먼저 우리는 획득한 깊이 지도(depth map)를 이용하여 가려짐이 없는 영역에 대해 하나의 영상에서 다른 영상으로 색상 정보를 전파할 수 있다. 다음으로 확산(diffusion)에 기반한 색채화 알고리즘을 사용하여 가려짐이 있는 영역의 화소들을 채색할 수 있다.

이 때, 정확한 색채화를 수행하기 위해 색상의 유사성에 기반을 둔 가중치 커널 함수를 제공할 수 있다.

색채화된 스테레오 영상 제공부(150)는 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 깊이 지도(depth map)를 보정함으로써, 정확도가 높은 깊이 지도를 생성할 수 있다.

따라서, 실시예들에 따르면 정확한 깊이 지도(depth map)를 획득하기 위한 반복적인 프레임워크를 제공하고, 애너글리프 영상으로부터 색채화된 스테레오 영상을 취득할 수 있다.

그리고, 서로 다른 색상 채널의 상관관계를 위한 역 강도 분포(reverse intensity distribution)와 사라진 채널의 의사 색상 복원을 위한 부분 색상 프라이어(local color prior)를 제공할 수 있다. 또한, 조밀한 애너글리프 스테레오 정합을 위한 두 개의 데이터 값(data cost)들을 제공할 수 있다.

이하, 일 실시 형태에 따른 애너글리프 영상 복원 및 깊이 지도를 생성하는 방법을 하나의 실시 예를 통해 상세히 설명하기로 한다.

도 2는 일 실시예에 따른 애너글리프 영상 복원 방법을 순차적으로 나타내는 흐름도이다.

단계(210)에서, 일 실시예에 따른 애너글리프 영상 복원 방법은 애너글리프(anaglyph) 영상을 입력 받을 수 있다.

단계(220)에서, 애너글리프 영상으로부터 색상 채널을 분리하여 추출할수 있다.

단계(230)에서, 소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여 애너글리프 스테레오 정합을 수행할 수 있다.

여기서, 애너글리프 스테레오 정합을 수행하는 방법은 부분 색상 프라이어(local color prior)를 이용한 적응적 데이터 값(adaptive data cost)과, 역 강도 분포(reverse intensity distribution)을 이용한 개선된 센서스 데이터 값(modified census data cost)을 구할 수 있다.

이후, 패치(patch)에 따라 나타나는 각 데이터 값의 모호성을 제거하기 위해 적응적 데이터 값과 개선된 센서스 데이터 값을 통합하여, 애너글리프 스테레오 정합을 수행할 수 있다.

단계(240)에서, 깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 애너글리프 영상을 색채화할 수 있다.

애너글리프 영상을 색채화하는 방법은, 먼저, 두 개의 영상에서 가려진 지역을 찾기 위해 왼쪽과 오른쪽의 일관성을 확인할 수 있다. 이어, 깊이 지도(depth map)를 이용하여 가려짐이 없는 영역에 대해 하나의 영상에서 다른 영상으로 색상 정보를 전파할 수 있고, 애너글리프 영상을 색채화하기 위해 가려짐이 없는 영역에서 확산(diffusion)에 의해 가려짐이 있는 영역의 화소들을 채색하여 애너글리프 영상을 색채화할 수 있다.

추가적으로, 애너글리프 영상을 색채화하는 방법에서 애너글리프 영상의 경계에서 가려짐이 있는 영역의 화소들을 위한 색상의 유사성에 기반을 둔 가중치 커널 함수를 사용하여 정확한 색채화를 수행할 수 있다.

단계(250)에서, 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 깊이 지도(depth map)를 보정하는 단계를 포함할 수 있다.

이와 같은 실시예에 따르면, 정확한 깊이 지도(depth map)를 취득하기 위해 부분 색상 프라이어(local color prior)와 역 강도 분포(reverse intensity distribution)를 이용하여 두 개의 새로운 애너글리프 데이터 값(data cost)를 제안함으로써, 정확한 깊이 지도(depth map)를 계산할 수 있을 뿐만 아니라 동시에 손실된 애너글리프 영상의 색상 정보를 복원하는 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템을 제공할 수 있다.

아래에서는 애너글리프 영상 복원 및 깊이 지도를 생성하는 시스템 및 방법에 대해 더 구체적으로 설명하기로 한다.

먼저, 애너글리프 스테레오 정합 방법에 대해 구체적으로 설명하고자 한다.

본 실시예에서 제안하는 애너글리프 스테레오 정합 알고리즘은 MAP-MRF 프레임워크에서 [비특허문헌 1] 에너지 최소 문제로 다음 식과 같이 정의될 수 있다.

여기서,

와

는 각각 화소

의 라벨과 이웃한 화소들이고,

는 화소

의 라벨

가 얼마나 적절한지를 측정하는 데이터 값(data cost)이 될 수 있다. 또한,

는 서로 인접한 화소

와 화소

에 대해서 라벨

와

가 얼마나 적절한지를 측정하는 평탄도 값(smoothness cost)이 될 수 있다.

최적의 디스패리티 값은 그래프 컷(graph cut) 알고리즘[1]을 사용하여 수학식 1에 정의된 에너지

를 최소화하는 라벨들의 집합을 얻음으로써 구할 수 있다.

기존의 연구에 의하면 특정 최적화 알고리즘보다 에너지 함수 자체의 모델링이 최적화된 결과를 얻는데 보다 중요하다고 알려져 있다. 따라서, 본 실시예에서는 애너글리프 영상을 위한 강인하고 정확한 데이터 값(data cost)를 모델링 하는데 중점을 두었다.

이를 위하여 부분 색상 프라이어(local color prior)(

)를 이용한 적응적 데이터 값과 역 강도 분포(reverse intensity distribution)(

)을 토대로 한 개선된 센서스 데이터 값(census data cost)를 나타낼 수 있다. 그 후, 상기의 데이터 값들은 분할(segmentation)에 기반한 평면 근사(plane fitting) 데이터 값(

)[비특허문헌 2]와 더해질 수 있다. 평탄도 값(smoothness cost)는 절단된 선형 값(truncated linear cost)를 이용하여 모델링 되었다. 따라서, 최종 데이터 값과 평탄도 값(smoothness cost)는 다음 식과 같이 정의될 수 있다.

여기서,

는 평탄도 데이터(smoothness data)의 가중치고,

는 디스패리티 차의 최대값이 될 수 있다. 각각의 데이터 값은 아래에서 보다 자세히 설명하기로 한다.

먼저, 부분 색상 프라이어(local color prior)를 이용한 적응적 데이터 값(adaptive data cost)에 대해 구체적으로 설명하기로 한다.

기존의 적응적 스테레오 정합은 정확한 깊이 지도(depth map)를 구하기 위하여 유사한 명암의 가정을 요구했다. 그러나 애너글리프 영상의 특성은 이 가정을 만족하지 않는다.

이에, 의사 색상의 복원(pseudo color reconstruction)을 추정하기 위해 새로운 부분 색상 프라이어(local color prior)를 제시할 수 있다. 프라이어(prior)는 색상 이동 방식을 기반으로 모델링 될 수 있다. 즉, 지역(또는 부분)적으로 색상 정보를 이동하면서 각각의 부분과 디스패리티 후보를 위해 의사 색상(pseudo color)을 복원할 수 있다. 그렇기에 각 부분은 일치하는 부분에 의존하여 각기 다른 의사 색상(pseudo color)을 가질 수 있다.

부분 색상 프라이어(local color prior)는 다음 식과 같이 정의된 가중치

와 함께 변색의 형태를 적용할 수 있다.

여기서,

와

는 각각 화소 p와 q 사이의 색상과 공간의 차이가 될 수 있다.

와

는 각각의 차이가 얼마나 가중치

에 영향을 끼치는가를 제어하는 매개변수가 될 수 있다.

그리고 적응적 평균

와 표준편차

들은 다음 식과 같이 계산될 수 있다.

여기서,

는 주어진 화소의 원본 밝기 값이 될 수 있다.

마지막으로, 의사 강도(pseudo intensity)

는 다음과 같이 계산할 수 있다.

여기서, s와 t는 원본과 대상 색상 채널들을 나타낼 수 있다.

예를 들어, 만약 왼쪽 녹색 채널의 의사 강도(pseudo intensity)를 계산하기 원하면, 왼쪽 채널을 원본 채널로 이용하고, 오른쪽 녹색 채널을 대상 패치(patch)로 이용할 수 있다(s=적색, t=녹색).

도 3은 일 실시예에 따른 데이터 안에 하나의 부분 의사 색상(pseudo color)의 재복원을 설명하기 위한 도면이다.

도 3을 참조하면, Tsukuba 데이터(각 데이터 값의 디스패리티 지도, 중앙 화소 위치 = (304, 97)) 안에 하나의 부분 의사 색상(pseudo color)의 재복원을 나타내는 것으로, 하나의 예를 들어 적어도 하나의 부분 의사 색상(pseudo color)의 복원(local color prior)을 보여줄 수 있다. (a) 왼쪽 적색 부분, (b) 오른쪽 청록색 부분들, (c) 왼쪽 의사 색상(pseudo color) 부분들, 및 (d) 오른쪽 의사 색상(pseudo color) 부분들을 나타낼 수 있다.

여기서, 왼쪽과 오른쪽 부분들 모두의 의사 색상(pseudo color)이 디스패리티 후보에 따라 달라지는 것을 반영한 것이다(즉, Tsukuba = 16 디스패리티 후보). 그러므로 최소값은 의사 색상(pseudo color)들의 적응적 데이터 값(adaptive data cost)을 측정하기 위해 원본 색상들과 함께 이용될 수 있다.

부분 색상 프라이어(local color prior)

를 이용한 적응적 데이터(adaptive data)는 다음 식과 같이 정의될 수 있다.

여기서, {L, R }과 {r, g, b}는 연속적으로 색상 채널들과 영상 위치들의 집합이 될 수 있다. 그리고

는 값의 절단 값인 T와 함께 픽셀 기반 매칭 값(pixel-based matching cost)이 될 수 있다.

도 4는 일 실시예에 따른 데이터 안에 하나의 부분 데이터 값(data cost) 곡선을 비교하여 나타낸 도면이다.

도 4를 참조하면, Tsukuba 데이터(각 데이터 값의 디스패리티 지도) 안에 하나의 부분 데이터 값(data cost) 곡선을 비교한 것으로, 적색 선은 참값을 표시할 수 있고, (a) 제안한 적응적 데이터 값(중심 화소 좌표 = (304, 97))이며, (b) 개선된 센서스 데이터 값(중심 화소 좌표 = 336, 170))을 나타낼 수 있다.

도 4a는 도 3에서 일치하는 부분들의 데이터 값 곡선과의 비교를 보여줄 수 있다. 이에 따라 적응적 데이터 값이 참값처럼 정확한 디스패리티를 얻을 수 있는 사실을 확인할 수 있다.

도 5는 일 실시예에 따른 각 데이터 값(data cost)의 디스패리티 지도를 설명하기 위한 도면이다.

도 5를 참조하면, 각 데이터 값(data cost)의 디스패리티 지도(Tsukuba 데이터)를 나타내는 것으로, (a)는 왼쪽 적색 영상이고 (b)는 오른쪽 청록색 영상이며, (c)는 제안한 적응적 데이터 값의 결과를 나타낼 수 있다. 또한, (d)는 기존의 적응적 데이터 값의 결과[비특허문헌 8]이고, (e)는 제안하는 센서스 데이터 값(census data cost)이며, (f)는 기존의 센서스 데이터 값(census data cost)의 결과[비특허문헌 9]를 나타낼 수 있다.

도 5c 및 5d는 기존의 적응적 스테레오 정합과 함께 깊이 지도(depth map)들의 비교를 나타내는 것으로, 제안된 데이터 값의 획득으로 부분 색상 프라이어(local color prior)가 밝기 유사성 가정을 만족하기 때문에 이런 결과를 얻을 수 있는 것이다.

계속해서, 역 강도 분포(reverse intensity distribution)를 토대로 한 개선된 센서스 데이터 값(modified census data cost)에 대해 구체적으로 설명하기로 한다.

애너글리프 영상은 다른 시점에서 본 색상 채널들로 구성될 수 있다. 이는 다른 색상 채널들의 연관성을 계산하는 것으로 유용한 인자로서 의미가 있다. 각 색상 채널의 경우, 상대적인 밝기 분포를 획득하기 위해 개선된 센서스 필터링(modified census filtering)을 수행할 수 있다. 필터 출력

은 하나의 채널 영상 I의 주어진 화소 p, p가 중심인 로컬 창(Local window)

에서 p의 밝기와 비교하여 어둡고 밝은 화소들의 수로 계산할 수 있다.

필터 출력의 수학적인 공식은 다음 식과 같이 나타낼 수 있다.

여기서,

는 중앙 화소 p의 밝기이다. 결과적으로 필터 출력

는 p에서 밝기 분포를 나타내고, 이는 p가 화소들의 밝은 집단(즉,

= 1) 또는 화소들의 어두운 집단(즉,

= 0)에 속하는 것을 나타낼 수 있다.

각각 3개의 색상 채널에서 필터링 작업을 수행한 후 색상 채널들의 동일한 쌍의 필터링된 화소 값(예컨대 적색에서 녹색과 적색에서 청색)을 비교할 수 있다. 만약 주어진 화소 위치에서 값이 동일하다면, 두 개 채널들은 해당 화소에서 일관된 밝기 분포를 나타내며 반대의 경우 상대적인 밝기를 가질 수 있다. 이는, 화소 사이에 지역 밝기/어두움 관계가 역의 관계임을 나타내는 것으로 볼 수 있으며, 역 강도 분포(reverse intensity distribution)라 할 수 있다.

채널 간의 정확히 교차하는 상관 값을 구하기 위해, 상기의 인자를 기반으로 한 개선된 센서스 데이터 값(modified census data cost)를 나타낼 수 있다. 색상 채널들의 각 쌍에 대해 다음의 두 개의 데이터 값을 측정할 수 있다. 즉, 역(reverse) 데이터 값

와 비역(non-reverse) 데이터 값

을 측정할 수 있다. 그 후 최종 개선된 센서스 데이터 값(modified census data cost)

은 아래와 같이 최소한의 데이터 값을 선택하여 얻을 수 있다.

여기서, RG(red-green), RB(red-blue)는 교차된 색상 채널 쌍들의 집합이 될 수 있다.

도 4b에 도시된 바와 같이, 제안하는 센서스 데이터 값(census data cost)은 참값 디스패리티에서 더 작은 값을 도출할 수 있다.

시각적인 비교 결과에 따르면, 개선된 센서스 데이터 값(modified census data cost)이 역 강도 분포(reverse intensity distribution) 인자(factor)가 발생하는 지역(regions, 또는 영역)에서 더 나은 결과를 나타낼 수 있다.

추가로, 더욱 정확한 결과를 얻기 위하여 분할에 기반한 평면 근사(segmentation-based plane fitting) 데이터 값을 데이터 값의 약한 제약으로 사용할 수 있다[2]. 분할에 기반한 평면 근사(segmentation-based plane fitting)

을 이용한 데이터 값은 다음 식과 같이 정의할 수 있다.

여기서,

는 화소 p가 속한 부분 s의 3D 상의 매개변수를 나타내고

는 화소 p의 x, y축 좌표가 될 수 있다.

는 분할에 기반한 평면 근사(segmentation-based plane fitting) 데이터 값을 위한 정규화 매개변수를 나타낼 수 있다. 분할에 기반한 평면 근사(segmentation-based plane fitting) 데이터 값의 세부사항은 [비특허문헌 2]에서 참조할 수 있다.

아래에서는 위에서 설명한 데이터 값들을 통합할 수 있다.

패치(patch)에 따라 각각의 데이터 값은 값의 모호성을 가지므로 적어도 두 개 이상의 새로운 데이터 값들의 통합을 수행함으로써, 데이터 값의 모호성을 제거할 수 있다. 센서스 데이터 값(census data cost)의 모호성은 상대적으로 비슷한 패치(patch) 밝기 순서일 경우에 나타날 수 있다. 대조적으로 적응적 데이터 값(adaptive data cost)은 높은 가중치 값을 갖는 비슷한 공간의 구조일 때 모호성을 가질 수 있다.

따라서 새로운 통합 방식으로, 적어도 두 개 이상의 데이터 값을 이용하여 값의 평균을 계산할 수 있다.

도 6은 일 실시예에 따른 각 패치(patch) 쌍의 값을 곡선으로 나타내는 도면이다.

도 6을 참조하면, 새로운 통합 방식을 통해 모호성이 제거되는 것을 확인할 수 있다. 마지막으로 매끄러운 깊이 지도(depth map)들을 얻기 위해 값(cost)을 최적화할 수 있다. 영상은 처음 최적화 반복 단계부터 복원되므로 더욱 정확한 값을 얻기 위해 적응적(adaptive) 데이터 값과 센서스 데이터 값(census data cost)을 제안한 데이터 값과 함께 사용할 수 있다.

도 7은 일 실시예에 따른 영상의 중간단계의 디스패리티 결과를 나타낼 수 있다.

도 7을 참조하면, 영상의 중간단계 디스패리티 결과들을 나타내는 것으로, (a)는 통합된 데이터 값의 결과를 나타내는 것이고, (b)는 첫 번째 반복 결과를 나타내는 것이며, (c)는 다섯 번째 반복 결과를 나타내는 도면이다.

아래에서는 애너글리프 색채화에 대해 구체적으로 설명하기로 한다.

애너글리프 색채화는 가려지지 않은 지역의 디스패리티 값들을 사용하여 수행할 수 있다. 먼저, 두 개의 영상에서 가려진 지역을 찾기 위해 왼쪽-오른쪽의 일관성 확인을 수행할 수 있다. 깊이 지도(depth map)를 사용하여 알려진 색상 채널의 화소를 가려진 지역의 영상으로 전파할 수 있다. 가려진 지역 안의 화소들은 대응하는 영상에 존재하지 않기 때문에 전파되지 않는다.

남은 가려진 화소들을 색채화하기 위해 Levin의 색채화 알고리즘 [비특허문헌 5]을 향상시킨 새로운 최적화 방법을 이용할 수 있다. 정확성을 향상을 위해 영상의 경계에서 가려진 화소들을 위한 새로운 유사성 가중치 커널에 기반을 둔 추가적인 제약을 제안할 수 있다. 예를 들어, 경계 지역 B 안에 가려진 지역의 화소들은 지정된 윈도우(15×가로) 안에 가장 유사한 부분(5×5)을 템플레이트 매칭(template matching)을 사용하여 계산할 수 있다. 그 후 분산 에너지 함수는 다음 식과 같이 정의할 수 있다.

여기서,

는 색채화 할 색상채널 화소 p의 값이고,

는 화소 p, q 사이의 색채화 가중치,

는 색상 한계점이 될 수 있다.

는 0 또는 1의 값을 가지는 가능여부를 판단하는 함수가 될 수 있다. 또한,

는 화소 p의 가장 유사한 부분으로부터 9×9 이웃한 화소들이다.

을 최소화하기 위해 스파스 선형 시스템(sparse linear system)을 위한 최소 제곱(least-square)법을 사용할 수 있다.

기존 가중치 커널 함수는 영상 중앙 주위의 가리어진 화소를 정확하게 색채화할 수 있다. 그러나 오직 하나의 영상 안에서 나타나는 영상 경계 주위에는 부정확한 색채화가 나타날 수 있다. 획득한 깊이 지도(depth map)가 좋은 결과를 나타낼 경우 추가적인 제약은 향상된 결과를 보일 수 있다. 이러한 결과들은 에너지 최적화 단계 시 유사한 패치(patch)와 화소를 함께 고려함으로써 얻을 수 있다.

본 실시예들에 따른 제안된 알고리즘은 예를 들어 8GB RAM을 탑재한 Intel i7 4770 @ 3.4GHz 환경에서 실험할 수 있다.

애너글리프 영상은 왼쪽 영상으로부터 적색 채널, 오른쪽 영상으로부터 녹색/청색 채널들을 추출하여 생성할 수 있다. 정밀한 측정을 위해 정량적인 측정으로 잘 알려진 미들버리 데이터셋(Middlebury dataset)과 FhGHHI 3D 비디오 데이터베이스를 사용할 수 있고, 스테레오 프레임들은 서비스 중인 3D TV 방송에서 획득할 수 있다. 특히, 정략적 측정을 위해 디스패리티와 색상 두 개의 참값은 가진 미들버리 데이터셋(Middlebury dataset)을 이용할 수 있다.

실험에서 데이터 값들을 계산하기 위한 윈도우 크기는 19×19를 이용할 수 있다. 또한,

그리고

= 5로 설정할 수 있다. 반복 횟수는 5번으로 설정할 수 있으며, mean-shift segmentation을 위한 매개변수로서 (

) = (5, 5, 20),

,

와

는 각각 색상 대역폭, 공간의 대역폭, 최소 지역의 크기로 고정할 수 있다. 알고리즘은 C++를 사용하여 구현할 수 있으나, 몇몇의 복잡한 계산을 갖는 함수들은 GPU에서 병렬처리로 구현할 수도 있다.

추가적으로, 일 실시예에 따른 애너글리프 스테레오 정합의 정확성을 평가하기 위해 다음과 같은 프레임워크를 제안할 수 있다.

도 8은 일 실시예에 따른 스테레오 정합을 비교하여 나타내는 도면이다.

먼저, MI [비특허문헌 4]과 센서스 데이터 값(census data cost) [비특허문헌 9]과 같이 조명 변화에 불변하는 잘 알려진 데이터 값들을 비교할 수 있다. 공정한 비교를 위해 각 데이터 값은 본 실시예에서 제안한 최적화 방식으로 구현할 수 있다. 더 나아가, Lin의 알고리즘 [비특허문헌 6]의 실험한 결과와 비교할 수도 있다. 추가적으로 최신 애너글리프 색채화[비특허문헌 3] 스테레오 정합 알고리즘인 SIFT flow map[비특허문헌 7]을 사용하여 비교할 수 있다.

도 8을 참조하면, 디스패리티 결과의 시각적인 비교를 보여주는 것으로, 제안된 방법과 기존의 접근들 사이 스테레오 정합 비교하여 나타낼 수 있다. 여기서, (a)는 참값이고, (b)는 Lin의 결과[6], (c)는 MI의 결과[4], (d)는 Census+GC의 결과[9], (e)는 SIFT flow의 결과[7]를 나타내며, (f)는 본 실시예에서 제안하는 기법의 결과를 나타낼 수 있다.

이와 같이, 디스패리티 결과는 기존 다른 방법들과 비교하여 제안된 알고리즘이 더 정확한 디스패리티 정보를 나타내는 것을 보이며, 이를 통해 우수성을 증명할 수 있다.

표 1은 불량 화소 백분율의 비교를 나타낼 수 있다.

표 1을 참조하면, 불량 화소 백분율은 각각의 영상에서 양적으로 디스패리티 오류를 측정하여 계산할 수 있다. 조명 변화에 불변하는 데이터 값(MI와 Census)은 교차하는 채널 상관관계의 의존성이 높아 애너글리프 영상 안에서 정상적으로 작용하지 않았다. 반면, Lin의 알고리즘[6]은 조명 변화에 불변하는 데이터 값보다 나은 수행결과를 보였지만 교차하는 색상 채널들이 역 강도 분포(reverse intensity distribution)를 가질 경우 성능저하를 보였다. 비슷하게 SIFT flow 역시 부정확한 일치 지도를 나타냈다.

따라서 실시예들에 따르면 정확한 디스패리티 결과들을 진행한 애너글리프 스테레오 정합 알고리즘을 구현할 수 있다.

도 10a와 도 10b는 SIFT flow와 제안된 방식 사이에 일치하는 지도의 확대한 버전을 비교한 것이다.

또한, 일 실시예에 따른 애너글리프 색채화 알고리즘을 평가하기 위해 재복원 영상과 참값의 유사성을 피크 신호대잡음비(Peak Signal-to-Noise-Ration; PSNR)를 이용하여 계산할 수 있다.

알고리즘은 최신 애너글리프 색채화 알고리즘[비특허문헌 3, 6]과 비교할 수 있다.

표 2는 제안된 방법과 각 다른 방법의 PSNR 값을 보여줄 수 있다.

표 2를 참조하면, 해당 결과를 통해 제안한 알고리즘이 압도적인 비교적 정확성을 보이는 것을 확인할 수 있다.

도 9는 일 실시예에 따른 기존 애너글리프 색채화 방법들과 제안한 방법의 시각적인 결과를 나타내는 도면이다.

도 9를 참조하면, 제안된 프레임워크와 기존의 방법 사이의 채색 결과를 비교한 것으로, (a)는 Lin[6]의 결과, (b)는 Lin의 차이 지도, (c)는 Joulin[3]의 결과, (d)는 Joulin의 차이 지도이며, (e)는 제안하는 기법의 결과를 나타내고, (f)는 제안된 방법의 차이 지도를 나타내는 도면이다.

도 9(b), (d), (e)를 참조하면, 각 결과와 참값 사이의 차이 지도(difference map)(두 배로 스케일링 한 것)이고, 이를 통해 제안된 방법이 비교적 가장 작은 차이를 보이는 것을 확인할 수 있다. 더 나은 시각적 비교를 위해 전자 모니터로 결과를 통해 비교할 수도 있다.

Lin의 알고리즘 [6]과 Joulin의 알고리즘 [3]은 작은 디스패리티 값들을 가진(즉, Tsukuba and Venus) 스테레오 영상들에서는 참값과 비슷한 채색결과를 보인다. 그러나 큰 디스패리티 값들을 가진 스테레오 영상들에서는 높은 디스패리티 후보의 값(cost) 모호성에 의해 큰 차이를 보인다(Cones and Teddy). 또한, 두 알고리즘은 영상 간 대응하는 추정결과에 높은 의존성을 보이므로 역 강도 분포(reverse intensity distribution) 지역에서 역시 큰 차이를 보인다.

한편, 일 실시예에 따른 제안하는 프레임워크는 일반적인 스테레오 영상들에서 더 정확한 채색 결과를 제공할 수 있다.

도 10은 일 실시예에 따른 대응 지도와 재복원 색상 영상들을 비교하여 나타내는 도면이다.

도 10을 참조하면, Joulin의 알고리즘 [3]와 본 실시예에 따른 제안된 방법(확대 지역) 사이에 대응 지도와 재복원 색상 영상들의 비교한 것으로, (a)는 SIFT 흐름의 디스패리티 지도[7], (b) 제안하는 기법의 디스패리티 지도, (c) Joulin의 채색 결과[3], (d) 본 실시예에 따른 제안하는 기법의 채색 결과를 나타낼 수 있다.

특히, 도 10c와 도 10d는 채색 비교의 확대 버전을 보여준다.

애너글리프 채색의 최신 방법[2] 역시 정확한 깊이 지도(depth map)를 획득의 실패로 원본 색상 복원을 하지 못했다. 그러나 일 실시예에 따른 제안한 방법을 이용하면 정확한 깊이 지도(depth map)를 계산을 통해 다른 방법들보다 정확한 결과를 제공할 수 있다.

추가적으로, 도 11 및 도 12는 실제 데이터셋(dataset)에서의 결과를 보여준다. 도 11 및 도 12를 참조하면, 제안된 방법이 다양한 실제 영상에서 여전히 안정적이고 두드러진 성능을 보여주고 있음을 증명할 수 있다.

도 11을 참조하면, 실체 영상에서 디스패리티 및 채색 결과 비교한 것으로, (a) 입력 왼쪽 영상, (b) 입력 오른쪽 영상, (c) 제안하는 기법의 디스패리티 지도, (d) MI의 결과[4], (e) Census+GC의 결과[9], (f) 제안하는 기법의 채색 결과, (g) Joulin의 차이 지도[3], (h) Lin의 차이 지도[6]를 나타낼 수 있다.

도 12를 참조하면, 실제 영상에서 애너글리프 영상 재복원을 나타내는 것으로, (a) 입력 왼쪽 영상, (b) 디스패리티 지도, (c) 제안된 방법의 재복원 색상 영상을 나타낼 수 있다.

이와 같이, 실시예들에 따르면 애너글리프 영상들에서의 깊이 지도(depth map)와 손실된 색상 정보를 재복원하는 결합 반복적인 방법을 구현할 수 있으며, 밀집된 스테레오 정합 알고리즘을 사용한 기존의 방법들의 결과보다 우수한 성능을 보일 수 있다. 손실된 색상 채널의 의사 색상(pseudo color)을 계산하기 위해 부분 색상 프라이어(local color prior)와 색상 채널 간 대응되는 연관성을 위한 중요한 요소로써, 역 강도 분포(reverse intensity distribution)를 제안할 수 있다. 이에 따라, 상기의 2가지 요소를 통해 기존의 부정확한 깊이 지도(depth map)를 기반으로 한 색채화 문제를 해결할 수 있다. 나아가 영상경계영역의 색채화 정확성 증가를 위한 새로운 커널 함수를 제시할 수 있으며, 실시예들에 따른 제안된 방법을 기반으로 한 스테레오 정합 및 색채화 결과 모두 기존의 접근 방법들을 뛰어넘는 성능을 증명할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

1. 삭제
2. 애너글리프(anaglyph) 영상을 입력 받는 단계;
   상기 애너글리프 영상으로부터 색상 채널을 분리하여 추출하는 단계;
   소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여 애너글리프 스테레오 정합을 수행하는 단계;
   깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 상기 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 상기 애너글리프 영상을 색채화하는 단계; 및
   상기 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 상기 깊이 지도(depth map)를 보정하는 단계
   를 포함하고,
   상기 애너글리프 스테레오 정합을 수행하는 단계는
   상기 부분 색상 프라이어(local color prior)를 이용한 적응적 데이터 값(adaptive data cost)과, 상기 역 강도 분포(reverse intensity distribution)을 이용한 개선된 센서스 데이터 값(modified census data cost)을 구하는 단계; 및
   패치(patch)에 따라 나타나는 각 데이터 값의 모호성을 제거하기 위해 상기 적응적 데이터 값과 상기 개선된 센서스 데이터 값을 통합하여, 상기 애너글리프 스테레오 정합을 수행하는 단계
   를 포함하는 애너글리프 영상 복원 방법.
3. 애너글리프(anaglyph) 영상을 입력 받는 단계;
   상기 애너글리프 영상으로부터 색상 채널을 분리하여 추출하는 단계;
   소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여 애너글리프 스테레오 정합을 수행하는 단계;
   깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 상기 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 상기 애너글리프 영상을 색채화하는 단계; 및
   상기 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 상기 깊이 지도(depth map)를 보정하는 단계
   를 포함하고,
   상기 애너글리프 영상을 색채화하는 단계는
   두 개의 상기 애너글리프 영상에서 가려진 영역을 찾기 위해 왼쪽과 오른쪽의 일관성을 확인하는 단계;
   상기 깊이 지도(depth map)를 이용하여 가려짐이 없는 영역에 대해 하나의 영상에서 다른 영상으로 색상 정보를 전파하는 단계; 및
   상기 애너글리프 영상을 색채화하기 위해 상기 가려짐이 없는 영역에서 확산(diffusion)에 의해 가려짐이 있는 영역의 화소들을 채색하여 상기 애너글리프 영상을 색채화하는 단계
   를 포함하는 애너글리프 영상 복원 방법.
4. 애너글리프(anaglyph) 영상을 입력 받는 단계;
   상기 애너글리프 영상으로부터 색상 채널을 분리하여 추출하는 단계;
   소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여 애너글리프 스테레오 정합을 수행하는 단계;
   깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 상기 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 상기 애너글리프 영상을 색채화하는 단계; 및
   상기 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 상기 깊이 지도(depth map)를 보정하는 단계
   를 포함하고,
   상기 애너글리프 영상을 색채화하는 단계는
   상기 애너글리프 영상의 경계에서 상기 가려짐이 있는 영역의 화소들을 위한 색상의 유사성에 기반을 둔 가중치 커널 함수를 사용하여 정확한 색채화를 수행하는 것
   을 특징으로 하는 애너글리프 영상 복원 방법.
5. 삭제
6. 애너글리프(anaglyph) 영상을 입력 받는 영상 입력부;
   상기 애너글리프 영상으로부터 색상 채널을 분리하여 추출하는 색상 채널 추출부;
   소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여, 애너글리프 스테레오 정합을 수행하는 애너글리프 스테레오 정합부;
   깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 상기 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 상기 애너글리프 영상을 색채화하는 애너글리프 영상을 색채화부; 및
   상기 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 상기 깊이 지도(depth map)를 보정하는 색채화된 스테레오 영상 제공부
   를 포함하고,
   상기 애너글리프 스테레오 정합부는
   상기 부분 색상 프라이어(local color prior)를 이용한 적응적 데이터 값(adaptive data cost)을 구하는 부분 색상 프라이어(local color prior)부;
   상기 역 강도 분포(reverse intensity distribution)을 이용한 개선된 센서스 데이터 값(modified census data cost)을 구하는 역 강도 분포(reverse intensity distribution)부; 및
   패치(patch)에 따라 나타나는 각 데이터 값의 모호성을 제거하기 위해 상기 적응적 데이터 값과 상기 개선된 센서스 데이터 값을 통합하여, 상기 애너글리프 스테레오 정합을 수행하는 데이터 값 통합부
   를 포함하는 애너글리프 영상 복원 시스템.
7. 애너글리프(anaglyph) 영상을 입력 받는 영상 입력부;
   상기 애너글리프 영상으로부터 색상 채널을 분리하여 추출하는 색상 채널 추출부;
   소실된 색상 채널의 색상 복원을 위하여 의사 색상(pseudo color)을 계산하는 부분 색상 프라이어(local color prior)와, 서로 다른 색상 채널 간 상관관계를 구하는 역 강도 분포(reverse intensity distribution)를 이용하여, 애너글리프 스테레오 정합을 수행하는 애너글리프 스테레오 정합부;
   깊이 지도(depth map)를 사용하여 가려짐이 없는 영역의 상기 색상 채널의 화소를 가려진 영역의 영상으로 전파하여 상기 애너글리프 영상을 색채화하는 애너글리프 영상을 색채화부; 및
   상기 애너글리프 영상으로부터 색채화된 스테레오 영상들을 획득하고 상기 깊이 지도(depth map)를 보정하는 색채화된 스테레오 영상 제공부
   를 포함하고,
   상기 애너글리프 영상을 색채화부는
   두 개의 상기 애너글리프 영상에서 가려진 지역을 찾기 위해 왼쪽과 오른쪽의 일관성을 확인하고, 상기 깊이 지도(depth map)를 이용하여 가려짐이 없는 영역에 대해 하나의 영상에서 다른 영상으로 색상 정보를 전파하며, 상기 애너글리프 영상을 색채화하기 위해 상기 가려짐이 없는 영역에서 확산(diffusion)에 의해 가려짐이 있는 영역의 화소들을 채색하여 상기 애너글리프 영상을 색채화하는 것
   을 특징으로 하는 애너글리프 영상 복원 시스템.

Images