KR20150097737A

KR20150097737A - 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환

Info

Publication number: KR20150097737A
Application number: KR1020157019434A
Authority: KR
Inventors: 형석 브이 하; 이-젠 치우
Original assignee: 인텔 코포레이션
Priority date: 2013-02-20
Filing date: 2013-02-20
Publication date: 2015-08-26
Also published as: WO2014130019A1; KR101775253B1; EP2959684A4; US20150281677A1; CN104937927A; CN104937927B; TWI524732B; US10051259B2; EP2959684A1; TW201444337A; US9083959B2; US20140232820A1

Abstract

시스템, 장치 및 방법은 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환과 관련된다. 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 방법은 2D 입력 이미지의 개개 픽셀의 선명도 값을 결정하는 단계와, 선명도 값에 대한 제 1의 영역기반 샘플링 및 제 2의 영역기반 샘플링을 수행하는 단계와, 제 1 및 제 2의 복수의 선명도 값을 조정하는 단계와, 제 1 및 제 2의 복수의 조정된 값을 평탄화하는 단계와, 제 1 및 제 2의 복수의 보간된 선명도 값을 결정하는 단계와, 제 1 및 제 2의 복수의 보간된 선명도 값을 병합하여 깊이 맵을 생성하는 단계를 포함한다.

Description

2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환{REAL-TIME AUTOMATIC CONVERSION OF 2-DIMENSIONAL IMAGES OR VIDEO TO 3-DIMENSIONAL STEREO IMAGES OR VIDEO}

3차원(3D) 이미지화할 때, 2차원(2D) 이미지 또는 비디오 프레임은 3D 스테레오 이미지 또는 비디오로 변환되어 사용자에게 보여질 수 있다. 3D 스테레오 이미지 또는 비디오(일반적으로, 좌측 이미지 또는 비디오 및 우측 이미지 또는 비디오)는 그 이미지로부터 3D 효과를 경험할 수 있는 사용자에게 보여질 수 있다. 텔레비전, 모니터, 스마트 폰, 및 태블릿 디바이스에서 최근의 다양한 3D 디스플레이의 개발과 상업화에 더불어, 스테레오 3D 콘텐츠의 요구가 증가하고 있다. 기존의 2D 이미지 및 비디오를 3D로 변환하여 더욱 생생한 시각화 및 여흥을 제공하는 2D에서 3D로의 변환 기술은 콘텐츠 제작자 및 소비자 모두에 똑같이 수요가 매우 많다.

일반적으로, 2D에서 3D로의 변환 기술에는 세 가지 주요 카테고리, 즉, 수동, 반-자동, 그리고 자동의 카테고리가 있을 수 있다. 수동 프로세스에는 통상적으로 비디오 시퀀스의 이미지 또는 각 프레임을 검토하고 깊이 값을 그러한 이미지 또는 프레임에 할당하는 사람 작업자 및 장인이 연루된다. 그러한 프로세스는 인간의 작업 비용과 처리 시간의 면에서 비싸다. 반-자동 기술은 전형적으로 컴퓨터 소프트웨어 또는 하드웨어 디바이스와 같은 자동화된 요소를 활용하여 작업을 안내하거나 교정하는 인간 작업자의 도움을 받아 3D 이미지를 생성한다. 그러한 프로세스는 수동 프로세스보다 덜 비싸고 빠르지만, 여전히 영화 및 방송 스튜디오 등 이외의 응용 예에는 통상 적합하지 않다. 변환 프로세스 동안 인간의 개입을 필요로 하는 수동이나 반-자동 기술과 달리, 자동 변환은 2D에서 3D로의 변환을 위해 오로지 하드웨어 및/또는 소프트웨어에만 전적으로 의존하는 간단하고 효과적인 프로세스를 제공할 수 있다.

2D 이미지 및 비디오를 3D 이미지 및 비디오로 자동적이고 실시간 변환을 위한 광범위한 요구가 있기 때문에, 더욱 정확하고 신뢰할 수 있게 변환해주는 것이 바람직할 수 있다.

본 명세서에서 기술되는 소재는 첨부 도면에서 예를 들어서 한정 없이 예시된다. 간략하고 간결한 예시를 위해, 도면에 예시된 구성요소는 반드시 축척대로 도시되지는 않는다. 예를 들면, 일부 구성요소의 치수는 명료성을 기하기 위해 다른 구성요소에 비해 과장될 수 있다. 또한, 적절하다고 생각되는 곳에서, 대응하거나 유사한 구성요소를 지시하기 위해 참조 부호가 반복된다. 도면에서,
도 1은 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템의 예시적인 다이어그램이다.
도 2는 개개의 픽셀마다 선명도 값(sharpness value)을 결정하기 위한 일 예의 기술의 예시적인 다이어그램이다.
도 3은 선명도 값의 영역기반 샘플링을 위한 일 예의 기술의 예시적인 다이어그램이다.
도 4는 선명도 값을 조정하기 위한 일 예의 기술의 예시적인 다이어그램이다.
도 5는 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템의 예시적인 다이어그램이다.
도 6은 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템의 예시적인 다이어그램이다.
도 7은 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템의 예시적인 다이어그램이다.
도 8은 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템의 예시적인 다이어그램이다.
도 9는 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 프로세스를 예시하는 플로우차트이다.
도 10은 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템의 예시적인 다이어그램이다.
도 11은 일 예의 시스템의 예시적인 다이어그램이다.
도 12는 모두 본 개시의 적어도 일부 구현예에 따라서 구성된 일 예의 시스템의 예시적인 다이어그램이다.

이제 하나 이상의 실시예 또는 구현예가 첨부 도면을 참조하여 설명된다. 특정한 구성 및 배열이 논의되지만, 이것은 오직 예시적인 목적을 위해서만 논의된다는 것을 이해하여야 한다. 본 기술에서 통상의 지식을 가진 자라면 본 설명의 정신과 범주를 일탈하지 않고도 다른 구성 및 배열이 채용될 수 있다고 인식할 것이다. 본 개시에서 기술된 기술 및/또는 배열은 또한 본 개시에서 기술된 것과 다른 각종 시스템 및 응용 예에서 채용될 수 있다는 것이 관련 기술에서 통상의 지식을 가진 자에게 자명할 것이다.

다음의 설명이 예를 들면, 시스템-온-칩(system-on-a-chip, SoC) 아키텍처와 같은 아키텍처에서 분명해질 수 있는 다양한 구현예를 진술하고 있지만, 본 개시에서 기술되는 기술 및/또는 배열의 구현예는 특별한 아키텍처 및/또는 컴퓨팅 시스템으로 한정되지 않으며 유사한 목적을 위한 어느 아키텍처 및/또는 컴퓨팅 시스템에 의해서도 구현될 수 있다. 예를 들어, 다중의 집적 회로(IC) 칩 및/또는 패키지를 채용하는 다양한 아키텍처, 및/또는 셋톱 박스, 스마트 폰 등과 같은 각종 컴퓨팅 디바이스 및/또는 소비자 전자(consumer electronic, CE) 디바이스는 본 개시에서 기술되는 기술 및/또는 구성을 구현할 수 있다. 또한, 다음의 설명이 로직 구현예, 시스템 컴포넌트의 유형 및 상관성, 로직의 분할/통합을 선택하는 것 등과 같은 많은 특정한 세부사항을 진술하고 있지만, 청구된 주제는 그러한 특정 세부사항 없이 구현될 수 있다. 다른 예에서, 예를 들면 제어 구조 및 전체 소프트웨어 명령어 시퀀스와 같은 몇몇 소재는 본 개시에서 기술되는 소재를 방해하지 않도록 하기 위해 상세하게 도시되지 않을 수 있다.

본 개시에서 기술되는 소재는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 본 개시에서 기술되는 소재는 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 머신-판독가능한 매체에 저장되는 명령어로서도 또한 구현될 수 있다. 머신-판독가능한 매체는 정보를 머신(예를 들면, 컴퓨팅 디바이스)에 의해 판독가능한 형태로 저장하거나 전송하기 위한 임의의 매체 및/또는 메커니즘을 포함할 수 있다. 예를 들면, 머신-판독가능한 매체는 판독 전용 메모리(read only memory, ROM); 랜덤 액세스 메모리(random access memory, RAM); 자기 디스크 저장 매체; 광저장 매체; 플래시 메모리 디바이스; 전기, 광, 음향 또는 다른 형태의 전파된 신호(예를 들면, 캐리어 웨이브, 적외선, 디지털 신호 등), 및 기타의 것을 포함할 수 있다.

명세서에서 "일 구현예", "구현예", "일 예의 구현예" 등이라는 언급은 기술된 구현예가 특별한 특징, 구조, 또는 특성을 포함할 수 있지만, 모든 구현예가 반드시 특별한 특징, 구조, 또는 특성을 포함하는 것은 아닐 수 있다는 것을 나타낸다. 더욱이, 그러한 문구는 반드시 동일한 구현예를 언급하는 것은 아니다. 또한, 특별한 특징, 구조, 또는 특성이 구현예와 관련하여 기술될 때, 이것은 본 개시에서 명시적으로 기술되어 있든 아니든 본 기술에서 통상의 지식을 가진 자가 알고 있는 범위 내에서 다른 구현예와 관련하여 그러한 특징, 구조, 또는 특성을 초래한다고 생각된다.

아래에서 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환에 관련된 시스템, 장치, 물품, 및 방법이 기술된다.

앞에서 기술된 것처럼, 3D 이미지 또는 비디오는 수동, 반-자동, 또는 자동 기술을 이용하여 2D 이미지 또는 비디오로부터 생성될 수 있다. 수동 및 반-자동 프로세스는 인간의 작업과 처리 시간적인 면에서 상대적으로 비쌀 수 있고 그래서 이 프로세스는 이미지 또는 비디오가 사용자에게 보여지기 전에 변환될 수 있는 구현예에만 적합할 수 있다.

아래에서 추가 설명되는 바와 같이, 2D 이미지 또는 비디오는 자동으로 실시간으로 3D 스테레오 이미지로 변환될 수 있다. 예를 들면, 2D 입력 이미지의 개개 픽셀의 선명도 값이 결정될 수 있다. 선명도 값은 예를 들면, YUV 또는 YCbCr 컬러 공간 또는 병합된 R/G/B 값에 있는 Y 값에 기초할 수 있다. 일부 예에서, 선명도 값은 픽셀 주변의 3x3 윈도우에서 수직 및 수평 선명도에 기초하여 결정될 수 있다. 선명도 값에 기초하여, 상이한 해상도에서 두 번의 영역기반 샘플링이 수행되어 두 세트의 샘플 선명도 값을 생성할 수 있다. 예를 들면, 상이한 해상도는 두 번의 샘플링에서 상이한 영역 크기를 이용함으로써 제공될 수 있다. 상이한 해상도로 샘플링을 수행하면 (예를 들면, 더 큰 영역의 경우) 전역적 패턴과 (더 작은 영역의 경우) 미세한 세부 사항을 추출할 수 있다. 각 영역기반 샘플링마다 샘플 선명도 값은 조정(즉, 3D 효과를 증진하도록 수정)될(scaled) 수 있으며 (예를 들면, 평균화 필터를 적용함으로써) 평탄화 처리될 수 있다. 조정되고 평탄화 처리된 선명도 값은 샘플링 동안 손실되었던 픽셀 위치를 보간하는데 사용될 수 있고 그래서 각각의 영역기반 샘플링은 입력 이미지의 전-해상도(full-resolution)를 가져올 수 있다. 각 샘플링 마다 보간된 선명도 값은 깊이 맵을 생성하기 위해 병합될 수 있다.

깊이 맵 및 입력 이미지는 깊이 맵을 디스패리티 값 맵으로 변환하고 디스패리티 값 맵을 사용하여 좌측 및 우측 3D 스테레오 이미지를 생성함으로써 좌측 및 우측 3D 스테레오 이미지를 생성하는데 사용될 수 있다. 대안으로, 깊이 맵은 깊이 대비(depth contrast)의 수직 및/또는 수평 강화를 수행하고, 고스팅을 제거하며, 만일 이미지가 비디오 프레임이면 강화된 깊이 맵을 생성하는 시간적 필터링(temporal filtering)을 수행함으로써 추가 처리될 수 있다. 그러한 강화된 깊이 맵은 논의된 것처럼 그 다음으로 좌측 및 우측 3D 스테레오 이미지를 생성하는데 사용될 수 있다. 일반적으로, 임의의 추가 처리, 모든 추가 처리 또는 불 추가 처리가 깊이 맵에 적용될 수 있다.

그러한 기술은 2D 이미지 또는 비디오의 3D 스테레오 이미지 또는 비디오로의 자동적이고 실 시간적인 변환을 제공할 수 있다. 결과적인 3D 스테레오 이미지 또는 비디오가 예를 들면 사용자에게 보여질 수 있다.

도 1은 본 개시의 적어도 일부 구현예에 따라서 구성된, 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템(100)의 예시적인 다이어그램이다. 도시된 바와 같이, 시스템(100)은 선명도 측정 모듈(115), 샘플링 모듈(120), 샘플링 모듈(125), 조정 모듈(a scaling module)(130), 조정 모듈(135), 평탄화 모듈(a smoothing module)(140), 평탄화 모듈(145), 보간 모듈(150), 보간 모듈(155), 및/또는 병합 모듈(160)을 갖는 선명도 기반 깊이 맵 모듈(110)을 포함할 수 있다. 다양한 구현예에서, 시스템(100)은 2D 이미지를 3D 스테레오 이미지로 변환하고, 특히, 2D 입력 이미지(105)에 대한 깊이 맵(170)을 결정하도록 구성될 수 있다. 아래에서 추가 논의되는 바와 같이, 시스템(100)은 각종 소프트웨어 및/또는 하드웨어 구현예를 통해 사용될 수 있다. 또한 아래에서 추가 논의되는 바와 같이, 시스템(100)은 간결성을 기하기 위해 도 1에 도시되지 않은 부가적인 모듈을 포함할 수 있다. 다양한 구현예에서, 도시된 모듈은 아래에서 추가 논의되지만 도 1에는 도시되지 않은 중앙 처리 유닛(들) 또는 그래픽 처리 유닛(들)을 통해 구현될 수 있다. 또한, 일부 예에서, 시스템(100)은 도 1에 도시되지 않은 부가적인 항목을 포함할 수 있다. 예를 들면, 시스템(100)은 무선 주파수형(radio frequency-type, RF) 송수신기, 디스플레이, 안테나, 스피커, 마이크로폰, 가속도계, 메모리, 라우터, 네트워크 인터페이스 로직 등을 포함할 수 있다.

논의된 것처럼, 시스템(100)은 2D 이미지를 3D 스테레오 이미지로 변환하기 위해 제공되며, 특히 시스템(100)은 2D 입력 이미지(105)에 기초하여 깊이 맵(170)을 제공할 수 있다. 도시된 바와 같이, 2D 이미지(105)는 선명도 기반 깊이 맵 모듈(110)에서 수신될 수 있다. 일반적으로, 2D 이미지(105)는 예를 들면, 이미지 파일 또는 비디오 프레임과 같은 임의의 적합한 이미지 데이터를 포함할 수 있으며 2D 이미지(105)는 임의의 개수의 개별 픽셀을 포함할 수 있다. 2D 이미지(105)는 시스템(100)에서 외부 디바이스로부터 수신될 수 있거나 또는 2D 이미지(105)는 시스템(100)의 다른 모듈로부터(예를 들면, 시스템(100)의 메모리 저장소로부터) 수신될 수 있다.

도시된 바와 같이, 선명도 측정 모듈(115)은 선명도 값(117)을 결정할 수 있고, 이 선명도 값은 샘플링 모듈(120) 및 샘플링 모듈(125)로 전송될 수 있다. 선명도 값(117)은 2D 이미지(105)의 개개 픽셀의 개개 픽셀 값을 기초로 할 수 있다. 예를 들면, 선명도 값(117)은 (예를 들어, 2D 이미지(105)가 YUV 컬러 공간 또는 YCbCr 컬러 공간에서 표현되는 경우) 2D 이미지(105)의 개개 픽셀의 루마(Y) 값에 기초하여 결정될 수 있거나 또는 (예를 들면 2D 이미지(105)가 R/G/B 컬러 공간에서 표현되는 경우) 2D 이미지(105)의 개개 픽셀의 R/G/B 값에 기초하여 결정될 수 있다. R/G/B 또는 다른 다중채널 컬러 공간을 이용할 때, 독립적인 측정치들(예를 들면, 각 채널마다 측정치)이 결정되고 예를 들면, MAX 연산(예를 들면, 독립적인 측정치의 최대치를 결정하는 연산) 또는 AVG 연산(예를 들면, 독립적인 측정치의 평균을 결정하는 연산)을 이용하여 단일의 수치로 병합될 수 있다.

일반적으로, 선명도 값(117)은 임의의 적절한 방식으로 결정될 수 있다. 도 2는 본 개시의 적어도 일부 구현예에 따라서 구성된, 개개 픽셀의 선명도 값을 결정하기 위한 일 예의 기술의 예시적인 다이어그램이다. 도 2에 도시된 바와 같이, 개개의 픽셀(210)("e"라고 표시됨) 마다, 픽셀 윈도우(215)가 고려될 수 있다. 도시된 바와 같이, 픽셀 윈도우(215)는 예를 들면, 3x3 픽셀 윈도우일 수 있으며 이웃 픽셀(220)("a" 내지 "d" 및 "f" 내지 "i"로 표시됨)을 포함할 수 있다. 일반적으로, 픽셀 윈도우(215)는 임의의 크기일 수 있으며 기술되는 추산은 더 큰 픽셀 윈도우에 확장 적용될 수 있다. 픽셀(e)의 선명도 값을 결정하기 위하여, 수직 선명도 값 및 수평 선명도 값이 결정될 수 있다. 수직 선명도 값은 픽셀(b)(즉, 픽셀(e)의 위쪽 픽셀)의 픽셀 값과 픽셀(e)의 픽셀 값과의 절대 값 차와 픽셀(h)(즉, 픽셀(e)의 아래쪽 픽셀)의 픽셀 값과 픽셀(e)의 픽셀 값과의 절대 값 차와의 절대 값 차로서 결정될 수 있다. 수평 선명도 값은 픽셀(d)(즉, 픽셀(e)의 왼쪽 픽셀)의 픽셀 값과 픽셀(e)의 픽셀 값과의 절대 값 차와 픽셀(f)(즉, 픽셀(e)의 오른쪽 픽셀)의 픽셀 값과 픽셀(e)의 픽셀 값과의 절대 값 차와의 절대 값 차로서 결정될 수 있다. 그런 다음 개개 픽셀(e)의 선명도는 수직 선명도 및 수평 선명도에 기초하여, 예를 들면 이들의 최대치 또는 이들의 평균으로서 결정될 수 있다. 픽셀 선명도의 그러한 결정은 아래와 같은 수학식 (1)-(3)에서 도시된다.

[수학식 1]

vertical_sharpness(e) = ABS(ABS(b-e)-ABS(h-e))

[수학식 2]

horizontal _sharpness(e) = ABS(ABS(d-e)-ABS(f-e))

[수학식 3]

sharpness(e) = MAX(vertical_sharpness, horizontal_sharpness) 또는

AVG(vertical_sharpness, horizontal_sharpness)

여기서 vertical_sharpness는 수직 선명도일 수 있고, ABS는 주어진 값의 절대 값을 결정하는 연산일 수 있고, b, e, h, d, 및 f는 기술되는 픽셀 위치에서 픽셀 값을 나타낼 수 있고, horizontal_sharpness는 수평 선명도일 수 있고, MAX는 주어진 값의 최대치를 결정하는 연산일 수 있으며, AVG는 주어진 값의 평균을 결정하는 연산일 수 있다.

논의된 것처럼, 일부 예에서, 더 큰 픽셀 윈도우(215)가 고려될 수 있으며, 그러한 예에서, 수직 및/또는 수평 선명도 수치가 또한 확장 적용될 수 있다. 또한, 일부 예에서, 대각 선명도 수치(예를 들면, 픽셀(a 및 i) 및/또는 픽셀(c 및 g)에 대한 유사 절대 값의 차)가 선명도 값(117)을 결정하는데 고려될 수 있다.

도 1을 참조하면, 선명도 값(117)은 샘플링 모듈(120) 및 샘플링 모듈(125)로 전송될 수 있다. 아래에서 추가 논의되는 바와 같이, 샘플링 모듈(120), 조정 모듈(130), 평탄화 모듈(140), 및 보간 모듈(150)은 샘플링 모듈(125), 조정 모듈(135), 평탄화 모듈(145), 및 보간 모듈(155)와 유사한 동작을 수행하되, 상이한 해상도로 수행할 수 있다. 상이한 해상도는 예를 들면, 영역기반 샘플링을 가능하게 할 수 있다. 그러한 처리로 발생한 결과는 병합 모듈(160)에서 병합되어 깊이 맵(170)을 생성할 수 있다. 그러한 상이한 해상도는 예를 들면, 상이한 영역 크기를 샘플링함으로써 또는 동일한 영역 크기를 선명도 값의 상이한 축소 인자(downscaling factors)를 통해 샘플링함으로써 구현될 수 있다.

상이한 영역 크기가 활용되는 예에서, 임의의 크기 또는 형태의 영역이 사용될 수 있다. 도 3은 본 개시의 적어도 일부 구현예에 따라서 구성된, 선명도 값의 영역기반 샘플링을 위한 일 예의 기술의 예시적인 다이어그램이다. 도시된 바와 같이, 선명도 값(117) (표현이 간결성을 위해 대체로 공백으로 표시됨)은 예를 들면, 서브-영역(305) 및 서브-영역(310)으로 분리될 수 있다. 도시된 것처럼, 서브-영역(305 및 310)은 상이한 크기일 수 있다. 일반적으로, 서브-영역(305 및 310)은 선명도 값(117)의 전부를 망라할 수 있는 중첩하지 않는 서브-영역을 각기 포함할 수 있다. 또한, 도 3에 예시된 바와 같이, 서브-영역(305 및 310)은 예를 들면, 장방형 또는 정방형과 같은 임의의 적절한 형상을 가질 수 있다. 서브-영역(305 및 310)의 크기 및/또는 형상은 예를 들면, 2D 이미지(105)의 크기 또는 해상도 및/또는 선명도 값(117)과 같은 2D 이미지(105)의 특성 및/또는 선명도 값(117)에 따라서 고정되거나 적응될 수 있다.

도 1을 참조하면, 샘플링 모듈(120)은 선명도 값(117)의 영역기반 샘플링을 수행하여 샘플 선명도 값(122)을 결정할 수 있고 샘플링 모듈(125)은 선명도 값(117) (예를 들면, 샘플링 모듈(120)에 의해 샘플링된 값과 같은 선명도 값)의 영역기반 샘플링을 수행하여 샘플 선명도 값(127)을 결정할 수 있다. 논의된 것처럼, 일반적으로, 샘플링 모듈(120 및 125)은 예를 들어, 상이한 영역 크기로 샘플링함으로써 또는 상이한 축소 인자를 이용하여 샘플링함으로써 상이한 해상도로 영역기반 샘플링을 수행할 수 있다. 또한, 상이한 영역 크기가 사용되는 예에서, 샘플링 값은 각 서브-영역마다 단일의 값을 제공할 수 있다. 예를 들면, 서브-영역마다, 단일의 값은 그 영역에서 최대 선명도 값일 수 있다(즉, 단일의 값은 MAX(ㆍ)일 수 있고, 여기서 ㆍ은 관련 영역에서 모든 선명도 값을 나타낸다). 다른 예에서, 영역의 평균 선명도 값이 사용될 수 있다. 어떤 경우에서도, 영역기반 샘플링은 후속 연산의 회수를 줄일 수 있는 (그래서 효율을 개선하는) 선명도 값(117)의 샘플링을 제공할 수 있고/있거나 선명도 값의 더 평탄한 표현을 제공할 수 있다. 도시된 바와 같이, 시스템(100)은 샘플링 모듈(120) 및 샘플링 모듈(125)을 포함할 수 있다. 다른 예에서, 단일의 샘플링 모듈이 샘플 선명도 값(122) 및 샘플 선명도 값(127)을 모두 생성하도록 사용될 수 있다.

도시된 바와 같이, 샘플 선명도 값(122)은 조정 모듈(130)로 전송될 수 있고 샘플 선명도 값(127)은 조정 모듈(135)로 전송될 수 있다. 조정 모듈(130)은 샘플 선명도 값(122)을 조정하여 조정된 선명도 값(132)을 생성할 수 있다. 조정 모듈(135)은 샘플 선명도 값(127)을 조정하여 조정된 선명도 값(137)을 생성할 수 있다. 샘플 선명도 값의 조정은 샘플 선명도 값을 수정하여 3D 효과를 강화할 수 있으며 다양한 기술을 이용하여 수행될 수 있다. 예를 들면, 기설정된 매핑 기능이 사용될 수 있거나 매핑 기능을 결정하기 위해 샘플 선명도 값의 적응적 분석이 수행될 수 있다. 일부 예에서, 도 4에 도시된 바와 같은 구분적-선형 매핑(a piecewise-linear mapping)이 사용될 수 있다.

도 4는 본 개시의 적어도 일부 구현예에 따라서 구성된, 선명도 값을 조정하기 위한 일 예의 기술의 예시적인 다이어그램이다. 도 4에 도시된 바와 같이, 샘플 선명도 값은 x-축을 따라서 예시될 수 있고 조정된 샘플 선명도 값은 y-축을 따라서 예시될 수 있다. 도시된 바와 같이, 구분적-선형 매핑은 세그먼트(410, 420, 430, 및 440)를 포함하며, 각각의 세그먼트는 구분적-선형 매핑의 선형 세그먼트를 제공할 수 있다. 도시된 바와 같이, 구분적-선형 매핑은 (예를 들면, 더 큰 경사의 세그먼트(410)에 의해 제공된 바와 같이) 작은 샘플 선명도 값을 더 크게 조정하기 위해 제공될 수 있고 반면에 더 큰 샘플 선명도 값은 (예를 들면, 작은 경사의 세그먼트(440)에 의해 제공된 바와 같이) 더 작은 양만큼 조정될 수 있다. 그러한 구분적-선형 매핑은 낮은 선명한 (예를 들면, 블러 및 통상적으로 배경) 영역과 높은 선명한 (예를 들면, 통상적으로 전경) 영역 간의 깊이 갭을 증가시켜 줄 수 있는 한편, 낮은 선명한 영역과 선명도가 높은 선명한 영역 내에서는 깊이 갭을 줄여준다. 도 4의 예는 다음과 같은 수학식 (4)로서 도시될 수 있다.

[수학식 4]

if (sharp_in < 16) sharp_out = 4 * sharp_in + 0;

else if (sharp_in < 64) sharp_out = 2 * sharp_in + 32;

else if (sharp_in < 128) sharp_out = 1/2 * sharp_in + 128;

else sharp_out = 1/4 * sharp_in + 160;

여기서, sharp_in은 샘플 선명도 값일 수 있고, sharp_out은 조정된 샘플 선명도 값일 수 있다. 수학식 (4)에서 예시된 관계는 수학식 (5)에서 도시된 바와 같이 파라미터의 4 개의 트리플로 표현될 수 있다.

[수학식 5]

{threshold, scale, offset} = {16, 4, 0}

{64, 2, 32}

{128, 1/2, 128}

{256, 1/4, 160}

여기서, Threshold는 조정 인자가 바뀌는 문턱치일 수 있고, scale은 조정 인자일 수 있고, offset은 관련 세그먼트의 옵셋일 수 있다. 상기 threshold, scale, 및 offset은 기설정된 값일 수 있거나 2D 이미지(105), 선명도 값(117), 또는 샘플 선명도 값(122 또는 127)의 특성에 기초한 것일 수 있다. 도시된 바와 같이, 시스템(100)은 조정 모듈(130) 및 조정 모듈(135)을 포함할 수 있다. 다른 예에서, 조정된 선명도 값(132) 및 조정된 선명도 값(137)을 모두 생성하는 단일의 조정 모듈이 사용될 수 있다.

다른 예에서, 조정된 선명도 값(132)은 적응적 조정을 이용하여 결정될 수 있다. 예를 들면, 샘플 선명도 값(122)은 2D 입력 이미지(105)에서 선명도 값의 히스토그램을 가지고 분석될 수 있다. 그러한 예에서, 흐릿한 영역(예를 들면, 배경 영역) 및 선명한 영역(예를 들면, 전경 영역)은 히스토그램에서 선명도 값의 별도의 클러스터로서 식별될 수 있다. 식별된 클러스터는 흐릿한 영역이 더 흐려지고 선명한 영역이 더 선명해지도록 조정되어서, 결과적으로 두 영역의 분리가 더 커지게 한다.

도시된 바와 같이, 조정된 선명도 값(132)은 평탄화 모듈(140)로 전송될 수 있고 조정된 선명도 값(137)은 평탄화 모듈(145)로 전송될 수 있다. 평탄화 모듈(140)은 조정된 선명도 값(132)를 예를 들면, 3x3 평균화 필터를 적용함으로써 평탄화하여 평탄화된 선명도 값(142)을 생성할 수 있다. 평탄화 모듈(145)은 예를 들면, 3x3 평균화 필터를 적용함으로써 조정된 선명도 값(137)을 평탄화하여 평탄화된 선명도 값(147)을 생성할 수 있다. 평탄화 모듈(140) 또는 평탄화 모듈(145)에 의 해 적용된 평균화 필터의 크기는 4x4 또는 5x5 등과 같이 상이한 크기일 수 있다. 또한 평균화 필터의 크기는 기설정될 수 있거나 수신된 조정된 선명도 값에 기초하여 결정될 수 있다. 도시된 바와 같이, 시스템(100)은 평탄화 모듈(140) 및 평탄화 모듈(145)을 포함할 수 있다. 다른 예에서, 평탄화된 선명도 값(142) 및 평탄화된 선명도 값(147)을 모두 생성하는 단일의 평탄화 모듈이 사용될 수 있다.

도시된 바와 같이, 평탄화된 선명도 값(142)은 보간 모듈(150)로 전송될 수 있고 평탄화된 선명도 값(147)은 보간 모듈(155)로 전송될 수 있다. 보간 모듈(150)은 평탄화된 선명도 값(142)에 기초하여 보간된 선명도 값(152)을 결정할 수 있다. 보간 모듈(155)은 평탄화된 선명도 값(147)에 기초하여 보간된 선명도 값(157)을 결정할 수 있다. 보간된 선명도 값은 예를 들면, 이중선형 보간 기술과 같은 임의의 보간 기술을 이용하여 생성될 수 있다. 일반적으로, 보간 모듈은 후속의 병합을 위해 보간된 선명도 값(152 및 157)을 동일한 해상도로 (즉, 동일한 개수의 픽셀로) 제공할 수 있다. 또한, 일부 예에서, 보간된 선명도 값(152및 157)의 해상도는 평탄화된 선명도 값이 다시 2D 입력 이미지(105)의 전(full) 해상도로 되돌아 갈 수 있도록 2D 입력 이미지(105)의 해상도와 일치할 수 있다(예를 들면, 보간된 선명도 값은 동일한 픽셀 카운트를 가질 수 있다). 일부 예에서, 보간된 선명도 값(152 및 157)은 각기 깊이 표면(a depth surface)으로 간주될 수 있고 그래서 보간된 선명도 값은 2D 입력 이미지(105)에 기초한 깊이 정보를 포함한다. 도시된 바와 같이, 시스템(100)은 보간 모듈(150) 및 보간 모듈(155)을 포함할 수 있다. 다른 예에서, 보간된 선명도 값(152) 및 보간된 선명도 값(157)을 모두 생성하는 단일의 보간 모듈이 사용될 수 있다.

도시된 바와 같이, 보간된 선명도 값(152 및 157)은 병합 모듈(160)로 전송될 수 있다. 병합 모듈(160)은 보간된 선명도 값(152 및 157)을 병합하여 깊이 맵(170)을 생성할 수 있다. 깊이 맵(170)은 예를 들면, 2D 입력 이미지(105)와 연관된 깊이 값을 포함할 수 있다. 아래에서 추가 논의되는 바와 같이, 깊이 맵(170) 및 2D 입력 이미지(105)는 3D 스테레오스코픽 이미지를 생성하는데 사용될 수 있다. 일반적으로, 병합 모듈(160)은 예를 들면, 기설정된 인자일 수 있거나 보간된 선명도 값(152 및 157)에 기초하여 동적으로 결정될 수 있는 혼합 인자(또는 "혼합 비율" 또는 "병합 비율")에 기초하여 보간된 선명도 값(152 및 157)을 병합할 수 있다. 병합 비율은 각 픽셀 위치마다 동일할 수 있거나, 각 픽셀 위치에서 동적으로 결정될 수 있거나, 또는 픽셀의 영역 전체에서 균일하고 영역 경계에서 변하게 될 수 있다. 병합 연산의 예는 아래의 수학식(6)에서 도시된다.

[수학식 6]

depth = alpha x depth 1 + (1 - alpha) x depth2

여기서, depth는 깊이 맵에서 깊이 값일 수 있고, alpha는 범위[0,1]에서 정규화된 혼합 인자일 수 있고, depthl은 보간된 선명도 값(152)으로 표현된 깊이 표면 (또는 맵)일 수 있고, depth2는 보간된 선명도 값(157)으로 표현된 깊이 표면 (또는 맵)일 수 있다.

논의된 것처럼, 샘플링 모듈(120), 조정 모듈(130), 평탄화 모듈(140), 및 보간 모듈(150)은 샘플링 모듈(125), 조정 모듈(135), 평탄화 모듈(145), 및 보간 모듈(155)와 유사한 연산을 수행하되 상이한 해상도로 수행할 수 있다. 일부 구현예에서, 모듈은 개별적으로 구현될 수 있지만, 다른 구현예에서, 모듈은 기술된 바와 같은 상이한 해상도에 맞는 기능을 수행할 수 있는 단일의 모듈로서 구현될 수 있다. 즉, 단일의 샘플링 모듈, 단일의 조정 모듈, 단일의 평탄화 모듈, 및 단일의 보간 모듈이 제공될 수 있고 상이한 해상도에서의 연산이 동일 모듈에서 (예를 들면, 일렬로) 수행될 수 있다. 그러한 구현예는 병렬 구현예보다 느리게 동작할 수 있으나 예를 들면, 구현의 용이함과 실리콘 면적이 줄어든다는 장점을 제공할 수 있다.

논의된 것처럼, 깊이 맵(170)은 2D 입력 이미지(105)에 기초하여 3D 스테레오스코픽 이미지를 생성하는데 사용될 수 있다. 도 5는 본 개시의 적어도 일부 구현예에 따라서 구성된, 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하는 일 예의 시스템의 예시적인 다이어그램이다. 도시된 바와 같이, 시스템(100)은 디스패리티 모듈(520), 디스패리티 모듈(525), 이미지 렌더링 모듈(530), 및 이미지 렌더링 모듈(535)를 포함하는 스테레오 이미지 모듈(500)을 더 포함할 수 있다. 도시된 바와 같이, 스테레오 이미지 모듈(500)은 2D 입력 이미지(105) 및 깊이 맵(510)을 수신하고 좌측 스테레오 이미지(540) 및 우측 스테레오 이미지(545)를 생성할 수 있다.

도 5에 도시된 바와 같이, 2D 입력 이미지(105) 및 깊이 맵(510)은 시스템(100)의 스테레오 이미지 모듈에서 수신될 수 있다. 일반적으로 2D 이미지(105) 및 깊이 맵(510)은 시스템(100)에서 외부 디바이스로부터 수신될 수 있거나 또는 2D 입력 이미지(105) 및/또는 깊이 맵(510)은 시스템(100)의 다른 모듈로부터 (예를 들면, 시스템(100)의 메모리 저장소 또는 선명도 기반 깊이 맵 모듈(110) 등으로부터) 수신될 수 있다. 일부 예에서, 깊이 맵(510)은 깊이 맵(170)일 수 있다. 다른 예에서, 깊이 맵(510)은 아래에서 추가 논의되는 바와 같이, 강화된 깊이 맵일 수 있다.

도시된 바와 같이, 디스패리티 모듈(520)은 깊이 맵(510)을 수신하고 좌측 디스패리티 값 맵(522)을 생성할 수 있다. 디스패리티 모듈(525)은 깊이 맵(510)을 수신하고 우측 디스패리티 값 맵(527)을 생성할 수 있다. 좌측 디스패리티 맵(522)은 이미지 렌더링 모듈(530)로 전송될 수 있고 우측 디스패리티 맵(527)은 이미지 렌더링 모듈(535)로 전송될 수 있다. 디스패리티 모듈(520)은 또한 2D 입력 이미지(105)를 수신할 수 있고 2D 입력 이미지(105) 및 좌측 디스패리티 맵(522)에 기초하여 좌측 스테레오 이미지(540)를 생성할 수 있다. 또한 도시된 바와 같이, 디스패리티 모듈(525)은 2D 입력 이미지(105)을 수신하고 2D 입력 이미지(105) 및 우측 디스패리티 맵(527)에 기초하여 우측 스테레오 이미지(545)를 생성할 수 있다. 일반적으로, 좌측 스테레오 이미지(540) 및 우측 스테레오 이미지(545)는 사용자에게 디스플레이하기에 적합한 3D 스테레오 이미지일 수 있다.

논의된 것처럼, 깊이 맵(170) 또는 강화된 깊이 맵은 3D 스테레오 이미지를 생성하는데 사용될 수 있다. 도 6은 본 개시의 적어도 일부 구현예에 따라서 구성된, 강화된 깊이 맵을 생성하기 위한 일 예의 시스템의 예시적인 다이어그램이다. 도시된 바와 같이, 시스템(100)은 깊이 대비 강화 모듈(a depth contrast enhancement module)(610), 고스팅 감소 모듈(a ghosting reduction module)(620), 및 시간적 필터링 모듈(a temporal filtering module)(630) 중 하나 이상을 포함할 수 있는 강화 모듈(600)을 더 포함할 수 있다. 강화 모듈(600)은 깊이 맵(170)을 수신하고 깊이 맵(640)을 생성할 수 있다. 일부 예에서, 깊이 맵(640)은 강화된 깊이 맵이라고 간주되거나 표시될 수 있다. 도시된 바와 같이, 일 예에서, 모듈(610, 620 및 630)은 각기 깊이 맵(640)을 생성하도록 활용될 수 있다. 다양한 구현예에서, 모듈(610, 620 및/또는 630) 중 하나 또는 그 조합이 깊이 맵(640)을 생성하도록 활용될 수 있다.

도시된 바와 같이, 깊이 맵(170)은 깊이 대비 강화 모듈(610)에서 수신될 수 있고, 이 모듈은 깊이 맵(170)에 대해 깊이 대비를 강화하여 강화된 깊이 맵(615)을 생성할 수 있다. 일반적으로, 깊이 대비의 강화는 수직 강화, 좌-우 (left-to-right) 및/또는 우-좌(right-to-left) 수평 강화 또는 이들의 조합을 포함할 수 있다. 예를 들면, 깊이 대비의 강화는 수직 강화만을 포함할 수 있다. 다른 예에서, 깊이 대비의 강화는 깊이 맵에 대해 수직 강화, 좌-우 수평 강화, 및 우-좌 수평 강화를 동시에 수행하고, 수직, 좌-우, 및 우-좌 수평 강화를 조합하여 강화된 깊이 맵을 생성하는 것을 포함할 수 있다. 또 다른 예에서, 깊이 대비의 강화는 수직 강화를 수행하고 후속하여 좌-우 수평 강화 및 우-좌 수평 강화를 수행하여 강화된 깊이 맵을 생성하는 것을 포함할 수 있다.

일반적으로, 논의된 강화는 객체 분할을 수행하지 않고 깊이 맵(170) 내 객체 경계에서 깊이 불연속을 강조할 수 있다. 예를 들면, 수직 강화는 동일 행을 따라서 놓인 두 개의 연속하는 행 양쪽의 픽셀 값을 검토하는 것을 포함할 수 있다. 픽셀 값이 (예를 들면, 문턱치 내에서) 일정하면, 양쪽 픽셀 위치에는 더 작은 깊이 값이 적용될 수 있다. 이 프로세스가 깊이 맵을 상단에서 하단으로 아래쪽을 향해 지속함에 따라서, 급등 또는 하락이 있을 때까지 (즉, 픽셀 값 비교치가 깊이에서 증가 또는 감소 중 어느 하나로서 문턱치를 초과할 때까지) 더 작은 깊이 값이 수직으로 퍼져갈 수 있다. 그러한 급등 또는 하락은 또 다른 급등 또는 하락이 있을 때까지 퍼져갈 수 있다. 그러한 구현예는 수직 방향으로 깊이 불연속을 강조할 수 있다. 유사한 기술이 예를 들면, 좌-우 및 우-좌 수평 강화에 대해 수행될 수 있다.

이어서 상기 예를 되풀이하자면, 수직 강화는 다음과 같이 기술될 수 있다. 로우 카운트가 깊이 맵의 하단을 향해 증가하고 픽셀들 간의 차가 결정되어 문턱치와 비교될 수 있도록 깊이 맵의 로우(N) 및 컬럼(M)에 있는 픽셀의 픽셀 값이 깊이 맵의 제 2 로우(N+1) 및 컬럼(M)(예를 들면, 컬럼(N)은 N+1의 위에 있다)에 있는 픽셀의 픽셀 값과 비교될 수 있다. 만일 그 차가 문턱치 내에 있으면, 픽셀 값들은 둘 다 픽셀 값 중 더 적은 값으로 설정될 수 있다. 만일 그 차가 문턱치 내에 있지 않으면, 픽셀 값들에 대해 아무런 변동도 이루어지지 않게 할 수 있다. 그러한 절차는 예를 들면, 논의된 것처럼 깊이 맵 아래쪽으로 퍼져갈 수 있고 깊이 맵 내 각 픽셀마다 수행될 수 있다.

논의된 것처럼, 일부 예에서, 차가 문턱치 이내이면, 픽셀 값들은 그 픽셀 값들 중 더 적은 값으로 설정될 수 있다. 다른 예에서, 픽셀 값을 수정하기 위해 혼합 인자를 생성하는 에지가 사용될 수 있다. 그러한 기술의 예는 아래의 수학식 (7)에서 도시된다.

[수학식 7]

depth = (1 - alpha) x MIN(prev, curr) + alpha x MAX(prev, curr)

여기서, depth는 픽셀에 대한 강화된 깊이 값일 수 있고, alpha는 범위[0,1]를 통해 정규화된 혼합 인자일 수 있고, curr는 픽셀에 대한 현재 깊이 값일 수 있고, prev는 curr 위쪽의 픽셀에 대한 깊이 값일 수 있고, MIN은 주어진 값 중 최소치를 결정하는 연산일 수 있고, MAX는 주어진 값 중 최대치를 결정하는 연산일 수 있다.

이러한 방법의 구현예에서, 에지 크기 에지(edge magnitude edge)로부터 유도된 혼합 인자 알파를 고정시키는 하한 문턱치(L) 및 상한 문턱치(H)가 사용될 수 있다. 에지 크기 에지는 또한 p-비트를 우측으로 비트-시프트하는 연산에 의해 수정될 수 있다. 예를 들면, 알파는 다음과 같은 수학식 (8)에 의해 에지 크기로부터 계산될 수 있다.

[수학식 8]

alpha = CLAMP[edge >> p, L , H], 여기서 L = [0, 8] 이고 H = [0, 8]

여기서, CLAMP는 인자를 고정하는 연산일 수 있고, >>는 비트 카운트(p)만큼 우측으로 시프트하는 연산일 수 있고, L은 하한 경계 문턱치일 수 있고, H는 상한 경계 문턱치일 수 있다. 그러면, 강화된 깊이 값은 수학식 (9)에 도시된 것처럼 계산될 수 있다.

[수학식 9]

depth = [(8 - alpha) x MIN(prev, curr) + alpha x MAX(prev, curr)] / 8

유사한 방식으로, 좌-우 및/또는 우-좌 수평 강화(들)가 수행될 수 있다. 수평 강화에 있어서, 픽셀의 컬럼 위치는 일정하게 유지될 수 있지만 로우 위치는 바뀔 수 있고 그 값이 구해질 수 있다. 그러한 구현예는 객체 경계에서 그리고 특히 수직으로 연장하는 객체 경계에서 깊이 불연속을 강조할 수 있다.

도시된 바와 같이, 강화된 깊이 맵(615)은 고스팅 감소 모듈(620)로 전송될 수 있고, 이 모듈은 강화된 깊이 맵(615)에 대해 고스팅 감소를 수행하여 고스팅 감소된 깊이 맵(625)을 생성할 수 있다. 일반적으로, 3D 스테레오 디스플레이에서 고스팅은 스테레오 쌍에서 좌측-모습 이미지 픽셀과 우측-모습 이미지 픽셀 사이의 혼신에 의해 생길 수 있다. 일부 예에서, 고스팅 감소는 깊이 맵을 깊이 옵셋만큼 시프트시켜 영-시차 화면(zero-parallax screen)으로부터 멀리 또는 영-시차 화면을 향해 시프트시킴으로써 수행될 수 있다. 일반적으로, 그러한 시프트는 선명한 그리고/또는 높은 대비의 에지가 영-시차 화면 위에 또는 그에 가깝게 위치되게 해줄 수 있고, 이로써 시청자에게 고스팅 영향을 줄여줄 수 있다. 다른 예에서, 고스팅 감소는 강화된 깊이 맵의 명도 값(brightness values)를 수정하여 강화된 깊이 맵 내부의 에지에서 선명도 및/또는 대비를 줄여줌으로써 수행될 수 있다. 그러한 예에서, 명도의 수정은 픽셀이 에지에 있거나 에지에 가까이 있는지에 따라서 변할 수 있다. 명도의 수정은 시청자에게 대비를 적게 해줄 수 있고, 그러므로, 고스팅 효과를 줄여줄 수 있다. 논의된 것처럼, 일부 예에서, 고스팅 감소 모듈은 깊이 맵(170)을 대신 수신하여 처리할 수 있다. 다른 예에서, 강화된 깊이 맵(615)은 스테레오 이미지 모듈(500)로 전송되어 좌 및 우 3D 스테레오 이미지를 생성할 수 있다.

도시된 바와 같이, 고스팅 감소된 깊이 맵(625)은 시간적 필터링 모듈(630)로 전송될 수 있고, 이 모듈은 고스팅 감소된 깊이 맵(625) 및 고스팅 감소되고 강화된 깊이 맵에 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵(도시되지 않음)에 대해 시간적 필터링을 수행하여, 시간적으로 필터링되고 고스팅 감소된 깊이 맵(635)을 생성한다. 일부 예에서, 특히, (비디오 프레임에 반대되는 것으로서) 이미지가 처리되고 있을 때, 시간적 필터링 모듈(630)은 건너뛸 수 있다. 일반적으로, 비디오 처리 시, 순차화된 프레임이 실질적으로 깊이 값을 일정하게 갖게 하는 것이 바람직할 수 있고 그래서 시청자에게 매끄럽게 보여지게 된다. 기술되는 시간적 필터링에 의하면 랜덤 잡음으로 인한 깊이 값에서의 어떤 오르내림, 압축 아티팩트(compression artifact), 이상치(outliers) 등에 대한 영향을 안정하게 해줄 수 있다. 일부 예에서, 고스팅 감소된 깊이 맵(625)의 깊이 값은 고스팅 감소된 깊이 맵(625)에서의 깊이 값과 제 2의 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값 간의 절대 값 차에 기초한 가중 인자(a weighting factor)에 기초하여 수정될 수 있다. 일반적으로, 유한 임펄스 응답(finite impulse response, FIR) 또는 무한 임펄스 응답(infinite impulse response, IIR) 접근 방법이 사용될 수 있다. FIR 구현예에서, 깊이 값은 다음과 같은 수학식 (10)에서 도시된 바와 같이 계산될 수 있다.

[수학식 10]

depth_out(t) = (alpha) x depth_in(t) + (1 - alpha) x depth_in(t-l)

그리고 IIR 구현예에서, 깊이 값은 다음과 같은 수학식 (12)에서 도시된 바와 같이 계산될 수 있다.

[수학식 12]

depth_out(t) = (alpha) x depth_in(t) + (1 - alpha) x depth_out(t-l) (12)

여기서, depth_out은 수정된 깊이 값일 수 있고, t 는 현재 시간 (프레임)일 수 있고, t-1은 이전 시간 (프레임)일 수 있고, alpha는 가중 인자일 수 있고, depth_in은 원(original) 깊이 값일 수 있고, 일부 예에서, 가중 인자, alpha는 다음과 같은 수학식 (13)에 도시된 바와 같이 결정될 수 있다.

[수학식 13]

alpha = ABS( depth_in(t) - depth_in(t-l)) 또는

alpha = ABS( depth_in(t) - depth_out(t-l))

여기서, ABS는 주어진 값의 절대 값을 결정할 수 있다. 다른 예에서, 가중 인자, alpha는 다음과 같은 수학식 (14)에서 도시된 바와 같이 결정될 수 있다.

[수학식 14]

alpha = ABS( input_pixel(t) - input_pixel(t-l))

여기서, input_pixel은 단일의 픽셀 위치 또는 복수의 픽셀 위치로부터의 루마(Y), 크로마(Cb/Cr), 또는 트리컬러(R/G/B) 값을 포함할 수 있다. 복수의 픽셀 위치로부터 결정될 때, MAX(즉, 주어진 값 중 최대치를 결정하는 연산), MIN(즉, 주어진 값 중 최소치를 결정하는 연산), AVG(즉, 주어진 값 중 평균을 결정하는 연산), 또는 MEDIAN(즉, 주어진 값 중 중간치를 결정하는 연산)과 같은 임의의 연산이 복수개의 픽셀 값을 하나의 값으로 조합하기 위해 사용될 수 있다. 또 다른 예에서, alpha는 수학식 (15)를 이용하여 다음과 같이 결정될 수 있다.

[수학식 15]

alpha = ABS(depth_in(t) - depth_in(t-l))

ABS(input_pixel(t) - input_pixel(t-l))

여기서

는 연산 MAX, MIN, AVG, 또는 MEDIAN 중 임의의 연산이다. 다른 예에서, alpha는 도 4에 대해서 앞에서 논의된 것처럼 현재 깊이의 레벨, 깊이의 절대 시간 차의 레벨, 또는 로컬 이웃(즉, 관심 픽셀 주변의 픽셀들)에서의 복수개의 과거 깊이 값에 관한 구분적 선형 매핑을 이용하여 결정될 수 있다.

논의된 것처럼, 상기 처리 또는 그 처리의 일부분은 깊이 맵(640)을 생성하는데 사용될 수 있다. 이후 깊이 맵(640)은 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지와 같은 3D 스테레오 이미지를 생성하는데 사용될 수 있다. 3D 스테레오 이미지는 2D 입력 이미지(105) 및 깊이 맵(640)을 기초로 할 수 있으며 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지는 깊이 맵을 디스패리티 값 맵으로 변환하고 디스패리티 값 맵 및 2D 입력 이미지(105)에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 결정함으로써 생성될 수 있다. 그러한 기술은 도 5에 대하여 앞에서 논의되며 간략성을 기하기 위해 반복되지 않을 것이다. 논의된 것처럼, 도 5에 대해 논의된 기술은 본 개시에서 논의된 예를 들면, 깊이 맵(640)을 포함하는 임의의 깊이 맵을 이용하여 구현될 수 있다.

논의된 것처럼, 2D 입력 이미지는 일부 예에서 강화될 수 있는 깊이 맵을 생성하는데 사용될 수 있다. 강화된 깊이 맵은 2D 입력 이미지와 함께 사용되어 사용자에게 보여주기 위한 좌-스테레오 및 우-스테레오 이미지를 생성할 수 있다.

도 7은 본 개시의 적어도 일부 구현예에 따라서 구성된, 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템의 예시적인 다이어그램이다. 도 7에 도시된 바와 같이, 2D 입력 이미지(105)는 선명도 기반 깊이 맵 모듈(110)에서 수신될 수 있고, 이 모듈은 도 1에 대해 논의된 것처럼, 깊이 맵(170)을 생성할 수 있다. 도시된 바와 같이, 깊이 맵(170)은 강화 모듈(600)로 전송될 수 있고, 이 모듈은 도 6에 대해 논의된 것처럼, 깊이 맵(640)(예를 들면, 강화된 깊이 맵)을 생성할 수 있다. 강화된 깊이 맵(640) 및 2D 입력 이미지(105)은 스테레오 이미지 모듈(500)로 전송될 수 있고, 이 모듈은 도 5에 대해 논의된 것처럼 좌측 스테레오 이미지(540) 및 우측 스테레오 이미지(545)를 생성할 수 있다. 좌측 스테레오 이미지(540) 및 우측 스테레오 이미지(545)는 3D 스테레오 이미지를 표현할 수 있으며 사용자에게 보여질 수 있다. 인식되는 바와 같이, 도 7에서 제시된 시스템 및 프로세스는 본 개시에서 논의된 구현예들의 임의의 조합을 포함할 수 있다. 그에 관한 세부사항은 간략성을 기하기 위해 반복되지 않을 것이다.

도 8은 본 개시의 적어도 일부 구현예에 따라서 구성된, 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템의 예시적인 다이어그램이다. 도시된 바와 같이, 시스템(100)은 선명도 기반 깊이 맵 모듈(110), 기하적 모델 기반 깊이 표면 모듈(805), 로컬 강화 모듈(810), 깊이 대비 강화 모듈(815), 깊이 대비 강화 모듈(820), 병합 모듈(825), 깊이 대비 강화 모듈(830), 병합 모듈(835), 고스팅 감소 모듈(620), 시간적 필터링 모듈(630), 및 스테레오 이미지 모듈(500)을 포함할 수 있다. 도시된 바와 같이, 시스템(100)은 2D 입력 이미지(105)를 수신하고 좌측 스테레오 이미지(850) 및 우측 스테레오 이미지(855)를 생성할 수 있다.

도시된 바와 같이, 2D 입력 이미지(105)는 선명도 기반 깊이 맵 모듈(110)에서 수신될 수 있고, 이 모듈은 깊이 맵(170)을 생성할 수 있다. 선명도 기반 깊이 맵 모듈(110)은 본 개시에서 논의된 기술 및 특히 도 1에 대해 논의된 기술 중 임의의 기술에 의해 깊이 맵(170)을 생성할 수 있고, 이 기술은 간략성을 기하기 위해 되풀이 하지 않을 것이다. 2D 입력 이미지(105)는 기하적 모델 기반 깊이 표면 모듈(805)에서도 또한 수신될 수 있고, 이 모듈은 깊이 표면(807)을 생성할 수 있다. 일부 예에서, 깊이 표면(807)은 기하적 모델 기반 깊이 표면이라고 간주될 수 있다.

기하적 모델 기반 깊이 표면 모듈(805)은 2D 입력 이미지(105)와 연관된 상단-하단 깊이 맵(a top-to-bottom depth map)을 결정함으로써 기하적 모델 기반 깊이 표면(807)을 생성할 수 있다. 상단-하단 깊이 맵은 상단-하단 깊이 맵의 상단부터 상단-하단 깊이 맵의 하단까지 증가할 수 있는, 상단-하단 깊이 맵의 각 로우 전체에서 일정한 복수개의 깊이 값을 포함할 수 있다. 또한, 2D 입력 이미지(105)에서 하나 이상의 에지가 결정될 수 있다. 일부 예에서, 아래에서 추가 논의되는 바와 같이, 에지는 2D 입력 이미지의 로우 픽셀 쌍들 간의 픽셀 값 차를 문턱치와 비교함으로써 결정될 수 있다. 다른 예에서, 에지는 소벨 연산자(Sobel operators)를 적용함으로써 결정될 수 있다. 역시 아래에서 추가 논의되는 바와 같이, 하나 이상의 에지를 결정하게 되면 에지와 연관된 하나 이상의 혼합 인자를 제공할 수 있다. 상단-하단 깊이 맵은 기하적 모델 기반 깊이 표면(807)을 생성하기 위해 하나 이상의 혼합 인자에 의해 수정될 수 있다.

논의된 것처럼, 상단-하단 깊이 맵은 2D 입력 이미지(105)와 연관되어 결정될 수 있다. 일부 예에서, 상단-하단 깊이 맵은 일반적으로 2D 입력 이미지(105)의 콘텐츠와 무관하게 선택되는 기술에 의해 형성될 수 있다. 예를 들면, 상단-하단 깊이 맵은 단일의 깊이 값을 깊이 표면의 전체 수평 픽셀 위치(즉, 단일의 로우)에 할당함으로써 형성될 수 있다. 깊이 값은 상단에서 하단으로 연속하는 로우들에서 점차적으로 증가할 수 있다. 예를 들면, 깊이 값의 전체 범위를 균등하게 분포시키기 위해, 깊이 값은 다음과 같은 수학식 (16)에서 도시된 바와 같이 할당될 수 있다.

[수학식 16]

depth(r) = FLOOR((2^N / h) x r)

여기서, depth는 N-비트 깊이 값일 수 있고, r 은 로우의 지명일 수 있고, FLOOR은 내림한 값(a rounded down value)을 반환하는 연산일 수 있고 복수개의 로우(예를 들면, 4 또는 5 로우)에 대해 동일한 깊이 값을 제공할 수 있으며, h는 깊이 표면의 높이일 수 있다. 예를 들면, N = 8 비트이고 h = 1080 로우이면, 수학식 (16)은 FLOOR() 연산에 의해 동일한 깊이 값을 4 또는 5 연속 로우들에 할당할 수 있다. 대안으로, 다음과 같은 수학식(17)을 이용하여 단일의 깊이 값이 모든 로우 전체에서 동일 개수의 로우들에게 할당될 수 있다.

[수학식 17]

depth(r) = FLOOR(r / CEIL(h / 2^N))

여기서, CEIL은 올림한 값(a rounded up value)을 제공하는 연산이다. 수학식 (17)을 이용하면, 예를 들면, N = 8 비트이고 h = 1080 로우인 경우, 동일한 깊이 값이 5 연속 로우들의 집합 각각에 할당되도록 [0, 215]라는 깊이 값이 할당된다. 그러한 구현예는 8-비트 깊이 값의 전체 범위[0, 255]를 활용하지 않을 수 있지만, 소프트웨어 또는 하드웨어 구현예에는 유리할 수 있다. 기술된 바와 같이, 모든 입력 픽처(즉, 2D 입력 이미지(105))에는 2D 입력 이미지(105)의 콘텐츠에도 불구하고 상단-하단 기하적 모델에 필요한 동일한 깊이 값의 범위가 할당될 수 있다. 일부 예에서, 곱셈 또는 나눗셈 연산을 통한 깊이 값의 조정은 예를 들면, 깊이 값이 입력 픽셀 값으로부터 적응적으로 계산되는 경우라면, 깊이 값을 N-비트 범위에 맞추는데 사용될 수 있다. 일반적으로, 논의되는 기술은 논의되는 상단-하단 깊이 맵의 간략한 생성을 가능하게 해줄 수 있다.

논의된 것처럼, 상단-하단 깊이 맵은 기하적 모델 기반 깊이 표면(807)을 생성하기 위해 하나 이상의 혼합 인자에 의해 수정될 수 있다. 혼합 인자를 생성하는 과정은 2D 입력 이미지(105)에서 하나 이상의 에지를 결정하고 그 하나 이상의 에지와 연관된 혼합 인자를 결정하는 과정을 포함할 수 있다. 일부 예에서, 에지는 2D 입력 이미지의 로우 픽셀 쌍들 간의 픽셀 값을 문턱치와 비교함으로써 결정될 수 있다. 예를 들면, 에지는 연속 로우들에 기초하여 2D 입력 이미지(105)로부터 결정될 수 있고 수직방향으로 이웃하는 두 깊이 값들 사이에서 혼합 인자(alpha)로서 사용될 수 있다. 이것은 예를 들면, 상단-하단 기하적 모델에 대해 수직 방향을 따라가면서 수행될 수 있다. 일부 예에서, 에지는 다음과 같은 수학식 (18)에서 도시된 바와 같이 로우 (r, r+1), (r+1, r+2), ...,및 (r+R-1, r+R)의 각각의 연속 쌍 전체에서 결정될 수 있다.

[수학식 18]

edgel = ABS( input_pixel(c, r+0) - input_pixel(c, r+1) );

edge2 = ABS( input_pixel(c, r+1) - input_pixel(c, r+2) );

. . .

edgeR = ABS( input_pixel(c, r+R-1) - input_pixel(c, r+R) );

여기서, edge는 결정된 에지일 수 있고, ABS는 주어진 값의 절대 값을 반환하는 연산일 수 있고, input_pixel은 입력 픽셀 값일 수 있고, c 는 컬럼 위치일 수 있고, r 은 로우 위치일 수 있다.

다른 예에서, 소벨 연산자 또는 다른 에지 연산자가 2D 입력 이미지(105)에서 에지를 결정하는데 사용될 수 있다. 기술되는 혼합 인자는 연산 MAX, MIN, AVG, 또는 MEDIAN을 이용하여 에지 크기에 기초하여 결정될 수 있다. 예시적인 목적 상 MAX를 이용하면, alpha는 다음과 같은 수학식 (19)을 이용하여 결정될 수 있다.

[수학식 19]

alpha = MAX(edge 1 , edge2, edge3 , ... , edgeR)

여기서, alpha는 혼합 인자일 수 있다.

논의된 것처럼, 상단-하단 깊이 맵은 기하적 모델 기반 깊이 표면(807)을 생성하기 위해 혼합 인자(들)에 기초하여 수정될 수 있다. 예를 들면, 상단-하단 맵의 깊이 값은 다음과 같은 수학식 (20)에서 도시된 바와 같이 수정될 수 있다.

[수학식 20]

depth( r ) = alpha x MIN(prev, curr) + (1 - alpha) x MAX(prev, curr)

여기서, curr는 현재 픽셀 위치의 깊이 값이고, prev는 수직방향으로 이전의 픽셀 위치(즉, 로우의 위쪽)의 깊이 값이다. 일부 예에서, 상단-하단 모델을 적용할 때, prev에서의 깊이 값은 MIN(prev, curr) = prev 및 MAX(prev, curr) = curr 이도록 항시 깊이 값(curr) 보다 작을 수 있다.

도시된 바와 같이, 깊이 맵(170)은 깊이 대비 강화 모듈(815)로 전송될 수 있다. 깊이 대비 강화 모듈(815)은 강화된 깊이 맵(817)을 생성할 수 있다. 일부 예에서, 강화된 깊이 맵(817)은 깊이 맵(170)에 대해 깊이 대비의 수직 강화를 수행함으로써 생성될 수 있다. 그러한 수직 강화는 본 개시에서 논의된 임의의 기술 및 특히 도 6에 대해 논의된 기술을 이용하여 수행될 수 있다. 또한 도시된 바와 같이, 기하적 모델 기반 깊이 표면(807)은 깊이 대비 강화 모듈(820)로 전송될 수 있다. 깊이 대비 강화 모듈(820)은 강화된 기하적 모델 기반 깊이 표면(822)을 생성할 수 있다. 일부 예에서, 강화된 기하적 모델 기반 깊이 표면(822)은 깊이 대비 강화 모듈(820)에 대해 깊이 대비의 수직 강화를 수행함으로써 생성될 수 있다. 그러한 수직 강화는 본 개시에서 논의된 임의의 기술 및 특히 도 6에 대해 논의된 기술을 이용하여 수행될 수 있다.

도 8에 도시된 바와 같이, 강화된 깊이 맵(817) 및 강화된 기하적 모델 기반 깊이 표면(822)은 병합 모듈(825)로 전송될 수 있다. 병합 모듈(825)은 강화된 깊이 맵(817)과 강화된 기하적 모델 기반 깊이 표면(822)을 병합하여 병합된 깊이 맵(827)을 생성할 수 있다. 그러한 병합은 본 개시에서 논의된 임의의 기술 및 특히 도 1에 대해 병합 모듈(160)에서 논의된 기술을 이용하여 수행될 수 있다.

도시된 바와 같이, 병합된 깊이 맵(827)은 깊이 대비 강화 모듈(830)로 전송될 수 있다. 깊이 대비 강화 모듈(830)은 강화되고 병합된 깊이 맵(832)을 생성할 수 있다. 일부 예에서, 강화되고 병합된 깊이 맵(832)은 병합된 깊이 맵(827)에 대해 깊이 대비의 수평 강화를 수행함으로써 생성될 수 있다. 그러한 수평 강화는 본 개시에서 논의된 임의의 기술 및 특히 도 6에 대해 병합 모듈(160)에서 논의된 기술을 이용하여 수행될 수 있다.

도 8에 도시된 바와 같이, 2D 입력 이미지(105)는 로컬 강화 모듈(810)로 전송될 수 있다. 로컬 강화 모듈(810)은 2D 입력 이미지에 대해 에지-기반의 로컬 강화 및 루마-기반의 로컬 강화를 수행하여 로컬 강화된 깊이 맵(812)을 생성할 수 있고, 이 맵은 병합 모듈(835)에서 강화되고 병합된 깊이 맵(832)과 병합 또는 혼합될 수 있다. 일부 예에서, 로컬 강화된 깊이 맵(812)은 depth_final 값을 포함할 수 있다. 예를 들면, 에지-기반 강화는 2D 입력 이미지(105)에서 에지를 결정하는 과정을 포함할 수 있다. 에지는 예를 들면, 3x3 수직 소벨 에지 연산자를 적용함으로써, 3x3 수평 소벨 에지 연산자를 적용함으로써, 결정된 수직 및 수평 에지의 최대치를 결정함으로써 결정될 수 있다. 결정된 에지는 에지-기반 강화로서 2D 입력 이미지(105)에 적용될 수 있다. 또 다른 루마-기반의 로컬 강화가 다음과 같이 적용될 수 있다. 예를 들면, 결정된 에지 및 루마는 비선형 조정 및 클립핑 연산에 의해 수정될 수 있다. 그러한 연산의 예는 다음과 같은 수학식 (21)-(23)에서 도시된다.

[수학식 21]

delta_edge = (edge < THR) ? 0 : MIN(edge/Z, E)

[수학식 22]

delta_luma = MAX(MIN(luma/Z)-OFFSET, HI), LO);

[수학식 23]

depth_final = MAX(MIN(depth_global + delta_edge + delta_luma, 255), 0)

여기서, 로컬 강화의 결과는 8-비트 깊이 값으로서 depth_final에 저장될 수 있고, 에지로부터 생긴 결과는 delta_edge에 저장될 수 있고, 명도로부터 생긴 결과는 delta_luma에 저장될 수 있으며, 파라미터 집합(THR, Z, E, Offset, HI, LO)은 구현예에 기초하여 프로그램될 수 있다.

도 8에 도시된 바와 같이, 강화되고 병합된 깊이 맵(832) 및 로컬 강화된 깊이 맵(812)은 병합 모듈(835)로 전송될 수 있다. 병합 모듈(835)은 강화되고 병합된 깊이 맵(832)과 로컬 강화된 깊이 맵(812)을 병합하여 병합된 깊이 맵(837)을 생성할 수 있다. 그러한 병합은 본 개시에서 논의된 임의의 기술 및 특히 도 1에 대해 병합 모듈(160)에서 논의된 기술을 이용하여 수행될 수 있다. 또한, 병합된 깊이 맵(837)은 고스팅 감소 모듈(620)로 전송될 수 있고, 이 모듈은 고스팅 감소된 깊이 맵(838)을 생성할 수 있다. 그러한 고스팅 감소는 본 개시에서 논의된 임의의 기술 및 특히 도 6에 대해 논의된 기술을 이용하여 수행될 수 있다. 고스팅 감소된 깊이 맵(838)은 시간적 필터링 모듈(630)로 전송될 수 있고, 이 모듈은 예를 들어, 고스팅 감소된 깊이 맵(838) 및 고스팅 감소된 깊이 맵을 시간(t)만큼 시간적으로 이른 제 2의 고스팅 감소되고 강화된 깊이 맵에 기초하여 강화된 깊이 맵(839)을 생성할 수 있다. 그러한 시간적 필터링은 본 개시에서 논의된 임의의 기술 및 특히 도 6에 대해 논의된 기술을 이용하여 수행될 수 있다.

도시된 바와 같이, 강화된 깊이 맵(839)은 스테레오 이미지 모듈(500)로 전송될 수 있다. 또한 도시된 바와 같이, 2D 입력 이미지(105)는 스테레오 이미지 모듈(500)로 전송될 수 있다. 스테레오 이미지 모듈(500)은 본 개시에서 논의된 임의의 기술 및 특히 도 5에 대해 논의된 기술을 이용하여 좌측 스테레오 이미지(850) 및 우측 스테레오 이미지(855)를 생성할 수 있다. 좌측 스테레오 이미지(850) 및 우측 스테레오 이미지(855)는 이미지로부터 3D 효과를 경험할 수 있는 사용자에게 제시될 수 있다.

논의된 것처럼, 일부 예에서, 상단-하단 기하적 모델이 사용될 수 있다. 그러한 모델은 많은 자연스러운 장면에 적합할 수 있다. 그러나, 일부 예의 2D 입력 이미지는 상단-하단 기하적 모델에 적합하지 않을 수 있다. 일부 예에서, 상단-하단 모델이 주어진 2D 입력 이미지에 얼마나 적합한지를 결정하는 것이 바람직할 수 있다. 그러한 결정은 2D 입력 이미지로부터의 픽셀 값 및 에지 크기의 콘텐츠 히스토그램을 이용하여 이루어질 수 있다. 예를 들면, 2D 입력 이미지가 루마, 크로마, 및/또는 입력 픽처의 상단 부분과 하단 부분 간의 에지 크기의 측면에서 변한다면 상단-하단 모델이 더 적합하다고 추정될 수 있다. 예를 들어, 상단 및 하단 부분이 유사한 컬러를 가지고 있다면, 상단-하단 모델이 적합할 가능성은 더 적을 수 있다. 유사하게, 에지 크기가 상단 또는 하단 부분에서만 더 크면, 이것은 상단-하단 모델이 잘 맞을 가능성이 많다고 할 수 있다. 일부 예에서, 히스토그램 기반 접근방법은 이러한 개념을 구현할 수 있다. 예를 들면, 다음과 같이 네 개의 히스토그램이 생성되고 비교될 수 있다. 예를 들면, 2D 입력 이미지의 상단 1/N 부분으로부터의 루마와 같은 픽셀 값이 히스토그램(hist_pixel_top) 내에 수집될 수 있다. 입력 픽처의 하단 1/N 부분으로부터의 픽셀 값은 히스토그램(hist_pixel_bot) 내에 수집될 수 있다. 입력 픽처의 상단 1/N 부분으로부터의 에지 크기는 히스토그램(hist_edge_top) 내에 수집될 수 있다. 입력 픽처의 하단 1/N 부분으로부터의 에지 크기는 히스토그램(hist_edge_bot) 내에 수집될 수 있다. N의 값은 기설정된 고정된 값일 수 있거나 2D 입력 이미지에 기초하여 적응적으로 결정될 수 있다.

히스토그램(hist_pixel_top 및 hist_pixel_bot)은 예를 들면, 두 히스토그램의 절대 차의 합(sum of absolute differences, SAD)을 계산함으로써 비교될 수 있고 히스토그램(hist_edge_top 및 hist_edge_bot)은 유사한 방식으로 비교될 수 있다. 히스토그램의 유사도는 다음과 같은 수학식 (24) 및 (25)에서 도시된 바와 같이 정규화 인자(

)를 이용하여 두 가지의 양(similarity_pixel 및 similarity_edge)으로 정규화될 수 있다.

[수학식 24]

similarity_pixel =

SAD(hist_pixel_top - hist_pixel_bot)

[수학식 25]

similarity_edge =

SAD(hist_edge_top - hist_edge_bot)

상단-하단 모델의 적합성은 다음과 같은 수학식 (26)에서 도시된 바와 같이 유사도 측정치(similarity_pixel 및 similarity_edge)를 이용하여 결정될 수 있다.

[수학식 26]

suitability_top_to_bottom_model =

MIN(AVG(similarity_pixel, similarity_edge)+BIAS, THR)

여기서, BIAS는 similarity_pixel 및 similarity_edge의 평균에 가산되는 상수일 수 있고, THR은 suitability_top_to_bottom_model의 상한 경계일 수 있다. 일부 예에서, 하한 경계도 정의될 수 있다. 일부 예에서, suitability_top_to_bottom_model 은 상단-하단 기하적 모델이 적합할 수 있는지를 결정하기 위해 기설정된 문턱치와 비교될 수 있다. 상단-하단 기하적 모델이 적합하면, 도 8 및 특히 모듈(805, 820 및 825)에 대해 기술된 처리가 수행될 수 있다. 상단-하단 기하적 모델이 적합하지 않으면, 이들 모듈은 건너뛸 수 있고 처리는 모듈(815 및 810)로부터 병합 모듈(835)로 직접 진행하여 강화된 깊이 맵(817)이 고스팅 감소 모듈(620)에서 처리하기 전에 로컬 강화된 깊이 맵(812)과 병합될 수 있도록 한다.

아래에서 더 상세하게 논의되는 바와 같이, 시스템(100)은 도 9와 관련하여 아래에서 논의되는 다양한 기능 또는 앞에서 논의된 기능 중 일부 또는 모두를 수행하도록 사용될 수 있다.

도 9는 본 개시의 적어도 일부 구현예에 따라서 구성된, 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 프로세스(900)를 예시하는 플로우차트이다. 예시된 구현예에서, 프로세스(900)는 블록(902, 904, 906, 908, 910, 및/또는 912) 중 하나 이상으로 예시된 바와 같은 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 한정하지 않는 예로서, 프로세스(900)는 일 예의 시스템(100)을 참조하여 여기서 기술될 것이다.

프로세스(900)는 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 컴퓨터로 구현된 방법으로서 활용될 수 있다. 프로세스(900)는 "2D 입력 이미지의 개개 픽셀의 선명도 값을 결정"하는 블록(902)에서 시작할 수 있고, 이 블록에서 2D 입력 이미지의 개개 픽셀의 선명도 값이 결정될 수 있다. 2D 입력 이미지는 이미지 파일 또는 비디오 프레임 등을 포함할 수 있다. 본 개시에서 논의된 것처럼, 프로세스(900)는 프로세스(900)가 하드웨어 및/또는 소프트웨어에 의해 인간의 개입 없이 수행될 수 있도록 실시간으로 자동으로 수행될 수 있다.

처리는 동작(902)으로부터 "선명도 값에 대해 제 1 및 제 2 영역기반 샘플링을 수행하여 제 1 및 제 2 샘플 선명도 값을 결정"하는 동작(904)으로 이어질 수 있고, 이 동작에서 예를 들면, 선명도 값의 제 1 영역기반 샘플링이 수행되어 제 1의 복수개의 샘플 선명도 값을 결정할 수 있고 선명도 값의 제 2 영역기반 샘플링이 수행되어 제 2의 복수개의 샘플 선명도 값을 결정할 수 있으며, 이 경우 제 1 및 제 2 영역기반 샘플링이 상이한 해상도에서 수행될 수 있다. 제 1 및 제 2 샘플링은 예를 들면, 상이한 샘플링 모듈에서 병렬로 수행될 수 있거나, 동일한 샘플링 모듈에서 일렬로 수행될 수 있다. 상이한 해상도는 예를 들면, 상이한 영역 크기로 샘플링함으로써 제공될 수 있거나, 상이한 축소 인자를 이용하여 샘플링함으로써 제공될 수 있다.

처리는 동작(904)으로부터 "제 1 및 제 2 선명도 값을 조정하여 제 1 및 제 2 조정된 선명도 값을 생성"하는 동작(906)으로 이어질 수 있고, 이 동작에서 제 1의 복수개의 선명도 값이 조정되어 제 1의 복수개의 조정된 선명도 값이 생성되고 제 2의 복수개의 선명도 값이 조정되어 제 2의 복수개의 조정된 선명도 값이 생성될 수 있다. 제 1 및 제 2 조정 동작은 상이한 조정 모듈 또는 동일한 조정 모듈에서 수행될 수 있다. 조정 동작 중 하나 또는 모두의 동작은 예를 들면, 구분적-선형 매핑을 실행함으로써 수행될 수 있다.

처리는 동작(906)으로부터 "제 1 및 제 2 조정된 선명도 값을 평탄화하여 제 1 및 제 2 평탄화된 선명도 값을 생성"하는 동작(908)으로 이어질 수 있고, 이 동작에서 예를 들면, 제 1의 복수개의 조정된 선명도 값이 평탄화되어 제 1의 복수개의 평탄화된 선명도 값이 생성되고 제 2의 복수개의 조정된 선명도 값이 평탄화되어 제 2의 복수개의 평탄화된 선명도 값이 생성될 수 있다. 평탄화 동작은 상이한 평탄화 모듈 또는 동일한 평탄화 모듈에서 수행될 수 있다. 평탄화 동작 중 하나 또는 모두의 동작은 예를 들면, 3x3 평균화 필터와 같은 평균화 필터를 적용하는 것을 포함할 수 있다.

처리는 동작(908)으로부터 "제 1 및 제 2 평탄화된 선명도 값에 기초하여 제 1 및 제 2 보간된 선명도 값을 결정"하는 동작(910)으로 이어질 수 있고, 이 동작에서 예를 들면, 제 1의 복수개의 평탄화된 선명도 값에 기초하여 제 1의 복수개의 보간된 선명도 값이 결정될 수 있고, 제 2의 복수개의 평탄화된 선명도 값에 기초하여 제 2의 복수개의 보간된 선명도 값이 결정될 수 있다. 보간은 상이한 보간 모듈 또는 동일한 보간 모듈에서 수행될 수 있다. 보간 중 하나 또는 모두는 예를 들면, 이중선형 보간을 포함할 수 있다. 또한, 보간에 의하면 보간된 선명도 값의 해상도를 2D 입력 이미지의 해상도와 동일한 해상도로 가져갈 수 있다.

처리는 동작(910)으로부터 "제 1 및 제 2 보간된 선명도 값을 병합하여 깊이 맵을 생성"하는 동작(912)으로 이어질 수 있고, 이 동작에서 예를 들면, 제 1의 복수개의 보간된 선명도 값과 제 2의 복수개의 보간된 선명도 값이 병합되어 2D 입력 이미지와 연관된 복수개의 깊이 값을 갖는 깊이 맵이 생성될 수 있다. 병합 동작은 병합 모듈에서 수행될 수 있다. 병합 동작은, 일부 예에서, 제 1 및 제 2 보간된 선명도 값을 병합할 때 혼합 인수인자를 적용하는 것을 포함할 수 있다.

논의된 것처럼, 생성된 깊이는 옵션으로 다양한 방법으로 강화되어 강화된 깊이 맵이 생성될 수 있다. 어느 경우에서든, 생성된 깊이 맵 또는 깊이 맵과 연관된 강화된 깊이 맵은 2D 입력 이미지와 함께 사용되어, 사용자에게 디스플레이하기 위한 3D 스테레오 이미지(즉, 좌측 스테레오 이미지 및 우측 스테레오 이미지)이 생성될 수 있다. 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지는 깊이 맵을 디스패리티 값 맵으로 변환하고 디스패리티 값 맵 및 2D 입력 이미지에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 결정함으로써 2D 입력 이미지 및 깊이 맵에 기초하여 생성될 수 있다. 또한 논의된 것처럼, 일부 예에서, 두 번의 지역 기반 샘플링이 수행되고, 처리되고 병합(또는 혼합)되어서 깊이 맵을 형성할 수 있다. 다른 예에서, 둘보다 많은 영역, 이를 테면, 예를 들어, 3 또는 4 이상의 영역기반 샘플링이 수행되고, 처리되고 병합(또는 혼합)되어 깊이 맵을 형성할 수 있다.

일반적으로, 설명된 기술은 제공된 2D 입력 이미지로부터 공간적 단안 깊이 단서(spatial monocular depth cues)를 이용하여 깊이 맵을 생성할 수 있다. 생성된 깊이 맵은 예를 들면, 전-해상도 맵(즉, 제공된 2D 입력 이미지와 동일한 해상도를 갖는 맵)을 포함할 수 있다. 생성된 깊이 맵은 예를 들면, 제공된 2D 입력 이미지 내에 있는 상이한 객체 및 텍스처 영역에 대해 적절한 깊이 값을 포함할 수 있다. 또한, 본 개시에서 제공된 기술은 2D에서 3D로의 자동적인 실시간 변환을 제공할 수 있다. 이 기술은 디바이스 비용 및 복잡도를 개선하지 않고도 구현할 수 있는 장점을 가지면서 고품질의 깊이 맵을 제공할 수 있다.

프로세스(900)에 관련된 일부의 부가적인 및/또는 대안의 세부사항은 본 개시에서 논의된 것처럼 구현될 수 있다. 예시적인 프로세스(900) 및 본 개시에서 어딘가에서 논의된 프로세스의 구현예가 도시된 모든 블록을 예시된 순서대로 착수하는 것을 포함할 수 있지만, 본 개시는 그 점에 관련하여서 한정되지 않으며, 다양한 예에서, 프로세스(900) 및 본 개시의 어디선가 논의된 프로세스의 구현예는 도시된 블록의 서브셋만을 그리고/또는 예시된 순서와 상이한 순서대로 착수하는 것을 포함할 수 있다.

또한, 도 1 및 도 5 내지 도 9의 블록 중 임의의 하나 이상의 블록은 하나 이상의 컴퓨터 프로그램 제품에 의해 제공되는 명령어에 응답하여 착수될 수 있다. 그러한 프로그램 제품은, 실행될 때, 예를 들면, 프로세서가 본 개시에서 설명되는 기능성을 제공할 수 있는 명령어를 제공하는 신호를 갖는 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능한 매체의 임의의 형태로 제공될 수 있다. 따라서, 예를 들면, 하나 이상의 프로세서 코어(들)를 포함하는 프로세서는 도 1 및 도 5 내지 도 9에 도시된 블록, 및 본 개시에서 논의된 프로세스 중 하나 이상을 착수할 수 있다.

본 개시에서 설명되는 임의의 구현예에서 사용될 때, 용어 "모듈"은 본 개시에서 기술된 기능성을 제공하도록 구성된 소프트웨어, 펌웨어 및/또는 하드웨어의 임의의 조합을 지칭한다. 소프트웨어는 소프트웨어 패키지, 코드 및/또는 명령어 집합이나 명령어로 구현될 수 있고, 그리고 "하드웨어"는, 본 개시에서 기술된 임의의 구현예에서 사용될 때, 예를 들면, 하드웨어 내장 회로, 프로그래머블 회로, 상태 머신 회로, 및/또는 프로그래머블 회로에 의해 실행되는 명령어를 저장하는 펌웨어를 단독으로 또는 임의로 조합하여 포함할 수 있다. 모듈은 일괄하여 또는 개별적으로 큰 시스템의 부분, 예를 들면, 집적회로(an integrated circuit, IC), 시스템 온-칩(system on-chip, SoC) 등을 형성하는 회로로써 구현될 수 있다.

도 10은 본 개시의 적어도 일부 구현예에 따라서 구성된, 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 일 예의 시스템(100)의 예시적인 다이어그램이다. 도시된 구현예에서, 시스템(100)은 하나 이상의 중앙 처리 유닛(1006), 하나 이상의 메모리 저장소(1008), 하나 이상의 그래픽 처리 유닛(1004), 및/또는 디스플레이 디바이스(1110)를 포함할 수 있다. 중앙 처리 유닛(1006), 메모리 저장소(1008) 및 그래픽 처리 유닛(1004)은 예를 들면, 버스나 다른 액세스를 통해 서로와 통신할 수 있다. 다양한 구현예에서, 디스플레이 디바이스(1010)는 시스템(100)에 통합될 수 있거나 시스템(100)과 별개로 구현될 수 있다.

도 10에 도시된 바와 같이, 그리고 앞에서 논의된 것처럼, 선명도 기반 깊이 맵 모듈(110)은 중앙 처리 유닛(1006) 또는 그래픽 처리 유닛(1004)을 통해 구현될 수 있다. 유사하게, 스테레오 이미지 모듈(500)은 중앙 처리 유닛(1006) 또는 그래픽 처리 유닛(1004)을 통해 구현될 수 있다. 또한, 강화 모듈(600)은 중앙 처리 유닛(1006) 또는 그래픽 처리 유닛(1004)을 통해 구현될 수 있다. 또한, (본 개시에서 도 8에 대하여 논의된 것처럼) 로컬 강화 모듈(810), 깊이 대비 강화 모듈(815, 820 및 830), 병합 모듈(825) 및 835), 고스팅 감소 모듈(620), 및/또는 시간적 필터링 모듈(630)은 비록 도 10에서 간결한 보여주기를 위해 도 10에 도시되지 않을지라도, 중앙 처리 유닛(1006) 또는 그래픽 처리 유닛(1004)을 통해 구현될 수 있다.

인식되는 바와 같이, 도 10에 도시된 모듈은 각종의 소프트웨어 및/또는 하드웨어 모듈 및/또는 소프트웨어 및/또는 하드웨어를 통해 구현될 수 있는 모듈을 포함할 수 있다. 예를 들면, 모듈은 중앙 처리 유닛(1006) 또는 그래픽 처리 유닛(1004)을 통해 소프트웨어로서 구현될 수 있거나 또는 예를 들면, 모듈은 전용 하드웨어 부분 또는 그래픽 처리 유닛(1004)의 부분을 통해 구현될 수 있다. 또한, 도시된 메모리 저장소(1008)는 예를 들면, 중앙 처리 유닛(1006) 및/또는 그래픽 처리 유닛(1004)의 공유 메모리일 수 있다. 또한, 시스템(100)은 다양한 방법으로 구현될 수 있다. 예를 들면, (디스플레이 디바이스(1010)를 배제한) 시스템(100)은 그래픽 프로세서, 쿼드-코어 프로세싱 유닛, 온-보드 캐시, 및 메모리 컨트롤러 입력/출력(I/O) 모듈(도시되지 않음)을 갖는 단일 칩 또는 디바이스로서 구현될 수 있다. 다른 예에서, (되풀이하여 디스플레이 디바이스(1010)를 배제한) 시스템(100)은 하나의 칩으로서 구현될 수 있다.

중앙 처리 유닛(1006)은 예를 들면, 마이크로프로세서(들), 멀티코어 프로세서, 주문형 집적 회로, 칩(들), 또는 칩셋 등을 포함하는 임의의 적절한 구현예를 포함할 수 있다. 또한, 그래픽 처리 유닛(1004)은 예를 들면, 프로세서(들), 멀티코어 프로세서, 주문형 집적 회로, 프로그래머블 로직 디바이스, 그래픽 카드, 통합 그래픽, 또는 범용 그래픽 처리 유닛(들) 등을 포함하는 임의의 적절한 구현예를 포함할 수 있다. 또한, 메모리 저장소(1008)는 휘발성 메모리(예를 들면, 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM) 등) 또는 비휘발성 메모리(예를 들면, 플래시 메모리 등) 등과 같은 임의의 형태의 메모리일 수 있다. 한정하지 않는 예에서, 메모리 저장소(1008)는 캐시 메모리에 의해 구현될 수 있다. 다양한 구현예에서, 시스템(100)은 칩셋으로서 또는 시스템 온 칩으로서 구현될 수 있다.

도 11은 본 개시에 따른 일 예의 시스템(1100)을 도시한다. 다양한 구현예에서, 시스템(1100)은 매체 시스템일 수 있지만, 시스템(1100)은 이러한 맥락에 한정되지 않는다. 예를 들면, 시스템(1100)은 개인용 컴퓨터(a personal computer, PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인 휴대 단말(personal digital assistant, PDA), 셀룰러폰, 겸용 셀룰러 텔레폰/PDA, 텔레비전, 스마트 디바이스(예를 들면, 스마트폰, 스마트 태블릿이나 스마트 텔레비전), 모바일 인터넷 장치(mobile internet device, MID), 메시징 디바이스, 및 데이터 통신 디바이스 등 내에 통합될 수 있다.

다양한 구현예에서, 시스템(1100)은 디스플레이(1120)에 연결된 플랫폼(1102)를 포함한다. 플랫폼(1102)은 콘텐츠 서비스 디바이스(들)(1130) 또는 콘텐츠 전달 디바이스(들)(1140) 또는 다른 유사한 콘텐츠 소스와 같은 콘텐츠 디바이스로부터 콘텐츠를 수신할 수 있다. 하나 이상의 네비게이션 특징을 포함하는 네비게이션 컨트롤러(1150)는, 예를 들면, 플랫폼(1102) 및/또는 디스플레이(1120)와 상호작용하도록 사용될 수 있다. 이들 컴포넌트 각각은 아래에서 더 상세하게 설명된다.

다양한 구현예에서, 플랫폼(1102)은 칩셋(1105), 프로세서(1110), 메모리(1112), 안테나(1113), 저장소(1114), 그래픽 서브시스템(1115), 애플리케이션(1116) 및/또는 무선장치(1118)의 임의의 조합을 포함할 수 있다. 칩셋(1105)은 프로세서(1110), 메모리(1112), 저장소(1114), 그래픽 서브시스템(1115), 애플리케이션(1116) 및/또는 무선장치(1118) 사이에서 통신을 제공할 수 있다. 예를 들면, 칩셋(1105)은 저장소(1114)와 상호통신을 제공할 수 있는 저장소 어댑터(도시되지 않음)를 포함할 수 있다.

프로세서(1110)는 복합 명령어 집합 컴퓨터(Complex Instruction Set Computer, CISC) 또는 축소 명령어 집합 컴퓨터(Reduced Instruction Set Computer, RISC) 프로세서, x86 명령어 집합 호환 프로세서, 멀티-코어 또는 그 밖의 마이크로프로세서나 중앙 처리 유닛(central processing unit, CPU)로 구현될 수 있다. 다양한 구현예에서, 프로세서(1110)는 듀얼-코어 프로세서(들), 듀얼-코어 모바일 프로세서(들) 등일 수 있다.

메모리(1112)는 랜덤 액세스 메모리(Random Access Memory, RAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM), 또는 정적 RAM(Static RAM, SRAM)과 같은 휘발성 메모리 장치로 구현될 수 있지만, 이에 한정되지 않는다.

저장소(1114)는 마그네틱 디스크 드라이브, 광 디스크 드라이브, 테이프 드라이브, 내부 저장 디바이스, 부속 저장 디바이스(an attached storage device), 플래시 메모리, 배터리 백업 SDRAM(synchronous DRAM) 및/또는 네트워크 접근 가능한 저장 디바이스와 같은 비-휘발성 저장 장치로서 구현될 수 있지만, 이것으로 한정되지 않는다. 다양한 구현예에서, 저장소(1114)는, 예를 들면, 복수의 하드 드라이브가 포함될 때, 귀중한 디지털 매체를 위한 저장 성능 강화된 보호를 증가시켜주는 기술을 포함할 수 있다.

그래픽 서브시스템(1115)은 디스플레이를 위한 정지 또는 비디오와 같은 이미지의 프로세싱을 수행할 수 있다. 그래픽 서브시스템(1115)은 예를 들면, 그래픽 프로세싱 유닛(a graphics processing unit, GPU) 또는 비주얼 프로세싱 유닛(a visual processing unit, VPU)일 수 있다. 아날로그나 디지털 인터페이스는 그래픽 서브시스템(1115) 및 디스플레이(1120)를 통신 가능하게 결합하는데 사용될 수 있다. 예를 들면, 인터페이스는 고선명 멀티미디어 인터페이스(a High-Definition Multimedia Interface), 디스플레이포트(Display Port), 무선 HDMI, 및/또는 무선 HD 순응 기술 중의 어느 것일 수 있다. 그래픽 서브시스템(1115)은 프로세서(1110) 또는 칩셋(1105) 내에 통합될 수 있다. 임의의 구현예에서, 그래픽 서브시스템(1115)은 칩셋(1105)과 통신 가능하게 결합되는 스탠드-얼론 장치일 수 있다.

본 개시에서 기술되는 그래픽 및/또는 비디오 프로세싱 기술은 다양한 하드웨어 아키텍처로 구현될 수 있다. 예를 들면, 그래픽 및/또는 비디오 기능성은 칩셋 내에 통합될 수 있다. 대안으로, 별개의 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 구현예에서, 그래픽 및/또는 비디오 프로세서 기능이, 멀티-코어 프로세서를 포함하는, 범용 프로세서에 의해서 제공될 수 있다. 또 다른 예에서, 기능은 소비자 전자 장치에 구현될 수 있다.

무선장치(1118)는 다양한 적합한 무선 통신 기술을 사용하여 신호를 전송하고 수신할 수 있는 하나 이상의 무선장치를 포함할 수 있다. 그러한 기술은 하나 이상의 무선 네트워크에 걸친 통신을 포함할 수 있다. 예시적인 무선 네트워크는 무선 근거리 네트워크(wireless local area networks, WLAN), 무선 개인 영역 네트워크(wireless personal area networks, WPAN), 무선 도시지역 네트워크(wireless metropolitan area network, WMAN), 셀룰러 네트워크, 및 위성 네트워크를 포함한다(하지만 이것으로 한정되지 않는다). 그러한 네트워크에 걸친 통신에서, 무선장치(1118)는 어느 버전에서도 하나 이상의 적용 가능한 표준에 따라 동작할 수 있다.

다양한 구현예에서, 디스플레이(1120)는 임의의 텔레비전 타입 모니터나 디스플레이를 포함할 수 있다. 디스플레이(1120)는, 예를 들면, 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전-유사 디바이스, 및/또는 텔레비전을 포함할 수 있다. 디스플레이(1120)는 디지털 및/또는 아날로그일 수 있다. 다양한 구현예에서, 디스플레이(1120)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(1120)는 비주얼 프로젝션을 수신할 수 있는 투명한 표면일 수 있다. 이러한 프로젝션은 다양한 형태의 정보, 이미지 및/또는 객체를 실어 나를 수 있다. 예를 들면, 이러한 프로젝션은 모바일 증강 현실(a mobile augmented reality, MAR) 애플리케이션용 비주얼 오버레이일 수 있다. 하나 이상의 소프트웨어 애플리케이션(1116)의 제어 하에, 플랫폼(1102)은 디스플레이(1120) 상에 사용자 인터페이스(1122)를 디스플레이할 수 있다.

다양한 구현예에서, 콘텐츠 서비스 디바이스(들)(1130)은 임의의 국내, 국제 및/또는 독립 서비스에 의해 호스팅되고 그래서 예컨대, 인터넷을 통해 플랫폼(1102)에 액세스할 수 있다. 콘텐츠 서비스 디바이스(들)(1130)은 플랫폼(1102) 및/또는 디스플레이(1120)에 결합될 수 있다. 플랫폼(1102) 및/또는 콘텐츠 서비스 디바이스(들)(1130)는 네트워크(1160)로 및 네트워크로부터 미디어 정보를 통신(예를 들어, 송신 및/또는 수신)하기 위해서 네트워크(1160)에 연결될 수 있다. 콘텐츠 전달 디바이스(들)(1140)는 또한 플랫폼(1102) 및/또는 디스플레이(1120)에 결합될 수 있다.

다양한 구현예에서, 콘텐츠 서비스 디바이스(들)(1130)는 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 케이블 텔레비젼 박스, 개인용 컴퓨터, 네트워크, 텔레폰, 인터넷 가능한 디바이스 또는 가전기기, 및 네트워크(1160)를 통하거나 직접적으로, 콘텐츠 제공자 및 플랫폼(1102) 및/또는 디스플레이(1120) 사이에서 단일방향 또는 양방향으로 콘텐츠를 전달할 수 있는 임의의 다른 유사한 디바이스를 포함할 수 있다. 콘텐츠는 네트워크(1160)를 통해 시스템(1100) 내의 컴포넌트 및 콘텐츠 제공자 중 어느 하나와 단일방향 및/또는 양방향으로 전달될 수 있다는 것이 인식될 것이다. 콘텐츠의 예는, 예를 들면 비디오, 음악, 의료 및 게임 정보 등을 비롯하여 임의의 매체 정보를 포함할 수 있다.

콘텐츠 서비스 디바이스(들)(1130)는 매체 정보, 디지털 정보, 및/또는 다른 콘텐츠를 비롯한 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신할 수 있다. 콘텐츠 제공자의 예는 임의의 케이블 또는 위성 텔레비전 또는 무선장치 또는 인터넷 콘텐츠 제공자를 포함할 수 있다. 제공된 예들은 어떤 식으로든 본 개시에 따른 구현예를 한정하려고 의미하는 것은 아니다.

다양한 구현예에서, 플랫폼(1102)은 하나 이상의 네비게이션 특징을 갖는 네비게이션 컨트롤러(1150)로부터 제어 신호를 수신할 수 있다. 컨트롤러(1150)의 네비게이션 특징은 예를 들어, 사용자 인터페이스(1122)와 상호작용하는데 사용될 수 있다. 실시예에서, 네비게이션 컨트롤러(1150)는 사용자가 입력 공간(예를 들면, 지속적이고 다차원적인) 데이터를 컴퓨터에 입력하게 해주는 컴퓨터 하드웨어 컴포넌트(특히, 휴먼 인터페이스 장치)일 수 있는 포인팅 디바이스일 수 있다. 그래픽 사용자 인터페이스(graphical user interfaces, GUI), 및 텔레비전과 모니터와 같은 많은 시스템은 사용자가 물리적인 제스처를 사용하여 데이터를 제어하고 컴퓨터 또는 텔레비전에 제공하도록 해준다.

컨트롤러(1150)의 네비게이션 특징의 움직임은 디스플레이 상에 표시되는 포인터, 커서, 포커스 링, 또는 다른 시각적 지시자의 움직임에 의해 디스플레이(예들 들면, 디스플레이(1120)) 상에 복제될 수 있다. 예를 들면, 소프트웨어 애플리케이션(1116)의 제어 하에, 네비게이션 컨트롤러(1150)에 배치된 네비게이션 특징은 예를 들어, 사용자 인터페이스(1122) 상에 디스플레이되는 가상 네비게이션 특징에 매핑될 수 있다. 실시예에서, 컨트롤러(1150)는 별개의 컴포넌트가 아니고 플랫폼(1102) 및/또는 디스플레이(1120) 내에 통합될 수 있다. 그러나, 본 개시는 도시되거나 기술되는 구성요소나 맥락에 한정되지 않는다.

다양한 구현예에서, 드라이버(도시되지 않음)는, 예를 들어, 인에이블될 때, 초기 부트-업 이후 사용자가 버튼을 터치하여 텔레비전과 같은 플랫폼(1102)을 즉각 턴 온 및 오프할 수 있게 해주는 기술을 포함할 수 있다. 프로그램 로직은 플랫폼이 턴 "오프"될 때에도 플랫폼(1102)이 콘텐츠를 매체 어탭터 또는 다른 콘텐츠 서비스 디바이스(들)(1130) 또는 콘텐츠 전달 디바이스(들)(1140)로 스트리밍하게 할 수 있다. 또한, 칩셋(1105)은 예를 들면, 8.1 서라운드 사운드 오디오 및/또는 고선명 (7.1) 서라운드 사운드 오디오에 맞는 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버는 통합 그래픽 플랫폼에 맞는 그래픽 드라이버를 포함할 수 있다. 실시예에서, 그래픽 드라이버는 병렬 컴포넌트 인터커넥트(PCI) 익스프레스 그래픽 카드(a peripheral component interconnect (PCI) Express graphics card)를 포함할 수 있다.

다양한 구현예에서, 시스템(1100)에 도시된 임의의 하나 이상의 컴포넌트가 통합될 수 있다. 예를 들어, 플랫폼(1102) 및 콘텐츠 서비스 디바이스(들)(1130)가 통합될 수 있거나, 플랫폼(1102) 및 콘텐츠 전달 장치(들)(1140)가 통합될 수 있거나, 플랫폼(1102), 콘텐츠 서비스 디바이스(들)(1130) 및 콘텐츠 전달 디바이스(들)(1140)가 통합될 수 있다. 다양한 구현예에서, 플랫폼(1102) 및 디스플레이(1120)는 통합된 유닛일 수 있다. 예를 들면, 디스플레이(1120) 및 콘텐츠 서비스 디바이스(들)(1130)가 통합될 수 있거나, 디스플레이(1120) 및 콘텐츠 전달 디바이스(들)(1140)가 통합될 수 있다. 이러한 예는 본 개시를 한정하려는 것은 아니다.

다양한 실시예에서, 시스템(1100)은 무선 시스템, 유선 시스템, 또는 이들의 조합으로 구현될 수 있다. 무선 시스템으로 구현될 때, 시스템(1100)은 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 및 제어 로직 등과 같은 무선 공유 매체를 통해 통신하는데 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 일 예는 RF 스펙트럼 등과 같은 무선 스펙트럼 부분을 포함할 수 있다. 유선 시스템으로 구현될 때, 시스템(1100)은, 입력/출력(I/O) 어탭터, I/O 어댑터를 대응하는 유선 통신 매체에 연결시키는 물리적 커넥터, 네트워크 인터페이스 카드(a network interface card, NIC), 디스크 컨트롤러, 비디오 컨트롤러, 오디오 컨트롤러 등과 같은 유선 통신 매체를 통해 통신하는데 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 메탈 리드, 인쇄 회로 기판(printed circuit board, PCB), 백플레인, 스위치 패브릭, 반도체 재료, 트위스트 페어 라인, 동축 케이블, 및 광 섬유 등을 포함될 수 있다.

플랫폼(1102)은 정보를 전달하는 하나 이상의 논리적 또는 물리적 채널을 설정할 수 있다. 정보는 매체 정보 및 제어 정보를 포함할 수 있다. 매체 정보는 사용자를 위해 의도된 콘텐츠를 표현하는 임의의 데이터를 지칭할 수 있다. 콘텐츠의 예는 음성 대화로부터 발생한 데이터, 비디오 회의, 스트리밍 비디오, 전자 메일("email") 메시지, 음성 메일 메시지, 영숫자 심볼, 그래픽, 이미지, 비디오, 및 텍스트 등을 포함할 수 있다. 음성 대화로부터 발생한 데이터는 예를 들면, 스피치 정보, 침묵 기간, 배경 잡음, 편안한 잡음, 및 톤 등일 수 있다. 제어 정보는 자동화 시스템을 위해 의도된 커맨드, 명령어, 또는 제어 단어를 표현하는 임의의 데이터를 지칭할 수 있다. 예를 들면, 제어 정보는 시스템을 통해 매체 정보를 라우팅하는데 사용될 수 있고, 또는 미리 결정된 방식으로 매체 정보를 처리하는 노드를 지시하는데 사용될 수 있다. 그러나, 실시예는 도 11에 도시되거나 설명된 구성요소나 맥락에 한정되지 않는다.

전술한 바와 같이, 시스템(1100)은 각종 물리적 스타일 또는 폼 팩터로 구현될 수 있다. 도 12는 시스템(1100)이 구현될 수 있는 작은 폼 팩터 디바이스(1200)의 구현예를 도시한다. 실시예에서, 예를 들면, 디바이스(1200)는 무선 성능을 갖는 모바일 컴퓨팅 디바이스로서 구현될 수 있다. 모바일 컴퓨팅 디바이스는 예를 들면, 프로세싱 시스템 및 하나 이상의 배터리 같은, 모바일 전력원이나 전원공급장치를 갖는 임의의 디바이스를 지칭할 수 있다.

전술한 바와 같이, 모바일 컴퓨팅 디바이스의 예는 개인용 컴퓨터(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인 휴대 단말(PDA), 셀룰러폰, 겸용 셀룰러폰/PDA, 텔레비전, 스마트 디바이스(예를 들면, 스마트폰, 스마트 태블릿이나 스마트 텔레비전), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 및 데이터 통신 디바이스 등을 포함할 수 있다.

모바일 컴퓨팅 디바이스의 예는 또한, 손목 컴퓨터, 손가락 컴퓨터, 반지 컴퓨터, 안경 컴퓨터, 벨트-클립 컴퓨터, 암-밴드 컴퓨터, 신발 컴퓨터, 의복 컴퓨터, 및 그 밖의 착용 가능한 컴퓨터와 같이, 인간이 입도록 구성된 컴퓨터를 포함할 수 있다. 다양한 실시예에서, 예를 들면, 모바일 컴퓨팅 디바이스는 컴퓨터 애플리케이션뿐만 아니라, 음성 통신 및/또는 데이터 통신을 실행할 수 있는 스마트폰으로서 구현될 수 있다. 비록 일부 실시예가 스마트폰으로서 구현되는 모바일 컴퓨팅 디바이스를 예를 들어서 기술될 수 있지만, 다른 실시예도 는 또한 다른 무선 모바일 컴퓨팅 디바이스를 사용하여 구현될 수 있다는 것이 인식될 것이다. 실시예는 이러한 맥락에 한정되지 않는다.

도 12에 도시된 바와 같이, 디바이스(1200)는 하우징(1202), 디스플레이(1204), 입출력(I/O) 디바이스(1206), 및 안테나(1208)를 포함할 수 있다. 디바이스(1200)는 또한 네비게이션 특징(1212)을 포함할 수 있다. 디스플레이(1204)는 모바일 컴퓨팅 디바이스에 적절한 정보를 디스플레이하기 위한 임의의 적합한 디스플레이를 포함할 수 있다. I/O 디바이스(1206)는 정보를 모바일 컴퓨팅 디바이스로 입력하는데 적합한 임의의 I/O 디바이스를 포함할 수 있다. I/O 디바이스(1206)의 예는 영숫자 키보드, 숫자 키보드, 터치 패드, 입력 키, 버튼, 스위치, 로커 스위치, 마이크로폰, 스피커, 음성 인식 디바이스 및 소프트웨어 등을 포함할 수 있다. 정보는 또한 마이크로폰(도시되지 않음)을 통해 디바이스(1200)로 입력될 수 있다. 그러한 정보는 음성 인식 장치(도시되지 않음)에 의해 디지털화될 수 있다. 실시예들은 이러한 맥락에 한정되지 않는다.

다양한 실시예들이 하드웨어 장치, 소프트웨어 디바이스, 또는 이들의 조합을 이용하여 구현될 수 있다. 하드웨어 디바이스의 예는 프로세서, 마이크로프로세서, 회로, 회로 요소(예를 들면, 트랜지스터, 저항, 캐패시터, 및 인덕터 등), 집적 회로, 주문형 집적 회로(application specific integrated circuits, ASIC), 프로그래머블 로직 디바이스(programmable logic devices, PLD), 디지털 신호 프로세서기(digital signal processors, DSP), 필드 프로그래머블 게이트 어레이(FPGA), 로직 게이트, 레지스터, 반도체 소자, 칩, 마이크로칩, 및 칩 셋트 등을 포함할 수 있다. 소프트웨어의 예는 소프트웨어 컴포넌트, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 오퍼레이팅 시스템 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 함수, 방법, 절차, 소프트웨어 인터페이스, 애플리케이션 프로그램 인터페이스(application program interfaces, API), 명령어 집합, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 단어, 값, 심볼, 또는 이들의 임의의 조합을 포함할 수 있다. 실시예가 하드웨어 요소 및/또는 소프트웨어 요소를 사용하여 구현되는지를 결정하는 것은, 희망하는 컴퓨팅 속도, 전력 레벨, 내열성, 프로세싱 사이클 예산, 입력 데이터 레이트, 출력 데이터 레이트, 메모리 자원, 데이터 버스 속도 및 다른 디자인이나 성능 제약조건과 같은, 임의의 개수의 인자에 따라서 변할 수 있다.

적어도 일 실시예의 하나 이상의 양태는 프로세서 내의 다양한 로직을 표현하는 머신-판독가능한 매체에 저장된 대표적인 명령어에 의해서 구현될 수 있으며, 이 명령어는 머신에 의해 판독될 때, 머신으로 하여금 본 개시에서 설명된 기술을 수행하는 로직을 제작하게 한다. "IP 코어"로서 알려진, 이러한 표현은 유형의, 머신 판독가능한 매체에 저장되고 다양한 고객이나 제조 설비에 공급되어 로직이나 프로세서를 실제로 만드는 제작 머신에 로딩될 수 있다.

본 개시에 제시된 소정의 특징이 다양한 구현예를 참조하여 설명되었지만, 이 설명은 한정하는 의미로 해석되도록 의도하려는 것은 아니다. 그러므로, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한, 본 개시에서 기술된 구현예는 물론이고 다른 구현예의 다양한 수정은 본 개시의 정신과 범주 내에 드는 것으로 간주된다.

다음과 같은 예는 또 다른 실시예에 속한다.

일 예에서, 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 컴퓨터로 구현된 방법은 2D 입력 이미지의 개개 픽셀의 선명도 값을 결정하는 단계를 포함할 수 있다. 선명도 값에 대한 제 1의 영역기반 샘플링이 수행되어 제 1의 복수의 샘플 선명도 값이 결정되고 선명도 값의 제 2의 영역기반 샘플링이 수행되어 제 2의 복수의 샘플 선명도 값이 결정될 수 있고 그러한 경우에 제 1 및 제 2의 영역기반 샘플링은 상이한 해상도로 수행될 수 있다. 제 1의 복수의 선명도 값이 조정되어 제 1의 복수의 조정된 선명도 값이 생성되고 제 2의 복수의 선명도 값이 조정되어 제 2의 복수의 조정된 선명도 값이 생성될 수 있다. 제 1의 복수의 조정된 선명도 값이 평탄화되어 제 1의 복수의 평탄화된 선명도 값이 생성되고 제 2의 복수의 조정된 선명도 값이 평탄화되어 제 2의 복수의 평탄화된 선명도 값이 생성된다. 제 1의 복수의 평탄화된 선명도 값에 기초하여 제 1의 복수의 보간된 선명도 값이 결정되고 제 2의 복수의 평탄화된 선명도 값에 기초하여 제 2의 복수의 보간된 선명도 값이 결정될 수 있다. 제 1의 복수의 보간된 선명도 값 및 제 2의 복수의 보간된 선명도 값이 병합되어 2D 입력 이미지와 연관된 복수의 깊이 값을 갖는 깊이 맵이 생성될 수 있다.

2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 컴퓨터로 구현된 방법의 다른 예에서, 2D 입력 이미지 및 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지가 생성될 수 있고, 이 경우 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 단계는 깊이 맵을 디스패리티 값 맵으로 변환하고 디스패리티 값 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 결정하는 단계를 포함할 수 있다. 깊이 맵에 대해 깊이 대비의 강화가 수행되어 강화된 깊이 맵이 생성될 수 있다. 깊이 대비의 강화를 수행하는 단계는 깊이 맵에 대해 수직 강화만을 수행하여 강화된 깊이 맵을 생성하는 단계, 깊이 맵에 대해 수직 강화, 좌측-우측 수평 강화, 및 우측-좌측 수평 강화를 동시에 수행하고, 수직 강화, 좌측-우측 수평 강화, 및 우측-좌측 수평 강화를 조합하여 강화된 깊이 맵을 생성하는 단계, 또는 수직 강화를 먼저 수행하고 후속하여 좌측-우측 수평 강화 및 우측-좌측 수평 강화를 수행하여 강화된 깊이 맵을 생성하는 단계 중 적어도 하나의 단계를 포함할 수 있다. 깊이 맵에 대해 수직 강화를 수행하는 단계는 깊이 맵의 제 1 로우 및 제 1 컬럼에 있는 제 1 픽셀의 픽셀 값을 깊이 맵의 제 2 로우 및 제 1 컬럼에 있는 제 2 픽셀의 픽셀 값과 비교하는 단계 - 이 경우 제 1 로우는 제 2 로우의 위쪽에 있음 - 와, 제 1 픽셀의 픽셀 값과 제 2 픽셀의 픽셀 값 간의 차가 문턱치 내에 있는지를 결정하는 단계, 그리고 만일 차가 문턱치 내에 있으면, 제 1 픽셀의 픽셀 값 및 제 2 픽셀의 픽셀 값을 제 1 픽셀의 픽셀 값과 제 2 픽셀의 픽셀 값 중 더 적은 값으로 설정하는 단계, 또는 만일 차가 문턱치 내에 있지 않으면, 제 1 픽셀의 픽셀 값 및 제 2 픽셀의 픽셀 값에 대해 아무 변경을 일으키지 않는 단계를 포함할 수 있다. 강화된 깊이 맵에 대해 고스팅 감소가 수행되어 고스팅 감소되고 강화된 깊이 맵이 생성될 수 있다. 고스팅 감소를 수행하는 단계는 전체 강화된 깊이 맵을 깊이 옵셋만큼 시프트하여 영시차 스크린(a zero-parallax screen)에서 멀리 또는 영시차 스크린을 향하여 시프트하는 단계 또는 강화된 깊이 맵의 명도 값을 수정하여 강화된 깊이 맵 내 에지에서 선명도 및/또는 대비를 줄이는 단계 중 적어도 하나의 단계를 포함할 수 있다. 고스팅 감소되고 강화된 깊이 맵 및 고스팅 감소되고 강화된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링이 수행되어 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵이 생성될 수 있다. 시간적 필터링을 수행하는 단계는 고스팅 감소되고 강화된 깊이 맵의 깊이 값을 가중 인수인자에 기초하여 수정하는 단계를 포함할 수 있고, 이 경우 가중 인수인자는 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값과 제 2의 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값 간의 절대 값 차에 기초될 수 있다. 2D 입력 이미지 및 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵에 기초하여 제 2의 좌측-모습 스테레오 이미지 및 제 2의 우측-모습 스테레오 이미지가 생성될 수 있다. 제 2의 좌측-모습 스테레오 이미지 및 제 2의 우측-모습 스테레오 이미지를 생성하는 단계는 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵을 제 2 디스패리티 값 맵으로 변환하고 제 2 디스패리티 값 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 결정하는 단계를 포함할 수 있다. 입력 이미지의 개개 픽셀의 선명도 값을 결정하는 단계는 개개 픽셀의 픽셀 값에 기초하여 선명도 값을 결정하는 단계를 포함할 수 있고 이 경우 픽셀 값은 개개 픽셀의 루마(Y) 값 또는 개개 픽셀의 R/G/B 값 중 적어도 하나의 값을 포함할 수 있고 그리고 이 경우 선명도 값을 결정하는 단계는 입력 이미지의 하나 하나마다의 모든 픽셀마다 선명도 값을 결정하는 단계를 포함할 수 있다. 제 1의 개개 픽셀의 제 1 선명도 값을 결정하는 단계는 개개 픽셀 중 제 1의 개개 픽셀마다, 제 1의 개개 픽셀의 수직 선명도를 제 1의 개개 픽셀 위쪽 픽셀의 픽셀 값과 제 1의 개개 픽셀의 픽셀 값과의 절대 값 차와 제 1의 개개 픽셀의 아래쪽 픽셀의 픽셀 값과 개개 픽셀의 픽셀 값과의 절대 값 차 간의 절대 값 차로서 결정하는 단계와, 제 1의 개개 픽셀마다, 제 1의 개개 픽셀의 수평 선명도를 제 1의 개개 픽셀의 좌측 픽셀의 픽셀 값과 제 1의 개개 픽셀의 픽셀 값과의 절대 값 차와 제 1의 개개 픽셀의 우측 픽셀의 픽셀 값과 제 1의 개개 픽셀의 픽셀 값과의 절대 값 차 간의 절대 값 차로서 결정하는 단계와, 제 1 선명도 값을 수직 선명도와 수평 선명도 중 최대치 또는 수직 선명도와 수평 선명도의 평균 중 적어도 하나의 값으로서 결정하는 단계를 포함할 수 있다. 제 1 영역기반 샘플링 및 제 2 영역기반 샘플링을 수행하는 단계는 상이한 영역 크기로 샘플링을 수행하는 단계 또는 동일한 영역 크기이되 선명도 값의 상이한 축소조정으로 샘플링을 수행하는 단계 중 적어도 하나의 단계를 포함할 수 있다. 제 1의 복수의 조정된 선명도 값을 평탄화하는 단계는 3x3 평균화 필터를 적용하는 단계를 포함할 수 있다. 제 1의 복수의 보간된 선명도 값을 결정하는 단계는 이중선형 보간을 수행하는 단계를 포함하고, 제 1의 복수의 보간된 선명도 값 및 제 2의 복수의 보간된 선명도 값은 각기 2D 입력 이미지의 하나 하나마다의 모든 픽셀과 연관된 선명도 값을 포함할 수 있다. 제 1의 복수의 보간된 선명도 값과 제 2의 보간된 선명도 값을 병합하는 단계는 혼합 인자를 적용하는 단계를 포함할 수 있다. 2D 입력 이미지는 이미지 파일 또는 비디오 프레임 중 적어도 하나를 포함할 수 있다. 깊이 맵은 실시간으로 생성될 수 있다.

2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 컴퓨터로 구현된 방법의 대안의 다른 예에서, 2D 입력 이미지와 연관된 상단-하단 깊이 맵이 결정될 수 있고, 이 경우 상단-하단 깊이 맵은 상단-하단 깊이 맵의 상단으로부터 상단-하단 깊이 맵의 하단으로 증가하는 상단-하단 깊이 맵의 각각의 로우 전체에서 일정한 복수의 깊이 값을 포함할 수 있다. 2D 입력 이미지에서 하나 이상의 에지가 결정될 수 있다. 하나 이상의 에지를 결정하는 단계는 2D 입력 이미지의 로우 픽셀 쌍들 간의 픽셀 값 차를 문턱치와 비교하는 단계 또는 소벨 연산자를 적용하는 단계 중 적어도 하나의 단계를 포함할 수 있다. 하나 이상의 에지를 결정하는 단계는 하나 이상의 에지와 연관된 하나 이상의 혼합 인자를 제공할 수 있다. 상단-하단 깊이 맵이 하나 이상의 혼합 인자에 의해 수정되어 기하적 모델 기반의 깊이 표면이 생성될 수 있다. 기하적 모델 기반의 깊이 표면에 대해 깊이 대비의 수직 강화가 수행되어 강화된 기하적 모델 기반의 깊이 표면이 생성될 수 있다. 깊이 맵에 대해 제 2의 깊이 대비의 수직 강화가 수행되어 강화된 깊이 맵이 생성될 수 있다. 강화된 깊이 맵과 강화된 기하적 모델 기반의 깊이 맵이 병합되어 병합된 깊이 맵이 생성될 수 있다. 병합된 깊이 맵에 대해 깊이 대비의 수평 강화가 수행되어 수평 강화된 깊이 맵이 생성될 수 있다. 2D 입력 이미지에 대해 에지-기반 및 루마-기반의 컴퓨터로 구현된 방법 강화가 수행되어 강화된 2D 이미지가 생성될 수 있다. 강화된 2D 이미지와 수평 강화된 깊이 맵이 병합되어 제 2의 병합된 깊이 맵이 생성될 수 있다. 제 2의 병합된 깊이 맵에 대해 고스팅 감소가 수행되어 고스팅 감소된 깊이 맵이 생성될 수 있다. 고스팅 감소된 깊이 맵 및 고스팅 감소된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링이 수행되어 시간적으로 필터링되고 고스팅 감소된 깊이 맵이 생성될 수 있다. 2D 입력 이미지 및 시간적으로 필터링되고 고스팅 감소된 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지가 생성될 수 있다. 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 단계는 시간적으로 필터링되고 고스팅 감소된 깊이 맵을 디스패리티 값 맵으로 변환하고 제 2 디스패리티 값 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 결정하는 단계를 포함할 수 있다.

다른 예에서, 디바이스에서 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 시스템은 디스플레이 디바이스와, 하나 이상의 프로세서와, 하나 이상의 메모리 저장소와, 선명도 측정 모듈과, 적어도 하나의 샘플링 모듈과, 적어도 하나의 조정 모듈과, 적어도 하나의 평탄화 모듈과, 적어도 하나의 보간 모듈과, 병합 모듈을 포함할 수 있다. 하나 이상의 프로세서는 디스플레이 디바이스와 통신가능하게 결합될 수 있다. 하나 이상의 메모리 저장소는 하나 이상의 프로세서와 통신가능하게 결합될 수 있다. 선명도 측정 모듈은 2D 입력 이미지의 개개 픽셀의 선명도 값을 결정하도록 구성될 수 있다. 적어도 하나의 샘플링 모듈은 선명도 값에 대한 제 1의 영역기반 샘플링을 수행하여 제 1의 복수의 샘플 선명도 값을 결정하고 선명도 값의 제 2의 영역기반 샘플링을 수행하여 제 2의 복수의 샘플 선명도 값을 결정하도록 구성되며, 이 경우 제 1 및 제 2의 영역기반 샘플링은 상이한 해상도로 수행된다. 적어도 하나의 조정 모듈은 제 1의 복수의 선명도 값을 조정하여 제 1의 복수의 조정된 선명도 값을 생성하고 제 2의 복수의 선명도 값을 조정하여 제 2의 복수의 조정된 선명도 값을 생성하도록 구성될 수 있다. 적어도 하나의 평탄화 모듈은 제 1의 복수의 조정된 선명도 값을 평탄화하여 제 1의 복수의 평탄화된 선명도 값을 생성하고 제 2의 복수의 조정된 선명도 값을 평탄화하여 제 2의 복수의 평탄화된 선명도 값을 생성하도록 구성될 수 있다. 적어도 하나의 보간 모듈은 제 1의 복수의 평탄화된 선명도 값에 기초하여 제 1의 복수의 보간된 선명도 값을 결정하고 제 2의 복수의 평탄화된 선명도 값에 기초하여 제 2의 복수의 보간된 선명도 값을 결정하도록 구성될 수 있다. 병합 모듈은 제 1의 복수의 보간된 선명도 값과 제 2의 복수의 보간된 선명도 값을 병합하여 2D 입력 이미지와 연관된 복수의 깊이 값을 갖는 깊이 맵을 생성하도록 구성될 수 있다.

디바이스에서 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 시스템의 다른 예에서, 시스템은 스테레오 이미지 모듈과, 깊이 대비 강화 모듈과, 고스팅 감소 모듈과, 시간적 필터링 모듈과, 그래픽 처리 유닛을 포함할 수 있다. 스테레오 이미지 모듈은 2D 입력 이미지 및 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하도록 구성될 수 있고 이 경우 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 과정은 깊이 맵을 디스패리티 값 맵으로 변환하고 디스패리티 값 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 결정하는 과정을 포함할 수 있다. 깊이 대비 강화 모듈은 깊이 맵에 대해 깊이 대비의 강화를 수행하여 강화된 깊이 맵을 생성하도록 구성될 수 있다. 깊이 대비 강화 모듈은 깊이 맵에 대해 수직 강화만을 수행하여 강화된 깊이 맵을 생성하는 과정, 깊이 맵에 대해 수직 강화, 좌측-우측 수평 강화, 및 우측-좌측 수평 강화를 동시에 수행하고, 수직 강화, 좌측-우측 수평 강화 및 우측-좌측 수평 강화를 조합하여 상기 강화된 깊이 맵을 생성하는 과정, 또는 수직 강화를 먼저 수행하고 후속하여 좌측-우측 수평 강화 및 우측-좌측 수평 강화를 수행하여 강화된 깊이 맵을 생성하는 과정 중 적어도 하나의 과정에 의해 깊이 대비의 강화를 수행하도록 구성될 수 있다. 깊이 맵에 대해 수직 강화를 수행하는 과정은 깊이 맵의 제 1 로우 및 제 1 컬럼에 있는 제 1 픽셀의 픽셀 값을 깊이 맵의 제 2 로우 및 제 1 컬럼에 있는 제 2 픽셀의 픽셀 값과 비교하는 과정 - 여기서 제 1 로우는 제 2 로우의 위쪽에 있음 - 과, 제 1 픽셀의 픽셀 값과 제 2 픽셀의 픽셀 값 간의 차가 문턱치 내에 있는지를 결정하는 과정과, 만일 차가 문턱치 내에 있으면, 제 1 픽셀의 픽셀 값 및 제 2 픽셀의 픽셀 값을 제 1 픽셀의 픽셀 값과 제 2 픽셀의 픽셀 값 중 더 적은 값으로 설정하는 과정, 또는 만일 차가 문턱치 내에 있지 않으면, 제 1 픽셀의 픽셀 값 및 제 2 픽셀의 픽셀 값에 대해 아무 변경을 일으키지 않는 과정을 포함할 수 있다. 고스팅 감소 모듈은 강화된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소되고 강화된 깊이 맵을 생성하도록 구성될 수 있다. 고스팅 감소 모듈은 전체 강화된 맵을 깊이 옵셋만큼 시프트하여 영시차 스크린에서 멀리 또는 영시차 스크린을 향하여 시프트하는 과정 또는 강화된 깊이 맵의 명도 값을 수정하여 강화된 깊이 맵 내 에지에서 선명도 및/또는 대비를 줄이는 과정 중 적어도 하나의 과정에 의해 고스팅 감소를 수행하도록 구성될 수 있다. 시간적 필터링 모듈은 고스팅 감소되고 강화된 깊이 맵 및 고스팅 감소되고 강화된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링을 수행하여 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵을 생성하도록 구성될 수 있다. 시간적 필터링 모듈은 고스팅 감소되고 강화된 깊이 맵의 깊이 값을 가중 인자 - 여기서 가중 인자는 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값과 제 2의 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값 간의 절대 값 차에 기초함 - 에 기초하여 수정함으로써 시간적 필터링을 수행하도록 구성될 수 있다. 스테레오 이미지 모듈은 또한 2D 입력 이미지 및 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵에 기초하여 제 2의 좌측-모습 스테레오 이미지 및 제 2의 우측-모습 스테레오 이미지를 생성하도록 구성될 수 있다. 스테레오 이미지 모듈은 또한 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵을 디스패리티 값 맵으로 변환하고 디스패리티 값 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 결정함으로써 제 2의 좌측-모습 스테레오 이미지 및 제 2의 우측-모습 스테레오 이미지를 생성하도록 구성될 수 있다. 선명도 측정 모듈은 개개 픽셀의 픽셀 값에 기초하여 선명도 값을 결정함으로써 입력 이미지의 개개 픽셀의 선명도 값을 결정하도록 구성될 수 있고, 여기서 픽셀 값은 개개 픽셀의 루마(Y) 값 또는 개개 픽셀의 R/G/B 값 중 적어도 하나의 값을 포함한다. 제 1 개개 픽셀의 제 1 선명도 값을 결정하는 과정은, 개개 픽셀 중 제 1의 개개 픽셀마다, 제 1의 개개 픽셀의 수직 선명도를 제 1의 개개 픽셀 위쪽 픽셀의 픽셀 값과 제 1의 개개 픽셀의 픽셀 값과의 절대 값 차와 제 1의 개개 픽셀의 아래쪽 픽셀의 픽셀 값과 개개 픽셀의 픽셀 값과의 절대 값 차 간의 절대 값 차로서 결정하는 과정과, 제 1의 개개 픽셀마다, 제 1의 개개 픽셀의 수평 선명도를 제 1의 개개 픽셀의 좌측 픽셀의 픽셀 값과 제 1의 개개 픽셀의 픽셀 값과의 절대 값 차와 제 1의 개개 픽셀의 우측 픽셀의 픽셀 값과 제 1의 개개 픽셀의 픽셀 값과의 절대 값 차 간의 절대 값 차로서 결정하는 과정과, 제 1 선명도 값을 수직 선명도와 수평 선명도 중 최대치 또는 수직 선명도와 수평 선명도의 평균 중 적어도 하나의 값으로서 결정하는 과정을 포함할 수 있다. 적어도 하나의 샘플링 모듈은 상이한 영역 크기로 샘플링을 수행하는 과정 또는 동일한 영역 크기이되 선명도 값의 상이한 축소조정으로 샘플링을 수행하는 과정 중 적어도 하나의 과정에 의해 제 1 영역기반 샘플링 및 제 2 영역기반 샘플링을 수행하도록 구성될 수 있다. 적어도 하나의 조정 모듈은 구분적-선형 매핑에 기초하여 제 1의 복수의 선명도 값을 조정함으로써 제 1의 복수의 선명도 값을 조정하도록 구성될 수 있다. 적어도 하나의 평탄화 모듈은 3x3 평균화 필터를 적용함으로써 제 1의 복수의 조정된 선명도 값을 평탄화하도록 구성될 수 있다. 적어도 하나의 보간 모듈은 이중선형 보간을 수행함으로써 제 1의 복수의 보간된 선명도 값을 결정하도록 구성될 수 있다. 제 1의 복수의 보간된 선명도 값 및 제 2의 복수의 보간된 선명도 값은 각기 2D 입력 이미지의 하나 하나마다의 모든 픽셀과 연관된 선명도 값을 포함할 수 있다. 병합 모듈은 혼합 인자를 적용함으로써 제 1의 복수의 보간된 선명도 값과 제 2의 보간된 선명도 값을 병합하도록 구성될 수 있다. 2D 입력 이미지는 이미지 파일 또는 비디오 프레임 중 적어도 하나를 포함할 수 있다. 적어도 하나의 샘플링 모듈은 제 1 영역기반 샘플링을 수행하도록 구성되는 제 1 샘플링 모듈과 제 2 영역기반 샘플링을 수행하도록 구성되는 제 2 샘플링 모듈을 포함할 수 있다. 적어도 하나의 조정 모듈은 제 1의 복수의 선명도 값을 조정하도록 구성되는 제 1 조정 모듈과 제 2의 복수의 선명도 값을 조정하도록 구성되는 제 2 조정 모듈을 포함할 수 있다. 적어도 하나의 평탄화 모듈은 제 1의 복수의 조정된 선명도 값을 평탄화하도록 구성되는 제 1 평탄화 모듈과 제 2의 복수의 조정된 선명도 값을 평탄화하도록 구성되는 제 2 평탄화 모듈을 포함할 수 있다. 적어도 하나의 보간 모듈은 제 1의 복수의 보간된 선명도 값을 결정하도록 구성되는 제 1 보간 모듈과 제 2의 복수의 보간된 선명도 값을 결정하도록 구성되는 제 2 보간 모듈을 포함할 수 있다. 선명도 측정 모듈, 적어도 하나의 샘플링 모듈, 적어도 하나의 조정 모듈, 적어도 하나의 평탄화 모듈, 적어도 하나의 보간 모듈, 및 병합 모듈은 하나 이상의 프로세서 또는 그래픽 처리 유닛 중 적어도 하나를 통해 구현될 수 있다.

디바이스에서 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 시스템의 대안의 다른 예에서, 시스템은 기하적 모델 기반 깊이 표면 모듈 과, 제 1 깊이 대비 강화 모듈과, 제 2 깊이 대비 강화 모듈과, 제 1 병합 모듈과, 제 3 깊이 대비 강화 모듈과, 로컬 강화 모듈과, 제 2 병합 모듈과, 고스팅 감소 모듈과, 시간적 필터링 모듈과, 스테레오 이미지 모듈을 포함할 수 있다. 기하적 모델 기반 깊이 표면 모듈 은 2D 입력 이미지와 연관된 상단-하단 깊이 맵 - 여기서 상단-하단 깊이 맵은 상단-하단 깊이 맵의 상단으로부터 상단-하단 깊이 맵의 하단으로 증가하는 상단-하단 깊이 맵의 각각의 로우 전체에서 일정한 복수의 깊이 값을 포함함 - 을 결정하고, 2D 입력 이미지에서 하나 이상의 에지를 결정 - 여기서 하나 이상의 에지를 결정하는 과정은 2D 입력 이미지의 로우 픽셀 쌍들 간의 픽셀 값 차를 문턱치와 비교하는 과정 또는 소벨 연산자를 적용하는 과정 중 적어도 하나의 과정을 포함하고, 여기서 하나 이상의 에지를 결정하는 과정은 하나 이상의 에지와 연관된 하나 이상의 혼합 인자를 제공함 - 하고, 상단-하단 깊이 맵을 하나 이상의 혼합 인자에 의해 수정하여 기하적 모델 기반의 깊이 표면을 생성하도록 구성될 수 있다. 제 1 깊이 대비 강화 모듈은 기하적 모델 기반의 깊이 표면에 대해 깊이 대비의 수직 강화를 수행하여 강화된 기하적 모델 기반의 깊이 표면을 생성하도록 구성될 수 있다. 제 2 깊이 대비 강화 모듈은 깊이 맵에 대해 제 2의 깊이 대비의 수직 강화를 수행하여 강화된 깊이 맵을 생성하도록 구성될 수 있다. 제 1 병합 모듈은 강화된 깊이 맵과 강화된 기하적 모델 기반의 깊이 맵을 병합하여 병합된 깊이 맵을 생성하도록 구성될 수 있다. 제 3 깊이 대비 강화 모듈은 병합된 깊이 맵에 대해 깊이 대비의 수평 강화를 수행하여 수평 강화된 깊이 맵을 생성하도록 구성될 수 있다. 컴퓨터로 구현된 방법 강화 모듈은 2D 입력 이미지에 대해 에지-기반 및 루마-기반의 로컬 강화를 수행하여 강화된 2D 이미지를 생성하도록 구성될 수 있다. 제 2 병합 모듈은 강화된 2D 이미지와 수평 강화된 깊이 맵을 병합하여 제 2의 병합된 깊이 맵을 생성하도록 구성될 수 있다. 고스팅 감소 모듈은 제 2의 병합된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소된 깊이 맵을 생성하도록 구성될 수 있다. 시간적 필터링 모듈은 고스팅 감소된 깊이 맵 및 상기 고스팅 감소된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링을 수행하여 시간적으로 필터링되고 고스팅 감소된 깊이 맵을 생성하도록 구성될 수 있다. 스테레오 이미지 모듈은 2D 입력 이미지 및 시간적으로 필터링되고 고스팅 감소된 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하도록 구성될 수 있다. 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 과정은 시간적으로 필터링되고 고스팅 감소된 깊이 맵을 디스패리티 값 맵으로 변환하고 제 2 디스패리티 값 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 결정하는 과정을 포함할 수 있다.

다른 예에서, 적어도 하나의 머신 판독가능한 매체는 컴퓨팅 디바이스에서 실행되는 것에 대응하여, 컴퓨팅 디바이스로 하여금 상기 예들 중 어느 한 예에 따른 방법을 수행하게 하는 복수의 명령어를 포함할 수 있다.

또 다른 예에서, 장치는 상기 예들 중 어느 한 예에 따른 방법을 수행하기 위한 수단을 포함할 수 있다.

전술한 예들은 특징들의 특정한 조합을 포함할 수 있다. 그러나, 전술한 그러한 예들은 이와 관련하여 한정되지 않으며, 여러 구현예에서, 전술된 예들은 그러한 특징들의 서브세트만을 착수하는 것, 그러한 특징들의 상이한 순서를 착수하는 것, 그러한 특징들의 상이한 조합을 착수하는 것, 및/또는 명확히 열거된 이러한 특징들에 추가되는 특징들을 착수하는 것을 포함할 수 있다. 예를 들어, 예시적인 방법에 대하여 기술된 모든 특징들은 예시적인 장치, 예시적인 시스템, 및/또는 예시적인 물품에 대하여 실행될 수 있으며, 그 반대로도 실행될 수 있다.

Claims

2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 컴퓨터로 구현된 방법으로서,
2D 입력 이미지의 개개 픽셀의 선명도 값을 결정하는 단계와,
상기 선명도 값에 대한 제 1의 영역기반 샘플링을 수행하여 제 1의 복수의 샘플 선명도 값을 결정하고 상기 선명도 값에 대한 제 2의 영역기반 샘플링을 수행하여 제 2의 복수의 샘플 선명도 값을 결정하는 단계 - 상기 제 1의 영역기반 샘플링 및 상기 제 2의 영역기반 샘플링은 상이한 해상도로 수행됨 - 와,
상기 제 1의 복수의 선명도 값을 조정(scaling)하여 제 1의 복수의 조정된 선명도 값을 생성하고 상기 제 2의 복수의 선명도 값을 조정하여 제 2의 복수의 조정된 선명도 값을 생성하는 단계와,
상기 제 1의 복수의 조정된 선명도 값을 평탄화하여 제 1의 복수의 평탄화된 선명도 값을 생성하고 상기 제 2의 복수의 조정된 선명도 값을 평탄화하여 제 2의 복수의 평탄화된 선명도 값을 생성하는 단계와,
상기 제 1의 복수의 평탄화된 선명도 값에 기초하여 제 1의 복수의 보간된 선명도 값을 결정하고 상기 제 2의 복수의 평탄화된 선명도 값에 기초하여 제 2의 복수의 보간된 선명도 값을 결정하는 단계와,
상기 제 1의 복수의 보간된 선명도 값과 상기 제 2의 복수의 보간된 선명도 값을 병합하여 상기 2D 입력 이미지와 연관된 복수의 깊이 값을 갖는 깊이 맵을 생성하는 단계를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 2D 입력 이미지 및 상기 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 단계를 더 포함하며,
상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 단계는 상기 깊이 맵을 디스패리티 값 맵으로 변환하고 상기 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 단계를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 깊이 맵에 대해 깊이 대비의 강화(an enhancement of depth contrast)를 수행하여 강화된 깊이 맵을 생성하는 단계와,
상기 강화된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소되고 강화된 깊이 맵을 생성하는 단계와,
상기 고스팅 감소되고 강화된 깊이 맵 및 상기 고스팅 감소되고 강화된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링을 수행하여 시간적으로 필터링된 고스팅 감소되고 강화된 깊이 맵을 생성하는 단계와,
상기 2D 입력 이미지 및 상기 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 단계를 더 포함하며,
상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 단계는 상기 시간적으로 필터링된 고스팅 감소되고 강화된 깊이 맵을 디스패리티 값 맵으로 변환하고 제 2 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 단계를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 깊이 맵에 대해 깊이 대비의 강화를 수행하여 강화된 깊이 맵을 생성하는 단계와,
상기 2D 입력 이미지 및 상기 강화된 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 단계를 더 포함하며,
상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 단계는 상기 강화된 깊이 맵을 디스패리티 값 맵으로 변환하고 상기 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 단계를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 깊이 맵에 대해 깊이 대비의 강화를 수행하여 강화된 깊이 맵을 생성하는 단계와,
상기 강화된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소되고 강화된 깊이 맵을 생성하는 단계와,
상기 2D 입력 이미지 및 상기 고스팅 감소되고 강화된 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 단계를 더 포함하며,
상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 단계는 상기 고스팅 감소되고 강화된 깊이 맵을 디스패리티 값 맵으로 변환하고 상기 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 단계를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 제 1 영역기반 샘플링 및 상기 제 2 영역기반 샘플링을 수행하는 단계는 상이한 영역 크기로 샘플링을 수행하는 단계 또는 동일한 영역 크기이되 상기 선명도 값의 상이한 축소조정으로 샘플링을 수행하는 단계 중 적어도 하나를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 제 1의 복수의 선명도 값을 조정하는 단계는 구분적-선형 매핑(a piecewise-linear mapping)에 기초하여 상기 제 1의 복수의 선명도 값을 조정하는 단계를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 제 1의 복수의 조정된 선명도 값을 평탄화하는 단계는 3x3 평균화 필터를 적용하는 단계를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 제 1의 복수의 보간된 선명도 값을 결정하는 단계는 이중선형 보간을 수행하는 단계를 포함하고, 상기 제 1의 복수의 보간된 선명도 값 및 상기 제 2의 복수의 보간된 선명도 값은 각기 상기 2D 입력 이미지의 모든 픽셀과 연관된 선명도 값을 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 제 1의 복수의 보간된 선명도 값 및 상기 제 2의 보간된 선명도 값을 병합하는 단계는 혼합 인자(a blending factor)를 적용하는 단계를 포함하는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 2D 입력 이미지 및 상기 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 단계 - 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 단계는 상기 깊이 맵을 디스패리티 값 맵으로 변환하고 상기 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 단계를 포함함 - 와,
상기 깊이 맵에 대해 깊이 대비의 강화를 수행하여 강화된 깊이 맵을 생성하는 단계 - 상기 깊이 대비의 강화를 수행하는 단계는, 상기 깊이 맵에 대해 수직 강화만을 수행하여 상기 강화된 깊이 맵을 생성하는 단계, 상기 깊이 맵에 대해 수직 강화, 좌측-우측 수평 강화, 및 우측-좌측 수평 강화를 동시에 수행하고, 상기 수직 강화, 상기 좌측-우측 수평 강화, 및 상기 우측-좌측 수평 강화를 조합하여 상기 강화된 깊이 맵을 생성하는 단계, 또는 수직 강화를 먼저 수행하고 후속하여 좌측-우측 수평 강화 및 우측-좌측 수평 강화를 수행하여 상기 강화된 깊이 맵을 생성하는 단계 중 적어도 하나를 포함하고, 상기 깊이 맵에 대해 상기 수직 강화를 수행하는 단계는, 상기 깊이 맵의 제 1 로우 및 제 1 컬럼에 있는 제 1 픽셀의 픽셀 값을 상기 깊이 맵의 제 2 로우 및 상기 제 1 컬럼에 있는 제 2 픽셀의 픽셀 값과 비교하는 단계 - 상기 제 1 로우는 상기 제 2 로우의 위쪽에 있음 - 와, 상기 제 1 픽셀의 상기 픽셀 값과 상기 제 2 픽셀의 상기 픽셀 값 간의 차가 문턱치 내에 있는지를 결정하는 단계와, 상기 차가 상기 문턱치 내에 있으면, 상기 제 1 픽셀의 상기 픽셀 값 및 상기 제 2 픽셀의 상기 픽셀 값을 상기 제 1 픽셀의 상기 픽셀 값과 상기 제 2 픽셀의 상기 픽셀 값 중 더 적은 값으로 설정하는 단계와, 상기 차가 상기 문턱치 내에 있지 않으면, 상기 제 1 픽셀의 상기 픽셀 값 및 상기 제 2 픽셀의 상기 픽셀 값에 대해 아무 변경을 일으키지 않는 단계를 포함함 - 와,
상기 강화된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소되고 강화된 깊이 맵을 생성하는 단계 - 상기 고스팅 감소를 수행하는 단계는, 전체 강화된 깊이 맵을 깊이 옵셋만큼 시프트하여 영시차 스크린(a zero-parallax screen)에서 멀리 또는 영시차 스크린을 향하여 시프트하는 단계, 또는 상기 강화된 깊이 맵의 명도 값을 수정하여 상기 강화된 깊이 맵 내 에지에서 선명도 및/또는 대비를 줄이는 단계 중 적어도 하나를 포함함 - 와,
상기 고스팅 감소되고 강화된 깊이 맵 및 상기 고스팅 감소되고 강화된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링을 수행하여 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵을 생성하는 단계 - 상기 시간적 필터링을 수행하는 단계는, 상기 고스팅 감소되고 강화된 깊이 맵의 깊이 값을 가중 인자에 기초하여 수정하는 단계를 포함하되 상기 가중 인자는 상기 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값과 상기 제 2의 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값 간의 절대 값 차에 기초함 - 와,
상기 2D 입력 이미지 및 상기 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵에 기초하여 제 2의 좌측-모습 스테레오 이미지 및 제 2의 우측-모습 스테레오 이미지를 생성하는 단계 - 상기 제 2의 좌측-모습 스테레오 이미지 및 상기 제 2의 우측-모습 스테레오 이미지를 생성하는 단계는 상기 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵을 제 2 디스패리티 값 맵으로 변환하고 상기 제 2 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 단계를 포함함 - 를 포함하며,
상기 입력 이미지의 상기 개개 픽셀의 상기 선명도 값을 결정하는 단계는 상기 개개 픽셀의 픽셀 값에 기초하여 상기 선명도 값을 결정하는 단계를 포함하고, 상기 픽셀 값은 상기 개개 픽셀의 루마(Y) 값 또는 상기 개개 픽셀의 R/G/B 값 중 적어도 하나의 값을 포함하고, 상기 선명도 값을 결정하는 단계는 상기 입력 이미지의 모든 픽셀마다 선명도 값을 결정하는 단계를 포함하고, 제 1의 개개 픽셀의 제 1 선명도 값을 결정하는 단계는,
상기 개개 픽셀 중 상기 제 1의 개개 픽셀마다, 상기 제 1의 개개 픽셀의 수직 선명도를 상기 제 1의 개개 픽셀 위쪽 픽셀의 픽셀 값과 상기 제 1의 개개 픽셀의 픽셀 값과의 절대 값 차와 상기 제 1의 개개 픽셀의 아래쪽 픽셀의 픽셀 값과 상기 제 1의 개개 픽셀의 상기 픽셀 값과의 절대 값 차 간의 절대 값 차로서 결정하는 단계와,
상기 제 1의 개개 픽셀마다, 상기 제 1의 개개 픽셀의 수평 선명도를 상기 제 1의 개개 픽셀의 좌측 픽셀의 픽셀 값과 상기 제 1의 개개 픽셀의 상기 픽셀 값과의 절대 값 차와 상기 제 1의 개개 픽셀의 우측 픽셀의 픽셀 값과 상기 제 1의 개개 픽셀의 상기 픽셀 값과의 절대 값 차 간의 절대 값 차로서 결정하는 단계와,
상기 제 1 선명도 값을 상기 수직 선명도와 상기 수평 선명도 중 최대치 또는 상기 수직 선명도와 상기 수평 선명도의 평균 중 적어도 하나로서 결정하는 단계를 포함하고,
상기 제 1 영역기반 샘플링 및 상기 제 2 영역기반 샘플링을 수행하는 단계는 상이한 영역 크기로 샘플링을 수행하는 단계 또는 동일한 영역 크기이되 상기 선명도 값의 상이한 축소조정으로 샘플링을 수행하는 단계 중 적어도 하나를 포함하고,
상기 제 1의 복수의 선명도 값을 조정하는 단계는 구분적-선형 매핑에 기초하여 상기 제 1의 복수의 선명도 값을 조정하는 단계를 포함하고,
상기 제 1의 복수의 조정된 선명도 값을 평탄화하는 단계는 3x3 평균화 필터를 적용하는 단계를 포함하고,
상기 제 1의 복수의 보간된 선명도 값을 결정하는 단계는 이중선형 보간을 수행하는 단계를 포함하고, 상기 제 1의 복수의 보간된 선명도 값 및 상기 제 2의 복수의 보간된 선명도 값은 각기 상기 2D 입력 이미지의 모든 픽셀과 연관된 선명도 값을 포함하고,
상기 제 1의 복수의 보간된 선명도 값과 상기 제 2의 보간된 선명도 값을 병합하는 단계는 혼합 인자를 적용하는 단계를 포함하고,
상기 2D 입력 이미지는 이미지 파일 또는 비디오 프레임 중 적어도 하나를 포함하고,
상기 깊이 맵은 실시간으로 생성되는
컴퓨터로 구현된 방법.
제 1 항에 있어서,
상기 2D 입력 이미지와 연관된 상단-하단 깊이 맵을 결정하는 단계 - 상기 상단-하단 깊이 맵은 상기 상단-하단 깊이 맵의 상단으로부터 상기 상단-하단 깊이 맵의 하단으로 증가하는 상기 상단-하단 깊이 맵의 각각의 로우에서 일정한 복수의 깊이 값을 포함함 - 와,
상기 2D 입력 이미지에서 하나 이상의 에지를 결정하는 단계 - 상기 하나 이상의 에지를 결정하는 단계는 상기 2D 입력 이미지의 로우 픽셀 쌍들 간의 픽셀 값 차를 문턱치와 비교하는 단계 또는 소벨 연산자를 적용하는 단계 중 적어도 하나를 포함하고, 상기 하나 이상의 에지를 결정하는 단계는 상기 하나 이상의 에지와 연관된 하나 이상의 혼합 인자를 제공함 - 와,
상기 상단-하단 깊이 맵을 상기 하나 이상의 혼합 인자에 의해 수정하여 기하적 모델 기반의 깊이 표면을 생성하는 단계와,
상기 기하적 모델 기반의 깊이 표면에 대해 깊이 대비의 수직 강화를 수행하여 강화된 기하적 모델 기반의 깊이 표면을 생성하는 단계와,
상기 깊이 맵에 대해 제 2의 깊이 대비의 수직 강화를 수행하여 강화된 깊이 맵을 생성하는 단계와,
상기 강화된 깊이 맵과 상기 강화된 기하적 모델 기반의 깊이 표면을 병합하여 병합된 깊이 맵을 생성하는 단계와,
상기 병합된 깊이 맵에 대해 깊이 대비의 수평 강화를 수행하여 수평 강화된 깊이 맵을 생성하는 단계와,
상기 2D 입력 이미지에 대해 에지-기반 및 루마-기반의 로컬 강화(local enhancement)를 수행하여 강화된 2D 이미지를 생성하는 단계와,
상기 강화된 2D 이미지와 상기 수평 강화된 깊이 맵을 병합하여 제 2의 병합된 깊이 맵을 생성하는 단계와,
상기 제 2의 병합된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소된 깊이 맵을 생성하는 단계와,
상기 고스팅 감소된 깊이 맵 및 상기 고스팅 감소된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링을 수행하여 시간적으로 필터링되고 고스팅 감소된 깊이 맵을 생성하는 단계와,
상기 2D 입력 이미지 및 상기 시간적으로 필터링되고 고스팅 감소된 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하는 단계 - 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 단계는 상기 시간적으로 필터링되고 고스팅 감소된 깊이 맵을 디스패리티 값 맵으로 변환하고 제 2 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 단계를 포함함 - 를 더 포함하는
컴퓨터로 구현된 방법.
디바이스 상에서 2차원(2D) 이미지를 3차원(3D) 스테레오 이미지로 변환하기 위한 시스템으로서,
이미지 데이터를 보여주도록 구성되는 디스플레이 디바이스와,
상기 디스플레이 디바이스와 통신가능하게 결합되는 하나 이상의 프로세서와,
상기 하나 이상의 프로세서와 통신가능하게 결합되는 하나 이상의 메모리 저장소와,
2D 입력 이미지의 개개 픽셀의 선명도 값을 결정하도록 구성되는 선명도 측정 모듈과,
상기 선명도 값에 대한 제 1의 영역기반 샘플링을 수행하여 제 1의 복수의 샘플 선명도 값을 결정하고 상기 선명도 값의 제 2의 영역기반 샘플링을 수행하여 제 2의 복수의 샘플 선명도 값을 결정하도록 구성되는 적어도 하나의 샘플링 모듈 - 상기 제 1의 영역기반 샘플링 및 상기 제 2의 영역기반 샘플링은 상이한 해상도로 수행됨 - 과,
상기 제 1의 복수의 선명도 값을 조정하여 제 1의 복수의 조정된 선명도 값을 생성하고 상기 제 2의 복수의 선명도 값을 조정하여 제 2의 복수의 조정된 선명도 값을 생성하도록 구성되는 적어도 하나의 조정 모듈과,
상기 제 1의 복수의 조정된 선명도 값을 평탄화하여 제 1의 복수의 평탄화된 선명도 값을 생성하고 상기 제 2의 복수의 조정된 선명도 값을 평탄화하여 제 2의 복수의 평탄화된 선명도 값을 생성하도록 구성되는 적어도 하나의 평탄화 모듈과,
상기 제 1의 복수의 평탄화된 선명도 값에 기초하여 제 1의 복수의 보간된 선명도 값을 결정하고 상기 제 2의 복수의 평탄화된 선명도 값에 기초하여 제 2의 복수의 보간된 선명도 값을 결정하도록 구성되는 적어도 하나의 보간 모듈과,
상기 제 1의 복수의 보간된 선명도 값과 상기 제 2의 복수의 보간된 선명도 값을 병합하여 상기 2D 입력 이미지와 연관된 복수의 깊이 값을 갖는 깊이 맵을 생성하도록 구성되는 병합 모듈을 포함하는
시스템.
제 13 항에 있어서,
상기 2D 입력 이미지 및 상기 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하도록 구성되는 스테레오 이미지 모듈을 더 포함하며,
상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 것은 상기 깊이 맵을 디스패리티 값 맵으로 변환하고 상기 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 것을 포함하는
시스템.
제 13 항에 있어서,
상기 깊이 맵에 대해 깊이 대비의 강화(an enhancement of depth contrast)를 수행하여 강화된 깊이 맵을 생성하도록 구성되는 깊이 대비 강화 모듈과,
상기 강화된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소되고 강화된 깊이 맵을 생성하도록 구성되는 고스팅 감소 모듈과,
상기 고스팅 제거된 강화된 깊이 맵 및 상기 고스팅 감소되고 강화된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링을 수행하여 시간적으로 필터링된 고스팅 감소되고 강화된 깊이 맵을 생성하도록 구성되는 시간적 필터링 모듈과,
상기 2D 입력 이미지 및 상기 시간적으로 필터링된 고스팅 감소되고 강화된 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하도록 구성되는 스테레오 이미지 모듈 - 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 것은 상기 시간적으로 필터링된 고스팅 감소되고 강화된 깊이 맵을 디스패리티 값 맵으로 변환하고 상기 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 것을 포함함 - 을 더 포함하는
시스템.
제 13 항에 있어서,
상기 적어도 하나의 샘플링 모듈은 상이한 영역 크기로 샘플링을 수행하는 것 또는 동일한 영역 크기이되 상기 선명도 값의 상이한 축소조정으로 샘플링을 수행하는 것 중 적어도 하나에 의해 상기 제 1 영역기반 샘플링 및 상기 제 2 영역기반 샘플링을 수행하도록 구성되는
시스템.
제 13 항에 있어서,
상기 적어도 하나의 조정 모듈은 구분적-선형 매핑에 기초하여 상기 제 1의 복수의 선명도 값을 조정함으로써 상기 제 1의 복수의 선명도 값을 조정하도록 구성되는
시스템.
제 13 항에 있어서,
상기 적어도 하나의 평탄화 모듈은 3x3 평균화 필터를 적용하여 상기 제 1의 복수의 조정된 선명도 값을 평탄화하도록 구성되는
시스템.
제 13 항에 있어서,
상기 적어도 하나의 보간 모듈은 이중선형 보간을 수행함으로써 상기 제 1의 복수의 보간된 선명도 값을 결정하도록 구성되고, 상기 제 1의 복수의 보간된 선명도 값 및 상기 제 2의 복수의 보간된 선명도 값은 각기 상기 2D 입력 이미지의 모든 픽셀과 연관된 선명도 값을 포함하는
시스템.
제 13 항에 있어서,
상기 병합 모듈은 혼합 인자를 적용함으로써 상기 제 1의 복수의 보간된 선명도 값과 상기 제 2의 보간된 선명도 값을 병합하도록 구성되는
시스템.
제 13 항에 있어서,
상기 적어도 하나의 샘플링 모듈은 상기 제 1 영역기반 샘플링을 수행하도록 구성되는 제 1 샘플링 모듈과 상기 제 2 영역기반 샘플링을 수행하도록 구성되는 제 2 샘플링 모듈을 포함하고, 상기 적어도 하나의 조정 모듈은 상기 제 1의 복수의 선명도 값을 조정하도록 구성되는 제 1 조정 모듈과 상기 제 2의 복수의 선명도 값을 조정하도록 구성되는 제 2 조정 모듈을 포함하고, 상기 적어도 하나의 평탄화 모듈은 상기 제 1의 복수의 조정된 선명도 값을 평탄화하도록 구성된 제 1 평탄화 모듈과 상기 제 2의 복수의 조정된 선명도 값을 평탄화하도록 구성되는 제 2 평탄화 모듈을 포함하고, 상기 적어도 하나의 보간 모듈은 상기 제 1의 보간된 선명도 값을 결정하도록 구성되는 제 1 보간 모듈과 상기 제 2의 보간된 선명도 값을 결정하도록 구성되는 제 2 보간 모듈을 포함하는
시스템.
제 13 항에 있어서,
상기 선명도 측정 모듈, 상기 적어도 하나의 샘플링 모듈, 상기 적어도 하나의 조정 모듈, 상기 적어도 하나의 평탄화 모듈, 상기 적어도 하나의 보간 모듈, 및 상기 병합 모듈은 상기 하나 이상의 프로세서를 통해 구현되는
시스템.
제 13 항에 있어서,
그래픽 처리 유닛을 더 포함하며, 상기 선명도 측정 모듈, 상기 적어도 하나의 샘플링 모듈, 상기 적어도 하나의 조정 모듈, 상기 적어도 하나의 평탄화 모듈, 상기 적어도 하나의 보간 모듈, 및 상기 병합 모듈은 상기 그래픽 처리 유닛을 통해 구현되는
시스템.
제 13 항에 있어서,
상기 2D 입력 이미지 및 상기 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하도록 구성되는 스테레오 이미지 모듈 - 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 것은 상기 깊이 맵을 디스패리티 값 맵으로 변환하고 상기 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 것을 포함함 - 과,
상기 깊이 맵에 대해 깊이 대비의 강화를 수행하여 강화된 깊이 맵을 생성하도록 구성되는 깊이 대비 강화 모듈 - 상기 깊이 대비 강화 모듈은,
상기 깊이 맵에 대해 수직 강화만을 수행하여 상기 강화된 깊이 맵을 생성하는 것,
상기 깊이 맵에 대해 수직 강화, 좌측-우측 수평 강화, 및 우측-좌측 수평 강화를 동시에 수행하고, 상기 수직 강화, 상기 좌측-우측 수평 강화, 및 상기 우측-좌측 수평 강화를 조합하여 상기 강화된 깊이 맵을 생성하는 것, 또는
수직 강화를 먼저 수행하고 후속하여 좌측-우측 수평 강화 및 우측-좌측 수평 강화를 수행하여 상기 강화된 깊이 맵을 생성하는 것 중 적어도 하나에 의해 상기 깊이 맵에 대해 상기 깊이 대비의 강화를 수행하도록 구성되고,
상기 깊이 맵에 대해 상기 수직 강화를 수행하는 것은,
상기 깊이 맵의 제 1 로우 및 제 1 컬럼에 있는 제 1 픽셀의 픽셀 값을 상기 깊이 맵의 제 2 로우 및 상기 제 1 컬럼에 있는 제 2 픽셀의 픽셀 값과 비교하는 것 - 상기 제 1 로우는 상기 제 2 로우의 위쪽에 있음 - 과,
상기 제 1 픽셀의 상기 픽셀 값과 상기 제 2 픽셀의 상기 픽셀 값 간의 차가 문턱치 내에 있는지를 결정하는 것과,
상기 차가 상기 문턱치 내에 있으면, 상기 제 1 픽셀의 상기 픽셀 값 및 상기 제 2 픽셀의 상기 픽셀 값을 상기 제 1 픽셀의 상기 픽셀 값과 상기 제 2 픽셀의 상기 픽셀 값 중 더 적은 값으로 설정하는 것과,
상기 차가 상기 문턱치 내에 있지 않으면, 상기 제 1 픽셀의 상기 픽셀 값 및 상기 제 2 픽셀의 상기 픽셀 값에 대해 아무 변경을 일으키지 않는 것을 포함함 - 과,
상기 강화된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소되고 강화된 깊이 맵을 생성하도록 구성되는 고스팅 감소 모듈 - 상기 고스팅 감소 모듈은,
전체 강화된 깊이 맵을 깊이 옵셋만큼 시프트하여 영시차 스크린(a zero-parallax screen)에서 멀리 또는 영시차 스크린을 향하여 시프트하는 것, 또는
상기 강화된 깊이 맵의 명도 값을 수정하여 상기 강화된 깊이 맵 내 에지에서 선명도 및/또는 대비를 줄이는 것 중 적어도 하나에 의해 고스팅 감소를 수행하도록 구성됨 - 과,
상기 고스팅 감소되고 강화된 깊이 맵 및 상기 고스팅 감소되고 강화된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링을 수행하여 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵을 생성하도록 구성되는 시간적 필터링 모듈 - 상기 시간적 필터링 모듈은 상기 고스팅 감소되고 강화된 깊이 맵의 깊이 값을 가중 인자에 기초하여 수정함으로써 상기 시간적 필터링을 수행하도록 구성되고 상기 가중 인자는 상기 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값과 상기 제 2의 고스팅 감소되고 강화된 깊이 맵에서의 깊이 값 간의 절대 값 차에 기초함 - 과,
그래픽 처리 유닛을 더 포함하며,
상기 스테레오 이미지 모듈은 또한 상기 2D 입력 이미지 및 상기 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵에 기초하여 제 2의 좌측-모습 스테레오 이미지 및 제 2의 우측-모습 스테레오 이미지를 생성하도록 구성되고, 상기 스테레오 이미지 모듈은 또한 상기 시간적으로 필터링되고 고스팅 감소되고 강화된 깊이 맵을 디스패리티 값 맵으로 변환하고 상기 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정함으로써 상기 제 2의 좌측-모습 스테레오 이미지 및 상기 제 2의 우측-모습 스테레오 이미지를 생성하도록 구성되며,
상기 선명도 측정 모듈은 상기 개개 픽셀의 픽셀 값에 기초하여 상기 선명도 값을 결정함으로써 상기 입력 이미지의 상기 개개 픽셀의 상기 선명도 값을 결정하도록 구성되고, 상기 픽셀 값은 상기 개개 픽셀의 루마(Y) 값 또는 상기 개개 픽셀의 R/G/B 값 중 적어도 하나의 값을 포함하고, 상기 선명도 값을 결정하는 것은 상기 입력 이미지의 모든 픽셀마다 선명도 값을 결정하는 것을 포함하고, 제 1의 개개 픽셀의 제 1 선명도 값을 결정하는 것은,
상기 개개 픽셀 중 상기 제 1의 개개 픽셀마다, 상기 제 1의 개개 픽셀의 수직 선명도를 상기 제 1의 개개 픽셀 위쪽 픽셀의 픽셀 값과 상기 제 1의 개개 픽셀의 픽셀 값과의 절대 값 차와 상기 제 1의 개개 픽셀의 아래쪽 픽셀의 픽셀 값과 상기 제1의 개개 픽셀의 상기 픽셀 값과의 절대 값 차 간의 절대 값 차로서 결정하는 것과,
상기 제 1의 개개 픽셀마다, 상기 제 1의 개개 픽셀의 수평 선명도를 상기 제 1의 개개 픽셀의 좌측 픽셀의 픽셀 값과 상기 제 1의 개개 픽셀의 상기 픽셀 값과의 절대 값 차와 상기 제 1의 개개 픽셀의 우측 픽셀의 픽셀 값과 상기 제 1의 개개 픽셀의 상기 픽셀 값과의 절대 값 차 간의 절대 값 차로서 결정하는 것과,
상기 제 1 선명도 값을 상기 수직 선명도와 상기 수평 선명도 중 최대치 또는 상기 수직 선명도와 상기 수평 선명도의 평균 중 적어도 하나로서 결정하는 것을 포함하고,
상기 적어도 하나의 샘플링 모듈은 상이한 영역 크기로 샘플링을 수행하는 것 또는 동일한 영역 크기이되 상기 선명도 값의 상이한 축소조정으로 샘플링을 수행하는 것 중 적어도 하나에 의해 상기 제 1 영역기반 샘플링 및 상기 제 2 영역기반 샘플링을 수행하도록 구성되고,
상기 적어도 하나의 조정 모듈은 구분적-선형 매핑에 기초하여 상기 제 1의 복수의 선명도 값을 조정함으로써 제 1의 복수의 선명도 값을 조정하도록 구성되고,
상기 적어도 하나의 평탄화 모듈은 3x3 평균화 필터를 적용함으로써 상기 제 1의 복수의 조정된 선명도 값을 평탄화하도록 구성되고,
상기 적어도 하나의 보간 모듈은 이중선형 보간을 수행함으로써 상기 제 1의 복수의 보간된 선명도 값을 결정하도록 구성되고, 상기 제 1의 복수의 보간된 선명도 값 및 상기 제 2의 복수의 보간된 선명도 값은 각기 상기 2D 입력 이미지의 모든 픽셀과 연관된 선명도 값을 포함하고,
상기 병합 모듈은 혼합 인자를 적용함으로써 상기 제 1의 복수의 보간된 선명도 값과 상기 제 2의 보간된 선명도 값을 병합하도록 구성되고,
상기 2D 입력 이미지는 이미지 파일 또는 비디오 프레임 중 적어도 하나를 포함하고,
상기 깊이 맵은 실시간으로 생성되고,
상기 적어도 하나의 샘플링 모듈은 상기 제 1 영역기반 샘플링을 수행하도록 구성되는 제 1 샘플링 모듈과 상기 제 2 영역기반 샘플링을 수행하도록 구성되는 제 2 샘플링 모듈을 포함하고, 상기 적어도 하나의 조정 모듈은 상기 제 1의 복수의 선명도 값을 조정하도록 구성되는 제 1 조정 모듈과 상기 제 2의 복수의 선명도 값을 조정하도록 구성되는 제 2 조정 모듈을 포함하고, 상기 적어도 하나의 평탄화 모듈은 상기 제 1의 복수의 조정된 선명도 값을 평탄화하도록 구성되는 제 1 평탄화 모듈과 상기 제 2의 복수의 조정된 선명도 값을 평탄화하도록 구성되는 제 2 평탄화 모듈을 포함하고, 상기 적어도 하나의 보간 모듈은 상기 제 1의 복수의 보간된 선명도 값을 결정하도록 구성되는 제 1 보간 모듈과 상기 제 2의 복수의 보간된 선명도 값을 결정하도록 구성되는 제 2 보간 모듈을 포함하며,
상기 선명도 측정 모듈, 상기 적어도 하나의 샘플링 모듈, 상기 적어도 하나의 조정 모듈, 상기 적어도 하나의 평탄화 모듈, 상기 적어도 하나의 보간 모듈, 및 상기 병합 모듈은 상기 하나 이상의 프로세서 또는 상기 그래픽 처리 유닛 중 적어도 하나를 통해 구현되는
시스템.
제 13 항에 있어서,
기하적 모델 기반 깊이 표면 모듈 - 상기 기하적 모델 기반 깊이 표면 모듈 은,
상기 2D 입력 이미지와 연관된 상단-하단 깊이 맵 - 상기 상단-하단 깊이 맵은 상기 상단-하단 깊이 맵의 상단으로부터 상기 상단-하단 깊이 맵의 하단으로 증가하는 상기 상단-하단 깊이 맵의 각각의 로우에서 일정한 복수의 깊이 값을 포함함 - 을 결정하고,
상기 2D 입력 이미지에서 하나 이상의 에지를 결정 - 상기 하나 이상의 에지를 결정하는 것은 상기 2D 입력 이미지의 로우 픽셀 쌍들 간의 픽셀 값 차를 문턱치와 비교하는 것 또는 소벨 연산자를 적용하는 것 중 적어도 하나를 포함하고, 상기 하나 이상의 에지를 결정하는 것은 상기 하나 이상의 에지와 연관된 하나 이상의 혼합 인자를 제공함 - 하고,
상기 상단-하단 깊이 맵을 상기 하나 이상의 혼합 인자에 의해 수정하여 기하적 모델 기반의 깊이 표면을 생성하도록 구성됨 - 과,
상기 기하적 모델 기반의 깊이 표면에 대해 깊이 대비의 수직 강화를 수행하여 강화된 기하적 모델 기반의 깊이 표면을 생성하도록 구성되는 제 1 깊이 대비 강화 모듈과,
상기 깊이 맵에 대해 제 2의 깊이 대비의 수직 강화를 수행하여 강화된 깊이 맵을 생성하도록 구성되는 제 2 깊이 대비 강화 모듈과,
상기 강화된 깊이 맵과 상기 강화된 기하적 모델 기반의 깊이 표면을 병합하여 병합된 깊이 맵을 생성하도록 구성되는 제 1 병합 모듈과,
상기 병합된 깊이 맵에 대해 깊이 대비의 수평 강화를 수행하여 수평 강화된 깊이 맵을 생성하도록 구성되는 제 3 깊이 대비 강화 모듈과,
상기 2D 입력 이미지에 대해 에지-기반 및 루마-기반의 로컬 강화를 수행하여 강화된 2D 이미지를 생성하도록 구성되는 로컬 강화 모듈과,
상기 강화된 2D 이미지와 상기 수평 강화된 깊이 맵을 병합하여 제 2의 병합된 깊이 맵을 생성하도록 구성되는 제 2 병합 모듈과,
상기 제 2의 병합된 깊이 맵에 대해 고스팅 감소를 수행하여 고스팅 감소된 깊이 맵을 생성하도록 구성되는 고스팅 감소 모듈과,
상기 고스팅 감소된 깊이 맵 및 상기 고스팅 감소된 깊이 맵을 시간(t)만큼 시간적으로 앞선 제 2의 고스팅 감소되고 강화된 깊이 맵에 대해 시간적 필터링을 수행하여 시간적으로 필터링되고 고스팅 감소된 깊이 맵을 생성하도록 구성되는 시간적 필터링 모듈과,
상기 2D 입력 이미지 및 상기 시간적으로 필터링되고 고스팅 감소된 깊이 맵에 기초하여 좌측-모습 스테레오 이미지 및 우측-모습 스테레오 이미지를 생성하도록 구성되는 스테레오 이미지 모듈 - 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 생성하는 것은 상기 시간적으로 필터링되고 고스팅 감소된 깊이 맵을 디스패리티 값 맵으로 변환하고 제 2 디스패리티 값 맵에 기초하여 상기 좌측-모습 스테레오 이미지 및 상기 우측-모습 스테레오 이미지를 결정하는 것을 포함함 - 을 더 포함하는
시스템.
복수의 명령어를 포함하는 적어도 하나의 머신 판독가능한 매체로서,
상기 복수의 명령어는, 컴퓨팅 디바이스에서 실행되는 것에 대응하여, 상기 컴퓨팅 디바이스로 하여금 청구항 제 1 항 내지 제 12 항 중 어느 한 항에 따른 방법을 수행하게 하는 복수의 명령어를 포함하는
적어도 하나의 머신 판독가능한 매체.
청구항 제 1 항 내지 제 12 항 중 어느 한 항에 따른 방법을 수행하기 위한 수단을 포함하는
장치.