KR20140088200A

KR20140088200A - 예제 유사 이미지와 연관된 예제 근사 깊이-맵을 사용하여 입력 이미지에 대한 깊이-맵 생성

Info

Publication number: KR20140088200A
Application number: KR1020147014730A
Authority: KR
Inventors: 데바르가 무케르지; 첸 우; 멍 왕
Original assignee: 구글 인코포레이티드
Priority date: 2011-11-02
Filing date: 2012-11-02
Publication date: 2014-07-09
Also published as: EP2774124B1; JP6370708B2; JP2014532941A; CN105144234A; US20130106837A1; KR102148538B1; WO2013067441A1; EP2774124A4; JP6563453B2; EP2774124A1; CN111598932A; JP2018026840A; US10194137B1; US9471988B2; US20190037197A1

Abstract

이미지 변환기는 제 1 삼차원 이미지로 변환될 이차원 이미지를 수신한다. 이미지 변환기는 제 2 삼차원 이미지와 연관된 근사 깊이 맵에 기초하여 특징-깊이 변환 맵핑 함수를 계산한다. 이미지 변환기는 이차원 이미지의 복수의 화소들의 각각에 대한 깊이 값을 결정하기 위하여 복수의 화소들에 특징-깊이 변환 맵핑 함수를 적용하고, 이차원 이미지의 복수의 화소들에 대한 깊이 값들에 기초하여 제 1 삼차원 이미지를 생성한다.

Description

예제 유사 이미지와 연관된 예제 근사 깊이-맵을 사용하여 입력 이미지에 대한 깊이-맵 생성{DEPTH-MAP GENERATION FOR AN INPUT IMAGE USING AN EXAMPLE APPROXIMATE DEPTH-MAP ASSOCIATED WITH AN EXAMPLE SIMILAR IMAGE}

본 명세서는 이미지 처리 분야에 관한 것이고, 특히, 모노스코픽(monoscopic) 시각적 컨텐츠의 스테레오스코픽(stereoscopic) 3차원으로의 변환에 관한 것이다.

디스플레이 기술의 발전은 삼차원(이하, 3D라고 함) 깊이의 스테레오스코픽 인식을 시계(view)에 전달할 수 있는 디스플레이 장치가 점차 일반화되도록 해왔다. 이러한 3D 디스플레이는 HD(High-Definition) 텔레비전 세트, 게임 장치, 및 다른 컴퓨팅 장치에서 발견될 수 있다. 늘어나는 3D 디스플레이들은 추가적인 3D 시각적 컨텐츠(visual content)(예컨대, 이미지, 비디오)에 대한 필요를 이끌어냈다. 종래에는, 3D 컨텐츠를 제작하는 것은 어렵고, 시간이 걸리는 과정이었다. 컨텐츠 제작자는, 예를 들면, 두 개의 카메라를 사용하여 피사체(subject)를 촬영하고, 각 카메라로부터의 비디오 또는 이미지를 결합하고, 3D 효과가 정확하게 보이도록 특별한 소프트웨어를 사용할 것이다. 이것은 긴, 고도의 기술 및 고가의 수작업 과정을 일반적으로 포함한다. 더 나아가, 이차원(이하, 2D라고 함) 이미지 및 비디오를 3D으로 변환하는 종래의 기술은, 수 많은 이미지 또는 비디오를 변환하기 위하여 필요한 시간 및 자원 면에서 확장성을 갖추지(scalable) 못할 수 있다. 또한, 종래의 기술들은 특정한 유형의 이미지 및 비디오를 변환하는 것에 한정되고, 일반적인 2D에서 3D으로의 변환 작업에는 사용될 수 없다.

다음은 본 명세서의 몇몇의 양상들의 기본적인 이해를 돕기 위한, 본 명세서의 간소화된 요약이다. 이 요약은 본 명세서의 광범위한 개요가 아니다. 이는 본 명세서의 핵심 또는 중요한 구성 요소들을 식별하지 않으며, 본 명세서의 특정한 구현예의 범위 또는 청구항의 임의의 범위를 기술하지 않도록 의도된다. 그 유일한 목적은 이후에 제시되는 상세한 설명에 대한 서두로서 단순화된 형태로 본 명세서의 일부 개념들을 제공하는 것이다.

일 구현예에서, 이미지 변환기는 제 1 삼차원 이미지로 변환될 이차원 이미지를 수신한다. 이미지 변환기는 제 2 삼차원 이미지와 연관된 근사 깊이 맵에 기초하여 특징-깊이 변환 맵핑 함수를 계산한다. 이미지 변환기는 이차원 이미지의 복수의 화소들의 각각에 대한 깊이 값을 결정하기 위하여 복수의 화소들에 특징-깊이 변환 맵핑 함수를 적용하고, 이차원 이미지의 복수의 화소들에 대한 깊이 값들에 기초하여 제 1 삼차원 이미지를 생성한다.

일 구현예에서, 방법은 제 1 삼차원 이미지로 변환될 이차원 이미지를 수신하는 단계; 제 2 삼차원 이미지와 연관된 근사 깊이 맵에 기초하여 특징-깊이 변환 맵핑 함수를 계산하는 단계; 이차원 이미지의 복수의 화소들의 각각에 대한 깊이 값을 결정하기 위하여 복수의 화소들에 특징-깊이 변환 맵핑 함수를 적용하는 단계; 및 이차원 이미지의 복수의 화소들에 대한 깊이 값들에 기초하여 제 1 삼차원 이미지를 생성하는 단계를 포함한다.

본 명세서에서는 수반하는 그림의 도면들이, 한정의 방법이 아닌, 예시의 방법으로 나타내어 진다.
도 1은 본 명세서의 양상들이 구현될 수 있는 예시적인 네트워크 아키텍쳐를 나타내는 블록 다이어그램이다.
도 2a는 일 구현예에 따라, 예제 유사 이미지와 연관된 근사 깊이 맵을 사용하는 깊이 맵 생성을 위한 이미지 변환기를 나타내는 블록 다이어그램이다
도 2b는 일 구현예에 따라, 특징-깊이 변환 맵핑을 위한 영역들로 분할되는 이미지를 나타내는 블록 다이어그램이다.
도 3은 일 구현예에 따라, 이미지 변환 처리 흐름을 나타내는 블록 다이어그램이다.
도 4는 일 구현예에 따라, 특징-깊이 변환 맵핑 함수를 나타내는 다이어그램이다.
도 5는 일 구현예에 따라, 계산된 깊이 맵을 나타내는 다이어그램이다.
도 6은 일 구현예에 따라, 이미지 변환 방법을 나타내는 흐름도이다.
도 7은 일 구현예에 따라, 특징-깊이 변환 맵핑 함수를 계산하는 방법을 나타내는 흐름도이다.
도 8a는 일 구현예에 따라, 입력 이미지에 특징-깊이 변환 맵핑 함수를 적용하는 방법을 나타내는 흐름도이다.
도 8b는 일 구현예에 따라, 색-깊이 빈(bin)들 간의 일차원 선형 보간을 나타내는 다이어그램이다.
도 9는 본 명세서의 일 양상에 따라, 컴퓨터 시스템의 일 구현예를 나타내는 블록 다이어그램이다.

구현예(implementation)들이 이차원(이하, 2D라고 함) 입력 이미지에 대한 깊이 맵을 생성하기 위하여 설명된다. 깊이 맵(depth map)은 2D 입력 이미지를 삼차원(이하, 3D라고 함) 출력 이미지로 변환하기 위하여 사용된다. 2D 입력 이미지는 사용자에 의하여 제공되거나, 또는 이용가능한 이미지들의 데이터베이스로부터 선택될 수 있다. 본 명세서에서 설명된 이미지 변환기(image converter)는 3D 이미지들을 저장하는 다른 데이터베이스에 접근할 수도 있다. 이러한 3D 이미지들은 처음부터 3D로 촬영되었거나, 또는 미리 2D로부터 3D로 변환되었을 수 있다. 이미지 변환기는 데이터베이스로부터 2D 입력 이미지와 시각적으로 유사한 3D 예제 이미지를 식별할 수 있다. 시각적으로 유사한 이미지는 유사한 위치에서 촬영되었을 지도 모르는 2D 이미지와 다수의 특징들, 예컨대, 유사한 색상, 유사한 소재(subject matter) 등, 을 공유할 수 있다. 본 명세서에서는 설명의 명확성을 위해, 상세한 설명(details)은 일 예로서의 이미지에 관련하여서만 구체적으로 제공되는 반면에, 이러한 상세한 설명은 다른 유형의 미디어에도 동일하게 적용될 수 있을 것이다. 예를 들면, 이는 비디오, 문서, 텍스트(예컨대, 트윗(tweet)들), 플래시-컨텐츠(flash-content), 등에도 마찬가지로 적용될 수 있을 것이다.

시각적으로 유사한 예제 이미지가 3D 이미지이기 때문에, 그 이미지에 대한 깊이 정보(depth information)가 알려져 있을 수 있다. 만약 깊이 정보가 알려지지 않거나, 또는 쉽게 이용할 수 없는 경우, 깊이 정보는 깊이 보간 기법(depth interpolation technique)들을 사용하여 계산될 수 있다. 깊이 정보는 깊이 맵의 형태로 저장될 수 있다. 깊이 맵은 이미지에 대한 3D 효과를 렌더링하기 위하여 사용되는 3D 예제 이미지(3D example image) 내의 각 화소에 대한 깊이 값을 포함할 수 있다. 깊이 맵이 3D 예제 이미지와 연관되기 때문에, 깊이 맵은 2D 입력 이미지와 직접적으로 관련되지 않을 것이다. 따라서, 깊이 맵은 2D 입력 이미지에 관한 근사 깊이 맵(approximate depth map)으로서 지칭될 수 있다. 그러나, 3D 예제 이미지가 2D 입력 이미지와 시각적으로 유사하기 때문에, 근사 깊이 맵은 2D 입력 이미지에 대한 최종 깊이 맵(final depth map)을 생성하기 위한 좋은 출발점이 될 수 있다.

일 구현예에서, 3D 예제 이미지 및 근사 깊이 맵을 사용하여, 이미지 변환기는 3D 예제 이미지 내의 각 화소(pixel) 또는 화소 군(group of pixel)의 특징 값(예컨대, 색상)을 깊이 값과 관련시키는 특징-깊이 변환 맵핑 함수를 생성할 수 있다. 이미지 변환기는 2D 입력 이미지의 각 화소에 대한 깊이 값을 생성하기 위하여, 2D 입력 이미지의 알려진 특징 값에 이 함수를 적용할 수 있다. 이러한 깊이 값은 2D 입력 이미지에 대한 최종 깊이 값을 생성할 수 있다. 최종 깊이 맵을 사용하여, 이미지 변환기는 2D 입력 이미지에 기초한 3D 출력 이미지를 렌더링할 수 있다. 따라서, 2D 입력 이미지는 3D 출력 이미지로 효율적으로 변환될 수 있다.

본 명세서에서 설명된 변환 기법들의 구현예들은 2D 시각적 컨텐츠로부터 3D으로의 자동 변환을 완전히 제공한다. 이는 개인이, 3D 이미지를 촬영하거나 또는 수작업으로 기존 2 차원 이미지를 3D 이미지로 변환하는, 값 비싸고 시간 집약적인 과정들을 피할 수 있게 한다. 입력 이미지와 시각적으로 유사한 이미지들에 대응하는, 특징-깊이 변환 맵핑 함수의 사용은 그 이미지에 대한 깊이 값들의 더욱 정확한 예측을 가능하게 한다. 결국, 이는 더욱 정확하고 현실적인 3D 출력 이미지의 렌더링을 이끌어낼 수 있다. 또한, 비교(comparison)를 위해 큰 데이터베이스를 사용하는 것은 시각적으로 유사한 이미지 또는 이미지들이 발견될 수 있는 가능성을 증가시키고, 이는 다양한 유형의 시각적 컨텐츠의 변환을 수월하게 한다. 일 구현예에서, 수백만의 이미지들이 비교에 사용될 수 있다.

도 1은 본 명세서의 양상들이 구현될 수 있는 예시적인 네트워크 아키텍쳐를 나타내는 블록 다이어그램이다. 일 구현예에 따르면, 네트워크 아키텍쳐(network architecture)(100)는 하나 이상의 네트워크(network)(140)를 통해 하나 이상의 사용자 장치(user device)(130,132,134)와 통신하는 하나 이상의 서버(server)(102)를 포함할 수 있다. 네트워크(140)는 근거리 통신망(Local Area Network: LAN), 전화망(telephone network), 이동 통신망(mobile communications network), 예컨대, 인터넷과 같은 원거리 통신망(Wide Area Network: WAN), 또는 유사한 통신 시스템일 수 있다. 사용자 장치들(130,132,134)은 서버 컴퓨터, 게이트웨이 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 이동 통신 장치, 셀룰러 폰, 스마트 폰, 핸드헬드(hand-held) 컴퓨터, 태블릿, 또는 유사한 컴퓨팅 장치를 포함하는, 임의의 유형의 컴퓨팅 장치일 수 있다. 사용자 장치들(130,132,134)은 이미지, 비디오와 같은 시각적 컨텐츠를 볼 수 있도록 서로 다른 특징들로 다양하게 구성될 수 있다.

서버(102)는 네트워크-접근가능한(network-accessible) 서버-기반(server-based) 기능, 다양한 데이터 저장소들 및/또는 그 밖의 다른 데이터 처리 장치를 포함할 수 있다. 서버(102)는 단일 기계 또는 한 무리(cluster)의 기계들에 의해 구현될 수 있다. 서버(102)는 예를 들면, 도 9의 컴퓨터 시스템(900)을 포함할 수 있다. 일 구현예에서, 서버(102)는 이미지 변환기(image converter)(110) 및 저장 장치(storage device)(120)를 포함한다. 다른 구현예에서, 저장 장치(120)는 서버(102)의 외부에 있을 수 있고, 네트워크 또는 다른 연결을 통해 서버(102)와 연결될 수 있다. 다른 구현예들에서, 서버(102)는 본 명세서를 모호하게 하지 않게 하도록 여기에는 도시되지 않은, 다른 및/또는 추가적인 구성들을 포함할 수 있다. 저장 장치(120)는 예를 들면, 플래시 메모리, 자기 또는 광학 디스크, 또는 테이프 드라이브를 포함할 수 있는 하나 이상의 대용량 저장 장치; ROM(Read-Only Memory); RAM(Random-Access Memory); 소거 및 프로그램 가능한 메모리(erasable programmable memory)(예컨대, EPROM 및 EEPROM); 플래시 메모리; 또는 임의의 다른 유형의 저장 매체를 포함할 수 있다.

일 구현예에서, 저장 장치(120)는 다수의 2D 이미지 또는 비디오뿐 아니라 다수의 3D 이미지를 포함하는 이미지 데이터 저장소(image data store)를 포함한다. 또한, 2D 또는 3D 이미지들 중 적어도 일부에 대하여, 연관된 깊이 맵이 저장 장치(120)에 저장될 수도 있다. 일 구현예에서, 깊이 맵은 이미지 내의 각 화소(또는 화소 군)에 대한 깊이 값을 포함한다. 다른 구현예에서, 3D 이미지들의 각각에 대하여, 미리 결정된 특징-깊이 변환 맵핑 함수를 포함하는 특징-깊이 변환 맵핑 데이터베이스가 제공될 수 있고, 저장 장치(120)에 저장될 수 있다.

이미지 변환기(110)는 2D 입력 이미지를 3D 출력 이미지로 변환하는 사용자 요청을 수신할 수 있다. 변환될 2D 입력 이미지는 사용자 또는 컴퓨터 응용 프로그램에 의해 미리 제공된, 그리고 저장 장치에 미리 저장된 이미지이거나, 요청과 함께 사용자에 의해 제공된 이미지일 수 있다. 이미지 변환기(110)는 변환될 2D 이미지와 시각적으로 유사한 3D 예제 이미지(또는 이미지들)을 식별하고, 그 예제 이미지와 연관된 근사 깊이 맵을 식별할 수 있다. 그 예제 유사 이미지 및 연관된 근사 깊이 맵은 저장 장치(120)에 저장될 수 있다. 시각적으로 유사한 3D 예제 이미지는 2D 입력 이미지와 공유하는 특징들, 예컨대, 유사한 색상, 소재, 위치, 컨텍스트 등, 에 의해 식별될 수 있다. 근사 깊이 맵은 이미지에 대한 3D 효과들을 렌더링하기 위하여 사용되는, 3D 예제 이미지 내의 각 화소(또는 화소 군)에 대한 깊이 값을 포함할 수 있다. 다른 구현예에서, 근사 깊이 맵은 3D 예제 이미지와 연관되지 않을 수 있고, 오히려 그와 다르게 2D 입력 이미지를 3D으로 변환하는데 사용하는 이용가능한 깊이 맵들의 집합(selection)으로부터 사용자에 의해 또는 이미지 변환기(110)에 의해 선택될 수 있다. 후술될 바와 같이, 이미지 변환기(110)는 2D 입력 이미지를 3D 출력 이미지로 자동적으로 변환하기 위하여 근사 깊이 맵을 사용할 수 있다.

도 2a는 본 명세서의 일 구현예에 따라, 예제 유사 이미지와 연관된 근사 깊이 맵을 사용하는 깊이 맵 생성을 위한 이미지 변환기를 나타내는 블록 다이어그램이다. 일 구현예에서, 이미지 변환기(110)는 특징 처리 모듈(212), 특징-깊이 변환 맵핑 모듈(214), 깊이 맵 생성 모듈(216) 및 이미지 렌더링 모듈(218)을 포함할 수 있다. 모듈들의 이 배열은 논리적인 구분일 수 있고, 다른 구현예들에서, 이러한 모듈들 또는 다른 구성 요소(component)들은 특정한 구현예에 따라, 함께 결합되거나, 또는 추가의 구성 요소로 분리될 수 있다. 일 구현예에서, 저장 장치(120)는 더욱 정확한 2D로부터 3D로의 변환을 위하여 이미지 변환기(110)에 의해 사용되는, 이미지 데이터 저장소(222) 및 특징-깊이 변환 맵핑 데이터베이스(224)를 포함할 수 있다.

이미지 변환기(110)는 3D 출력 이미지로 변환될 2D 입력 이미지를 수신(예컨대, 사용자 또는 컴퓨터 응용 프로그램으로부터)할 수 있고, 데이터 저장소(222)에서 예제 유사 이미지 및 연관된 근사 깊이 맵을 찾을 수 있다. 일 구현예에서, 데이터 저장소(222)로부터의 이미지가 변환될 입력 이미지와 유사한 것으로 간주하기 위하여, 문턱값(threshold)이 정의된다. 여기서, 문턱값은 예를 들면, 입력 이미지 및 데이터 저장소(222)로부터의 이미지 사이에 공유되어야 하는 특징 또는 특성의 수와 같은 것이다. 유사한 이미지가 식별되면, 3D 유사 이미지에 대한 특징-깊이 변환 맵핑 함수가 그 유사한 이미지에 연관된 근사 깊이 맵을 사용하여 결정된다. 다른 구현예에서, 특징-깊이 변환 맵핑 함수는 미리 3D 유사 이미지에 대해 결정되고, 특징-깊이 변환 맵핑 데이터베이스(224)에 저장될 수 있다.

일 구현예에서, 특징-깊이 변환 맵핑 함수는 특징 처리 모듈(212) 및 특징-깊이 변환 맵핑 모듈(214)에 의해 결정된다. 특히, 일 구현예에서, 이미지 데이터 저장소(222) 내의 각 3D 이미지(또한, 3D 비디오의 프레임)는, 보여졌을 때, 깊이의 일루전(illusion)을 생성하는, 스테레오 이미지 쌍을 포함하거나, 또는 이에 연관된다. 일반적으로, 이미지 쌍은 미세하게 다른 시점(viewpoint)(사람의 눈 사이의 거리와 거의 동일한)들에서 촬영된, 동일한 피사체의 두 이미지(예컨대, 좌 이미지 및 우 이미지)를 포함한다. 따라서, 두 이미지 내의 각 포인트(point)는 그 포인트와 시점 간의 거리에 비례하는, 미세한 오프셋(offset)(화소들에서 측정된)을 가질 것이다. 이 오프셋은 시차(disparity)로 지칭될 수 있다. 일 구현예에서, 3D 예제 이미지와 연관된 근사 깊이 맵에서 각 화소에 대한 깊이 값은 계산된 시차와 동일하거나, 또는 이에 비례할 수 있다.

3D 예제 이미지에 대한 특징-깊이 변환 맵핑 함수를 생성하기 위하여, 3D 예제 이미지의 특징들은 근사 깊이 맵의 깊이 값들과 관련될 수 있다. 일 구현예에서, 특징 처리 모듈(212)은 이미지 데이터 저장소(222)로부터의 3D 예제 이미지의 하나 이상의 특징을 식별할 수 있다. 일 구현예에서, 특징은 그 예제 이미지 내의 각 화소의 색상 값을 포함할 수 있다. 다른 구현예들에서, 예컨대, 모션(또는 연관 모션 벡터), 위치, 질감, 에지(edge), 또는 SIFT(Scale-Invariant Feature Transform)와 같은 이미지 특징들에 기반된 그래디언트 히스토그램(gradient histogram)과 같은, 그 밖의 다른 특징이 사용될 수 있다. 본 명세서에서 설명된 맵핑은 이러한 또는 다른 특징들 중 임의의 것과 함께 사용될 수 있다.

일 구현예에서, 특징 처리 모듈(212)은 색 공간(예컨대, YUV, RGB, YCbCr) 내에서 다수의 빈(bin)들을 결정할 수 있다. 비닝(binning)은 고려된 색상들의 수를 줄이기 위해 사용될 수 있다. YUV는 예를 들면, 전형적인 특징-깊이 변환 맵핑 함수에 대해 너무 클지도 모르는, 24 비트(bit) 색상 값을 가질 수 있다. 따라서, 특징 처리 모듈(212)은 관리가능한(manageable) 수의 빈들을 갖기 위하여 상이한 색상 값들을 결합할 수 있다. 이미지 데이터 저장소(222)로부터의 예제 이미지에 대하여, 특징 처리 모듈(212)은 화소의 색상 값에 기초하여 각 화소를 적당한 빈과 연관시킬 수 있다. 근사 깊이 맵을 사용하여, 특징 처리 모듈(212)은 또한, 빈에 대한 집합(aggregate) 깊이 값을 생성하기 위하여, 특정(certain) 빈의 각 화소에 대한 깊이 값들을 결합(예컨대, 평균)할 수도 있다. 일련의 데이터 포인트들이 획득될 때까지, 유사한 결합이 남은 빈(remaining bin)들의 각 색상에 대해 수행될 수 있다.

특징-깊이 변환 맵핑 모듈(214)은 특징 처리 모듈(212)에 의해 결정된 깊이 값 및 이미지의 하나 이상의 특징들에 기초하여 예제 이미지에 대한 특징-깊이 변환 맵핑 함수를 생성할 수 있다. 일 구현예에서, 그 함수를 생성하는데 사용되는 특징은 색상일 수 있다. 예제 이미지의 각 화소는 알려진 색상 값(예컨대, 이미지 메타데이터로부터 결정된)을 가지며, 특징 처리 모듈(212)에 의해 각 색상 빈에 대하여 결정된 깊이 값을 가질 수 있다. 동일 또는 유사한 색상을 갖는 이미지 내의 대상물(object)들은 또한 동일 또는 유사한 깊이 값을 가질 수도 있다는 가정에 기초하여, 특징-깊이 변환 맵핑 함수는 동일 또는 유사한 색상들의 화소들에 대한 깊이 값을 집합할 수 있다. 다른 구현예들에서, 질감, 위치, 모양 등과 같은 다른 특징들이, 색상을 대체하거나 또는 색상에 추가하여, 특징-깊이 변환 맵핑 함수를 생성하기 위하여 사용될 수 있다. 결과 함수(resulting function)는 최종적으로 특정 화소 또는 다른 포인트에 대한 색상 값(또는 다른 특징 값)을 입력으로 수신하고, 그 화소에 대한 깊이 값을 출력할 수 있다. 특징-깊이 변환 맵핑 함수의 추가적인 상세한 설명은 도 4를 참조하여 이하에서 하도록 한다.

일 구현예에서, 3D 예제 이미지에 대한 단지 하나의 특징-깊이 변환 맵핑 함수를 생성하기 보다는, 특징-깊이 변환 맵핑 모듈(214)은 이미지 데이터 저장소(222)의 하나의 예제 이미지에 대한 다수의 특징-깊이 변환 맵핑 함수를 생성할 수 있다. 다른 함수들이 예를 들면, 이미지의 다른 영역들에 대해 생성될 수 있다. 일 구현예에서, 이미지 데이터 저장소(222)로부터의 이미지는 논리적으로 다수의 영역들로 분할될 수 있다(예컨대, 2개, 4개의 영역). 이미지는, 이미지의 주요한 공간변이(major spatial variation) 분포(distribution )에 의존하는, 다른 방식들로 타일화(tiled)될 수 있다. 예를 들면, 실외 산-하늘 이미지의 경우, 이미지를 수평적으로 두 부분(예컨대 상 및 하 절반 이미지)으로 분할 하는 것으로 충분할 수 있다. 실내 이미지의 경우, 더 많은 공간 구성 요소들을 갖는 것이 더 나을 수 있고, 여기서, 좌 및(vs) 우 절반 이미지들은 마찬가지로 서로 다른 깊이 맵핑을 가질 수 있다. 도 2b는 논리적으로 4개의 동등한 영역(252-258)으로 분할되는, 예제 이미지(250)를 나타내는 다이어그램이다. 특징-깊이 변환 맵핑 모듈(214)은 각 영역(252-258)을 그 자신의 개별 이미지로서 취급할 수 있고, 상술된 방법으로 그 영역에 특정하는 특징-깊이 변환 맵핑 함수를 결정할 수 있다. 일 구현예에서, 특징-깊이 변환 맵핑 모듈(214)은 데이터베이스(224)에 이미지의 영역들에 대응하는 다수의 함수들을 저장할 수 있다. 다른 구현예에서, 다수의 함수들은 예를 들어, 데이터베이스(224)에 저장된, 하나의 함수로 결합(예컨대, 화소 P로부터 각 영역의 중심(C1-C4)까지의 거리에 기초하여 선형 조합을 사용)될 수 있다. 선형 조합은 상이한 영역 간에 특징-깊이 변환 맵핑 함수를 교환함으로써 생성되는, 잠재적인 “경계 효과들(boundary effects)”을 제거할 수 있다. 2D 입력 이미지에 맵핑들을 적용할 때, 최종 깊이 값은 상이한 영역들 사이에 보간될 수 있다. 화소 P에 대한 깊이 값을 계산할 때, 영역들의 중심들(C1-C4)까지의 거리가 먼저 계산되고, d1, d2, d3, d4로 표시될 수 있다. 영역(252)의 맵핑에서, 그것은 화소 P에 대한 깊이 값(v1)을 준다. 유사하게, 우리는 그 밖의 다른 영역들(254-258)로부터의 맵핑에서 v2, v3, 및 v4를 얻는다. P의 최종 깊이 값은 d1 내지 d4와 반비례하는, v1내지 v4를 결합함으로써 계산될 수 있고, 예컨대, P의 깊이= (v1/d1 + v2/d2 + v3/d3 + v4/d4) / (1/d1 + 1/d2 + 1/d3 + 1/d4)일 수 있다.

특징-깊이 변환 맵핑 함수를 생성하는 것이 완료된 경우, 이미지 데이터 저장소(222)로부터의 이미지에 대한 특징-깊이 변환 맵핑 함수는 특징-깊이 변환 맵핑 데이터베이스(224)에서 대응하는 엔트리에 저장될 수 있다. 일 구현예에서, 특징-깊이 변환 맵핑 데이터베이스(224)는 데이터베이스 외에 어떤 다른 구조를 가질 수 있다(예컨대, 키-값 쌍들의 리스트). 일 구현예에서, 특징-깊이 변환 맵핑 데이터베이스(224)는 분리된 데이터 구조(도시된 것처럼)일 수 있으나, 다른 구현예들에서, 맵핑 정보는 이미지 데이터 저장소(222)의 메타데이터에 저장될 수 있다. 이미지 변환기(110)는 2D 입력 이미지로부터 3D 출력 이미지를 자동적으로 생성하기 위하여 특징-깊이 변환 맵핑 데이터베이스(224)를 사용할 수 있다.

일 구현예에서, 깊이 맵 생성 모듈(216)은 특징-깊이 변환 맵핑 모듈(214)에 의해 결정된 특징-깊이 변환 맵핑 함수에 기초하여 2D 입력 이미지에 대한 깊이 맵을 생성할 수 있다. 입력 이미지와 함께 수신된 이미지 데이터 및/또는 메타데이터는, 예를 들면, 입력 이미지 내의 각 화소와 연관된 색상 값을 포함할 수 있다. 깊이 값은 그 후, 3D 예제 이미지 및 근사 깊이 맵에 기초하여 생성되었던, 특징-깊이 변환 맵핑 함수에 대한 입력으로써 색상 값들(또는, 다른 적당한 특징 값들)을 적용함에 따라 각 화소들에 대해 계산될 수 있다. 깊이 맵 생성 모듈(216)은 이 결정을 하기 위해 계산들을 수행할 수 있고, 저장 장치(120)에 결과 깊이 값들(예컨대, 최종 깊이 맵)을 저장할 수 있다. 하나의 결과 깊이 맵(510)의 예가 도 5에 도시된다.

이미지 렌더링 모듈(218)은 입력 이미지 및 깊이 맵 생성 모듈(216)에 의해 계산된 깊이 값들에 기초하여 3D 출력 이미지(즉, 스테레오 이미지 쌍)를 렌더링할 수 있다. 일 구현예에서, 이미지 렌더링 모듈(218)은 3D 이미지를 생성하기 위하여 깊이 이미지 기반 렌더링(Depth Image Based Rendering: DIBR) 기법들을 사용한다. DIBR 기법들은 다른 2D 이미지 및 화소 당(per pixel) 깊이 맵에 기초하여 2D 이미지를 렌더링할 수 있다. 원본 2D 이미지는 3D 이미지를 구성하는 두 개의 뷰들 중 하나가 되고, DIBR-렌더링된 2D 이미지는 제 2 뷰가 된다. 일 구현예에서, 원본 2D 이미지는 좌측 뷰(left view)이지만, 렌더링된 2D 이미지는 우측 뷰(right view)이다. 다른 구현예에서, 이는 반대로 될 수 있다.

예로서, 화소-당 깊이 맵(per-pixel depth map)을 고려해볼 때, 변위 맵(displacement map)은 얼마나 많은 각 화소가 좌측 뷰로부터 우측 뷰로 이동해야 하는지를 표시하여 생성될 수 있다. 깊이 및 변위 사이의 관계는 대략적으로 선형일 수 있으나, 일부 파라미터들은 얼마나 많은 대상물이 화면 밖으로 “튀어 나오는지(pops out)” 또는 얼마나 많은 대상물이 화면 뒤에서 확장되어 나타나는지를 제어하기 위하여 조정될 수 있다. 변위 맵이 생성되면, 화소들은 우측 뷰를 렌더링하기 위하여 좌측 뷰로부터 우측 뷰로 이동될 수 있으며, 만약 좌측 뷰로부터의 다수의 화소들이 우측 렌더링된 이미지 공간(right rendered image space) 내의 동일한 화소에 맵핑된다면, 앞에 있는 화소들은 확실히 뒤에 있는 화소들을 가리게 된다. 모든 화소들이 이동되었다면, 렌더링된 우측 뷰에 남겨진 일부의 구멍(hole)들이 여전히 있을 수 있다. 인-페인팅(이미지 보간) 기법이 렌더링된 이미지에서 이웃 화소(neighboring pixel)들로 구멍들을 채우기 위하여 사용될 수 있다. 이것은 최종 렌더링된 우측 뷰를 생산한다. 높은 품질의 렌더링을 생성하기 위하여, 렌더링은 좌측 뷰 및 화소-당 깊이 맵에 기초하여 보간함으로써, 중간 이상의 해상도 화소 격자(intermediate higher resolution pixel grid)에서 수행될 수 있다. 렌더링된 이미지가 중상급 해상도(higher intermediate resolution)에서 획득되면, 그것은 원하는 해상도로 다시 스케일될 수 있다. 일 구현예에서, 렌더링된 이미지는 예를 들면, 크로스 바이래터럴 필터링(cross bilateral filtering)을 사용하여 필터링될 수 있다. 크로스 바이래터럴 필터링은 이미지 내의 대상물들의 지오메트리(geometry)에 관한 이미지를 필터링하는 방법이다. 예를 들면, 이미지가 필터링된 경우, 화소 값은 에일리어싱(aliasing), 노이즈 및 다른 원하지 않는 특징들을 제거하기 위하여, 화소의 이웃의 값들과 결합될 수 있다. 이것은 이미지 내의 동일한 대상물에 속하지 않는 값들을 평균화하는 결과를 낳을 수 있고, 따라서 인코히런트 값(incoherent value)들로 이어질 수 있다. 크로스 바이래터럴 필터링은 대상물들을 식별하는 것을 돕도록, 다수의 소스 이미지들(단지 하나 대신에)을 사용함으로써, 이를 해결하려고 시도한다. 결과적으로, 필터링될 때, 이웃 화소 값들은 그들의 화면 공간 거리(screen space distance)에 의해 가중치가 부여될 수 있고, 또한, 만약 두 화소들이 동일한 대상물에 속하는지를 결정하기 위해 깊이 차이를 고려하는 식을 사용할 수 있다. 이는 결과 필터링된 이미지에서 번짐(blurring)을 방지하는데 도움을 줄 수 있다.

도 3은 본 명세서의 일 구현예에 따라, 이미지 변환 처리 흐름(image conversion processing flow)을 나타내는 블록 다이어그램이다. 다양한 모듈들 및 구성 요소들이, 예제 유사 이미지와 연관된 근사 깊이 맵을 사용하여 입력 이미지에 대한 깊이 맵을 생성함에 있어서 그들의 역할들에 관하여 설명될 수 있다.

일 구현예에서, 그 처리 흐름(300)은 블록(310)에서 2D 입력 이미지를 수신하는 것으로부터 시작한다. 블록(320)에서, 예제 유사 이미지가 식별된다. 블록(322)에서, 근사 깊이 맵이 식별된다. 근사 깊이 맵은 예제 유사 이미지와 연관될 수 있고, 또한 그 밖의 다른 시각적으로 유사한 이미지와 연관될 수 있다. 블록(330)에서, 특징-깊이 변환 맵핑 함수가 예제 이미지에 대해 결정된다. 특징-깊이 변환 맵핑 모듈(214)은 근사 깊이 맵(322) 및 예제 유사 이미지(320)의 특징들에 기초하여 예제 유사 이미지에 대한 특징-깊이 변환 맵핑 함수를 결정할 수 있다. 블록(340)에서, 깊이 맵이 특징-깊이 변환 맵핑 함수에 기초하여 입력 이미지에 대해 생성된다. 깊이 맵 생성 모듈(216)은 깊이 값들을 결정하기 위하여, 특징-깊이 변환 맵핑 함수에 입력 이미지의 각 화소에 대한 특징 값(예컨대, 색상)을 적용함으로써, 깊이 맵을 생성할 수 있다. 블록(350)에서, 깊이 맵은 3D 출력 이미지를 생성하기 위하여 렌더링 기법(예컨대, DIBR)과 함께 사용될 수 있다.

설명의 편의상, 본 명세서의 흐름들 및 방법들이 일련의 동작(act)들로써 도시되고 설명된다. 그러나, 본 명세서에 따른 동작들은 다양한 순서로 및/또는 동시에, 그리고 여기서 표현되거나 설명되지 않은 다른 동작들과 함께 발생할 수 있다. 예를 들면, 예제 유사 이미지와 연관된, 블록(322)에서 근사 깊이 맵을 식별하는 것 및 블록(330)에서 특징-깊이 변환 맵핑을 식별하는 것은, 블록(310)에서 입력 이미지가 수신되기 전, 그리고 예컨대, 저장 장치(120)에 저장되기 전에 발생할 수 있다. 예제 유사 이미지가 블록(320)에서 식별되면, 전-처리된 근사 깊이 맵 및 특징-깊이 변환 맵핑 함수가 검색될 수 있고, 블록(340)에서 깊이 맵을 생성하기 위하여 사용될 수 있다.

도 4는 본 명세서의 일 구현예에 따라, 특징-깊이 변환 맵핑 함수를 나타내는 다이어그램이다. 이 구현예에서, 특징-깊이 변환 맵핑 함수(400)는 이미지 내의 각 화소의 색상에 기초한다. 그 특징-깊이 변환 맵핑 함수(400)는 인풋으로써 특정한 화소 또는 다른 포인트에 대한 색상 값을 수신하고, 그 화소에 대한 깊이 값을 출력한다. 도 4는 이해를 돕기 위하여 깊이를 일 차원의 색상 함수로써 나타낸다. 그 기술분야의 통상의 기술자는 실제로, 그 함수가 다차원의 색 공간(예컨대, YUV, RGB)에서도 유사한 특성들을 나타낼 수 있음을 인식할 것이다. 일 구현예에서, 비닝은 함수에 의해 고려된 색상들의 수를 줄이기 위해 사용된다. YUV는, 전형적인 특징-깊이 변환 맵핑 함수에 대해 요구되는 것보다 더 클지도 모르는, 예를 들면, 24비트 색상 값을 가질 수 있다. 경우에 따라서, 24-비트 색상 법으로 표현되는 1천6백만 개 이상의 다른 색상들은 색상-깊이 변환 맵핑 함수(color-to-depth mapping function)를 계산하는데 너무 많은 계산 비용과 시간 소요할 수 있다. 도 4에서, 색상 값들은 8개의 빈들(A-H)로 감소되었으나, 다른 구현예들에서는, 그 밖의 다른 수가 사용될 수도 있다. 색상 값들 및 깊이 값들이 알려진, 이미지 데이터 저장소(222) 내의 이미지들 중 하나에 대하여, 특정 빈(예컨대, 빈 A)의 색상들 중 하나를 갖는 각 화소에 대응하는 깊이 값들이 집합 깊이 값(aggregate depth value)을 생성하기 위해 결합(예컨대, 평균화)된다. 이 값은 특징-깊이 변환 맵핑 함수(400)의 일부로서 저장될 수 있다. 일련의 데이터 포인트들이 획득될 때까지, 유사한 결합(combination)이 남은 빈들의 각각의 색들에 대해 수행될 수 있다. 특징-깊이 변환 맵핑 모듈(214)은 특징-깊이 변환 맵핑 함수(400)를 생성하기 위하여, 폴리노미얼 피팅(polynomial fit)(예컨대, 커브 피팅(curve fitting))의 한 형태를 수행할 수 있다. 결과 함수는 f(색상)=깊이(즉, f(color)=depth)로써 표현되거나, 또는 YUV 색상의 경우, f(YUV)=깊이(즉, f(YUV)=depth)로써 표현될 수 있다. 따라서, 주어진 화소에 대한 깊이 값은 그 화소에 대한 YUV 색상 값들의 함수로써 계산될 수 있다. 특징-깊이 변환 맵핑 함수(400)는 특징-깊이 변환 맵핑 데이터베이스(224)에 저장될 수 있다.

도 5는 본 명세서의 구현예들에 따라 계산된 깊이 맵을 나타내는 다이어그램이다. 깊이 맵 생성 모듈(216)은 예컨대, 특징-깊이 변환 맵핑 모듈(214)에 의해 결정된 특징-깊이 변환 맵핑 함수(400)와 같은, 특징-깊이 변환 맵핑 함수에 기초하여 입력 이미지에 대한 깊이 맵을 계산할 수 있다. 도 5의 깊이 맵(510)에서, 음영(shading)은 소스 이미지(500)의 시점으로부터 장면 대상물(scene object)들의 표면들까지의 거리에 비례한다. 이 구현예에서, 어두운 색상(darker color)은 시점에 가까운 깊이를 나타내지만, 밝은 색상(lighter color)은 더 멀리에 있는 깊이를 나타낸다. 다른 구현예들에서, 음영은 반전될 수 있다.

도 6은 본 명세서의 일 구현예에 따른 이미지 변환 방법을 나타내는 흐름도이다. 방법(600)은 하드웨어(예컨대, 회로망, 전용 로직, 프로그램가능한 로직, 마이크로코드 등), 소프트웨어(예컨대, 하드웨어 시뮬레이션을 수행하는 처리 장치 상에서 실행되는 명령들), 또는 이들의 조합을 포함하는, 로직을 처리함으로써 수행될 수 있다. 방법(600)은 하나 이상의 예제 유사 이미지들과 연관된 근사 깊이 맵을 사용하여 입력 이미지에 대한 깊이 맵을 생성할 수 있다. 일 구현예에서, 방법(600)은, 도 1에 도시된 바와 같이, 이미지 변환기(110)에 의해 수행될 수 있다.

도 6을 참조하면, 블록(610)에서, 방법(600)은 3D 이미지로 변환되는 2D 입력 이미지를 수신한다. 입력 이미지는 사용자로부터(예컨대, 이미지 변환기(110)에 의해 제공된 사용자 인터페이스를 통해), 다른 컴퓨터 응용 프로그램으로부터(예컨대, API같은, 어플리케이션 인터페이스를 통해), 또는 그 밖의 다른 소스로부터 수신될 수 있다.

블록(620)에서, 방법(600)은 유사 3D 이미지와 연관된 근사 깊이 맵에 기초하여 입력 이미지에 대한 특징-깊이 변환 맵핑 함수를 식별(예컨대, 계산하거나, 또는 저장소로부터 검색함으로써)한다. 일 구현예에서, 특징-깊이 변환 맵핑 모듈(214)은, 예컨대, 동일 또는 유사한 색상을 갖는 이미지 내의 대상물들은 동일 또는 유사한 깊이 값을 가질 수도 있다는 가정에 기초하여, 예제 유사 이미지 내의 동일 또는 유사한 특징(예컨대, 색상)의 화소들에 대한 깊이 값들을 종합할 수 있다. 특징-깊이 변환 맵핑 함수(400)와 같은, 결과 함수는 최종적으로 입력 이미지 내의 특정 화소 또는 다른 포인트에 대한 색상 값(또는 다른 특징 값)을 입력으로 수신하고, 그 화소에 대한 깊이 값을 출력한다. 특징-깊이 변환 맵핑 함수는 예를 들면, 데이터 베이스(224)에 저장될 수 있다.

블록(630)에서, 방법(600)은 화소들의 각각에 대한 깊이 값을 결정하기 위하여, 입력 이미지의 화소들에 블록(620)에서 식별된 특징-깊이 변환 맵핑 함수를 적용한다. 깊이 맵 생성 모듈(216)은 입력 이미지에 대한 결과 깊이 맵을 생성할 수 있다. 일 구현예에서, 깊이 맵 생성 모듈(216)은 블록(620)에서 생성된 특징-깊이 변환 맵핑 함수에 대한 입력들로 색상 값들(또는 다른 적당한 특징 값들)을 적용할 수 있다. 이것은 입력 이미지의 각 화소에 대해 계산된 깊이 값을 생성한다. 깊이 값들은, 그 들의 연관된 화소들의 위치에 기초하여, 도 5에 도시된 바와 같이 깊이 맵(510)을 형성하기 위해 결합될 수 있다.

블록(640)에서, 방법(600)은 3D 출력 이미지에 대한 스테레오 쌍을 생성한다. 일 구현예에서, 이미지 렌더링 모듈(218)은 입력 이미지 및 블록(630)에서 깊이 맵 생성 모듈(216)에 의해 계산된 깊이 값들에 기초하여 3D 출력 이미지를 렌더링할 수 있다. 일 구현예에서, 이미지 렌더링 모듈(218)은 3D 이미지를 생성하기 위하여 깊이 이미지 기반 렌더링(DIBR) 기법들을 사용할 수 있다. 일 구현예에서, 3D 출력 이미지는 스테레오 쌍을 형성하는 입력 이미지와 함께 사용될 제 2 이미지를 포함한다. 제 2 이미지는, 구현예에 따라, 좌 이미지 또는 우 이미지가 될 수도 있고, 이미지 렌더링 모듈(218)에 의해 생성될 수 있다. 제 1 및 제 2 이미지들은 3D 출력 이미지를 함께 형성할 수 있다. 3D 출력 이미지는 저장되거나, 사용자가 볼 수 있게 디스플레이될 수 있다.

도 7은 본 명세서의 일 구현예에 따른 특징-깊이 변환 맵핑 함수를 계산하는 방법을 나타내는 흐름도이다. 방법(700)은 하드웨어(예컨대, 회로망, 전용 로직, 프로그램가능 로직, 마이크로코드 등), 소프트웨어(예컨대, 하드웨어 시뮬레이션을 수행하는 처리 장치 상에서 실행되는 명령들), 또는 이들의 조합을 포함하는 로직을 처리함으로써 수행될 수 있다. 방법(700)은 모노스코픽 시각적 컨텐츠를 스테레오스코픽 3D으로 변환하기 위하여, 특징-깊이 변환 맵핑 함수를 생성할 수 있다. 일 구현예에서, 방법(700)은 도 1에 도시된 바와 같이, 이미지 변환기(110)에 의해 수행될 수 있다.

도 7을 참조하면, 블록(710)에서, 방법(700)은 이미지 데이터 저장소(222)로부터 하나 이상의 시각적으로 유사한 이미지들을 식별한다. 일 구현예에서, 데이터 저장소(222)는 특징 정보(예컨대, 색상) 및 깊이 값들이 알려진, 3D 이미지들 및/또는 비디오들의 말뭉치(corpus)를 포함할 수 있다. 일 구현예에서, 말뭉치는 수백만의 이미지 및/또는 비디오를 포함한다. 핑거프린트법, K-근접 이웃법(K-nearest neighbor)등과 같은, 임의의 수의 기법들이 시각적으로 유사한 이미지들을 식별하기 위하여 사용될 수 있다. 블록(720)에서, 방법(700)은 주어진 색 공간에 대해 사용될 다수의 빈들을 식별한다. 비닝은 고려된 색들의 수를 줄이기 위해 사용된다. 색 공간이 YCbCr인 일 구현예에서, 그 공간은 독립적으로 Y, Cb 및 Cr상의 빈들로 분할될 수 있다. 일 구현예에서, Y 구성 요소는 32개의 빈들로 분할되고, Cb 및 Cr 구성 요소들은 각각 16개의 빈들로 분할되고, 그래서 총 8192개의 빈들이 있게 된다. 일 구현예에서, 그 밖의 다른 수의 빈들 및/또는 그 밖의 다른 색 공간이 사용될 수 있다.

블록(730)에서, 방법(700)은 블록(710)에서 식별된 예제 유사 이미지의 화소들을 블록(720)에서 식별된 빈들과 연관시킨다. 이미지 데이터 저장소(222)로부터의 예제 이미지들에 대하여, 특징 처리 모듈(212)은 화소의 색상 값에 기초하여, 각 화소를 적당한 빈과 연관시킨다. 각 빈은 동일 또는 유사한 색상들(또는, 다른 관련 특징)의 화소들을 포함할 수 있다.

블록(740)에서, 방법(700)은 각각의 색상 빈에 대한 깊이 값을 결정한다. 예를 들면, 각각의 (Y, Cb, Cr) 빈에 대하여, 다수의 깊이 값들이 있을 수 있다. 특징-깊이 변환 맵핑 함수를 생성하기 위하여, 각각의 (Y, Cb, Cr) 빈에 대한 단지 하나의 깊이 값이 사용될 수 있다. 따라서, 하나의 빈 내의 모든 깊이 값들은 단일의 깊이 값으로 결합될 수 있다. 일 구현예에서, 그 빈에 대한 결합된 깊이 값은 단순히 그것에 맵핑되는 모든 예제 깊이들의 평균(average)이다. 다른 구현예에서, 결합된 깊이는 그것에 맵핑되는 모든 예제 깊이의 중간값(median)이다. 또 다른 구현예에서, RANSAC(Random Sample Consensus) 방법이 깊이 값들에서 아웃라이어(outlier)들을 검출하기 위해 사용되고, 인라이어(inlier)들의 평균값(mean)이 출력된다. 깊이 값들의 총 수가 N이라고 가정하면, RANSAC의 각 반복으로 인해, 깊이 값들의 랜덤 서브세트(N1)가 선택되고, 그것의 평균값이 계산된다. 이 평균 깊이 및 모든 N 개의 깊이 값들 간의 차이가 계산된다. 문턱값보다 더 작은 차이를 갖는 것들은 인라이어 세트(inlier set)에 포함될 수 있다. 인라이어 세트가 변하지 않는 경우 또는 최대 반복 횟수(max iteration number)에 도달된 경우, 반복은 멈출 수 있다. 만약 인라이어 세트 크기(inlier set size)가 M(N의 백분율로써 특정될 수 있는)보다 더 크다면, 이 인라이어 세트는 유효한 것으로써 주장되고(clamed), 그것의 평균값은 모든 깊이 값들의 요약(summariztion)으로서 사용될 수 있다.

블록(750)에서, 방법(700)은 각 빈에 대한 가중치 값을 계산한다. 특징 처리 모듈(212)은 빈 안에서 점유의 비율(the ratio of the occupancy) 및 임의의 빈에 대한 평균 점유(average occupancy)의 함수인, 각 빈에 대한 가중치를 계산할 수 있다. 그래서, 만약 예제 이미지 내에 N 개의 화소, 그리고 총 B개의 빈들이 있다면, 그 후, n개의 히트수(hit)를 갖는 빈의 점유율(occupancy ratio)은 n/(BN) 이다. 각 빈에 대한 가중치는 이 점유율의 함수, 즉, w/(n/(BN))일 수 있다. 일 구현예에서, 그 함수는 w(x) = 1 - exp(-kx) 이고, 여기서, k는, w(x)가 작은 점유율이면 작지만, 비자명(non-trivial) 점유이면 1에 빠르게 근접하도록, 선택된다. 다른 구현예에서, 가중 함수 w(x)는, 노이즈 때문에 있을 수 있는 매우 작은 점유를 가진 빈들을 거부하기 위하여, x < a(작은 값)이면 0이고, 그렇지 않으면 1이다.

블록(760)에서, 방법(700)은 특징-깊이 변환 맵핑 함수를 생성한다. 특징-깊이 변환 맵핑 모듈(214)은 특징-깊이 변환 맵핑 함수(400)를 생성하기 위하여, 폴리노미얼 피팅(예컨대, 커브 피팅)의 한 형태를 수행할 수 있다. 결과 함수는 f(색상)=깊이(즉, f(color)=depth)로써 표현되거나, 또는 YUV 색상의 경우, f(YUV)=깊이(즉, f(YUV)=depth)로써 표현될 수 있다. 따라서, 주어진 화소에 대한 깊이 값은 그 화소에 대한 YUV 색상 값들의 함수로써 계산될 수 있다. 특징-깊이 변환 맵핑 모듈(214)은 또한, 맵핑 함수를 평활화(smooth) 할 수 있다. 맵핑 함수가 노이즈를 가질 수 있기 때문에, 특징-깊이 변환 맵핑 모듈(214)은 미리 정의된 평활화 커널 (smoothing kernel)과 맵핑 함수를 컨볼루션하여 맵핑 함수를 평활화할 수 있다. 예를 들면, j 번째 빈은, 가중치가 위의 블록(750)에서 계산된 점유 기반 가중치와 평활화 커널의 곱(product)인, 그것의 이웃 빈들의 가중 평균(weighted average)으로 재할당될 수 있다. 일 구현예에서, 이 j번째 빈에 대한 최종 깊이(D)는 다음과 같이 계산될 수 있다:

이 방정식에서, N(j)는 빈의 이웃을 의미한다. 예를 들면, 특징-깊이 변환 맵핑 함수는 데이터베이스(222)와 같은 데이터 저장소에 저장될 수 있다.

도 8a는 본 명세서의 일 구현예에 따라, 입력 이미지에 특징-깊이 변환 맵핑 함수를 적용하는 방법을 나타내는 흐름도이다. 방법(800)은 하드웨어(예컨대, 회로망, 전용 로직, 프로그램가능 로직, 마이크로코드 등), 소프트웨어(예컨대, 하드웨어 시뮬레이션을 수행하는 처리 장치 상에서 실행되는 명령들), 또는 이들의 조합을 포함하는 로직을 처리함으로써 수행될 수 있다. 방법(800)은 입력 이미지를 스테레오스코픽 3D으로 변환하기 위하여 입력 이미지에 특징-깊이 변환 맵핑 함수를 적용할 수 있다. 일 구현예에서, 방법(700)은 도 1에 도시된 바와 같이, 이미지 변환기(110)에 의해 수행될 수 있다.

도 8a를 참조하면, 블록(810)에서, 방법(800)은 3D로 변환될 2D 입력 이미지를 수신한다. 블록(820)에서, 방법(800)은 입력 이미지 내의 각 화소의 특징(예컨대, 색상 값)을 식별한다. 일 구현예에서, 특징 데이터는 이미지와 연관된 메타데이터에 저장될 수 있고, 특징 처리 모듈(212)은 이 메타데이터로부터 특징 값(예컨대, 색상 값)을 결정할 수 있다.

블록(830)에서, 방법(800)은 근사 깊이 맵으로부터 결정된 특징-깊이 변환 맵핑 함수에 기초하여 입력 이미지 내의 각 화소의 깊이를 계산할 수 있다(예컨대, 도 7과 관련하여 위에서 설명된 것처럼). 일 구현예에서, 깊이 맵 생성 모듈(216)은 쿼리 화소(query pixel)의 깊이를 얻기 위하여 특징 공간에서 n-차 선형 보간을 수행할 수 있다. 예를 들면, 일-차원의 경우, 쿼리 화소의 실제 값을 둘러싼 두개의 빈 중심들은 C1 및 C2로 표시될 수 있다. 그 빈들의 가중된(weighted) 깊이 값들은 각각 D1 및 D2일 수 있다. 깊이 맵 생성 모듈(216)은 쿼리 화소 및 C1 및 C2 간의 거리를 계산할 수 있고, 그것들을 각각 d1 및 d2로 표시할 수 있다. 깊이 맵 생성 모듈(216)은 다음과 같은 공식을 사용하여 이 두 빈들 사이의 깊이 값을 보간하기 위한 가중치들로써 거리를 사용할 수 있다:

도 8b는 일 구현예에 따라, 색상-깊이 빈들 간의 일차원 선형 보간을 나타내는 다이어그램이다. 보간된 값(852)은 쿼리 화소에 대한 깊이 값으로 반환될 수 있다. 맵핑(850)의 히스토그램 표현을 사용하면, 근사화된 맵핑은 평활하지 않다. 깊이 값은 빈 경계들 근처에서 갑자기 변할 수 있다. 일 구현예에서, 보간이 근사화된 맵핑에 사용될 수 있다. 일 구현예에서, 우리가 3D 매핑 함수 f(y, u, v) = d를 사용하기 때문에, 맵핑의 3차-선형 보간이 사용될 수 있다. 특징들이 이미지에서 대상물 윤곽(contour)을 따르는 경향이 있기 때문에, 이 방법으로 대상물 경계(boundary)를 따르는 깊이-맵에서 좋은 분할이 성취될 수 있다.

도 8a를 다시 참조하면, 블록(840)에서, 방법(800)은 3D 출력 이미지에 대한 스테레오 쌍을 생성한다. 일 구현예에서, 이미지 렌더링 모듈(218)은 입력 이미지 및 블록(830)에서 깊이 맵 생성 모듈(216)에 의해 계산된 깊이 값들에 기초하여 3D 출력 이미지를 렌더링할 수 있다. 일 구현예에서, 이미지 렌더링 모듈(218)은 3D 이미지를 생성하기 위하여 깊이 이미지 기반 렌더링(DIBR) 기법들을 사용할 수 있다. 출력 이미지는 저장되거나, 또는 사용자가 볼 수 있도록 디스플레이될 수 있다.

도 9는 기계에서 본 명세서에서 논의된 어느 하나 이상의 방법론(methodology)들을 수행할 수 있도록 하는, 명령(instruction)들의 세트가 실행될 수 있는, 컴퓨터 시스템(900)의 예시적인 형태에서 기계의 도식적인 표현(diagrammatic representation)을 나타낸다. 다른 구현예들에서, 기계는 근거리 통신망(LAN), 인트라넷, 익스트라넷, 또는 인터넷에서, 다른 기계들과 연결(예컨대, 네트워크)될 수 있다. 기계는 클라이언트-서버 환경에서 서버 또는 클라이언트 기계의 자격으로 동작하거나, 또는 피어-투-피어(peer-to-peer)(또는 분산(distributed)) 네트워크 환경에서 피어 기계로써 동작할 수 있다. 기계는 개인용 컴퓨터(PC), 타블렛 PC, 셋톱 박스(Set-Top Box: STB), 개인 휴대정보 단말기 (Personal Digital Assistant: PDA), 휴대 전화, 웹 어플라이언스, 서버, 네트워크 라우터, 스위치 또는 브리지, 또는 그 기계에 의해 가지게 될 행위들을 특정하는 명령들(순차적이거나 그렇지 않거나)의 집합을 실행할 수 있는 능력을 가진 임의의 기계일 수 있다. 또한, 단지 단일의 기계만이 도시되었으나, “기계”라는 용어는 또한, 본 명세서에서 논의된 하나 이상의 방법론들을 수행하기 위하여 명령들의 집합(다수의 집합들)을 개별적 또는 공동으로 실행하는, 기계들의 임의의 집합(collection)을 포함하도록 취해질 수도 있다. 일 구현예에서, 컴퓨터 시스템(900)은 서버(102)와 같은, 이미지 변환기(110)를 운영하는 서버를 대표할 수 있다.

예시적인 컴퓨터 시스템(900)은 처리 장치(902), 메인 메모리(904)(예컨대, ROM(Read-Only Memory), 플래시 메모리, DRAM(dynamic random access memory)(예컨대, SDRAM(Synchronous DRAM) 또는 RDRAM (Rambus DRAM) 등), 정적 메모리(906)(예컨대, 플래시 메모리, SRAM(Static Random Access Memory) 등), 및 데이터 저장 장치(918)를 포함하고, 이들은 버스(930)를 통해 서로 통신한다. 본 명세서에서 설명된 다양한 버스들을 통해 제공된 신호 중 어느 것은 다른 신호와 시간 다중화(time multiplexed)될 수 있고, 하나 이상의 공통 버스를 통해 제공될 수 있다. 추가적으로, 회로 구성 요소들 또는 블록들 간의 상호 접근(interconnection)은 버스들 또는 단일 신호 라인으로써 보여질 수 있다. 버스들의 각각은 그 대신에 하나 이상의 단일 신호 라인들이 될 수 있고, 단일 신호 라인들의 각각은 그 대신에 버스들이 될 수 있다.

처리 장치(902)는 마이크로 프로세서, 중앙 처리 장치, 또는 그 밖에 유사한 것과 같은, 하나 이상의 범용(general-purpose) 처리 장치들을 나타낸다. 특히, 처리 장치는 CISC(Complex Instruction Set Computing) 마이크로프로세서, RISC(Reduced Instruction Set Computer) 마이크로 프로세서, VLIW (Very Long Instruction Word) 마이크로프로세서, 또는 다른 명령어 세트들을 구현하는 프로세서, 또는 명령어 세트들의 조합을 구현하는 프로세서들일 수 있다. 처리 장치(902)는 또한, ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP (Digital Signal Processor), 네트워크 프로세서, 또는 그 밖에 유사한 것과 같은, 하나 이상의 전용(special-purpose) 처리 장치일 수도 있다. 처리 장치(902)는 본 명세서에서 논의된 동작들 및 단계들을 수행하는 처리 로직(926)을 실행하도록 구성된다.

컴퓨터 시스템(900)은 네트워크 인터페이스 장치(network interface device)(908)를 더 포함할 수 있다. 컴퓨터 시스템(900)은 또한, 비디오 디스플레이 유닛(video display unit)(910)(예컨대, LCD(Liquid Crystal Display) 또는 CRT(Cathode Ray Tube)), 영숫자 입력 장치(alphanumeric input device)(912)(예컨대, 키보드), 커서 제어 장치(cursor control device)(914)(예컨대, 마우스), 및 신호 생성 장치(signal generation device)(916)(예컨대, 스피커)를 포함할 수 있다.

데이터 저장 장치(The data storage device)(918)는 본 명세서에서 설명된 어느 하나 이상의 함수들의 방법론들을 실시하는, 하나 이상의 명령들(922)의 집합(예컨대, 소프트웨어)이 저장된, 기계-판독가능한 저장 매체(928)를 포함할 수 있다. 명령들(922)은 또한, 컴퓨터 시스템(900)에 의해 그것이 실행되는 동안에, 완전히 또는 적어도 부분적으로, 메인 메모리(904) 및/또는 처리 장치(902) 내에 상주할 수 있다; 여기서, 메인 메모리(904) 및 처리 장치(902)는 또한, 기계-판독가능한 저장 매체를 구성한다. 명령들(922)은 네트워크 인터페이스 장치(908)에 의해 네트워크를 통해, 더 전송되고 또한 수신될 수 있다.

기계-판독가능한 저장 매체(928)는 또한, 본 명세서에 설명된 바와 같이, 예제 유사 이미지와 연관된 예제 근사 깊이-맵을 사용하여 입력 이미지에 대한 깊이 맵을 생성하기 위한 방법을 수행하는 명령들을 저장하기 위하여 사용될 수도 있다. 기계-판독가능한 저장 매체(928)는 예시적인 구현에서는 단일의 매체로 도시되어 있으나, “기계-판독가능 저장 매체”라는 용어는 하나 이상의 명령들의 집합을 저장하는, 단일의 매체 또는 다수의 매체(예컨대, 중앙집중 또는 분산 데이터베이스, 및/또는 연관된 캐시들 및 서버들)를 포함하도록 취해질 수 있다. 기계-판독가능한 저장 매체는 기계(예컨대, 컴퓨터)에 의해 판독가능한 형태(예컨대, 어플리케이션을 처리하는, 소프트웨어)로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 기계-판독가능한 저장 매체는 자기 저장 매체(예컨대, 플로피 디스켓); 광 저장 매체(예컨대, CD-ROM); 광-자기 저장 매체; ROM; RAM; 소거가능한 프로그램가능 메모리(예컨대, EPROM 및 EEPROM); 플래시 메모리; 또한 전자 명령들을 저장하기에 적합한 다른 유형의 매체들을 포함하지만, 이에 한정되지는 않는다.

앞의 설명은 본 명세서의 여러 양상들에 대한 이해를 돕기 위하여, 특정한 시스템들, 구성 요소들, 방법들, 기타의 예들과 같은, 다수의 특정한 세부 사항을 설명한다. 그러나, 본 명세서의 적어도 일부 구현예들에서는 이러한 특정 세부 사항이 없어도 실시될 수 있다는 것은, 그 기술 분야의 통상의 기술자에게 자명할 것이다. 다른 예들에서, 잘-알려진 구성 요소 또는 방법들은 또한, 본 명세서를 불필요하게 모호하게 만드는 것을 피하기 위하여, 자세하게 기재되지 않거나, 단순한 블록 다이어그램 포맷으로 표현된다. 따라서, 특정한 세부 사항에 대한 설명은 단지 예시적인 것이다. 특정한 구현예들은 이러한 예시적인 세부사항에서 벗어날 수 있으나, 여전히 본 명세서의 범위 내에 있는 것으로 고려될 수 있다.

본 명세서를 통해 언급된, “일 구현예(one implementation)” 또는 “구현예(an implementation)”은 구현예와 관련되어 설명된 특정한 특징, 구조 또는 특성이 적어도 하나의 구현예에 포함됨을 의미하는 것이다. 따라서, 본 명세서를 통해 다양한 곳에서 언급된 “일 구현예에서(in one implementation)” 또는 “구현예에서(in an implementation)”와 같은 문구의 표현은 반드시 모두 동일한 구현예를 지칭하는 것은 아니다. 또한, “또는(or)”이라는 용어는 배타적인(exclusive) “또는”이라기 보다는, 포괄적인(inclusive) “또는”을 의미하는 것으로 의도된다. 더욱이, 본 명세서에서 “예(example)” 또는 “예시적인(exemplary)”이라는 단어는 예(example), 사례(instance), 또는 실례(illustration)로써 제공하는 것을 의미하기 위하여 사용된다. 본 명세서에서 설명된 임의의 양상 또는 디자인은 반드시 다른 양상들 또는 디자인들에 비해 선호되거나, 또는 유리한 것으로 해석할 필요는 없다. 오히려, “예” 또는 “예시적인”이라는 단어의 사용은 구체적인 방식으로 개념들을 제공하는 것으로 의도된다.

본 명세서에서 방법들의 동작들은 특정한 순서로 도시되고, 설명되었으나, 특정 동작들이 역순으로 수행되도록 또는 특정한 동작이 적어도 부분적으로는 다른 동작들과 동시에 실행되도록, 각 방법의 동작 순서가 변경될 수 있다. 다른 구현예에서, 명령들 또는 분명한 동작들의 서브-동작들은 간헐적(intermittent) 및/또는 교차(alternating) 방식으로 될 수 있다. 뿐만 아니라, 모든 도시된 행위들이 개시된 발명의 주제의 양상들을 구현하는데 전부 요구되지는 않을 수도 있다. 또한, 그 기술 분야의 통상의 기술자들은 그 방법들이 그 대신 상태 다이어그램 또는 이벤트들을 통해 일련의 상호관련된(interrelated) 상태들로써 표현될 수 있음을 이해하고, 인식할 수 있다. 추가적으로, 본 명세서에 개시된 방법들은 이러한 방법들을 컴퓨팅 장치로 수송 또는 전송하는 것을 가능하게 하는, 생산물(article of manufacture)에 저장될 수 있다는 것이 인식되어야 한다. 본 명세서에 사용된 것처럼, “생산물”이라는 용어는 임의의 컴퓨터로 판독가능한 장치 또는 저장 매체로부터 접근가능한 컴퓨터 프로그램을 포함하도록 의도된다.

Claims

제 1 삼차원 이미지로 변환될 이차원 이미지를 수신하는 단계;
처리 장치에 의해, 제 2 삼차원 이미지와 연관된 근사 깊이 맵에 기초하여 특징-깊이 변환(feature-to-depth) 맵핑 함수를 계산하는 단계;
상기 이차원 이미지의 복수의 화소들의 각각에 대한 깊이 값을 결정하기 위하여, 상기 복수의 화소들에 상기 특징-깊이 변환 맵핑 함수를 적용하는 단계; 및
상기 이차원 이미지의 상기 복수의 화소들에 대한 상기 깊이 값들에 기초하여 상기 제 1 삼차원 이미지를 생성하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 특징-깊이 변환 맵핑 함수는 제 1 색상 값을 갖는 상기 제 2 삼차원 이미지 내의 복수의 화소들과 깊이 값을 연관시키는, 방법.
제 1 항에 있어서,
상기 제 2 삼차원 이미지를 복수의 영역들로 논리적으로 나누는 단계; 및
상기 제 2 삼차원 이미지와 연관된 복수의 특징-깊이 변환 맵핑 함수들을 계산하는 단계를 더 포함하되, 상기 복수의 특징-깊이 변환 맵핑 함수들의 각각은 상기 제 2 삼차원 이미지의 상기 복수의 영역들 중 서로 상이한 영역과 연관되는, 방법.
제 1 항에 있어서,
상기 특징-깊이 변환 맵핑 함수를 계산하는 단계는,
상기 제 2 삼차원 이미지를 식별하는 단계;
특징 공간 내에 복수의 빈(bin)들을 식별하는 단계;
상기 제 2 삼차원 이미지의 복수의 화소들과 상기 복수의 빈들을 연관시키는 단계;
상기 복수의 빈들의 각각에 대한 깊이 값을 결정하는 단계; 및
상기 복수의 빈들의 각각에 대한 가중치 값을 결정하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 특징-깊이 변환 맵핑 함수를 적용하는 단계는,
상기 이차원 이미지의 상기 복수의 화소들의 각각의 특징을 식별하는 단계; 및
상기 이차원 이미지의 상기 복수의 화소들의 각각의 깊이 값을 계산하는 단계를 포함하되,
상기 복수의 화소들의 각각의 깊이 값을 계산하는 단계는 상기 이차원 이미지의 상기 복수의 화소들의 각각에 대한 깊이 값의 n차-선형 보간을 계산하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 특징-깊이 변환 맵핑 함수는 색 공간에 기초되는, 방법.
제 6 항에 있어서,
상기 색 공간은 Y-Cb-Cr인, 방법.
처리 장치; 및
상기 처리 장치에 결합된 메모리; 및
상기 메모리를 사용하는 상기 처리 장치에 의해 실행되는, 이미지 변환기를 포함하되,
상기 이미지 변환기는:
제 1 삼차원 이미지로 변환될 이차원 이미지를 수신하고;
제 2 삼차원 이미지와 연관된 근사 깊이 맵에 기초하여 특징-깊이 변환 맵핑 함수를 계산하고;
상기 이차원 이미지의 복수의 화소들의 각각에 대한 깊이 값을 결정하기 위하여, 상기 복수의 화소들에 상기 특징-깊이 변환 맵핑 함수를 적용하고; 및
상기 이차원 이미지의 상기 복수의 화소들에 대한 상기 깊이 값들에 기초하여 제 1 삼차원 이미지를 생성하는, 시스템.
제 8 항에 있어서,
상기 특징-깊이 변환 맵핑 함수는 제 1 색상 값을 갖는 상기 제 2 삼차원 이미지 내의 복수의 화소들과 깊이 값을 연관시키는, 시스템.
제 8 항에 있어서,
상기 이미지 변환기는,
상기 제 2 삼차원 이미지를 복수의 영역들로 논리적으로 나누고; 및
상기 제 2 삼차원 이미지와 연관된 복수의 특징-깊이 변환 맵핑 함수들을 계산하는 것을 더 포함하되, 상기 복수의 특징-깊이 변환 맵핑 함수들의 각각은 상기 제 2 삼차원 이미지의 상기 복수의 영역들 중 서로 상이한 영역과 연관되는, 시스템.
제 8 항에 있어서,
상기 특징-깊이 변환 맵핑 함수를 식별할 때, 상기 이미지 변환기는,
상기 제 2 삼차원 이미지를 식별하고;
특징 공간 내에 복수의 빈들을 식별하고;
상기 제 2 삼차원 이미지의 복수의 화소들과 상기 복수의 빈들을 연관시키고;
상기 복수의 빈들의 각각에 대한 깊이 값을 결정하고; 및
상기 복수의 빈들의 각각에 대한 가중치 값을 결정하는, 시스템.
제 8 항에 있어서,
상기 특징-깊이 변환 맵핑 함수를 적용할 때, 상기 이미지 변환기는,
상기 이차원 이미지의 상기 복수의 화소들의 각각의 특징을 식별하고; 및
상기 이차원 이미지의 상기 복수의 화소들의 각각의 깊이 값을 계산하는 것을 포함하되,
상기 복수의 화소들의 각각의 깊이 값을 계산하는 것은 상기 이차원 이미지의 상기 복수의 화소들의 각각에 대한 깊이 값의 n차-선형 보간을 계산하는 것을 포함하는, 시스템.
제 8 항에 있어서,
상기 특징-깊이 변환 맵핑 함수는 색 공간에 기초되는, 시스템.
제 13 항에 있어서,
상기 색 공간은 Y-Cb-Cr인, 시스템.
명령들을 저장하는, 기계로 판독가능한 비-일시적인 저장 매체로서,
상기 명령들은, 실행되었을 때, 데이터 처리 시스템이
제 1 삼차원 이미지로 변환될 이차원 이미지를 수신하는 단계;
처리 장치에 의해, 제 2 삼차원 이미지와 연관된 근사 깊이 맵에 기초하여 특징-깊이 변환 맵핑 함수를 계산하는 단계;
상기 이차원 이미지의 복수의 화소들의 각각에 대한 깊이 값을 결정하기 위하여, 상기 복수의 화소들에 상기 특징-깊이 변환 맵핑 함수를 적용하는 단계; 및
상기 이차원 이미지의 상기 복수의 화소들에 대한 깊이 값들에 기초하여 제 1 삼차원 이미지를 생성하는 단계를 포함하는 방법을 수행하게 하는, 기계로 판독가능한 비-일시적인 저장 매체.
제 15 항에 있어서,
상기 특징-깊이 변환 맵핑 함수는 제 1 색상 값을 갖는 상기 제 2 삼차원 이미지 내의 복수의 화소들과 깊이 값을 연관시키는, 기계로 판독가능한 비-일시적인 저장 매체.
제 15 항에 있어서,
상기 방법은:
상기 제 2 삼차원 이미지를 복수의 영역들로 논리적으로 나누는 단계; 및
상기 제 2 삼차원 이미지와 연관된 복수의 특징-깊이 변환 맵핑 함수들을 계산하는 단계를 더 포함하되, 상기 복수의 특징-깊이 변환 맵핑 함수들의 각각은 상기 제 2 삼차원 이미지의 상기 복수의 영역들 중 서로 상이한 영역과 연관되는, 기계로 판독가능한 비-일시적인 저장 매체.
제 15 항에 있어서,
상기 특징-깊이 변환 맵핑 함수를 계산하는 단계는,
상기 제 2 삼차원 이미지를 식별하는 단계;
특징 공간 내에 복수의 빈들을 식별하는 단계;
상기 제 2 삼차원 이미지의 복수의 화소들과 상기 복수의 빈들을 연관시키는 단계;
상기 복수의 빈들의 각각에 대한 깊이 값을 결정하는 단계; 및
상기 복수의 빈들의 각각에 대한 가중치 값을 결정하는 단계를 포함하는, 기계로 판독가능한 비-일시적인 저장 매체.
제 15 항에 있어서,
상기 특징-깊이 변환 맵핑 함수를 적용하는 단계는,
상기 이차원 이미지의 상기 복수의 화소들의 각각의 특징을 식별하는 단계; 및
상기 이차원 이미지의 상기 복수의 화소들의 각각의 깊이 값을 계산하는 단계를 포함하되,
상기 복수의 화소들의 각각의 깊이 값을 계산하는 단계는 상기 이차원 이미지의 상기 복수의 화소들의 각각에 대한 깊이 값의 n차-선형 보간을 계산하는 단계를 포함하는, 기계로 판독가능한 비-일시적인 저장 매체.
제 15 항에 있어서,
상기 특징-깊이 변환 맵핑 함수는 색 공간에 기초되는, 기계로 판독가능한 비-일시적인 저장 매체.