KR101685866B1 - 가변 해상도 깊이 표현 - Google Patents

가변 해상도 깊이 표현 Download PDF

Info

Publication number
KR101685866B1
KR101685866B1 KR1020157021724A KR20157021724A KR101685866B1 KR 101685866 B1 KR101685866 B1 KR 101685866B1 KR 1020157021724 A KR1020157021724 A KR 1020157021724A KR 20157021724 A KR20157021724 A KR 20157021724A KR 101685866 B1 KR101685866 B1 KR 101685866B1
Authority
KR
South Korea
Prior art keywords
depth
resolution
variable
representation
indicator
Prior art date
Application number
KR1020157021724A
Other languages
English (en)
Other versions
KR20150106441A (ko
Inventor
스코트 에이 크리그
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150106441A publication Critical patent/KR20150106441A/ko
Application granted granted Critical
Publication of KR101685866B1 publication Critical patent/KR101685866B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H04N13/0271—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Abstract

장치, 이미지 캡처 디바이스, 컴퓨팅 디바이스, 컴퓨터 판독가능 매체가 본원에서 설명된다. 상기 장치는 깊이 표시자를 결정하는 로직을 포함한다. 상기 장치는 또한 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 로직 및 가변 해상도 깊이 표현을 생성하는 로직을 포함한다. 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 시간 또는 이들의 임의의 조합이 될 수 있다.

Description

가변 해상도 깊이 표현{VARIABLE RESOLUTION DEPTH REPRESENTATION}
본 발명은 전반적으로 깊이 표현에 관한 것이다. 보다 구체적으로, 본 발명은 가변 해상도를 갖는 표준화된 깊이 표현에 관한 것이다.
이미지 캡처 중에, 이미지 정보와 연관된 깊이 정보를 캡처하기 위해 사용되는 다양한 기술이 존재한다. 깊이 정보는 보통 이미지 내에 포함된 깊이의 표현을 생성하기 위해 사용된다. 예컨대, 이미지 내의 3차원(3D) 객체의 형태의 깊이를 나타내기 위해 포인트 클라우드(point cloud), 깊이 맵(depth map), 또는 3D 다각형망(polygonal mesh)이 사용될 수 있다. 깊이 정보는 또한 스테레오 쌍(stereo pairs) 또는 멀티뷰 스테레오 재구성 방법(multiview stereo reconstruction methods)을 사용하여 이차원(2D) 이미지로부터 추출될 수 있고, 또한 구조형 광(structured light), 비행시간 센서(time of flight sensors) 및 많은 다른 방법을 포함하는 광범위한 직접적 깊이 감지 방법으로부터 도출될 수 있다.
도 1은 가변 해상도 깊이 표현을 생성하기 위해 사용될 수 있는 컴퓨팅 디바이스의 블록도이다.
도 2는 가변 비트 깊이에 기초한, 가변 해상도 깊이 맵 및 다른 가변 해상도 깊이 맵의 도면이다.
도 3은 가변 공간 해상도에 기초한, 가변 해상도 깊이 맵 및 결과적인 이미지의 도면이다.
도 4는 가변 해상도 깊이 맵으로부터 현상된 이미지의 세트이다.
도 5는 가변 해상도 깊이 맵을 생성하는 방법의 프로세스 흐름도이다.
도 6은 가변 해상도 깊이 맵을 생성하는 예시적 시스템의 블록도이다.
도 7은 도 6의 시스템(600)이 구체화될 수 있는 작은 폼 팩터(form factor) 디바이스의 개략도이다.
도 8은 가변 해상도 깊이 표현을 위한 코드를 저장하는, 유형의 비일시적 컴퓨터 판독가능 매체를 도시하는 블록도이다.
본 명세서 및 도면의 전반에서 동일한 숫자는 동일한 구성요소 및 특징을 참조하기 위해 사용된다. 100 시리즈의 숫자는 도 1에서 처음 발견되는 특징을 언급하는 것이고, 200 시리즈의 숫자는 도 2에서 처음 발견되는 특징을 언급하는 것이고, 이하 마찬가지이다.
각각의 깊이 표현은 동질(homogeneous) 깊이 표현이다. 깊이는 각각의 픽셀에 대해 조밀하게 생성되거나, 공지된 특징에 의해 둘러싸인 특정 픽셀들에서 성기게(sparsely) 생성된다. 따라서, 현재의 깊이 맵은 동질 또는 일정 해상도 만을 제공하므로 인간 시각계를 모델링하거나 깊이 매핑 프로세스를 최적화할 수 없다.
본원에서 제공된 실시형태는 가변 해상도 깊이 표현을 가능하게 한다. 몇몇 실시형태에서, 깊이 표현은 깊이 맵 또는 깊이 맵 내의 관심 영역의 사용에 기초하여 튜닝될 수 있다. 몇몇 실시형태에서는 대안적 최적화 깊이 맵 표현이 생성된다. 설명의 편의를 위해, 픽셀을 사용하는 기술들이 설명된다. 그러나, 컴퓨터 그래픽에 사용되는, 복셀(voxel), 포인트 클라우드, 또는 3D 망(mesh)과 같은, 이미지 데이터의 임의의 단위가 사용될 수 있다. 가변 해상도 깊이 표현은, 함께 작동하는 하나 이상의 깊이 센서로부터 캡처된 깊이 정보뿐만 아니라, 전체 깊이 표현에 걸쳐 이질(heterogeneous) 해상도에서 캡처된 깊이 정보의 세트를 포함할 수 있다. 결과적인 깊이 정보는 선택된 방법에 따라 조밀한 균등 간격 포인트, 또는 성긴 불균등 간격 포인트, 또는 이미지 라인, 또는 전체 2D 이미지 어레이의 형태를 취할 수 있다.
다음 설명과 특허청구범위에서는 "연결된" 및 "접속된"이란 용어가 그 파생어들과 함께 사용될 수 있다. 이들 용어는 서로 유의어로서 의도된 것이 아님이 이해되어야 한다. 오히려, 특정 실시형태에서, "접속된"은 두 개 이상의 요소가 서로 직접적인 물리적 또는 전기적 접촉 상태임을 나타내기 위해 사용될 수 있다. "연결된"은 두 개 이상의 요소가 직접적인 물리적 또는 전기적 접촉 상태임을 의미할 수 있다. 그러나, "연결된"은 또한 두 개 이상의 요소가 서로 직접적인 접촉 상태는 아니지만 서로 협력하거나 상호작용한다는 것을 의미할 수도 있다.
몇몇 실시형태는 하드웨어, 펌웨어, 및 소프트웨어 중 하나 또는 그들의 조합에 의해 구현될 수 있다. 몇몇 실시형태는 또한 본원에서 설명된 동작을 수행하기 위해 컴퓨팅 플랫폼에 의해 판독되고 실행될 수 있는, 머신 판독가능 매체에 저장된 명령어로서 구현될 수 있다. 머신 판독가능 매체는 컴퓨터 등의 머신에 의해 판독가능한 형태로 정보를 저장하거나 전송할 수 있는 임의의 메커니즘을 포함할 수 있다. 예컨대, 머신 판독가능 매체는 특히 ROM(read only memory), RAM(random access memory), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 디바이스, 또는 전기, 광, 음향, 또는 다른 형태의 전파된 신호, 예컨대, 반송파, 적외선 신호, 디지털 신호, 또는 신호를 송신 및/또는 수신할 수 있는 인터페이스를 포함할 수 있다.
실시형태는 구현 또는 예이다. 본원에서 "실시형태", "일 실시형태", "몇몇 실시형태", "다양한 실시형태", 또는 "다른 실시형태"에 대한 언급은 그 실시형태와 관련하여 설명되는 특정 특징, 구조, 또는 특성이 본 발명의 적어도 몇몇 실시형태에 포함되지만 반드시 모든 실시형태에 포함되는 것은 아님을 의미한다. "실시형태", "일 실시형태", 또는 "몇몇 실시형태"의 다양한 외형은 반드시 전부 동일한 실시형태를 언급하는 것은 아니다. 실시형태로부터의 요소들 또는 측면들은 다른 실시형태의 요소들 또는 측면들과 결합될 수 있다.
본원에서 설명되고 도시된 모든 구성요소, 특징, 구조, 특성 등이 모두 특정 실시형태 또는 실시형태들에 포함될 필요는 없다. 본 명세서에서 구성요소, 특징, 구조, 또는 특성이, 예컨대, 포함"될 수" 있다거나 포함"될 수도" 있다고 기재할 경우, 그 특정 구성요소, 특징, 구조, 또는 특성은 반드시 포함될 필요는 없다. 본 명세서 또는 특허청구범위에서 단수 요소를 언급할 경우, 그것은 그 요소가 단지 하나만 존재하는 것을 의미하지 않는다. 본 명세서 또는 특허청구범위에서 "추가" 요소를 언급할 경우, 그것은 추가 요소가 복수 개 존재하는 것을 배제하지 않는다.
몇몇 실시형태는 특정 구현을 참조하여 설명되지만, 몇몇 실시형태에 따라 다른 구현들이 가능함에 유의해야 한다. 또한, 도면에 도시되고/되거나 본원에서 설명된 회로 요소 또는 다른 특징의 배열 및/또는 순서는 도시되고 설명된 특정 방식으로 배열될 필요 없다. 몇몇 실시형태에 따라 많은 다른 배열이 가능하다.
도면에 도시된 시스템에서, 몇몇 경우의 요소들은 표현된 요소들이 상이하고/하거나 유사할 수 있음을 시사하기 위해 각각 동일한 도면 번호 또는 상이한 도면 번호를 갖는다. 그러나, 요소는 상이한 구현을 가지면서 본원에서 도시되거나 설명된 시스템의 일부 또는 전부에서 작동될 정도로 충분히 융통성이 있을 수 있다. 도면에 도시된 다양한 요소는 동일하거나 상이할 수 있다. 어떤 것을 제 1 요소라 하고 어떤 것을 제 2 요소라 할지는 임의적이다.
도 1은 가변 해상도 깊이 표현을 생성하기 위해 사용될 수 있는 컴퓨팅 디바이스(100)의 블록도이다. 컴퓨팅 디바이스(100)는 예컨대, 특히, 랩탑 컴퓨터, 데스크탑 컴퓨터, 태블릿 컴퓨터, 모바일 디바이스, 또는 서버가 될 수 있다. 컴퓨팅 디바이스(100)는 저장된 명령어를 실행하도록 구성되는 CPU(central processing unit)(102) 및 CPU(102)에 의해 실행가능한 명령어를 저장하는 메모리 디바이스(104)를 포함할 수 있다. CPU는 버스(106)에 의해 메모리 디바이스(104)에 연결될 수 있다. 또한, CPU(102)는 단일 코어 프로세서, 멀티코어 프로세서, 컴퓨팅 클러스터, 또는 임의 수의 다른 구성이 될 수 있다. 또한, 컴퓨팅 디바이스(100)는 복수의 CPU(102)를 포함할 수 있다. CPU(102)에 의해 실행가능한 명령어는 공유형 가상 메모리를 구현하기 위해 사용될 수 있다.
컴퓨팅 디바이스(100)는 또한 GPU(graphic processing unit)(108)를 포함할 수 있다. 도시된 것처럼, CPU(102)는 버스(106)를 통해 GPU(108)에 연결될 수 있다. GPU(108)는 컴퓨팅 디바이스(100) 내에서 임의 수의 그래픽 동작을 수행하도록 구성될 수 있다. 예컨대, GPU(108)는 그래픽 이미지, 그래픽 프레임, 비디오 등을 컴퓨팅 디바이스(100)의 사용자에게 표시되도록 랜더링하고 조작하도록 구성될 수 있다. 몇몇 실시형태에서, GPU(108)는 다수의 그래픽 엔진(도시안됨)을 포함할 수 있는데, 각 그래픽 엔진은 특정 그래픽 과제를 수행하거나, 특정 유형의 작업(workload)을 실행하도록 구성된다. 예컨대, GPU(108)는 가변 해상도 깊이 맵을 생성하는 엔진을 포함할 수 있다. 깊이 맵의 특정 해상도는 애플리케이션에 기초할 수 있다.
메모리 디바이스(104)는 RAM(random access memory), ROM(read only memory), 플래시 메모리, 또는 임의의 다른 적합한 메모리 시스템을 포함할 수 있다. 예컨대, 메모리 디바이스(104)는 DRAM(dynamic random access memory)을 포함할 수 있다. 메모리 디바이스(104)는 드라이버(110)를 포함한다. 드라이버(110)는 컴퓨팅 디바이스(100) 내의 다양한 구성요소의 동작을 위한 명령어를 실행하도록 구성된다. 디바이스 드라이버(110)는 소프트웨어, 애플리케이션 프로그램, 애플리케이션 코드 등이 될 수 있다.
컴퓨팅 디바이스(100)는 이미지 캡처 디바이스(112)를 포함한다. 몇몇 실시형태에서, 이미지 캡처 디바이스(112)는 카메라, 입체(stereoscopic) 카메라, 적외선 센서, 등이다. 이미지 캡처 디바이스(112)는 이미지 정보를 캡처하기 위해 사용된다. 이미지 캡처 메커니즘은 깊이 센서, 이미지 센서, 적외선 센서, X선 광자 계수 센서(X-Ray photon counting sensor) 또는 이들의 임의의 조합과 같은 센서(114)를 포함할 수 있다. 이미지 센서는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide-semiconductor) 이미지 센서, SOC(system on chip) 이미지 센서, 감광성 박막 트랜지스터를 갖는 이미지 센서 또는 이들의 임의의 조합을 포함할 수 있다. 몇몇 실시형태에서, 센서(114)는 깊이 센서(114)이다. 깊이 센서(114)는 이미지 정보와 연관된 깊이 정보를 캡처하기 위해 사용될 수 있다. 몇몇 실시형태에서, 드라이버(110)는 이미지 캡처 디바이스(112) 내에서 깊이 센서와 같은 센서를 작동시키기 위해 사용될 수 있다. 깊이 센서는 픽셀들 간의 변동을 분석하고 원하는 해상도에 따라 픽셀을 캡처함으로써 가변 해상도 깊이 맵을 생성할 수 있다.
CPU(102)는 버스(106)를 통해, 컴퓨팅 디바이스(100)를 하나 이상의 I/O(input/output) 디바이스(118)에 접속하도록 구성된 I/O 디바이스 인터페이스(116)에 접속될 수 있다. I/O 디바이스(118)는 예컨대 키보드 및 포인팅 디바이스를 포함할 수 있는데, 포인팅 디바이스는 특히 터치 패드 또는 터치 스크린을 포함할 수 있다. I/O 디바이스(118)는 컴퓨터 디바이스(100)의 내장 구성요소이거나, 외부에서 컴퓨팅 디바이스(100)에 접속되는 디바이스일 수 있다.
CPU(102)는 또한 버스(106)를 통해, 컴퓨팅 디바이스(100)를 디스플레이 디바이스(122)에 접속하도록 구성된 디스플레이 인터페이스(120)에 링크될 수 있다. 디스플레이 디바이스(122)는 컴퓨팅 디바이스(100)의 내장 구성요소인 디스플레이 스크린을 포함할 수 있다. 디스플레이 디바이스(122)는 또한 외부에서 컴퓨팅 디바이스(100)에 접속되는, 특히, 컴퓨터 모니터, 텔레비전, 또는 프로젝터를 포함할 수 있다.
컴퓨팅 디바이스는 또한 저장 디바이스(124)를 포함한다. 저장 디바이스(124)는 하드 드라이브, 광 드라이브, 썸드라이브(thumbdrive), 드라이브의 어레이, 또는 이들의 임의의 조합과 같은 물리적 메모리이다. 저장 디바이스(124)는 또한 원격 저장 드라이브를 포함할 수 있다. 저장 디바이스(124)는 컴퓨팅 디바이스(100) 상에서 작동하도록 구성된 임의 수의 애플리케이션(126)을 포함한다. 애플리케이션(126)은, 3D 스테레오 카메라 이미지 및 스테레오 디스플레이를 위한 3D 그래픽을 포함하는, 매체 및 그래픽을 결합하기 위해 사용될 수 있다. 예컨대, 애플리케이션(126)은 가변 해상도 깊이 맵을 생성하기 위해 사용될 수 있다.
컴퓨팅 디바이스(100)는 또한, 버스(106)를 통해 컴퓨팅 디바이스(100)를 네트워크(130)에 접속하도록 구성될 수 있는 NIC(network interface controller)(128)를 포함할 수 있다. 네트워크(130)는 특히, WAN(wide area network), LAN(local area network), 또는 인터넷이 될 수 있다.
도 1의 블록도는 컴퓨팅 디바이스(100)가 도 1에 도시된 구성요소 전부를 포함해야 함을 나타내기 위해 의도된 것이 아니다. 또한, 컴퓨팅 디바이스(100)는, 특정 구현의 세부사항에 따라, 도 1에 도시되지 않은 임의 수의 추가 구성요소를 포함할 수 있다.
가변 해상도 깊이 표현은, 3D 포인트 클라우드, 다각형망, 또는 2D 깊이 Z 어레이와 같은 다양한 형태가 될 수 있다. 설명을 위해, 깊이 맵이 가변 해상도 깊이 표현을 위한 특징들을 설명하기 위해 사용된다. 그러나, 본원에서 설명된 임의 유형의 깊이 표현이 사용될 수 있다. 또한, 설명을 위해, 픽셀이 표현의 몇몇 단위를 설명하기 위해 사용된다. 그러나, 볼륨 픽셀(복셀)(volumetric pixels(voxels))과 같은 임의 유형의 단위가 사용될 수 있다.
깊이 표현의 해상도는 인간의 눈과 유사한 방식으로 변할 수 있다. 인간 시각계는, 망막의 중심 근처의 신경절 세포(ganglia cells) 및 광 수용체의 가변 방사 집중(a varying radial concentration) 내에서의 유효 해상도를 증가시키고 중심으로부터 멀어질수록 이 신경절 세포를 기하급수적으로 감소시킴으로써, 필요한 곳에서의 증가하는 디테일(detail)을 캡처하도록 고도로 최적화되는데, 이는 필요한 곳에서의 디테일을 증가시키고 다른 곳에서의 디테일을 감소시킴으로써 해상도 및 깊이 인식을 최적화한다.
망막은 중심소와(foveola)라 불리는 작은 영역을 포함하는데, 이것은 타겟 위치에서 최고 깊이 해상도를 제공할 수 있다. 눈은, 타겟 위치 주변에서 디더링하고(dither) 타겟 위치에 추가 해상도를 부가하기 위해, 더 신속한 도약 운동(saccadic movements)을 한다. 따라서, 디더링은 초점의 해상도를 계산할 때 초점을 둘러싸는 픽셀로부터의 데이터가 고려될 수 있게 한다. 중심와(fovea) 영역은 중심소와를 둘러싸는 부분으로서, 중심소와 영역에 비해 더 낮은 해상도에서 인간의 시야에 역시 디테일을 추가한다. 중심와부근(parafovea) 영역은 중심소와 영역에 비해 작은 디테일을 제공하며, 중심와주위(perifovea) 영역은 중심와부근 영역에 비해 낮은 해상도를 제공한다. 따라서, 중심와주위 영역은 인간 시각계 내에서 가장 작은 디테일을 제공한다.
가변 깊이 표현은 인간 시각계와 유사한 방식으로 배열될 수 있다. 몇몇 실시형태에서, 센서는 센서의 중심 근처의 픽셀의 크기를 감소시키기 위해 사용될 수 있다. 픽셀이 감소되는 영역의 위치는 또한 센서에 의해 수신된 커맨드에 따라 변할 수 있다. 깊이 맵은 또한 몇 개의 깊이 계층을 포함한다. 깊이 계층은 특정 깊이 해상도를 갖는 깊이 맵의 영역이다. 깊이 계층은 인간 시각계의 영역과 유사하다. 예컨대, 중심와 계층은 깊이 맵의 초점 및 최고 해상도를 갖는 영역이 될 수 있다. 중심소와 계층은 중심와 계층보다 낮은 해상도를 가진 채 중심와 계층을 둘러쌀 수 있다. 중심와부근 계층은 중심소와 계층보다 낮은 해상도를 가진 채 중심소와 계층을 둘러쌀 수 있다. 또한, 중심와주위 계층은 중심와부근 계층보다 낮은 해상도를 가진 채 중심와부근 계층을 둘러쌀 수 있다. 몇몇 실시형태에서, 중심와부근 계층은 깊이 표현의 배경 계층으로 언급될 수 있다. 또한, 배경 계층은 특정 거리 이상의 모든 깊이 정보를 포함하는 깊이 맵의 동질 영역이 될 수 있다. 배경 계층은 깊이 표현에서 최저 해상도로 설정될 수 있다. 여기에서는 4개의 계층이 설명되지만, 가변 해상도 깊이 표현은 임의 수의 계층을 포함할 수 있다.
가변 해상도 깊이 표현에 의해 표시된 깊이 정보는 몇 가지 기술을 사용하여 변경될 수 있다. 가변 해상도 깊이 표현을 변경하는 한가지 기술은 가변 비트 깊이를 사용하는 것이다. 각 픽셀에 대한 비트 깊이는 각 픽셀에 대한 비트 정밀도(bit precision)의 레벨을 나타낸다. 각 픽셀의 비트 깊이를 변경함으로써, 각 픽셀에 대해 저장된 정보의 양 또한 변경될 수 있다. 작은 비트 깊이를 갖는 픽셀일수록 그 픽셀에 관한 더 적은 정보를 저장하고, 이것은 렌더링될 때 픽셀에 대한 더 낮은 해상도를 초래한다. 가변 해상도 깊이 표현을 변경하는 다른 기술은 가변 공간 해상도를 사용하는 것이다. 공간 해상도를 변경함으로써, 각 픽셀 또는 복셀의 크기가 변경된다. 사이즈의 변경은, 더 큰 픽셀 영역들이 영역들로서 함께 처리될 때 더 적은 깊이 정보가 저장되게 하고, 더 작은 픽셀들이 독립적으로 처리될 때 더 많은 깊이 정보가 보유되게 한다. 몇몇 실시형태에서는, 깊이 표현 내의 영역의 해상도를 변경하기 위해, 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합이 사용될 수 있다.
도 2는 가변 비트 깊이에 기초한, 가변 해상도 깊이 맵(202) 및 다른 가변 해상도 깊이 맵(204)의 도면이다. 가변 비트 깊이는 가변 비트 정밀도라고도 언급된다. 가변 해상도 깊이 맵(202) 및 가변 해상도 깊이 맵(204)은 둘 다, 깊이 맵(202) 및 깊이 맵(204)의 각각의 정사각형 안의 숫자에 의해 표시된 바와 같은, 특정 비트 깊이를 갖는다. 설명을 위해, 깊이 맵(202) 및 깊이 맵(204)은 다수의 정사각형으로 분할되는데, 각각의 정사각형은 깊이 맵의 픽셀을 나타낸다. 그러나, 깊이 맵은 임의 수의 픽셀을 포함할 수 있다.
깊이 맵(202)은 정사각형 모양의 영역을 가지고, 깊이 맵(204)은 실질적으로 원형인 영역을 갖는다. 깊이 맵(204)의 영역은, 도시된 정사각형들이 원형에 완전히 부합하지는 않지만, 실질적으로 원형이다. 가변 해상도 깊이 표현의 다양한 영역들을 정의하기 위해, 원, 직사각형, 8각형, 다각형 또는 곡선 스플라인 형상(curved spline shapes)과 같은 임의의 형상이 사용될 수 있다. 깊이 맵(202) 및 깊이 맵(204)의 각각에서 도면 번호(206)의 계층은 16 비트의 비트 깊이를 가지며, 각 픽셀에 대해 16 비트의 정보가 저장된다. 각 픽셀에 대해 16 비트의 정보를 저장함으로써, 이진수 표현에 따라 각 픽셀에 대해 최대 65,536 개의 상이한 컬러 계조가 저장될 수 있다. 깊이 맵(202) 및 깊이 맵(204)의 도면 번호(208)의 계층은 8 비트의 비트 깊이를 가지며, 각 픽셀에 대해 8 비트의 정보가 저장되어, 각 픽셀에 대해 최대 256 개의 상이한 컬러 계조를 초래한다. 마지막으로, 도면 번호(210)의 계층은 4 비트의 비트 깊이를 가지며, 각 픽셀에 대해 4 비트의 정보가 저장되어 각 픽셀에 대해 최대 16 개의 상이한 컬러 계조를 초래한다.
도 3은 가변 공간 해상도에 기초한, 가변 해상도 깊이 맵(302) 및 결과적인 이미지(304)의 도면이다. 몇몇 실시형태에서, 깊이 맵(302)은 복셀 피라미드 깊이 표현을 사용할 수 있다. 피라미드 표현은 얼굴이나 눈과 같은 이미지의 특징을 검출하기 위해 사용될 수 있다. 피라미드 옥타브 해상도는 깊이 맵의 계층들 사이에서 변할 수 있다. 도면 번호(306)의 계층은 조악한 1/4 피라미드 옥타브 해상도를 가지며, 이것은 4개의 복셀이 하나의 단위로 처리되게 한다. 도면 번호(308)의 계층은 보다 질 높은 1/2 피라미드 옥타브 해상도를 가지며, 이것은 2개의 복셀이 하나의 단위로 처리되게 한다. 도면 번호(310)의 중심 계층은 1 대 1 피라미드 옥타브 해상도를 갖는 최고 피라미드 옥타브 해상도를 가지며, 여기에서는 하나의 복셀이 하나의 단위로 처리된다. 결과적인 이미지(304)는 이미지의 눈 근처인 이미지의 중심에서 최고 해상도를 갖는다. 몇몇 실시형태에서, 깊이 정보는 구조화된 파일 포맷에서 가변 해상도 계층으로서 저장될 수 있다. 또한, 몇몇 실시형태에서, 가변 해상도 깊이 표현을 생성하기 위해 계층화된 가변 공간 해상도가 사용될 수 있다. 계층화된 가변 공간 해상도에서는, 이미지 피라미드가 생성되고, 다음에 더 높은 해상도 영역이 중첩될 복제된 배경으로서 사용된다. 전체 시야를 커버하기 위해 이미지 피라미드의 가장 작은 해상도 영역은 배경으로서 복제되어 이미지의 영역을 채울 수 있다.
깊이 표현의 일부에서만 높은 해상도를 사용함으로써, 낮은 해상도 영역일수록 적은 정보가 저장되므로 깊이 맵의 크기는 축소될 수 있다. 또한, 가변 깊이 표현을 사용하는 더 작은 파일이 처리될 때 전력 소비는 감소된다. 몇몇 실시형태에서, 픽셀의 크기는 깊이 맵의 초점에서 축소될 수 있다. 픽셀의 크기는 초점을 포함하는 표현 계층의 유효 해상도를 증가시키는 식으로 축소될 수 있다. 픽셀 크기의 축소는 인간 시각계의 망막 패턴과 유사하다. 픽셀 사이즈를 축소하기 위해, 추가 광자가 이미지의 초점에 모일 수 있도록 센서 셀 수용체의 깊이는 증가될 수 있다. 몇몇 실시형태에서, 깊이 감지 모듈은 인간 시각계와 마찬가지로 구성되는 설계에 의해 유효 해상도를 증가시킬 수 있는데, 여기서는 광 다이오드로서 구현된 광 수용체의 증가가 전술된 망막 패턴과 유사한 패턴으로 구현된다. 몇몇 실시형태에서는 깊이 맵의 크기를 축소하기 위해 계층화된 깊이 정밀도 및 가변 깊이 영역 형상이 사용될 수 있다.
도 4는 가변 해상도 깊이 맵으로부터 현상된 이미지(400)의 세트이다. 이미지(400)는 해상도의 레벨이 변하는 몇 개의 영역을 포함한다. 몇몇 실시형태에서, 가변 비트 깊이, 가변 공간 해상도, 픽셀 사이즈의 축소, 또는 이들의 임의의 조합은 깊이 표시자에 기초하여 자동적으로 튜닝될 수 있다. 여기서 사용될 때, 깊이 표시자는 각종 깊이 해상도의 영역들을 구별하기 위해 사용될 수 있는 이미지의 특징이다. 따라서, 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 또는 시간이 될 수 있다. 그러나, 깊이 표시자는 각종 깊이 해상도의 영역을 구별하기 위해 사용될 수 있는 이미지의 어떠한 특징도 될 수 있다.
자동적으로 튜닝된 해상도 영역은 깊이 표시자를 사용하여 공간 해상도, 비트 깊이, 픽셀 크기, 또는 이들의 조합에 튜닝되는 깊이 맵의 부분이다. 깊이 맵의 임의의 계층은 튜닝된 해상도 영역으로 중첩될 수 있다. 튜닝된 해상도 영역은, 깊이 표시자가 특정 값인 경우 깊이를 감소시키라는 이미지 센서로의 커맨드에 기초할 수 있다. 예컨대, 텍스처가 낮을 경우 깊이 해상도는 낮을 수 있고, 텍스처가 높을 경우 깊이 해상도 또한 높을 수 있다. 이미지 센서는 깊이 이미지, 및 깊이 맵에 저장된 결과적인 가변 해상도를 자동적으로 튜닝할 수 있다.
이미지(400)는 깊이 해상도를 변경하는 깊이 표시자로서 텍스처를 사용할 수 있다. 몇몇 실시형태에서, 깊이 센서는 텍스처-기반 깊이 튜닝을 사용하여 낮은 텍스처의 영역을 자동적으로 검출하기 위해 깊이 센서를 사용할 수 있다. 깊이 센서에 의해 낮은 텍스처의 영역이 검출될 수 있다. 몇몇 실시형태에서, 낮은 텍스처의 영역은 텍스처 분석을 사용하여 검출된다. 몇몇 실시형태에서, 낮은 텍스처의 영역은 텍스처를 나타내는 어떤 임계치를 충족시키는 픽셀에 의해 검출된다. 또한, 가변 비트 깊이 및 가변 공간 해상도는 깊이 센서에 의해 발견된 낮은 텍스처의 영역에서 깊이 해상도를 감소시키기 위해 사용될 수 있다. 마찬가지로, 가변 비트 정밀도 및 가변 공간 해상도는 높은 텍스처의 영역에서 깊이 해상도를 증가시키기 위해 사용될 수 있다. 깊이 표현에서 해상도를 변경하기 위해 사용된 특정 표시자는 깊이 맵에 대한 특정 애플리케이션에 기초할 수 있다. 또한, 깊이 표시자를 사용하는 것은, 깊이 표현을 처리하기 위해 사용된 전력뿐 아니라 깊이 표현의 크기를 축소시키면서 그 표시자에 기초한 깊이 정보가 저장되는 것을 가능하게 한다.
깊이 표시자로서 움직임이 사용될 경우, 동적 프레임 레이트가 사용되어 깊이 센서로 하여금 장면 움직임에 기초하여 그 프레임 레이트를 결정할 수 있게 한다. 예컨대, 장면 움직임이 없으면 새로운 깊이 맵을 계산할 필요가 없다. 따라서, 사전 결정된 임계치 미만의 장면 움직임에 대해, 더 낮은 프레임 레이트가 사용될 수 있다. 마찬가지로, 사전 결정된 임계치를 초과하는 장면 움직임에 대해, 더 높은 프레임 레이트가 사용될 수 있다. 몇몇 실시형태에서, 센서는 픽셀 이웃 비교를 사용하고 프레임간 픽셀 움직임에 임계치를 적용함으로써 프레임 움직임을 검출할 수 있다. 프레임 레이트의 조절은 깊이 맵이, 규칙적 간격 및 업/다운 램프(ramps)를 포함하는, 선택된 또는 동적으로 계산된 간격으로 생성될 수 있게 한다. 또한, 프레임 레이트는 깊이 계층에 의존하여 변경가능하다. 예컨대, 깊이 맵은 높은 해상도 깊이 계층에 대해 60 FPS(frames per second)의 레이트로 갱신될 수 있으며, 더 낮은 해상도 깊이 계층에 대해 30 FPS로 갱신될 수 있다.
깊이 표시자를 사용하는 깊이 해상도의 자동 튜닝에 추가하여, 깊이 해상도는, 이미지 내의 특정 초점이 최고 또는 최저 해상도의 지점이 되어야 한다는 센서로의 커맨드에 기초하여 튜닝될 수 있다. 또한, 깊이 해상도는, 이미지 내의 특정 객체가 최고 또는 최저 해상도의 지점이 되어야 한다는 센서로의 커맨드에 기초하여 튜닝될 수 있다. 실시예에서, 초점은 이미지의 중심이 될 수 있다. 이 경우 센서는 센서로의 추가 커맨드에 기초하여, 이미지의 중심을 중심와 계층으로 지정하고, 다음에 중심소와 계층, 중심와주위 계층, 및 중심와부근 계층을 지정할 수 있다. 센서를 미리 설정함으로써 다른 계층이 또한 지정될 수 있다. 또한, 각 계층은 가변 깊이 맵 표현에서 항상 존재하는 것이 아니다. 예컨대, 초점이 추적될(tracked) 때 가변 깊이 맵 표현은 중심와 계층 및 중심와주위 계층을 포함할 수 있다.
깊이 표현의 상이한 영역 간의 해상도 변경의 결과는 가변 해상도 깊이 정보의 계층들로 구성된 깊이 표현이다. 몇몇 실시형태에서, 가변 해상도는 센서에 의해 자동적으로 생성된다. 깊이 표현의 해상도를 변경하는 식으로 센서를 작동시키기 위해 드라이버가 사용될 수 있다. 센서 드라이버는, 센서가 특정 깊이 표시자와 연관될 수 있는 픽셀을 처리하고 있을 때, 센서가 그 픽셀의 비트 깊이 또는 공간 해상도를 자동적으로 수정하도록 수정될 수 있다. 예컨대, CMOS 센서는 보통 라인 단위로 이미지 데이터를 처리한다. 센서가 낮은 해상도가 요구되는 특정 명암 값 범위를 갖는 픽셀을 처리할 경우, 센서는 그 명암 값 범위 내에서 픽셀에 대한 비트 깊이 또는 공간 해상도를 자동적으로 축소시킬 수 있다. 이런식으로, 센서는 가변 해상도 깊이 맵을 생성하기 위해 사용될 수 있다.
몇몇 실시형태에서는 센서를 사용하여 가변 해상도 깊이 맵을 획득하기 위해 커맨드 프로토콜이 사용될 수 있다. 몇몇 실시형태에서, 이미지 캡처 디바이스는 이미지 캡처 메커니즘의 기능을 나타내는 프로토콜 내의 커맨드를 사용하여 컴퓨팅 디바이스와 통신할 수 있다. 예컨대, 이미지 캡처 메커니즘은 이미지 캡처 메커니즘에 의해 제공되는 해상도의 레벨, 이미지 캡처 메커니즘에 의해 지원되는 깊이 표시자, 및 가변 깊이 표현을 사용하는 동작을 위한 다른 정보를 나타내기 위해 커맨드를 사용할 수 있다. 커맨드 프로토콜은 또한 각각의 깊이 계층의 크기를 지정하기 위해 사용될 수 있다.
몇몇 실시형태에서, 가변 해상도 깊이 표현은 표준 파일 포맷을 사용하여 저장될 수 있다. 가변 해상도 깊이 표현을 포함하는 파일 내에는, 각각의 깊이 계층, 사용된 깊이 표시자, 각 계층의 해상도, 비트 깊이, 공간 해상도 및 픽셀 크기를 나타내는 헤더 정보가 저장될 수 있다. 이런식으로, 가변 해상도 깊이 표현은 다수의 컴퓨팅 시스템에서 이식가능할(portable) 수 있다. 또한, 표준화된 가변 해상도 깊이 표현 파일은 계층 단위로 이미지 정보에의 액세스를 가능하게 할 수 있다. 예컨대, 애플리케이션은 표준화된 가변 해상도 깊이 표현 파일의 헤더 정보에 액세스함으로써 처리용 이미지의 최저 해상도 부분에 액세스할 수 있다. 몇몇 실시형태에서, 깊이 감지 모듈의 특징들뿐만 아니라, 가변 해상도 깊이 맵은 파일 포맷으로 표준화될 수 있다.
도 5는 가변 해상도 깊이 맵을 생성하는 방법의 프로세스 흐름도이다. 블록(502)에서, 깊이 표시자가 결정된다. 전술된 것처럼, 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 또는 시간이 될 수 있다. 또한, 깊이 표시자는 센서에 의해 결정될 수 있거나, 깊이 표시자는 커맨드 프로토콜을 사용하여 센서로 전송될 수 있다.
블록(504)에서, 깊이 정보는 깊이 표시자에 기초하여 변경된다. 몇몇 실시형태에서, 깊이 정보는 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 변경될 수 있다. 깊이 정보의 변경은 가변 해상도 깊이 맵 내에 하나 이상의 깊이 계층을 초래한다. 몇몇 실시형태에서, 특정 깊이 계층에서 나머지 공간을 채우기 위해 깊이 계층의 일부를 복제함으로써 깊이 정보를 변경하도록 계층화된 가변 공간 해상도가 사용될 수 있다. 또한, 깊이 정보는 자동 튜닝된 해상도 영역을 사용하여 변경될 수 있다. 블록(506)에서, 변경된 깊이 정보에 기초하여 가변 해상도 깊이 표현이 생성된다. 가변 해상도 깊이 표현은 표준화된 헤더 정보와 함께 표준화된 파일 포맷으로 저장될 수 있다.
지금까지 설명된 기술을 사용하면 깊이 표현의 정확성이 증가될 수 있다. 가변 해상도 깊이 맵은 깊이 표현 내의 필요한 곳에 정확성을 제공하고, 이것은 정확성이 요구되는 곳에 집중적인 알고리즘이 사용될 수 있게 하며, 정확성이 요구되지 않는 곳에는 덜 집중적인 알고리즘이 사용되게 한다. 예컨대, 스테레오 깊이 매칭 알고리즘은 몇몇 영역에서 서브픽셀 정확도를 제공하고, 다른 영역에서 픽셀 정확도를 제공하고, 낮은 해상도 영역에서 픽셀 그룹 정확도를 제공하도록 특정 영역들에서 최적화될 수 있다.
깊이 해상도는 인간의 시각계와 일치하는 식으로 제공될 수 있다. 필요한 곳에서만 정확도가 적절히 정의되는 인간의 눈에 기초하여 모델링된 깊이 맵 해상도를 계산함으로써, 전체 깊이 맵이 높은 해상도가 아닐 경우에도 성능은 증가되고 전력은 감소된다. 또한, 깊이 맵에 가변 해상도를 추가함으로써, 더 높은 해상도를 필요로 하는 깊이 이미지의 부분은 원하는 해상도를 가질 수 있고, 더 낮은 해상도를 필요로 하는 부분 역시 원하는 해상도를 가질 수 있으며, 이것은 메모리를 적게 소비하는 더 작은 깊이 맵을 초래한다. 움직임이 깊이 표시자로서 모니터링될 때, 해상도는 선택적으로 높은 움직임의 영역에서 증가될 수 있고 낮은 움직임의 영역에서 감소될 수 있다. 또한, 텍스처를 깊이 표시자로서 모니터링함으로써, 깊이 맵의 정확도는 높은 텍스처 영역에서 증가될 수 있고 낮은 텍스처 영역에서 감소될 수 있다. 깊이 맵의 시야는 또한 변경된 영역들로 제한될 수 있고, 이는 메모리 대역폭을 감소시킨다.
도 6은 가변 해상도 깊이 맵을 생성하는 예시적 시스템(600)의 블록도이다. 도 1에 대해 설명된 것과 동일한 숫자를 갖는 아니템들이 존재한다. 몇몇 실시형태에서, 시스템(600)은 미디어 시스템이다. 또한, 시스템(600)은 퍼스널 컴퓨터(PC), 랩탑 컴퓨터, 울트라 랩탑 컴퓨터, 태블릿, 터치 패드, 포터블 컴퓨터, 핸드헬드 컴퓨터, 팸탑 컴퓨터, PDA(personal digital assistant), 휴대전화, 결합 휴대전화/PDA, 텔레비전, 스마트 디바이스(예컨대, 스마트폰, 스마트 태블릿 또는 스마트 텔레비전), MID(mobile internet device), 메시징 디바이스, 데이터 통신 디바이스 등에 통합될 수 있다.
다양한 실시형태에서, 시스템(600)은 디스플레이(604)에 연결된 플랫폼(602)을 포함한다. 플랫폼(602)은 콘텐츠 서비스 디바이스(들)(606)나 콘텐츠 전달 디바이스(들)(608), 또는 다른 유사한 콘텐츠 소스들과 같은 콘텐츠 디바이스로부터 콘텐츠를 수신할 수 있다. 하나 이상의 네비게이션 기능을 포함하는 네비게이션 제어기(610)는 예컨대, 플랫폼(602) 및/또는 디스플레이(604)와 상호작용하기 위해 사용될 수 있다. 이들 구성요소의 각각은 이하에 더 상세히 설명된다.
플랫폼(602)은 칩셋(612), CPU(central processing unit)(102), 메모리 디바이스(104), 저장 디바이스(124), 그래픽 서브시스템(614), 애플리케이션(126), 및 라디오(616)의 임의의 조합을 포함할 수 있다. 칩셋(612)은 CPU(102), 메모리 디바이스(104), 저장 디바이스(124), 그래픽 서브시스템(614), 애플리케이션(126), 및 라디오(614) 간의 상호통신을 제공할 수 있다. 예컨대, 칩셋(612)은 저장 디바이스(124)와의 상호통신을 제공할 수 있는 저장 어댑터(도시안됨)를 포함할 수 있다.
CPU(102)는 CISC(Complex Instructions Set Computer) 또는 RISC(Reduced Instruction Set Computer) 프로세서, x86 명령어 세트 호환가능 프로세서, 멀티코어, 또는 임의의 다른 마이크로 프로세서 또는 CPU로 구현될 수 있다. 몇몇 실시형태에서, CPU(102)는 듀얼코어 프로세서(들), 듀얼코어 모바일 프로세서(들) 등을 포함한다.
메모리 디바이스(104)는 RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), 또는 SRAM(Static RAM)과 같은 휘발성 메모리 디바이스로 구현될 수 있지만 이에 제한되지 않는다. 저장 디바이스(124)는 자기 디스크 드라이브, 광 디스크 드라이브, 테이프 드라이브, 내부 저장 디바이스, 부착형 저장 디바이스, 플래시 메모리, 배터리 백업 SDRAM(동기식 DRAM), 및/또는 네트워크 액세스가능 저장 디바이스와 같은 비휘발성 저장 다비이스로 구현될 수 있지만 이에 제한되지 않는다. 몇몇 실시형태에서, 저장 디바이스(124)는, 예컨대 복수의 하드 드라이브가 포함될 때 귀중한 디지털 매체에 대한 저장 성능 향상된 보호를 증가시키는 기술을 포함한다.
그래픽 서브시스템(614)은 디스플레이를 위해 스틸(still) 또는 비디오와 같은 이미지들의 처리를 수행할 수 있다. 그래픽 서브시스템(614)은 예컨대 GPU(graphics processing unit)(108)와 같은 GPU, 또는 VPU(visual processing unit)를 포함할 수 있다. 그래픽 서브시스템(614) 및 디스플레이(604)를 통신가능하게 연결하기 위해 아날로그 또는 디지털 인터페이스가 사용될 수 있다. 예컨대, 인터페이스는 HDMI(High-Definition Multimedia Interface), 디스플레이포트(DisplayPort), 무선 HDMI, 및/또는 무선 HD 준수 기술 중 임의의 것이 될 수 있다. 그래픽 서브시스템(614)은 CPU(102) 또는 칩셋(612)에 통합될 수 있다. 대안적으로, 그래픽 서브시스템(614)은 칩셋(612)에 통신가능하게 연결된 독립형 카드일 수 있다.
본원에서 설명된 그래픽 및/또는 비디오 처리 기술은 다양한 하드웨어 아키텍처로 구현될 수 있다. 예컨대, 그래픽 및/또는 비디오 기능은 칩셋(612) 내에 통합될 수 있다. 대안적으로, 개별 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 다른 실시형태로서, 그래픽 및/또는 비디오 기능은 멀티코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다. 다른 실시형태에서, 기능들은 소비자 전자 디바이스로 구현될 수 있다.
라디오(616)는 다양한 적합한 통신 기술을 사용하여 신호를 송신하고 수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 그런 기술은 하나 이상의 네트워크를 통한 통신을 수반할 수 있다. 예시적 무선 네트워크는 WLAN(wireless local area network), WPAN(wireless personal area network), WMAN(wireless metropolitan area network), 셀룰라 네트워크, 위성 네트워크 등을 포함한다. 그런 네트워크를 통한 통신 시에, 라디오(616)는 하나 이상의 애플리케이션 표준에 따라 임의의 버전으로 동작할 수 있다.
디스플레이(604)는 임의의 텔레비전형 모니터 또는 디스플레이를 포함할 수 있다. 예컨대, 디스플레이(604)는 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전 등을 포함할 수 있다. 디스플레이(604)는 디지털 및/또는 아날로그일 수 있다. 몇몇 실시형태에서, 디스플레이(604)는 홀로그램 디스플레이이다. 또한, 디스플레이(604)는 시각적 투사(visual projection)를 수신할 수 있는 투명한 표면일 수 있다. 그런 투사는 다양한 형태의 정보, 이미지, 객체 등을 전달할 수 있다. 예컨대, 그런 투사는 모바일 증강 현실(mobile augmented reality: MAR) 애플리케이션을 위한 시각적 오버레이(visual overlay)일 수 있다. 하나 이상의 애플리케이션(126)의 제어 하에, 플랫폼(602)은 디스플레이(604) 상에 사용자 인터페이스(618)를 디스플레이할 수 있다.
콘텐츠 서비스 디바이스(들)(606)는 임의의 국내, 국제, 또는 독립 서비스에 의해 호스팅될 수 있으며, 따라서, 예컨대 인터넷을 통해 플랫폼(602)에 액세스 가능할 수 있다. 콘텐츠 서비스 디바이스(들)(606)는 플랫폼(602) 및/또는 디스플레이(604)에 연결될 수 있다. 플랫폼(602) 및/또는 콘텐츠 서비스 디바이스(들)(606)는 네트워크(130)에 연결되어 네트워크(130)로 및 그로부터 매채 정보를 통신(예컨대, 송신 및/또는 수신)할 수 있다. 콘텐츠 전달 디바이스(들)(608)는 또한 플랫폼(602) 및/또는 디스플레이(604)에 연결될 수 있다.
콘텐츠 서비스 디바이스(들)(606)는 케이블 텔레비전 박스, 퍼스널 컴퓨터, 네트워크, 전화, 또는 디지털 정보를 전달할 수 있는 인터넷-기반 디바이스를 포함할 수 있다. 또한, 콘텐츠 서비스 디바이스(들)(606)는 콘텐츠 제공자와 플랫폼(602) 또는 디스플레이(604) 사이에서 네트워크(130)를 통하거나 직접 콘텐츠를 단방향으로 또는 양방향으로 통신할 수 있는 임의의 다른 유사한 디바이스를 포함할 수 있다. 콘텐츠는 네트워크(130)를 통해 콘텐츠 제공자 및 시스템(600) 내의 구성요소들 중 임의의 것으로 및 그로부터 단방향으로 및/또는 양방향으로 통신될 수 있다. 콘텐츠의 예는 예컨대 비디오, 음악, 의료 및 게임 정보 등을 포함할 수 있다.
콘텐츠 서비스 디바이스(들)(606)는 미디어 정보, 디지털 정보 또는 다른 콘텐츠를 포함하는 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신할 수 있다. 콘텐츠 제공자의 예는 특히 임의의 케이블 또는 위성 텔레비전 또는 라디오 또는 인터넷 콘텐츠 제공자를 포함할 수 있다.
몇몇 실시형태에서, 플랫폼(602)은 하나 이상의 네비게이션 기능을 포함하는 네비게이션 제어기(610)로부터 제어 신호를 수신한다. 네비게이션 제어기(610)의 네비게이션 기능은 예컨대 사용자 인터페이스(618)와 상호작용하기 위해 사용될 수 있다. 네비게이션 제어기(610)는 사용자로 하여금 공간적(예컨대, 연속 및 다차원) 데이터를 컴퓨터에 입력할 수 있게 하는 컴퓨터 하드웨어 구성요소(특히 인간 인터페이스 디바이스)가 될 수 있는 포인팅 디바이스일 수 있다. GUI(graphical user interface), 텔레비전 및 모니터와 같은 많은 시스템은 사용자로 하여금 신체적 제스처를 사용하여 데이터를 제어하여 컴퓨터 또는 텔레비전에 제공할 수 있게 한다. 신체적 제스처는 얼굴 표정, 얼굴 움직임, 다양한 사지의 움직임, 몸통 움직임, 바디 랭귀지 또는 이들의 임의의 조합을 포함하지만 이에 제한되지 않는다. 그런 신체적 제스처는 커맨드 또는 명령어로서 인식되고 번역될 수 있다.
네비게이션 제어기(610)의 네비게이션 기능의 움직임은 디스플레이(604) 상에 표시된 포인터, 커서, 초점 링, 또는 다른 시각적 표시자에 의해 디스플레이(604) 상에 반영될 수 있다. 예컨대, 애플리케이션(126)의 제어 하에, 네비게이션 제어기(610) 상에 위치한 네비게이션 기능은 사용자 인터페이스(618) 상에 표시된 가상 네비게이션 기능에 매핑될 수 있다. 몇몇 실시형태에서, 네비게이션 제어기(610)는 개별적인 구성요소가 아니라 오히려 플랫폼(602) 및/또는 디스플레이(604)에 통합될 수 있다.
시스템(600)은, 예컨대 작동될 때, 사용자로 하여금 초기 부팅 이후에 버튼의 터치에 의해 플랫폼(602)의 즉각적인 온 및 오프를 가능하게 하는 기술을 포함하는 드라이버(도시안됨)를 포함할 수 있다. 프로그램 로직은 플랫폼이 "오프"될 때 플랫폼(602)으로 하여금 콘텐츠를 미디어 어댑터 또는 다른 콘텐츠 서비스 디바이스(들)(606) 또는 콘텐츠 전달 디바이스(들)(608)로 스트리밍할 수 있게 한다. 또한, 칩셋(612)은 예컨대 5.1 서라운드 사운드 오디오 및/또는 고선명 7.1 서라운드 사운드 오디오를 위한 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버는 통합된 그래픽 플랫폼들을 위한 그래픽 드라이버를 포함할 수 있다. 몇몇 실시형태에서, 그래픽 드라이버는 PCIe(peripheral component interconnect express) 그래픽 카드를 포함한다.
다양한 실시형태에서, 시스템(600)내에 도시된 구성요소들 중 임의의 하나 이상은 통합될 수 있다. 예컨대, 플랫폼(602) 및 콘텐츠 서비스 디바이스(들)(606)가 통합될 수 있고, 플랫폼(602) 및 콘텐츠 전달 디바이스(들)(608)가 통합될 수 있고, 또는 플랫폼(602), 콘텐츠 서비스 디바이스(들)(606) 및 콘텐츠 전달 디바이스(들)(608)가 통합될 수 있다. 몇몇 실시형태에서, 플랫폼(602) 및 디스플레이(604)는 통합된 유닛이다. 예컨대, 디스플레이(604) 및 콘텐츠 서비스 디바이스(들)(606)가 통합될 수 있고, 또는 디스플레이(604) 및 콘텐츠 전달 디바이스(들)(608)가 통합될 수 있다.
시스템(600)은 무선 시스템 또는 유선 시스템으로 구현될 수 있다. 무선 시스템으로 구현될 경우, 시스템(600)은, 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 제어 로직 등과 같은, 무선 공유형 매체를 통해 통신하기에 적합한 구성요소 및 인터페이스를 포함할 수 있다. 무선 공유형 매체의 예는 RF 스펙트럼과 같은 무선 스펙트럼의 부분들을 포함할 수 있다. 유선 시스템으로 구현될 때, 시스템(600)은, 입력/출력(I/O) 어댑터, I/O 어댑터를 대응하는 유선 통신 매체에 접속하는 물리적 커넥터, NIC(network interface card), 디스크 제어기, 비디오 제어기, 오디오 제어기 등과 같은, 유선 공유형 매체를 통해 통신하기에 적합한 구성요소 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 금속 리드, PCB(printed circuit board), 백플레인, 스위치 패브릭, 반도체 재료, 트위스트페어 와이어(twisted-pair wire), 동축 케이블, 광섬유 등을 포함할 수 있다.
플랫폼(602)은 정보를 통신하기 위해 하나 이상의 논리적 또는 물리적 채널을 설정할 수 있다. 정보는 매체 정보 및 제어 정보를 포함할 수 있다. 매체 정보는 사용자를 위한 임의의 데이터 표현 콘텐츠를 나타낼 수 있다. 콘텐츠의 예는 예컨대 음성 대화로부터의 데이터, 화상회의, 스트리밍 비디오, 전자 메일(이메일) 메시지, 음성 메일 메시지, 알파뉴메릭 심벌, 그래픽, 이미지, 비디오, 텍스트 등을 포함할 수 있다. 음성 대화로부터의 데이터는 예컨대 스피치 정보, 침묵 기간, 배경 잡음, 편안한 잡음(comfort noise), 톤 등이 될 수 있다. 제어 정보는 자동화 시스템을 위한 임의의 데이터 표현 커맨드, 명령어 또는 제어 워드를 나타낼 수 있다. 예컨대, 제어 정보는 시스템을 통해 매체 정보를 라우팅하거나 그 매체 정보를 사전 결정된 방식으로 처리할 것을 노드에 지시하기 위해 사용될 수 있다. 그러나, 실시형태는 도 6에 도시되거나 설명된 요소들 또는 맥락으로 제한되지 않는다.
도 7은 도 6의 시스템(600)이 구체화될 수 있는 작은 폼 팩터(form factor) 디바이스(700)의 개략도이다. 도 6에서 설명된 것과 동일한 도면번호들이 존재한다. 몇몇 실시형태에서, 예컨대, 디바이스(700)는 무선 기능을 갖는 모바일 컴퓨팅 디바이스로 구현될 수 있다. 모바일 컴퓨팅 디바이스는 예컨대 하나 이상의 배터리와 같은 모바일 전원 또는 모바일 전력 공급기 및 프로세싱 시스템을 갖는 임의의 디바이스를 나타낼 수 있다.
전술된 것처럼, 모바일 컴퓨팅 디바이스의 예는, 퍼스널 컴퓨터(PC), 랩탑 컴퓨터, 울트라 랩탑 컴퓨터, 태블릿, 터치 패드, 포터블 컴퓨터, 핸드헬드 컴퓨터, 팸탑 컴퓨터, PDA(personal digital assistant), 휴대전화, 결합 휴대전화/PDA, 텔레비전, 스마트 디바이스(예컨대, 스마트폰, 스마트 태블릿 또는 스마트 텔레비전), MID(mobile internet device), 메시징 디바이스, 데이터 통신 디바이스 등을 포함할 수 있다.
모바일 컴퓨팅 디바이스의 예는 또한, 손목 컴퓨터, 손가락 컴퓨터, 링 컴퓨터, 안경 컴퓨터, 벨트클립 컴퓨터, 암밴드 컴퓨터, 신발 컴퓨터, 의류 컴퓨터, 또는 임의의 다른 적합한 유형의 웨어러블 컴퓨터와 같은, 사람이 착용하도록 구성된 컴퓨터를 포함할 수 있다. 예컨대, 모바일 컴퓨팅 디바이스는, 음성 통신 및/또는 데이터 통신뿐만 아니라 컴퓨터 애플리케이션을 실행할 수 있는 스마트폰으로 구현될 수 있다. 몇몇 실시형태는 예로써 스마트폰으로 구현된 모바일 컴퓨팅 디바이스를 사용하여 설명될 수 있지만, 또한 다른 실시형태는 다른 무선 모바일 컴퓨팅 디바이스를 사용하여 구현될 수 있음이 인식될 것이다.
도 7에 도시된 것처럼, 디바이스(700)는 하우징(702), 디스플레이(704), 입력/출력(I/O) 디바이스(706), 및 안테나(708)를 포함한다. 디바이스(700)는 또한 네비게이션 기능(710)을 포함한다. 디스플레이(704)는 모바일 컴퓨팅 디바이스에 적절한 정보를 표시하는 임의의 적합한 디스플레이 유닛을 포함할 수 있다. I/O 디바이스(706)는 모바일 컴퓨팅 디바이스로 정보를 입력하는 임의의 적합한 I/O 디바이스를 포함할 수 있다. 예컨대, I/O 디바이스(706)는 알파뉴메릭 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 스위치, 로커 스위치(rocker switches), 마이크로폰, 스피커, 음성 인식 디바이스 및 소프트웨어 등을 포함할 수 있다. 정보는 또한 마이크로폰에 의해 디바이스(700)로 입력될 수 있다. 그런 정보는 음성 인식 디바이스에 의해 디지털화될 수 있다.
몇몇 실시형태에서, 작은 폼팩터 디바이스(700)는 태블릿 디바이스이다. 몇몇 실시형태에서, 태블릿 디바이스는 이미지 캡처 메커니즘을 포함하는데, 여기서 이미지 캡처 메커니즘은 카메라, 입체 카메라, 적외선 센서 등이다. 이미지 캡처 디바이스는 이미지 정보, 깊이 정보, 또는 이들의 조합을 캡처하기 위해 사용될 수 있다. 태블릿 디바이스는 또한 하나 이상의 센서를 포함할 수 있다. 예컨대, 센서는 깊이 센서, 이미지 센서, 적외선 센서, X선 광자 계수 센서 또는 이들의 임의의 조합이 될 수 있다. 이미지 센서는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide-semiconductor) 이미지 센서, SOC(system on chip) 이미지 센서, 감광성 박막 트랜지스터를 갖는 이미지 센서 또는 이들의 임의의 조합을 포함할 수 있다. 몇몇 실시형태에서, 작은 폼팩터 디바이스(700)는 카메라이다.
또한, 몇몇 실시형태에서, 본 기술은 텔레비전 패널 및 컴퓨터 모니터와 같은 디스플레이와 함께 사용될 수 있다. 임의 크기의 디스플레이가 사용될 수 있다. 몇몇 실시형태에서, 디스플레이는 가변 해상도 깊이 표현을 포함하는 이미지 및 비디오를 렌더링하기 위해 사용될 수 있다. 또한, 몇몇 실시형태에서, 디스플레이는 3차원 디스플레이이다. 몇몇 실시형태에서, 디스플레이는 가변 해상도 깊이 표현을 사용하여 이미지를 캡처하는 이미지 캡처 디바이스를 포함한다. 몇몇 실시형태에서, 이미지 디바이스는 가변 해상도 깊이 표현을 사용하여 이미지 또는 비디오를 캡처하고, 다음에 그 이미지 또는 비디오를 실시간으로 사용자에게 렌더링할 수 있다.
또한, 실시형태에서, 컴퓨팅 디바이스(100) 또는 시스템(600)은 프린트 엔진을 포함할 수 있다. 프린트 엔진은 이미지를 프린팅 디바이스에 전송할 수 있다. 이미지는 본원에서 설명된 깊이 표현을 포함할 수 있다. 프린팅 디바이스는 프린터, 팩스 머신, 및 프린트 객체 모듈을 사용하여 결과적인 이미지를 프린트할 수 있는 다른 프린팅 디바이스를 포함할 수 있다. 몇몇 실시형태에서, 프린트 엔진은 가변 해상도 깊이 표현을 네트워크(130)(도 1, 도 6)를 통해 프린팅 디바이스로 전송할 수 있다. 몇몇 실시형태에서, 프린팅 디바이스는 깊이 표시자에 기초하여 깊이 정보를 변경하는 하나 이상의 센서를 포함한다. 프린팅 디바이스는 또한 가변 해상도 깊이 표현을 생성하고, 렌더링하고 프린트할 수 있다.
도 8은 가변 해상도 깊이 표현을 위한 코드를 저장하는, 유형의 비일시적 컴퓨터 판독가능 매체(800)를 도시하는 블록도이다. 유형의 비일시적 컴퓨터 판독가능 매체(800)는 컴퓨터 버스(804)를 통해 프로세서(802)에 의해 액세스될 수 있다. 또한, 유형의 비일시적 컴퓨터 판독가능 매체(800)는 본원에서 설명된 방법을 수행할 것을 프로세서(802)에 지시하도록 구성된 코드를 포함할 수 있다.
본원에서 설명된 다양한 소프트웨어 구성요소는 도 8에 도시된 것처럼 하나 이상의 유형의 비일시적 컴퓨터 판독가능 매체(800)에 저장될 수 있다. 예컨대, 표시자 모듈(806)은 깊이 표시자를 결정하도록 구성될 수 있다. 깊이 모듈(808)은 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하도록 구성될 수 있다. 표현 모듈(810)은 가변 해상도 깊이 표현을 생성할 수 있다.
도 8의 블록도는 유형의 비일시적 컴퓨터 판독가능 매체(800)가 도 8에 도시된 구성요소 전부를 포함해야 함을 나타내도록 의도된 것이 아니다. 또한, 유형의 비일시적 컴퓨터 판독가능 매체(800)는 특정 구현의 세부사항에 따라 도 8에 도시되지 않은 임의 수의 추가 구성요소를 포함할 수 있다.
예 1
가변 해상도 깊이 표현을 생성하는 장치가 본원에서 설명된다. 이 장치는 깊이 표시자를 결정하는 로직과, 상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 로직과, 상기 가변 해상도 깊이 표현을 생성하는 로직을 포함한다.
상기 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 시간, 또는 이들의 임의의 조합일 수 있다. 또한, 상기 깊이 표시자는 상기 가변 해상도 깊이 표현의 사용에 의해 특정될 수 있다. 상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 로직은, 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 상기 깊이 정보를 변경하는 것을 포함할 수 있다. 하나 이상의 깊이 계층이 상기 변경된 깊이 정보로부터 획득될 수 있는데, 각각의 깊이 계층은 특정 깊이 해상도를 포함한다. 상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 로직은, 계층화된 가변 공간 해상도를 사용하는 것을 포함할 수 있다. 상기 가변 해상도 깊이 표현은 표준화된 헤더 정보와 함께 표준화된 파일 포맷으로 저장될 수 있다. 상기 가변 해상도 깊이 표현을 생성하기 위해 커맨드 프로토콜(command protocol)이 사용될 수 있다. 상기 장치는 태블릿 디바이스 또는 프린트 디바이스일 수 있다. 또한, 상기 가변 해상도 깊이 표현은 디스플레이 상에 이미지 또는 비디오를 렌더링하기 위해 사용될 수 있다.
예 2
이미지 캡처 디바이스가 본원에서 설명된다. 이미지 캡처 디바이스는 센서를 포함하는데, 상기 센서는, 깊이 표시자를 결정하고, 상기 깊이 표시자에 기초하여 깊이 정보를 캡처하고, 상기 깊이 정보에 기초하여 가변 해상도 깊이 표현을 생성한다. 상기 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 시간, 또는 이들의 임의의 조합일 수 있다. 상기 깊이 표시자는 커맨트 프로토콜을 사용하여 상기 센서에 의해 수신된 커맨드에 기초하여 결정될 수 있다. 상기 센서는, 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 상기 깊이 정보를 변경할 수 있다. 또한, 상기 센서는 상기 깊이 정보로부터 깊이 계층을 생성할 수 있으며, 각각의 깊이 계층은 특정 깊이 해상도를 포함한다. 상기 센서는, 표준화된 헤더 정보와 함께 표준화된 파일 포맷으로 상기 가변 해상도 깊이 표현을 생성할 수 있다. 또한, 상기 센서는, 상기 가변 해상도 깊이 표현을 생성하기 위해 사용되는 커맨드 프로토콜에 대한 인터페이스를 포함할 수 있다. 상기 이미지 캡처 디바이스는, 카메라, 스테레오 카메라, 비행시간 센서(time of flight sensor), 깊이 센서, 구조형 광 카메라(structured light camera), 또는 이들의 임의의 조합일 수 있다.
예 3
컴퓨팅 디바이스가 본원에서 설명된다. 컴퓨팅 디바이스는, 저장된 명령어를 실행하도록 구성되는 CPU(central processing unit)와, 명령어를 저장하고, 프로세서로 실행가능한 코드를 포함하는 저장 디바이스를 포함한다. 상기 프로세서로 실행가능한 코드는, 상기 CPU에 의해 실행될 때, 깊이 표시자를 결정하고, 상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하고, 가변 해상도 깊이 표현을 생성하도록 구성된다. 상기 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 시간, 또는 이들의 임의의 조합일 수 있다. 상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 것은, 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 상기 깊이 정보를 변경하는 것을 포함할 수 있다. 상기 변경된 깊이 정보로부터 하나 이상의 깊이 계층이 획득될 수 있으며, 각각의 깊이 계층은 특정 깊이 해상도를 포함한다.
예 4
유형의 비일시적 컴퓨터 판독가능 매체가 본원에서 설명된다. 컴퓨터 판독가능 매체는, 깊이 표시자를 결정할 것과, 상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경할 것과, 가변 해상도 깊이 표현을 생성할 것을 프로세서에,지시하는 코드를 포함한다. 상기 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 시간, 또는 이들의 임의의 조합일 수 있다. 또한, 상기 깊이 표시자는 애플리케이션에 의한 상기 가변 해상도 깊이 표현의 사용에 의해 특정될 수 있다. 상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 것은, 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 상기 깊이 정보를 변경하는 것을 포함할 수 있다.
전술된 예들의 세부사항들은 하나 이상의 실시형태의 어디에서든 사용될 수 있음이 이해되어야 한다. 예컨대, 전술된 컴퓨팅 디바이스의 모든 선택적 기능들은 본원에서 설명된 방법이나 컴퓨터 판독가능 매체에 대해서도 또한 구현될 수 있다. 더 나아가, 본원에서 실시형태를 설명하기 위해 흐름도 및/또는 상태도가 사용되었을 지라도, 본 발명은 그런 도면 또는 대응하는 본 명세서의 설명에 제한되지 않는다. 예컨대, 흐름은 각각의 도시된 박스 또는 상태를 통하거나 본원에서 도시되고 설명된 것과 정확하게 동일한 순서로 이동할 필요가 없다.
본 발명은 본원에서 나열된 특정 세부사항에 한정되지 않는다. 사실, 본 개시의 이점을 갖는 당업자라면 전술된 설명 및 도면으로부터 많은 다른 변형이 본 발명의 범위내에서 이루어질 수 있음을 인식할 것이다. 따라서, 본 발명의 범위를 정의하는 것은 본 발명에 대한 임의의 수정을 포함하는 다음의 특허청구범위이다.

Claims (27)

  1. 가변 해상도 깊이 표현(variable resolution depth representation)을 생성하는 장치로서,
    깊이 표시자(depth indicator)를 결정하는 로직과,
    상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 로직과,
    상기 가변 해상도 깊이 표현을 생성하는 로직을 포함하는
    가변 해상도 깊이 표현 생성 장치.
  2. 제 1 항에 있어서,
    상기 깊이 표시자는 명암(lighting), 텍스처, 에지, 윤곽(contours), 컬러, 움직임, 시간, 또는 이들의 임의의 조합인
    가변 해상도 깊이 표현 생성 장치.
  3. 제 1 항에 있어서,
    상기 깊이 표시자는 상기 가변 해상도 깊이 표현의 사용에 의해 특정되는(specified)
    가변 해상도 깊이 표현 생성 장치.
  4. 제 1 항에 있어서,
    상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 로직은, 가변 비트 깊이(variable bit depth), 가변 공간 해상도(variable spatial resolution), 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 상기 깊이 정보를 변경하는 것을 포함하는
    가변 해상도 깊이 표현 생성 장치.
  5. 제 1 항에 있어서,
    상기 변경된 깊이 정보로부터 하나 이상의 깊이 계층(depth layers)을 획득하는 로직을 포함하되, 각각의 깊이 계층은 특정 깊이 해상도(specific depth resolution)를 포함하는
    가변 해상도 깊이 표현 생성 장치.
  6. 제 1 항에 있어서,
    상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 로직은, 계층화된(layered) 가변 공간 해상도를 사용하는 것을 포함하는
    가변 해상도 깊이 표현 생성 장치.
  7. 제 1 항에 있어서,
    상기 가변 해상도 깊이 표현은 표준화된 헤더 정보와 함께 표준화된 파일 포맷으로 저장되는
    가변 해상도 깊이 표현 생성 장치.
  8. 제 1 항에 있어서,
    상기 가변 해상도 깊이 표현을 생성하기 위해 커맨드 프로토콜(command protocol)이 사용되는
    가변 해상도 깊이 표현 생성 장치.
  9. 제 1 항에 있어서,
    상기 장치는 태블릿 디바이스인
    가변 해상도 깊이 표현 생성 장치.
  10. 제 1 항에 있어서,
    상기 장치는 프린트 디바이스인
    가변 해상도 깊이 표현 생성 장치.
  11. 제 1 항에 있어서,
    디스플레이 상에 이미지 또는 비디오를 렌더링하기 위해 상기 가변 해상도 깊이 표현을 렌더링하는 것을 더 포함하는
    가변 해상도 깊이 표현 생성 장치.
  12. 센서를 포함하는 이미지 캡처 디바이스로서,
    상기 센서는, 깊이 표시자를 결정하고, 상기 깊이 표시자에 기초하여 깊이 정보를 캡처하고, 상기 깊이 정보에 기초하여 가변 해상도 깊이 표현을 생성하는
    이미지 캡처 디바이스.
  13. 제 12 항에 있어서,
    상기 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 시간, 또는 이들의 임의의 조합인
    이미지 캡처 디바이스.
  14. 제 12 항에 있어서,
    상기 깊이 표시자는 커맨트 프로토콜을 사용하여 상기 센서에 의해 수신된 커맨드에 기초하여 결정되는
    이미지 캡처 디바이스.
  15. 제 12 항에 있어서,
    상기 센서는, 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 상기 깊이 정보를 변경하는
    이미지 캡처 디바이스.
  16. 제 12 항에 있어서,
    상기 센서는 상기 깊이 정보로부터 깊이 계층을 생성하고, 각각의 깊이 계층은 특정 깊이 해상도를 포함하는
    이미지 캡처 디바이스.
  17. 제 12 항에 있어서,
    상기 센서는, 표준화된 헤더 정보와 함께 표준화된 파일 포맷으로 상기 가변 해상도 깊이 표현을 생성하는
    이미지 캡처 디바이스.
  18. 제 12 항에 있어서,
    상기 센서는, 상기 가변 해상도 깊이 표현을 생성하기 위해 사용되는 커맨드 프로토콜에 대한 인터페이스를 포함하는
    이미지 캡처 디바이스.
  19. 제 12 항에 있어서,
    상기 이미지 캡처 디바이스는, 카메라, 스테레오 카메라, 비행시간 센서(time of flight sensor), 깊이 센서, 구조형 광 카메라(structured light camera), 또는 이들의 임의의 조합인
    이미지 캡처 디바이스.
  20. 저장된 명령어를 실행하도록 구성되는 CPU(central processing unit)와,
    명령어를 저장하고, 프로세서로 실행가능한 코드를 포함하는 저장 디바이스를 포함하되,
    상기 코드는, 상기 CPU에 의해 실행될 때,
    깊이 표시자를 결정하고,
    상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하고,
    가변 해상도 깊이 표현을 생성하도록 구성되는
    컴퓨팅 디바이스.
  21. 제 20 항에 있어서,
    상기 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 시간, 또는 이들의 임의의 조합인
    컴퓨팅 디바이스.
  22. 제 20 항에 있어서,
    상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 것은, 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 상기 깊이 정보를 변경하는 것을 포함하는
    컴퓨팅 디바이스.
  23. 제 20 항에 있어서,
    상기 코드는 상기 변경된 깊이 정보로부터 하나 이상의 깊이 계층을 획득하도록 구성되고, 각각의 깊이 계층은 특정 깊이 해상도를 포함하는
    컴퓨팅 디바이스.
  24. 코드를 포함하는 유형의 비일시적 컴퓨터 판독가능 저장 매체(tangible, non-transitory, computer-readable storage medium)로서,
    상기 코드는 프로세서에,
    깊이 표시자를 결정할 것과,
    상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경할 것과,
    가변 해상도 깊이 표현을 생성할 것을 지시하는
    컴퓨터 판독가능 저장 매체.
  25. 제 24 항에 있어서,
    상기 깊이 표시자는 명암, 텍스처, 에지, 윤곽, 컬러, 움직임, 시간, 또는 이들의 임의의 조합인
    컴퓨터 판독가능 저장 매체.
  26. 제 24 항에 있어서,
    상기 깊이 표시자는 애플리케이션에 의한 상기 가변 해상도 깊이 표현의 사용에 의해 특정되는
    컴퓨터 판독가능 저장 매체.
  27. 제 24 항에 있어서,
    상기 깊이 표시자에 기초하여 이미지의 깊이 정보를 변경하는 것은, 가변 비트 깊이, 가변 공간 해상도, 픽셀 크기의 축소, 또는 이들의 임의의 조합을 사용하여 상기 깊이 정보를 변경하는 것을 포함하는
    컴퓨터 판독가능 저장 매체.
KR1020157021724A 2013-03-15 2014-03-10 가변 해상도 깊이 표현 KR101685866B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/844,295 2013-03-15
US13/844,295 US20140267616A1 (en) 2013-03-15 2013-03-15 Variable resolution depth representation
PCT/US2014/022434 WO2014150159A1 (en) 2013-03-15 2014-03-10 Variable resolution depth representation

Publications (2)

Publication Number Publication Date
KR20150106441A KR20150106441A (ko) 2015-09-21
KR101685866B1 true KR101685866B1 (ko) 2016-12-12

Family

ID=51525599

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157021724A KR101685866B1 (ko) 2013-03-15 2014-03-10 가변 해상도 깊이 표현

Country Status (7)

Country Link
US (1) US20140267616A1 (ko)
EP (1) EP2973418A4 (ko)
JP (1) JP2016515246A (ko)
KR (1) KR101685866B1 (ko)
CN (1) CN105074781A (ko)
TW (1) TWI552110B (ko)
WO (1) WO2014150159A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015019204A (ja) * 2013-07-10 2015-01-29 ソニー株式会社 画像処理装置および画像処理方法
US10497140B2 (en) 2013-08-15 2019-12-03 Intel Corporation Hybrid depth sensing pipeline
EP3143774A4 (en) * 2014-05-13 2018-04-25 PCP VR Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
EP3251151A4 (en) * 2015-01-26 2018-07-25 Dartmouth College Image sensor with controllable non-linearity
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) * 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10475370B2 (en) * 2016-02-17 2019-11-12 Google Llc Foveally-rendered display
CN106131693A (zh) * 2016-08-23 2016-11-16 张程 一种模块化的视频传输播放系统及方法
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US11222397B2 (en) 2016-12-23 2022-01-11 Qualcomm Incorporated Foveated rendering in tiled architectures
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10885607B2 (en) 2017-06-01 2021-01-05 Qualcomm Incorporated Storage for foveated rendering
US10748244B2 (en) 2017-06-09 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for stereo content detection
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10609355B2 (en) * 2017-10-27 2020-03-31 Motorola Mobility Llc Dynamically adjusting sampling of a real-time depth map
US20190295503A1 (en) * 2018-03-22 2019-09-26 Oculus Vr, Llc Apparatuses, systems, and methods for displaying mixed bit-depth images
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US11812171B2 (en) 2018-10-31 2023-11-07 Sony Semiconductor Solutions Corporation Electronic device, method and computer program
KR102582407B1 (ko) 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
EP4038576A1 (en) * 2019-10-02 2022-08-10 InterDigital VC Holdings France, SAS A method and apparatus for encoding, transmitting and decoding volumetric video
TWI715448B (zh) * 2020-02-24 2021-01-01 瑞昱半導體股份有限公司 偵測解析度的方法及電子裝置
CN113316017B (zh) * 2020-02-27 2023-08-22 瑞昱半导体股份有限公司 检测分辨率的方法和电子装置
US11577748B1 (en) * 2021-10-08 2023-02-14 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
US11782145B1 (en) 2022-06-14 2023-10-10 Nodar Inc. 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103306A (en) * 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
GB2301514B (en) * 1994-12-01 1999-06-09 Namco Ltd Apparatus and method for image synthesization
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
US5798762A (en) * 1995-05-10 1998-08-25 Cagent Technologies, Inc. Controlling a real-time rendering engine using a list-based control mechanism
JP3481631B2 (ja) * 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
US6028608A (en) * 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
JP3998863B2 (ja) * 1999-06-30 2007-10-31 富士フイルム株式会社 奥行検出装置及び撮像装置
US7130490B2 (en) * 2001-05-14 2006-10-31 Elder James H Attentive panoramic visual sensor
US6704025B1 (en) * 2001-08-31 2004-03-09 Nvidia Corporation System and method for dual-depth shadow-mapping
US20060133472A1 (en) * 2002-06-28 2006-06-22 Koninklijke Philips Electronics N.V. Spatial scalable compression
JP4188968B2 (ja) * 2003-01-20 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
KR101038452B1 (ko) * 2003-08-05 2011-06-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티뷰 이미지 생성
WO2005114554A2 (en) * 2004-05-21 2005-12-01 The Trustees Of Columbia University In The City Of New York Catadioptric single camera systems having radial epipolar geometry and methods and means thereof
US7990429B2 (en) * 2005-10-28 2011-08-02 Nikon Corporation Imaging device with blur enhancement
US7612795B2 (en) * 2006-05-12 2009-11-03 Anthony Italo Provitola Enhancement of visual perception III
US7969438B2 (en) * 2007-01-23 2011-06-28 Pacific Data Images Llc Soft shadows for cinematic lighting for computer graphics
US7817823B1 (en) * 2007-04-27 2010-10-19 Adobe Systems Incorporated Calculating shadow from area light sources using a spatially varying blur radius
KR101367282B1 (ko) * 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
US20120262445A1 (en) * 2008-01-22 2012-10-18 Jaison Bouie Methods and Apparatus for Displaying an Image with Enhanced Depth Effect
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
JP2010081460A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 撮像装置及び画像生成方法
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
US20100278232A1 (en) * 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
JP5506272B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2011060216A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 画像処理装置および画像処理方法
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US9100640B2 (en) * 2010-08-27 2015-08-04 Broadcom Corporation Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information
WO2012101719A1 (ja) * 2011-01-27 2012-08-02 パナソニック株式会社 ３次元画像撮影装置及び３次元画像撮影方法
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
KR20140004209A (ko) * 2011-06-15 2014-01-10 미디어텍 인크. 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치
KR20140068013A (ko) * 2011-08-25 2014-06-05 텔레포나크티에볼라게트 엘엠 에릭슨(피유비엘) 심도맵의 인코딩 및 디코딩

Also Published As

Publication number Publication date
EP2973418A1 (en) 2016-01-20
EP2973418A4 (en) 2016-10-12
WO2014150159A1 (en) 2014-09-25
JP2016515246A (ja) 2016-05-26
KR20150106441A (ko) 2015-09-21
TW201503047A (zh) 2015-01-16
CN105074781A (zh) 2015-11-18
US20140267616A1 (en) 2014-09-18
TWI552110B (zh) 2016-10-01

Similar Documents

Publication Publication Date Title
KR101685866B1 (ko) 가변 해상도 깊이 표현
KR101713463B1 (ko) 심도 매핑 및 광원 합성을 이용한 3d 이미지의 향상을 위한 장치
US11373338B2 (en) Image padding in video-based point-cloud compression CODEC
US10643307B2 (en) Super-resolution based foveated rendering
US20200051269A1 (en) Hybrid depth sensing pipeline
CN108810538B (zh) 视频编码方法、装置、终端及存储介质
US9661298B2 (en) Depth image enhancement for hardware generated depth images
WO2014052437A1 (en) Encoding images using a 3d mesh of polygons and corresponding textures
CN108665510B (zh) 连拍图像的渲染方法、装置、存储介质及终端
WO2022104618A1 (en) Bidirectional compact deep fusion networks for multimodality visual analysis applications
US20230169693A1 (en) Attribute transfer in v-pcc
US20140267617A1 (en) Adaptive depth sensing
KR101653158B1 (ko) 분산형 그래픽 처리
US20150077575A1 (en) Virtual camera module for hybrid depth vision controls
US11373270B1 (en) Axis based compression for remote rendering
US20140086476A1 (en) Systems, methods, and computer program products for high depth of field imaging
US20230067584A1 (en) Adaptive Quantization Matrix for Extended Reality Video Encoding
US20240107086A1 (en) Multi-layer Foveated Streaming

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant