KR102341267B1 - 양안 시차 영상에 대한 렌더링 방법 및 장치 - Google Patents

양안 시차 영상에 대한 렌더링 방법 및 장치 Download PDF

Info

Publication number
KR102341267B1
KR102341267B1 KR1020150062651A KR20150062651A KR102341267B1 KR 102341267 B1 KR102341267 B1 KR 102341267B1 KR 1020150062651 A KR1020150062651 A KR 1020150062651A KR 20150062651 A KR20150062651 A KR 20150062651A KR 102341267 B1 KR102341267 B1 KR 102341267B1
Authority
KR
South Korea
Prior art keywords
image
pixels
rendering
value
color
Prior art date
Application number
KR1020150062651A
Other languages
English (en)
Other versions
KR20160130629A (ko
Inventor
진승훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150062651A priority Critical patent/KR102341267B1/ko
Priority to US14/993,339 priority patent/US10332307B2/en
Priority to JP2016089073A priority patent/JP6530728B2/ja
Priority to EP16168345.3A priority patent/EP3091739A1/en
Priority to CN201610288982.8A priority patent/CN106127848B/zh
Publication of KR20160130629A publication Critical patent/KR20160130629A/ko
Application granted granted Critical
Publication of KR102341267B1 publication Critical patent/KR102341267B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법에 있어서, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하여, 리프로젝션을 수행하고, 리프로젝션에 기초하여, 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링하는 내용을 포함하는 방법 및 이를 위한 디바이스를 제공한다.

Description

양안 시차 영상에 대한 렌더링 방법 및 장치{Apparatus and Method of rendering for binocular disparity image}
본 개시는 렌더링 장치가 수행하는 양안 시차 영상에 대한 렌더링 방법에 관한 것이다.
GPU(Graphic　Processing　Unit)와 같은 그래픽 프로세싱 장치는 디바이스에서 그래픽스 데이터를 렌더링하는 역할을 담당한다. 일반적으로, 그래픽 프로세싱 장치는 2차원 또는 3차원 객체들에 해당되는 그래픽스 데이터를 2차원 픽셀 표현으로 변환하여 디스플레이를 위한 프레임을 생성한다. 디바이스의 종류로는, PC (personal computers), 노트북, 비디오 게임용 콘솔뿐만 아니라, 스마트폰, 태블릿 디바이스, 웨어러블 디바이스와 같은 임베디드(embedded) 디바이스들도 포함될 수 있다. 스마트폰, 태블릿 디바이스, 웨어러블 디바이스 등과 같은 임베디드 디바이스들은 비교적 낮은 연산 처리 능력과 많은 전력 소모의 문제들로 인하여, 충분한 메모리 공간과 프로세싱 파워를 확보하고 있는 PC, 노트북, 비디오 게임용 콘솔 등과 같은 워크스테이션들과 동일한 그래픽 프로세싱 성능을 갖추기 어렵다. 하지만, 최근 전세계적으로 스마트폰 또는 태블릿 디바이스와 같은 휴대용 디바이스들이 널리 보급됨에 따라 사용자들은 스마트폰 또는 태블릿 디바이스를 통해 게임을 플레이하거나 또는 영화, 드라마 등의 컨텐츠를 감상하는 빈도가 급격히 증가하였다. 이에 따라, 그래픽 프로세싱 장치의 제조사들은 사용자들의 수요에 발맞추어 임베디드 디바이스에서도 그래픽 프로세싱 장치의 성능 및 처리 효율을 높이기 위한 많은 연구들을 진행하고 있다.
양안 시차 영상에 대한 렌더링을 수행하는 장치 및 방법을 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 측면에 따라, 양안 시차(binocular disparity)를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링(tile based rendering)을 수행하는 방법은, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 정보를 생성하는 단계; 제 1 영상의 깊이 정보를 기초로, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하여, 리프로젝션(reprojection)을 수행하는 단계; 및 리프로젝션에 기초하여, 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행하는 단계;를 포함할 수 있다.
또한, 리프로젝션을 수행하는 단계는, 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵(occulusion map)을 생성하는 단계;를 포함하고, 선택하여 렌더링을 수행하는 단계는, 오클루젼 맵에 기초하여, 제 2 영상의 다른 일부 픽셀들을 선택하여 래스터화(rasterization)를 수행하는 단계;를 포함할 수 있다.
또한, 리프로젝션을 수행하는 단계는, 제 2 영상의 일부 픽셀들 각각에는 제 1 값을 설정하고, 제 2 영상의 다른 일부 픽셀들 각각에는 제 2 값을 설정하여, 오클루젼 맵(occulusion map)을 생성하는 단계;를 포함하고, 선택하여 렌더링을 수행하는 단계는, 제 2 값이 설정된 제 2 영상의 다른 일부 픽셀들을 선택하여 래스터화(rasterization)를 수행하는 단계;를 포함할 수 있다.
또한, 리프로젝션을 수행하는 단계는, 제 2 영상의 다른 일부 픽셀들을 포함하는 제 1 픽셀 그룹에 소정의 값을 설정하여, 확장된 오클루젼 맵을 생성하는 단계;를 포함하고, 선택하여 렌더링을 수행하는 단계는, 확장된 오클루젼 맵에 기초하여, 제 1 픽셀 그룹을 선택하여 래스터화(rasterization)를 수행하는 단계;를 포함할 수 있다.
또한, 리프로젝션을 수행하는 단계는, 제 2 영상의 일부 픽셀들 각각의 깊이값은 제 1 영상의 픽셀들 각각의 깊이값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 깊이값은 기 설정된 값으로 결정하여, 제 2 영상의 깊이 버퍼를 생성하는 단계;를 포함하고, 선택하여 렌더링을 수행하는 단계는, 제 2 영상의 깊이 버퍼를 이용하여, 제 2 영상의 일부 픽셀들 및 다른 일부 픽셀들에 대한 깊이 테스트(Z-test)를 수행하는 단계; 및 깊이 테스트를 통해 선택된 제 2 영상 내의 다른 일부 픽셀들에 대한 픽셀 쉐이딩(pixel shading)을 수행하는 단계;를 포함할 수 있다.
또한, 리프로젝션을 수행하는 단계는, 제 1 영상에 대한 렌더링 결과 생성되는 제 1 영상의 칼라 정보를 기초로, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 기 설정된 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성하는 단계;를 포함하고, 선택하여 렌더링을 수행하는 단계는, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산하는 단계; 및 기 설정된 값으로 결정된 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산된 상기 제 2 영상의 다른 일부 픽셀들 각각의 칼라값으로 수정하여, 제 2 영상의 칼라 버퍼를 수정하는 단계;를 포함할 수 있다.
또한, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 정보를 생성하는 단계는, 제 1 영상 및 제 2 영상에 대한 드로우 커맨드(draw command)를 수신하는 단계; 및 수신된 드로우 커맨드에 기초하여, 제 1 영상에 대한 렌더링을 수행하는 단계;를 포함할 수 있다.
또한, 드로우 커맨드는 상기 제 1 영상 및 제 2 영상 각각에 대한 상태 정보(state information)를 포함할 수 있다.
또한, 방법은, 제 1 영상 및 제 2 영상에 대한 렌더링이 타일 기반 렌더링(tile based rendering)인 경우, 제 1 영상의 타일들 각각에 대한 렌더링을 수행하여, 타일들 각각의 깊이 버퍼를 생성하는 단계; 타일들 각각의 깊이 버퍼를 기초로, 타일들 각각의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하여, 리프로젝션을 수행하는 단계; 및 리프로젝션에 기초하여, 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행하는 단계;를 포함할 수 있다.
또한, 방법은, 제 1 영상 및 제 2 영상에 대한 렌더링이 타일 기반 렌더링인 경우, 제 1 영상 및 제 2 영상에 대한 드로우 커맨드에 기초하여, 제 1 영상 및 제 2 영상에 대한 타일 비닝(tile binning)을 수행하는 단계;를 더 포함할 수 있다.
또한, 타일 비닝을 수행하는 단계는, 드로우 커맨드를 배치(batch)들로 나누어, 배치들을 복수의 그래픽스 파이프라인들에 할당하는 단계; 및 배치들 중 제 1 배치를 복수의 그래픽스 파이프라인들 중 제 1 그래픽스 파이프라인에 할당하는 경우, 제 1 배치 및 제 1 배치와 대응되는 상태 정보(state information)에 기초하여, 제 1 영상 및 제 2 영상 각각에 대한 타일 비닝을 수행하는 단계;를 포함할 수 있다.
또한, 방법은, 제 1 영상 및 제 2 영상에 대한 렌더링이 타일 기반 렌더링인 경우, 선택하여 렌더링을 수행하는 단계는, 오클루젼 맵에 기초하여, 제 2 영상의 타일들 각각에 대한 스케줄링을 수행할 지 여부를 결정하는 단계; 결정에 기초하여, 스케줄링을 수행하기로 결정된 타일에 대한 타일 렌더링을 수행하는 단계;를 포함할 수 있다.
다른 측면에 따라, 양안 시차(binocular disparity)를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 디바이스에 있어서, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 정보를 생성하는 GPU(Graphics Processing Unit); 및 제 1 영상의 깊이 정보를 저장하는 메모리;를 포함하고, GPU는, 제 1 영상의 깊이 정보를 기초로, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하여, 리프로젝션(reprojection)을 수행하고, 리프로젝션에 기초하여, 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다.
또 다른 측면에 따라, 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 실시예들에 따르면, 양안 시차를 갖는 제 1 영상 및 제 2 영상에 있어서, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들에 대해서는 리프로젝션을 수행하고, 제 2 영상의 다른 일부 픽셀들에 대해서는 선택적 렌더링을 수행함으로써, 제 2 영상을 렌더링 하기 위한 연산량을 감소시킬 수 있다.
도 1은 일 실시예에 따라, 디바이스에 대한 블록도를 나타낸다.
도 2a 및 도 2b는 GPU가 제 1 영상의 픽셀과 대응되는 제 2 영상의 픽셀을 결정하는 일 실시예를 나타낸다.
도 3은 일 실시예에 따라, 디바이스가 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법을 나타낸다.
도 4는 일 실시예에 따라, 디바이스에 대한 블록도를 나타낸다.
도 5는 쉐이더가 오클루젼 맵을 생성하는 일 실시예를 나타낸다.
도 6은 래스터라이저가 오클루젼 맵에 기초하여 래스터화를 수행하는 일 실시예를 나타낸다.
도 7은 GPU가 제 2 영상의 칼라 버퍼를 수정하는 실시예를 나타낸다.
도 8은 쉐이더가 오클루젼 맵을 확장하는 실시예를 나타낸다.
도 9는 GPU가 확장된 오클루젼 맵에 기초하여 제 2 영상의 칼라 버퍼를 수정하는 실시예를 나타낸다.
도 10은 일 실시예에 따라, 디바이스가 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법을 나타낸다.
도 11은 일 실시예에 따라, 디바이스에 대한 블록도를 나타낸다.
도 12는 쉐이더가 제 2 영상의 깊이 버퍼를 생성하는 일 실시예를 나타낸다.
도 13은 GPU가 제 2 영상의 칼라 버퍼를 수정하는 실시예를 나타낸다.
도 14은 일 실시예에 따라, 디바이스가 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법을 나타낸다.
도 15는 일 실시예에 따라, 디바이스에 대한 블록도를 나타낸다.
도 16은 일 실시예에 따라, 디바이스에 대한 블록도를 나타낸다.
도 17은 일 실시예에 따라, 디바이스에 대한 블록도를 나타낸다.
도 18은 GPU가 타일 비닝을 수행하는 실시예를 나타낸다.
도 19는 일 실시예에 따라, 디바이스가 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 타일 기반 렌더링을 수행하는 방법을 나타낸다.
도 20은 일 실시예에 따라, 도 19의 s1910을 보다 구체적으로 설명하기 위한 도면이다.
도 21는 일 실시예에 따른 디바이스의 블록도를 나타낸다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다. 하기 실시예는 기술적 사상을 구체화하기 위한 것일 뿐 권리범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 해당 기술분야에 속하는 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 “제 1” 또는 “제 2” 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 이러한 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하거나 설명의 편의를 위한 목적으로 사용될 수 있다.
또한, 본 명세서에서 언급되는 디바이스(100,400,1100,1500,1600,1700, 2100)는 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, PDA (personal digital assistants), 휴대형 미디어 플레이어, 비디오 게임용 콘솔, 텔레비젼 셋탑 박스, 태블릿 디바이스, 이북 리더, 웨어러블 디바이스 등을 예로 들 수 있지만, 이에 제한되지 않는다. 또한, 디바이스(100,400,1100,1500,1600,1700,2100)는 가상 현실(virtual reality)를 실현하기 위한 디바이스가 될 수 있다. 일 예로, 디바이스(100,400,1100,1500,1600,1700,2100)는 HMD(head mounted display)가 될 수 있다. 즉, 디바이스(100,400,1100,1500,1600,1700,2100)는 컨텐츠의 디스플레이를 위한 그래픽스 프로세싱 기능을 갖는 장치로서, 디바이스(100,400,1100,1500,1600,1700,2100)의 범주에는 다양한 장치들이 포함될 수 있다.
또한, 본 명세서에서 언급되는 GPU(Graphic Processing Unit)(110,410,1110,1530,1630,1730,2150)는 그래픽 전용 프로세서로서, 3차원 이미지 상의 3차원 객체들을 디스플레이용의 2차원 이미지로 렌더링하기 위해 구현된 하드웨어일 수 있다. 예를 들면, GPU(110,410,1110,1530,1630,1730, 2150)는 쉐이딩, 블렌딩, 일루미네이팅과 같은 다양한 기능들 및 디스플레이될 픽셀들에 대한 픽셀 값들을 생성하기 위한 다양한 기능들을 수행할 수도 있다.
또한, 본 명세서에서 언급되는 메모리(120,420,1120,1540,1640,1740, 2160)는 디바이스(100,400,1100,1500,1600,1700,2100) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(120,420,1120,1540, 1640,1740,2160)는 GPU(110,410,1110,1530,1630,1730, 2150)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(120,420,1120,1540,1640,1740,2160)는 GPU(110,410,1110,1530,1630,1730, 2150)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(120,420,1120,1540,1640,1740,2160)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함하며, 나아가서, 디바이스(100,400,1100,1500,1600,1700,2100)에 액세스될 수 있는 외부의 다른 스토리지 디바이스를 포함할 수 있다.
또한, 본 명세서에서 언급되는 Bus(130,430,1130,2170)는 디바이스(100,400,1100,1500,1600,1700,2100) 내의 하드웨어들 간에 데이터를 송수신할 수 있도록 하드웨어들을 연결시켜 주는 하드웨어로서, Bus(130,430,1130,2170)는 예를 들어 PCI bus, PCI Express bus 등과 같은 다양한 종류들을 포함할 수 있다.
또한, 본 명세서에서 언급되는 GPU(110,410,1110,1530,1630,1730,2150)는 양안 시차 영상(binocular disparity image)에 대한 렌더링을 수행할 수 있다. 즉, GPU(110,410,1110,1530,1630,1730,2150)는 양안 시차 영상을 나타내기 위해 양안 시차를 갖는 제 1 영상 및 제 2 영상 각각에 대한 렌더링을 수행할 수 있다. 예를 들어, 제 1 영상은 좌안(left eye)에 대한 영상, 제 2 영상은 우안(right eye)에 대한 영상일 수 있다. 이하에서는, 설명의 편의성을 위해, 양안 시차를 갖는 제 1 영상 및 제 2 영상을, 제 1 영상 및 제 2 영상이라고 축약하여 표현하기로 한다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따라, 디바이스(100)에 대한 블록도를 나타낸다.
디바이스(100)는 일 실시예에 따라, GPU(110), 메모리(120) 및 Bus(130)를 포함할 수 있다. 도 1에 도시된 디바이스(100)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
GPU(110)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행할 수 있다. GPU(110)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 정보를 생성할 수 있다. 제 1 영상의 깊이 정보는 제 1 영상의 픽셀들 각각의 깊이값을 포함할 수 있다. 예를 들어, 제 1 영상의 깊이 정보는 제 1 영상의 깊이 버퍼(depth buffer)가 될 수 있다. 또한, GPU(110)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 칼라 정보를 생성할 수 있다. 제 1 영상의 칼라 정보는 제 1 영상의 각 픽셀의 칼라값을 포함할 수 있다. 예를 들어, 제 1 영상의 칼라 정보는 제 1 영상의 칼라 버퍼(color buffer)가 될 수 있다.
메모리(120)는 일 실시예에 따라, 제 1 영상에 대한 렌더링 결과 생성되는 제 1 영상의 깊이 정보를 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(120)는 제 1 영상에 대한 렌더링 결과 생성되는 제 1 영상의 칼라 정보를 저장할 수 있다.
GPU(110)는 일 실시예에 따라, 메모리(120)에 저장된 제 1 영상의 깊이 정보 또는 칼라 정보에 기초하여, 리프로젝션(reprojection)을 수행할 수 있다. 리프로젝션은, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하고, 제 2 영상의 일부 픽셀들의 픽셀값을 제 1 영상의 픽셀들의 픽셀값으로 결정하는 것을 의미할 수 있다. 픽셀값의 예로는, 픽셀이 갖는 깊이값 또는 칼라값이 될 수 있다. 일 실시예에 따라, 리프로젝션은 제 1 영상의 깊이 정보 및 칼라 정보에 기초하여, 오클루젼 맵 및 제 2 영상의 칼라 버퍼를 생성하는 내용을 포함할 수 있다. 또한, 리프로젝션은 제 1 영상의 깊이 정보 및 칼라 정보에 기초하여, 제 2 영상의 깊이 버퍼 및 제 2 영상의 칼라 버퍼를 생성하는 내용을 포함할 수 있다.
제 1 영상이 제 1 시점(view point)을 기준으로 객체를 렌더링한 영상이고 제 2 영상이 제 2 시점을 기준으로 동일한 객체를 렌더링한 영상인 경우, 객체의 소정의 부분이 제 1 영상의 제 1 픽셀에서 보여지고 동일한 객체의 소정의 부분이 제 2 영상의 제 2 픽셀에서 보여진다면, 제 1 영상의 제 1 픽셀과 제 2 영상의 제 2 픽셀은 서로 대응된다고 볼 수 있다. 예를 들어, 제 1 시점이 좌안이고 제 2 시점이 우안인 경우, 제 1 영상의 (x,y) 좌표를 갖는 픽셀과 대응되는 제 2 영상의 픽셀의 좌표는 (x+d, y)가 될 수 있다. 즉, 제 1 영상의 픽셀과 대응되는 제 2 영상의 픽셀은 x 축 상에서 변화량 d만큼 차이를 갖을 수 있다. 또한, 제 1 시점에서는 보이는 객체가 제 2 시점에서는 보이지 않을 수 있기 때문에, 제 1 영상의 모든 픽셀들이 제 2 영상의 픽셀들과 대응되지 않을 수 있다. 즉, 제 1 영상의 픽셀들과 대응관계를 갖는 제 2 영상의 픽셀들은 제 2 영상의 일부 픽셀들이 될 수 있다. 따라서, 제 1 영상의 픽셀들과 대응관계를 갖는 제 2 영상의 픽셀들이 제 2 영상의 일부 픽셀들이라면, 제 2 영상의 다른 일부 픽셀들은 제 1 영상의 픽셀들과 대응관계를 갖지 않는 픽셀들이 될 수 있다.
일 실시예에 따라, GPU(110)는 제 1 영상의 깊이 정보에 기초하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정할 수 있다. 보다 구체적인 실시예는, 이하 도 2에서 설명하기로 한다.
도 2a 및 도 2b는, GPU(110)가 제 1 영상의 픽셀과 대응되는 제 2 영상의 픽셀을 결정하는 실시예를 나타낸다.
도 2a는 제 1 카메라 시점(212)을 기준으로 렌더링 된 제 1 영상(214)을 나타낸다. 도 2b는 제 2 카메라 시점(222)을 기준으로 렌더링 된 제 2 영상(224)을 나타낸다. 예를 들어, 제 1 카메라 시점(212)은 좌안(left eye)이 될 수 있고, 제 1 영상(214)은 좌안 영상이 될 수 있다. 또한, 제 2 카메라 시점(222)은 우안(right eye)이 될 수 있고, 제 2 영상(224)은 우안 영상이 될 수 있다. 도 2a에 따르면, 깊이값 z를 갖는 객체(216)는 제 1 영상(214)의 β픽셀에서 보여질 수 있으므로, 제 1 영상(214)의 β픽셀의 좌표는 (x’, y, z)로 표현될 수 있다.
이어서, GPU(110)는 제 1 카메라 시점(212) 및 제 2 카메라 시점(222)에 대한 정보 및 β픽셀의 좌표 정보에 기초하여, β픽셀과 대응되는 제 2 영상(224)의 α픽셀을 결정할 수 있다. 즉, 도 2a의 객체(216)와 동일한 객체(218)가 제 2 영상(224)의 α픽셀에서 보여질 수 있다. 일 실시예에 따라, GPU(110)는 하기 수학식 1을 통해 β픽셀과 대응되는 제 2 영상(224)의 α픽셀을 결정할 수 있다.
Figure 112015043055557-pat00001
수학식 1에서 b 및 f는 제 1 카메라 시점(212) 및 제 2 카메라 시점(222)에 대한 정보로써, b는 baseline을, f는 focal length를 의미한다. 또한, z는 제 1 영상(214)의 β픽셀의 깊이값을 의미하고, d는 β픽셀의 x좌표의 변화량을 나타낸다. 따라서, GPU(110)는 수학식 1을 통해 d를 계산할 수 있고, 제 2 영상(224)의 α픽셀의 좌표로써 (x, y, z)=(x’-d, y, z)를 결정할 수 있다. 즉, GPU(110)는 제 2 영상(224)에 대한 렌더링을 수행하지 않고, 카메라 시점에 대한 정보 및 제 1 영상(214)의 β픽셀의 깊이값을 이용하여, β픽셀과 대응되는 제 2 영상(224)의 α픽셀을 결정할 수 있다. 따라서, GPU(110)는 제 1 영상(214)의 β픽셀의 깊이값 또는 칼라값을 제 2 영상(224)의 α픽셀의 깊이값 또는 칼라값으로 결정할 수 있다.
또한, 도 1의 GPU(110)는 일 실시예에 따라, 리프로젝션을 수행하여, 오클루젼 맵(Occulusion map)을 생성할 수 있다. 오클루젼 맵은, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들과, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 구분하기 위한 맵을 의미한다. 따라서, GPU(110)는 제 1 영상의 깊이 정보에 기초하여 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정할 수 있고, 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵을 생성할 수 있다.
또한, 일 실시예에 따라, GPU(110)는 제 1 영상의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성할 수 있다. 임의의 값은 사용자에 의해 기 설정된 값일 수 있다. 이어서, GPU(110)는 제 2 영상의 칼라 버퍼에 기초하여, 임의의 값으로 결정된 제 2 영상의 다른 일부 픽셀들을 확인함으로써, 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵을 생성할 수 있다.
일 실시예에 따라, 메모리(120)는 GPU(110)에 의해 생성된 오클루젼 맵 또는 제 2 영상의 칼라 버퍼를 저장할 수 있다.
GPU(110)는 일 실시예에 따라, 메모리(120)에 저장된 오클루젼 맵 또는 칼라 버퍼에 기초하여, 제 2 영상의 픽셀들에 대한 선택적 렌더링을 수행할 수 있다. 일 실시예에 따라, GPU(110)는 메모리(120)에 저장된 오클루젼 맵에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 오클루젼 맵에서는 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들이 구분되어 있기 때문에, GPU(110)는 오클루젼 맵에 따라, 제 2 영상의 일부 픽셀들에 대해서는 래스터화(rasterization)를 수행하지 않고, 제 2 영상의 다른 일부 픽셀들에 대해서는 래스터화를 수행할 수 있다. 래스터화에 이어서, GPU(110)는 제 2 영상의 다른 일부 픽셀들에 대해 픽셀 쉐이딩과 같은 추가적인 연산을 수행할 수 있고, 결과적으로 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산할 수 있다. 따라서, GPU(110)는 메모리(120)에 기 저장된 제 2 영상의 칼라 버퍼를 읽어낼 수 있고, GPU(110)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 통해, 읽어낸 제 2 영상의 칼라 버퍼를 수정할 수 있다. 즉, GPU(110)는 제 2 영상의 칼라 버퍼에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다.
따라서, GPU(110)는 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행함으로써, 제 2 영상의 칼라 버퍼를 완성할 수 있다. 일 실시예에 따라, 디바이스(100)는 완성된 제 2 영상의 칼라 버퍼를 통해, 제 2 영상을 출력할 수 있다.
일 실시예에 따라, GPU(110)는 리프로젝션을 수행하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들 각각의 깊이값은 제 1 영상의 픽셀들 각각의 깊이값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 깊이값은 소정의 값으로 결정하여, 제 2 영상의 깊이 버퍼를 생성할 수 있다. 즉, GPU(110)는, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 제 1 픽셀들 각각의 깊이값은 제 1 영상의 픽셀들 각각의 깊이값으로 결정하고, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 제 2 픽셀들 각각의 깊이값은 소정의 값으로 결정하여, 제 2 영상의 깊이 버퍼를 생성할 수 있다. 소정의 값은 사용자에 의해 기 설정된 초기값(clear value)일 수 있다. 마찬가지로, GPU(110)는, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성할 수 있다.
메모리(120)는, 일 실시예에 따라, GPU(110)에 의해 생성된 제 2 영상의 깊이 버퍼 및 칼라 버퍼를 저장할 수 있다.
GPU(110)는 일 실시예에 따라, 메모리(120)에 저장된 제 2 영상의 깊이 버퍼 및 칼라 버퍼에 기초하여, 제 2 영상의 픽셀들에 대한 선택적 렌더링을 수행할 수 있다. 일 실시예에 따라, GPU(110)는 메모리(120)에 저장된 제 2 영상의 깊이 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. GPU(110)는 일 실시예에 따라, 메모리(120)에 저장된 제 2 영상의 깊이 버퍼를 이용하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들 및 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들에 대한 깊이 테스트(Z-test)를 수행할 수 있다. 메모리(120)에 저장된 제 2 영상의 깊이 버퍼에서는 제 2 영상의 일부 픽셀들이 제 1 영상의 픽셀들의 깊이값을 갖기 때문에, 제 2 영상의 일부 픽셀들은 깊이 테스트를 통과하지 못하게 되고, 결과적으로, GPU(110)는, 깊이 테스트 이후의 과정에서, 제 2 영상의 일부 픽셀들에 대한 연산을 수행하지 않는다. 또한, 메모리(120)에 저장된 제 2 영상의 깊이 버퍼에서는 제 2 영상의 다른 일부 픽셀들이 초기값과 같은 소정의 값을 갖기 때문에, 제 2 영상의 다른 일부 픽셀들은 깊이 테스트를 통과하여, GPU(110)는, 깊이 테스트 이후의 과정에서, 제 2 영상의 다른 일부 픽셀들에 대한 연산을 계속하여 수행할 수 있다. 일 실시예에 따라, GPU(110)는 깊이 테스트를 통과한 제 2 영상의 다른 일부 픽셀들에 대해 픽셀 쉐이딩(pixel shading)을 수행할 수 있고, 결과적으로, GPU(110)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산할 수 있다. 따라서, GPU(110)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 통해, 메모리(120)에 기 저장된 제 2 영상의 칼라 버퍼를 수정할 수 있다. 즉, GPU(110)는 제 2 영상의 칼라 버퍼에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다.
따라서, GPU(110)는 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행함으로써, 제 2 영상의 칼라 버퍼를 완성할 수 있다. 일 실시예에 따라, 디바이스(100)는 완성된 제 2 영상의 칼라 버퍼를 통해, 제 2 영상을 출력할 수 있다.
따라서, 디바이스(100)는 제 2 영상을 렌더링하는 경우, 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있는 바, 연산량을 감소시켜 디바이스(100)의 성능을 높일 수 있다. 즉, 디바이스(100)는 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들에 대해서는 리프로젝션을 통하여 픽셀값을 획득할 수 있고, 제 2 영상의 다른 일부 픽셀들에 대해서는 선택적 렌더링을 수행하여 픽셀값을 획득할 수 있으므로, 제 2 영상의 모든 픽셀들에 대해 렌더링을 수행하는 경우 보다 연산량을 감소시킬 수 있다.
도 3은 일 실시예에 따라, 디바이스(100)가 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법을 나타낸다.
도 3에 도시된 방법은, 도 1의 디바이스(100)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s310에서, 디바이스(100)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행할 수 있다. 디바이스(100)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 정보를 생성할 수 있다. 제 1 영상의 깊이 정보는 제 1 영상의 깊이 버퍼가 될 수 있다. 또한, 디바이스(100)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 칼라 정보를 생성할 수 있다. 제 1 영상의 칼라 정보는 제 1 영상의 칼라 버퍼가 될 수 있다.
단계 s320에서, 디바이스(100)는 일 실시예에 따라, 렌더링 결과 생성되는 제 1 영상의 깊이 정보에 기초하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하여, 리프로젝션을 수행할 수 있다. 일 실시예에 따라, 리프로젝션은 제 1 영상의 깊이 정보 및 칼라 정보에 기초하여, 오클루젼 맵 및 제 2 영상의 칼라 버퍼를 생성하는 내용을 포함할 수 있다. 또한, 리프로젝션은 제 1 영상의 깊이 정보 및 칼라 정보에 기초하여, 제 2 영상의 깊이 버퍼 및 제 2 영상의 칼라 버퍼를 생성하는 내용을 포함할 수 있다.
일 실시예에 따라, 디바이스(100)는 리프로젝션을 수행하여, 오클루젼 맵을 생성할 수 있다. 즉, 디바이스(100)는 제 1 영상의 깊이 정보에 기초하여 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정할 수 있고, 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵을 생성할 수 있다.
또한, 디바이스(100)는 제 1 영상의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성할 수 있다. 이어서, 디바이스(100)는 제 2 영상의 칼라 버퍼에 기초하여, 소정의 값으로 결정된 제 2 영상의 다른 일부 픽셀들을 확인함으로써, 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵을 생성할 수 있다.
디바이스(100)는 생성된 오클루젼 맵 또는 제 2 영상의 칼라 버퍼를 내부 메모리에 저장할 수 있다.
다른 실시예에 따라, 디바이스(100)는 리프로젝션을 수행하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들 각각의 깊이값은 제 1 영상의 픽셀들 각각의 깊이값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 깊이값은 소정의 값으로 결정하여, 제 2 영상의 깊이 버퍼를 생성할 수 있다. 즉, 디바이스(100)는, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 제 1 픽셀들 각각의 깊이값은 제 1 영상의 픽셀들 각각의 깊이값으로 결정하고, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 제 2 픽셀들 각각의 깊이값은 소정의 값으로 결정하여, 제 2 영상의 깊이 버퍼를 생성할 수 있다. 마찬가지로, 디바이스(100)는, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성할 수 있다.
디바이스(100)는 생성된 제 2 영상의 깊이 버퍼 또는 제 2 영상의 칼라 버퍼를 내부 메모리에 저장할 수 있다.
단계 s330에서, 일 실시예에 따라, 디바이스(100)는 리프로젝션에 기초하여, 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다.
일 실시예에 따라, 디바이스(100)는 오클루젼 맵에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 오클루젼 맵에서는 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들이 구분되어 있기 때문에, 디바이스(100)는 오클루젼 맵에 따라, 제 2 영상의 일부 픽셀들에 대해서는 래스터화를 수행하지 않고, 제 2 영상의 다른 일부 픽셀들에 대해서는 래스터화를 수행할 수 있다. 래스터화에 이어서, 디바이스(100)는 제 2 영상의 다른 일부 픽셀들에 대해 픽셀 쉐이딩과 같은 추가적인 연산을 수행할 수 있고, 결과적으로 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산할 수 있다. 따라서, 디바이스(100)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 통해, 기 생성된 제 2 영상의 칼라 버퍼를 수정할 수 있다. 즉, 디바이스(100)는 제 2 영상의 칼라 버퍼에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다.
따라서, 디바이스(100)는 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행함으로써, 제 2 영상의 칼라 버퍼를 완성할 수 있다. 일 실시예에 따라, 디바이스(100)는 완성된 제 2 영상의 칼라 버퍼를 통해, 제 2 영상을 출력할 수 있다.
다른 실시예에 따라, 디바이스(100)는 제 2 영상의 깊이 버퍼에 기초하여, 제 2 영상의 픽셀들에 대한 선택적 렌더링을 수행할 수 있다. 일 실시예에 따라, 디바이스(100)는 기 생성된 제 2 영상의 깊이 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 디바이스(100)는 일 실시예에 따라, 제 2 영상의 깊이 버퍼를 이용하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들, 및 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들에 대한 깊이 테스트(Z-test)를 수행할 수 있다. 제 2 영상의 깊이 버퍼에서는 제 2 영상의 일부 픽셀들이 제 1 영상의 픽셀들의 깊이값을 갖기 때문에, 제 2 영상의 일부 픽셀들은 깊이 테스트를 통과하지 못하게 되고, 결과적으로, 디바이스(100)는, 깊이 테스트 이후의 과정에서, 제 2 영상의 일부 픽셀들에 대한 연산을 수행하지 않는다. 또한, 제 2 영상의 깊이 버퍼에서는 제 2 영상의 다른 일부 픽셀들이 초기값과 같은 소정의 값을 갖기 때문에, 제 2 영상의 다른 일부 픽셀들은 깊이 테스트를 통과하여, 디바이스(100)는, 깊이 테스트 이후의 과정에서, 제 2 영상의 다른 일부 픽셀들에 대한 연산을 계속하여 수행할 수 있다. 일 실시예에 따라, 디바이스(100)는 깊이 테스트를 통과한 제 2 영상의 다른 일부 픽셀들에 대해 픽셀 쉐이딩(pixel shading)을 수행할 수 있고, 결과적으로, 디바이스(100)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산할 수 있다. 따라서, 디바이스(100)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 통해, 기 생성된 제 2 영상의 칼라 버퍼를 수정할 수 있다. 즉, 디바이스(100)는 제 2 영상의 칼라 버퍼에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다.
따라서, 디바이스(100)는 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행함으로써, 제 2 영상의 칼라 버퍼를 완성할 수 있다. 일 실시예에 따라, 디바이스(100)는 완성된 제 2 영상의 칼라 버퍼를 통해, 제 2 영상을 출력할 수 있다.
도 4는 일 실시예에 따라, 디바이스(400)에 대한 블록도를 나타낸다.
디바이스(400)는 일 실시예에 따라, GPU(410), 메모리(420) 및 Bus(430)를 포함할 수 있다. 도 4에 도시된 디바이스(400)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
GPU(410)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행할 수 있다. GPU(410)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 버퍼(422)를 생성할 수 있다. 제 1 영상의 깊이 버퍼(422)는 제 1 영상의 픽셀들 각각의 깊이값을 포함할 수 있다. 또한, GPU(410)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 칼라 버퍼(424)를 생성할 수 있다. 제 1 영상의 칼라 버퍼(424)는 제 1 영상의 각 픽셀의 칼라값을 포함할 수 있다.
메모리(420)는 일 실시예에 따라, 제 1 영상에 대한 렌더링 결과 생성되는 제 1 영상의 깊이 버퍼(422)를 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(420)는 제 1 영상에 대한 렌더링 결과 생성되는 제 1 영상의 칼라 버퍼(424)를 저장할 수 있다.
GPU(410)는 일 실시예에 따라, 쉐이더(412) 및 래스터라이저(414)를 포함할 수 있다. 도 4에 도시된 GPU(410)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시예에 따라, 쉐이더(412)는 메모리(420)에 저장된 제 1 영상의 깊이 버퍼(422)에 기초하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정할 수 있다. 또한, 쉐이더(412)는 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵(428)을 생성할 수 있다. 일 실시예에 따라, 쉐이더(412)는 제 2 영상의 일부 픽셀들에 대해서는 0의 값을 설정하고, 제 2 영상의 다른 일부 픽셀들에 대해서는 1의 값을 설정하여, 오클루션 맵(428)을 생성할 수 있다. 다만, 0 또는 1의 값은 일 예시일 뿐, 오클루젼 맵(428)은 0 또는 1 이외의 값을 포함할 수 있다.
또한, 일 실시예에 따라, 쉐이더(412)는 제 1 영상의 칼라 버퍼(422)에 기초하여, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼(426)를 생성할 수 있다. 임의의 값은 사용자에 의해 기 설정된 값일 수 있다. 이어서, 쉐이더(412)는 제 2 영상의 칼라 버퍼(426)에 기초하여, 임의의 값으로 결정된 제 2 영상의 다른 일부 픽셀들을 확인함으로써, 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵(428)을 생성할 수 있다.
도 5는 쉐이더(412)가 오클루젼 맵을 생성하는 일 실시예를 나타낸다.
도 5의 영역(510)은 제 1 시점(512) 및 제 2 시점(514)에서 스크린(516)을 통해 객체(518)를 바라보는 것을 나타낸다. 따라서, GPU(410)는 제 1 시점(512) 및 제 2 시점(513) 각각을 기준으로, 양안 시차 영상에 대한 렌더링을 수행할 수 있다.
GPU(410)는 일 실시예에 따라, 제 1 시점(512)을 기준으로 제 1 영상(520)에 대한 렌더링을 수행할 수 있다. 따라서, GPU(410)는 제 1 영상(520)에 대한 렌더링을 수행하여, 객체(518)를 나타내는 제 1 영상(520)의 깊이 버퍼 또는 칼라 버퍼를 생성할 수 있다. 즉, GPU(410)는 객체(518)를 나타내는 픽셀들(522) 각각의 깊이값 및 칼라값을 계산할 수 있다.
쉐이더(412)는 제 1 영상(520)의 깊이 버퍼에 기초하여, 리프로젝션을 수행할 수 있다. 즉, 쉐이더(412)는 픽셀들(522)의 깊이값에 기초하여, 픽셀들(522)과 대응되는 제 2 영상(530)의 일부 픽셀들(532)을 결정할 수 있다. 따라서, 쉐이더(412)는 픽셀들(522)과 대응되는 제 2 영상(530)의 일부 픽셀들(532)과, 픽셀들(522)과 대응되지 않는 제 2 영상(530)의 다른 일부 픽셀들(534)을 구분하는, 오클루젼 맵(540)을 생성할 수 있다. 일 실시예에 따라, 쉐이더(412)는, 제 2 영상(530)의 일부 픽셀들(532)과 동일한 위치의 픽셀들(542)에 대해서는 0의 값으로 설정하고, 제 2 영상(530)의 다른 일부 픽셀들(534)과 동일한 위치의 픽셀들(544)에 대해서는 1의 값으로 설정하여, 오클루젼 맵(540)을 생성할 수 있다.
또한, 다른 실시예에 따라, 쉐이더(412)는 제 1 영상(520)의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들(532) 각각의 칼라값은 제 1 영상(520)의 픽셀들(522) 각각의 칼라값으로 결정하고, 제 2 영상(530)의 다른 일부 픽셀들(534) 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상(530)의 칼라 버퍼를 생성할 수 있다. 이어서, 쉐이더(412)는 제 2 영상(530)의 칼라 버퍼에 기초하여, 임의의 값으로 결정된 제 2 영상(530)의 다른 일부 픽셀들(534)을 확인함으로써, 제 2 영상(530)의 일부 픽셀들(532)과 제 2 영상(530)의 다른 일부 픽셀들(534)을 구분하는, 오클루젼 맵(540)을 생성할 수 있다.
도 4의 메모리(420)는 쉐이더(412)에 의해 생성된 오클루젼 맵(428) 및 제 2 영상의 칼라 버퍼(426)를 저장할 수 있다.
GPU(410)는 일 실시예에 따라, 메모리(420)에 저장된 오클루젼 맵(428) 또는 제 2 영상의 칼라 버퍼(426)에 기초하여, 제 2 영상의 픽셀들에 대한 선택적 렌더링을 수행할 수 있다. 일 실시예에 따라, GPU(410)는 메모리(420)에 저장된 오클루젼 맵(428)에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 보다 구체적으로, 오클루젼 맵에서 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들이 구분되어 있기 때문에, 래스터라이저(414)는 오클루젼 맵(428)에 따라, 제 2 영상의 일부 픽셀들에 대해서는 래스터화를 수행하지 않고, 제 2 영상의 다른 일부 픽셀들에 대해서는 래스터화를 수행할 수 있다.
도 6은 래스터라이저(414)가 오클루젼 맵에 기초하여 래스터화를 수행하는 일 실시예를 나타낸다.
일 실시예에 따라, 도 5의 제 1 영상의 픽셀들과 대응되는 제 2 영상(610)의 일부 픽셀들(611) 중 제 1 영역(612)이 래스터라이저(414)에 입력될 수 있다. 래스터라이저(414)는 오클루젼 맵(620)에 기초하여, 제 1 영역(612)에 해당하는 픽셀들(615)에 대해 래스터화를 생략할 수 있다. 즉, 오클루젼 맵(620)에서는 제 1 영역(612)에 해당하는 픽셀들(615)이 0의 값으로 설정되어 있으므로, 래스터라이저(414)는 픽셀들(615)에 대한 래스터화를 생략할 수 있다. 마찬가지로, 래스터라이저(414)는 오클루젼 맵(620)에 기초하여, 제 2 영상(610)의 일부 픽셀들(611) 중 제 2 영역(613)에 해당하는 픽셀들에 대한 래스터화를 생략할 수 있다. 오클루젼 맵(620)에서는 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상(610)의 다른 일부 픽셀들(614)이 1의 값으로 설정되어 있으므로, 래스터라이저(414)는 다른 일부 픽셀들(614)에 대한 래스터화를 수행할 수 있다.
도 4의 GPU(410)는 일 실시예에 따라, 제 2 영상의 다른 일부 픽셀들에 대한 래스터화에 이어서, 제 2 영상의 다른 일부 픽셀들에 대해 픽셀 쉐이딩과 같은 추가적인 연산을 수행할 수 있고, 결과적으로 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산할 수 있다. 따라서, GPU(410)는 메모리(420)에 기 저장된 제 2 영상의 칼라 버퍼(426)를 읽어낼 수 있고, GPU(410)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 통해, 읽어낸 제 2 영상의 칼라 버퍼(426)를 수정할 수 있다. 즉, GPU(410)는 제 2 영상의 칼라 버퍼(426)에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다.
따라서, GPU(410)는 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행함으로써, 제 2 영상의 칼라 버퍼를 완성할 수 있다. 일 실시예에 따라, 디바이스(400)는 완성된 제 2 영상의 칼라 버퍼를 통해, 제 2 영상을 출력할 수 있다.
도 7은 일 실시예에 따라, GPU(410)가 제 2 영상의 칼라 버퍼를 수정하는 실시예를 나타낸다.
일 실시예에 따라, 쉐이더(412)는 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들(712)을 결정할 수 있다. 이어서, 쉐이더(412)는, 제 1 영상의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들(712) 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정할 수 있고, 제 2 영상의 다른 일부 픽셀들(714) 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼(710)를 생성할 수 있다. 도 7의 제 2 영상의 칼라 버퍼(710)에서, 일부 픽셀들(712) 각각의 칼라값은 R로 결정되었고, 다른 일부 픽셀들(714) 각각의 칼라값은 임의의 값인 #으로 결정되었으나, 칼라값은 R 또는 #으로 한정되지 않는다. 또한, 설명의 편의상 일부 픽셀들(712) 각각의 칼라값이 R로 표시되었지만, 일부 픽셀들(712) 각각의 칼라값은 서로 다른 값을 가질 수 있다.
일 실시예에 따라, 래스터라이저(414)는 오클루젼 맵(428)에 기초하여, 제 2 영상의 다른 일부 픽셀들(722)을 선택하여 래스터화를 수행할 수 있다. 도 7에서는, 제 2 영상의 칼라 버퍼(710)에서 나타나는 제 2 영상의 다른 일부 픽셀들(714)과 제 2 영상의 다른 일부 픽셀들(722)은 서로 동일한 위치의 픽셀들이다.
일 실시예에 따라, GPU(410)는, 제 2 영상의 다른 일부 픽셀들(722)에 대한 래스터화에 이어서, 다른 일부 픽셀들(722)에 대해 픽셀 쉐이딩과 같은 추가적인 연산을 수행할 수 있고, 결과적으로 다른 일부 픽셀들(722) 각각의 칼라값을 계산할 수 있다. 도 7의 제 2 영상의 다른 일부 픽셀들(722) 각각의 칼라값이 C로 계산되었으나, 칼라값은 C로 한정되지 않는다. 또한, 설명의 편의 상, 다른 일부 픽셀들(722) 각각의 칼라값이 C로 표시되었지만, 다른 일부 픽셀들(722) 각각의 칼라값은 서로 다른 값을 가질 수 있다.
따라서, GPU(410)는 제 2 영상의 칼라 버퍼(710)에서 임의의 값 #으로 결정되었던 다른 일부 픽셀들(714) 각각의 칼라값을, 렌더링을 통해 계산된 다른 일부 픽셀들(722) 각각의 칼라값인 C로 결정하여, 완성된 제 2 영상의 칼라 버퍼(720)를 생성할 수 있다.
일 실시예에 따라, 도 4의 쉐이더(412)는 제 2 영상의 다른 일부 픽셀들을 포함하는 제 1 픽셀 그룹에 소정의 값을 설정하여, 확장된 오클루젼 맵을 생성할 수 있다. 즉, 쉐이더(412)는 오클루젼 맵(428)에서 제 2 영상의 다른 일부 픽셀들이 갖는 값을 제 2 영상의 다른 일부 픽셀들을 포함하는 제 1 픽셀 그룹이 갖도록 설정하여, 확장된 오클루션 맵을 생성할 수 있다. 따라서, 제 1 픽셀 그룹은 제 2 영상의 다른 일부 픽셀들, 및 제 1 픽셀 그룹 중 제 2 영상의 다른 일부 픽셀들이 아닌 제 2 픽셀 그룹으로 구성될 수 있다.
도 8은 쉐이더(412)가 오클루젼 맵을 확장하는 실시예를 나타낸다.
쉐이더(412)는 오클루젼 맵(810)뿐만 아니라, 확장된 오클루젼 맵(820)을 생성할 수 있다. 즉, 쉐이더(412)는 제 2 영상(530)의 다른 일부 픽셀들(534)과 동일한 위치의 픽셀들(812)에 1의 값을 부여하여, 오클루젼 맵(810)을 생성할 수 있고, 또한 쉐이더(412)는 제 2 영상(530)의 다른 일부 픽셀들(534) 보다 넓은 범위의 픽셀들인 제 1 픽셀 그룹(822)에 1의 값을 부여하여, 확장된 오클루젼 맵(820)을 생성할 수 있다. 제 1 픽셀 그룹(822)에는, 제 2 영상의 다른 일부 픽셀들(824) 및, 제 1 픽셀 그룹(822) 중 다른 일부 픽셀들(824)이 아닌 제 2 픽셀 그룹(826)을 포함할 수 있다. 예를 들어, 쉐이더(412)는 제 2 영상(530)의 다른 일부 픽셀들(534)과 동일한 위치의 픽셀들(812)을 기준으로, 3ⅹ3 픽셀(830)의 범위로 1의 값을 부여하여, 확장된 오클루젼 맵(820)을 생성할 수 있다.
도 4의 GPU(410)는 일 실시예에 따라, 확장된 오클루젼 맵에 기초하여, 제 2 영상의 다른 일부 픽셀들 보다 넓은 범위의 픽셀들인 제 1 픽셀 그룹을 선택하여 렌더링을 수행할 수 있다. 즉, 래스터라이저(414)는 확장된 오클루젼 맵에 기초하여, 제 2 영상의 제 1 픽셀 그룹을 선택하여 래스터화를 수행할 수 있다. 래스터화에 이어서, GPU(410)는 제 2 영상의 제 1 픽셀 그룹에 대해 픽셀 쉐이딩과 같은 추가적인 연산을 수행할 수 있고, 결과적으로 제 2 영상의 제 1 픽셀 그룹을 구성하는 픽셀들 각각의 칼라값을 계산할 수 있다. 제 2 영상의 제 1 픽셀 그룹에는 제 2 영상의 다른 일부 픽셀들을 포함하므로, GPU(410)는 메모리(420)에 기 저장된 제 2 영상의 칼라 버퍼(426)에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다. 또한, GPU(410)는, 렌더링 결과 계산된 제 2 픽셀 그룹을 구성하는 픽셀들 각각의 칼라값과, 칼라 버퍼(426)에서 결정된 제 2 픽셀 그룹에 해당하는 칼라값에 기초하여, 칼라 버퍼(426)에서 결정된 제 2 픽셀 그룹에 해당하는 칼라값을 수정할 수 있다. 예를 들어, GPU(410)는, 렌더링 결과 계산된 제 2 픽셀 그룹의 픽셀들 각각의 칼라값 및 칼라 버퍼(426)에서 결정된 제 2 픽셀 그룹에 해당하는 칼라값의 평균치를 계산하여, 계산된 평균치로 칼라 버퍼(426)에서 결정된 제 2 픽셀 그룹에 해당하는 칼라값을 수정할 수 있다. 보다 구체적인 실시예는 이하 도 9에서 살펴보기로 한다.
도 9는 GPU(410)가 확장된 오클루젼 맵에 기초하여 제 2 영상의 칼라 버퍼를 수정하는 실시예를 나타낸다.
일 실시예에 따라, 쉐이더(412)는 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들(912)을 결정할 수 있다. 이어서, 쉐이더(412)는, 제 1 영상의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들(912) 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정할 수 있고, 제 2 영상의 다른 일부 픽셀들(914) 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼(910)를 생성할 수 있다. 도 9의 제 2 영상의 칼라 버퍼(910)에서, 일부 픽셀들(912) 각각의 칼라값은 R로 결정되었고, 다른 일부 픽셀들(914) 각각의 칼라값은 임의의 값인 #으로 결정되었으나, 칼라값은 R 또는 #으로 한정되지 않는다. 또한, 설명의 편의 상 일부 픽셀들(912) 각각의 칼라값이 R로 표시되었지만, 일부 픽셀들(912) 각각의 칼라값은 서로 다른 값을 가질 수 있다.
일 실시예에 따라, 래스터라이저(414)는 확장된 오클루젼 맵(820)에 기초하여, 제 2 영상의 제 1 픽셀 그룹(922)을 선택하여 래스터화를 수행할 수 있다.
일 실시예에 따라, GPU(410)는, 제 1 픽셀 그룹(922)에 대한 래스터화에 이어서, 제 1 픽셀 그룹(922)에 대해 픽셀 쉐이딩과 같은 추가적인 연산을 수행할 수 있고, 결과적으로 제 1 픽셀 그룹(922) 각각의 칼라값을 계산할 수 있다. 도 9의 제 2 영상의 제 1 픽셀 그룹(922) 각각의 칼라값이 C로 계산되었으나, 칼라값은 C로 한정되지 않는다. 또한, 설명의 편의 상 제 1 픽셀 그룹(922) 각각의 칼라값이 C로 표시되었지만, 제 1 픽셀 그룹(922) 각각의 칼라값은 서로 다른 값을 가질 수 있다.
따라서, GPU(410)는 제 2 영상의 칼라 버퍼(910)에서 임의의 값 #으로 결정되었던 다른 일부 픽셀들(914) 각각의 칼라값을, 렌더링을 통해 계산된 칼라값인 C로 수정할 수 있다. 또한, 렌더링 결과 계산된 제 2 픽셀 그룹(924)의 픽셀들 각각의 칼라값인 C와 제 2 픽셀 그룹(924)과 동일한 위치의 픽셀들인 칼라 버퍼(910)의 픽셀 그룹(916)의 칼라값인 R을 이용하여, 픽셀 그룹(916)의 칼라값 R을 A으로 수정할 수 있고, 결과적으로 완성된 제 2 영상의 칼라 버퍼(930)를 완성할 수 있다. 예를 들어, GPU(410)는 칼라값 R과 칼라값 C의 평균치를 계산하여, 계산된 평균치 A을 픽셀 그룹(916)의 칼라값으로 수정할 수 있다. 또한, 설명의 편의상 수정된 칼라값이 A로 표시되었지만, 칼라값은 서로 다른 값을 가질 수 있다.
도 10은 일 실시예에 따라, 디바이스(400)가 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법을 나타낸다.
도 10에 도시된 방법은, 도 4의 디바이스(400)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s1010에서, 디바이스(400)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행할 수 있다. 디바이스(400)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 버퍼를 생성할 수 있다. 또한, 디바이스(400)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 칼라 버퍼를 생성할 수 있다. 디바이스(400)는 생성된 제 1 영상의 깊이 버퍼 및 제 1 영상의 칼라 버퍼를 내부 메모리에 저장할 수 있다.
단계 s1020에서, 디바이스(400)는, 제 1 영상의 깊이 버퍼를 기초로, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하여, 오클루젼 맵을 생성할 수 있다. 즉, 디바이스(400)는 제 1 영상의 깊이 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정할 수 있고, 디바이스(400)는 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵을 생성할 수 있다. 일 실시예에 따라, 디바이스(400)는 제 2 영상의 일부 픽셀들에 대해서는 0의 값을 설정하고, 제 2 영상의 다른 일부 픽셀들에 대해서는 1의 값을 설정하여, 오클루션 맵을 생성할 수 있다. 다만, 0 또는 1의 값은 일 예시일 뿐, 오클루젼 맵은 0 또는 1 이외의 값을 포함할 수 있다.
또한, 일 실시예에 따라, 디바이스(400)는 제 1 영상의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성할 수 있다. 이어서, 디바이스(400)는 제 2 영상의 칼라 버퍼에 기초하여, 임의의 값으로 결정된 제 2 영상의 다른 일부 픽셀들을 확인함으로써, 제 2 영상의 일부 픽셀들과 제 2 영상의 다른 일부 픽셀들을 구분하는, 오클루젼 맵을 생성할 수 있다.
일 실시예에 따라, 디바이스(400)는 생성된 오클루젼 맵 또는 제 2 영상의 칼라 버퍼를 내부 메모리에 저장할 수 있다.
단계 s1030에서, 디바이스(400)는 오클루젼 맵에 기초하여, 제 2 영상 내의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 즉, 디바이스(400)는 오클루젼 맵에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 보다 구체적으로, 오클루젼 맵에서 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들, 및 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들이 구분되어 있기 때문에, 디바이스(400)는 오클루젼 맵에 따라, 제 2 영상의 일부 픽셀들에 대해서는 래스터화를 수행하지 않고, 제 2 영상의 다른 일부 픽셀들에 대해서는 래스터화를 수행할 수 있다.
디바이스(400)는 일 실시예에 따라, 제 2 영상의 다른 일부 픽셀들에 대한 래스터화에 이어서, 제 2 영상의 다른 일부 픽셀들에 대해 픽셀 쉐이딩과 같은 추가적인 연산을 수행할 수 있고, 결과적으로 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산할 수 있다. 따라서, 디바이스(400)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 통해, 기 생성된 제 2 영상의 칼라 버퍼를 수정할 수 있다. 즉, 디바이스(400)는 제 2 영상의 칼라 버퍼에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다.
따라서, 디바이스(400)는 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행함으로써, 제 2 영상의 칼라 버퍼를 완성할 수 있다. 일 실시예에 따라, 디바이스(400)는 완성된 제 2 영상의 칼라 버퍼를 통해, 제 2 영상을 출력할 수 있다.
도 11은 일 실시예에 따라, 디바이스(1100)에 대한 블록도를 나타낸다.
디바이스(1100)는 일 실시예에 따라, GPU(1110), 메모리(1120) 및 Bus(1130)를 포함할 수 있다. 도 11에 도시된 디바이스(1100)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 11에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
GPU(1110)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행할 수 있다. GPU(1110)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 버퍼(1122)를 생성할 수 있다. 제 1 영상의 깊이 버퍼(1122)는 제 1 영상의 픽셀들 각각의 깊이값을 포함할 수 있다. 또한, GPU(1110)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 칼라 버퍼(1124)를 생성할 수 있다. 제 1 영상의 칼라 버퍼(1124)는 제 1 영상의 각 픽셀의 칼라값을 포함할 수 있다.
메모리(1120)는 일 실시예에 따라, 제 1 영상에 대한 렌더링 결과 생성되는 제 1 영상의 깊이 버퍼(1122)를 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(1120)는 제 1 영상에 대한 렌더링 결과 생성되는 제 1 영상의 칼라 버퍼(1124)를 저장할 수 있다.
GPU(1110)는 일 실시예에 따라, 쉐이더(1112) 및 Z-테스트부(1114)를 포함할 수 있다. 도 11에 도시된 GPU(1110)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 11에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시예에 따라, 쉐이더(1112)는 메모리(1120)에 저장된 제 1 영상의 깊이 버퍼(1122)에 기초하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정할 수 있다. 또한, 일 실시예에 따라, 쉐이더(1112)는 제 1 영상의 깊이 버퍼(1122)에 기초하여, 제 2 영상의 일부 픽셀들 각각의 깊이값은 제 1 영상의 픽셀들 각각의 깊이값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 깊이값은 소정의 값으로 결정하여, 제 2 영상의 깊이 버퍼(1126)를 생성할 수 있다. 소정의 값은 사용자에 의해 기 설정된 초기값(clear value)일 수 있다.
마찬가지로, 쉐이더(1112)는, 제 1 영상의 칼라 버퍼(1124)에 기초하여, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼(1128)를 생성할 수 있다. 임의의 값은 사용자에 의해 기 설정된 값일 수 있다.
도 12는 쉐이더(1112)가 제 2 영상의 깊이 버퍼를 생성하는 일 실시예를 나타낸다.
도 12의 영역(1210)은 제 1 시점(1212) 및 제 2 시점(1214)에서 스크린(1216)을 통해 객체(1218)를 바라보는 것을 나타낸다. 따라서, GPU(1110)는 제 1 시점(1212) 및 제 2 시점(1214) 각각을 기준으로, 양안 시차 영상에 대한 렌더링을 수행할 수 있다.
GPU(1110)는 일 실시예에 따라, 제 1 시점(1212)을 기준으로 제 1 영상(1220)에 대한 렌더링을 수행할 수 있다. 따라서, GPU(1110)는 제 1 영상(1220)에 대한 렌더링을 수행하여, 객체(1218)를 나타내는 제 1 영상(1220)의 깊이 버퍼 또는 칼라 버퍼를 생성할 수 있다. 즉, GPU(1110)는 객체(1218)를 나타내는 픽셀들(1222) 각각의 깊이값 및 칼라값을 계산할 수 있다.
쉐이더(1112)는 제 1 영상(1220)의 깊이 버퍼에 기초하여, 리프로젝션을 수행할 수 있다. 즉, 쉐이더(1112)는 픽셀들(1222)의 깊이값에 기초하여, 픽셀들(1222)과 대응되는 제 2 영상(1230)의 일부 픽셀들(1232)을 결정할 수 있다. 따라서, 쉐이더(1112)는, 제 2 영상(1230)의 일부 픽셀들(1232)과 동일한 위치의 픽셀들(1242)에 대해서는 제 1 영상(1220)의 픽셀들(1222) 각각의 깊이값 z로 설정하고, 제 2 영상(1230)의 다른 일부 픽셀들(1234)과 동일한 위치의 픽셀들(1244)에 대해서는 소정의 값 0으로 설정하여, 제 2 영상(1230)의 깊이 버퍼(1240)를 생성할 수 있다. 또한, 설명의 편의상 픽셀들(1242) 각각의 깊이값이 z로 표시되었지만, 픽셀들(1242) 각각의 깊이값은 서로 다른 값을 가질 수 있다. 또한, 쉐이더(1112)는 제 1 영상(1220)의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들(1232) 각각의 칼라값은 제 1 영상(1220)의 픽셀들(1222) 각각의 칼라값으로 결정하고, 제 2 영상(1230)의 다른 일부 픽셀들(1234) 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상(1230)의 칼라 버퍼를 생성할 수 있다.
도 11의 메모리(1120)는, 일 실시예에 따라, 쉐이더(1112)에 의해 생성된 제 2 영상의 깊이 버퍼(1126) 및 제 2 영상의 칼라 버퍼(1128)를 저장할 수 있다.
GPU(1110)는 일 실시예에 따라, 메모리(1120)에 저장된 제 2 영상의 깊이 버퍼(1126) 또는 제 2 영상의 칼라 버퍼(1128)에 기초하여, 제 2 영상의 픽셀들에 대한 선택적 렌더링을 수행할 수 있다. 일 실시예에 따라, GPU(1110)는 메모리(1120)에 저장된 제 2 영상의 깊이 버퍼(1126)에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 보다 구체적으로, Z-테스트부(1114)는, 일 실시예에 따라, 메모리(1120)에 저장된 제 2 영상의 깊이 버퍼(1126)를 이용하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들, 및 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들에 대한 깊이 테스트(Z-test)를 수행할 수 있다. 메모리(1120)에 저장된 제 2 영상의 깊이 버퍼(1126)에서 제 2 영상의 일부 픽셀들은 제 1 영상의 픽셀들의 깊이값을 갖기 때문에, 제 2 영상의 일부 픽셀들은 깊이 테스트를 통과하지 못하게 되고, 결과적으로, GPU(1110)는 깊이 테스트 이후의 과정에서 제 2 영상의 일부 픽셀들에 대한 연산을 수행하지 않는다. 또한, 메모리(1120)에 저장된 제 2 영상의 깊이 버퍼(1126)에서 제 2 영상의 다른 일부 픽셀들은 초기값과 같은 소정의 값을 갖기 때문에, 제 2 영상의 다른 일부 픽셀들은 깊이 테스트를 통과하여, GPU(1110)는, 깊이 테스트 이후의 과정에서, 제 2 영상의 다른 일부 픽셀들에 대한 연산을 계속하여 수행할 수 있다. 일 실시예에 따라, GPU(1110)는 깊이 테스트를 통과한 제 2 영상의 다른 일부 픽셀들에 대해 픽셀 쉐이딩(pixel shading)을 수행할 수 있고, 결과적으로, GPU(1110)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산할 수 있다. 따라서, GPU(1110)는 메모리(1120)에 기 저장된 제 2 영상의 칼라 버퍼(1128)를 읽어낼 수 있고, GPU(1110)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 통해, 읽어낸 제 2 영상의 칼라 버퍼(1128)를 수정할 수 있다. 즉, GPU(1110)는 제 2 영상의 칼라 버퍼(1128)에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다.
따라서, GPU(1110)는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있고, 메모리(1120)에 기 저장된 제 2 영상의 칼라 버퍼에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다. 즉, GPU(1110)는 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행함으로써, 제 2 영상의 칼라 버퍼를 완성할 수 있다. 일 실시예에 따라, 디바이스(1100)는 완성된 제 2 영상의 칼라 버퍼를 통해, 제 2 영상을 출력할 수 있다.
도 13은 GPU(1110)가 제 2 영상의 칼라 버퍼를 수정하는 실시예를 나타낸다.
일 실시예에 따라, 쉐이더(1112)는 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들(1312)을 결정할 수 있다. 이어서, 쉐이더(1112)는, 제 1 영상의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들(1312) 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정할 수 있고, 제 2 영상의 다른 일부 픽셀들(1314) 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼(1310)를 생성할 수 있다. 도 13의 제 2 영상의 칼라 버퍼(1310)에서, 일부 픽셀들(1312) 각각의 칼라값은 R로 결정되었고, 다른 일부 픽셀들(1314) 각각의 칼라값은 임의의 값인 #으로 결정되었으나, 칼라값은 R 또는 #으로 한정되지 않는다. 또한, 설명의 편의상 일부 픽셀들(1312) 각각의 칼라값이 R로 표시되었지만, 일부 픽셀들(1312) 각각의 칼라값은 서로 다른 값을 가질 수 있다.
일 실시예에 따라, Z-테스트부(1114)는 제 2 영상의 깊이 버퍼에 기초하여, 제 2 영상의 일부 픽셀들(1322) 및 제 2 영상의 다른 일부 픽셀들(1324)에 대한 깊이 테스트(Z-test)를 수행할 수 있다. 도 13에서는, 제 2 영상의 다른 일부 픽셀들(1312)과 제 2 영상의 다른 일부 픽셀들(1324)은 서로 동일한 위치의 픽셀들이다. 이어서, GPU(1110)는 깊이 테스트를 통과한 제 2 영상의 다른 일부 픽셀들(1324)에 대해 픽셀 쉐이딩과 같은 추가적인 연산을 계속하여 수행할 수 있고, 결과적으로 GPU(1110)는 다른 일부 픽셀들(1324) 각각의 칼라값을 계산할 수 있다. 도 13에서 제 2 영상의 다른 일부 픽셀들(1324) 각각의 칼라값이 C로 계산되었으나, 칼라값은 C로 한정되지 않는다. 또한, 설명의 편의 상, 다른 일부 픽셀들(1324) 각각의 칼라값이 C로 표시되었지만, 다른 일부 픽셀들(1324) 각각의 칼라값은 서로 다른 값을 가질 수 있다.
따라서, GPU(1110)는 제 2 영상의 칼라 버퍼(1310)에서 임의의 값 #으로 결정되었던 다른 일부 픽셀들(1314) 각각의 칼라값을, 렌더링을 통해 계산된 다른 일부 픽셀들(1324) 각각의 칼라값인 C로 결정하여, 완성된 제 2 영상의 칼라 버퍼(1320)를 생성할 수 있다.
도 14은 일 실시예에 따라, 디바이스(1100)가 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법을 나타낸다.
도 14에 도시된 방법은, 도 11의 디바이스(1100)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s1410에서, 디바이스(1100)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행할 수 있다. 디바이스(1100)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 깊이 버퍼를 생성할 수 있다. 또한, 디바이스(1100)는 일 실시예에 따라, 제 1 영상에 대한 렌더링을 수행하여, 제 1 영상의 칼라 버퍼를 생성할 수 있다. 디바이스(1100)는 생성된 제 1 영상의 깊이 버퍼 및 제 1 영상의 칼라 버퍼를 내부 메모리에 저장할 수 있다.
단계 s1420에서, 디바이스(1100)는 일 실시예에 따라, 제 1 영상의 깊이 버퍼를 기초로, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하여, 제 2 영상의 깊이 버퍼를 생성할 수 있다. 즉, 디바이스(1100)는, 제 1 영상의 깊이 버퍼에 기초하여, 제 2 영상의 일부 픽셀들 각각의 깊이값은 제 1 영상의 픽셀들 각각의 깊이값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 깊이값은 소정의 값으로 결정하여, 제 2 영상의 깊이 버퍼를 생성할 수 있다. 소정의 값은 사용자에 의해 기 설정된 초기값(clear value)일 수 있다.
또한, 디바이스(1100)는, 제 1 영상의 칼라 버퍼에 기초하여, 제 2 영상의 일부 픽셀들 각각의 칼라값은 제 1 영상의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 다른 일부 픽셀들 각각의 칼라값은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성할 수 있다. 임의의 값은 사용자에 의해 기 설정된 값일 수 있다. 디바이스(1100)는 생성된 제 2 영상의 깊이 버퍼 및 제 2 영상의 칼라 버퍼를 내부 메모리에 저장할 수 있다.
단계 s1430에서, 디바이스(1100)는, 제 2 영상의 깊이 버퍼에 기초하여, 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 디바이스(1100)는, 일 실시예에 따라, 제 2 영상의 깊이 버퍼를 이용하여, 제 1 영상의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들, 및 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들에 대한 깊이 테스트(Z-test)를 수행할 수 있다. 제 2 영상의 깊이 버퍼에서 제 2 영상의 일부 픽셀들은 제 1 영상의 픽셀들의 깊이값을 갖기 때문에, 제 2 영상의 일부 픽셀들은 깊이 테스트를 통과하지 못하게 되고, 결과적으로, 디바이스(1100)는 깊이 테스트 이후의 과정에서 제 2 영상의 일부 픽셀들에 대한 연산을 수행하지 않는다. 또한, 제 2 영상의 깊이 버퍼에서 제 2 영상의 다른 일부 픽셀들은 초기값과 같은 소정의 값을 갖기 때문에, 제 2 영상의 다른 일부 픽셀들은 깊이 테스트를 통과하여, 디바이스(1100)는, 깊이 테스트 이후의 과정에서, 제 2 영상의 다른 일부 픽셀들에 대한 연산을 계속하여 수행할 수 있다. 일 실시예에 따라, 디바이스(1100)는 깊이 테스트를 통과한 제 2 영상의 다른 일부 픽셀들에 대해 픽셀 쉐이딩(pixel shading)을 수행할 수 있고, 결과적으로, 디바이스(1100)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 계산할 수 있다. 따라서, 디바이스(1100)는 제 2 영상의 다른 일부 픽셀들 각각의 칼라값을 통해, 기 생성된 제 2 영상의 칼라 버퍼를 수정할 수 있다. 즉, 디바이스(1100)는 제 2 영상의 칼라 버퍼에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다.
따라서, 디바이스(1100)는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있고, 기 생성된 제 2 영상의 칼라 버퍼에서 결정된 임의의 값을, 렌더링 결과 계산되는 제 2 영상의 다른 일부 픽셀들의 칼라값으로 수정할 수 있다. 즉, 디바이스(1100)는 제 2 영상의 모든 픽셀들에 대한 렌더링을 수행하는 것이 아닌, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행함으로써, 제 2 영상의 칼라 버퍼를 완성할 수 있다. 일 실시예에 따라, 디바이스(1100)는 완성된 제 2 영상의 칼라 버퍼를 통해, 제 2 영상을 출력할 수 있다.
도 15는 일 실시예에 따라, 디바이스(1500)에 대한 블록도를 나타낸다.
디바이스(1500)는 애플리케이션(1510), 디바이스 드라이버(1520), GPU(1530) 및 메모리(1540)를 포함할 수 있다. 도 15에 도시된 디바이스(1500)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 15에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
애플리케이션(1510)은 일 실시예에 따라, API(Application Program Interface)를 통하여, 양안 시차 영상(binocular disparity image)에 대한 렌더링 또는 타일 기반 렌더링(tile based rendering)과 관련된 정보를 디바이스 드라이버(1520)에게 제공할 수 있다. 이때, 애플리케이션(1510)은 OpenGL, OpenGL ES 또는 Direct 3 등의 API 표준을 통해 양안 시차 영상에 대한 렌더링 또는 타일 기반 렌더링과 관련된 정보를 디바이스 드라이버(1520)에게 제공할 수 있다. 즉, 애플리케이션(1510)은 양안 시차 영상을 나타내기 위해 양안 시차를 갖는 제 1 영상 및 제 2 영상 각각에 대한 렌더링 또는 타일 기반 렌더링과 관련된 정보를 API를 통해 디바이스 드라이버(1520)에게 제공할 수 있다. 또한, 일 실시예에 따라, 애플리케이션(1510)은 제 1 영상 및 제 2 영상 각각에 대한 렌더링 또는 타일 기반 렌더링과 관련된 정보를 API의 확장 등을 통해 디바이스 드라이버(1520)에게 명시적으로 제공할 수 있다.
디바이스 드라이버(1520)는, 일 실시예에 따라, 애플리케이션(1510)으로부터 수신된 API를 분석하고 GPU(1530)에서 처리 가능한 커맨드(command)로 변환하여, GPU(1530)로 커맨드를 전송할 수 있다. 일 실시예에 따라, 디바이스 드라이버(1520)는 제 1 영상 및 제 2 영상에 대한 적어도 하나의 드로우 커맨드(draw command)를 GPU(1530)로 전송할 수 있다. 드로우 커맨드는 소정의 영상 또는 소정의 프레임에 어떤 오브젝트를 렌더링할 것인지를 나타내는 명령어이며, 일 실시예에 따라 드로우 커맨드는 드로우콜(drawcall)로써 표현할 수 있다. 예를 들어, 드로우 커맨드는 영상 또는 프레임에 소정의 개수의 사각형 또는 삼각형을 그리기 위한 커맨드일 수 있다.
일 실시예에 따라, 디바이스 드라이버(1520)는 드로우 커맨드와 더불어 드로우 커맨드와 연관된 상태 정보(State information)를 GPU(1530)로 전송할 수 있다. 상태 정보는 드로우 커맨드에 바인딩(binding)된 상태를 나타내는바, 상태 정보는 소정의 오브젝트를 렌더링하기 위해 필요한 정보를 의미할 수 있다. 예를 들어, 상태 정보는 소정의 오브젝트에 대한 좌표 정보와 같은 소스 데이터(source data), 텍스쳐 타입(texture type), 카메라 시점 정보를 포함할 수 있으며, 상태 정보는 스테이트(state)로써 표현될 수 있다. 일 실시예에 따라, 디바이스 드라이버(1520)는 하나의 드로우 커맨드와 제 1 영상 및 제 2 영상 각각에 대한 상태 정보를 GPU(1530)로 전송할 수 있다. 제 1 영상 및 제 2 영상 각각은 동일한 오브젝트에 대해 서로 다른 시각에서 바라본 영상이기 때문에, 제 1 영상 및 제 2 영상에 대한 상태 정보는 카메라 시점에 관한 정보만 제 1 영상 및 제 2 영상 각각마다 다르게 표현되고, 나머지 정보들은 제 1 영상 및 제 2 영상 각각마다 동일하게 표현될 수 있다. 즉, 디바이스 드라이버(1520)는 하나의 드로우 커맨드와 더불어 제 1 영상 및 제 2 영상에 대한 한 쌍의 상태 정보를 GPU(1530)로 전송할 수 있다.
GPU(1530)는 일 실시예에 따라, 디바이스 드라이버(1520)로부터 수신한 양안 시차 영상에 대한 드로우 커맨드 및 상태 정보에 기초하여, 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행할 수 있다. 또한, GPU(1530)는 일 실시예에 따라, 디바이스 드라이버(1520)로부터 수신한 양안 시차 영상에 대한 드로우 커맨드 및 상태 정보에 기초하여, 제 1 영상 및 제 2 영상에 대한 타일 기반 렌더링(tile based rendering)을 수행할 수 있다.
GPU(1530) 및 메모리(1540)는 도 1의 GPU(110) 및 메모리(120)에서 설명한 내용, 도 4의 GPU(410) 및 메모리(420)에서 설명한 내용, 또는 도 11의 GPU(1110) 및 메모리(1120)에서 설명한 내용을 포함할 수 있는 바, 중복되는 설명은 생략한다.
도 16은 일 실시예에 따라, 디바이스(1600)에 대한 블록도를 나타낸다.
디바이스(1600)는 애플리케이션(1610), 디바이스 드라이버(1620), GPU(1630) 및 메모리(1640)를 포함할 수 있다. 도 16에 도시된 디바이스(1600)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 16에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
애플리케이션(1610) 및 디바이스 드라이버(1620)는 도 15의 애플리케이션(1510) 및 디바이스 드라이버(1520)의 내용을 포함할 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다. 또한, GPU(1630) 및 메모리(1640)는 도 15의 GPU(1530) 및 메모리(1540)의 내용을 포함할 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
또한, GPU(1630)는 타일 기반 렌더링(tile-based rendering)을 수행할 수 있다. 타일 기반이라는 용어는, 영상의 각 프레임을 복수의 타일들로 구분한(divide 또는 partitioning) 후, 타일 단위로 렌더링을 수행하는 것을 의미한다. 타일 기반의 아키텍쳐는, 픽셀 단위로 프레임을 처리할 때보다 연산량이 적어질 수 있기 때문에, 스마트폰, 태블릿 디바이스와 같이 비교적 처리 성능이 낮은 모바일 디바이스(또는 임베디드 디바이스)에서 사용하는 그래픽스 렌더링 방법일 수 있다. 이하에서는, 설명의 편의성을 위해, GPU(1630)가 렌더링을 수행한다는 표현은 GPU(1630)가 타일 기반 렌더링을 수행한다는 의미를 포함하는 것으로 본다.
GPU(1630)는 일 실시예에 따라, 스케줄러(1632), 그래픽스 파이프라인(graphics pipeline)(1634) 및 타일 버퍼(1636)를 포함할 수 있다. 도 16에 도시된 GPU(1630)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 16에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
스케줄러(1632)는 일 실시예에 따라, 디바이스 드라이버(1620)로부터 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 적어도 하나의 드로우 커맨드 및 상태 정보를 수신할 수 있다.
스케줄러(1632)는 일 실시예에 따라, 적어도 하나의 드로우 커맨드를 소정의 단위를 갖는 배치(batch)들로 분할할 수 있고, 배치들을 그래픽스 파이프라인(1634)에 순차적으로 할당할 수 있다. 예를 들어, 스케줄러(1632)는 100개의 프리미티브(primitive)에 대한 드로우 커맨드를 20개의 프리미티브에 대한 드로우 커맨드의 단위를 갖는 배치들로 분할하여, 드로우 커맨드를 5개의 배치들로써 그래픽스 파이프라인(1634)에 순차적으로 할당할 수 있다. 또한, 일 실시예에 따라, 스케줄러(1632)가 배치들을 그래픽스 파이프라인(1634)에 할당하는 경우, 스케줄러(1632)는 하나의 배치를 제 1 영상 및 제 2 영상 각각을 위해 그래픽스 파이프라인(1634)에 2번씩 할당할 수 있다. 즉, 스케줄러(1632)는 배치들 중 제 1 배치를 그래픽스 파이프라인(1634)에 할당하는 경우, 제 1 영상을 위해 제 1 배치를 그래픽스 파이프라인(1634)에 할당할 수 있고, 이어서, 제 2 영상을 위해 제 1 배치를 그래픽스 파이프라인(1634)에 할당할 수 있다.
그래픽스 파이프라인(1634)은 일 실시예에 따라, 할당된 배치들에 따라 제 1 영상 및 제 2 영상 각각에 대한 타일 비닝(tile binning)을 수행할 수 있다. 타일 비닝은 제 1 영상 및 제 2 영상을 소정의 개수의 타일들로 분할하고, 제 1 영상 및 제 2 영상의 각 타일 상에서 적어도 하나의 드로우 커맨드가 수행되는지 여부를 나타내는 비닝 정보를 생성하는 프로세스일 수 있다. 보다 구체적으로, 타일 비닝은 제 1 영상을 구현하기 위한 제 1 프레임 및 제 2 영상을 구현하기 위한 제 2 프레임 각각을 소정의 개수의 타일들로 분할하는 것이다. 예를 들어, 100ⅹ100 픽셀의 제 1 프레임을 4개의 타일로 분할하게 되면, 1개의 타일의 크기는 25ⅹ25 픽셀이 된다. 따라서, 이하에서는 제 1 영상을 소정의 개수의 타일로 분할하는 내용은 제 1 영상을 구현하기 위한 제 1 프레임을 소정의 개수의 타일로 분할하는 내용과 동등한 것으로 보고, 제 1 영상의 타일이라는 표현은 제 1 영상을 구현하기 위한 제 1 프레임에 포함된 타일이라는 표현과 동등한 것으로 본다. 또한, 타일 비닝은 2차원 또는 3차원 객체들을 구성하는 버텍스들(vertices), 프리미티브들(primitives), 또는 패치들(patches)이 제 1 영상 및 제 2 영상의 어느 타일에 포함되는 지 여부를 나타내는 타일 리스트를 생성하는 프로세스일 수 있다. 또한, 타일 비닝은 제 1 영상 및 제 2 영상의 각 타일마다 포함된 버텍스 또는 프리미티브에 대한 정보를 획득하는 프로세스일 수 있다. 버텍스 또는 프리미티브에 대한 정보의 예로는, 버텍스 또는 프리미티브의 식별자, 위치, 색상 및 질감에 대한 정보가 될 수 있다.
일 실시예에 따라, 그래픽스 파이프라인(1634)은 할당된 배치들 및 할당된 배치들과 연관된 상태 정보들에 따라 제 1 영상 및 제 2 영상 각각에 대한 타일 비닝을 수행할 수 있다. 일 실시예에 따라, 그래픽스 파이프라인(1634)은 할당된 배치들 중 제 1 배치 및 제 1 배치와 연관된 상태 정보를 수신할 수 있다. 제 1 배치와 연관된 상태 정보는 제 1 영상 및 제 2 영상 각각의 카메라 시점 정보를 포함하므로, 그래픽스 파이프라인(1634)은, 제 1 배치를 한번만 할당 받더라도, 제 1 배치 및 제 1 배치와 연관된 상태 정보에 따라, 제 1 영상에 대한 타일 비닝과 제 2 영상에 대한 타일 비닝을 각각 수행할 수 있다. 또한, 일 실시예에 따라, 그래픽스 파이프라인(1634)은 제 1 배치 및 제 1 배치와 연관된 상태 정보를 제 1 영상 및 제 2 영상 각각에 대해 2번 할당 받을 수 있고, 그래픽스 파이프라인(1634)은 제 1 영상에 대한 타일 비닝과 제 2 영상에 대한 타일 비닝을 각각 수행할 수 있다.
그래픽스 파이프라인(1634)은 타일 비닝을 수행하여, 적어도 하나의 드로우 커맨드가 제 1 영상 및 제 2 영상의 어느 타일 상에서 수행되는 지 여부를 나타내는 비닝 정보(binning information)를 생성할 수 있다. 일 실시예에 따라, 그래픽스 파이프라인(1634)은 타일 비닝의 수행 결과 생성된 비닝 정보를 타일 버퍼(1636) 또는 메모리(1640)에 저장할 수 있다.
그래픽스 파이프라인(1634)은 생성된 비닝 정보에 기초하여, 제 1 영상의 타일들 각각에 대한 렌더링을 수행할 수 있다.
일 실시예에 따라, 그래픽스 파이프라인(1634)은 제 1 영상의 타일들인 제 1 타일 내지 제 n 타일에 대한 렌더링을 순차적으로 수행하여, 제 1 타일 내지 제 n 타일 각각의 깊이 버퍼 또는 칼라 버퍼를 생성할 수 있다. 또한, 타일 버퍼(1636)는 순차적으로 생성된 적어도 하나의 타일의 깊이 버퍼 또는 칼라 버퍼를 허용 가능한 용량만큼 임시로 저장할 수 있다. 이어서, flush 명령어에 따라, 임시로 저장된 적어도 하나의 깊이 버퍼 또는 칼라 버퍼는 메모리(1640)에 저장될 수 있다. 따라서, 제 1 영상의 타일들인 제 1 타일 내지 제 n 타일 각각의 깊이 버퍼는 제 1 영상의 깊이 버퍼로써 메모리(1640)에 저장될 수 있다. 또한, 제 1 영상의 타일들인 제 1 타일 내지 제 n 타일 각각의 칼라 버퍼는 제 1 영상의 칼라 버퍼로써 메모리(1640)에 저장될 수 있다.
이어서, 그래픽스 파이프라인(1634)은 메모리(1640)에 저장된 제 1 영상의 깊이 버퍼 및 칼라 버퍼를 기초로 리프로젝션을 수행하여, 제 2 영상의 깊이 버퍼 및 칼라 버퍼를 생성할 수 있다. 또한, 그래픽스 파이프라인(1634)은 메모리(1640)에 저장된 제 1 영상의 깊이 버퍼 및 칼라 버퍼를 기초로 리프로젝션을 수행하여, 오클루젼 맵 및 제 2 영상의 칼라 버퍼를 생성할 수 있다.
다른 실시예에 따라, 그래픽스 파이프라인(1634)은 제 1 영상의 타일들 중 제 1 타일에 대한 렌더링을 수행하여, 제 1 타일의 깊이 버퍼 및 칼라 버퍼를 생성할 수 있다. 타일 버퍼(1636)는, 생성된 제 1 타일의 깊이 버퍼 및 칼라 버퍼를 저장할 수 있다. 이어서, 그래픽스 파이프라인(1634)은 타일 버퍼(1636)에 저장된 제 1 타일의 깊이 버퍼에 기초하여, 제 1 타일의 픽셀들과 대응되는 제 2 영상의 제 1 픽셀들을 결정할 수 있다. 이어서, 그래픽스 파이프라인(1634)은 제 1 영상의 타일들 중 제 2 타일에 대한 렌더링을 수행하여, 제 2 타일의 깊이 버퍼 및 칼라 버퍼를 생성할 수 있다. 타일 버퍼(1636)는, 생성된 제 2 타일의 깊이 버퍼 및 칼라 버퍼를 저장할 수 있다. 이어서, 그래픽스 파이프라인(1634)은 타일 버퍼(1636)에 저장된 제 2 타일의 깊이 버퍼에 기초하여, 제 2 타일의 픽셀들과 대응되는 제 2 영상의 제 2 픽셀들을 결정할 수 있다. 마찬가지로, 그래픽스 파이프라인(1634)은 제 1 영상의 타일들 중 제 n 타일에 대한 렌더링을 수행하고, 제 n 타일의 깊이 버퍼에 기초하여, 제 n 타일의 픽셀들과 대응되는 제 2 영상의 제 n 픽셀들을 결정할 수 있다. 따라서, 그래픽스 파이프라인(1634)은 제 2 영상의 제 1 픽셀들 내지 제 n 픽셀들과, 제 2 영상의 나머지 픽셀들을 구분하는 오클루젼 맵을 생성할 수 있고, 생성된 오클루젼 맵을 메모리(1640)에 저장할 수 있다. 또한, 그래픽스 파이프라인(1634)은, 제 1 타일 내지 제 n 타일의 칼라 버퍼에 기초하여, 제 2 영상의 제 1 픽셀들 내지 제 n 픽셀들 각각의 칼라값을 제 1 타일 내지 제 n 타일의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 나머지 픽셀들은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성할 수 있다. 마찬가지로, 그래픽스 파이프라인(1634)은, 제 1 타일 내지 제 n 타일의 깊이 버퍼에 기초하여, 제 2 영상의 제 1 픽셀들 내지 제 n 픽셀들 각각의 깊이값을 제 1 타일 내지 제 n 타일의 픽셀들 각각의 깊이값으로 결정하고, 제 2 영상의 나머지 픽셀들은 소정의 값으로 결정하여, 제 2 영상의 깊이 버퍼를 생성할 수 있다. 또한, 그래픽스 파이프라인(1634)은, 생성된 제 2 영상의 칼라 버퍼 및 깊이 버퍼를 메모리(1640)에 저장할 수 있다.
그래픽스 파이프라인(1634)은 일 실시예에 따라, 메모리(1640)에 저장된 제 2 영상의 깊이 버퍼 및 칼라 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 즉, 일 실시예에 따라, 그래픽스 파이프라인(1634)은 제 2 영상의 깊이 버퍼 및 칼라 버퍼에 포함된 제 2 영상의 제 1 타일 내지 제 n 타일 각각의 깊이 버퍼 및 칼라 버퍼를 메모리(1640)로부터 순차적으로 읽어내어 타일 렌더링을 수행할 수 있다. 즉, 그래픽스 파이프라인(1634)은 제 2 영상의 제 n 타일의 깊이 버퍼 및 칼라 버퍼를 메모리(1640)로부터 읽어내어 타일 버퍼(1636)에 저장할 수 있다. 이어서, 그래픽스 파이프라인(1634)은 타일 버퍼(1636)에 저장된 제 n 타일의 깊이 버퍼 및 칼라 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 제 n 타일의 픽셀들을 선택하여 렌더링을 수행할 수 있다. 렌더링 수행 결과 결정된 제 n 타일의 픽셀들의 칼라값은 제 n 타일의 칼라 버퍼에 저장될 수 있고, 제 n 타일의 칼라 버퍼는 메모리(1640)에 저장될 수 있다. 또한, 그래픽스 파이프라인(1634)은 일 실시예에 따라, 메모리(1640)에 저장된 오클루젼 맵 및 칼라 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 즉, 일 실시예에 따라, 그래픽스 파이프라인(1634)은 오클루젼 맵에 기초하여, 제 2 영상의 칼라 버퍼에 포함된 제 2 영상의 제 1 타일 내지 제 n 타일 각각의 칼라 버퍼를 메모리(1640)로부터 순차적으로 읽어내어 타일 렌더링을 수행할 수 있다.
또한, 일 실시예에 따라, 스케줄러(1632)는 제 2 영상의 제 1 타일 내지 제 n 타일 각각에 대한 스케줄링을 할 수 있고, 스케줄링에 따라 그래픽스 파이프라인(1634)은 제 2 영상의 제 1 타일 내지 제 n 타일에 대한 타일 렌더링을 수행할 수 있다.
스케줄러(1632)는 일 실시예에 따라, 오클루젼 맵에 기초하여, 제 2 영상의 제 1 타일 내지 제 n 타일 각각에 대한 스케줄링을 수행할 지 여부를 결정할 수 있다. 이어서, 그래픽스 파이프라인(1634)은 스케줄링을 수행하기로 결정된 타일에 대한 타일 렌더링을 수행할 수 있다. 즉, 스케줄러(1632)는, 오클루젼 맵에 기초하여 결정된 제 2 영상의 소정의 타일에 대해서는 스케줄링을 생략할 수 있고, 결과적으로 그래픽스 파이프라인(1634)은 소정의 타일에 대한 렌더링을 생략할 수 있다. 일 실시예에 따라, 스케줄러(1632)는 오클루젼 맵에 기초하여, 제 2 영상의 제 1 타일의 픽셀들 중에 제 1 영상의 픽셀들과 대응되는 픽셀이 있는 지 여부를 확인할 수 있고, 제 1 영상의 픽셀들과 대응되는 픽셀이 제 1 타일에 없다면, 스케줄러(1632)는 제 1 타일에 대한 스케줄링을 생략할 수 있다. 따라서, 그래픽스 파이프라인(1634)은 제 2 영상의 제 1 타일에 대한 렌더링을 생략할 수 있다. 또한, 일 실시예에 따라, 그래픽스 파이프라인(1634)은 오클루젼 맵을 생성할 때, 제 2 영상의 각 타일마다 제 1 픽셀들과 대응되는 픽셀의 개수를 오클루젼 맵의 헤더(header) 정보로써 생성할 수 있다. 따라서, 스케줄러(1632)는 오클루젼 맵의 헤더 정보를 확인하여, 제 2 영상의 각 타일마다 스케줄링을 수행할 지 여부를 결정할 수 있다.
도 17은 일 실시예에 따라, 디바이스(1700)에 대한 블록도를 나타낸다.
디바이스(1700)는 애플리케이션(1710), 디바이스 드라이버(1720), GPU(1730) 및 메모리(1740)를 포함할 수 있다. 도 17에 도시된 디바이스(1700)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 17에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
애플리케이션(1710), 디바이스 드라이버(1720), GPU(1730) 및 메모리(1740)는 도 16의 애플리케이션(1610), 디바이스 드라이버(1620), GPU(1630) 및 메모리(1640)의 내용을 포함할 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
GPU(1730)는 일 실시예에 따라, 스케줄러(1732), 복수의 그래픽스 파이프라인들(1734) 및 타일 버퍼(1736)를 포함할 수 있다. 도 17에 도시된 GPU(1730)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 17에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
또한, 스케줄러(1732) 및 타일 버퍼(1736)는 도 16의 스케줄러(1632) 및 타일 버퍼(1636)의 내용을 포함할 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다. 또한, 복수의 그래픽스 파이프라인들(1734) 각각은 도 16의 그래픽스 파이프라인(1634)의 내용을 포함할 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
스케줄러(1732)는 일 실시예에 따라, 적어도 하나의 드로우 커맨드를 소정의 단위를 갖는 배치들로 분할할 수 있고, 배치들을 복수의 그래픽스 파이프라인들(1734) 각각마다 할당할 수 있다. 또한, 일 실시예에 따라, 스케줄러(1732)가 배치들을 복수의 그래픽스 파이프라인들(1734) 각각에 할당하는 경우, 스케줄러(1732)는 하나의 배치를 제 1 영상 및 제 2 영상 각각을 위해 하나의 그래픽스 프로세서에 2번씩 할당할 수 있다. 즉, 스케줄러(1732)는 배치들 중 제 1 배치를 복수의 그래픽스 파이프라인들(1734) 중 제 1 그래픽스 프로세서에 할당하는 경우, 제 1 영상을 위해 제 1 배치를 제 1 그래픽스 프로세서에 할당할 수 있고, 제 2 영상을 위해 제 1 배치를 제 1 그래픽스 프로세서에 할당할 수 있다.
복수의 그래픽스 파이프라인들(1734)은 일 실시예에 따라, 할당된 배치들에 따라 제 1 영상 및 제 2 영상 각각에 대한 타일 비닝(tile binning)을 수행할 수 있다.
일 실시예에 따라, 복수의 그래픽스 파이프라인들(1734)은 할당된 배치들 및 할당된 배치들과 연관된 상태 정보들에 따라 제 1 영상 및 제 2 영상 각각에 대한 타일 비닝을 수행할 수 있다. 일 실시예에 따라, 복수의 그래픽스 파이프라인들(1734) 중 제 1 그래픽스 프로세서는 할당된 배치들 중 제 1 배치 및 제 1 배치와 연관된 상태 정보를 수신할 수 있다. 제 1 배치와 연관된 상태 정보는 제 1 영상 및 제 2 영상 각각의 카메라 시점 정보를 포함하므로, 제 1 그래픽스 프로세서는, 제 1 배치를 한번만 할당 받더라도, 제 1 배치 및 제 1 배치와 연관된 상태 정보에 따라, 제 1 영상에 대한 타일 비닝과 제 2 영상에 대한 타일 비닝을 각각 수행할 수 있다. 또한, 일 실시예에 따라, 제 1 그래픽스 프로세서는 제 1 배치 및 제 1 배치와 연관된 상태 정보를 제 1 영상 및 제 2 영상 각각에 대해 2번 할당 받을 수 있고, 제 1 그래픽스 프로세서는 제 1 영상에 대한 타일 비닝과 제 2 영상에 대한 타일 비닝을 각각 수행할 수 있다.
도 18은 GPU(1730)가 타일 비닝을 수행하는 실시예를 나타낸다.
스케줄러(1732)는 일 실시예에 따라, 드로우 커맨드(1810)를 복수의 배치들(1820)로 분할할 수 있다. 또한, 스케줄러(1732)는 복수의 배치들(1820)을 제 1 영상에 대한 복수의 배치들(1830)로써 복수의 그래픽스 파이프라인들(1734)에 할당할 수 있고, 복수의 배치들(1820)을 제 2 영상에 대한 복수의 배치들(1840)로써 복수의 그래픽스 파이프라인들(1734)에 할당할 수 있다. 즉, 스케줄러(1732)는 복수의 배치들(1820)을 두번씩 복수의 그래픽스 파이프라인들(1734)에 할당할 수 있다.
복수의 그래픽스 파이프라인들(1734)은 할당된 배치들 및 할당된 배치들과 연관된 상태 정보에 기초하여, 제 1 영상 및 제 2 영상 각각에 대한 타일 비닝을 수행할 수 있다.
또한, 도 18에서 점선 화살표로 도시된 바와 같이, 스케줄러(1732)는 복수의 배치들(1820)을 한번씩만 복수의 그래픽스 파이프라인들(1734)에 할당할 수 있다. 또한, 스케줄러(1732)는 복수의 배치들(1820)과 연관된 상태 정보를 타일 버퍼(1736)에 저장할 수 있다. 따라서, 복수의 그래픽스 파이프라인들(1734) 각각은 타일 버퍼(1736)에 저장된 상태 정보 및 복수의 배치들(1820)에 따라, 제 1 영상에 대한 타일 비닝과 제 2 영상에 대한 타일 비닝을 각각 수행할 수 있다.
따라서, 그래픽스 파이프라인에 할당된 배치는 동일한 프리미티브를 대상으로 하기 때문에, 할당된 배치에 기초하여 그래픽스 파이프라인이 제 1 영상 및 제 2 영상 각각에 대해 동일한 프리미티브를 대상으로 타일 비닝을 수행할 수 있고, 이는 프리미티브에 대한 정보가 저장되어 있는 내부 메모리로의 접근을 최소화시킬 수 있다.
복수의 그래픽스 파이프라인들(1734)은 타일 비닝을 수행하여, 적어도 하나의 드로우 커맨드가 제 1 영상 및 제 2 영상의 어느 타일 상에서 수행되는 지 여부를 나타내는 비닝 정보(binning information)를 생성할 수 있다. 일 실시예에 따라, 복수의 그래픽스 파이프라인들(1734)은 타일 비닝의 수행 결과 생성된 비닝 정보를 타일 버퍼(1736) 또는 메모리(1740)에 저장할 수 있다.
도 19는 일 실시예에 따라, 디바이스(1500,1600,1700)가 양안 시차를 갖는 제 1 영상 및 제 2 영상에 대한 타일 기반 렌더링을 수행하는 방법을 나타낸다.
도 19에 도시된 방법은, 도 15, 도16, 도 17의 디바이스(1500,1600,1700)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s1910에서, 디바이스(1500,1600,1700)는 적어도 하나의 드로우 커맨드에 기초하여, 양안 시차를 갖는 제 1 영상 및 제 2 영상 각각에 대해 타일 비닝을 수행할 수 있다. 보다 구체적으로, 디바이스(1500,1600,1700)는 적어도 하나의 드로우 커맨드, 및 적어도 하나의 드로우 커맨드와 연관된 상태 정보에 기초하여, 타일 비닝을 수행할 수 있다. 타일 비닝을 수행하는 보다 구체적인 실시예는 이하 도 20에서 살펴보기로 한다.
도 20은 일 실시예에 따라, 도 19의 s1910을 보다 구체적으로 설명하기 위한 도면이다.
단계 2010에서, 디바이스(1700)는 일 실시예에 따라, 적어도 하나의 드로우 커맨드를 소정의 단위를 갖는 배치들로 분할할 수 있고, 분할된 배치들을 디바이스(1700) 내의 복수의 그래픽스 파이프라인들 각각마다 할당할 수 있다. 또한, 일 실시예에 따라, 디바이스(1700)는 배치들 각각을 제 1 영상 및 제 2 영상 각각을 위해 복수의 그래픽스 파이프라인들 각각에 2번씩 할당할 수 있다. 즉, 디바이스(1700)는 배치들 중 제 1 배치를 복수의 그래픽스 파이프라인들 중 제 1 그래픽스 프로세서에 할당하는 경우, 제 1 영상을 위해 제 1 배치를 제 1 그래픽스 파이프라인에 할당할 수 있고, 제 2 영상을 위해 제 1 배치를 제 1 그래픽스 파이프라인에 할당할 수 있다.
단계 s2020에서, 디바이스(1700)는 일 실시예에 따라, 할당된 배치들 및 배치들와 대응되는 상태 정보에 기초하여, 제 1 영상 및 제 2 영상 각각에 대한 타일 비닝을 수행할 수 있다. 보다 구체적으로, 디바이스(1700) 내의 복수의 그래픽스 파이프라인들은 배치들 및 배치들과 연관된 상태 정보를 2번 할당 받을 수 있고, 이에 따라 복수의 그래픽스 파이프라인들은 제 1 영상에 대한 타일 비닝과 제 2 영상에 대한 타일 비닝을 각각 수행할 수 있다. 또한, 복수의 그래픽스 파이프라인들은 배치들과 연관된 상태 정보가 제 1 영상 및 제 2 영상 각각의 카메라 시점 정보를 포함하기 때문에, 배치들 및 상태 정보를 한번만 할당 받더라도, 제 1 영상에 대한 타일 비닝과 제 2 영상에 대한 타일 비닝을 각각 수행할 수 있다.
도 19의 단계 s1920에서, 디바이스(1500,1600,1700)는 제 1 영상의 타일들에 대한 렌더링을 수행할 수 있다. 즉, 디바이스(1500,1600,1700)는 제 1 영상의 타일들인 제 1 타일 내지 제 n 타일에 대한 렌더링을 순차적으로 수행하여, 제 1 타일 내지 제 n 타일 각각의 깊이 버퍼 또는 칼라 버퍼를 생성할 수 있다. 또한, 일 실시예에 따라, 디바이스(1500,1600,1700)는 순차적으로 생성된 적어도 하나의 타일의 깊이 버퍼 또는 칼라 버퍼를 허용 가능한 용량만큼 임시로 내부 버퍼에 저장할 수 있다. 이어서, flush 명령어에 따라, 내부 버퍼에 임시로 저장된 적어도 하나의 깊이 버퍼 또는 칼라 버퍼는 디바이스(1500,1600,1700)의 내부 메모리에 저장될 수 있다. 따라서, 제 1 영상의 타일들인 제 1 타일 내지 제 n 타일 각각의 깊이 버퍼는 제 1 영상의 깊이 버퍼로 디바이스(1500,1600,1700)의 내부 메모리에 저장될 수 있다. 또한, 제 1 영상의 타일들인 제 1 타일 내지 제 n 타일 각각의 칼라 버퍼는 제 1 영상의 칼라 버퍼로써 디바이스(1500,1600,1700)의 내부 메모리에 저장될 수 있다.
단계 s1930에서, 디바이스(1500,1600,1700)는 제 1 영상의 타일들 각각의 깊이 버퍼를 기초로, 제 1 영상의 타일들의 픽셀들과 대응되는 제 2 영상의 일부 픽셀들을 결정하여, 리프로젝션을 수행할 수 있다. 보다 구체적으로, 디바이스(1500,1600,1700)는 제 1 영상의 타일들 중 제 1 타일의 깊이 버퍼에 기초하여, 제 1 타일의 픽셀들과 대응되는 제 2 영상의 제 1 픽셀들을 결정할 수 있다. 이어서, 디바이스(1500,1600,1700)는 제 1 영상의 타일들 중 제 2 타일의 깊이 버퍼에 기초하여, 제 2 타일의 픽셀들과 대응되는 제 2 영상의 제 2 픽셀들을 결정할 수 있다. 마찬가지로, 디바이스(1500,1600,1700)는 제 1 영상의 타일들 중 제 n 타일의 깊이 버퍼에 기초하여, 제 n 타일의 픽셀들과 대응되는 제 2 영상의 제 n 픽셀들을 결정할 수 있다. 따라서, 디바이스(1500,1600,1700)는 제 2 영상의 제 1 픽셀들 내지 제 n 픽셀들과, 제 2 영상의 나머지 픽셀들을 구분하는 오클루젼 맵을 생성할 수 있고, 생성된 오클루젼 맵을 내부 메모리에 저장할 수 있다. 또한, 디바이스(1500,1600,1700)는, 제 1 타일 내지 제 n 타일의 칼라 버퍼에 기초하여, 제 2 영상의 제 1 픽셀들 내지 제 n 픽셀들 각각의 칼라값을 제 1 타일 내지 제 n 타일의 픽셀들 각각의 칼라값으로 결정하고, 제 2 영상의 나머지 픽셀들은 임의의 값으로 결정하여, 제 2 영상의 칼라 버퍼를 생성할 수 있다. 마찬가지로, 디바이스(1500,1600,1700)는, 제 1 타일 내지 제 n 타일의 깊이 버퍼에 기초하여, 제 2 영상의 제 1 픽셀들 내지 제 n 픽셀들 각각의 깊이값을 제 1 타일 내지 제 n 타일의 픽셀들 각각의 깊이값으로 결정하고, 제 2 영상의 나머지 픽셀들은 소정의 값으로 결정하여, 제 2 영상의 깊이 버퍼를 생성할 수 있다. 또한, 디바이스(1500,1600,1700)는, 생성된 제 2 영상의 칼라 버퍼 및 깊이 버퍼를 내부 메모리에 저장할 수 있다.
단계 s1940에서, 디바이스(1500,1600,1700)는 리프로젝션에 기초하여, 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 디바이스(1500,1600,1700)는 일 실시예에 따라, 기 저장된 제 2 영상의 깊이 버퍼 및 칼라 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 즉, 일 실시예에 따라, 디바이스(1500,1600,1700)는 제 2 영상의 깊이 버퍼 및 칼라 버퍼에 포함된 제 2 영상의 제 1 타일 내지 제 n 타일 각각의 깊이 버퍼 및 칼라 버퍼를 내부 메모리로부터 순차적으로 읽어내어 타일 렌더링을 수행할 수 있다. 즉, 디바이스(1500,1600,1700)는 제 2 영상의 제 n 타일의 깊이 버퍼 및 칼라 버퍼를 내부 메모리로부터 읽어 내어 내부 버퍼에 저장할 수 있다. 이어서, 디바이스(1500,1600,1700)는 내부 버퍼에 저장된 제 n 타일의 깊이 버퍼 및 칼라 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 제 n 타일의 픽셀들을 선택하여 렌더링을 수행할 수 있다. 렌더링 수행 결과 결정된 제 n 타일의 픽셀들의 칼라값은 제 n 타일의 칼라 버퍼에 저장될 수 있고, 제 n 타일의 칼라 버퍼는 내부 메모리에 저장될 수 있다. 또한, 디바이스(1500,1600,1700)는 다른 실시예에 따라, 기 저장된 오클루젼 맵 및 칼라 버퍼에 기초하여, 제 1 영상의 픽셀들과 대응되지 않는 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행할 수 있다. 즉, 일 실시예에 따라, 디바이스(1500,1600,1700)는 오클루젼 맵에 기초하여, 제 2 영상의 칼라 버퍼에 포함된 제 2 영상의 제 1 타일 내지 제 n 타일 각각의 칼라 버퍼를 내부 메모리로부터 순차적으로 읽어내어 타일 렌더링을 수행할 수 있다.
또한, 일 실시예에 따라, 디바이스(1500,1600,1700)는 제 2 영상의 제 1 타일 내지 제 n 타일에 대한 스케줄링을 수행할 수 있고, 스케줄링에 따라 디바이스(1500,1600,1700)는 제 2 영상의 제 1 타일 내지 제 n 타일에 대한 타일 렌더링을 수행할 수 있다.
디바이스(1500,1600,1700)는 일 실시예에 따라, 오클루젼 맵에 기초하여, 제 2 영상의 제 1 타일 내지 제 n 타일 각각에 대한 스케줄링을 수행할 지 여부를 결정할 수 있다. 이어서, 디바이스(1500,1600,1700)는 스케줄링을 수행하기로 결정된 타일에 대한 타일 렌더링을 수행할 수 있다. 즉 디바이스(1500,1600,1700)는, 오클루젼 맵에 따라 결정된 제 2 영상의 소정의 타일에 대해서는 스케줄링을 생략할 수 있고, 결과적으로 디바이스(1500,1600,1700)는 소정의 타일에 대한 렌더링을 생략할 수 있다. 일 실시예에 따라, 디바이스(1500,1600,1700)는 오클루젼 맵에 기초하여, 제 2 영상의 제 1 타일의 픽셀들 중에 제 1 영상의 픽셀들과 대응되는 픽셀이 있는 지 여부를 확인할 수 있고, 제 1 영상의 픽셀들과 대응되는 픽셀이 제 1 타일에 없다면, 디바이스(1500,1600,1700)는 제 1 타일에 대한 스케줄링을 생략할 수 있다. 따라서, 디바이스(1500,1600,1700)는 제 2 영상의 제 1 타일에 대한 렌더링을 생략할 수 있다. 또한, 일 실시예에 따라, 디바이스(1500,1600,1700)는 오클루젼 맵을 생성할 때, 제 2 영상의 각 타일마다 제 1 픽셀들과 대응되는 픽셀의 개수를 오클루젼 맵의 헤더(header) 정보로써 생성할 수 있다. 따라서, 디바이스(1500,1600,1700)는 오클루젼 맵의 헤더 정보를 확인하여, 제 2 영상의 각 타일마다 스케줄링을 생략할 지 여부를 결정할 수 있다.
도 21는 일 실시예에 따른 디바이스(2100)의 블록도를 나타낸다.
일 실시예에 따라, 디바이스(2100)는 GPU(2150), CPU(2140), 메모리(2160), Bus(2170), 디스플레이부(2110), 입력부(2120) 및 통신부(2130)를 포함한다. 도 21에 도시된 디바이스(2100)에는 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 21에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
GPU(2150) 및 메모리(2160)는 도 1의 GPU(110) 및 메모리(120)에서 설명한 내용, 도 4의 GPU(410) 및 메모리(420)에서 설명한 내용, 도 11의 GPU(1110) 및 메모리(1120)에서 설명한 내용, 도 15의 GPU(1530) 및 메모리(1540), 도 16의 GPU(1630) 및 메모리(1640), 또는 도 17의 GPU(1730) 및 메모리(1740)에서 설명한 내용을 포함할 수 있는 바, 중복되는 설명은 생략한다.
CPU(2140)는 디바이스(2100)의 전반적인 동작들 및 기능들을 제어하는 하드웨어이다. 예를 들어, CPU(2140)는 운영체제(Operating System, OS)를 구동하고, GPU(2150)를 위한 그래픽스 API(Application Programming Interface)를 호출하고, GPU(2150)의 드라이버를 실행시킬 수 있다. 또한, CPU(2140)는 메모리(2160)에 저장된 다양한 애플리케이션들, 예를 들어 웹 브라우징 애플리케이션, 게임 애플리케이션, 비디오 애플리케이션 등을 실행할 수 있다.
디스플레이부(2110)는 디바이스(2100)에서 처리되는 정보 또는 처리될 정보 등의 각종 정보들을 사용자에게 표시하기 위한, 표시 인터페이싱 수단이다. 디스플레이부(2110)는 디바이스(2100)에서 처리되는 정보들을 사용자에게 시각적이고 직관적으로 제공하기 위한 GUI(Graphical User Interface)를 디스플레이 할 수도 있다. 예를 들어, 디스플레이부(2110)는 GPU(2150)에 의해 처리된 그래픽 데이터를 디스플레이할 수 있다. 디스플레이부(2110)는 LCD(Liquid Crystal Display), LED(light emitting diode), PDP(Plasma Display Panel) 등의 다양한 디스플레이 패널들로 구현될 수 있다.
입력부(2120)는 사용자로부터 정보를 입력받기 위한, 입력 인터페이싱 수단이다. 입력부(2120)는 터치 패드, 트랙볼, 마우스, 키보드, 게임용 컨트롤러 등과 같은 형태로 구현될 수 있다. 디스플레이부(2110)와 입력부(2120)는 일체화된 터치 스크린의 하드웨어로 구현될 수 있다.
통신부(2130)는 이동통신을 위한 이동통신 모듈, 유선/무선 랜(LAN) 모듈, 근거리 무선 통신을 위한 Wi-Fi 모듈, Bluetooth 모듈, NFC(near field communication) 모듈 등을 포함할 수 있다.
상기 살펴 본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (25)

  1. 양안 시차(binocular disparity)를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 방법에 있어서,
    상기 제 1 영상의 픽셀들과 관련된 깊이 정보를 생성하기 위하여 상기 제 1 영상을 렌더링하는 단계;
    상기 제 2 영상의 리프로젝션(reprojection)을 수행하는 단계; 및
    상기 제 2 영상의 픽셀 그룹의 제 2 픽셀들의 래스터화(rasterization)를 수행함으로써 상기 제 2 영상을 렌더링하는 단계;를 포함하고,
    상기 픽셀 그룹은 상기 제 2 픽셀들 및 상기 제 1 픽셀들 중 선택된 픽셀들을 포함하고,
    상기 선택된 픽셀들은 상기 제 1 픽셀들 중 상기 제 2 픽셀들에 인접한 픽셀들을 포함하고,
    상기 제 2 영상의 리프로젝션을 수행하는 단계는,
    상기 제 1 영상의 픽셀들과 관련된 깊이 정보에 기초하여 상기 제 1 영상의 픽셀들에 대응하는 상기 제 2 영상의 제 1 픽셀들 및 상기 제 1 영상의 픽셀들에 대응하지 않는 상기 제 2 영상의 제 2 픽셀들을 식별하는 단계;
    상기 제 2 영상의 상기 픽셀 그룹을 식별하는 단계; 및
    상기 제 1 픽셀들 각각에는 제 1 값을 설정하고, 상기 제 2 픽셀들 각각에는 제 2 값을 설정함으로써, 오클루젼 맵(occulusion map)을 생성하는 단계;를 포함하고,
    상기 제 2 영상을 렌더링하는 단계는,
    상기 제 2 값을 갖는 픽셀들의 래스터화를 수행하는 단계;를 포함하고,
    상기 래스터화는, 상기 제 2 픽셀들의 컬러 정보를 연산하고, 상기 제 1 픽셀들 중 상기 선택된 픽셀들의 평균 컬러 값을 이용하는 것을 포함하고,
    상기 평균 컬러 값은 상기 연산된 제 2 픽셀들의 컬러 정보와 상기 제 1 픽셀들에 대응하는 컬러 정보의 평균인, 방법.
  2. 제 1 항에 있어서,
    상기 오클루젼 맵을 생성하는 단계는,
    상기 제 2 영상의 일부 픽셀들과 상기 제 2 영상의 다른 일부 픽셀들을 구분하는, 상기 오클루젼 맵(occulusion map)을 생성하는 단계;를 포함하고,
    상기 제 2 영상을 렌더링하는 단계는,
    상기 오클루젼 맵에 기초하여, 상기 제 2 픽셀들의 래스터화(rasterization)를 수행하는 단계;를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 오클루젼 맵을 생성하는 단계는,
    상기 제 2 픽셀들 및 상기 제 1 픽셀들 중 상기 제 2 픽셀들에 인접하는 픽셀들을 포함하는 제 2 픽셀 그룹을 설정하는 단계; 및
    상기 오클루젼 맵에서 상기 제 2 픽셀 그룹의 픽셀들 각각에 상기 제 2 값을 설정하는 단계;를 포함하는, 방법.
  4. 제 2 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상에 대한 렌더링이 타일 기반 렌더링(tile based rendering)인 경우,
    상기 제 2 영상을 렌더링하는 단계는,
    상기 오클루젼 맵에 기초하여 상기 제 2 영상의 타일들 각각에 대하여 스케줄링을 수행할지 여부를 결정하는 단계; 및
    상기 스케줄링을 수행할지 여부에 대한 결정 결과에 기초하여 상기 스케줄링될 타일에 대하여 타일 렌더링을 수행하는 단계;를 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 제 2 영상의 리프로젝션을 수행하는 단계는,
    확장된 오클루젼 맵을 생성하기 위하여, 상기 제 2 픽셀들 및 상기 제 1 픽셀들 중 일부를 포함하는 제 1 픽셀 그룹을 소정의 값으로 설정하는 단계;를 포함하고,
    상기 제 2 영상을 렌더링하는 단계는,
    상기 확장된 오클루젼 맵에 기초하여, 상기 제 1 픽셀 그룹의 래스터화(rasterization)를 수행하는 단계;를 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 제 2 영상의 리프로젝션을 수행하는 단계는,
    상기 제 2 영상의 깊이 버퍼를 생성하기 위하여, 상기 제 2 픽셀들 각각의 깊이 값을 기 설정된 값으로 결정하는 단계;를 포함하고,
    상기 제 2 영상을 렌더링하는 단계는,
    상기 제 2 영상의 깊이 버퍼를 이용하여, 상기 제 2 영상의 상기 제 1 픽셀들 및 상기 제 2 픽셀들에 대한 깊이 테스트(Z-test)를 수행하는 단계; 및
    상기 깊이 테스트를 만족하는 상기 제 2 영상 내의 픽셀들에 대한 픽셀 쉐이딩(pixel shading)을 수행하는 단계;를 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 제 2 영상의 리프로젝션을 수행하는 단계는,
    상기 제 2 영상의 상기 제 1 픽셀들 각각의 컬러값을 상기 제 1 영상의 픽셀들 중 상기 제 1 픽셀들에 대응하는 픽셀들 각각의 컬러값으로 결정하는 단계;
    상기 제 1 영상에 대한 렌더링 결과 생성되는 상기 제 1 영상의 컬러 정보에 기초하여, 상기 제 2 영상의 상기 제 2 픽셀들 각각의 컬러값은 기 설정된 값으로 결정하여, 상기 제 2 영상의 컬러 버퍼를 생성하는 단계;를 포함하고,
    상기 제 2 영상을 렌더링하는 단계는,
    상기 제 2 영상의 상기 제 2 픽셀들 각각의 컬러값을 계산하는 단계; 및
    상기 기 설정된 값으로 결정된 상기 제 2 픽셀들 각각의 컬러값을 상기 계산된 상기 제 2 픽셀들 각각의 컬러값으로 수정하여, 상기 제 2 영상의 컬러 버퍼를 수정하는 단계;를 포함하는, 방법.
  8. 제 1 항에 있어서,
    상기 제 1 영상을 렌더링하는 단계는,
    상기 제 1 영상 및 상기 제 2 영상에 대한 드로우 커맨드(draw command)를 수신하는 단계; 및
    상기 수신된 드로우 커맨드에 기초하여, 상기 제 1 영상에 대한 렌더링을 수행하는 단계;를 포함하는, 방법.
  9. 제 1 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상에 대한 렌더링이 타일 기반 렌더링(tile based rendering)인 경우,
    상기 제 1 영상을 렌더링하는 단계는,
    상기 제 1 영상의 타일들 각각에 대한 렌더링을 수행하여, 상기 타일들 각각의 깊이 버퍼를 생성하는 단계;를 포함하고,
    상기 제 2 영상의 리프로젝션을 수행하는 단계는,
    상기 타일들 각각의 깊이 버퍼를 기초로, 상기 타일들 각각의 픽셀들과 대응되는 상기 제 2 영상의 상기 제 1 픽셀들을 결정하여, 리프로젝션을 수행하는 단계;를 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상에 대한 렌더링이 타일 기반 렌더링인 경우,
    상기 제 1 영상 및 상기 제 2 영상에 대한 드로우 커맨드에 기초하여, 상기 제 1 영상 및 상기 제 2 영상에 대한 타일 비닝(tile binning)을 수행하는 단계;를 더 포함하는, 방법.
  11. 양안 시차(binocular disparity)를 갖는 제 1 영상 및 제 2 영상에 대한 렌더링을 수행하는 디바이스에 있어서,
    상기 제 1 영상의 픽셀들과 관련된 깊이 정보를 생성하기 위하여 상기 제 1 영상을 렌더링하는 GPU(Graphics Processing Unit); 및
    상기 제 1 영상의 깊이 정보를 저장하는 메모리;를 포함하고,
    상기 GPU는,
    상기 제 2 영상의 리프로젝션(reprojection)을 수행하고, 상기 제 2 영상의 픽셀 그룹의 제 2 픽셀들의 래스터화(rasterization)를 수행함으로써 상기 제 2 영상을 렌더링하고,
    상기 픽셀 그룹은 상기 제 2 픽셀들 및 상기 제 1 픽셀들 중 선택된 픽셀들을 포함하고,
    상기 선택된 픽셀들은 상기 제 1 픽셀들 중 상기 제 2 픽셀들에 인접한 픽셀들을 포함하고,
    상기 GPU는,
    상기 제 1 영상의 픽셀들과 관련된 깊이 정보에 기초하여 상기 제 1 영상의 픽셀들에 대응하는 상기 제 2 영상의 제 1 픽셀들 및 상기 제 1 영상의 픽셀들에 대응하지 않는 상기 제 2 영상의 제 2 픽셀들을 식별하고, 상기 제 2 영상의 상기 픽셀 그룹을 식별하고,
    상기 GPU는,
    상기 제 1 픽셀들 각각에는 제 1 값을 설정하고, 상기 제 2 픽셀들 각각에는 제 2 값을 설정함으로써, 오클루젼 맵(occulusion map)을 생성하는 쉐이더(shader); 및
    상기 제 2 값을 갖는 픽셀들의 래스터화를 수행하는 래스터라이저(rasterizer);를 포함하고,
    상기 래스터화는, 상기 제 2 픽셀들의 컬러 정보를 연산하고, 상기 제 1 픽셀들 중 상기 선택된 픽셀들의 평균 컬러 값을 이용하는 것을 포함하고,
    상기 평균 컬러 값은 상기 연산된 제 2 픽셀들의 컬러 정보와 상기 제 1 픽셀들에 대응하는 컬러 정보의 평균인, 디바이스.
  12. 제 11 항에 있어서,
    상기 쉐이더는,
    상기 제 2 영상의 일부 픽셀들과 상기 제 2 영상의 다른 일부 픽셀들을 구분하는, 상기 오클루젼 맵(occulusion map)을 생성하고,
    상기 래스터라이저는,
    상기 오클루젼 맵에 기초하여, 상기 제 2 픽셀들의 래스터화(rasterization)를 수행하는, 디바이스.
  13. 제 11 항에 있어서,
    상기 쉐이더는,
    상기 제 2 픽셀들 및 상기 제 1 픽셀들 중 상기 제 2 픽셀들에 인접하는 픽셀들을 포함하는 제 2 픽셀 그룹을 설정하고,
    상기 오클루젼 맵에서 상기 제 2 픽셀 그룹의 픽셀들 각각에 상기 제 2 값을 설정하는, 디바이스.
  14. 제 12 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상에 대한 렌더링이 타일 기반 렌더링(tile based rendering)인 경우,
    상기 GPU는,
    상기 오클루젼 맵에 기초하여 상기 제 2 영상의 타일들 각각에 대하여 스케줄링을 수행할지 여부를 결정하고,
    상기 스케줄링을 수행할지 여부에 대한 결정 결과에 기초하여 상기 스케줄링될 타일에 대하여 타일 렌더링을 수행하는, 디바이스.
  15. 제 11 항에 있어서,
    상기 쉐이더는,
    확장된 오클루젼 맵을 생성하기 위하여, 상기 제 2 픽셀들 및 상기 제 1 픽셀들 중 일부를 포함하는 제 1 픽셀 그룹을 소정의 값으로 설정하고,
    상기 래스터라이저는,
    상기 확장된 오클루젼 맵에 기초하여, 상기 제 1 픽셀 그룹의 래스터화(rasterization)를 수행하는, 디바이스.
  16. 제 11 항에 있어서,
    상기 쉐이더는,
    상기 제 2 영상의 깊이 버퍼를 생성하기 위하여, 상기 제 2 픽셀들 각각의 깊이 값을 기 설정된 값으로 결정하고
    상기 GPU는,
    상기 제 2 영상의 깊이 버퍼를 이용하여, 상기 제 2 영상의 상기 제 1 픽셀들 및 상기 제 2 픽셀들에 대한 깊이 테스트(Z-test)를 수행하는 Z-테스트부;를 더 포함하고,
    상기 GPU는,
    상기 깊이 테스트를 만족하는 상기 제 2 영상 내의 픽셀들에 대한 픽셀 쉐이딩(pixel shading)을 수행하는, 디바이스.
  17. 제 11 항에 있어서,
    상기 쉐이더는,
    상기 제 2 영상의 상기 제 1 픽셀들 각각의 컬러값을 상기 제 1 영상의 픽셀들 중 상기 제 1 픽셀들에 대응하는 픽셀들 각각의 컬러값으로 결정하고, 상기 제 1 영상에 대한 렌더링 결과 생성되는 상기 제 1 영상의 컬러 정보에 기초하여, 상기 제 2 영상의 상기 제 2 픽셀들 각각의 컬러값은 기 설정된 값으로 결정하여, 상기 제 2 영상의 컬러 버퍼를 생성하고,
    상기 GPU는,
    상기 제 2 영상의 상기 제 2 픽셀들 각각의 컬러값을 계산하고, 상기 기 설정된 값으로 결정된 상기 제 2 픽셀들 각각의 컬러값을 상기 계산된 상기 제 2 픽셀들 각각의 컬러값으로 수정하여, 상기 제 2 영상의 컬러 버퍼를 수정하는, 디바이스.
  18. 제 11 항에 있어서,
    상기 GPU는,
    상기 제 1 영상 및 상기 제 2 영상에 대한 드로우 커맨드(draw command)를 수신하고, 상기 수신된 드로우 커맨드에 기초하여, 상기 제 1 영상에 대한 렌더링을 수행하는, 디바이스.
  19. 제 11 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상에 대한 렌더링이 타일 기반 렌더링(tile based rendering)인 경우,
    상기 GPU는,
    상기 제 1 영상의 타일들 각각에 대한 렌더링을 수행하여, 상기 타일들 각각의 깊이 버퍼를 생성하고,
    상기 메모리는,
    상기 타일들 각각의 깊이 버퍼를 저장하고,
    상기 GPU는,
    상기 타일들 각각의 깊이 버퍼를 기초로, 상기 타일들 각각의 픽셀들과 대응되는 상기 제 2 영상의 상기 제 1 픽셀들을 결정하여, 리프로젝션을 수행하고, 상기 리프로젝션에 기초하여, 상기 제 2 영상의 다른 일부 픽셀들을 선택하여 렌더링을 수행하는, 디바이스.
  20. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
KR1020150062651A 2015-05-04 2015-05-04 양안 시차 영상에 대한 렌더링 방법 및 장치 KR102341267B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150062651A KR102341267B1 (ko) 2015-05-04 2015-05-04 양안 시차 영상에 대한 렌더링 방법 및 장치
US14/993,339 US10332307B2 (en) 2015-05-04 2016-01-12 Apparatus and method performing rendering on viewpoint disparity image
JP2016089073A JP6530728B2 (ja) 2015-05-04 2016-04-27 両眼視差映像に対するレンダリング方法及びその装置
EP16168345.3A EP3091739A1 (en) 2015-05-04 2016-05-04 Apparatus and method performing rendering on viewpoint disparity image
CN201610288982.8A CN106127848B (zh) 2015-05-04 2016-05-04 对视点视差图像执行渲染的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150062651A KR102341267B1 (ko) 2015-05-04 2015-05-04 양안 시차 영상에 대한 렌더링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160130629A KR20160130629A (ko) 2016-11-14
KR102341267B1 true KR102341267B1 (ko) 2021-12-20

Family

ID=56008482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150062651A KR102341267B1 (ko) 2015-05-04 2015-05-04 양안 시차 영상에 대한 렌더링 방법 및 장치

Country Status (5)

Country Link
US (1) US10332307B2 (ko)
EP (1) EP3091739A1 (ko)
JP (1) JP6530728B2 (ko)
KR (1) KR102341267B1 (ko)
CN (1) CN106127848B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842428B2 (en) * 2014-06-27 2017-12-12 Samsung Electronics Co., Ltd. Dynamically optimized deferred rendering pipeline
GB2561152B (en) * 2017-03-21 2021-01-13 Advanced Risc Mach Ltd Data processing systems
CN110573929A (zh) * 2017-05-01 2019-12-13 无限增强现实以色列有限公司 增强或混合现实环境的光学引擎时间扭曲
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
US10403032B2 (en) * 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
GB2570743B (en) * 2018-06-29 2021-06-23 Imagination Tech Ltd Tile assignment to processing cores within a graphics processing unit
JP7413380B2 (ja) * 2018-12-05 2024-01-15 ソニーグループ株式会社 アニメ映画用ルームシェーダ
US10853993B2 (en) * 2018-12-18 2020-12-01 Varjo Technologies Oy System and method for producing images for display apparatus
CN112015264B (zh) * 2019-05-30 2023-10-20 深圳市冠旭电子股份有限公司 虚拟现实显示方法、虚拟现实显示装置及虚拟现实设备
US11336887B2 (en) * 2019-09-03 2022-05-17 Facebook Technologies, Llc Adaptive shading and reprojection
CN111105451B (zh) * 2019-10-31 2022-08-05 武汉大学 一种克服遮挡效应的驾驶场景双目深度估计方法
CN113129417A (zh) * 2019-12-27 2021-07-16 华为技术有限公司 一种全景应用中图像渲染的方法及终端设备
CN113490963B (zh) * 2020-01-22 2024-09-24 华为技术有限公司 显示系统、图形处理器gpu、显示控制器以及显示方法
GB2593525B (en) 2020-03-27 2022-06-01 Imagination Tech Ltd Stereoscopic graphics processing
US11570418B2 (en) 2021-06-17 2023-01-31 Creal Sa Techniques for generating light field data by combining multiple synthesized viewpoints

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9706000D0 (en) 1997-03-22 1997-05-07 Philips Electronics Nv Multiple viewpoint image generation
AU1776001A (en) 1999-11-18 2001-05-30 Info Assets, Inc. Rendering image data
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6756993B2 (en) * 2001-01-17 2004-06-29 The University Of North Carolina At Chapel Hill Methods and apparatus for rendering images using 3D warping techniques
AU2002361572A1 (en) 2001-10-19 2003-04-28 University Of North Carolina At Chape Hill Methods and systems for dynamic virtual convergence and head mountable display
US7982733B2 (en) 2007-01-05 2011-07-19 Qualcomm Incorporated Rendering 3D video images on a stereo-enabled display
US8929645B2 (en) * 2007-04-24 2015-01-06 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
CN101702241A (zh) * 2009-09-07 2010-05-05 无锡景象数字技术有限公司 基于视差图的多视点图像渲染方法
JP2011060216A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 画像処理装置および画像処理方法
KR101585998B1 (ko) * 2009-11-10 2016-01-15 삼성전자주식회사 영상 처리 장치 및 방법
KR101385514B1 (ko) 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
US8643700B2 (en) * 2010-11-17 2014-02-04 Dell Products L.P. 3D content adjustment system
US8711163B2 (en) * 2011-01-06 2014-04-29 International Business Machines Corporation Reuse of static image data from prior image frames to reduce rasterization requirements
US20120176386A1 (en) 2011-01-10 2012-07-12 Hutchins Edward A Reducing recurrent computation cost in a data processing pipeline
US8624891B2 (en) 2011-01-17 2014-01-07 Disney Enterprises, Inc. Iterative reprojection of images
TW201249191A (en) 2011-05-19 2012-12-01 Altek Corp Method for processing image
JP6094863B2 (ja) * 2011-07-01 2017-03-15 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、プログラム、集積回路
KR101334187B1 (ko) 2011-07-25 2013-12-02 삼성전자주식회사 다시점 렌더링 장치 및 방법
US9621869B2 (en) * 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
GB2497154B (en) 2012-08-30 2013-10-16 Imagination Tech Ltd Tile based interleaving and de-interleaving for digital signal processing
KR101386651B1 (ko) * 2012-09-13 2014-04-17 전자부품연구원 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
JP6033625B2 (ja) 2012-09-28 2016-11-30 シャープ株式会社 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
US9241146B2 (en) 2012-11-02 2016-01-19 Nvidia Corporation Interleaved approach to depth-image-based rendering of stereoscopic images
US9087410B2 (en) 2013-01-17 2015-07-21 Qualcomm Incorporated Rendering graphics data using visibility information
KR102116708B1 (ko) * 2013-05-24 2020-05-29 삼성전자 주식회사 그래픽스 프로세싱 유닛
US9514563B2 (en) * 2013-08-30 2016-12-06 Arm Limited Graphics processing systems
EP2887312A1 (en) * 2013-12-18 2015-06-24 Nokia Corporation Method, apparatus and computer program product for depth estimation of stereo images
CN103679739A (zh) * 2013-12-26 2014-03-26 清华大学 基于遮挡区域检测的虚拟视图生成方法

Also Published As

Publication number Publication date
US20160328879A1 (en) 2016-11-10
US10332307B2 (en) 2019-06-25
CN106127848A (zh) 2016-11-16
KR20160130629A (ko) 2016-11-14
JP2016212859A (ja) 2016-12-15
JP6530728B2 (ja) 2019-06-12
EP3091739A1 (en) 2016-11-09
CN106127848B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
KR102341267B1 (ko) 양안 시차 영상에 대한 렌더링 방법 및 장치
JP6709038B2 (ja) グラフィックス・パイプラインを遂行する方法及びコンピューティング装置
KR102646906B1 (ko) 타일 기반 렌더링 방법 및 장치
CN106296565B (zh) 图形管线方法和设备
US9449421B2 (en) Method and apparatus for rendering image data
CN105574924B (zh) 渲染方法、渲染设备和电子设备
KR102381945B1 (ko) 그래픽 프로세싱 장치 및 그래픽 프로세싱 장치에서 그래픽스 파이프라인을 수행하는 방법
KR102651126B1 (ko) 그래픽 프로세싱 장치 및 그래픽스 파이프라인에서 텍스처를 처리하는 방법
KR102354992B1 (ko) 양안 시차 영상에 대한 타일 기반 렌더링 방법 및 장치
KR20160069801A (ko) 렌더링 방법 및 장치
US20160125649A1 (en) Rendering apparatus and rendering method
EP3304896B1 (en) Stereoscopic view processing
KR20180056316A (ko) 타일-기반 렌더링을 수행하는 방법 및 장치
CN105550973B (zh) 图形处理单元、图形处理系统及抗锯齿处理方法
CN112740278B (zh) 用于图形处理的方法及设备
JP2016529593A (ja) 立体シーンのインターリーブ方式のタイル型レンダリング
WO2015123029A1 (en) Techniques for conservative rasterization
KR102482874B1 (ko) 렌더링 장치 및 방법
US12125132B2 (en) Method and computer device for 3D scene generation
US20240070959A1 (en) Method and computer device for 3d scene generation
US12033266B2 (en) Method and computer device for generating a side-by-side 3D image
KR102085701B1 (ko) 이미지를 렌더링하는 방법
CN118115693A (zh) 生成并排三维影像的方法及电脑装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant