KR20150114767A - 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치 - Google Patents

멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치 Download PDF

Info

Publication number
KR20150114767A
KR20150114767A KR1020140039361A KR20140039361A KR20150114767A KR 20150114767 A KR20150114767 A KR 20150114767A KR 1020140039361 A KR1020140039361 A KR 1020140039361A KR 20140039361 A KR20140039361 A KR 20140039361A KR 20150114767 A KR20150114767 A KR 20150114767A
Authority
KR
South Korea
Prior art keywords
frames
rendering
frame
ray
acceleration structure
Prior art date
Application number
KR1020140039361A
Other languages
English (en)
Other versions
KR102197067B1 (ko
Inventor
신용삼
이원종
이재돈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140039361A priority Critical patent/KR102197067B1/ko
Priority to US14/514,642 priority patent/US10019830B2/en
Priority to EP14192530.5A priority patent/EP2927877B1/en
Priority to JP2014239806A priority patent/JP6486081B2/ja
Priority to CN201410821047.4A priority patent/CN104978759B/zh
Publication of KR20150114767A publication Critical patent/KR20150114767A/ko
Application granted granted Critical
Publication of KR102197067B1 publication Critical patent/KR102197067B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Television Systems (AREA)

Abstract

일 실시 예에 따른 렌더링 방법은 복수의 프레임들을 결정하는 단계; 및 상기 프레임들의 동일한 영역을 연속으로 렌더링하는 단계를 포함하는 것을 특징으로 한다.

Description

멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치{Method and Apparatus for rendering same region of multi frames}
프레임을 렌더링 방법 및 장치에 관한 것이다.
3D 렌더링은 3차원 객체 데이터를 주어진 카메라의 시점(view point)에서 보이는 영상으로 합성(synthesis)해주는 영상 처리 과정이다. 광선 추적 방법은 렌더링의 대상이 되는 씬 오브젝트(scene object)들과 광선이 교차되는 지점을 추적하는 과정이다. 광선 추적(ray-tracing)은 가속 구조(acceleration structure)의 탐색(traversal)과 광선-프리미티브(ray-primitive) 간의 교차 검사(intersection test) 과정을 포함한다. 이때, 탐색과 교차 검사 과정에서 많은 연산량(computation) 및 넓은 메모리 대역폭(memory bandwidth)을 필요로 한다.
복수의 프레임들을 효율적으로 렌더링하기 위한 렌더링 방법 및 장치를 제공하는 데 있다.
또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다. 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 실시 예에 따른 렌더링 방법은 복수의 프레임들을 결정하는 단계; 및 상기 프레임들의 동일한 영역을 연속으로 렌더링하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 따른 렌더링 장치는 복수의 프레임들을 결정하는 인터 프레임 결정부; 및 상기 프레임들의 동일한 영역을 연속으로 렌더링하는 렌더링 유닛을 포함하는 것을 특징으로 한다.
복수의 프레임들의 동일한 영역을 연속으로 렌더링할 수 있다.
유사한 프레임들을 그룹핑하여 연속으로 렌더링함으로써, 데이터의 지역성(locality) 또는 광선 추적의 유사성(similarity)을 향상시킬 수 있다.
워크로드를 고려하여 타일을 분할함으로써, 프레임 출력 인터벌 내에 많은 수의 프레임을 인터 프레임 렌더링할 수 있다.
가속 구조의 노드를 리핏(refit)하는 수를 기초로 인터 프레임 렌더링하는 프레임의 수를 결정할 수 있다.
1차 광선을 이용하여 렌더링할 때, 캐쉬의 히트율을 기초로 인터 프레임 렌더링하는 프레임의 수를 결정할 수 있다.
도 1은 광선 추적을 설명하기 위한 도면이다.
도 2는 레이 트레이싱 코어를 설명하기 위한 도면이다.
도 3은 레이 트레이싱 코어가 광선 추적을 수행하는 동작을 설명하기 위한 도면이다.
도 4는 광선 추적을 가속하기 위한 방법을 설명하기 위한 도면이다.
도 5는 도 4의 광선 추적을 가속하기 위한 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 렌더링 장치를 나타낸다.
도 7은 픽셀 기반 인터 프레임 렌더링을 설명하기 위한 도면이다.
도 8은 타일 기반 인터 프레임 렌더링을 설명하기 위한 도면이다.
도 9은 또 다른 실시 예에 따른 렌더링 장치를 나타낸다.
도 10은 프레임 그룹을 설명하기 위한 도면이다.
도 11는 프레임 그룹을 결정하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 인터 프레임 렌더링 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시 예에 따른 렌더링 방법을 설명하기 위한 순서도이다.
도 14는 일 실시 예에 따른 렌더링 방법을 설명하기 위한 순서도이다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 광선 추적을 설명하기 위한 도면이다. 도 1을 참조하면, 3차원 모델링에서, 레이 트레이싱 코어는 시점(10)을 결정하고, 시점(view point)에 따라 화면(image, 20)을 결정한다. 시점(10)과 화면(20)이 결정되면, 레이 트레이싱 코어(ray tracing core)는 시점(10)으로부터 화면(20)의 각 픽셀(pixel)들에 대하여 광선을 생성한다.
도 1의 구성들을 설명하면, 시점(10)으로부터 1차 광선(primary ray, 30)이 생성된다. 1차 광선(30)은 화면(20)을 지나 씬 오브젝트(scene object, 70)와 교차된다. 1차 광선(30)과 씬 오브젝트(70)의 교차점에서는 반사 광선(reflection ray, 40) 및 굴절 광선(refraction ray, 50)이 생성된다. 또한, 교차점에서 광원(80)의 방향으로 쉐도우 광선(shadow ray, 60)이 생성된다. 이때, 반사, 굴절, 쉐도우 광선들(40, 50, 60)을 2차 광선이라고 한다. 씬 오브젝트(70)는 화면(20)에 대한 렌더링의 대상이 되는 오브젝트를 나타낸다. 씬 오브젝트(70)는 복수의 프리미티브들을 포함한다.
레이 트레이싱 코어는 1차 광선(30), 2차 광선들(40, 50, 60) 및 2차 광선들로부터 파생되는 광선들을 분석한다. 레이 트레이싱 코어는 분석 결과에 기초하여 화면(20)을 구성하는 픽셀들의 색상 값을 결정한다. 이때, 레이 트레이싱 코어는 씬 오브젝트(70)의 특성을 고려하여 픽셀들의 색상 값을 결정한다.
도 2는 레이 트레이싱 코어(ray tracing core, 100)을 설명하기 위한 도면이다. 도 2를 참조하면, 레이 트레이싱 코어(100)는 광선 생성 유닛(110), TRV 유닛(120), IST 유닛(130) 및 쉐이딩 유닛(140)을 포함한다. 도 2에서는 TRV 유닛(120), IST 유닛(130)이 레이 트레이싱 코어(100)에 포함되는 것으로 도시되었으나, TRV 유닛(120), IST 유닛(130)은 별도의 하드웨어로 구현될 수 있다. 도 2에 도시된 레이 트레이싱 코어(100)는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
레이 트레이싱 코어(100)는 생성된 광선들과 3차원 공간에 위치한 오브젝트들의 교차점을 추적하고, 화면을 구성하는 픽셀들의 색상 값을 결정한다. 다시 말해서, 레이 트레이싱 코어(100)는 광선들과 오브젝트들의 교차점을 찾고, 교차점에서의 오브젝트의 특성에 따라 2차 광선을 생성하고 교차점의 색상의 값을 결정한다.
레이 트레이싱 코어(100)는 가속 구조를 탐색하고 교차 검사를 수행할 때, 이전 탐색의 결과 및 이전 교차 검사의 결과를 이용할 수 있다. 다시 말하면, 레이 트레이싱 코어(100)는 이전 렌더링 과정에서 수행된 결과를 현재 렌더링 과정에 적용함으로써, 현재 렌더링을 보다 빠르게 수행할 수 있다.
광선 생성 유닛(110)은 1차 광선 및 2차 광선을 생성한다. 광선 생성 유닛(110)은 시점으로부터 1차 광선을 생성하고, 1차 광선과 오브젝트의 교차점에서 반사, 굴절, 또는 쉐도우 2차 광선을 생성한다. 광선 생성 유닛(110)은 또한 2차 광선과 오브젝트의 교차점에서 또 다른 2차 광선을 생성할 수 있다. 광선 생성 유닛(110)은 정해진 횟수 내에서 반사, 굴절, 쉐도우 광선을 생성하거나, 오브젝트의 특성에 따라 반사, 굴절, 쉐도우 광선의 생성 횟수를 결정할 수 있다.
TRV 유닛(120)은 광선 생성 유닛(110)으로부터 생성된 광선에 대한 정보를 수신한다. 생성된 광선은 1차 광선, 2차 광선 및 2차 광선에 의해 파생된 광선을 모두 포함한다. 예를 들어, 1차 광선의 경우, TRV 유닛(120)은 생성된 광선의 시점 및 방향에 대한 정보를 수신할 수 있다. 또한, 2차 광선의 경우, TRV 유닛(120)은 2차 광선의 출발점 및 방향에 대한 정보를 수신할 수 있다. 2차 광선의 출발점은 1차 광선이 히트된 지점을 나타낸다. 시점 또는 출발점은 좌표로 표현될 수 있으며, 방향은 벡터로 표현될 수 있다.
TRV 유닛(120)은 외부 메모리(250)로부터 가속 구조에 대한 정보를 독출(read)한다. 가속 구조는 가속 구조 생성 장치(200)에 의해 생성되고, 생성된 가속 구조는 외부 메모리(250)에 저장된다. 가속 구조는 3차원 공간의 오브젝트들의 위치 정보를 포함하고 있는 구조를 나타낸다. 예를 들어, 가속 구조는 KD-tree(K-Dimensional tree), BVH(Bounding Volume Hierarchy) 등이 적용될 수 있다.
TRV 유닛(120)은 가속 구조를 탐색하여, 광선이 히트(hit)된 오브젝트 또는 리프 노드(leaf node)를 출력한다. 예를 들어, TRV 유닛(120)은 가속 구조에 포함된 노드들을 탐색하여, 노드들 중 최하위 노드인 리프 노드들 중에서 광선이 히트된 리프 노드를 IST 유닛(130)으로 출력한다. 다시 말해서, TRV 유닛(120)은 가속 구조를 구성하는 바운딩 박스(Bounding Box)들 중에서 어느 바운딩 박스에 광선이 히트되었는지 판단하고, 바운딩 박스에 포함된 오브젝트들 중에서 어느 오브젝트에 광선이 히트되었는지 판단한다. 히트된 오브젝트에 대한 정보는 TRV 캐쉬에 저장된다. 바운딩 박스는 복수의 오브젝트 또는 프리미티브들을 포함하는 단위를 나타낼 수 있으며 가속 구조에 따라 다른 형태로 표현될 수 있다. TRV 캐쉬는 TRV 유닛(120)이 탐색 과정에서 사용하는 데이터를 일시적으로 저장하기 위한 메모리를 나타낸다.
TRV 유닛(120)은 이전 렌더링의 결과를 이용하여 가속 구조를 탐색할 수 있다. TRV 유닛(120)은 TRV 캐쉬에 저장된 이전 렌더링의 결과를 이용하여 이전 렌더링과 동일한 경로로 가속 구조를 탐색할 수 있다. 예를 들어, TRV 유닛(120)이 입력된 광선에 대한 가속 구조를 탐색할 때, TRV 유닛(120)은 입력된 광선과 동일한 시점 및 방향을 갖는 이전 광선이 히트된 바운딩 박스에 대한 탐색을 우선적으로 수행할 수 있다. 또한, TRV 유닛(120)은 이전 광선에 대한 탐색 경로를 참조하여 가속 구조를 탐색할 수 있다.
IST 유닛(130)은 TRV 유닛(120)로부터 광선이 히트된 오브젝트 또는 리프 노드를 수신하고, 외부 메모리(250)로부터 히트된 오브젝트에 포함된 프리미티브들에 대한 정보를 독출(read)한다. 독출된 프리미티브들에 대한 정보는 IST 캐쉬에 저장될 수 있다. IST 캐쉬는 교차 검색 과정에서 IST 유닛(130)이 사용하는 데이터를 일시적으로 저장하기 위한 메모리를 나타낸다.
IST 유닛(130)은 광선과 프리미티브 간의 교차 검사를 수행하여, 광선이 히트된 프리미티브 및 교차점을 출력한다. TRV 유닛(120)으로부터 광선이 히트된 오브젝트가 무엇인지를 수신한 IST 유닛(130)은 히트된 오브젝트에 포함된 복수의 프리미티브들 중에서 어느 프리미티브에 광선이 히트되었는지를 검사한다. 광선이 히트된 프리미티브를 찾은 다음, IST 유닛(130)은 히트된 프리미티브의 어느 지점과 광선이 교차하였는지를 나타내는 교차점을 출력한다. 교차점은 좌표 형태로 쉐이딩 유닛(140)으로 출력될 수 있다.
IST 유닛(130)은 이전 렌더링의 결과를 이용하여 교차 검사를 수행할 수 있다. IST 유닛(130)은 IST 캐쉬에 저장된 이전 렌더링의 결과를 이용하여 이전 렌더링과 동일한 프리미티브에 대해 우선적으로 교차 검사를 수행할 수 있다. 예를 들어, 입력된 광선과 프리미티브에 대한 교차 검사를 수행할 때, IST 유닛(130)은 입력된 광선과 동일한 시점 및 방향을 갖는 이전 광선이 히트된 프리미티브에 대한 교차 검사를 우선적으로 수행할 수 있다.
쉐이딩 유닛(140)은 IST 유닛(130)으로부터 수신된 교차점에 대한 정보 및 교차점의 물질 특성에 기초하여 픽셀의 색상 값을 결정한다. 쉐이딩 유닛(140)은 교차점의 물질 기본 색상 및 광원에 의한 효과 등을 고려하여 픽셀의 색상 값을 결정한다.
레이 트레이싱 코어(100)는 외부 메모리(250)로부터 광선 추적에 필요한 데이터를 수신한다. 외부 메모리(250)에는 가속 구조 생성 장치(200)에 의해 생성된 가속 구조 또는 프리미티브들에 대한 정보를 나타내는 기하 데이터(geometry data)가 저장된다. 프리미티브는 삼각형, 사각형 등의 다각형일 수 있으며, 기하 데이터는 오브젝트에 포함된 프리미티브들의 정점 및 위치에 대한 정보를 나타낼 수 있다.
가속 구조 생성 장치(200)는 3차원 공간상의 오브젝트들의 위치 정보를 포함하는 가속 구조를 생성한다. 가속 구조 생성 장치(200)는 여러 가지 형태의 가속 구조를 생성할 수 있다. 예를 들어, 가속 구조는 3차원 공간이 계층적 트리로 분할된 형태일 수 있으며 가속 구조 생성 장치(200)는 BVH 또는 KD-tree를 적용하여 3차원 공간상의 오브젝트들의 관계를 나타내는 구조를 생성할 수 있다. 가속 구조 생성 장치(200)는 리프 노드의 최대 프리미티브의 수 및 트리 깊이(tree depth)를 결정하고, 결정에 기초하여 가속 구조를 생성할 수 있다.
도 3은 레이 트레이싱 코어가 광선 추적을 수행하는 동작을 설명하기 위한 도면이다. 레이 트레이싱 코어는, 예를 들어, 도 2에 도시된 레이 트레이싱 코어(100)의 구조를 가질 수 있다. 따라서, 이하 생략된 내용이라 하더라도 레이 트레이싱 코어(100)에 관하여 이상에서 기술된 내용은 도 3의 광선 추적 방법에도 적용된다.
310단계에서, 레이 트레이싱 코어(100)는 광선을 생성한다. 레이 트레이싱 코어(100)는 1차 광선, 2차 광선 및 2차 광선에 의해 파생된 광선들을 생성한다.
320단계에서, 레이 트레이싱 코어(100)는 외부 메모리(250)로부터 독출된 가속 구조를 탐색한다. 레이 트레이싱 코어(100)는 생성된 광선들의 시점 및 방향에 기초하여 가속 구조(251)를 탐색하여 광선이 히트된 바운딩 박스를 검출하고, 히트된 바운딩 박스에 포함된 오브젝트를 중에서 광선이 히트된 오브젝트를 검출한다. 레이 트레이싱 코어(100)는 히트된 오브젝트를 검출할 때까지 가속 구조(251)를 탐색하는 것을 반복하여 수행한다. 예를 들어, 레이 트레이싱 코어(100)는 어느 하나의 경로를 따라 가속 구조를 탐색하고, 탐색된 경로 상의 리프 노드에 광선이 히트되지 않았으면, 다른 경로로 가속 구조를 탐색한다.
레이 트레이싱 코어(100)는 모든 경로를 순차적으로 탐색할 수 있지만, 이전 광선의 탐색 정보에 기초하여 특정 경로를 우선적으로 탐색할 수 있다. 예를 들어, 이전 광선의 시점과 방향이 현재 광선의 시점과 방향과 동일 또는 유사한 경우, 레이 트레이싱 코어(100)는 이전 광선에서 히트된 리프 노드가 포함된 경로를 우선적으로 탐색할 수 있다.
330단계에서, 레이 트레이싱 코어(100)는 교차 검사를 수행한다. 레이 트레이싱 코어(100)는 외부 메모리(250)로부터 독출된 프리미티브들의 기하 데이터(252)에 기초하여 교차 검사를 수행한다. 레이 트레이싱 코어(100)는 히트된 프리미티브를 검출할 때까지 교차 검사를 반복하여 수행한다. 예를 들어, 레이 트레이싱 코어(100)는 어느 하나의 프리미티브에 대한 교차 검사를 하고, 프리미티브에 광선이 히트되지 않았으면, 다른 프리미티브에 대한 교차 검사를 한다.
레이 트레이싱 코어(100)는 모든 프리미티브들을 순차적으로 교차 검사할 수 있지만, 이전 광선의 교차 검사 정보에 기초하여 특정 프리미티브를 우선적으로 교차 검사할 수 있다. 예를 들어, 이전 광선과 현재 광선의 시점과 방향이 동일 또는 유사한 경우, 레이 트레이싱 코어(100)는 이전 광선에서 히트된 프리미티브에 대한 교차 검사를 우선적으로 수행할 수 있다.
340단계에서, 레이 트레이싱 코어(100)는 교차 검사에 기초하여 픽셀의 쉐이딩을 수행한다. 레이 트레이싱 코어(100)는 340단계가 종료하면, 310단계로 진행한다. 레이 트레이싱 코어(100)는 310 내지 340단계를 화면을 구성하는 모든 픽셀들에 대해 반복적으로 수행한다.
도 4는 광선 추적을 가속하기 위한 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 제1화면(412)은 t=0일 때 렌더링된 화면을 나타내고, 제2화면(422)은 t=1일 때 렌더링된 화면을 나타낸다. 제1화면(412)과 제2화면(422)에서 토끼(433)만이 이동하고 사각형(431)과 삼각형(432)은 움직임이 없기 때문에, 제1화면(412)과 제2화면(422)은 거의 유사하다. 따라서, 레이 트레이싱 코어(100)는 제1화면(412)에 대한 렌더링 결과를 이용하여 제2화면(421)에 대한 렌더링을 수행할 수 있다. 예를 들어, 제1시점(410)과 제2시점(420)의 위치가 동일하고, 제1광선(411)과 제2광선(421)의 방향이 동일하다면, 레이 트레이싱 코어(100)는 제1광선(411)에 대한 광선 추적의 결과를 제2광선(421)의 광선 추적에 적용하여, 제2광선(421)의 광선 추적을 가속할 수 있다. 예를 들어, 레이 트레이싱 코어(100)의 TRV 유닛(120)은 제2광선(421)에 대한 탐색을 수행할 때, 제1광선(411)이 히트된 바운딩 박스를 우선적으로 탐색할 수 있다. 또한, 레이 트레이싱 코어(100)의 IST 유닛(130)은 제2광선(421)에 대한 교차 검사할 때, 제1광선(411)이 히트된 삼각형(432)에 대해 우선적으로 교차 검사를 수행할 수 있다.
도 5는 도 4의 광선 추적을 가속하기 위한 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 가속 구조는 5개의 노드(1 내지 5)를 포함하고, 노드3 내지 노드5는 리프 노드를 나타낸다.
TRV 유닛(120)은 3가지 경로를 따라 가속 구조를 탐색할 수 있다. 첫째로, TRV 유닛(120)은 제1경로인 노드1, 노드2 및 노드3을 따라 가속 구조를 탐색할 수 있다. 둘째로, TRV 유닛(120)은 제2경로인 노드1, 노드2 및 노드4를 따라 가속 구조를 탐색할 수 있다. 셋째로, TRV 유닛(120)은 제3경로인 노드1 및 노드5를 따라 가속 구조를 탐색할 수 있다. 이때, TRV 유닛(120)이 제2광선(421)에 대한 탐색을 수행할 때, TRV 유닛(120)은 제1광선(411)이 히트된 삼각형(432)을 탐색하는 제2경로를 우선적으로 탐색한다. 따라서, TRV 유닛(120)이 제1경로 또는 제3경로를 탐색하는 과정을 생략할 수 있다.
도 6은 일 실시 예에 따른 렌더링 장치를 나타낸다. 도 2 또는 3의 레이 트레이싱 코어(100)는 도 6의 렌더링 장치(600)의 일 예이다. 레이 트레이싱 코어(100)는 광선을 이용하여 이미지를 렌더링하는 장치이며, 렌더링 장치(600)는 이미지를 렌더링하는 일반적인 장치를 나타낸다.
도 6을 참조하면, 렌더링 장치(600)는 인터 프레임 결정부(610) 및 렌더링 유닛(620)을 포함한다. 도 6에는 도시되지 않았지만, 렌더링 장치(600)는 메모리, 캐쉬 등을 더 포함할 수 있다.
렌더링 장치(600)는 프레임 그룹을 결정하여, 결정된 프레임 그룹 내의 프레임들을 타일 기반 인터 프레임 렌더링(tile-based inter-frame rendering) 또는 픽셀 기반 인터 프레임 렌더링(pixel-based inter-frame rendering)을 수행한다. 타일 기반 인터 프레임 렌더링은 복수의 프레임들에서 동일한 위치의 타일들을 연속으로 렌더링하는 방법이다. 픽셀 기반 인터 프레임 렌더링은 복수의 프레임들에서 동일한 위치의 픽셀들을 연속으로 렌더링하는 방법이다.
인터 프레임 결정부(610)는 인터 프레임 렌더링의 대상이 되는 복수의 프레임들을 결정한다. 인터 프레임 결정부(610)는 프레임 출력 인터벌(frame output interval) 내에 동시에 렌더링될 수 있는 프레임의 수를 결정한다. 프레임 출력 인터벌은 이미지의 출력에 요구되는 시간에 의해 결정된다.
예를 들어, 레이 트레이싱 방법을 이용하여 렌더링을 하는 경우, 인터 프레임 결정부(610)는 1차 광선을 이용하여 프레임을 1차 렌더링하고, 1차 렌더링된 프레임의 워크로드에 기초하여 동시에 렌더링할 프레임의 수를 결정할 수 있다. 다시 말해서, 인터 프레임 결정부(610)는 프레임을 1차 렌더링한 결과를 참조하여 프레임을 최종 렌더링하는데 필요한 워크로드(또는 연산량)를 대략적으로 계산할 수 있다. 인터 프레임 결정부(610)는 워크로드를 기초로 프레임 출력 인터벌 동안 몇 개의 프레임을 렌더링할 수 있는지를 계산한다. 인터 프레임 결정부(610)는 계산 결과에 기초하여 동시에 렌더링할 프레임의 수를 결정할 수 있다. 렌더링 장치(600)가 1차 광선만을 이용하여 렌더링하는 경우, 2차 광선을 모두 고려하여 렌더링하는 경우보다 빠르게 프레임의 대략적인 이미지를 생성할 수 있다.
프레임 출력 인터벌은 사용자가 동영상을 감상하는데 지장이 되지 않도록 이미지를 출력해야 하는 시간을 고려하여 결정된다. 또한, 사용자와 상호 작용(interactive)하는 장면의 경우, 프레임 출력 인터벌은 사용자의 입력에 대한 응답 시간 이내로 결정될 수 있다.
렌더링 유닛(620)은 결정된 프레임들의 동일한 영역을 연속으로 렌더링한다. 렌더링 유닛(620)은 프레임 출력 인터벌 내에 포함된 프레임들을 렌더링 하되, 프레임 출력 인터벌 내에 포함된 프레임들의 동일한 영역을 연속으로 렌더링한다. 다시 말해서, 렌더링 유닛(620)은 하나의 프레임을 렌더링하고 다음 프레임을 렌더링하지 않고, 복수의 프레임들의 동일한 영역을 렌더링하는 과정을 반복함으로써, 복수의 프레임들을 렌더링한다. 예를 들어, 동일한 영역은 프레임에서 동일한 위치의 픽셀 또는 동일한 위치의 타일일 수 있다.
인터 프레임 결정부(610)는 복수의 프레임들 중에서 인접한 프레임들 사이의 가속 구조의 변화량을 계산하고, 변화량에 기초하여 동시에 렌더링할 프레임들을 결정한다. 이때, 복수의 프레임들은 프레임 출력 인터벌 내에 포함되는 프레임들 중에서 결정될 수 있다. 동시에 렌더링할 프레임들을 프레임 그룹이라고 한다.
예를 들어, 가속 구조의 변화량은 광선 탐색에 이용되는 가속 구조의 노드가 변경 또는 리핏(refit)된 수를 나타낼 수 있다. 렌더링 장치(600)는 최초 프레임에 대한 가속 구조를 변경하면서 다음 프레임들의 광선 추적에 사용할 수 있는데, 만약, 리핏된 노드의 수가 많다면, 기존의 가속 구조를 이용하는 것보다 새로 가속 구조를 생성하는 것이 효율적일 수 있다. 인터 프레임 결정부(610)는 인접한 프레임들 사이에 변경된 데이터가 많아서 리핏된 노드의 수가 큰 프레임은 동일한 프레임 그룹에 포함된 프레임으로 결정하지 않고, 리핏된 노드의 수가 미리 설정된 임계값보다 작은 프레임들만을 동일한 프레임 그룹으로 결정할 수 있다.
또 다른 실시 예로서, 인터 프레임 결정부(610)는 1차 렌더링 때 캐쉬의 히트율(hit rate)을 계산하고, 히트율에 기초하여 프레임 그룹을 결정한다. 1차 광선(또는, 주광선)만을 이용하여 프레임들을 렌더링한 1차 렌더링 결과를 수신하면, 인터 프레임 결정부(610)는 각 프레임들을 렌더링할 때의 캐쉬의 히트율을 계산할 수 있다. 렌더링 장치(600)가 프레임을 렌더링하는 과정에서 필요한 데이터의 이용을 위해 캐쉬에 접속하는 것을 나타내는 캐쉬 히트(hit)에 기반하여, 인터 프레임 결정부(610)는 캐쉬에 접속했을 때 필요한 데이터가 저장되어 있는 확률을 나타내는 히트율을 계산할 수 있다.
인터 프레임 결정부(610)는 프레임들에 대한 1차 렌더링을 수행하면서, 캐쉬의 히트율을 계산하여 히트율이 임계값 이하인 프레임에 대하여는 동일한 프레임 그룹의 프레임으로 결정하지 않을 수 있다. 렌더링 장치(600)가 복수의 프레임들에 대해 1차 렌더링을 할 때, 동일 또는 유사한 프레임들의 경우 동일 또는 유사한 데이터를 이용하기 때문에 캐쉬의 히트율이 높다. 하지만, 유사하지 않은 프레임들의 경우 동일한 데이터를 공유하지 않기 때문에, 렌더링 장치(600)가 1차 렌더링할 때 이전 프레임의 데이터가 저장된 캐쉬를 이용할 확률이 줄어든다. 따라서, 히트율이 일정 비율 이하인 프레임의 경우, 이전 프레임에 비하여 변경된 부분이 많은 프레임이므로 렌더링 장치(600)는 이전 프레임들과 함께 인터 프레임 렌더링을 수행하지 않을 수 있다.
렌더링 유닛(620)은 프레임 출력 인터벌 및 인터 프레임 렌더링 구간 내의 프레임들을 렌더링한다. 다시 말해서, 렌더링 유닛(620)은 프레임 출력 인터벌 및 인터 프레임 렌더링 구간을 모두 만족하는 프레임들을 렌더링한다. 인터 프레임 렌더링 구간은 가속 구조의 변화량에 기초한 인터 프레임 렌더링 구간과 히트율에 기초한 인터 프레임 렌더링 구간이 있으며, 렌더링 유닛(620)은 둘 중 하나 또는 모두를 만족하는 구간의 프레임들을 렌더링한다.
도 7은 픽셀 기반 인터 프레임 렌더링을 설명하기 위한 도면이다. 도 7에서 설명되는 동작은, 예를 들어, 도 6에 도시된 렌더링 장치(600)가 수행할 수 있다. 따라서, 이하 생략된 내용이라 하더라도 렌더링 장치(600)에 관하여 이상에서 기술된 내용은 도 7에도 적용된다.
도 7을 참조하면, 렌더링 장치(600)는 동일한 프레임 그룹에 포함된 프레임들의 동일한 위치의 픽셀을 연속으로 픽셀을 렌더링한다. 도 7에서는 N frame 내지 N+2 frame들이 동일한 프레임 그룹에 포함된 프레임들이다. 따라서, 렌더링 장치(600)는 화살표 방향으로 연속으로 렌더링한다. 예를 들어, 렌더링 장치(600)는 N frame의 (0,0) 픽셀을 렌더링하고, N+1 frame의 (0,0) 픽셀을 렌더링하고, N+2 frame의 (0,0) 픽셀을 렌더링한다. (0,0) 픽셀의 렌더링 이후, 렌더링 장치(600)는 N frame의 (1,0) 픽셀을 렌더링하고, N+1 frame의 (1,0) 픽셀을 렌더링하고, N+2 frame의 (1,0) 픽셀을 연속으로 렌더링한다. 렌더링 장치(600)는 N frame 내지 N+2 frame들의 모든 픽셀을 렌더링하여 N frame 내지 N+2 frame들의 렌더링을 종료한다.
광선 추적의 경우, 렌더링 장치(600)는 동일한 위치의 픽셀에 광선을 생성할 수 있다. 복수의 프레임에 대한 광선을 생성할 때, 동일한 위치의 광선이라도 다른 프레임에 대한 광선일 수 있으므로, 렌더링 장치(600)는 광선이 어느 프레임에 대한 것인지를 나타내는 정보를 추가로 광선 데이터에 포함시킬 수 있다. 예를 들어, RayF(n),(x,y)는 n번째 프레임의 (x,y) 픽셀에 대한 광선을 나타내고, RayF (n+1),(x,y)는 n+1번째 프레임의 (x,y) 픽셀에 대한 광선을 나타내고 RayF (n+2),(x,y)는 n+2번째 프레임의 (x,y) 픽셀에 대한 광선을 나타낼 수 있다.
도 8은 타일 기반 인터 프레임 렌더링을 설명하기 위한 도면이다. 도 8에서 설명되는 동작은, 예를 들어, 도 6에 도시된 렌더링 장치(600)가 수행할 수 있다. 따라서, 이하 생략된 내용이라 하더라도 렌더링 장치(600)에 관하여 이상에서 기술된 내용은 도 8에도 적용된다.
도 8을 참조하면, 렌더링 장치(600)는 동일한 프레임 그룹 내에 포함된 프레임들의 동일한 위치의 타일을 연속으로 렌더링한다. 도 8에서는 N frame 내지 N+2 frame들이 동일한 프레임 그룹 내에 포함된 프레임들이다. 따라서, 렌더링 장치(600)는 2점 쇄선으로 표기된 화살표 방향으로 연속으로 타일을 렌더링한다. 렌더링 장치(600)는 2점 쇄선으로 표기된 화살표의 방향으로 연속된 프레임의 동일한 위치의 타일들을 렌더링한다. 예를 들어, 렌더링 장치(600)는 N frame의 Tile 0(910)를 렌더링하고, N+1 frame의 Tile 0(920)를 렌더링하고, N+2 frame의 Tile 0(930)를 렌더링한다.
하나의 프레임 내에서 타일이 렌더링되는 순서는 실선으로 표기된 화살표로 표현될 수 있다. 3개의 Tile 0들(910 내지 930)의 렌더링 이후, 렌더링 장치(600)는 N frame의 Tile 1을 렌더링하고, N+1 frame의 Tile 1을 렌더링하고, N+2 frame의 Tile 1을 렌더링한다. 3개의 Tile 1들의 렌더링 이후, 렌더링 장치(600)는 N frame의 Tile 2를 렌더링하고, N+1 frame의 Tile 2를 렌더링하고, N+2 frame의 Tile 2를 렌더링한다. 렌더링 장치(600)는 N frame 내지 N+2 frame들의 모든 타일을 실선으로 표기된 화살표 방향으로 순차적으로 렌더링하여 N frame 내지 N+2 frame들의 렌더링을 종료한다.
광선 추적의 경우, 렌더링 장치(600)는 복수의 프레임들의 동일한 위치의 타일에 광선을 생성할 수 있다. 복수의 프레임 및 타일에 대한 광선을 생성할 때, 동일한 위치의 광선이라도 다른 프레임에 대한 광선일 수 있으므로, 렌더링 장치(600)는 광선이 어느 프레임의 어느 타일에 대한 것인지를 나타내는 정보를 추가로 광선 데이터에 포함시킬 수 있다. 예를 들어, RayT0 ,F(n),(x,y)는 n번째 프레임의 Tile 0(910)의 (x,y) 픽셀에 대한 광선을 나타내고, RayT0 ,F(n+1),(x,y)는 n+1번째 프레임의 Tile 0(920)의 (x,y) 픽셀에 대한 광선을 나타내고 RayT0 ,F(n+2),(x,y)는 n+2번째 프레임의 Tile 0(930)의 (x,y) 픽셀에 대한 광선을 나타낼 수 있다.
도 9는 또 다른 실시 예에 따른 렌더링 장치를 설명하기 위한 도면이다. 도 9를 참조하면, 렌더링 장치(600)는 복수의 렌더링 유닛(620)들을 포함할 수 있다. 따라서, 복수의 렌더링 유닛(620)들은 복수의 프레임들의 픽셀에 대하여 병렬적으로 렌더링할 수 있다. 다시 말해서, 복수의 렌더링 유닛(620)들은 서로 다른 위치의 픽셀을 동시에 렌더링할 수 있다. 마찬가지로, 복수의 렌더링 유닛(620)들은 복수의 프레임들의 타일들에 대하여 병렬적으로 렌더링할 수 있다. 다시 말해서, 복수의 렌더링 유닛(620)들은 서로 다른 위치의 타일들을 동시에 렌더링할 수 있다. 도 9에서는 4개의 렌더링 유닛(620)을 도시하고 있으나, 렌더링 장치(600)는 4개 이하 또는 이상의 렌더링 유닛들을 포함할 수 있다. 광선 추적의 경우, 각각의 렌더링 유닛(620)은 도 2의 광선 생성 유닛(110), TRV 유닛(120), IST 유닛(130) 및 쉐이딩 유닛(140)을 포함할 수 있다.
복수의 렌더링 유닛(620)들은 하나의 코어(core)에 의해 구현되거나 하나의 렌더링 유닛(620)은 복수의 코어들에 의해 구현될 수 있다. 렌더링 유닛(620)들은 복수의 코어들에 각각 할당되어 독립적으로 렌더링을 수행할 수 있다.
도 10은 프레임 그룹을 설명하기 위한 도면이다. 도 10은 렌더링 장치(600)가 제1 프레임(811) 내지 제10 프레임(820)을 2개의 프레임 그룹들(850, 860)로 구분하여 인터 프레임 렌더링하는 경우를 도시하고 있다. 프레임 그룹은 동시에 인터 프레임을 수행하는 구간을 나타낸다. 다시 말해서, 프레임 그룹은 동일한 영역이 연속으로 렌더링되는 프레임들을 나타낸다. 도 10을 참조하면, 제1 프레임 그룹(850)은 제1 내지 제5 프레임들(811 내지 815)을 포함하고, 제2 프레임 그룹(860)은 제6 내지 제10 프레임들(816 내지 820)을 포함한다.
렌더링 장치(600)는 동일한 프레임 그룹에 포함된 프레임들을 픽셀 단위 또는 타일 단위로 렌더링하여, 동일한 프레임 그룹에 포함된 모든 프레임들의 렌더링이 완료되면 모든 프레임의 최종 이미지를 순차적으로 출력한다. 예를 들어, 도 10에서 렌더링 장치(600)는 제1 프레임 그룹(850)에 포함된 제1 내지 제5 프레임들(811 내지 815)을 픽셀 또는 타일 단위로 렌더링하고, 제5 프레임(815)의 마지막 픽셀 또는 타일의 렌더링이 완료되면, 제1 프레임(811)의 이미지부터 제5 프레임(815)까지의 이미지를 순차적으로 출력한다.
타일 기반 인터 프레임 렌더링의 경우, 분할된 타일의 크기들은 동일하거나 서로 다를 수 있다. 예를 들어, 렌더링 장치(600)는 제1 프레임(811)을 12개의 동일한 타일들(1T 내지 12T)로 분할할 수 있다. 도 10과 달리 분할된 타일들의 크기는 서로 다를 수도 있다.
렌더링 장치(600)는 프레임의 워크로드를 고려하여 타일들(1T 내지 12T)의 사이즈를 결정할 수 있고, 워크로드는 1차 렌더링의 결과를 참고하여 계산될 수 있다. 또한, 워크로드는 각 타일에 포함된 오브젝트의 수 등을 고려하여 계산될 수 있다.
렌더링 유닛(620)은 결정된 프레임 그룹을 픽셀 또는 타일 기반 인터 프레임 렌더링한다. 예를 들어, 렌더링 유닛(620)은 제1 프레임 그룹(850)에 포함된 프레임들(811 내지 815)를 렌더링한다. 이때, 렌더링 유닛(620)은 제1 프레임 그룹(850)에 포함된 프레임들(811 내지 815)의 제1 타일(1T)들을 우선적으로 렌더링을 수행한 후, 프레임들(811 내지 815)의 제2 타일(2T)들을 렌더링한다. 프레임들(811 내지 815)의 제1 타일(1T)들은 동일한 이미지일 확률이 높기 때문에, 렌더링 유닛(620)은 제1 프레임(811)의 제1 타일(1T)를 렌더링한 결과를 이용하여 제2 프레임(812)의 제1 타일(1T)을 렌더링할 수 있다. 렌더링 유닛(620)은 동일한 방식으로 제3 타일(3T)내지 제12 타일(12T)들을 렌더링한다.
프레임(815)의 제12 타일(12)의 렌더링이 완료되면, 렌더링 유닛(620)은 제1 프레임(811) 내지 제5 프레임(815)의 렌더링된 이미지를 순차적으로 출력한다. 제1 프레임 그룹(850)에 대한 렌더링이 종료되면, 렌더링 유닛(620)은 제1 프레임 그룹(850)의 경우와 동일하게 제2 프레임 그룹(860)의 프레임들을 렌더링한다.
도 11은 프레임 그룹을 결정하는 방법을 설명하기 위한 도면이다. 도 11를 참조하면, 인터 프레임 결정부(610)는 가속 구조의 리핏의 수를 계산하여 프레임 그룹을 결정한다. 도 11에서 리핏된 노드는 음영처리되었다. 제N 프레임 내지 제N+2 프레임들(900 내지 920)은 5개의 노드를 포함하는 가속 구조를 갖는다.
렌더링 유닛(620)은 제N 프레임(900)의 가속 구조를 리핏하여 제N+1 프레임(910)의 렌더링에 이용한다. 제N+1 프레임(910)의 가속 구조는 제N 프레임(900)의 가속 구조의 4번 노드만이 리핏된다. 따라서, 리핏의 수(Rc)는 1이다. 만약, 리핏의 임계값(Rth)이 2로 설정되었다면, Rc는 Rth 보다 작다. 따라서, 제N 프레임(900)과 제N+1 프레임(910)은 동일한 프레임 그룹에 포함된다.
이와 달리, 제N+2 프레임(920)의 가속 구조는 제N+1 프레임(910)의 가속 구조의 3, 4, 5번 노드가 리핏된다. 따라서, 리핏의 수(Rc)는 3이다. 만약, 리핏의 임계값(Rth)이 2로 설정되었다면, Rc는 Rth 보다 크다. 따라서, 제N+1 프레임(910)과 제N+2 프레임(920)은 동일한 프레임 그룹에 포함되지 않는다. 결론적으로, 인터 프레임 결정부(610)는 제N 프레임(900) 및 제N+1 프레임(910)을 동일한 프레임 그룹으로 결정한다.
도 12는 일 실시 예에 따른 인터 프레임 렌더링 방법을 설명하기 위한 흐름도이다. 도 12는 도 6의 렌더링 장치(600)가 렌더링하는 단계를 설명하기 위한 흐름도이다. 따라서, 이하 생략된 내용이라 하더라도 렌더링 장치(600)에 관하여 이상에서 기술된 내용을 도 12의 일 실시 예에 따른 렌더링 방법에도 적용된다.
1210단계에서, 렌더링 장치(600)는 렌더링을 위한 초기 설정을 수행한다.
1220단계에서, 렌더링 장치(600)는 인터 프레임 렌더링이 활성화 되어 있는지 확인한다. 만약, 인터 프레임 렌더링이 활성화되어 있으면 1230단계로 진행하고, 그렇지 않으면 1235단계로 진행한다. 인터 프레임 렌더링이 활성화 되었다는 것은 렌더링 장치(600)가 렌더링할 프레임들을 동시에 렌더링할 수 있다는 것을 의미한다.
1230단계에서, 렌더링 장치(600)는 인터 프레임 렌더링을 위한 초기 설정을 수행한다. 렌더링 장치(600)는 프레임을 분할하는 타일의 크기, 프레임 출력 인터벌, 캐쉬의 히트율의 임계값 및 리핏의 임계값(Rth) 등을 설정한다. 렌더링 장치는 프레임 그룹을 결정한다.
1240단계에서, 렌더링 장치(600)는 인터 프레임 렌더링을 수행한다. 렌더링 장치(600)는 동일한 프레임 그룹의 프레임들을 동시에 렌더링한다.
1250단계에서, 렌더링 장치(600)는 외부 입력에 의한 프레임 변경이 있는지 여부를 결정한다. 외부 입력은 사용자에 의한 입력이며, 외부 입력으로 인하여 렌더링될 프레임이 변경될 수 있다. 렌더링될 프레임이 변경되면 렌더링 장치(600)는 1270단계로 진행하고, 그렇지 않으면 1260단계로 진행한다.
1260단계에서, 렌더링 장치(600)는 인터 프레임 렌더링 구간을 초과하였는지 여부를 결정한다. 인터 프레임 렌더링 구간을 초과한 경우, 1270단계로 진행하고, 그렇지 않으면 1240단계로 진행한다. 인터 프레임 렌더링 구간은 동시에 렌더링되는 프레임들을 나타낸다. 1270단계에서, 렌더링 장치(600)는 인터 프레임 렌더링을 종료한다. 렌더링 장치(600)는 외부의 입력에 의해 프레임이 변경되거나 렌더링이 완료되면 렌더링을 종료한다.
1280단계에서, 렌더링 장치(600)는 렌더링이 완료된 이미지를 출력한다.
1235단계에서, 렌더링 장치(600)는 순차 렌더링을 위한 초기 설정을 수행한다. 순차 렌더링은 일반적인 렌더링 방법으로 하나의 프레임만을 렌더링하여 출력하는 방법이다.
1236단계에서, 렌더링 장치(600)는 순차 렌더링을 수행한다.
도 13은 일 실시 예에 따른 렌더링 방법을 설명하기 위한 순서도이다. 도 13은 도 6의 렌더링 장치(600)가 렌더링하는 단계를 설명하기 위한 순서도이다. 따라서, 이하 생략된 내용이라 하더라도 렌더링 장치(600)에 관하여 이상에서 기술된 내용을 도 13의 일 실시 예에 따른 렌더링 방법에도 적용된다.
1310단계에서, 렌더링 장치(600)는 복수의 프레임들을 결정한다.
1320단계에서, 렌더링 장치(600)는 프레임들의 동일한 영역을 연속으로 렌더링한다.
도 14는 일 실시 예에 따른 렌더링 방법을 설명하기 위한 순서도이다. 도 14는 도 6의 렌더링 장치(600)가 렌더링하는 단계를 설명하기 위한 순서도이다. 따라서, 이하 생략된 내용이라 하더라도 렌더링 장치(600)에 관하여 이상에서 기술된 내용을 도 14의 일 실시 예에 따른 렌더링 방법에도 적용된다.
1410단계에서, 렌더링 장치(600)는 제1 프레임 및 제2 프레임을 선택한다. 제1 및 제2 프레임들은 서로 인접한 프레임일 수 있다.
1420단계에서, 렌더링 장치(600)는 제1 프레임의 제1 영역을 렌더링한다. 제1 영역은 제1 프레임의 픽셀 또는 타일일 수 있다. 렌더링 장치(600)는 제1 프레임의 어느 하나의 픽셀 또는 타일을 렌더링한다.
1430단계에서, 렌더링 장치(600)는 제1 프레임의 제1 영역이 아닌 영역을 렌더링하기 이전에 제1 프레임의 제1 영역과 동일한 영역에 해당하는 제2 프레임의 영역을 렌더링한다. 동일한 영역은 동일한 위치의 픽셀 또는 동일한 위치의 타일일 수 있다. 예를 들어, 렌더링 장치(600)는 제1 프레임의 제1 타일을 렌더링한 이후에 제1 프레임의 다른 타일을 렌더링하기 이전에, 제2 프레임의 제1 타일을 렌더링할 수 있다. 제1 프레임의 제1 타일과 제2 프레임의 제1 타일은 프레임 상에서 동일한 위치의 타일을 나타낸다. 또한, 렌더링 장치(600)는 제1 프레임의 제1 픽셀을 렌더링한 이후에 제1 프레임의 다른 픽셀을 렌더링하기 이전에, 제2 프레임의 제1 픽셀을 렌더링할 수 있다. 제1 프레임의 제1 픽셀과 제2 프레임의 제1 픽셀은 프레임 상에서 동일한 위치의 픽셀을 나타낸다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)를 포함한다.
600: 렌더링 장치
610: 인터 프레임 결정부
620: 렌더링 유닛

Claims (20)

  1. 복수의 프레임들을 결정하는 단계; 및
    상기 프레임들의 동일한 영역을 연속으로 렌더링하는 단계를 포함하는 것을 특징으로 하는 렌더링 방법.
  2. 제 1 항에 있어서,
    상기 동일한 영역은 동일한 위치의 픽셀 또는 동일한 위치의 타일인 것을 특징으로 하는 렌더링 방법.
  3. 제 1 항에 있어서,
    상기 복수의 프레임들을 결정하는 단계는 프레임 출력 인터벌 내에 포함된 프레임들을 상기 복수의 프레임들로 결정하는 것을 특징으로 하는 렌더링 방법.
  4. 제 3 항에 있어서,
    상기 복수의 프레임을 결정하는 단계는 상기 프레임 출력 인터벌 내의 프레임들 중에서 인접한 프레임들 사이의 가속 구조의 변화량을 계산하고, 상기 변화량에 기초하여 상기 복수의 프레임으로 결정하는 것을 특징으로 하는 렌더링 방법.
  5. 제 4 항에 있어서,
    상기 가속 구조의 변화량은 상기 가속 구조의 노드의 리핏(refit)의 수를 나타내는 것을 특징으로 하는 렌더링 방법.
  6. 제 5 항에 있어서,
    상기 복수의 프레임을 결정하는 단계는 상기 리핏의 수가 설정된 임계값보다 작은 프레임들을 상기 복수의 프레임들로 결정하는 것을 특징으로 하는 렌더링 방법.
  7. 제 3 항에 있어서,
    상기 복수의 프레임들을 결정하는 단계는 상기 복수의 프레임들을 1차 렌더링할 때 캐쉬의 히트율(hit rate)을 계산하고, 상기 히트율에 기초하여 상기 복수의 프레임들을 결정하는 것을 특징으로 하는 렌더링 방법.
  8. 제 3 항에 있어서,
    상기 복수의 프레임들을 결정하는 단계는 상기 프레임 출력 인터벌 내의 프레임들 중에서 인접한 프레임들 사이의 가속 구조의 변화량을 계산하고, 상기 복수의 프레임들을 1차 렌더링할 때 캐쉬의 히트율(hit rate)을 계산하고, 상기 프레임 출력 인터벌, 상기 가속 구조의 변화량 및 상기 히트율에 기초하여 상기 복수의 프레임들을 결정하는 것을 특징으로 하는 렌더링 방법.
  9. 상기 제1항 내지 제8항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 복수의 프레임들을 결정하는 인터 프레임 결정부; 및
    상기 프레임들의 동일한 영역을 연속으로 렌더링하는 렌더링 유닛을 포함하는 것을 특징으로 하는 렌더링 장치.
  11. 제 10 항에 있어서,
    상기 동일한 영역은 동일한 위치의 픽셀 또는 동일한 위치의 타일인 것을 특징으로 하는 렌더링 장치.
  12. 제 10 항에 있어서,
    상기 인터 프레임 결정부는 프레임 출력 인터벌 내에 포함된 프레임들을 상기 복수의 프레임들로 결정하는 것을 특징으로 하는 렌더링 장치.
  13. 제 12 항에 있어서,
    상기 인터 프레임 결정부는 상기 프레임 출력 인터벌 내의 프레임들 중에서 인접한 프레임들 사이의 가속 구조의 변화량을 계산하고, 상기 변화량에 기초하여 상기 복수의 프레임들을 결정하는 것을 특징으로 하는 렌더링 장치.
  14. 제 13 항에 있어서,
    상기 가속 구조의 변화량은 상기 가속 구조의 노드의 리핏(refit)의 수를 나타내는 것을 특징으로 하는 렌더링 장치.
  15. 제 14 항에 있어서,
    상기 인터 프레임 결정부는 상기 리핏의 수가 설정된 임계값보다 작은 프레임들을 상기 복수의 프레임들로 결정하는 것을 특징으로 하는 렌더링 장치.
  16. 제 12 항에 있어서,
    상기 인터 프레임 결정부는 상기 복수의 프레임들을 1차 렌더링할 때 캐쉬의 히트율(hit rate)을 계산하고, 상기 히트율에 기초하여 상기 복수의 프레임들을 결정하는 것을 특징으로 하는 렌더링 장치.
  17. 제 12 항에 있어서,
    상기 인터 프레임 결정부는 상기 프레임 출력 인터벌 내의 프레임들 중에서 인접한 프레임들 사이의 가속 구조의 변화량을 계산하고, 1차 렌더링 때 캐쉬의 히트율(hit rate)을 계산하고, 상기 변화량 및 상기 히트율에 기초하여 상기 복수의 프레임들을 결정하는 것을 특징으로 하는 렌더링 장치.
  18. 제1 프레임 및 제2 프레임을 선택하는 단계;
    상기 제1 프레임의 제1 영역을 렌더링하는 단계; 및
    상기 제1 프레임의 제1 영역이 아닌 영역을 렌더링하기 이전에 상기 제1 프레임의 제1 영역과 동일한 영역에 해당하는 상기 제2 프레임의 영역을 렌더링하는 단계를 포함하는 렌더링 방법.
  19. 제 18 항에 있어서,
    상기 동일한 영역은 동일한 위치의 픽셀 또는 동일한 위치의 타일인 것을 특징으로 하는 렌더링 방법.
  20. 제 18 항에 있어서,
    상기 제1 프레임 및 상기 제2 프레임은 인접한 프레임인 것을 특징으로 하는 렌더링 방법.
KR1020140039361A 2014-04-02 2014-04-02 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치 KR102197067B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140039361A KR102197067B1 (ko) 2014-04-02 2014-04-02 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치
US14/514,642 US10019830B2 (en) 2014-04-02 2014-10-15 Method and apparatus for rendering same regions of multi frames
EP14192530.5A EP2927877B1 (en) 2014-04-02 2014-11-10 Method and apparatus for rendering same regions of multi frames
JP2014239806A JP6486081B2 (ja) 2014-04-02 2014-11-27 マルチフレームの同一領域を連続してレンダリングする方法及びその装置
CN201410821047.4A CN104978759B (zh) 2014-04-02 2014-12-24 用于渲染多个帧的相同区域的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140039361A KR102197067B1 (ko) 2014-04-02 2014-04-02 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150114767A true KR20150114767A (ko) 2015-10-13
KR102197067B1 KR102197067B1 (ko) 2020-12-30

Family

ID=51900193

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140039361A KR102197067B1 (ko) 2014-04-02 2014-04-02 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10019830B2 (ko)
EP (1) EP2927877B1 (ko)
JP (1) JP6486081B2 (ko)
KR (1) KR102197067B1 (ko)
CN (1) CN104978759B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022092414A1 (ko) * 2020-10-30 2022-05-05 세종대학교산학협력단 프레임 분할을 이용한 멀티칩 기반의 레이 트레이싱 장치 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607352B2 (en) * 2014-12-03 2017-03-28 Intel Corporation Prediction based primitive sorting for tile based rendering
US10373286B2 (en) 2016-08-03 2019-08-06 Samsung Electronics Co., Ltd. Method and apparatus for performing tile-based rendering
US10388059B2 (en) 2016-10-03 2019-08-20 Nvidia Corporation Stable ray tracing
CN110097862B (zh) * 2018-01-31 2022-09-13 天马日本株式会社 显示装置及相对亮度数据的转换方法
US10991079B2 (en) * 2018-08-14 2021-04-27 Nvidia Corporation Using previously rendered scene frames to reduce pixel noise
US10825231B2 (en) * 2018-12-10 2020-11-03 Arm Limited Methods of and apparatus for rendering frames for display using ray tracing
US10740953B2 (en) * 2018-12-28 2020-08-11 Intel Corporation Early termination in bottom-up acceleration data structure refit
US11270496B2 (en) * 2019-05-24 2022-03-08 Nvidia Corporation Fine grained interleaved rendering applications in path tracing
CN112686981B (zh) 2019-10-17 2024-04-12 华为终端有限公司 画面渲染方法、装置、电子设备及存储介质
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
CN113034338B (zh) * 2019-12-24 2023-03-17 深圳市海思半导体有限公司 一种用于gpu的bvh构造方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080043227A (ko) * 2006-11-13 2008-05-16 인터내셔널 비지네스 머신즈 코포레이션 데이터 의존 만기가 있는 동적 데이터 캐시 무효화 방법 및이미지 처리 시스템

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2666353B2 (ja) 1988-04-25 1997-10-22 富士通株式会社 レイトレーシングによる高速映像生成方式
GB2336983B (en) * 1995-01-31 2000-01-19 Videologic Ltd Improvements relating to computer 3D rendering systems
US6556200B1 (en) * 1999-09-01 2003-04-29 Mitsubishi Electric Research Laboratories, Inc. Temporal and spatial coherent ray tracing for rendering scenes with sampled and geometry data
US9003461B2 (en) * 2002-12-10 2015-04-07 Ol2, Inc. Streaming interactive video integrated with recorded video segments
US20080024489A1 (en) 2006-07-28 2008-01-31 Robert Allen Shearer Cache Utilization Optimized Ray Traversal Algorithm with Minimized Memory Bandwidth Requirements
US8284195B2 (en) * 2007-09-13 2012-10-09 International Business Machines Corporation Cooperative utilization of spatial indices between application and rendering hardware
US8223148B1 (en) * 2007-11-12 2012-07-17 Adobe Systems Incorporated Method and apparatus for computing indirect lighting for global illumination rendering in 3-D computer graphics
US8237711B2 (en) * 2007-11-19 2012-08-07 Caustic Graphics, Inc. Tracing of shader-generated ray groups using coupled intersection testing
US8207968B1 (en) * 2008-08-29 2012-06-26 Adobe Systems Incorporated Method and apparatus for irradiance caching in computing indirect lighting in 3-D computer graphics
US8350846B2 (en) * 2009-01-28 2013-01-08 International Business Machines Corporation Updating ray traced acceleration data structures between frames based on changing perspective
JP5835879B2 (ja) * 2009-09-25 2015-12-24 アーム・リミテッド メモリからのデータの配列の読み込みを制御する方法および装置
KR101089638B1 (ko) 2009-10-09 2011-12-06 양성봉 교차 검사 가속을 위한 광선 추적 장치 및 방법 및 이를 이용한 렌더링 장치 및 방법
US8957902B2 (en) * 2010-12-24 2015-02-17 Reuven Bakalash Method and apparatus for interprocessor communication employing modular space division
CN101826215B (zh) * 2010-04-19 2012-05-09 浙江大学 实时二级光线跟踪的并行渲染方法
CN101982838B (zh) * 2010-11-02 2012-06-27 长春理工大学 一种加速被面光源照射的3d虚拟场景的光线跟踪的方法
US9113130B2 (en) * 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US9235921B2 (en) * 2011-11-08 2016-01-12 Imagination Technologies Limited Profiling ray tracing renderers
CN102521870B (zh) * 2011-11-22 2014-04-16 浙江大学 一种微多边形光线跟踪的着色重用方法
KR102080851B1 (ko) * 2012-09-17 2020-02-24 삼성전자주식회사 레이 추적의 스케쥴링을 위한 장치 및 방법
US10083541B2 (en) * 2014-03-13 2018-09-25 Imagination Technologies Limited Object illumination in hybrid rasterization and ray traced 3-D rendering
US10229526B2 (en) * 2014-03-13 2019-03-12 Imagination Technologies Limited Rendering of soft shadows

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080043227A (ko) * 2006-11-13 2008-05-16 인터내셔널 비지네스 머신즈 코포레이션 데이터 의존 만기가 있는 동적 데이터 캐시 무효화 방법 및이미지 처리 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022092414A1 (ko) * 2020-10-30 2022-05-05 세종대학교산학협력단 프레임 분할을 이용한 멀티칩 기반의 레이 트레이싱 장치 및 방법
KR20220058183A (ko) * 2020-10-30 2022-05-09 세종대학교산학협력단 프레임 분할을 이용한 멀티칩 기반의 레이 트레이싱 장치 및 방법

Also Published As

Publication number Publication date
EP2927877A2 (en) 2015-10-07
CN104978759B (zh) 2019-07-19
US10019830B2 (en) 2018-07-10
US20150287233A1 (en) 2015-10-08
EP2927877A3 (en) 2015-10-21
JP6486081B2 (ja) 2019-03-20
CN104978759A (zh) 2015-10-14
KR102197067B1 (ko) 2020-12-30
EP2927877B1 (en) 2019-10-23
JP2015197914A (ja) 2015-11-09

Similar Documents

Publication Publication Date Title
KR102197067B1 (ko) 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치
JP6476090B2 (ja) 加速構造の生成及び探索を行う方法並びに装置
US11138782B2 (en) Systems and methods for rendering optical distortion effects
US11069124B2 (en) Systems and methods for reducing rendering latency
US8692825B2 (en) Parallelized streaming accelerated data structure generation
US10586375B2 (en) Hybrid raytracing approach for modeling light reflection
US20190318528A1 (en) Computer-Graphics Based on Hierarchical Ray Casting
US20190318529A1 (en) Systems and Methods for Rendering Foveated Effects
KR20150045817A (ko) 화상의 렌더링을 위하여 광선 추적을 수행하는 방법 및 장치.
KR20170083891A (ko) 가속 구조를 생성하는 방법 및 장치
US20150091894A1 (en) Method and apparatus for tracing ray using result of previous rendering
JP6948226B2 (ja) 加速構造を生成する方法及びその装置
JP6460914B2 (ja) レイトレーシング・システムでの加速構造探索装置及び加速構造探索方法
KR102252374B1 (ko) 광선 추적 유닛 및 광선 데이터를 처리하는 방법
KR102051903B1 (ko) 공간 가속 구조 탐색 장치 및 방법
KR20170048003A (ko) 가속 구조를 생성하는 방법 및 장치
KR20110136059A (ko) 3차원 영상 시스템에서 광선 추적 방법 및 장치
KR102467031B1 (ko) 가속 구조를 생성 및 탐색하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant