KR102370617B1 - 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치. - Google Patents
적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치. Download PDFInfo
- Publication number
- KR102370617B1 KR102370617B1 KR1020150057270A KR20150057270A KR102370617B1 KR 102370617 B1 KR102370617 B1 KR 102370617B1 KR 1020150057270 A KR1020150057270 A KR 1020150057270A KR 20150057270 A KR20150057270 A KR 20150057270A KR 102370617 B1 KR102370617 B1 KR 102370617B1
- Authority
- KR
- South Korea
- Prior art keywords
- tile
- frame
- similarity
- importance
- sampling rate
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
일 실시예에 따른 영상 처리 방법에 따르면, 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율을 결정하고, 상기 샘플링 비율에 기초하여 선택된 제 2 프레임 내의 참조 픽셀들의 기하 정보를 이용하여 제 2 프레임에 포함된 픽셀들을 렌더링 하는 방법을 선택한다.
Description
적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치에 관한다.
3D (3-Dimensional) 모델을 렌더링 하는 기법들 중 광선 추적(Ray tracing)은, 카메라 뷰(camera view)에서의 픽셀에 대응하는 광선들과 오브젝트 간의 충돌을 체크하는 연산을 수행함으로써 광선의 진행 방향을 역으로 추적하는 방법이다.
이러한 광선 추적 기법은 반사 오브젝트(Reflective object), 이를테면 유리나 매끄러운 금속 면 등을 잘 표현할 수 있으므로 렌더링 된 영상의 품질이 높다. 그러나, 광선의 반사 경로나 투과 경로를 추적하기 위하여 충돌을 체크하는 과정에서 많은 연산이 요구되므로, 광선 추적 기법에 의해 3D 모델을 렌더링 하기 위해서는 높은 하드웨어 성능이 필요하다.
적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치를 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른 영상 처리 방법은, 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율(sampling rate)을 결정하는 단계; 상기 샘플링 비율에 기초하여 상기 제 2 프레임에 포함된 타일들 각각에서 참조(reference) 픽셀들을 선택하는 단계; 상기 참조 픽셀들에 대하여 광선 추적(ray tracing)을 수행함으로써 상기 참조 픽셀들 각각의 기하 정보(geometric information)를 획득하는 단계; 및 상기 기하 정보에 기초하여 상기 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택하는 단계;를 포함한다.
다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 기록매체를 포함한다.
또 다른 측면에 따른 영상 처리 장치는, 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율(sampling rate)을 결정하고, 상기 샘플링 비율에 기초하여 상기 제 2 프레임에 포함된 타일들 각각에서 참조(reference) 픽셀들을 선택하는 결정부; 및 상기 참조 픽셀들 각각의 기하 정보에 기초하여 상기 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택하는 선택부;를 포함하고, 상기 기하 정보는 상기 참조 픽셀들에 대하여 광선 추적(ray tracing)이 수행됨에 따라 획득된다.
도 1은 일 실시예에 따른 영상 처리 장치의 일 예를 나타내는 구성도이다.
도 2는 일 실시예에 따른 제 1 프레임 및 제 2 프레임의 일 예를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 광선 추적을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 영상 처리 시스템의 일 예를 나타내는 구성도이다.
도 5는 일 실시예에 따른 영상 처리 장치가 동작하는 일 예를 도시한 흐름도이다.
도 6은 일 실시예에 따른 제 1 프레임의 렌더링이 수행되고, 제 1 프레임에 포함된 타일들의 유사도가 획득되는 일 예를 도시한 흐름도이다.
도 7은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 일 예를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 다른 예를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 또 다른 예를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 또 다른 예를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 유사도 테스트가 수행된 결과를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 보간부가 중간 픽셀의 기하 정보를 추정하는 일 예를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 영상 처리 장치가 동작하는 일 예를 도시한 흐름도이다.
도 14a 내지 도 14b는 일 실시예에 따른 타일의 중요도를 설명하기 위한 도면들이다.
도 15는 일 실시예에 따른 제 1 프레임의 렌더링이 수행되고, 제 1 프레임에 포함된 타일들의 유사도 및 중요도가 획득되는 일 예를 도시한 흐름도이다.
도 16은 일 실시예에 따른 영상 처리 장치가 동작하는 다른 예를 도시한 흐름도이다.
도 17은 일 실시예에 따른 영상 처리 장치가 동작하는 또 다른 예를 도시한 흐름도이다.
도 18은 일 실시예에 따른 영상 처리 장치가 동작하는 또 다른 예를 도시한 흐름도이다.
도 19는 일 실시예에 따른 영상 처리 장치의 다른 예를 나타내는 구성도이다.
도 2는 일 실시예에 따른 제 1 프레임 및 제 2 프레임의 일 예를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 광선 추적을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 영상 처리 시스템의 일 예를 나타내는 구성도이다.
도 5는 일 실시예에 따른 영상 처리 장치가 동작하는 일 예를 도시한 흐름도이다.
도 6은 일 실시예에 따른 제 1 프레임의 렌더링이 수행되고, 제 1 프레임에 포함된 타일들의 유사도가 획득되는 일 예를 도시한 흐름도이다.
도 7은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 일 예를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 다른 예를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 또 다른 예를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 또 다른 예를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 유사도 테스트가 수행된 결과를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 보간부가 중간 픽셀의 기하 정보를 추정하는 일 예를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 영상 처리 장치가 동작하는 일 예를 도시한 흐름도이다.
도 14a 내지 도 14b는 일 실시예에 따른 타일의 중요도를 설명하기 위한 도면들이다.
도 15는 일 실시예에 따른 제 1 프레임의 렌더링이 수행되고, 제 1 프레임에 포함된 타일들의 유사도 및 중요도가 획득되는 일 예를 도시한 흐름도이다.
도 16은 일 실시예에 따른 영상 처리 장치가 동작하는 다른 예를 도시한 흐름도이다.
도 17은 일 실시예에 따른 영상 처리 장치가 동작하는 또 다른 예를 도시한 흐름도이다.
도 18은 일 실시예에 따른 영상 처리 장치가 동작하는 또 다른 예를 도시한 흐름도이다.
도 19는 일 실시예에 따른 영상 처리 장치의 다른 예를 나타내는 구성도이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따른 영상 처리 장치의 일 예를 나타내는 구성도이다.
도 1을 참조하면, 영상 처리 장치(100)는 결정부(110) 및 선택부(120)를 포함한다. 영상 처리 장치(100)는 제 1 프레임의 렌더링 결과에 기초하여, 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택한다. 다시 말해, 영상 처리 장치(100)는 제 1 프레임의 렌더링이 수행됨에 따라 생성된 정보를 이용하여 제 2 프레임이 렌더링 되는 방법을 선택한다.
제 1 프레임과 제 2 프레임은 연속적으로 렌더링이 수행되는 대상을 의미한다. 일반적으로, 제 1 프레임의 렌더링 결과는 제 2 프레임의 렌더링 결과와 유사하기에, 영상 처리 장치(100)는 제 1 프레임의 렌더링 결과를 이용하여 제 2 프레임의 렌더링에 이용되는 방법을 선택할 수 있다. 이하, 도 2를 참조하여, 제 1 프레임 및 제 2 프레임에 대하여 설명한다.
도 2는 일 실시예에 따른 제 1 프레임 및 제 2 프레임의 일 예를 설명하기 위한 도면이다.
도 2에는 제 1 프레임(210) 및 제 2 프레임(220)이 도시되어 있다. 이하에서는, 제 1 프레임(210)의 렌더링이 종료된 이후에 연속적으로 제 2 프레임(220)이 렌더링 되는 것으로 가정한다. 예를 들어, 제 1 프레임(210) 및 제 2 프레임(220)은 타일 단위로 렌더링 될 수 있다.
제 1 프레임(210) 및 제 2 프레임(220)은 복수의 픽셀들을 포함하는 타일 단위로 분할될 수 있다. 예를 들어, 제 1 프레임(210)이 1024*768 픽셀들을 포함한다고 가정하면, 제 1 프레임(210)은 32*32 픽셀들을 포함하는 768개의 타일들로 분할될 수 있다.
또한, 각각의 타일들은 복수의 픽셀 블록들로 분할될 수 있으며, 각각의 픽셀 블록에는 복수의 픽셀들이 포함될 수 있다. 예를 들어, 제 1 프레임(210)에 포함된 제 1 타일(230)이 32*32 픽셀들을 포함한다고 가정하면, 제 1 타일(230)은 2*2 픽셀들을 포함하는 256 개의 픽셀 블록들로 분할될 수 있다. 다시 말해, 제 1 타일(250)에 포함된 픽셀 블록(240)은 4개의 픽셀들(241, 242, 243, 244)를 포함할 수 있다. 후술될 결정부(110)는 샘플링 비율에 기초하여 제 1 타일(230)을 복수의 픽셀 블록들로 분할할 수 있다. 따라서, 샘플링 비율이 변경되면, 픽셀 블록에 포함된 픽셀들의 수가 변경된다.
또한, 결정부(110)는 픽셀 블록(240)에 포함된 어느 하나의 픽셀(241)을 참조 픽셀로 선택할 수 있다. 이하에서는, 픽셀 블록(240)에 포함된 픽셀들(241, 242, 243, 244) 중에서 참조 픽셀(241)을 제외한 픽셀들(242, 243, 244)을 중간 픽셀로 정의한다.
또한, 결정부(110)는 샘플링 비율에 기초하여 제 2 타일(250)을 복수의 픽셀 블록들로 분할 할 수 있다. 이하에서, 제 1 타일(230)은 제 1 프레임(210)에 포함된 복수의 타일들 중 어느 하나를 의미하고, 제 2 타일(250)은 제 2 프레임(220)에 포함된 복수의 타일들 중에서 제 1 타일(230)에 대응하는 타일을 의미하는 것으로 가정하고 설명한다.
다시 도 1을 참조하면, 결정부(110)는 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율을 결정한다. 여기에서, 제 1 프레임의 렌더링 결과는 영상 처리 장치(100)가 제 1 프레임을 렌더링 함으로써 생성된 정보를 의미한다.
또한, 제 1 프레임의 렌더링 결과에는 제 1 프레임에 포함된 타일들 각각의 유사도 또는 중요도가 포함될 수 있다. 여기에서, 제 1 타일의 유사도는 제 1 타일에 포함된 픽셀들에 대하여 렌더링이 수행된 결과가 얼마나 유사한지를 나타내는 정도를 의미한다. 즉, 제 1 타일의 유사도가 높을수록 제 1 타일에 포함된 픽셀들이 렌더링 된 결과가 서로 유사해진다. 한편, 제 1 타일의 중요도는 제 1 타일에 포함된 픽셀들이 얼마나 정교하게 렌더링이 되어야 하는지를 나타내는 정도를 의미한다. 즉, 제 1 타일의 중요도가 높을수록 제 1 타일에 포함된 픽셀들은 정교하게 렌더링이 수행된다.
샘플링 비율은 제 2 프레임에 포함된 타일에서 픽셀들이 선택되는 비율을 의미한다. 즉, 결정부(110)는 샘플링 비율에 기초하여 제 2 타일에 포함된 복수의 픽셀들 중에서 적어도 하나 이상을 선택한다. 예를 들어, 샘플링 비율이 2*2라고 가정하면, 결정부(110)는 제 2 타일을 2*2 픽셀들(즉, 4개의 픽셀들)이 포함된 픽셀 블록들로 분할할 수 있다.
이때, 결정부(110)는 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 타일들의 샘플링 비율을 결정할 수 있다. 일 예로서, 제 1 타일의 유사도가 높다면, 결정부(110)는 제 2 타일의 샘플링 비율을 감소시킬 수 있다. 다른 예로서, 제 1 타일의 중요도가 높다면, 결정부(110)는 제 2 타일의 샘플링 비율을 증가시킬 수 있다. 여기에서, 결정부(110) 제 2 타일의 샘플링 비율을 감소시킨다는 것은 제 1 타일이 샘플링되는 비율인 제 1 비율에 비하여 제 2 타일이 샘플링되는 비율인 제 2 비율이 낮음을 의미한다.
예를 들어, 제 1 타일이 2*2 픽셀들이 포함된 픽셀 블록들로 분할되고, 제 1 타일의 유사도가 높다면, 결정부(110)는 제 2 타일을 3*3 픽셀들이 포함된 픽셀들로 분할(즉, 제 1 타일의 샘플링 비율에 비하여 제 2 타일의 샘플링 비율이 감소)할 수 있다.
그리고, 결정부(110)는 샘플링 비율에 기초하여 제 2 프레임에 포함된 타일들 각각에서 참조 픽셀들을 선택한다. 예를 들어, 결정부(110)는 제 2 타일에 포함된 복수의 픽셀 블록들 각각에서 하나씩 참조 픽셀을 선택할 수 있다. 만약, 제 2 타일이 32*32 픽셀들로 구성되고, 제 2 타일이 2*2의 픽셀들을 포함하는 픽셀 블록들로 분할되었다면, 결정부(110)가 제 2 타일에서 선택하는 참조 픽셀의 개수는 256개가 될 수 있다. 이때, 픽셀 블록에서 참조 픽셀을 제외한 나머지 3개의 픽셀들은 중간 픽셀들로 정의된다.
선택부(120)는 참조 픽셀들 각각의 기하 정보에 기초하여 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택한다. 여기에서, 픽셀이 렌더링 된다는 것은 픽셀의 기하 정보가 획득되는 것을 의미한다. 예를 들어, 선형 보간 방식을 통하여 픽셀의 기하 정보가 획득될 수도 있고, 광선 추적 기법을 통하여 픽셀의 기하 정보가 회득될 수도 있다. 따라서, 선택부(120)는 선형 보간 방식 및 광선 추적 방식 중 어느 하나를 선택할 수 있다.
한편, 참조 픽셀의 기하 정보는 참조 픽셀에 대하여 광선 추적이 수행됨에 따라 획득된다. 여기에서, 기하 정보에는 광선와 오브젝트의 교점 부분의 트라이앵글 아이디(Triangle ID), 오브젝트 아이디, 교점의 포지션, 노말 벡터, 텍스쳐 코디네이트(Texture coordinates), 섀도우 비트 등이 포함될 수 있다. 이하, 도 3을 참조하여 광선 추적에 대하여 설명한다.
도 3은 일 실시예에 따른 광선 추적을 설명하기 위한 도면이다.
도 3을 참조하면, 3차원 모델링에서, 후술될 광선 추적 코어(200)는 시점(10)을 결정하고, 시점(view point)에 따라 프레임(20)을 결정한다. 시점(10)과 프레임(20)이 결정되면, 광선 추적 코어(200)는 시점(10)으로부터 프레임(20)의 각 픽셀들에 대하여 광선을 생성한다.
도 3의 구성들을 설명하면, 시점(10)으로부터 1차 광선(primary ray, 30)이 생성된다. 1차 광선(30)은 프레임(20)을 지나 오브젝트(object, 70)와 교차된다. 1차 광선(30)과 오브젝트(70)의 교차점에서는 반사 광선(reflection ray, 40) 및 굴절 광선(refraction ray, 50)이 생성된다. 또한, 교차점에서 광원(80)의 방향으로 쉐도우 광선(shadow ray, 60)이 생성된다. 이때, 반사, 굴절, 쉐도우 광선들(40, 50, 60)을 2차 광선이라고 한다. 오브젝트(70)는 영상으로 표현될 대상을 의미하고, 오브젝트(70)는 복수의 프리미티브들을 포함한다.
광선 추적 코어(200)는 1차 광선(30), 2차 광선들(40, 50, 60) 및 2차 광선들로부터 파생되는 광선들을 분석한다. 광선 추적 코어(200)는 분석 결과에 기초하여 프레임(20)을 구성하는 픽셀들의 색상 값을 결정한다. 이때, 광선 추적 코어(200)는 오브젝트(70)의 특성을 고려하여 픽셀들의 색상 값을 결정한다.
도 4는 일 실시예에 따른 영상 처리 시스템의 일 예를 나타내는 구성도이다.
도 4를 참조하면, 영상 처리 시스템(1)은 영상 처리 장치(100), 광선 추적 코어(200), 가속 구조 생성 장치(300) 및 외부 메모리(400)를 포함한다. 영상 처리 장치(100)는 도 1을 참조하여 상술한 결정부(110) 및 선택부(120)뿐 만 아니라, 보간부(130)를 더 포함할 수 있다. 따라서, 이하에서 생략되었다고 하더라도, 결정부(110) 및 선택부(120)에 관하여 이상에서 기술된 내용은 도 4를 참조하여 후술할 예에도 적용될 수 있다.
영상 처리 장치(100)는 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택한다. 일 실시예에 따르면, 제 1 프레임 및 제 2 프레임은 타일 별로 렌더링 될 수 있다. 여기에서, 제 1 프레임의 렌더링 결과는 제 1 프레임에서 선택된 참조 픽셀들 각각의 기하 정보뿐 만 아니라 제 1 프레임에 포함된 타일들 각각의 유사도 또는 중요도를 포함한다.
제 1 프레임에 포함된 픽셀들의 기하 정보는 선형 보간 방식에 의하여 획득될 수도 있고, 광선 추적 방식에 의하여 획득될 수도 있다. 구체적으로, 보간부(130)는 제 1 프레임의 참조 픽셀들의 기하 정보를 선형 보간 함으로써 일부 중간 픽셀들의 기하 정보를 획득할 수 있다. 또한, 보간부(130)는 제 2 프레임의 참조 픽셀들의 기하 정보를 선형 보간 함으로써 일부 중간 픽셀들의 기하 정보를 획득할 수 있다. 보간부(130)가 선형 보간을 수행하는 일 예는 도 12를 참조하여 후술한다.
광선 추적 코어(200)는 제 1 프레임의 참조 픽셀들 및 나머지 중간 픽셀들에 대하여 광선 추적을 수행함으로써 픽셀들의 기하 정보를 획득할 수 있다. 또한, 광선 추적 코어(200)는 제 2 프레임의 참조 픽셀들 및 나머지 중간 픽셀들에 대하여 광선 추적을 수행함으로써 픽셀들의 기하 정보를 획득할 수 있다.
구체적으로, 광선 추적 코어(200)는 생성된 광선들과 3차원 공간에 위치한 오브젝트들의 교차점을 추적하고, 화면을 구성하는 픽셀들의 색상 값을 결정한다. 다시 말해, 광선 추적 코어(200)는 광선들과 오브젝트들의 교차점을 찾고, 교차점에서의 오브젝트의 특성에 따라 2차 광선을 생성하고 교차점의 색상의 값을 결정한다. 이하, 광선 추적 코어(200)에 포함된 광선 생성 유닛, TRV(Traversal) 유닛, IST(Intersection) 유닛 및 쉐이딩 유닛이 동작하는 일 예를 설명한다.
광선 생성 유닛은 1차 광선 및 2차 광선을 생성한다. 광선 생성 유닛은 시점으로부터 1차 광선을 생성하고, 1차 광선과 오브젝트의 교차점에서 반사, 굴절, 또는 쉐도우 2차 광선을 생성한다. 또한, 광선 생성 유닛은 2차 광선과 오브젝트의 교차점에서 또 다른 2차 광선을 생성할 수 있다. 광선 생성 유닛은 정해진 횟수 내에서 반사, 굴절, 쉐도우 광선을 생성하거나, 오브젝트의 특성에 따라 반사, 굴절, 쉐도우 광선의 생성 횟수를 결정할 수 있다.
TRV 유닛은 광선 생성 유닛으로부터 생성된 광선에 대한 정보를 수신한다. 생성된 광선은 1차 광선, 2차 광선 및 2차 광선에 의해 파생된 광선을 모두 포함한다. 예를 들어, 1차 광선의 경우, TRV 유닛은 생성된 광선의 시점 및 방향에 대한 정보를 수신할 수 있다. 또한, 2차 광선의 경우, TRV 유닛은 2차 광선의 출발점 및 방향에 대한 정보를 수신할 수 있다. 2차 광선의 출발점은 1차 광선이 히트된 지점을 나타낸다. 시점 또는 출발점은 좌표로 표현될 수 있으며, 방향은 벡터로 표현될 수 있다.
TRV 유닛은 외부 메모리(400)로부터 가속 구조에 대한 정보를 독출(read)한다. 가속 구조는 가속 구조 생성 장치(300)에 의해 생성되고, 생성된 가속 구조는 외부 메모리(400)에 저장된다. 가속 구조는 3차원 공간의 오브젝트들의 위치 정보를 포함하고 있는 구조를 나타낸다. 예를 들어, 가속 구조는 KD-tree(K-Dimensional tree), BVH(Bounding Volume Hierarchy) 등이 적용될 수 있다.
TRV 유닛은 가속 구조를 탐색하여, 광선이 히트(hit)된 오브젝트 또는 리프 노드(leaf node)를 출력한다. 예를 들어, TRV 유닛은 가속 구조에 포함된 노드들을 탐색하여, 노드들 중 최하위 노드인 리프 노드들 중에서 광선이 히트된 리프 노드를 IST 유닛으로 출력한다. 다시 말해서, TRV 유닛은 가속 구조를 구성하는 바운딩 박스(Bounding Box)들 중에서 어느 바운딩 박스에 광선이 히트되었는지 판단하고, 바운딩 박스에 포함된 오브젝트들 중에서 어느 오브젝트에 광선이 히트되었는지 판단한다. 히트된 오브젝트에 대한 정보는 TRV 캐쉬에 저장된다. 바운딩 박스는 복수의 오브젝트 또는 프리미티브들을 포함하는 단위를 나타낼 수 있으며, 가속 구조에 따라 다른 형태로 표현될 수 있다. TRV 캐쉬는 TRV 유닛이 탐색 과정에서 사용하는 데이터를 일시적으로 저장하기 위한 메모리를 나타낸다.
IST 유닛은 TRV 유닛로부터 광선이 히트된 오브젝트 또는 리프 노드를 수신하고, 외부 메모리(400)로부터 히트된 오브젝트에 포함된 프리미티브들에 대한 정보를 독출(read)한다. 독출된 프리미티브들에 대한 정보는 IST 캐쉬에 저장될 수 있다. IST 캐쉬는 교차 검색 과정에서 IST 유닛이 사용하는 데이터를 일시적으로 저장하기 위한 메모리를 나타낸다.
IST 유닛은 광선과 프리미티브 간의 교차 검사를 수행하여, 광선이 히트된 프리미티브 및 교차점을 출력한다. TRV 유닛으로부터 광선이 히트된 오브젝트가 무엇인지를 수신한 IST 유닛은 히트된 오브젝트에 포함된 복수의 프리미티브들 중에서 어느 프리미티브에 광선이 히트되었는지를 검사한다. 광선이 히트된 프리미티브를 찾은 다음, IST 유닛은 히트된 프리미티브의 어느 지점과 광선이 교차하였는지를 나타내는 교차점을 출력한다. 교차점은 좌표 형태로 쉐이딩 유닛으로 출력될 수 있다.
쉐이딩 유닛은 IST 유닛으로부터 수신된 교차점에 대한 정보 및 교차점의 물질 특성에 기초하여 픽셀의 색상 값을 결정한다. 쉐이딩 유닛은 교차점의 물질 기본 색상 및 광원에 의한 효과 등을 고려하여 픽셀의 색상 값을 결정한다.
광선 추적 코어(200)는 외부 메모리(400)로부터 광선 추적에 필요한 데이터를 수신한다. 외부 메모리(400)에는 가속 구조 생성 장치(300)에 의해 생성된 가속 구조 또는 프리미티브들에 대한 정보를 나타내는 기하 정보가 저장된다. 프리미티브는 삼각형, 사각형 등의 다각형일 수 있으며, 기하 정보에는 광선와 오브젝트의 교점 부분의 트라이앵글 아이디(Triangle ID), 오브젝트 아이디, 교점의 포지션, 노말 벡터, 텍스쳐 코디네이트(Texture coordinates), 섀도우 비트 등이 포함될 수 있다. 또한, 외부 메모리(400)에는 프레임에 포함된 타일들 각각에 대한 유사도 및 중요도를 나타내는 정보가 저장된다.
가속 구조 생성 장치(300)는 3차원 공간상의 오브젝트들의 위치 정보를 포함하는 가속 구조를 생성한다. 가속 구조 생성 장치(300)는 여러 가지 형태의 가속 구조를 생성할 수 있다. 예를 들어, 가속 구조는 3차원 공간이 계층적 트리로 분할된 형태일 수 있으며 가속 구조 생성 장치(300)는 BVH 또는 KD-tree를 적용하여 3차원 공간상의 오브젝트들의 관계를 나타내는 구조를 생성할 수 있다. 가속 구조 생성 장치(300)는 리프 노드의 최대 프리미티브의 수 및 트리 깊이(tree depth)를 결정하고, 결정에 기초하여 가속 구조를 생성할 수 있다.
도 5를 참조하여, 영상 처리 장치(100)가 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택하는 일 예를 후술한다.
도 5는 일 실시예에 따른 영상 처리 장치가 동작하는 일 예를 도시한 흐름도이다.
510 단계에서, 결정부(110)는 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율을 결정한다. 예를 들어, 결정부(110)는 제 1 프레임에 포함된 타일들 각각의 유사도 또는 중요도에 따라 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율을 결정할 수 있다. 따라서, 제 2 프레임에 포함된 타일들의 샘플링 비율이 결정되기 위해서는 제 1 프레임의 렌더링이 선행되어야 하고, 렌더링 과정에서 제 1 프레임에 포함된 타일들의 유사도 또는 중요도가 획득되어야 한다. 이하, 도 6을 참조하여, 제 1 프레임의 렌더링이 수행되고, 제 1 프레임에 포함된 타일들의 유사도가 획득되는 일 예를 설명한다.
도 6은 일 실시예에 따른 제 1 프레임의 렌더링이 수행되고, 제 1 프레임에 포함된 타일들의 유사도가 획득되는 일 예를 도시한 흐름도이다.
도 6에서는 제 1 프레임에 포함된 제 1 타일의 렌더링이 수행되고, 제 1 타일의 유사도가 획득되는 과정을 설명한다. 만약, 제 1 프레임이 복수의 타일들을 포함하고 있다면, 제 1 프레임에서 제 1 타일을 제외한 다른 타일들도 이하에서 설명될 방식으로 렌더링이 수행되고, 타일들 각각의 유사도가 획득될 수 있다.
610 단계에서, 광선 추적 코어(200)는 광선 추적을 수행하여 참조 픽셀의 기하 정보를 획득한다. 예를 들어, 광선 추적 코어(200)는 참조 픽셀의 트라이앵글 아이디(Triangle ID), 오브젝트 아이디, 교점의 포지션, 노말 벡터, 텍스쳐 코디네이트(Texture coordinates), 섀도우 비트 등을 획득할 수 있다.
예를 들어, 610 단계가 수행되기 이전에, 영상 처리 장치(100)가 기 설정된 샘플링 비율에 기초하여 제 1 타일을 복수의 픽셀 블록들로 분할하고, 픽셀 블록들 각각에서 하나의 픽셀을 참조 픽셀로 선택할 수 있다.
620 단계에서, 영상 처리 장치(100)는 참조 픽셀들의 기하 정보를 비교하여 제 1 타일의 유사도를 연산한다. 그리고, 영상 처리 장치(100)는 제 1 타일의 유사도를 외부 메모리(400)에 저장한다. 구체적으로, 선택부(120)는 제 1 타일의 참조 픽셀들의 기하 정보를 이용하여 참조 픽셀들과 참조 픽셀들에 인접한 중간 픽셀 사이의 유사도를 연산(즉, 유사도 테스트를 수행)한다, 그리고, 선택부(120)는 유사도 테스트의 결과에 기초하여 제 1 타일의 유사도를 결정할 수 있다. 이하, 도 7 내지 도 10을 참조하여, 선택부(120)가 유사도 테스트를 수행하는 예들을 설명한다.
도 7은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 일 예를 설명하기 위한 도면이다.
도 7에는 선택부(120)가 오브젝트 아이디에 기초하여 유사도 테스트를 수행하는 일 예가 도시되어 있다. 도 7에서, 제 1 참조 픽셀(710)의 오브젝트 아이디는 오브젝트(740)의 아이디이고, 제 2 참조 픽셀(720)의 오브젝트 아이디는 오브젝트(750)의 아이디라고 가정한다. 따라서, 제 1 참조 픽셀(710)의 오브젝트 아이디와 제 2 참조 픽셀(720)의 오브젝트 아이디는 서로 상이하다.
이러한 경우 중간 픽셀(730)은 두 오브젝트 중 어느 것에 대응되는지 미리 추정할 수 없다. 따라서, 선택부(120)는 제 1 참조 픽셀(710)의 기하 정보와 제 2 참조 픽셀(720)의 기하 정보는 서로 유사하지 않은 것으로 판단한다.
도 8은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 다른 예를 설명하기 위한 도면이다.
도 8에는 선택부(120)가 노말 벡터를 비교하여 유사도 테스트를 수행하는 일 예가 도시되어 있다. 선택부(120)는 제 1 참조 픽셀(810)에 대응하는 오브젝트 부분(851)에서의 제 1 노말 벡터(850)와 제 2 참조 픽셀(820)에 대응하는 오브젝트 부분(852)에서의 제 2 노말 벡터(860)의 내적을 연산한다.
도 8에 도시된 바와 같이, 제 1 노말 벡터(850)와 제 2 노말 벡터(860)의 방향이 많이 차이가 나는 경우에는 연산된 내적이 0 또는 음수에 가깝다. 또한, 동일한 오브젝트(840) 내에서도 굴곡이 심해질 수록, 제 1 노말 벡터(850)와 제 2 노말 벡터(860)가 상이해질 수 있다.
따라서, 선택부(120)는 상기 연산된 내적이 소정의 임계치 이상인 경우에만 제 1 참조 픽셀(810)의 기하 정보와 제 2 참조 픽셀(820)의 기하 정보가 유사한 것으로 판단하고, 그렇지 않은 경우에는 유사하지 않은 것으로 판단한다.
도 9는 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 또 다른 예를 설명하기 위한 도면이다.
도 9에는 선택부(120)가 기하 정보에 포함된 노말 벡터와 위치 정보를 비교하여 유사도 테스트를 수행하는 일 예가 도시되어 있다. 도 9에 도시된 바와 같이, 하나의 오브젝트(940) 내에서 표면의 굴곡(fluctuation)이 있는 경우, 일반적으로는 제 1 참조 픽셀(910)의 기하 정보와 제 2 참조 픽셀(920)의 기하 정보가 크게 상이하지만, 우연히 노말 벡터들의 방향은 서로 유사할 수 있다.
따라서, 선택부(120)는 포지션(951)으로부터 포지션(961)로의 제 1 방향 벡터(952)와, 그 역방향 벡터인 제 2 방향 벡터(962)를 연산한다. 그리고, 선택부(120)는 제 1 참조 픽셀(910)의 기하 정보에 포함된 노말 벡터(950)와 제 1 방향 벡터(952)의 내적과, 제 2 참조 픽셀(920)의 기하 정보에 포함된 노말 벡터(960)와 제 2 방향 벡터(962)의 내적을 곱한다.
그리고, 선택부(120)는 곱한 결과가 소정의 임계치 이상인 경우에는 제 1 참조 픽셀(910)의 기하 정보와 제 2 참조 픽셀(920)의 기하 정보가 유사한 것으로 판단하고, 그렇지 않은 경우에는 유사하지 않은 것으로 판단한다.
한편, 선택부(120)는 제 1 참조 픽셀(910)의 기하 정보에 포함된 새도우 비트(섀도우 영역인지의 여부를 나타내는 비트)와 제 2 참조 픽셀(920)의 기하 정보에 포함된 섀도우 비트를 비교하여, 섀도우 비트들이 동일한 경우가 아니라면 제 1 참조 픽셀(910)의 기하 정보와 제 2 참조 픽셀(920)의 기하 정보가 유사하지 않은 것으로 판단할 수도 있다.
도 10은 일 실시예에 따른 선택부가 유사도 테스트를 수행하는 또 다른 예를 설명하기 위한 도면이다.
도 10에는 선택부(120)가 2차 광선을 이용하여 유사도 테스트를 수행하는 일 예가 도시되어 있다. 광선 추적이 수행되는 과정에서, 1차 광선의 진행 경로가 동일하더라도, 1차 광선이 반사되거나 투과되는 방향에 따라 2차 광선의 진행 경로는 서로 상이할 수 있다. 이러한 경우, 중간 픽셀(1030)의 기하 정보가 제 1 참조 픽셀(1010)의 기하 정보와 제 2 참조 픽셀(1020)의 기하 정보를 이용하여 간접적으로 계산(즉, 선형 보간이 수행)되는 데에 무리가 있다.
따라서, 선택부(120)는 제 1 참조 픽셀(1010)에 대응하는 오브젝트 부분의 포지션(1051)으로부터 제 2 참조 픽셀(1020)에 대응하는 오브젝트 부분의 포지션(1071)으로의 방향 벡터(1061)와 제 1 참조 픽셀(1010)에 대응하는 2차 광선의 방향 벡터(1062)의 내적을 구한다.
그리고, 선택부(120)는 구해진 내적이 소정의 임계치 이상인 경우에만 제 1 참조 픽셀(1010)의 기하 정보와 제 2 참조 픽셀(1020)의 기하 정보가 유사한 것으로 판단하고, 그렇지 않은 경우에는 유사하지 않은 것으로 판단한다. 한편, 노말 벡터들(1050, 1060)은, 상기 도 7 내지 도 9를 참조하여 상술한 실시예들과 동일하게, 유사도 테스트에 이용될 수 있다.
도 11은 일 실시예에 따른 유사도 테스트가 수행된 결과를 설명하기 위한 도면이다.
도 7 내지 도 10을 참조하여 상술한 바와 같이, 선택부(120)는 제 1 타일(1120)에서 선택된 참조 픽셀들(1121, 1122, 1123, 1124)의 기하 정보를 이용하여 유사도 테스트를 수행할 수 있다. 다시 말해, 선택부(120)는 참조 픽셀들(1121, 1122, 1123, 1124)과 중간 픽셀 사이의 유사도를 연산할 수 있다.
유사도 테스트가 완료되면, 제 1 타일(1120)의 유사도가 결정될 수 있다. 예를 들어, 제 1 참조 픽셀(1121)의 기하 정보와 제 2 참조 픽셀(1122)의 기하 정보가 유사한 경우, 선택부(120)는 제 1 중간 픽셀(1125)은 유사하다고 판단할 수 있다. 이러한 방식으로, 선택부(120)는 제 1 타일(1120)에 포함된 모든 중간 픽셀들에 대하여 유사/비유사를 판단할 수 있다.
그리고, 선택부(120)는 유사하다고 판단된 중간 픽셀들의 수 및 비유사하다고 판단된 중간 픽셀들의 수를 조합하여, 제 1 타일(1120)의 유사도를 수치로 나타낼 수 있다. 예를 들어, 선택부(120)는 제 1 프레임(1110)에 포함된 일 타일(1130)의 유사도는 50%, 다른 타일(1140)의 유사도는 69%로 나타낼 수 있다.
다시 도 6을 참조하면, 630 단계에서, 선택부(120)는 참조 픽셀들의 기하 정보가 유사한지 여부를 판단한다. 선택부(120)가 참조 픽셀들의 기하 정보가 유사한지 여부를 결정하는 예들은 도 7 내지 도 10을 참조하여 상술한 바와 같다.
만약, 참조 픽셀들의 기하 정보가 유사하다고 판단되면 640 단계로 진행하고, 비유사하다고 판단되면 650 단계로 진행한다.
640 단계에서, 보간부(130)는 참조 픽셀들의 기하 정보를 선형 보간 하여 중간 픽셀의 기하 정보를 추정한다. 630 단계에서, 참조 픽셀들의 기하 정보가 유사하다고 판단되었는바, 선택부(120)는 중간 픽셀의 렌더링 방법을 선형 보간 방식으로 결정한다. 따라서, 보간부(130)는 참조 픽셀들의 기하 정보를 선형 보간 하여 중간 픽셀의 기하 정보를 추정할 수 있다. 이하, 도 12를 참조하여, 보간부(130)가 중간 픽셀의 기하 정보를 추정하는 일 예를 설명한다.
도 12는 일 실시예에 따른 보간부가 중간 픽셀의 기하 정보를 추정하는 일 예를 설명하기 위한 도면이다.
도 7 내지 도 10을 참조하여 상술한 바와 같이, 제 1 참조 픽셀(1210)에 대응하는 제 1 기하 정보와 제 2 참조 픽셀(1220)에 대응하는 제 2 기하 정보가 유사하다고 판단된 경우, 보간부(130)는 중간 픽셀(1230)에 대응하는 제 3 기하 정보는 제 1 기하 정보와 제 2 기하 정보의 보간(interpolation)에 의해 추정할 수 있다.
예를 들어, 보간부(130)는 제 1 참조 픽셀(1210)과 중간 픽셀(1230) 사이의 거리인 d1과, 제 2 참조 픽셀(1220)과 중간 픽셀(1230) 사이의 거리인 d2의 비례 관계에 따라 선형 보간을 수행할 수 있다. 이때, 선형 보간에 의하여 추정되는 제 3 기하 정보에는 트라이앵글 아이디(Triangle ID), 오브젝트 아이디, 교점의 포지션, 노말 벡터, 택스쳐 코디네이트(Texture coordinates), 섀도우 비트 등이 포함될 수 있다.
상술한 바에 따르면, 보간부(130)가 선형 보간을 수행함에 따라 중간 픽셀의 기하 정보를 추정할 수 있는바, 광선 추적 코어(200)가 타일에 포함된 모든 픽셀들에 대하여 광선 추적을 수행해야 하는 부담이 감소된다. 따라서, 영상 처리 시스템(1)이 영상을 처리하는데 소요되는 시간 및 비용(예를 들어, 전력)이 감소될 수 있다.
다시 도 6을 참조하면, 650 단계에서, 광선 추적 코어(200)는 광선 추적을 수행하여 중간 픽셀의 기하 정보를 연산한다. 630 단계에서, 참조 픽셀들의 기하 정보가 비유사하다고 판단되었는바, 선택부(120)는 중간 픽셀의 렌더링 방법을 광선 추적 방식으로 결정한다. 따라서, 광선 추적 코어(200)는 광선 추적을 수행하여 중간 픽셀의 기하 정보를 연산할 수 있다. 광선 추적 코어(200)가 광선 추적을 수행하는 예는 도 4를 참조하여 상술한 바와 같다.
다시 도 5를 참조하면, 510 단계에서, 결정부(110)는 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율을 결정한다. 도 6 내지 도 12를 참조하여 상술한 바와 같이, 영상 처리 시스템(1)은 제 1 프레임을 렌더링하고, 제 1 프레임에 포함된 타일들의 유사도를 획득할 수 있다. 따라서, 결정부(110)는 제 1 프레임에 포함된 타일들의 유사도에 기초하여 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율을 결정할 수 있다.
예를 들어, 결정부(110)는 제 2 타일의 샘플링 비율을 제 1 타일의 샘플링 비율보다 증가시키거나 감소시킬 수 있다. 또한, 결정부(110)는 제 2 타일의 샘플링 비율을 제 1 타일의 샘플링 비율과 동일하게 유지시킬 수도 있다.
520 단계에서, 결정부(110)는 샘플링 비율에 기초하여 제 2 프레임에 포함된 타일들 각각에서 참조 픽셀들을 선택한다. 예를 들어, 제 2 타일의 샘플링 비율이 3*3이라고 가정하면, 결정부(110)는 제 2 타일을 3*3 픽셀들을 포함하는 픽셀 블록들로 분할하고, 픽셀 블록들 각각에서 참조 픽셀을 선택할 수 있다.
530 단계에서, 선택부(120)는 참조 픽셀들에 대하여 광선 추적을 수행함으로써 참조 픽셀들 각각의 기하 정보를 획득한다.
540 단계에서, 선택부(120)는 참조 픽셀들의 기하 정보에 기초하여 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택한다. 선택부(120)가 선택한 방법에 따라, 보간부(130)가 참조 픽셀들의 기하 정보를 선형 보간하여 중간 픽셀의 기하 정보를 추정하거나, 광선 추적 코어(200)가 광선 추적을 수행하여 중간 픽셀의 기하 정보를 연산한다.
이하, 도 13을 참조하여, 도 5의 510 단계 내지 540 단계를 구체적으로 설명한다.
도 13은 일 실시예에 따른 영상 처리 장치가 동작하는 일 예를 도시한 흐름도이다.
도 13에서는 영상 처리 시스템(1)이 제 1 프레임에 대한 렌더링을 완료한 것을 가정하여 설명한다. 영상 처리 시스템(1)이 제 1 프레임에 대한 렌더링을 수행하는 일 예는 도 5 내지 도 12를 참조하여 상술한 바와 같다. 또한, 제 1 역치 값 및 제 2 역치 값은 영상 처리 장치(100)가 제조되는 때에 설정될 수도 있고, 이후에 사용자에 의하여 변경될 수도 있다.
1310 단계에서, 결정부(110)는 제 1 타일의 유사도가 제 1 역치 값을 초과하는지 여부를 판단한다. 제 1 타일의 유사도가 제 1 역치 값을 초과하는 경우에는 1320 단계로 진행하고, 그렇지 않은 경우에는 1330 단계로 진행한다.
1320 단계에서, 결정부(110)는 제 2 타일에 적용될 샘플링 비율을 감소시킨다. 그리고, 결정부(110)는 감소된 샘플링 비율에 따라 제 2 타일을 복수의 픽셀 블록들로 분할하고, 픽셀 블록들 각각에서 참조 픽셀을 선택한다.
제 1 타일의 유사도가 제 1 역치 값을 초과하는 것은 제 1 타일에 포함된 픽셀들이 서로 유사한 것을 의미한다. 일반적으로, 제 2 타일은 제 1 타일과 유사한 정보를 포함하기에, 제 2 타일에 포함된 픽셀들도 서로 유사할 것으로 추정될 수 있다. 따라서, 결정부(110)는 제 1 타일에 적용된 샘플링 비율에 비하여 제 2 타일에 적용될 샘플링 비율을 감소시킬 수 있다.
예를 들어, 제 1 타일에 적용된 샘플링 비율이 2*2 라고 가정하면, 선택부(120)는 제 2 타일에 적용될 샘플링 비율을 3*3, 4*4 등으로 조정할 수 있다. 제 1 타일에 포함된 픽셀들의 수와 제 2 타일에 포함된 픽셀들의 수가 동일하다. 따라서, 결정부(110)가 조정된 샘플링 비율에 따라 제 2 타일에서 선택한 참조 픽셀들의 수는 제 1 타일에서 선택된 참조 픽셀들의 수보다 적다.
그리고, 선택부(120)는 제 2 타일에서 선택된 참조 픽셀들의 기하 정보를 획득한다. 구체적으로, 광선 추적 코어(200)는 제 2 타일에서 선택된 참조 픽셀들의 기하 정보를 연산하고, 선택부(120)는 광선 추적 코어(200)로부터 연산된 기하 정보를 획득한다.
1330 단계에서, 결정부(110)는 제 1 타일의 유사도가 제 2 역치 값 미만인지를 판단한다. 제 1 타일의 유사도가 제 2 역치 값 미만인 경우에는 1340 단계로 진행하고, 그렇지 않은 경우에는 1350 단계로 진행한다. 이때, 제 2 역치 값은 제 1 역치 값보다 작은 값을 의미한다.
1340 단계에서, 결정부(110)는 제 2 타일에 적용될 샘플링 비율을 증가시킨다. 그리고, 결정부(110)는 증가된 샘플링 비율에 따라 제 2 타일을 복수의 픽셀 블록들로 분할하고, 픽셀 블록들 각각에서 참조 픽셀을 선택한다.
제 1 타일의 유사도가 제 2 역치 값 미만인 것은 제 1 타일에 포함된 픽셀들 중에서 비유사한 픽셀들이 많은 것을 의미한다. 따라서, 결정부(110)는 제 1 타일에 적용된 샘플링 비율에 비하여 제 2 타일에 적용될 샘플링 비율을 증가시킬 수 있다.
예를 들어, 제 1 타일에 적용된 샘플링 비율이 3*3 라고 가정하면, 선택부(120)는 제 2 타일에 적용될 샘플링 비율을 2*2 등으로 조정할 수 있다. 따라서, 결정부(110)가 조정된 샘플링 비율에 따라 제 2 타일에서 선택한 참조 픽셀들의 수는 제 1 타일에서 선택된 참조 픽셀들의 수보다 많다.
그리고, 선택부(120)는 제 2 타일에서 선택된 참조 픽셀들의 기하 정보를 획득한다.
1350 단계에서, 결정부(110)는 샘플링 비율의 변동 없이 제 2 타일을 복수의 픽셀 블록들로 분할하고, 픽셀 블록들 각각에서 참조 픽셀을 선택한다. 다시 말해, 결정부(110)는 제 1 타일에 적용된 샘플링 비율에 따라 제 2 타일을 복수의 픽셀 블록들로 분할한다. 따라서, 결정부(110)가 제 2 타일에서 선택한 참조 픽셀들의 수는 제 1 타일에서 선택된 참조 픽셀들의 수와 동일하다.
그리고, 선택부(120)는 제 2 타일에서 선택된 참조 픽셀들의 기하 정보를 획득한다.
1360 단계에서, 선택부(120)는 참조 픽셀들의 기하 정보를 비교하여 제 2 타일의 유사도를 연산한다. 그리고, 선택부(120)는 연산된 유사도를 외부 메모리(400)에 저장한다. 선택부(120)가 제 2 타일의 유사도를 연산하는 구체적인 방법은 도 6 내지 도 11을 참조하여 상술한 바와 같다.
1370 단계에서, 선택부(120)는 제 2 타일에 포함된 중간 픽셀들이 렌더링 되는 방법을 선택한다. 예를 들어, 선택부(120)는 선형 보간 방식 또는 광선 추적 방식 중 어느 하나를 선택할 수 있다. 선택부(120)가 중간 픽셀들이 렌더링 되는 방법을 선택하는 구체적인 방법은 도 6 내지 도 11을 참조하여 상술한 바와 같다.
그리고, 선택부(120)가 선택한 방법에 따라, 보간부(130)가 참조 픽셀들의 기하 정보를 선형 보간하여 중간 픽셀의 기하 정보를 추정하거나, 광선 추적 코어(200)가 광선 추적을 수행하여 중간 픽셀의 기하 정보를 연산한다.
도 6 내지 도 13을 참조하여 상술한 바에 따르면, 영상 처리 시스템(1)은 제 1 타일의 유사도에 기초하여 제 2 타일의 샘플링 비율을 적응적으로 조정하고, 제 2 타일에 포함된 픽셀들이 렌더링되는 방법을 결정할 수 있다. 따라서, 영상 처리 시스템(1)은 광선 추적 방식에 따라 렌더링이 수행되는 픽셀들의 개수를 적응적으로 조정할 수 있는바, 영상의 품질을 유지하면서도 렌더링에 소요되는 비용(예를 들어, 시간 또는 전력)을 감소시킬 수 있다.
한편, 결정부(110)는 제 1 타일의 유사도 뿐만 아니라, 제 1 타일의 중요도에 기초하여 제 2 타일의 샘플링 비율을 결정할 수 있다. 여기에서, 제 1 타일의 중요도는 제 1 타일에 포함된 픽셀들이 얼마나 정교하게 렌더링이 되어야 하는지를 나타내는 정도를 의미한다. 즉, 제 1 타일의 중요도가 높을수록 제 1 타일에 포함된 픽셀들은 정교하게 렌더링이 수행된다. 또한, 제 1 프레임과 제 2 프레임은 서로 유사한바, 결정부(110)는 제 1 타일의 중요도가 높을수록 제 2 타일의 샘플링 비율을 높게 결정한다. 이하, 도 14를 참조하여 타일의 중요도에 대하여 설명한다.
도 14a 내지 도 14b는 일 실시예에 따른 타일의 중요도를 설명하기 위한 도면들이다.
도 6 내지 도 13을 참조하여 상술한 바에 따르면, 결정부(110)는 제 1 타일의 유사도에 기초하여 제 2 타일의 샘플링 비율을 결정할 수 있다. 다시 말해, 제 1 타일의 유사도가 낮다면, 결정부(110)는 제 1 타일의 샘플링 비율에 비하여 제 2 타일의 샘플링 비율이 높도록 설정할 수 있다. 따라서, 제 1 타일의 유사도가 낮은 경우, 제 1 타일에서 선택된 참조 픽셀들의 수보다 제 2 타일에서 선택된 참조 픽셀들의 수가 많아질 수 있다.
다만, 제 1 타일의 유사도가 낮다고 하더라도, 제 1 타일의 중요도도 역시 낮다면, 영상 처리 시스템(1)은 제 2 타일에 대하여 정교하게 렌더링을 수행하지 않을 수도 있다. 즉, 제 1 타일의 중요도가 낮은 경우에는, 영상 처리 시스템(1)이 제 2 타일의 렌더링을 정교하게 수행하지 않더라도, 제 2 프레임에 대응하는 영상의 품질에는 큰 영향이 없을 수도 있다. 예를 들어, 제 1 타일에 그림자 영역이 많이 포함되어 있다면, 제 2 타일의 렌더링이 정교하게 수행되지 않더라도 영상의 품질에는 큰 영향이 없을 수 있다.
도 14a 내지 도 14b에는 제 1 프레임(1410)에 포함된 타일들 중에서 중요도가 높은 타일들(1421, 1422) 및 중요도가 낮은 타일들(1431, 1432)의 예가 도시되어 있다.
일 예로서, 도 14a를 참조하면, 참조 픽셀들에 대하여 광선 추적이 수행된 결과 반사 광선 또는 굴절 광선이 많이 발생되었다면, 그 참조 픽셀들이 포함된 타일들(1421)의 중요도는 높게 결정될 수 있다. 한편, 참조 픽셀들에 대하여 광선 추적이 수행된 결과 그림자 광선이 많이 발생되었다면, 그 참조 픽셀들이 포함된 타일들(1431)의 중요도는 낮게 결정될 수 있다.
다른 예로서, 도 14b를 참조하면, 제 1 프레임(1410)의 중심 영역에 존재하는 타일들(1422)의 중요도가 높게 결정될 수 있다. 일반적으로, 사용자가 영상을 바라보는 경우, 영상의 중심 영역에 시선이 머무르는 경우가 많다. 따라서, 제 1 프레임(1410)의 중심 영역에 존재하는 타일들(1422)은 중요도가 높게 결정되고, 상대적으로 제 1 프레임(1410)의 외곽 영역에 존재하는 타일들(1432)의 중요도는 낮게 결정될 수 있다.
또 다른 예로서, 제 1 프레임(1410)에서 중요도가 높은 타일들(1421, 1422)은 사용자에 의하여 설정될 수도 있다. 또한, 사용자의 시선을 추적하는 센서로부터 전송된 정보에 기초하여, 제 1 프레임(1410)에서 사용자의 시선이 자주 머무르게 되는 공간에 대응하는 타일들을 중요도가 높은 타일들(1421, 1422)로 설정될 수도 있다.
이하, 도 15를 참조하여, 제 1 프레임의 렌더링이 수행되고, 제 1 프레임에 포함된 타일들의 유사도 및 중요도가 획득되는 일 예를 설명한다.
도 15는 일 실시예에 따른 제 1 프레임의 렌더링이 수행되고, 제 1 프레임에 포함된 타일들의 유사도 및 중요도가 획득되는 일 예를 도시한 흐름도이다.
도 15에서는 제 1 프레임에 포함된 제 1 타일의 렌더링이 수행되고, 제 1 타일의 유사도가 획득되는 과정을 설명한다. 만약, 제 1 프레임이 복수의 타일들을 포함하고 있다면, 제 1 프레임에서 제 1 타일을 제외한 다른 타일들도 이하에서 설명될 방식으로 렌더링이 수행되고, 타일들 각각의 유사도가 획득될 수 있다.
도 15의 1510 단계 내지 1520 단계는 도 6의 610 단계 내지 620 단계에 대응된다. 또한, 도 15의 1540 단계 내지 1560 단계는 도 6의 630 단계 내지 650 단계에 대응된다. 따라서, 이하에서는 1510 단계 내지 1520 단계 및 1540 단계 내지 1560 단계에 대한 구체적인 설명은 생략한다.
1530 단계에서, 영상 처리 장치(100)는 제 1 타일의 중요도를 결정한다. 그리고, 영상 처리 장치(100)는 제 1 타일의 중요도를 외부 메모리(400)에 저장한다. 구체적으로, 영상 처리 장치(100)는 도 14를 참조하여 상술한 예들 중 어느 하나의 예를 기준으로 제 1 타일의 중요도를 결정할 수 있다.
이하, 도 16을 참조하여, 제 1 프레임의 중요도에 기초하여 제 2 프레임의 렌더링이 수행되는 일 예를 구체적으로 설명한다.
도 16은 일 실시예에 따른 영상 처리 장치가 동작하는 다른 예를 도시한 흐름도이다.
도 16에서는 영상 처리 시스템(1)이 제 1 프레임에 대한 렌더링을 완료한 것을 가정하여 설명한다. 영상 처리 시스템(1)이 제 1 프레임에 대한 렌더링을 수행하는 일 예는 도 5 내지 도 12를 참조하여 상술한 바와 같다. 또한, 제 3 역치 값 및 제 5 역치 값은 영상 처리 장치(100)가 제조되는 때에 설정될 수도 있고, 이후에 사용자에 의하여 변경될 수도 있다.
1610 단계에서, 결정부(110)는 제 1 타일의 중요도가 제 3 역치 값을 초과하는지 여부를 판단한다. 제 1 타일의 중요도가 제 3 역치 값을 초과하는 경우에는 1620 단계로 진행하고, 그렇지 않은 경우에는 1630 단계로 진행한다.
1620 단계에서, 결정부(110)는 제 4 역치 값을 높인다. 여기에서, 제 4 역치 값은 제 2 타일에 대한 샘플링 비율이 결정되는데 이용되는 역치 값을 의미한다. 1610 단계에서, 제 1 타일의 중요도가 제 3 역치 값을 초과한다는 것은 제 1 타일의 중요도가 높음을 의미한다. 따라서, 결정부(110)는, 제 1 타일에서 선택된 참조 픽셀들의 수보다 제 2 타일에서 선택된 참조 픽셀들의 수가 더 많아지도록, 제 4 역치 값을 높일 수 있다.
1630 단계에서, 결정부(110)는 제 1 타일의 중요도가 제 5 역치 값 미만인지를 판단한다. 제 1 타일의 중요도가 제 5 역치 값 미만인 경우에는 1640 단계로 진행하고, 그렇지 않은 경우에는 1650 단계로 진행한다. 이때, 제 5 역치 값은 제 3 역치 값보다 작은 값을 의미한다.
1640 단계에서, 결정부(110)는 제 4 역치 값을 낮춘다. 1630 단계에서, 제 1 타일의 중요도가 제 5 역치 값 미만이라는 것은 제 1 타일의 중요도가 낮음을 의미한다. 따라서, 결정부(110)는, 제 1 타일에서 선택된 참조 픽셀들의 수보다 제 2 타일에서 선택된 참조 픽셀들의 수가 더 적어지도록, 제 4 역치 값을 낮출 수 있다.
1650 단계에서, 결정부(110)는 제 4 역치 값을 유지한다. 따라서, 결정부(110)가 제 2 타일에서 선택한 참조 픽셀들의 수는 제 1 타일에서 선택된 참조 픽셀들의 수와 동일하다.
1660 단계에서, 결정부(110)는 제 4 역치 값에 기초하여 샘플링 비율을 변동시킨다. 그리고, 결정부(110)는 변동된 샘플링 비율에 기초하여 제 2 타일을 복수의 픽셀 블록들로 분할하고, 픽셀 블록들 각각에서 참조 픽셀을 선택한다. 여기에서, 제 4 역치 값은 도 13의 제 1 역치 값에 대응될 수 있다. 예를 들어, 제 4 역치 값이 높아지면, 선택부(120)는 제 2 타일의 샘플링 비율을 제 1 타일의 샘플링 비율보다 감소시킬 수 있다. 따라서, 제 1 타일에서 선택된 참조 픽셀들의 수보다 제 2 타일에서 선택된 참조 픽셀들의 수가 더 많아지게 된다.
그리고, 선택부(120)는 제 2 타일에서 선택된 참조 픽셀들의 기하 정보를 획득한다. 구체적으로, 광선 추적 코어(200)는 제 2 타일에서 선택된 참조 픽셀들의 기하 정보를 연산하고, 선택부(120)는 광선 추적 코어(200)로부터 연산된 기하 정보를 획득한다.
1670 단계에서, 선택부(120)는 참조 픽셀들의 기하 정보를 비교하여 제 2 타일의 유사도를 연산한다. 그리고, 선택부(120)는 연산된 유사도를 외부 메모리(400)에 저장한다. 선택부(120)가 제 2 타일의 유사도를 연산하는 구체적인 방법은 도 6 내지 도 11을 참조하여 상술한 바와 같다.
1680 단계에서, 선택부(120)는 제 2 타일의 중요도를 결정한다. 그리고, 선택부(120)는 결정된 중요도를 외부 메모리(400)에 저장한다. 구체적으로, 선택부(120)는 도 14를 참조하여 상술한 예들 중 어느 하나의 예를 기준으로 제 2 타일의 중요도를 결정할 수 있다.
1690 단계에서, 선택부(120)는 제 2 타일에 포함된 중간 픽셀들이 렌더링 되는 방법을 선택한다. 예를 들어, 선택부(120)는 선형 보간 방식 또는 광선 추적 방식 중 어느 하나를 선택할 수 있다. 선택부(120)가 중간 픽셀들이 렌더링 되는 방법을 선택하는 구체적인 방법은 도 6 내지 도 11을 참조하여 상술한 바와 같다.
도 16을 참조하여 상술한 바에 따르면, 영상 처리 시스템(1)은 제 1 타일의 중요도에 기초하여 제 2 타일의 샘플링 비율을 조정한다. 다시 말해, 영상 처리 시스템(1)은 제 1 타일의 중요도가 높을수록 제 2 타일에서 참조 픽셀들을 많이 선택한다. 또한, 영상 처리 시스템(1)은 제 1 타일의 중요도가 낮을수록 제 2 타일에서 참조 픽셀들을 적게 선택한다. 따라서, 영상 처리 시스템(1)은 제 1 프레임에 기초하여 제 2 프레임을 보다 효율적으로 렌더링 할 수 있다.
이하, 도 17을 참조하여, 제 1 프레임의 중요도에 기초하여 제 2 프레임의 렌더링이 수행되는 다른 예를 구체적으로 설명한다.
도 17은 일 실시예에 따른 영상 처리 장치가 동작하는 또 다른 예를 도시한 흐름도이다.
도 17에서는 영상 처리 시스템(1)이 제 1 프레임에 대한 렌더링을 완료한 것을 가정하여 설명한다. 영상 처리 시스템(1)이 제 1 프레임에 대한 렌더링을 수행하는 일 예는 도 5 내지 도 12를 참조하여 상술한 바와 같다. 또한, 제 6 역치 값 및 제 8 역치 값은 영상 처리 장치(100)가 제조되는 때에 설정될 수도 있고, 이후에 사용자에 의하여 변경될 수도 있다.
도 16을 참조하여 상술한 바에 따르면, 영상 처리 시스템(1)은 제 1 타일의 중요도에 기초하여 제 2 타일의 샘플링 비율을 조정할 수 있다. 한편, 도 17에 도시된 흐름도를 참조하면, 영상 처리 시스템(1)은 제 1 타일의 중요도에 기초하여 제 2 타일의 유사도를 결정하는 기준(제 7 역치 값)을 조정할 수 있다.
1710 단계에서, 선택부(120)는 제 2 타일에서 선택된 참조 픽셀들의 기하 정보를 획득한다. 이때, 제 2 타일에서 참조 픽셀들이 선택되는 샘플링 비율은 제 1 타일의 샘플링 비율이 이용된다. 광선 추적 코어(200)는 제 2 타일에서 선택된 참조 픽셀들의 기하 정보를 연산하고, 선택부(120)는 광선 추적 코어(200)로부터 연산된 기하 정보를 획득한다.
1720 단계에서, 결정부(110)는 제 1 타일의 중요도가 제 6 역치 값을 초과하는지 여부를 판단한다. 제 1 타일의 중요도가 제 6 역치 값을 초과하는 경우에는 1730 단계로 진행하고, 그렇지 않은 경우에는 1740 단계로 진행한다.
1730 단계에서, 결정부(110)는 제 7 역치 값을 높인다. 여기에서, 제 7 역치 값은 제 2 타일의 유사도가 연산되는데 이용되는 역치 값을 의미한다. 1720 단계에서, 제 1 타일의 중요도가 제 6 역치 값을 초과한다는 것은 제 1 타일의 중요도가 높음을 의미한다. 따라서, 결정부(110)는, 제 1 타일의 유사도를 연산하는 기준보다 제 2 타일의 유사도를 연산하는 기준이 더 엄격해 지도록, 제 7 역치 값을 높일 수 있다.
1740 단계에서, 결정부(110)는 제 1 타일의 중요도가 제 8 역치 값 미만인지를 판단한다. 제 1 타일의 중요도가 제 8 역치 값 미만인 경우에는 1750 단계로 진행하고, 그렇지 않은 경우에는 1760 단계로 진행한다. 이때, 제 8 역치 값은 제 6 역치 값보다 작은 값을 의미한다.
1750 단계에서, 결정부(110)는 제 7 역치 값을 낮춘다. 1740 단계에서, 제 1 타일의 중요도가 제 8 역치 값 미만이라는 것은 제 1 타일의 중요도가 낮음을 의미한다. 따라서, 결정부(110)는, 제 1 타일의 유사도를 연산하는 기준보다 제 2 타일의 유사도를 연산하는 기준이 더 완화되도록, 제 7 역치 값을 낮출 수 있다.
1760 단계에서, 결정부(110)는 제 7 역치 값을 유지한다. 따라서, 제 1 타일의 유사도가 판단되는 기준과 제 2 타일의 유사도가 판단되는 기준은 서로 동일하다.
1770 단계에서, 선택부(120)는 참조 픽셀들의 기하 정보를 비교하여 제 2 타일의 유사도를 연산한다. 그리고, 선택부(120)는 연산된 유사도를 외부 메모리(400)에 저장한다. 이때, 선택부(120)는 결정부(110)가 조정한 제 7 역치 값을 이용하여 제 2 타일의 유사도를 연산할 수 있다.
그리고, 선택부(120)는 제 2 타일의 중요도를 결정한다. 그리고, 선택부(120)는 결정된 중요도를 외부 메모리(400)에 저장한다. 구체적으로, 선택부(120)는 도 14를 참조하여 상술한 예들 중 어느 하나의 예를 기준으로 제 2 타일의 중요도를 결정할 수 있다.
1780 단계에서, 선택부(120)는 제 2 타일에 포함된 중간 픽셀들이 렌더링 되는 방법을 선택한다. 선택부(120)가 중간 픽셀들이 렌더링 되는 방법을 선택하는 구체적인 방법은 도 6 내지 도 11을 참조하여 상술한 바와 같다.
도 17을 참조하여 상술한 바에 따르면, 영상 처리 시스템(1)은 제 1 타일의 중요도에 기초하여 제 2 타일의 유사도를 결정하는 기준을 조정한다. 따라서, 영상 처리 시스템(1)은 제 1 프레임에 기초하여 제 2 프레임을 보다 효율적으로 렌더링 할 수 있다.
이하, 도 18을 참조하여, 제 1 프레임의 유사도 및 중요도에 기초하여 제 2 프레임의 렌더링이 수행되는 예를 구체적으로 설명한다.
도 18은 일 실시예에 따른 영상 처리 장치가 동작하는 또 다른 예를 도시한 흐름도이다.
도 18에서는 영상 처리 시스템(1)이 제 1 프레임에 대한 렌더링을 완료한 것을 가정하여 설명한다. 영상 처리 시스템(1)이 제 1 프레임에 대한 렌더링을 수행하는 일 예는 도 5 내지 도 12를 참조하여 상술한 바와 같다. 또한, 제 9 역치 값, 제 10 역치 값, 제 11 역치 값 및 제 13 역치 값은 영상 처리 장치(100)가 제조되는 때에 설정될 수도 있고, 이후에 사용자에 의하여 변경될 수도 있다.
도 18에 도시된 흐름도를 참조하면, 영상 처리 시스템(1)은 제 1 타일의 유사도에 기초하여 제 2 타일의 샘플링 비율을 조정한다. 또한, 영상 처리 시스템(1)은 제 1 타일의 중요도에 기초하여 제 2 타일의 유사도를 결정하는 기준(제 12 역치 값)을 조정한다.
도 18의 1810 단계 내지 1825 단계는 도 13의 1310 단계 내지 1350 단계와 동일하다. 또한, 도 18의 1830 단계 내지 1860 단계는 도 17의 1720 단계 내지 1780 단계와 동일하다. 따라서, 이하에서는 1810 단계 내지 1860 단계에 대한 구체적인 설명은 생략한다.
도 18을 참조하여 상술한 바에 따르면, 영상 처리 시스템(1)은 제 1 타일의 유사도 및 중요도에 기초하여 제 2 타일의 샘플링 비율을 결정하는 기준 및 유사도를 결정하는 기준을 조정한다. 따라서, 영상 처리 시스템(1)은 제 1 프레임에 기초하여 제 2 프레임을 보다 효율적으로 렌더링 할 수 있다.
도 19는 일 실시예에 따른 영상 처리 장치의 다른 예를 나타내는 구성도이다.
영상 처리 장치(1900)는 타일 분류부(1910), 타일 인출부(1920), 전력 제어부(1940) 및 래스터라이저(1931), 쉐이더(1936), 교차점 탐색부(1935), ROP부(1937) 및 타일 버퍼(1950)를 포함할 수 있다.
또한, 쉐이더(1936)는 프래그먼트 쉐이더(1932), 레이 쉐이더(1933), 레이 제너레이터(1934)를 포함할 수 있다. 쉐이더(1936)는 제 1 타일의 유사도 또는 중요도를 이용하여 제 2 타일에 포함된 픽셀들이 렌더링되는 방법을 선택한다. 또한, 쉐이더(1936)는 제 2 타일의 유사도 또는 중요도를 연산하고, 연산된 결과를 버퍼에 저장한다.
2차원 프레임은 가상의 타일들로 분할될 수 있으며, 타일 분류부(1910)는 복수의 타일들을 제 3 타일 및 제 4 타일 중 어느 하나로 분류할 수 있다. 타일 분류부(1910)는 타일에 포함된 프리미티브의 반사 또는 굴절 속성을 판단하여, 복수의 타일들을 제 3 타일 및 제 4 타일 중 어느 하나로 분류할 수 있다. 여기에서, 제 3 타일은 반사 또는 굴절의 속성을 가지는 프리미티브를 포함하는 타일을 의미하며, 제 4 타일은 반사 또는 굴절의 속성을 가지는 프리미티브를 포함하지 않는 타일을 의미한다.
또한, 타일 분류부(1910)는 타일에 포함되는 전체 프리미티브의 개수, 반사 또는 굴절 속성을 가지는 프리미티브의 개수, 전체 프리미티브의 면적, 반사 또는 굴절 속성을 가지는 프리미티브의 면적 등을 계산할 수 있으며, 이에 기초하여, 타일의 작업부하(work load)를 나타내는 정보를 계산할 수 있다. 타일의 작업 부하는 타일에 포함되는 전체 프리미티브의 개수 대비 반사 또는 굴절 속성을 가지는 프리미티브의 개수 비율 및 전체 프리미티브의 면적 대비 반사 또는 굴절 속성을 가지는 프리미티브의 면적 비율 중 적어도 하나를 포함할 수 있다.
타일 분류부(1910)는 타일의 분류 정보 및 타일의 작업 부하를 포함하는 타일 데이터(1915)를 외부 메모리(400)에 저장할 수 있다.
타일 인출부(1920)는 제 3 타일 및 제 4 타일 중 어느 하나로 분류된 복수의 타일들 중 적어도 하나의 타일을 인출(fetch)하여, 래스터라이저(1931)로 출력할 수 있다. 또한, 타일 인출부(1920)는 인출된 타일이 제 3 타일인지 제 4 타일인지 여부를 판단할 수 있다.
래스터라이저(1931)는 타일 인출부(1920)로부터 출력된 타일에 포함되는 프리미티브를 프래그먼트로 분할할 수 있다. 래스터라이저(1931)는 제 3 타일에 포함되는 프리미티브 및 제 4 타일에 포함되는 프리미티브를 복수의 프래그먼트로 분할하고, 분할된 프래그먼트들을 쉐이더(1936)로 출력할 수 있다.
또한, 래스터라이저(1931)는 제 3 타일에 포함되는 프리미티브 중 반사 또는 굴절의 속성을 가지는 프리미티브를 복수의 프래그먼트로 분할할 수 있다. 래스터라이저(1931)는 분할된 프래그먼트들을 쉐이더(1936)로 출력할 수 있다. 예를 들어, 래스터라이저(1931)는 분할된 프래그먼트들을 버퍼에 저장하고, 버퍼는 저장된 프래그먼트들을 쉐이더(1936)로 출력할 수 있다.
또한, 래스터라이저(1931)은 프레임에서 선택된 참조 픽셀들의 기하 정보를 버퍼에 저장할 수 있다. 래스터라이저(1931)은 제 1 타일의 유사도 또는 중요도에 기초하여 제 2 타일의 샘플링 비율을 결정한다, 그리고, 래스터라이저(1931)은 제 2 타일의 샘플링 비율에 기초하여 제 2 타일에서 참조 픽셀들을 선택할 수 있다.
전력 제어부(1940)는 타일 인출부(1920)에 인출된 타일이 제 3 타일인지 제 4 타일인지 여부에 따라, 쉐이더(1936)의 전력을 제어할 수 있다. 예를 들어, 타일 인출부(1920)에 인출된 타일이 제 3 타일인 경우, 쉐이더(1936)의 전원을 온(On)(즉, 쉐이더(1936)에 전력을 공급)하고, 인출된 타일이 제 4 타일인 경우, 쉐이더(1936)의 전원을 오프(Off)(즉, 쉐이더(1936)에 전력을 차단)할 수 있다. 전력 제어부(1940)는 인출된 타일이 제 4 타일이지만 쉐이더(1936)에서 이전 타일에 포함되는 프래그먼트들을 렌더링 중인 경우, 쉐이더(1936)의 전원을 오프하지 않을 수 있다.
제 3 타일에 포함되는 반사 또는 굴절 속성을 가지는 프래그먼트의 경우, 2차 광선에 대한 렌더링은 광선 추적 방법이 이용되기 때문에, 쉐이더(1936)에서 광선 추적이 수행되어야 한다.
반면에, 제 4 타일에 포함되는 프래그먼트의 경우, 래스터화 방법만으로 렌더링을 수행하므로, 쉐이더(1936)에서 광선 추적을 수행할 필요가 없다. 이에 따라, 타일 인출부(1920)에 인출된 타일이 제 4 타일인 경우, 쉐이더(1936)의 전력을 차단할 수 있다.
프래그먼트 쉐이더(1932)는 종래의 래스터화 기반의 GPU 장치에 포함되는 구성이다. 프래그먼트 쉐이더(1932)는 프래그먼트의 색상 값을 결정할 수 있다. 프래그먼트 쉐이더(1932)는 반사 또는 굴절을 고려하지 않는 프래그먼트에 대한 1차 광선의 색상 값을 결정할 수 있다.
레이 제너레이터(1934)는 복수의 프래그먼트에 대한 2차 광선들을 생성할 수 있다. 레이 제너레이터(1934)는 기하 정보를 이용하여, 프래그먼트에 대한 1차 광선의 교차점(해당 프래그먼트에 대하여 생성된 1차 광선과 오브젝트와의 교차점)을 계산하고, 계산된 교차점을 이용하여, 반사 광선, 굴절 광선, 쉐도우 광선 등의 2차 광선을 생성할 수 있다. 이때, 기하 정보에는 광선와 오브젝트의 교점 부분의 트라이앵글 아이디(Triangle ID), 오브젝트 아이디, 교점의 포지션, 노말 벡터, 텍스쳐 코디네이트(Texture coordinates), 섀도우 비트 등이 포함될 수 있으며, 기하 정보는 미리 계산되어, 영상 처리 장치(1900)의 내부 메모리에 저장될 수 있다.
교차점 탐색부(1935)는 종래의 레이 트레이싱 기반의 GPU 장치에 포함되는 구성으로, TRV 유닛 및 IST 유닛을 포함할 수 있다. 교차점 탐색부(1935)는 KD-tree(K-dimensional tree), BVH(Bounding Volume Hirearchy) 등을 적용하여, 3차원 공간상의 오브젝트들의 관계를 나타내는 가속 구조를 탐색하여, 광선의 교차점 및 색상 값을 계산할 수 있다. 계산된 교차점 및 색상 값은 레이 쉐이더(1933)로 출력될 수 있다.
레이 쉐이더(1933)는 프래그먼트에 대한 2차 광선의 교차점에 대한 정보 및 교차점의 물질의 특성에 기초하여, 프래그먼트에 대한 2차 광선에 대한 색상 값을 결정할 수 있다. 또한, 레이 쉐이더(1933)는 2차 광선에 대한 색상 값 및 해당 프래그먼트를 래스터화 방법으로 쉐이딩한 색상 값(해당 프래그먼트에 대한 1차 광선에 대한 색상 값)에 기초하여 해당 프래그먼트의 색상 값을 결정할 수 있다. 이에 따라, 레이 쉐이더(1933)는 교차점의 물질의 기본 색상 및 광원에 의한 효과 등을 고려하여, 프래그먼트의 색상 값을 결정할 수 있다.
ROP(Raster Operation)부는 래스터화 방법으로 렌더링된 프래그먼트 또는 레이 트레이싱 방법으로 렌더링된 프래그먼트의 깊이 검사(depth test)를 수행하여, 프래그먼트들의 가시성(선후)관계를 판단할 수 있다. 이에 따라, ROP부는 타일 버퍼(1950)에 저장된 타일에 포함되는 복수의 픽셀들의 최종적인 픽셀 값들을 결정할 수 있다. 타일의 픽셀 값들이 결정되면, 타일은 프레임 버퍼로 출력될 수 있다.
상술한 바에 따르면, 영상 처리 장치(100)는 이미 렌더링이 수행된 프레임에 포함된 타일의 유사도 또는 중요도에 기초하여 현재 렌더링이 수행될 프레임에 포함된 타일의 샘플링 비율을 적응적으로 조정한다. 그리고, 영상 처리 장치(100)는 현재 렌더링이 수행될 프레임에 포함된 타일의 픽셀들이 렌더링되는 방법을 결정할 수 있다. 따라서, 영상 처리 장치(100)는 광선 추적 방식에 따라 렌더링이 수행되는 픽셀들의 개수를 적응적으로 조정할 수 있는바, 영상의 품질을 유지하면서도 프레임의 렌더링에 소요되는 비용(예를 들어, 시간 또는 전력)을 감소시킬 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 영상 처리 장치
110: 결정부
120: 선택부
110: 결정부
120: 선택부
Claims (20)
- 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율(sampling rate)을 결정하는 단계;
상기 샘플링 비율에 기초하여 상기 제 2 프레임에 포함된 타일들 각각에서 참조(reference) 픽셀들을 선택하는 단계;
상기 참조 픽셀들에 대하여 광선 추적(ray tracing)을 수행함으로써 상기 참조 픽셀들 각각의 기하 정보(geometric information)를 획득하는 단계; 및
상기 기하 정보에 기초하여 상기 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택하는 단계;를 포함하고,
상기 샘플링 비율을 결정하는 단계는,
상기 제 1 프레임에 포함된 복수의 타일들 중 제 1 타일의 유사도가 제 1 역치 값(threshold value)보다 클 경우, 상기 제 2 프레임에 포함된 복수의 타일들 중 상기 제 1 타일에 대응하는 제 2 타일에 적용될 상기 샘플링 비율을 감소시키고, 상기 제 1 타일의 유사도가 제 2 역치 값보다 작을 경우 상기 제 2 타일에 적용될 상기 샘플링 비율을 증가시키며,
상기 제 1 타일의 유사도는 상기 제 1 타일에서 선택된 참조 픽셀들의 기하 정보를 이용하여 연산된 상기 참조 픽셀들과 상기 참조 픽셀들에 인접한 중간(intermediate) 픽셀 사이의 유사도에 기초하여 결정되는 영상 처리 방법. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 제 1 프레임에 포함된 타일들 각각의 중요도를 획득하는 단계;를 더 포함하고,
상기 샘플링 비율을 결정하는 단계는 상기 제 1 프레임에 포함된 상기 제 1 타일의 중요도에 기초하여 상기 제 2 프레임에 포함된 상기 제 2 타일의 샘플링 비율을 결정하는 타일인 방법. - 제 4 항에 있어서,
상기 샘플링 비율을 결정하는 단계는,
상기 제 1 타일의 중요도가 제 3 역치 값보다 클 경우 상기 제 2 타일의 샘플링 비율을 결정하는 상기 제 1 역치 값을 높이고, 상기 제 1 타일의 중요도가 제 4 역치 값보다 작을 경우 상기 제 1 역치 값을 낮추는 단계; 및
상기 제 1 타일의 유사도와 상기 제 1 역치 값과의 관계에 기초하여 상기 제 2 타일의 샘플링 비율을 결정하는 단계;를 더 포함하는 방법. - 제 1 항에 있어서,
상기 제 1 프레임에 포함된 타일들 각각의 유사도 및 중요도를 획득하는 단계;를 더 포함하고,
상기 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택하는 단계는 상기 제 1 프레임에 포함된 상기 제 1 타일의 유사도 및 상기 제 1 타일의 중요도에 기초하여 상기 제 2 프레임에 포함된 상기 제 2 타일이 렌더링 되는 방법을 선택하는 타일인 방법. - 제 6 항에 있어서,
상기 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택하는 단계는
제 1 타일의 중요도가 제 5 역치 값보다 클 경우 상기 제 2 타일에 포함된 픽셀들을 렌더링하는 방법을 결정하는 제 6 역치 값을 높이고, 상기 제 1 타일의 중요도가 제 7 역치 값보다 작을 경우 상기 제 6 역치 값을 낮추는 단계; 및
상기 제 1 타일의 유사도와 상기 제 6 역치 값과의 관계에 기초하여 상기 제 2 타일에 포함된 픽셀들 각각이 렌더링 되는 방법을 선택하는 단계;를 포함하는 방법. - 제 1 항에 있어서,
상기 제 1 프레임에 포함된 타일들 각각의 중요도를 획득하는 단계;를 더 포함하고,
상기 샘플링 비율을 결정하는 단계는 상기 제 1 프레임에 포함된 상기 제 1 타일의 유사도 및 상기 제 1 타일의 중요도에 기초하여 상기 제 2 프레임에 포함된 상기 제 2 타일의 샘플링 비율을 결정하고,
상기 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택하는 단계는 상기 제 1 프레임에 포함된 상기 제 1 타일의 유사도 및 상기 제 1 타일의 중요도에 기초하여 상기 제 2 프레임에 포함된 상기 제 2 타일이 렌더링 되는 방법을 선택하는 타일인 방법. - 제 1 항에 있어서,
상기 제 2 프레임에 포함된 픽셀들 중 적어도 하나에 대하여 선형 보간(linear interpolation)을 수행하는 단계;를 더 포함하는 방법. - 제 1 항에 있어서,
상기 제 1 프레임에 포함된 타일들 각각을 복수의 픽셀들을 포함하는 블록들로 분할하는 단계;
상기 블록들 각각에서 선택된 참조 픽셀들의 기하 정보를 이용하여 상기 참조 픽셀들과 상기 참조 픽셀들에 인접한 중간(intermediate) 픽셀 사이의 유사도를 연산하는 단계; 및
상기 연산된 유사도에 기초하여 상기 중간 픽셀이 렌더링 되는 방법을 선택하는 단계;를 더 포함하고,
상기 샘플링 비율을 결정하는 단계는 상기 연산된 유사도에 기초하여 상기 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율을 결정하는 방법. - 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 제 1 프레임의 렌더링 결과에 기초하여 제 2 프레임에 포함된 타일들 각각에 대한 샘플링 비율(sampling rate)을 결정하고, 상기 샘플링 비율에 기초하여 상기 제 2 프레임에 포함된 타일들 각각에서 참조(reference) 픽셀들을 선택하는 결정부; 및
상기 참조 픽셀들 각각의 기하 정보에 기초하여 상기 제 2 프레임에 포함된 픽셀들이 렌더링 되는 방법을 선택하는 선택부;를 포함하고,
상기 기하 정보는 상기 참조 픽셀들에 대하여 광선 추적(ray tracing)이 수행됨에 따라 획득되고,
상기 결정부는 상기 제 1 프레임에 포함된 복수의 타일들 중 제 1 타일의 유사도가 제 1 역치 값(threshold value)보다 클 경우, 상기 제 2 프레임에 포함된 복수의 타일들 중 상기 제 1 타일에 대응하는 제 2 타일에 적용될 상기 샘플링 비율을 감소시키고, 상기 제 1 타일의 유사도가 제 2 역치 값보다 작을 경우 상기 제 2 타일에 적용될 상기 샘플링 비율을 증가시키며,
상기 제 1 타일의 유사도는 상기 제 1 타일에서 선택된 참조 픽셀들의 기하 정보를 이용하여 연산된 상기 참조 픽셀들과 상기 참조 픽셀들에 인접한 중간(intermediate) 픽셀 사이의 유사도에 기초하여 결정되는 영상 처리 장치. - 삭제
- 삭제
- 제 12 항에 있어서,
상기 결정부는
메모리로부터 상기 제 1 프레임에 포함된 타일들 각각의 중요도를 획득하고,
상기 제 1 프레임에 포함된 상기 제 1 타일의 중요도에 기초하여 상기 제 2 프레임에 포함된 상기 제 2 타일의 샘플링 비율을 결정하는 타일인 장치. - 제 15 항에 있어서,
상기 결정부는
상기 제 1 타일의 중요도가 제 3 역치 값보다 클 경우 상기 제 2 타일의 샘플링 비율을 결정하는 상기 제 1 역치 값을 높이고, 상기 제 1 타일의 중요도가 제 4 역치 값보다 작을 경우 상기 제 1 역치 값을 낮추고,
상기 제 1 타일의 유사도와 상기 제 1 역치 값과의 관계에 기초하여 상기 제 2 타일의 샘플링 비율을 결정하는 장치. - 제 12 항에 있어서,
상기 선택부는
메모리로부터 상기 제 1 프레임에 포함된 타일들 각각의 유사도 및 중요도를 획득하고,
상기 제 1 프레임에 포함된 상기 제 1 타일의 유사도 및 상기 제 1 타일의 중요도에 기초하여 상기 제 2 프레임에 포함된 상기 제 2 타일이 렌더링 되는 방법을 선택하는 타일인 장치. - 제 17 항에 있어서,
상기 선택부는
상기 제 1 타일의 중요도가 제 5 역치 값보다 클 경우 상기 제 2 타일에 포함된 픽셀들을 렌더링하는 방법을 결정하는 제 6 역치 값을 높이고, 상기 제 1 타일의 중요도가 제 7 역치 값보다 작을 경우 상기 제 6 역치 값을 낮추고,
상기 제 1 타일의 유사도와 상기 제 6 역치 값과의 관계에 기초하여 상기 제 2 타일에 포함된 픽셀들 각각이 렌더링 되는 방법을 선택하는 장치. - 제 12 항에 있어서,
상기 결정부는
상기 제 1 프레임에 포함된 상기 제 1 타일의 유사도 및 상기 제 1 타일의 중요도에 기초하여 상기 제 2 프레임에 포함된 상기 제 2 타일의 샘플링 비율을 결정하고,
상기 선택부는 상기 제 1 프레임에 포함된 상기 제 1 타일의 유사도 및 상기 제 1 타일의 중요도에 기초하여 상기 제 2 프레임에 포함된 상기 제 2 타일이 렌더링 되는 방법을 선택하며,
상기 결정부 및 상기 선택부는 메모리로부터 상기 제 1 프레임에 포함된 타일들 각각의 유사도 및 중요도를 획득하는 장치. - 제 12 항에 있어서,
상기 제 2 프레임에 포함된 픽셀들 중 적어도 하나에 대하여 선형 보간(linear interpolation)을 수행하는 보간부;를 더 포함하는 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150057270A KR102370617B1 (ko) | 2015-04-23 | 2015-04-23 | 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치. |
| US14/939,263 US9865078B2 (en) | 2015-04-23 | 2015-11-12 | Image processing method and apparatus with adaptive sampling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150057270A KR102370617B1 (ko) | 2015-04-23 | 2015-04-23 | 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160126329A KR20160126329A (ko) | 2016-11-02 |
| KR102370617B1 true KR102370617B1 (ko) | 2022-03-04 |
Family
ID=57146853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150057270A KR102370617B1 (ko) | 2015-04-23 | 2015-04-23 | 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치. |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9865078B2 (ko) |
| KR (1) | KR102370617B1 (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102285840B1 (ko) * | 2013-11-11 | 2021-08-05 | 삼성전자주식회사 | 3차원 영상 렌더링 방법 및 이를 적용한 영상 출력 장치 |
| US11295506B2 (en) * | 2015-09-16 | 2022-04-05 | Tmrw Foundation Ip S. À R.L. | Chip with game engine and ray trace engine |
| US10650571B2 (en) | 2016-03-25 | 2020-05-12 | Outward, Inc. | Adaptive virtual camera sensor |
| US20180005059A1 (en) * | 2016-07-01 | 2018-01-04 | Google Inc. | Statistics Operations On Two Dimensional Image Processor |
| BR112019003605A2 (pt) * | 2016-08-25 | 2019-05-21 | Lg Electronics Inc. | método para transmitir vídeo omnidirecional, método para receber vídeo omnidirecional, aparelho para transmitir vídeo omnidirecional, e aparelho para receber vídeo omnidirecional |
| US10388059B2 (en) | 2016-10-03 | 2019-08-20 | Nvidia Corporation | Stable ray tracing |
| FR3067151B1 (fr) * | 2017-05-30 | 2019-07-26 | Fittingbox | Procede d'essayage virtuel realiste d'une paire de lunettes par un individu |
| KR102545172B1 (ko) | 2017-12-28 | 2023-06-19 | 삼성전자주식회사 | 샘플링 기반의 렌더링을 수행하는 그래픽 프로세서 및 그 동작방법 |
| US10939116B2 (en) * | 2019-02-26 | 2021-03-02 | Raritan Americas, Inc. | Adaptive variation of chroma subsampling in image compression |
| US11164359B2 (en) * | 2019-12-27 | 2021-11-02 | Intel Corporation | Apparatus and method for using alpha values to improve ray tracing efficiency |
| CN113808510B (zh) * | 2020-06-15 | 2024-04-09 | 明基智能科技（上海）有限公司 | 影像调整方法 |
| US11282258B1 (en) * | 2020-11-02 | 2022-03-22 | Nvidia Corporation | Adaptive sampling at a target sampling rate |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140292757A1 (en) * | 2013-03-29 | 2014-10-02 | Square Enix Co., Ltd. | Prediction method, generation method and storage medium |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3364343B2 (ja) * | 1994-12-20 | 2003-01-08 | 松下電器産業株式会社 | 動画像生成装置 |
| US6756993B2 (en) * | 2001-01-17 | 2004-06-29 | The University Of North Carolina At Chapel Hill | Methods and apparatus for rendering images using 3D warping techniques |
| US6803916B2 (en) * | 2001-05-18 | 2004-10-12 | Sun Microsystems, Inc. | Rasterization using two-dimensional tiles and alternating bins for improved rendering utilization |
| EP1634248B1 (en) * | 2003-06-05 | 2008-10-08 | Philips Intellectual Property & Standards GmbH | Adaptive image interpolation for volume rendering |
| US9218689B1 (en) * | 2003-12-31 | 2015-12-22 | Zilabs Inc., Ltd. | Multi-sample antialiasing optimization via edge tracking |
| CN1930588A (zh) | 2004-03-12 | 2007-03-14 | 皇家飞利浦电子股份有限公司 | 用于表面渲染的沿边缘的自适应采样 |
| JP4116649B2 (ja) * | 2006-05-22 | 2008-07-09 | 株式会社東芝 | 高解像度化装置および方法 |
| US8237711B2 (en) * | 2007-11-19 | 2012-08-07 | Caustic Graphics, Inc. | Tracing of shader-generated ray groups using coupled intersection testing |
| KR100924122B1 (ko) * | 2007-12-17 | 2009-10-29 | 한국전자통신연구원 | 픽셀 단위 처리 요소 기반의 광선 추적 장치 및 방법 |
| US20090180033A1 (en) * | 2008-01-11 | 2009-07-16 | Fang-Chen Chang | Frame rate up conversion method and apparatus |
| KR101653203B1 (ko) | 2010-02-01 | 2016-09-02 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| KR101661931B1 (ko) | 2010-02-12 | 2016-10-10 | 삼성전자주식회사 | 3차원 그래픽스 랜더링 장치 및 그 방법 |
| US20130271465A1 (en) * | 2011-12-30 | 2013-10-17 | Franz P. Clarberg | Sort-Based Tiled Deferred Shading Architecture for Decoupled Sampling |
| US9727991B2 (en) | 2013-03-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Foveated image rendering |
| US9767595B2 (en) * | 2013-05-02 | 2017-09-19 | Arm Limited | Graphics processing systems |
| US9607426B1 (en) * | 2013-12-20 | 2017-03-28 | Imagination Technologies Limited | Asynchronous and concurrent ray tracing and rasterization rendering processes |
| US10229526B2 (en) * | 2014-03-13 | 2019-03-12 | Imagination Technologies Limited | Rendering of soft shadows |
-
2015
- 2015-04-23 KR KR1020150057270A patent/KR102370617B1/ko active IP Right Grant
- 2015-11-12 US US14/939,263 patent/US9865078B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140292757A1 (en) * | 2013-03-29 | 2014-10-02 | Square Enix Co., Ltd. | Prediction method, generation method and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160126329A (ko) | 2016-11-02 |
| US9865078B2 (en) | 2018-01-09 |
| US20160314610A1 (en) | 2016-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102370617B1 (ko) | 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치. | |
| US10504253B2 (en) | Conservative cell and portal graph generation | |
| KR102164541B1 (ko) | 레이 트레이싱 시스템에서의 가속 구조 생성 장치 및 그 생성 방법 | |
| KR102604737B1 (ko) | 가속 구조를 생성하는 방법 및 장치 | |
| KR102493461B1 (ko) | 렌더링 시스템 및 방법 | |
| KR102193684B1 (ko) | 레이 트레이싱 처리 장치 및 방법 | |
| US7760932B2 (en) | Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image | |
| US10032308B2 (en) | Culling objects from a 3-D graphics pipeline using hierarchical Z buffers | |
| KR102197067B1 (ko) | 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치 | |
| US10497167B2 (en) | Method and apparatus for generating acceleration structure | |
| KR100634537B1 (ko) | 3차원 영상의 삼각 분할 장치 및 방법과 그 장치를제어하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수있는 기록 매체 | |
| KR102224845B1 (ko) | 하이브리드 렌더링 방법 및 장치 | |
| JP2016085738A (ja) | ハイブリッドレンダリング装置及びその方法 | |
| KR20150039496A (ko) | 이전 렌더링의 결과를 이용하여 광선을 추적하는 방법 및 장치 | |
| KR102252374B1 (ko) | 광선 추적 유닛 및 광선 데이터를 처리하는 방법 | |
| KR20160125172A (ko) | 레이 트레이싱 장치 및 방법 | |
| US10460506B2 (en) | Method and apparatus for generating acceleration structure | |
| EP2950275B1 (en) | Apparatus and method of traversing acceleration structure in ray tracing system | |
| KR20130092055A (ko) | 영상 처리 장치 및 방법 | |
| US10186072B2 (en) | Rendering via ray-depth field intersection | |
| KR101585998B1 (ko) | 영상 처리 장치 및 방법 | |
| KR102537530B1 (ko) | 가속 구조를 생성하는 방법 및 장치 | |
| KR102193683B1 (ko) | 레이 트레이싱 시스템에서의 가속 구조 탐색 장치 및 그 탐색 방법 | |
| US9092888B1 (en) | Volume rendering a graphical 3D scene containing a 3D volumetric object and atmospheric effects | |
| KR102467031B1 (ko) | 가속 구조를 생성 및 탐색하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |