KR102539910B1 - 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치 - Google Patents

포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치 Download PDF

Info

Publication number
KR102539910B1
KR102539910B1 KR1020200175080A KR20200175080A KR102539910B1 KR 102539910 B1 KR102539910 B1 KR 102539910B1 KR 1020200175080 A KR1020200175080 A KR 1020200175080A KR 20200175080 A KR20200175080 A KR 20200175080A KR 102539910 B1 KR102539910 B1 KR 102539910B1
Authority
KR
South Korea
Prior art keywords
rendering
distance
image
ray tracing
threshold
Prior art date
Application number
KR1020200175080A
Other languages
English (en)
Other versions
KR20220085204A (ko
Inventor
박우찬
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020200175080A priority Critical patent/KR102539910B1/ko
Priority to PCT/KR2021/015707 priority patent/WO2022131532A1/ko
Priority to US18/267,344 priority patent/US20240046548A1/en
Publication of KR20220085204A publication Critical patent/KR20220085204A/ko
Application granted granted Critical
Publication of KR102539910B1 publication Critical patent/KR102539910B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법 및 장치에 관한 것으로, 상기 방법은 특정 장면을 제1 해상도로 렌더링 하여 제1 영상을 생성하는 과정에서 상기 특정 장면의 중심부 위치를 결정하는 단계; 및 상기 제1 영상을 상기 제1 해상도보다 더 높은 제2 해상도로 렌더링 하여 제2 영상을 생성하는 과정에서 상기 샘플링 픽셀들 사이에 존재하는 후보 픽셀들에 대해 상기 중심부 위치와의 거리에 따른 적응적인 임계치 조정을 통해 선택적 렌더링을 반복적으로 수행하는 단계를 포함한다.

Description

포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치{ATTENTION-BASED RAY TRACING METHOD AND APPARATUS FOR FOVEATED RENDERING}
본 발명은 3차원 그래픽 처리 기술에 관한 것으로, 보다 상세하게는 사용자의 시각적 집중도에 적응적으로 렌더링을 수행할 수 있는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치에 관한 것이다.
3차원 그래픽 기술은 컴퓨팅에 저장된 기하학적 데이터(Geometric data)의 3차원 표현을 사용하는 그래픽 기술로, 오늘날 미디어 산업과 게임 산업을 포함하는 다양한 산업에서 널리 사용되고 있다. 일반적으로 3차원 그래픽 기술은 많은 연산량으로 인하여 별개의 고성능 그래픽 프로세서를 요구한다.
최근 프로세서의 발전에 따라 매우 현실적인 3차원 그래픽을 생성할 수 있는 레이 트레이싱(Ray Tracing) 기술이 연구되고 있다.
레이 트레이싱(Ray Tracing) 기술은 전역 조명(Global Illumination)에 따른 렌더링(Rendering)방식으로, 다른 물체에서 반사되거나 굴절된 빛이 현재 물체의 영상에 미치는 영향을 고려하여 반사, 굴절, 그림자 효과가 자연적으로 제공되기 때문에 현실감 있는 3D 영상을 생성할 수 있다.
한국공개특허 제10-2015-0039493호 (2015.04.10)
본 발명의 일 실시예는 사용자의 시각적 집중도가 높은 영역에 대해 적응적으로 렌더링을 수행할 수 있는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치를 제공하고자 한다.
본 발명의 일 실시예는 특정 장면의 중심부 위치와의 거리에 따라 선택적 렌더링을 위한 임계치를 적응적으로 조정할 수 있는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치를 제공하고자 한다.
실시예들 중에서, 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법은 특정 장면을 제1 해상도로 렌더링 하여 제1 영상을 생성하는 과정에서 상기 특정 장면의 중심부 위치를 결정하는 단계; 및 상기 제1 영상을 상기 제1 해상도보다 더 높은 제2 해상도로 렌더링 하여 제2 영상을 생성하는 과정에서 상기 샘플링 픽셀들 사이에 존재하는 후보 픽셀들에 대해 상기 중심부 위치와의 거리에 따른 적응적인 임계치 조정을 통해 선택적 렌더링을 반복적으로 수행하는 단계를 포함한다.
상기 중심부 위치를 결정하는 단계는 상기 특정 장면 구성하는 동적 장면(dynamic scene)에서 객체들의 위치를 기초로 상기 중심부 위치를 결정하는 단계를 포함할 수 있다.
상기 중심부 위치를 결정하는 단계는 이전 프레임과 현재 프레임의 동적 장면들에서 상기 객체들 각각의 위치 변화량을 산출하는 단계; 및 상기 위치 변화량이 가장 큰 메인 객체의 위치를 기초로 상기 중심부 위치를 결정하는 단계를 포함할 수 있다.
상기 반복적으로 수행하는 단계는 상기 거리가 기 설정된 기준거리보다 작은 경우 기준 임계치를 감소시키고, 상기 거리가 상기 기준거리보다 큰 경우 상기 기준 임계치를 증가시키는 단계를 포함할 수 있다.
상기 반복적으로 수행하는 단계는 상기 중심부의 위치가 상기 메인 객체의 위치를 기초로 결정된 경우 상기 메인 객체의 크기에 따라 기준거리를 조정하는 단계; 및 상기 거리가 조정된 상기 기준거리보다 작은 경우 기준 임계치를 감소시키고, 상기 거리가 조정된 상기 기준거리보다 큰 경우 상기 기준 임계치를 증가시키는 단계를 포함할 수 있다.
상기 반복적으로 수행하는 단계는 상기 거리와 상기 기준거리 간의 차이에 따라 상기 기준 임계치에 대한 감소 또는 증가의 크기를 결정하는 단계를 포함할 수 있다.
상기 반복적으로 수행하는 단계는 특정 후보 픽셀에 대해 수직 또는 수평 방향으로 양쪽에 인접한 샘플링 픽셀들 간의 색상 차이가 조정된 임계치보다 작은 경우 보간(interpolation) 알고리즘을 적용하고, 상기 색상 차이가 상기 조정된 임계치보다 큰 경우 레이 트레이싱을 수행하여 상기 특정 후보 픽셀에 대한 색상을 결정하는 단계를 포함할 수 있다.
상기 반복적으로 수행하는 단계는 상기 후보 픽셀들 모두에 대해 상기 선택적 렌더링이 완료된 경우 상기 제2 영상을 상기 특정 장면에 대한 렌더링 결과로서 제공하는 단계를 포함할 수 있다.
실시예들 중에서, 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 장치는 특정 장면을 제1 해상도로 렌더링 하여 제1 영상을 생성하는 과정에서 상기 특정 장면의 중심부 위치를 결정하는 제1 렌더링 수행부; 및 상기 제1 영상을 상기 제1 해상도보다 더 높은 제2 해상도로 렌더링 하여 제2 영상을 생성하는 과정에서 상기 샘플링 픽셀들 사이에 존재하는 후보 픽셀들에 대해 상기 중심부 위치와의 거리에 따른 적응적인 임계치 조정을 통해 선택적 렌더링을 반복적으로 수행하는 제2 렌더링 수행부를 포함할 수 있다.
상기 제2 렌더링 수행부는 상기 제1 영상의 샘플링 픽셀들 사이에 존재하는 후보 픽셀들을 결정하는 후보 픽셀 추출모듈; 특정 후보 픽셀에 대해 상기 중심부 위치와의 거리를 산출하는 거리 산출모듈; 상기 거리를 기 설정된 기준거리와 비교하여 기준 임계치를 적응적으로 조정하는 임계치 조정모듈; 및 상기 조정된 기준 임계치에 따라 상기 선택적 렌더링을 수행하여 상기 특정 후보 픽셀의 색상을 결정하는 렌더링 수행모듈을 포함할 수 있다.
상기 임계치 조정모듈은 상기 거리가 기 설정된 기준거리보다 작은 경우 기준 임계치를 감소시키고, 상기 거리가 상기 기준거리보다 큰 경우 상기 기준 임계치를 증가시킬 수 있다.
상기 임계치 조정모듈은 상기 거리와 상기 기준거리 간의 차이에 따라 상기 기준 임계치에 대한 감소 또는 증가의 크기를 결정할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치는 사용자의 시각적 집중도가 높은 영역에 대해 적응적으로 렌더링을 수행할 수 있다.
본 발명의 일 실시예에 따른 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치는 특정 장면의 중심부 위치와의 거리에 따라 선택적 렌더링을 위한 임계치를 적응적으로 조정할 수 있다.
도 1은 레이 트레이싱 과정의 일 실시예를 설명하는 도면이다.
도 2는 레이 트레이싱 과정에서 사용되는 가속 구조로서 KD 트리의 일 실시예를 설명하는 도면이다.
도 3은 레이 트레이싱 과정의 처리 순서를 설명하는 도면이다.
도 4는 선택적 렌더링의 동작 과정을 설명하는 도면이다.
도 5는 포비티드 렌더링의 동작을 설명하는 도면이다.
도 6은 본 발명에 따른 레이 트레이싱 장치의 기능적 구성을 설명하는 블록도이다.
도 7은 본 발명에 따른 레이 트레이싱 방법을 설명하는 순서도이다.
도 8은 본 발명에 따른 레이 트레이싱 과정의 일 실시예를 설명하는 흐름도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 레이 트레이싱 과정의 일 실시예를 설명하는 도면이다.
도 1을 참조하면, 레이 트레이싱 장치에서 수행되는 레이 트레이싱 방식은 전역 조명(global illumination)에 따른 렌더링(rendering) 방식에 해당할 수 있다. 이는 다른 물체에서 반사되거나 굴절된 빛(Light)도 현재 물체의 영상에 영향을 준다는 것을 의미할 수 있다. 이로 인하여 반사, 굴절, 그림자 효과가 자연적으로 제공되기 때문에 현실감 있는 3D 영상을 생성할 수 있다.
레이 트레이싱 장치는 먼저 각 픽셀(pixel) 당 카메라(Camera) 위치로부터 프라이머리 레이(primary ray, P)를 생성하여 해당 레이와 만나는 물체를 찾기 위한 계산을 수행할 수 있다. 레이 트레이싱 장치는 레이와 만나게 된 물체가 반사나 굴절의 성질이 있으면 레이와 물체가 만난 위치에서 반사 효과를 위한 반사 레이(reflection ray, R)나 굴절 효과를 위한 굴절 레이(refraction ray, F)를 생성할 수 있고, 또한 그림자 효과를 위하여 빛(Light) 방향으로 그림자 레이(shadow ray, S)를 생성할 수 있다.
이 때, 해당 빛(Light) 위치로 향한 그림자 레이와 어떤 물체가 만나면 그림자가 생성이 되며 그렇지 않을 경우는 그림자가 생성되지 않는다. 반사 레이와 굴절 레이는 세컨더리 레이(secondary ray)라고 불리며 레이 트레이싱 장치는 각각의 레이에 대해 해당 레이와 만나는 물체를 찾기 위한 계산을 수행할 수 있다. 이러한 과정은 레이 트레이싱 장치에 의해 반복적(recursive)으로 수행될 수 있다.
도 2는 레이 트레이싱 과정에서 사용되는 가속 구조로서 KD 트리의 일 실시예를 설명하는 도면이다.
도 2를 참조하면, 레이 트레이싱을 수행하기 위하여 전체 지오메트리 데이터(geometry data)(triangle의 좌표들로 구성)를 기초로 생성된 KD 트리(K-Dimensional Tree)나 BVH(Bounding Volume Hierarchy)와 같은 가속 구조(Acceleration Structure, AS)가 필수적으로 요구된다. 따라서, 레이 트레이싱을 수행하기 이전에 AS를 구축(build)할 필요가 있다. 이러한 가속 구조 구축(AS build)에는 연산량이 많이 필요하기 때문에 시간이 많이 소요될 수 있다.
도 2에서, kd-트리의 전체 구성도를 설명하고 있다. kd-트리는 분할한 공간에 대하여 계층적(hierarchy) 구조를 갖는 이진 트리(binary tree)에 해당할 수 있다. kd-트리는 내부 노드(inner node)(top node 포함)와 리프 노드(leaf node)로 구성될 수 있으며, 리프 노드는 해당 노드와 교차(intersection)되는 객체(object)들을 포함하고 있는 공간에 대응될 수 있다. 즉, kd-트리는 공간 분할 트리(spatial partitioning tree)로서 공간 분할 구조체(spatial partitioning structure)의 일종에 해당할 수 있다.
반면, 내부 노드는 바운딩 박스(bounding box) 기반의 공간 영역을 가질 수 있으며 해당 공간 영역은 다시 2개의 영역들로 나뉘어서 두 개의 하위 노드에 할당될 수 있다. 결과적으로 내부 노드는 분할 평면과 이를 통해 분할된 두 개의 영역의 서브-트리(sub-tree)로 구성될 수 있고, 리프 노드는 일련의 삼각형(triangle)들 만을 포함할 수 있다. 예를 들어, 리프 노드는 기하학적 데이터에 포함된 적어도 하나의 삼각형 정보를 포인팅하기 위한 삼각형 리스트를 포함할 수 있으며, 삼각형 정보는 삼각형의 세 점에 대한 정점 좌표, 법선 벡터 및/또는 텍스처 좌표를 포함할 수 있다. 만약, 기하학적 데이터에 포함된 삼각형 정보가 배열로 구현된 경우에는 리프 노드에 포함된 삼각형 리스트는 배열 인덱스에 상응할 수 있다.
한편, 공간을 분할하는 위치 p는 임의의 레이와 충돌(hit)하는 삼각형을 찾기 위한 비용(cost)(노드 방문 횟수, 삼각형과 교차되는지 계산하는 횟수 등)이 최소가 되는 지점에 해당할 수 있고, 해당 위치 p를 찾기 위해 현재 가장 많이 사용되는 방법은 SAH(Surface area heuristic)에 해당할 수 있다.
도 3은 레이 트레이싱 과정의 처리 순서를 설명하는 도면이다.
도 3을 참조하면, 레이 트레이싱 과정은 크게 레이 생성(Ray Generation) 단계, 방문 & 교차 테스트(Traversal & Intersection Test) 단계, 충돌 지점 산출(Hit Point Calculation) 단계 및 쉐이딩 & 레이 셋업(Shading & Next Ray Set-up) 단계를 포함할 수 있다.
먼저 레이 생성(Ray Generation) 단계에서는 각각의 픽셀(pixel)에 대해 시점 위치로부터 프라이머리 레이를 생성할 수 있다. 다음 단계에서는 kd-트리(kd-tree)와 bounding volume hierarchy (BVH)와 같은 가속 구조(AS)를 탐색하여 레이와 만나는 리프 노드를 찾을 수 있다. 여기에서, 리프 노드에는 삼각형(triangle)의 정보들이 저장되어 있다.
다음의 교차 테스트(Traversal & Intersection Test) 단계에서는 만난 리프 노드에 있는 모든 삼각형에 대하여 레이와 만나는지를 테스트할 수 있다. 이러한 과정은 레이와 만나는 삼각형을 찾을 때까지 반복적으로 수행될 수 있다. 그 후, 레이와 만난 삼각형에 대하여 충돌 지점 산출(hit point calculation) 단계에서 충돌 지점(hit point)를 계산할 수 있다.
다음 단계인 쉐이딩(Shading) 단계에서 레이-삼각형 충돌 지점(ray-triangle hit point) 상에서의 컬러(color) 값을 계산할 수 있다. 만약 조명으로 인하여 그림자 레이(shadow ray)의 발생이 필요하거나 충돌된 삼각형의 재질로 인한 세컨더리 레이(secondary ray)의 발생이 필요하면 이러한 정보를 레이 셋업(Next Ray Set-up) 단계에서 결정하여 레이 생성(Ray Generation) 단계로 전송될 수 있다. 레이 생성(Ray Generation) 단계에서는 이러한 정보를 기반으로 그림자 레이 및 세컨더리 레이를 발생시킬 수 있다.
도 4는 선택적 렌더링의 동작 과정을 설명하는 도면이다.
도 4를 참조하면, 일반적으로 렌더링의 경우 모든 픽셀에 대해서 샘플링을 수행하는데, 만약 픽셀 수 보다 샘플 수가 작으면 이로 인하여 샘플링이 안된 픽셀들은 인접한 픽셀 값을 보간하여 생성될 수 있다.
먼저, 픽셀의 x좌표와 y좌표를 하나씩 건너 뛰어 샘플링을 수행할 수 있다. 이는 저해상도에서 렌더링을 수행한 결과와 동일할 수 있다. 이 결과 그림 (a)의 회색 위치의 픽셀에 대한 렌더링을 수행하여 그 위치에 픽셀이 생성되고, 렌더링 되지 않은 픽셀은 흰색으로 남게 된다. 그림 (b) 단계에서, 렌더링 되지 않은 픽셀(430)에 대해서 수평 위치의 픽셀 데이터 값(411 및 413)을 이용하여 보간한 후 해당하는 위치의 픽셀을 생성할 수 있다.
그림 (b) 단계가 완료된 후, 그림 (c) 단계에서는 렌더링 되지 않은 픽셀(430)에 대해서 수직 위치의 픽셀 데이터 값(451 및 453)을 이용하여 보간한 후 해당하는 위치의 픽셀을 생성할 수 있다. 도 4의 실시예는 샘플링을 x좌표와 y좌표 각각에 대해 하나씩 건너 뛰어 수행된 예에 해당할 수 있으며, 반드시 이에 한정되지 않고, 필요에 따라 더 큰 간격으로 건너 뛰어 수행될 수도 있다.
선택적 렌더링은 샘플링이 안된 부분에 대하여 보간을 수행할지 혹은 샘플링을 할지의 여부를 색상차의 임계치(threshold)에 따라서 결정하는 방식으로 수행될 수 있다. 예를 들어, 임계치가 16으로 설정되었다고 가정하면, 샘플링된 주변 픽셀의 색상 차이가 16이하이면 보간을 수행하고 16이 넘으면 샘플링을 수행할 수 있다. 따라서, 선택적 렌더링에 적용되는 임계치를 높이면 랜더링 성능은 올라가는 반면 화질은 떨어질 수 있다. 이렇게 임계치를 조절함에 따라 랜더링 성능과 화질을 적응적으로 선택할 수 있다.
도 5는 포비티드 렌더링의 동작을 설명하는 도면이다.
도 5를 참조하면, 포비티드 렌더링(Foveated rendering)은 렌더링할 때 인간 시각 인식 체계를 반영하여 중심 영역과 중심 이외의 영역에 대한 이미지의 품질을 적응적(adaptive)으로 렌더링하는 기법에 해당할 수 있다. 화면(혹은 시점)의 중심 부분에는 고품질의 영상을 생성하고 중심 이외의 부분은 낮은 품질의 영상을 렌더링 하게 되면 품질저하를 방지하면서 렌더링 속도를 올릴 수 있다.
기존의 포비티드 렌더링 기술은 래스터화(rasterization) 기반으로써, 사용자의 시점의 중심으로부터 여러 단계의 품질을 가지는 뷰포트를 렌더링한 후, 이를 인간의 시각 인식체계와 맞게 원형으로 변형한 뒤 블렌딩(blending) 하여 최종 이미지를 생성할 수 있다. 이러한 포비티드 렌더링 방식은 사각형 형태의 뷰포트를 원형으로 변형하는 단계에서 버려지는 렌더링 픽셀이 발생할 수 있다.
이와 대조적으로, 레이 트레이싱(ray tracing) 방식은 픽셀 단위로 렌더링이 수행가능하기 때문에, 포비티드 렌더링 기술은 ray tracing에 적용하기가 매우 용이할 수 있다. 인간의 시각 인치 체계를 반영하는 포비티드 렌더링을 레이 트레이싱 기술에 적용하면 인지적 요인에 대한 페널티를 최소화하면서 레이 트레이싱의 성능을 증가시킬 수 있다.
도 5의 경우, 레이 트레이싱을 적용한 포비티드 렌더링 의해 계산된 영역을 나타낼 수 있다. 즉, 중앙부(510)의 영역이 시선의 중심부 영역으로 고품질 이미지 렌더링하는 영역이며, 시선의 중심부 외의 영역으로 갈수록 낮은 품질의 이미지를 렌더링할 수 있다.
도 6은 본 발명에 따른 레이 트레이싱 장치의 기능적 구성을 설명하는 블록도이다.
도 6을 참조하면, 레이 트레이싱 장치(600)는 제1 렌더링 수행부(610), 제2 렌더링 수행부(630) 및 제어부를 포함할 수 있다.
제1 렌더링 수행부(610)는 특정 장면을 제1 해상도로 렌더링 하여 제1 영상을 생성할 수 있다. 이때, 제1 해상도는 상대적으로 저해상도에 해당할 수 있으며, 이에 따라 평균적으로 렌더링 속도는 빠른 반면 제1 영상의 화질은 낮을 수 있다. 즉, 제1 렌더링 수행부(610)는 특정 장면에 대한 영상을 생성하는 과정에서 1차적으로 저해상도 영상을 빠르게 생성하여 이후 고해상도 영상을 생성하기 위한 기초 정보를 제공하는 역할을 수행할 수 있다. 일 실시예에서, 제1 렌더링 수행부(610)는 렌더링 과정에서 프레임별 특정 장면의 중심부 위치에 관한 정보를 수집할 수 있다. 통상적으로 중심부 위치는 프레임의 중심 위치, 즉 특정 장면의 중앙점에 관한 좌표로 결정될 수 있으나, 반드시 이에 한정되지 않음은 물론이다.
일 실시예에서, 제1 렌더링 수행부(610)는 특정 장면을 구성하는 동적 장면(dynamic scene)에서 객체들의 위치를 기초로 중심부 위치를 결정할 수 있다. 즉, 사용자의 시선은 정적 장면보다는 동적 장면에 보다 집중할 수 있고, 특히 동적 장면에 포함된 객체의 움직임에 따라 변경될 수 있다. 따라서, 제1 렌더링 수행부(610)는 동적 장면의 객체들의 위치를 고려하여 사용자의 시각적 집중도가 높은 영역을 중심부 위치로서 결정할 수 있다.
일 실시예에서, 제1 렌더링 수행부(610)는 이전 프레임과 현재 프레임의 동적 장면들에서 객체들 각각의 위치 변화량을 산출할 수 있고, 위치 변화량이 가장 큰 메인 객체의 위치를 기초로 중심부 위치를 결정할 수 있다. 즉, 메인 객체는 동적 장면에 포함된 객체들 중 위치 변화가 가장 큰 객체에 해당할 수 있다. 제1 렌더링 수행부(610)는 프레임의 진행에 따라 움직임이 큰 객체에 사용자의 시각적 집중도가 높다는 점을 고려하여 움직임이 가장 큰 객체의 위치를 기초로 중심부 위치를 결정할 수 있다. 또한, 제1 렌더링 수행부(610)는 동적 장면 내의 객체들의 위치 변화량이 소정의 범위 내에서 유사한 경우 또는 위치 변화량이 동일한 경우, 해당 객체들 중에서 가장 큰 객체의 위치를 기초로 중심부 위치를 결정할 수 있다.
제2 렌더링 수행부(630)는 제1 영상을 기초로 제2 해상도로 렌더링 하여 제2 영상을 생성할 수 있다. 이때, 제2 해상도는 상대적으로 고해상도에 해당할 수 있으며, 이에 따라 제2 해상도는 제1 해상도보다 더 높을 수 있다. 예를 들어, 제2 렌더링 수행부(630)는 제1 영상을 업샘플링(up-sampling) 하여 고해상도의 제2 영상을 렌더링 결과로서 생성할 수 있다. 또한, 제2 렌더링 수행부(630)는 제2 영상을 생성하는 과정에서 제1 영상의 샘플링 픽셀들 사이에 존재하는 후보 픽셀들에 대해 중심부 위치와의 거리에 따른 적응적인 임계치 조정을 통해 선택적 렌더링을 반복적으로 수행함으로써 제2 영상에 관한 렌더링을 수행할 수 있다.
일 실시예에서, 제2 렌더링 수행부(630)는 각 후보 픽셀마다 중심부 위치와의 거리가 기 설정된 기준거리보다 작은 경우 기준 임계치를 감소시키고, 해당 거리가 기준거리보다 큰 경우 기준 임계치를 증가시킬 수 있다. 여기에서, 기준 임계치는 선택적 렌더링, 즉 보간을 통해 색상을 결정할지 또는 레이 트레이싱을 통해 색상을 결정할지를 선택적으로 결정하는 과정에서 선택 기준에 해당할 수 있다. 즉, 제2 렌더링 수행부(630)는 중심부 또는 주변부와의 근접성에 관한 정보를 이용하여 시각적 집중도(visual attention)에 적응적인 렌더링을 수행할 수 있다.
일 실시예에서, 제2 렌더링 수행부(630)는 중심부의 위치가 메인 객체의 위치를 기초로 결정된 경우 메인 객체의 크기에 따라 기준거리를 조정할 수 있다. 즉, 객체의 크기가 클수록 사용자의 인지하는 중심 영역의 크기가 커질 수 있기 때문에 기준거리를 객체의 크기에 적응적으로 조정할 수 있다. 이후, 제2 렌더링 수행부(630)는 중심부 위치와의 거리가 조정된 기준거리보다 작은 경우 기준 임계치를 감소시키고, 해당 거리가 조정된 기준거리보다 큰 경우 기준 임계치를 증가시킬 수 있다.
일 실시예에서, 제2 렌더링 수행부(630)는 중심부 위치와의 거리와 기준거리 간의 차이에 따라 기준 임계치에 대한 감소 또는 증가의 크기를 결정할 수 있다. 즉, 제2 렌더링 수행부(630)는 비교 결과에 따른 차이가 클수록 기준 임계치의 조정 비율을 점진적으로 증가시킬 수 있다. 한편, 제2 렌더링 수행부(630)는 비교 결과에 따른 차이에 비례하여 기준 임계치의 조정 크기를 결정할 수도 있다.
일 실시예에서, 제2 렌더링 수행부(630)는 특정 후보 픽셀에 대해 수직 또는 수평 방향으로 양쪽에 인접한 샘플링 픽셀들 간의 색상 차이가 조정된 임계치보다 작은 경우 보간(interpolation) 알고리즘을 적용하여 특정 후보 픽셀에 대한 색상을 결정할 수 있다. 일 실시예에서, 제2 렌더링 수행부(630)는 특정 후보 픽셀에 대해 수직 또는 수평 방향으로 양쪽에 인접한 샘플링 픽셀들 간의 색상 차이가 조정된 임계치보다 큰 경우 레이 트레이싱을 수행하여 특정 후보 픽셀에 대한 색상을 결정할 수 있다.
즉, 선택적 렌더링은 인접 픽셀들의 색상차와 임계치와의 비교 결과에 따라 렌더링 기법을 달리 적용함으로써 전체적인 렌더링 성능을 높일 수 있다. 다른 실시예에서, 제2 렌더링 수행부(630)는 특정 후보 픽셀에 대한 수직 또는 수평 방향의 인접 픽셀들이 모두 존재하는 경우에는 수평 방향의 픽셀들 간의 색상차와 수직 방향의 픽셀들 간의 색상차의 평균값을 임계치와 비교하여 선택적 렌더링을 수행할 수 있다.
일 실시예에서, 제2 렌더링 수행부(630)는 후보 픽셀들 모두에 대해 선택적 렌더링이 완료된 경우 제2 영상을 특정 장면에 대한 렌더링 결과로서 제공할 수 있다. 제2 렌더링 수행부(630)는 저해상도의 제1 영상으로부터 고해상도의 제2 영상을 생성하기 위하여, 렌더링이 필요한 후보 픽셀들을 추출할 수 있으며, 각 후보 픽셀들에 대해 반복적으로 선택적 렌더링을 수행할 수 있다. 결과적으로, 모든 후보 픽셀들에 대한 선택적 렌더링 과정이 수행되면 그 결과로서 제2 영상이 생성될 수 있다. 제2 렌더링 수행부(630)는 하나의 프레임에 대해 제2 영상을 렌더링 결과로서 제공할 수 있으며, 프레임의 진행에 따라 동일한 과정을 반복적으로 수행할 수 있다.
일 실시예에서, 제2 렌더링 수행부(630)는 제2 영상 생성을 위한 렌더링 동작을 독립적으로 수행하는 복수의 모듈들로 구성될 수 있다. 보다 구체적으로, 제2 렌더링 수행부(630)는 제1 영상의 샘플링 픽셀들 사이에 존재하는 후보 픽셀들을 결정하는 후보 픽셀 추출모듈(631), 특정 후보 픽셀에 대해 중심부 위치와의 거리를 산출하는 거리 산출모듈(633), 해당 거리를 기 설정된 기준거리와 비교하여 기준 임계치를 적응적으로 조정하는 임계치 조정모듈(635) 및 조정된 기준 임계치에 따라 선택적 렌더링을 수행하여 특정 후보 픽셀의 색상을 결정하는 렌더링 수행모듈(637)을 포함할 수 있다.
제어부는 레이 트레이싱 장치(600)의 전체적인 동작을 제어하고, 제1 렌더링 수행부(610) 및 제2 렌더링 수행부(630) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 7은 본 발명에 따른 레이 트레이싱 방법을 설명하는 순서도이고, 도 8은 본 발명에 따른 레이 트레이싱 과정의 일 실시예를 설명하는 흐름도이다.
도 7 및 8을 참조하면, 레이 트레이싱 장치(600)는 제1 렌더링 수행부(610)를 통해 저해상도에서 렌더링 수행할 수 있다(S710). 이때, 제1 렌더링 수행부(610)는 해당 특정 장면의 중심부 위치를 결정할 수 있다(S810).
또한, 레이 트레이싱 장치(600)는 제2 렌더링 수행부(630)를 통해 저해상도의 영상을 기초로 고해상도의 영상을 생성할 수 있다(S730). 이를 위해, 제2 렌더링 수행부(630)는 제2 영상을 생성하기 위해 렌더링 되지 않은 픽셀들을 후보 픽셀로 결정할 수 있고, 각 후보 픽셀마다 선택적 렌더링을 반복적으로 수행할 수 있다.
보다 구체적으로, 도 8에서, 제2 렌더링 수행부(630)는 선택적 렌더링 수행을 위해 특정 픽셀 위치가 중심부 또는 주변부에 가까운지를 검사할 수 있다(S830). 만약, 특정 픽셀 위치가 중심부 위치에 더 가까운 경우 선택적 렌더링을 위한 임계치를 낮출 수 있고, 그 반대인 경우에는 임계치를 높일 수 있다(S850). 제2 렌더링 수행부(630)는 조정된 임계치를 기초로 특정 픽셀 위치에서의 선택적 렌더링을 수행하여 구체적인 색상값을 결정할 수 있다(S870). 예를 들어, 렌더링 되지 않은 특정 픽셀 위치의 인접 픽셀들 간의 색상차가 조정된 임계치보다 낮으면 보간을 통해 색상값이 결정되고 그 반대인 경우에는 레이 트레이싱을 통해 색상값이 결정될 수 있다.
제2 렌더링 수행부(630)는 하나의 후보 픽셀에 대해 임계치 조정과 선택적 렌더링을 순차적으로 수행할 수 있고, 해당 후보 픽셀에 대한 렌더링이 종료되면 다음 후보 픽셀에 대한 동작을 반복적으로 수행할 수 있다(S890). 제2 렌더링 수행부(630)는 저해상도의 영상에서 업샘플링을 통해 고해상도의 영상을 생성하는 과정에서 렌더링 되지 않은 픽셀에 대한 색상값을 선택적 렌더링을 통해 결정하고, 시각적 집중도에 따라 선택적 렌더링의 임계치를 적응적으로 조정하여 화질저하를 낮추면서도 렌더링 성능을 효과적으로 높일 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
411, 413: 수평 위치의 픽셀 데이터 값
430: 렌더링 되지 않은 픽셀
451, 453: 수직 위치의 픽셀 데이터 값
510: 중심부
600: 레이 트레이싱 장치
610: 제1 렌더링 수행부 630: 제2 렌더링 수행부
631: 후보 픽셀 추출모듈 633: 거리 산출모듈
635: 임계치 조정모듈 637: 렌더링 수행모듈

Claims (12)

  1. 특정 장면을 제1 해상도로 렌더링 하여 제1 영상을 생성하는 과정에서 상기 특정 장면의 중심부 위치를 결정하는 단계; 및
    상기 제1 영상을 상기 제1 해상도보다 더 높은 제2 해상도로 렌더링 하여 제2 영상을 생성하는 과정에서 상기 제1 영상의 샘플링 픽셀들 사이에 존재하는 후보 픽셀들에 대해 상기 중심부 위치와의 거리에 따른 적응적인 임계치 조정과 조정된 임계치에 따른 선택적 렌더링을 반복적으로 수행하는 단계를 포함하되,
    저해상도의 영상에서 업샘플링을 통해 고해상도의 영상을 생성하는 과정에서 상기 임계치 조정에 따라 상기 선택적 렌더링의 수행 여부가 시각적 집중도에 적응적으로 조정되는 결과 화질 저하를 낮추면서 렌더링 성능을 향상시키는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법.
  2. 제1항에 있어서, 상기 중심부 위치를 결정하는 단계는
    상기 특정 장면 구성하는 동적 장면(dynamic scene)에서 객체들의 위치를 기초로 상기 중심부 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법.
  3. 제2항에 있어서, 상기 중심부 위치를 결정하는 단계는
    이전 프레임과 현재 프레임의 동적 장면들에서 상기 객체들 각각의 위치 변화량을 산출하는 단계; 및
    상기 위치 변화량이 가장 큰 메인 객체의 위치를 기초로 상기 중심부 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법.
  4. 제1항에 있어서, 상기 반복적으로 수행하는 단계는
    상기 거리가 기 설정된 기준거리보다 작은 경우 기준 임계치를 감소시키고, 상기 거리가 상기 기준거리보다 큰 경우 상기 기준 임계치를 증가시키는 단계를 포함하는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법.
  5. 제3항에 있어서, 상기 반복적으로 수행하는 단계는
    상기 중심부 위치가 상기 메인 객체의 위치를 기초로 결정된 경우 상기 메인 객체의 크기에 따라 기준거리를 조정하는 단계; 및
    상기 거리가 조정된 상기 기준거리보다 작은 경우 기준 임계치를 감소시키고, 상기 거리가 조정된 상기 기준거리보다 큰 경우 상기 기준 임계치를 증가시키는 단계를 포함하는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법.
  6. 제4항 또는 제5항에 있어서, 상기 반복적으로 수행하는 단계는
    상기 거리와 상기 기준거리 간의 차이에 따라 상기 기준 임계치에 대한 감소 또는 증가의 크기를 결정하는 단계를 포함하는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법.
  7. 제1항에 있어서, 상기 반복적으로 수행하는 단계는
    특정 후보 픽셀에 대해 수직 또는 수평 방향으로 양쪽에 인접한 샘플링 픽셀들 간의 색상 차이가 조정된 임계치보다 작은 경우 보간(interpolation) 알고리즘을 적용하고, 상기 색상 차이가 상기 조정된 임계치보다 큰 경우 레이 트레이싱을 수행하여 상기 특정 후보 픽셀에 대한 색상을 결정하는 단계를 포함하는 것을 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법.
  8. 제1항에 있어서, 상기 반복적으로 수행하는 단계는
    상기 후보 픽셀들 모두에 대해 상기 선택적 렌더링이 완료된 경우 상기 제2 영상을 상기 특정 장면에 대한 렌더링 결과로서 제공하는 단계를 포함하는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 방법.
  9. 특정 장면을 제1 해상도로 렌더링 하여 제1 영상을 생성하는 과정에서 상기 특정 장면의 중심부 위치를 결정하는 제1 렌더링 수행부; 및
    상기 제1 영상을 상기 제1 해상도보다 더 높은 제2 해상도로 렌더링 하여 제2 영상을 생성하는 과정에서 상기 제1 영상의 샘플링 픽셀들 사이에 존재하는 후보 픽셀들에 대해 상기 중심부 위치와의 거리에 따른 적응적인 임계치 조정과 조정된 임계치에 따른 선택적 렌더링을 반복적으로 수행하는 제2 렌더링 수행부를 포함하되,
    저해상도의 영상에서 업샘플링을 통해 고해상도의 영상을 생성하는 과정에서 상기 임계치 조정에 따라 상기 선택적 렌더링의 수행 여부가 시각적 집중도에 적응적으로 조정되는 결과 화질 저하를 낮추면서 렌더링 성능을 향상시키는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 장치.
  10. 제9항에 있어서, 상기 제2 렌더링 수행부는
    상기 제1 영상의 샘플링 픽셀들 사이에 존재하는 후보 픽셀들을 결정하는 후보 픽셀 추출모듈;
    특정 후보 픽셀에 대해 상기 중심부 위치와의 거리를 산출하는 거리 산출모듈;
    상기 거리를 기 설정된 기준거리와 비교하여 기준 임계치를 적응적으로 조정하는 임계치 조정모듈; 및
    상기 조정된 기준 임계치에 따라 상기 선택적 렌더링을 수행하여 상기 특정 후보 픽셀의 색상을 결정하는 렌더링 수행모듈을 포함하는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 장치.
  11. 제10항에 있어서, 상기 임계치 조정모듈은
    상기 거리가 기 설정된 기준거리보다 작은 경우 기준 임계치를 감소시키고, 상기 거리가 상기 기준거리보다 큰 경우 상기 기준 임계치를 증가시키는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 장치.
  12. 제11항에 있어서, 상기 임계치 조정모듈은
    상기 거리와 상기 기준거리 간의 차이에 따라 상기 기준 임계치에 대한 감소 또는 증가의 크기를 결정하는 것을 특징으로 하는 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱(Ray Tracing) 장치.
KR1020200175080A 2020-12-15 2020-12-15 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치 KR102539910B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200175080A KR102539910B1 (ko) 2020-12-15 2020-12-15 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치
PCT/KR2021/015707 WO2022131532A1 (ko) 2020-12-15 2021-11-02 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치
US18/267,344 US20240046548A1 (en) 2020-12-15 2021-11-02 Visual attention-based ray tracing method and device for foveated rendering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200175080A KR102539910B1 (ko) 2020-12-15 2020-12-15 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220085204A KR20220085204A (ko) 2022-06-22
KR102539910B1 true KR102539910B1 (ko) 2023-06-05

Family

ID=82059617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200175080A KR102539910B1 (ko) 2020-12-15 2020-12-15 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치

Country Status (3)

Country Link
US (1) US20240046548A1 (ko)
KR (1) KR102539910B1 (ko)
WO (1) WO2022131532A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869912B1 (ko) * 2017-12-26 2018-06-21 세종대학교 산학협력단 포비티드 영상 디스플레이 장치, 이에 의해 수행되는 포비티드 영상 디스플레이 방법 및 이를 저장하는 기록매체
US20190391641A1 (en) * 2018-06-21 2019-12-26 Qualcomm Incorporated Foveated rendering of graphics content using a rendering command and subsequently received eye position data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101076807B1 (ko) * 2009-05-29 2011-10-25 주식회사 실리콘아츠 레이 트레이싱 장치 및 방법
KR101281157B1 (ko) * 2011-02-14 2013-07-02 세종대학교산학협력단 레이 트레이싱 코어 및 레이 트레이싱 처리 방법
KR20150039493A (ko) 2013-10-02 2015-04-10 삼성전자주식회사 레이 트레이싱 처리 장치 및 방법
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869912B1 (ko) * 2017-12-26 2018-06-21 세종대학교 산학협력단 포비티드 영상 디스플레이 장치, 이에 의해 수행되는 포비티드 영상 디스플레이 방법 및 이를 저장하는 기록매체
US20190391641A1 (en) * 2018-06-21 2019-12-26 Qualcomm Incorporated Foveated rendering of graphics content using a rendering command and subsequently received eye position data

Also Published As

Publication number Publication date
US20240046548A1 (en) 2024-02-08
WO2022131532A1 (ko) 2022-06-23
KR20220085204A (ko) 2022-06-22

Similar Documents

Publication Publication Date Title
KR102164541B1 (ko) 레이 트레이싱 시스템에서의 가속 구조 생성 장치 및 그 생성 방법
CN106204712B (zh) 分段线性不规则光栅化
KR102197067B1 (ko) 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치
KR102604737B1 (ko) 가속 구조를 생성하는 방법 및 장치
KR102193684B1 (ko) 레이 트레이싱 처리 장치 및 방법
KR102370617B1 (ko) 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치.
US10586375B2 (en) Hybrid raytracing approach for modeling light reflection
CN110024002B (zh) 用于根据光场渲染视图的方法和系统
JP5695746B2 (ja) ミップマップレベル選択方法及びこれを利用したテクスチャマッピングシステム
JP2016085738A (ja) ハイブリッドレンダリング装置及びその方法
US10825231B2 (en) Methods of and apparatus for rendering frames for display using ray tracing
KR20170034727A (ko) 그림자 정보 저장 방법 및 장치, 3d 렌더링 방법 및 장치
KR20160125172A (ko) 레이 트레이싱 장치 및 방법
KR102285840B1 (ko) 3차원 영상 렌더링 방법 및 이를 적용한 영상 출력 장치
KR102558739B1 (ko) 3d 렌더링 방법 및 장치
KR102537319B1 (ko) 동적 장면에 대한 집중도 기반의 레이 트레이싱 방법 및 장치
KR102537317B1 (ko) 렌더링 성능을 올리기 위한 멀티레벨 선택적 렌더링 방법 및 장치
KR102193683B1 (ko) 레이 트레이싱 시스템에서의 가속 구조 탐색 장치 및 그 탐색 방법
KR101869912B1 (ko) 포비티드 영상 디스플레이 장치, 이에 의해 수행되는 포비티드 영상 디스플레이 방법 및 이를 저장하는 기록매체
KR102269648B1 (ko) 성능이 개선된 레이 트레이싱 장치 및 방법
KR102539910B1 (ko) 포비티드 렌더링에 관한 집중도 기반의 레이 트레이싱 방법 및 장치
KR102537530B1 (ko) 가속 구조를 생성하는 방법 및 장치
US11436797B2 (en) Image generation system and method
US20240249461A1 (en) Vector graphic texture engine
Sung Efficient Shadow Generation of Massive Crowds Based on the Area of Screen Space

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant