KR102424965B1 - 적응적 렌더링을 수행하는 방법 및 그래픽스 시스템 - Google Patents

적응적 렌더링을 수행하는 방법 및 그래픽스 시스템 Download PDF

Info

Publication number
KR102424965B1
KR102424965B1 KR1020150089085A KR20150089085A KR102424965B1 KR 102424965 B1 KR102424965 B1 KR 102424965B1 KR 1020150089085 A KR1020150089085 A KR 1020150089085A KR 20150089085 A KR20150089085 A KR 20150089085A KR 102424965 B1 KR102424965 B1 KR 102424965B1
Authority
KR
South Korea
Prior art keywords
tile
speed
sampling
pixels
pixel
Prior art date
Application number
KR1020150089085A
Other languages
English (en)
Other versions
KR20160001663A (ko
Inventor
압히나브 골라스
크리스토퍼 티. 쳉
존 더블유. 브라더스
카르틱 라마니
리앙준 장
산토쉬 조지 아브라함
우디 차우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP15174054.5A priority Critical patent/EP2960863B1/en
Priority to CN201510369694.0A priority patent/CN105225264B/zh
Priority to JP2015129986A priority patent/JP2016012354A/ja
Publication of KR20160001663A publication Critical patent/KR20160001663A/ko
Application granted granted Critical
Publication of KR102424965B1 publication Critical patent/KR102424965B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)

Abstract

이전 프레임에 이은 현재 프레임의 픽셀들의 움직임을 결정하여, 결정된 움직임에 따라, 적응적 렌더링을 수행하는 방법 및 그래픽스 시스템을 제공한다.

Description

적응적 렌더링을 수행하는 방법 및 그래픽스 시스템{Graphics system and Method of adaptive rendering}
본 개시는 그래픽스 시스템이 수행하는 적응적 렌더링에 관한 것이다.
도 1은 OpenGL 3.0 standard을 기반으로 하는 기존의 그래픽스 파이프라인(100)의 주된 영역을 나타낸다. 기존의 그래픽스 파이프라인(100)은, 버텍스 쉐이더(vertex shader)(105), 프리미티브 어셈블리 및 래스터화부(primitive assembly and rasterizer)(110), 프래그먼트/픽셀 쉐이더(fragment/pixel shader)(115), 및 프레임 버퍼(frame buffer)(120)를 포함할 수 있다. 또한, 기존의 그래픽스 파이프라인(100)은 텍스처 메모리(texture memory)(125)를 포함할 수 있다. 기존의 그래픽스 파이프라인(100)에서, 버텍스 쉐이더(105)는 버텍스 데이터(vertex data)를 수신하도록 동작할 수 있고, 프리미티브 어셈블리 및 래스터화부(110)는 버텍스들을 쉐이딩 하도록 동작할 수 있고, 프리미티브를 래스터화 하도록 동작할 수 있고, 프래그먼트/픽셀 쉐이더(120)는 프래그먼트/픽셀들에 대한 쉐이딩을 수행하도록 동작할 수 있다.
기존의 그래픽스 파이프라인(100)의 일 측면에 의하면, 이미지의 모든 영역들이 서로 같은 최소 해상도(minimum resolution)로 렌더링될 수 있다. 특히, 기존의 그래픽스 파이프라인에 의하면, 픽셀 당 평균적인 샘플들의 개수를 의미할 수 있는 샘플링 레이트(sampling rate)는 전형적으로 이미지의 각 픽셀마다 적어도 하나의 샘플이 될 수 있다.
기존 그래픽스 파이프라인의 일 측면에 의하면, 많은 픽셀 쉐이딩 오퍼레이션들이 요구될 수 있고, 낭비될 수 있다. 따라서, 모바일 디바이스의 측면에서는 많은 량의 에너지가 소모될 수 있다.
적응적 렌더링을 수행하는 그래픽스 시스템 및 방법을 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 측면에 따라, 그래픽스 프로세싱을 수행하는 방법에 있어서, 이전 프레임과 현재 프레임의 비교를 통해, 현재 프레임의 각 타일에 포함된 객체의 상대적인 스피드를 결정하는 단계; 결정에 기초하여, 각 타일을 기 정의된 스피드 카테고리들로 분류하는 단계; 분류에 기초하여, 각 타일에 적용될 샘플링을 결정하는 단계; 및 결정된 샘플링에 기초하여, 각 타일에 대한 렌더링을 수행하는 단계;를 포함할 수 있다.
또한, 기 정의된 스피드 카테고리는 준 정적 스피드 카테고리를 포함하고, 방법은, 준 정적 스피드 카테고리인 경우, 이전 프레임에서의 픽셀들의 데이터를 복사하는 단계; 및 픽셀들과 대응되는 현재 프레임에서의 픽셀들의 데이터로써 복사된 데이터를 재사용하는 단계;를 더 포함할 수 있다.
또한, 복사하는 단계는, 렌더링되는 픽셀들과 렌더링되지 않는 픽셀들의 기 설정된 비율에 기초하여, 이전 프레임의 타일의 일부 픽셀들을 상기 현재 프레임의 타일로 복사할 수 있다.
또한, 방법은, 이전 프레임에서의 픽셀들의 데이터를 재사용하는 조건으로, 이전 프레임의 픽셀 칼라값들에 대한 불일치 체크(discrepancy check)를 수행하는 단계를 더 포함할 수 있다.
또한, 객체의 상대적인 스피드는, 이전 프레임과 현재 프레임 간에 있어서, 렌더링된 지오메트리를 위한 버텍스 위치 데이터의 차이로부터 결정될 수 있다.
또한, 기 정의된 스피드 카테고리는 높은 스피드 카테고리를 포함하고, 샘플링을 결정하는 단계는, 높은 스피드 카테고리인 경우, 타일에 포함된 픽셀들의 개수보다 샘플들의 개수가 더 적은 샘플링 패턴을 선택하는 단계를 더 포함할 수 있다.
또한, 방법은, 각 타일에 대한 엣지 탐지(edge detection)를 수행하는 단계를 더 포함하고, 샘플링을 결정하는 단계는, 각 타일에 엣지가 탐지되는 지 여부를 더 고려하여, 각 타일에 적용될 샘플링을 결정하는 단계;를 포함할 수 있다.
또한, 방법은, 기 정의된 스피드 카테고리가 높은 스피드 카테고리이면서, 각 타일에 엣지가 탐지되지 않는 경우, 각 타일에 포함된 픽셀들의 개수보다 샘플들의 개수가 더 적은 샘플링 패턴을 선택하는 단계; 및 기 정의된 스피드 카테고리가 높은 스피드 카테고리이면서, 각 타일에 엣지가 탐지되는 경우, 적어도 픽셀 당 하나의 샘플인 개수를 갖는 샘플링 패턴을 선택하는 단계;를 포함할 수 있다.
또한, 샘플링을 결정하는 단계는, 각 타일에 대해 슈퍼 샘플링(super sampling)을 수행할지 여부를 결정하는 단계;를 더 포함할 수 있다.
또한, 슈퍼 샘플링은 엣지를 포함하는 타일에 대해 수행될 수 있다.
다른 측면에 따라, 그래픽스 프로세싱을 수행하는 방법은, 이전 프레임과 현재 프레임의 비교를 통해, 현재 프레임의 각 타일에 포함된 객체의 상대적인 스피드를 결정하는 단계; 각 타일이 엣지를 포함하는지 여부를 결정하는 단계; 결정된 스피드에 기초하여, 각 타일을 기 정의된 스피드 카테고리들로 분류하는 단계; 분류 및 각 타일이 엣지를 포함하는지 여부에 기초하여, 각 타일에 적용될 샘플링 레이트를 결정하는 단계; 및 결정된 샘플링 레이트에 기초하여, 각 타일에 대한 렌더링을 수행하는 단계;를 포함할 수 있다.
또한, 기 정의된 스피드 카테고리는 중간 스피드 카테고리를 포함하고, 중간 스피드 카테고리인 경우, 각 타일에 포함된 모든 픽셀들이 적어도 1 프레임마다 샘플링될 수 있다.
또한, 기 정의된 스피드 카테고리는 높은 스피드 카테고리를 포함하고, 방법은, 높은 스피드 카테고리인 경우, 타일에 포함된 픽셀들의 개수보다 샘플들의 개수가 더 적은 샘플링 패턴을 선택하는 단계; 및 샘플링되지 않는 픽셀에 대한 색을 결정하는 보간(interpolation)을 수행하는 단계;를 더 포함할 수 있다.
또한, 방법은, 기 정의된 스피드 카테고리가 높은 스피드 카테고리이면서, 각 타일에 엣지가 탐지되지 않는 경우, 각 타일에 포함된 픽셀들의 개수보다 샘플들의 개수가 더 적은 샘플링 패턴을 선택하는 단계; 및 기 정의된 스피드 카테고리가 높은 스피드 카테고리이면서, 각 타일에 엣지가 탐지되는 경우, 적어도 픽셀 당 하나의 샘플인 개수를 갖는 샘플링 패턴을 선택하는 단계;를 포함할 수 있다.
또 다른 측면에 따라, 그래픽스 파이프라인을 포함하는 그래픽스 시스템은, AD 샘플 생성부(Adaptive Desampling sample generator); 및 AD 샘플 생성부와 연결된 픽셀 쉐이더(pixel shader);를 포함하고, AD 샘플 생성부는, 각 타일 내의 객체의 스피드에 기초하여, 상기 각 타일에 대한 샘플링 레이트를 결정하고, 상기 결정된 샘플링 레이트에 기초하여 샘플링 패턴을 선택할 수 있다.
또한, AD 샘플 생성부는, 객체의 스피드 및 각 타일이 엣지를 포함하는지 여부에 기초하여, 각 타일에 대한 샘플링 패턴 및 샘플링 레이트를 결정할 수 있다.
또한, AD 샘플 생성부는, 이전 프레임에서 상기 객체를 구성하는 버텍스들의 좌표와 현재 프레임에서 상기 버텍스들의 좌표와 대응되는 좌표를 비교하여, 각 타일 내의 픽셀들 각각마다 속도를 결정하는, 속도 버퍼(velocity buffer); 각 타일 내에 엣지가 존재하는지를 탐지하는 엣지 탐지부(edge detector); 및 각 타일 내에 엣지가 존재하는지 여부 및 각 타일 내의 픽셀들 각각의 속도에 기초하여, 샘플링 패턴 및 샘플링 레이트를 결정하는 샘플 생성부(sample generator)를 포함할 수 있다.
또한, 각 타일의 객체의 스피드가 소정의 임계 스피드값 이상이고, 각 타일이 엣지를 포함하지 않는 경우, 각 타일에 대해 감소된 샘플링 레이트가 선택될 수 있다.
또한, 그래픽스 시스템은 재건 모듈(reconstruction module)을 더 포함할 수 있고, 각 타일이 준 정적 스피드값 이하인 스피드를 갖는 경우, 감소된 샘플링 레이트를 갖는 샘플링 패턴이 선택되고, 재건 모듈은 이송을 통해 이전 프레임의 픽셀 데이터를 재사용하여, 렌더링되지 않은 픽셀들에 대한 데이터(missing pixel data)를 생성할 수 있다.
또한, 재건 모듈은, 픽셀 좌표에서의 변화를 매핑하여, 이전 프레임의 픽셀의 위치를 인식할 수 있다.
또한, 각 타일의 객체의 스피드가 소정의 준 정적 스피드 한계치 이하인 경우, 각 타일의 픽셀들의 일부는 렌더링되고, 다른 일부는 소정의 비율에 따라 이전 프레임으로부터 재사용될 수 있다.
또 다른 측면에 따라, 그래픽스 프로세싱을 수행하는 방법은, 이전 프레임과 현재 프레임의 비교를 통해 결정된 스피드에 기초하여, 현재 프레임의 각 타일에 대한 적응적 렌더링을 수행하는 단계;를 포함할 수 있다.
또 다른 측면에 따라, 그래픽스 프로세싱을 수행하는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
도 1은 기존의 그래픽스 파이프라인을 도시한다.
도 2는 본 개시에 따른 그래픽스 파이프라인을 도시한다.
도 3은 일 실시예에 따라, AD 샘플 생성부를 도시한다.
도 4는 일 실시예에 따른 스피드 체제(speed regime)을 도시한다.
도 5는 일 실시예에 따라, 적응적 렌더링을 나타내는 흐름도를 도시한다.
도 6a는 샘플링 패턴들과 디더링의 실시예를 도시한다.
도 6b는 일 실시예에 따른 디더링 방법을 도시한다.
도 7a는 이송의 일 실시예를 도시한다.
도 7b는 그래픽스 파이프라인이 이송을 수행하는 방법을 도시한다.
도 8은 그래픽스 파이프라인이 재건 및 보간을 수행하는 일 실시예를 도시한다.
도 9 및 도 10은 보간에 대한 샘플링 패턴의 실시예를 도시한다.
도 11은 일 실시예에 따라 그래픽스 파이프라인이 적응적 디샘플링 및 스플라인 보간을 수행하는 방법을 도시한다.
도 12는 일 실시예에 따라 그래픽스 파이프라인이 스플라인 보간을 수행하는 방법을 도시한다.
도 13은 일 실시예에 따라, 그래픽스 파이프라인이 스텐실들을 활용하는 방법을 도시한다.
도 14는 3차원 스플라인을 통한 이송 및 재건의 일 실시예를 도시한다.
도 15a 및 도 15b는 프레임의 서로 다른 영역에 적응적 렌더링이 적용될 수 있는 실시예를 도시한다.
도 16은 양안 시차 영상에 이송이 적용되는 실시예를 도시한다.
도 17은 본 개시에 따른 적응적 렌더링이 포비티드 렌더링(foveated rendering)에 적용되는 실시예를 도시한다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다. 하기 실시예는 기술적 사상을 구체화하기 위한 것일 뿐 권리범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 해당 기술분야에 속하는 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 "제1"또는 "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 이러한 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하거나 설명의 편의를 위한 목적으로 사용될 수 있다.
이하에서는 도면을 참조하여 본 개시에 따른 실시 예들을 상세히 설명한다.
도 2는 본 개시에 따른 그래픽스 파이프라인(200)을 나타낸다. 그래픽스 파이프라인(200)은 그래픽스 하드웨어를 포함하는 그래픽스 프로세싱 유닛(GPU: Graphics Processing Unit)을 이용하여 수행될 수 있다. 또한, 그래픽스 파이프라인(200)은 그래픽스 시스템(graphics system)에 포함될 수 있다. 그래픽스 파이프라인(200)은 타일들 내의 모든 픽셀들이 샘플링되거나 렌더링되도록 요구하지 않는 프레임 내의 영역들을 자동적으로 결정하기 위한 새로운 단계들 및 기능들을 포함할 수 있다. 즉, 그래픽스 파이프라인(200)은 사용자의 수용 가능한 시각적 경험을 고려하여, 타일들 각각 내의 모든 픽셀들이 샘플링되도록 요구하지 않는 프레임 내의 영역들을 결정할 수 있다. 타일이라는 용어는 이미지 내의 인접한 픽셀들 세트를 의미할 수 있고, 일 실시예에 따라 타일은 사각형 모양의 블록이 될 수 있다. 프레임이라는 용어는 기 설정된 빈도로 보여지는 이미지를 렌더링하기 위해 수행되는 오퍼레이션들의 세트를 의미할 수 있다. 또한, 프레임이라는 용어는 오퍼레이션들의 세트로부터 생성되는 렌더링된 이미지를 의미할 수도 있다.
일 실시예에 따라, AD 샘플 생성부(Adaptive Desampling sample generator)(205)는 이미지의 영역들에 대한 샘플링 패턴(sampling pattern)을 조정할 수 있다. 이미지의 영역들은 4ⅹ4 픽셀 블록들 또는 16ⅹ16 픽셀 블록들과 같은 픽셀 블록들에 대응되는 타일들이 될 수 있다. 디샘플링(desampling)은 현재 프레임에서 렌더링 또는 샘플링되는 각 타일당 샘플들의 개수를 줄이는 것을 의미할 수 있다. 예를 들어, 디샘플링은 평균적으로 각 타일당 하나 보다 적은 샘플에 대해 샘플링하는 것을 의미할 수 있다. 또한, 디샘플링이라는 용어는 서브 샘플링(sub-sampling이라는 용어와 혼용될 수 있다. 풀 이미지 해상도(full image resolution)를 유지하기 위해, 렌더링되지 않은 픽셀의 데이터(missing pixel data)의 값을 획득하는 데에 2가지의 다른 접근법이 이용될 수 있다. 재건 및 이송 모듈(reconstruction and advection module)(210)은, 사용자를 위한 시각적 퀄리티가 유지되는 동안, 타일 내에서 샘플링되거나 렌더링되는 픽셀의 개수를 줄이는 서로 다른 2가지 방법을 제공할 수 있다. 일 실시예에 따라, 재건 및 이송 모듈(210)은 재건 모듈(211)과 이송 모듈(212)를 포함할 수 있다. 일 실시예에 따라, 서로 다른 2가지 방법 중 첫번째 방법은 높은 차수의 다항식 보간법을 통한 재건과, 렌더링되지 않은 픽셀 데이터를 생성 하기 위한 타일 내에서의 필터링이다. 두 번째 방법은, 이전 프레인(previous frame)에서의 적어도 하나의 픽셀들의 위치를 인식하여, 타일 내의 일부 선택된 픽셀들을 위해 인식된 적어도 하나의 픽셀들을 재사용하는 것이다.
일 실시예에 따라, n번째 프레임에서 객체에 대한 픽셀 데이터가 n+1번째 프레임에서 재사용될 수 있다.(215) 또한, n번째 프레임에서 객체에 대한 픽셀 데이터는 n+1번째 프레임에서 재사용될 가능성을 위해 저장될 수 있다. 또한, n번째 프레임의 버텍스 좌표 데이터는, n+1번째 프레임에서 픽셀의 프레임 간 모션 벡터를 결정하기 위해, 이용될 수 있다.(220) 일 실시예에 따라, n번째 프레임에서 픽셀 데이터 및 버텍스 좌표 데이터는 n+1번째 프레임에서의 사용을 위해 버퍼 메모리에 저장될 수 있다.
도 3은 일 실시예에 따라, AD 샘플 생성부(205)를 나타낸다. 일 실시예에 따라, 속도(velocity) 및 엣지 탐지(edge detection)에 기반하여, 타일 영역 내에서의 디샘플링 결정이 이루어질 수 있다. 예를 들어, 엣지 탐지는 깊이(depth/Z)에서의 엣지 탐지를 의미할 수 있다. 속도 버퍼(310)는 현재 프레임 및 이전 프레임으로부터 각 버텍스당 좌표 정보를 수신할 수 있다. 각 픽셀의 속도는 현재 프레임 및 이전 프레임으로부터 수신된 각 버텍스당 좌표 정보들을 비교하여 결정될 수 있다. 일 실시예에 따라, 씬(scene)으로부터의 프리미티브들과 함께 속도 이미지(velocity image)를 렌더링하기 위해, 포워드 스플래팅(forward splatting) 접근법이 이용될 수 있다. 또한, 버텍스 특성(vertex attribute)인 각 버텍스당 속도를 이용하기 위해, 포워드 스플래팅 접근법이 이용될 수 있다. 렌더링이 진행되는 동안, 많은 그래픽스 애플리케이션들은, 픽셀 쉐이더 인스턴스들의 개수를 감소시키기 위한 테크닉으로써 깊이 버퍼(Z-buffer)를 생성할 수 있다. 속도 버퍼 또는 속도 이미지는 깊이 버퍼와 함께 생성될 수 있다. 깊이 버퍼가 생성되는 Z-pass가 진행되는 동안, 깊이값에 대한 업데이트 및 스플래팅과 더불어, 각 픽셀마다 속도 또한 업데이트될 수 있다. 스크린 공간 상에서 각 픽셀당 속도값이 속도 버퍼로써 생성될 수 있고, 속도값의 크기는 스피드(speed)에 대응될 수 있다. 타일은 각 픽셀과 연관된 픽셀 스피드를 가질 수 있다. 타일은 최대 픽셀 스피드, 평균 픽셀 스피드, 또는 최소 픽셀 스피드를 가질 수 있다. 즉, 타일은 타일에 포함된 픽셀들 각각의 스피드 중 최대값인 픽셀 스피드를 최대 픽셀 스피드로, 중간값인 픽셀 스피드를 중간 픽셀 스피드로, 최소값인 픽셀 스피드를 최소 픽셀 스피드로 가질 수 있다. 일 실시예에 따라, 중간 픽셀 스피드가 디샘플링 결정에 이용될 수 있고, 최대 픽셀 스피드 및 평균 픽셀 스피드 또한 디샘플링 결정에 이용될 수 있다.
시각적 인공물(visual artifacts)들은 움직이는 객체 내에서 인간의 눈에 덜 인지될 수 있다. 따라서, 샘플링 레이트가 타일 내에서 감소되는지를 결정하는 요인은 픽셀 스피드가 소정의 임계치를 넘는지 여부가 될 수 있다.
하지만, 일부 시각적 인공물들은 색 엣지(color edge)에서 더 인지되기 쉬울 수 있다. 엄격한 의미에서, 먼저 이미지를 렌더링하지 않고는 색 엣지를 최종 이미지에서 탐지하는 것은 불가능한 일이다. 하지만, 렌더링 하기 전에 높은 가능성(likelihood)으로 색 엣지를 탐지하는 것은 가능하다. 따라서, 일 실시예에 따라, 엣지 탐지 모듈(305)은 픽셀 블록들에 대한 색 엣지의 가능성을 탐지할 수 있다. 즉, 객체에 대한 색 변화의 높은 가능성을 예측함에 따라, 색 엣지의 높은 가능성을 갖는 영역들이 탐지될 수 있다. 일 실시예에 따라, 현재 프레임에서의 래스터화로부터의 깊이값이, 엣지 탐지를 수행하기 위해 분석될 수 있다. 라플라스 엣지 탐지부(Laplace edge detector)는 현재 픽셀 상에서 중심에 위치한 스텐실(stencil)로써 정의될 수 있다. 타일 내의 어느 픽셀은, 어느 픽셀에서 깊이 버퍼의 라플라시안(laplacian)이 어느 픽셀의 깊이값이 곱해진 임계값보다 큰 경우, 엣지를 갖는 것으로 표시될 수 있다. 타일 내의 어느 픽셀이 엣지를 갖는지 여부를 타일 내의 한 비트 값으로 정의할 수 있다. 또한, 엣지 탐지의 어떤 타입이든지 이용될 수 있다.
일 실시예에 따라, 엣지 마스크(edge mask)가 각 타일마다 생성될 수 있고, 타일이 적어도 하나의 엣지를 포함하는지 여부를 나타내는 엣지 상태 비트(edge state bit)가 생성될 수 있다. 예를 들어, 4ⅹ4 픽셀 블록들에 대한 엣지 마스크가 생성될 수 있고, 픽셀 블록의 사이즈는 이에 제한되지 않는다. 속도 및 엣지의 존재에 대한 정보는, 타일에 대한 샘플 패턴을 결정하기 위해, 샘플 생성부(315)에 의해 이용될 수 있다. 일 실시예에 따라, 엣지가 탐지되는 경우, 풀 샘플링 해상도가 활용될 수 있다. 또한, 엣지가 탐지되지 않고 타일이 제 1 임계 속도보다 큰 속도를 갖는 경우, 제 1 감소 샘플링 레이트가 이용될 수 있다. 또한, 엣지가 탐지되지 않고, 타일이 제 2 임계 속도보다 큰 속도를 갖는 경우, 제 2 감소 샘플링 레이트가 이용될 수 있다. 또한, 샘플링 레이트를 결정하는 데에 다른 부가적인 요소들이 고려될 수 있다. 샘플 패턴의 예로는, 각 픽셀당 적어도 하나의 샘플인 풀 샘플 해상도, 각 타일 내의 픽셀들의 절반이 샘플링되는 2분의 1 해상도(one-half resolution), 각 타일 내의 픽셀들의 4분의 1이 샘플링되는 4분의 1 해상도(one-quarter resolution)가 될 수 있다. 또한, 각 샘플링 레이트를 위해 임계 파라미터들에 의해 조절되는 복수의 샘플링 레이트들이 제공될 수 있다. 추가적으로, 선택된 샘플링 레이트들은 선택된 블록/타일 크기에 대해 최적화 될 수 있다. 예를 들어, 4ⅹ4 블록들에 대해서는 4, 8, 또는 16 샘플들의 샘플링 레이트가 적용될 수 있다. 또한, 일 실시예에 따라, 한 세트에 포함된 샘플링 레이트 각각은 임계 파라미터에 의해 조절될 수 있다. 따라서, 샘플링 레이트의 개수 N은, 블록/타일의 크기 또는 다른 요소들과 같은 세부 사항들에 기초하여 결정될 수 있다.
일 실시예에 따라, 디더링 모듈(dithering module)(320)은, 동일한 효과를 나타내는 샘플링 레이트를 갖는 샘플링 패턴들의 선택으로부터, 샘플링 패턴을 조정하기 위해 제공될 수 있다. 디더링은 반복적인 시퀀스 또는 랜덤적인 측면들을 포함할 수 있다. 반복적인 시퀀스의 예로는, 샘플 패턴 1, 샘플 패턴 2, 샘플 패턴 3, 샘플 패턴 4가 될 수 있다.
디더링 모듈(320)에 의한 샘플링 패턴의 디더링은, 사람인 사용자에 의한 샘플링 인공물의 시각적 인지를 감소시킬 수 있다. 샘플링 레이트가 생체 임계보다 더 빠른 경우, 사람의 눈과 뇌는 이미지들을 비디오 시퀀스로 섞기 시작한다. 즉, 이미지들이 생체 임계보다 더 빠른 레이트로 변하는 경우, 사람의 눈은 시간에 따라 이미지들을 섞고, 이미지들을, 비디오와 같은, 연속적으로 변하는 시퀀스로 인지한다. 초당 12 프레임인 프레임 레이트에서, 사람의 눈과 뇌는 이미지 시퀀스들을 개별적인 이미지들이 아닌 움직이는 이미지들로 보기 시작한다. 하지만, 상대적으로 유동적인 움직임으로 보여지기 위해서는 초당 15프레임 이상의 프레임 레이트가 요구될 수 있다. 하지만, 이미지 자체의 특성은, 사람인 관찰자가 주어진 프레임 레이트에서 유동적인 움직임을 인지하는지 여부에 대한 추가적인 요인이 될 수 있다. 초당 12 프레임 이상의 프레임 레이트에서, 사람의 눈은 디더링된 시각적 인공물들을 평균화 시키는 경향이 있다. 일 실시예에 따라, 사람의 눈이 각 이미지들을 분간해낼 수 있는 것보다 빠른 적어도 초당 15 프레임에서 각 픽셀들이 렌더링되기 위해, 디더링은 수행될 수 있다. 초당 60 프레임에서, 매 4 프레임마다 타일의 샘플 패턴을 디더링하는 것은 적어도 초당 15 프레임에서 각 픽셀을 렌더링하는 것과 대응될 수 있다.
도 4는 일 실시예에 따른 스피드 체제(speed regimes)를 나타낸다. 스피드 체제라는 용어는 스피드 카테고리라는 용어와 혼용될 수 있다. 모션은 객체의 모션과 카메라의 모션의 조합이 될 수 있다. 스피드는 타일 내의 모션 벡터의 크기(magnitude)에 대응될 수 있다. 예를 들어, 스피드는 수용 가능한 시각적 퀄리티를 갖는 픽셀 블록들에서 필요로 하는 샘플들의 개수를 나타내는 지시자(indicator)일 수 있다. 사람의 눈은 움직이는 객체에서 높은 빈도(frequency)를 인지할 수 없기 때문에, 픽셀 블록에 있어서 모션이 소정의 임계 스피드 Kfast1보다 빠른 경우, 샘플들의 개수는 감소될 수 있다. 예를 들어, 4ⅹ4 타일에서 8개의 샘플들이 될 수 있다. 또한, 스피드가 소정의 임계 스피드 Kfast2보다 빠른 경우, 샘플들의 개수는 더욱 감소될 수 있다. 예를 들어, 4ⅹ4 타일에서 4개의 샘플들이 될 수 있다. 반면에, 모션이 타일 내에서 매우 느린 경우, 즉, 모션이 소정의 스피드 Kstat보다 느린 경우, 이전 프레임으로부터의 픽셀 데이터가 재사용될 가능성이 있을 수 있다. 예를 들어, 모션이 소정의 스피드 Kstat보다 느리거나, 모션이 없는 경우, 이전 프레임의 4ⅹ4 타일에서 8개의 샘플들을 렌더링하고, 이송(advection)을 통해 이전 프레임에서 렌더링된 8개의 칼라값들을 재사용할 수 있다. 이전 프레임으로부터의 픽셀 데이터의 재사용은 이전 프레임과 현재 프레임 사이의 그래픽스 상태의 변화가 없음을 필요로 한다. 일 실시예에 따라, 그래픽스 상태는 사용된 쉐이더들, 쉐이더들에게 제공된 상수들(contants), 및 프레임들에 제공된 지오메트리를 포함할 수 있다. 또한, 풀 샘플링 해상도가 요구되는 스피드 체제가 존재할 수 있다. 일 실시예에 따라, Kstat과 Kfast1사이인 중간 스피드 체제에서, 높은 시각적 퀄리티를 획득하기 위해 풀 샘플링 해상도가 요구될 수 있다. 추가적으로, 슈퍼 샘플링(super-sampling)이 각 타일에 적용될 수 있다. 또한, 일 실시예에 따라, Z-edge 경우의 슈퍼 샘플링을 위한 옵션이 제공될 수 있다.
일 실시예에 따라, 스피드가 제 1 임계 스피드 Kfast1보다 큰 경우, 디샘플링이 허용될 수 있다. 디샘플링은 일 실시예에 따라, 픽셀당 하나의 샘플 이하로 샘플링 레이트를 감소시키기 위해 샘플 패턴을 변경하는 것을 의미할 수 있다. 일 실시예에 따라, 스피드가 제 2 임계 스피드 Kfast2를 초과하는 경우, 샘플링 레이트가 더 감소되도록 허용될 수 있다. 디샘플링을 수행할 지 여부에 대한 결정은 엣지가 탐지되는지 여부와 같은 조건들에 기초할 수 있다.
일 실시예에 따라, 현재 프레임과 이전 프레임 간의 버텍스 위치 데이터의 차분(differencing)에 의하여, 카메라 스크린 공간에서의 움직임이 획득될 수 있다. 객체의 픽셀이 프레임들 간의 어느 정도 움직였는지에 기반한 모션 벡터의 크기를 계산하여, 타일의 스피드 체제를 타일 대 타일 기반으로 분류할 수 있다. 일 실시예에 따라, 픽셀당 움직임 벡터들을 결정하기 위해 Z-pass에서 스플래팅(splatting)이 이용될 수 있다. 일 실시예에 따라, 적응적 디샘플링(adaptive desampling) 또는 이송(advection)이 현재 프레임에서 이용될지 여부에 대한 결정을 위해, 스피드 임계가 정의될 수 있고, 입력으로써 이용될 수 있다. 일 실시예에 따라, 속도 체제는 준 정적 체제(quasi-static regime)일 수 있고, 준 정적 체제 내에서, 객체는 이전 프레임에 비해 중대하게 다르지 않을 정도로 느리게 움직일 수 있다. 스피드가 준 정적 스피드 한계 내인 경우, 이전 프레임의 픽셀들을 재사용하기 위해 이송의 수행 여부가 결정될 수 있다. 일 실시예에 따라, 준 정적 스피드의 상한인 Kstat에서 n번째 프레임 내의 소정이 타일의 픽셀이 n+1번째 프레임 내의 동일한 타일에서 그대로 유지될 수 있다. 일 실시예에 따라, 스피드가 Kstat 이하인 경우, 이전 프레임에서의 픽셀이 현재 프레임에서 사용될 것인지를 결정하기 위해, 추가적인 사항들이 체크될 수 있다. 체크되는 추가적인 사항들로는 이송이 이전 프레임에서 수용 가능한 결과를 제공하는지에 대한 체크가 될 수 있다. 또한, 현재 프레임 내의 타일의 픽셀값이 이전 프레임에 비해 작은 움직임으로 일관되는지를 체크할 수 있고, 이를 불일치 체크(discrepancy check)라고 할 수 있다. 이송 불일치 상태 비트(advection discrepancy check state bit)는, 타일과 연관되어, 타일이 적어도 일부 픽셀 데이터의 이송을 위해 적합한지를 나타낼 수 있다.
도 5는 스피드, 엣지 탐지, 디더링, 스플라인 재건 및 이송에 기초한 적응적 렌더링 선택들의 일 예시를 설명하는 흐름도이다. 기존의 그래픽스 파이프라인의 특징들은 본 개시의 명확성을 위해 생략되었다. 도 5는 4ⅹ4 타일들에 대한 일 예시를 나타낸다. 그래픽스 파이프라인(200)은 초기 프리 패스(pre-pass)를 수행한 후, 픽셀 데이터를 렌더링 하기 위해 칼라 패스를 수행할 수 있다. 그래픽스 파이프라인(200)은 깊이 버퍼를 계산할 수 있고(510), 엣지 탐지를 수행할 수 있다.(515) 또한, 그래픽스 파이프라인(200)는 씬 지오메트리(scene geometry)를 위해 모션 벡터들을 계산할 수 있다.(520) 또한, 그래픽스 파이프라인(200)은 픽셀 당 모션 벡터를 계산할 수 있다.(525) 그래픽스 파이프라인(200)은 타일 내에서 모션의 범위를 계산할 수 있다.(530) 단계 535에서는, 그래픽스 파이프라인(200)은 이전의 단계로부터 획득된 정보에 기초하여, 1) 4ⅹ4 블록 내에서 4, 8, 또는 16 샘플들에 대한 렌더링 및 보간(interpolation)을 수행할 것인지, 2) 4ⅹ4 블록 내에서 8개 샘플들에 대한 렌더링 및 8개 샘플들에 대한 이송을 수행할 것인지를 결정할 수 있다. 픽셀 데이터를 재건하기 위해 스플라인 재건(spline reconstruction)이 활용될 수 있다.(545) 이송이 수행된 경우, 8개의 픽셀값들이 이송되고, 나머지는 렌더링 될 수 있다.(550)
도 6a는 샘플링 패턴들과 디더링의 실시예를 나타낸다. 도 6A에서는 일 실시예에 따라 타일의 크기를 4ⅹ4 픽셀 블록으로 도시되었으나, 이에 제한되지 않는다. 풀 해상도는 16개의 샘플들과 대응될 수 있다. 8개의 샘플들과 대응되는 2분의 1 해상도 및 4개의 샘플들과 대응되는 4분의 1 해상도는 샘플들의 패턴에 따라 다양해질 수 있다. 즉, 8개의 샘플들의 경우, 샘플들의 배열이 제 1 샘플 패턴, 제 2 샘플 패턴, 제 3 샘플 패턴 등과 같이 다양해질 수 있다. 기 설정된 샘플링 패턴을 갖는 것은 시간적 색 평균화(temporal color averaging)를 위한 샘플 패턴의 디더링을 가능하게 할 수 있다. 모든 픽셀이 소정의 프레임마다 렌더링되기 위해, 샘플링을 순환시키는 기 설정된 샘플링 패턴이 선택될 수 있다. 샘플 패턴의 디더링은 다른 테크닉들에 의해 성취될 수 있다. 일 실시예에 따라, 각 프레임에서의 샘플 패턴이 디더링 모듈(320)에 의해 선택될 수 있다. 또한, 샘플 패턴은 모듈로(modulo) k 카운터에 의한 시퀀스가 될 수 있다. 복수의 프레임에 걸친 시간 동안 샘플 위치들을 디더링함에 따라, 렌더링 하는 동안, 사람이 관찰하기 어려운 에러가 발생될 수 있다. 일 실시예에 따라, 각 픽셀이 적어도 매 k 프레임들마다 한번씩은 렌더링되도록 샘플 패턴이 선택될 수 있다. 이 경우, nⅹn 타일에 있어, (n*n)/k는 샘플들의 최소 개수가 될 수 있다. 다른 실시예에 따라, 샘플 패턴을 선택하기 위해 확률론적 접근법(stochastic approach)을 이용하여 시간적 디더링(temporal dithering)이 수행될 수 있다.
도 6b는 일 실시예에 따른 디더링 방법을 나타낸다. 단계 605에서, 그래픽스 파이프라인(200)은, 감소된 평균 샘플링 레이트에서, 서브 샘플링을 위해 현재 프레임의 타일들을 선택할 수 있다. 단계 610에서, 그래픽스 파이프라인(200)은, 각 타일에 있어서, 샘플링 패턴들의 세트로부터 샘플링 패턴을 선택할 수 있고, 선택된 샘플링 패턴은 이전 프레임에 비해 변화될 수 있다. 단계 615에서, 그래픽스 파이프라인(200)은 프레임에 대한 렌더링 및 재건을 수행할 수 있다. 추가적인 프레임들이 렌더링되는 경우, 프로세스는 계속될 수 있다. 단계 620에서, 그래픽스 파이프라인(200)은 다음 프레임을 진행할 수 있다.
도 7a는 이송(advection)의 일 실시예를 나타낸다. 4ⅹ4 타일(700)과 같은 타일 영역에 있어서, 이송은 이전 프레임에서의 주어진 위치의 픽셀로부터의 픽셀 데이터가, 현재 프레임에서의 동일한 위치의 픽셀로 복사되는 것을 의미할 수 있다. 예를 들어, 개별적인 객체가 스크린 내에서 움직일 수 있고, 객체의 모든 픽셀들이 소정의 속도로 움직일 수 있다. 이어서, 어느 프레임에서 다른 프레임으로 움직이는 객체의 픽셀들 간에는 높은 레벨의 시간적 일관성(temporal coherence)이 있을 수 있다. 변화의 주된 요인은 움직임이 될 수 있다. 프레임들 내에서 객체의 각 픽셀들의 움직임이 결정됨에 따라, 픽셀 데이터는 프레임들 내에서 복사될 수 있다. 예를 들어, 픽셀 데이터가 현재 픽셀 위치에서 이전 프레임에서의 동일한 위치로 매핑될 수 있을 정도로 움직임은 느릴 수 있다. 이전 프레임에서의 픽셀의 위치는 x(n-1)=x(n)-mv(x)와 같이 계산될 수 있다. 즉, x(n-1)은 이전 프레임에서의 픽셀의 위치, x(n)은 현재 프레임에서의 픽셀의 위치, mv(x)는 움직임 벡터를 의미할 수 있다. 결과적으로, 픽셀 데이터는 x(n-1)에서 x(n)으로 복사될 수 있다. 픽셀의 움직임이 프레임들간에 작은 경우, 현재 프레임에서의 픽셀 위치가 이전 프레임에서의 픽셀 위치로 투영될 수 있고, 이전 프레임에서의 픽셀 데이터가 복사될 수 있다. x(n-1)이 데시멀 요소(decimal component)를 갖고 있다면, 이중 또는 높은 차수의 보간법이 이용될 수 있다.
도 7a에서, 이송은 렌더링과 함께 수행될 수 있다. 일 실시예에 따라, 타일의 픽셀들 중 절반은 이송이 수행되고,(705) 나머지 절반은 렌더링이 수행될 수 있다.(710) 한 프레임 내에서 이송과 렌더링을 함께 수행하는 것은 이송만 수행함에 따라 생성되는 시각적 인공물을 줄일 수 있다. 즉, 이송과 렌더링을 함께 수행하는 것은 전형적인 사람에 의해 감지될 수 있는, 이송으로 인한 시각적 에러의 가능성을 최소화시킬 수 있다. 또한, 시간적 디더링을 함께 수행하는 것은, 시간이 지남에 따라 에러가 축적되지 않게 할 수 있으며, 전형적인 사람에 의해 인지될 수 있는 시각적 에러의 가능성을 최소화 시킬 수 있다. 렌더링되는 픽셀과 이송되는 픽셀의 비율이 1:1이라는 것은 일 예시일 뿐, 다른 비율이어도 무방하다.
일 실시예에 따라, 최대 스피드는 이송이 허용되는지에 대한 조건으로 이용될 수 있다. 일 실시예에 따라, 임계 스피드가 낮게 설정됨에 따라, 소규모의 픽셀들 중 일부 픽셀들의 위치의 국소적 변형은 강인한 변환(rigid transformation)으로 분류될 수 있고, 강인한 변환은, 픽셀들의 위치의 변화가 전체 픽셀 세트를 기준으로 한번의 회전(rotation) 및 한번의 전환(translation)을 이용하여 표현되는 것을 의미한다. 예를 들어, 이송을 위한 최대 스피드는 픽셀 모션의 크기가 k 픽셀들의 임계보다 낮은 경우가 될 수 있다. 강인한 변환은 어느 스피드에서든 발생할 가능성이 있으며, 그 가능성은 스피드가 증가하면서 감소될 수 있다. 스피드 임계값은 이송의 발생 가능성에 대한 기준(criterion)이 될 수 있다. 불일치 체크는, 이송이 적합한 결과를 생산하는지를 결정하기 위해, 각 타일에 대해 수행될 수 있다. 이러한 불일치 체크는 현재 프레임에 수행될 수 있고, 1 비트 값으로 각 타일마다 쓰여질 수 있고, 이러한 1 비트 값은 다음 프레임인 타일 주변에서 이송이 불가한지 아닌지에 대한 결정을 가능하게 할 수 있다. 즉, 이송이 n번째 프레임 내의 타일에 수행될 수 있고, n번째 프레임에 대한 불일치 체크가 수행될 수 있고, 불일치 체크는 n+1번째 프레임에서 사용될 수 있다. n+1번째 프레임은, n번째 프레임에서 계산된 불일치 체크를 이용하여, n+1번째 프레임 내의 타일 주변에 대한 이송을 수행할지 여부를 결정할 수 있다. n번째 프레임의 불일치 체크가 이송 결과가 수용 가능 하다고 나타내면, n+1번째 프레임에서 이송이 허용될 수 있다. n번째 프레임의 불일치 체크가 이송 결과가 수용 가능하지 않다고 나타내면, 선택된 프레임들에 대한 이송은 이루어지지 않는다. 불일치 체크는 타일의 픽셀 값들에 중대한 변화가 있는지 여부에 기초하는 체크이다. 객체의 픽셀들이 느리게 움직이는 경우, 타일은 2개의 프레임들 사이에서 중대하게 변화하지 않는다고 예측될 수 있다. 따라서, 타일의 상태가 중대하게 변하는 경우, 불일치 체크는 실패할 수 있다. 0 또는 1의 값을 가질 수 있는 타일 상태 불일치 비트(tile state discrepancy bit)는 불일치 체크가 통과하는지 여부를 나타내는 데에 이용될 수 있다. 타일 상태의 변화가 허용되는 정도는 경험적(empirically) 또는 발견적(heuristically)으로 결정될 수 있고, 이송에 의한 계산적 이익(computational benefit)과 시각적 인공물의 발생을 최소화하는 것의 트레이드 오프를 고려하여 결정될 수 있다.
불일치 체크를 수행하는 다른 방법이 이용될 수 있다. 현재 n번째 프레임의 타일에서의 이송을 수행하는 데에 계산적 이익이 있을 수 있고, 불일치 체크를 수행하는 데에 계산적 이익이 있을 수 있고, n+1번째 프레임에서 이송을 수행할지 여부를 결정하기 위해 불일치 체크를 이용하는 데에 계산적 이익이 있을 수 있다. 또한, 불일치 체크는 n번째 프레임에서 수행될 수 있고, 이전 프레임으로부터의 픽셀들을 재사용하기 위해 n번째 프레임에서 이송을 활용할지 여부를 결정하는 데에 이용될 수 있다.
정확도를 향상시키기 위해 다양한 인핸스먼트(enhancement)들이 이용될 수 있다. 일 실시예에 따라, BFECC(back and forth error correction and compensation)이 이용될 수 있다. BFECC는 세미 라그랑지 이송(semi-lagrangian advection)으로부터 결정된 위치를 활용할 수 있고, 현재 프레임에서의 새로운 위치를 획득하기 위해, 결정된 위치의 좌표에 속도를 부가할 수 있다. 에러가 없다면, 좌표는 원래 좌표 (x,y)와 동일해야 한다. 그렇지 않다면, (x-vx,y-vy)에서 에러의 절반을 차감함에 따라, 2차 정확 예측된 위치가 획득될 수 있다. 속도가 정확하다면, 2차 정확 예측된 위치는 픽셀의 절반 정도 정확할 수 있다.
도 7b는 일 실시예에 따라 이송을 수행하는 방법을 나타낸다. 단계 1405에서, 그래픽스 파이프라인(200)은, 타일이 이송에 적합한지 여부를 결정할 수 있다. 일 실시예에 따라, 적합한지 여부는 타일의 스피드 범위가 준 정적 범위 내에 있는지 여부가 결정될 수 있고, 더불어 추가적인 불일치 체크가 수행될 수 있다. 단계 1410에서, 그래픽스 파이프라인(200)은, 타일이 이송에 적합하다면, 이전 프레임에서 객체의 픽셀 위치들을 결정할 수 있다. 단계 1415에서, 그래픽스 파이프라인(200)은 이송 및 불일치 체크를 수행할 수 있다. 단계 1420에서, 그래픽스 파이프라인(200), 이전 프레임으로부터 타일의 일부 선택된 픽셀들을 재사용할 수 있다. 단계 1425에서, 그래픽스 파이프라인(200)은 나머지 픽셀들을 렌더링할 수 있다.
도 8은 일 실시예에 따라, 디샘플링 상황에서, 픽셀의 칼라값의 재건 및 이미지 보간(image interpolation)을 나타낸다. 일 실시예에 따라, 칼라값들의 가중화된 합(weighted summation)이 렌더링되지 않은 픽셀들을 재건하는 데에 이용될 수 있다. 기 설정된 가중 함수 w에 있어서, 정규화된 가중치 세트가, 특정 샘플링 패턴으로부터 나타나는 각 픽셀들에 대해, 미리 계산될 수 있다. 예를 들어, 4ⅹ4 블록에서 4개의 픽셀들이 렌더링되는 경우, 남은 12개의 픽셀들은, 같은 블록에서 렌더링된 픽셀들 또는 주변 블록에서 렌더링된 픽셀들의 가중화된 합을 이용하여 표현될 수 있다. 또한, 주변 블록들에서 가능한 픽셀 구성들의 세트가 샘플링 패턴들의 세트에 의해 제한될 수 있기 때문에, 모든 가능한 가중치 세트가 미리 계산될 수 있다.
일반적으로, GPU는 이중 선형 보간을 활용할 수 있다. 하지만, 이중 선형 보간은 다양한 단점을 포함한다. 일 실시예에 따라, 적어도 3차 이상의 높은 차수의 다항식이 스파스 샘플들(sparse samples)의 효과적인 재건을 위해 이용될 수 있다. 높은 차수의 다항식의 예로는 3차 스플라인(cubic spline)이라고 불리는 근사 3차 다항식을 들 수 있다.
3차 스플라인과 같은 높은 차수의 다항식은 이중 선형 보간 보다 더 넓은 주파수 스펙트럼을 매핑할 수 있고, 서브 샘플링된 블록들로부터 재건된 데이터의 높은 정확도를 제공할 수 있다. 또한, 이중 선형 보간이 이용되는 경우, 픽셀의 양 측면에 대한 샘플들이 선호될 수 있고, 한 측면 선형 외삽(one-sided linear extrapolation)은 부정확할 가능성이 있고, 색 스펙트럼 범위를 초과할 수 있다. 이와 대조적으로, 한 개의 픽셀 이상의 넓은 서포트를 사용하는 높은 차수의 다항식은, 렌더링된 이미지 데이터의 함수적인 형태(functional form)를 정확하게 근사할 수 있다. 다양한 높은 차수의 다항식이 이용될 수 있지만, 3차 스플라인은 4차 다항식보다 월등하게 연속성(continuity) 특성을 갖는다. 디샘플링 전에 수행되는 엣지 탐지 단계 때문에, 재건되는 타일은 날카로운 불연속성을 가지지 않을 가능성이 크다. 날카로운 불연속성에서, 높은 차수의 다항식 재건은 저조하게 수행될 수 있다.
서브 샘플링을 수행하는 일 측면은 런타임(runtime) 중에 스파스 샘플 데이터(sparse sample data)가 있다는 것이다. kⅹk 픽셀 영역과 같은 블록 영역에서, 디샘플링을 통해, 블록 내의 일부 픽셀들이 렌더링될 수 있다. 따라서, 나머지 픽셀들에 대해서는 재건이 필요하다. 미리 결정된 샘플 패턴들에 따라, 가능한 샘플 위치들의 유한한 세트가 결정될 수 있다. 이에 따라, 런타임 전에 로컬 스텐실(stencil)들의 고정된 세트가 생성될 수 있고, 저장될 수 있고, 3차 스플라인 또는 다른 높은 차수의 다항식을 이용하여 픽셀 데이터를 재건하는 데에 이용될 수 있다. 기존에는 높은 차수의 다항식을 하드웨어에서 평가하는 데에 계산적인 로드가 많았다. 이에 반해, 본 개시에서는, 미리 계산된 스텐실들의 고정된 세트를 이용함으로써, 런타임 중에 높은 차수의 다항식 평가(higher order polynomial evaluation)를 수행함에 따라 발생하는 계산적인 오버헤드를 제거할 수 있다. 샘플들의 고정된 세트의 사용은, 재건이 필요한 픽셀들의 가능한 구성을 결정할 수 있게 한다. 이에 따라, 요구되는 스텐실이 미리 계산될 수 있다.
일 실시예에 따라, 미리 계산된 가중치들을 이용하여, 높은 차수의 다항식 보간이 고정적 스텐실 오퍼레이션과 같이 실행될 수 있다. 일 실시예에 따라, 스텐실 테이블은 저장될 수 있고, 공간적 재건을 위해 사용 가능해 질 수 있다. 스텐실 테이블은 알려진 샘플 위치들에 기초한 가중치들을 제공할 수 있다. 일 실시예에 따라, 스텐실 테이블은 기 정의된 샘플 패턴 내의 각 픽셀 위치에 대한 미리 계산된 스텐실 가중치들을 모두 포함할 수 있다. 미리 계산된 가중치들은, 고정적 스텐실 오퍼레이션을 이용하여, 높은 차수의 다항식 재건이 수행되도록 허용할 수 있다.
일 실시예에 따라, 런타임 중에 보간이 필요한, 타일의 모든 가능한 픽셀 위치들을 위해, 5ⅹ5 스텐실 세트가 결정될 수 있다. 각 5ⅹ5 스텐실은 각 픽셀 위치 및 주변 구성을 위해 계산될 수 있다. 각 스텐실은 각 스텐실과 대응되는 가중치 리스트를 제공할 수 있다. 스텐실들은 재건 목적을 위해 사용가능한 일시적인 메모리 테이블에 저장될 수 있다. 일 실시예에 따라, 런타임 중에, 보간되어야 하는 각 픽셀들에 있어서, 인덱스가 계산되어, 픽셀 좌표 및 샘플링 마스크를 이용하는 테이블에 저장될 수 있다. 각 스텐실은, 타일 내의 픽셀의 위치 및 렌더링을 위해 사용되는 샘플링 마스크를 사용하여, 어드레스될 수 있다. 따라서, 디더링이 적용된다면, 선택된 스텐실은, 서브샘플링의 주어진 정도를 위해 선택되는 샘플 패턴에 기초할 수 있다.
일 실시예에 따라, 높은 차수의 다항식 보간은, 가중치들과 샘플 칼라값들의 곱셈을 축적하기 위해, 곱셈기/덧셈기를 사용하여 수행될 수 있다. 축적된 값은, 정수 형식(integer format)을 위한 비트 시프트(bit shift)에 의해 수행될 수 있는 나눗셈에 의해 정규화될 수 있고, 소수점 형식(floating point format)을 위한 뺄셈에 의해 정규화 될 수 있다. 따라서, 미리 계산될 가중치들 및 스텐실들의 사용은, 상대적으로 더 적은 계산적 로드로, 런타임 중에 높은 차수의 다항식 보간이 계산되는 것을 가능하게 한다.
일 실시예에 따라, 재건에 이용될 수 있고, 알려진 픽셀 칼라값의 가중화된 합에 따른 픽셀 칼라값을 계산하기 위한 3차 스플라인 함수는 하기 수학식 1에 의할 수 있다.
Figure 112015060772664-pat00001
상기 수학식 1에서, c(i,j)는 (i,j)에 위치한 픽셀의 칼라값이고, w는 2차원 스플라인 함수이고, 'Filled'는 렌더링된 픽셀들의 세트이다. 일 실시예에 따라, 2차원 스플라인 함수는 2개의 1차원 스플라인 함수들의 곱인 w(i,j)=k(i)k(j)로 표현될 수 있다. 일 실시예에 따라, 1차원 스플라인 함수는 저자인 Don P. Mitchell and Arun N. Netravali의 "Reconstruction Filters in Computer Graphics,"Computer Graphics, Volume 22, Number 4, August 1988, pp. 221-228에서 설명되는 3차원 필터 포뮬라에 기초할 수 있다. 예를 들어, 1차원 스플라인 함수 k는 하기 수학식 2에 의할 수 있다.
Figure 112015060772664-pat00002
일 실시예에 따라, B=C=1/3일 수 있다.
샘플 포인트들의 상대적인 위치를 제한함에 따라, 가중치들 및 스텐실들은 미리 계산될 수 있다. 즉, 상기 수학식 1에서 분모가 미리 계산될 수 있다. 스플라인 함수가 엣지에 의해 제한되는 방식이기 때문에 상기 수학식 2에서, x의 크기 조정이 2 픽셀 반경과 같은 소정의 반경으로 상기 수학식 2를 확장시키는 데 이용될 수 있다.
nⅹn 크기의 타일에 있어서, kⅹk 픽셀들을 (n/k)*(n/k) 개의 가능한 구성으로 배열할 수 있다. s 픽셀들을 요구하는 샘플링 레이트 4*s의 경우, (n*n)/(k*k*s)개의 샘플링 패턴들이 가능할 수 있다.
도 9는 4ⅹ4 타일에서의 샘플링 패턴의 실시예를 나타낸다. 4ⅹ4 타일에서, X 마크는 렌더링된 샘플을 의미하고, O 마크는 보간 위치를 나타낸다. 5ⅹ5 스텐실이 O 마크를 중심으로 하여 이용될 수 있다. 4ⅹ4 타일 이외의 접근이 불가하다고 가정하면, 4ⅹ4 타일 이외의 위치들에서 스텐실은 0값의 가중치를 가질 수 있고, 4ⅹ4 타일 이외의 위치들은 스텐실 테이블에서 지워질 수 있다. 도 9의 4ⅹ4 타일에서, 좌측 상단의 픽셀의 위치를 (0,0)이라고 하면, X 마크에 해당하는 위치들은 (0,0), (2,0), (0,2), (2,2)가 될 수 있고, 각 위치에 대응되는 가중치는 w0, w1, w2, w3가 될 수 있고, 가중치들에 대한 정규화된 요소는 w가 될 수 있다. 이에 따라, 가중화된 합은 1/w (w0*c(0, 0) + w1*c(2, 0) + w2*c(0, 2) + w3*c(2, 2)) 와 같이 계산될 수 있다. 다만, 4ⅹ4 타일 주변에 의한 스텐실의 영향에 따라 가중화된 합이 계산될 수도 있다.
5ⅹ5 스텐실은 24개의 미리 계산된 값들을 포함하고, 중심부는 칼라값을 갖고 있지 않기 때문에 0의 값을 갖는다. 4ⅹ4 타일 당 8개의 샘플이 사용되는 경우 절반이 렌더링될 수 있으며, 12개의 값들을 남겨두게 된다. 일 실시예에 따라, 각 스텐실은, 0이 아닌 가중치의 숫자를 나타내는 4 비트 카운트를 포함하여 실행될 수 있고, 하나의 청크(chunk)로 저장된 8비트 가중치에 뒤이을 있고, 중심을 기준으로 x, y 좌표에 대한 3비트 좌표 오프셋의 두개의 청크에 뒤이을 수 있다.
일 실시예에 따라, 샘플링 패턴 순서대로 스텐실들이 저장될 수 있다. 일 실시예에 따라, 같은 샘플링 레이트에 대한 서로 다른 샘플링 패턴들은 서로에 대한 로테이션들이 될 수 있고, 이에 따라 2 세트의 패턴들이 될 수 있다. 2세트의 패턴들은 픽셀 (i,j)에 대한 데이터를 가리키는 인덱스 리스트와 함께 4ⅹ4 내에서 row-major order로 저장될 수 있다. 샘플링 마스크의 로테이션들을 위해, 좌표들이 적합하게 변환될 수 있다.
도 10에서는, 4ⅹ4 타일의 경우, 16개의 픽셀들 중 8개의 샘플들이 렌더링 될 수 있다. 4ⅹ4 타일에서, X 마크는 4개의 픽셀들인 첫번째 그룹안에서 렌더링되는 샘플을 의미하고, O 마크는 렌더링된 4개의 픽셀들에 대한 2번째 그룹을 의미한다. 일 실시예에 따라, 스텐실들은, 가중치 함수가 주어지고 알려지지 않은 픽셀들 각각에 대해 정의될 수 있다. 이러한 스텐실들은 기 정의된 스텐실 세트로부터 런타임 중에 획득될 수 있다. 2 픽셀들에 대한 반경을 갖는 3차원 스텐실들의 경우, 슈퍼 샘플링이 수행되지 않는다면, 스텐실들의 크기는 5ⅹ5가 될 수 있다. kⅹk 타일 영역에 대한 접근이 제한된다면, 스텐실은, 타일 밖에 위치한 픽셀들에 대해서는 0인 가중치를 갖도록 수정될 수 있다. 또한, 샘플들의 개수는 픽셀들의 개수보다 많을 수도 있다. 안티 앨리어싱(anti-aliasing)을 위해 슈퍼 샘플링이 수행되는 영역에서는, 샘플들의 개수가 픽셀들의 개수보다 많을 수 있다. 예를 들어, 4ⅹ4 타일에서, 샘플들의 개수가 32개가 될 수 있다. 이런 경우 또한 미리 계산된 스텐실들이 부가될 수 있다.
일 실시예에 따라, 각 샘플링 패턴은 스파스 스퀘어 패턴(sparse square pattern)들의 조합으로 정의될 수 있다. 예를 들어, 4개의 샘플들이 스퀘어 패턴으로 렌더링될 수 있다. 스퀘어 패턴을 선택하는 것은 4개의 픽셀들의 그룹을 기본 단위로 처리하는 애플리케이션들에 유용할 수 있다. 하지만, 더 일반적으로, 샘플링 위치들의 다른 배열들이 샘플링 패턴들에서 이용될 수 있다. 예를 들어, 4ⅹ4 타일 내에서 3ⅹ3 크기를 갖는 스퀘어들은 샘플링 패턴이 될 수 있다. 따라서, 근접한 버텍스들은 각 축을 따라 분리된 2 픽셀들이 될 수 있다.
일 실시예에 따라, 기 설정된 샘플링 레이트로 서브 샘플링되는 각 프레임의 모든 영역들에 대해, 동일한 샘플링 패턴이 이용될 수 있다. 일 실시예에 따라, 매 프레임에서 샘플 위치들의 간격이 일관되고, 이에 따라 재건 루틴을 단순화할 수 있기 때문에, 기 설정된 샘플링 레이트로 서브 샘플링되는 모든 타일들에, 동일한 샘플링 패턴이 이용될 수 있다.
일 실시예에 따라, 샘플링 패턴은, SIMD(Single instruction multiple data) 프로세싱 유닛을 이용하기 위해, 4개 픽셀들 그룹(quads)에 기초할 수 있다. 샘플들의 간격의 일관성은 강인한 보간(robust interpolation)을 제공하고, 최종 이미지에서의 풀 픽셀 해상도를 획득하는 데에 도움을 줄 수 있다.
도 11은 일 실시예에 따라, 적응적 디샘플링 및 스플라인(spline) 보간 방법을 나타낸다. 단계 1505에서, 그래픽스 파이프라인(200)은 타일의 스피드 범위가 서브 샘플링을 위한 스피드 범위 내에 있는 지를 결정하고, 엣지가 존재하는지에 대한 체크를 수행한다. 단계 1510에서, 그래픽스 파이프라인(200)은 서브 샘플링 레이트 및 샘플링 패턴을 결정한다. 단계 1515에서, 그래픽스 파이프라인(200)은 샘플링 패턴을 기초로, 타일의 픽셀들에 대한 쉐이딩을 수행한다. 단계 1520에서, 그래픽스 파이프라인(200)은 렌더링되지 않은 픽셀 값들에 대한 보간을 위한 재건을 수행할 수 있다. 일 실시예에 따라, 스플라인 보간이 수행될 수 있다.
도 12는 일 실시예에 따라, 스플라인 보간을 수행하는 방법을 나타낸다. 단계 1705에서, 그래픽스 파이프라인(200)은 스파스 샘플링을 위한 타일을 선택할 수 있다. 단계 1710에서 그래픽스 파이프라인(200)은 샘플링 패턴을 선택할 수 있다. 단계 1715에서, 그래픽스 파이프라인(200)은 샘플 위치에 있는 픽셀들에 대한 렌더링을 수행할 수 있다. 단계 1720에서, 그래픽스 파이프라인(200)은 미리 계산된 가중치들에 기초하여, 3차원 스플라인 보간을 통해, 렌더링되지 않은 픽셀데이터에 대한 재건을 수행할 수 있다.
도 13은 일 실시예에 따라, 미리 계산된 가중치들을 포함하는 스텐실들을 활용하는 방법을 나타낸다. 단계 1805에서, 그래픽스 파이프라인(200)은, 샘플 패턴에서 렌더링되지 않은 픽셀들 각각에 대한 미리 계산된 가중치들을 생성할 수 있다. 단계 1810에서, 그래픽스 파이프라인(200)은, 미리 계산된 가중치들을 포함하는 스텐실을 저장할 수 있다. 단계 1815에서, 그래픽스 파이프라인(200)은 저장된 스텐실에 런타임 중에 접근할 수 있다. 단계 1820에서, 그래픽스 파이프라인(200)은 3차원 스플라인 보간을 위해 스텐실을 이용할 수 있다.
본 개시에 따른, 그래픽스 파이프라인(200)은 이미지의 각 영역들 내에서 샘플링 레이트를 자동적으로 줄이기 위한 전략적 선택을 할 수 있다. 즉, 그래픽스 파이프라인(200)은, 서브 샘플링(sub-sampling) 또는 디샘플링(de-sampling)과 같이 각 픽셀 당 하나의 샘플 이하의 샘플 레이트를 이미지 내의 영역들 각각 마다 적용할지 여부를 판단하는 전략적 선택을 할 수 있다.
도 14는 3차원 스플라인을 통한 이송 및 재건의 일 실시예를 나타낸다. 도 14에 의하면, 타일은 4ⅹ4 크기의 타일이고, 이전 프레임에서의 픽셀 패턴은 체크보드 패턴이다. 좌측 예를 보면, 4ⅹ4 타일인 이전 프레임에서의 절반의 픽셀 칼라 데이터들이 재사용되기 위해, 이송이 수행될 수 있다. 타일에 대한 속도가 매우 느리기 때문에, 이전 프레임에서의 절반의 픽셀들에 대한 이송이 수행되어, 절반의 픽셀들의 픽셀값들이 복사될 수 있다. 도 14에서 타일에 대한 4개의 화살표들은 이전 프레임에서의 픽셀 데이터가 재사용된다는 것을 의미한다. 우측 예는 유의미한 타일 스피드가 존재하는 경우를 나타내고, 타일 스피드는 프레임 당 픽셀 절반의 변위(half-pixel displacement)에 해당할 수 있다. 이에 따라, 3차원 스플라인 보간에 기초한 재건이 수행될 수 있다. 프레임 당 픽셀 절반의 변위에 해당하는 속도인 +0.5 X 에 따라, 각 렌더링된 픽셀들이 검은색과 흰색의 중간색인 회색을 가질 수 있다. 또한, 재건된 픽셀들도 마찬가지로 회색을 가질 수 있다. 따라서, 칼라값들이 정확하다면, 풀 해상도 렌더링 또한 같은 값을 생성할 수 있다.
도 15a는 서로 다른 픽셀 속도를 갖는 영역들을 포함하는 씬에 대응되는 프레임의 일 실시예를 나타내고, 일부 영역들에서는 엣지를 포함할 수 있다. 예를 들어, 씬은 바람에 의해 흔들리는 식물과 같은 준 정적인 물체, 정적인 물제 및 움직이는 오토바이와 같은 동적인 물체를 포함할 수 있다. 따라서, 서로 다른 스피드 체제로 분류되는 영역들이 존재한다. 결과적으로, 도 15b에서 박스로 표시되는 영역들은 서로 다른 픽셀 속도를 가질 수 있고, 영역들은 적응적 렌더링에 대한 서로 다른 기회들을 제공받을 수 있다. 즉, 각 프레임에 대해 그래픽스 파이프라인(200)은 자동적으로 각 타일들을 분석할 수 있고, 각 타일에 대해 디샘플링 및 이송을 수행할 것인지, 디샘플링 및 3차원 스플라인 보간을 수행할 것인지, 또는 기본적인 샘플링을 수행할 것인지를 결정할 수 있다. 또한, 그래픽스 파이프라인(200)은 각 타일에 대해 슈퍼 샘플링을 수행할 것인지 여부에 대한 결정을 할 수 있다. 그래픽스 파이프라인(200)은 자동적으로 상기와 같은 결정을 수행함에 따라, 애플리케이션 개발자에 의한 별도의 입력이 필요하지 않게 될 수 있다.
본 개시는 가상 현실 애플리케이션을 위한 양안 시차 영상에도 적용될 수 있다. 도 16에 따르면, 좌안 및 우안 각각에 대한 영상들이 도시되어 있다. 이송은 양안 시차 영상에 대한 렌더링을 보다 효율적으로 하기 위해 적용될 수 있다. 일 실시예에 따라, 먼저 좌안 영상이 렌더링 될 수 있다. 좌안 영상의 일부가 우안 영상으로 이동되는 변환으로써, 변환 모션 motiontrans가 정의될 수 있다. 일 실시예에 따라, 도 2의 AD 샘플 생성부(205)는, 좌안 영상으로부터의 픽셀값들을 이송하기 위해, 우안 영상에 대한 샘플링 결정을 할 수 있다. 일 실시예에 따라, 샘플링은 깊이값에 기반하여 결정될 수 있고, 이송은 좌안 영상 및 우안 영상 중 최소 깊이값이 소정의 임계 깊이값보다 큰지 여부에 따라 수행될 수 있다. 즉, 좌안 영상 및 우안 영상 중 최소 깊이값이 소정의 임계 깊이값보다 크다면(min (Zleft, Zright)>Zthresh), 변환 모션 motiontrans을 이용하여, 좌안 영상으로부터 우안 영상으로 픽셀들에 대한 이송이 수행될 수 있다. 그렇지 않다면, 모션 기반 샘플링 레이트에 기초하여 렌더링이 수행될 수 있다. 결과적으로 도 16에서와 같이, 우안 영상은 렌더링된 픽셀들과 이송된 픽셀들의 조합으로 구성될 수 있다.
도 17은 본 개시에 따른 적응적 렌더링이 포비티드 렌더링(foveated rendering)에 적용되는 실시예를 나타낸다. 사람 눈의 망막 구조는 중심와(fovea) 부분이 가장 높은 시력(visual acuity)을 제공할 수 있다. 즉, 사람 눈의 가장 높은 시력은 망막의 중심 부분이고, 중심으로부터 멀어질수록 시력이 감소될 수 있다. 포비티드 렌더링은, 사용자가 바라보는 초점에 대해서는 높은 디테일로 렌더링이 수행되고, 초점으로부터 멀어질수록 낮은 디테일로 렌더링을 수행되는 것을 의미한다. 도 17에 의하면, 초점은 (x,y)(1725)로 표시된다. 초점으로부터 멀어질수록 샘플링 레이트는 감소될 수 있다. 샘플링 레이트의 감소는 초점으로부터의 특정 반경에서 단계적으로 수행될 수 있다. 예를 들어, 원형 영역(1720), 즉 반경 r0에서는, 소정의 개수의 샘플들에 따라 렌더링이 수행될 수 있다. 또한, 원형 영역(1710), 즉 반경 r0와 r1 사이에서는, 원형 영역(1720)보다 더 적은 개수의 샘플들에 따라 렌더링이 수행될 수 있다. 또한, 반경 r1 이상에서는, 원형 영역(1710)보다 더 적은 개수의 샘플들에 따라 렌더링이 수행될 수 있다. 예를 들어, 원형 영역(1720)에서는 16개의 샘플들이 렌더링 될 수 있고, 원형 영역(1720)에서는 8개의 샘플들이 렌더링될 수 있고, 반경 r1 이상에서는, 4개의 샘플들이 렌더링될 수 있다. 또한, 반경에 따라 샘플링 함수들이 다양하게 적용될 수 있다.
상기 살펴 본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
또한, 본 명세서에서 개시되는 구성 요소들, 프로세서 단계들, 데이터 구조들은 다양한 운영체제들, 프로그래밍 언어들, 컴퓨팅 플랫폼들, 컴퓨터 프로그램들, 컴퓨팅 머신들에 의해 수행될 수 있다. 추가적으로 해당 기술 분야에 널리 쓰이는 기술로 하드웨어 기기, 필드 프로그래머블 게이트 어래이(FPGAs), 어플리케이션 특정 내장 회로(ASICs) 등은 상기 기재된 발명의 개념의 범위를 벗어나지 않는 범위에서 이용될 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (27)

  1. 그래픽스 프로세싱을 수행하는 방법에 있어서,
    이전 프레임과 현재 프레임의 비교를 통해, 상기 현재 프레임의 각 타일에 포함된 객체의 상대적인 스피드를 결정하는 단계;
    상기 결정된 상대적인 스피드에 기초하여, 상기 각 타일을 준 정적(quasi-static) 속도 카테고리, 중간 속도 카테고리 및 높은 속도 카테고리를 포함하는 적어도 세 개의 카테고리들 중 하나로 분류하는 단계;
    상기 분류에 기초하여, 상기 각 타일에 적용될 샘플링을 결정하는 단계; 및
    상기 결정된 샘플링에 기초하여, 상기 각 타일에 대한 렌더링을 수행하는 단계;를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 방법은 상기 준 정적 스피드 카테고리로 분류된 타일에 대해,
    상기 이전 프레임에서의 픽셀들의 데이터를 복사하는 단계; 및
    상기 픽셀들과 대응되는 상기 현재 프레임에서의 픽셀들의 데이터로써 상기 복사된 데이터를 재사용하는 단계;를 더 포함하는, 방법.
  3. 제 2 항에 있어서,
    상기 복사하는 단계는,
    렌더링되는 픽셀들과 렌더링되지 않는 픽셀들의 기 설정된 비율에 기초하여, 상기 이전 프레임의 타일의 일부 픽셀들을 상기 현재 프레임의 타일로 복사하는, 방법.
  4. 제 2 항에 있어서,
    상기 이전 프레임에서의 픽셀들의 데이터를 재사용하는 조건으로, 이전 프레임의 픽셀 칼라값들에 대한 불일치 체크(discrepancy check)를 수행하는 단계를 더 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 객체의 상대적인 스피드는, 상기 이전 프레임과 상기 현재 프레임 간에 있어서, 렌더링된 지오메트리를 위한 버텍스 위치 데이터의 차이로부터 결정되는, 방법.
  6. 제 1 항에 있어서,
    상기 방법은 상기 높은 스피드 카테고리로 분류된 타일에 대해,
    상기 타일에 포함된 픽셀들의 개수보다 샘플들의 개수가 더 적은 샘플링 패턴을 선택하는 단계를 더 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 각 타일에 대한 엣지 탐지(edge detection)를 수행하는 단계를 더 포함하고,
    상기 샘플링을 결정하는 단계는,
    상기 각 타일에 엣지가 탐지되는 지 여부를 더 고려하여, 상기 각 타일에 적용될 샘플링을 결정하는 단계;를 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 높은 스피드 카테고리로 분류되고, 엣지가 탐지되지 않는 타일에 대해, 상기 타일에 포함된 픽셀들의 개수보다 샘플들의 개수가 더 적은 샘플링 패턴을 선택하는 단계; 및
    상기 높은 스피드 카테고리로 분류되고, 엣지가 탐지되는 타일에 대해, 적어도 픽셀 당 하나의 샘플인 샘플 개수를 갖는 샘플링 패턴을 선택하는 단계;를 포함하는, 방법.
  9. 제 1 항에 있어서,
    상기 샘플링을 결정하는 단계는,
    상기 각 타일에 대해 슈퍼 샘플링(super sampling)을 수행할지 여부를 결정하는 단계;를 더 포함하는, 방법.
  10. 제 9 항에 있어서,
    상기 슈퍼 샘플링은 엣지를 포함하는 타일에 대해 수행되는, 방법.
  11. 그래픽스 파이프라인을 포함하는 그래픽스 시스템에 있어서,
    AD 샘플 생성부(Adaptive Desampling sample generator); 및
    상기 AD 샘플 생성부와 연결된 픽셀 쉐이더(pixel shader);를 포함하고,
    상기 AD 샘플 생성부는,
    각 타일 내의 객체의 스피드에 기초하여, 상기 각 타일을 준 정적 속도 카테고리, 중간 속도 카테고리 및 높은 속도 카테고리를 포함하는 적어도 세 개의 카테고리들 중 하나로 분류하고,
    상기 분류에 기초하여, 상기 각 타일에 대한 샘플링 레이트를 결정하며,
    상기 결정된 샘플링 레이트에 기초하여 샘플링 패턴을 선택하는, 그래픽스 시스템.
  12. 제 11 항에 있어서,
    상기 AD 샘플 생성부는,
    상기 각 타일이 엣지를 포함하는지 여부를 더 고려하여, 상기 각 타일에 대한 샘플링 패턴 및 샘플링 레이트를 결정하는, 그래픽스 시스템.
  13. 제 12 항에 있어서,
    상기 AD 샘플 생성부는,
    이전 프레임에서 상기 객체를 구성하는 버텍스들의 좌표와 현재 프레임에서 상기 버텍스들의 좌표와 대응되는 좌표를 비교하여, 상기 각 타일 내의 픽셀들 각각마다 속도를 결정하는, 속도 버퍼(velocity buffer);
    상기 각 타일 내에 엣지가 존재하는지를 탐지하는 엣지 탐지부(edge detector); 및
    상기 각 타일 내에 엣지가 존재하는지 여부 및 상기 각 타일 내의 픽셀들 각각의 속도에 기초하여, 샘플링 패턴 및 샘플링 레이트를 결정하는 샘플 생성부(sample generator)를 포함하는, 그래픽스 시스템.
  14. 제 12 항에 있어서,
    상기 각 타일의 객체의 스피드가 소정의 임계 스피드값 이상이고, 상기 각 타일이 엣지를 포함하지 않는 경우,
    상기 각 타일에 대해 감소된 샘플링 레이트가 선택되는, 그래픽스 시스템.
  15. 제 12 항에 있어서,
    재건 모듈(reconstruction module)을 더 포함하고,
    상기 각 타일이 준 정적 스피드값 이하인 스피드를 갖는 경우, 감소된 샘플링 레이트를 갖는 샘플링 패턴이 선택되고,
    상기 재건 모듈은 이송을 통해 이전 프레임의 픽셀 데이터를 재사용하여, 렌더링되지 않은 픽셀들에 대한 데이터(missing pixel data)를 생성하는, 그래픽스 시스템.
  16. 제 15 항에 있어서,
    상기 재건 모듈은, 픽셀 좌표에서의 변화를 매핑하여, 상기 이전 프레임의 픽셀의 위치를 인식하는, 그래픽스 시스템.
  17. 제 16 항에 있어서,
    상기 각 타일의 객체의 스피드가 소정의 준 정적 스피드 한계치 이하인 경우, 상기 각 타일의 픽셀들의 일부는 렌더링되고, 다른 일부는 소정의 비율에 따라 이전 프레임으로부터 재사용되는, 그래픽스 시스템.
  18. 그래픽스 프로세싱을 수행하는 방법에 있어서,
    이전 프레임과 현재 프레임의 비교를 통해 상기 현재 프레임의 각 타일 내의 객체의 스피드를 결정하는 단계;
    상기 각 타일 내에 엣지가 포함되는지를 탐지하는 단계; 및
    상기 각 타일 내의 객체의 스피드 및 상기 각 타일 내에 엣지가 포함되는지 여부의 조합에 기초하여, 상기 각 타일에 대한 적응적 렌더링을 수행하는 단계;를 포함하는, 방법.
  19. 삭제
  20. 제 1 항 내지 제 10 항 및 제 18 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
KR1020150089085A 2014-06-27 2015-06-23 적응적 렌더링을 수행하는 방법 및 그래픽스 시스템 KR102424965B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15174054.5A EP2960863B1 (en) 2014-06-27 2015-06-26 Motion based adaptive rendering
CN201510369694.0A CN105225264B (zh) 2014-06-27 2015-06-29 基于运动的自适应渲染
JP2015129986A JP2016012354A (ja) 2014-06-27 2015-06-29 適応的レンダリングを行う方法及びグラフィックスシステム

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201462018221P 2014-06-27 2014-06-27
US201462018274P 2014-06-27 2014-06-27
US201462018254P 2014-06-27 2014-06-27
US201462018228P 2014-06-27 2014-06-27
US62/018,274 2014-06-27
US62/018,254 2014-06-27
US62/018,221 2014-06-27
US62/018,228 2014-06-27
US14/743,700 2015-06-18
US14/743,700 US9928610B2 (en) 2014-06-27 2015-06-18 Motion based adaptive rendering

Publications (2)

Publication Number Publication Date
KR20160001663A KR20160001663A (ko) 2016-01-06
KR102424965B1 true KR102424965B1 (ko) 2022-07-25

Family

ID=54931085

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020150089085A KR102424965B1 (ko) 2014-06-27 2015-06-23 적응적 렌더링을 수행하는 방법 및 그래픽스 시스템
KR1020150089883A KR20160001675A (ko) 2014-06-27 2015-06-24 그래픽스 프로세싱을 수행하는 방법 및 그래픽스 시스템
KR1020150089884A KR20160001676A (ko) 2014-06-27 2015-06-24 그래픽스 프로세싱을 수행하는 방법 및 그래픽스 시스템
KR1020150091584A KR20160001711A (ko) 2014-06-27 2015-06-26 그래픽스 프로세싱을 수행하는 방법 및 그래픽스 시스템

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020150089883A KR20160001675A (ko) 2014-06-27 2015-06-24 그래픽스 프로세싱을 수행하는 방법 및 그래픽스 시스템
KR1020150089884A KR20160001676A (ko) 2014-06-27 2015-06-24 그래픽스 프로세싱을 수행하는 방법 및 그래픽스 시스템
KR1020150091584A KR20160001711A (ko) 2014-06-27 2015-06-26 그래픽스 프로세싱을 수행하는 방법 및 그래픽스 시스템

Country Status (3)

Country Link
US (5) US9830714B2 (ko)
JP (1) JP2016012354A (ko)
KR (4) KR102424965B1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552667B2 (en) * 2013-12-13 2017-01-24 Nvidia Corporation Adaptive shading in a graphics processing pipeline
US11049269B2 (en) 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US9830714B2 (en) * 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
US9811923B2 (en) * 2015-09-24 2017-11-07 Snaptrack, Inc. Stochastic temporal dithering for color display devices
GB2553293B (en) * 2016-08-25 2022-06-01 Advanced Risc Mach Ltd Graphics processing systems and graphics processors
US10403192B2 (en) * 2016-09-22 2019-09-03 Apple Inc. Dithering techniques for electronic displays
US10388059B2 (en) 2016-10-03 2019-08-20 Nvidia Corporation Stable ray tracing
KR102650215B1 (ko) * 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
CA2949383C (en) * 2016-11-22 2023-09-05 Square Enix, Ltd. Image processing method and computer-readable medium
US11222397B2 (en) 2016-12-23 2022-01-11 Qualcomm Incorporated Foveated rendering in tiled architectures
KR102637736B1 (ko) 2017-01-04 2024-02-19 삼성전자주식회사 그래픽스 처리 방법 및 시스템
US11113800B2 (en) * 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
GB2560306B (en) * 2017-03-01 2020-07-08 Sony Interactive Entertainment Inc Image processing
US10235794B2 (en) * 2017-04-10 2019-03-19 Intel Corporation Multi-sample stereo renderer
US10896657B2 (en) 2017-04-17 2021-01-19 Intel Corporation Graphics with adaptive temporal adjustments
KR20210148381A (ko) * 2017-04-21 2021-12-07 제니맥스 미디어 인크. 게임-생성된 모션 벡터들을 위한 시스템들 및 방법들
GB2576662B (en) 2017-04-21 2020-10-28 Zenimax Media Inc Systems and methods for encoder-guided adaptive-quality rendering
US10713752B2 (en) * 2017-06-09 2020-07-14 Sony Interactive Entertainment Inc. Temporal supersampling for foveated rendering systems
US10853918B2 (en) * 2017-06-09 2020-12-01 Sony Interactive Entertainment Inc. Foveal adaptation of temporal anti-aliasing
US10169843B1 (en) * 2017-11-20 2019-01-01 Advanced Micro Devices, Inc. Temporal foveated rendering using motion estimation
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
US10699374B2 (en) 2017-12-05 2020-06-30 Microsoft Technology Licensing, Llc Lens contribution-based virtual reality display rendering
KR102545172B1 (ko) 2017-12-28 2023-06-19 삼성전자주식회사 샘플링 기반의 렌더링을 수행하는 그래픽 프로세서 및 그 동작방법
KR20200100656A (ko) * 2018-01-16 2020-08-26 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN109215046B (zh) * 2018-08-06 2021-05-21 浙江工贸职业技术学院 一种基于图像插值运算的拉普拉斯算子边缘检测方法
US10930022B2 (en) * 2018-08-09 2021-02-23 Nvidia Corporation Motion adaptive rendering using variable rate shading
CN115379185B (zh) 2018-08-09 2024-04-02 辉达公司 使用可变速率着色的运动自适应渲染
CN112567430A (zh) * 2018-08-17 2021-03-26 索尼互动娱乐股份有限公司 图像生成装置、图像生成方法和程序
US10713753B2 (en) * 2018-10-12 2020-07-14 Apical Limited Data processing systems
CN112015929B (zh) * 2019-05-30 2024-07-05 阿里云计算有限公司 栅格数据访问方法、装置、电子设备及计算机存储介质
US11468627B1 (en) * 2019-11-08 2022-10-11 Apple Inc. View dependent content updated rates
US20240054604A1 (en) * 2021-06-24 2024-02-15 Meta Platforms Technologies, Llc Adaptive super-sampling based on gaze
US20230148225A1 (en) * 2021-11-05 2023-05-11 Intel Corporation Joint denoising and supersampling of graphics data
KR102537317B1 (ko) * 2022-08-19 2023-05-26 세종대학교산학협력단 렌더링 성능을 올리기 위한 멀티레벨 선택적 렌더링 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259740A1 (en) * 2004-05-18 2005-11-24 Seiji Kobayashi Method and apparatus for converting motion image data, method and apparatus for reproducing motion image data, computer program for converting motion image data, and computer program for reproducing motion image data
JP2006221650A (ja) * 2005-02-10 2006-08-24 Sony Computer Entertainment Inc 幾何プリミティブのインデックスを外す方法、ラスタ化装置、コンピュータ可読媒体
US20120051631A1 (en) * 2010-08-30 2012-03-01 The Board Of Trustees Of The University Of Illinois System for background subtraction with 3d camera

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5686960A (en) * 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
US6577305B1 (en) * 1998-08-20 2003-06-10 Apple Computer, Inc. Apparatus and method for performing setup operations in a 3-D graphics pipeline using unified primitive descriptors
AUPQ377599A0 (en) * 1999-10-29 1999-11-25 Canon Kabushiki Kaisha Colour clamping
US6999087B2 (en) * 2002-03-12 2006-02-14 Sun Microsystems, Inc. Dynamically adjusting sample density in a graphics system
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
GB2392793A (en) * 2002-07-31 2004-03-10 Blip X Ltd Video compression by removing complementary sets of pixels
CA2443286A1 (en) * 2003-10-01 2005-04-01 Aryan Saed Digital composition of a mosaic motion picture
US7450120B1 (en) * 2003-12-19 2008-11-11 Nvidia Corporation Apparatus, system, and method for Z-culling
US7348950B2 (en) * 2004-02-20 2008-03-25 Genesis Microchip Inc. Dynamical systems approach to LCD overdrive
GB0426170D0 (en) * 2004-11-29 2004-12-29 Falanx Microsystems As Processing of computer graphics
US7364306B2 (en) * 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US20070273626A1 (en) * 2006-05-04 2007-11-29 Sharp Laboratories Of America, Inc. System for pixel defect masking and control thereof
US8159550B2 (en) * 2006-06-22 2012-04-17 Apple Inc. Presenting images as mosaics
JP4893154B2 (ja) * 2006-08-21 2012-03-07 富士通セミコンダクター株式会社 画像処理装置及び画像処理方法
US8229212B2 (en) * 2008-04-08 2012-07-24 Qualcomm Incorporated Interpolation system and method
US20110141136A1 (en) 2008-06-20 2011-06-16 Business Intelligence Solutions Safe B.V. Method and system of graphically representing discrete data as a continuous surface
US8866825B2 (en) * 2010-12-15 2014-10-21 Ati Technologies Ulc Multiple display frame rendering method and apparatus
KR101773396B1 (ko) * 2011-02-09 2017-08-31 삼성전자주식회사 데이터를 압축 해제하는 그래픽 처리 장치 및 방법
JP5462830B2 (ja) * 2011-03-31 2014-04-02 富士フイルム株式会社 ３ｄ画像表示装置、その製造方法、位相差板、３ｄ画像表示システム及び３ｄ画像表示装置用接着剤組成物
US9088777B2 (en) * 2011-04-07 2015-07-21 Ses Americom, Inc. Methods and systems for processing stereoscopic video data
JP2012217591A (ja) * 2011-04-07 2012-11-12 Toshiba Corp 画像処理システム、装置、方法及びプログラム
TWI504232B (zh) * 2011-06-22 2015-10-11 Realtek Semiconductor Corp 3d影像處理裝置
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
GB2497302B (en) * 2011-12-05 2017-04-12 Advanced Risc Mach Ltd Methods of and apparatus for processing computer graphics
US9241146B2 (en) * 2012-11-02 2016-01-19 Nvidia Corporation Interleaved approach to depth-image-based rendering of stereoscopic images
US9384522B2 (en) * 2012-12-28 2016-07-05 Qualcomm Incorporated Reordering of command streams for graphical processing units (GPUs)
US10229526B2 (en) * 2014-03-13 2019-03-12 Imagination Technologies Limited Rendering of soft shadows
US9830714B2 (en) * 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
KR102276909B1 (ko) 2014-12-09 2021-07-13 삼성전자주식회사 렌더링 방법 및 장치
US9704217B2 (en) 2015-04-20 2017-07-11 Intel Corporation Apparatus and method for non-uniform frame buffer rasterization
US9728002B2 (en) 2015-12-18 2017-08-08 Advanced Micro Devices, Inc. Texel shading in texture space
US9875552B1 (en) 2016-07-26 2018-01-23 Teradici Corporation Content independent method of motion determination using sparse matrices
KR20210148381A (ko) 2017-04-21 2021-12-07 제니맥스 미디어 인크. 게임-생성된 모션 벡터들을 위한 시스템들 및 방법들

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259740A1 (en) * 2004-05-18 2005-11-24 Seiji Kobayashi Method and apparatus for converting motion image data, method and apparatus for reproducing motion image data, computer program for converting motion image data, and computer program for reproducing motion image data
JP2006221650A (ja) * 2005-02-10 2006-08-24 Sony Computer Entertainment Inc 幾何プリミティブのインデックスを外す方法、ラスタ化装置、コンピュータ可読媒体
US20120051631A1 (en) * 2010-08-30 2012-03-01 The Board Of Trustees Of The University Of Illinois System for background subtraction with 3d camera

Also Published As

Publication number Publication date
US20150379734A1 (en) 2015-12-31
US20150379727A1 (en) 2015-12-31
JP2016012354A (ja) 2016-01-21
US9830714B2 (en) 2017-11-28
US20180197304A1 (en) 2018-07-12
US10643339B2 (en) 2020-05-05
KR20160001675A (ko) 2016-01-06
US9589367B2 (en) 2017-03-07
US9589366B2 (en) 2017-03-07
KR20160001676A (ko) 2016-01-06
US20150379692A1 (en) 2015-12-31
KR20160001663A (ko) 2016-01-06
KR20160001711A (ko) 2016-01-06
US20150379674A1 (en) 2015-12-31
US9928610B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
KR102424965B1 (ko) 적응적 렌더링을 수행하는 방법 및 그래픽스 시스템
EP3643059B1 (en) Processing of 3d image information based on texture maps and meshes
CN105225264B (zh) 基于运动的自适应渲染
CA2745380C (en) Devices and methods for processing images using scale space
EP2175663A1 (en) Image processing apparatus and method
JP2015522198A (ja) 画像に対する深度マップの生成
KR20110116671A (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US8687002B2 (en) Method, medium and system rendering 3-D graphics data having an object to which a motion blur effect is to be applied
KR102247565B1 (ko) 렌더링 방법 및 장치
US11049269B2 (en) Motion based adaptive rendering
KR20160001641A (ko) 쿼드 병합을 이용한 쉐이딩 방법 및 시스템
Kellnhofer et al. Optimizing disparity for motion in depth
CN114514746B (zh) 用于作为对视频编码的预处理的运动自适应滤波的系统和方法
JP2016511962A (ja) 内挿方法および対応する装置
Iglesias‐Guitian et al. Pixel History Linear Models for Real‐Time Temporal Filtering
EP2960863B1 (en) Motion based adaptive rendering
KR20200145669A (ko) 모션 기반의 적응형 렌더링
KR20150042093A (ko) 그래픽스 데이터를 렌더링하는 방법, 장치 및 기록매체
US20240161236A1 (en) Method and apparatus with adaptive super sampling
US20130114888A1 (en) Image processing apparatus, computer program product, and image processing method
Yoo et al. Path rendering for high resolution mobile device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant