KR20170053557A - 3d graphic rendering method and apparatus - Google Patents

3d graphic rendering method and apparatus Download PDF

Info

Publication number
KR20170053557A
KR20170053557A KR1020160068960A KR20160068960A KR20170053557A KR 20170053557 A KR20170053557 A KR 20170053557A KR 1020160068960 A KR1020160068960 A KR 1020160068960A KR 20160068960 A KR20160068960 A KR 20160068960A KR 20170053557 A KR20170053557 A KR 20170053557A
Authority
KR
South Korea
Prior art keywords
shading
point
determining
vertex
vertices
Prior art date
Application number
KR1020160068960A
Other languages
Korean (ko)
Other versions
KR102558739B1 (en
Inventor
하인우
안민수
이형욱
손민정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2016214922A priority Critical patent/JP6910130B2/en
Priority to US15/343,972 priority patent/US10332301B2/en
Priority to CN201610978296.3A priority patent/CN106683199B/en
Priority to EP16197470.4A priority patent/EP3166078B1/en
Publication of KR20170053557A publication Critical patent/KR20170053557A/en
Application granted granted Critical
Publication of KR102558739B1 publication Critical patent/KR102558739B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation

Abstract

Disclosed are a method and an apparatus for 3D rendering which render a 3D scene. According to an embodiment of the present invention, the 3D rendering apparatus determines a shading point to perform shading on the 3D scene, performs the shading on the shading point, and determines shading information on the 3D scene based on a shading result of the shading point.

Description

3D 렌더링 방법 및 장치{3D GRAPHIC RENDERING METHOD AND APPARATUS}TECHNICAL FIELD [0001] The present invention relates to a 3D rendering method and apparatus,

아래의 설명은 3D 렌더링을 수행하는 영상 처리 기술에 관한 것이다.The following description relates to an image processing technique for performing 3D rendering.

3D 컴퓨터 그래픽스에서 그래픽스 파이프라인(graphics pipeline) 또는 렌더링 파이프라인(rendering pipeline)은 3D 영상을 2D 래스터 영상(raster image)으로 표현하기 위한 단계적인 방법을 나타낸다. 여기서, 래스터(raster)란 컴퓨터에서 영상 정보를 표현하는 하나의 방법으로, 영상을 2차원 배열 형태의 픽셀로 구성하고, 일정한 간격의 픽셀들로 영상 정보를 표현하는 것을 나타낸다. 그래픽스 파이프라인은 3D 오브젝트의 버텍스(vertex) 정보에 수학적인 연산을 수행함으로써 3D 오브젝트의 특별한 효과를 제공하는 버텍스 쉐이더(vertex shader)와 각 픽셀들의 컬러를 계산하는 픽셀 쉐이더(pixel shader)를 포함한다. 버텍스 쉐이더는 버텍스 정보에 기초하여 3D 오브젝트를 특별한 위치로 이동시키거나, 텍스쳐(texture)를 바꾸거나 또는 컬러를 바꾸는 등의 작업을 수행할 수 있다. 픽셀 쉐이더는 텍스쳐로부터 컬러를 읽어오거나 빛을 적용하는 것 또는 그림자, 반사광 및 투명 처리 등의 복잡한 현상을 적용할 수 있다.In 3D computer graphics, a graphics pipeline or rendering pipeline represents a step-by-step method for rendering a 3D image as a 2D raster image. Here, a raster is a method of representing image information in a computer, which means that the image is composed of pixels in the form of a two-dimensional array, and the image information is represented by pixels at regular intervals. The graphics pipeline includes a vertex shader that provides a special effect of the 3D object by performing a mathematical operation on the vertex information of the 3D object, and a pixel shader that calculates the color of each pixel . The vertex shader can perform operations such as moving a 3D object to a specific position, changing a texture, or changing a color based on the vertex information. Pixel shaders can apply complex phenomena such as reading color from a texture, applying light, or applying shadows, reflected light, and transparency.

일 실시예에 따른 3D 렌더링 방법은, 3D 장면 상에서 쉐이딩이 수행될 쉐이딩 포인트를 결정하는 단계; 상기 쉐이딩 포인트에 대해 쉐이딩을 수행하는 단계; 및 상기 쉐이딩 포인트의 쉐이딩 결과에 기초하여 상기 3D 장면에 대한 쉐이딩 정보를 결정하는 단계를 포함할 수 있다.A 3D rendering method includes determining a shading point at which a shading is to be performed on a 3D scene; Performing shading on the shading point; And determining shading information for the 3D scene based on a shading result of the shading point.

일 실시예에 따른 3D 렌더링 방법에서, 상기 쉐이딩 포인트를 결정하는 단계는, 상기 3D 장면에서 3D 오브젝트의 버텍스들 중 일부의 버텍스를 상기 쉐이딩 포인트로 결정할 수 있다.In the 3D rendering method according to an embodiment, the step of determining the shading point may determine the vertices of some of the vertices of the 3D object as the shading point in the 3D scene.

일 실시예에 따른 3D 렌더링 방법에서, 상기 쉐이딩 포인트를 결정하는 단계는, 상기 3D 장면에서 3D 오브젝트의 버텍스들 및 상기 3D 오브젝트 내의 추가 지점을 상기 쉐이딩 포인트로 결정할 수 있다.In the 3D rendering method according to an exemplary embodiment, the determining of the shading point may determine the vertices of the 3D object in the 3D scene and the additional point in the 3D object as the shading point.

일 실시예에 따른 3D 렌더링 방법에서, 상기 쉐이딩 포인트를 결정하는 단계는, 상기 3D 장면에서 3D 오브젝트의 버텍스들 중 일부의 버텍스 및 상기 3D 오브젝트 내의 추가 지점을 상기 쉐이딩 포인트로 결정할 수 있다.In the 3D rendering method according to an exemplary embodiment, the shading point determination may determine a vertex of some of the vertices of the 3D object in the 3D scene and an additional point in the 3D object as the shading point.

일 실시예에 따른 3D 렌더링 방법에서, 상기 쉐이딩 포인트를 결정하는 단계는, 상기 3D 장면에서 3D 오브젝트의 버텍스들의 위치가 아닌 지점을 상기 쉐이딩 포인트로 결정할 수 있다.In the 3D rendering method according to an exemplary embodiment, the step of determining the shading point may determine a point that is not a position of the vertices of the 3D object in the 3D scene as the shading point.

일 실시예에 따른 3D 렌더링 방법에서, 상기 쉐이딩 정보를 결정하는 단계는, 복수의 쉐이딩 포인트들의 쉐이딩 값을 보간하여 상기 쉐이딩 포인트들에 인접한 버텍스의 쉐이딩 값을 결정하는 단계를 포함할 수 있다.In the 3D rendering method according to an exemplary embodiment, the step of determining the shading information may include interpolating a shading value of a plurality of shading points to determine a shading value of a vertex adjacent to the shading points.

일 실시예에 따른 3D 렌더링 방법에서, 상기 쉐이딩 포인트를 결정하는 단계는, 상기 3D 장면의 공간적 특성 및 시간적 특성 중 적어도 하나에 기초하여 상기 쉐이딩이 수행될 쉐이딩 포인트를 결정할 수 있다.In the 3D rendering method according to an exemplary embodiment, the determining of the shading point may determine a shading point at which the shading is performed based on at least one of a spatial characteristic and a temporal characteristic of the 3D scene.

일 실시예에 따른 3D 렌더링 방법에서, 상기 쉐이딩 포인트를 결정하는 단계는, 상기 3D 장면의 버텍스들을 버텍스 그룹들로 그룹핑하는 단계; 및 상기 버텍스 그룹별로 하나 이상의 상기 쉐이딩 포인트를 결정하는 단계를 포함할 수 있다.In the 3D rendering method according to an embodiment, the step of determining the shading point may include grouping vertices of the 3D scene into vertex groups; And determining one or more of the shading points for each vertex group.

일 실시예에 따른 3D 렌더링 방법에서, 상기 쉐이딩 포인트를 결정하는 단계는, 가상 광원의 움직임, 가상 카메라의 움직임, 3D 오브젝트의 움직임, 인접 버텍스들 간의 밝기 차이 및 버텍스의 위치 중 적어도 하나에 기초하여 상기 쉐이딩 레벨을 결정하는 단계를 더 포함할 수 있다.In a 3D rendering method according to an embodiment, the step of determining the shading point may include determining a shading point based on at least one of a virtual light source motion, a virtual camera motion, a 3D object motion, a brightness difference between adjacent vertices, And determining the shading level.

일 실시예에 따른 3D 렌더링 장치는, 적어도 하나의 프로세서; 및 상기 프로세서에 의해 실행될 인스트럭션들을 저장하는 적어도 하나의 메모리를 포함하고, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 3D 장면 상에서 쉐이딩이 수행될 쉐이딩 포인트를 결정하는 동작; 상기 쉐이딩 포인트에 대해 쉐이딩을 수행하는 동작; 및 상기 쉐이딩 포인트의 쉐이딩 결과에 기초하여 상기 3D 장면에 대한 쉐이딩 정보를 결정하는 동작을 실행하도록 구성될 수 있다.The 3D rendering apparatus according to one embodiment includes at least one processor; And at least one memory for storing instructions to be executed by the processor, wherein the instructions, when executed by the processor, cause the processor to: determine a shading point at which shading is to be performed on the 3D scene; Performing shading on the shading point; And determining shading information for the 3D scene based on the shading result of the shading point.

도 1은 3D 장면 및 3D 장면의 버텍스 구조의 일례를 도시하는 도면이다.
도 2는 일 실시예에 따른 3D 렌더링 방법의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 쉐이딩 포인트를 결정하는 동작을 보다 구체적으로 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 쉐이딩 포인트를 결정하는 일례를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 쉐이딩 레벨에 따라 쉐이딩 포인트를 결정하는 일례를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 쉐이딩 포인트의 쉐이딩 결과에 기초하여 다른 버텍스의 쉐이딩 값을 결정하는 일례를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 쉐이딩 포인트들의 쉐이딩 값에 기초하여 렌더링 영상의 픽셀 값을 결정하는 일례를 설명하기 위한 도면이다.
도 8a 및 도 8b는 일 실시예에 따른 직접 가상 광원과 간접 가상 광원 간의 관계를 설명하기 위한 도면들이다.
도 9는 일 실시예에 따른 3D 렌더링 장치의 구성을 도시하는 도면이다.
도 10은 다른 실시예에 따른 3D 렌더링 장치의 구성을 도시하는 도면이다.1 is a diagram showing an example of a vertex structure of a 3D scene and a 3D scene.
2 is a flowchart illustrating an operation of the 3D rendering method according to an exemplary embodiment.
FIG. 3 is a flowchart illustrating an operation of determining a shading point according to an exemplary embodiment of the present invention.
4 is a diagram for explaining an example of determining a shading point according to an embodiment.
5 is a diagram for explaining an example of determining a shading point according to a shading level according to an embodiment.
6 is a diagram for explaining an example of determining a shading value of another vertex based on a shading result of a shading point according to an embodiment.
7 is a diagram for explaining an example of determining a pixel value of a rendered image based on a shading value of shading points according to an exemplary embodiment.
8A and 8B are diagrams for explaining a relationship between a direct virtual light source and an indirect virtual light source according to an embodiment.
9 is a diagram showing a configuration of a 3D rendering apparatus according to an embodiment.
10 is a diagram showing a configuration of a 3D rendering apparatus according to another embodiment.

아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 특허출원의 범위가 본 명세서에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 설명한 분야에 속하는 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 언급이 모두 동일한 실시예를 지칭하는 것이라고 이해되어서는 안된다.It should be understood that the specific structural and functional descriptions below are merely illustrative of the embodiments and are not to be construed as limiting the scope of the patent application described herein. Various modifications and variations may be made thereto by those skilled in the art to which the present invention pertains. Reference throughout this specification to "one embodiment" or "an embodiment" means that a particular feature, structure, or characteristic described in connection with the embodiment is included in at least one embodiment, It should be understood that references to "an embodiment" are not all referring to the same embodiment.

제1 또는 제2 등의 용어가 다양한 구성요소들을 구분하기 위해 사용될 수 있지만, 구성요소들이 제1 또는 제2의 용어에 의해 한정되는 것으로 해석되어서는 안된다. 또한, 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Although the terms first or second may be used to distinguish the various components, the components should not be construed as being limited by the first or second term. It is also to be understood that the terminology used in the description is by way of example only and is not intended to be limiting. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이하에서 설명될 실시예들은 3D 장면(scene)을 렌더링(rendering)하여 렌더링 결과 영상을 생성하는데 적용될 수 있다. 3D 장면을 렌더링하는 동작은 3D 장면에 조명 효과(illumination effect)를 제공하는 가상 광원(virtual light source)으로부터 방사되는 빛(light)에 기초하여 3D 오브젝트(object)의 컬러를 결정하는 쉐이딩(shading) 과정을 포함한다.Embodiments to be described below can be applied to rendering a 3D scene to generate a rendering result image. The rendering of the 3D scene may include shading to determine the color of the 3D object based on light emitted from a virtual light source that provides illumination effects to the 3D scene, ≪ / RTI >

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and a duplicate description thereof will be omitted.

도 1은 3D 장면 및 3D 장면의 버텍스 구조의 일례를 도시하는 도면이다. 도 1을 참조하면, 도면 부호(110)는 렌더링하고자 하는 3D 장면을 나타내고, 도면 부호(140)는 3D 장면(110)의 버텍스 구조를 나타낸다.1 is a diagram showing an example of a vertex structure of a 3D scene and a 3D scene. Referring to FIG. 1, reference numeral 110 denotes a 3D scene to be rendered, and reference numeral 140 denotes a vertex structure of the 3D scene 110.

버텍스(vertex) 기반 쉐이딩에서는, 3D 오브젝트의 버텍스들(vertices)에 대해 쉐이딩이 수행된 후 버텍스들의 쉐이딩 값들을 보간하여 픽셀들의 컬러 값이 결정된다. 버텍스 구조의 복잡도는 영역별 기하학적 복잡성에 기인하며, 쉐이딩 복잡도는 음영 처리의 복잡성 또는 거울 반사(specular reflection), 난반사(diffused reflection) 등의 특수 효과 적용 여부에 기인할 수 있다. 따라서 버텍스 기반 쉐이딩에서, 3D 장면(110)의 영역별 기하학적(geometry) 복잡도는 쉐이딩 복잡도와 일치하지 않을 수 있다. 예를 들어, 버텍스 기반으로 쉐이딩을 수행하는 경우, 쉐이딩 복잡도는 높지만 기하학적 복잡도는 낮아 버텍스의 개수가 적은 영역(120)에서는 화질의 저하가 발생할 수 있다. 반면에, 쉐이딩 복잡도는 낮지만 기하학적 복잡도는 높아 버텍스의 개수가 많은 영역(130)에서는 쉐이딩 연산의 낭비가 발생할 수 있다.In vertex-based shading, shading is performed on the vertices of the 3D object, and then the shading values of the vertices are interpolated to determine the color values of the pixels. The complexity of the vertex structure is due to the geometrical complexity of the area, and the shading complexity can be attributed to the complexity of shading or the application of special effects such as specular reflection, diffused reflection, and the like. Thus, in vertex-based shading, the geometric complexity of the 3D scene 110 may be inconsistent with the shading complexity. For example, when performing shading based on a vertex, the image quality may deteriorate in the region 120 where the number of vertices is small because the shading complexity is high but the geometric complexity is low. On the other hand, although the shading complexity is low, the geometric complexity is high, so that the shading operation may be wasted in the region 130 where the number of vertices is large.

이하에서 설명될 3D 렌더링 방법 및 장치는 3D 장면(110)의 공간적(spatial) 특성 또는 시간적(temporal) 특성에 기초하여 쉐이딩이 수행될 쉐이딩 포인트를 적응적으로 결정하고, 결정된 쉐이딩 포인트에 대해 쉐이딩을 수행함으로써 렌더링 결과 영상의 화질 저하 없이 쉐이딩을 보다 빠르게 수행할 수 있다. 예를 들어, 3D 렌더링 방법 및 장치는 영역(130)과 같이 쉐이딩 복잡도에 비해 버텍스의 개수가 많은 영역에서는 쉐이딩 포인트의 밀도를 작게 하여 쉐이딩 처리 횟수를 감소시킬 수 있고, 이에 따라 렌더링 처리 속도가 보다 빨라질 수 있다.The 3D rendering method and apparatus described below adaptively determine a shading point to be shaded based on a spatial characteristic or a temporal characteristic of the 3D scene 110 and perform shading on the determined shading point The shading can be performed faster without degrading the image quality of the rendering result image. For example, in the 3D rendering method and apparatus, in a region where the number of vertices is large in comparison with the shading complexity as in the region 130, the density of shading points can be reduced to reduce the number of times of shading processing, Can be accelerated.

도 2는 일 실시예에 따른 3D 렌더링 방법의 동작을 설명하기 위한 흐름도이다. 3D 렌더링 방법은 3D 렌더링 장치(예를 들어, 도 9 내지 도 10에 도시된 3D 렌더링 장치)에 의해 수행될 수 있다.2 is a flowchart illustrating an operation of the 3D rendering method according to an exemplary embodiment. The 3D rendering method can be performed by a 3D rendering device (for example, the 3D rendering device shown in Figs. 9 to 10).

도 2를 참조하면, 단계(210)에서 3D 렌더링 장치는 3D 장면 상에서 쉐이딩이 수행될 쉐이딩 포인트를 결정한다. 3D 렌더링 장치는 3D 장면 내 어느 지점(point)이라도 쉐이딩 포인트로 결정할 수 있다. 예를 들어, 3D 렌더링 장치는 3D 장면에 포함된 3D 오브젝트의 버텍스들이 위치하는 지점뿐만 아니라 버텍스들이 위치하지 않은 지점도 쉐이딩이 수행될 쉐이딩 포인트로 결정할 수 있다. 이러한 쉐이딩 포인트는 3D 장면의 공간적 특성 및 시간적 특성 중 하나 이상에 기초하여 결정될 수 있다. 3D 장면의 공간적 특성 또는 시간적 특성에 따라 쉐이딩이 수행될 지점이 달라질 수 있다. Referring to FIG. 2, in step 210, the 3D rendering device determines a shading point to be shaded on the 3D scene. The 3D rendering device may determine any point within the 3D scene as a shading point. For example, the 3D rendering apparatus can determine not only the position where the vertices of the 3D object included in the 3D scene are located but also the point where the vertices are not positioned, as the shading point at which the shading is to be performed. This shading point may be determined based on one or more of the spatial and temporal characteristics of the 3D scene. The point at which the shading is performed may vary depending on the spatial characteristic or the temporal characteristic of the 3D scene.

예를 들어, 3D 렌더링 장치는 조명 효과를 제공하는 가상 광원에 대한 정보, 3D 오브젝트를 바라보는 시점을 결정하는 가상 카메라에 대한 정보, 3D 장면에 나타난 3D 오브젝트에 대한 정보 또는 이전 영상 프레임의 쉐이딩 정보 등에 기초하여 쉐이딩 포인트를 결정할 수 있다. 여기서, 가상 광원에 대한 정보는 가상 광원의 위치, 컬러, 밝기, 방향, 이동 속도, 가상 광원과 3D 오브젝트 간의 거리 또는 가상 광원과 3D 오브젝트가 이루는 각도 등에 대한 정보를 포함할 수 있다. 가상 카메라에 대한 정보는 가상 카메라의 위치, 방향, 이동 속도 또는 가상 카메라와 3D 오브젝트가 이루는 각도 등에 대한 정보를 포함할 수 있다. 3D 오브젝트에 대한 정보는 3D 오브젝트의 형상, 컬러 또는 재질에 대한 정보를 포함할 수 있다. 이전 영상 프레임의 쉐이딩 정보는 이전 영상 프레임에서 이용된 버텍스에 대한 쉐이딩 값을 포함할 수 있다.For example, the 3D rendering device may include information about a virtual light source that provides a lighting effect, information about a virtual camera that determines when to view a 3D object, information about a 3D object displayed in a 3D scene, The shading point can be determined based on the shading point and the like. Here, the information about the virtual light source may include information about the position, color, brightness, direction, moving speed of the virtual light source, distance between the virtual light source and the 3D object, or angle formed by the virtual light source and the 3D object. The information about the virtual camera may include information about the position, direction, moving speed of the virtual camera, angle formed by the virtual camera and the 3D object, and the like. The information on the 3D object may include information on the shape, color, or material of the 3D object. The shading information of the previous image frame may include a shading value for the vertex used in the previous image frame.

일 실시예에 따르면, 3D 렌더링 장치는 버텍스들을 복수의 버텍스 그룹들로 그룹핑하고, 각 버텍스 그룹들마다 쉐이딩이 수행될 쉐이딩 포인트를 결정할 수 있다. 일 실시예에 따르면, 3D 렌더링 장치는 세밀한(fine) 쉐이딩이 필요하다고 판단되면, 버텍스 그룹에 포함된 버텍스들뿐만 아니라 추가적으로 3D 장면 내 추가 지점을 쉐이딩 포인트로 지정하여 쉐이딩이 수행될 지점을 늘릴 수 있다. 3D 렌더링 장치는 개략적인(coarse) 쉐이딩이 필요하다고 판단되면, 버텍스 그룹에 포함된 버텍스들 중 일부의 버텍스만을 쉐이딩 포인트로 결정하거나 또는 버텍스에 관계 없이 3D 장면 내에서 하나 이상의 지점을 쉐이딩 포인트로 결정할 수 있다. 또는, 경우에 따라 3D 렌더링 장치는 3D 장면에서 3D 오브젝트의 버텍스들 중 일부의 버텍스들과 함께 3D 장면 내에서 버텍스가 아닌 지점을 쉐이딩 포인트로 결정할 수도 있다. 3D 렌더링 장치는 3D 장면에 포함된 3D 오브젝트들의 버텍스들 또는 픽셀들 모두에 대해 쉐이딩을 수행하는 것이 아니라, 3D 장면의 공간적 특성 또는 시간적 특성에 기초하여 쉐이딩 포인트를 결정함으로써 쉐이딩을 보다 효율적으로 수행할 수 있다.According to one embodiment, the 3D rendering apparatus may group vertices into a plurality of vertex groups, and determine a shading point to be shaded for each vertex group. According to an exemplary embodiment, when it is determined that fine shading is required, the 3D rendering apparatus may designate additional points in the 3D scene as vertices included in the vertex group, as well as the points to be shaded have. If it is determined that coarse shading is required, the 3D rendering apparatus determines only a vertex of a vertex included in a vertex group as a shading point, or determines one or more points in a 3D scene as a shading point regardless of a vertex . Or, as the case may be, the 3D rendering device may determine a non-vertex point as a shading point within the 3D scene with vertices of some of the vertices of the 3D object in the 3D scene. The 3D rendering device performs shading more efficiently by determining the shading point based on the spatial characteristic or the temporal characteristic of the 3D scene, instead of performing shading on all of the vertices or pixels of the 3D objects included in the 3D scene .

3D 렌더링 장치가 쉐이딩 포인트를 결정하는 동작은 도 3을 참조하여 아래에서 보다 자세히 설명한다.The operation of the 3D rendering device to determine the shading point will be described in more detail below with reference to FIG.

단계(220)에서, 3D 렌더링 장치는 단계(210)에서 결정된 쉐이딩 포인트에 대해 쉐이딩을 수행한다. 3D 렌더링 장치는 쉐이딩 포인트에서 쉐이딩을 수행하여 쉐이딩 포인트의 쉐이딩 값인 컬러 값을 결정할 수 있다. 쉐이딩 과정은 하나 이상의 가상 광원에 의한 조명(illumination) 효과에 기초할 수 있다. 여기서, 조명 효과는 가상 광원으로부터 방사되는 광의 특성(예, 컬러 및 방향 등) 및 3D 오브젝트의 특성(예, 컬러 및 재질 등)에 기초하고, 가려짐에 의한 그림자(shadow) 효과를 포함할 수 있다. 가상 광원은 3D 오브젝트에 빛을 직접 방사하는 직접 가상 광원(direct light source) 및 직접 가상 광원으로부터 방사된 빛이 반사, 회절 또는 굴절된 영역에서 빛을 방사하는 간접 가상 광원(indirect light source)을 포함할 수 있다. 직접 가상 광원 및 간접 가상 광원에 대해서는 도 8a 및 도 8b를 참조하여 아래에서 보다 자세히 설명한다.In step 220, the 3D rendering device performs shading on the shading point determined in step 210. [ The 3D rendering device can perform shading at the shading point to determine a color value, which is a shading value of the shading point. The shading process may be based on illumination effects by one or more virtual light sources. Here, the illumination effect may include a shadow effect due to occlusion, based on the characteristics (e.g., color and direction, etc.) of the light emitted from the virtual light source and the characteristics (e.g., color and material, etc.) have. A virtual light source includes a direct light source that directly radiates light to a 3D object and an indirect light source that emits light in a region where light emitted from a direct virtual light source is reflected, diffracted, or refracted can do. A direct virtual light source and an indirect virtual light source will be described in more detail below with reference to FIGS. 8A and 8B.

단계(230)에서, 3D 렌더링 장치는 단계(220)에서의 쉐이딩 결과에 기초하여 3D 장면에 대한 쉐이딩 정보를 결정한다. 3D 렌더링 장치는 3D 장면의 전체적인 쉐이딩 정보를 결정하기 위해 보간(interpolation)을 이용할 수 있다. 일 실시예에 따르면, 3D 렌더링 장치는 복수의 쉐이딩 포인트들의 쉐이딩 값을 보간하여 쉐이딩 포인트에 인접한 버텍스의 쉐이딩 값을 결정할 수 있다. 여기서, 버텍스와 각 쉐이딩 포인트들 간의 거리를 가중치로 하여 보간을 수행하는 무게중심 보간(barycentric interpolation) 기법이 이용될 수 있으나, 실시예의 범위가 위 보간 기법에 한정되는 것은 아니며, 다양한 보간 기법이 이용될 수 있다.In step 230, the 3D rendering device determines shading information for the 3D scene based on the shading result in step 220. [ The 3D rendering device may use interpolation to determine the overall shading information of the 3D scene. According to one embodiment, the 3D rendering device may interpolate the shading values of a plurality of shading points to determine a shading value of a vertex adjacent to the shading point. Here, a barycentric interpolation technique for performing interpolation using the distance between the vertex and each shading point as a weight may be used. However, the range of the embodiment is not limited to the interpolation technique, and various interpolation techniques may be used .

3D 렌더링 장치는 이와 같이 쉐이딩이 수행된 쉐이딩 포인트들의 쉐이딩 값 및 보간을 통해 결정된 버텍스의 쉐이딩 값을 저장할 수 있다. 쉐이딩 포인트들의 쉐이딩 값 및 버텍스의 쉐이딩 값은 예를 들어, 그래픽스 프로세싱 유닛(Graphics Processing Unit, GPU)의 텍스쳐 버퍼(texture buffer)에 저장될 수 있고, 저장된 쉐이딩 값은 다음 영상 프레임의 쉐이딩 과정에서 이용될 수 있다. 또한, 쉐이딩 포인트 및 버텍스의 위치 및 속성에 대한 정보가 텍스쳐 버퍼에 저장될 수 있다. 3D 렌더링 장치는 저장된 쉐이딩 값을 이용함으로써 쉐이딩 연산에 요구되는 연산량을 절감시킬 수 있고, 플리커링(flickering) 현상의 발생을 저감시킬 수 있다.The 3D rendering device may store the shading values of the shading points subjected to the shading and the shading values of the vertices determined through the interpolation. The shading values of the shading points and the shading values of the vertices may be stored in, for example, a texture buffer of a graphics processing unit (GPU), and the stored shading values may be used in a shading process of a next image frame . In addition, information about the location and attributes of the shading point and the vertex may be stored in the texture buffer. The 3D rendering device can reduce the amount of computation required for the shading operation by using the stored shading value, and can reduce the occurrence of flickering.

일 실시예에 따르면, 3D 렌더링 장치는 3D 장면에 대한 연속된 영상 프레임들에서 버텍스들의 쉐이딩 값을 적응적으로 업데이트(update)할 수 있다. 이에 따라, 영상 프레임들 사이에서 서로 대응되는 버텍스들의 쉐이딩 값이 서로 다른 시간 간격으로 업데이트될 수 있다. 쉐이딩 값의 업데이트 과정은 쉐이딩을 수행하여 버텍스의 컬러 값을 결정하는 과정을 포함한다. 예를 들어, 3D 렌더링 장치는 스크린과 거리가 가까운 버텍스는 매 영상 프레임마다 쉐이딩을 수행하여 컬러 값을 업데이트하고, 스크린과 거리가 멀거나 또는 그림자 영역에 존재하는 버텍스는 매 영상 프레임마다 컬러 값을 업데이트하는 것이 아니라 특정 개수의 영상 프레임 간격으로 컬러 값을 업데이트할 수 있다.According to one embodiment, the 3D rendering device may adaptively update the shading values of the vertices in successive image frames for the 3D scene. Accordingly, the shading values of vertices corresponding to each other between image frames can be updated at different time intervals. The update process of the shading value includes a process of performing shading to determine the color value of the vertex. For example, the 3D rendering device updates the color values by performing shading for every image frame in a vertex having a distance from the screen, and vertices existing in a shadow region or a distance from the screen are converted into color values The color value can be updated at a specific number of image frame intervals instead of updating.

3D 렌더링 장치는 3D 장면에 대한 쉐이딩 정보에 기초하여 렌더링 결과 영상을 생성할 수 있다. 3D 렌더링 장치는 쉐이딩 포인트들의 쉐이딩 값 및 보간을 통해 결정된 버텍스의 쉐이딩 값에 기초하여 렌더링 결과 영상을 구성하는 픽셀들의 컬러 값을 결정할 수 있다. 예를 들어, 3D 렌더링 장치는 현재 픽셀에 인접한 쉐이딩 포인트 및 버텍스의 쉐이딩 값을 보간하여 현재 픽셀의 픽셀 값을 결정할 수 있다. 이와 같은 보간 과정은, 렌더링 결과 영상을 구성하는 각각의 픽셀에 대해 반복적으로 수행될 수 있고, 반복 수행 결과로 렌더링 결과 영상이 생성될 수 있다.The 3D rendering device may generate a rendering result image based on the shading information for the 3D scene. The 3D rendering device may determine the color values of the pixels that make up the rendered image based on the shading values of the shading points and the shading values of the vertices determined through interpolation. For example, the 3D rendering device may determine the pixel value of the current pixel by interpolating the shading point of the current pixel and the shading value of the vertex. Such an interpolation process can be repeatedly performed for each pixel constituting the rendering result image, and a rendering result image can be generated as a result of the iteration.

도 3은 일 실시예에 따른 쉐이딩 포인트를 결정하는 동작을 보다 구체적으로 설명하기 위한 흐름도이다.FIG. 3 is a flowchart illustrating an operation of determining a shading point according to an exemplary embodiment of the present invention.

도 3을 참조하면, 단계(310)에서 3D 렌더링 장치는 3D 장면의 버텍스들을 복수의 버텍스 그룹들로 그룹핑한다. 3D 렌더링 장치는 버텍스들의 위치, 버텍스들의 속성(예를 들어, 노멀(normal), 컬러 등), 이전 영상 프레임의 쉐이딩 결과 또는 버텍스들이 동일한 3D 오브젝트에 포함되는지 여부 등에 기초하여 버텍스들을 그룹핑할 수 있다. 예를 들어, 3D 렌더링 장치는 버텍스들 중에서 유사한 속성을 가질 것으로 추정되는 버텍스들을 하나의 버텍스 그룹으로 설정할 수 있다.Referring to FIG. 3, in step 310, the 3D rendering apparatus groups the vertices of the 3D scene into a plurality of vertex groups. The 3D rendering device may group the vertices based on the location of the vertices, the attributes of the vertices (e.g., normal, color, etc.), the shading result of the previous image frame, or whether the vertices are included in the same 3D object . For example, the 3D rendering device may set vertices that are assumed to have similar properties among the vertices to be a single vertex group.

일 실시예에 따르면, 3D 렌더링 장치는 서로 인접하여 위치하고 있고, 노멀, 깊이(depth) 또는 컬러 등의 속성이 유사한 버텍스들을 그룹핑할 수 있다. 3D 렌더링 장치는 사전 예측 또는 이전 영상 프레임의 쉐이딩 결과에 기초하여 유사한 속성을 가질 것으로 추정되는 버텍스들을 결정할 수 있다. 3D 렌더링 장치는 예를 들어, 이전 영상 프레임에서 유사한 컬러를 가지는 버텍스들을 그룹핑할 수 있다.According to one embodiment, the 3D rendering devices may be located adjacent to one another and may group similar vertices with properties such as normal, depth, or color. The 3D rendering device may determine vertices that are presumed to have similar properties based on the pre-prediction or the shading result of the previous image frame. The 3D rendering device may, for example, group vertices having similar colors in a previous image frame.

다른 실시예에 따르면, 3D 렌더링 장치는 동일한 3D 오브젝트를 구성하는 버텍스들을 그룹핑하거나 유사한 형상 특성을 가지는 버텍스들을 그룹핑할 수 있다. 또 다른 실시예에 따르면, 3D 렌더링 장치는 시간에 따른 버텍스의 컬러 변화에 기초하여 공간상으로 떨어져 있으나 컬러가 시간에 따라 유사하게 변하는 버텍스들을 그룹핑할 수 있다.According to another embodiment, the 3D rendering device may group vertices that constitute the same 3D object or group vertices that have similar shape characteristics. According to yet another embodiment, the 3D rendering device may group vertices that are spaced apart based on the color variation of the vertices over time, but whose colors vary similarly over time.

3D 렌더링 장치는 버텍스 그룹별로 쉐이딩 포인트에 대한 계층적 구조 정보를 결정할 수 있다. 계층적 구조 정보는, 단계(320)에서 결정될 쉐이딩 레벨에 따라 쉐이딩이 수행될 쉐이딩 포인트의 계층적 구조를 정의한다. 예를 들어, 계층적 구조 정보에서는 쉐이딩 레벨에 따라 어느 버텍스 또는 어느 지점이 쉐이딩 포인트로 결정될 지가 정의될 수 있다. 쉐이딩 레벨이 상향될수록 버텍스 그룹에서 결정되는 쉐이딩 포인트의 개수가 감소하고, 쉐이딩 레벨이 하향될수록 버텍스 그룹에서 결정되는 쉐이딩 포인트의 개수가 증가할 수 있다.The 3D rendering device can determine the hierarchical structure information of the shading point for each vertex group. The hierarchical structure information defines a hierarchical structure of the shading points to be shaded according to the shading level to be determined in step 320. [ For example, in the hierarchical structure information, it is possible to define which vertex or which point is determined as the shading point according to the shading level. As the shading level is increased, the number of shading points determined in the vertex group decreases, and as the shading level is lowered, the number of shading points determined in the vertex group may increase.

단계(320)에서, 3D 렌더링 장치는 쉐이딩 포인트에 대한 계층적 구조 정보에 기초하여 버텍스 그룹별로 쉐이딩 레벨을 결정한다. 쉐이딩 레벨에 따라 버텍스 그룹에서 쉐이딩이 수행될 하나 이상의 쉐이딩 포인트가 결정될 수 있다. 이 때, 버텍스 그룹에 포함된 버텍스들 중 일부의 버텍스가 쉐이딩 포인트로 결정되거나 또는 버텍스들이 위치한 지점이 아닌 3D 장면 내 다른 지점이 쉐이딩 포인트로 결정될 수 있다. In step 320, the 3D rendering device determines the shading level for each vertex group based on the hierarchical structure information about the shading point. Depending on the shading level, one or more shading points to be shaded in the vertex group may be determined. At this time, a vertex of some of the vertices included in the vertex group may be determined as a shading point, or another point in the 3D scene may be determined as a shading point, not a point where vertices are located.

3D 렌더링 장치는 시간에 따른 가상 광원, 가상 카메라 및 3D 오브젝트의 움직임 등과 같은 3D 장면의 시간적 특성, 또는 버텍스의 위치 및 인접 버텍스들 간의 밝기 차이 등과 같은 3D 장면의 공간적 특성에 기초하여 쉐이딩 레벨을 결정할 수 있다. 3D 장면의 시간적 특성 또는 공간적 특성에 따라 버텍스 그룹별로 서로 다른 쉐이딩 레벨이 결정될 수 있다.The 3D rendering device determines the shading level based on the spatial characteristics of the 3D scene such as the temporal characteristics of the 3D scene, such as the virtual light source, the virtual camera and the movement of the 3D object, or the brightness difference between the vertices and the adjacent vertices . Different shading levels may be determined for each vertex group depending on the temporal characteristics or spatial characteristics of the 3D scene.

일 실시예에 따르면, 시간 영역(temporal domain)에서 가상 광원, 가상 카메라 또는 3D 오브젝트의 이동 속도가 임계 값보다 빠른 경우, 3D 렌더링 장치는 쉐이딩 레벨을 상향 조정하여 쉐이딩 포인트의 개수를 줄일 수 있다. 이를 통해, 쉐이딩 처리에 소요되는 시간이 줄어들 수 있다. 또한, 3D 렌더링 장치는 빠른 렌더링 처리가 요구되는 경우, 쉐이딩 레벨을 전체적으로 상향 조정할 수 있다. 가상 광원, 가상 카메라 또는 3D 오브젝트의 이동 속도가 임계 값보다 느린 경우, 3D 렌더링 장치는 보다 세밀한 표현을 위해 쉐이딩 레벨을 하향 조정하여 쉐이딩 포인트의 개수를 늘릴 수 있다.According to an exemplary embodiment, when the moving speed of the virtual light source, the virtual camera, or the 3D object in the temporal domain is faster than the threshold value, the 3D rendering device may adjust the shading level upward to reduce the number of shading points. Thus, the time required for the shading processing can be reduced. Also, the 3D rendering device can adjust the shading level as a whole when quick rendering processing is required. If the moving speed of the virtual light source, the virtual camera, or the 3D object is slower than the threshold value, the 3D rendering device may increase the number of shading points by adjusting the shading level downward for more detailed representation.

일 실시예에 따르면, 쉐이딩 레벨은 3D 장면의 시간적 특성에 따라 적응적으로 결정될 수 있다. 예를 들어, 가상 카메라 또는 3D 오브젝트의 이동 속도가 빠를수록 쉐이딩 레벨이 상향 조정되고, 이동 속도가 느릴수록 쉐이딩 레벨이 하향 조정될 수 있다.According to one embodiment, the shading level may be adaptively determined according to the temporal characteristics of the 3D scene. For example, as the moving speed of the virtual camera or 3D object increases, the shading level is adjusted upward, and the shading level is adjusted downward as the moving speed is slower.

일 실시예에 따르면, 3D 렌더링 장치는 이전 영상 프레임의 컬러 정보를 이용하여 시간에 따른 영역별 밝기 변화를 추정하고, 밝기 변화가 큰 영역에서는 쉐이딩 레벨을 하향 조정하고, 밝기 변화가 작은 영역에서는 쉐이딩 레벨을 상향 조정할 수 있다.According to an exemplary embodiment, the 3D rendering device estimates the brightness change of each region with respect to time using the color information of the previous image frame, adjusts the shading level downward in the region where the brightness change is large, You can adjust the level up.

일 실시예에 따르면, 공간 영역(spatial domain)에서 버텍스가 스크린의 중앙 영역(또는, 관심 영역)에 위치하는 경우 또는 인접 버텍스들 간의 밝기 차이가 큰 영역의 경우, 3D 렌더링 장치는 보다 세밀한 표현을 위해 쉐이딩 레벨을 하향 조정할 수 있다. 버텍스가 스크린의 주변 영역에 위치하는 경우 또는 인접 버텍스들 간의 밝기 차이가 작은 영역의 경우, 3D 렌더링 장치는 쉐이딩 포인트의 개수를 감소시켜 렌더링 처리 속도를 보다 빠르게 하기 위해 쉐이딩 레벨을 상향 조정할 수 있다. 여기서, 3D 렌더링 장치는 이전 영상 프레임의 쉐이딩 정보를 이용하여 현재 영상 프레임에서 인접 버텍스들 간의 밝기 차이를 추정할 수 있다.According to one embodiment, in the case where the vertices are located in the central region (or the region of interest) of the screen in the spatial domain, or in the region where the brightness difference between the adjacent vertices is large, the 3D rendering apparatus may provide a finer representation You can adjust the shading level down. If the vertex is located in a peripheral region of the screen, or if the brightness difference between neighboring vertices is small, the 3D rendering apparatus can reduce the number of shading points and adjust the shading level upward to speed up rendering processing speed. Here, the 3D rendering apparatus can estimate the brightness difference between adjacent vertices in the current image frame using the shading information of the previous image frame.

일 실시예에 따르면, 3D 렌더링 장치는 포커싱(focusing)되는 영역과 나머지 영역에 서로 다른 쉐이딩 레벨을 설정하거나 또는 블러링(bluring) 효과가 적용되는 영역과 나머지 영역 간에 서로 다른 쉐이딩 레벨을 설정할 수 있다. 예를 들어, HMD(Head Mounted Display) 등과 같은 렌즈 이용 기기에서는 사용자의 눈에 보이는 픽셀들의 크기 및 밀도가 서로 다를 수 있다. 이 경우, 3D 렌더링 장치는 포커싱되는 중앙 영역에는 상대적으로 쉐이딩 포인트의 밀도를 높게 설정(쉐이딩 레벨을 하향 조정)하고, 바깥쪽 영역에는 상대적으로 쉐이딩 포인트의 밀도를 낮게 설정(쉐이딩 레벨을 상향 조정)할 수 있다.According to an exemplary embodiment, the 3D rendering apparatus may set different shading levels to the focusing area and the remaining area, or may set different shading levels between the area to which the blurring effect is applied and the remaining area . For example, in a lens-equipped device such as an HMD (Head Mounted Display), the size and density of pixels may be different from each other. In this case, the 3D rendering apparatus sets the density of the shading point relatively high (adjusts the shading level down) and sets the density of the shading point relatively low (adjusts the shading level upward) in the central region to be focused, can do.

일 실시예에 따르면, 3D 렌더링 장치는 가장 개략적인 쉐이딩 레벨인 최상위 쉐이딩 레벨부터 하위 쉐이딩 레벨로 내려가면서 버텍스 그룹별로 최적의 쉐이딩 레벨을 결정할 수 있다. 예를 들어, 3D 렌더링 장치는 쉐이딩 포인트에 대한 계층적 구조 정보를 기반하여 가장 상위의 제1 쉐이딩 레벨에 따른 쉐이딩 결과와 제1 쉐이딩 레벨보다 하위인 제2 쉐이딩 레벨에 따른 쉐이딩 결과를 비교하고, 비교 결과에 기초하여 쉐이딩 레벨 차이에 따른 컬러 값의 차분(difference)을 계산할 수 있다. 제2 쉐이딩 레벨은 제1 쉐이딩 레벨보다 하위이므로, 제2 쉐이딩 레벨에서는 제1 쉐이딩 레벨보다 더 많은 수의 쉐이딩 포인트가 결정된다. 계산한 컬러 값의 차분이 임계 값보다 작은 경우, 3D 렌더링 장치는 현재 쉐이딩 레벨인 제1 쉐이딩 레벨을 현재 버텍스 그룹의 쉐이딩 레벨로 결정할 수 있다. 컬러 값의 차분이 임계 값 이상인 경우, 3D 렌더링 장치는 제2 쉐이딩 레벨보다 하위인 제3 쉐이딩 레벨에 기초하여 제2 쉐이딩 레벨과 제3 쉐이딩 레벨에 따른 컬러 값의 차분을 계산하고, 계산한 차분이 임계 값보다 작은지 여부를 판단할 수 있다. 차분이 임계 값보다 작은 경우, 3D 렌더링 장치는 제2 쉐이딩 레벨을 현재 버텍스 그룹의 쉐이딩 레벨로 결정할 수 있다. 3D 렌더링 장치는 위 과정을 반복적으로 수행하여 컬러 값의 차분이 임계 값보다 작게 되는 쉐이딩 레벨을 현재 버텍스 그룹에 적용되는 최종 쉐이딩 레벨로 결정할 수 있다.According to an exemplary embodiment, the 3D rendering apparatus may determine an optimal shading level for each vertex group by descending from a top shading level, which is the most approximate shading level, to a sub shading level. For example, the 3D rendering device compares the shading result according to the uppermost first shading level with the shading result according to the second shading level lower than the first shading level based on the hierarchical structure information about the shading point, The difference of the color values according to the difference in shading level can be calculated based on the comparison result. Since the second shading level is lower than the first shading level, a greater number of shading points than the first shading level is determined at the second shading level. If the difference between the calculated color values is smaller than the threshold value, the 3D rendering apparatus can determine the first shading level, which is the current shading level, as the shading level of the current vertex group. When the difference of the color values is equal to or greater than the threshold value, the 3D rendering apparatus calculates the difference between the color values according to the second shading level and the third shading level based on the third shading level lower than the second shading level, Is smaller than the threshold value. If the difference is less than the threshold value, the 3D rendering device may determine the second shading level as the shading level of the current vertex group. The 3D rendering apparatus may repeatedly perform the above process so that the shading level at which the difference of the color values becomes smaller than the threshold value may be determined as the final shading level applied to the current vertex group.

3D 렌더링 장치가 최상위 쉐이딩 레벨부터 시작하여 버텍스 그룹에 적용될 최적의 쉐이딩 레벨을 결정하는 동작은, 기본적으로 매 영상 프레임이 렌더링될 때마다 수행될 수도 있고, 카메라 시점, 광원의 위치 또는 오브젝트의 위치가 변화할 때 수행될 수도 있다. 다만, 실시예의 범위가 이에 한정되는 것은 아니며, 3D 렌더링 장치는 연속된 영상 프레임들 사이에서 카메라 시점, 광원의 위치 또는 오브젝트의 위치의 변화가 크지 않다고 판단한 경우에는, 현재 영상 프레임에서 쉐이딩 레벨을 결정하는 과정을 생략하고 이전 영상 프레임에서 결정된 쉐이딩 레벨을 이용할 수도 있다.The operation in which the 3D rendering device determines the optimal shading level to be applied to the vertex group starting from the highest shading level may be performed every time an image frame is rendered basically, and the position of the camera, the position of the light source, It can also be performed when changing. However, the scope of the embodiment is not limited to this. When the 3D rendering apparatus determines that the change of the camera viewpoint, the position of the light source, or the position of the object is not large between consecutive image frames, the 3D rendering apparatus determines the shading level in the current image frame May be omitted and the shading level determined in the previous image frame may be used.

단계(330)에서, 3D 렌더링 장치는 쉐이딩 레벨에 따라 버텍스 그룹별로 하나 이상의 쉐이딩 포인트를 결정한다. 3D 렌더링 장치는 각 버텍스 그룹들에 대한 계층적 구조 정보에 기반하여 쉐이딩 레벨에 따라 실제로 쉐이딩 연산이 수행될 쉐이딩 포인트를 결정할 수 있다.In step 330, the 3D rendering device determines one or more shading points per vertex group according to the shading level. The 3D rendering apparatus can determine the shading point at which the shading operation is actually performed according to the shading level based on the hierarchical structure information for each of the vertex groups.

일 실시예에 따르면, 쉐이딩 레벨에 기초하여 각 버텍스 그룹별로 다음의 (1) 내지 (6) 중 어느 하나에 따라 쉐이딩 포인트가 결정될 수 있다. (1) 현재 버텍스 그룹에 속한 버텍스들 전체가 쉐이딩 포인트로 결정됨 (2) 버텍스들 전체 및 버텍스가 아닌 추가 지점까지 쉐이딩 포인트로 결정됨 (3) 현재 버텍스 그룹에 속한 전체 버텍스들 중 일부의 버텍스들이 쉐이딩 포인트로 결정됨 (4) 일부의 버텍스들 및 버텍스가 아닌 추가 지점까지 쉐이딩 포인트로 결정됨 (5) 버텍스가 아닌 하나 이상의 지점이 쉐이딩 포인트로 결정됨 (6) 현재 버텍스 그룹에 대해 쉐이딩 포인트가 결정되지 않음. 예를 들어, 전체 3D 장면에서, 일 버텍스 그룹에 대응하는 영역에서는 (1)에 따라 해당 버텍스 그룹에 속한 버텍스들 전체가 쉐이딩 포인트로 결정되고, 다른 버텍스 그룹에 대응하는 영역에서는 (5)에 따라 다른 버텍스 그룹에 속한 버텍스가 아닌 하나 이상의 지점이 쉐이딩 포인트로 결정되는 것이 가능하다.According to one embodiment, a shading point may be determined according to any one of the following (1) to (6) for each vertex group based on the shading level. (1) The entire vertices belonging to the current vertex group are determined as shading points. (2) The shading points are determined as the shading points to the entire vertices and not the vertices. (3) Some vertices of the current vertex group are shaded (5) One or more points that are not vertices are determined as shading points. (6) No shading points are determined for the current vertex group. For example, in the entire 3D scene, in the area corresponding to one vertex group, all the vertices belonging to the corresponding vertex group are determined as shading points according to (1), and in the area corresponding to another vertex group, It is possible for one or more points that are not vertices belonging to another vertex group to be determined as shading points.

도 4는 일 실시예에 따른 쉐이딩 포인트를 결정하는 일례를 설명하기 위한 도면이다. 도 4를 참조하면, 도면 부호(410)는 복수의 버텍스들(422 내지 434)을 포함하는 3D 오브젝트를 나타내고, 도면 부호(440)는 3D 오브젝트(410)에 대해 결정된 쉐이딩 포인트들(422, 424, 430, 434, 450, 452, 454, 456)을 나타낸다.4 is a diagram for explaining an example of determining a shading point according to an embodiment. 4, reference numeral 410 denotes a 3D object including a plurality of vertices 422 to 434, and reference numeral 440 denotes shading points 422 and 424 determined for the 3D object 410 , 430, 434, 450, 452, 454, 456).

버텍스 기반 쉐이딩에서는 3D 오브젝트(410)의 버텍스들(422 내지 434) 각각에 대해 쉐이딩이 수행되지만, 3D 렌더링 장치는 3D 장면의 시간적 특성 또는 공간적 특성에 기초하여 쉐이딩 연산이 수행될 지점을 적응적으로 결정할 수 있다. 예를 들어, 3D 렌더링 장치는 도 4에 도시된 실시예와 같이, 3D 오브젝트(410)의 버텍스들(422 내지 434) 중 일부의 버텍스들(422, 424, 430, 434)과 쉐이딩이 필요하다고 판단된 지점들(450, 452, 454, 456)을 쉐이딩을 수행할 쉐이딩 포인트로 결정할 수 있다. 3D 렌더링 장치는 쉐이딩 포인트들(422, 424, 430, 434, 450, 452, 454, 456)에 대해 쉐이딩을 수행한 후, 쉐이딩 결과에 기초하여 쉐이딩이 수행되지 않은 버텍스들(426, 428, 432)의 쉐이딩 값을 결정할 수 있다. 예를 들어, 3D 렌더링 장치는 쉐이딩 포인트들(430, 452, 454)의 쉐이딩 값을 보간하여 버텍스(432)의 쉐이딩 값을 결정할 수 있다. In the vertex-based shading, shading is performed on each of the vertices 422 to 434 of the 3D object 410. However, the 3D rendering device adaptively positions the point where the shading operation is performed based on the temporal characteristic or the spatial characteristic of the 3D scene You can decide. For example, the 3D rendering device may require shading with vertices 422, 424, 430, and 434 of some of the vertices 422 to 434 of the 3D object 410, as in the embodiment shown in FIG. 4 The determined points 450, 452, 454, and 456 may be determined as the shading points to be shaded. The 3D rendering apparatus performs shading on the shading points 422, 424, 430, 434, 450, 452, 454, and 456 and then performs the shading on the vertices 426, 428, and 432 Can be determined. For example, the 3D rendering device may determine the shading value of the vertex 432 by interpolating the shading values of the shading points 430, 452, and 454.

도 5는 일 실시예에 따른 쉐이딩 레벨에 따라 쉐이딩 포인트를 결정하는 일례를 설명하기 위한 도면이다.5 is a diagram for explaining an example of determining a shading point according to a shading level according to an embodiment.

도 5를 참조하면, 도면 부호(510)는 복수의 버텍스(515)들로 구성되는 3D 오브젝트를 나타낸다. 3D 렌더링 장치는 3D 오브젝트(510)의 버텍스(515)들에 대한 계층적 구조 정보를 생성할 수 있고, 계층적 구조 정보에 기초하여 쉐이딩 레벨에 따라 쉐이딩 포인트를 결정할 수 있다. 쉐이딩 레벨에 따라 3D 오브젝트(510)의 영역에서 쉐이딩이 수행될 쉐이딩 포인트가 결정될 수 있다. 쉐이딩 레벨이 하향될수록 쉐이딩이 수행될 쉐이딩 포인트의 개수는 증가될 수 있다.Referring to FIG. 5, reference numeral 510 denotes a 3D object composed of a plurality of vertices 515. The 3D rendering device may generate hierarchical structure information for the vertices 515 of the 3D object 510 and may determine a shading point according to the shading level based on the hierarchical structure information. The shading point at which the shading is performed in the area of the 3D object 510 may be determined according to the shading level. As the shading level is lowered, the number of shading points to be shaded can be increased.

일 실시예에 따르면, 제1 쉐이딩 레벨(520)에서는, 3D 오브젝트(510)의 버텍스(515)들 중 일부의 버텍스(522)들만이 쉐이딩 포인트로 결정될 수 있다. 따라서, 제1 쉐이딩 레벨(520)에서는 쉐이딩 포인트로 결정된 버텍스(522)들과 쉐이딩 포인트로 결정되지 않는 버텍스(525)들이 존재할 수 있다. 3D 렌더링 장치는 쉐이딩 포인트로 결정된 버텍스(522)들에 대해 쉐이딩을 수행하여 쉐이딩 값을 결정하고, 버텍스(522)들의 쉐이딩 값을 보간하여 쉐이딩 포인트로 결정되지 않은 버텍스(525)들의 쉐이딩 값을 결정할 수 있다. 3D 렌더링 장치는 전체가 아닌 일부 버텍스(522)들에 대해서만 쉐이딩 연산을 수행함으로써 렌더링을 보다 빠르게 수행할 수 있다.According to one embodiment, in the first shading level 520, only vertices 522 of some vertices 515 of the 3D object 510 may be determined as shading points. Thus, in the first shading level 520, there may be vertices 522 determined as a shading point and vertices 525 determined as a shading point. The 3D rendering device determines shading values of the vertices 522 determined as the shading points by interpolating the shading values of the vertices 522 by determining the shading values of the vertices 522 determined as the shading points . The 3D rendering device can perform rendering faster by performing shading operations only on some vertices 522 rather than whole.

일 실시예에 따르면, 3D 렌더링 장치는 쉐이딩 값이 결정된 쉐이딩 포인트들에 대해 델로네 삼각분할(Delaunay Triangulation)을 수행하여 영역을 삼각형의 형태를 가지는 복수의 서브 영역들로 분할하고, 쉐이딩 포인트들의 쉐이딩 값에 기초한 보간을 통해 쉐이딩 값이 결정되지 않은 버텍스들의 쉐이딩 값을 결정할 수 있다. 다른 실시예에 따르면, 3D 렌더링 장치는 3D 오브젝트의 메쉬(mesh)를 펼쳐놓은 아틀라스(atlas) 상에서 쉐이딩 포인트들을 결정하고, 쉐이딩 포인트들에 대해 쉐이딩을 수행한 후, 쉐이딩 포인트들의 쉐이딩 값에 기초한 보간을 통해 쉐이딩 값이 결정되지 않은 버텍스들의 쉐이딩 값을 결정할 수 있다.According to one embodiment, the 3D rendering device performs Delaunay triangulation on shading points whose shading values are determined, divides the area into a plurality of sub-areas having a triangle shape, and shading of the shading points Based on the value-based interpolation, the shading value of vertices whose shading values have not been determined can be determined. According to another embodiment, the 3D rendering device determines shading points on an atlas of a mesh of a 3D object, performs shading on the shading points, and then performs interpolation based on the shading values of the shading points The shading values of the vertices whose shading values are not determined can be determined.

제2 쉐이딩 레벨(530)에서는, 3D 오브젝트(510)의 버텍스(515)들이 모두 쉐이딩 포인트로 결정되지 않고, 대신 버텍스가 아닌 지점(535)들이 쉐이딩 포인트로 결정될 수 있다. 3D 렌더링 장치는 쉐이딩 포인트로 결정된 지점(535)들에 대해 쉐이딩을 수행하고, 쉐이딩 결과 값의 보간 과정을 통해 쉐이딩 포인트로 결정되지 않은 버텍스(532)들의 쉐이딩 값을 결정할 수 있다.In the second shading level 530, not all of the vertices 515 of the 3D object 510 are determined as shading points, and instead, vertices 535 that are not vertices can be determined as shading points. The 3D rendering apparatus may perform shading on the points 535 determined as the shading points and determine the shading values of the vertices 532 that are not determined as the shading points by interpolation of the shading result values.

제3 쉐이딩 레벨(540)에서는, 제1 쉐이딩 레벨(520)에서와 유사하게 3D 오브젝트(510)의 버텍스(515)들 중에서 쉐이딩 포인트로 결정된 버텍스(542)들과 쉐이딩 포인트로 결정되지 않는 버텍스(545)들이 존재할 수 있다. 또한, 3D 오브젝트(510)의 영역 내에서 버텍스가 아닌 지점(546)들이 추가적으로 쉐이딩 포인트로 결정될 수 있다. 지점(546)들의 위치는 예를 들어, 3D 오브젝트(510)의 영역 내 임의의 위치로 결정되거나 또는 3D 오브젝트(510)의 영역 내 밝기 값 분포에 따른 확률 값에 기초하여 결정될 수 있다. 밝기 값이 클수록 쉐이딩 포인트로 결정될 지점으로 결정될 확률 값이 더 클 수 있다. 3D 렌더링 장치는 쉐이딩 포인트로 결정된 버텍스(542)들 및 지점(546)들에 대해 쉐이딩을 수행하고, 쉐이딩 결과 값을 보간하여 쉐이딩 포인트로 결정되지 않은 버텍스(545)들의 쉐이딩 값을 결정할 수 있다.In the third shading level 540, vertices 542 determined as the shading point among the vertices 515 of the 3D object 510 and a vertex 542 determined as the shading point are determined similarly to the first shading level 520 545 may exist. In addition, non-vertex points 546 within the region of the 3D object 510 may additionally be determined as shading points. The location of the points 546 may be determined, for example, at any location within the area of the 3D object 510, or may be determined based on a probability value according to the distribution of brightness values within the area of the 3D object 510. [ The larger the brightness value, the larger the probability value to be determined as the point to be determined as the shading point. The 3D rendering device may perform shading on the vertices 542 and points 546 determined as shading points and interpolate the shading result values to determine shading values of the vertices 545 that are not determined as shading points.

제4 쉐이딩 레벨(550)에서는, 3D 오브젝트(510)의 버텍스(515)들 모두가 쉐이딩 포인트들로 결정되고, 각 버텍스(515)들에 대해 쉐이딩이 수행될 수 있다.In the fourth shading level 550, all of the vertices 515 of the 3D object 510 are determined as shading points, and shading can be performed on each vertex 515.

제5 쉐이딩 레벨(560)에서는, 3D 오브젝트(510)의 버텍스(515)들뿐만 아니라 3D 오브젝트(510) 상에서 3D 오브젝트(510)의 버텍스(515)가 아닌 지점(565)들이 추가적으로 쉐이딩 포인트들로 결정될 수 있다. 3D 렌더링 장치는 3D 오브젝트(510)가 표현되는 3D 장면의 시간적 특성 또는 공간적 특성에 기초하여 추가적으로 쉐이딩을 수행할 지점(565)들을 결정할 수 있다. 예를 들어, 보다 세밀한 쉐이딩 효과를 구현할 필요가 있는 경우(예를 들어, 조명 효과가 복잡한 경우), 3D 렌더링 장치는 3D 오브젝트(510)의 영역 내에 쉐이딩이 수행될 지점(565)들을 추가로 지정할 수 있다. 3D 렌더링 장치는 버텍스(515)들 및 추가적으로 결정된 지점(565)들에 대해 쉐이딩을 수행할 수 있다.In the fifth shading level 560, vertices 515 of the 3D object 510 as well as points 565 that are not the vertices 515 of the 3D object 510 on the 3D object 510 are additionally rendered as shading points Can be determined. The 3D rendering device may determine points (565) at which to perform additional shading based on the temporal or spatial characteristics of the 3D scene in which the 3D object (510) is represented. For example, if it is necessary to implement a finer shading effect (e.g., if the lighting effect is complex), the 3D rendering device may further specify points 565 where shading is to be performed within the area of the 3D object 510 . The 3D rendering device may perform shading on vertices 515 and additionally determined points 565. [

도 6은 일 실시예에 따른 쉐이딩 포인트의 쉐이딩 결과에 기초하여 다른 버텍스의 쉐이딩 값을 결정하는 일례를 설명하기 위한 도면이다.6 is a diagram for explaining an example of determining a shading value of another vertex based on a shading result of a shading point according to an embodiment.

도 6에 도시된 실시예에서는, 3D 오브젝트(610)가 버텍스들(612 내지 626)을 포함한다고 가정한다. 또한, 3D 렌더링 장치는 버텍스들(612 내지 626) 중 일부의 버텍스들(614, 616, 622, 624) 및 3D 오브젝트(610) 상의 지점들(632, 634, 636)을 쉐이딩이 수행될 쉐이딩 포인트들로 결정(630)하였다고 가정한다. 3D 렌더링 장치는 쉐이딩 포인트들(614, 616, 622, 624, 632, 634, 636)에 대해 쉐이딩을 수행하고, 쉐이딩 수행에 의해 결정된 쉐이딩 포인트들(614, 616, 622, 624, 632, 634, 636)의 쉐이딩 값(예를 들어, 컬러 값)에 기초하여 쉐이딩이 수행되지 않은 버텍스들(612, 618, 620, 626)의 쉐이딩 값을 결정할 수 있다. 예를 들어, 버텍스(626)의 경우, 3D 렌더링 장치는 버텍스(626)에 인접한 쉐이딩 포인트들(622, 624, 634, 636)의 쉐이딩 값을 보간하여 버텍스(626)의 쉐이딩 값을 결정(640)할 수 있다. 3D 렌더링 장치는 쉐이딩이 수행되지 않은 나머지 버텍스들(612, 618, 620)에 대해서도 이와 유사한 과정을 통해 쉐이딩 값을 결정할 수 있다. 쉐이딩 포인트들(614, 616, 622, 624, 632, 634, 636)의 쉐이딩 값 및 보간을 통해 결정된 버텍스들(612, 618, 620, 626)의 쉐이딩 값은 저장되고, 저장된 쉐이딩 값들은 다음 영상 프레임에 대한 쉐이딩 과정에서 이용될 수 있다.In the embodiment shown in FIG. 6, it is assumed that the 3D object 610 includes vertices 612 through 626. In addition, the 3D rendering apparatus may also include vertices 614, 616, 622, and 624 of vertices 612 to 626 and points 632, 634, and 636 on 3D object 610 to shading points (630). ≪ / RTI > The 3D rendering device performs shading on the shading points 614, 616, 622, 624, 632, 634, and 636 and determines the shading points 614, 616, 622, 624, 632, 634, 618, 620, 626 that have not been shaded based on the shading values (e.g., color values) of the vertices 636, 636. For example, in the case of the vertex 626, the 3D rendering device interpolates the shading values of the shading points 622, 624, 634, 636 adjacent to the vertex 626 to determine the shading value of the vertex 626, )can do. The 3D rendering device may determine the shading value for the remaining vertices 612, 618, and 620 that have not undergone shading by a similar process. The shading values of the vertices 612, 618, 620, and 626 determined through the shading values and interpolation of the shading points 614, 616, 622, 624, 632, 634, and 636 are stored, Can be used in the shading process for the frame.

도 7은 일 실시예에 따른 쉐이딩 포인트들의 쉐이딩 값에 기초하여 렌더링 영상의 픽셀 값을 결정하는 일례를 설명하기 위한 도면이다. 7 is a diagram for explaining an example of determining a pixel value of a rendered image based on a shading value of shading points according to an exemplary embodiment.

도 7의 실시예에서는, 버텍스들(715, 720, 725) 및 3D 오브젝트 상의 지점들(730, 735)에서 쉐이딩 값이 결정(710)되었다고 가정한다. 3D 렌더링 장치는 버텍스들(715, 720, 725)의 쉐이딩 값 및 지점들(730, 735)의 쉐이딩 값에 기초하여 각 픽셀별로 컬러 보간을 수행하여 픽셀들의 컬러 값을 결정할 수 있다. 예를 들어, 3D 렌더링 장치는 픽셀(720)에 인접한 버텍스(725)의 쉐이딩 값 및 지점들(730, 735)의 컬러 값을 보간하여 픽셀(720)의 컬러 값을 결정할 수 있다. 3D 렌더링 장치는 나머지 픽셀들에 대해서도 이와 유사한 과정을 반복적으로 수행하여 렌더링 결과 영상을 구성하는 픽셀들의 컬러 값을 결정할 수 있다.In the embodiment of FIG. 7, it is assumed that the shading values are determined 710 at vertices 715, 720, 725 and at points 730, 735 on the 3D object. The 3D rendering device may perform color interpolation for each pixel based on the shading values of the vertices 715, 720, and 725 and the shading values of the points 730 and 735 to determine the color value of the pixels. For example, the 3D rendering device may determine the color value of the pixel 720 by interpolating the shading value of the vertex 725 adjacent to the pixel 720 and the color value of the points 730, 735. The 3D rendering apparatus may repeatedly perform a similar process for the remaining pixels to determine the color values of the pixels constituting the rendering result image.

도 8a 및 도 8b는 일 실시예에 따른 직접 가상 광원과 간접 가상 광원 간의 관계를 설명하기 위한 도면들이다. 직접 가상 광원 및 간접 가상 광원은 컴퓨터 그래픽스에서 3D 오브젝트에 조명 효과를 부여하는 가상의 광원들을 나타낸다. 전술한 바와 같이, 직접 가상 광원은 3D 오브젝트에 빛을 직접 방사하는 가상 광원이고, 간접 가상 광원은 직접 가상 광원으로부터 방사된 빛이 반사, 회절 또는 굴절된 영역에서 빛을 방사하는 가상 광원이다.8A and 8B are diagrams for explaining a relationship between a direct virtual light source and an indirect virtual light source according to an embodiment. A direct virtual light source and an indirect virtual light source represent virtual light sources that give a lighting effect to a 3D object in computer graphics. As described above, a direct virtual light source is a virtual light source that directly radiates light to a 3D object, and an indirect virtual light source is a virtual light source that emits light in a region where light emitted from a direct virtual light source is reflected, diffracted, or refracted.

도 8a는 3D 모델을 구성하는 3D 오브젝트들(820, 830)과 직접 가상 광원(810)이 도시하고 있다. 여기서는, 설명의 편의를 위해 하나의 직접 가상 광원(810)만을 도시하였지만, 3D 모델에는 복수의 직접 가상 광원들이 존재할 수 있다. 직접 가상 광원(810)은 3D 오브젝트(820) 빛을 직접 방사한다. 직접 가상 광원(810)과 3D 오브젝트(820) 간의 위치 관계에 의해 3D 오브젝트(820)가 렌더링되는 가상 공간에서 일차적으로 밝은 영역과 어두운 영역이 결정될 수 있다. 직접 가상 광원(810)으로부터 방사된 빛은 3D 오브젝트(820)에 의해 반사, 굴절 또는 회절될 수 있다. 예를 들어, 직접 가상 광원(810)으로부터 출력된 빛(840)은 3D 오브젝트(820)에 반사된 후, 다른 3D 오브젝트(830) 예를 들어, 오브젝트(820)의 주변 영역을 둘러싸고 있는 벽면에 다시 반사될 수 있다. 3D 오브젝트들(820, 830)은 가상 카메라(815)의 시점에서 렌더링되고, 렌더링 결과 영상이 사용자에게 제공될 수 있다.8A shows the 3D objects 820 and 830 and the direct virtual light source 810 that constitute the 3D model. Here, only one direct virtual light source 810 is shown for convenience of explanation, but a plurality of direct virtual light sources may exist in the 3D model. The direct virtual light source 810 emits the light of the 3D object 820 directly. A bright region and a dark region can be determined in a virtual space in which the 3D object 820 is rendered by the positional relationship between the direct virtual light source 810 and the 3D object 820. [ Light emitted directly from the virtual light source 810 may be reflected, refracted, or diffracted by the 3D object 820. For example, the light 840 output from the direct virtual light source 810 is reflected on the 3D object 820 and then reflected on a wall surrounding another 3D object 830, e.g., the surrounding area of the object 820 It can be reflected again. The 3D objects 820 and 830 may be rendered at the viewpoint of the virtual camera 815, and a rendered image may be provided to the user.

3D 렌더링 장치는 직접 가상 광원(810)으로부터 출력된 빛에 의한 직접 광 효과뿐만 아니라 간접 가상 광원으로부터 출력된 빛에 의한 조명 효과를 적용하여 디테일한 렌더링 결과 영상을 생성할 수 있다. 3D 렌더링 장치는 직접 가상 광원뿐만 아니라 간접 가상 광원들을 3D 공간 상에 적절히 배치하여 보다 실감나는 조명 효과를 구현할 수 있다.The 3D rendering apparatus can generate a detailed rendering result image by applying not only the direct light effect by the light outputted from the direct virtual light source 810 but also the illumination effect by the light outputted from the indirect virtual light source. The 3D rendering device can realize a more realistic lighting effect by appropriately arranging the indirect virtual light sources as well as the virtual light sources directly on the 3D space.

도 8b를 참조하면, 도 8a에서 직접 가상 광원(810)으로부터 출력된 빛(840)이 3D 오브젝트(820)에 반사된 영역에 위치한 간접 가상 광원(855) 및 빛(840)이 다른 3D 오브젝트(830)에 반사된 영역들에 위치한 간접 가상 광원들(850, 860)이 도시되어 있다. 3D 오브젝트들(820, 830)의 렌더링 과정에서 직접 가상 광원(810)뿐만 아니라 간접 가상 광원들(850, 855, 860)에 의한 조명 효과가 3D 오브젝트들(820, 830)에 적용될 수 있다. 간접 가상 광원들(850, 855, 860)은 직접 가상 광원(810)뿐만 아니라 각 간접 가상 광원들(850, 855, 860)이 위치하는 영역의 특성에 영향을 받는다. 예를 들어, 간접 가상 광원들(850, 855, 860)에 의한 조명 효과는 각 간접 가상 광원들(850, 855, 860)이 위치한 3D 오브젝트 표면의 컬러 또는 재질에 영향을 받을 수 있다.Referring to FIG. 8B, an indirect virtual light source 855 and light 840 located in a region where light 840 output from the direct virtual light source 810 is reflected on the 3D object 820 in FIG. 830, indirect virtual light sources 850, 860 are shown. In the rendering process of the 3D objects 820 and 830, the lighting effect by the indirect virtual light sources 850, 855 and 860 as well as the virtual light sources 810 can be applied to the 3D objects 820 and 830. The indirect virtual light sources 850, 855 and 860 are influenced not only by the direct virtual light sources 810 but also by the characteristics of the regions in which the respective indirect virtual light sources 850, 855 and 860 are located. For example, the illumination effect by the indirect virtual light sources 850, 855, 860 may be affected by the color or material of the 3D object surface where each of the indirect virtual light sources 850, 855, 860 is located.

도 9는 일 실시예에 따른 3D 렌더링 장치의 구성을 도시하는 도면이다. 도 9를 참조하면, 3D 렌더링 장치(900)는 버텍스 쉐이더(910), 픽셀 쉐이더(920), 쉐이딩 포인트 쉐이더(930)를 포함한다.9 is a diagram showing a configuration of a 3D rendering apparatus according to an embodiment. Referring to FIG. 9, the 3D rendering apparatus 900 includes a vertex shader 910, a pixel shader 920, and a shading point shader 930.

버텍스 쉐이더(910)는 버텍스가 가지는 공간상 위치, 컬러, 노멀 벡터, 텍스쳐 등과 같은 버텍스 속성 정보에 기초하여 3D 장면에 나타난 버텍스들에 대해 버텍스 변환(vertex transform)을 수행할 수 있다. 버텍스 변환 과정은 버텍스의 위치를 이동시키는 과정, 버텍스의 노멀 벡터를 변환하는 과정, 버텍스에 대한 빛의 효과를 계산하는 과정, 버텍스의 컬러를 계산하는 과정, 및 텍스쳐 좌표를 생성 및 변환하는 과정 중 하나 이상을 포함할 수 있다.The vertex shader 910 may perform a vertex transform on the vertices displayed in the 3D scene based on the vertex attribute information such as spatial position, color, normal vector, texture, etc. of the vertex. The vertex transformation process involves moving the position of the vertex, converting the normal vector of the vertex, calculating the light effect on the vertex, calculating the color of the vertex, and generating and transforming the texture coordinates And may include one or more.

쉐이딩 포인트 쉐이더(930)는 도 1 내지 도 8b를 통하여 전술한 동작 중 쉐이딩 과정과 관련된 동작들을 수행할 수 있다. 예를 들어, 쉐이딩 포인트 쉐이더(930)는 3D 장면에 나타난 버텍스들을 복수의 버텍스 그룹들로 그룹핑하고, 각 버텍스 그룹별로 쉐이딩 레벨을 결정할 수 있다. 쉐이딩 포인트 쉐이더(930)는 결정된 쉐이딩 레벨에 따라 각 버텍스 그룹별로 쉐이딩을 수행할 쉐이딩 포인트를 결정하고, 결정된 쉐이딩 포인트에 대해 쉐이딩을 수행할 수 있다. 쉐이딩 포인트 쉐이더(930)는 쉐이딩이 수행된 쉐이딩 포인트들의 쉐이딩 값들을 보간하여 쉐이딩이 수행되지 않은 버텍스의 쉐이딩 값을 결정하는 것에 의해 3D 영상에 대한 쉐이딩 정보를 결정할 수 있다.The shading point shader 930 may perform operations related to the shading process during the operations described above with reference to Figs. 1 to 8B. For example, the shading point shader 930 may group the vertices represented in the 3D scene into a plurality of vertex groups, and determine a shading level for each vertex group. The shading point shader 930 may determine a shading point to perform shading for each vertex group according to the determined shading level, and may perform shading on the determined shading point. The shading point shader 930 may determine shading information for the 3D image by interpolating the shading values of the shading points subjected to the shading to determine shading values of the vertices that have not been shaded.

쉐이딩 포인트 쉐이더(930)는 버텍스 단위의 컬러 쉐이딩을 수행할 수 있고, 이러한 컬러 쉐이딩은 버텍스 쉐이더(910) 및 픽셀 쉐이더(920)의 각 렌더링 처리 과정과는 별도로 처리될 수 있다. 일 실시예에 따르면, 쉐이딩 포인트 쉐이더(930)에 의해 수행되는 쉐이딩 과정은 버텍스 쉐이더(910) 및 픽셀 쉐이더(920)의 파이프라인(pipeline)과는 별도의 과정으로서 진행될 수 있다. 이에 따라, 쉐이딩 포인트 및 버텍스들에 대한 쉐이딩 값이 저장될 수 있다. 저장된 쉐이딩 값은 다음 영상 프레임의 쉐이딩 정보를 결정하는데 이용될 수 있고, 이를 통해 영상 프레임들 간의 상관도가 증가하여 플리커링(flickering) 현상이 감소되고, 연산량이 절감될 수 있다.The shading point shader 930 may perform color shading in units of vertices, and such color shading may be processed separately from each rendering process of the vertex shader 910 and the pixel shader 920. According to one embodiment, the shading process performed by the shading point shader 930 may be performed as a separate process from the pipeline of the vertex shader 910 and the pixel shader 920. Accordingly, the shading value and the shading value for the vertices can be stored. The stored shading value can be used to determine the shading information of the next image frame, thereby increasing the degree of correlation between image frames, thereby reducing the flickering phenomenon and reducing the amount of computation.

일 실시예에 따르면, 쉐이딩 포인트 쉐이더(930)는 쉐이딩 결과에 기초하여 버텍스 그룹별로 쉐이딩 레벨을 결정할 수 있다. 쉐이딩 포인트 쉐이더(930)는 쉐이딩 레벨에 따른 컬러 값의 차분에 기초하여 각 버텍스 그룹에 적용될 최적의 쉐이딩 레벨을 결정할 수 있다. 예를 들어, 쉐이딩 포인트 쉐이더(930)는 현재 쉐이딩 레벨에 기초하여 쉐이딩을 수행한 결과와 현재 쉐이딩 레벨보다 하위의 쉐이딩 레벨에 기초하여 쉐이딩을 수행한 결과를 비교하여 레벨 차이에 따른 컬러 값의 차분을 계산하고, 차분이 임계 값 이상인 경우 현재 쉐이딩 레벨을 조정할 수 있다. 쉐이딩 포인트 쉐이더(930)는 조정된 쉐이딩 레벨에 기초하여 위와 같은 과정을 반복적으로 수행하고, 쉐이딩 레벨 차이에 따른 컬러 값의 차분이 임계 값보다 작아지게 하는 쉐이딩 레벨을 버텍스 그룹에 적용될 최적의 쉐이딩 레벨로 결정할 수 있다.According to one embodiment, the shading point shader 930 may determine the shading level for each vertex group based on the shading result. The shading point shader 930 may determine an optimal shading level to be applied to each vertex group based on the difference of the color values according to the shading level. For example, the shading point shader 930 compares the result of performing the shading based on the current shading level and the result of performing the shading based on the shading level lower than the current shading level, And adjusts the current shading level when the difference is equal to or greater than the threshold value. The shading point shader 930 repeatedly performs the above-described process based on the adjusted shading level, and determines a shading level at which the difference of the color value due to the difference in shading level becomes smaller than the threshold value, as an optimal shading level to be applied to the vertex group .

3D 장면에 대한 쉐이딩 정보가 결정되면, 쉐이딩 포인트 쉐이더(930)는 쉐이딩 정보를 픽셀 쉐이더(920)에 전달할 수 있고, 픽셀 쉐이더(920)는 쉐이딩 정보에 기초하여 각 픽셀별로 컬러 보간을 수행할 수 있다. 픽셀 쉐이더(920)는 픽셀이 속한 폴리곤(polygon)(예를 들어, 삼각형)을 형성하는 버텍스들의 컬러 값 및 쉐이딩이 수행된 쉐이딩 포인트의 컬러 값을 이용하여 컬러 보간을 수행할 수 있고, 이에 의해 렌더링 결과 영상에 포함되는 각 픽셀들의 컬러 값이 결정될 수 있다. 또한, 픽셀 쉐이더(920)는 3D 오브젝트 위에 텍스쳐를 입히는 텍스쳐 맵핑(texture mapping) 과정을 수행하여 가상의 3D 오브젝트에 재질감을 표현할 수 있다.Once the shading information for the 3D scene is determined, the shading point shader 930 may pass the shading information to the pixel shader 920 and the pixel shader 920 may perform color interpolation for each pixel based on the shading information have. The pixel shader 920 may perform color interpolation using the color values of the vertices that form the polygon (e.g., a triangle) to which the pixel belongs and the color value of the shading point on which the shading has been performed, The color value of each pixel included in the rendering result image can be determined. In addition, the pixel shader 920 may perform a texture mapping process of applying a texture on the 3D object to express a texture in a virtual 3D object.

다른 실시예에 따르면, 3D 렌더링 장치(900)는 간접 가상 광원을 샘플링하는 간접 가상 광원 샘플러(940)를 더 포함할 수 있다. 쉐이딩 포인트 쉐이더(930)는 직접 가상 광원에 의한 조명 정보뿐만 아니라 간접 가상 광원에 의한 조명 정보를 이용하여 쉐이딩을 수행할 수 있고, 해당 간접 가상 광원은 간접 가상 광원 샘플러(940)에 의해 샘플링될 수 있다. 간접 가상 광원의 샘플링 과정은 3D 공간 내에 간접 가상 광원을 배치시키는 과정을 포함할 수 있다. 간접 가상 광원 샘플러(940)는 간접 가상 광원들이 배치되는 영역 또는 3D 공간에 배치되는 간접 가상 광원의 개수를 조절하여 3D 오브젝트에 적용되는 간접 조명 효과를 제어할 수 있다.According to another embodiment, the 3D rendering apparatus 900 may further include an indirect virtual light source sampler 940 for sampling an indirect virtual light source. The shading point shader 930 can perform shading using not only the illumination information by the direct virtual light source but also the illumination information by the indirect virtual light source and the indirect virtual light source can be sampled by the indirect virtual light source sampler 940 have. The sampling process of the indirect virtual light source may include placing an indirect virtual light source within the 3D space. The indirect virtual light source sampler 940 can control the indirect lighting effect applied to the 3D object by adjusting the number of the indirect virtual light sources disposed in the region where the indirect virtual light sources are disposed or the 3D space.

일 실시예에 따르면, 간접 가상 광원 샘플러(940)는 라이트 시점 렌더링(light view rendering)의 결과 영상에서 간접 가상 광원을 샘플링하거나 또는 빛에 대한 광선 추적(ray tracing) 기법을 이용하여 간접 가상 광원을 샘플링할 수 있다. 예를 들어, 간접 가상 광원 샘플러(940)는 라이트 시점 렌더링의 결과 영상의 밝기 분포에 기초하여 밝기에 비례하는 확률 맵을 생성하고, 확률 맵을 통해 결정된 위치에 간접 가상 광원을 배치시킬 수 있다. 다른 예로, 간접 가상 광원 샘플러(940)는 광선 추적 기법을 통해 광이 3D 오브젝트와 충돌하는 위치를 결정하고, 결정된 위치에 간접 가상 광원을 배치시킬 수도 있다.According to one embodiment, the indirect virtual light source sampler 940 may either sample an indirect virtual light source in the resulting image of light view rendering or use an indirect virtual light source using a ray tracing technique for the light. Can be sampled. For example, the indirect virtual light source sampler 940 may generate a probability map that is proportional to the brightness based on the brightness distribution of the resulting image of the light point rendering, and may place the indirect virtual light source at the determined location through the probability map. As another example, the indirect virtual light source sampler 940 may determine the location at which the light collides with the 3D object through the ray tracing technique and place the indirect virtual light source at the determined location.

도 10은 다른 실시예에 따른 3D 렌더링 장치의 구성을 도시하는 도면이다. 도 10을 참조하면, 영상 처리 장치(1010)는 하나 이상의 프로세서(1020) 및 하나 이상의 메모리(1030)를 포함한다.10 is a diagram showing a configuration of a 3D rendering apparatus according to another embodiment. 10, the image processing apparatus 1010 includes one or more processors 1020 and one or more memories 1030. [

프로세서(1020)는 도 1 내지 도 9를 통하여 전술한 하나 이상의 동작을 수행한다. 예를 들어, 프로세서(1020)는 3D 장면 상에서 쉐이딩이 수행될 쉐이딩 포인트를 결정하고, 결정된 쉐이딩 포인트에 대해 쉐이딩을 수행할 수 있다. 여기서, 프로세서(1020)는 3D 장면의 버텍스들을 버텍스 그룹들로 그룹핑하고, 버텍스 그룹별로 결정된 쉐이딩 레벨에 기초하여 쉐이딩 포인트를 결정할 수 있다. 프로세서(1020)는 쉐이딩 포인트의 쉐이딩 결과에 기초하여 3D 장면에 대한 쉐이딩 정보를 결정하고, 쉐이딩 정보에 기초하여 렌더링 결과 영상을 생성할 수 있다.The processor 1020 performs one or more of the operations described above with respect to Figures 1-9. For example, the processor 1020 may determine shading points to be shaded on the 3D scene and perform shading on the determined shading points. Here, the processor 1020 can group the vertices of the 3D scene into vertex groups, and determine a shading point based on the shading level determined for each vertex group. The processor 1020 may determine the shading information for the 3D scene based on the shading result of the shading point, and may generate the rendering result image based on the shading information.

이와 같은 프로세서(1020)는 다수의 논리 게이트들의 어레이로 구현될 수 있으나, 다른 형태의 하드웨어로 구현될 수도 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 프로세서(1020)는 3D 오브젝트의 렌더링을 수행하기 위한 하나 이상의 그래픽스 프로세싱 유닛을 포함할 수 있다. 버텍스 및 쉐이딩 포인트에 대한 쉐이딩 정보는 그래픽스 프로세싱 유닛의 텍스쳐 버퍼에 저장될 수 있고, 저장된 쉐이딩 정보는 다음 영상 프레임에 대한 쉐이딩 과정에서 이용될 수 있다.Such a processor 1020 may be implemented as an array of a plurality of logic gates, but may be implemented by other types of hardware, as will be understood by those skilled in the art. In addition, the processor 1020 may include one or more graphics processing units for rendering 3D objects. The shading information for the vertex and the shading point may be stored in the texture buffer of the graphics processing unit, and the stored shading information may be used in the shading process for the next image frame.

메모리(1030)는 도 1 내지 도 9를 통하여 전술한 하나 이상의 동작을 수행하기 위한 인스트럭션들을 저장하거나 또는 3D 렌더링 장치(1010)가 운용되면서 획득된 데이터와 결과를 저장할 수 있다. 일부 실시예들에서, 메모리(1030)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 디바이스들, 플래쉬 메모리 디바이스들, 또는 기타 비휘발성 솔리드 스테이트 메모리 디바이스들)를 포함할 수 있다.The memory 1030 may store instructions to perform one or more of the operations described above with respect to FIGS. 1-9, or may store data and results obtained as the 3D rendering apparatus 1010 is operating. In some embodiments, the memory 1030 may be a non-volatile computer readable medium such as a high speed random access memory and / or a non-volatile computer readable storage medium (e.g., one or more disk storage devices, flash memory devices, Non-volatile solid state memory devices).

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented in hardware components, software components, and / or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, such as an array, a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a computer-readable medium may be those specially designed and constructed for an embodiment or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the drawings, various technical modifications and variations may be applied to those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

Claims (25)

3D 장면을 렌더링하는 3D 렌더링 방법에 있어서,
상기 3D 장면 상에서 쉐이딩(shading)이 수행될 쉐이딩 포인트를 결정하는 단계;
상기 쉐이딩 포인트에 대해 쉐이딩을 수행하는 단계; 및
상기 쉐이딩 포인트의 쉐이딩 결과에 기초하여 상기 3D 장면에 대한 쉐이딩 정보를 결정하는 단계
를 포함하는 3D 렌더링 방법.In a 3D rendering method for rendering a 3D scene,
Determining a shading point at which shading is to be performed on the 3D scene;
Performing shading on the shading point; And
Determining shading information for the 3D scene based on the shading result of the shading point
/ RTI > 제1항에 있어서,
상기 쉐이딩 포인트를 결정하는 단계는,
상기 3D 장면에서 3D 오브젝트의 버텍스들 중 일부의 버텍스를 상기 쉐이딩 포인트로 결정하는, 3D 렌더링 방법.The method according to claim 1,
Wherein determining the shading point comprises:
Determining a vertex of some of the vertices of the 3D object as the shading point in the 3D scene. 제1항에 있어서,
상기 쉐이딩 포인트를 결정하는 단계는,
상기 3D 장면에서 3D 오브젝트의 버텍스들 및 상기 3D 오브젝트 내의 추가 지점을 상기 쉐이딩 포인트로 결정하는, 3D 렌더링 방법.The method according to claim 1,
Wherein determining the shading point comprises:
Determining vertices of the 3D object in the 3D scene and an additional point in the 3D object as the shading point. 제1항에 있어서,
상기 쉐이딩 포인트는,
상기 3D 장면에서 3D 오브젝트의 버텍스들 중 일부의 버텍스만을 포함하는, 3D 렌더링 방법.The method according to claim 1,
The shading point,
Wherein only vertices of some of the vertices of the 3D object in the 3D scene are included. 제1항에 있어서,
상기 쉐이딩 포인트는,
상기 3D 장면에서 3D 오브젝트의 버텍스가 아닌 지점을 포함하는, 3D 렌더링 방법.The method according to claim 1,
The shading point,
Wherein the 3D scene includes a non-vertex point of the 3D object in the 3D scene. 제5항에 있어서,
상기 쉐이딩 포인트는,
상기 3D 오브젝트의 버텍스들 중 일부의 버텍스를 더 포함하는, 3D 렌더링 방법.6. The method of claim 5,
The shading point,
Further comprising a vertex of some of the vertices of the 3D object. 제5항에 있어서,
상기 쉐이딩 포인트는,
상기 3D 오브젝트의 모든 버텍스들을 더 포함하는, 3D 렌더링 방법.6. The method of claim 5,
The shading point,
Further comprising all vertices of the 3D object. 제1항에 있어서,
상기 쉐이딩 포인트를 결정하는 단계는,
상기 3D 장면에서 3D 오브젝트의 버텍스들 중 일부의 버텍스 및 상기 3D 오브젝트 내의 추가 지점을 상기 쉐이딩 포인트로 결정하는, 3D 렌더링 방법.The method according to claim 1,
Wherein determining the shading point comprises:
Determining a vertex of some of the vertices of the 3D object in the 3D scene and an additional point in the 3D object as the shading point. 제1항에 있어서,
상기 쉐이딩 포인트를 결정하는 단계는,
상기 3D 장면의 공간적 특성 및 시간적 특성 중 적어도 하나에 기초하여 상기 쉐이딩이 수행될 쉐이딩 포인트를 결정하는, 3D 렌더링 방법.The method according to claim 1,
Wherein determining the shading point comprises:
And determine a shading point at which the shading is to be performed based on at least one of a spatial characteristic and a temporal characteristic of the 3D scene. 제9항에 있어서,
상기 쉐이딩 포인트를 결정하는 단계는,
가상 광원에 대한 정보, 가상 카메라에 대한 정보, 상기 3D 장면에 포함된 3D 오브젝트에 대한 정보 및 이전 영상 프레임의 쉐이딩 결과 중 적어도 하나에 기초하여 상기 쉐이딩 포인트를 결정하는, 3D 렌더링 방법.10. The method of claim 9,
Wherein determining the shading point comprises:
Wherein the shading point is determined based on at least one of information about a virtual light source, information about a virtual camera, information about a 3D object included in the 3D scene, and a shading result of a previous image frame. 제10항에 있어서,
상기 가상 광원에 대한 정보는, 상기 가상 광원의 위치, 컬러, 밝기, 방향, 각도 및 이동 속도 중 적어도 하나에 대한 정보를 포함하고,
상기 가상 카메라에 대한 정보는, 상기 가상 카메라의 위치, 방향, 각도 및 이동 속도 중 적어도 하나에 대한 정보를 포함하고,
상기 3D 오브젝트에 대한 정보는, 상기 3D 오브젝트의 형상, 컬러 및 재질 중 적어도 하나에 대한 정보를 포함하는, 3D 렌더링 방법.11. The method of claim 10,
Wherein the information about the virtual light source includes information on at least one of the position, color, brightness, direction, angle, and moving speed of the virtual light source,
Wherein the information on the virtual camera includes information on at least one of a position, a direction, an angle, and a moving speed of the virtual camera,
Wherein the information on the 3D object includes information on at least one of a shape, a color, and a material of the 3D object. 제1항에 있어서,
상기 쉐이딩 포인트를 결정하는 단계는,
상기 3D 장면의 버텍스들을 버텍스 그룹들로 그룹핑하는 단계; 및
상기 버텍스 그룹별로 하나 이상의 상기 쉐이딩 포인트를 결정하는 단계
를 포함하는 3D 렌더링 방법.The method according to claim 1,
Wherein determining the shading point comprises:
Grouping the vertices of the 3D scene into vertex groups; And
Determining one or more of the shading points for each vertex group
/ RTI > 제12항에 있어서,
상기 버텍스들을 버텍스 그룹들로 그룹핑하는 단계는,
상기 버텍스들의 위치, 상기 버텍스들의 노멀(normal), 이전 영상 프레임의 쉐이딩 결과 및 상기 버텍스들이 동일한 3D 오브젝트에 포함되는지 여부 중 적어도 하나에 기초하여 상기 버텍스들을 상기 버텍스 그룹들로 그룹핑하는, 3D 렌더링 방법.13. The method of claim 12,
Wherein grouping the vertices into vertex groups comprises:
Grouping the vertices into the vertex groups based on at least one of a position of the vertices, a normal of the vertices, a shading result of a previous image frame, and whether the vertices are included in the same 3D object. . 제12항에 있어서,
상기 쉐이딩 포인트를 결정하는 단계는,
가상 광원의 움직임, 가상 카메라의 움직임, 3D 오브젝트의 움직임, 인접 버텍스들 간의 밝기 차이 및 버텍스의 위치 중 적어도 하나에 기초하여 상기 쉐이딩 레벨을 결정하는 단계
를 더 포함하는 3D 렌더링 방법.13. The method of claim 12,
Wherein determining the shading point comprises:
Determining the shading level based on at least one of a virtual light source motion, a virtual camera motion, a 3D object motion, a brightness difference between adjacent vertices, and a position of a vertex
Gt; a < / RTI > 3D rendering method. 제14항에 있어서,
상기 쉐이딩 포인트를 결정하는 단계는,
상기 쉐이딩 레벨에 따라 상기 버텍스 그룹들마다 쉐이딩이 수행될 상기 쉐이딩 포인트를 결정하는, 3D 렌더링 방법.15. The method of claim 14,
Wherein determining the shading point comprises:
And determining the shading points to be shaded for each of the vertex groups according to the shading level. 제12항에 있어서,
상기 3D 장면의 버텍스들을 버텍스 그룹들로 그룹핑하는 단계는,
상기 버텍스 그룹별로 상기 쉐이딩 포인트에 대한 계층적 구조 정보를 결정하는 단계
를 포함하는 3D 렌더링 방법.13. The method of claim 12,
Wherein grouping the vertices of the 3D scene into vertex groups comprises:
Determining hierarchical structure information for the shading point for each vertex group
/ RTI > 제1항에 있어서,
상기 쉐이딩 정보를 결정하는 단계는,
복수의 쉐이딩 포인트들의 쉐이딩 값을 보간(interpolation)하여 상기 쉐이딩 포인트들에 인접한 버텍스의 쉐이딩 값을 결정하는 단계
를 포함하는 3D 렌더링 방법.The method according to claim 1,
Wherein the determining of the shading information comprises:
Interpolating a shading value of a plurality of shading points to determine a shading value of a vertex adjacent to the shading points
/ RTI > 제17항에 있어서,
상기 쉐이딩 정보를 결정하는 단계는,
상기 쉐이딩 포인트들의 쉐이딩 값들 및 상기 결정된 버텍스의 쉐이딩 값을 보간하여 상기 3D 장면의 렌더링 결과 영상에 포함된 픽셀들의 컬러 값을 결정하는 단계
를 포함하는 3D 렌더링 방법.18. The method of claim 17,
Wherein the determining of the shading information comprises:
Determining a color value of pixels included in the rendered image of the 3D scene by interpolating the shading values of the shading points and the determined shading value of the vertex
/ RTI > 제17항에 있어서,
상기 쉐이딩 정보를 결정하는 단계는,
상기 쉐이딩 포인트들의 쉐이딩 값 및 상기 버텍스의 쉐이딩 값을 텍스쳐 버퍼(texture buffer)에 저장하는 단계
를 포함하는 3D 렌더링 방법.18. The method of claim 17,
Wherein the determining of the shading information comprises:
Storing a shading value of the shading points and a shading value of the vertex in a texture buffer
/ RTI > 제1항에 있어서,
상기 쉐이딩을 수행하는 단계는,
직접 가상 광원 및 간접 가상 광원 중 적어도 하나에 의한 조명 효과에 기초하여 상기 쉐이딩 포인트의 컬러 값을 결정하고,
상기 조명 효과는, 가려짐에 의한 그림자 효과를 포함하는, 3D 렌더링 방법.The method according to claim 1,
The step of performing the shading includes:
Determining a color value of the shading point based on a lighting effect by at least one of a direct virtual light source and an indirect virtual light source,
Wherein the illumination effect comprises a shadow effect due to occlusion. 컴퓨팅 하드웨어가 제1항 내지 제20항 중 어느 하나의 항의 방법을 실행하도록 하는 인스트럭션들을 저장하는 비일시적인(non-transitory) 컴퓨터 판독 가능한 저장 매체.20. A non-transitory computer readable storage medium storing instructions that cause a computing hardware to perform the method of any one of claims 1 to 20. 적어도 하나의 프로세서; 및
상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고,
상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
3D 장면 상에서 쉐이딩이 수행될 쉐이딩 포인트를 결정하는 동작;
상기 쉐이딩 포인트에 대해 쉐이딩을 수행하는 동작; 및
상기 쉐이딩 포인트의 쉐이딩 결과에 기초하여 상기 3D 장면에 대한 쉐이딩 정보를 결정하는 동작
을 실행하도록 구성되는 3D 렌더링 장치.At least one processor; And
And at least one memory for storing instructions to be executed by the processor,
The instructions, when executed by the processor, cause the processor to:
Determining a shading point at which shading is to be performed on the 3D scene;
Performing shading on the shading point; And
Determining shading information for the 3D scene based on the shading result of the shading point;
The 3D rendering device comprising: 제22항에 있어서,
상기 쉐이딩 포인트를 결정하는 동작은,
복수의 쉐이딩 포인트들의 쉐이딩 값을 보간하여 상기 쉐이딩 포인트들에 인접한 버텍스 및 다른 쉐이딩 포인트 중 적어도 하나의 쉐이딩 값을 결정하는 동작을 포함하는 3D 렌더링 장치.23. The method of claim 22,
Wherein the determining of the shading point comprises:
And interpolating a shading value of the plurality of shading points to determine a shading value of at least one of a vertex adjacent to the shading points and another shading point. 제22항에 있어서,
상기 쉐이딩 포인트를 결정하는 동작은,
상기 3D 장면의 버텍스들을 버텍스 그룹들로 그룹핑하는 동작; 및
쉐이딩 레벨에 기초하여 상기 버텍스 그룹들마다 하나 이상의 상기 쉐이딩 포인트를 결정하는 동작
을 포함하는 3D 렌더링 장치.23. The method of claim 22,
Wherein the determining of the shading point comprises:
Grouping the vertices of the 3D scene into vertex groups; And
Determining one or more of the shading points for each of the vertex groups based on a shading level
/ RTI > 제22항에 있어서,
상기 인스트럭션들은, 상기 프로세서로 하여금,
현재 버텍스와 스크린 간의 거리 및 상기 현재 버텍스가 그림자 영역에 존재하는지 여부 중 적어도 하나에 기초하여 다음 영상 프레임에서 상기 현재 버텍스의 쉐이딩 값을 업데이트할지 여부를 결정하는 동작
를 더 실행하도록 구성되는 3D 렌더링 장치.23. The method of claim 22,
The instructions cause the processor to:
Determining whether to update the shading value of the current vertex in the next image frame based on at least one of the distance between the current vertex and the screen and whether the current vertex is in a shadow region
Wherein the 3D rendering device is further configured to:
KR1020160068960A 2015-11-06 2016-06-02 3d graphic rendering method and apparatus KR102558739B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016214922A JP6910130B2 (en) 2015-11-06 2016-11-02 3D rendering method and 3D rendering device
US15/343,972 US10332301B2 (en) 2015-11-06 2016-11-04 3D graphic rendering method and apparatus
CN201610978296.3A CN106683199B (en) 2015-11-06 2016-11-07 3D graphics rendering method and device
EP16197470.4A EP3166078B1 (en) 2015-11-06 2016-11-07 3d graphic rendering method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150156129 2015-11-06
KR20150156129 2015-11-06

Publications (2)

Publication Number Publication Date
KR20170053557A true KR20170053557A (en) 2017-05-16
KR102558739B1 KR102558739B1 (en) 2023-07-25

Family

ID=59035247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160068960A KR102558739B1 (en) 2015-11-06 2016-06-02 3d graphic rendering method and apparatus

Country Status (1)

Country Link
KR (1) KR102558739B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021146451A1 (en) * 2020-01-16 2021-07-22 Fyusion, Inc. Creating action shot video from multi-view capture data
US11252398B2 (en) 2020-01-16 2022-02-15 Fyusion, Inc. Creating cinematic video from multi-view capture data
KR20220145249A (en) * 2021-04-21 2022-10-28 (주)올포랜드 Method for providing advertisement in virtual reality, server for providing virtual reality and computer program for the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5266212A (en) * 1975-11-27 1977-06-01 Satsuporoshi System for continuously detecting train with inductive line
US20150070355A1 (en) * 2013-09-12 2015-03-12 Franz P. Clarberg Adaptive Multi-Frequency Shading

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5266212A (en) * 1975-11-27 1977-06-01 Satsuporoshi System for continuously detecting train with inductive line
US20150070355A1 (en) * 2013-09-12 2015-03-12 Franz P. Clarberg Adaptive Multi-Frequency Shading

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Christopher A. Burns, et al.，‘A Lazy Object-Space Shading Architecture With Decoupled Sampling’，High-Performance Graphics 2010, June 2010.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021146451A1 (en) * 2020-01-16 2021-07-22 Fyusion, Inc. Creating action shot video from multi-view capture data
US11252398B2 (en) 2020-01-16 2022-02-15 Fyusion, Inc. Creating cinematic video from multi-view capture data
US11869135B2 (en) 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data
KR20220145249A (en) * 2021-04-21 2022-10-28 (주)올포랜드 Method for providing advertisement in virtual reality, server for providing virtual reality and computer program for the same

Also Published As

Publication number Publication date
KR102558739B1 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
JP6910130B2 (en) 3D rendering method and 3D rendering device
US11734879B2 (en) Graphics processing using directional representations of lighting at probe positions within a scene
WO2017206325A1 (en) Calculation method and apparatus for global illumination
US8207968B1 (en) Method and apparatus for irradiance caching in computing indirect lighting in 3-D computer graphics
JP7344267B2 (en) Importance sampling to determine light map
KR20170034727A (en) Shadow information storing method and apparatus, 3d rendering method and apparatus
KR20170081335A (en) 3d rendering method and 3d rendering apparatus
CN111986304A (en) Rendering a scene using a combination of ray tracing and rasterization
KR102399686B1 (en) 3d rendering method and apparatus
KR102558739B1 (en) 3d graphic rendering method and apparatus
KR102285840B1 (en) Method for rendering image and Image outputting device thereof
KR20160017517A (en) Method and apparatus for processing image
KR101118597B1 (en) Method and System for Rendering Mobile Computer Graphic
CN116681860A (en) Feature line rendering method and device, electronic equipment and storage medium
KR20150128536A (en) Method and apparatus for processing image
Beck-Norén Andreas Valter, andva287@ student. liu. se September 9, 2013

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant