KR101598374B1 - 영상 처리 장치 및 방법 - Google Patents
영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR101598374B1 KR101598374B1 KR1020090088983A KR20090088983A KR101598374B1 KR 101598374 B1 KR101598374 B1 KR 101598374B1 KR 1020090088983 A KR1020090088983 A KR 1020090088983A KR 20090088983 A KR20090088983 A KR 20090088983A KR 101598374 B1 KR101598374 B1 KR 101598374B1
- Authority
- KR
- South Korea
- Prior art keywords
- vpls
- vpl
- shadow map
- sampling
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
Abstract
영상 처리 장치가 제공된다. 상기 영상 처리 장치는 제1 시점에서 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL(Virtual Point Light)에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 제1 계산부, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 선택부, 및 상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 제2 계산부를 포함한다.
렌더링, rendering, radiosity, shadow map
Description
3D 모델로 구성된 오브젝트에 대한 실시간 렌더링에 연관되며, 보다 특정하게는 Radiosity 기법에 의한 렌더링 과정에서 VPL을 상기 3D 모델 위에 배치하는 과정에 연관된다.
하드웨어 및 소프트웨어의 발전에 따라, 3??Dimensional (3D) 게임, 가상현실(virtual world) 애니메이션, 영화 등 다양한 분야에서, 3D 모델에 대한 실시간 렌더링(real??time rendering)에 대한 관심이 높아지고 있다.
고품질 3D 렌더링을 위해서는 연산 양이 매우 커지는데, 기존에는 하드웨어의 성능이 낮아서, 실시간 렌더링에 한계가 있었다. 따라서, 종래의 연구들은, 하드웨어의 성능을 높이는 방향과 연산을 효율적으로 수행함으로써 연산양 자체를 줄이는 방향 등으로 진행되어 왔다.
한편, 3D 렌더링 기법 중, Radiosity는 3D 모델 내에 존재하는 라이트(light)에 의한 직접 조명을 받는 부분뿐만 아니라, 상기 직접 조명이 오브젝트에 의해 반사된 반사광이나 난반사 현상 등에 의한 간접조명까지 고려하여 렌더링 품질을 향상시키는 방법이다.
이 경우, 3D 모델 내의 특정 위치에 VPL(Virtual Point Light)를 위치시키고, VPL의 시점(point of view)으로부터의 섀도우 맵(Shadow map)을 작성하는 과정이 요구된다. 그런데, 렌더링 품질을 높이기 위해 VPL 개수를 크게 할수록 연산양이 커진다.
고품질 3D 렌더링을 위해서는 연산 양이 매우 커지는데, 기존에는 하드웨어의 성능이 낮아서, 실시간 렌더링에 한계가 있었다. 따라서, 종래의 연구들은, 하드웨어의 성능을 높이는 방향과 연산을 효율적으로 수행함으로써 연산양 자체를 줄이는 방향 등으로 진행되어 왔다.
한편, 3D 렌더링 기법 중, Radiosity는 3D 모델 내에 존재하는 라이트(light)에 의한 직접 조명을 받는 부분뿐만 아니라, 상기 직접 조명이 오브젝트에 의해 반사된 반사광이나 난반사 현상 등에 의한 간접조명까지 고려하여 렌더링 품질을 향상시키는 방법이다.
이 경우, 3D 모델 내의 특정 위치에 VPL(Virtual Point Light)를 위치시키고, VPL의 시점(point of view)으로부터의 섀도우 맵(Shadow map)을 작성하는 과정이 요구된다. 그런데, 렌더링 품질을 높이기 위해 VPL 개수를 크게 할수록 연산양이 커진다.
라이트 뷰에서 일률적으로 VPL을 배치하는 경우, 카메라 뷰에서 렌더링하는 영상에 도움이 되지 않는 연산의 낭비가 있으므로, 이러한 연산의 낭비를 크게 감소시켜, 렌더링 처리 속도를 향상시키는 영상 처리 장치 및 방법이 제공된다.
Radiosity 기법에 의한 렌더링에 있어서, 적은 개수의 VPL을 이용하여 렌더링된 영상을 제공한 이후, 적응적으로 VPL 수를 늘려 나아가면서 더 나은 렌더링 영상을 제공할 수 있는, 영상 처리 장치 및 방법이 제공된다.
Radiosity 기법에 의한 렌더링에 있어서, 적은 개수의 VPL을 이용하여 렌더링된 영상을 제공한 이후, 적응적으로 VPL 수를 늘려 나아가면서 더 나은 렌더링 영상을 제공할 수 있는, 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 제1 시점에서 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL(Virtual Point Light)에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 제1 계산부, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 선택부, 및 상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 제2 계산부를 포함하는 영상 처리 장치가 제공된다.
한편, 상기 영상 처리 장치는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링하는 렌더링부를 더 포함할 수 있다.
또한, 상기 영상 처리 장치는, 상기 제2 시점에서 상기 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 제3 계산부를 더 포함할 수 있다.
이 경우, 상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링 한다.
여기서 상기 적어도 하나의 보조 VPL은, 상기 3D 모델의 오브젝트 중 상기 제2 시점에 노출되는 부분 및 상기 제2 시점의 뒷부분에 배치되는 VPL이다.
그리고, 상기 렌더링부는 래이디오시티(Radiosity) 기법을 이용하여 상기 영상을 렌더링한다. 상기 제1 시점은, 상기 3D 모델 내의 라이트 위치이고, 상기 제2 시점은 상기 영상을 렌더링 하고자 하는 카메라 뷰 위치이다.
본 발명의 다른 일측에 따르면, 제1 시점에서 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 제1 계산부, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 3D 모델을 제2 시점에서 바라본 영상을 렌더링하는 렌더링부, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 선택부, 및 상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 제2 계산부를 포함하는 영상 처리 장치가 제공된다.
이 경우, 상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼 샘플링 VPL의 섀도우 맵을 이용하여 상기 영상을 업데이트 한다.
그리고, 상기 영상 처리 장치는, 상기 제2 시점에서 상기 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 제3 계산부를 더 포함할 수 있다.
이 경우, 상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 영상을 업데이트 한다.
본 발명의 또 다른 일측에 따르면, 제1 시점에서 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 단계, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 단계, 및 상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 단계를 포함하는 영상 처리 방법이 제공된다.
그리고 상기 영상 처리 방법은, 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링 하는 단계를 더 포함할 수 있다.
또한, 상기 영상 처리 방법은, 상기 제2 시점에서 상기 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 단계를 더 포함할 수 있다.
이 경우, 상기 렌더링 하는 단계에서는, 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상이 렌더링 된다.
본 발명의 또 다른 일측에 따르면, 제1 시점에서 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 단계, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 3D 모델을 제2 시점에서 바라본 영상을 렌더링하는 단계, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 단계, 상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 단계, 및 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼 샘플링 VPL의 섀도우 맵을 이용하여 상기 영상을 업데이트 하는 단계를 포함하는, 영상 처리 방법이 제공된다.
한편, 상기 영상 처리 장치는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링하는 렌더링부를 더 포함할 수 있다.
또한, 상기 영상 처리 장치는, 상기 제2 시점에서 상기 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 제3 계산부를 더 포함할 수 있다.
이 경우, 상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링 한다.
여기서 상기 적어도 하나의 보조 VPL은, 상기 3D 모델의 오브젝트 중 상기 제2 시점에 노출되는 부분 및 상기 제2 시점의 뒷부분에 배치되는 VPL이다.
그리고, 상기 렌더링부는 래이디오시티(Radiosity) 기법을 이용하여 상기 영상을 렌더링한다. 상기 제1 시점은, 상기 3D 모델 내의 라이트 위치이고, 상기 제2 시점은 상기 영상을 렌더링 하고자 하는 카메라 뷰 위치이다.
본 발명의 다른 일측에 따르면, 제1 시점에서 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 제1 계산부, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 3D 모델을 제2 시점에서 바라본 영상을 렌더링하는 렌더링부, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 선택부, 및 상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 제2 계산부를 포함하는 영상 처리 장치가 제공된다.
이 경우, 상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼 샘플링 VPL의 섀도우 맵을 이용하여 상기 영상을 업데이트 한다.
그리고, 상기 영상 처리 장치는, 상기 제2 시점에서 상기 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 제3 계산부를 더 포함할 수 있다.
이 경우, 상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 영상을 업데이트 한다.
본 발명의 또 다른 일측에 따르면, 제1 시점에서 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 단계, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 단계, 및 상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 단계를 포함하는 영상 처리 방법이 제공된다.
그리고 상기 영상 처리 방법은, 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링 하는 단계를 더 포함할 수 있다.
또한, 상기 영상 처리 방법은, 상기 제2 시점에서 상기 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 단계를 더 포함할 수 있다.
이 경우, 상기 렌더링 하는 단계에서는, 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상이 렌더링 된다.
본 발명의 또 다른 일측에 따르면, 제1 시점에서 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 단계, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 3D 모델을 제2 시점에서 바라본 영상을 렌더링하는 단계, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 단계, 상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 단계, 및 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼 샘플링 VPL의 섀도우 맵을 이용하여 상기 영상을 업데이트 하는 단계를 포함하는, 영상 처리 방법이 제공된다.
적응적인 VPL 배치를 통해 3D 렌더링을 수행하므로, 렌더링을 위한 연산 양이 감소되고, 따라서 동일한 품질의 영상을 얻기 위해 요구되는 자원(resource)을 줄일 수 있다.
요구되는 퀄리티에 부응하여 3D 렌더링 연산양을 유동적으로 조절할 수 있고, 연산 과정의 렌더링 결과를 실시간으로 제공할 수 있다.
요구되는 퀄리티에 부응하여 3D 렌더링 연산양을 유동적으로 조절할 수 있고, 연산 과정의 렌더링 결과를 실시간으로 제공할 수 있다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한다.
제1 계산부(110)는 샘플링 VPL들 각각의 섀도우 맵을 계산한다. 상기 샘플링 VPL은 라이트 뷰에서 상기 3D 모델을 바라본 오브젝트 부분 위에, 비교적 적은 개수만큼 배치된 것이다. 샘플링 VPL들의 배치에 관한 보다 상세한 과정은 도 6을 참조하여 후술한다.
그리고, 선택부(140)는 상기 배치된 샘플링 VPL들 중, 영상을 렌더링 하고자 하는 카메라 뷰에서의 영상 렌더링에 영향을 주는 일부의 시드 VPL들을 선택한다.
이러한 시드 VPL 선택에 있어서, 상기 선택부(140)는 상기 카메라 뷰 부분에 대한 섀도우 테스트를 이용할 수 있다.
그리고 제2 계산부(120)는, 상기 시드 VPL들 주위에 배치되는 복수 개의 수퍼샘플링 VPL들 각각의 섀도우 맵을 계산한다.
이러한 수퍼샘플링 VPL들의 배치 및 섀도우 맵 계산에 관한 보다 상세한 내용은 도 7을 참조하여 후술한다.
그리고, 상기 수퍼샘플링 VPL들 이외에, 카메라 뷰에서의 영상 렌더링에 영향을 줄 수 있는 보조 VPL들이 추가적으로 배치되고, 제3 계산부(130)는 이러한 보조 VPL들 각각의 섀도우 맵을 계산한다.
본 발명의 일 실시예에 따르면, 상술한 수퍼샘플링 VPL들 배치 및 각각의 섀도우 맵 계산 이후에 상기 보조 VPL들의 배치와 섀도우 맵 계산이 이루어 질 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 상기 제2 계산부(120)와 제3 계산부(130)의 동작은 동시에 또는 역순으로 수행될 수 있다. 물론, 일부 동작이 생략되는 것도 가능하다.
그리고 렌더링부(150)는 상기 시드 VPL들 각각의 섀도우 맵들, 상기 수퍼샘플링 VPL들 각각의 섀도우 맵들, 및 상기 보조 VPL들 각각의 섀도우 맵들, 또는 그 일부를 이용하여 상기 카메라 뷰에서의 영상을 렌더링 한다.
한편, 상술한 바와 같이, 계산부(110) 내지 계산부(130)의 계산 동작 이후에, 렌더링부(150)가 영상을 렌더링할 수도 있으나, 본 발명은 이에 한정되지 않는다. 따라서, 다른 실시예에서는 계산부(110)의 계산 이후에 바로 렌더링부(150)가 초기 렌더링 결과를 제공하고, 그 이후에 계산부(120) 내지 계산부(130)의 계산 결과가 도출되는 경우에, 연속적으로 또는 비연속적으로 상기 초기 렌더링 결과를 업데이트 하여, 보다 품질이 높은 렌더링 영상을 제공할 수 있다.
영상 처리 장치(100)의 보다 상세한 동작은 도 6 내지 도 9를 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법에 의해 렌더링 되는 예시적 3D 모델(200)의 오브젝트를 도시한다.
3D 모델(200)은, 정면의 일부분이 개방된 방(room)을 나타내는 오브젝트(210)와, 상기 방 내에 위치한 원기둥 형태의 오브젝트(220)를 포함한다. 물론 상기 3D 모델(200)은 설명의 편의를 위해 간단하게 표현된 예시적인 것에 불과하며, 본 발명이 특정 실시예에 의해 제한적으로 해석되어서는 안 된다.
현재 도 2에서 도시되는 3D 모델(200)의 모습은, 상기 3D 모델의 라이트 뷰(light view, 이하에서는 "제1 시점"이라고도 함)에서 바라본 모습이다.
도시된 3D 모델(200)의 예시에서 상기 오브젝트(210) 내부에는 다른 독립 조명이 존재하지 않는다고 가정한다.
상기 3D 모델(200)의 평면도 및 영상을 렌더링 하고자 하는 카메라 뷰(camera view, 이하에서는 "제2 시점"이라고도 함)에 관해서는 도 3을 참조하여 후술한다.
도3은 도 2의 3D 모델(200)의 오브젝트들 및 광원(Light)(301)을 위에서 바라본 구조를 도시한 평면도이다.
3D 모델(200)의 렌더링을 위해 고려되는 광원(301)은 육면체 방(room) 형태의 오브젝트(210)의 외부에 위치하며, 오브젝트(210)가 개방되어 있는 전면부의 틈을 통하여 상기 오브젝트(210) 내부에 빛을 제공한다.
상기 오브젝트(210) 외부에 존재하는 광원(301)의 빛이 상기 오브젝트(210) 내에 도달하는 범위가 각도(310)에 의해 표현된다. 상기 오브젝트(210) 내부에서 상기 각도(310)를 벗어나는 부분에는 직접 광(direct light)은 도달하지 않는다.
영상을 렌더링 하고자 하는 카메라 뷰(302)에서 바라본 영역이 각도(320)으로 표현된다. 이하에서는, 상기 각도(320) 내의 영역의 칼라 값을 계산하여, 영상을 렌더링 하는 상세한 과정이 서술된다.
도 4는 도 3의 라이트 뷰에서 일률적으로 VPL을 배치한 경우의 렌더링 과정을 도시한다.
래이디오시티(Radiosity)는, 3D 렌더링 기법의 하나로서, 빛의 반사와 같은 자연 현상을 대표하는 가상의 포인트 광원(Virtual Point Light, VPL)을 3D 모델 위에 배치하고, VPL들에 의한 오브젝트의 칼라 값 변화를 고려해서 영상을 렌더링 하는 기법이다.
일반적으로 VPL의 개수를 많이 설정할수록, 렌더링 품질을 향상되나, 연산양이 크게 증가하여, 렌더링 속도는 낮아진다.
도 4에의 예에서는 라이트 뷰에서, 상기 3D 모델(200) 위에, 가로 17개 * 세로 13개, 총 221개의 VPL을 배치시켰다.
이렇게 되면 렌더링을 위해서는 221개의 VPL에 대하여 섀도우 맵(Shadow map)을 생성하는 연산이 요구된다.
그러나, 도 3을 참고하면, 상기 221개의 VPL 모두가 영상을 렌더링 하고자 하는 카메라 뷰(302)의 범위(320) 내에 존재하는 것이 아니다.
도 4의 예를 관찰하면, 예를 들어 VPL(421, 422 및 423)과 같은, 오브젝트(210) 전면에 개방된 틈 내부에 존재하는 가로 3개 * 세로 11개, 총 33개의 VPL 만이 카메라 뷰(302)에서의 영상 렌더링에 영향을 줄 수 있는 것을 알 수 있다.
즉, VPL을 도 4와 같이 221개 배치시키더라도, 실제로 221개 VPL 중 상기 33개를 제외한 나머지 188개의 VPL, 이를테면 VPL(411, 412 및 413)과 같은 것들은 카메라 뷰(302)에서의 영상 렌더링에 영향을 줄 확률이 매우 작다.
따라서, 상기 188개의 VPL 대한 섀도우 맵 연산은 쓸모 없는 연산 자원의 낭비를 야기한다. 그러므로, 렌더링 연산의 효율성을 높이기 위해서는 VPL을 보다 적응적으로(adaptively) 배치할 필요가 있다.
도 5는 도 3의 카메라 뷰에서 일률적으로 VPL을 배치한 경우의 렌더링 과정을 도시한다.
즉, 도 3의 카메라 뷰(302)에 영향을 줄 수 있는 위치에 일률적으로 VPL이 배치되어 있다. 이 경우, VPL(521, 522, 및 523)은 라이트 뷰(301)의 범위(310) 내에 있으므로, 직접 반사광을 만들 수 있는 오브젝트 위에 존재한다. 따라서, 영상의 렌더링에 있어서, 칼라 값에 영향을 크게 주는 VPL들이다. 도 5에 도시된 예를 관찰하면 대략 31개의 VPL이 이에 속한다.
그러나, 도 5의 예에서 배치된 약 192개의 전체 VPL 중, 상기 31개의 VPL을 제외한, VPL(511, 512 및 513)과 같은 나머지 161개의 VPL들은 라이트 뷰(301)의 범위(310) 이외의 부분이므로, 직접 조명(direct illumination)이 닿지 않는 부분이다.
따라서, VPL(511, 512 및 513)과 같은 상기 161개의 VPL들은, 오브젝트(210) 내부에서 2회 이상 반사된 빛이나, 또는 빛의 난반사, 회절 등의 자연 현상을 대표하는 것이다. 이들은 Radiosity 렌더링 품질 향상에 도움이 되지만, VPL(521, 522, 및 523)과 같은 상기 31개의 VPL 보다는 칼라 값에 훨씬 작은 영향을 미칠 뿐이다.
그러므로, 도 5의 예와 같이 카메라 뷰(302)에 영향을 주는 부분에 일률적으로 VPL들을 배치하는 방법도 비효율적이므로 적응적인(adaptively) 재배치가 요구된다.
도 6은 본 발명의 일 실시예에 따라 도 3의 라이트 뷰에서 샘플링 VPL을 배치한 모습을 도시한다.
먼저 도 4의 예에서 보다 훨씬 작은 개수의 샘플링 VPL들을 라이트 뷰(301)에서 3D 오브젝트 위에 배치한다. 이렇게 작은 개수의 샘플링 VPL들만 배치하는 것은 도 4를 참조하여 상술한 바와 같이, 라이트 뷰(301)에서 바라본 오브젝트 부분에 배치된 VPL들 중 일부만 실제 카메라 뷰(302)에서의 렌더링 영상의 칼라 값에 기여한다는 점을 고려한 것이다.
본 실시예에서, 우선 가로 7개 * 세로 6개, 총 42개의 샘플링 VPL이 배치되었다.
상기 42개의 샘플링 VPL의 각각에 대해, 도 1의 제1 계산부(110)가 섀도우 맵을 생성한다. 상기 계산된 섀도우 맵을 이용한 카메라 뷰(302)의 섀도우 테스트를 통해, 각 샘플링 VPL들이 카메라 뷰(302)에서의 영상 렌더링에 기여하는 지의 여부와 기여 정도가 판단된다.
또 다른 실시 예로 다음의 weight를 계산하는 식을 이용해 샘플링 VPL의 각각에 대한 섀도우 맵 생성 없이 각 샘플링 VPL들이 카메라 뷰에서의 영상 렌더링에 기여하는 여부와 기여 정도를 근사(approximate)할 수 있다. 아래식에서 weight값이 0이거나 0에 가까우면 이 VPL은 렌더링에 기여하지 않는다고 판단할 수 있다.
[수학식 1]
weight = c1 * VPL intensity * {max (0, dot (LSN, SD)) * max (0, dot (CSN, -SD))} / |SD 거리|^n
단, c1: 임의의 상수;
VPL intensity: 샘플링 된 VPL의 intensity;
LSN: Light 뷰에서 바라본 오브젝트 (surface) 부분의 normal 방향 벡터;
CSN: Camera 뷰에서 바라본 오브젝트 (surface) 부분의 normal 방향 벡터;
SD: Light 뷰에서 바라본 오브젝트 (surface) 부분과 Camera 뷰에서 바라본 오브젝트 (surface) 부분을 연결한 직선의 방향 벡터 (Light 뷰에서 바라본 오브젝트 (surface) 부분에서 Camera 뷰에서 바라본 오브젝트 (surface) 부분으로 향하는 직선의 방향 벡터);
|SD 거리|^n: SD벡터의 3차원상에서의 거리의 임의의 수(n) 지수승을 한 결과
이다.
실제로 여기서 Camera 및 Light 뷰에서 바라본 오브젝트 (surface) 부분은 Camera 및 Light 뷰에서의 렌더링한 이미지에서 추출된다. 이 이미지의 모든 픽셀 조합에 대해 상기 테스트를 수행하는 것은 비효율적이므로 실제로는 픽셀에 대한 일정크기의 Grouping을 통해 Group단위로 상기 테스트를 진행한다.
또 다른 실시 예로, 실제 샘플링을 한 결과로 추출된 각각의 VPL에 대해 상기 유효성을 테스트하는 것이 아니라, 샘플링 전에 importance map이라고 불리는 중요도 확률분포를 표현한 이미지에 상기 테스트 결과를 반영하고, 결과가 반영된 importance map을 기반으로 확률기반 VPL 샘플링을 수행하는 것도 가능하다.
본 실시예에서, 섀도우 테스트에 의해, 샘플링 VPL(621, 622, 623 및 624)와 같이 오브젝트(210)의 전면부 틈 내부의 오브젝트에 배치된 5개의 샘플링 VPL들은 카메라 뷰(302)에서의 영상 렌더링에 기여하는 것으로 판단된다. 이 5개의 샘플링 VPL들을 이하의 과정에서는 특별히 시드 VPL(Seed VPL)이라고 하며, 그 이유는 후술한다.
그러나, 샘플링 VPL(611, 612 및 613)과 같은 나머지 37개의 샘플링 VPL들은 카메라 뷰(302)에서의 영상 렌더링에 기여하지 않는 것으로 간주된다.
이러한 과정을 통해, 불필요한 VPL의 배치와, 이에 따른 연산의 비효율성을 크게 줄일 수 있다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 샘플링 VPL 중 선택된 일부의 시드 VPL 주위에 수퍼샘플링(super sampling) VPL을 배치한 모습을 도시한다.
그리고, 상기 시드 VPL(621, 622, 623 및 624) 주변에 추가적으로 수퍼샘플링 VPL들, 이를테면 수퍼샘플링 VPL(711, 712 및 713)이 배치되었다. 시드 VPL들 주변으로 VPL들이 확장되듯이 수퍼샘플링 VPL이 배치되므로, 시드(Seed) VPL이라는 용어가 사용되었다.
이러한 과정을 통해, 카메라 뷰(302)에서의 영상 렌더링에 영향을 줄 수 있는 위치에 있으면서, 또한 라이트 뷰(301)의 범위 내에서 직접 조명(direct illumination)을 받는 많은 개수의 VPL 배치가 이루어졌다.
그리고 상기 도 1의 제2 계산부(120)는 상기 수퍼샘플링 VPL들의 각각에 대하여 섀도우 맵을 계산한다.
도 8은 도 7의 수퍼샘플링 VPL 및 본 발명의 일 실시예에 따라 추가 배치되는 보조 VPL을 도시한다.
상기 도 7에서 시드 VPL(621, 622, 623 및 624 등), 수퍼샘플링 VPL(711, 712, 713, 821, 822 등) 이외에도, Radiosity 렌더링의 품질 향상을 위해서는, 2회 이상의 빛의 반사, 난반사, 빛의 회절 등의 자연현상을 대표하는 다른 VPL들이 배치될 필요가 있다.
이렇게 선정되어 배치되는 VPL들을 보조 VPL이라는 용어로 표현하기로 한다. 이러한 보조 VPL(811 및 812 등)의 개수는 많아야 할 필요가 없으며, 상대적으로 작은 개수의 보조 VPL들이 배치되는 것으로 충분할 수 있다.
그리고 상기 도 1의 제3 계산부(130)는 상기 보조 VPL들의 각각에 대하여 섀도우 맵을 계산한다.
도 9는 본 발명의 일 실시예에 따라, 도 8에 도시된 VPL들을 고려하여, 상기 3D 모델을 도 3의 카메라 뷰에서 렌더링한 예시적 결과를 도시한다.
도 1의 렌더링부(150)는 시드 VPL들(621, 622, 623 및 624 등) 각각의 섀도우 맵들, 수퍼샘플링 VPL들(711, 712, 713, 821 및 822 등) 각각의 섀도우 맵들, 및 보조 VPL들(811 및 812 등) 각각의 섀도우 맵들을 이용하여, 카메라 뷰(302)에서의 영상 렌더링을 수행한다. 구체적인 칼라 값 계산은 통상적인 Radiosity 기법과 동일하다.
이러한 렌더링 결과 영상(900)은 직접 조명(direct illumination)이 없는 오브젝트 부분(911 및 912 등)에도 칼라 값이 존재하게 되며, 직접 조명이 있는 오브젝트 부분(921, 922 및 923 등)과의 사이의 경계에서 소프트 섀도우(soft shadow)를 만들어 낸다.
한편, 도 4 내지 도 9를 참조하여 상술한 렌더링 과정에서는, i) 샘플링 VPL 배치 및 섀도우 맵 계산, ii) 상기 샘플링 VPL들 중 시드 VPL의 선정, iii) 수퍼샘플링 VPL들의 배치 및 섀도우 맵 계산, 그리고 iv) 보조 VPL들의 배치 및 계산이 모두 수행된 이후에, 렌더링을 수행하여 영상을 생성하였으나, 본 발명은 이에 국한되지 않는다.
본 발명의 다른 실시예들에서는, 상기 i) 샘플링 VPL 배치 및 섀도우 맵 계산 이후에, 렌더링부(150)에 의한 초기 렌더링 영상이 제공될 수 있다. 물론, 렌더링 품질은 상기 i) 내지 iv)의 과정 이후에 수행하는 렌더링에 비해 낮을 수 있으나, 모든 연산 과정이 종료되기 전에 렌더링의 중간 결과를 제공하는 것이 바람직한 응용예도 존재하기 때문이다.
이를 테면, 빠른 프레임 전환이 요구되는 3D 게임 영상 렌더링 등의 실시간 연산의 경우가 그러하다.
이 경우, 상기 ii) 내지 iv) 과정 마다, 렌더링부(150)는 중간 렌더링 결과를 제공하여, 앞서 제공된 렌더링 영상을 업데이트할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상처리 방법을 도시한다.
단계(S1010)에서 샘플링 VPL들 각각의 섀도우 맵이 계산된다. 상기 샘플링 VPL은 라이트 뷰(301)에서 상기 3D 모델을 바라본 오브젝트 부분 위에, 비교적 적은 개수만큼 배치된다. 샘플링 VPL들의 배치에 관한 보다 상세한 과정은 도 6을 참조하여 상술한 바와 같다.
그리고, 단계(S1020)에서 상기 배치된 샘플링 VPL들 중, 카메라 뷰(302)에서의 영상 렌더링에 영향을 주는 일부의 시드 VPL들이 선택된다.
이러한 시드 VPL 선택에 있어서는, 상기 카메라 뷰(302) 부분에 대한 섀도우 테스트가 이용될 수 있다.
그리고 단계(S1030)에서 상기 시드 VPL들 주위에 복수 개의 수퍼샘플링 VPL들이 배치되고, 또한 상기 수퍼샘플링 VPL들 각각의 섀도우 맵이 계산된다.
이러한 수퍼샘플링 VPL들의 배치 및 섀도우 맵 계산에 관한 보다 상세한 내용은 도 7을 참조하여 상술한 바와 같다.
단계(S1040)에서는 상기 수퍼샘플링 VPL들 이외에, 카메라 뷰(302)에서의 영상 렌더링에 영향을 줄 수 있는 보조 VPL들이 추가적으로 배치되고, 또한 상기 보조 VPL들 각각의 섀도우 맵이 계산된다.
한편, 상술한 과정에서는 단계(S1030)의 서술 이후에 단계(S1040)이 서술되었으나, 두 과정은 동시에 또는 역순으로 수행될 수 있다. 물론, 일부 과정이 생략되는 것도 가능하다.
이러한 점은 본 발명의 기술분야에서 통상의 지식을 가지는 자에게 자명한 내용이므로, 본 발명의 권리가 상술한 예시적 설명에 의해 제한적으로 해석되어서는 안 되며, 청구범위에 기재된 바에 의해 해석되어야 한다.
그리고 단계(S1050)에서 상기 시드 VPL들 각각의 섀도우 맵들, 상기 수퍼샘플링 VPL들 각각의 섀도우 맵들, 및 상기 보조 VPL들 각각의 섀도우 맵들, 또는 그 일부를 이용하여 상기 카메라 뷰(302)에서의 영상이 렌더링 된다.
상세한 렌더링 과정은 통상적인 Radiosity 기법에 의해 수행될 수 있다.
또한, 상술한 바와 같이, 영상 렌더링이 단계(S1050)에서 수행될 수도 있으나, 다른 실시예에서는 상기 단계(S1010) 내지 단(S1040) 중에 연속적으로 또는 비연속적으로 제공될 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD??ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기??광 매체(magneto??optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한다.
제1 계산부(110)는 샘플링 VPL들 각각의 섀도우 맵을 계산한다. 상기 샘플링 VPL은 라이트 뷰에서 상기 3D 모델을 바라본 오브젝트 부분 위에, 비교적 적은 개수만큼 배치된 것이다. 샘플링 VPL들의 배치에 관한 보다 상세한 과정은 도 6을 참조하여 후술한다.
그리고, 선택부(140)는 상기 배치된 샘플링 VPL들 중, 영상을 렌더링 하고자 하는 카메라 뷰에서의 영상 렌더링에 영향을 주는 일부의 시드 VPL들을 선택한다.
이러한 시드 VPL 선택에 있어서, 상기 선택부(140)는 상기 카메라 뷰 부분에 대한 섀도우 테스트를 이용할 수 있다.
그리고 제2 계산부(120)는, 상기 시드 VPL들 주위에 배치되는 복수 개의 수퍼샘플링 VPL들 각각의 섀도우 맵을 계산한다.
이러한 수퍼샘플링 VPL들의 배치 및 섀도우 맵 계산에 관한 보다 상세한 내용은 도 7을 참조하여 후술한다.
그리고, 상기 수퍼샘플링 VPL들 이외에, 카메라 뷰에서의 영상 렌더링에 영향을 줄 수 있는 보조 VPL들이 추가적으로 배치되고, 제3 계산부(130)는 이러한 보조 VPL들 각각의 섀도우 맵을 계산한다.
본 발명의 일 실시예에 따르면, 상술한 수퍼샘플링 VPL들 배치 및 각각의 섀도우 맵 계산 이후에 상기 보조 VPL들의 배치와 섀도우 맵 계산이 이루어 질 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 상기 제2 계산부(120)와 제3 계산부(130)의 동작은 동시에 또는 역순으로 수행될 수 있다. 물론, 일부 동작이 생략되는 것도 가능하다.
그리고 렌더링부(150)는 상기 시드 VPL들 각각의 섀도우 맵들, 상기 수퍼샘플링 VPL들 각각의 섀도우 맵들, 및 상기 보조 VPL들 각각의 섀도우 맵들, 또는 그 일부를 이용하여 상기 카메라 뷰에서의 영상을 렌더링 한다.
한편, 상술한 바와 같이, 계산부(110) 내지 계산부(130)의 계산 동작 이후에, 렌더링부(150)가 영상을 렌더링할 수도 있으나, 본 발명은 이에 한정되지 않는다. 따라서, 다른 실시예에서는 계산부(110)의 계산 이후에 바로 렌더링부(150)가 초기 렌더링 결과를 제공하고, 그 이후에 계산부(120) 내지 계산부(130)의 계산 결과가 도출되는 경우에, 연속적으로 또는 비연속적으로 상기 초기 렌더링 결과를 업데이트 하여, 보다 품질이 높은 렌더링 영상을 제공할 수 있다.
영상 처리 장치(100)의 보다 상세한 동작은 도 6 내지 도 9를 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법에 의해 렌더링 되는 예시적 3D 모델(200)의 오브젝트를 도시한다.
3D 모델(200)은, 정면의 일부분이 개방된 방(room)을 나타내는 오브젝트(210)와, 상기 방 내에 위치한 원기둥 형태의 오브젝트(220)를 포함한다. 물론 상기 3D 모델(200)은 설명의 편의를 위해 간단하게 표현된 예시적인 것에 불과하며, 본 발명이 특정 실시예에 의해 제한적으로 해석되어서는 안 된다.
현재 도 2에서 도시되는 3D 모델(200)의 모습은, 상기 3D 모델의 라이트 뷰(light view, 이하에서는 "제1 시점"이라고도 함)에서 바라본 모습이다.
도시된 3D 모델(200)의 예시에서 상기 오브젝트(210) 내부에는 다른 독립 조명이 존재하지 않는다고 가정한다.
상기 3D 모델(200)의 평면도 및 영상을 렌더링 하고자 하는 카메라 뷰(camera view, 이하에서는 "제2 시점"이라고도 함)에 관해서는 도 3을 참조하여 후술한다.
도3은 도 2의 3D 모델(200)의 오브젝트들 및 광원(Light)(301)을 위에서 바라본 구조를 도시한 평면도이다.
3D 모델(200)의 렌더링을 위해 고려되는 광원(301)은 육면체 방(room) 형태의 오브젝트(210)의 외부에 위치하며, 오브젝트(210)가 개방되어 있는 전면부의 틈을 통하여 상기 오브젝트(210) 내부에 빛을 제공한다.
상기 오브젝트(210) 외부에 존재하는 광원(301)의 빛이 상기 오브젝트(210) 내에 도달하는 범위가 각도(310)에 의해 표현된다. 상기 오브젝트(210) 내부에서 상기 각도(310)를 벗어나는 부분에는 직접 광(direct light)은 도달하지 않는다.
영상을 렌더링 하고자 하는 카메라 뷰(302)에서 바라본 영역이 각도(320)으로 표현된다. 이하에서는, 상기 각도(320) 내의 영역의 칼라 값을 계산하여, 영상을 렌더링 하는 상세한 과정이 서술된다.
도 4는 도 3의 라이트 뷰에서 일률적으로 VPL을 배치한 경우의 렌더링 과정을 도시한다.
래이디오시티(Radiosity)는, 3D 렌더링 기법의 하나로서, 빛의 반사와 같은 자연 현상을 대표하는 가상의 포인트 광원(Virtual Point Light, VPL)을 3D 모델 위에 배치하고, VPL들에 의한 오브젝트의 칼라 값 변화를 고려해서 영상을 렌더링 하는 기법이다.
일반적으로 VPL의 개수를 많이 설정할수록, 렌더링 품질을 향상되나, 연산양이 크게 증가하여, 렌더링 속도는 낮아진다.
도 4에의 예에서는 라이트 뷰에서, 상기 3D 모델(200) 위에, 가로 17개 * 세로 13개, 총 221개의 VPL을 배치시켰다.
이렇게 되면 렌더링을 위해서는 221개의 VPL에 대하여 섀도우 맵(Shadow map)을 생성하는 연산이 요구된다.
그러나, 도 3을 참고하면, 상기 221개의 VPL 모두가 영상을 렌더링 하고자 하는 카메라 뷰(302)의 범위(320) 내에 존재하는 것이 아니다.
도 4의 예를 관찰하면, 예를 들어 VPL(421, 422 및 423)과 같은, 오브젝트(210) 전면에 개방된 틈 내부에 존재하는 가로 3개 * 세로 11개, 총 33개의 VPL 만이 카메라 뷰(302)에서의 영상 렌더링에 영향을 줄 수 있는 것을 알 수 있다.
즉, VPL을 도 4와 같이 221개 배치시키더라도, 실제로 221개 VPL 중 상기 33개를 제외한 나머지 188개의 VPL, 이를테면 VPL(411, 412 및 413)과 같은 것들은 카메라 뷰(302)에서의 영상 렌더링에 영향을 줄 확률이 매우 작다.
따라서, 상기 188개의 VPL 대한 섀도우 맵 연산은 쓸모 없는 연산 자원의 낭비를 야기한다. 그러므로, 렌더링 연산의 효율성을 높이기 위해서는 VPL을 보다 적응적으로(adaptively) 배치할 필요가 있다.
도 5는 도 3의 카메라 뷰에서 일률적으로 VPL을 배치한 경우의 렌더링 과정을 도시한다.
즉, 도 3의 카메라 뷰(302)에 영향을 줄 수 있는 위치에 일률적으로 VPL이 배치되어 있다. 이 경우, VPL(521, 522, 및 523)은 라이트 뷰(301)의 범위(310) 내에 있으므로, 직접 반사광을 만들 수 있는 오브젝트 위에 존재한다. 따라서, 영상의 렌더링에 있어서, 칼라 값에 영향을 크게 주는 VPL들이다. 도 5에 도시된 예를 관찰하면 대략 31개의 VPL이 이에 속한다.
그러나, 도 5의 예에서 배치된 약 192개의 전체 VPL 중, 상기 31개의 VPL을 제외한, VPL(511, 512 및 513)과 같은 나머지 161개의 VPL들은 라이트 뷰(301)의 범위(310) 이외의 부분이므로, 직접 조명(direct illumination)이 닿지 않는 부분이다.
따라서, VPL(511, 512 및 513)과 같은 상기 161개의 VPL들은, 오브젝트(210) 내부에서 2회 이상 반사된 빛이나, 또는 빛의 난반사, 회절 등의 자연 현상을 대표하는 것이다. 이들은 Radiosity 렌더링 품질 향상에 도움이 되지만, VPL(521, 522, 및 523)과 같은 상기 31개의 VPL 보다는 칼라 값에 훨씬 작은 영향을 미칠 뿐이다.
그러므로, 도 5의 예와 같이 카메라 뷰(302)에 영향을 주는 부분에 일률적으로 VPL들을 배치하는 방법도 비효율적이므로 적응적인(adaptively) 재배치가 요구된다.
도 6은 본 발명의 일 실시예에 따라 도 3의 라이트 뷰에서 샘플링 VPL을 배치한 모습을 도시한다.
먼저 도 4의 예에서 보다 훨씬 작은 개수의 샘플링 VPL들을 라이트 뷰(301)에서 3D 오브젝트 위에 배치한다. 이렇게 작은 개수의 샘플링 VPL들만 배치하는 것은 도 4를 참조하여 상술한 바와 같이, 라이트 뷰(301)에서 바라본 오브젝트 부분에 배치된 VPL들 중 일부만 실제 카메라 뷰(302)에서의 렌더링 영상의 칼라 값에 기여한다는 점을 고려한 것이다.
본 실시예에서, 우선 가로 7개 * 세로 6개, 총 42개의 샘플링 VPL이 배치되었다.
상기 42개의 샘플링 VPL의 각각에 대해, 도 1의 제1 계산부(110)가 섀도우 맵을 생성한다. 상기 계산된 섀도우 맵을 이용한 카메라 뷰(302)의 섀도우 테스트를 통해, 각 샘플링 VPL들이 카메라 뷰(302)에서의 영상 렌더링에 기여하는 지의 여부와 기여 정도가 판단된다.
또 다른 실시 예로 다음의 weight를 계산하는 식을 이용해 샘플링 VPL의 각각에 대한 섀도우 맵 생성 없이 각 샘플링 VPL들이 카메라 뷰에서의 영상 렌더링에 기여하는 여부와 기여 정도를 근사(approximate)할 수 있다. 아래식에서 weight값이 0이거나 0에 가까우면 이 VPL은 렌더링에 기여하지 않는다고 판단할 수 있다.
[수학식 1]
weight = c1 * VPL intensity * {max (0, dot (LSN, SD)) * max (0, dot (CSN, -SD))} / |SD 거리|^n
단, c1: 임의의 상수;
VPL intensity: 샘플링 된 VPL의 intensity;
LSN: Light 뷰에서 바라본 오브젝트 (surface) 부분의 normal 방향 벡터;
CSN: Camera 뷰에서 바라본 오브젝트 (surface) 부분의 normal 방향 벡터;
SD: Light 뷰에서 바라본 오브젝트 (surface) 부분과 Camera 뷰에서 바라본 오브젝트 (surface) 부분을 연결한 직선의 방향 벡터 (Light 뷰에서 바라본 오브젝트 (surface) 부분에서 Camera 뷰에서 바라본 오브젝트 (surface) 부분으로 향하는 직선의 방향 벡터);
|SD 거리|^n: SD벡터의 3차원상에서의 거리의 임의의 수(n) 지수승을 한 결과
이다.
실제로 여기서 Camera 및 Light 뷰에서 바라본 오브젝트 (surface) 부분은 Camera 및 Light 뷰에서의 렌더링한 이미지에서 추출된다. 이 이미지의 모든 픽셀 조합에 대해 상기 테스트를 수행하는 것은 비효율적이므로 실제로는 픽셀에 대한 일정크기의 Grouping을 통해 Group단위로 상기 테스트를 진행한다.
또 다른 실시 예로, 실제 샘플링을 한 결과로 추출된 각각의 VPL에 대해 상기 유효성을 테스트하는 것이 아니라, 샘플링 전에 importance map이라고 불리는 중요도 확률분포를 표현한 이미지에 상기 테스트 결과를 반영하고, 결과가 반영된 importance map을 기반으로 확률기반 VPL 샘플링을 수행하는 것도 가능하다.
본 실시예에서, 섀도우 테스트에 의해, 샘플링 VPL(621, 622, 623 및 624)와 같이 오브젝트(210)의 전면부 틈 내부의 오브젝트에 배치된 5개의 샘플링 VPL들은 카메라 뷰(302)에서의 영상 렌더링에 기여하는 것으로 판단된다. 이 5개의 샘플링 VPL들을 이하의 과정에서는 특별히 시드 VPL(Seed VPL)이라고 하며, 그 이유는 후술한다.
그러나, 샘플링 VPL(611, 612 및 613)과 같은 나머지 37개의 샘플링 VPL들은 카메라 뷰(302)에서의 영상 렌더링에 기여하지 않는 것으로 간주된다.
이러한 과정을 통해, 불필요한 VPL의 배치와, 이에 따른 연산의 비효율성을 크게 줄일 수 있다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 샘플링 VPL 중 선택된 일부의 시드 VPL 주위에 수퍼샘플링(super sampling) VPL을 배치한 모습을 도시한다.
그리고, 상기 시드 VPL(621, 622, 623 및 624) 주변에 추가적으로 수퍼샘플링 VPL들, 이를테면 수퍼샘플링 VPL(711, 712 및 713)이 배치되었다. 시드 VPL들 주변으로 VPL들이 확장되듯이 수퍼샘플링 VPL이 배치되므로, 시드(Seed) VPL이라는 용어가 사용되었다.
이러한 과정을 통해, 카메라 뷰(302)에서의 영상 렌더링에 영향을 줄 수 있는 위치에 있으면서, 또한 라이트 뷰(301)의 범위 내에서 직접 조명(direct illumination)을 받는 많은 개수의 VPL 배치가 이루어졌다.
그리고 상기 도 1의 제2 계산부(120)는 상기 수퍼샘플링 VPL들의 각각에 대하여 섀도우 맵을 계산한다.
도 8은 도 7의 수퍼샘플링 VPL 및 본 발명의 일 실시예에 따라 추가 배치되는 보조 VPL을 도시한다.
상기 도 7에서 시드 VPL(621, 622, 623 및 624 등), 수퍼샘플링 VPL(711, 712, 713, 821, 822 등) 이외에도, Radiosity 렌더링의 품질 향상을 위해서는, 2회 이상의 빛의 반사, 난반사, 빛의 회절 등의 자연현상을 대표하는 다른 VPL들이 배치될 필요가 있다.
이렇게 선정되어 배치되는 VPL들을 보조 VPL이라는 용어로 표현하기로 한다. 이러한 보조 VPL(811 및 812 등)의 개수는 많아야 할 필요가 없으며, 상대적으로 작은 개수의 보조 VPL들이 배치되는 것으로 충분할 수 있다.
그리고 상기 도 1의 제3 계산부(130)는 상기 보조 VPL들의 각각에 대하여 섀도우 맵을 계산한다.
도 9는 본 발명의 일 실시예에 따라, 도 8에 도시된 VPL들을 고려하여, 상기 3D 모델을 도 3의 카메라 뷰에서 렌더링한 예시적 결과를 도시한다.
도 1의 렌더링부(150)는 시드 VPL들(621, 622, 623 및 624 등) 각각의 섀도우 맵들, 수퍼샘플링 VPL들(711, 712, 713, 821 및 822 등) 각각의 섀도우 맵들, 및 보조 VPL들(811 및 812 등) 각각의 섀도우 맵들을 이용하여, 카메라 뷰(302)에서의 영상 렌더링을 수행한다. 구체적인 칼라 값 계산은 통상적인 Radiosity 기법과 동일하다.
이러한 렌더링 결과 영상(900)은 직접 조명(direct illumination)이 없는 오브젝트 부분(911 및 912 등)에도 칼라 값이 존재하게 되며, 직접 조명이 있는 오브젝트 부분(921, 922 및 923 등)과의 사이의 경계에서 소프트 섀도우(soft shadow)를 만들어 낸다.
한편, 도 4 내지 도 9를 참조하여 상술한 렌더링 과정에서는, i) 샘플링 VPL 배치 및 섀도우 맵 계산, ii) 상기 샘플링 VPL들 중 시드 VPL의 선정, iii) 수퍼샘플링 VPL들의 배치 및 섀도우 맵 계산, 그리고 iv) 보조 VPL들의 배치 및 계산이 모두 수행된 이후에, 렌더링을 수행하여 영상을 생성하였으나, 본 발명은 이에 국한되지 않는다.
본 발명의 다른 실시예들에서는, 상기 i) 샘플링 VPL 배치 및 섀도우 맵 계산 이후에, 렌더링부(150)에 의한 초기 렌더링 영상이 제공될 수 있다. 물론, 렌더링 품질은 상기 i) 내지 iv)의 과정 이후에 수행하는 렌더링에 비해 낮을 수 있으나, 모든 연산 과정이 종료되기 전에 렌더링의 중간 결과를 제공하는 것이 바람직한 응용예도 존재하기 때문이다.
이를 테면, 빠른 프레임 전환이 요구되는 3D 게임 영상 렌더링 등의 실시간 연산의 경우가 그러하다.
이 경우, 상기 ii) 내지 iv) 과정 마다, 렌더링부(150)는 중간 렌더링 결과를 제공하여, 앞서 제공된 렌더링 영상을 업데이트할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상처리 방법을 도시한다.
단계(S1010)에서 샘플링 VPL들 각각의 섀도우 맵이 계산된다. 상기 샘플링 VPL은 라이트 뷰(301)에서 상기 3D 모델을 바라본 오브젝트 부분 위에, 비교적 적은 개수만큼 배치된다. 샘플링 VPL들의 배치에 관한 보다 상세한 과정은 도 6을 참조하여 상술한 바와 같다.
그리고, 단계(S1020)에서 상기 배치된 샘플링 VPL들 중, 카메라 뷰(302)에서의 영상 렌더링에 영향을 주는 일부의 시드 VPL들이 선택된다.
이러한 시드 VPL 선택에 있어서는, 상기 카메라 뷰(302) 부분에 대한 섀도우 테스트가 이용될 수 있다.
그리고 단계(S1030)에서 상기 시드 VPL들 주위에 복수 개의 수퍼샘플링 VPL들이 배치되고, 또한 상기 수퍼샘플링 VPL들 각각의 섀도우 맵이 계산된다.
이러한 수퍼샘플링 VPL들의 배치 및 섀도우 맵 계산에 관한 보다 상세한 내용은 도 7을 참조하여 상술한 바와 같다.
단계(S1040)에서는 상기 수퍼샘플링 VPL들 이외에, 카메라 뷰(302)에서의 영상 렌더링에 영향을 줄 수 있는 보조 VPL들이 추가적으로 배치되고, 또한 상기 보조 VPL들 각각의 섀도우 맵이 계산된다.
한편, 상술한 과정에서는 단계(S1030)의 서술 이후에 단계(S1040)이 서술되었으나, 두 과정은 동시에 또는 역순으로 수행될 수 있다. 물론, 일부 과정이 생략되는 것도 가능하다.
이러한 점은 본 발명의 기술분야에서 통상의 지식을 가지는 자에게 자명한 내용이므로, 본 발명의 권리가 상술한 예시적 설명에 의해 제한적으로 해석되어서는 안 되며, 청구범위에 기재된 바에 의해 해석되어야 한다.
그리고 단계(S1050)에서 상기 시드 VPL들 각각의 섀도우 맵들, 상기 수퍼샘플링 VPL들 각각의 섀도우 맵들, 및 상기 보조 VPL들 각각의 섀도우 맵들, 또는 그 일부를 이용하여 상기 카메라 뷰(302)에서의 영상이 렌더링 된다.
상세한 렌더링 과정은 통상적인 Radiosity 기법에 의해 수행될 수 있다.
또한, 상술한 바와 같이, 영상 렌더링이 단계(S1050)에서 수행될 수도 있으나, 다른 실시예에서는 상기 단계(S1010) 내지 단(S1040) 중에 연속적으로 또는 비연속적으로 제공될 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD??ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기??광 매체(magneto??optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법에 의해 렌더링 되는 예시적 3D 모델의 오브젝트를 도시한다.
도3은 도 2의 3D 모델의 오브젝트 및 라이트를 도시한 평면도이다.
도 4는 도 3의 라이트 뷰에서 일률적으로 VPL을 배치한 경우의 렌더링 과정을 도시한다.
도 5는 도 3의 카메라 뷰에서 일률적으로 VPL을 배치한 경우의 렌더링 과정을 도시한다.
도 6은 본 발명의 일 실시예에 따라 도 3의 라이트 뷰에서 샘플링 VPL을 배치한 모습을 도시한다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 샘플링 VPL 중 선택된 일부의 시드 VPL 주위에 수퍼샘플링 VPL을 배치한 모습을 도시한다.
도 8은 도 7의 수퍼샘플링 VPL 및 본 발명의 일 실시예에 따라 추가 배치되는 보조 VPL을 도시한다.
도 9는 본 발명의 일 실시예에 따라, 도 8에 도시된 VPL들을 고려하여, 상기 3D 모델을 도 3의 카메라 뷰에서 렌더링한 예시적 결과를 도시한다.
도 10은 본 발명의 일 실시예에 따른 영상처리 방법을 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법에 의해 렌더링 되는 예시적 3D 모델의 오브젝트를 도시한다.
도3은 도 2의 3D 모델의 오브젝트 및 라이트를 도시한 평면도이다.
도 4는 도 3의 라이트 뷰에서 일률적으로 VPL을 배치한 경우의 렌더링 과정을 도시한다.
도 5는 도 3의 카메라 뷰에서 일률적으로 VPL을 배치한 경우의 렌더링 과정을 도시한다.
도 6은 본 발명의 일 실시예에 따라 도 3의 라이트 뷰에서 샘플링 VPL을 배치한 모습을 도시한다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 샘플링 VPL 중 선택된 일부의 시드 VPL 주위에 수퍼샘플링 VPL을 배치한 모습을 도시한다.
도 8은 도 7의 수퍼샘플링 VPL 및 본 발명의 일 실시예에 따라 추가 배치되는 보조 VPL을 도시한다.
도 9는 본 발명의 일 실시예에 따라, 도 8에 도시된 VPL들을 고려하여, 상기 3D 모델을 도 3의 카메라 뷰에서 렌더링한 예시적 결과를 도시한다.
도 10은 본 발명의 일 실시예에 따른 영상처리 방법을 도시한다.
Claims (19)
- 영상에 포함되는 3D 모델 중에서 제1 시점에서 노출되는 제1 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL(Virtual Point Light)에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 제1 계산부;상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 선택부; 및상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 제2 계산부를 포함하는 영상 처리 장치.
- 제1항에 있어서,상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링하는 렌더링부를 더 포함하는 영상 처리 장치.
- 제2항에 있어서,상기 제2 시점에서 상기 제1 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 제3 계산부를 더 포함하고,상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링하는,영상 처리 장치.
- 제3항에 있어서,상기 적어도 하나의 보조 VPL은, 상기 제1 3D 모델의 오브젝트 중 상기 제2 시점에 노출되는 부분 및 상기 제2 시점의 뒷부분에 배치되는, 영상 처리 장치.
- 제2항에 있어서,상기 렌더링부는, 래이디오시티(Radiosity) 기법을 이용하여 상기 영상을 렌더링하는, 영상 처리 장치.
- 제1항에 있어서,상기 제1 시점은 상기 제1 3D 모델 내의 라이트 위치인, 영상 처리 장치.
- 영상에 포함되는 3D 모델 중에서 제1 시점에서 노출되는 제1 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 제1 계산부;상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 제1 3D 모델을 제2 시점에서 바라본 영상을 렌더링하는 렌더링부;상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 선택부; 및상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 제2 계산부를 포함하고,상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼 샘플링 VPL의 섀도우 맵을 이용하여 상기 영상을 업데이트 하는, 영상 처리 장치.
- 제7항에 있어서,상기 제2 시점에서 상기 제1 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 제3 계산부를 더 포함하고,상기 렌더링부는 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 영상을 업데이트 하는, 영상 처리 장치.
- 제8항에 있어서,상기 적어도 하나의 보조 VPL은, 상기 제1 3D 모델의 오브젝트 중 상기 제2 시점에 노출되는 부분 및 상기 제2 시점의 뒷부분에 배치되는, 영상 처리 장치.
- 제7항에 있어서,상기 렌더링부는, 래이디오시티(Radiosity) 기법을 이용하여 상기 영상을 렌더링하는, 영상 처리 장치.
- 제7항에 있어서,상기 제1 시점은 상기 제1 3D 모델 내의 라이트 위치인, 영상 처리 장치.
- 영상에 포함되는 3D 모델 중에서 제1 시점에서 노출되는 제1 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 단계;상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 단계; 및상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 단계를 포함하는 영상 처리 방법.
- 제12항에 있어서,상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링 하는 단계를 더 포함하는 영상 처리 방법.
- 제13항에 있어서,상기 제2 시점에서 상기 제1 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 단계를 더 포함하고,상기 렌더링 하는 단계는, 상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 제2 시점에서 상기 영상을 렌더링 하는,영상 처리 방법.
- 제13항에 있어서,상기 렌더링은, 래이디오시티 기법에 의한 것인, 영상 처리 방법.
- 영상에 포함되는 3D 모델 중에서 제1 시점에서 노출되는 제1 3D 모델 위에 배치시킨 복수 개의 샘플링 VPL에 대하여, 상기 복수 개의 샘플링 VPL 각각의 섀도우 맵을 생성하는 단계;상기 복수 개의 샘플링 VPL 각각의 섀도우 맵에 기초하여, 상기 제1 3D 모델을 제2 시점에서 바라본 영상을 렌더링하는 단계;상기 복수 개의 샘플링 VPL 중, 영상을 렌더링 하고자 하는 제2 시점에 노출되는 적어도 하나의 시드 VPL을 선택하는 단계;상기 제2 시점에서 상기 적어도 하나의 시드 VPL 주변에 복수 개의 수퍼샘플링 VPL을 배치시키고, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵을 생성하는 단계; 및상기 적어도 하나의 시드 VPL 각각의 섀도우 맵 및 상기 복수 개의 수퍼 샘플링 VPL의 섀도우 맵을 이용하여 상기 영상을 업데이트 하는 단계를 포함하는, 영상 처리 방법.
- 제16항에 있어서,상기 제2 시점에서 상기 제1 3D 모델 위에 적어도 하나의 보조 VPL을 배치시키고, 상기 적어도 하나의 보조 VPL의 섀도우 맵을 생성하는 단계; 및상기 적어도 하나의 시드 VPL 각각의 섀도우 맵, 상기 복수 개의 수퍼샘플링 VPL 각각의 섀도우 맵, 및 상기 적어도 하나의 보조 VPL의 섀도우 맵을 이용하여, 상기 영상을 업데이트 하는 단계를 더 포함하는, 영상 처리 방법.
- 제16항에 있어서,상기 제1 시점은 상기 제1 3D 모델 내의 라이트 위치인, 영상 처리 방법.
- 제12항 내지 제18항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090088983A KR101598374B1 (ko) | 2009-09-21 | 2009-09-21 | 영상 처리 장치 및 방법 |
| US12/805,454 US8717358B2 (en) | 2009-09-21 | 2010-07-30 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090088983A KR101598374B1 (ko) | 2009-09-21 | 2009-09-21 | 영상 처리 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110031643A KR20110031643A (ko) | 2011-03-29 |
| KR101598374B1 true KR101598374B1 (ko) | 2016-02-29 |
Family
ID=43756248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090088983A KR101598374B1 (ko) | 2009-09-21 | 2009-09-21 | 영상 처리 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8717358B2 (ko) |
| KR (1) | KR101598374B1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101845225B1 (ko) | 2011-06-30 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| KR102211142B1 (ko) * | 2013-07-16 | 2021-02-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US9715758B2 (en) * | 2013-07-16 | 2017-07-25 | Samsung Electronics Co., Ltd. | Image processing apparatus and method using virtual point light (VPL) information |
| US9299194B2 (en) * | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
| KR102137263B1 (ko) | 2014-02-20 | 2020-08-26 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| CN104299257B (zh) * | 2014-07-18 | 2018-05-04 | 无锡梵天信息技术股份有限公司 | 一种基于室外太阳光实现实时动态阴影的方法 |
| CN104966297B (zh) * | 2015-06-12 | 2017-09-12 | 浙江大学 | 一种通用的阴影图生成阴影的方法 |
| KR102679129B1 (ko) * | 2016-08-31 | 2024-06-26 | 엘지디스플레이 주식회사 | 표시 장치 및 표시 장치 구동 방법 |
| CN109993823B (zh) | 2019-04-11 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 阴影渲染方法、装置、终端及存储介质 |
| KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
| CN111292405B (zh) * | 2020-02-06 | 2022-04-08 | 腾讯科技（深圳）有限公司 | 一种图像渲染的方法以及相关装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100382366B1 (ko) | 2001-05-23 | 2003-05-09 | 학교법인 포항공과대학교 | 증강 현실을 위한 조도 레이디언스 비율 예측 및 이를이용한 증강 현실 방법들 및 장치들 |
| US20080211816A1 (en) | 2003-07-15 | 2008-09-04 | Alienware Labs. Corp. | Multiple parallel processor computer graphics system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6704025B1 (en) * | 2001-08-31 | 2004-03-09 | Nvidia Corporation | System and method for dual-depth shadow-mapping |
| KR100624455B1 (ko) * | 2004-12-24 | 2006-09-18 | 삼성전자주식회사 | 3차원 그래픽스 환경에서의 라이트맵 처리 방법 및 장치 |
| JP4948218B2 (ja) | 2007-03-22 | 2012-06-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP5448021B2 (ja) * | 2007-06-29 | 2014-03-19 | 株式会社セガ | レーシングゲーム装置のプログラム、そのプログラムを格納した記録媒体、及びレーシングゲーム装置 |
| JP5007633B2 (ja) | 2007-09-04 | 2012-08-22 | 株式会社セガ | 画像処理用プログラム、当該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法 |
| JP4612031B2 (ja) | 2007-09-28 | 2011-01-12 | 株式会社コナミデジタルエンタテインメント | 画像生成装置、画像生成方法、ならびに、プログラム |
-
2009
- 2009-09-21 KR KR1020090088983A patent/KR101598374B1/ko active IP Right Grant
-
2010
- 2010-07-30 US US12/805,454 patent/US8717358B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100382366B1 (ko) | 2001-05-23 | 2003-05-09 | 학교법인 포항공과대학교 | 증강 현실을 위한 조도 레이디언스 비율 예측 및 이를이용한 증강 현실 방법들 및 장치들 |
| US20080211816A1 (en) | 2003-07-15 | 2008-09-04 | Alienware Labs. Corp. | Multiple parallel processor computer graphics system |
Also Published As
| Publication number | Publication date |
|---|---|
| US8717358B2 (en) | 2014-05-06 |
| US20110069068A1 (en) | 2011-03-24 |
| KR20110031643A (ko) | 2011-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101598374B1 (ko) | 영상 처리 장치 및 방법 | |
| US11069124B2 (en) | Systems and methods for reducing rendering latency | |
| US11138782B2 (en) | Systems and methods for rendering optical distortion effects | |
| JP4579262B2 (ja) | ３次元画像のレンダリングにおける早期ｚテスト方法およびシステム | |
| US8004518B2 (en) | Combined spatial index for static and dynamic objects within a three-dimensional scene | |
| KR101845231B1 (ko) | 영상 처리 장치 및 방법 | |
| JP5043939B2 (ja) | ３次元シーンの境界ボリュームを定めるノードを有する空間インデックスを用いる光線追跡のための操作を行なうプログラムを含むコンピュータ可読媒体及びシステム | |
| US7773087B2 (en) | Dynamically configuring and selecting multiple ray tracing intersection methods | |
| CN105912234B (zh) | 虚拟场景的交互方法和装置 | |
| US10699467B2 (en) | Computer-graphics based on hierarchical ray casting | |
| KR20120007398A (ko) | 영상 처리 장치 및 방법 | |
| US8896599B2 (en) | Image processing apparatus and method | |
| US20080088619A1 (en) | Branch Prediction for Acceleration Data Structure Traversal | |
| JP2010505164A (ja) | レイ・トレーシング画像処理システムにおけるピクセル色の決定方法および画像処理システム | |
| US9633467B2 (en) | Stencil mapped shadowing system | |
| JP2008123497A (ja) | メモリ・キャッシュ内のデータを無効化する方法、コンピュータ可読媒体及びイメージ処理システム | |
| JP2012528376A (ja) | レイトレーシング装置及び方法 | |
| US20080192051A1 (en) | Expanding Empty Nodes in an Acceleration Data Structure | |
| US20150254889A1 (en) | Method and System for a Separated Shadowing in Ray Tracing | |
| US8102389B2 (en) | Box casting using an integrated acceleration data structure | |
| KR20110032366A (ko) | 영상 처리 장치 및 방법 | |
| KR101585998B1 (ko) | 영상 처리 장치 및 방법 | |
| TWI421792B (zh) | 減少虛擬世界應用程式中之視覺模擬迴路的總計算時間之方法 | |
| KR20120062542A (ko) | 영상 처리 장치 및 방법 | |
| US9117306B2 (en) | Method of stencil mapped shadowing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200120 Year of fee payment: 5 |