KR20120007398A

KR20120007398A - 영상 처리 장치 및 방법

Info

Publication number: KR20120007398A
Application number: KR1020100068140A
Authority: KR
Inventors: 하인우; 심현정; 릿첼 토비아스; 김도균; 이태현; 아이스만 엘머; 세델 한스-피터
Original assignee: 삼성전자주식회사
Priority date: 2010-07-14
Filing date: 2010-07-14
Publication date: 2012-01-20
Also published as: US20120299922A1

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치는 3D 모델 내의 라이트 시점(light view)에 적응적으로 VPL(Virtual Point Light)을 샘플링 할 수 있다. 또한 상기 영상 처리 장치는, 카메라 시점(camera view)에 적응적으로 표면 포인트(Surface point)를 샘플링할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

3D 모델로 구성된 오브젝트에 대한 렌더링에 연관되며, 보다 특정하게는 Radiosity 기법에 의한 실시간 3D 렌더링 과정에서 VPL을 상기 3D 모델 위에 샘플링 하고 표면 포인트를 샘플링 하는 과정에 연관된다.

하드웨어 및 소프트웨어의 발전에 따라, 3-Dimensional (이하에서는, 단순히 "3D"라 함) 게임, 가상현실(virtual world) 애니메이션, 영화 등 다양한 분야에서, 3D 모델에 대한 실시간 렌더링(real-time rendering)에 대한 관심이 높아지고 있다.

고품질 3D 렌더링을 위해서는 연산 양이 매우 커지는데, 기존에는 하드웨어의 성능이 낮아서, 실시간 렌더링에 한계가 있었다. 따라서, 종래의 연구들은, 하드웨어의 성능을 높이는 방향과 연산을 효율적으로 수행함으로써 연산양 자체를 줄이는 방향 등으로 진행되어 왔다.

한편, 3D 렌더링 기법 중, Radiosity는 3D 모델 내에 존재하는 라이트(light)에 의한 직접 조명을 받는 부분뿐만 아니라, 상기 직접 조명이 오브젝트에 의해 반사된 반사광이나 난반사 현상 등에 의한 간접조명까지 고려하여 렌더링 품질을 향상시키는 렌더링 방법이다.

이 경우, 3D 모델 내의 특정 위치에 VPL(Virtual Point Light)를 위치시키고, VPL의 시점(point of view)으로부터의 섀도우 맵(Shadow map)을 작성하는 과정이 요구된다. 그런데, 섀도우 맵의 생성을 위해서는 큰 연산양이 크게 요구되므로, 렌더링 품질을 높이면서도 VPL을 효율적으로 샘플링하고, 또한 카메라 시점에서의 표면 샘플링을 효율적으로 수행하는 것이 바람직하다.

라이트 시점에서 일률적으로(uniformly or randomly) VPL을 배치하는 경우, 카메라 뷰에서 렌더링하는 영상에 도움이 되지 않는 VPL들에 대한 섀도우 맵 생성을 위한 연산의 낭비가 있으므로, 이러한 연산의 낭비를 크게 감소시켜, 렌더링 처리 속도를 향상시키는 영상 처리 장치 및 방법이 제공된다.

카메라 시점에서의 오브젝트에 대한 표면 포인트(surface point) 샘플링에 있어서도, 렌더링 품질에 큰 영향을 주지 않는 부분으로 인한 연산의 낭비를 감소시켜서 렌더링 속도에 대비한 품질을 향상시키는 영상 처리 장치 및 방법이 제공된다.

본 발명의 일측에 따르면, 라이트 시점에서 3D 모델을 렌더링하여 복수 개의 잠재적 VPL을 샘플링 하는 VPL 샘플링부, 상기 복수 개의 잠재적 VPL의 각각에 대하여, 카메라 시점에서 샘플링된 적어도 하나의 표면 포인트에 대한 영향력을 계산하는 영향력 계산부, 및 상기 계산된 영향력에 기초하여, 상기 복수 개의 잠재적 VPL 중 적어도 하나의 VPL을 선택하는 VPL 선택부를 포함하는 영상 처리 장치가 제공된다.

여기서 상기 VPL 샘플링부는, 상기 라이트 시점으로부터의 거리, 오브젝트 포인트의 반사도, 상기 오브젝트 포인트의 칼라 중 적어도 하나에 기초하여, 상기 복수 개의 잠재적 VPL을 적응적으로 샘플링할 수 있다.

또한, 상기 VPL 샘플링부는, 상기 라이트 시점에서 상기 3D 모델을 렌더링한 칼라 값에 기초하여, 상기 복수 개의 잠재적 VPL을 적응적으로 샘플링할 수도 있다.

본 발명의 일실시예에 따르면, 상기 영상 처리 장치는, 상기 카메라 시점에서 상기 3D 모델의 기하정보로부터 상기 적어도 하나의 표면 포인트를 샘플링하는 포인트 샘플링부를 더 포함한다.

이 경우, 상기 포인트 샘플링부는, 상기 카메라 시점으로부터의 거리, 오브젝트 포인트의 반사도, 상기 오브젝트 포인트의 칼라 중 적어도 하나에 기초하여, 상기 적어도 하나의 표면 포인트를 적응적으로 샘플링한다.

또한, 본발명의 일실시예에 따르면, 상기 영상 처리 장치는, 상기 선택된 적어도 하나의 VPL 각각에 대한 섀도우 맵을 생성하고, 래이디오시티 기법을 이용하여 상기 카메라 시점에서 상기 3D 모델을 바라본 영상을 렌더링하는 렌더링부를 더 포함한다.

한편, 상기 영향력은, 상기 복수 개의 잠재적 VPL의 각각과 상기 적어도 하나의 표면 포인트 사이의 거리, 노말 벡터의 내적 중 적어도 하나를 이용하여 계산될 수 있다.

그리고 상기 VPL 선택부는, 상기 복수 개의 잠재적 VPL 각각에 대한 영향력의 분포 곡선을 누적한 누적분포함수(cumulative distribution function, CDF)를 구하고, 상기 누적분포함수 값을 랜덤하게 선택하여, 상기 복수 개의 잠재적 VPL 중 상기 적어도 하나의 VPL을 선택할 수 있다.

또한, 상기 VPL 선택부는, 상기 선택된 적어도 하나의 VPL 주변에 적어도 하나의 추가적 VPL 결정할 수도 있다.

본 발명의 다른 일측에 따르면, 카메라 시점에서 3D 모델의 기하정보로부터 적어도 하나의 표면 포인트를 샘플링하는 포인트 샘플링부, 상기 적어도 하나의 표면 포인트 중, 라이트 시점에서 가시한 적어도 하나의 가시 포인트의 각각에 대해, 상기 적어도 하나의 표면 포인트의 각각에 대한 영향력을 계산하는 영향력 계산부, 및 상기 계산된 영향력에 기초하여 상기 적어도 하나의 가시 포인트 중 적어도 하나의 VPL을 선택하는 VPL 선택부를 포함하는, 영상 처리 장치가 제공된다.

이 경우, 상기 포인트 샘플링부는, 상기 카메라 시점으로부터의 거리, 오브젝트 포인트의 반사도, 상기 오브젝트 포인트의 칼라 중 적어도 하나에 기초하여, 상기 적어도 하나의 표면 포인트를 적응적으로 샘플링할 수 있다.

본 발명의 또 다른 일측에 따르면, 라이트 시점에서 3D 모델을 렌더링하여 복수 개의 잠재적 VPL을 샘플링 하는 VPL 샘플링 단계, 상기 복수 개의 잠재적 VPL의 각각에 대하여, 카메라 시점에서 샘플링된 적어도 하나의 표면 포인트에 대한 영향력을 계산하는 영향력 계산 단계, 및 상기 계산된 영향력에 기초하여, 상기 복수 개의 잠재적 VPL 중 적어도 하나의 VPL을 선택하는 VPL 선택 단계를 포함하는 영상 처리 방법이 제공된다.

적응적인 VPL 배치를 통해 3D 렌더링을 수행하므로, 렌더링을 위한 연산 양이 감소되고, 따라서 동일한 품질의 영상을 얻기 위해 요구되는 자원(resource)을 줄일 수 있다.

카메라 시점에서 중요한 부분에 대해 연산양을 집중하므로, 실시간 3D 렌더링이 용이하게 구현된다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법에 의해 렌더링 되는 예시적 3D 모델을 도시한다.
도3은 도 2의 3D 모델의 오브젝트 및 라이트를 도시한 평면도이다.
도 4는 도 3의 라이트 시점에서 적응적으로 샘플링된 잠재적 VPL을 도시한다.
도 5는 도 3의 카메라 뷰에서 적응적으로 샘플링한 표면 포인트를 도시한다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 장치의 영향력 계산부의 동작을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따라 도 4의 잠재적 VPL 중 선택된 VPL을 도시한다.
도 8은 도 7의 선택된 VPL을 카메라 시점에서 바라본 모습을 도시한다.
도 9는 본 발명의 일 실시예에 따라, 도 8에 도시된 VPL들을 고려하여, 상기 3D 모델을 도 3의 카메라 뷰에서 렌더링한 예시적 결과를 도시한다.
도 10은 본 발명의 일 실시예에 따른 영상처리 방법을 도시한다.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한다.

VPL 샘플링부(110)는 3D 모델 내의 실제 라이트 시점(real light view)의 위치 및 오브젝트 특성을 고려하여, 상기 3D 모델 내에 복수 개의 잠재적 VPL(Potential VPL)을 샘플링한다. 이러한 복수 개의 잠재적 VPL은 래이디오시티(radiosity) 기법에 사용되는 최종 VPL의 후보(candidate)이다.

본 발명의 일실시예에 따르면, VPL 샘플링부(110)는 3D 모델 내의 라이트 시점에서 가시한(visible) 부분에 상기 잠재적 VPL을 샘플링 한다.

이 경우, VPL 샘플링부(110)는 상기 라이트 시점으로부터 가까울수록, 오브젝트 표면의 반사도(Bidirectional Reflectance)가 클수록, 오브젝트 표면의 색이 밝은 색일수록 더 밀하게(dense) 잠재적 VPL을 샘플링 할 수 있다.

라이트 시점에서 3D 모델을 렌더링 하는 경우의 perspective projection을 고려하면, 라이트 시점에서 가까우면 잠재적 VPL이 밀하게 샘플링되고, 멀어질수록 소하게(sparse) 샘플링 되는 것은 물리적으로 타당성이 있다.

또한, BRDF(Bidirectional Reflectance Distribute Function)로부터 알 수 있는 오브젝트의 반사도가 크고, 표면 칼라가 밝은 색일수록 잠재적 VPL이 밀하게 샘플링 되는 것 또한 타당성이 있다.

이렇게, VPL 샘플링부(110)는 잠재적 VPL을 샘플링 함에 있어서, 일률적으로(uniformly or randomly) 샘플링하지 않고, 라이트 시점을 고려하여 적응적으로(adaptively) 샘플링을 수행한다. 이러한 적응적 샘플링에 의해, 실제로 렌더링 품질에 영향을 주는 부분에 대해 연산 자원을 집중하게 되므로 연산 효율을 크게 할 수 있다.

잠재적 VPL 샘플링에 관한 내용은 도 4를 참조하여 보다 상세히 후술한다.

한편, 실시예에 따라서는, 상기 VPL 샘플링부(110)가 잠재적 VPL을 샘플링 하는 과정이 생략될 수도 있다. 즉, 라이트 시점에서 3D 모델을 렌더링 하여 가시한(visible) 픽셀들에 대응하는 포인트 전체가, 별도의 샘플링 없이, 상기 잠재적 VPL로 결정될 수 있다.

이하에서는 별다른 언급이 없더라도, 잠재적 VPL의 샘플링은 별도의 샘플링 없이 라이트 시점에서 렌더링을 수행한 전체 가시 샘플들을 잠재적 VPL로 선정하는 것이 가능하다.

한편, 포인트 샘플링부(120)는, 메쉬(mesh) 기반의 3D 모델 내에 상기 3D 모델의 기하 정보를 대표하는 복수 개의 표면 포인트(Surface point)를 샘플링 한다.

섀도우 맵(Shadow map) 생성과 섀도우 테스트를 통한 래이디오시티 기법의 3D 렌더링에 있어서는 오브젝트의 기하 정보를 포인트 기반으로 샘플링 하여 처리한다.

이 과정에서, 상기 포인트 샘플링부(120)는 렌더링에서 고려될 표면 포인트들을 적응적으로 샘플링한다.

이 경우, 표면 포인트들의 적응적 샘플링 또한, 렌더링 품질에 실질적인 영향을 미치는 부분에 표면 포인트를 밀하게(dense) 샘플링하고, 그렇지 않은 부분에는 소하게(sparse) 샘플링 하는 것을 의미한다.

여기서 포인트 샘플링부(120)가 어떤 기준으로 적응적인 표면 포인트 샘플링을 수행하는 지는 다양한 실시예가 있을 수 있다.

이를 테면, 포인트 샘플링부(120)는 3D 모델의 메쉬들에 대하여, 렌더링하고자 하는 카메라 시점에서 가까운 부분에 포인트 샘플링을 밀하게 하고, 카메라 시점과 멀어질수록 소하게 샘플링 할 수 있다. 카메라 시점으로부터 가까운 부분이라면, LOD(Level of Detail)이 높아야 할 필요가 있을 수 있기 때문이다.

또한, 상기 실시예와 병행하여, 또는 이에 대신하여 미리 카메라 시점에서 렌더링을 수행하여 가시한(visible) 픽셀들에 대응하는 몇 개의 뷰 샘플 픽셀(view sample pixel)을 선정할 수 있다.

그리고, 이렇게 선정된 뷰 샘플 픽셀들에 대응하는 3D 모델 내의 위치 각 메쉬의 기하정보인 뷰 샘플 포인트들을 결정한 뒤, 이 뷰 샘플 포인트들로부터 거리가 가까울수록 밀하게 표면 포인트를 샘플링할 수 있다.

어느 경우이든 실제 렌더링 품질에 영향을 많이 주는 부분에는 높은 디테일(high detail)을 주도록 연산양을 집중하고자 하는 목적은 같으나, 그 구체적인 세부 방법에 있어서의 차이가 존재한다.

나아가, 상기한 실시예들 뿐만 아니라, 포인트 샘플링부(120)는 렌더링 품질에 영향을 주는 부분에 적응적으로 표면 포인트 샘플링을 밀하게 하는 것이라면, 다른 어떤 방법에 의해서라도 표면 포인트 샘플링을 수행할 수 있다. 따라서 본 발명이 일부의 실시예로 제한되어 해석되어서는 안 되며, 특허청구의 범위에 기재된 바에 따라 판단되어야 한다.

포인트 샘플링부(120)의 동작은 도 5를 참조하여 보다 상세히 후술한다.

그러면, 영향력 계산부(130)는 잠재적 VPL을 각각에 대해, 포인트 샘플링부(120)가 샘플링한 표면 포인트들에 대한 영향력을 계산한다.

상기한 과정에서, 렌더링을 위한 VPL의 후보로 되어 있는 잠재적 VPL들 모두가 렌더링 품질에 영향을 주는 것은 아니고, 어떤 잠재적 VPL들은 카메라 뷰에서 가시한(visible) 포인트 샘플 중 어느 것에도 전혀 영향을 주지 못하거나, 주더라도 아주 작은 영향만을 주기 때문에, 이러한 것들은 제외하기 위함이다.

영향력 계산부(130)의 동작은 도 6을 참조하여 보다 상세히 후술한다.

VPL 선택부(140)는, 이러한 영향력 계산의 결과, 일정한 임계치 이상의 영향력을 갖는 잠재적 VPL만을, 래이디오시티 기법의 3D 렌더링에 사용될 최종 VPL로 선택한다.

나아가, 본 발명의 일부 실시예에서는, 상기 VPL 선택부(140)가 잠재적 VPL들 중에 일부를 선택하는 역할 외에도, 상기 선택된 VPL을 시드(seed)로 하여, 주변에 추가적 VPL를 샘플링할 수 있다. 이러한 과정은 수퍼 샘플링(super sampling of additional VPLs)이라 할 수 있다.

VPL 선택 과정과 결과에 대한 내용은 도 7 내지 도 8을 참조하여 보다 상세히 후술한다.

그러면, 렌더링부(150)는 이렇게 선택된 VPL들을 이용하여, Global illumination을 고려한 래이디오시티 기법 등에 의해 상기 3D 모델을 샘플링한다. 이 과정에서 렌더링부(150)는 상기 선택된 VPL들 각각에 대해 섀도우 맵을 생성하고, 카메라 시점의 가시 포인트(visible points)에 대한 섀도우 테스트를 수행하게 된다.

상기한 본발명의 실시예들에 의하면, 렌더링 품질에 영향을 주지 않는 부분에는 VPL이 소하게(sparse) 배치되고, 렌더링 품질에 영향을 많이 주는 부분에는 VPL이 보다 밀하게(dense) 배치되므로, 렌더링부(150)의 섀도우 맵 생성과 섀도우 테스트 연산의 효율이 매우 커진다.

렌더링 과정 및 그 결과에 대해서는 도 9를 참조해서도 상세히 후술한다.

이하에서는, 예시적인 3D 모델에서 본 발명의 영상 처리 장치(100)가 어떠한 방식으로 영상 처리를 수행하는 지를 도 2 내지 도 9를 참조하여 후술한다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법에 의해 렌더링 되는 예시적 3D 모델(200)의 오브젝트를 도시한다.

3D 모델(200)은, 정면의 일부분이 개방된 방(room)을 나타내는 오브젝트(210)와, 상기 방 내에 위치한 원기둥 형태의 오브젝트(220)를 포함한다. 물론 상기 3D 모델(200)은 설명의 편의를 위해 간단하게 표현된 예시적인 것에 불과하며, 본 발명이 특정 실시예에 의해 제한적으로 해석되어서는 안 된다.

현재 도 2에서 도시되는 3D 모델(200)의 모습은, 상기 3D 모델의 라이트 시점(light view)에서 바라본 모습이다. 이하에서, 설명의 편의를 위해, 오브젝트(210) 내부에는 다른 독립 조명이 존재하지 않는다고 가정한다.

상기 3D 모델(200)의 평면도 및 영상을 렌더링 하고자 하는 카메라 시점(camera view)에 관해서는 도 3을 참조하여 후술한다.

도3은 도 2의 3D 모델(200)의 오브젝트들 및 광원(Light)(301)을 위에서 바라본 구조를 도시한 평면도이다.

3D 모델(200)의 렌더링을 위해 고려되는 광원(301)은 육면체 방(room) 형태의 오브젝트(210)의 외부에 위치하며, 오브젝트(210)가 개방되어 있는 전면부의 틈을 통하여 상기 오브젝트(210) 내부에 빛을 제공한다.

상기 오브젝트(210) 외부에 존재하는 광원(301)의 빛이 상기 오브젝트(210) 내에 도달하는 범위가 각도(310)에 의해 표현된다. 상기 오브젝트(210) 내부에서 상기 각도(310)를 벗어나는 부분에는 직접 광(direct light)은 도달하지 않는다.

영상을 렌더링 하고자 하는 카메라 뷰(302)에서 바라본 영역이 각도(320)으로 표현된다. 이하에서는, VPL들과 표면 포인트(surface points)를 샘플링하고, 상기 각도(320) 내의 영역의 영상을 렌더링 하는 상세한 과정이 서술된다.

도 4는 도 3의 라이트 시점(301)에서 적응적으로 샘플링된 잠재적 VPL을 도시한다.

래이디오시티(Radiosity)는, 3D 렌더링 기법의 하나로서, 빛의 반사와 같은 자연 현상을 대표하는 가상의 포인트 광원(Virtual Point Light, VPL)을 3D 모델 위에 배치하고, VPL들에 의한 오브젝트의 칼라 값 변화를 고려해서 영상을 렌더링 하는 기법이다.

일반적으로 VPL의 개수를 많이 설정할수록, 렌더링 품질을 향상되나, 섀도우 맵 생성 등을 위한 연산양이 크게 증가하여, 렌더링 속도는 낮아진다. 따라서, 본 발명의 일실시예에 따르면, VPL 샘플링부(110)는 3D 모델(200) 내에서, 광원(301)으로부터 빛을 많이 받고, 또 다른 부분으로 빛을 많이 반사할 수 있는 부분에 더 밀하게 잠재적 VPL을 샘플링하고, 그렇지 않은 부분에는 소하게 샘플링 한다.

도 4에의 예에서 VPL 샘플링부(110)는, 라이트 뷰를 고려하여, 라이트 뷰에 가깝고, 및/또는 오브젝트 칼라가 밝고, 및/또는 반사도가 큰 부분(410)에는 잠재적 VPL들을 밀하게 샘플링하였다.

그리고, VPL 샘플링부(110)는, 라이트 뷰에서 멀고, 및/또는 오브젝트 칼라가 어둡고, 및/또는 반사도가 작은 부분(420)에는 잠재적 VPL들을 소하게 샘플링 하였다.

그런데, 이렇게 샘플링된 잠재적 VPL들 중에서는 오브젝트(210) 내에 존재하는 카메라 시점에서의 영상에 전혀 영향을 주지 못하는 잠재적 VPL(402)가 있다. 이러한 잠재적 VPL(402)는 오브젝트(210) 내에 배치되어 카메라 시점에서의 영상에 영향을 주는 잠재적 VPL(401)과는 다르게 취급된다.

어차피 잠재적 VPL(402)에 대해서는 섀도우 맵을 생성하더라도, 카메라 시점에서의 영상에서 가시한(visible) 부분에는 영향을 주지 못하는 것이므로, 이러한 잠재적 VPL(402)는 연산양의 낭비를 가져올 수 있다.

따라서, 실제로 영상 렌더링에 영향을 주는 잠재적 VPL(이를 테면 401)을 선별하는 과정이 요구된다.

도 5는 도 3의 카메라 뷰(302)에서 적응적으로 샘플링한 표면 포인트를 도시한다.

상기한 바와 같이, 메쉬 기반으로 구성되어 있는 3D 모델에 있어서, VPL들의 섀도우 맵을 이용한 섀도우 테스트 등을 수행하여 래이디오시티 기법의 렌더링을 수행하는 경우에는, 전체 메쉬 중 일부의 표면 샘플링이 요구될 수 있다.

영상 처리 장치(100)의 포인트 샘플링부(120)는 이러한 역할을 수행한다.

그런데, 샘플링되는 표면 포인트들(sampled Surface points)은 광원이나 각 VPL들에 대한 섀도우 테스트, 즉 그림자 생성에 사용되는데, 그림자가 맺히는 부분이 렌더링하고자 하는 카메라 시점(또는 카메라 시점에서 렌더링한 view sample)에 가까울수록 더 정확한 표현이 필요하기 때문에, 이 부분에는 높은 밀도의 포인트 샘플링이 필요하다.

따라서, 본 발명의 일실시예에 따르면, 포인트 샘플링부(120)는 3D 모델의 메쉬들을 일률적으로(uniformly or randomly) 샘플링 하는 것이 아니라, 렌더링 결과를 고려하여 적응적으로 샘플링 한다.

이를 테면, 포인트 샘플링부(120)는 카메라 뷰(302)에서 가까운 메쉬들의 영역(510)에서는 표면 포인트(511)를 밀하게 샘플링하고, 카메라 뷰(302)에서 먼 메쉬들의 영역(520)에서는 표면 포인트(521)를 소하게 샘플링 할 수 있다.

다만, 이러한 과정을 위해서 각 메쉬들과 카메라 시점의 공간 좌표에 따른 거리를 직접 계산하는 것이 연산양이 커질 수도 있다.

이 때문에, 상기한 예와 함께, 또는 그에 대신하여, 포인트 샘플링부(120)는 카메라 시점(302)에서 렌더링 한 영상의 각 픽셀들의 일부 샘플에 대응하는 뷰 포인트 샘플과 가까운 부분에는 표면 포인트를 밀하게 샘플링하고, 먼 부분에는 표면 포인트를 소하게 샘플링 할 수 있다.

따라서, 도 1을 참조하여 상술한 바와 같이, 별다른 언급이 없더라도, 적응적 표면 포인트 샘플링 과정은 일부 실시예로 제한되어 해석되어서는 안 된다.

도 6은 본 발명의 일 실시예에 따른 영상 처리 장치의 영향력 계산부(130)의 동작을 설명하기 위한 개념도이다.

어느 한 예시적 잠재적 VPL(x1)의 예시적 표면 포인트(x2)에 대한 영향력 W(x)는 아래 수학식 1과 같이 계산된다.

[수학식 1]

여기서, 여기서

는 잠재적 VPL(x1)에서의 노말(normal) 벡터,

는 표면 포인트(x2)에서의 노말 벡터이다. 그리고, K는 분모 term의 영향을 조정하는 상수이다.

빛은 경로(601)에서 광원(301)로부터 잠재적 VPL(x1)로 전달되고, 다시 경로(602)를 통해 표면 포인트(x2)로 전달된 후, 경로(603)를 통해 카메라 시점(302)으로 전달되며, 이러한 과정에서 빛의 전달 가능성과 가시성(visibility) 등이 영향력 W(x)에 반영된다.

이렇게 영향력 계산부(130)가 전체 잠재적 VPL들에 대해 표면 포인트들에 대한 영향력 W(x)을 계산하면, VPL 선택부(140)는 그 중 영향력이 높은 일부의 잠재적 VPL들을 렌더링에 사용되는 최종 VPL로 선택한다.

나아가, 본 발명의 일부 실시예에 따르면, VPL 선택부(140)는 선택된 최종 VPL들을 seed로 하여, 그 주변에 추가적 VPL들을 샘플링할 수도 있다. 이러한 실시예는, 렌더링에 영향을 미치는 것으로 판단된 VPL들 주변을 수퍼 샘플링(super sampling)함으로써 렌더링 품질을 더 높이기 위한 것이다.

도 7은 본 발명의 일 실시예에 따라 도 4의 잠재적 VPL 중 선택된 VPL을 도시한다.

카메라 시점(302)에서 가시하지(visible) 않은 영역들(701 및 702 등)의 잠재적 VPL들은 선택되지 않았다. 물론, 이는 설명의 편의를 위해 단순화된 이상적인 예이다.

선택된 잠재적 VPL들이 최종 VPL로서 도 7의 오브젝트 내에 표시되어 있다. 물론 상기한 바와 같이, 이들을 seed로 하여 수퍼 샘플링을 통해 추가적 VPL들이 생성될 수도 있다.

도 8은 도 7의 선택된 VPL을 카메라 시점에서 바라본 모습을 도시한다.

이렇게 렌더링에 사용될 VPL들이 확정되면, 영상 처리 장치(100)의 렌더링부(150)는 확정된 VPL들을 이용하여 래이디오시티 기법에 의해 카메라 시점(302)의 영상을 렌더링 한다.

도 9는 본 발명의 일 실시예에 따라, 도 8에 도시된 VPL들을 고려하여, 상기 3D 모델을 도 3의 카메라 뷰에서 렌더링한 예시적 결과를 도시한다.

이러한 렌더링에 의해, 육면체 방(room) 형태의 오브젝트(210) 내의 벽면들 중 직접 조명(direct illumination)이 닿지 않는 부분인 영역(911), 영역(912) 등에도 칼라 값이 렌더링 될 수 있으며, 이러한 영역들과 직접 조명이 닿는 영역들(921, 922 및 923) 사이의 경계에서 소프트 섀도우(soft shadow)가 표현될 수 있다.

본 발명의 실시예들에 따르면, VPL의 배치 및 표면 포인트 샘플링이 적응적으로 수행되므로, 렌더링에 영향을 주는 부분에 연산양이 집중된다. 따라서, 전체적인 연산 속도가 향상되며, 연산 자원에 대비한 렌더링 품질이 높아질 수 있다.

도 10은 본 발명의 일 실시예에 따른 영상처리 방법을 도시한다.

단계(S1010)에서, VPL 샘플링부(110)는 3D 모델 내의 실제 라이트 시점(real light view)의 위치 및 오브젝트 특성을 고려하여, 상기 3D 모델 내에 복수 개의 잠재적 VPL(Potential VPL)을 샘플링한다.

잠재적 VPL의 적응적 샘플링에 관한 내용은 도 4를 참조하여 상술한 바와 같다.

단계(S1020)에서, 포인트 샘플링부(120)는, 메쉬(mesh) 기반의 3D 모델 내에 상기 3D 모델의 기하 정보를 대표하는 복수 개의 표면 포인트(Surface point)를 샘플링 한다.

여기서 포인트 샘플링부(120)가 어떤 기준으로 적응적인 표면 포인트 샘플링을 수행하는 지에 관한 다양한 실시예는 도 5 등을 참조하여 상술한 바와 같다.

단계(S1030)에서는, 영향력 계산부(130)가 잠재적 VPL을 각각에 대해, 포인트 샘플링부(120)가 샘플링한 표면 포인트들에 대한 영향력을 계산한다.

이러한 영향력 계산의 상세한 내용은 도 6 및 수학식 1을 참조하여 상술한 바와 같다.

단계(S1040)에서는, VPL 선택부(140)가, 이러한 영향력 계산의 결과, 일정한 임계치 이상의 영향력을 갖는 잠재적 VPL만을, 래이디오시티 기법의 3D 렌더링에 사용될 최종 VPL로 선택한다.

VPL 선택 과정과 결과에 대한 내용은 도 7 내지 도 8을 참조하여 상술한 바와 같다.

그러면, 단계(S1050)에서, 렌더링부(150)가 이렇게 선택된 VPL들을 이용하여, Global illumination을 고려한 래이디오시티 기법 등에 의해 상기 3D 모델을 샘플링한다. 이러한 과정은, 도 9를 참조해서 상술한 바와 같다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 영상 처리 장치
110: VPL 샘플링부
120: 포인트 샘플링부
130: 영향력 계산부
140: VPL 선택부
150: 렌더링부

Claims

라이트 시점에서 3D 모델을 렌더링하여 복수 개의 잠재적 VPL을 샘플링 하는 VPL 샘플링부;
상기 복수 개의 잠재적 VPL의 각각에 대하여, 카메라 시점에서 샘플링된 적어도 하나의 표면 포인트에 대한 영향력을 계산하는 영향력 계산부; 및
상기 계산된 영향력에 기초하여, 상기 복수 개의 잠재적 VPL 중 적어도 하나의 VPL을 선택하는 VPL 선택부
를 포함하는 영상 처리 장치.
제1항에 있어서,
상기 VPL 샘플링부는,
상기 라이트 시점으로부터의 거리, 오브젝트 포인트의 반사도, 상기 오브젝트 포인트의 칼라 중 적어도 하나에 기초하여, 상기 복수 개의 잠재적 VPL을 적응적으로 샘플링하는, 영상 처리 장치.
제1항에 있어서,
상기 VPL 샘플링부는,
상기 라이트 시점에서 상기 3D 모델을 렌더링한 칼라 값에 기초하여, 상기 복수 개의 잠재적 VPL을 적응적으로 샘플링하는, 영상 처리 장치.
제1항에 있어서,
상기 카메라 시점에서 상기 3D 모델의 기하정보로부터 상기 적어도 하나의 표면 포인트를 샘플링하는 포인트 샘플링부
를 더 포함하고,
상기 포인트 샘플링부는, 상기 카메라 시점으로부터의 거리, 오브젝트 포인트의 반사도, 상기 오브젝트 포인트의 칼라 중 적어도 하나에 기초하여, 상기 적어도 하나의 표면 포인트를 적응적으로 샘플링하는, 영상 처리 장치.
제1항에 있어서,
상기 선택된 적어도 하나의 VPL 각각에 대한 섀도우 맵을 생성하고, 래이디오시티 기법을 이용하여 상기 카메라 시점에서 상기 3D 모델을 바라본 영상을 렌더링하는 렌더링부
를 더 포함하는, 영상 처리 장치.
제1항에 있어서,
상기 영향력은, 상기 복수 개의 잠재적 VPL의 각각과 상기 적어도 하나의 표면 포인트 사이의 거리, 노말 벡터의 내적 중 적어도 하나를 이용하여 계산되는, 영상 처리 장치.
제1항에 있어서,
상기 VPL 선택부는,
상기 복수 개의 잠재적 VPL 각각에 대한 영향력의 분포 곡선을 누적한 누적분포함수(cumulative distribution function, CDF)를 구하고, 상기 누적분포함수 값을 랜덤하게 선택하여, 상기 복수 개의 잠재적 VPL 중 상기 적어도 하나의 VPL을 선택하는, 영상 처리 장치.
제1항에 있어서,
상기 VPL 선택부는,
상기 선택된 적어도 하나의 VPL 주변에 적어도 하나의 추가적 VPL 결정하는, 영상 처리 장치.
카메라 시점에서 3D 모델의 기하정보로부터 적어도 하나의 표면 포인트를 샘플링하는 포인트 샘플링부;
상기 적어도 하나의 표면 포인트 중, 라이트 시점에서 가시한 적어도 하나의 가시 포인트의 각각에 대해, 상기 적어도 하나의 표면 포인트의 각각에 대한 영향력을 계산하는 영향력 계산부; 및
상기 계산된 영향력에 기초하여 상기 적어도 하나의 가시 포인트 중 적어도 하나의 VPL을 선택하는 VPL 선택부
를 포함하는, 영상 처리 장치.
제9항에 있어서,
상기 포인트 샘플링부는,
상기 카메라 시점으로부터의 거리, 오브젝트 포인트의 반사도, 상기 오브젝트 포인트의 칼라 중 적어도 하나에 기초하여, 상기 적어도 하나의 표면 포인트를 적응적으로 샘플링하는, 영상 처리 장치.
제9항에 있어서,
상기 영향력은, 상기 적어도 하나의 가시 포인트의 각각과 상기 적어도 하나의 표면 포인트 사이의 거리, 노말 벡터의 내적 중 적어도 하나를 이용하여 계산되는, 영상 처리 장치.
제9항에 있어서,
상기 VPL 선택부는,
상기 복수 개의 잠재적 VPL 각각에 대한 영향력의 분포 곡선을 누적한 누적분포함수(cumulative distribution function, CDF)를 구하고, 누적분포함수 값을 랜덤하게 선택하여, 상기 복수 개의 잠재적 VPL 중 상기 적어도 하나의 VPL을 선택하는, 영상 처리 장치.
라이트 시점에서 3D 모델을 렌더링하여 복수 개의 잠재적 VPL을 샘플링 하는 VPL 샘플링 단계;
상기 복수 개의 잠재적 VPL의 각각에 대하여, 카메라 시점에서 샘플링된 적어도 하나의 표면 포인트에 대한 영향력을 계산하는 영향력 계산 단계; 및
상기 계산된 영향력에 기초하여, 상기 복수 개의 잠재적 VPL 중 적어도 하나의 VPL을 선택하는 VPL 선택 단계
를 포함하는 영상 처리 방법.
제13항에 있어서,
상기 VPL 샘플링 단계는,
상기 라이트 시점으로부터의 거리, 오브젝트 포인트의 반사도, 상기 오브젝트 포인트의 칼라 중 적어도 하나에 기초하여, 상기 복수 개의 잠재적 VPL을 적응적으로 샘플링하는, 영상 처리 방법.
제13항에 있어서,
상기 VPL 샘플링 단계는,
상기 라이트 시점에서 상기 3D 모델을 렌더링한 칼라 값에 기초하여, 상기 복수 개의 잠재적 VPL을 적응적으로 샘플링하는, 영상 처리 방법.
제13항에 있어서,
상기 카메라 시점에서 상기 3D 모델의 기하정보로부터 상기 적어도 하나의 표면 포인트를 샘플링하는 포인트 샘플링 단계
를 더 포함하고,
상기 포인트 샘플링 단계는, 상기 카메라 시점으로부터의 거리, 오브젝트 포인트의 반사도, 상기 오브젝트 포인트의 칼라 중 적어도 하나에 기초하여, 상기 적어도 하나의 표면 포인트를 적응적으로 샘플링하는, 영상 처리 방법.
제13항에 있어서,
상기 선택된 적어도 하나의 VPL 각각에 대한 섀도우 맵을 생성하고, 래이디오시티 기법을 이용하여 상기 카메라 시점에서 상기 3D 모델을 바라본 영상을 렌더링하는 렌더링 단계
를 더 포함하는, 영상 처리 방법.
제13항에 있어서,
상기 영향력은, 상기 복수 개의 잠재적 VPL의 각각과 상기 적어도 하나의 표면 포인트 사이의 거리, 노말 벡터의 내적 중 적어도 하나를 이용하여 계산되는, 영상 처리 방법.
제13항 내지 제18항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.