KR102110819B1

KR102110819B1 - 영상 처리 장치 및 방법

Info

Publication number: KR102110819B1
Application number: KR1020130052072A
Authority: KR
Inventors: 하인우; 이영범; 프트 페더슨 자콥토; 하치수카 토시야; 김도균; 안민수; 이형욱
Original assignee: 삼성전자주식회사; 오르후스 우니베르시테트
Priority date: 2013-05-08
Filing date: 2013-05-08
Publication date: 2020-05-15
Also published as: US20140333624A1; KR20140132884A; US9684991B2

Abstract

포톤 매핑을 수행하는 영상 처리 장치가 제공된다. 영상 처리 장치는, 포톤 매핑을 위한 래이 트래이싱을 수행한다. 상기 래이 트래이싱 결과를 이용하여, 래이 공간이 샘플링될 수 있다. 나아가, 상기 래이 공간을 이용하여 의사 포톤 매핑이 수행된다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

영상 처리 장치에 연관되며, 보다 특정하게는 포톤 매핑을 이용한 영상 처리 장치에 연관된다.

3D (3-Dimensional) 영상 렌더링에 관한 기술들에는 래스터라이재이션 (rasterization), 래이 트래이싱 (Ray-tracing), 래디오서티 (radiosity), 포톤 매핑 (Photon-mapping) 등이 알려져 있다.

이 중, 포톤 매핑은 스펙큘러(Specular), 디퓨즈(Diffuse), 코스틱스(Caustics), 간접 조명 등 다양한 표현이 가능한 포토리얼리스틱 렌더링 알고리즘으로 인식되고 있다.

그러나, 포톤 매핑을 위해 소요되는 포톤 계산은 광원에서 출발하는 많은 래이(Ray)에 연관되는 수 많은 포톤에 대한 계산이 요구되어, 렌더링의 실시간 처리에 어려움이 존재한다.

이러한 포톤 매핑에서 렌더링의 실시간 처리를 가능하게 하기 위해, 연산 자원의 성능 향상이 요구될 수 있으나, 연산 자원 성능 향상은 한계가 있으며 비효율적일 수 있다.

일측에 따르면, 포톤 매핑을 수행하는 영상 처리 장치가 제공된다. 영상 처리 장치는, 포톤 매핑을 위한 복수 개의 제1 래이에 대한 래이 트래이싱을 수행하는 래이 트래이서; 상기 복수 개의 제1 래이를 이용하여 래이 공간을 샘플링하는 샘플링부; 및 샘플링된 상기 래이 공간을 재구성하여 의사 포톤 생성을 위한 적어도 하나의 제2 래이를 제공하는 재구성부를 포함할 수 있다.

일실시예에 따르면, 상기 영상 처리 장치는 상기 포톤 매핑에 연관되는 3D 오브젝트의 재질, 상기 포톤 매핑에 연관되는 조명의 세기, 위치 및 방향 중 적어도 하나를 고려하여 상기 복수 개의 제1 래이를 선별하는 래이 선별부를 더 포함할 수 있다.

이 경우, 상기 래이 선별부는 통계적 확률 포톤 스캐터링을 이용하여 상기 복수 개의 제1 래이를 선별할 수 있다.

일실시예에 따르면, 영상 처리 장치는 상기 복수 개의 제1 래이에 연관되는 포톤을 생성하는 포톤 처리부를 더 포함할 수 있다.

또한, 일실시예에 따르면, 상기 적어도 하나의 제2 래이를 이용하여 적어도 하나의 의사 포톤을 생성하는 의사 포톤 처리부를 더 포함할 수 있다.

이 경우, 상기 영상 처리 장치는 상기 적어도 하나의 의사 포톤 중, 렌더링 시점에 대응하는 적어도 하나의 포인트에 연관되는 적어도 하나의 제1 의사 포톤을 이용하여 상기 적어도 하나의 포인트의 렌더링을 수행하는 렌더링부를 더 포함할 수 있다.

또한, 상기 영상 처리 장치는, 상기 적어도 하나의 제1 의사 포톤을 이용하여 상기 적어도 하나의 포인트의 래디언스를 추정하는 래디언스 추정부를 더 포함할 수도 있다.

한편, 상기 샘플링부는, 상기 복수 개의 제1 래이의 위치 및 방향을 3차원으로 정렬하여 결정되는 포톤 함수를 이용하여 상기 래이 공간을 샘플링할 수 있다.

또한, 상기 재구성부는, 상기 포톤 함수를 이용하여 상기 복수 개의 제1 래이를 보간하여 상기 복수 개의 제2 래이를 제공할 수 있다.

다른 일측에 따르면, 포톤 매핑을 위한 복수 개의 제1 래이에 대한 래이 트래이싱을 수행하는 래이 트래이싱 단계; 상기 복수 개의 제1 래이를 이용하여 래이 공간을 샘플링하는 샘플링 단계; 및 샘플링된 상기 래이 공간을 재구성하여 의사 포톤 생성을 위한 적어도 하나의 제2 래이를 제공하는 재구성 단계를 포함하는 영상 처리 방법이 제공된다.

일실시예에 따르면, 상기 영상 처리 방법은 상기 포톤 매핑에 연관되는 3D 오브젝트의 재질, 상기 포톤 매핑에 연관되는 조명의 세기, 위치 및 방향 중 적어도 하나를 고려한 통계적 확률 포톤 스캐터링을 이용하여 상기 복수 개의 제1 래이를 선별하는 래이 선별 단계를 더 포함할 수 있다.

일실시예에 따르면, 상기 복수 개의 제1 래이에 연관되는 포톤을 생성하는 포톤 처리 단계; 및 상기 적어도 하나의 제2 래이를 이용하여 적어도 하나의 의사 포톤을 생성하는 의사 포톤 처리 단계를 더 포함할 수 있다.

한편, 상기 영상 처리 방법은 상기 복수 개의 제1 래이에 연관되는 포톤 및 상기 적어도 하나의 의사 포톤 중, 렌더링 시점에 대응하는 적어도 하나의 포인트에 연관되는 포톤들을 이용하여 상기 적어도 하나의 포인트의 렌더링을 수행하는 렌더링 단계를 더 포함할 수도 있다.

이 경우, 상기 영상 처리 방법은 상기 포톤들을 이용하여 상기 적어도 하나의 포인트의 래디언스를 추정하는 래디언스 추정 단계를 더 포함할 수도 있다.

한편, 상기 샘플링 단계는, 상기 복수 개의 제1 래이의 위치 및 방향을 3차원으로 정렬하여 결정되는 포톤 함수를 이용하여 상기 래이 공간을 샘플링할 수 있다.

일실시예에 따르면, 상기 재구성 단계는, 상기 포톤 함수를 이용하여 상기 복수 개의 제1 래이를 보간하여 상기 복수 개의 제2 래이를 제공할 수 있다.

도 1은 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 2는 다른 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 3은 또 다른 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 4는 일실시예에 따른 영상 처리 장치의 포톤 매핑 과정을 설명하기 위한 포톤 매핑을 설명하기 위한 개념도이다.
도 5는 일실시예에 따른 포톤 정보를 설명하기 위한 개념도이다.
도 6은 일실시예에 따른 포톤 저장 데이터 구조를 도시한 개념도이다.
도 7은 일실시예에 따른 래이 공간 샘플링 및 포톤 함수를 설명하기 위한 개념도이다.
도 8은 일실시예에 따른 렌더링 과정을 설명하기 위한 개념도이다.
도 9는 일실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.

이하에서, 일부 실시예들를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 영상 처리 장치(100)를 도시한 블록도이다.

영상 처리 장치(100)는 포톤 매핑을 수행할 수 있다. 포톤 매핑을 위해서는 많은 래이들에 연관되는 포톤들에 대해 래이 트래이싱을 수행하는 과정에서 연산 양이 매우 많이 요구되어 실시간 처리를 위해서는 연산의 효율성 개선이 요구된다.

포톤 매핑을 위해 고려되는 광원에서 출발하여 3D 오브젝트의 래디언스에 영향을 주는 래이들에는 많은 리던던시(Redundancy)가 존재한다. 이러한 리던던시에도 불구하고, 기존 포토 매핑 과정과 같이 수 많은 래이들을 트래이싱하고 실제 포톤을 계산하는 것은 효율성이 높지 않다.

따라서, 일실시예에 따른 영상 처리 장치(100)는, 이러한 수 많은 래이들 전체를 실제 트래이싱 하지 않고, 일부의 래이들에 대해서만 트래이싱을 할 수 있다.

래이 트래이서(110)는 이렇게 포톤 매핑을 위해 요구되는 전체 래이 중, 선별된 복수 개의 제1 래이에 대한 래이 트래이싱을 수행한다.

일실시예에 따르면, 이러한 복수 개의 제1 래이는, 상기 전체 래이 중 렌더링 품질에 영향을 줄 수 있는 것들로 미리 선별될 수 있다. 래이 선별에 관한 내용은 도 2를 참고하여 보다 상세히 후술한다.

일실시예에 따르면, 영상 처리 장치(100)의 샘플링부(120)는 실제 트래이싱된(traced) 상기 복수 개의 제1 래이를 이용하여 래이 공간을 샘플링한다.

래이 공간은 상기 전체 래이들이 트래이싱되는 경우 래이들의 정보를 포함하는 이론적 공간으로 이해될 수 있다. 상기 복수 개의 제1 래이에 대한 래이 트래이싱 과정 및 저장되는 포톤 정보는 도 5 및 도 6을 참조하여 보다 상세히 후술한다. 또한, 상기 래이 공간은 도 7을 참조하여 보다 상세히 후술한다.

일실시예에 따르면, 재구성부(130)는, 상기 샘플링된 래이 공간을 이용하여 실제 트래이싱되지 않은 적어도 하나의 제2 래이를 제공할 수 있도록 상기 래이 공간을 재구성할 수 있다.

이러한 과정에서 제2 래이는 실제 트래이싱되지 않으면서 간접적으로 구해지는 래이로 이해될 수 있으며, 이하에서는 의사 래이(Pseudo Ray)로 지칭할 수 있다.

이러한 의사 래이를 처리하는 경우에는 실제 정확한 값으로 계산되지 않은 포톤들이 제공될 수 있는데, 이러한 포톤들을 실제 정확히 계산된 포톤들(Accurate photon)과 구분하기 위해 의사 포톤(Pseudo photon)으로 지칭할 수 있다.

일실시예에 따른 영상 처리 장치(100)는 포톤 매핑을 위한 래이 트래이싱 과정에서의 리던던시를 제거하여, 연산의 효율성을 높일 수 있다. 영상 처리 장치(100)의 구체적 동작에 대해서는 도 4 내지 도 7을 참조하여 보다 상세히 후술한다.

도 2는 다른 일실시예에 따른 영상 처리 장치(200)를 도시한 블록도이다.

영상 처리 장치(200)는 포톤 매핑에 연관되어 트래이싱 되어야 할 전체 래이들 중, 실제로 트래이싱될 복수 개의 제1 래이들을 선별한다.

이러한 과정에서 3D 오브젝트의 재질(Texture), 광원의 위치, 세기 및 방향 등이 고려될 수 있다.

예시적으로, 상기 재질은 특정한 래이에 연관되는 오브젝트의 반사도, 색상 및 질감 등을 포함할 수 있다. 이를테면, 반사도가 높은 표면, 재질 복잡도가 높은 표면, 및 밝은 색상의 표면에는 렌더링 품질 차이에 대한 시각적 인지도가 높을 수 있으므로, 이러한 부분에 연관되는 래이는 상기 선별 과정에서 중요도가 높은 것으로 고려될 수 있다.

또한, 예시적으로, 포톤을 제공하는 광원의 방향이나 세기 등도 래이 선별에 고려될 수 있다. 이를테면, 광원의 세기가 클수록, 방향이 렌더링 품질에 민감한 방향일수록 샘플링 되는 래이의 수가 늘어날 수 있다.

일실시예에 따르면, 레이 선별부(210)는 이러한 여러 가지 요소들을 고려한 통계적(Stochastic) 샘플링을 통해 렌더링 품질에 영향을 많이 줄 수 있는 중요한 래이만을 선별할 수 있다.

이렇게 중요한 래이 위주로 샘플링이 이루어지면, 선별된 제1 래이들에 대해서는 종전의 포톤 매핑 과정과 동일하게 래이 트래이싱 내지 포톤 매핑이 가능하다. 그리고, 선별되지 않았지만 렌더링에서 고려되어야 하는 제2 래이들은 상기 제1 래이들을 이용하여 샘플링되는 래이 공간 및 상기 래이 공간을 대표하는 포톤 함수를 통하여 간접적으로 구해질 수 있다.

따라서, 정확히 계산된 중요한 래이들을 이용하여 실시간 렌더링 시에 필요한 의사 래이 및 의사 포톤을 결정하고, 비교적 적은 연산양으로 오브젝트의 래디언스를 추정(Estimation)할 수 있다.

따라서, 의사 포톤 처리를 위한 적은 양의 메모리 증가로, 많은 수의 포톤 처리 연산을 줄임으로써 실시간 계산에 매우 유리하다.

상기 래이 선별부(210)가 복수 개의 제1 래이들을 선별하면, 래이 트래이서(210)는 선별된 제1 래이들에 대한 래이 트래이싱을 수행한다.

그리고, 도 1을 참고하여 상술한 바와 같이, 샘플링부(220)는 상기 제1 래이들을 이용하여 래이 공간을 샘플링하며, 이는 도 5 내지 도 7을 참조하여 보다 상세히 후술한다.

또한, 재구성부(240)의 동작은 도 1을 참조하여 상술한 바와 같이 상기 샘플링된 래이 공간을 이용하여 실제 트래이싱되지 않은 적어도 하나의 제2 래이를 제공할 수 있도록 상기 래이 공간을 재구성할 수 있다.

도 3은 또 다른 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.

영상 처리 장치(300)는 상기와 같이 포톤 매핑을 위해 요구되는 전체 래이 중, 선별된 복수 개의 제1 래이에 대한 래이 트래이싱을 수행하는 래이 트래이서(310)를 포함한다.

그리고, 샘플링부(330)는 이러한 선별된 제1 래이들을 이용하여 후술할 포톤 함수를 구하여 래이 공간을 샘플링한다.

그리고, 재구성부(340)은 의사 래이를 포함할 수 있도록 상기 래이 공간을 재구성하여 의사 포톤 처리부(350)로 의사 포톤 정보를 제공한다.

한편, 래이 트래이서(310)가 제공하는 실제 정확히 계산되는 래이들에 의해 포톤 정보가 정확히 계산된 결과는 포톤 처리부(320)를 통해 렌더링부(360)으로 전달된다.

렌더링부(360)는 렌더링 시점에서 필요한 실제 포톤들 및 의사 포톤들을 이용하여 렌더링을 수행하며, 이러한 과정에서 래디언스 추정부(370)는 포톤 매핑을 이용한 래디언스 계산을 수행한다.

래이 트래이서(310) 내지 재구성부(340)의 동작은 도 1 및 도 2를 참조해서 상술한 바와 같으며, 렌더링 및 래디언스 추정에 관해서는 도 8을 참조하여 보다 상세히 후술한다.

도 4는 일실시예에 따른 영상 처리 장치의 포톤 매핑 과정을 설명하기 위한 포톤 매핑을 설명하기 위한 개념도이다.

광원(401)은 3D 포인트들(411, 421 등)의 래디언스에 영향을 주는 포톤들을 제공한다. 이러한 포톤들은 포톤 매핑을 위해 광원(401)로부터 슈트(shoot)되는 래이들(410 내지 440 등)에 연관된다.

종래의 방법은 이러한 광원(401)로부터 발생하는 매우 많은 수, 예시적으로 1억개의 래이들을 모두 고려하여 포톤들을 계산하였다. 포톤 계산에는 이를 테면, 몬테 카를로 기법(Monte Carlo technique) 및 러시안 룰렛(Russian Roulette) 등이 이용될 수 있다.

그리고, 생성된 포톤들은 포톤 매핑을 통해, 코스틱 맵(Caustic map) 및 글로벌 포톤 맵(Global photon map)으로 관리될 수 있다.

일실시예에 따르면, 도 2의 래이 선별부(210)는 이러한 과정에서 3D 오브젝트의 재질(Texture), 광원의 위치, 세기 및 방향 등을 고려하여 전체 래이가 아닌 일부의 제1 래이들을 선별한다.

이렇게 선별된 래이들(410, 42-, 430 및 440)은 굴절, 반사 등의 래이 트래이싱을 거쳐 오브젝트 포인트(411, 421, 431 및 441)에 각각 포톤을 제공하여 래디언스를 만든다.

그러면, 실제 포톤이 계산되는 포인트들(411, 421, 431 및 441)에 대해서는 정확히 계산된 포톤(Accurate photons)이 연관될 수 있다.

그리고, 이러한 정확히 계산된 포톤이 없는 포인트들(451 및 452)에 대해서는 의사 포톤이 계산될 수 있다. 따라서, 포인트(411, 421, 431 및 441)에 대해 연산양이 큰 실제 포톤이 계산된 결과를 이용하여, 포인트들(451 및 452)에 대한 의사 포톤이 구해질 수 있다.

실시예들에 따른 포톤의 계산과 저장 정보 등은 도 5 내지 도 6을 참조하여 설명한다.

도 5는 일실시예에 따른 포톤 정보(500)를 설명하기 위한 개념도이다.

일실시예에 따르면, 종래의 포톤 계산 결과에 비하여 추가적인 정보가 포톤 계산을 위한 트래이싱 과정에서 처리되고 저장된다.

일실시예에 따르면, 이러한 처리를 위해 포톤 트래이싱 함수 P가 정의될 수 있으며, 함수 P는 예시적으로 아래 수학식 1과 같이 정의될 수 있다.

상기 수학식 1에서, 포톤의 위치를 의미하는 원점(origin)(510) 및 방향(direction)(520)이 저장되어 관리된다. 이러한 계산 결과로 포톤 트래이싱 함수 P는 래이 트래이싱과 인터섹션 포인트(intersection point)에서의 포톤 생성 프로세스 정보를 나타낼 수 있다. 이러한 포톤은 종래의 방법과는 다른 데이터 구조로 저장되어 이용될 수 있다.

도 6은 일실시예에 따른 포톤 저장 데이터 구조(600)를 도시한 개념도이다.

일실시예에 따르면, 포톤 함수 P에 의해 대표될 수 있는 개개의 포톤은 원점(610), 방향(620) 및 포톤 정보(630)을 포함한다. 포톤 정보(630)에는 포톤에 연관되는 광원 및/또는 오브젝트의 인텐서티(Intensity), 위치(Position) 및 방향 등의 정보가 포함될 수 있다.

이렇게 계산되어 저장되는 포톤 정보들은 가상의 래이 공간을 구성하는 샘플 포인트들로 이해될 수 있다.

도 7은 일실시예에 따른 래이 공간 샘플링 및 포톤 함수를 설명하기 위한 개념도이다.

검은색으로 표시된 포인트들(711, 712, 713, 721 및 722 등)은 실제 포톤 계산에 의해 계산된 정보에 대응할 수 있다.

이러한 포톤 정보를 각각의 포톤들의 원점(origin)과 방향(direct) 축으로 정렬하면 가상의 래이(또는 포톤) 공간으로 이해될 수 있다. 원점들과 방향들 각각은 3차원 정보이다.

이렇게 계산된 포인트들(711, 712, 713, 721 및 722 등)의 포톤 정보를 수학식 1의 포톤 함수 P의 샘플 포인트들로 간주하면, 흰색으로 표시된 포톤 정보가 실제 계산되지 않은 포인트들(714 및 723 등)의 정보를 간접적으로 계산할 수 있다.

따라서, 실제 계산되지 않은 포인트들(714 및 723 등)에 대한 정보를 추정하여 포톤 함수 P(d, o)를 재구성(reconstruct)할 수 있다.

일실시예에 따르면, 포인트(714)에 대응하는 의사 포톤 정보가 쿼리된다면, 이러한 쿼리에 대응하는 래이에 대해 N개 (N은 자연수)의 이웃한 포인트들을 이용한 보간(interpolation)을 통해 상기 의사 포톤 정보를 구할 수 있다.

또한, 포인트(723)에 대해서 의사 포톤을 구하는 경우에도, N 개 이를테면 2개의 가장 가까운 이웃 포인트들(721 및 722)가 이용될 수 있다. 2개의 이웃 포인트들을 이용하여 보간을 수행하는 예시적 과정은 아래 수학식과 같다.

여기서, Pn0 및 Pn1은 각각 포인트(721) 및 포인트(722)의 정보에 대응할 수 있다. 그리고, dn0 및 dn1은 이들에 적용되는 가중치(weight)로서, 래이 공간에서의 L2 거리(distance)로 이해될 수 있다.

이렇게 하여, 의사 포톤 q_k가 구해질 수 있다.

한편, 일실시예에 따르면, 래이 공간 내에서 실제 계산된 포톤들이 밀집된 영역(710)과 상대적으로 밀집되지 않은 영역(720)이 존재한다.

이는, 상기한 바와 같이, 실제 정확히 계산될 래이들의 중요도에 따라, 영역(710)에는 많은 래이들이 선별되고, 영역(720)에는 상대적으로 적은 래이들이 선별된 결과로 이해될 수 있다.

도 8은 일실시예에 따른 렌더링 과정을 설명하기 위한 개념도이다.

3D 공간(800)에 대해 렌더링 시점(801)로부터 포인트(812)의 래디언스가 계산되는 경우가 제시되어 있다.

포인트(812)의 래디언스는 이웃한 포인트들의 래디언스의 가중 합으로 계산될 수 있으며, 아래 수학식과 같다.

여기서, 전체 플럭스(flux)가 아닌 일부의 반경 r 이내의 플럭스만 고려하는 경우 아래 수학식과 같이 근사화가 가능하다.

이 경우, 반경 r 내의 영역(810)에 포함되는 실제 포톤이 저장된 포인트(811) 및 의사 포톤이 계산되는 포인트(821, 822 및 823)가 고려될 수 있다.

그러면, 의사 포톤들은 상기 도 7을 통해 재구성된 래이 공간으로부터 구해질 수 있어, 실시간성이 보장될 수 있다.

이러한 의사 포톤 계산은 상기한 바와 같이, 상기 포톤 함수 P를 이용하여 상기 복수 개의 제1 래이를 보간하여 상기 복수 개의 제2 래이를 제공하는 과정에 의해 도출될 수 있다.

도 9는 일실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.

단계(910)에서 통계학적 포톤 스캐터링이 수행되면, 포톤 매핑에 요구되는 래이들이 식별될 수 있다. 이 중, 상기한 바와 같이 3D 오브젝트의 재질, 광원의 위치, 세기 및 방향 등이 고려되어, 렌더링 품질에 영향이 큰 중요 래이들이 선별된다(920).

래이 선별 과정은 도 1 내지 도 4를 참조하여 상술한 바와 같다.

그러면, 단계(930)에서 선별된 제1 래이들에 대해 래이 트래이싱이 수행되고, 단계(940)에서 래이 공간이 샘플링된다.

이는 수학식 1 등을 참조하여 상술한 포톤 함수 P의 정의 및 이를 이용한 래이 공간 재구성(950)으로 이해될 수 있다.

나아가, 래이 트래이싱 단계(930)을 통해서는 실제 정확히 계산되는 포톤들이 제공되며(970), 재구성된 래이 공간에서는 의사 포톤이 제공된다(960).

실제 포톤들과 의사 포톤에 관해서는 도 4 내지 도 7을 참조하여 상술한 바와 같다.

한편, 이러한 포톤들은 단계(980)에서 저장되어 관리될 수 있으며, 추후에 렌더링 과정에서 이러한 포톤 정보들이 이용될 수 있다. 또한, 필요한 포톤들은 실시간으로 추가적으로 구해질 수 있으므로, 실시간성에 지장을 주지 않으면서도 렌더링 품질을 더욱 높이는 것도 가능하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

모든 래이 중에서 포톤 매핑을 위해 선별된 복수 개의 제1 래이에 대한 래이 트래이싱을 수행하는 래이 트래이서;
상기 래이 트래이싱된 제1 래이를 이용하여 래이 공간을 샘플링하는 샘플링부; 및
상기 래이 트래이싱된 제1 래이를 이용하여 샘플링된 상기 래이 공간을 재구성하여 의사 포톤 생성을 위한 적어도 하나의 제2 래이를 제공하는 재구성부
를 포함하고,
상기 복수 개의 제1 래이는,
상기 포톤 매핑에 연관되는 3D 오브젝트의 재질, 상기 포톤 매핑에 연관되는 조명의 세기, 위치 및 방향 중에서 둘 이상을 고려하여 선별되는
영상 처리 장치.
제1항에 있어서,
상기 포톤 매핑에 연관되는 상기 3D 오브젝트의 재질, 상기 포톤 매핑에 연관되는 상기 조명의 세기, 상기 위치 및 상기 방향 중에서 둘 이상을 고려하여 상기 복수 개의 제1 래이를 선별하는 래이 선별부
를 더 포함하는 영상 처리 장치.
제2항에 있어서,
상기 래이 선별부는 통계적 확률 포톤 스캐터링을 이용하여 상기 복수 개의 제1 래이를 선별하는 영상 처리 장치.
제1항에 있어서,
상기 래이 트래이싱된 제1 래이에 연관되는 포톤을 생성하는 포톤 처리부
를 더 포함하는 영상 처리 장치.
제1항에 있어서,
상기 적어도 하나의 제2 래이를 이용하여 적어도 하나의 의사 포톤을 생성하는 의사 포톤 처리부
를 더 포함하는 영상 처리 장치.
제5항에 있어서,
상기 적어도 하나의 의사 포톤 중, 렌더링 시점에 대응하는 적어도 하나의 포인트에 연관되는 적어도 하나의 제1 의사 포톤을 이용하여 상기 적어도 하나의 포인트의 렌더링을 수행하는 렌더링부
를 더 포함하는 영상 처리 장치.
제6항에 있어서,
상기 적어도 하나의 제1 의사 포톤을 이용하여 상기 적어도 하나의 포인트의 래디언스를 추정하는 래디언스 추정부
를 더 포함하는 영상 처리 장치.
제1항에 있어서,
상기 샘플링부는, 상기 래이 트래이싱된 제1 래이의 위치 및 방향을 3차원으로 정렬하여 결정되는 포톤 함수를 이용하여 상기 래이 공간을 샘플링하는 영상 처리 장치.
제8항에 있어서,
상기 재구성부는, 상기 포톤 함수를 이용하여 상기 래이 트래이싱된 제1 래이를 보간하여 상기 복수 개의 제2 래이를 제공하는 영상 처리 장치.
모든 래이 중에서 포톤 매핑을 위해 선별된 복수 개의 제1 래이에 대한 래이 트래이싱을 수행하는 래이 트래이싱 단계;
상기 래이 트래이싱된 제1 래이를 이용하여 래이 공간을 샘플링하는 샘플링 단계; 및
상기 래이 트래이싱된 제1 래이를 이용하여 샘플링된 상기 래이 공간을 재구성하여 의사 포톤 생성을 위한 적어도 하나의 제2 래이를 제공하는 재구성 단계
를 포함하고,
상기 복수 개의 제1 래이는,
상기 포톤 매핑에 연관되는 3D 오브젝트의 재질, 상기 포톤 매핑에 연관되는 조명의 세기, 위치 및 방향 중에서 둘 이상을 고려하여 선별되는
영상 처리 방법.
제10항에 있어서,
상기 포톤 매핑에 연관되는 상기 3D 오브젝트의 재질, 상기 포톤 매핑에 연관되는 상기 조명의 세기, 상기 위치 및 상기 방향 중에서 둘 이상을 고려한 통계적 확률 포톤 스캐터링을 이용하여 상기 복수 개의 제1 래이를 선별하는 래이 선별 단계
를 더 포함하는 영상 처리 방법.
제10항에 있어서,
상기 래이 트레이싱된 제1 래이에 연관되는 포톤을 생성하는 포톤 처리 단계; 및
상기 적어도 하나의 제2 래이를 이용하여 적어도 하나의 의사 포톤을 생성하는 의사 포톤 처리 단계
를 더 포함하는 영상 처리 방법.
제12항에 있어서,
상기 래이 트래이싱된 제1 래이에 연관되는 포톤 및 상기 적어도 하나의 의사 포톤 중, 렌더링 시점에 대응하는 적어도 하나의 포인트에 연관되는 포톤들을 이용하여 상기 적어도 하나의 포인트의 렌더링을 수행하는 렌더링 단계
를 더 포함하는 영상 처리 방법.
제13항에 있어서,
상기 포톤들을 이용하여 상기 적어도 하나의 포인트의 래디언스를 추정하는 래디언스 추정 단계
를 더 포함하는 영상 처리 방법.
제10항에 있어서,
상기 샘플링 단계는, 상기 래이 트래이싱된 제1 래이의 위치 및 방향을 3차원으로 정렬하여 결정되는 포톤 함수를 이용하여 상기 래이 공간을 샘플링하는 영상 처리 방법.
제15항에 있어서,
상기 재구성 단계는, 상기 포톤 함수를 이용하여 상기 래이 트래이싱된 제1 래이를 보간하여 상기 복수 개의 제2 래이를 제공하는 영상 처리 방법.
제10항 내지 제16항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.