KR102223064B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102223064B1
KR102223064B1 KR1020140031636A KR20140031636A KR102223064B1 KR 102223064 B1 KR102223064 B1 KR 102223064B1 KR 1020140031636 A KR1020140031636 A KR 1020140031636A KR 20140031636 A KR20140031636 A KR 20140031636A KR 102223064 B1 KR102223064 B1 KR 102223064B1
Authority
KR
South Korea
Prior art keywords
light
vpl
point
transparency
light transmission
Prior art date
Application number
KR1020140031636A
Other languages
English (en)
Other versions
KR20150108623A (ko
Inventor
하인우
안민수
이형욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140031636A priority Critical patent/KR102223064B1/ko
Priority to US14/605,072 priority patent/US9761044B2/en
Publication of KR20150108623A publication Critical patent/KR20150108623A/ko
Application granted granted Critical
Publication of KR102223064B1 publication Critical patent/KR102223064B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/55—Radiosity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

영상 처리 장치의 생성부는, 객체의 투명도를 반영하여 광으로부터 객체까지의 깊이 정보를 샘플링하여 광 전달 지도를 생성할 수 있다. 그리고 상기 광 전달 지도는 렌더링될 제1 포인트에 대한 상기 광의 가시성 계산에 이용될 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
3차원(3-Dimensional, 3D) 모델에 대한 전역 조명 기반 렌더링(Global illumination-based rendering)에 연관되며, 보다 특정하게는 래디오서티(Radiosity) 기법과 같은 간접 조명(Indirect illumination)을 샘플링하고, 이를 이용하여 3D 모델을 렌더링하는 방법에 연관된다.
3D 게임, 가상현실(Virtual reality) 애니메이션, 영화 등 다양한 분야에서, 3D 모델에 대한 실시간 렌더링(Real-time rendering)에 대한 관심이 높아지고 있다. 이러한 3D 렌더링 기법 중, 전역 조명을 고려한 래디오서티 기법은, 3D 모델 내에 존재하는 직접 광원(direct light source)에 의한 직접 조명뿐만 아니라, 상기 직접 조명이 오브젝트에 의해 반사된 반사광이나 난반사 현상 등에 의한 간접조명까지 고려하여 렌더링 품질을 향상시키는 렌더링 방법이다. 이 경우, 3D 모델 내의 임의의 위치에 간접 조명 효과를 대표하는 VPL(Virtual Point Light)들을 적절히 위치시키는 VPL 샘플링(sampling) 및 이를 이용한 섀이딩 과정이 수행된다.
일측에 따르면, 광에 대응하는 광 전달 지도(Light Transport Map, LTM)를 생성하는 생성부 - 상기 광 전달 지도는 상기 광의 위치로부터의 3차원 공간의 깊이 정보를 포함하고, 상기 깊이 정보는 상기 3차원 공간에 포함되는 객체의 투명도를 고려하여 샘플링됨 - ; 및 상기 광 전달 지도를 이용하여, 제1 포인트에 대한 상기 광의 가시성을 계산하는 섀이딩부를 포함하는 영상 처리 장치가 제공된다. 상기 샘플링은 상기 객체의 투명도에 따른 확률적 샘플링을 포함할 수 있다. 일실시예에 따르면, 상기 확률적 샘플링은 상기 객체의 투명도가 높을수록 낮은 확률로 깊이가 샘플링되는 것일 수 있다. 일실시예에 따르면, 상기 생성부는, 상기 광 전달 지도의 제1 위치에 대응하는 제1 난수를 생성하고, 상기 광으로부터의 상기 제1 위치의 방향에 중첩하여 존재하는 적어도 하나의 객체 중 상기 제1 난수보다 투명도가 작은 제1 객체까지의 거리를 상기 제1 위치에 대응하는 제1 깊이 정보로 결정할 수 있다.
한편, 상기 광 전달 지도는 상기 깊이 정보에 대응하는 칼라 정보 및 투명도 정보를 더 포함할 수도 있다. 이 경우, 상기 광 전달 지도의 제1 위치에 대응하는 깊이 값이 제1 깊이 값인 경우, 상기 칼라 정보 중 상기 제1 위치에 대응하는 제1 칼라 정보는 상기 광으로부터의 상기 제1 위치의 방향에 중첩하여 존재하며 상기 광과의 거리가 상기 제1 깊이보다 작은 적어도 하나의 객체의 칼라 정보를 포함할 수 있다. 일실시예에 따르면, 상기 광 전달 지도의 제1 위치에 대응하는 깊이 값이 제1 깊이 값인 경우, 상기 투명도 정보 중 상기 제1 위치에 대응하는 제1 투명도 정보는 상기 광으로부터의 상기 제1 위치의 방향에 중첩하여 존재하며 상기 광과의 거리가 상기 제1 깊이 값보다 작은 적어도 하나의 객체의 투명도 값을 곱한 값일 수 있다.
일실시예에 따르면, 상기 섀이딩부는 상기 광 전달 지도를 이용하여 상기 광으로부터 상기 제1 포인트를 향하는 방향에 대응하는 제1 깊이 값을 결정하고, 상기 광의 위치로부터 상기 제1 포인트까지의 거리와 상기 제1 깊이 값을 비교하여 상기 광의 가시성을 계산할 수 있다. 이 실시예에서 상기 섀이딩부는, 렌더링에 연관되는 카메라 시점으로부터 상기 제1 포인트와 동일한 방향에 존재하는 적어도 하나의 제2 포인트에 대하여 상기 광 전달 지도를 이용하여 가시성을 계산하고, 상기 제1 포인트에 대응하는 섀이딩 결과와 상기 제2 포인트의 섀이딩 결과를 블렌딩하여 상기 제1 포인트의 칼라 값을 렌더링할 수 있다. 상기 블렌딩은 예시적으로, 그러나 한정되지 않게, 알파 블렌딩일 수 있다.
한편, 일실시예에 따르면 상기 광은 간접 광(Indirect Light)에 연관될 수 있다. 이를테면, 상기 광은 VPL(Virtual Point Light)을 포함할 수 있다. 또한 상기 광은 직접 광(Direct light)일 수도 있다. 상기 광이 VPL을 포함하는 실시예에서, 상기 영상 처리 장치는 상기 3차원 공간에 포함되는 상기 객체의 투명도에 따라 상기 3차원 공간에 상기 VPL을 샘플링하는 샘플링부를 더 포함할 수도 있다. 일실시예에 따르면, 상기 샘플링부는 상기 객체의 투명도가 높을수록 낮은 밀도로 상기 VPL을 샘플링할 수 있다.
다른 일측에 따르면, 3차원 공간에 포함되는 객체의 투명도를 고려하여 적어도 하나의 VPL(Virtual Point Light)을 샘플링하는 샘플링부; 및 상기 적어도 하나의 VPL 중 제1 VPL에 대응하는 제1 광 전달 지도를 생성하는 생성부 - 상기 제1 광 전달 지도는 상기 제1 VPL의 위치로부터의 상기 3차원 공간의 깊이 정보를 포함함 - 를 포함하는 영상 처리 장치가 제공된다. 일실시예에 따르면, 상기 샘플링부는 상기 객체의 투명도가 높을수록 낮은 밀도로 상기 적어도 하나의 VPL을 샘플링한다. 이 경우, 상기 깊이 정보는 상기 3차원 공간에 포함되는 객체의 투명도에 따라 확률적으로 샘플링될 수 있다.
일실시예에 따르면, 상기 영상 처리 장치는 상기 제1 광 전달 지도를 이용하여 제1 포인트에 대한 상기 제1 VPL의 가시성을 계산하는 섀이딩부를 더 포함할 수 있다. 이 경우, 상기 섀이딩부는 상기 제1 광 전달 지도를 이용하여 상기 제1 VPL로부터 상기 제1 포인트를 향하는 방향에 대응하는 제1 깊이 값을 결정하고, 상기 제1 VPL로부터 상기 제1 포인트까지의 거리와 상기 제1 깊이 값을 비교하여, 상기 제1 포인트에 대한 상기 제1 VPL의 가시성을 계산할 수 있다. 일실시예에 따르면, 상기 생성부는 상기 적어도 하나의 VPL 중 상기 제1 VPL과 상이한 제2 VPL에 대응하는 제2 광 전달 지도를 생성하고, 상기 섀이딩부는 상기 제2 광 전달 지도를 이용하여 상기 제2 VPL 로부터 상기 제1 포인트를 향하는 방향에 대응하는 제2 깊이 값을 결정하고, 상기 제2 VPL로부터 상기 제1 포인트까지의 거리와 상기 제2 깊이 값을 비교하여, 상기 제1 포인트에 대한 상기 제2 VPL의 가시성을 계산할 수 있다. 또한, 상기 섀이딩부는 렌더링에 연관되는 카메라 시점으로부터 상기 제1 포인트와 동일한 방향에 존재하는 적어도 하나의 제2 포인트에 대하여 상기 광 전달 지도를 이용하여 가시성을 계산하고, 상기 제1 포인트에 대응하는 섀이딩 결과와 상기 제2 포인트의 섀이딩 결과를 알파 블렌딩할 수 있다. 한편, 상기 샘플링부는 상기 생성부가 직접 광에 대해 생성한 제2 광 전달 지도를 이용하여 적어도 하나의 VPL을 추가로 샘플링하는 영상 처리일 수 있다.
또 다른 일측에 따르면, 생성부가, 객체의 투명도를 고려하여 광의 위치에서 3차원 공간을 바라본 깊이 정보를 포함하는 광 전달 지도를 생성하는 단계; 및 섀이딩부가, 상기 광 전달 지도를 이용하여, 제1 포인트에 대한 상기 광의 가시성을 계산하는 단계를 포함하는 영상 처리 방법이 제공된다. 일실시예에 따르면, 상기 생성하는 단계는, 상기 광 전달 지도의 제1 위치에 대응하는 제1 깊이를 결정하는 경우, 상기 제1 위치의 방향에 중첩하여 존재하는 적어도 하나의 객체의 투명도에 따라 상기 제1 깊이를 결정할 수 있다. 또한, 상기 생성하는 단계는, 상기 투명도에 따라 상기 제1 깊이를 확률적으로 샘플링할 수 있다. 이 경우, 상기 확률적 샘플링은- 상기 적어도 하나의 객체 중 투명도가 높은 객체일수록 낮은 확률로 깊이가 샘플링되는 것일 수 있다. 일실시예에 따르면, 상기 생성하는 단계는, 상기 광 전달 지도의 제1 위치에 대응하는 제1 난수를 생성하고, 상기 광으로부터의 상기 제1 위치의 방향에 중첩하여 존재하는 적어도 하나의 객체 중 상기 제1 난수보다 투명도가 작은 제1 객체까지의 거리를 상기 제1 위치에 대응하는 제1 깊이 정보로 결정할 수 있다. 한편, 상기 계산하는 단계는, 상기 광 전달 지도를 이용하여 상기 광으로부터 상기 제1 포인트를 향하는 방향에 대응하는 제1 깊이 값을 결정하고, 상기 광의 위치로부터 상기 제1 포인트까지의 거리와 상기 제1 깊이 값을 비교하여 상기 광의 가시성을 계산할 수 있다.
또 다른 일측에 따르면, 샘플링부가, 3차원 공간에 포함되는 객체의 투명도를 고려하여 적어도 하나의 VPL(Virtual Point Light)을 샘플링하는 단계; 및 생성부가, 상기 적어도 하나의 VPL 중 제1 VPL의 위치에서 상기 3차원 공간을 바라본 깊이 정보를 포함하는 제1 광 전달 지도를 생성하는 단계를 포함하는 영상 처리 방법이 제공된다. 일실시예에 따르면, 상기 샘플링하는 단계는, 상기 객체의 투명도가 높을수록 낮은 밀도로 상기 적어도 하나의 VPL을 샘플링할 수 있다. 또한 상기 깊이 정보는 상기 객체의 투명도에 따라 확률적으로 샘플링되는 것일 수 있다.
도 1은 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 2는 일실시예에 따른 영상 처리 장치의 동작을 설명하기 위한 예시적 3D 모델의 사시도이다.
도 3은 도 2에서 도시된 3D 모델에 VPL이 샘플링되는 과정을 설명하기 위한 평면도이다.
도 4는 일실시예에 따른 광 전달 지도(LTM)을 도시한다.
도 5는 카메라 시점에서 렌더링 될 장면을 도시한다.
도 6은 일실시예에 따른 제1 포인트의 칼라 값 계산 과정을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 렌더링 과정을 설명하기 위한 도면이다.
도 8은 다른 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 9는 또 다른 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 10은 일실시예에 따른 영상 처리 방법에서 광 전달 지도를 생성하는 과정을 도시하는 흐름도이다.
도 11은 일실시예에 따른 영상 처리 방법에서 칼라 섀이딩을 수행하는 과정을 도시하는 흐름도이다.
도 12는 일실시예에 따른 영상 처리 방법에서 VPL을 샘플링하는 과정을 도시하는 흐름도이다.
이하에서, 일부 실시예들를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 권리범위가 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
도 1은 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
영상 처리 장치(100)는 광에 대응하는 광 전달 지도(Light Transport Map, LTM)를 생성하는 생성부(110)를 포함할 수 있다. 이 경우 상기 광은 직접 광(Direct light) 및/또는 간접 광(Indirect light)일 수 있다. 간접 광의 일 예로 VPL(Virtual Point Light)가 있다. 여기서 광 전달 지도(LTM)는 상기 광의 위치(또는 시점)로부터 3차원 공간을 바라 본 깊이 정보를 포함한다. 깊이 지도(Depth map)과 마찬가지로 광의 입장에서의 3D 깊이 정보가 상기 광 전달 지도에 포함될 수 있다.
일실시예에 따르면, 상기 깊이 정보는 상기 3차원 공간에 포함되는 객체의 투명도를 고려하여 샘플링될 수 있다. 이 경우, 상기 샘플링은 상기 객체의 투명도에 따른 확률적 샘플링을 포함할 수 있다. 예시적으로, 상기 확률적 샘플링은 상기 객체의 투명도가 높을수록 낮은 확률로 깊이가 샘플링되는 것일 수 있다.
일실시예에 따르면, 생성부(110)는, 광 전달 지도의 제1 위치에 대응하는 깊이 값을 결정하기 위해, 제1 위치에 대응하는 제1 난수(Random number)를 생성한다. 제1 난수는 0 이상 1 이하의 값으로, 무작위로 제공되는 실수(Real number)이다. 그리고 제1 위치를 향하는 방향으로 중첩되어 있는 복수 개의 객체들 중, 상기 제1 난수 보다 투명도가 낮은 최초의 객체인 제1 객체를 식별한다. 그러면 광으로부터 상기 제1 객체까지의 거리(Distance)가 상기 제1 위치의 깊이 값(Depth value)으로 결정된다.
아울러, 생성부(110)가 생성하는 광 전달 지도에는 깊이 정보뿐만 아니라, 객체 투명도 정보 및/또는 칼라 정보가 더 포함될 수 있다. 상기 광 전달 지도의 제1 위치에 대응하는 칼라 정보는, 광으로부터 상기 제1 위치의 방향으로 제1 깊이 값보다 더 가까이 있는 객체들의 칼라 값들이 정보를 포함할 수 있다. 또한, 상기 제1 위치에 대응하는 투명도 정보는 광으로부터 상기 제1 위치의 방향으로 제1 깊이 값보다 더 가까이 있는 객체들의 투명도 값을 곱한 값일 수 있다. 이러한 내용은 도 3 및 도 4를 참조하여 보다 상세히 후술한다.
섀이딩부(120)는 생성된 광 전달 지도를 이용하여, 광 전달 지도에 연관되는 광이 렌더링할 제1 포인트의 칼라 값에 영향을 주는 지의 여부인 가시성을 계산할 수 있다. 일실시예에 따르면, 섀이딩부(120)는 광 전달 지도를 이용하여 상기 광으로부터 상기 제1 포인트를 향하는 방향에 대응하는 제1 깊이 값을 결정한다. 그리고, 상기 광의 위치로부터 상기 제1 포인트까지의 거리와 상기 제1 깊이 값을 비교하여 상기 광의 가시성을 계산할 수 있다. 예시적으로, 제1 깊이 값이 상기 거리와 동일하면 가시성이 1로 계산될 수 있고, 동일하지 않으면 가시성이 0으로 계산될 수 있다. 이러한 내용은 도 6을 참조하여 보다 상세히 후술한다.
가시성이 계산되고 나면 섀이딩부(120)는 제1 포인트와 같은 방향에 중첩된 복수 개의 포인트들 각각의 칼라 값을 블렌딩하여 제1 포인트 방향의 제1 픽셀 값을 최종 결정할 수 있다. 이러한 과정은 예시적으로 알파 블렌딩에 의한 투명/반투명 레이어 표현으로 이해될 수 있으며 보다 상세히 후술한다.
도 2는 일실시예에 따른 영상 처리 장치의 동작을 설명하기 위한 예시적 3D 모델의 사시도이다.
3D 모델(200)에 포함되는 객체(210) 및 객체(220)은 배경 객체(230)의 앞에 배치되어 있다. 예시적으로 제시되는 객체(210) 및 객체(220)은 투명 및/또는 반투명 객체일 수 있다. 통상적으로 간접 조명에 의한 섀이딩(Shading by indirect light)의 효과를 렌더링에 반영하기 위한 가시성(Visibility) 계산은 간접 조명에 대응하여 작성된 섀도우 맵(Shadow map)을 이용하여 이루어졌다. 그런데 섀도우 맵에 포함되는 깊이 정보는 객체들의 투명성은 고려하지 않았다. 이를테면, 투명 및/또는 반투명의 객체는 섀도우 맵 작성 시에는 생략되었다. 또는 투명 및/또는 반투명 객체를 불투명 객체로 취급하는 방법이 사용되었다. 따라서, 카메라 시점에서 바라보는 장면(Scene)의 렌더링 시에 알파 블렌딩 기법 등에 의한 객체 간의 중첩 효과가 표현되었으나, 간접 조명에 의한 섀이딩에서는 투명 및/또는 반투명 객체에 의한 효과가 표현되지 못하였다.
일실시예에 따르면, 직접 조명 및/또는 간접 조명이 객체들(210 내지 230)의 칼라 값에 영향을 준 결과를 렌더링 결과에 반영하는 섀이딩에 있어서 객체들(210 내지 230)의 투명도가 고려된다. 어느 한 광(직접 광 또는 간접 광)이 객체의 특정한 포인트의 칼라 값에 영향을 주는 지의 여부는, 상기 특정한 포인트와 상기 광의 사이를 가리는(occluding) 다른 객체가 존재하는지 아닌지의 여부에 따라 판단될 수 있다. 다른 객체가 상기 특정한 포인트와 상기 광의 사이를 가리고 있는 경우라면 상기 광의 가시성(Visibility)이 0으로 계산되어 상기 광은 상기 특정한 포인트의 칼라 값에 영향을 주지 못하는 것으로 처리하는 것이다. 반면, 상기 특정한 포인트에 대해 다른 객체가 상기 광을 가리지 않는다면 가시성은 1 또는 0이 아닌 다른 어떤 값으로 계산되어 상기 특정한 포인트의 칼라 값 계산에 상기 광이 고려될 수 있다.
이러한 가시성 계산은 실시간으로 이루어지기 보다 미리 계산되는(Pre-computed) 섀도우 맵을 이용하여 이루어질 수 있다. 예를 들어, 특정한 광의 시점에서 3D 공간을 바라본 섀도우 맵을 미리 생성해 두고, 렌더링 하고자 하는 포인트에 대한 상기 특정한 광의 가시성을 계산할 때 이 섀도우 맵을 이용하는 것이다. 이 경우, 상기 특정한 광으로부터 상기 포인트를 향하는 방향의 깊이를 상기 섀도우 맵을 통하여 찾고, 상기 특정한 광의 위치와 상기 포인트 사이의 거리와 상기 깊이를 서로 비교한다. 양자가 동일하다면 가시성이 0이 아닌 것이고, 양자가 다르다면 가시성이 0이라고 판단할 수 있다. 이러한 과정을 위해 섀도우 맵이 미리 생성되어 이용되었으나, 섀도우 맵 작성에 있어서 객체의 투명도는 고려되지 않았다.
그런데, 일실시예에 따르면 객체들의 투명도를 고려하여 광으로부터 객체들까지의 깊이 정보를 포함하는 광 전달 지도를 생성한다.
도 1을 참조하여 상술한 바와 같이, 생성부(110)는 광의 위치로부터 3차원 모델을 바라본 광 전달 지도를 생성한다. 상기 광 전달 지도는 종래의 섀도우 맵과는 달리 객체의 투명도에 따라 깊이 정보가 확률적으로 샘플링된 결과가 포함될 수 있다.
이를 테면, 객체(210)이 투명 또는 반투명 객체일 때, 광으로부터 진행되는 광자들의 일부는 객체(210)을 통과하고 다른 일부는 객체(210)을 통과하지 못하는 현상이 광 전달 지도에 반영된다. 일실시예에 따르면, 광으로부터 제1 방향으로 진행하는 빛이 객체(210)을 통과할지 또는 반사할 지의 여부는 객체(210)의 투명도에 따른 무작위 시행(random process)에 의해 결정될 수 있다. 만약 객체(210)을 통과하였더라도 상기 제1 방향으로 뒤에 중첩되어 있는 객체(220)을 통과할지 또는 반사할 지의 여부도 이러한 무작위 시행에 의해 결정될 수 있다. 이러한 무작위 시행에 따른 판단을 확률적인 샘플링이라 할 수 있다. 확률적 깊이 정보의 샘플링은 도 3을 참조하여 보다 상세히 설명한다.
도 3은 도 2에서 도시된 3D 모델에 VPL이 샘플링되는 과정을 설명하기 위한 평면도이다.
평면도(300)는 3D 모델(200)에 배치된 광(301)이 객체들(210, 220 및 230) 중 어디에 부딪치는 지를 설명하는 데에 참조된다. 광(301)으로부터의 광 전달 지도(310)가 생성되는 과정은 광(301)의 시점에서 3D 공간을 바라본 깊이 지도의 생성에 대응한다. 도시된 예에서 객체(210)은 투명도가 비교적 높고 (따라서 불투명도가 낮고), 객체(220)은 투명도가 보다 낮고 (불투명도는 높고) 객체(230)은 불투명 객체이다. 그러면, 광 전달 지도(310)에 포함되는 깊이 정보의 샘플링에 있어서 객체(210)에는 보다 낮은 확률로 광(301)이 반사되고, 객체(220)에는 보다 높은 확률로 광(301)이 반사되는 결과가 광 전달 지도(310)에 반영될 수 있다.
예를 들어, 광 전달 지도(310)의 일부분(320)을 통과하는 광선들(211, 221, 222, 223 및 231)의 진행 및 반사에 대해 설명한다. 광(301)에서 출발한 광선(211)은 객체(210)에서 반사되어, 광선(211) 방향으로의 깊이 값은 광(301)으로부터 광선(211) 방향으로 객체(210)까지 도달하는 거리로 결정될 수 있다. 이러한 결과가 광 전달 지도(310)에 기록된다. 또한 광선(221), 광선(222) 및 광선(223)은 각각 객체 (210)은 통과하고 객체(220)에서 반사되는 것으로 이해될 수 있다. 그러면 광 전달 지도(310)에 이러한 결과가 깊이 정보로 반영될 수 있다. 나아가 광선(231)은 객체(210) 및 객체(220)을 모두 통과하고 마지막으로 불투명 객체(230)에서 반사하는데, 이 경우 광선(231) 방향으로의 깊이 값은 광(301)로부터 광선(231)의 방향으로 객체(230)까지 도달하는 거리로 결정될 수 있다.
이 과정에서, 객체의 투명도가 높을수록 보다 낮은 수의 광선이 샘플링될 수 있다. 예를 들어, 객체(210)의 정규화된 투명도가 0.8인 경우, 객체(210)에서는 20%의 광선이 부딪히는 것으로 샘플링될 수 있다. 그리고 객체(220)의 정규화된 투명도가 0.25인 경우, 객체(220)에서는 75%의 광선이 부딪히는 것으로 샘플링될 수 있다. 그리고 객체(230)가 불투명 객체라면 (투명도가 0), 객체(230)을 통과하는 광선을 없고 모든 광선이 객체(230)에 부딪히는 것으로 샘플링될 수 있다. 이렇게 객체의 투명도에 따라 확률적으로 광선의 반사 또는 통과가 샘플링되는 과정에 의해, 광 전달 지도(310)에는 객체들(210, 220)의 반투명 정도가 반영된다. 광 전달 지도(310)에 기록되는 깊이 값에 대해 도 4를 참조하여 더 설명한다.
도 4는 일실시예에 따른 광 전달 지도(LTM)을 도시한다.
도 3을 함께 참조하면서 설명한다. 도 3에서 가정한 바와 같이 객체(210)의 정규화된 투명도가 0.8이고, 객체(220)의 정규화된 투명도가 0.25인 경우, 한 광선이 객체(210)에 부딪힐 확률은 20%이고, 한 광선이 객체(220)에 부딪힐 확률은 60% ( = 80% * 75%)이다. 그리고 한 광선이 불투명한 객체(230)까지 도달하여 객체(230)에서 부딪힐 확률은 20% ( = 80% * 25%) 이다.
이러한 확률적 샘플링에 따라, 광 전달 지도(310)의 일부분(320)에 포함되는 위치들 (또는 픽셀들)의 깊이가 결정된다. 광 전달 지도(310) 내에서, 제1 위치(411)의 방향으로의 깊이는 광(301)에서 출발한 광선(221)이 부딪히는 객체(220)까지의 거리가 된다. 그리고 제2 위치(412)의 방향으로의 깊이는 광(301)에서 출발한 광선(211)이 부딪히는 객체(210)까지의 거리가 된다. 마찬가지로 제3 위치(413) 및 제4 위치(414) 방향으로의 깊이들은 각각 광(301)에서 출발한 광선들(222 및 223)이 부딪히는 객체(220)까지의 거리가 된다. 마지막으로 제5 위치(415) 방향으로의 깊이는 광(301)에서 출발한 광선(231)이 부딪히는 불투명한 객체(230)까지의 거리가 된다. 따라서, 상기한 바와 같이, 광 전달 지도(310)는 광(301)의 시점(또는 위치)에서 3D 모델을 바라본 깊이 정보를 포함한다.
한편, 일실시예에 따르면, 광 전달 지도(310)는 각 위치들의 깊이 정보뿐만 아니라 각각의 깊이까지 중첩되는 객체들의 투명도 정보 및 칼라 정보를 더 포함할 수 있다. 빛이 투명한 또는 반투명한 객체를 통과하면 빛의 세기는 그 객체의 투명도에 따라 줄어들고, 빛의 색깔 또한 그 객체의 칼라에 의해 바뀔 수 있다. 광 전달 지도(310)는 이러한 빛의 변화를 저장할 수 있다.
이를 테면, 위치(411)에는 광선(221)이 객체(220)까지 도달하는 동안 통과한 객체(210)의 투명도 정보인 0.8과 객체(210)의 칼라 정보가 함께 기록될 수 있다. 광선(221)이 객체(210)를 통과하면서 세기가 80%로 줄고, 칼라도 객체(210)의 칼라에 의해 바뀌는 것이 반영된다. 위치(413 및 414)도 위치(411)과 유사하다. 한편, 위치(415)에는 객체(230)까지 도달하는 동안 광선(231)이 통과한 객체들(210 및 220)의 투명도의 곱인 0.2 ( = 0.8 * 0.25)와 객체들 (210 및 220)의 칼라 값들이 함께 기록될 수 있다. 위치(412)의 경우는 광선(211)이 진행하면서 통과한 객체가 없기 때문에 투명도 그 사이의 투명도 정보는 1로, 칼라는 원래 광(301)의 칼라 그대로가 기록될 수 있다.
이상에서 설명한 바와 같이 광 전달 지도가 기록될 수 있으나, 이는 일부 실시예에 불과하며, 광 전달 지도에 기록될 수 있는 정보들은 더 추가되거나 변경될 수 있다. 또한, 광 전달 지도라는 명칭이 권리범위를 한정하거나 다른 응용을 제한하는 것으로 해석되어서도 안 된다. 이하에서는 도 5 내지 도 7을 참조하여, 광 전달 지도가 광의 섀이딩 및 칼라 렌더링에 어떻게 이용되는지에 대해 설명한다.
도 5는 카메라 시점에서 렌더링 될 장면을 도시한다.
장면(Scene)(500)은 영상을 렌더링 하고자 하는 카메라 시점(Camera view)에서 3D 모델을 바라본 모습에 대응한다. 예시적으로 장면(500) 내의 제1 픽셀(510)의 칼라 값을 렌더링하는 것을 가정하여 설명한다. 렌더링될 제1 픽셀(510)의 방향으로는 객체들(210, 220 및 230)이 중첩해 놓여 있다.
이 경우, 각 중첩된 객체에 특정한 광 (직접 광이든 간접 광이든 마찬가지)이 영향을 주는 지의 여부가 판단되는데, 이 경우에 각 광에 대응하는 광 전달 지도들이 이용될 수 있다. 제1 픽셀(510)의 칼라 값을 렌더링 하는 과정은 도 6을 참조하여 설명한다.
도 6은 일실시예에 따른 제1 포인트의 칼라 값 계산 과정을 설명하기 위한 도면이다.
카메라 시점(601)에서 장면(500)의 제1 픽셀(510) 방향으로는 객체 포인트 3개(610, 620 및 630)가 중첩된다. 칼라 정보를 포함하는 광(602)의 밝기를 L1이라 하고, 포인트들(610, 620 및 630) 각각의 재질 칼라 값을 G1, G2 및 G3라 가정하고, 반사도를 R1, R2 및 R3라 한다. 그리고, 포인트들(610, 620 및 630) 각각에 대한 광(601)의 가시성(Visibility)을 V1, V2 및 V3라 한다. 또한, 포인트(610)을 포함하는 객체의 투명도를 T1, 포인트(620)을 포함하는 객체의 투명도를 T2라 한다. 그러면, 광(602)에 의한 포인트들(610, 620 및 630)의 칼라 값 영향인 C1, C2 및 C3는 각각 아래와 같다.
Figure 112014025958413-pat00001
Figure 112014025958413-pat00002
Figure 112014025958413-pat00003
먼저 수학식 1을 참조하여, 광(602)에 의한 제1 포인트(610)의 칼라 값 C1을 구한다. 도시된 바와 같이, 제1 포인트(610)에서 광(602)이 보이는 지의 여부 (또는 광(602)를 출발한 광선이 제1 포인트(610)에서 반사되는지 그냥 통과하는지의 여부)인 가시성 V1은 광(602)에 대응하는 광 전달 지도(600)을 이용하여 계산된다. 광 전달 지도(600) 상에서, 제1 포인트(610) 방향의 위치(611)에 기록된 깊이 값을 광(602)와 포인트(610) 사이의 거리와 비교하면 가시성 V1이 계산될 수 있다. 양자가 다르다면 광(602)를 출발한 광선이 제1 포인트(601)에서는 반사되지 않는다는 것으로 간주된다. (V1 = 0) 도시된 예에서는 광(602)에서 출발한 광선이 제1 포인트(610)을 그냥 통과하므로 V1 = 0이다. 그러면 수학식 1에서 C1 = 0이다.
그리고, 수학식 2를 참조하여, 광(602)에 의한 제2 포인트(620)의 칼라 값 C2를 구한다. 도시된 예에서는 광(602)에서 출발한 광선이 제2 포인트(620)에서 반사된다. 즉, 광 전달 지도(600) 상에서, 제2 포인트(620) 방향의 위치(612)에 기록된 깊이 값이 광(602)과 제2 포인트(620) 사이의 거리와 동일하다. 따라서 제2 포인트(620)에 대한 광(602)의 가시성 V2 = 1이다. 그러면, 수학식 2에서 C2 = L1 * T1 * R2 * G2 이다.
그리고, 수학식 3을 참조하여, 광(602)에 의한 제3 포인트(630)의 칼라 값 C3를 구한다. 도시된 예에서는 광(602)에서 출발한 광선이 제3 포인트(630)에서 반사된다. 즉, 광 전달 지도(600) 상에서, 제3 포인트(630) 방향의 위치(613)에 기록된 깊이 값이 광(602)과 제3 포인트(630) 사이의 거리와 동일하다. 따라서 제3 포인트(630)에 대한 광(602)의 가시성 V3 = 1이다. 그러면, 수학식 3에서 C3 = L1 * T1 * T2 * R3 * G3 이다.
이렇게 C1, C2 및 C3가 구해지면 광(602)에 의한 제1 픽셀(510)의 칼라 값 C는 중첩된 3 개의 레이어의 칼라 값들 C1, C2 및 C3의 알파 블렌딩(Alpha blending) 등의 방법에 의해 구해질 수 있다. 이러한 알파 블렌딩은 통상적으로 잘 알려진 투명 레이어들의 렌더링 방식이며, 한 가지 예시적 계산은 아래와 같다.
Figure 112014025958413-pat00004
이렇게 수학식 4에 의해 같이 광(602)에 의한 제1 픽셀(510)의 칼라 값이 구해졌다. 광(602)는 3D 모델 내에서 칼라 값을 만드는 복수 개의 직접 광 또는 간접 광 중 어느 하나일 수 있다. 따라서, 광(602) 외에 다른 광들 각각에 의한 제1 픽셀(510)의 칼라 값을 구한 다음에 합하면 최종적인 제1 픽셀(510)의 칼라 값이 결정될 수 있다. 여러 개의 광에 의한 칼라 값의 중첩은 도 7을 참조하여 설명한다.
도 7은 일실시예에 따른 렌더링 과정을 설명하기 위한 도면이다.
카메라 시점(710)에서 특정한 포인트(720)의 칼라 값을 구하는 경우가 설명된다. 도시된 바와 같이, 광들(701 내지 707)의 각각은 포인트(720)에 대해 가시성이 0일 수도 있고 1일 수도 있다. 이러한 가시성은 광들(701 내지 707)의 각각의 광 전달 지도 상에서 포인트(720) 방향의 깊이를 참고하여 계산 가능하다.
도시된 실시예에서 포인트(720)에 대한 광(701), 광(703), 광(704) 및 광(706) 각각의 가시성은 모두 0이다. 그리고 포인트(720)에 대한 광(702), 광(705) 및 광(706) 의 가시성은 1이다. 가시성이 1인 광들(702, 705 및 706) 각각이 포인트(720)에 영향을 준 칼라 값들은 도 1 내지 도 4에서 설명한 방법으로 계산되며, 이들의 합이 포인트(720)의 칼라 값으로 결정될 수 있다.
이러한 과정에 의해, 전역 조명 렌더링을 위한 간접 광 효과 표현에 투명 및/또는 반투명 객체의 영향이 사실감 있게 반영될 수 있다. 이상에서는 직접 광 및/또는 간접 광에 대해 광 전달 지도(LTM)들을 작성하여, 포인트에 대한 가시성(Visibility)를 계산하고 칼라 값을 섀이딩 함으로써 투명 및/또는 반투명 객체가 간접 광 렌더링에 고려되는 실시예들을 설명하였다.
한편, 일실시예에 따르면, 객체의 투명도는 직접 광에 의한 또는 간접 광에 의한 VPL(Virtual Point Light) 샘플링에도 고려될 수 있다. 이하에서는 VPL 샘플링 과정에서 객체의 투명도가 반영되는 실시예를 설명한다.
도 8은 다른 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
영상 처리 장치(800)는 3D 모델 내에 적어도 하나의 VPL 샘플링을 수행한다. 영상 처리 장치(800)의 샘플링부(820)는, 예시적으로 그러나 한정되지 않게, 래디오서티(Radiosity) 기법에 따른 전역 조명 효과를 렌더링에 반영하기 위해, 빛의 반사, 회절 등의 자연 현상을 대표하는 가상의 포인트 광원(Virtual Point Light, VPL)을 3D 모델 위에 또는 3D 공간에 배치(이를 'VPL의 샘플링'이라 할 수 있음)할 수 있다. 일실시예에 따르면, 이 과정에서 샘플링부(820)는 종전의 중요도 기반의 VPL 샘플링과 함께 또는 이를 대신하여 객체의 투명도에 따른 샘플링을 수행할 수 있다. 이러한 실시예에 따르면 객체의 투명도가 높을수록 더 적은 수의 VPL이 샘플링되고, 객체의 투명도가 낮을수록 더 많은 수의 VPL이 샘플링될 수 있다. 물론 이러한 과정에서 객체의 투명도뿐만 아니라 다른 재질 특징이 함께 고려될 수 있다. 이를테면, 스펙큘러(Secular)한 표면인지 디퓨시브(Diffusive)한 표면인지 등의 재질 정보, 칼라 정보 등이 함께 고려될 수 있다.
생성부(810)은 도 1 내지 도 4를 참조하여 상술한 바와 같이, 직접 광 또는 이미 샘플링되어 있는 다른 VPL들 각각에 대한 광 전달 지도(LTM)을 생성할 수 있다. 일실시예에 따르면 샘플링부(820)는 생성부(810)가 생성하는 광 전달 지도들을 이용하지 않고 독자적으로 객체들의 투명도를 이용하여 VPL들을 샘플링할 수도 있다.
그러나 다른 실시예에 따르면, 샘플링부(820)는 생성부(810)가 생성하는 광 전달 지도들을 이용하여 추가적으로 VPL들을 샘플링한다. 생성부(810)가 생성하는 광 전달 지도들을 참고하면, 다른 광이 객체의 어디에서 반사되는지를 알 수 있고, 광 전달 지도 상에서 랜덤 샘플링을 하면 결과적으로 객체의 투명도가 낮은 부분에서 VPL들이 보다 많이 샘플링 될 수 있다. 더욱이, 광 전달 지도들에는 칼라 정보 및 투명도 정보가 포함되어 있기 때문에, 이를 VPL들의 추가 샘플링에 고려할 수도 있다. 예를 들어, 광 전달 지도 상의 특정한 위치에 대응하는 포인트에 VPL을 추가로 샘플링 할지 여부를 판단함에 있어서 상기 특정한 위치의 투명도를 고려하고 투명도가 일정한 기준 이상으로 낮아진 위치라면 VPL을 샘플링 하지 않을 수도 있는 것이다.
일반적으로 VPL의 개수를 많이 샘플링 할수록, 렌더링 품질은 향상되나, 연산양이 크게 증가하여 렌더링 속도는 낮아질 수 있어서, 샘플링 되는 VPL 수를 적절하게 조정해야 하는 데 이 과정에서 객체의 투명도까지 반영됨으로써 보다 사실감 있으면서 연산 양이 최적화 되는 렌더링이 가능하다.
도 9는 또 다른 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
일실시예에 따르면, 영상 처리 장치(900)는 광 전달 지도를 생성하는 생성부(910), VPL을 샘플링하는 샘플링부(910) 및 광 전달 지도를 이용하여 전역 조명 렌더링을 수행하는 섀이딩부(930)를 포함할 수 있다.
생성부(910)은 광 전달 지도를 생성한다. 여기서 광은 직접 광일 수도 있고, 간접 광, 이를테면 VPL일 수도 있다. 도 1을 참조하여 상술한 바와 같이, 광 전달 지도는 깊이 정보, 투명도 정보 및 칼라 정보 중 적어도 일부를 포함할 수 있다. 그리고 광 전달 지도의 특정 위치에 깊이를 결정하는 것은, 상기 특정 위치에 대응하는 객체의 투명도를 고려한 확률적 샘플링에 의해 수행될 수 있다. 예시적으로, 상기 확률적 샘플링은 상기 객체의 투명도가 높을수록 낮은 확률로 깊이가 샘플링되는 것일 수 있다. 보다 구체적인 내용은 도 1을 참조하여 상술한 바와 같으며, 아래 도 10을 참조하여서 더 설명된다.
샘플링부(920)는 3D 모델 내의 객체의 투명도를 고려하여 적어도 하나의 VPL을 샘플링할 수 있다. 상술한 바와 같이, 샘플링부(920)는 종전의 중요도 기반의 VPL 샘플링과 함께 또는 이를 대신하여 객체의 투명도에 따른 샘플링을 수행할 수 있다. 이러한 실시예에 따르면 객체의 투명도가 높을수록 더 적은 수의 VPL이 샘플링되고, 객체의 투명도가 낮을수록 더 많은 수의 VPL이 샘플링될 수 있다. 물론 이러한 과정에서 객체의 투명도뿐만 아니라 다른 재질 특징이 함께 고려될 수도 있다.
아울러, 샘플링부(920)는 생성부(910)가 직접 광에 대해 생성한 광 전달 지도를 이용하여 VPL을 추가 샘플링할 수도 있다. 도 8을 참조하여 상술한 바와 같이, 생성된 광 전달 지도 내에서 임의의 위치에 VPL을 샘플링 하면, 해당 광 전달 지도가 객체 투명도를 반영하고 있기 때문에 VPL 역시 객체 투명도를 고려하여 샘플링하는 것이 될 수 있다. 이러한 과정에 의해 VPL 샘플링까지 수행되면 섀이딩부(930)는 광 전달 지도를 이용하여 각 광들의 조명 효과에 의한 칼라 값 계산을 수행한다.
구체적으로, 섀이딩부(930)는 생성된 광 전달 지도를 이용하여, 광 전달 지도에 연관되는 광이 렌더링할 제1 포인트의 칼라 값에 영향을 주는 지의 여부인 가시성을 계산할 수 있다. 이러한 과정은 도 1 내지 도 6을 참조하여 상술한 바와 같다. 또한, 복수 개의 직접 및/또는 간접 광들에 의한 칼라 값들이 구해진 후에는 도 7을 참조하여 상술한 바와 같이 각각의 광에 의한 칼라 값이 블렌딩되어 최종 칼라 값으로 렌더링될 수 있다. 예시적으로 이러한 블렌딩은 알파 블렌딩일 수 있음은 상술한 바와 같다.
도 10은 일실시예에 따른 영상 처리 방법에서 광 전달 지도를 생성하는 과정을 도시하는 흐름도이다.
제1 광에 대한 제1 광 전달 지도를 생성하는 과정을 예시적으로 설명한다. 제1 광 전달 지도상에 N 개의 위치에 대한 깊이 정보를 샘플링하는 과정이 제시된다. 초기 값 0으로 설정된 i에 대해 단계(1010)에서 i = i+ 1로 i가 1 증가한다. 그리고 i 번째 이터래이션(Iteration)의 랜덤 넘버 Ri가 생성된다(1020). 이 Ri는 0 이상 1 이하의 값으로 정규화 되어 있는 실수일 수 있다. 제1 광의 시점에서 제1 광 전달 지도 상의 i 번째 위치를 바라봤을 때 중첩되는 객체 레이어들이 복수 개 존재할 수 있다. 이 레이어들 각각의 투명도 또한 0 이상 1 이하의 값으로 정규화 되어 있는 실수일 수 있다.
그러면, 단계(1030)에서 상기 Ri를 광원에서 가까운 순서대로 Ti_k와 비교한다. Ti_k는 상기 중첩된 복수 개의 객체 레이어들 중 k 번째 객체 레이어의 투명도이다. Ri보다 작은 최초의 Ti_k가 찾아지는 경우, 제1 광원으로부터 이 k 번째 객체까지의 거리가 i 번째 위치의 깊이 값 di가 된다. 그리고, 이 k 번째 객체와 제1 광원 사이에 있는 객체들의 투명도 곱이 Ti가 되고, 상기 객체들의 칼라 값의 정보가 Ci가 된다(1040). 이러한 과정은 도 4를 참조하여 상술하였다.
이렇게 di와 Ti 및 Ci가 모두 결정되는 이 값이 i 번째 위치의 지도 값 Mi로서 저장된다(1050). 그리고 이러한 과정이 마지막 N 번째 위치에 대해 수행될 때까지 반복됨으로써(1060), 제1 광 전달 지도가 생성될 수 있다.
상기와 같은 과정에 의해 광 전달 지도가 각각의 직접 광원 및 간접 광원들에 대해 생성되면 카메라 시점에서 렌더링할 제1 픽셀에 대한 가시성 계산 등이 수행될 수 있다. 도 11을 참조하여 설명한다.
도 11은 일실시예에 따른 영상 처리 방법에서 칼라 섀이딩을 수행하는 과정을 도시하는 흐름도이다.
도 6을 참조하여 설명한 바와 같이, 렌더링 해야 할 장면의 제1 픽셀에 대한 칼라 값을 계산하는 과정에서도 투명/반투명 객체의 칼라가 고려될 수 있다. 단계(1110)에서 제1 픽셀 방향으로 중첩되어 있는 객체 포인트들이 탐색된다. 이를테면 도 6에서 도시된 제1 포인트(610), 제2 포인트(620) 및 제3 포인트(630)이 탐색된다.
단계(1120)에서는 각 포인트들에 대해 특정 광(직접 광 또는 간접 광)에 대한 가시성이 계산 된다. 제1 포인트(610)에 대한 제1 광의 가시성은, 제1 광의 광 전달 지도 상에서 제1 포인트 방향의 깊이 값과, 제1 광과 제1 포인트 사이의 거리를 비교함으로써 계산될 수 있다. 양자가 동일하면 가시성이 1로 계산되고, 그렇지 않으면 가시성이 0으로 계산될 수 있다. 다만, 이러한 예시적 실시예로 권리가 국한되는 것은 아니므로, 가시성은 0과 1 이외에 다른 값으로 결정될 수도 있다. 이렇게 가시성이 계산되고 나면 상기 수학식 1 내지 수학식 3를 참조하여 설명한 바와 같이 제1 광에 의해 발생하는 칼라 값이 계산될 수 있다.
그리고 제1 포인트(610) 내지 제3 포인트(630)의 칼라 값에 대해 블렌딩, 이를테면 알파 블렌딩이 수행되어 제1 픽셀 값에 대한 제1 광원의 칼라가 결정될 수 있다(1130). 그리고 이러한 과정이 다른 광들(직접 광 및 간접 광)에 대해서도 수행되면 상기 제1 픽셀 값이 최종 결정될 수 있다. 이러한 과정은 도 7을 참조하여 상술한 바와 같다.
도 12는 일실시예에 따른 영상 처리 방법에서 VPL을 샘플링하는 과정을 도시하는 흐름도이다.
단계(1210)에서, 영상 처리 장치의 생성부가 직접 광의 광 전달 지도를 생성할 수 있다. 다만, 도 8을 참조하여 상술한 바와 같이, 직접 광에 대한 광 전달 지도가 선행하여 생성되는 실시예도 가능하지만, 직접 광에 대한 광 전달 지도 생성 없이 VPL을 샘플링하는 것도 가능하다.
단계(1220)에서는 중요도 기반으로 VPL 샘플링이 수행된다. 이 경우, VPL을 샘플링할 객체의 투명도/반사도, 재질 특성, 칼라, 객체의 모빌리티(mobility), 등의 중요도가 고려될 수 있다. 일실시예에 따르면 이 과정에서 객체의 투명도에 기반한 VPL 샘플링이 수행될 수 있다. 예를 들면, 객체의 투명도가 높을수록 더 적은 수의 VPL이 샘플링되고, 객체의 투명도가 낮을수록 더 많은 수의 VPL이 샘플링될 수 있다. 이는 도 8 등을 참조하여 상술한 바와 같다.
VPL의 샘플링이 수행되고 나면, 단계(1230)에서 이 VPL에 대해서도 광 전달 지도가 생성될 수 있다. 이렇게 직접광 및 간접광들에 대해 광 전달 지도가 생성되면 단계(1240)에서 상술한 바와 같이 섀이딩이 수행될 수 있다. 이는 도 5 내지 도 7 및 도 11을 참조하여 상술한 바와 같다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (29)

  1. 광에 대응하는 광 전달 지도를 생성하는 생성부 - 상기 광 전달 지도는 상기 광의 위치로부터의 3차원 공간의 깊이 정보를 포함하고, 상기 깊이 정보는 상기 3차원 공간에 포함되는 객체의 투명도를 고려하여 샘플링됨 - ; 및
    상기 광 전달 지도를 이용하여, 제1 포인트에 대한 상기 광의 가시성을 계산하는 섀이딩부
    를 포함하고,
    상기 생성부는,
    상기 광 전달 지도의 제1 위치에 대응하는 제1 난수를 생성하고, 상기 광으로부터의 상기 제1 위치의 방향에 중첩하여 존재하는 적어도 하나의 객체 중 상기 제1 난수보다 투명도가 작은 제1 객체까지의 거리를 상기 제1 위치에 대응하는 제1 깊이 정보로 결정하고,
    상기 섀이딩부는,
    상기 광 전달 지도를 이용하여 상기 광으로부터 상기 제1 포인트를 향하는 방향에 대응하는 제1 깊이 값을 결정하고, 상기 광의 위치로부터 상기 제1 포인트까지의 거리와 상기 제1 깊이 값을 비교하여 상기 광의 가시성을 계산하는
    영상 처리 장치.
  2. 제1항에 있어서,
    상기 샘플링은 상기 객체의 투명도에 따른 확률적 샘플링을 포함하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 샘플링은 상기 객체의 투명도가 높을수록 낮은 확률로 깊이가 샘플링되는 것인 영상 처리 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 광 전달 지도는 상기 깊이 정보에 대응하는 칼라 정보 및 투명도 정보를 더 포함하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 광 전달 지도의 제1 위치에 대응하는 깊이 값이 제1 깊이 값인 경우, 상기 칼라 정보 중 상기 제1 위치에 대응하는 제1 칼라 정보는 상기 광으로부터의 상기 제1 위치의 방향에 중첩하여 존재하며 상기 광과의 거리가 상기 제1 깊이 값보다 작은 적어도 하나의 객체의 칼라 정보를 포함하는 영상 처리 장치.
  7. 제5항에 있어서,
    상기 광 전달 지도의 제1 위치에 대응하는 깊이 값이 제1 깊이 값인 경우, 상기 투명도 정보 중 상기 제1 위치에 대응하는 제1 투명도 정보는 상기 광으로부터의 상기 제1 위치의 방향에 중첩하여 존재하며 상기 광과의 거리가 상기 제1 깊이 값보다 작은 적어도 하나의 객체의 투명도 값을 곱한 값인 영상 처리 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 섀이딩부는 렌더링에 연관되는 카메라 시점으로부터 상기 제1 포인트와 동일한 방향에 존재하는 적어도 하나의 제2 포인트에 대하여 상기 광 전달 지도를 이용하여 가시성을 계산하고, 상기 제1 포인트에 대응하는 섀이딩 결과와 상기 제2 포인트의 섀이딩 결과를 알파 블렌딩하는 영상 처리 장치.
  10. 제1항에 있어서,
    상기 광은 VPL(Virtual Point Light)을 포함하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 3차원 공간에 포함되는 상기 객체의 투명도에 따라 상기 3차원 공간에 상기 VPL을 샘플링하는 샘플링부
    를 더 포함하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 샘플링부는 상기 객체의 투명도가 높을수록 낮은 밀도로 상기 VPL을 샘플링하는 영상 처리 장치.
  13. 3차원 공간에 포함되는 객체의 투명도를 고려하여 적어도 하나의 VPL(Virtual Point Light)을 샘플링하는 샘플링부;
    상기 적어도 하나의 VPL 중 제1 VPL에 대응하는 제1 광 전달 지도를 생성하는 생성부 - 상기 제1 광 전달 지도는 상기 제1 VPL의 위치로부터의 상기 3차원 공간의 깊이 정보를 포함함 - 및
    상기 제1 광 전달 지도를 이용하여 상기 제1 VPL로부터 제1 포인트를 향하는 방향에 대응하는 제1 깊이 값을 결정하고, 상기 제1 VPL로부터 상기 제1 포인트까지의 거리와 상기 제1 깊이 값을 비교하여, 상기 제1 포인트에 대한 상기 제1 VPL의 가시성을 계산하는 섀이딩부
    를 포함하고,
    상기 생성부는,
    상기 제1 광 전달 지도의 제1 위치에 대응하는 제1 난수를 생성하고, 상기 제1 VPL으로부터의 상기 제1 위치의 방향에 중첩하여 존재하는 적어도 하나의 객체 중 상기 제1 난수보다 투명도가 작은 제1 객체까지의 거리를 상기 제1 위치에 대응하는 제1 깊이 정보로 결정하는
    영상 처리 장치.
  14. 제13항에 있어서,
    상기 샘플링부는 상기 객체의 투명도가 높을수록 낮은 밀도로 상기 적어도 하나의 VPL을 샘플링하는 영상 처리 장치.
  15. 제13항에 있어서,
    상기 깊이 정보는 상기 3차원 공간에 포함되는 객체의 투명도에 따라 확률적으로 샘플링되는 영상 처리 장치.
  16. 삭제
  17. 삭제
  18. 제13항에 있어서,
    상기 생성부는 상기 적어도 하나의 VPL 중 상기 제1 VPL과 상이한 제2 VPL에 대응하는 제2 광 전달 지도를 생성하고,
    상기 섀이딩부는 상기 제2 광 전달 지도를 이용하여 상기 제2 VPL 로부터 상기 제1 포인트를 향하는 방향에 대응하는 제2 깊이 값을 결정하고, 상기 제2 VPL로부터 상기 제1 포인트까지의 거리와 상기 제2 깊이 값을 비교하여, 상기 제1 포인트에 대한 상기 제2 VPL의 가시성을 계산하는 영상 처리 장치.
  19. 제13항에 있어서,
    상기 섀이딩부는 렌더링에 연관되는 카메라 시점으로부터 상기 제1 포인트와 동일한 방향에 존재하는 적어도 하나의 제2 포인트에 대하여 상기 제1 광 전달 지도를 이용하여 가시성을 계산하고, 상기 제1 포인트에 대응하는 섀이딩 결과와 상기 제2 포인트의 섀이딩 결과를 알파 블렌딩하는 영상 처리 장치.
  20. 제13항에 있어서,
    상기 샘플링부는 상기 생성부가 직접 광에 대해 생성한 제2 광 전달 지도를 이용하여 적어도 하나의 VPL을 추가로 샘플링하는 영상 처리 장치.
  21. 생성부가, 객체의 투명도를 고려하여 광의 위치에서 3차원 공간을 바라본 깊이 정보를 포함하는 광 전달 지도를 생성하는 단계; 및
    섀이딩부가, 상기 광 전달 지도를 이용하여, 제1 포인트에 대한 상기 광의 가시성을 계산하는 단계
    를 포함하고,
    상기 생성하는 단계는,
    상기 광 전달 지도의 제1 위치에 대응하는 제1 난수를 생성하고, 상기 광으로부터의 상기 제1 위치의 방향에 중첩하여 존재하는 적어도 하나의 객체 중 상기 제1 난수보다 투명도가 작은 제1 객체까지의 거리를 상기 제1 위치에 대응하는 제1 깊이 정보로 결정하고,
    상기 계산하는 단계는,
    상기 광 전달 지도를 이용하여 상기 광으로부터 상기 제1 포인트를 향하는 방향에 대응하는 제1 깊이 값을 결정하고, 상기 광의 위치로부터 상기 제1 포인트까지의 거리와 상기 제1 깊이 값을 비교하여 상기 광의 가시성을 계산하는
    영상 처리 방법.
  22. 삭제
  23. 제21항에 있어서,
    상기 생성하는 단계는, 상기 투명도에 따라 상기 제1 깊이를 확률적으로 샘플링하는 - 상기 적어도 하나의 객체 중 투명도가 높은 객체일수록 낮은 확률로 깊이가 샘플링됨 - 영상 처리 방법.
  24. 삭제
  25. 삭제
  26. 샘플링부가, 3차원 공간에 포함되는 객체의 투명도를 고려하여 적어도 하나의 VPL(Virtual Point Light)을 샘플링하는 단계;
    생성부가, 상기 적어도 하나의 VPL 중 제1 VPL의 위치에서 상기 3차원 공간을 바라본 깊이 정보를 포함하는 제1 광 전달 지도를 생성하는 단계; 및
    섀이딩부가, 상기 제1 광 전달 지도를 이용하여 상기 제1 VPL로부터 제1 포인트를 향하는 방향에 대응하는 제1 깊이 값을 결정하고, 상기 제1 VPL로부터 상기 제1 포인트까지의 거리와 상기 제1 깊이 값을 비교하여, 상기 제1 포인트에 대한 상기 제1 VPL의 가시성을 계산하는 단계
    를 포함하고,
    상기 제1 광 전달 지도를 생성하는 단계는,
    상기 제1 광 전달 지도의 제1 위치에 대응하는 제1 난수를 생성하고, 상기 제1 VPL으로부터의 상기 제1 위치의 방향에 중첩하여 존재하는 적어도 하나의 객체 중 상기 제1 난수보다 투명도가 작은 제1 객체까지의 거리를 상기 제1 위치에 대응하는 제1 깊이 정보로 결정하는
    영상 처리 방법.
  27. 제26항에 있어서,
    상기 샘플링하는 단계는, 상기 객체의 투명도가 높을수록 낮은 밀도로 상기 적어도 하나의 VPL을 샘플링하는 영상 처리 방법.
  28. 제26항에 있어서,
    상기 깊이 정보는 상기 객체의 투명도에 따라 확률적으로 샘플링되는 영상 처리 방법.
  29. 제21항, 제23항 및 제26항 내지 제28항 중 어느 한 항의 상기 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020140031636A 2014-03-18 2014-03-18 영상 처리 장치 및 방법 KR102223064B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140031636A KR102223064B1 (ko) 2014-03-18 2014-03-18 영상 처리 장치 및 방법
US14/605,072 US9761044B2 (en) 2014-03-18 2015-01-26 Apparatus and method for generation of a light transport map with transparency information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140031636A KR102223064B1 (ko) 2014-03-18 2014-03-18 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150108623A KR20150108623A (ko) 2015-09-30
KR102223064B1 true KR102223064B1 (ko) 2021-03-04

Family

ID=54142629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031636A KR102223064B1 (ko) 2014-03-18 2014-03-18 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9761044B2 (ko)
KR (1) KR102223064B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726560B2 (en) 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10719939B2 (en) 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN106447759B (zh) * 2016-10-19 2018-10-12 长春理工大学 利用可见性插值实现三维场景间接光照效果近似绘制的方法
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US20190066368A1 (en) * 2017-08-30 2019-02-28 Texas Instruments Incorporated Three-Dimensional Cluster Simulation on GPU-Less Systems
CN107854840B (zh) * 2017-12-06 2020-09-29 北京像素软件科技股份有限公司 眼睛模拟方法及装置
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110012901A1 (en) * 2009-06-29 2011-01-20 Anton Kaplanyan Method, computer graphics image rendering system and computer-readable data storage medium for computing of indirect illumination in a computer graphics image of a scene
US20110199385A1 (en) * 2010-02-18 2011-08-18 Enderton Eric B System, method, and computer program product for rendering pixels with at least one semi-transparent surface

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456285B2 (en) * 1998-05-06 2002-09-24 Microsoft Corporation Occlusion culling for complex transparent scenes in computer generated graphics
US7348977B2 (en) * 2000-07-19 2008-03-25 Pixar Subsurface scattering approximation methods and apparatus
US6646640B2 (en) 2001-02-06 2003-11-11 Sony Computer Entertainment Inc. System and method for creating real-time shadows of complex transparent objects
JP4100625B2 (ja) * 2001-06-07 2008-06-11 メンタル イメージズ ゲーエムベーハー サンプル・ポイントのコースシーケンスを発生させるための確定的な方法論を用いた画像表示
US6853377B2 (en) * 2002-06-26 2005-02-08 Nvidia Corporation System and method of improved calculation of diffusely reflected light
US7091973B1 (en) * 2003-06-20 2006-08-15 Jonathan Michael Cohen Apparatus and method for estimating reflected radiance under complex distant illumination
JP4462948B2 (ja) 2004-02-06 2010-05-12 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成装置
JP2006195940A (ja) 2005-01-13 2006-07-27 Kaadeikku Corporation:Kk 半透明物体レンダリング回路
JP4824514B2 (ja) 2006-09-21 2011-11-30 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
FR2912240B1 (fr) 2007-02-01 2009-04-17 Vision Numeric Sa Procede de rendu d'images en temps reel de modeles en trois dimensions de pieces de joaillerie
US8538183B1 (en) * 2007-03-08 2013-09-17 Nvidia Corporation System and method for approximating a diffusion profile utilizing gathered lighting information associated with an occluded portion of an object
CA2686121C (en) * 2007-04-16 2016-06-21 Sunfish Studio, Llc Single-pass and order-independent transparency in computer graphics using constant memory
WO2009041918A1 (en) * 2007-09-26 2009-04-02 Agency For Science, Technology And Research A method and system for generating an entirely well-focused image of a large three-dimensional scene
US8159490B2 (en) * 2007-10-16 2012-04-17 Dreamworks Animation Llc Shading of translucent objects
US8698799B2 (en) * 2009-01-20 2014-04-15 Adobe Systems Incorporated Method and apparatus for rendering graphics using soft occlusion
FR2948801A1 (fr) * 2009-11-24 2011-02-04 Thomson Licensing Procede d'estimation de diffusion de la lumiere
US8493383B1 (en) * 2009-12-10 2013-07-23 Pixar Adaptive depth of field sampling
KR20110070344A (ko) 2009-12-18 2011-06-24 한국전자통신연구원 반투과성 객체의 렌더링 장치 및 방법
KR20120007398A (ko) 2010-07-14 2012-01-20 삼성전자주식회사 영상 처리 장치 및 방법
TWI420413B (zh) * 2010-07-15 2013-12-21 Chunghwa Picture Tubes Ltd 深度圖強化方法及其電腦可讀媒體
JP5132754B2 (ja) * 2010-11-10 2013-01-30 株式会社東芝 画像処理装置、方法およびそのプログラム
US8406548B2 (en) * 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image
KR101845231B1 (ko) 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
US20140354632A1 (en) * 2012-01-13 2014-12-04 Thomson Licensing Method for multi-view mesh texturing and corresponding device
US9153201B2 (en) * 2012-05-07 2015-10-06 Intel Corporation Real-time order-independent transparent rendering
JP5962393B2 (ja) * 2012-09-28 2016-08-03 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
US9111393B2 (en) * 2012-11-26 2015-08-18 Nvidia Corporation System, method, and computer program product for sampling a hierarchical depth map
WO2014124870A1 (en) * 2013-02-12 2014-08-21 Thomson Licensing Method and device for establishing the frontier between objects of a scene in a depth map
WO2014124871A2 (en) * 2013-02-12 2014-08-21 Thomson Licensing Method and device for enriching the content of a depth map
US9953457B2 (en) * 2013-04-22 2018-04-24 Nvidia Corporation System, method, and computer program product for performing path space filtering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110012901A1 (en) * 2009-06-29 2011-01-20 Anton Kaplanyan Method, computer graphics image rendering system and computer-readable data storage medium for computing of indirect illumination in a computer graphics image of a scene
US20110199385A1 (en) * 2010-02-18 2011-08-18 Enderton Eric B System, method, and computer program product for rendering pixels with at least one semi-transparent surface

Also Published As

Publication number Publication date
US9761044B2 (en) 2017-09-12
KR20150108623A (ko) 2015-09-30
US20150269772A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
KR102223064B1 (ko) 영상 처리 장치 및 방법
KR101054702B1 (ko) 광선 추적 이미지 처리 시스템의 픽셀 컬러 결정
EP3035292B1 (en) 3d rendering method and apparatus
JP5043939B2 (ja) ３次元シーンの境界ボリュームを定めるノードを有する空間インデックスを用いる光線追跡のための操作を行なうプログラムを含むコンピュータ可読媒体及びシステム
CN107077756B (zh) 三维对象可视化方法、可视化装置、计算机可读存储介质
JP2022091849A (ja) 光線バンドルの光線に対する差分データを決定する方法及びグラフィックス処理ユニット
KR101845231B1 (ko) 영상 처리 장치 및 방법
JP7344267B2 (ja) 光マップを決定するための重要度サンプリング
US10157494B2 (en) Apparatus and method for processing virtual point lights in an image
US8698799B2 (en) Method and apparatus for rendering graphics using soft occlusion
KR20150114767A (ko) 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치
KR102110819B1 (ko) 영상 처리 장치 및 방법
KR102558737B1 (ko) 3d 렌더링 방법 및 장치
KR102250254B1 (ko) 영상 처리 방법 및 장치
JP5873683B2 (ja) 仮想環境でのオクルージョンを推定する方法
Barta et al. Order independent transparency with per-pixel linked lists
KR101585998B1 (ko) 영상 처리 장치 및 방법
KR102211142B1 (ko) 영상 처리 장치 및 방법
Zhdanov et al. The backward photon mapping for the realistic image rendering
Camporesi et al. Computing shortest path maps with GPU shaders
EP2831846B1 (en) Method for representing a participating media in a scene and corresponding device
US20150022524A1 (en) Image processing apparatus and method
KR101208826B1 (ko) 깊이 텍스처의 등고선을 기반으로 한 실시간 다각형 앰비언트 오클루전 방법
Papanikolaou et al. Real-time separable subsurface scattering for animated virtual characters
JP5848071B2 (ja) 均質な媒質中の光の散乱を推定する方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant