KR102108480B1 - 영상 기반 모델의 재질 추정 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 기반 모델의 재질 추정 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 방법은, 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하는 단계, 상기 추정된 광원 정보와 상기 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 상기 연산된 조명에 따라 상기 입력 이미지의 음영 정보를 근사하는 단계, 및 상기 입력 이미지의 텍스처 정보로부터 상기 근사된 음영 정보를 제거하여 상기 입력 이미지의 재질 정보를 추정하는 단계를 포함한다.

Description

영상 기반 모델의 재질 추정 방법 및 장치{METHODS AND APPARATUSES FOR ESTIMATING TEXTURE OF MODEL BASED ON IMAGE}

본 발명은 영상 기반 모델링(Image based modeling)에 관한 것으로, 보다 상세하게는, 영상 기반 모델의 재질 추정 방법 및 장치에 관한 것이다.

영상 기반 모델링(Image based modeling)은 실세계에서 촬영된 이미지를 기반으로 3D 모델을 생성하는 기법이다. 생성된 모델의 텍스처(Texture)는 촬영 당시의 조명에 의한 음영을 포함한다. 생성된 영상 기반 모델의 텍스처에 포함된 고정된 음영 정보는 영화, 게임과 같이 동적으로 조명을 적용하는 어플리케이션에서의 생성된 모델의 사용을 제한하는 요인이 된다. 따라서 동적 조명 적용을 위해 생성된 모델의 텍스처에서 음영을 제거하는 기술이 요구된다.

현재 영상 기반 모델링은 주로 공간이 아닌 물체단위로 이루어지고 있으며, 대부분 촬영 시 조명을 조작하여 음영의 영향을 줄이는 기법을 사용하고 있다. 텍스처에서 음영을 제거하는 또 다른 방법으로 텍스처에서 음영 정보와 물체의 반사율 정보(이하, 재질)를 분리하여 음영을 제거하는 재질추정 기법이 있다. 그러나 이러한 재질추정 기법은 주로 이미지 편집을 위한 분야에서 연구되고 있으며, 이는 영상 기반 모델링의 장점인 조명 연산의 간소화를 유지하지 못한다.

현재 재질추정 기법은 이미지 편집을 위한 분야에서 활발히 연구되고 있다. 대표적으로 음영에 의한 이미지의 색상 변화는 점진적이다. 반면, 재질에 의한 색상 변화는 급격하다는 레티넥스(retinex) 이론을 기반으로 하는 접근과, 주변 픽셀과 값을 비교하여 주변 픽셀과의 색도가 유사하다면 동일한 재질을 가진 것으로 간주하는 접근이 연구되고 있다. 이미지 편집을 위한 기법은 기하의 정보에 대한 고려 없이 물체의 재질과 음영의 완벽한 분리를 목표로 한다. 따라서 이러한 이미지 편집을 위한 기법을 적용한 영상 기반 모델은 사진으로 생성된 텍스처의 장점인 조명 적용의 간략화를 유지하지 못한다. 따라서 해당 접근은 영상 기반 모델링에 적용하기 적절하지 않으며 대부분 긴 연산 시간을 요구한다.

영상 기반 모델을 위한 재질 추정 기법은 기하 정보를 기반으로 음영 효과를 근사하므로, 기하의 복원 정도에 비례한 재질추정을 수행한다. 현재까지 연구된 복원된 기하를 기반으로 하는 재질추정 기법은 주로 물체를 대상으로 수행되며, 공간 전체에 대한 재질추정은 실외를 대상으로만 연구되었다. 실외 공간의 재질추정의 경우 태양의 특성상 시간에 따라 광원의 위치가 변화한다. 그러므로 동일한 공간에 대해 다양한 조명조건에서 이미지를 촬영하여 이를 이용하며, 동일한 조명 조건의 촬영 이미지를 사용하는 경우는 태양만이 광원으로 존재함을 가정하여 기하와 광원정보를 이용해 음영을 연산한다.

실내 공간 대상의 재질추정은 고정된 조명에 의한 음영을 텍스처에 포함하므로 음영 제거가 더욱 필요하다. 하지만, 실내 공간의 전체를 대상으로 하는 실시간 재질추정 기술은 발명되지 않았다. 실외와 달리 실내의 경우는 다양한 조명 기구의 사용으로 광원의 특성이 분명하지 않아, 음영근사를 위한 광원의 특성을 한정하여 정의하기 어렵다는 문제가 있다.

종래 재질 추정 기술에 대해서 다시 설명하면 다음과 같다.

종래 기술에서는 음영 근사를 위해 연산을 반복하여 수행해야 한다. 실시간 성능을 달성하지 못한다. 광원의 위치가 아닌 방향을 추정하기 위해 환경맵 촬영과 같은 별도의 촬영이 요구된다. 사용자와의 상호작용이 필요한 기술에서 적용이 어려운 상황이다.

종래 기술에서는 광원의 특성을 정의할 수 있는 실외 환경을 대상으로 한다. 태양광을 광원으로 정의하여 연산이 수행된다. VR을 이용한 화상 기술의 경우, 회의실과 같은 실내 환경에서의 사용이 많다. 최근 소개되고 있는 VR을 이용한 인테리어 변경 시뮬레이션의 경우에는 적용이 불가능하다.

종래 기술에서는 조명 조건을 변경하여 촬영한 이미지를 사용하여 재질을 추정한다. 실내 공간의 경우 조명 조건 변경이 어렵게 된다.

종래 기술에서는 기하 정보와 무관한 재질 추정을 수행한다. 종래 기술에서는 영상 기반 모델의 장점인 조명 연산의 간략화를 잃게 된다.

한편, 영상기반 라이팅(Image Based Lighting)은 2차원 영상으로부터 실세계의 조명 정보를 추출하여 새로운 광원을 부여하는 기법이다. 영상기반 라이팅은 정적인 이미지를 보여주는 것에서 그치지 않고, 빛과 물체의 상호작용에 의한 효과를 동적으로 렌더링할 수 있다. 실제 환경을 촬영한 영상에는 조명 혹은 조명에 의한 효과가 포함되어 있으므로 조명의 색상, 위치, 방향 등의 정보를 추정해 내는 것이 가능하다. 이에 영상으로부터 조명 정보를 추출하기 위한 시도의 한 흐름으로 환경맵에서 광원을 추정하는 시도가 활발히 진행되어 왔다. 큐브 맵, 등장방형 맵 등의 형태로 촬영되는 환경맵 상에서 광원의 위치를 추정하면 촬영 중심점을 기준으로 한 광원의 방향을 얻음으로써 광원에 의한 물체의 라이팅 효과를 어느 정도 근사할 수 있다.

이에 [Devebec et al. 2008]은 median cut[Heckbert et al. 1982]을 활용하여 환경맵을 밝기의 합이 같은 하위 영역으로 나누고 크기가 작은 영역에 광원이 위치하는 것으로 간주함으로써 비교적 빠른 성능으로 광원을 추정하였다. 이미지를 밝기의 합이 같은 여러 개의 하위 영역으로 나누고(미디안 컷 알고리즘), 크기가 작은 영역에 광원이 위치하는 것으로 간주함으로써 광원을 추정하였다. 해당 기술은 입력 영상으로부터 ITU-R 권고안 BT.709에 의해 계산된 흑백 이미지를 생성하고 summed-area table(SAT)로 변환하여 영역의 분할을 위한 계산의 성능을 가속화하였다.

영역 분할과정에 있어서는 초기 환경맵 이미지 전체를 하나의 영역으로 보고 이를 리스트에 저장한다. 새로운 영역의 생성을 위해 리스트에 저장되어있던 기존 영역의 정보를 참조하는데, 영역의 x, y 차원 중 긴 차원을 기준으로 픽셀의 밝기 합이 균등해지는 분할점을 찾아 이미지를 2개의 하위 영역으로 분할한다. 분할로 생성된 영역들은 다시 리스트(list)에 저장되며, 지정한 수만큼 영역이 나누어질 때까지 이 과정을 반복한다. 최종적으로 생성된 영역들 중에서 일정 면적 이하인 영역들에 광원이 위치하는 것으로 판단하고 각 영역 내에서 광원의 위치와 색상을 지정한다.

해당 기술은 비교적 빠른 성능으로 광원을 추정하고 있으나, CPU 상에서 구현되어 영역의 분할을 위한 이미지 참조 등의 계산 비용이 크다. 즉, 해당 기술은 발표 시점의 다른 광원 추정 방식들에 비해 비교적 빠른 성능으로 광원을 추정하였으나, CPU 상에서 구현되어 새로운 영역의 분할을 위해 기존 영역 정보를 참조하는 시간이 오래 걸린다. 촬영되는 환경맵의 이미지 해상도가 높아지고 추정 광원의 정밀도를 높이기 위해 분할 횟수를 증가시켜야 할 가능성이 높아지고 있다. 영상의 형태로 입력되어 이미지가 변하는 경우 실시간으로 광원 추정을 수행하는 것이 불가능하다.

본 발명의 실시 예들은 영상 기반 모델의 기하의 복원 정도에 비례한 재질 추정을 실시간으로 수행함으로써, 복원된 모델에 동적인 조명을 적용 가능하도록 하는, 영상 기반 모델의 재질 추정 방법 및 장치를 제공하고자 한다.

본 발명의 실시 예들은 실세계 데이터를 이용해 복원한 모델의 텍스처에서 음영 효과를 제거하여 재질을 추정함으로써, 복원된 실내 3D 모델에 동적인 조명 효과를 실시간으로 적용할 수 있는, 영상 기반 모델의 재질 추정 방법 및 장치를 제공하고자 한다.

본 발명의 실시 예들은 병렬처리에 최적화된 알고리즘을 설계하여 GPU 상에서 효율적으로 동작하는 미디언 컷(median cut) 기반으로 광원을 추정할 수 있는, 광원 추정 방법 및 장치를 제공하고자 한다.

본 발명의 일 실시 예에 따르면, 재질 추정 장치에 의해 수행되는 영상 기반 모델의 재질 추정 방법으로서, 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하는 단계; 상기 추정된 광원 정보와 상기 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 상기 연산된 조명에 따라 상기 입력 이미지의 음영 정보를 근사하는 단계; 및 상기 입력 이미지의 텍스처 정보로부터 상기 근사된 음영 정보를 제거하여 상기 입력 이미지의 재질 정보를 추정하는 단계를 포함하는 영상 기반 모델의 재질 추정 방법이 제공될 수 있다.

상기 광원 정보를 추정하는 단계는, 상기 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 면적을 갖는 광원 정보를 적어도 하나의 점광원으로 추정할 수 있다.

상기 음영 정보를 근사하는 단계는, 상기 입력 이미지에서 지역 조명 모델(local illumination model)를 기반으로 직접 조명을 근사할 수 있다.

상기 음영 정보를 근사하는 단계는, 상기 입력 이미지에서 퐁 반사 모델(Phong Reflection Model)을 기반으로 직접 조명을 근사할 수 있다.

상기 음영 정보를 근사하는 단계는, 상기 입력 이미지의 텍스처 정보에 양방향 필터를 적용해 평탄화하고 상기 평탄화된 텍스처에서 반사광의 색상을 근사하여 간접 조명을 근사할 수 있다.

상기 음영 정보를 근사하는 단계는, 상기 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하여 텍스처의 색상을 평탄화하고 상기 평탄화된 텍스처의 색상을 반사광의 색상으로 근사하여 간접 조명을 근사할 수 있다.

상기 음영 정보를 근사하는 단계는, 상기 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하되, 상기 입력 이미지의 텍스처 정보에 경계가 보존되는 필터를 적용할 수 있다.

상기 음영 정보를 근사하는 단계는, 상기 기하 정보와 상기 추정된 광원 정보를 기반으로 조명을 연산하되, 광 전파 볼륨(Light Propagation Volume), 반사 그림자 맵(Reflectance shadow maps), 인스턴트 래디오서티(Instant radiosity) 및 가상 포인트 조명(Virtual Point Light) 중 어느 하나를 기반으로 간접 조명을 연산할 수 있다.

상기 음영 정보를 근사하는 단계는, 상기 추정된 광원에서 방출된 빛과 물체에 의해 반사된 1차 반사광에 대해 간접 조명을 연산하고 간접 조명의 연산 결과를 전파하여 상기 입력 이미지의 음영 정보를 근사할 수 있다.

상기 음영 정보를 근사하는 단계는, 밝기 조절을 위한 앰비언트(Ambient) 값을 이용하여 상기 입력 이미지의 음영 정보를 근사할 수 있다.

한편, 본 발명의 일 실시 예에 따르면, 입력 이미지를 저장하는 메모리; 및

상기 메모리와 연결된 프로세서를 포함하고, 상기 프로세서는 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하고, 상기 추정된 광원 정보와 상기 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 상기 연산된 조명에 따라 상기 입력 이미지의 음영 정보를 근사하고, 상기 입력 이미지의 텍스처 정보로부터 상기 근사된 음영 정보를 제거하여 상기 입력 이미지의 재질 정보를 추정하는 영상 기반 모델의 재질 추정 장치가 제공될 수 있다.

상기 프로세서는, 상기 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 면적을 갖는 광원 정보를 적어도 하나의 점광원으로 추정할 수 있다.

상기 프로세서는, 상기 입력 이미지에서 지역 조명 모델(local illumination model)를 기반으로 직접 조명을 근사할 수 있다.

상기 프로세서는, 상기 입력 이미지에서 퐁 반사 모델(Phong Reflection Model)을 기반으로 직접 조명을 근사할 수 있다.

상기 프로세서는, 상기 입력 이미지의 텍스처 정보에 양방향 필터를 적용해 평탄화하고 상기 평탄화된 텍스처에서 반사광의 색상을 근사하여 간접 조명을 근사할 수 있다.

상기 프로세서는, 상기 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하여 텍스처의 색상을 평탄화하고 상기 평탄화된 텍스처의 색상을 반사광의 색상으로 근사하여 간접 조명을 근사할 수 있다.

상기 프로세서는, 상기 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하되, 상기 입력 이미지의 텍스처 정보에 경계가 보존되는 필터를 적용할 수 있다.

상기 프로세서는, 상기 기하 정보와 상기 추정된 광원 정보를 기반으로 조명을 연산하되, 광 전파 볼륨(Light Propagation Volume), 반사 그림자 맵(Reflectance shadow maps), 인스턴트 래디오서티(Instant radiosity) 및 가상 포인트 조명(Virtual Point Light) 중 어느 하나를 기반으로 간접 조명을 연산할 수 있다.

상기 프로세서는, 상기 추정된 광원에서 방출된 빛과 물체에 의해 반사된 1차 반사광에 대해 간접 조명을 연산하고 간접 조명의 연산 결과를 전파하여 상기 입력 이미지의 음영 정보를 근사할 수 있다.

상기 프로세서는, 밝기 조절을 위한 앰비언트(Ambient) 값을 이용하여 상기 입력 이미지의 음영 정보를 근사할 수 있다.

한편, 본 발명의 다른 실시 에에 따르면, 영상 기반 모델의 재질 추정 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하는 단계; 상기 추정된 광원 정보와 상기 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 상기 연산된 조명에 따라 상기 입력 이미지의 음영 정보를 근사하는 단계; 및 상기 입력 이미지의 텍스처 정보로부터 상기 근사된 음영 정보를 제거하여 상기 입력 이미지의 재질 정보를 추정하는 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

본 발명의 실시 예들은 영상 기반 모델의 텍스처에 포함된 음영 효과를 제거하여 복원된 모델에 동적 조명 적용이 가능하게 할 수 있다.

본 발명의 실시 예들은 기하 복원 정도에 비례하여 재질을 추정함으로써, 영상 기반 모델링의 장점인 조명 연산의 간략화를 유지할 수 있으며 복원된 모델을 이용한 조명 변경을 가능하게 할 수 있다.

본 발명의 실시 예들은 게임이나 영화 등의 미디어뿐만 아니라, AR(Augmented Reality), MR(Mixed Reality)과 같은 환경에서 역시 적용 가능하며 복원 모델의 이질감 없는 이용을 가능하게 한다.

본 발명의 실시 예들은 CPU 상에서 수행되던 미디언 컷(median cut) 기반 광원 추정 알고리즘을 GPU에 최적화함으로써, 추정 결과의 품질을 유지하되 더욱 빠른 속도로 광원 추정을 수행 가능하게 할 수 있다. 본 발명의 실시 예들은 이미지의 병렬처리에 최적화된 GPU 상으로의 이식을 통해 수행 속도를 향상시킬 수 있다.

본 발명의 실시 예들은 추정 결과의 품질을 유지하되 더욱 빠른 속도로 광원 추정을 가능하게 할 수 있다.

본 발명의 실시 예들은 최종적으로 실시간 성능이 요구되는 VR, AR 등의 환경에서 사용 가능하다.

도 1은 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 장치의 동작을 설명하기 위한 도면이다.
도 2는 일반적인 이미지를 이루는 음영 및 재질 특성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 적용되는 물체 고유의 재질 특성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 방법의 흐름을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 직접 반사와 간접 반사를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 적용되는 역 렌더링 기법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 적용되는 광전파 볼륨을 설명하기 위한 도면이다.
도 8 내지 도 13은 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 방법에 의해 수행된 실험 결과를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 장치의 구성을 설명하기 위한 구성도이다.
도 15는 본 발명의 다른 실시 예에 따른 광원 추정 장치에 의해 수행되는 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 과정을 설명하기 위한 도면이다.
도 16은 본 발명의 다른 실시 예에 따른 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 다른 실시 예에 따른 이미지의 영역에서 영역 정보를 저장하는 동작을 설명하기 위한 도면이다.
도 18은 본 발명의 다른 실시 예에 따른 영역 정보를 저장하는 밉맵 텍스처를 설명하기 위한 도면이다.
도 19는 각 단계에 따른 이미지의 분할 영역과 각 영역의 정보를 저장하는 텍스쳐 밉맵을 설명하기 위한 도면이다.
도 20은 본 발명의 다른 실시 예에 따른 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 장치를 설명하기 위한 구성도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 장치의 동작을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 장치(100)는 영상 기반 모델링을 통해 획득된 환경 모델(예컨대, 실내 환경 또는 실외 환경)에 대한 재질을 추정한다. 여기서, 영상 기반 모델링의 방식은 본 발명의 주요 특징과 무관하며 조명기구를 포함한 실내 환경이 복원되었음을 전제로 한다. 영상 기반 모델이 복원된 기하 정보(3차원 정보)와 각 기하의 정점(vertex)에 해당하는 텍스처 정보를 포함하므로, 재질 추정 장치(100)는 영상 기반 모델을 기반으로 재질을 추정할 수 있다.

본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 장치(100)는 도 1과 같이 동작한다.

재질 추정 장치(100)는 다시점 이미지를 입력받고, 영상 기반 모델링을 통해 텍스처 정보와 기하 정보를 생성할 수 있다. 또는 재질 추정 장치(100)는 미리 생성된 텍스처 정보와 기하 정보를 획득할 수 있다.

그리고 재질 추정 장치(100)는 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정할 수 있다. 재질 추정 장치(100)는 영상 기반 모델 기반으로 광원을 추정하거나, 사용자의 입력을 통해 광원의 위치 및 색상 정보를 획득할 수 있다. 광원은 영상 기반 모델 기반으로 추정될 수 있거나, 사용자에 의한 수동 입력에 의해 추정될 수 있다.

그리고 재질 추정 장치(100)는 기하 정보와 추정된 광원 정보를 이용하여 음영을 근사할 수 있다. 여기서, 이미지의 픽셀은 조명에 의한 음영 정보와 재질에 의해 정의된다. 재질 추정 장치(100)는 이에 근거하여 음영 근사를 통한 재질 추정을 수행한다. 이때, 조명 연산은 추정된 광원과 물체의 직접적 반사에 의한 효과인 직접 조명과 물체를 반사한 빛과 물체들과의 반사에 의한 효과인 간접 조명으로 분리되어 연산될 수 있다. 조명 연산 과정을 일반 렌더링 식으로 나타내면 하기의 [수학식 1]과 같다.

는 이미지의 픽셀 색상을 의미하며

은 재질(색상)을 의미한다.

는 입사각을 의미하며,

는 각각 전체 조명, 직접조명, 간접조명을 의미한다.

은 물체의 표면과 광원 사이의 방향 벡터를 의미하며

은 표면의 법선 벡터를 의미한다.

은 추정된 광원을 의미하며 이는 점광원으로 간주한다.

재질 추정 장치(100)는 직접 조명 근사를 수행할 수 있다. 재질 추정 장치(100)는 추정된 광원을 점 광원으로 간주하여 퐁(phong) 조명 연산을 수행할 수 있다. 직접 조명의 연산은 특정 방식의 직접 조명 연산으로 한정되지 않는다. 직접 조명의 연산은 물체의 기하 정보와 광원 위치 및 색상 정보를 이용한 연산이 가능하다면, 어떠한 연산식이든 적용 가능하다. 즉, 기하 정보와 점 광원을 이용한 직접 반사 연산식이 모두 적용가능하다. 일례로, 퐁반사 모델이 사용될 수 있다.

재질 추정 장치(100)는 간접 조명 근사를 수행할 수 있다. 물체에 반사된 빛은 빛을 반사시킨 물체의 재질(색상)을 반사광의 색상으로 갖는다. 물체의 재질 정보가 음영 근사의 목적이므로, 이를 반복된 연산 없이 추정하기 어렵다. 따라서 본 발명의 일 실시 예에 따른 재질 추정 장치(100)는 영상 기반 모델의 텍스처에 필터링을 적용하여 평탄화가 된 텍스처의 색상을 반사광의 색상으로 간주하여 반사광의 색상을 근사할 수 있다.

재질 추정 장치(100)는 추정된 광원 및 기하 정보와 평탄화된 텍스처 정보를 이용하여 간접 조명 근사를 수행할 수 있다. 이때, 본 발명의 일 실시 예에 사용된 간접조명 연산 방법은 광전파 볼륨(Light Propagation Volume)일 수 있다. 광전파 볼륨이 아니더라도, 기하 정보와 광원의 정보를 이용한 간접 조명 연산식이 본 발명의 일 실시 예에 적용될 수 있다.

본 발명의 일 실시 예에는 기하 정보와 점 광원의 위치 및 색상 정보를 이용한 간접 반사 연산 방법이 모두 적용될 수 있다. 간접 반사 연산 방법에는 광전파 볼륨(Light Propagation Volume) 이외에 반사 그림자 맵(RSM, Reflectance shadow maps), 인스턴트 래디오서티(Instant radiosity) 및 가상 포인트 조명(Virtual Point Light) 중 어느 하나의 방법이 사용 가능하다. 간접 반사 모델의 선택에 따라 성능 및 품질이 좌우될 수 있다.

음영 근사 시 복원된 모델의 부정확성으로 인한 연산의 오차가 발생할 수 있다. 이를 위해, 재질 추정 장치(100)는 앰비언트(ambient)를 음영 근사에 적용할 수 있다. 앰비언트는 밝기 조절을 위한 값이다. 앰비언트는 다시점 이미지를 이용한 모델 복원과 같이 불안정한 복원 모델을 위한 값이다. 따라서 재질 추정 장치(100)는 필요에 따라 앰비언트 적용의 유무를 선택할 수 있다.

이후, 재질 추정 장치(100)는 추정된 음영 정보를 모델의 텍스처의 픽셀과 나누어 재질을 추정할 수 있다.

이와 같이, 재질 추정 장치(100)는 실시간 렌더링 기법을 재질 추정에 적용한다.

재질 추정 장치(100)는 렌더링을 위해 텍스처 기반의 광원추정을 수행하며 추정된 광원을 점광원으로 간주하여 광원 정보를 획득한다.

재질 추정 장치(100)는 실시간 렌더링 기법인 퐁 반사 모델(Phong reflection model)과 광전파볼륨(Light Propagation Volume), 또는 앰비언트(ambient)를 적용하여 실시간으로 재질추정을 수행할 수 있다. 이때, 앰비언트는 복원 모델에서 빈번히 발생하는 누락된 데이터로 인한 음영근사의 품질 하락을 막기 위해 추가될 수 있다.

실내 환경은 반사를 야기하는 물체가 다수 존재하므로 간접조명 근사의 품질이 재질추정의 품질에 큰 영향을 끼친다. 따라서 재질 추정 장치(100)는 양방향 필터(Bilateral filter)를 적용해 평탄화된 텍스처에서 반사광의 색상을 근사하여 간접조명 근사의 품질을 높일 수 있다.

텍스처의 픽셀은 재질과 조명에 의한 음영의 곱으로 이루어지므로 음영근사를 통한 재질추정이 가능하다. 재질 추정 장치(100)는 이러한 성질을 기반으로 복원된 기하를 이용해 음영을 근사한 후 이를 텍스처에서 나누어 재질을 추정한다. 기하 정보에 비례한 음영 근사는 영상 기반 모델링의 이점인 조명 연산을 유지할 수 있도록 한다.

실내 환경에선 다양한 조명기구가 사용되므로 광원의 특성을 한정하여 정의한 후 음영을 근사할 수 없다. 따라서 재질 추정 장치(100)는 광원 추정 기법을 이용하여 광원을 추정한 후 추정된 각각의 광원을 점광원으로 간주할 수 있다. 재질 추정 장치(100)에서 사용한 광원추정 기법은 복원된 모델의 텍스처를 기반으로 텍스처의 밝은 영역을 탐색하여 수행되며 광원의 위치와 색상을 추정할 수 있다. 이때, 면적을 갖는 광원은 다수의 점광원으로 추정될 수 있다.

재질 추정 장치(100)는 실시간으로 수행되는 재질 추정을 목적으로 하므로 음영 근사를 위해 실시간 렌더링 기법을 사용할 수 있다. 간접조명 근사를 위해 퐁 반사모델(Phong reflection model)이 사용될 수 있으며, 간접조명 근사는 광전파볼륨 및 앰비언트를 이용해 연산될 수 있다.

앰비언트는 다시점 이미지를 이용해 모델을 복원하는 상용 프로그램을 이용해 제작된 모델에서 빈번히 발생하는 누락된 데이터로 인한 음영 근사의 품질 하락을 막기 위해 추가될 수 있다.

실내 환경은 반사를 야기하는 물체가 다수 존재하므로 간접조명 근사의 품질이 재질추정의 품질에 큰 영향을 끼친다. 따라서 재질 추정 장치(100)는 필터를 적용해 평탄화된 텍스처에서 반사광의 색상을 근사하여 간접조명 근사의 품질을 높일 수 있다. 이때, 주변 픽셀과 색 변화를 가지는 영역의 색상 차가 분명히 유지하며 색상 차가 적은 픽셀들은 평탄화하는 양방향 필터가 이용될 수 있다.

재질 추정 장치(100)는 간접조명 근사에 사용한 광전파 볼륨을 통해 각 광원의 위치에서 공간을 촬영하여 반사 광원의 위치 및 색상을 근사한다. 광원 추정 시 면적을 가지는 광원이 다수의 점광원으로 추정되었으므로, 다수의 점광원 각각에 대해 반사 광원이 추정된다. 그러나 밀접한 점광원의 위치에서 추정된 반사 광원의 정보가 서로 유사하여 각 점광원에 대하여 반사광을 근사하는 것은 속도 하락을 야기할 뿐 재질추정의 품질에 영향을 주지 않는다. 따라서 재질 추정 장치(100)는 간접조명 근사 시 점광원에 임계값을 사용하여 중복된 반사광 생성을 막을 수 있다.

본 발명의 실시 예들은 실내 공간 복원 시 조명기구 역시 복원됨을 전제로 하며 그림자는 고려되지 않는다.

도 2는 일반적인 이미지를 이루는 음영 및 재질 특성을 설명하기 위한 도면이다.

일반적으로 이미지는 물체의 고유의 재질(albedo 또는 reflectance)과 빛, 기하의 상호작용에 의해 연산된 음영의 곱으로 이루어진다.

도 2에 도시된 바와 같이, 빛과 기하의 상호작용에 의한 음영(210)과 물체 고유의 재질(220)의 연산 과정을 통해 입력 이미지(200)가 구해질 수 있다.

도 3은 본 발명의 일 실시 예에 적용되는 물체 고유의 재질 특성을 설명하기 위한 도면이다.

재질 추정은 촬영된 이미지를 이용하여 음영의 영향을 받지 않은 물체 고유의 재질을 추정하는 접근으로 다양한 접근 방식이 연구되었다.

도 3에 도시된 바와 같이, 입력 이미지(200)에서 기하와 광원 추정을 이용한 음영 근사(210)를 나누는 연산 과정을 통해 물체 고유의 재질(220)이 구해질 수 있다. 이와 같이, 본 발명의 일 실시 예는 복원된 실내 환경의 기하 정보와 광원 추정 기법을 이용하여 음영을 근사하여 물체 고유의 재질을 추정할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 방법의 흐름을 설명하기 위한 순서도이다.

도 4에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 재질 추정 장치(100)에 의해 영상 기반 모델의 재질 추정 방법이 수행된다.

단계 S101에서, 재질 추정 장치(100)는 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정한다.

여기서, 재질 추정 장치(100)는 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 면적을 갖는 광원 정보를 적어도 하나의 점광원으로 추정할 수 있다.

단계 S102에서, 재질 추정 장치(100)는 추정된 광원 정보와 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산한다.

여기서, 재질 추정 장치(100)는 입력 이미지에서 지역 조명 모델(local illumination model)를 기반으로 직접 조명을 근사할 수 있다.

재질 추정 장치(100)는 입력 이미지에서 퐁 반사 모델(Phong Reflection Model)을 기반으로 직접 조명을 근사할 수 있다.

재질 추정 장치(100)는 입력 이미지의 텍스처 정보에 양방향 필터를 적용해 평탄화하고 평탄화된 텍스처에서 반사광의 색상을 근사하여 간접 조명을 근사할 수 있다.

재질 추정 장치(100)는 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하여 텍스처의 색상을 평탄화하고 평탄화된 텍스처의 색상을 반사광의 색상으로 근사하여 간접 조명을 근사할 수 있다.

재질 추정 장치(100)는 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하되, 입력 이미지의 텍스처 정보에 경계가 보존되는 필터를 적용할 수 있다.

재질 추정 장치(100)는 기하 정보와 추정된 광원 정보를 기반으로 조명을 연산하되, 광 전파 볼륨(Light Propagation Volume), 반사 그림자 맵(Reflectance shadow maps), 인스턴트 래디오서티(Instant radiosity) 및 가상 포인트 조명(Virtual Point Light) 중 어느 하나를 기반으로 간접 조명을 연산할 수 있다.

재질 추정 장치(100)는 추정된 광원에서 방출된 빛과 물체에 의해 반사된 1차 반사광에 대해 간접 조명을 연산하고 간접 조명의 연산 결과를 전파하여, 입력 이미지의 음영 정보를 근사할 수 있다.

재질 추정 장치(100)는 밝기 조절을 위한 앰비언트(Ambient) 값을 이용하여 입력 이미지의 음영 정보를 근사할 수 있다.

한편, 단계 S103에서, 재질 추정 장치(100)는 연산된 조명에 따라 입력 이미지의 음영 정보를 근사한다.

단계 S104에서, 재질 추정 장치(100)는 입력 이미지의 텍스처 정보로부터, 근사된 음영 정보를 제거하여 입력 이미지의 재질 정보를 추정한다.

도 5는 본 발명의 일 실시 예에 따른 직접 반사와 간접 반사를 설명하기 위한 도면이다.

우선, 음영 근사를 통한 재질 추정 수행 과정이 도 5에 도시되어 있다.

음영 근사(210)를 통한 재질 추정 수행 과정은 직접 반사(Direct Light)와 간접 반사(Indirect Light)를 고려하여 수행될 수 있다.

직접 반사를 고려한 근사 이미지(211)는 광원에서의 빛과 기하와의 상호작용을 고려하여 근사될 수 있다.

간접 반사를 고려한 근사 이미지(212)는 물체에서 반사된 빛과 기하와의 상호작용을 기반으로 근사될 수 있다. 여기서, 빛을 반사한 물체의 색상이 반사광의 색상을 정의한다. 이를 정확히 연산하기 위해선 다수의 연산이 요구되어 속도 저하가 야기될 수 있다.

물체에서 반사된 빛과 기하의 상호작용에 의한 간접 반사의 경우를 살펴보면 다음과 같다. 직접 반사가 일어난 위치의 기하에서 반사된 빛이 2차 혹은 그 이상의 광원이 될 수 있다. 이때, 반사된 빛은 반사가 발생하는 위치의 재질의 색상을 포함하므로, 본 발명의 일 실시 예에서 획득하고자 하는 재질의 값을 필요로 한다.

따라서 반사광의 색상을 정확하게 표현하기 어려우므로, 본 발명의 일 실시 예에 따른 재질 추정 장치(100)는 입력으로 주어진 복원된 모델의 텍스처를 평탄화하여 반사광의 색상으로 간주한 후 간접 반사를 연산할 수 있다.

재질과 음영의 경우를 살펴보면 다음과 같다. 재질의 변화는 급격한 변화를 포함하는 경우가 다수이나, 음영은 그 변화가 완만한 특징을 가지고 있다. 따라서 본 발명의 일 실시 예에 따른 재질 추정 장치(100)는 이러한 특성을 고려하여 텍스처 평탄화를 위한 필터 적용 시, 비교적 에지(경계)가 보존될 수 있는 필터 방식을 적용할 수 있다. 본 발명의 일 실시 예에서는 양방향 필터를 적용하였으나, 특정 필터로 한정되지 않는다.

도 6은 본 발명의 일 실시 예에 적용되는 역 렌더링 기법을 설명하기 위한 도면이다.

도 6을 참조하여, 본 발명의 일 실시 예에 적용되는 역 렌더링(Inverse rendering) 방법을 살펴보기로 한다.

역 렌더링(Inverse rendering) 방법은 하기의 [수학식 2]와 같이 나타난다.

간접 조명 근사에 광전파 볼륨(LPV)이 적용될 수 있다.

여기서, R을 유도하면, 하기의 [수학식 4]와 같다.

여기서,

는 픽셀(Pixel)의 색 (스페큘러(specular) 제외),

는 전체 라이트(light),

는 직접 라이트(Direct light),

는 간접 라이트(Indirect light),

는 간접 라이트닝(Indirect lighting) (LPV),

는 직접 라이트닝(Direct lighting),

는 앰비언트 근사(Ambient approximation)를 나타낸다.

도 7은 본 발명의 일 실시 예에 적용되는 광전파 볼륨을 설명하기 위한 도면이다.

광전파 볼륨(Light Propagation Volume)은 물체에서 반사된 반사광이 다시 다른 물체와 상호작용하여 반사하는 간접조명을 표현하는 방식을 나타낸다. 본 발명의 일 실시 예에 따른 재질 추정 장치(100)는 광전파 볼륨을 이용함으로써, 광원(300)에서 방출된 빛과 물체에 의해 반사된 1차 반사광에 대해 조명을 연산한 후, 그 결과를 전파하여 간접조명효과를 근사하여 실시간 성능을 달성할 수 있다.

광전파 볼륨의 진행 과정은 다음과 같다. 추정된 광원의 시점에서 공간을 렌더링하여 반사 그림자 맵(RSM, Reflectance shadow maps)으로부터 가상 포인트 조명(Virtual Point Light, VPL)을 생성한다.

가상 포인트 조명(VPL)은 가상의 점광원(301)으로 광원과 물체의 반사에 의해 2차 광원 즉, 반사광이 될 위치 및 색상 정보를 가진다. 따라서 재질 추정 장치(100)는 광원의 시점에서 렌더링한 결과인 RSM의 위치 및 색상으로부터 VPL을 생성할 수 있다. 이때, 광원의 시점에서 생성된 RSM은 광원(조명기구)과 물체와의 1차 반사만을 근사한다. 따라서 재질 추정 장치(100)는 VPL를 통해, 반사광에 의한 조도(radiance)를 공간상 각 지점에 전달하는 방식을 사용한다. 재질 추정 장치(100)는 공간에서 기하가 차지하는 영역을 조도 볼륨(radiance volume)으로 분할하고, 각 셀(cell)의 조도(radiance) 전달 분포를 구면 조화 함수를 이용해 표현할 수 있다. 이를 위해, 재질 추정 장치(100)는 LPV를 통해, 생성된 VPL을 조도 볼륨(radiance volume)에서 대응되는 위치에 각 VPL을 인젝션(injection)한 후, 누적된 조도(radiance) 분포에서 6방향으로 인접한 셀(cell)에 조도(radiance)를 전파하며 조명효과를 부여할 수 있다.

이와 같이, 본 발명의 일 실시 예에 따른 재질 추정 장치(100)는 광전파 볼륨을 이용하여, 추정된 광원의 위치에서 공간을 렌더링할 수 있다. 재질 추정 장치(100)는 렌더링된 이미지의 픽셀의 값을 반사광의 위치 및 색상으로 근사할 수 있다. 재질 추정 장치(100)는 구형 고조파(Spherical Harmonics)를 이용해 해당 위치의 조명 영향을 주변으로 전파할 수 있다. 반사광의 색상은 재질의 정보이므로 이를 얻을 수 없다. 재질 추정 장치(100)는 입력된 영상을 평탄화하여 음영에 의한 색상의 차를 줄인 후, 이를 반사광 색상으로 사용할 수 있다. 재질 추정 장치(100)는 반복 연산을 최소화하여 실시간 속도를 달성할 수 있다.

한편, 앰비언트(Ambient)를 설명하기로 한다. 앰비언트 값은 특수한 연산이나 과정 없이 그저 조명에 의한 음영의 밝기를 조절하는 [0,1]의 범위를 갖는 상수로서, 이를 본 발명의 일 실시 예에서 정의한 식에 적용한다면 하기의 [수학식 5]와 같다.

도 8 내지 도 13은 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 방법에 의해 수행된 실험 결과를 설명하기 위한 도면이다.

이하, 복원된 실내 공간 모델에 대해 재질 추정이 수행되는 실험과정을 설명한 후 결과 이미지를 도 8 내지 도 13에 나타내도록 한다.

도 8에는 입력 이미지에 대해 영상 기반 모델링에 따라 복원된 모델이 도시되어 있다.

도 9 및 도 10에는 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 방법에 의해 수행된 음영 근사 결과 및 재질 추정 결과가 도시되어 있다.

한편, 도 11에는 다른 입력 이미지에 대해 영상 기반 모델링에 따라 복원된 다른 모델이 도시되어 있다.

도 12 및 도 13에는 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 방법에 의해 수행된 다른 음영 근사 결과 및 다른 재질 추정 결과가 도시되어 있다.

수행되는 실험과정을 살펴보면 다음과 같다. 영상 기반 모델의 재질 추정 방법은 실내 공간을 다시점에서 촬영한 이미지와 상용 프로그램을 기반으로 조명기구를 포함한 실내 공간 전체를 복원하여 기하정보와 텍스처를 획득한다.

영상 기반 모델의 재질 추정 방법은 획득한 텍스처를 기반으로 광원 추정을 수행하여 광원의 위치와 색상을 추정한다.

영상 기반 모델의 재질 추정 방법은 추정된 광원 정보와 복원된 기하 정보를 기반으로 재질의 값을 취하지 않는 렌더링을 수행하여 음영을 근사하며 이때 직접조명 근사와 간접조명 근사로 나뉘어 수행된다. 직접 조명 근사는 추정된 점광원 정보를 모두 사용하여 퐁 반사 모델을 연산해 수행되며 간접 조명 근사는 두 단계의 과정을 거친다. 생성된 텍스처에 양방향 필터를 적용하여 텍스처를 평탄화한 후 간접 조명 연산이 수행된다. 광전파 볼륨은 임계값을 이용해 추려진 일부 광원의 위치에서 공간을 촬영하여 반사광의 위치와 색상을 근사한다. 이때, 색상은 평탄화된 텍스처에서 읽어온다.

영상 기반 모델의 재질 추정 방법은 필터가 적용되지 않은 텍스처에서 앞서 근사한 직접조명과 간접조명의 음영결과를 나누어 재질을 추정된다.

재질추정을 위한 식은 아래와 같이 서술할 수 있다.

는 텍스처의 픽셀 값을,

은 물체의 재질을 의미한다.

는 간접 조명을,

은 물체의 표면과 광원 사이의 방향 벡터를 의미하며,

은 물체 표면의 법선벡터를 의미한다.

는 거리에 따른 빛의 감쇠를 나타내며,

는 추정된 점광원을,

는 임계값이 적용된 추정 점광원을 나타낸다.

는 광전파 볼륨을 의미한다.

위와 같은 과정 및 연산을 이용해 재질을 추정할 수 있다. 실험 내용의결과는 도 8 내지 도 11에서 확인 가능하다.

텍스처에서 음영이 제거된 영상 기반 모델은 동적인 조명 적용이 용이하므로 게임과 영화 같은 미디어에 폭넓게 활용이 가능하다. 또한, AR, MR과 같이 서로 다른 조명을 가진 공간의 물체를 동일한 공간에 위치시키는 어플리케이션에서 음영이 제거된 영상기반 모델은 이질감 없는 렌더링 결과와 빠른 조명 연산을 보인다.

도 14는 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 장치의 구성을 설명하기 위한 구성도이다.

도 14에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 장치(100)는 메모리(110), 프로세서(120) 및 디스플레이(130)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 본 발명의 일 실시 예에 따른 영상 기반 모델의 재질 추정 장치(100)는 도시된 구성요소보다 많은 구성요소에 의해 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 구현될 수 있다.

이하, 도 14의 재질 추정 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

메모리(110)는 입력 이미지를 저장한다. 또한, 메모리(110)는 광원 정보, 기하 정보, 텍스처 정보, 음영 정보 및 재질 정보 중에서 적어도 하나를 저장할 수 있다.

프로세서(120)는 메모리(110)와 연결된다. 프로세서(120)는 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하고, 그 추정된 광원 정보와 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 연산된 조명에 따라 입력 이미지의 음영 정보를 근사하고, 입력 이미지의 텍스처 정보로부터 근사된 음영 정보를 제거하여 입력 이미지의 재질 정보를 추정할 수 있다.

프로세서(120)는 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 면적을 갖는 광원 정보를 적어도 하나의 점광원으로 추정할 수 있다.

프로세서(120)는 입력 이미지에서 지역 조명 모델(local illumination model)를 기반으로 직접 조명을 근사할 수 있다.

프로세서(120)는 입력 이미지에서 퐁 반사 모델(Phong Reflection Model)을 기반으로 직접 조명을 근사할 수 있다.

프로세서(120)는 입력 이미지의 텍스처 정보에 양방향 필터를 적용해 평탄화하고 평탄화된 텍스처에서 반사광의 색상을 근사하여 간접 조명을 근사할 수 있다.

프로세서(120)는 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하여 텍스처의 색상을 평탄화하고 평탄화된 텍스처의 색상을 반사광의 색상으로 근사하여 간접 조명을 근사할 수 있다.

프로세서(120)는 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하되, 입력 이미지의 텍스처 정보에 경계가 보존되는 필터를 적용할 수 있다.

프로세서(120)는 기하 정보와 상기 추정된 광원 정보를 기반으로 조명을 연산하되, 광 전파 볼륨(Light Propagation Volume), 반사 그림자 맵(Reflectance shadow maps), 인스턴트 래디오서티(Instant radiosity) 및 가상 포인트 조명(Virtual Point Light) 중 어느 하나를 기반으로 간접 조명을 연산할 수 있다.

프로세서(120)는 추정된 광원에서 방출된 빛과 물체에 의해 반사된 1차 반사광에 대해 간접 조명을 연산하고 간접 조명의 연산 결과를 전파하여 상기 입력 이미지의 음영 정보를 근사할 수 있다.

프로세서(120)는 밝기 조절을 위한 앰비언트(Ambient) 값을 이용하여 상기 입력 이미지의 음영 정보를 근사할 수 있다.

한편, 디스플레이(130)는 프로세서(120)에서 추정된 입력 이미지의 재질 정보를 디스플레이(130)할 수 있다.

이와 같이, 재질 추정 장치(100)는 실시간 성능을 달성할 수 있다. 이를 위해, 재질 추정 장치(100)는 음영 연산 시 간접조명과 직접조명을 분리할 수 있다. 재질 추정 장치(100)는 간접조명 연산 시 실시간 렌더링에 사용되는 광전파 볼륨을 사용할 수 있다.

재질 추정 장치(100)는 음영 연산을 위하여 광원을 추정할 수 있다. 이를 통해, 음영 연산을 위한 별도의 촬영이 요구되지 않을 수 있다.

재질 추정 장치(100)는 실내환경에서의 재질추정을 수행할 수 있다. 재질 추정 장치(100)는 광원의 특성 정의 없이 추정된 광원을 점광원으로 간주할 수 있다. 재질 추정 장치(100)는 다양한 조명 기구가 사용되는 실내의 특성을 고려하여 재질 정보를 추정할 수 있다.

재질 추정 장치(100)는 반사광 색상 정의를 위하여 평탄화된 텍스처를 사용할 수 있다. 재질 추정 장치(100)는 실시간 간접 조명 연산을 위해 사용할 수 있다.

이와 같이, 본 발명의 일 실시 예에 따른 재질 추정 장치(100)는 VR, 또는 MR에 사용될 수 있다. 재질 추정 장치(100)는 실시간 성능을 달성으로 사용자와의 상호작용이 가능하다. 재질 추정 장치(100)는 VR을 이용한 화상 채팅과 같이 실시간 성능이 필요한 매체에 사용될 수 있다.

VR을 이용한 화상 기술의 경우, 회의실과 같은 실내 환경에서의 사용이 많다. 재질 추정 장치(100)는 최근 소개되고 있는 VR을 이용한 인테리어 변경 시뮬레이션에 사용될 수 있다.

재질 추정 장치(100)는 영상 기반 모델링을 이용한 동적인 조명 변경에 사용될 수 있다. 재질 추정 장치(100)는 조명 조건이 자주 변경되는 미디어에서의 영상 기반 모델링의 적용을 가능하게 한다. 예를 들어, 재질 추정 장치(100)는 게임, 영화 등의 미디어에 사용될 수 있다. 재질 추정 장치(100)는 모델링 프로그램에서 음영이 제거된 결과가 실시간으로 확인이 가능하므로 편집을 도움을 준다.

도 15는 본 발명의 다른 실시 예에 따른 광원 추정 장치에 의해 수행되는 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 과정을 설명하기 위한 도면이다.

본 발명의 다른 실시 예는 이미지 내에서 광원의 위치를 찾는 방법에 관한 것으로서, 더욱 상세하게는 미디언 컷(median cut)을 활용한 CPU 기반의 광원 추정을 GPU에 맞게 최적화한 것이다.

본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 360 카메라 등을 통해 촬영된 환경맵 이미지(401)로부터 광원을 추정하기 위한 미디언 컷 기반의 광원 추정 기법을 GPU 상에서 효율적으로 수행한다. 단, 입력 이미지를 흑백이미지로 변환하고 영역의 합을 계산하기 쉽도록 Summed Area Table(SAT)을 생성하는 전처리 과정과, 분할 영역 내에서 광원 위치를 결정하는 과정은 일반적인 기술과 동일하게 수행하는 것으로 한다. 그리고 광원 추정 장치(400)는 추정된 광원 또는 광원에 의한 효과(402)를 부여할 수 있다.

본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 크게 영역 정보의 저장 동작, 텍스처 밉맵을 활용한 단계별 영역 정보의 저장 동작, 이진 탐색을 통한 4분할 동작을 수행한다.

영역 정보의 저장 동작을 살펴보면 다음과 같다. 일반적인 기술에서는 영역의 정보를 리스트에 저장하며, 분할을 수행할 때 기존의 영역 정보를 팝(pop)하고 해당 영역을 분할하여 생성된 새로운 영역들의 정보를 푸시(push) 하는 방법을 사용했다. 그러나 분할 수행 횟수가 증가함에 따라 저장된 영역의 수가 증가하며, 이를 다시 분할하기 위해서는 리스트에 저장된 항목을 하나씩 꺼내 참조하여야 하므로 성능을 크게 하락시킨다.

이러한 문제를 해결하기 위해, 본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 GPU가 텍스처의 각 픽셀에 대한 처리를 병렬적으로 수행할 수 있다는 점을 이용하여 개선할 수 있다. 광원 추정 장치(400)는 좌측 최하단 픽셀 좌표(x₁, y₁), 우측 최상단 픽셀 좌표(x₂, y₂)로 표현되는 영역의 정보를, 정보 저장을 위해 생성한 별도의 텍스처의 픽셀(r,g,b,a)에 저장한다.

텍스처 밉맵을 활용한 단계별 영역 정보의 저장 동작을 살펴보면 다음과 같다. 텍스처 밉맵은 기본 텍스처와 해상도를 점진적으로 축소시킨 텍스처들로 이루어진 이미지의 집합이며, 밉맵 레벨이 한 단계 올라갈 때마다 가로축과 세로축의 텍셀 수가 1/2로 줄어들면서 전체 텍셀의 수는 1/4로 줄어든다. 텍스처 밉맵의 최상위 레벨은 1×1 크기의 텍스처이다.

분할을 수행하기 전의 원본 이미지는 하나의 영역으로 이루어져 있는데, 영역의 정보는 좌측 최하단 픽셀 좌표(x₁, y₁)와 우측 최상단 픽셀 좌표(x₂, y₂)의 4개 값만으로 표현할 수 있다. 반면 하나의 텍셀은 (r,g,b,a) 4개 채널의 값을 저장할 수 있다. 그러므로 광원 추정 장치(400)는 분할을 수행하기 전의 초기 영역 정보를 1텍셀 크기의 최상위 레벨 밉맵에 저장할 수 있다. 이후 광원 추정 장치(400)는 반복적인 분할 단계를 거치며 생성되는 새로운 영역들의 정보를 하위 단계의 밉맵에 저장한다.

이진 탐색을 통한 4분할 동작을 살펴보면 다음과 같다.

일반적인 기술에서는 전처리 과정에서 생성된 summed-area table(SAT)의 축을 순차적으로 탐색하면서 탐색 지점 왼쪽 영역의 밝기 합과 오른쪽 영역의 밝기 합이 유사한지 판단함으로써 분할 지점을 결정하였다. SAT는 직사각형의 격자형 자료구조에서 하위영역의 값의 합을 효율적으로 생성할 수 있게 하는 자료구조로, 이미지 처리의 분야에서 활발하게 사용된다. SAT에서 임의의 위치의 픽셀값은 원본 이미지에서 해당 위치보다 왼쪽에 위치하면서 아래쪽에 위치하는 조건을 만족하는 픽셀들의 값을 모두 더함으로서 생성할 수 있다.

그러나 이미지의 픽셀 값이 0 이상 1 이하의 양수이며, SAT는 현재 위치와 좌측 하단 모서리(혹은 우측 상단 모서리)가 이루는 사각 영역 내 성분의 합을 계산한 것이다. 그러므로 생성된 SAT의 값들은 정렬된 것과 마찬가지로 단조 증가하는 형태를 갖다. 따라서 본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 선형 탐색이 아닌 이진 탐색을 통해 분할 지점을 보다 효율적으로 찾을 수 있다.

여기서, 이진 탐색 방법을 설명하기로 한다. 이진 탐색은 첫 요소에서 시작하여 다음 요소로 한 칸씩 순차적으로 이동하며 원하는 값을 찾는 선형탐색과 다르다. 이진 탐색은 요소의 중간에 위치한 값을 가장 먼저 살펴본다. 이후 이진 탐색은 찾고자 하는 값이 현재 위치의 값보다 작으면 좌측 절반에 있는 요소들 중 중간에 위치한 값을 살펴본다. 그리고 이진 탐색은 찾고자 하는 값이 현재 위치의 값보다 크면 우측 절반에 있는 요소들 중 중간에 위치한 값을 살펴보는 과정을 반복하며 원하는 값을 찾는 과정이다. 이렇게 이진 탐색 과정을 통해 왼쪽 영역의 밝기 합과 오른쪽 영역의 밝기 합을 비교하여 해당 지점이 적절한 분할 지점인지 판단하는 과정의 계산량을 줄일 수 있다.

이에 따라, 본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 이진 탐색을 통해 적절한 지점을 찾아 2분할을 먼저 수행한다. 그 결과로, 광원 추정 장치(400)는 생성된 2개 영역에 대해 각각 다시 이진 탐색을 통해 분할 지점을 찾아 분할하여 총 3번의 분할을 수행하면, 하나의 영역으로부터 4개의 하위 영역을 생성할 수 있다. 이는 텍스처 밉맵의 레벨이 한 단계 내려갈 때마다 담을 수 있는 정보의 양이 4배씩 증가함을 이용한 것으로, 불필요한 데이터 참조의 부하를 없애는 효과를 갖는다.

이와 같이, 본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 미디언 컷의 알고리즘을 활용한 광원 추정에 있어서, 쉐이더에서 분할을 3번 수행하여 하나의 영역으로부터 4개의 하위 영역을 생성할 수 있다.

광원 추정 장치(400)는 입력이미지로부터 생성된 SAT(Summed Area Table)의 축을 이진 탐색하여 분할 지점을 찾을 수 있다.

광원 추정 장치(400)는 미디언 컷의 알고리즘을 활용한 광원 추정에 있어서, 각 단계에서 분할된 영역의 정보를 텍스처 밉맵에 저장할 수 있다.

광원 추정 장치(400)는 각 영역의 좌측 최하단 픽셀 좌표, 우측 최상단 픽셀 좌표를 텍스처 픽셀의 r,g,b,a 에 저장할 수 있다.

광원 추정 장치(400)는 분할 전 초기 영역(이미지 전체 영역)의 정보를 텍스처 최상위 레벨에 저장할 수 있다.

광원 추정 장치(400)는 각 분할 단계마다 생성되는 영역 정보를 텍스처 밉맵의 하위 레벨에 저장할 수 있다.

도 16은 본 발명의 다른 실시 예에 따른 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 방법을 설명하기 위한 흐름도이다.

본 발명의 다른 실시 예에 따른 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 방법은 전처리 과정, 초기 영역 저장 과정, 4분할 과정(N번 반복) 및 광원 추정 과정으로 구분될 수 있다. 이하, 도 16을 참조하여 설명하기로 한다.

단계 S201에서, 광원 추정 장치(400)는 컬러 이미지(I), 분할횟수(N)를 입력받는다. 여기서, 입력 이미지는 I, 분할 횟수는 N으로 나타낸다.

그리고 전처리 과정을 살펴보면, 단계 S202에서, 광원 추정 장치(400)는 입력된 컬러 환경맵 이미지(I)로부터 흑백 이미지(G)를 생성한다.

단계 S203에서, 광원 추정 장치(400)는 흑백 이미지(G)로부터 합산영역테이블(SAT)을 생성한다.

단계 S204에서, 광원 추정 장치(400)는 텍스처 밉맵(T)을 생성한다. 텍스처 밉맵(T)은 이미지 텍스쳐가 아닌 정보 저장공간으로 작용한다.

그리고 초기 영역 저장 과정을 살펴보면, 단계 S205에서, 광원 추정 장치(400)는 텍스쳐 밉맵(T)의 최상위 레벨 텍스처(1×1픽셀)에 이미지 전체(I)에 해당하는 초기 영역의 정보를 저장한다. 이때, 광원 추정 장치(400)는 영역의 정보를 나타내기 위해 대각선으로 위치한 두 모서리의 좌표값을 픽셀의 r,g,b,a 채널에 저장한다.

이후, 4분할 과정(N번 반복)의 시작 단계부터 살펴보면, 단계 S206에서, 광원 추정 장치(400)는 밉맵(T)의 현재 레벨로부터 영역 정보를 참조한다. 광원 추정 장치(400)는 밉맵(T)의 최상위 레벨로부터 영역 정보를 읽어온다.

단계 S207에서, 광원 추정 장치(400)는 합산영역테이블(SAT)에서 이진 탐색을 통해 하위 영역의 합이 동일해지는 분할점을 찾고, 찾은 점으로 영역을 분할하여 2개의 하위 영역 정보를 획득한다. 이때, 영역을 분할하는 방식은, 현재 영역의 가로축과 세로축 중 긴 축을 기준으로, 두 하위 영역의 합이 동일한 분할지점을 찾는다. 분할지점을 찾는 과정은 이진 탐색으로 수행되며, 영역의 합을 구하는 작업은 미리 생성해둔 SAT를 사용하여 수행한다.

단계 S208에서, 광원 추정 장치(400)는 획득한 2개 영역을 각각 다시 분할하여 최종적으로 4개 영역을 획득하고, 밉맵 현재 레벨의 바로 아래 영역 정보를 저장한다. 즉, 광원 추정 장치(400)는 이렇게 얻은 4개의 영역정보는, 현재 레벨의 바로 아래 레벨에 저장한다.

단계 S209에서, 광원 추정 장치(400)는 최종 영역 중 크기가 작은 영역을 선별하여 영역의 중간 지점을 광원의 위치로 지정한다.

4분할 과정의 반복시, 광원 추정 장치(400)는 다음 반복에는 직전에 참조한 레벨보다 한 단계 아래 레벨에서 영역 정보를 읽어온다. 광원 추정 장치(400)는 4분할 과정을 밉맵 레벨에 속한 픽셀의 수(=해당 레벨에 저장되어있는 영역의 수)만큼 수행한다. 4분할이 끝나면 영역 수는 읽어온 영역 수의 4배가 된다. 광원 추정 장치(400)는 이 정보를 다시 현재 레벨의 바로 아래 레벨에 저장한다. 이 같은 반복과정은 미리 입력받은 횟수 N 만큼 수행된다.

그리고 광원 추정 과정을 살펴보면, 단계 S210에서, 광원 추정 장치(400)는 원본 이미지(I)에서 해당 영역의 색상 평균값을 관원의 색상으로 지정한다.

단계 S211에서, 광원 추정 장치(400)는 광원의 위치와 색상을 출력한다.

도 17은 본 발명의 다른 실시 예에 따른 이미지의 영역에서 영역 정보를 저장하는 동작을 설명하기 위한 도면이다.

광원 추정 장치(400)는 입력 이미지(510)로부터 흑백 이미지를 생성한다.

초기 이미지의 영역(520)은 이미지 전체로 가정하기로 한다. 그리고 광원 추정 장치(400)는 이미지의 영역(520)을 표현할 수 있도록 좌측 최하단 픽셀과 우측 최상단 픽셀의 좌표 값을 저장한다. 광원 추정 장치(400)는 이미지의 영역(520)을 나타내는 영역 정보(521)를 저장한다.

그리고 광원 추정 장치(400)는 하나의 영역을 밝기의 합이 동일한 4개의 하위 영역으로 분할한다. 광원 추정 장치(400)는 분할 과정에서 요구되는 정밀도의 수준에 따라 미리 입력한 횟수만큼 반복할 수 있다.

광원 추정 장치(400)는 영역의 면적이 일정 크기 이하인 영역들에 대하여, 해당 영역 내에 광원이 위치하는 것으로 보고 광원의 위치와 색상을 결정한다.

도 18은 본 발명의 다른 실시 예에 따른 영역 정보를 저장하는 밉맵 텍스처를 설명하기 위한 도면이다.

광원 추정 장치(400)는 다중 코어로 구성된 GPU가 텍스쳐의 각 텍셀을 병렬적으로 수행할 수 있도록 설계된 점을 이용하여, 이미지 영역(520)의 정보를 텍스쳐 밉맵(530)에 저장한다. 여기서, 텍스쳐 밉맵(530)은 기본 텍스쳐와, 해상도를 점진적으로 축소시킨 텍스쳐들로 이루어진 이미지의 집합을 포함한다. 밉맵의 레벨이 한 단계 올라갈 때마다 가로축과 세로축의 텍셀 수가 1/2로 줄어들면서, 전체 텍셀의 수는 1/4로 줄어든다.

도 18에 도시된 바와 같이, 광원 추정 장치(400)는 이미지 영역(520)의 정보를 의미하는 좌측 최하단 픽셀 좌표와 우측 최상단 픽셀 좌표를 밉맵 픽셀의 r,g,b,a 에 저장한다.

광원 추정 장치(400)는 이진 탐색을 통해 이미지를 분할하되, 한 단계에서 분할을 3 번 수행하여 각 영역을 4 개의 하위 영역으로 나눈다.

한편, CPU 상에서 구현된 미디언 컷 기반 종래의 광원 추정 방식은 리스트 자료구조를 통해 영역의 정보를 저장한다. 이 경우, 분할을 통해 새로운 영역을 만들기 위해서는 리스트에서 기존 영역의 정보를 꺼내어 참조하고, 새로 생성한 2개의 영역을 리스트에 다시 집어넣는 과정을 거친다. 분할을 통한 새로운 영역의 생성은 한 번에 하나씩 가능하므로, 현재 리스트에 있는 모든 영역 정보를 참조하고 새로운 영역으로 대체하는 과정에 오랜 시간이 소모된다.

반면, 본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 GPU에 맞게 최적화함으로써, 텍스처의 텍셀을 병렬적으로 처리할 수 있어 복수의 영역 분할을 동시에 수행할 수 있다.

도 19는 각 단계에 따른 이미지의 분할 영역과 각 영역의 정보를 저장하는 텍스쳐 밉맵을 설명하기 위한 도면이다.

본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 입력 이미지(610)로부터 생성된 이미지의 영역(620) 및 텍스처 밉맵에 저장된 영역 정보(630)를 이용한다.

이를 통해, 종래의 기술과 본 발명의 다른 실시 예에 따른 광원 추정 방법을 비교한 결과는 다음과 같다.

동일한 이미지를 대상으로 같은 횟수의 분할을 수행하는 실험을 통해 기존 기법에 비해 월등히 빠른 성능을 보였다. 이는 실시간 애플리케이션에서 사용하기에도 충분한 성능이다.

FHD(1920×1080) 이미지를 밝기가 같은 1024개의 영역으로 나누는 실험에서 CPU 기반 광원 추정 기법[Devebec et al. 2008]은 16fps, 본 발명의 기법은 139fps의 성능을 기록하였다.

동일 이미지를 4096개의 영역으로 나누는 실험에서는 CPU 기반의 기법과 본 기법이 각각 15fps, 124fps를 기록하였다.

도 20은 본 발명의 다른 실시 예에 따른 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 장치를 설명하기 위한 구성도이다.

도 20에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 장치(400)는 메모리(410), 프로세서(420) 및 디스플레이(430)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 본 발명의 다른 실시 예에 따른 광원 추정 장치(400)는 도시된 구성요소보다 많은 구성요소에 의해 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 구현될 수 있다.

이하, 도 14의 재질 추정 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

메모리(410)는 입력 이미지를 저장한다. 또한, 메모리(410)는 분할횟수 정보, 흑백 이미지, 합산영역테이블, 텍스처 밉맵, 영역의 정보, 하위 영역 정보, 광원의 위치 및 색상 정보 중에서 적어도 하나를 저장할 수 있다.

프로세서(420)는 메모리(410)와 연결된다. 프로세서(420)는 그래픽 프로세싱 유닛(GPU)으로 구현될 수 있다. 프로세서(420)는 전처리 과정, 초기 영역 저장 과정, 4분할 과정(N번 반복) 및 광원 추정 과정을 수행한다.

프로세서(420)는 컬러 이미지(I), 분할횟수(N)를 입력받는다.

프로세서(420)는 입력된 컬러 환경맵 이미지(I)로부터 흑백 이미지(G)를 생성한다.

프로세서(420)는 흑백 이미지(G)로부터 합산영역테이블(SAT)을 생성한다.

프로세서(420)는 텍스처 밉맵(T)을 생성한다.

프로세서(420)는 텍스쳐 밉맵(T)의 최상위 레벨 텍스처(1×1픽셀)에 이미지 전체(I)에 해당하는 초기 영역의 정보를 저장한다.

프로세서(420)는 밉맵(T)의 현재 레벨로부터 영역 정보를 참조한다.

프로세서(420)는 합산영역테이블(SAT)에서 이진 탐색을 통해 하위 영역의 합이 동일해지는 분할점을 찾고, 찾은 점으로 영역을 분할하여 2개의 하위 영역 정보를 획득한다.

프로세서(420)는 획득한 2개 영역을 각각 다시 분할하여 최종적으로 4개 영역을 획득하고, 밉맵 현재 레벨의 바로 아래 영역 정보를 저장한다.

프로세서(420)는 최종 영역 중 크기가 작은 영역을 선별하여 영역의 중간 지점을 광원의 위치로 지정한다.

프로세서(420)는 다음 반복에는 직전에 참조한 레벨보다 한 단계 아래 레벨에서 영역 정보를 읽어온다. 프로세서(420)는 4분할 과정을 밉맵 레벨에 속한 픽셀의 수(=해당 레벨에 저장되어있는 영역의 수)만큼 수행한다. 4분할이 끝나면 영역 수는 읽어온 영역 수의 4배가 된다. 프로세서(420)는 이 정보를 다시 현재 레벨의 바로 아래 레벨에 저장한다. 이 같은 반복과정은 미리 입력받은 횟수 N만큼 수행된다.

프로세서(420)는 원본 이미지(I)에서 해당 영역의 색상 평균값을 관원의 색상으로 지정한다.

디스플레이(430)는 프로세서(420)의 명령에 따라 광원의 위치와 색상을 출력한다.

한편, 본 발명의 다른 실시 예에 따른 미디언 컷 알고리즘을 이용한 GPU 기반의 광원 추정 장치(400)는 도 14에 도시된 본 발명의 일 실시 예에 따른 재질 추정 장치(100)에 통합하여 구현될 수 있다. 도 14의 재질 추정 장치(100)에 구비된 메모리(410), 프로세서(420) 및 디스플레이(430)에 도 20에 도시된 메모리(410), 프로세서(420) 및 디스플레이(430)가 각각 포함되거나 하나의 부품으로 통합되어 재질 추정 장치(100)가 구현될 수 있다.

한편, 상술한 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

본 발명의 실시 예들에 따른 영상 기반 모델의 재질 추정 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하는 단계, 상기 추정된 광원 정보와 상기 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 상기 연산된 조명에 따라 상기 입력 이미지의 음영 정보를 근사하는 단계, 및 상기 입력 이미지의 텍스처 정보로부터 상기 근사된 음영 정보를 제거하여 상기 입력 이미지의 재질 정보를 추정하는 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상, 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

구체적으로, 설명된 특징들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 또는 그들의 조합들 내에서 실행될 수 있다. 특징들은 예컨대, 프로그래밍 가능한 프로세서에 의한 실행을 위해, 기계 판독 가능한 저장 디바이스 내의 저장장치 내에서 구현되는 컴퓨터 프로그램 제품에서 실행될 수 있다. 그리고 특징들은 입력 데이터 상에서 동작하고 출력을 생성함으로써 설명된 실시예들의 함수들을 수행하기 위한 지시어들의 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 설명된 특징들은, 데이터 저장 시스템으로부터 데이터 및 지시어들을 수신하기 위해, 및 데이터 저장 시스템으로 데이터 및 지시어들을 전송하기 위해, 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램들 내에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과에 대해 특정 동작을 수행하기 위해 컴퓨터 내에서 직접 또는 간접적으로 사용될 수 있는 지시어들의 집합을 포함한다. 컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하는 프로그래밍 언어 중 어느 형태로 쓰여지고, 모듈, 소자, 서브루틴(subroutine), 또는 다른 컴퓨터 환경에서 사용을 위해 적합한 다른 유닛으로서, 또는 독립 조작 가능한 프로그램으로서 포함하는 어느 형태로도 사용될 수 있다.

지시어들의 프로그램의 실행을 위한 적합한 프로세서들은, 예를 들어, 범용 및 특수 용도 마이크로프로세서들 둘 모두, 및 단독 프로세서 또는 다른 종류의 컴퓨터의 다중 프로세서들 중 하나를 포함한다. 또한 설명된 특징들을 구현하는 컴퓨터 프로그램 지시어들 및 데이터를 구현하기 적합한 저장 디바이스들은 예컨대, EPROM, EEPROM, 및 플래쉬 메모리 디바이스들과 같은 반도체 메모리 디바이스들, 내부 하드 디스크들 및 제거 가능한 디스크들과 같은 자기 디바이스들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 비휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 ASIC들(application-specific integrated circuits) 내에서 통합되거나 또는 ASIC들에 의해 추가될 수 있다.

이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐 아니라 다양한 형태의 조합이 제공될 수 있다.

전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

100: 재질 추정 장치
110: 메모리
120: 프로세서
130: 디스플레이
200: 광원 추정 장치
110: 메모리
120: 프로세서
130: 디스플레이

Claims (21)

1. 재질 추정 장치에 의해 수행되는 영상 기반 모델의 재질 추정 방법으로서,
   다시점 입력 이미지를 입력받고, 영상 기반 모델링을 통해 상기 입력받은 입력 이미지의 텍스처 정보와 기하 정보를 생성하는 단계;
   상기 생성된 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하는 단계;
   상기 추정된 광원 정보와 상기 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 상기 연산된 조명에 따라 상기 입력 이미지의 음영 정보를 근사하는 단계; 및
   상기 입력 이미지의 텍스처 정보로부터 상기 근사된 음영 정보를 제거하여 상기 입력 이미지의 재질 정보를 추정하는 단계를 포함하고,
   상기 음영 정보를 근사하는 단계는, 상기 추정된 광원에서 방출된 빛과 물체에 의해 반사된 1차 반사광에 대해 간접 조명을 연산하고 간접 조명의 연산 결과를 전파하여 상기 입력 이미지의 음영 정보를 근사하는, 영상 기반 모델의 재질 추정 방법.
2. 제1항에 있어서,
   상기 광원 정보를 추정하는 단계는,
   상기 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 면적을 갖는 광원 정보를 적어도 하나의 점광원으로 추정하는 영상 기반 모델의 재질 추정 방법.
3. 제1항에 있어서,
   상기 음영 정보를 근사하는 단계는,
   상기 입력 이미지에서 지역 조명 모델(local illumination model)를 기반으로 직접 조명을 근사하는 영상 기반 모델의 재질 추정 방법.
4. 제1항에 있어서,
   상기 음영 정보를 근사하는 단계는,
   상기 입력 이미지에서 퐁 반사 모델(Phong Reflection Model)을 기반으로 직접 조명을 근사하는 영상 기반 모델의 재질 추정 방법.
5. 제1항에 있어서,
   상기 음영 정보를 근사하는 단계는,
   상기 입력 이미지의 텍스처 정보에 양방향 필터를 적용해 평탄화하고 상기 평탄화된 텍스처에서 반사광의 색상을 근사하여 간접 조명을 근사하는 영상 기반 모델의 재질 추정 방법.
6. 제1항에 있어서,
   상기 음영 정보를 근사하는 단계는,
   상기 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하여 텍스처의 색상을 평탄화하고 상기 평탄화된 텍스처의 색상을 반사광의 색상으로 근사하여 간접 조명을 근사하는 영상 기반 모델의 재질 추정 방법.
7. 제1항에 있어서,
   상기 음영 정보를 근사하는 단계는,
   상기 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하되, 상기 입력 이미지의 텍스처 정보에 경계가 보존되는 필터를 적용하는 영상 기반 모델의 재질 추정 방법.
8. 제1항에 있어서,
   상기 음영 정보를 근사하는 단계는,
   상기 기하 정보와 상기 추정된 광원 정보를 기반으로 조명을 연산하되, 광 전파 볼륨(Light Propagation Volume), 반사 그림자 맵(Reflectance shadow maps), 인스턴트 래디오서티(Instant radiosity) 및 가상 포인트 조명(Virtual Point Light) 중 어느 하나를 기반으로 간접 조명을 연산하는 영상 기반 모델의 재질 추정 방법.
9. 삭제
10. 제1항에 있어서,
    상기 음영 정보를 근사하는 단계는,
    밝기 조절을 위한 앰비언트(Ambient) 값을 이용하여 상기 입력 이미지의 음영 정보를 근사하는 영상 기반 모델의 재질 추정 방법.
11. 다시점 입력 이미지를 저장하는 메모리; 및
    상기 메모리와 연결된 프로세서를 포함하고,
    상기 프로세서는 상기 다시점 입력 이미지를 입력받고, 영상 기반 모델링을 통해 상기 입력받은 입력 이미지의 텍스처 정보와 기하 정보를 생성하고,
    상기 생성된 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하고,
    상기 추정된 광원 정보와 상기 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 상기 연산된 조명에 따라 상기 입력 이미지의 음영 정보를 근사하되, 상기 추정된 광원에서 방출된 빛과 물체에 의해 반사된 1차 반사광에 대해 간접 조명을 연산하고 간접 조명의 연산 결과를 전파하여 상기 입력 이미지의 음영 정보를 근사하고,
    상기 입력 이미지의 텍스처 정보로부터 상기 근사된 음영 정보를 제거하여 상기 입력 이미지의 재질 정보를 추정하는 영상 기반 모델의 재질 추정 장치.
12. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 면적을 갖는 광원 정보를 적어도 하나의 점광원으로 추정하는 영상 기반 모델의 재질 추정 장치.
13. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 이미지에서 지역 조명 모델(local illumination model)를 기반으로 직접 조명을 근사하는 영상 기반 모델의 재질 추정 장치.
14. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 이미지에서 퐁 반사 모델(Phong Reflection Model)을 기반으로 직접 조명을 근사하는 영상 기반 모델의 재질 추정 장치.
15. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 이미지의 텍스처 정보에 양방향 필터를 적용해 평탄화하고 상기 평탄화된 텍스처에서 반사광의 색상을 근사하여 간접 조명을 근사하는 영상 기반 모델의 재질 추정 장치.
16. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하여 텍스처의 색상을 평탄화하고 상기 평탄화된 텍스처의 색상을 반사광의 색상으로 근사하여 간접 조명을 근사하는 영상 기반 모델의 재질 추정 장치.
17. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 이미지의 텍스처 정보에 기설정된 필터를 적용하되, 상기 입력 이미지의 텍스처 정보에 경계가 보존되는 필터를 적용하는 영상 기반 모델의 재질 추정 장치.
18. 제11항에 있어서,
    상기 프로세서는,
    상기 기하 정보와 상기 추정된 광원 정보를 기반으로 조명을 연산하되, 광 전파 볼륨(Light Propagation Volume), 반사 그림자 맵(Reflectance shadow maps), 인스턴트 래디오서티(Instant radiosity) 및 가상 포인트 조명(Virtual Point Light) 중 어느 하나를 기반으로 간접 조명을 연산하는 영상 기반 모델의 재질 추정 장치.
19. 삭제
20. 제11항에 있어서,
    상기 프로세서는,
    밝기 조절을 위한 앰비언트(Ambient) 값을 이용하여 상기 입력 이미지의 음영 정보를 근사하는 영상 기반 모델의 재질 추정 장치.
21. 영상 기반 모델의 재질 추정 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    다시점 입력 이미지를 입력받고, 영상 기반 모델링을 통해 상기 입력받은 입력 이미지의 텍스처 정보와 기하 정보를 생성하는 단계;
    상기 생성된 입력 이미지의 기하 정보 및 텍스처 정보를 이용하여 광원 정보를 추정하는 단계;
    상기 추정된 광원 정보와 상기 입력 이미지의 기하 정보 및 텍스처 정보를 기반으로 직접 조명과 간접 조명을 분리하여 조명을 연산하고 상기 연산된 조명에 따라 상기 입력 이미지의 음영 정보를 근사하는 단계; 및
    상기 입력 이미지의 텍스처 정보로부터 상기 근사된 음영 정보를 제거하여 상기 입력 이미지의 재질 정보를 추정하는 단계를 실행시키고,
    상기 음영 정보를 근사하는 단계는, 상기 추정된 광원에서 방출된 빛과 물체에 의해 반사된 1차 반사광에 대해 간접 조명을 연산하고 간접 조명의 연산 결과를 전파하여 상기 입력 이미지의 음영 정보를 근사하도록 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images