KR20130010615A - 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치 - Google Patents

영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치 Download PDF

Info

Publication number
KR20130010615A
KR20130010615A KR1020110071353A KR20110071353A KR20130010615A KR 20130010615 A KR20130010615 A KR 20130010615A KR 1020110071353 A KR1020110071353 A KR 1020110071353A KR 20110071353 A KR20110071353 A KR 20110071353A KR 20130010615 A KR20130010615 A KR 20130010615A
Authority
KR
South Korea
Prior art keywords
information
pixel
same material
lighting
constant
Prior art date
Application number
KR1020110071353A
Other languages
English (en)
Other versions
KR101849696B1 (ko
Inventor
심현정
김도균
이승규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110071353A priority Critical patent/KR101849696B1/ko
Priority to US13/467,218 priority patent/US9035964B2/en
Publication of KR20130010615A publication Critical patent/KR20130010615A/ko
Application granted granted Critical
Publication of KR101849696B1 publication Critical patent/KR101849696B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치가 개시된다.
화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 색 채널 화소 값들, 깊이 값들 및 시점 정보를 적용하여, 동일 재질 영역의 재질 상수 및 동일 재질 영역의 조명 정보를 추출할 수 있다.

Description

영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치{METHOD AND APPARATUS FOR OBTAINING INFORMAITON OF LIGHTING AND MATERIAL IN IMAGE MODELING SYSTEM}
기술 분야는 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치에 관한 것이다.
3D(dimension) 그래픽스 기술 및 관련 하드웨어 기술의 발달로 3D 게임, 3D 영화, 스마트 폰 등 다양한 응용 분야에서 객체를 실감나게 표현하기 위한 컨텐츠가 제작되고 있다. 객체를 실감나게 표현하는 기술로 렌더링 기술이 이용될 수 있다. 렌더링 기술은 형상(Geometry), 질감 (Material Properties), 조명(Lighting)을 정확하게 모델링 하는 것이 필요하다.
질감 또는 재질에 대한 정보는 특수한 장비를 사용하여, 제한된 공간 내에서 객체를 촬영함으로써 획득될 수 있다. 그러나, 특수한 장비를 사용하는 방법은, 다양한 환경에 적용되기 어렵고, 사용자들이 손쉽게 컨텐츠를 확보하지 못하는 문제가 있다.
빛 또는 조명을 모델링하는 방법은, 전방향 조명 환경맵(Environment map)을 이용하는 방법이 있다. 그러나, 조명 환경맵을 추출하기 위해서는 특수한 보조 장치가 필요하다. 따라서, 동적인(Dynamic) 조명 환경을 모델링하는데 한계가 있다.
일 측면에 있어서, 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법은, 객체에 대한 다시점(Multi-view) 영상 패어(pair) - 여기서, 영상 패어는 하나의 시점에 대한 깊이 영상 및 컬러 영상을 의미함 - 들 각각의 컬러 영상들을 이용하여 상기 객체의 재질 특성을 분석하는 단계와, 상기 재질 특성을 기준으로 상기 객체로부터 재질특성이 동일한 동일 재질 영역을 분리하는 단계와, 상기 컬러 영상들 각각으로부터 상기 동일 재질 영역에 포함된 복수의 화소 들의 색 채널 화소 값들을 획득하는 단계 및 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들을 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출하는 단계를 포함한다.
다른 일 측면에 있어서, 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법은, 재질특성이 동일한 동일 재질 영역에 포함된 N개(N은 2 이상의 정수)의 화소 들 각각의 색 채널 화소 값들을 수신하는 단계와, 상기 동일 재질 영역의 깊이 값들을 수신하는 단계와, 상기 동일 재질 영역에 대한 시점 정보를 수신하는 단계 및 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들, 상기 깊이 값들 및 상기 시점 정보를 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출하는 단계를 포함한다.
일 측면에 있어서, 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치는, 재질특성이 동일한 동일 재질 영역에 포함된 N개(N은 2 이상의 정수)의 화소 들 각각의 색 채널 화소 값들을 수신하는 화소 값 수신부와, 상기 동일 재질 영역의 깊이 값들을 수신하는 깊이 값 수신부와, 상기 동일 재질 영역에 대한 시점 정보를 수신하는 시점 정보 수신부 및 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들, 상기 깊이 값들 및 상기 시점 정보를 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 계산하는 계산부를 포함한다.
다른 일 측면에 있어서, 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치는, 객체에 대한 다시점(Multi-view) 영상 패어(pair) - 여기서, 영상 패어는 하나의 시점에 대한 깊이 영상 및 컬러 영상을 의미함 - 들 각각의 컬러 영상들을 이용하여 상기 객체의 재질 특성을 분석하는 재질 특성 분석부와, 상기 재질 특성을 기준으로 상기 객체로부터 재질특성이 동일한 동일 재질 영역을 분리하는 영역 분리부와, 상기 컬러 영상들 각각으로부터 상기 동일 재질 영역에 포함된 복수의 화소 들의 색 채널 화소 값들을 획득하는 화소 값 획득부 및 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들을 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출하는 추출부를 포함한다.
보조 장치를 추가적으로 사용하지 않고도, 임의의 빛 조건에서 촬영된 다시점(Multi-view) 영상 패어(pair)들로부터 재질 정보 및 조명 정보를 추출할 수 있다. 이로써, 보조 장치나 복잡한 프로세싱 없이 보다 정확하고 효율적으로 조명 정보와 재질 정보가 추출될 수 있다.
제안되는 실시 예들에 따르면, 보조 장치 또는 특수 장치를 사용하지 않고도 재질 정보 및 조명 정보를 추출할 수 있기 때문에, 제안되는 실시 예들은 CE(Consumer Electronics) 디바이스에 용이하게 적용될 수 있다.
제안되는 실시 예들에 따르면, 보조 장치 또는 특수 장치를 사용하지 않고도 재질 정보 및 조명 정보를 추출할 수 있기 때문에, 동적인(Dynamic) 조명 환경 및 동적인(Dynamic) 객체를 모델링할 수 있다.
도 1은 화소 값에 영향을 주는 주요 변수들을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 조명 정보 및 재질 정보를 획득하는 장치를 나타내는 도면이다.
도 3은 다른 실시 예에 따른 조명 정보 및 재질 정보를 획득하는 장치를 나타내는 도면이다.
도 4는 일 실시 예에 따른 재질 특성의 분석 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 재질 영역 구분의 예를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 조명 정보 및 재질 정보를 획득하는 방법을 나타내는 흐름도이다.
도 7은 다른 일 실시 예에 따른 조명 정보 및 재질 정보를 획득하는 방법을 나타내는 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
조명 정보 및 재질 정보를 획득하는 원리는, 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템을 이용하는 것이다. 다시점(Multi-view) 영상 패어(pair)들을 이용하여 상기 선형 시스템의 미지수들의 해를 구함으로써, 조명 정보 및 재질 정보를 추출할 수 있다. 여기서, 다시점(Multi-view) 영상 패어(pair)들은 복수의 시점에서 객체를 촬영하여 획득된 영상 패어들을 의미한다. "영상 패어"는 하나의 시점에 대한 깊이 영상 및 컬러 영상을 의미한다.
도 1은 화소 값에 영향을 주는 주요 변수들을 설명하기 위한 도면이다.
도 1을 참조하면, 영상 내의 임의의 화소의 밝기 값에 영향을 주는 주요 변수들은 임의의 표면 점(surface point)에 대한 카메라 정보인 벡터
Figure pat00001
, 조명 상수인 벡터
Figure pat00002
, 상기 표면 점의 법선 벡터(Normal vector)
Figure pat00003
, 반사 조명 환경을 나타내는 벡터
Figure pat00004
을 포함한다. 여기서, 벡터
Figure pat00005
는 상기 표면 점에 대한 카메라의 위치 벡터로 표현되는 시점 정보를 의미한다.
설명의 편의를 위하여 illumination model을 Phong illumination model이라 가정하면, 영상 내의 임의의 화소 i의 밝기 값 또는 화소 값은 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure pat00006
여기서, Kd는 디퓨즈(diffuse) 성분의 재질 상수를 의미하고, Ks는 스펙큘라(Specular) 성분의 재질 상수를 의미한다. 따라서, 화소 값은 재질 상수 Kd 및 Ks, 형상과 조명 성분의 조합 Gd 및 Gs,에 의해 모델링될 수 있다. 한편, 수학식 1에서 (.)T는 트랜스포즈(transpose)를 의미한다. 한편, illumination model의 다른 예들은 Torrance-Sparrow model, Oren-Nayar Model 및 Dipole model 등이 있다. illumination model이 Phong illumination model이 아닌 경우에도, 화소 i의 밝기 값 또는 화소 값은 재질과 기타 성분의 곱으로 표현될 수 있다. 여기서, 기타 성분은 형상과 조명의 조합으로 표현할 수 있다. 수학식 1에서 조명 상수
Figure pat00007
는 3차원 벡터의 형태로 단일 조명 상수를 표현한 것이다. 일 측면에 있어서, 조명 환경을 단일 조명이 아닌 복수의 조명의 합으로 표현 가능하다. 예를 들어, 조명 상수
Figure pat00008
를
Figure pat00009
=c1e1 + c2e2 …. + cPeP d와 같은 기저 함수의 합으로 표현할 수 있다. 이때, c1 c2 … cP는 복수의 조명에 대한 조명 상수들이다.
재질 상수 Kd 및 Ks중에서, 색상에 영향을 주는 값은 Kd라 가정할 수 있다. 즉, 디퓨즈(diffuse) 성분의 재질 상수 Ks는 색상의 변화와는 무관하다. 따라서, 임의의 화소 i의 색상은 수학식 2와 같이 정의될 수 있다.
[수학식 2]
Figure pat00010
여기서, ir은 화소 i의 Red 값, ig은 화소 i의 Green 값, ib은 화소 i의 Blue 값을 의미한다. 여기서, "ir, ig, ib"은 화소 i의 "색 채널 화소 값"이라 칭해질 수 있다.
Figure pat00011
는 ir에 대한 디퓨즈(diffuse) 성분의 재질 상수,
Figure pat00012
는 ig에 대한 디퓨즈(diffuse) 성분의 재질 상수,
Figure pat00013
는 ib에 대한 디퓨즈(diffuse) 성분의 재질 상수를 의미한다.
수학식 2는 색상 값에 관련된 선형 시스템이라 칭해질 수 있다. 설명의 편의를 위해, 수학식 2와 같이 정의되는 선형 시스템을 "제1 선형시스템"이라 칭하기로 한다. 깊이 영상 및 컬러 영상으로부터 제1 선형 시스템의 일부 변수들을 알 수 있다. 즉, 입력된 깊이 영상 및 컬러 영상으로부터 [Gd, Gd]의 일부 factor들인, 깊이 정보(n), 카메라 정보(v), 및 [ir, ig, ib]를 획득할 수 있다. 한편, 제1 선형 시스템의 미지수는 4개의 재질 변수와 3차원 벡터로 표현될 수 있는 조명 상수
Figure pat00014
이다. 나머지 변수들은 깊이 영상, 컬러 영상 또는 카메라 정보로부터 주어지는 값들이다. 따라서, 제1 선형 시스템의 미지수는 총 7개이다. 제1 선형 시스템으로부터 3개의 다항식이 주어지고, 미지수는 7개이므로, 제1 선형 시스템은 무수히 많은 해를 가지게 된다. 추가적인 분석을 통해, 제1 선형 시스템은 보완 될 수 있다. 이하, 도 2 내지 도 7을 통해, 추가적인 분석 방법, 조명 정보 및 재질 정보를 획득하는 실시 예들을 설명한다.
도 2는 일 실시 예에 따른 조명 정보 및 재질 정보를 획득하는 장치를 나타내는 도면이다.
도 2를 참조하면, 조명 정보 및 재질 정보를 획득하는 장치(200)는 계산부(210), 화소 값 수신부(220), 깊이 값 수신부(230) 및 시점 정보 수신부(240)를 포함한다.
계산부(210)는 수학식 3과 같이 정의되는 제2 선형시스템을 통해 조명 정보 및 재질 정보를 획득할 수 있다.
[수학식 3]
Figure pat00015
여기서, N은 동일 재질 영역의 픽셀 index를 의미한다. "동일 재질 영역"이란, 재질의 특성이 동일한 영역을 의미한다. 여기서, 재질 특성은 컬러 스페이스(color space) 도메인(domain) 내의 색차 신호들의 분포를 기준으로 결정될 수 있다. 예를 들어, 영상에 포함된 객체가 단일 재질을 갖는 경우, N은 영상에서 객체가 차지하는 픽셀의 수와 동일한 값을 가질 수 있다.
Figure pat00016
는 디퓨즈(diffuse)에 대한 형상과 조명 성분의 조합,
Figure pat00017
는 스펙큘라(Specular)에 대한 형상과 조명 성분의 조합을 의미한다. 수학식 1 내지 수학식 3을 참조하면, 상기
Figure pat00018
는 조명 상수 및 상기 깊이 값들에 의해 정의되고, 상기
Figure pat00019
는 상기 깊이 값들 및 상기 시점 정보에 의해 정의될 수 있다.
만일, 동일 재질 영역 내의 총 픽셀 수가 3개 이상이면, 제2 선형 시스템은 9개 이상의 다항식을 갖게 된다. 제2 선형 시스템의 미지수 역시 4개의 재질 변수와 조명 상수
Figure pat00020
의 3차원 벡터 성분 3개로 총 7개이다. 따라서, 제2 선형 시스템의 미지수들 각각은 유일한 값들로 결정될 수 있다.
결국, 계산부(210)는 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 색 채널 화소 값들, 깊이 값들 및 시점 정보를 적용하여, 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 계산할 수 있다.
한편, 다시점 영상을 이용하면, 같은 수의 미지수에 대해 추가적인 수식을 얻을 수 있다. 다시점 영상으로부터 획득된 색 채널 화소 값들, 깊이 값들 및 시점 정보를 제2 선형 시스템에 적용함으로써, 더 많은 수의 다항식이 유도될 수 있다. 즉, N개의 화소들 "i1, i2,,,iN"은 객체에 대한 다시점(Multi-view) 영상 패어(pair)들 각각의 컬러 영상들로부터 획득될 수 있다. 다시점 영상 패어들 각각의 컬러 영상들로부터 N개의 화소들 및 N개의 화소들 각각의 화소 값을 획득하는 구체적인 예는 도 5를 통해 설명될 것이다.
화소 값 수신부(220)는 재질특성이 동일한 동일 재질 영역에 포함된 N개의 화소들 각각의 색 채널 화소 값들을 수신한다. 즉, 화소 값 수신부(220)는 색 채널 화소 값들
Figure pat00021
를 수신하고, 수신된 색 채널 화소 값들을 계산부(210)로 제공한다. 여기서,
Figure pat00022
은 컬러 영상으로부터 획득된 후, 화소 값 수신부(220)로 제공될 수 있다.
깊이 값 수신부(230)는 동일 재질 영역의 깊이 값들을 수신한다. 즉, 깊이 값 수신부(230)는 화소들 "i1, i2,,,,,,iN" 각각의 깊이 값들
Figure pat00023
을 수신하고, 수신된
Figure pat00024
을 계산부(210)로 제공한다. 물론,
Figure pat00025
대신
Figure pat00026
가 계산부(210)로 제공될 수 도 있다.
Figure pat00027
또는
Figure pat00028
는 깊이 영상으로부터 획득된 후, 깊이 값 수신부(230)로 제공될 수 있다.
시점 정보 수신부(240)는 동일 재질 영역에 대한 시점 정보를 수신한다. 즉, 시점 정보 수신부(240)는 화소들 "i1, i2,,,,,,iN" 각각에 대한 시점 정보
Figure pat00029
를 수신하고, 수신된
Figure pat00030
를 계산부(210)로 제공한다. 제1 선형 시스템을 통해 설명된 바와 같이,
Figure pat00031
는 영상 처리 시스템(도시되지 않음)에서 알고 있는 값이다.
제2 선형 시스템은 Phong 모델 또는 Dichromatic 모델뿐만 아니라, 고차원 조명 함수를 사용하는 모델에도 적용될 수 있다. 즉, 제2 선형 시스템은 복잡한 반사 모델이나 고차원 조명함수를 사용하는 방식에도 적용될 수 있다.
한편, 계산부(210)는 수학식 4를 이용하여 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출할 수 있다. 수학식 4에 대한 상세한 설명은 후술하기로 한다.
도 3은 다른 실시 예에 따른 조명 정보 및 재질 정보를 획득하는 장치를 나타내는 도면이다.
도 3을 참조하면, 조명 정보 및 재질 정보를 획득하는 장치(300)는 다시점 영상 패어 수신부(310), 재질 특성 분석부(320), 영역 분리부(330), 화소 값 획득부(340) 및 추출부(350)를 포함한다.
다시점 영상 패어 수신부(310)는 영상 촬영 장치(도시되지 않음)로부터 객체에 대한 다시점(Multi-view) 영상 패어(pair)들을 수신한다. 즉, 다시점 영상 패어 수신부(310)는 임의의 조명 환경에서 객체를 촬영하여 획득된 컬러 영상 및 깊이 영상을 수신한다. 다시점 영상 패어들은 깊이 카메라 및 컬러 카메라에 의해 획득될 수 있다. 또한, 다시점 영상 패어들은 stereo 카메라 또는 다시점 카메라에 의해 획득될 수 도 있다.
재질 특성 분석부(320)는 객체에 대한 다시점(Multi-view) 영상 패어(pair)들 각각의 컬러 영상들 또는 깊이 영상들을 이용하여 객체의 재질 특성을 분석한다. 재질 특성 분석부(320)는 컬러 스페이스(color space) 도메인(domain)에서, 밝기 성분을 제외한 색차 신호(color difference signal)들의 값을 이용하여 재질 특성을 분석할 수 있다. 즉, 재질 특성 분석부(320)는 색차 신호들을 특징(feature)로 사용하는 클러스터링을 수행함으로써, 객체의 재질 특성을 분석할 수 있다. 여기서, 컬러 스페이스의 예는 HSV, CIELAB 등이 있다. 그리고, 색차 신호의 예는 Cr, Cb 등이 있으며, 색차 신호의 종류는 Cr, Cb 등에 제한되지 않는다. 색차 신호(color difference signal)들의 값을 기준으로 클러스터링을 수행하면, C개(C는 1이상의 정수)의 재질 클러스터가 결정된다. 한편, 재질 특성 분석부(320)는 클러스터링을 시점 별로 수행하고, 시점 별 클러스터링의 결과를 통합할 수 있다. 또한, 재질 특성부(320)는 다시점 영상의 모든 색차 신호들을 통합한 후, 클러스터링을 수행할 수도 있다. 재질 특성 분석부(320)는 클러스터링을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.
재질 특성 분석부(320)는 클러스터링 수행부(321), 클러스터 결정부(323) 및 클러스터 적용부(325)를 포함할 수 있다.
클러스터링 수행부(321)는 색차 신호(color difference signal)들의 값을 기준으로, 컬러 스페이스(color space) 도메인(domain)에서 상기 컬러 영상들의 색차 신호들에 대한 클러스터링(clustering)을 수행한다.
클러스터 결정부(323)는 색차 신호들의 상기 컬러 스페이스 도메인 내의 분포를 기준으로, C개(C는 정수)의 재질 클러스터를 결정한다. 색차 신호들의 상기 컬러 스페이스 도메인 내의 분포에 대한 예는 도 4에 도시된 바와 같다.
클러스터 적용부(325)는 객체에 상기 재질 클러스터를 적용한다. 즉, 클러스터 적용부(325)는 객체의 표면을 재질 특성 별로 구분한다. 객체에 재질 클러스터가 적용된 예는 도 5에 도시된 바와 같다. 도 5를 참조하면, 재질 클러스터는 객체의 표면에서 색차에 의해 구분될 수 있다.
영역 분리부(330)는 재질 특성을 기준으로 상기 객체로부터 재질특성이 동일한 동일 재질 영역을 분리한다. 영역 분리부(330)는 C개의 재질 클러스터들 중에서 어느 하나를 선택하고, 상기 객체에서 상기 선택된 재질 클러스터에 대응하는 동일 재질 영역을 결정할 수 있다. 재질 클러스터의 개수가 C개이면, 동일 재질 영역의 개수 역시 C개가 된다. 예를 들어, 동일 재질 영역의 개수가 5개이면, 5개의 동일 재질 영역들 각각에 대한 재질 상수가 계산되어야 한다. 따라서, 영역 분리부(330)는 현재 재질 상수를 계산하기 위한 동일 재질 영역을 선택하는 기능을 수행할 수 있다. 만일, 객체가 단일 재질인 경우, 동일 재질 영역의 개수는 1개이다.
화소 값 획득부(340)는 컬러 영상들 각각으로부터 상기 동일 재질 영역에 포함된 복수의 화소 들의 색 채널 화소 값들을 획득한다. 예를 들어, 3개의 시점에서 컬러 영상이 획득된 경우, 화소 값 획득부(340)는 3개의 컬러 영상들 각각으로부터 동일 재질 영역에 포함된 복수의 화소 들의 색 채널 화소 값들을 획득한다. 다시점 컬러영상들로부터 색 채널 화소 값들을 획득하는 예는, 도 5를 통해 설명될 것이다.
화소 값 획득부(340)는 투영부(341), 결정부(343) 및 색 채널 화소 값 획득부(345)를 포함할 수 있다.
투영부(341)는 C개의 재질 클러스터들에 대응하는 C개의 재질 영역들을 상기 다시점 영상 패어들 각각에 투영한다.
결정부(343)는 다시점(Multi-view) 영상 패어(pair)들을 이용하여, 상기 동일 재질 영역 내의 모든 표면 점(surface point)에 대응되는 N개의 화소들을 결정할 수 있다.
색 채널 화소 값 획득부(345) 컬러 영상들로부터 상기 N개의 화소들 각각의 색 채널 화소 값을 획득할 수 있다.
추출부(350)는 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들을 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출한다. 즉, 추출부(350)는 제2 선형시스템을 이용하여 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출할 수 있다.
또한, 추출부(350)는 수학식 4와 같이 정의되는 "최적화 선형시스템"을 이용하여 재질 상수 및 조명 정보를 추출할 수 있다.
[수학식 4]
Figure pat00032
추출부(350)는 수학식 4에 의해, 재질 상수
Figure pat00033
와 조명 상수
Figure pat00034
를 계산할 수 있다. 조명 상수
Figure pat00035
는 조명 정보 또는 조명 환경 정보이다.
수학식 4에서,
Figure pat00036
는 형상과 조명 성분의 조합들을 의미한다. 형상 성분은 surface normal 형태인
Figure pat00037
이다. 이때,
Figure pat00038
는 "cross product"에 의해 깊이 영상으로부터 획득될 수 있다. 시점 정보 또는 카메라 정보
Figure pat00039
는 해당 시점의 카메라와 surface point의 상대적 위치값이며, 깊이 영상으로부터 획득될 수 있다. 따라서, Gd 및 Gs는 수학식 5와 같이 정의될 수 있다.
[수학식 5]
Figure pat00040

도 4는 일 실시 예에 따른 재질 특성의 분석 예를 설명하기 위한 도면이다.
도 4를 참조하면, 컬러 스페이스 도면에서 컬러 영상의 픽셀들 각각의 색차 신호는 (C1) 영역, (C2) 영역, 또는 (C3)에 분포하게 된다. (C1) 영역, (C2) 영역, 또는 (C3) 각각은 동일 재질 영역을 나타낸다. 즉, 도 4에 도시된 예는 3개의 재질 클러스터가 획득된 예이다. 다만, 재질 특성을 구분하는 방법은 도 4에 도시된 방법에 제한되지 않는다. 컬러 스페이스 도메인은 도 4에 도시된 바와 같이 2차원 적으로 표시될 수 도 있고, 3차원 공간으로 표시될 수 도 있다.
도 5는 일 실시 예에 따른 재질 영역 구분의 예를 설명하기 위한 도면이다.
도 5에 도시된 예는, 시점 (A), 시점 (B) 및 시점 (C)에서 영상 패어가 획득된 경우를 나타낸다. 예를 들어, 시점 (A)의 410 영역, 시점 (B) 의 420 영역 및 시점 (C)의 430 영역은 객체에서 동일한 부분이다. 따라서, 시점 (A)의 410 영역, 시점 (B) 의 420 영역 및 시점 (C)의 430 영역은 동일 재질 영역에 해당한다. 이하, 시점 (A)의 410 영역, 시점 (B) 의 420 영역 및 시점 (C)의 430 영역에 대한 재질 상수 및 조명 정보를 추출하는 경우를 예로 설명한다.
화소 값 획득부(340)는 다시점 컬러 영상의 위치를 정합함으로써, 동일한 surface point에 대응하는 픽셀을 결정할 수 있다. 예를 들어, 도 5에서 point 411, point 421 및 point 431은 동일한 surface point에 해당된다. 화소 값 획득부(340)는 시점 (A)의 410 영역 내의 모든 픽셀들에 대한 색 채널 화소 값들, 시점 (B) 의 420 영역 내의 모든 픽셀들에 대한 색 채널 화소 값들, 및 시점 (C) 의 430 영역 내의 모든 픽셀들에 대한 색 체널 화소 값들을 획득한다. 410영역 내의 픽셀 개수가 V1개, 420 영역 내의 픽셀 개수가 V2개, 430 영역 내의 픽셀 개수가 V3개인 경우, 수학식 3 또는 수학식 4에서 N은 "V1+V2+V3"일 수 있다.
도 6은 일 실시 예에 따른 조명 정보 및 재질 정보를 획득하는 방법을 나타내는 흐름도이다.
도 6에 도시된 방법은 도 2에 도시된 장치에 의해 수행될 수 있다.
도 6을 참조하면, 610단계에서 장치(200)는 재질특성이 동일한 동일 재질 영역에 포함된 N개(N은 2 이상의 정수)의 화소 들 각각의 색 채널 화소 값들을 수신한다.
620단계에서 장치(200)는 동일 재질 영역의 깊이 값들을 수신한다.
630단계에서 장치(200)는 동일 재질 영역에 대한 시점 정보를 수신한다.
640단계에서 장치(200)는 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들, 상기 깊이 값들 및 상기 시점 정보를 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출한다.
도 7은 다른 일 실시 예에 따른 조명 정보 및 재질 정보를 획득하는 방법을 나타내는 흐름도이다.
도 7에 도시된 방법은 도 3에 도시된 장치에 의해 수행될 수 있다.
도 7을 참조하면, 710단계에서 장치(300)는 객체에 대한 다시점(Multi-view) 영상 패어(pair) 들 각각의 컬러 영상들 또는 깊이 영상들을 이용하여 상기 객체의 재질 특성을 분석한다.
720단계에서 장치(300)는 재질 특성을 기준으로 상기 객체로부터 재질특성이 동일한 동일 재질 영역을 분리한다.
730단계에서 장치(300)는 컬러 영상들 각각으로부터 상기 동일 재질 영역에 포함된 복수의 화소 들의 색 채널 화소 값들을 획득한다.
740단계에서 장치(300)는 화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들을 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출한다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (25)

  1. 객체에 대한 다시점(Multi-view) 영상 패어(pair) - 여기서, 영상 패어는 하나의 시점에 대한 깊이 영상 및 컬러 영상을 의미함 - 들 각각의 컬러 영상들을 이용하여 상기 객체의 재질 특성을 분석하는 단계;
    상기 재질 특성을 기준으로 상기 객체로부터 재질특성이 동일한 동일 재질 영역을 분리하는 단계;
    상기 컬러 영상들 각각으로부터 상기 동일 재질 영역에 포함된 복수의 화소 들의 색 채널 화소 값들을 획득하는 단계; 및
    화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들을 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출하는 단계를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  2. 제1항에 있어서,
    상기 재질 특성을 분석하는 단계는,
    색차 신호(color difference signal)들의 값을 기준으로, 컬러 스페이스(color space) 도메인(domain)에서 상기 컬러 영상들의 색차 신호들에 대한 클러스터링(clustering)을 수행하는 단계;
    상기 색차 신호들의 상기 컬러 스페이스 도메인 내의 분포를 기준으로, C개(C는 정수)의 재질 클러스터를 결정하는 단계; 및
    상기 객체에 상기 재질 클러스터를 적용하는 단계를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  3. 제2항에 있어서,
    상기 동일 재질 영역을 분리하는 단계는,
    상기 C개의 재질 클러스터 중 어느 하나를 선택하는 단계;
    상기 객체에서 선택된 재질 클러스터에 대응하는 동일 재질 영역을 결정하는 단계를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  4. 제2항에 있어서,
    상기 색 채널 화소 값들을 획득하는 단계는,
    상기 C개의 재질 클러스터들에 대응하는 C개의 재질 영역들을 상기 다시점 영상 패어들 각각에 투영하는 단계;
    상기 다시점(Multi-view) 영상 패어(pair)들을 이용하여, 상기 동일 재질 영역 내의 모든 표면 점(surface point)에 대응되는 N개의 화소들을 결정하는 단계; 및
    상기 컬러 영상들로부터 상기 N개의 화소들 각각의 색 채널 화소 값을 획득하는 단계를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  5. 제1항에 있어서,
    상기 선형 시스템은 하기 수학식으로 정의되는,
    [수학식]
    Figure pat00041

    여기서, ir은 화소 i의 Red 값, ig은 화소 i의 Green 값, ib은 화소 i의 Blue 값, N은 동일 재질 영역의 픽셀 index, Ks는 스펙큘라(Specular) 성분의 재질 상수,
    Figure pat00042
    는 ir에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00043
    는 ig에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00044
    는 ib에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00045
    는 디퓨즈(diffuse)에 대한 형상과 조명 성분의 조합,
    Figure pat00046
    는 스펙큘라(Specular)에 대한 형상과 조명 성분의 조합인,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  6. 제5항에 있어서,
    상기
    Figure pat00047
    는 조명 상수 및 상기 깊이 영상으로부터 획득되는 깊이 값에 의해 정의되고, 상기
    Figure pat00048
    는 상기 깊이 값 및 위치 벡터로 표현되는 시점 정보에 의해 정의되는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  7. 제1항에 있어서,
    상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보는 하기 수학식에 의해 추출되는,
    [수학식]
    Figure pat00049

    여기서, Kd는 디퓨즈(diffuse) 성분의 재질 상수, ir은 화소 i의 Red 값, ig은 화소 i의 Green 값, ib은 화소 i의 Blue 값, N은 동일 재질 영역의 픽셀 index, Ks는 스펙큘라(Specular) 성분의 재질 상수,
    Figure pat00050
    는 ir에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00051
    는 ig에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00052
    는 ib에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00053
    는 디퓨즈(diffuse)에 대한 형상과 조명 성분의 조합,
    Figure pat00054
    는 스펙큘라(Specular)에 대한 형상과 조명 성분의 조합인,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  8. 재질특성이 동일한 동일 재질 영역에 포함된 N개(N은 2 이상의 정수)의 화소 들 각각의 색 채널 화소 값들을 수신하는 단계;
    상기 동일 재질 영역의 깊이 값들을 수신하는 단계;
    상기 동일 재질 영역에 대한 시점 정보를 수신하는 단계; 및
    화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들, 상기 깊이 값들 및 상기 시점 정보를 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출하는 단계를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  9. 제8항에 있어서,
    상기 재질 특성은,
    컬러 스페이스(color space) 도메인(domain) 내의 색차 신호들의 분포를 기준으로 결정되는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  10. 제8항에 있어서,
    상기 N개의 화소들은,
    객체에 대한 다시점(Multi-view) 영상 패어(pair) - 여기서, 영상 패어는 하나의 시점에 대한 깊이 영상 및 컬러 영상을 의미함 - 들 각각의 컬러 영상들로부터 획득되는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  11. 제8항에 있어서,
    상기 선형 시스템은 하기 수학식으로 정의되는,
    [수학식]
    Figure pat00055

    여기서, ir은 화소 i의 Red 값, ig은 화소 i의 Green 값, ib은 화소 i의 Blue 값, N은 동일 재질 영역의 픽셀 index, Ks는 스펙큘라(Specular) 성분의 재질 상수,
    Figure pat00056
    는 ir에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00057
    는 ig에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00058
    는 ib에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00059
    는 디퓨즈(diffuse)에 대한 형상과 조명 성분의 조합,
    Figure pat00060
    는 스펙큘라(Specular)에 대한 형상과 조명 성분의 조합인,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  12. 제11항에 있어서,
    상기
    Figure pat00061
    는 조명 상수 및 상기 깊이 값들에 의해 정의되고, 상기
    Figure pat00062
    는 상기 깊이 값들 및 상기 시점 정보에 의해 정의되는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  13. 제8항에 있어서,
    상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보는 하기 수학식에 의해 추출되는,
    [수학식]
    Figure pat00063

    여기서, Kd는 디퓨즈(diffuse) 성분의 재질 상수인, ir은 화소 i의 Red 값, ig은 화소 i의 Green 값, ib은 화소 i의 Blue 값, N은 동일 재질 영역의 픽셀 index, Ks는 스펙큘라(Specular) 성분의 재질 상수,
    Figure pat00064
    는 ir에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00065
    는 ig에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00066
    는 ib에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00067
    는 디퓨즈(diffuse)에 대한 형상과 조명 성분의 조합,
    Figure pat00068
    는 스펙큘라(Specular)에 대한 형상과 조명 성분의 조합인,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법.
  14. 재질특성이 동일한 동일 재질 영역에 포함된 N개(N은 2 이상의 정수)의 화소 들 각각의 색 채널 화소 값들을 수신하는 화소 값 수신부;
    상기 동일 재질 영역의 깊이 값들을 수신하는 깊이 값 수신부;
    상기 동일 재질 영역에 대한 시점 정보를 수신하는 시점 정보 수신부; 및
    화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들, 상기 깊이 값들 및 상기 시점 정보를 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 계산하는 계산부를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  15. 제14항에 있어서,
    상기 재질 특성은,
    컬러 스페이스(color space) 도메인(domain) 내의 색차 신호들의 분포를 기준으로 결정되는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  16. 제14항에 있어서,
    상기 N개의 화소들은,
    객체에 대한 다시점(Multi-view) 영상 패어(pair) - 여기서, 영상 패어는 하나의 시점에 대한 깊이 영상 및 컬러 영상을 의미함 - 들 각각의 컬러 영상들로부터 획득되는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  17. 제14항에 있어서,
    상기 선형 시스템은 하기 수학식으로 정의되는,
    [수학식]
    Figure pat00069

    여기서, ir은 화소 i의 Red 값, ig은 화소 i의 Green 값, ib은 화소 i의 Blue 값, N은 동일 재질 영역의 픽셀 index, Ks는 스펙큘라(Specular) 성분의 재질 상수,
    Figure pat00070
    는 ir에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00071
    는 ig에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00072
    는 ib에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00073
    는 디퓨즈(diffuse)에 대한 형상과 조명 성분의 조합,
    Figure pat00074
    는 스펙큘라(Specular)에 대한 형상과 조명 성분의 조합인,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  18. 제17항에 있어서,
    상기
    Figure pat00075
    는 조명 상수 및 상기 깊이 값들에 의해 정의되고, 상기
    Figure pat00076
    는 상기 깊이 값들 및 상기 시점 정보에 의해 정의되는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는
  19. 제14항에 있어서,
    상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보는 하기 수학식에 의해 추출되는,
    [수학식]
    Figure pat00077

    여기서, Kd는 디퓨즈(diffuse) 성분의 재질 상수인,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  20. 객체에 대한 다시점(Multi-view) 영상 패어(pair) - 여기서, 영상 패어는 하나의 시점에 대한 깊이 영상 및 컬러 영상을 의미함 - 들 각각의 컬러 영상들을 이용하여 상기 객체의 재질 특성을 분석하는 재질 특성 분석부;
    상기 재질 특성을 기준으로 상기 객체로부터 재질특성이 동일한 동일 재질 영역을 분리하는 영역 분리부;
    상기 컬러 영상들 각각으로부터 상기 동일 재질 영역에 포함된 복수의 화소 들의 색 채널 화소 값들을 획득하는 화소 값 획득부; 및
    화소 값을 "재질 상수" 및 "형상과 조명 성분의 조합"으로 정의한 선형 시스템에 상기 색 채널 화소 값들을 적용하여, 상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보를 추출하는 추출부를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  21. 제20항에 있어서,
    상기 재질 특성 분석부는,
    색차 신호(color difference signal)들의 값을 기준으로, 컬러 스페이스(color space) 도메인(domain)에서 상기 컬러 영상들의 색차 신호들에 대한 클러스터링(clustering)을 수행하는 클러스터링 수행부;
    상기 색차 신호들의 상기 컬러 스페이스 도메인 내의 분포를 기준으로, C개(C는 정수)의 재질 클러스터를 결정하는 클러스터 결정부; 및
    상기 객체에 상기 재질 클러스터를 적용하는 클러스터 적용부를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  22. 제20항에 있어서,
    상기 영역 분리부는,
    C개의 재질 클러스터들 중에서 어느 하나를 선택하고, 상기 객체에서 상기 선택된 재질 클러스터에 대응하는 동일 재질 영역을 결정하는 재질 영역 결정부를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  23. 제20항에 있어서,
    상기 화소 값 획득부는,
    C개의 재질 클러스터들에 대응하는 C개의 재질 영역들을 상기 다시점 영상 패어들 각각에 투영하는 투영부;
    상기 다시점(Multi-view) 영상 패어(pair)들을 이용하여, 상기 동일 재질 영역 내의 모든 표면 점(surface point)에 대응되는 N개의 화소들을 결정하는 결정부; 및
    상기 컬러 영상들로부터 상기 N개의 화소들 각각의 색 채널 화소 값을 획득하는 색 채널 화소 값 획득부를 포함하는,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  24. 제20항에 있어서,
    상기 선형 시스템은 하기 수학식으로 정의되는,
    [수학식]
    Figure pat00078

    여기서, ir은 화소 i의 Red 값, ig은 화소 i의 Green 값, ib은 화소 i의 Blue 값, N은 동일 재질 영역의 픽셀 index, Ks는 스펙큘라(Specular) 성분의 재질 상수,
    Figure pat00079
    는 ir에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00080
    는 ig에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00081
    는 ib에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00082
    는 디퓨즈(diffuse)에 대한 형상과 조명 성분의 조합,
    Figure pat00083
    는 스펙큘라(Specular)에 대한 형상과 조명 성분의 조합인,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
  25. 제20항에 있어서,
    상기 동일 재질 영역의 재질 상수 및 상기 동일 재질 영역의 조명 정보는 하기 수학식에 의해 추출되는,
    [수학식]
    Figure pat00084

    여기서, Kd는 디퓨즈(diffuse) 성분의 재질 상수, ir은 화소 i의 Red 값, ig은 화소 i의 Green 값, ib은 화소 i의 Blue 값, N은 동일 재질 영역의 픽셀 index, Ks는 스펙큘라(Specular) 성분의 재질 상수,
    Figure pat00085
    는 ir에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00086
    는 ig에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00087
    는 ib에 대한 디퓨즈(diffuse) 성분의 재질 상수,
    Figure pat00088
    는 디퓨즈(diffuse)에 대한 형상과 조명 성분의 조합,
    Figure pat00089
    는 스펙큘라(Specular)에 대한 형상과 조명 성분의 조합인,
    영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 장치.
KR1020110071353A 2011-07-19 2011-07-19 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치 KR101849696B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110071353A KR101849696B1 (ko) 2011-07-19 2011-07-19 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
US13/467,218 US9035964B2 (en) 2011-07-19 2012-05-09 Method and apparatus for obtaining lighting information and material information in image modeling system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110071353A KR101849696B1 (ko) 2011-07-19 2011-07-19 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130010615A true KR20130010615A (ko) 2013-01-29
KR101849696B1 KR101849696B1 (ko) 2018-04-17

Family

ID=47555463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110071353A KR101849696B1 (ko) 2011-07-19 2011-07-19 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치

Country Status (2)

Country Link
US (1) US9035964B2 (ko)
KR (1) KR101849696B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042781A (ko) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 입체 모델 생성 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
CN106327505B (zh) 2015-06-26 2020-05-05 微软技术许可有限责任公司 机器视觉处理系统、设备、方法及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160907A (en) * 1997-04-07 2000-12-12 Synapix, Inc. Iterative three-dimensional process for creating finished media content
US7199793B2 (en) * 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
US6903738B2 (en) * 2002-06-17 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Image-based 3D modeling rendering system
US6831641B2 (en) * 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
KR20070026701A (ko) 2004-06-30 2007-03-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 콘텐츠로부터 유도된 주변 광을 만들기 위해 지각규칙을 사용하는 지배적인 컬러 추출
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
DE102006018689A1 (de) 2006-04-13 2007-10-25 Seereal Technologies S.A. Verfahren zum Rendern und Generieren computergenerierter Videohologramme in Echtzeit
JP4704998B2 (ja) 2006-10-26 2011-06-22 本田技研工業株式会社 画像処理装置
KR100967064B1 (ko) 2007-10-24 2010-06-29 아주대학교산학협력단 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상유사성 판별 방법 및 공동현관 안전시스템
US20090116755A1 (en) * 2007-11-06 2009-05-07 Copanion, Inc. Systems and methods for enabling manual classification of unrecognized documents to complete workflow for electronic jobs and to assist machine learning of a recognition system using automatically extracted features of unrecognized documents
KR100943218B1 (ko) 2008-06-30 2010-02-18 한국 한의학 연구원 컬러 교정을 이용한 3차원 모델 생성 방법
JP5024632B2 (ja) 2008-09-19 2012-09-12 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8629899B2 (en) * 2009-08-06 2014-01-14 Qualcomm Incorporated Transforming video data in accordance with human visual system feedback metrics
KR101589749B1 (ko) 2009-08-18 2016-01-28 엘지전자 주식회사 디스플레이장치 및 그의 색상 조정 방법
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US20110148898A1 (en) 2009-12-21 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing complex material appearance information
US8363930B1 (en) * 2012-07-23 2013-01-29 Google Inc. Use of materials and appearances to merge scanned images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042781A (ko) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 입체 모델 생성 방법 및 장치

Also Published As

Publication number Publication date
KR101849696B1 (ko) 2018-04-17
US20130021340A1 (en) 2013-01-24
US9035964B2 (en) 2015-05-19

Similar Documents

Publication Publication Date Title
KR101537174B1 (ko) 스테레오스코픽 영상에서의 주요 객체 검출 방법
KR101671185B1 (ko) 렌더링을 위한 빛 및 질감 추출 장치 및 방법, 그리고, 빛 및 질감을 이용한 렌더링 장치
CN104217208B (zh) 目标检测方法和装置
EP2848003B1 (en) Method and apparatus for acquiring geometry of specular object based on depth sensor
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
US8737769B2 (en) Reconstruction of sparse data
KR20110066609A (ko) 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법
US20160142700A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
US9208606B2 (en) System, method, and computer program product for extruding a model through a two-dimensional scene
US20210209776A1 (en) Method and device for depth image fusion and computer-readable storage medium
KR20130118105A (ko) 평면 기반의 ３차원 공간 표현 방법 및 장치
CN111666788B (zh) 一种图像处理方法、装置及设备、存储介质
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
JP5909176B2 (ja) 陰影情報導出装置、陰影情報導出方法及びプログラム
Hwang et al. Stereo image quality assessment using visual attention and distortion predictors
CN107886533B (zh) 立体图像的视觉显著性检测方法、装置、设备及存储介质
CN104982032B (zh) 3d图像数据分割的方法和装置
Irshad et al. No-reference image quality assessment of underwater images using multi-scale salient local binary patterns
KR20040006738A (ko) 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법
KR101655036B1 (ko) 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템
Chang et al. Pixel-based adaptive normalized cross correlation for illumination invariant stereo matching
KR101926555B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
KR101357581B1 (ko) 깊이 정보 기반 사람의 피부 영역 검출 방법
KR101978176B1 (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant