KR20120064641A - 영상 처리 장치, 조명 처리 장치 및 그 방법 - Google Patents

영상 처리 장치, 조명 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20120064641A
KR20120064641A KR1020110131598A KR20110131598A KR20120064641A KR 20120064641 A KR20120064641 A KR 20120064641A KR 1020110131598 A KR1020110131598 A KR 1020110131598A KR 20110131598 A KR20110131598 A KR 20110131598A KR 20120064641 A KR20120064641 A KR 20120064641A
Authority
KR
South Korea
Prior art keywords
image
illumination
diffuse
information
lighting
Prior art date
Application number
KR1020110131598A
Other languages
English (en)
Other versions
KR101885090B1 (ko
Inventor
심현정
김도균
이태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2013543107A priority Critical patent/JP5795384B2/ja
Priority to US13/992,513 priority patent/US9563959B2/en
Priority to EP11847213.3A priority patent/EP2650843A4/en
Priority to CN201180059616.0A priority patent/CN103262126B/zh
Priority to PCT/KR2011/009506 priority patent/WO2012078006A2/ko
Publication of KR20120064641A publication Critical patent/KR20120064641A/ko
Application granted granted Critical
Publication of KR101885090B1 publication Critical patent/KR101885090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

영상 처리 장치, 조명 처리 장치 및 그 방법이 제공된다. 일 측면에 따르면, 조명 처리 장치는 실제 객체의 컬러 영상 및 깊이 영상을 이용하여 상기 객체에 적용된 디퓨즈 조명 정보를 추출할 수 있다. 조명 처리 장치는 추출된 디퓨즈 조명 정보를 이용하여 상기 실제 객체에 대한 디퓨즈 영상을 복원하고, 상기 복원된 디퓨즈 영상과 상기 컬러 영상을 이용하여 스펙큘라 영상 및 그림자 영상 중 적어도 하나를 생성할 수 있다.

Description

영상 처리 장치, 조명 처리 장치 및 그 방법{IMAGE PROCESSING APPARATUS, APPARATUS AND METHOD FOR LIGHTING PROCESSING}
기술분야는 영상으로부터 조명 조건을 생성하고, 생성된 조명 조건을 영상에 삽입할 가상 객체에 적용하는 영상 처리에 관한 것이다.
3D(dimension) 그래픽스 기술 및 관련 하드웨어 기술의 발달로 3D 게임, 3D 영화, 스마트 폰 등 다양한 응용 분야에서 객체를 실감나게 표현하기 위한 컨텐츠가 제작되고 있다. 객체를 실감나게 표현하는 기술로 렌더링 기술이 이용될 수 있다. 렌더링 기술은 형상(Geometry), 질감 (Material Properties), 빛(Lighting)을 정확하게 모델링 하는 것이 필요하다.
일 측면에 있어서, 조명 처리 장치는, 실제 객체의 컬러 영상 및 깊이 영상을 이용하여 상기 객체에 적용된 디퓨즈 조명 정보를 추출하는 디퓨즈 추출부와, 상기 추출된 디퓨즈 조명 정보를 이용하여 상기 실제 객체에 대한 디퓨즈 영상을 복원하는 디퓨즈 복원부 및 상기 복원된 디퓨즈 영상과 상기 컬러 영상을 이용하여 스펙큘라 영상 및 그림자 영상 중 적어도 하나를 생성하는 오차 영상 분리부를 포함한다.
보조 장치를 추가적으로 사용하지 않고도, 실제 객체(real object)를 촬영하여 얻은 컬러 영상과 깊이 영상으로부터 해당 객체에 적용된 조명 조건을 얻을 수 있다.
또한, 영상에 가상 객체를 추가할 경우, 해당 영상으로부터 얻은 조명 조건을 가상 객체에 적용함으로써 보다 실감나는 렌더링 결과를 얻을 수 있다.
도 1은 일 실시 예에 따른 조명 처리 장치를 도시한 블록도이다..
도 2는 다른 일 실시 예에 따른 조명 처리 장치를 도시한 블록도이다.
도 3은 실제 객체에 적용된 조명 조건을 얻기 위한 조명 처리 장치의 일 실시예를 도시한 블록도이다.
도 4는 촬영부로부터 출력되어 입력 영상으로 사용되는 컬러 영상과 깊이 영상의 일 예를 보여주는 도면이다.
도 5는 깊이 영상과 깊이 영상의 노멀 맵 기반의 저기저 함수 모델링 방식을 설명하기 위한 도면이다.
도 6은 도 3에 도시된 디퓨즈 복원부를 보다 구체적으로 도시한 블록도이다.
도 7은 도 3의 오차 영상 분리부에 의해 이루어지는 일련의 과정을 설명하기 위한 예시도이다.
도 8은 스펙큘라 영상을 기반으로 제1 지향성 조명 정보를 추출하는 방법을 설명하기 위한 예시도이다.
도 9 및 도 10은 그림자 영상을 기반으로 제2 지향성 조명 정보를 추출하는 방법을 설명하기 위한 예시도이다.
도 11은 일 실시예에 따른 조명 처리 방법을 설명하기 위한 흐름도이다.
도 12는 도 11의 920단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 13은 일 실시 예에 따른 조명 처리 장치를 포함하는 영상 처리 장치의 구성을 나타내는 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
객체를 실감나게 표현하기 위한 렌더링 기술은 형상, 질감, 빛을 정확하게 모델링하는 것을 필요로 한다. 형상 모델링의 경우, 깊이 영상을 촬영하는 깊이 카메라의 발전으로, 실시간으로 움직이는 물체의 형상 정보를 취득할 수 있다. 질감 모델링의 경우, Lambertian, Phong, Torrance-Cook, Oren-Nayar, Emperical BSSRDF, BRDF 등 다양한 실험적/물리적 모델이 제안되고 있다.
빛 모델링의 경우, 기존에는 Lambertian 물체 또는 Chrome Ball 등의 보조 장치를 이용하여 객체에 적용된 빛 모델, 즉, 조명 조건을 추출한다. 반면, 도 1, 도 1 및 도 3의 조명 처리 장치(100a, 100b, 200)는 보조 장치를 이용하지 않고, 실제 객체의 컬러 영상과 깊이 영상을 이용하여 조명 조건을 추출할 수 있다. 도 1, 도 2 및 도 3의 조명 처리 장치(100 a, 100b, 200)는 디지털 카메라, 휴대폰, 스마트 폰 등의 CE(Consumer Electronics) 기기에 적용될 수 있다. 여기서, "조명 조건"은 "실제 객체에 적용된 조명의 방향에 대한 정보" 및 "실제 객체에 적용된 조명의 밝기에 대한 정보"를 포함할 수 있다.
조명 처리 장치에 의하여 생성되는 조명 조건은, 예를 들어 디퓨즈(diffuse) 조명 정보와 지향성(directional) 조명 정보를 포함할 수 있다. 즉, 디퓨즈 조명 정보와 지향성 조명 정보를 결합하면 원(original) 조명 조건을 복원할 수 있다. 디퓨즈 조명 정보와 지향성 조명 정보 중 어느 하나를 사용하여 원 조명 조건을 복원하는 실시예도 가능하다.
디퓨즈 조명 정보를 주파수 도메인에서 살펴보면, 원 조명 조건의 저주파 성분에 대응하는 특성을 나타낸다. 지향성 조명 정보를 주파수 도메인에서 살펴보면, 원 조명 조건의 고주파 성분에 대응하는 특성을 나타낸다. 주파수 도메인에서 디퓨즈 조명 정보는 연속적인 형태를 가질 수 있으며, 지향성 조명 정보는 불연속 적인 형태를 가질 수 있다.
실제 객체는 빛을 반사할 수 있다. 예를 들어, 실제 객체의 표면에서 전방향성 반사 특성을 갖는 디퓨즈 반사(diffuse reflection)나 지향성 반사 특성을 갖는 스펙큘라 반사(specular reflection)가 발생할 수 있다. 실제 객체를 촬영한 영상을 이용하면, 디퓨즈 반사의 영향을 받은 픽셀들로 이루어진 디퓨즈 영상을 생성하거나, 스펙큘라 반사의 영향을 받은 픽셀들로 이루어진 스펙큘라 영상을 생성하는 것이 가능하다. 또한, 실제 객체나 그 주변에는 빛의 지향성 특성에 따라서 그림자가 생길 수 있으며, 원 영상에서 그림자의 영향을 받은 픽셀로 이루어진 그림자 영상을 생성하는 것도 가능하다.
디퓨즈 조명 정보는 디퓨즈 영상으로부터 획득될 수 있다. 한편, 지향성 조명 정보는 스펙큘라 영상과 그림자 영상 중 적어도 하나로부터 추출될 수 있다. 물론, 디퓨즈 조명 정보를 이용하여 디퓨즈 영상을 생성하거나, 지향성 조명 정보를 이용하여 스펙큘라 영상이나 그림자 영상을 생성하는 실시예도 가능하다.
일 실시예에 따르면, 조명 처리 장치는 실제 객체의 컬러 영상 및 깊이 영상을 이용하여, 디퓨즈 조명 정보를 추출할 수 있다. 조명 처리 장치는 추출된 디퓨즈 조명 정보를 이용하여 디퓨즈 영상을 생성할 수 있다. 또한, 조명 처리 장치는 디퓨즈 영상과 원본 영상을 이용하여 스펙큘라 영상을 생성할 수 있다. 조명 처리 장치는 생성된 스펙큘라 영상으로부터 지향성 조명 정보를 추출할 수 있다. 또한, 조명 처리 장치는 디퓨즈 영상과 원본 영상을 이용하여 그림자 영상을 생성할 수 있다. 조명 처리 장치는 생성된 그림자 영상으로부터 지향성 조명 정보를 추출할 수도 있다.
조명 처리 장치는 추출된 조명 정보를 이용하여 조명 조건 생성하고 이를 가상 객체에 적용할 수 있다. 즉, 도 1, 도 2 및 도 3의 조명 처리 처리 장치(100a, 100b, 200)를 포함하는 영상 처리 장치는 특정 장면(scene)을 담은 영상을 이용하여 조명 조건을 생성하고, 생성된 조명 조건이 적용된 가상 객체를 상기 영상에 삽입할 수 있다. 예를 들어, 영상 처리 장치는 깊이 영상 및 컬러 영상에 기초하여 지향성 조명 정보를 추출하고, 상기 추출된 지향성 조명 정보를 기반으로 하는 조명 조건이 적용된 가상 객체를 상기 컬러 영상에 합성할 수 있다.
도 1은 일 실시 예에 따른 조명 처리 장치를 도시한 블록도이다.
도 1을 참조하면, 조명 처리 장치(100a)는 디퓨즈 추출부(105), 디퓨즈 복원부(115) 및 지향성 조명 기반 영상 생성부(125)를 포함한다.
디퓨즈 추출부(105)는 실제 객체의 컬러 영상 및 깊이 영상을 이용하여, 실제 객체에 적용된 디퓨즈 조명 정보를 추출한다.
디퓨즈 복원부(115)는 추출된 디퓨즈 조명 정보를 이용하여 디퓨즈 영상을 복원할 수 있다. 디퓨즈 조명 정보는 텍스쳐 형태로 저장될 수 있다.
지향성 조명 기반 영상 생성부(125)는 디퓨즈 복원부(115)에 의해 복원된 디퓨즈 영상과 컬러 영상 간의 오차 영상으로부터 스펙큘라 영상을 생성한다. 지향성 조명 기반 영상 생성부(125)는 복원된 디퓨즈 영상과 컬러 영상 간의 오차 영상으로부터 그림자 영상을 생성할 수도 있다.
도 2는 다른 일 실시 예에 따른 조명 처리 장치를 도시한 블록도이다.
도 2를 참조하면, 조명 처리 장치(100b)는 디퓨즈 복원부(110), 지향성 조명 정보 추출부(120) 및 조명 조건 결정부(130)를 포함한다.
디퓨즈 복원부(110)는 실제 객체의 컬러 영상 및 깊이 영상을 이용하여, 실제 객체에 적용된 디퓨즈 조명 정보를 추출하고, 추출된 디퓨즈 조명 정보를 이용하여 실제 객체에 대한 디퓨즈 영상을 복원할 수 있다. 디퓨즈 조명 정보는 텍스쳐 형태로 저장될 수 있다.
지향성 조명 정보 추출부(120)는 디퓨즈 복원부(110)에 의해 복원된 디퓨즈 영상과 컬러 영상 간의 오차 영상으로부터 지향성 조명 정보를 추출할 수 있다.
조명 조건 결정부(130)는 추출된 디퓨즈 조명 정보, 추출된 지향성 조명 정보 및 입력된 컬러 영상을 이용하여 실제 객체에 적용된 조명 조건을 결정할 수 있다.
도 3은 실제 객체에 적용된 조명 조건을 얻기하기 위한 조명 처리 장치의 일 실시예를 도시한 블록도이다.
도 3을 참조하면, 조명 처리 장치(200)는 촬영부(210), 디퓨즈 복원부(220), 오차 영상 분리부(230), 지향성 조명 정보 추출부(240) 및 조명 조건 결정부(250)를 포함할 수 있다.
촬영부(210)는 임의의 조명 환경에서 실제 객체를 촬영하여 컬러 영상과 깊이 영상을 출력할 수 있다. 촬영부(210)는 컬러 영상을 획득하기 위한 컬러 카메라와 깊이 영상을 획득하기 위한 깊이 카메라를 각각 구비하거나, 또는, 컬러 카메라와 깊이 카메라가 통합된 형태의 카메라로 구현될 수 있다. 또는, 촬영부(210)는 스테레오 또는 다시점 카메라로부터 깊이 영상을 획득한 후, 획득된 깊이 영상을 컬러 영상과 함께 출력할 수 있다.
도 4는 촬영부(210)로부터 출력되어 입력 영상으로 사용되는 컬러 영상과 깊이 영상의 일 예를 보여주는 도면이다. 도 4를 참조하면, 조명 환경에 의해, 실제 객체에서 디퓨즈 반사와 스펙큘라 반사가 발생한다.
디퓨즈 복원부(220)는 실제 객체의 컬러 영상 및 깊이 영상을 이용하여, 실제 객체에 적용된 디퓨즈 조명 정보를 추출하고, 추출된 디퓨즈 조명 정보를 이용하여 객체에 대한 디퓨즈 영상을 복원할 수 있다. 디퓨즈 복원부(220)는 디퓨즈 조명 정보를 추출하기 위하여, 깊이 영상 기반의 저
Figure pat00001
기저 함수 모델을 이용할 수 있다.
도 5는 깊이 영상과 깊이 영상의 노멀 맵 기반의 저기저 함수 모델링 방식을 설명하기 위한 도면이다.
도 5에 도시된 저기저 함수 모델을 이용하면, Convex Lambertian 물체의 경우 9개의 저기저 함수를 이용하여 많은(예를 들어 99% 이상의) 화소값을 정확하게 복원할 수 있다. 저기저 함수 모델을 이용하면, 디퓨즈 복원부(220)는 각기 다른 형상의 객체마다, 각기 다른 형상의 객체들 각각에 적합한 저기저 함수 모델을 생성할 수 있다. 따라서, 디퓨즈 복원부(220)는 도 5와 같은 저기저 함수 모델을 이용하여 객체에서 발생한 디퓨즈 반사를 Lambertian Law에 의해 정의 및 표현할 수 있다. 'Lambertian Law'란, "디퓨즈 반사는 빛 벡터(l)와 물체 표면의 오리엔테이션인 노멀 벡터(n)의 내적에 비례한다"는 이론이다.
도 6은 도 3에 도시된 디퓨즈 복원부(220)를 보다 구체적으로 도시한 블록도이다.
도 6을 참조하면, 디퓨즈 복원부(220)는 노멀 맵 생성부(221), 모델 생성부(223), 렌더링부(225) 및 조명 상수 산출부(227)를 포함할 수 있다.
노멀 맵 생성부(221)는 입력되는 깊이 영상으로부터 깊이 영상의 노멀 맵(Normal Map)을 생성할 수 있다. 노멀 맵은 객체에 대한 법선 벡터(Normal vector)들을 텍스쳐로 표현한 것이다.
모델 생성부(223)는 생성된 노멀 맵으로부터 깊이 영상의 저기저 함수 모델을 생성할 수 있다. 저기저 함수 모델의 예로 도 3과 같은 SHBF(Spherical Harmonics Basis Function) 모델을 들 수 있다.
렌더링부(225)는 깊이 영상으로부터 생성된 저기저 함수 모델을 렌더링한다.
조명 상수 산출부(227)는 렌더링된 저기저 함수 모델을 컬러 영상에 적용하여, 컬러 영상을 가장 근접하게 재생성하는 한 개 이상의 디퓨즈 조명 상수를 구할 수 있다. 조명 상수 산출부(227)는 최적화 과정을 통해 한 개 이상의 디퓨즈 조명 상수를 구할 수 있다. 조명 상수 산출부(227)는 저기저 함수 모델을 컬러 영상에 적용하고, 디퓨즈 조명 상수를 변경해 가면서 임시적인 컬러 영상을 생성하는 최적화 과정을 통해, 한 개 이상의 디퓨즈 조명 상수를 구할 수 있다. 임시적인 컬러 영상을 생성하는 최적화 과정에서, [수학식 1]이 사용될 수 있다.
Figure pat00002
즉, 조명 상수 산출부(227)는
Figure pat00003
의 결과가 최소가 되도록 하는 ck를 한 개 이상 구할 수 있다. 이때, I는 입력된 컬러 영상을 나타낸다. 디퓨즈 조명 상수는 예를 들어, c1~c9, 즉, 9개 산출될 수 있으며, 이에 한정되지 않는다. [수학식 1]을 참조하면, Idiffuse는 영상을 나타내는 벡터로서, 벡터의 각 element는 영상을 이루는 픽셀들의 컬러값을 나타낸다. ck는 디퓨즈 조명 상수, k는 조명 상수의 인덱스, Dk(depth)는 렌더링된 저기저 함수 모델이다.
디퓨즈 조명 정보는 한 개 이상의 디퓨즈 조명 상수의 조합으로 표현될 수 있다. 따라서, 조명 상수 산출부(227)는 한 개 이상의 디퓨즈 조명 상수로 이루어진 디퓨즈 조명 정보를 이용하여 실제 객체에 대한 디퓨즈 영상을 복원할 수 있다. 복원된 디퓨즈 영상은 한 개 이상의 디퓨즈 조명 상수를 포함하는 디퓨즈 조명 정보와 저기저 함수 모델의 조합으로 이루어질 수 있다.
도 7은 도 3의 오차 영상 분리부(230)에 의해 이루어지는 일련의 과정을 설명하기 위한 예시도이다.
도 3 및 도 7을 참조하면, 오차 영상 분리부(230)는 디퓨즈 복원부(220)에서 복원된 디퓨즈 영상과 원본 영상의 밝기를 비교하여 밝기값 오차를 나타내는 오차 영상을 구할 수 있다. 원본 영상은 촬영부(210)에 의해 출력되는 컬러 영상일 수 있다. 오차 영상 분리부(230)는 복원된 디퓨즈 영상과 컬러 영상의 차이값을 산출하고, 차이값을 조합하여 오차 영상을 구할 수 있다. 차이값은 복원된 디퓨즈 영상과 컬러 영상에서 서로 동일한 위치에 있는 픽셀들의 밝기값(intensity)의 차이일 수 있다.
오차 영상 분리부(230)는 오차 영상을 분석하여, 오차 영상을 스펙큘라 영상과 그림자 영상으로 분리할 수 있다. 오차 영상 분리부(230)는 기설정된 기준값을 오차 영상에 적용하여 오차 영상을 스펙큘라 영상과 그림자 영상으로 분리할 수 있다. 즉, 오차 영상 분리부(230)는 오차 영상을 기준값보다 밝은 픽셀들로 이루어지는 스펙큘라 영상과, 기준값보다 어두운 픽셀들로 이룰어지는 그림자 영상으로 분리할 수 있다. 오차 영상 분리부(230)는 오차 영상의 각 픽셀값 분포를 나타내는 히스토그램에 기준값을 적용하여 오차 영상을 분리할 수 있다.
다시 도 3을 참조하면, 지향성 조명 정보 추출부(240)는 디퓨즈 복원부(220)에 의해 복원된 디퓨즈 영상과 컬러 영상 간의 오차 영상으로부터 지향성 조명 정보를 추출할 수 있다. 즉, 지향성 조명 정보 추출부(240)는 오차 영상으로부터 분리된 스펙큘라 영상과 그림자 영상을 기반으로 지향성 조명 정보를 구할 수 있다.
지향성 조명 정보 추출부(240)는 스펙큘라 영상으로부터 제1 지향성 조명 정보를 추출하는 제1추출부(241)와, 그림자 영상으로부터 제2 지향성 조명 정보를 추출하는 제2추출부(243)를 포함할 수 있다.
제1추출부(241)는, 스펙큘라 영상 중 가장 밝은 지점의 노멀 벡터 및 실제 객체를 촬영한 촬영부(210)의 위치를 이용하여 객체에 적용된 조명 방향을 역추적하고, 역추적된 조명 방향을 이용하여 제1 지향성 조명 정보를 추출할 수 있다.
도 8은 스펙큘라 영상을 기반으로 제1 지향성 조명 정보를 추출하는 방법을 설명하기 위한 예시도이다.
도 8을 참조하면, 제1추출부(241)는 스펙큘라 영상의 각 로컬 영역에서 가장 밝은 지점을 찾는다. 로컬 영역은 스펙큘라 영상 중 지역적으로 더 밝게 형성되는 타원 또는 다른 모양의 클러스터를 의미한다. 일 실시예로, 로컬 영역은 주변보다 임계치 이상의 밝기를 나타내는 픽셀 집합일 수 있다. 예를 들어, 로컬 영역은 도 7의 스펙큘라 영상 중 원 형태의 하얗게 표시된 부분(701, 703, 705)일 수 있다. 제1추출부(241)는 Gaussian mean fitting을 이용하여 로컬 영역을 찾을 수 있다. 제1추출부(241)는 로컬 영역 별로 가장 밝은 지점의 노멀 벡터 및 촬영부(210)의 위치를 이용하여 객체에 적용된 조명의 위치를 역추적할 수 있다. 역추적되는 조명의 위치는 실제 객체에 적용된 조명의 방향을 나타낼 수 있다.
제1추출부(241)는 촬영부(210)의 위치로부터 뷰 벡터(view)를 알 수 있으며, 로컬 영역 내 가장 밝은 지점의 노멀 벡터(normal)를 알 수 있다. 따라서, 제1추출부(241)는 스펙큘라 영상의 경우, 노멀 벡터를 기준으로 빛의 입사각(θr)과 반사각(θr)이 동일하다는 원리를 이용하여, 조명의 방향을 역추적할 수 있다. 조명의 방향을 역추적하기 위하여, 제1추출부(241)는 Phong, Blinn-Phong, Torrance-Cook (Torrance-Sparrow) 등 다양한 스펙큘라 반사 모델들 중 하나를 사용할 수 있다.
한편, 제2추출부(243)는, 그림자 영상을 이루는 모든 픽셀들마다 그림자를 발생시킨 그림자 선(ray)들을 생성하고, 생성된 그림자 선들 중 분포도가 가장 큰 그림자 선에 대응하는 방향을 제2 지향성 조명 정보로 추출할 수 있다.
도 9 및 도 10은 그림자 영상을 기반으로 제2 지향성 조명 정보를 추출하는 방법을 설명하기 위한 예시도이다.
도 9를 참조하면, 이중선은 그림자 영상을 이루는 픽셀들, 점선으로 된 화살표는 그림자 픽셀에 그림자를 발생시킬수 있는 조명의 방향을 가상으로 나타낸 것이며, 이를 그림자 선(Ray)이라 한다. 제2추출부(243)는 임의의 빛 방향을 변경하면서, 그림자 영상을 이루는 각 픽셀(예를 들어, psh)마다 그림자를 발생시키는 그림자 선을 임의로 생성할 수 있다. 제2추출부(243)는 Uniform, Random Sampling 등의 기술을 이용하여 그림자 선을 임의로 생성할 수 있다. 제2추출부(243)는 생성된 모든 그림자 선의 방향을 도 10에 도시된 바와 같이 모든 그림자 픽셀에 대해 누적시켜 그림자 선의 분포도를 구한다. 일 실시예로, 그림자 선은 영상의 촬영지점을 중심으로 하는 반구 형태의 가상 공간을 가정하고, 조명이 반구의 표면에 있다고 가정할 때, 촬영 지점에서 조명이 있는 지점까지 0~180도 범위의 수평방향의 각도 세타(θ)와 0~90도 범위의 수직방향 각도 파이(Φ)로 표현될 수 있다. 제2추출부(243)는 분포도가 가장 높은 각도에 해당되는 방향을 지향성 조명 정보에 포함되는 것으로 유추할 수 있다. 도 10의 경우, 두 개의 피크(peak)에 해당하는 각도(θ,Φ), 즉 조명의 방향이 지향성 조명 정보에 포함될 수 있다.
일 실시예로, 제2추출부(243)는 분포도가 가장 높은 그림자 선의 각도를 구할 때, 분포도의 피크를 보다 정밀하게 찾기 위하여 분포도를 임의의 연속 함수(예를 들어, Gaussian Mixture, Polynomial 등)에 적용하여 샘플링에서 선택되지 않은 그림자 Ray도 지향성 조명 정보로 추출할 수 있다. 제2추출부(243)는 추출된 한 개 이상의 스펙큘라 반사 조명을 조합하여 지향성 조명 정보를 생성할 수 있다.
조명 조건 결정부(250)는 추출된 디퓨즈 조명 정보, 추출된 지향성 조명 정보 및 입력된 컬러 영상을 이용하여 객체에 적용된 조명 환경의 밝기를 결정할 수 있다. 일 예로, 추출된 디퓨즈 조명 정보는 디퓨즈 조명 상수일 수 있고, 추출된 지향성 조명 정보는 조명의 방향값일 수 있다. 조명 조건 결정부(250)는 [수학식 2]를 이용하여 조명의 밝기를 결정할 수 있다.
Figure pat00004
[수학식 2]에서, sk는 조명 환경의 밝기, S는 조명의 전체 개수, I는 촬영부(210)로부터 입력된 컬러 영상, L은 상기 디퓨즈 조명 정보를 이루는 디퓨즈 조명 상수의 전체 개수이다. 또한, fD는 디퓨즈 반사를 표현하는 모델, fS는 스펙큘라 반사를 표현하는 모델, ck는 디퓨즈 조명 상수, bk는 지향성 조명 정보를 이루는 상기 조명의 방향, depth는 깊이 영상의 깊이값,
Figure pat00005
는 뷰 포인트이다.
[수학식 2]를 참조하면, 조명 밝기 결정부(250)는
Figure pat00006
를 최소화하는 파라미터들을 계산함으로써, 조명 환경의 밝기를 구할 수 있다.
또한, 조명 조건 결정부(250)는 지향성 조명 정보를 조명 방향으로 이용할 수 있다. 지향성 조명 정보는 복수의 조명 방향 정보를 포함할 수 있다.
도 11은 일 실시예에 따른 조명 처리 방법을 설명하기 위한 흐름도이다.
도 11의 조명 처리 방법은 도 1, 도2, 또는 도 3을 참조하여 설명한 조명 처리 장치(100a, 100b, 200)에서 각 동작을 제어 또는 처리하는 제어부(미도시) 또는 적어도 하나의 프로세서(미도시)에 의해 동작될 수 있다.
910단계에서, 조명 정보 처리 장치는 카메라를 이용하여 실제 객체의 컬러 영상과 깊이 영상을 획득할 수 있다.
920단계에서, 조명 처리 장치는 획득된 컬러 영상 및 깊이 영상을 이용하여, 실제 객체에 적용된 디퓨즈 조명 정보를 추출할 수 있다. 920단계는 깊이 영상 기반의 저
Figure pat00007
기저 함수 모델을 이용하여 디퓨즈 조명 정보를 추출할 수 있다. 이는 도 10을 참조하여 보다 자세히 설명한다.
930단계에서, 조명 처리 장치는 추출된 디퓨즈 조명 정보를 이용하여 객체에 대한 디퓨즈 영상을 복원할 수 있다.
940단계에서, 조명 처리 장치는 복원된 디퓨즈 영상과 원본 영상(즉, 획득된 컬러 영상)의 밝기를 비교하여 오차 영상을 산출할 수 있다.
950단계에서, 조명 처리 장치는 산출된 오차 영상을 분석하여, 오차 영상을 스펙큘라 영상과 그림자 영상으로 분리할 수 있다. 스펙큘라 영상은 오차 영상 중 기설정된 기준값보다 밝은 픽셀들로 이루어진 영상이며, 그림자 영상은 오차 영상 중 상기 기준값보다 어두운 픽셀들로 이루어진 영상이다.
960단계에서, 조명 처리 장치는 분리된 스펙큘라 영상으로부터 제1 지향성 조명 정보를 추출할 수 있다. 예를 들어, 조명 처리 장치는 스펙큘라 영상의 각 로컬 영역에서 가장 밝은 지점의 노멀 벡터 및 실제 객체를 촬영한 카메라의 위치를 이용하여 실제 객체에 적용된 조명의 방향을 역추적하고, 역추적된 조명의 방향을 제1 지향성 조명 정보로써 추출할 수 있다.
970단계에서, 조명 처리 장치는 분리된 그림자 영상으로부터 제2 지향성 조명 정보를 추출할 수 있다. 예를 들어, 조명 처리 장치는 그림자 영상을 이루는 모든 픽셀들마다 그림자를 발생시킨 그림자 선(ray)들을 생성하고, 생성된 그림자 선들 중 분포도가 가장 큰 그림자 선에 대응하는 방향을 제2 지향성 조명 정보로 추출할 수 있다.
980단계에서, 조명 처리 장치는 추출된 디퓨즈 조명 정보, 추출된 제1 및 제2 지향성 조명 정보 및 획득된 컬러 영상을 [수학식 2]에 적용하여, 객체에 적용된 조명 환경의 밝기를 결정할 수 있다.
도 12는 도 11의 920단계를 보다 구체적으로 설명하기 위한 흐름도이다.
1010단계에서, 조명 처리 장치는 910단계에서 획득된 깊이 영상으로부터 깊이 영상의 노멀 맵(Normal Map)을 생성할 수 있다.
1020단계에서, 조명 처리 장치는 생성된 노멀 맵으로부터 깊이 영상의 저기저 함수 모델을 생성할 수 있다.
1030단계에서, 조명 처리 장치는 깊이 영상으로부터 도출된 저기저 함수 모델을 렌더링하고, 렌더링된 저기저 함수 모델을 컬러 영상에 적용하여, 컬러 영상을 가장 근접하게 재생성하는 한 개 이상의 디퓨즈 조명 상수를 구할 수 있다.
도 13은 일 실시 예에 따른 조명 처리 장치를 포함하는 영상 처리 장치의 구성을 나타내는 도면이다.
도 13을 참조하면, 영상 처리 장치(1100)는 영상 생성부(1110), 조명 정보 추출부(1120) 및 영상 합성부(1130)를 포함한다. 또한, 영상 처리 장치(1100)는 디스플레이(1140)를 더 포함할 수 있다.
영상 생성부(1110)는 컬러 영상 및 깊이 영상에 기반하여 스펙큘라 영상과 그림자 영상 중 적어도 하나를 생성한다. 즉, 영상 생성부(1110)는 도 2의 오차 영상 분리부(230)의 기능을 수행할 수 있다.
조명 정보 추출부(1120)는 스펙큘라 영상과 그림자 영상 중 적어도 하나로부터 지향성 조명 정보를 추출할 수 있다. 또한, 조명 정보 추출부(1120)는 컬러 영상 및 깊이 영상에 기반하여 디퓨즈 조명 정보를 추출할 수 도 있다.
다른 실시예로, 영상 생성부(1110)가 디퓨즈 조명 정보를 추출하고, 이를 이용하여 디퓨즈 영상을 생성할 수도 있다.
영상 합성부(1130)는 지향성 조명 정보 및 디퓨즈 조명 정보 중 적어도 하나를 이용하여 조명 조건을 생성하고, 생성된 조명 조건이 적용된 가상의 객체를 컬러 영상에 합성할 수 있다.
따라서, 영상 처리 장치(1100)는 입력된 영상의 특정 장면(scene)으로부터 조명 조건을 생성하고, 추출된 조명 조건이 적용된 가상의 객체를 상기 특정 장면에 삽입할 수 있다. 또한, 영상 처리 장치(1100)는 디스플레이(1140)를 통해 가상의 객체가 삽입된 장면을 디스플레이 할 수 있다.
디퓨즈 조명 정보와 지향성 조명 정보 중 어느 하나만 이용하여 조명 조건을 생성하고, 생성된 조명 조건이 적용된 가상의 객체를 칼라 영상에 삽입하는 실시예도 가능하다. 또한, 스펙큘러 영상과 그림자 영상 중 어느 하나만 이용하여 지향성 조명 정보를 추출하는 실시예도 가능하다. 이에 적합하도록, 앞서 설명한 조명 처리 장치나 영상 처리 장치의 구성 요소들의 기능이 수정될 수도 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (24)

  1. 실제 객체의 컬러 영상 및 깊이 영상을 이용하여 상기 객체에 적용된 디퓨즈 조명 정보를 추출하는 디퓨즈 추출부;
    상기 추출된 디퓨즈 조명 정보를 이용하여 상기 실제 객체에 대한 디퓨즈 영상을 복원하는 디퓨즈 복원부; 및
    상기 복원된 디퓨즈 영상과 상기 컬러 영상을 이용하여 스펙큘라 영상 및 그림자 영상 중 적어도 하나를 생성하는 오차 영상 분리부를 포함하는,
    조명 처리 장치.
  2. 제1항에 있어서,
    상기 스펙큘라 영상과 상기 그림자 영상 중 적어도 하나로부터 지향성 조명 정보를 추출하는 지향성 조명 정보 추출부를 더 포함하는,
    조명 처리 장치.
  3. 제2항에 있어서,
    상기 추출된 디퓨즈 조명 정보, 상기 추출된 지향성 조명 정보 및 상기 컬러 영상을 이용하여 상기 실제 객체에 적용된 조명 환경의 밝기를 결정하는 조명 조건 결정부를 더 포함하는,
    조명 처리 장치.
  4. 제1항에 있어서,
    상기 디퓨즈 복원부는,
    상기 깊이 영상의 노멀 맵(Normal Map)을 생성하는 노멀 맵 생성부;
    상기 생성된 노멀 맵으로부터 상기 깊이 영상의 저
    Figure pat00008
    기저 함수 모델을 생성하는 모델 생성부; 및
    상기 저기저 함수 모델을 상기 컬러 영상에 적용하여 상기 컬러 영상을 가장 근접하게 재생성하는 한 개 이상의 디퓨즈 조명 상수를 구하는 조명 상수 산출부
    를 포함하는, 조명 처리 장치.
  5. 제4항에 있어서,
    상기 디퓨즈 조명 정보는 상기 한 개 이상의 디퓨즈 조명 상수의 조합인, 조명 처리 장치.
  6. 제1항에 있어서,
    상기 오차 영상 분리부는 상기 디퓨즈 영상과 상기 컬러 영상의 밝기를 비교하여 밝기값 오차를 나타내는 오차 영상을 생성하고, 상기 오차 영상을 스펙큘라 영상과 그림자 영상으로 분리하는 오차 영상 분리부
    를 더 포함하는, 조명 처리 장치.
  7. 제6항에 있어서,
    상기 스펙큘라 영상은 상기 오차 영상에서 기 설정된 기준값보다 밝은 픽셀을 포함하고, 상기 그림자 영상은 상기 오차 영상에서 상기 기준값 보다 어두운 픽셀을 포함하는, 조명 처리 장치.
  8. 제2항에 있어서,
    상기 지향성 조명 정보 추출부는 상기 스펙큘라 영상의 로컬 영역 별로 가장 밝은 지점의 노멀 벡터 및 상기 실제 객체를 촬영한 카메라의 위치를 이용하여, 상기 실제 객체에 적용된 조명의 방향을 상기 지향성 조명 정보로 추출하는, 조명 처리 장치.
  9. 제2항에 있어서,
    상기 지향성 조명 정보 추출부는, 상기 그림자 영상을 이루는 픽셀들마다 그림자를 발생시킨 조명 방향을 추출하고, 상기 추출된 조명 방향의 분포도에서 피크 값을 나타내는 방향을 상기 지향성 조명 정보로 추출하는, 조명 처리 장치.
  10. 제3항에 있어서,
    상기 조명 조건 결정부는, 다음 식을 이용하여 상기 조명의 밝기를 결정하고,
    Figure pat00009

    상기 식에서, sk는 조명의 밝기, S는 조명의 전체 개수, I는 상기 컬러 영상, L은 상기 디퓨즈 반사 조명 환경을 이루는 디퓨즈 조명 상수의 전체 개수, fD는 디퓨즈 반사를 표현하는 모델, fS는 스펙큘라 반사를 표현하는 모델, ck는 상기 디퓨즈 조명 상수, bk는 상기 스펙큘라 반사 조명 환경을 이루는 상기 조명의 빛 방향, depth는 상기 깊이 영상의 깊이값,
    Figure pat00010
    는 뷰 포인트인 조명 처리 장치.
  11. 실제 객체의 컬러 영상 및 깊이 영상을 이용하여 상기 객체에 적용된 디퓨즈 조명 정보를 추출하고, 상기 추출된 디퓨즈 조명 정보를 이용하여 상기 실제 객체에 대한 디퓨즈 영상을 복원하는 단계; 및
    상기 복원된 디퓨즈 영상과 상기 컬러 영상을 이용하여 스펙큘라 영상 및 그림자 영상 중 적어도 하나를 생성하는 단계를 포함하는,
    조명 처리 방법.
  12. 제11항에 있어서,
    상기 추출된 디퓨즈 조명 정보, 상기 추출된 지향성 조명 정보 및 상기 컬러 영상을 이용하여 상기 실제 객체에 적용된 조명 환경의 밝기를 결정하는 단계를 더 포함하는,
    조명 처리 방법.
  13. 제11항에 있어서,
    상기 컬러 영상 및 깊이 영상은 3차원 영상에 실제 적용되는 객체의 영상들인, 조명 처리 방법.
  14. 제11항에 있어서,
    상기 디퓨즈 영상을 복원하는 단계는,
    상기 깊이 영상의 노멀 맵(Normal Map)을 생성하는 단계;
    상기 생성된 노멀 맵으로부터 상기 깊이 영상의 저
    Figure pat00011
    기저 함수 모델을 생성하는 단계; 및
    상기 저기저 함수 모델을 상기 컬러 영상에 적용하여 상기 컬러 영상을 가장 근접하게 재생성하는 한 개 이상의 디퓨즈 조명 상수를 구하는 단계
    를 포함하는, 조명 처리 방법.
  15. 제14항에 있어서,
    상기 디퓨즈 조명 정보는 상기 한 개 이상의 디퓨즈 조명 상수의 조합인, 조명 처리 방법.
  16. 제11항에 있어서,
    상기 디퓨즈 영상과 상기 컬러 영상의 밝기를 비교하여 밝기값 오차를 나타내는 상기 오차 영상을 생성하고, 상기 오차 영상을 분석하여 상기 오차 영상을 스펙큘라 영상과 그림자 영상으로 분리하는 단계를 더 포함하는, 조명 처리 방법.
  17. 제16항에 있어서,
    상기 스펙큘라 영상은 상기 오차 영상에서 기 설정된 기준값보다 밝은 픽셀을 포함하고, 상기 그림자 영상은 상기 오차 영상에서 상기 기준값 보다 어두운 픽셀을 포함하는, 조명 처리 방법.
  18. 제16항에 있어서,
    상기 스펙큘라 영상과 상기 그림자 영상 중 적어도 하나로부터 지향성 조명 정보를 추출하는 단계를 더 포함하는, 조명 처리 방법.
  19. 제18항에 있어서,
    상기 추출된 디퓨즈 조명 정보, 상기 추출된 지향성 조명 정보 및 상기 컬러 영상을 이용하여 상기 실제 객체에 적용된 조명 환경의 밝기를 결정하는 단계를 더 포함하는, 조명 처리 방법.
  20. 제18항에 있어서,
    상기 지향성 조명 정보를 추출하는 단계는,
    상기 스펙큘라 영상의 로컬 영역 별로 가장 밝은 지점의 노멀 벡터 및 상기 실제 객체를 촬영한 카메라의 위치를 이용하여, 상기 실제 객체에 적용된 조명의 방향을 상기 지향성 조명 정보로 추출하는 것을 포함하는, 조명 처리 방법.
  21. 제12항에 있어서,
    상기 결정하는 단계는, 다음 식을 이용하여 상기 조명의 밝기를 결정하는 조명 처리 방법:
    Figure pat00012

    상기 식에서, sk는 조명의 밝기, S는 조명의 전체 개수, I는 상기 컬러 영상, L은 상기 디퓨즈 반사 조명 환경을 이루는 디퓨즈 조명 상수의 전체 개수, fD는 디퓨즈 반사를 표현하는 모델, fS는 스펙큘라 반사를 표현하는 모델, ck는 상기 디퓨즈 조명 상수, bk는 상기 스펙큘라 반사 조명 환경을 이루는 상기 조명의 빛 방향, depth는 상기 깊이 영상의 깊이값,
    Figure pat00013
    는 뷰 포인트.
  22. 컬러 영상 및 깊이 영상에 기반하여 스펙큘라 영상과 그림자 영상 중 적어도 하나를 생성하는 영상 생성부; 및
    상기 생성된 스펙큘라 영상과 그림자 영상 중 적어도 하나로부터 지향성 조명 정보를 추출하는 조명 정보 추출부를 포함하는, 영상 처리 장치.
  23. 제22항에 있어서,
    상기 추출된 지향성 조명 정보 기반의 조명 조건이 적용된 가상의 객체를 상기 컬러 영상에 합성하는 영상 합성부를 더 포함하는, 영상 처리 장치.
  24. 컬러 영상 및 깊이 영상에 기반하여 상기 컬러 영상에 적용된 지향성 조명 정보를 추출하는 조명 정보 추출부; 및상기 추출된 지향성 조명 정보 기반의 조명 조건이 적용된 가상의 객체를 상기 컬러 영상에 합성하는 영상 합성부를 포함하는, 영상 처리 장치.
KR1020110131598A 2010-12-09 2011-12-09 영상 처리 장치, 조명 처리 장치 및 그 방법 KR101885090B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013543107A JP5795384B2 (ja) 2010-12-09 2011-12-09 映像処理装置、照明処理装置及びその方法
US13/992,513 US9563959B2 (en) 2010-12-09 2011-12-09 Image processor, lighting processor and method therefor
EP11847213.3A EP2650843A4 (en) 2010-12-09 2011-12-09 Image processor, lighting processor and method therefor
CN201180059616.0A CN103262126B (zh) 2010-12-09 2011-12-09 图像处理装置、照明处理装置及其方法
PCT/KR2011/009506 WO2012078006A2 (ko) 2010-12-09 2011-12-09 영상 처리 장치, 조명 처리 장치 및 그 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US42135410P 2010-12-09 2010-12-09
US61/421,354 2010-12-09
KR1020110003885 2011-01-14
KR20110003885 2011-01-14

Publications (2)

Publication Number Publication Date
KR20120064641A true KR20120064641A (ko) 2012-06-19
KR101885090B1 KR101885090B1 (ko) 2018-08-03

Family

ID=46684677

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110131598A KR101885090B1 (ko) 2010-12-09 2011-12-09 영상 처리 장치, 조명 처리 장치 및 그 방법

Country Status (6)

Country Link
US (1) US9563959B2 (ko)
EP (1) EP2650843A4 (ko)
JP (1) JP5795384B2 (ko)
KR (1) KR101885090B1 (ko)
CN (1) CN103262126B (ko)
WO (1) WO2012078006A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101863648B1 (ko) * 2017-01-11 2018-06-04 대양의료기(주) 척추 측만 정도 측정 장치 및 방법
KR20190112894A (ko) * 2018-03-27 2019-10-08 삼성전자주식회사 3d 렌더링 방법 및 장치
KR20210013150A (ko) * 2018-05-24 2021-02-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 조명 추정
US11778046B2 (en) 2014-02-13 2023-10-03 Nec Corporation Virtualized communication device and method therefor

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941907B1 (ko) * 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
JP6010004B2 (ja) * 2013-09-02 2016-10-19 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2015081213A1 (en) * 2013-11-27 2015-06-04 Children's National Medical Center 3d corrected imaging
CN104933390B (zh) * 2014-03-19 2018-02-13 富士通株式会社 生成皮肤图像的方法、装置以及电子设备
KR102273020B1 (ko) * 2014-06-18 2021-07-05 삼성전자주식회사 의료 영상 정합 방법 및 그 장치
EP3057067B1 (en) * 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
CN111612882B (zh) 2020-06-10 2023-04-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021388A (ja) * 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム
JP4071955B2 (ja) * 2000-11-21 2008-04-02 ヒューレット・パッカード・カンパニー コンピュータ・グラフィックス・システムにおける鏡面反射照明の効率的なラスタライザ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4144960B2 (ja) * 1999-03-18 2008-09-03 三洋電機株式会社 撮像装置及び画像合成装置並びに方法
JP2001014485A (ja) * 1999-07-01 2001-01-19 Matsushita Electric Ind Co Ltd 画像表示装置
US6639594B2 (en) * 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis
KR20030076470A (ko) 2003-06-19 2003-09-26 예원플라즈마 주식회사 전자제품의 보드내 플라스틱 캔을 이용한 이엠아이 및이에스디 차폐 장치 및 그 제조방법
US7262771B2 (en) 2003-10-10 2007-08-28 Microsoft Corporation Systems and methods for all-frequency relighting using spherical harmonics and point light distributions
JP4394122B2 (ja) * 2004-06-16 2010-01-06 有限会社テクノドリーム二十一 物体表面の反射特性をサンプリングして行う実時間レンダリングの方法及びテクスチャサイズを変換する方法
KR100609145B1 (ko) 2004-12-20 2006-08-08 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법
WO2006129791A1 (ja) * 2005-06-03 2006-12-07 Nec Corporation 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム
JP3910618B2 (ja) * 2005-07-19 2007-04-25 株式会社ルネサステクノロジ 画像生成装置
WO2007139070A1 (ja) * 2006-05-29 2007-12-06 Panasonic Corporation 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP4808600B2 (ja) * 2006-11-22 2011-11-02 デジタルファッション株式会社 レンダリングプログラム、レンダリング装置、及びレンダリング方法
CN100594519C (zh) * 2008-03-03 2010-03-17 北京航空航天大学 用球面全景摄像机实时生成增强现实环境光照模型的方法
JP4435867B2 (ja) * 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
EP2293541B1 (en) * 2008-06-26 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image division program and image synthesising method
CN101960859B (zh) * 2008-07-08 2013-04-10 松下电器产业株式会社 图像处理方法、图像处理装置、图像合成方法和图像合成装置
JP5136965B2 (ja) * 2008-09-03 2013-02-06 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR101100650B1 (ko) * 2008-11-11 2012-01-03 한국전자통신연구원 맵데이터를 이용한 간접조명 표현과 다층 변위매핑 시스템 및 그 방법
KR101028697B1 (ko) * 2008-12-30 2011-04-14 고려대학교 산학협력단 밝기 독립적인 텍스쳐 합성 장치 및 방법
CN101872491B (zh) * 2010-05-21 2011-12-28 清华大学 基于光度立体的自由视角重光照方法和系统
CN101972491B (zh) 2010-09-25 2014-01-08 上海交通大学医学院附属瑞金医院 一种葡萄串状微囊体系及其制备方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4071955B2 (ja) * 2000-11-21 2008-04-02 ヒューレット・パッカード・カンパニー コンピュータ・グラフィックス・システムにおける鏡面反射照明の効率的なラスタライザ
JP2004021388A (ja) * 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778046B2 (en) 2014-02-13 2023-10-03 Nec Corporation Virtualized communication device and method therefor
KR101863648B1 (ko) * 2017-01-11 2018-06-04 대양의료기(주) 척추 측만 정도 측정 장치 및 방법
KR20190112894A (ko) * 2018-03-27 2019-10-08 삼성전자주식회사 3d 렌더링 방법 및 장치
KR20210013150A (ko) * 2018-05-24 2021-02-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 조명 추정

Also Published As

Publication number Publication date
JP5795384B2 (ja) 2015-10-14
CN103262126B (zh) 2016-10-12
WO2012078006A3 (ko) 2012-10-04
US9563959B2 (en) 2017-02-07
WO2012078006A2 (ko) 2012-06-14
US20130251243A1 (en) 2013-09-26
EP2650843A2 (en) 2013-10-16
KR101885090B1 (ko) 2018-08-03
JP2014502741A (ja) 2014-02-03
EP2650843A4 (en) 2018-03-28
CN103262126A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
KR101671185B1 (ko) 렌더링을 위한 빛 및 질감 추출 장치 및 방법, 그리고, 빛 및 질감을 이용한 렌더링 장치
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
CN104380338B (zh) 信息处理器以及信息处理方法
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
US9418473B2 (en) Relightable texture for use in rendering an image
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
WO2016018422A1 (en) Virtual changes to a real object
CN112184873B (zh) 分形图形创建方法、装置、电子设备和存储介质
WO2019228144A1 (zh) 图像处理方法和装置
CN112884860B (zh) 水面波纹效果生成方法、装置、电子设备和存储介质
JP2019527355A (ja) デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
US20230368459A1 (en) Systems and methods for rendering virtual objects using editable light-source parameter estimation
CN111199573A (zh) 一种基于增强现实的虚实互反射方法、装置、介质及设备
JP5909176B2 (ja) 陰影情報導出装置、陰影情報導出方法及びプログラム
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
Avots et al. Automatic garment retexturing based on infrared information
JP2009244229A (ja) 三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラム
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
Lin et al. Study on realistic texture mapping for 3D models
CN111369612A (zh) 一种三维点云图像生成方法及设备
Rasool et al. Image-driven haptic rendering in virtual environments
RU2778288C1 (ru) Способ и устройство для определения освещенности изображения лица, устройство и носитель данных
US20240096041A1 (en) Avatar generation based on driving views

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant