KR101747898B1 - 영상 처리 방법 및 이를 이용하는 영상 처리 장치 - Google Patents

Abstract

영상 처리 방법 및 이를 이용하는 장치가 개시된다. 본 발명의 일 측면에 따른 영상 처리 방법은, 복수의 촬상 장치로부터 입력된 복수의 영상을 획득하는 단계, 획득된 복수의 영상과 모델 영상을 비교하여 조명 특징을 모델링하는 단계 및 상기 조명 특징의 모델링 결과를 렌더링에 적용하는 단계를 포함한다.

Description

영상 처리 방법 및 이를 이용하는 영상 처리 장치{METHOD FOR IMAGE PROCESSING AND APPARATUS USING THE METHOD}

본 발명은 영상 처리 방법 및 이를 이용하는 영상 처리 장치에 관한 것으로, 더욱 상세하게는 3차원 아바타의 얼굴 데이터를 보다 사실적으로 렌더링하는 영상 처리 방법 및 이를 이용하는 영상 처리 장치에 관한 것이다.

영화나 애니메이션 제작에서 3D 및 CG(Computer Graphics) 기술의 사용이 늘어감에 따라, 디지털 액터 혹은 3D 아바타의 등장이 빈번해졌다. 더구나 영상 콘텐츠가 갈수록 고품질화됨에 따라, 3D 아바타가 실제 사람과 구별하기 힘들 정도의 극사실적인 렌더링(rendering)의 요구가 급증하였다.

아무리 극사실적인 3D 아바타의 렌더링도 그래픽 배경을 벗어나, 실사 배경영상과 합성하면 그 결과는 이질감이 발생한다. 이는 영상간의 조명 차이로 인해 발생하며, 피부의 경우가 더욱 심각하다.

이를 해결하기 위해서 영상 기반 렌더링(physically rendering) 기법을 적용하는 시도가 있었는데, 실제 사람을 촬영한 영상으로부터 측정된 텍스처, 재질, 반사 특징 등의 특징을 이용하여 사실적인 렌더링을 하는 것이다. 하지만, 영상 기반 렌더링에 사용되는 데이터는 실제 사람으로부터 추출하기도 어렵지만, 이를 활용하여 렌더링하기는 더욱 어렵다는 문제가 있다.

상술한 문제점을 극복하기 위한 본 발명의 목적은, 실제 사람의 촬영 영상에서 특징 데이터를 추출하여 이를 렌더링에 적용하는 피부 렌더링을 수행하는 영상 처리 방법을 제공하는 데 있다.

본 발명의 또 다른 목적은 상기 피부 렌더링 방법을 이용하는 영상 처리 장치를 제공하는 데 있다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 처리 방법은, 복수의 촬상 장치로부터 입력된 복수의 영상을 획득하는 단계, 획득된 복수의 영상과 모델 영상을 비교하여 조명 특징을 모델링하는 단계 및 상기 조명 특징의 모델링 결과를 렌더링에 적용하는 단계를 포함한다.

본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 처리 장치는, 복수의 카메라가 촬영한 복수의 사용자 영상을 획득하여 카메라 정보에 따라 영상을 보정하여 보정된 영상을 출력하는 영상 획득부 및 영상 획득부가 제공하는 실제 촬영되어 보정된 영상을 3D로 생성된 아바타의 얼굴을 비교함으로써 각 조명의 특징 및 모델에 미치는 영향력을 계산하여 조명 특징을 모델링하고 모델링 결과를 렌더링에 적용하는 제어부를 포함한다.

상술한 바와 같은 본 발명에 따르면, 사람의 촬영 영상으로부터 손쉽게 특징 데이터의 추출이 가능하고, 추출된 특징 데이터를 렌더링에 쉽게 적용할 수 있어 실제 영상 콘텐츠 제작 현장에서 활용도가 높다는 장점이 있다.

따라서, 본 발명을 사용하는 경우 영상 처리의 처리 속도 향상 또한 기대할 수 있다.

도 1은 본 발명에 따른 피부 렌더링 방법의 동작 순서도이다.
도 2는 본 발명의 일 실시예에 따른 영상 획득을 위한 촬영 공간 배치도이다.
도 3은 본 발명에 따른 영상 획득 동작의 세부 순서도이다.
도 4는 본 발명에 따른 조명 모델링 동작의 세부 순서도이다.
도 5는 본 발명에 따른 렌더링 동작의 세부 순서도이다.
도 6은 본 발명에 따른 영상 처리 장치의 블록 구성도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 본 명세서에서 설명하는 각 블록 또는 각 단계는 특정 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇몇 실시예들에서는 블록들 또는 단계들에서 언그되는 기능들이 순서를 벗어나서 발생하는 것도 가능함이 인지되어야 할 것이다. 예를 들어, 연이어 도시되는 두 개의 블록들 또는 단계들이 동시에 수행되거나, 그 블록들 또는 단계들이 해당하는 기능에 따라 때때로 역순으로 수행되는 것 또한 가능하다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명에 따른 피부 렌더링 방법의 동작 순서도이다.

본 발명은 얼굴을 다수의 카메라로 촬영한 영상을 이용하여, 미리 만들어진 3차원 얼굴 데이터를 보다 사실적으로 렌더링하는 방법에 관한 것으로, 개략적으로 도 1에 나타낸 동작 순서를 포함한다.

도 1을 참조하면, 본 발명에 따른 영상 처리 방법은 크게 3단계로 이루어진다.

제1 단계(S100)는 N개의 조명(light)이 순차적으로 켜졌다 꺼지는 제어 조명 환경에서, 일정한 공간에 분포된 M대의 카메라를 이용하여 실제 사람의 얼굴을 촬영하여 영상을 준비하는 단계이다.

제2 단계(S200)는 각 카메라 영상으로부터 획득한 실제 사람의 영상과 3D로 생성된 아바타의 얼굴을 비교함으로써 각 조명의 특징 및 모델에 미치는 영향력을 계산하여 조명 특징을 모델링하는 단계이다.

제3 단계(S300)는 CG(Computer Graphics) 환경에서의 조명과의 관계를 파악하여 모델링 결과를 렌더링에 적용하는 단계이다.

도 2는 본 발명의 일 실시예에 따른 영상 획득을 위한 촬영 공간 배치도이다.

도 2에서는 본 발명의 일 실시예에 따라 3대의 카메라를 이용해 실제 사람의 얼굴을 촬영하는 경우, 3대의 카메라 및 사람 얼굴의 배치도이다.

본 발명은 제어된 조명에 따라, 다수의 카메라로 촬영한 얼굴 영상을 입력으로 얼굴 피부의 특징을 모델링하고 이를 렌더링에 적용하여, 3차원 아바타의 얼굴 데이터를 보다 사실적으로 표현한다.

본 발명의 일 실시예로서 도 2에서는, 앞서 도 1을 통해 설명한 바와 같은 제1 단계(100)에서 얼굴 영상을 획득하기 위해, 실제 사람(10)의 얼굴 촬영시 3대의 카메라(120, 121, 122)를 얼굴의 앞쪽 및 양 옆쪽에 배치한 모습을 보여주고 있다. 도 2에서는 카메라의 배치를 보다 쉽게 인지할 수 있도록, 평면도 형태로 천장에서 아래를 내려다 본 경우에 3대의 카메라 및 얼굴의 배치를 나타내고 있다.

도 2에서는 카메라가 3대 사용된 실시예를 도시하고 있으나, 본 발명에 따른 실시예가 이에 한정되는 것은 아니며, 보다 정교한 데이터를 얻기 위해 4대 이상의 카메라 사용 또한 가능하다. 본 명세서에서는 편의상 M대의 카메라로 정의한다.

도 3은 본 발명에 따른 영상 획득 동작의 세부 순서도이다.

도 3에서는, 카메라 1 내지 카메라 M(120 내지 124)을 이용하여 촬영된 영상 1-1 내지 영상 1-M(130 내지 134)이 보정(140 내지 144)을 거쳐 최종 보정된 영상 1-1 내지 1-M(160~164)으로 만들어지는 과정(도 1에서는 단계 S100으로 표현됨)을 도시한다.

하나의 조명(예를 들어, 도 3의 조명 1(110))에 대해 최종 M개의 영상(160 내지 164)이 생성되며, 본 발명에서는 모두 N개의 조명, 즉, 조명 1 내지 조명 N(110 내지 170)을 가정하므로 도 3에 도시된 영상 획득 동작에서는 M × N개의 최종 입력 영상, 즉 보정된 영상 1-1 내지 보정된 영상 N-M(160 내지 194)이 생성된다.

도 3에 도시된 조명 1(110)에 대한 영상 촬영을 고려하면, 조명 1(110)을 이용해 각 카메라(120 내지 124)에서 촬영된 영상(130 내지 134)은 각 카메라에 대한 보정 정보(150)를 이용하여 카메라별로 보정 과정(140 내지 144)을 거치는데, 이때 색 보정 및 기하 보정을 통해 최종 M개의 입력 영상(160 내지 164)이 생성된다. 여기서, 보정 과정에 사용되는 보정 기법은 일반적으로 사용되는 보정 기법을 이용할 수 있으며 본 발명에서는 자세히 다루지 않는다.

하나의 조명, 즉 조명 1에 대한 촬영 과정이 완료되면, 다음 조명인 조명 2 내지 조명 N에 대해 순차적으로 촬영 과정이 반복된다. 하지만, 카메라 배치 또는 카메라 보정 정보(150)는 변경되지 않으므로 N번의 촬영 과정에서 반복 사용될 수 있다.

다시 말해, 실제 촬영한 영상(130 내지 134 및 180 내지 184)과 카메라 보정 정보에 따라 보정된 영상(160 내지 164 및 190 내지 194)이 별도의 결과물로 생성된다.

본 발명에 따른 영상 획득 동작(S100)에서는 또한, 각각의 조명에 대해 조명의 밝기, 조명의 방향 및 조명의 위치 등 조명에 대한 정보(111, 171)를 기록해 두었다가 다음 단계에서 사용한다.

도 4는 본 발명에 따른 조명 모델링 동작의 세부 순서도이다.

구체적으로 도 4에서는, 도 3에서 설명한 바와 같은 조명에 따라 획득한 보정된 영상 1-1 내지 1-M, 그리고 보정된 영상 N-1 내지 N-M(160내지 164, 190 내지 194)를 이용하여 조명의 특성을 모델링하는 동작(S200)의 구체적인 세부 순서를 나타낸다.

도 4의 조명 모델링 동작(S200)에서는 촬영한 사람의 3D 모델 메쉬(3D model mesh)(210)와 텍스처(texture)(220) 및 앞서 설명된 영상 획득 단계(S100)에서 획득한 M × N 개의 영상, 즉 보정된 영상 1-1 내지 보정된 영상 1-M(160 내지 194)이 입력으로 사용된다.

3D 메쉬 및 텍스처(210 및 220)는 3D 스캐닝 등의 기법을 사용해 제작될 수 있으며, 본 발명에서는 3D 메쉬 및 텍스처의 제작에 대해서는 자세히 다루지 않는다.

본 발명에 따른 모델링 동작(S200)은, 3D 모델 메쉬(210), 텍스처(220) 및 보정된 영상 1-1 내지 보정된 영상 1-M(160 내지 194)을 입력으로 수신하여, 3D 메쉬(210)의 각 포인트에 대응하는 이미지의 대응 관계를 구하고(S230), 각 포인트 별 이미지의 조명 효과를 분석한다.

본 발명에 따른 모델링 동작(S200)에서는 이후, 3D 메쉬(210)의 각 포인트 및 영상 간의 매핑 데이터를 저장하고(231), 각 포인트에 대해 텍스처(220)의 색상값(R,G,B)과 비교하여 색상별 강도(intensity)를 계산한다(S240). 색상별 강도 계산을 통해 각 조명에 대해 영향을 받는 포인트들의 정보(241) 및 각 포인트에서의 영상의 영향력 계수(weight) 및 강도(intensity) 값(242)을 산출한다.

이를 통해 피부의 재질감, 조명에 따른 반사 특징에 관한 데이터가 획득되며, 이 데이터를 렌더링에 적용하면 사실적인 렌더링이 가능하다.

도 5는 본 발명에 따른 렌더링 동작의 세부 순서도이다.

도 5의 렌더링 동작(S300)은, 앞서 도 4를 통해 설명한 모델링 동작(S200)에서 획득한 데이터인 각 조명에 대해 영향을 받는 포인트들의 정보(241) 및 각 포인트에서의 영상의 영향력 계수 및 강도 값(242)을 적용하여 사실적인 렌더링을 수행하는 단계를 나타낸다.

여기서, 렌더링은 CG로 만들어진 3D 데이터들을 쉐이딩하여 최종 영상을 만들어내는 절차를 의미한다. 일반적인 렌더링은 CG 조명(310)에 따라 3D 메쉬 데이터(210) 및 텍스처(220)에 대해 조명에 기초한 포인트 쉐이딩을 수행하여(S320), 포인트 쉐이딩 값(321)을 획득함으로써 이루어진다.

본 발명에서는 일반적인 렌더링에 더하여, 조명에 영향을 받는 3D 메쉬 각 조명-포인트의 데이터(241)와 각 포인트에서의 계수 및 강도(242)를 렌더링에 적용하는 단계를 추가로 포함한다. 여기서, 조명-포인트의 데이터(241) 및 각 포인트에서의 계수 및 강도 값(242)은 도 4에 따른 동작의 산출 값인 조명-포인트 데이터(241) 및 그에 대한 포인트-강도 값(242)과 동일한 값이다.

본 발명에 따른 렌더링 방법은, CG 조명 정보(311)로부터 도출 가능한 3D 메쉬 각 조명-포인트의 데이터(241)와 각 포인트에서의 계수 및 강도 값(242)과 영상획득 당시의 조명정보(111)를 분석하여, 기존 조명에 맞게 구축되어 있는 데이터(241, 242)를 보간한다(S330). 보간의 결과로 CG 조명에 맞게 변형된 메쉬의 각 포인트의 데이터(331)를 획득할 수 있다.

보간된 포인트 강도(331)는 일반적인 포인트 쉐이딩 방법에 의해 획득된 포인트 쉐이딩 값(321)과 합쳐지고, 이로써 최종 렌더링 영상(340)이 획득된다.

본 발명에서 사용하는 조명 모델링 데이터는 메쉬와 영상을 매핑시킨 매우 단순한 형태이므로 렌더링에 손쉽게 적용 가능하고, 따라서, 렌더링 속도의 향상 및 기존 렌더링 방법과의 높은 호환성을 제공할 수 있다.

도 6은 본 발명에 따른 영상 처리 장치의 블록 구성도이다.

도 6에 도시된 본 발명의 일 실시예에 따른 영상 처리 장치는, 영상 획득부(610), 제어부(620), 저장부(630), 및 디스플레이부(640)를 포함할 수 있다.

영상 획득부(610)는 복수의 카메라가 촬영한 복수의 사용자 영상을 획득하여 카메라 정보에 따라 영상을 보정하여 보정된 영상을 출력한다.

제어부(620)는 영상 획득부(610)가 제공하는 실제 촬영되어 보정된 영상을 3D로 생성된 아바타의 얼굴과 비교함으로써 각 조명의 특징 및 모델에 미치는 영향력을 계산하여 조명 특징을 모델링하고, CG(Computer Graphics) 환경에서의 조명과의 관계를 파악하여 조명 특징의 모델링 결과를 렌더링에 적용한다.

저장부(630)는 복수의 조명에 대한 조명 정보(111 내지 171), 복수의 카메라 각각에 대한 카메라 보정 정보(150) 등 본 발명에 따른 렌더링 및 영상 처리 중에 생성 및 취득되는 각종 영상 및 영상 관련 정보를 저장한다.

디스플레이부(640)는 최종 렌더링된 영상을 3D로 디스플레이한다.

이상의 실시예를 통해 설명한 바와 같은 본 발명의 구성에 따르면, 3D 아바타의 대상이 되는 실제 사람의 영상을 촬영하여, 3D 아바타의 렌더링에 적용하는 것으로, 실제 사람의 영상으로부터 3D 아바타 메쉬의 각 점에 대한 쉐이딩 값을 얻어내고 이를 적용함으로서 3D 아바타 얼굴의 사실적인 렌더링이 가능하다는 효과가 있다.

본 발명에 따라 생성된 영상은 또한, 주로 얼굴 피부의 렌더링시 큰 효과를 발휘할 수 있다.

본 발명에서는 기존 영상기반 렌더링 기법에서 힘들었던 점을 개선하여 실제 사람의 촬영 영상에서 손쉽게 특징 데이터를 추출하고, 이를 렌더링에 쉽게 적용할 수 있는 방법을 제공함으로써, 처리 속도의 향상을 기대할 수 있다.

이로써, 본 발명은 영상 콘텐츠 제작뿐 아니라 아바타 게임 및 가상현실 콘텐츠 제작에 널리 활용될 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

120, 121, 122: 카메라 110, 170: 조명
600: 영상 처리 장치 610: 영상 획득부
620: 제어부 630: 저장부
640: 디스플레이부

Claims (15)

1. 영상 처리 장치에 의해 수행되는, 조명 특징에 기반한 영상 처리 방법에 있어서,
   적어도 하나의 조명이 제어되는 조명 환경에서 각 조명별로 독립하여 촬영 대상을 촬영한, 복수의 영상을 획득하는 단계;
   획득한 복수의 영상과 상기 촬영 대상에 대한 3D 모델 메쉬와 텍스처를 포함하는 모델 영상을 비교하여 상기 조명 환경에 대한 특징을 모델링하는 단계; 및
   상기 조명 환경에 대한 특징을 모델링한 결과를 렌더링에 적용하는 단계를 포함하고,
   상기 조명 환경에 대한 특징을 모델링하는 단계는,
   상기 3D 모델 메쉬의 각 포인트와 상기 획득한 복수의 영상을 매핑하여, 상기 획득한 복수의 영상 각각에서 상기 3D 모델 메쉬와 대응되는 포인트를 결정하는 단계;
   매핑한 결과에 따라, 상기 3D 모델 메쉬의 각 포인트에 대응되는 텍스처의 색상값을 상기 획득한 복수의 영상 각각에서 결정된 포인트의 색상값과 비교하여 색상별 강도를 결정하는 단계; 및
   결정한 색상별 강도에 기반하여 상기 촬영 대상에 대한 재질감 및 반사 특징 중 적어도 하나에 관한 정보를 획득하는 단계를 포함하고,
   상기 재질감 및 반사 특징에 관한 정보는,
   상기 적어도 하나의 조명 각각에 대해 영향을 받는 포인트들의 정보, 상기 포인트들 각각에서의 영향력 계수(weight) 및 강도(intensity) 값 중 적어도 하나를 포함하는, 영상 처리 방법.
2. 청구항 1에 있어서,
   상기 촬영 대상은 사람의 얼굴인 것을 특징으로 하는, 영상 처리 방법.
3. 청구항 1에 있어서,
   상기 복수의 영상을 획득하는 단계는,
   상기 적어도 하나의 조명이 각각 순차적으로 온오프되는 조명 환경에서, 상기 촬영 대상을 중심으로 배치된 복수의 촬상 장치를 이용하여 촬영된 복수의 영상을 획득하는 것을 특징으로 하는, 영상 처리 방법.
4. 청구항 1에 있어서,
   상기 조명 환경에 대한 특징을 모델링하는 단계는,
   상기 획득한 복수의 영상을 보정 정보를 이용하여 보정하는 단계; 및
   상기 보정된 복수의 영상과 상기 촬영 대상에 대한 모델 영상을 비교하여 상기 조명 환경의 특징을 모델링하는 단계를 포함하는, 영상 처리 방법.
5. 삭제
6. 삭제
7. 청구항 1에 있어서,
   상기 매핑하는 단계 이후에,
   상기 매핑한 결과를 저장하는 것을 특징으로 하는, 영상 처리 방법.
8. 삭제
9. 청구항 1에 있어서,
   상기 렌더링에 적용하는 단계는,
   상기 모델 영상에서의 CG(Computer Graphics) 조명 정보와 상기 적어도 하나의 조명에 대한 정보를 분석하여, 상기 CG 조명 정보가 반영되도록 상기 모델링 결과를 보간하고, 이를 렌더링에 적용하는 것을 특징으로 하는, 영상 처리 방법.
10. 조명 특징에 기반한 영상 처리 장치에 있어서,
    적어도 하나의 조명이 제어되는 조명 환경에서 각 조명별로 독립하여 촬영 대상을 촬영한, 복수의 영상을 획득하는 영상 획득부; 및
    상기 영상 획득부에 의해 획득된 복수의 영상을 상기 촬영 대상에 대한 3D 모델 메쉬와 텍스처를 포함하는 모델 영상과 비교하여 상기 조명 환경에 대한 특징을 모델링하고, 모델링한 결과를 렌더링에 적용하는 제어부를 포함하고,
    상기 제어부는,
    상기 촬영 대상에 대한 3D 모델 메쉬의 각 포인트와 상기 영상 획득부에 의해 상기 획득된 복수의 영상을 매핑하여, 상기 획득된 복수의 영상 각각에서 상기 3D 모델 메쉬와 대응되는 포인트를 결정하고, 매핑 결과에 따라, 상기 3D 모델 메쉬의 각 포인트에 대응되는 텍스처의 색상값을 상기 영상 획득부에서 획득한 복수의 영상 각각에서 결정된 포인트의 색상값과 비교하여 색상별 강도를 결정하며, 결정한 색상별 강도에 기반하여, 상기 촬영 대상에 대한 재질감 및 반사 특징 중 적어도 하나에 관한 정보를 획득한 후, 이를 렌더링에 적용하고,
    상기 재질감 및 반사 특징에 관한 정보는,
    상기 적어도 하나의 조명 각각에 대해 영향을 받는 포인트들의 정보, 상기 결정된 포인트들 각각에서의 영향력 계수(weight) 및 강도(intensity) 값 중 적어도 하나를 포함하는, 영상 처리 장치.
11. 청구항 10에 있어서,
    상기 영상 처리 장치는
    상기 제어부에 의해 수행된 렌더링 결과를 3D로 디스플레이하는 디스플레이부; 및
    상기 조명 환경에 대한 정보, 상기 복수의 영상 및 상기 모델링한 결과 중 적어도 하나를 저장하는 저장부를 더 포함하는 것을 특징으로 하는, 영상 처리 장치.
12. 청구항 10에 있어서,
    상기 영상 획득부는,
    상기 획득한 복수의 영상을 보정 정보를 이용하여 보정함으로써, 보정된 복수의 영상을 더 획득하는 것을 특징으로 하는, 영상 처리 장치.
13. 삭제
14. 삭제
15. 청구항 10에 있어서,
    상기 제어부는,
    상기 영상 획득부에 의해 획득된 복수의 영상을 상기 촬영 대상에 대한 모델 영상과 비교하여 상기 조명 환경에 대한 특징을 모델링하고, 모델링한 결과를 렌더링에 적용하되,
    상기 모델 영상에서의 CG(Computer Graphics) 조명 정보와 상기 적어도 하나의 조명에 대한 정보를 분석하여, 상기 CG 조명 정보가 반영되도록 상기 모델링 결과를 보간하고, 이를 렌더링에 적용하는 것을 특징으로 하는, 영상 처리 장치.
    

Images