KR20190040746A

KR20190040746A - 3차원 관심영역 복원 시스템 및 방법

Info

Publication number: KR20190040746A
Application number: KR1020170130731A
Authority: KR
Inventors: 김철휘; 김헌기; 송응열; 권영란; 이다솜; 윤선웅
Original assignee: 주식회사 대진애니메이션
Priority date: 2017-10-11
Filing date: 2017-10-11
Publication date: 2019-04-19

Abstract

본 발명은 3차원 관심영역 복원 시스템 및 방법에 관한 것이다.
본 발명에 따른 3차원 관심영역 복원 방법은, 영상 및 깊이 정보 획득부가 카메라에 의해 촬영된 영상으로부터 컬러 영상 정보를 획득하고, 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하는 단계와; 획득된 컬러 영상 및 깊이 영상 정보에 기초하여, 정밀한 3차원 복원 모델을 생성하기 위한 사전작업으로 카메라 캘리브레이션부에 의해 카메라에 대한 캘리브레이션을 수행하는 단계와; 관심영역 추정부에 의해 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하는 단계와; 3차원 복원 모델 생성 및 렌더링부에 의해 관심영역 추정부에 의해 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하는 단계와; 변환된 3차원 볼륨 모델을 바탕으로 3차원 복원 모델 생성 및 렌더링부에 의해 메쉬(mesh) 모델을 생성하는 단계; 및 3차원 복원 모델 생성 및 렌더링부가 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성하는 단계를 포함한다.

Description

3차원 관심영역 복원 시스템 및 방법{System and method for restoring three-dimensional interest region}

본 발명은 3차원 관심영역 복원 시스템 및 방법에 관한 것으로서, 더 상세하게는 사물에 대한 3차원 복원을 수행함에 있어서 관심영역을 지정하고, 지정된 관심영역의 객체만 3차원 복원을 수행함으로써, 컴퓨터 연산 자원을 줄이고, 후처리 과정을 필요로 하지 않는 3차원 관심영역 복원 시스템 및 방법에 관한 것이다.

3차원 복원은 컴퓨터 비젼, 컴퓨터 그래픽스, 모바일 로보틱스 등 여러 분야에서 클래식한 연구주제이다. 최근 깊이 정보와 컬러 정보를 동시에 획득할 수 있는 RGB-D 카메라가 널리 사용되고 있다. 이에 따라 실제 공간이나 물체 또는 움직이는 사람의 3차원 복원 결과는 다양한 응용분야에 적용되고 있으며, 향후 여러 산업분야에서 핵심 기술로 자리잡을 것으로 전망되고 있다.

3차원 복원 시스템은 사용자의 관심영역과 상관없이 깊이 정보를 모두 포함하고 있으며, 이러한 상태에서 3차원 복원을 수행한다. 따라서, 컴퓨터는 많은 자원을 낭비하게 되고, 모델 복원 시 사용자가 원하는 물체를 얻기 위해 별도로 편집해야 하는 불필요한 과정을 거치게 된다.

한편, 공개특허공보 제10-2013-0067882호(특허문헌 1)에는 "GPU를 이용한 실시간 3차원 외형 복원 모델 생성 방법 및 그 장치"가 개시되어 있는바, 이에 따른 3차원 외형 복원 모델 생성 장치는, 하나 이상의 카메라를 통해 입력된 영상 데이터를 획득하고, 상기 카메라에 대한 캘리브레이션을 수행하며, 상기 영상 데이터에 대해 전경 및 배경을 분리하여 전경/배경 분리 영상을 생성하는 입력 데이터 생성부; 상기 전경/배경 영상을 이용하여 멀티 GPU(graphics processing unit)를 통해 3차원 볼륨 모델을 생성하고, 상기 3차원 볼륨 모델을 처리하여 3차원 메쉬 모델을 생성하는 실시간 모델 생성부; 및 상기 3차원 메쉬 모델에 대한 텍스쳐를 매핑 및 합성하여 애니메이션 영상을 생성하는 실시간 랜더링부를 포함하여 구성된 것을 특징으로 한다.

이상과 같은 특허문헌 1의 경우, 멀티 GPU를 이용한 실시간 3차원 외형 복원 모델을 생성하기 위해 병렬 처리 방법, 예를 들면 CUDA(Compute Unified Device Architecture)를 사용함으로써 3차원 외형 복원 모델의 생성 속도를 증대시킬 수 있을지는 모르겠으나, 이 또한 사용자의 관심영역과 상관없이 깊이 정보를 모두 포함한 상태에서 3차원 복원을 수행한다. 따라서, 컴퓨터는 많은 자원을 낭비하게 되고, 모델 복원 시 사용자가 원하는 물체(객체)를 얻기 위해 별도로 편집해야 하는 불필요한 과정을 거치게 되는 문제를 내포하고 있다.

공개특허공보 제10-2013-0067882호(2013.06.25.)

본 발명은 상기와 같은 사항을 감안하여 창출된 것으로서, 사물에 대한 3차원 복원을 수행함에 있어서 자동 또는 수동으로 관심영역을 지정하고, 지정된 관심영역의 객체만 3차원 복원을 수행함으로써, 컴퓨터의 연산 자원을 줄이고, 후처리 과정을 필요로 하지 않는 3차원 관심영역 복원 시스템 및 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명의 제1 실시예에 따른 3차원 관심영역 복원 시스템은,

3차원 복원 대상의 객체를 360도 회전시키는 회전 수단과;

상기 객체의 360도 회전에 따라 객체의 다방면의 외형을 촬영하는 카메라와;

상기 카메라를 지지 및 고정하며, 카메라의 상,하 높이 조절이 가능한 높이 조절 수단과;

상기 회전 수단 및 높이 조절 수단의 동작을 제어하며, 상기 카메라에 의해 촬영된 영상에서 관심영역을 지정하고, 지정된 관심영역 내의 객체에 대해서만 3차원 복원을 수행하는 컴퓨터 시스템을 포함하는 점에 그 특징이 있다.

여기서, 상기 카메라로는 3차원 RGB-D(Red, Green, Blue-Depth) 카메라가 사용될 수 있다.

또한, 상기 컴퓨터 시스템은,

상기 카메라에 의해 촬영된 영상으로부터 컬러 영상 정보를 획득하고, 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하는 영상 및 깊이 정보 획득부와;

상기 획득된 컬러 영상 및 깊이 영상 정보에 기초하여, 정밀한 3차원 복원 모델을 생성하기 위한 사전작업으로 카메라에 대한 캘리브레이션을 수행하는 카메라 캘리브레이션부와;

상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하는 관심영역 추정부; 및

상기 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하고, 변환된 3차원 볼륨 모델을 바탕으로 메쉬(mesh) 모델을 생성하며, 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성하는 3차원 복원 모델 생성 및 렌더링부를 포함하여 구성될 수 있다.

또한, 상기의 목적을 달성하기 위하여 본 발명의 제2 실시예에 따른 3차원 관심영역 복원 시스템은,

3차원 복원 대상의 객체의 다방면의 외형을 촬영하는 카메라와;

상기 카메라를 지지 및 고정하되, 상기 카메라를 상하 수직이동 가능하게, 그리고 상기 객체를 중심으로 그 둘레를 360도 회전이 가능하게 지지 및 고정하는 카메라 지지 및 고정 수단과;

상기 카메라 지지 및 고정 수단의 동작을 제어하며, 상기 카메라에 의해 촬영된 영상에서 관심영역을 지정하고, 지정된 관심영역 내의 객체에 대해서만 3차원 복원을 수행하는 컴퓨터 시스템을 포함하는 점에 그 특징이 있다.

또한, 상기 컴퓨터 시스템은,

또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 3차원 관심영역 복원 방법은,

카메라와; 영상 및 깊이 정보 획득부, 카메라 캘리브레이션부, 관심영역 추정부, 3차원 복원 모델 생성 및 렌더링부를 구비하는 컴퓨터 시스템을 포함하는 3차원 관심영역 복원 시스템을 기반으로 한 3차원 관심영역 복원 방법으로서,

a) 상기 영상 및 깊이 정보 획득부가 상기 카메라에 의해 촬영된 영상으로부터 컬러 영상 정보를 획득하고, 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하는 단계와;

b) 상기 획득된 컬러 영상 및 깊이 영상 정보에 기초하여, 정밀한 3차원 복원 모델을 생성하기 위한 사전작업으로 상기 카메라 캘리브레이션부에 의해 카메라에 대한 캘리브레이션을 수행하는 단계와;

c) 상기 관심영역 추정부에 의해 상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하는 단계와;

d) 상기 3차원 복원 모델 생성 및 렌더링부에 의해 상기 관심영역 추정부에 의해 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하는 단계와;

e) 상기 변환된 3차원 볼륨 모델을 바탕으로 상기 3차원 복원 모델 생성 및 렌더링부에 의해 메쉬(mesh) 모델을 생성하는 단계; 및

f) 상기 3차원 복원 모델 생성 및 렌더링부가 상기 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성하는 단계를 포함하는 점에 그 특징이 있다.

여기서, 상기 단계 a)에서 상기 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하기 위해, 적외선을 이용하여 깊이 영상을 추정하는 깊이 카메라 방식 또는 2대의 컬러 카메라를 이용하여 기하학적인 방법을 통해 깊이 영상을 추정하는 스테레오 카메라 방식이 사용될 수 있다.

또한, 상기 단계 c)에서 상기 관심영역 추정부에 의해 상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하기 위해, 영상 데이터에서 R,G,B 각각의 채널에 가중치를 두어 현저한 맵(saliency map)을 생성하는 방법, 영상에서 특징점을 추출하고 특징점들의 관계를 통해 특징 맵(feature map)을 생성하는 방법, 영상의 밝기 차이를 이용하여 관심 영역을 생성하는 방법, 원본 영상에서 밝기의 강도, 색상, 방향 채널을 통합하여 현저한 맵을 생성하는 방법, 유사한 색상을 하나로 묶는 색상 양자화(color quantization)를 이용하는 방법, 영상의 중요한 부분을 생성하기 위해 가우시안 블러(Gaussian blur)를 적용하여 특징 맵을 생성하는 방법, CNN(Convolutional Neural Network)을 이용하여 활성 지도(activation map)를 생성하는 방법, 컨벌루션(convolution) 과정을 거쳐 도출된 가중치 값을 수회 영상과 곱하여 얻은 벡터들을 영상으로 복원 후 현저한 맵을 생성하는 방법 중 적어도 어느 하나의 방법을 사용할 수 있다.

또한, 상기 단계 d)에서 상기 관심영역 추정부에 의해 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하기 위해, 슬라이스된 2차원 이미지를 적층하여 3차원 모델을 만드는 텍스처 슬라이싱(texture slicing) 방법 또는 2차원 평면상의 각각의 픽셀에 광선을 각각 조사하여 그 광선상에 위치되는 모든 복셀의 색상을 합하여 해당 픽셀을 표현하는 방법이 사용될 수 있다.

또한, 상기 단계 e)에서 상기 변환된 3차원 볼륨 모델을 바탕으로 메쉬 (mesh) 모델을 생성함에 있어서, 3차원 볼륨 모델에 폴리라인을 형성하고, 복수의 폴리라인(polyline)을 갖는 폴리곤(polygon)에서 각 폴리라인의 절점을 생성한 후에 요소망을 생성하는 요소망 생성 방법을 이용하여 메쉬 모델을 생성할 수 있다.

또한, 상기 단계 f)에서 상기 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성함에 있어서, 물체 표면의 색깔, 패턴, 형태 등을 표현해주는 2차원 이미지를 미리 생성해 놓고, 이를 다면체 물체에 덮어 씌운 후 렌더링을 하여, 물체 표면에 상기 색깔, 패턴, 형태가 존재하는 것처럼 보이도록 하는 2차원 텍스춰 매핑 기법을 이용하여 3차원 복원 모델을 생성할 수 있다.

이와 같은 본 발명에 의하면, 사물에 대한 3차원 복원을 수행함에 있어서 자동 또는 수동으로 관심영역을 지정하고, 지정된 관심영역의 객체만 3차원 복원을 수행함으로써, 컴퓨터의 연산 자원을 줄이고, 후처리 과정을 필요로 하지 않아 빠른 시간 내에 3차원 복원을 수행할 수 있고, 작업을 단순화할 수 있는 장점이 있다.

도 1은 본 발명의 제1 실시예에 따른 3차원 관심영역 복원 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 3차원 관심영역 복원 시스템의 컴퓨터 시스템의 내부 구성을 나타낸 도면이다.
도 3은 도 2에 도시된 컴퓨터 시스템의 관심영역 추정부에 의해 자동 모드 또는 수동 모드를 이용하여 깊이 영상을 재생성하는 과정을 나타낸 도면이다.
도 4는 본 발명의 제2 실시예에 따른 3차원 관심영역 복원 시스템의 구성을 개략적으로 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 3차원 관심영역 복원 방법의 실행 과정을 나타낸 흐름도이다.
도 6은 본 발명에 따른 3차원 관심영역 복원 방법에 따라 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하는 2가지 방식을 나타낸 도면이다.
도 7은 본 발명에 따른 3차원 관심영역 복원 방법에 따라 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하는 과정을 나타낸 도면이다.
도 8a 및 도 8b는 본 발명에 따른 3차원 관심영역 복원 방법에 따라 3차원 볼륨 모델을 바탕으로 메쉬 모델을 생성하는 과정을 나타낸 도면이다.
도 9는 본 발명에 따른 3차원 관심영역 복원 방법에 따라 메쉬 모델에 대한 텍스처를 매핑 및 합성하여 3차원 복원 모델을 생성하는 과정을 나타낸 도면이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 제1 실시예에 따른 3차원 관심영역 복원 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 제1 실시예에 따른 3차원 관심영역 복원 시스템(100)은 회전 수단(110), 카메라(120), 높이 조절 수단(130), 컴퓨터 시스템 (140)을 포함하여 구성된다.

회전 수단(110)은 3차원 복원 대상의 객체(105)를 360도 회전시키는 역할을 한다. 이와 같은 회전 수단(110)은 회전구동력을 제공하는 스텝 모터(110m)와, 스텝 모터(110m)로부터의 회전구동력을 전달받아 정회전 또는 역회전하는 턴 테이블(110t)로 구성될 수 있다.

카메라(120)는 상기 객체(105)의 360도 회전에 따라 객체의 다방면의 외형을 촬영한다. 여기서, 이와 같은 카메라(120)로는 3차원 RGB-D(Red, Green, Blue-Depth) 카메라가 사용될 수 있다.

높이 조절 수단(130)은 상기 카메라(120)를 지지 및 고정하며, 카메라 (120)의 상,하 높이 조절이 가능하다. 이와 같은 높이 조절 수단(130)은 카메라 (120)의 상,하 직선운동의 구동력을 제공하는 스텝 모터(130m)와, 스텝 모터 (130m)로부터의 구동력을 전달받아 카메라(120)를 상승 및 하강시키는 가이드 부재(130g)로 구성될 수 있다.

컴퓨터 시스템(140)은 상기 회전 수단(110) 및 높이 조절 수단(130)의 동작(즉, 회전 수단(110)의 스텝 모터(110m)의 온/오프 및 정/역회전과 높이 조절 수단(130)의 스텝 모터(130m)의 온/오프 및 정/역회전)을 제어하며, 상기 카메라(120)에 의해 촬영된 영상에서 관심영역을 지정하고, 지정된 관심영역 내의 객체에 대해서만 3차원 복원을 수행한다.

여기서, 이상과 같은 컴퓨터 시스템(140)은, 도 2에 도시된 바와 같이, 영상 및 깊이 정보 획득부(141), 카메라 캘리브레이션부(142), 관심영역 추정부(143), 3차원 복원 모델 생성 및 렌더링부(144)를 포함하여 구성될 수 있다.

영상 및 깊이 정보 획득부(141)는 상기 카메라(120)에 의해 촬영된 영상으로부터 컬러 영상 정보를 획득하고, 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보(데이터)를 획득한다. 여기서, 상기 카메라(120)가 3차원 RGB-D 카메라인 경우에는 카메라 한 대로 컬러 영상 정보와 깊이 영상 정보(데이터)를 모두 획득할 수 있어 별도의 영상 깊이 정보 획득 수단이 필요하지 않지만, 카메라(120)가 깊이 영상을 촬영할 수 없는 카메라인 경우에는 별도의 영상 깊이 정보 획득 수단을 통해 깊이 영상 정보(데이터)를 획득하게 된다. 이때, 깊이 영상 정보(데이터)를 획득하기 위해 적외선을 이용하여 깊이를 추정하는 깊이 카메라 방식과, 2대의 컬러 카메라를 이용하여 기하학적인 방법을 통해 깊이 영상을 추정하는 스테레오 카메라 방식이 사용될 수 있다.

카메라 캘리브레이션부(142)는 상기 영상 및 깊이 정보 획득부(141)에 의해 획득된 컬러 영상 및 깊이 영상 정보에 기초하여, 정밀한 3차원 복원 모델을 생성하기 위한 사전작업으로 카메라(120)에 대한 캘리브레이션을 수행한다. 여기서, 카메라(120)에 대한 캘리브레이션은 깊이 영상 정보(데이터)를 획득함에 있어서, 전술한 바와 같은 깊이 카메라 방식을 사용할 경우 적외선을 발광하는 발광 센서와 적외선을 수광하는 수광 센서 간에 주고받는 신호의 오차를 보정한다는 것을 의미한다. 또한, 스테레오 카메라 방식을 사용할 경우, 2대의 컬러 카메라를 이용하여 기하학적인 수식(xyz 축으로 하는 3차원 가상세계에서 객체를 표현하기 위한 좌표 집합)을 통해 깊이 영상을 추정하게 되는바, 이때 2대의 카메라에서 나오는 영상의 입력이 동시성이 보장되어야 하는데, 이를 위해 2대의 카메라 간의 렌즈 왜곡을 보정한다는 것을 의미한다.

관심영역 추정부(143)는 상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성한다. 이와 같은 관심영역 추정부(143)는 깊이 영상을 재생성함에 있어서, 도 3에 도시된 바와 같이, 자동 모드 또는 수동 모드를 이용하여 깊이 영상을 재생성할 수 있다. 여기서, 자동 모드는 깊이 영상과 컬러 영상을 각각 입력받아, 컬러 영상에서 현저한 맵(Saliency Map)을 생성하고, 그를 바탕으로 관심영역(contour)을 추출하며, 이것을 깊이 맵을 분리할 때 초기값으로 이용하여 깊이 영상으로부터 공간 영역(즉, 객체)을 분리함으로써, 깊이 맵의 분리된 영상을 재생성한다. 또한, 수동 모드는 깊이 영상과 컬러 영상을 각각 입력받아, 컬러 영상에서 사용자에 의해 원하는 영역을 선택하고, 이것을 깊이 맵을 분리할 때 초기값으로 이용하여 깊이 영상으로부터 공간 영역(즉, 객체)을 분리함으로써, 깊이 맵의 분리된 영상을 재생성한다.

3차원 복원 모델 생성 및 렌더링부(144)는 상기 관심영역 추정부(143)에 의해 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하고, 변환된 3차원 볼륨 모델을 바탕으로 메쉬(mesh) 모델을 생성하며, 생성된 메쉬 모델에 대한 텍스처 (texture)를 매핑 및 합성하여 3차원 복원 모델을 생성한다. 여기서, 3차원 볼륨 모델로의 변환, 메쉬(mesh) 모델 생성 및 3차원 복원 모델 생성과 관련해서는 뒤에서 자세히 설명하기로 한다.

도 4는 본 발명의 제2 실시예에 따른 3차원 관심영역 복원 시스템의 구성을 개략적으로 나타낸 도면이다.

도 4를 참조하면, 본 발명의 제2 실시예에 따른 3차원 관심영역 복원 시스템(400)은 카메라(410), 카메라 지지 및 고정수단(420), 컴퓨터 시스템(430)을 포함하여 구성된다.

카메라(410)는 3차원 복원 대상의 객체(405)의 다방면의 외형을 촬영한다. 여기서, 이와 같은 카메라(410)로는 3차원 RGB-D(Red, Green, Blue-Depth) 카메라가 사용될 수 있다.

카메라 지지 및 고정수단(420)은 상기 카메라(410)를 지지 및 고정하되, 카메라(410)를 상하 수직이동 가능하게, 그리고 상기 객체(405)를 중심으로 그 둘레를 360도 회전이 가능하게 지지 및 고정한다. 이와 같은 카메라 지지 및 고정수단(420)은 카메라(410)의 상,하 직선운동의 구동력을 제공하는 스텝 모터(420m)와, 스텝 모터(420m)로부터의 구동력을 전달받아 카메라(410)를 상승 및 하강시키는 수직 가이드 부재(420v)와, 카메라(410)를 상기 객체(405)를 중심으로 그 둘레를 360도 회전 가능하게 가이드하는 원형 가이드 부재(420c)를 포함하여 구성될 수 있다. 여기서, 본 도면에는 자세히 도시되지는 않았지만, 카메라(410)에는 상기 원형 가이드 부재(420c)를 따라 카메라(410)가 회전운동할 수 있도록 하는 구동력을 제공하는 소형 모터(미도시)가 장착되어 있다. 또한, 이러한 카메라(410)와 원형 가이드 부재(420c)는 수직 가이드 부재(420v)를 상,하로 함께 이동할 수있도록 기계적으로 서로 결합된 구조로 구성된다.

컴퓨터 시스템(430)은 상기 카메라 지지 및 고정 수단(420)의 동작(즉, 카메라 지지 및 고정 수단(420)의 스텝 모터(420m)의 온/오프 및 정/역회전과 카메라(410)에 장착되어 있는 소형 모터의 온/오프 및 정/역회전)을 제어하며, 상기 카메라(410)에 의해 촬영된 영상에서 관심영역을 지정하고, 지정된 관심영역 내의 객체에 대해서만 3차원 복원을 수행한다.

여기서, 이상과 같은 컴퓨터 시스템(430)은 도 2에 도시된 바와 같이, 영상 및 깊이 정보 획득부(431), 카메라 캘리브레이션부(432), 관심영역 추정부 (433), 3차원 복원 모델 생성 및 렌더링부(434)를 포함하여 구성될 수 있다. 이러한 구성요소들(431∼434)은 제1 실시예의 컴퓨터 시스템(140)의 구성요소들(141∼144)과 동일하며, 따라서 이 제2 실시예의 컴퓨터 시스템(430)의 각 구성요소들 (431∼434)에 대한 상세한 설명은 전술한 제1 실시예의 컴퓨터 시스템(140)의 각 구성요소들(141∼144)에 대한 설명으로 대체하기로 하고, 여기서는 생략하기로 한다.

그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 3차원 관심영역 복원 시스템을 기반으로 한 3차원 관심영역 복원 방법에 대하여 설명해 보기로 한다.

도 5는 본 발명의 실시예에 따른 3차원 관심영역 복원 방법의 실행 과정을 나타낸 흐름도이다.

도 1, 도 2 및 도 5를 참조하면, 본 발명에 따른 3차원 관심영역 복원 방법은, 전술한 바와 같이 카메라(120)와; 영상 및 깊이 정보 획득부(141), 카메라 캘리브레이션부(142), 관심영역 추정부(143), 3차원 복원 모델 생성 및 렌더링부 (144)를 구비하는 컴퓨터 시스템(140)을 포함하는 3차원 관심영역 복원 시스템 (100)을 기반으로 한 3차원 관심영역 복원 방법으로서, 먼저 상기 영상 및 깊이 정보 획득부(141)가 카메라(120)에 의해 촬영된 영상으로부터 컬러 영상 정보를 획득하고, 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득한다(단계 S501). 여기서, 상기 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하기 위해, 적외선을 이용하여 깊이 영상을 추정하는 깊이 카메라 방식 또는 2대의 컬러 카메라를 이용하여 기하학적인 방법을 통해 깊이 영상을 추정하는 스테레오 카메라 방식이 사용될 수 있다.

이상에 의해 컬러 영상 정보 및 깊이 영상 정보가 획득되면, 그 획득된 컬러 영상 및 깊이 영상 정보에 기초하여, 정밀한 3차원 복원 모델을 생성하기 위한 사전작업으로 카메라 캘리브레이션부(142)에 의해 카메라(120)에 대한 캘리브레이션을 수행한다(단계 S502).

여기서, 카메라(120)에 대한 캘리브레이션은 앞에서 설명한 바와 같이, 깊이 영상 정보(데이터)를 획득함에 있어서, 깊이 카메라 방식을 사용할 경우에는 적외선을 발광하는 발광 센서와 적외선을 수광하는 수광 센서 간에 주고받는 신호의 오차를 보정한다는 것을 의미한다. 또한, 스테레오 카메라 방식을 사용할 경우, 2대의 컬러 카메라를 이용하여 기하학적인 수식(xyz 축으로 하는 3차원 가상세계에서 객체를 표현하기 위한 좌표 집합)을 통해 깊이 영상을 추정하게 되는데, 이때 2대의 카메라에서 나오는 영상의 입력이 동시성이 보장되어야 하는바, 이를 위해 2대의 카메라 간의 렌즈 왜곡을 보정한다는 것을 의미한다.

이렇게 하여 카메라에 대한 캘리브레이션이 완료되면, 관심영역 추정부 (143)에 의해 상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성한다(단계 S503). 여기서, 이와 같이 관심영역 추정부(143)에 의해 상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하기 위해 다양한 방법이 사용될 수 있다. 예를 들면, 영상 데이터에서 R,G,B 각각의 채널에 가중치를 두어 현저한 맵(saliency map)을 생성하는 방법, 영상에서 특징점을 추출하고 특징점들의 관계를 통해 특징 맵(feature map)을 생성하는 방법, 영상의 밝기 차이를 이용하여 관심 영역을 생성하는 방법, 원본 영상에서 밝기의 강도, 색상, 방향 채널을 통합하여 현저한 맵을 생성하는 방법, 유사한 색상을 하나로 묶는 색상 양자화(color quantization)를 이용하는 방법, 영상의 중요한 부분을 생성하기 위해 가우시안 블러(Gaussian Blur)를 적용하여 특징 맵을 생성하는 방법, CNN(Convolutional Neural Network)을 이용하여 활성 지도 (activation map)를 생성하는 방법, 컨벌루션(convolution) 과정을 거쳐 도출된 가중치 값을 수회 영상과 곱하여 얻은 벡터들을 영상으로 복원 후 현저한 맵을 생성하는 방법 중 적어도 어느 하나의 방법을 사용할 수 있다.

또한, 이상과 같은 관심영역 추정부(143)에 의해 깊이 영상을 재생성함에 있어서, 전술한 바와 같이 자동 모드 또는 수동 모드를 이용하여 깊이 영상을 재생성할 수 있다(도 3 참조). 여기서, 자동 모드는 깊이 영상과 컬러 영상을 각각 입력받아, 컬러 영상에서 현저한 맵(Saliency Map)을 생성하고, 그를 바탕으로 관심영역(contour)을 추출하며, 이것을 깊이 맵을 분리할 때 초기값으로 이용하여 깊이 영상으로부터 공간 영역(즉, 객체)을 분리함으로써, 깊이 맵의 분리된 영상을 재생성한다. 또한, 수동 모드는 깊이 영상과 컬러 영상을 각각 입력받아, 컬러 영상에서 사용자에 의해 원하는 영역을 선택하고, 이것을 깊이 맵을 분리할 때 초기값으로 이용하여 깊이 영상으로부터 공간 영역(즉, 객체)을 분리함으로써, 깊이 맵의 분리된 영상을 재생성한다.

이상에 의해 깊이 영상의 재생성이 완료되면, 3차원 복원 모델 생성 및 렌더링부(144)에 의해 상기 관심영역 추정부(143)에 의해 재생성된 깊이 영상(정보)을 3차원 볼륨 모델로 변환한다(단계 S504). 이와 같이 관심영역 추정부(143)에 의해 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하기 위해, 도 6의 (A)와 같이, 슬라이스된 2차원 이미지를 적층하여 3차원 모델을 만드는 텍스처 슬라이싱 (texture slicing) 방법 또는 도 6의 (B)와 같이, 2차원 평면상의 각각의 픽셀에 광선을 각각 조사하여 그 광선상에 위치되는 모든 복셀(voxel)의 색상을 합하여 해당 픽셀을 표현하는 방법이 사용될 수 있다. 여기서, 3차원 모델은 XYZ 축으로 구성된 3차원 모델인데, 이를 단순화하기 위해 일정 구간을 도 7의 (A)와 같이 블록 셀처럼 만들어 표현하는 방법을 볼륨 모델이라 한다. 또한, 도 7의 (B)와 같이 관심영역 추정부(143)에 의해 재생성된 깊이 영상(정보)(2차원)을 도 7의 (C)와 같이 3차원 볼륨 모델(3차원)로 변환하게 된다. 여기서, 3차원 볼륨 모델로 변환하는 것과 관련하여 조금 더 설명을 부가해 보기로 한다.

3차원 볼륨 모델로 변환하기 위해 SFS(Shape From Silhouette) 기법인 가상 헐(visual hull)을 이용할 수 있다. 3차원 볼륨 모델은 복셀(voxel)이라는 작은 큐브의 형태가 모여서 마치 하나의 블록처럼 쌓인 모습을 의미한다. 여기서 3차원 공간상에 놓여 있는 복셀 중 3차원 모델을 구성하는 복셀을 찾기 위해, 일반적으로 3차원 공간의 어느 한 곳에 큰 큐브(cube)를 만들고 일정한 크기로 조각 (slice)을 만들어 각 조각을 복셀로 사용할 수 있다. 이 조각들을 영상에 프로젝션시켜 3차원 볼륨 모델에 포함되는 복셀을 찾을 수 있게 된다.

이렇게 하여 3차원 볼륨 모델로의 변환이 완료되면, 그 변환된 3차원 볼륨 모델을 바탕으로 3차원 복원 모델 생성 및 렌더링부(144)에 의해 메쉬(mesh) 모델을 생성한다(단계 S505). 여기서, 상기 변환된 3차원 볼륨 모델을 바탕으로 메쉬(mesh) 모델을 생성하기 위해, 3차원 볼륨 모델에 폴리라인(polyline)을 형성하고, 복수의 폴리라인을 갖는 폴리곤(polygon)에서 각 폴리라인의 절점을 생성한 후에 요소망을 생성하는 요소망 생성 방법이 사용될 수 있다. 또한, 메쉬 모델을 생성하기 위해 매칭 큐브(matching cube) 알고리즘이 사용될 수 있다. 매칭 큐브 알고리즘은 삼각형의 모양을 결정하기 위한 것인데, 보통 256개 패턴을 통해서 다양한 형태의 삼각형을 생성한다. 여기서, 상기 요소망 생성 방법을 이용하여 메쉬 모델을 생성하는 것에 대해 도 8을 참조하여 조금 더 상세히 설명해 보기로 한다.

도 8a 및 도 8b는 3차원 볼륨 모델을 바탕으로 요소망 생성 방법을 이용하여 메쉬 모델을 생성하는 과정을 나타낸 도면이다.

도 8a를 참조하면, 먼저 (A)에서와 같이 지형 자료를 바탕으로 폴리라인(polyline)을 형성할 수 있다. 이때, 지형 자료와 폴리라인의 선 색깔을 구분하기 위해 폴리라인의 디스플레이 옵션을 조정할 수 있다.

폴리라인은 마우스 왼쪽 버튼의 클릭으로 꼭지점(vertex)을 만들어 나가며, 마우스 오른쪽 버튼을 클릭함으로써 폴리라인 만들기를 멈추게 된다. 마우스를 꼭지점에 가까이 가져가게 되면 오스넵(osnap) 기능(캐드에서 객체가 있을 때 정확하게 그 객체의 끝점, 중간점 혹은 그 객체가 원일 경우 원의 중심점 등을 찾아내고자 할 때, 커서와의 가장 가까운 객체의 점 등을 컴퓨터가 알아서 찾아주는 기능)이 작동하여 작은 사각형이 보이게 된다. 이 상태에서 마우스의 왼쪽 버튼을 클릭함으로써 꼭지점이 서로 선으로 연결된다. 모든 폴리라인이 연결된 상태에서 (B)와 같이 폴리곤을 만들고, 이를 바탕으로 도 8b의 (C)와 같이 삼각 메쉬를 생성한다.

이상에 의해 메쉬(mesh) 모델의 생성이 완료되면, 3차원 복원 모델 생성 및 렌더링부(144)에 의해 상기 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성한다(단계 S506). 여기서, 상기 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성함에 있어서, 2차원 텍스춰 매핑 기법을 이용하여 3차원 복원 모델을 생성할 수 있다.

즉, 도 9의 (A)와 같이, 물체 표면의 색깔, 패턴, 형태 등을 표현해주는 2차원 이미지를 미리 생성해 놓고, 도 9의 (B)와 같이 이를 다면체 물체에 덮어씌운 후 렌더링을 하여, 도 9의 (C)와 같이 물체 표면에 상기 색깔, 패턴, 형태가 존재하는 것처럼 보이도록 하는 2차원 텍스춰 매핑 기법을 이용하여 3차원 복원 모델을 생성할 수 있다.

이상의 설명과 같이, 본 발명에 따른 3차원 관심영역 복원 시스템 및 방법은 사물에 대한 3차원 복원을 수행함에 있어서 자동 또는 수동으로 관심영역을 지정하고, 지정된 관심영역의 객체만 3차원 복원을 수행함으로써, 컴퓨터의 연산 자원을 줄이고, 후처리 과정을 필요로 하지 않아 빠른 시간 내에 3차원 복원을 수행할 수 있고, 작업을 단순화할 수 있는 장점이 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

105,405: 객체 110: 회전 수단
110m: 스텝 모터 110t: 턴 테이블
120,410: 카메라 130,430: 높이 조절 수단
130m: 스텝 모터 130g: 가이드 부재
140,430: 컴퓨터 시스템 141,431: 영상 및 깊이 정보 획득부
142,432: 카메라 캘리브레이션부 143,433: 관심영역 추정부
144,434: 3차원 복원 모델 생성 및 렌더링부
420: 카메라 지지 및 고정수단 420m: 스텝 모터
420v: 수직 가이드 부재 420c: 원형 가이드 부재

Claims

3차원 복원 대상의 객체를 360도 회전시키는 회전 수단과;
상기 객체의 360도 회전에 따라 객체의 다방면의 외형을 촬영하는 카메라와;
상기 카메라를 지지 및 고정하며, 카메라의 상,하 높이 조절이 가능한 높이 조절 수단과;
상기 회전 수단 및 높이 조절 수단의 동작을 제어하며, 상기 카메라에 의해 촬영된 영상에서 관심영역을 지정하고, 지정된 관심영역 내의 객체에 대해서만 3차원 복원을 수행하는 컴퓨터 시스템을 포함하는 3차원 관심영역 복원 시스템.
제1항에 있어서,
상기 카메라는 3차원 RGB-D(Red, Green, Blue-Depth) 카메라인 것을 특징으로 하는 3차원 관심영역 복원 시스템.
제1항에 있어서,
상기 컴퓨터 시스템은,
상기 카메라에 의해 촬영된 영상으로부터 컬러 영상 정보를 획득하고, 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하는 영상 및 깊이 정보 획득부와;
상기 획득된 컬러 영상 및 깊이 영상 정보에 기초하여, 정밀한 3차원 복원 모델을 생성하기 위한 사전작업으로 카메라에 대한 캘리브레이션을 수행하는 카메라 캘리브레이션부와;
상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하는 관심영역 추정부; 및
상기 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하고, 변환된 3차원 볼륨 모델을 바탕으로 메쉬(mesh) 모델을 생성하며, 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성하는 3차원 복원 모델 생성 및 렌더링부를 포함하는 3차원 관심영역 복원 시스템.
3차원 복원 대상의 객체의 다방면의 외형을 촬영하는 카메라와;
상기 카메라를 지지 및 고정하되, 상기 카메라를 상하 수직이동 가능하게, 그리고 상기 객체를 중심으로 그 둘레를 360도 회전이 가능하게 지지 및 고정하는 카메라 지지 및 고정 수단과;
상기 카메라 지지 및 고정 수단의 동작을 제어하며, 상기 카메라에 의해 촬영된 영상에서 관심영역을 지정하고, 지정된 관심영역 내의 객체에 대해서만 3차원 복원을 수행하는 컴퓨터 시스템을 포함하는 3차원 관심영역 복원 시스템.
제4항에 있어서,
상기 카메라는 3차원 RGB-D(Red, Green, Blue-Depth) 카메라인 것을 특징으로 하는 3차원 관심영역 복원 시스템.
제4항에 있어서,
상기 컴퓨터 시스템은,
상기 카메라에 의해 촬영된 영상으로부터 컬러 영상 정보를 획득하고, 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하는 영상 및 깊이 정보 획득부와;
상기 획득된 컬러 영상 및 깊이 영상 정보에 기초하여, 정밀한 3차원 복원 모델을 생성하기 위한 사전작업으로 카메라에 대한 캘리브레이션을 수행하는 카메라 캘리브레이션부와;
상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하는 관심영역 추정부; 및
상기 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하고, 변환된 3차원 볼륨 모델을 바탕으로 메쉬(mesh) 모델을 생성하며, 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성하는 3차원 복원 모델 생성 및 렌더링부를 포함하는 3차원 관심영역 복원 시스템.
카메라와; 영상 및 깊이 정보 획득부, 카메라 캘리브레이션부, 관심영역 추정부, 3차원 복원 모델 생성 및 렌더링부를 구비하는 컴퓨터 시스템을 포함하는 3차원 관심영역 복원 시스템을 기반으로 한 3차원 관심영역 복원 방법으로서,
a) 상기 영상 및 깊이 정보 획득부가 상기 카메라에 의해 촬영된 영상으로부터 컬러 영상 정보를 획득하고, 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하는 단계와;
b) 상기 획득된 컬러 영상 및 깊이 영상 정보에 기초하여, 정밀한 3차원 복원 모델을 생성하기 위한 사전작업으로 상기 카메라 캘리브레이션부에 의해 카메라에 대한 캘리브레이션을 수행하는 단계와;
c) 상기 관심영역 추정부에 의해 상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하는 단계와;
d) 상기 3차원 복원 모델 생성 및 렌더링부에 의해 상기 관심영역 추정부에 의해 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하는 단계와;
e) 상기 변환된 3차원 볼륨 모델을 바탕으로 상기 3차원 복원 모델 생성 및 렌더링부에 의해 메쉬(mesh) 모델을 생성하는 단계; 및
f) 상기 3차원 복원 모델 생성 및 렌더링부가 상기 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성하는 단계를 포함하는 3차원 관심영역 복원 방법.
제7항에 있어서,
상기 단계 a)에서 상기 영상의 깊이 정보 획득 수단을 통해 깊이 영상 정보를 획득하기 위해, 적외선을 이용하여 깊이 영상을 추정하는 깊이 카메라 방식 또는 2대의 컬러 카메라를 이용하여 기하학적인 방법을 통해 깊이 영상을 추정하는 스테레오 카메라 방식이 사용되는 것을 특징으로 하는 3차원 관심영역 복원 방법.
제7항에 있어서,
상기 단계 c)에서 상기 관심영역 추정부에 의해 상기 깊이 영상 정보에 대해 관심영역에 대한 영역을 분리하여 깊이 영상을 재생성하기 위해, 영상 데이터에서 R,G,B 각각의 채널에 가중치를 두어 현저한 맵(saliency map)을 생성하는 방법, 영상에서 특징점을 추출하고 특징점들의 관계를 통해 특징 맵(feature map)을 생성하는 방법, 영상의 밝기 차이를 이용하여 관심 영역을 생성하는 방법, 원본 영상에서 밝기의 강도, 색상, 방향 채널을 통합하여 현저한 맵을 생성하는 방법, 유사한 색상을 하나로 묶는 색상 양자화(color quantization)를 이용하는 방법, 영상의 중요한 부분을 생성하기 위해 가우시안 블러(Gaussian blur)를 적용하여 특징 맵을 생성하는 방법, CNN(Convolutional Neural Network)을 이용하여 활성 지도(activation map)를 생성하는 방법, 컨벌루션(convolution) 과정을 거쳐 도출된 가중치 값을 수회 영상과 곱하여 얻은 벡터들을 영상으로 복원 후 현저한 맵을 생성하는 방법 중 적어도 어느 하나의 방법을 사용하는 것을 특징으로 하는 3차원 관심영역 복원 방법.
제7항에 있어서,
상기 단계 c)에서 상기 관심영역 추정부에 의해 깊이 영상을 재생성함에 있어서, 깊이 영상과 컬러 영상을 각각 입력받아, 컬러 영상에서 현저한 맵(Saliency Map)을 생성하고, 그를 바탕으로 관심영역(contour)을 추출하며, 이것을 깊이 맵을 분리할 때 초기값으로 이용하여 깊이 영상으로부터 공간 영역을 분리함으로써, 깊이 맵의 분리된 영상을 재생성하는 자동 모드 또는 깊이 영상과 컬러 영상을 각각 입력받아, 컬러 영상에서 사용자에 의해 원하는 영역을 선택하고, 이것을 깊이 맵을 분리할 때 초기값으로 이용하여 깊이 영상으로부터 공간 영역을 분리함으로써, 깊이 맵의 분리된 영상을 재생성하는 수동 모드를 이용하는 것을 특징으로 하는 3차원 관심영역 복원 방법.
제7항에 있어서,
상기 단계 d)에서 상기 관심영역 추정부에 의해 재생성된 깊이 영상을 3차원 볼륨 모델로 변환하기 위해, 슬라이스된 2차원 이미지를 적층하여 3차원 모델을 만드는 텍스처 슬라이싱(texture slicing) 방법 또는 2차원 평면상의 각각의 픽셀에 광선을 각각 조사하여 그 광선상에 위치되는 모든 복셀의 색상을 합하여 해당 픽셀을 표현하는 방법이 사용되는 것을 특징으로 하는 3차원 관심영역 복원 방법.
제7항에 있어서,
상기 단계 e)에서 상기 변환된 3차원 볼륨 모델을 바탕으로 메쉬 (mesh) 모델을 생성함에 있어서, 3차원 볼륨 모델에 폴리라인을 형성하고, 복수의 폴리라인(polyline)을 갖는 폴리곤(polygon)에서 각 폴리라인의 절점을 생성한 후에 요소망을 생성하는 요소망 생성 방법을 이용하여 메쉬 모델을 생성하는 것을 특징으로 하는 3차원 관심영역 복원 방법.
제7항에 있어서,
상기 단계 f)에서 상기 생성된 메쉬 모델에 대한 텍스처(texture)를 매핑 및 합성하여 3차원 복원 모델을 생성함에 있어서, 물체 표면의 색깔, 패턴, 형태 등을 표현해주는 2차원 이미지를 미리 생성해 놓고, 이를 다면체 물체에 덮어 씌운 후 렌더링을 하여, 물체 표면에 상기 색깔, 패턴, 형태가 존재하는 것처럼 보이도록 하는 2차원 텍스춰 매핑 기법을 이용하여 3차원 복원 모델을 생성하는 것을 특징으로 하는 3차원 관심영역 복원 방법.