KR101199475B1 - 3차원 모델 생성 방법 및 장치 - Google Patents

Abstract

3차원 정보 복원에 사용되는 가장 일반적인 방법 중 하나는 여러 방향의 시점으로부터 획득한 2차원의 영상정보를 조합하는 것이다. 이때, 2차원 영상의 숫자가 많고 해상도가 높으면 복원 모델의 정확도를 높일 수 있으나 처리 시간 역시 크게 증가한다. 본 발명에서는 연산 시간이 매우 많이 소요되는 기존의 문제점 해결을 위하여 복셀(voxel; volume + pixel) 큐브(cube)의 꼭지점이 아닌 중점을 기준으로 객체 영역 포함 여부를 판단하고, 이때 손실될 수 있는 외곽 정보를 메쉬 변환 단계에서 효율적으로 보완함으로써 계산시간을 단축하고 모델의 정확도를 향상할 수 있는 방법을 제안한다.

실루엣, 비주얼 헐, 3D 모델, 시점종속

Description

3차원 모델 생성 방법 및 장치{METHOD AND APPARATUS FOR RECONSTRUCTION 3 DIMENSION MODEL}

본 발명은 실시간 3차원 모델 생성 및 렌더링 방법에 관한 것으로, 특히 다수의 시점에서 촬영한 영상의 2차원 실루엣(silhouette) 정보를 사용하여 3차원 정보를 복원하고 새로운 시점에서의 영상을 실시간으로 생성하는데 적합한 3차원 모델 생성 기술에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[2008-S-030-01, RUPI-클라이언트 기술 개발].

실루엣(silhouette) 영상으로부터 복셀(voxel ; volume + pixel) 구조의 3차원 모델을 생성하는 방법은 비주얼 헐(visual hull) 복원 기법으로 잘 알려져 있다.

복원하고자 하는 3차원 공간의 크기를 지정하고 전체공간을 큐브(cube) 형태의 복셀 단위로 나눈 후 각 복셀을 구성하는 8개의 코너를 실루엣 영상으로 역투영 하여 실루엣 내부에 포함된 복셀만을 모델의 구성 요소로 취한다.

이러한 접근 방법은 카메라의 개수와 영상의 해상도 그리고 복셀의 크기에 따라 모델의 정확도가 결정되므로 정확도 향상에 따른 계산량의 부담은 매우 크게 증가하게 된다.

3D 모델을 화면상에 나타내는 데 있어 일반적으로 삼각형 메쉬 모델 구조를 사용한다. 복셀 구조의 모델을 삼각형 메쉬 구조로 변환하기 위해 마칭 큐브(marching cube) 알고리즘을 사용할 수 있다. 정육면체 모양으로 인접한 8개의 복셀에 대해 이 복셀들에 의해 만들어지는 삼각형들을 계산한다. 8개의 복셀은 각각 모델 내부 또는 외부일 수 있으므로, 이 경우 만들어지는 삼각형들의 경우의 수는 2⁸ = 256 개가 되며, 각각의 경우에 정의되는 삼각형은 마칭 큐브 방법에 정의되어 있다.

보다 사실감 있는 모델의 렌더링을 위해서는 입력영상의 정보를 모델의 텍스처 맵으로 사용할 수 있다. 이때, 다수개의 입력 영상이 있으므로 렌더링을 하면서 발생하는 시점(View point)의 변화를 따라 메쉬 모델을 이루는 삼각형의 각 정점의 텍스처로 참조할 입력 영상을 선택한다. 이러한 방법을 시점 종속 렌더링(view dependent texture mapping)이라 한다.

이와 같이, 실시간 3차원 복원을 위하여 실루엣 영상을 기반으로 3차원상의 체적 화소 즉 복셀 구조를 사용하는 방법이 많이 사용되고 있다. 이는 3차원 복셀 공간상에서 각 복셀들을 2차원 실루엣 영상으로 역투영 하여 실루엣 내부에 존재하는 객체 영역은 남겨두고 실루엣이 아닌 영역을 깎아내는 방식으로 3차원 구조를 복원하는 방법이다. 이때, 복셀 큐브의 여덟 개의 꼭지점을 이미지 평면에 투영시켜 객체 영역 포함여부를 결정하게 되는데, 3차원 복원공간에 포함된 모든 복셀에서 이러한 계산을 수행하게 되면 매우 많은 연산이 필요하다.

사실감 있는 3차원 모델 표현을 위해서는 정확한 기하정보의 획득이 중요하지만, 렌더링 단계에서 입력영상의 정보를 모델의 텍스처로 사용함으로써 사실감을 높이는 것이 가능하다.

이때, 여러 방향의 시점으로부터 입력영상을 획득한 경우, 모델을 화면에 그리는 시점(view point)과 모델을 구성하는 삼각 메쉬의 버텍스 방향에 따라 텍스처를 참조하는 입력 영상을 전환하는 시점 종속 텍스처링 방법이 필요하다. 따라서, 사실감 있는 3차원 객체의 실시간 복원 및 렌더링을 위하여 계산속도의 개선과 시점종속 텍스처링이 필수적이다.

이에 본 발명에서는, 다수의 카메라를 통해 획득한 영상에서 실루엣 정보를 추출한 후 3차원 공간을 복셀 단위로 나누고, 각 복셀의 중점을 이미지 평면에 투영시켜 3차원 모델을 생성함으로써, 3차원 모델 생성에 있어 연산 시간을 축소할 수 있는 방안을 마련하고자 한다.

또한 본 발명에서는, 복셀 모델을 메쉬 구조로 변환하고 다수의 시점에서 촬 영된 입력 영상을 사용하여 시점 종속 텍스처링을 수행함으로써, 생성되는 3차원 모델의 정확도를 향상시킬 수 있는 방안을 마련하고자 한다.

본 발명의 과제를 해결하기 위한 일 관점에 따르면, 다수의 카메라로 촬영한 객체 영상을 입력으로 하여 3차원 복셀 기반의 비주얼 헐 모델(visual hull model)을 복원하는 과정과, 상기 3차원 복셀 기반의 비주얼 헐 모델을 메쉬 모델(mesh model)로 변환하는 과정과, 상기 변환되는 메쉬 모델에 대해 시점 종속 텍스처 매핑(texture mapping)을 수행하여 3차원 모델의 시점 종속 렌더링 결과물을 생성하는 과정을 포함하는 3차원 모델 생성 방법을 제공한다.

본 발명의 과제를 해결하기 위한 다른 관점에 따르면, 입력되는 다시점 영상의 실루엣 정보 및 객체의 컬러 텍스처 정보에 대해 3차원 복셀 기반의 비주얼 헐 모델로 복원하는 비주얼 헐 모델 복원부와, 상기 비주얼 헐 모델 복원부를 통해 복원되는 3차원 복셀 기반의 비주얼 헐 모델을 메쉬 모델로 변환하는 메쉬 모델 변환부와, 상기 메쉬 모델 변환부에 의해 변환된 메쉬 모델에 대해 시점의 변화에 종속적인 텍스처 매핑을 수행하는 시점 종속 텍스처 매핑부를 포함하는 3차원 모델 생성 장치를 제공한다.

본 발명에 의하면, 여러 대의 카메라를 사용하여 인물이나 사물의 3차원 정보 획득 및 새로운 시점에서의 영상 생성이 가능하며, 이러한 과정들이 GPU의 병렬 처리 기능을 활용할 수 있어 실시간 처리가 가능하다. 또한 본 발명은, 복셀 큐브의 중점을 기준으로 객체 영역 포함 여부를 판단하고, 손실될 수 있는 외곽 정보를5 메쉬 변환 단계에서 효율적으로 보완함으로써 계산시간을 단축하고 모델의 정확도를 향상시킬 수 있다.

본 발명은 다수의 카메라를 이용하여 촬영한 객체의 3차원 정보를 실시간으로 복원하고 보다 사실감 있는 3D 모델 렌더링을 위해 모델 구조 변환과 시점종속 렌더링을 수행하는 것을 특징으로 한다.

복셀의 8개의 꼭지점이 아닌 중점 좌표의 역투영으로 계산량을 획기적으로 줄이며, 이때 발생할 수 있는 외곽 복셀의 손실은 메쉬 변환과정에서 입력영상의 실루엣 참조과정을 통해 보완한다.

사실감 있는 모델의 렌더링을 위해서는 모델을 구성하는 삼각 메쉬의 버텍스(vertex)마다 텍스처(texture)로서 참조할 최적의 입력영상을 선택하고 시점 변화에 따라 모델이 부분적으로 가려지는 부분 판단을 위하여 텍스처링시 버텍스의 깊이를 고려하는 방법을 사용한다.

이하 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 상세하게 설명한다.

실시예의 설명에 앞서, 본 발명에 이용되는 입력 영상은 전처리 과정을 통해서 전경과 배경이 분리되어 있다고 가정한다. 또한, 본 실시예에서는 다수의 카메라가 이용될 수 있으며, 각각의 카메라의 위치는 영상을 획득하기 이전에 미리 캘리브레이션(calibration)을 통하여 알려져 있다고 가정한다. 본 발명은 전처리에 사용되는 전배경 분리 방법 및 캘리브레이션 방법의 종류에 무관하게 적용될 수 있다.

도 1은 본 발명의 일 관점에 따른 3차원 모델 생성 장치에 대한 구성 블록도로서, 비주얼 헐(visual hull) 모델 복원부(100), 메쉬 모델 변환부(200), 시점종속 텍스처 매칭부(300) 등을 포함한다.

도 1에 도시한 바와 같이, 비주얼 헐 모델 복원부(100)는 3차원(3D) 복셀 공간 정의부(102)와 비주얼 헐 모델 생성부(104)를 포함하며, 입력되는 다시점 영상의 실루엣 정보 및 객체의 컬러 텍스처 정보에 대해 3차원 복셀 기반의 비주얼 헐 모델로 복원하는 역할을 한다.

3차원 공간은 3차원 격자 모양으로 나누어 계산하며, 격자 모양으로 나누어진 하나의 단위를 복셀 이라 부른다.

비주얼 헐 모델 복원부(100) 내의 3차원 복셀 공간 정의부(102)는, 다시점 영상의 실루엣 정보 및 객체의 컬러 텍스터 정보를 입력으로 하여 복원하고자 하는 3차원 복셀 공간을 정의한다.

비주얼 헐 모델 생성부(104)는 3차원 복셀 공간 정의부(102)에 의해 정의된 각 복셀 공간의 중점을 입력 실루엣 영상에 투영하여 현재 복셀의 위치가 객체 내 부에 있는지 아니면 배경에 속하는지를 조사한다.

즉, 본 실시예에서는, 전체 공간상에서 배경에 속하는 복셀을 제외시킴으로써 복원하고자 하는 3차원 객체 내부에 속하는 복셀만 남아 객체의 3차원 모델 획득이 가능하다.

이러한 과정을 통해 물체의 윤곽선 정보와 일치하는 최대의 형상인 비주얼 헐 모델의 실시간 생성이 가능하다.

한편, 메쉬 모델 변환부(200)는 렌더링을 위하여 3차원 복셀 모델의 삼각형 메쉬 구조를 계산한다.

삼각형 메쉬를 계산하기 위해서는 마칭 큐브(marching cubes) 알고리즘을 사용한다. 정육면체 모양으로 인접한 8개의 복셀에 대해 이 복셀들에 의해 만들어지는 삼각형들을 계산한다. 8개의 복셀은 각각 모델 내부 또는 외부일 수 있으므로, 이 경우 만들어지는 삼각형들의 경우의 수는 2⁸ = 256 개가 되며, 각각의 경우에 정의되는 삼각형은 마칭 큐브 알고리즘에 정의되어 있다.

이때, 실시간 비주얼 헐 생성을 위해 복셀의 중점 좌표 사용으로 인한 외곽 정보 손실 보완을 위하여 외곽 메쉬 결정시 입력 실루엣 정보를 참조하는 방법을 사용한다. 즉, 본 실시예에서는 메쉬 모델 변환시에 실루엣 위치 정보를 참조하여 메쉬 정확도를 개선할 수 있을 것이다.

또한, 실시간으로 삼각형 메쉬를 생성하기 위하여, 이전 과정에서 계산된 복셀 데이터를 3차원 모델 생성 장치 내의 GPU의 메모리(도시 생략됨)로 업로드할 수 있을 것이다. GPU에서는 병렬처리 기법을 이용하여 마칭 큐브를 입력 복셀 데이터에 적용하고, 생성된 메쉬 데이터를 GPU 메모리에 생성한다. 생성된 메쉬 데이터는 GPU 메모리상에 보관되며, 렌더링시 GPU 메모리 상에서 바로 이용하여 GPU 메모리와 메인 메모리간의 대역폭을 사용하지 않아도 되는 이점이 있다.

한편, 시점종속 텍스처 매핑부(300)는 메쉬 모델 변환부(200)에 의해 변환된 메쉬 모델에 대해 시점(view point)의 변화에 종속적인 텍스처 매핑을 수행한다. 즉, 사실적인 3차원 모델의 렌더링을 위해 입력영상, 예컨대 메쉬를 구성하는 꼭지점별 입력영상 정보를 모델의 텍스처로 사용한다.

보다 구체적으로, 렌더링을 하면서 시점의 변화를 따라 메쉬 모델의 각 버텍스마다 텍스처로 참조할 입력영상을 변경한다. 즉, 카메라의 센터와 시점 그리고 버텍스와 시점간의 벡터를 내적하여 그 값이 가장 작은 입력영상에서 텍스처를 참조한다.

또한, 시점종속 텍스처 매핑부(300)는, 시점 변화를 따라 모델이 부분적으로 가려지는 부분을 판단하기 위하여 텍스처링시 버텍스의 깊이를 고려하는 방법을 사용한다. 즉, 3차원 모델의 겹침 문제를 해결하기 위해 렌더링 시점의 모델 전 후면을 파악한다.

이에 따라 최종적으로 3차원 모델의 시점종속 랜더링이 수행될 수 있다.

이하, 상술한 구성과 함께, 본 발명의 다른 관점에 따른 3차원 모델 생성 방법을 첨부한 도 2의 흐름도를 참조하여 상세히 설명하기로 한다.

도 2에 도시한 바와 같이, 단계(S200)에서 비주얼 헐 모델 복원부(100)로 객 체 영상, 예컨대 다시점 영상의 실루엣 정보 및 객체의 컬러 텍스처 정보가 입력되면(S200), 비주얼 헐 모델 복원부(100)는 입력되는 객체 영상에 대해 3차원 복셀 기반의 비주얼 헐 모델로 복원한다(S202). 이때, 실루엣 및 객체의 컬러 텍스처 정보를 포함하는 다시점 입력 영상은 도 3에 예시한 바와 같다.

구체적으로 비주얼 헐 모델 복원부(100)는, 다시점 영상의 실루엣 정보 및 객체의 컬러 텍스터 정보를 입력으로 하여 복원하고자 하는 3차원 복셀 공간을 정의하고, 각 복셀을 실루엣 영상에 역투영하여 객체에 속하지 않는 복셀을 제외시킨다. 즉, 정의된 3차원 복셀 공간에 대해 복셀의 중점만을 역투영하여 객체 포함 여부를 판단한 후 3차원 복셀 기반의 비주얼 헐 모델을 생성한다.

이후, 메쉬 모델 변환부(200)는 비주얼 헐 모델 복원부(100)를 통한 복셀 모델, 즉 3차원 복셀 기반의 비주얼 헐 모델을 메쉬 모델로 변환한다(S204). 단계(S204)를 통해 변환된 메쉬 모델은 도 4의 좌측 화면 영상에 예시한 바와 같다.

이때, 메쉬 모델 변환부(200)는, 복셀 공간의 중점 투영에 따른 복셀 손실을 복원하기 위해 실루엣 위치를 직접 참조하여 메쉬의 정확도를 개선하도록 하는 것을 특징으로 한다.

한편, 시점종속 텍스처 매핑부(300)는 상술한 메쉬 모델 변환부(200)를 통해 변환된 메쉬 모델에 대해 시점 종속 텍스처로 매핑한다(S206). 즉, 사실감 있는 3차원 모델 렌더링을 위해, 메쉬 모델을 구성하는 꼭지점마다 입력 영상을 텍스처로 선택한다.

이때, 본 실시예에서는, 시점 변화를 따라 모델이 부분적으로 가려지는 부분 을 판단하기 위하여 텍스처링시 버텍스의 깊이를 고려하는 것을 특징으로 한다.

이와 같은 시점 종속 텍스처 매핑 결과에 의해 최종적인 3차원 모델의 렌더링 결과물이 도출될 수 있다(S208). 이러한 결과물은 도 4의 우측 화면 영상에 예시한 바와 같다.

이상 설명한 바와 같이, 본 실시예에서는, 다수의 카메라를 통해 획득한 영상에서 실루엣 정보를 추출한 후 3차원 공간을 복셀 단위로 나누고, 각 복셀의 중점을 이미지 평면에 투영시켜 3차원 모델을 생성하였으며, 복셀 모델을 메쉬 구조로 변환하고 다수의 시점에서 촬영된 입력 영상을 사용하여 시점 종속 텍스처링을 수행하도록 구현한 것이다.

앞서 언급한 실시예는 본 발명을 한정하는 것이 아니라 예증하는 것이며, 이 분야의 당업자라면 첨부한 청구항에 의해 정의된 본 발명의 범위로부터 벗어나는 일 없이, 많은 다른 실시예를 설계할 수 있음을 유념해야 한다. 청구항에서는, 괄호 안에 있는 어떤 참조 기호도 본 발명을 한정하도록 해석되지 않아야 한다. "포함하는", "포함한다" 등의 표현은, 전체적으로 모든 청구항 또는 명세서에 열거된 것을 제외한 구성 요소 또는 단계의 존재를 배제하지 않는다. 구성 요소의 단수의 참조부는 그러한 구성 요소의 복수의 참조부를 배제하지 않으며, 그 반대도 마찬가지이다. 본 발명은, 몇몇 별개의 구성 요소를 포함하는 하드웨어 수단 및 적절히 프로그램된 컴퓨터 수단에 의해 실시될 수 있다. 몇몇 수단을 열거하는 청구항에서, 이들 수단의 몇몇은 하드웨어의 같은 항목에 의해 구현될 수 있다. 서로 다른 종속항에 확실한 수단이 기술되었다고 하는 단순한 사실은, 이러한 수단의 조합이 사용될 수 없다는 것을 나타내지 않는다.

도 1은 본 발명의 일 관점에 따른 3차원 모델 생성 장치에 대한 구성 블록도,

도 2는 본 발명의 다른 관점에 따른 3차원 모델 생성 방법을 설명하는 흐름도,

도 3은 실루엣 및 객체의 컬러 텍스처 정보를 포함하는 다시점 입력 영상의 화면 예시도,

도 4는 3D 메쉬 모델 및 시점 종속 렌더링 결과의 화면 예시도.

＜도면의 주요 부분에 대한 부호의 설명＞

100 : 비주얼 헐 모델 복원부 102 : 3차원 복셀 공간 정의부

104 : 비주얼 헐 모델 생성부 200 : 메쉬 모델 변환부

300 : 시점 종속 텍스처 매핑부

Claims (10)

1. 다수의 카메라로 촬영한 객체 영상을 입력으로 하여 3차원 복셀 기반의 비주얼 헐 모델(visual hull model)을 복원하는 과정과,

   상기 3차원 복셀 기반의 비주얼 헐 모델을 메쉬 모델(mesh model)로 변환하는 과정과,

   상기 변환된 메쉬 모델에 대해 시점 종속 텍스처 매핑(texture mapping)을 수행하여 3차원 모델의 시점 종속 렌더링 결과물을 생성하는 과정

   을 포함하는 3차원 모델 생성 방법.
2. 제 1 항에 있어서,

   상기 복원 과정은,

   복원하고자 하는 3차원 복셀 공간을 정의하는 과정과,

   상기 정의된 3차원 복셀 공간에서 객체에 속하지 않는 복셀을 제외시키는 과정

   을 포함하는 3차원 모델 생성 방법.
3. 제 1 항에 있어서,

   상기 변환 과정은,

   마칭 큐브(marching cube) 기법이 적용되는 것을 특징으로 하는 3차원 모델 생성 방법.
4. 제 2 항에 있어서,

   상기 객체 영상은, 다시점 영상의 실루엣 정보 및 객체의 컬러 텍스처 정보를 포함하는 3차원 모델 생성 방법.
5. 제 4 항에 있어서,

   상기 복원 과정은, 상기 정의된 3차원 복셀 공간의 중점을 상기 다시점 영상의 실루엣 정보에 역투영하여 객체에 속하지 않는 복셀을 제외시키는 과정을 포함하는 3차원 모델 생성 방법.
6. 제 5 항에 있어서,

   상기 제외시키는 과정은, 3차원 모델의 겹침 문제를 해결하기 위해 렌더링 시점의 모델 전 후면을 파악하는 과정을 포함하는 3차원 모델 생성 방법.
7. 제 4 항에 있어서,

   상기 변환 과정은, 상기 실루엣 정보를 참조하여 외곽 메쉬를 결정하는 것을 특징으로 하는 3차원 모델 생성 방법.
8. 입력되는 다시점 영상의 실루엣 정보 및 객체의 컬러 텍스처 정보에 대해 3차원 복셀 기반의 비주얼 헐 모델로 복원하는 비주얼 헐 모델 복원부와,

   상기 비주얼 헐 모델 복원부를 통해 복원되는 3차원 복셀 기반의 비주얼 헐 모델을 메쉬 모델로 변환하는 메쉬 모델 변환부와,

   상기 메쉬 모델 변환부에 의해 변환된 메쉬 모델에 대해 시점의 변화에 종속적인 텍스처 매핑을 수행하는 시점 종속 텍스처 매핑부

   를 포함하는 3차원 모델 생성 장치.
9. 제 8 항에 있어서,

   상기 비주얼 헐 모델 복원부는,

   상기 다시점 영상의 실루엣 정보 및 객체의 컬러 텍스터 정보를 입력으로 하여 복원하고자 하는 3차원 복셀 공간을 정의하는 3차원 복셀 공간 정의부와,

   상기 3차원 복셀 공간 정의부에 의해 정의된 각 복셀 공간의 중점을 입력 실루엣 영상에 투영하여 현재 복셀의 위치가 객체 내부에 있는지 아니면 배경에 속하는지를 조사하는 비주얼 헐 모델 생성부

   를 포함하는 3차원 모델 생성 장치.
10. 제 9 항에 있어서,

    상기 메쉬 모델 변환부는,

    외곽 메쉬 결정시 상기 다시점 영상의 실루엣 정보를 참조하여 복셀의 중점 좌표 사용으로 인한 외곽 정보 손실을 보완하는 것을 특징으로 하는 3차원 모델 생성 장치.

Images