KR20040034221A - 3차원 형상 복원 시스템 및 방법 - Google Patents
3차원 형상 복원 시스템 및 방법 Download PDFInfo
- Publication number
- KR20040034221A KR20040034221A KR1020020064311A KR20020064311A KR20040034221A KR 20040034221 A KR20040034221 A KR 20040034221A KR 1020020064311 A KR1020020064311 A KR 1020020064311A KR 20020064311 A KR20020064311 A KR 20020064311A KR 20040034221 A KR20040034221 A KR 20040034221A
- Authority
- KR
- South Korea
- Prior art keywords
- restoration
- image
- mapping
- dimensional
- restoring
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 발명은 복원 대상을 여러 각도에서 촬영한 사진 이미지를 이용하여 3차원 구조 복원을 수행하고, 이를 다중 텍스쳐 맵핑을 통해 3차원 형상으로 복원할 수 있도록 한 3차원 형상 복원 시스템 및 방법에 관한 것이다.
본 발명은 여러 각도에서 촬영한 복원 대상의 사진 이미지들을 기반으로 각각에 대해 이미지 구조 복원 및 맵핑을 수행한 후에 그 맵핑소스 이미지들을 혼합하는 다중 텍스쳐 맵핑을 수행하여 복원 대상을 3차원 형상으로 복원함으로써, 3차원 스캐너를 이용하는 경우의 단점을 해결하면서도 복원 대상을 3차원 형상으로 정확하게 복원할 수 있을 뿐 아니라 그 복원 기능 구현에 소요되는 비용을 절감할 수 있게 되며, 또한, 복원 대상에 대한 3차원 형상 복원시 원형 모델을 이용하는 구조 복원 방식과 원형 모델을 이용하지 않는 구조 복원 방식을 혼합하여 복원 대상의 3차원 구조를 복원한 후에 이를 다중 텍스쳐 맵핑을 통해 3차원 형상으로 복원함으로써, 종래의 3차원 스캐너를 이용하는 경우와 비교하여 유사한 복원 정확도를 유지할 수 있게 된다.
Description
본 발명은 3차원 형상 복원에 관한 것으로, 특히 복원 대상을 여러 각도에서 촬영한 사진 이미지를 이용하여 3차원 구조 복원을 수행하고, 이를 다중 텍스쳐 맵핑을 통해 3차원 형상으로 복원할 수 있도록 한 3차원 형상 복원 시스템 및 방법에 관한 것이다.
현재 3차원 형상을 복원하는 방법으로는 3차원 스캐너(광 또는 레이저 스캐너)를 이용하여 복원하는 방법과 서로 다른 각도에서 촬영한 사진 이미지를 기반으로 하는 복원 방법이 있다.
여기서, 3차원 스캐너를 이용한 복원 방법은 3차원 스캐너를 이용하여 광 신호나 레이저 신호를 대상 물체에 직접 주사한 후에 그 반사파를 센싱, 거리를 측정함으로써 대상 물체의 입체 정보를 획득한 후, CCD 카메라 등을 통하여 획득한 이미지를 맵핑(mapping)함으로 3차원 입체 형상을 복원하는 방법으로서, 복원 정확도는 높으나 고가의 스캐너 장비를 필요로 하는 등 비용적인 측면에서 실용성이 많이 떨어진다.
또한, 3차원 형상으로 복원하였다 하더라도 균일하지 못한 모델로 인하여 복원 후 처리에 어려움이 있으므로 숙달된 전문가가 아닌 경우에는 사용하기 어려워서 대중성을 갖지 못하고 영화나 CF 등과 같은 제한된 분야에서만 활용되고 있으며, 복원하고자 하는 대상이 사람인 경우 주사되는 광선의 특성상 눈에 직접 주사할 수 없으므로, 눈 위치에 주사할 필요가 있는 경우에는 눈을 감은 상태로 주사해야 하고, 3차원 형상 복원시 구성하는 다각형 메쉬(mesh)나 포인트의 구성 등에도 자유도가 매우 낮다는 단점이 있다.
그리고, 3차원 형상 복원 방법은 여러 각도에서 공통된 부분이 존재하도록 촬영한 2차원 정보인 사진 이미지들로부터 3차원 모델 및 텍스쳐(texture)를 추출하여 3차원 형상을 복원하는 방법으로서, 이 복원 방법을 통해 외부 경치나 내부 건축구조물과 같은 복잡한 장면을 별도의 모델링없이 복원할 수 있으며, 이는 디지털 촬영장비의 발달 및 대중화에 따라 앞에서 설명한 3차원 스캐너를 이용한 복원 방법의 단점들을 해결할 수 있으나, 3차원 스캐너를 이용한 복원 기술에 비해 복원 정확도가 낮다는 단점이 있다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 여러 각도에서 촬영한 복원 대상의 사진 이미지들을 기반으로 각각에 대해 이미지 구조 복원 및 맵핑을 수행한 후에 그 맵핑소스 이미지들을 혼합하는 다중 텍스쳐 맵핑을 수행하여 복원 대상을 3차원 형상으로 복원함으로써, 3차원 스캐너를 이용하는 경우의 단점을 해결하면서도 복원 대상을 3차원 형상으로 정확하게 복원할 수 있도록 하고, 이와 동시에 그 복원 기능 구현에 소요되는 비용을 절감하는데 있다.
본 발명의 다른 목적은, 복원 대상에 대한 3차원 형상 복원시 원형 모델을 이용하는 구조 복원 방식과 원형 모델을 이용하지 않는 구조 복원 방식을 혼합하여복원 대상의 3차원 구조를 복원한 후에 이를 다중 텍스쳐 맵핑을 통해 3차원 형상으로 복원하도록 함으로써, 종래의 3차원 스캐너를 이용하는 경우와 비교하여 유사한 복원 정확도를 유지할 수 있도록 하는데 있다.
도 1은 본 발명에 따른 3차원 형상 복원 시스템의 개략적인 구성 블록도.
도 2는 본 발명에서 여러 각도의 사진 이미지를 입력받기 위해 복원 대상을 중심으로 다수의 디지털 카메라를 배치한 상태를 도시한 도면.
도 3은 본 발명에 따른 3차원 형상 복원 시스템에서 복원 대상의 이미지를 기반으로 한 3차원 형상 복원 동작을 도시한 순서도.
도 4는 본 발명에 따른 3차원 형상 복원시 사용될 소정 각도에서 촬영한 사진 이미지 및 그 사진 이미지를 이용한 3차원 형상 복원 결과를 예시한 도면.
도 5는 도 3에서 이미지 맵핑 및 혼합 절차를 개념적으로 도시한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
10-1~10-n : 이미지 입력부 20-1~20-n : 에지 추출부
30 : 데이터베이스 40 : 텍스쳐 맵핑부
41-1~41-2 : 구조 복원부 42 : 이미지 맵핑부
43 : 형상 복원부
상술한 바와 같은 목적을 해결하기 위한 본 발명의 특징은, 서로 다른 각도에서 촬영한 복원 대상에 대한 사진 이미지를 입력받기 위한 이미지 입력부와; 상기 이미지 입력부를 통해 입력받은 서로 다른 각도를 갖는 사진 이미지들로부터 3차원 형상 복원시 사용되는 특성값을 추출하기 위한 에지 추출부와; 3차원 형상 복원을 위한 구조 복원시 사용되는 메쉬 모델 데이터 뱅크로서, 3차원 형상 복원을 위한 다수의 원형 모델들을 그 특성값과 함께 저장하고 있는 데이터베이스와; 상기 에지 추출부에서 서로 다른 각도의 사진 이미지들로부터 추출한 복원 대상 이미지에 대한 특성값이나, 상기 복원 대상 이미지에 대한 특성값 및 상기 데이터베이스에 저장되어 있는 원형 모델을 이용하여 3차원 구조 복원을 수행한 후에 다중 이미지 맵핑을 통해 3차원 형상을 복원하는 다중 텍스쳐 맵핑을 수행하는 텍스쳐 맵핑부를 포함하는 3차원 형상 복원 시스템을 제공하는데 있다.
여기서, 상기 이미지 입력부는, 복원 대상을 중심으로 서로 다른 각도에 위치하도록 다수의 디지털 카메라를 배치하여 상기 복원 대상을 동시에 촬영함으로써 3차원 형상 복원시 사용되는 여러 각도에서 촬영한 사진 이미지를 입력받는 것을 특징으로 한다.
그리고, 상기 텍스쳐 맵핑부는, 각 에지 추출부에서 추출한 복원 대상 이미지의 특성값을 이용하여 스테레오 방식에 따라 상기 복원 대상에 대한 3차원 구조 복원을 수행하는 제1구조 복원부와; 상기 각 에지 검출부에서 추출한 복원 대상 이미지의 특성값과 데이터베이스에 저장된 원형 모델을 이용하여 상기 복원 대상에 대한 3차원 구조 복원을 수행하는 제2구조 복원부와; 상기 구조 복원부에 의해 복원된 3차원 구조에 대하여 각 각도에서의 사진 이미지들을 이용해 맵핑한 후 각각의 원통형 프로젝션 방식에 의해 맵핑소스를 생성하는 이미지 맵핑부와; 상기 이미지 맵핑부의 이미지 맵핑 결과로 얻은 맵핑소스 이미지들을 혼합하여 상기 복원 대상을 3차원 형상으로 복원하는 형상 복원부를 포함하는 것을 특징으로 한다.
본 발명의 다른 특징은, 3차원 형상 복원을 위한 구조 복원시 사용되는 다수의 원형 모델을 그 특성값과 함께 데이터베이스에 저장하는 과정과; 여러 각도에서 촬영한 복원 대상의 사진 이미지들을 입력받아 3차원 형상 복원시 사용되는 각 각도에서의 사진 이미지에 대한 특성값들을 추출하는 과정과; 상기에서 추출한 각 각도에서의 복원 대상 이미지들에 대한 특성값이나, 상기 복원 대상 이미지들에 대한 특성값 및 상기 데이터베이스에 저장되어 있는 원형 모델을 이용하여 3차원 구조 복원을 수행한 후에 다중 텍스쳐 맵핑을 수행하여 상기 복원 대상을 3차원 형상으로 복원하는 과정을 포함하는 3차원 형상 복원 방법을 제공하는데 있다.
이때, 상기 복원 대상을 3차원 형상으로 복원하는 과정은, 각 각도의 복원 대상 이미지들에 대한 특성값을 이용하여 원형 모델없이 스테레오 방식에 따라 복원 대상에 대한 3차원 구조 복원을 수행하는 단계와; 상기 각 각도의 복원 대상 이미지들에 대한 특성값에 가장 근접하는 최적 원형 모델을 결정한 후에 상기 최적 원형 모델을 변경시켜 복원 대상에 대한 3차원 구조 복원을 수행하는 단계와; 상기에서 각각 복원된 복원 대상의 3차원 구조 정보를 혼합한 후에 서로 다른 각도의 사진 이미지들에 대해 원통형 프로젝션 방식을 이용하여 각각의 이미지 맵핑을 수행하는 단계와; 상기 각 각도의 사진 이미지들에 대한 이미지 맵핑 결과로 얻은 맵핑소스 이미지들을 하나의 맵핑소스 이미지로 혼합하여 상기 복원 대상을 3차원 형상으로 복원하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 최적 원형 모델을 변경시켜 복원 대상에 대한 3차원 구조 복원을 수행하는 단계는, 데이터베이스에 저장된 원형 모델 중에서 최적 원형 모델을 결정한 후에 MXR 변경 알고리즘에 따라 점 대 점, 라인 대 라인, 표면 대 표면 방식을 결합하여 해당되는 원형 모델을 변경시켜 복원 대상에 대한 3차원 구조 복원을 수행하는 것을 특징으로 한다.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
본 발명에 따른 3차원 형상 복원 시스템은 복원 대상에 대한 사진 이미지와 미리 생성해 놓은 원형 모델들의 데이터베이스를 이용하고 있으며, 이를 통해 여러 각도의 사진 이미지들에 대한 이미지 맵핑 및 그 맵핑 결과인 맵핑소스 이미지들을 혼합(Blending)하는 다중 텍스쳐 맵핑(texture mapping)을 수행함으로써 복원 정확도가 높은 3차원 형상 복원이 가능해 지는데, 이를 위한 3차원 형상 복원 시스템은첨부한 도면 도 1에 도시한 바와 같이, 복원 대상에 대한 사진 이미지를 입력받기 위한 다수의 이미지 입력부(10-1~10-n)와, 복원 대상 이미지들로부터 특성값을 추출하기 위한 에지 추출부(20-1~20-n)와, 3차원 형상 복원을 위한 원형 모델을을 저장하고 있는 데이터베이스(30)와, 각 에지 추출부(20-1~20-n)에서 추출한 특성값과 원형 모델을 이용하여 메쉬 모델링 최적화를 수행하는 텍스쳐 맵핑부(40)를 구비하여 이루어진다.
여기서, 3차원 형상 복원 시스템을 구성하는 각 구성부를 보다 상세히 설명하면, 이미지 입력부(10-1~10-n)는 서로 다른 각도에서 촬영한 복원 대상에 대한 사진 이미지를 입력받게 되는데, 이는 첨부한 도면 도 2의 (가) 및 (나)에 도시한 바와 같이 복원 대상을 중심으로 서로 다른 각도에 위치하도록 다수의 디지털 카메라를 배치함으로써 여러 각도에서 촬영한 복원 대상에 대한 사진 이미지들을 입력받을 수 있게 된다. 즉, 일정 위치에 배치된 각 디지털 카메라에서 복원 대상을 동시에 촬영함으로써, 복원 대상을 서로 다른 각도에서 촬영한 사진 이미지(2차원 이미지)을 입력받게 된다.
그리고, 에지 추출부(20-1~20-n)는 이미지 입력부(10-1~10-n)를 통해 입력받은 복원 대상에 대한 사진 이미지로부터 3차원 형상 복원시 필요한 특성값들을 추출하게 되는데, 여기서 특성값이라 함은 복원 대상 이미지에서 특징이 되는 부분(예를 들어, 복원 대상이 사람의 얼굴인 경우 외곽선, 눈썹, 눈, 코, 입, 귀 등과 같은 부분)들에 대한 특징점을 의미한다.
데이터베이스(30)는 3차원 형상 복원을 위한 구조 복원시 사용되는 메쉬 모델 데이터 뱅크(mesh model data bank)로서, 3차원 형상 복원을 위한 표준적인 원형 모델들을 그 특성값과 함께 저장하고 있다.
텍스쳐 맵핑부(40)는 각 에지 추출부(20-1~20-n)에서 추출한 복원 대상 이미지에 대한 특성값이나, 복원 대상 이미지에 대한 특성값 및 원형 모델을 이용하여 3차원 구조 복원을 수행한 후에 다중 이미지 맵핑을 통해 3차원 형상을 복원하는 다중 텍스쳐 맵핑을 수행하게 되는데, 이는 각 에지 추출부(20-1~20-n)에서 추출한 복원 대상 이미지의 특성값을 이용하여 스테레오(stereo) 방식에 따라 복원 대상에 대한 3차원 구조 복원을 수행하는 제1구조 복원부(41-1)와, 각 에지 추출부(20-1~20-n)에서 추출한 복원 대상 이미지의 특성값과 데이터베이스(30)에 저장된 원형 모델을 이용하여 복원 대상에 대한 3차원 구조 복원을 수행하는 제2구조 복원부(41-2)와, 각 구조 복원부(41-1, 41-2)에 의해 복원된 복원 대상의 3차원 구조를 혼합한 후에 다중 텍스쳐 맵핑을 통해 여러 각도의 사진 이미지들에 대한 원통형 프로젝션 방식의 이미지 맵핑을 수행하는 이미지 맵핑부(42)와, 이미지 맵핑부(42)에 의한 이미지 맵핑 결과인 맵핑소스 이미지들을 하나의 맵핑소스 이미지로 혼합하여 복원 대상을 3차원 형상으로 복원하는 형상 복원부(43)를 포함한다.
이와 같은 구성을 갖는 본 발명에 따른 3차원 형상 복원 시스템에서 복원 대상(이하의 설명에서는 사람의 얼굴인 경우를 예로서 설명하기로 함)의 이미지를 기반으로 다중 텍스쳐 맵핑을 수행하여 3차원 형상으로 복원하는 동작을 첨부한 도면 도 3을 참조하여 설명하면 다음과 같다.
먼저, 시스템 운영자는 복원 대상에 대한 다중 텍스쳐 맵핑을 수행하는 데있어서 3차원 형상 복원을 위한 구조 복원시 사용되는 다수의 원형 모델들을 데이터베이스(30)에 저장하여 관리하게 된다.
이러한 상태에서 시스템 운영자는 도 2와 같은 촬영 설비를 갖추고 있는 촬영 룸(room)에서 각 디지털 카메라를 제어하여 복원 대상을 촬영하게 되고, 이때 이미지 입력부(10-1~10-n)에서는 여러 각도에서 촬영한 복원 대상의 사진 이미지들 즉, 복원 대상인 사람 얼굴의 정면에서 촬영한 정면 사진 이미지(도 4의 (가)에 예시된 사진 이미지)와, 정면을 중심으로 좌/우측으로 각각 소정 각도의 위치에서 촬영한 측면 사진 이미지(도 4의 (나)에 예시된 사진 이미지)들을 대응하는 에지 추출부(20-1~20-n)로 전달하게 된다(스텝 S31).
그러면, 각 에지 추출부(20-1~20-n)는 MXR 에지 검출 알고리즘에 따라 복원 대상에 대한 사진 이미지로부터 특징이 되는 부분 즉, 얼굴 외곽선, 눈썹, 눈, 코, 입, 귀 등과 같은 부분들에 대한 특징점을 자동으로 추출함으로써 3차원 형상 복원시 필요한 특성값들을 추출하여 텍스쳐 맵핑부(40)로 전달하게 된다(스텝 S32).
이에, 텍스쳐 맵핑부(40)에서는 각 에지 추출부(20-1~20-n)에서 추출한 복원 대상 이미지에 대한 특성값이나, 복원 대상 이미지에 대한 특성값 및 데이터베이스(30)에 저장되어 있는 원형 모델을 이용하여 3차원 구조 복원을 수행한 후에 다중 텍스쳐 맵핑을 수행함으로써, 복원 대상인 사람 얼굴에 대한 3차원 형상을 복원하게 된다.
즉, 텍스쳐 맵핑부(40)는 각 에지 추출부(20-1~20-n)로부터 복원 대상 이미지에 대한 특성값들을 전달받게 되면, 제1구조 복원부(41-1)에서는 각 에지추출부(20-1~20-n)에서 추출한 특성값만을 이용하여 원형 모델없이 스테레오 방식에 따라 복원 대상의 골격에 해당되는 3차원 구조 복원을 수행하게 되고(스텝 S33-1), 제2구조 복원부(41-2)에서는 각 에지 추출부(20-1~20-n)에서 추출한 특성값 및 데이터베이스(30)에 저장된 원형 모델을 이용하여 복원 대상의 골격에 해당되는 3차원 구조 복원을 수행하게 되는데, 이때 데이터베이스(30)에 저장된 원형 모델 중에서 각 에지 추출부(20-1~20-n)에서 추출한 복원 대상 이미지의 특성값에 가장 근접하는 특성값을 갖는 최적 원형 모델을 결정한 후에 MXR 변경 알고리즘에 따라 점 대 점, 라인 대 라인, 표면 대 표면(surface-to-surface) 방식을 결합하여 해당되는 원형 모델을 변경시켜 복원 대상의 골격에 해당되는 3차원 구조 복원을 수행하게 된다(33-2).
그리고, 각 구조 복원부(41-1, 41-2)에 의해 복원된 복원 대상의 골격에 해당되는 3차원 구조 정보가 이미지 맵핑부(42)로 전달되면, 이미지 맵핑부(42)에서는 복원 대상의 골격에 해당되는 3차원 구조를 하나의 3차원 구조로 혼합한 후에 3차원의 입체에 오버랩핑 되어 있는 사진 이미지를 2차원 평면으로 표현하는 원통형 프로젝션(예를 들어, 지구본의 표면을 평면상으로 옳기는 것)을 수행하게 되는데, 이때 다중 텍스쳐 맵핑을 통해 서로 다른 각도의 복원 대상 이미지들에 대해 각각 이미지 매핑하는 다중 이미지 맵핑을 수행함으로써 다수의 이미지 맵핑 결과인 맵핑소스 이미지들을 얻게 된다(스텝 S34).
일례로, 이미지 입력부(10-1~10-n)에서의 MXR 촬영을 통해서 서로 다른 각도에서 촬영된 여러 장의 2차원 사진 이미지를 입력받을 수 있으며, 각 각도의 사진이미지들에 대해 원통형 프로젝션 방식의 이미지 맵핑을 수행함으로써 여러가지 맵핑 결과를 얻을 수 있다.
그리고, 형상 복원부(43)에서는 앞에서 얻은 서로 다른 각도의 이미지 맵핑 결과인 맵핑소스 이미지들을 하나의 맵핑 이미지로 혼합하여 이를 다시 모델에 맵핑함으로써 복원 대상을 3차원 형상으로 복원하게 된다(스텝 S35).
따라서, 어느 각도에서 보아도 정확한 모습을 보일 수 있는 맵핑 결과 즉, 첨부한 도면 도 4의 (다)에 예시한 바와 같은 3차원 형상으로 복원 대상을 복원할 수 있게 된다.
여기서, 서로 다른 각도의 사진 이미지들에 대해 각각 이미지 맵핑을 수행한 후에 이를 혼합하여 3차원 형상을 복원하고, 이때 원형 모델없이 3차원 구조를 복원하는 방식과 원형 모델을 이용하여 3차원 구조를 복원하는 방식을 혼합하여 복원 대상의 3차원 구조를 복원하는 이유는, 하나의 사진 이미지만을 이용하고 어느 하나의 3차원 구조 복원 방식만을 이용하여 텍스쳐 맵핑을 수행할 경우 맵핑을 완료한 후에 각도를 조금씩 이동하면서 보게 되면 실제 모습과 많이 틀려지기 때문이며, 이로써 본 발명에서는 3차원 스캐너를 이용한 복원 방법에 비교하여 정확도면에서도 우수한 3차원 형상 복원을 수행할 수 있게 된다.
이러한 이미지 맵핑 및 혼합의 개념을 첨부한 도면 도 5를 참조하여 설명하면, 우선 이미지 맵핑부(42)에서 각도 A, B, C에서의 사진 이미지를 이용하여 텍스쳐 맵핑소스가 되는 원통형 프로젝션 이미지들을 각각 생성하게 되고, 이렇게 하여 얻어진 서로 다른 각도에서의 맵핑소스 이미지들을 혼합함으로써 3차원 형상 복원을 위해 대상 입체 형상에 맵핑시킬 수 있는 하나의 맵핑소스 이미지를 생성하게 된다.
이를 위해 본 발명에서는 원통형 프로젝션(cylindrical projection) 방식을 이용하게 되는데, 이는 복원 대상이 되는 3차원 형상의 외곽에 원통(cylinder)을 설치하고 그 중심을 대상 3차원 입체의 중심과 일치시킨 후에 중심으로부터 원통까지 라인을 연결하였을 때 라인이 만나는 입체 표면의 메쉬(mesh)를 원통으로 사영(또는 투영)시키는 방법으로 이미지 원통형 프로젝션을 수행하는 것으로, 서로 다른 각도에서의 사진 이미지를 이용하여 맵핑한 후에 원통형 프로젝션을 수행하여 얻은 2차원 평면은 동일한 버텍스(vertex)와 메쉬(버텍스를 이용하여 표면을 표현할 수 있는 다각형) 구성을 갖되, 이때 각 메쉬가 가지고 있는 이미지 값들은 조금씩 다른 결과를 얻게 된다.
따라서, 최종적으로 복원된 버텍스나 메쉬는 정확한 정보를 가질 수 있는 각도의 버텍스나 메쉬를 갖게 되며, 이로써 각 각도에 대응하는 버텍스나 메쉬가 갖고 있는 이미지 정보를 얻을 수 있게 된다.
예를 들어, 3개 각도에서의 이미지를 이용한 텍스쳐 맵핑된 3차원 입체의 맵핑 이미지는 '1~10'까지의 동일한 메쉬를 가지고 있다고 가정할 때, 3차원 입체에 대하여 첫번째 각도에서 가질 수 있는 이미지를 이용하여 맵핑된 데이터를 원통형 프로젝션을 수행한 결과로 발생된 메쉬는 '1,2,5', 두번째 각도에서는 '3,4,7', 그리고 세번째 각도에서는 '6,8,9,10'이라고 하면, 최종적으로 혼합된 맵핑소스 이미지는 첫번째 결과 이미지의 '1,2,5' 메쉬의 이미지 값과, 두번째 결과 이미지의'3,4,7' 메쉬의 이미지 값, 그리고 세번째 결과 이미지의 '6,8,9,10' 메쉬의 이미지 값으로 구성된다.
이와 같이 서로 다른 각도의 맵핑소스 이미지들을 하나의 맵핑소스 이미지로 혼합하고, 이를 3차원 입체 모델에 맵핑함으로써 복원 대상이 되는 사람의 얼굴을 3차원 형상으로 복원할 수 있게 된다.
또한, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고 다른 방법으로도 구현할 수 있는데, 예를 들어 상술한 실시예에서 에지 추출부를 다수의 구성으로 구현한 것은 효율적인 동기 처리를 위한 것으로, 필요한 경우 하나의 구성만으로도 상술한 특성 추출 및 이미지 맵핑 기능을 수행할 수 있을 것이며, 이 경우 각 각도별로 특성 추출 및 이미지 구조 복원 및 맵핑한 결과들을 저장할 수 있는 메모리를 구현해야 하는데, 이러한 본 발명의 다른 실시예는 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
이상과 같이, 본 발명은 여러 각도에서 촬영한 복원 대상의 사진 이미지들을 기반으로 각각에 대해 이미지 구조 복원 및 맵핑을 수행한 후에 그 맵핑소스 이미지들을 혼합하는 다중 텍스쳐 맵핑을 수행하여 복원 대상을 3차원 형상으로 복원함으로써, 3차원 스캐너를 이용하는 경우의 단점을 해결하면서도 복원 대상을 3차원 형상으로 정확하게 복원할 수 있을 뿐 아니라 그 복원 기능 구현에 소요되는 비용을 절감할 수 있게 된다.
또한, 본 발명은 복원 대상에 대한 3차원 형상 복원시 원형 모델을 이용하는 구조 복원 방식과 원형 모델을 이용하지 않는 구조 복원 방식을 혼합하여 복원 대상의 3차원 구조를 복원한 후에 이를 다중 텍스쳐 맵핑을 통해 3차원 형상으로 복원함으로써, 종래의 3차원 스캐너를 이용하는 경우와 비교하여 유사한 복원 정확도를 유지할 수 있게 된다.
Claims (6)
- 서로 다른 각도에서 촬영한 복원 대상에 대한 사진 이미지를 입력받기 위한 이미지 입력부와;상기 이미지 입력부를 통해 입력받은 서로 다른 각도를 갖는 사진 이미지들로부터 3차원 형상 복원시 사용되는 특성값을 추출하기 위한 에지 추출부와;3차원 형상 복원을 위한 구조 복원시 사용되는 메쉬 모델 데이터 뱅크로서, 3차원 형상 복원을 위한 다수의 원형 모델들을 그 특성값과 함께 저장하고 있는 데이터베이스와;상기 에지 추출부에서 서로 다른 각도의 사진 이미지들로부터 추출한 복원 대상 이미지에 대한 특성값이나, 상기 복원 대상 이미지에 대한 특성값 및 상기 데이터베이스에 저장되어 있는 원형 모델을 이용하여 3차원 구조 복원을 수행한 후에 다중 이미지 맵핑을 통해 3차원 형상을 복원하는 다중 텍스쳐 맵핑을 수행하는 텍스쳐 맵핑부를 포함하는 것을 특징으로 하는 3차원 형상 복원 시스템.
- 제 1항에 있어서,상기 이미지 입력부는, 복원 대상을 중심으로 서로 다른 각도에 위치하도록 다수의 디지털 카메라를 배치하여 상기 복원 대상을 동시에 촬영함으로써 3차원 형상 복원시 사용되는 여러 각도에서 촬영한 사진 이미지를 입력받는 것을 특징으로하는 3차원 형상 복원 시스템.
- 제 1항에 있어서,상기 텍스쳐 맵핑부는, 각 에지 추출부에서 추출한 복원 대상 이미지의 특성값을 이용하여 스테레오 방식에 따라 상기 복원 대상에 대한 3차원 구조 복원을 수행하는 제1구조 복원부와;상기 각 에지 검출부에서 추출한 복원 대상 이미지의 특성값과 데이터베이스에 저장된 원형 모델을 이용하여 상기 복원 대상에 대한 3차원 구조 복원을 수행하는 제2구조 복원부와;상기 구조 복원부에 의해 복원된 3차원 구조에 대하여 각 각도에서의 사진 이미지들을 이용해 맵핑한 후 각각의 원통형 프로젝션 방식에 의해 맵핑소스를 생성하는 이미지 맵핑부와;상기 이미지 맵핑부의 이미지 맵핑 결과로 얻은 맵핑소스 이미지들을 혼합하여 상기 복원 대상을 3차원 형상으로 복원하는 형상 복원부를 포함하는 것을 특징으로 하는 3차원 형상 복원 시스템.
- 3차원 형상 복원을 위한 구조 복원시 사용되는 다수의 원형 모델을 그 특성값과 함께 데이터베이스에 저장하는 과정과;여러 각도에서 촬영한 복원 대상의 사진 이미지들을 입력받아 3차원 형상 복원시 사용되는 각 각도에서의 사진 이미지에 대한 특성값들을 추출하는 과정과;상기에서 추출한 각 각도에서의 복원 대상 이미지들에 대한 특성값이나, 상기 복원 대상 이미지들에 대한 특성값 및 상기 데이터베이스에 저장되어 있는 원형 모델을 이용하여 3차원 구조 복원을 수행한 후에 다중 텍스쳐 맵핑을 수행하여 상기 복원 대상을 3차원 형상으로 복원하는 과정을 포함하는 것을 특징으로 하는 3차원 형상 복원 방법.
- 제 4항에 있어서,상기 복원 대상을 3차원 형상으로 복원하는 과정은, 각 각도의 복원 대상 이미지들에 대한 특성값을 이용하여 원형 모델없이 스테레오 방식에 따라 복원 대상에 대한 3차원 구조 복원을 수행하는 단계와;상기 각 각도의 복원 대상 이미지들에 대한 특성값에 가장 근접하는 최적 원형 모델을 결정한 후에 상기 최적 원형 모델을 변경시켜 복원 대상에 대한 3차원 구조 복원을 수행하는 단계와;상기에서 각각 복원된 복원 대상의 3차원 구조 정보를 혼합한 후에 서로 다른 각도의 사진 이미지들에 대해 원통형 프로젝션 방식을 이용하여 각각의 이미지 맵핑을 수행하는 단계와;상기 각 각도의 사진 이미지들에 대한 이미지 맵핑 결과로 얻은 맵핑소스 이미지들을 하나의 맵핑소스 이미지로 혼합하여 상기 복원 대상을 3차원 형상으로 복원하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 복원 방법.
- 제 5항에 있어서,상기 최적 원형 모델을 변경시켜 복원 대상에 대한 3차원 구조 복원을 수행하는 단계는, 데이터베이스에 저장된 원형 모델 중에서 최적 원형 모델을 결정한 후에 MXR 변경 알고리즘에 따라 점 대 점, 라인 대 라인, 표면 대 표면 방식을 결합하여 해당되는 원형 모델을 변경시켜 복원 대상에 대한 3차원 구조 복원을 수행하는 것을 특징으로 하는 3차원 형상 복원 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020064311A KR20040034221A (ko) | 2002-10-21 | 2002-10-21 | 3차원 형상 복원 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020064311A KR20040034221A (ko) | 2002-10-21 | 2002-10-21 | 3차원 형상 복원 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20040034221A true KR20040034221A (ko) | 2004-04-28 |
Family
ID=37333583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020064311A KR20040034221A (ko) | 2002-10-21 | 2002-10-21 | 3차원 형상 복원 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20040034221A (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100842666B1 (ko) * | 2007-01-10 | 2008-06-30 | 한국문화콘텐츠진흥원 | 유형 문화재 복원 시스템 |
| KR100924598B1 (ko) * | 2007-11-30 | 2009-11-02 | 홍정우 | 3차원 모델 생성 방법 |
| KR101011094B1 (ko) * | 2009-08-17 | 2011-01-25 | 퍼스텍주식회사 | 이미지 합성 방법 |
| KR101440482B1 (ko) * | 2012-12-28 | 2014-09-17 | 전자부품연구원 | 2차원 이미지의 홀로그램 이미지 변환 장치 및 그 방법 |
| KR101507584B1 (ko) * | 2013-10-11 | 2015-03-31 | 주식회사 세가온 | 가상 3차원 영상 콘텐츠 제어 구축 시스템 및 방법 |
| WO2016053067A1 (en) * | 2014-10-03 | 2016-04-07 | Samsung Electronics Co., Ltd. | 3-dimensional model generation using edges |
| KR20160106882A (ko) * | 2015-03-03 | 2016-09-13 | 허규호 | 3차원 프린터용 데이터 중개 장치 |
| KR20200081827A (ko) * | 2018-12-28 | 2020-07-08 | 한국과학기술연구원 | 파단선의 특성을 활용한 도자기 파편의 가상 정합 시스템 및 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06259571A (ja) * | 1993-03-04 | 1994-09-16 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JPH1074271A (ja) * | 1996-08-30 | 1998-03-17 | Nippon Telegr & Teleph Corp <Ntt> | ３次元似顔作成方法および装置 |
| KR20000033063A (ko) * | 1998-11-19 | 2000-06-15 | 전주범 | 모델 기반 부호화 시스템에서의 얼굴 영상 정합 방법 |
| KR20000051217A (ko) * | 1999-01-19 | 2000-08-16 | 윤덕용 | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 |
| JP2002083286A (ja) * | 2000-09-06 | 2002-03-22 | Telecommunication Advancement Organization Of Japan | アバタ生成方法、装置及びそのプログラムを記録した記録媒体 |
-
2002
- 2002-10-21 KR KR1020020064311A patent/KR20040034221A/ko not_active Application Discontinuation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06259571A (ja) * | 1993-03-04 | 1994-09-16 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JPH1074271A (ja) * | 1996-08-30 | 1998-03-17 | Nippon Telegr & Teleph Corp <Ntt> | ３次元似顔作成方法および装置 |
| KR20000033063A (ko) * | 1998-11-19 | 2000-06-15 | 전주범 | 모델 기반 부호화 시스템에서의 얼굴 영상 정합 방법 |
| KR20000051217A (ko) * | 1999-01-19 | 2000-08-16 | 윤덕용 | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 |
| JP2002083286A (ja) * | 2000-09-06 | 2002-03-22 | Telecommunication Advancement Organization Of Japan | アバタ生成方法、装置及びそのプログラムを記録した記録媒体 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100842666B1 (ko) * | 2007-01-10 | 2008-06-30 | 한국문화콘텐츠진흥원 | 유형 문화재 복원 시스템 |
| KR100924598B1 (ko) * | 2007-11-30 | 2009-11-02 | 홍정우 | 3차원 모델 생성 방법 |
| KR101011094B1 (ko) * | 2009-08-17 | 2011-01-25 | 퍼스텍주식회사 | 이미지 합성 방법 |
| KR101440482B1 (ko) * | 2012-12-28 | 2014-09-17 | 전자부품연구원 | 2차원 이미지의 홀로그램 이미지 변환 장치 및 그 방법 |
| KR101507584B1 (ko) * | 2013-10-11 | 2015-03-31 | 주식회사 세가온 | 가상 3차원 영상 콘텐츠 제어 구축 시스템 및 방법 |
| WO2016053067A1 (en) * | 2014-10-03 | 2016-04-07 | Samsung Electronics Co., Ltd. | 3-dimensional model generation using edges |
| US9846963B2 (en) | 2014-10-03 | 2017-12-19 | Samsung Electronics Co., Ltd. | 3-dimensional model generation using edges |
| KR20160106882A (ko) * | 2015-03-03 | 2016-09-13 | 허규호 | 3차원 프린터용 데이터 중개 장치 |
| KR20200081827A (ko) * | 2018-12-28 | 2020-07-08 | 한국과학기술연구원 | 파단선의 특성을 활용한 도자기 파편의 가상 정합 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354840B2 (en) | Three dimensional acquisition and rendering | |
| KR101893047B1 (ko) | 이미지 처리 방법 및 이미지 처리 장치 | |
| Bonfort et al. | Voxel carving for specular surfaces | |
| WO2020192706A1 (zh) | 物体三维模型重建方法及装置 | |
| US8270704B2 (en) | Method and apparatus for reconstructing 3D shape model of object by using multi-view image information | |
| CN108447017A (zh) | 人脸虚拟整容方法和装置 | |
| CN111023970A (zh) | 多模式三维扫描方法及系统 | |
| KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
| EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| KR20180003535A (ko) | 라이더 스테레오 융합 실사 3d 모델 가상 현실 비디오 | |
| Mousavi et al. | The performance evaluation of multi-image 3D reconstruction software with different sensors | |
| KR20190040746A (ko) | 3차원 관심영역 복원 시스템 및 방법 | |
| Akca et al. | High definition 3D-scanning of arts objects and paintings | |
| CN108961378A (zh) | 一种多目点云三维重建方法、装置及其设备 | |
| KR20040034221A (ko) | 3차원 형상 복원 시스템 및 방법 | |
| Nyland et al. | Capturing, processing, and rendering real-world scenes | |
| Seck et al. | Ear-to-ear capture of facial intrinsics | |
| JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| KR100927234B1 (ko) | 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체 | |
| Pesavento et al. | ANIM: Accurate Neural Implicit Model for Human Reconstruction from a single RGB-D image | |
| Matsuyama | Exploitation of 3D video technologies | |
| Wang | 3D Reconstruction Using a Linear Laser Scanner and A Camera | |
| JP2021018570A (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
| JP2014157518A (ja) | 立体データの生成方法 | |
| Yilmaz et al. | An Image-Based Inexpensive 3D Scanner |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |