KR20090064154A - 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치 - Google Patents

Abstract

본 발명은 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 기술에 관한 것으로, 물체를 포함하는 삼차원 공간상에 일정 크기를 지닌 복셀로 구성된 복셀공간에서 물체를 다양한 시점에서 촬영한 다시점 영상을 입력받아 실루엣 정보와 칼라 정보를 추출하고, 실루엣 정보를 이용한 실루엣 교차(silhouette Intersection)를 통해 비쥬얼 헐(visual hull)을 구성하며, 비쥬얼 헐의 단면을 따라 이동하며 상기 단면의 폴리곤을 상기 칼라정보를 이용하여 물체 고유의 기하학적 외형에 근사화 시키고, 근사화된 폴리곤을 메쉬 구조로 연결하여 물체의 삼차원 기하학적 외형을 표현하며, 각 메쉬 구조를 다시점 영상에 투영하여 물체 표면의 칼라 텍스쳐를 추출하고, 메쉬 구조와 메쉬 구조에 대응되는 칼라 텍스쳐로 구성된 물체의 고유 외형 정보와 표면 칼라 정보를 모델링하여 삼차원 외형 모델을 형성하는 것을 특징으로 한다. 본 발명에 의하면, 삼차원 물체의 외형정보를 복원함에 있어 동적개체의 외형복원에 주로 사용되고 있는 실루엣 교차 방식의 복원시간 범주 내에서 레이저 스캐너 수준의 복원정밀도를 기대할 수 있다. 또한 본 발명은 다시점 영상의 실루엣 제약조건을 보장하며, 복원된 결과를 렌더링하여 사실적 영상을 얻을 수 있으므로 실시간을 요구하는 동적물체의 삼차원 형상복원에서 뛰어난 복원품질을 나타낼 수 있다.

다시점 영상정보, 실루엣, 칼라정보, 삼차원 형상 복원

Description

다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법 및 장치{METHOD AND APPARATUS FOR 3D RECONSTRUCTING OF OBJECT BY USING MULTI-VIEW IMAGE INFORMATION}

본 발명은 삼차원 형상복원 기술에 관한 것으로서, 특히 다시점 카메라를 이용하여 캡쳐된 다시점 영상의 실루엣과 칼라정보를 이용하여 물체의 삼차원 형상 복원을 수행하는데 적합한 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법 및 장치 관한 것이다.

물체의 외형을 캡쳐하는 종래의 기술은 크게 2가지로 분류해 볼 수 있다. 먼저 레이저나 패턴광과 같은 액티브 센서를 이용하여 물체의 외형정보를 스캐닝하고 물체를 촬영한 칼라영상에서 스캐닝 된 메쉬의 텍스쳐를 추출하는 방법이 있다. 이러한 방법은 주로 정적 물체에 한정하여 고품질의 모델을 생성하기 위해 사용된다.

또 다른 기술군은 패시브 카메라를 이용하여 다양한 시점에서 물체의 외형정보를 촬영하여 얻어진 영상정보로부터 물체의 외형정보와 표면칼라 정보를 복원하는 방법이다. 이러한 방법은 또 다시 스테레오 영상의 대응점을 이용한 삼각측량에 기초하여 삼차원 위치정보를 복원하는 스테레오 방식과 삼차원 공간상에 복셀

로 이루어진 복셀공간을 미리 정의하고 각 복셀을 각 영상으로 투영했을 때 투영영역간의 칼라 일치성으로 복셀의 존재 유무를 판별하여 복원하는 volumetric 방식으로 나눌 수 있다.

최근의 연구결과들은 고품질의 삼차원 복원 결과를 위해 다시점 영상을 기반으로 삼차원 복원을 수행하며, 정적 물체의 복원은 계산시간이 너무 많이 걸린다는 단점이 있지만, 레이저 스캐너의 복원품질에 근접한 결과를 보여 주고 있다. 반면 동적물체의 삼차원 복원은 주로 다시점 영상의 실루엣 정보에 의존하는 경우가 많으며, 이 경우 실시간 복원이 가능하지만 복원품질은 정적물체의 복원에 비해 상당히 떨어지는 단점이 있다.

결국 동적물체에 대해 고품질의 삼차원 복원을 하기 위해서는 현재 동적물체를 촬영한 다시점 동영상에서 매 프레임별로 정적 물체라는 가정하에 정적물체를 위한 삼차원 복원을 수행하고 이를 프레임별로 누적하여 동적물체의 삼차원 복원을 표현하고 있어 엄청난 계산시간을 필요로 한다. 또한 현재의 state-of-the-art 기술로 통하는 graph-cut을 이용하는 삼차원 복원방식은 레이저 스캐너 수준의 복원품질을 보여 주지만, 다시점 영상의 실루엣 제약조건을 정확하게 만족시키기 어렵다는 단점이 있어 복원된 결과물을 다시점 영상에 투영했을 때 동일한 영상의 재현에 대한 보장이 어려운 한계성을 가지고 있다.

상기한 바와 같이 동작하는 종래 기술에 의한 물체의 외형을 캡쳐하는 기술에 있어서는, 정적 물체를 복원하는 데에 계산 시간이 너무 많이 걸리며, 동적 물체에 대한 복원 시 동일한 영상으로의 삼차원 복원이 어렵다는 문제점이 있었다.

이에 본 발명은, 다시점 카메라를 이용하여 캡쳐된 다시점 영상의 실루엣과 칼라정보를 이용하여 물체의 삼차원 형상 복원을 수행할 수 있는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법 및 장치를 제공한다.

또한 본 발명은, 다시점 영상의 실루엣 정보와 칼라정보를 이용하여 물체의 삼차원 기하학적 외형과 물체의 고유 표면칼라 텍스쳐 정보를 포함한 물체의 삼차원 형상 모델을 복원할 수 있는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법 및 장치를 제공한다.

본 발명의 일 실시예 방법은, 물체를 포함하는 삼차원 공간상에 일정 크기를 지닌 복셀로 구성된 복셀공간에서 물체를 다양한 시점에서 촬영한 다시점 영상을 입력받아 실루엣 정보와 칼라 정보를 추출하는 과정과, 상기 실루엣 정보를 이용한 실루엣 교차(silhouette Intersection)를 통해 비쥬얼 헐(visual hull)을 구성하는 과정과, 상기 비쥬얼 헐의 단면을 따라 이동하며, 상기 단면의 폴리곤을 상기 칼라정보를 이용하여 상기 물체 고유의 기하학적 외형에 근사화시키는 폴리곤 근사화 과정과, 상기 근사화된 폴리곤을 메쉬 구조로 연결하여 상기 물체의 삼차원 기하학 적 외형을 표현하는 과정과, 각 메쉬 구조를 다시점 영상에 투영하여 물체 표면의 칼라 텍스쳐를 추출하는 과정과, 상기 메쉬 구조와 상기 메쉬 구조에 대응되는 상기 칼라 텍스쳐로 구성된 물체의 고유 외형 정보와 표면 칼라 정보를 모델링하여 삼차원 외형 모델을 형성하는 과정을 포함한다.

본 발명의 일 실시예 장치는, 물체를 포함하는 삼차원 공간상에 일정 크기를 지닌 복셀로 구성된 복셀공간에서 물체를 다양한 시점에서 촬영한 다시점 영상을 입력받아 실루엣 정보와 칼라 정보를 추출하는 실루엣 및 칼라 추출부와, 상기 실루엣 정보를 이용한 실루엣 교차(silhouette Intersection)를 통해 비쥬얼 헐(visual hull)을 구성하는 비쥬얼 헐 복원부와, 상기 비쥬얼 헐의 단면을 따라 이동하며, 상기 단면의 폴리곤을 상기 칼라정보를 이용하여 상기 물체 고유의 기하학적 외형에 근사화시키는 폴리곤 근사화 부와, 상기 근사화된 폴리곤을 메쉬 구조로 연결하여 상기 물체의 삼차원 기하학적 외형을 표현하는 메쉬구조 생성부와, 각 메쉬 구조를 다시점 영상에 투영하여 물체 표면의 칼라 텍스쳐를 추출하는 칼라텍스쳐 맵 생성부와, 상기 메쉬 구조와 상기 메쉬 구조에 대응되는 상기 칼라 텍스쳐로 구성된 물체의 고유 외형 정보와 표면 칼라 정보를 모델링하여 삼차원 외형 모델을 형성하는 삼차원 외형모델 형성부를 포함한다.

본 발명에 있어서, 개시되는 발명 중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.

본 발명은, 삼차원 물체의 외형정보를 복원함에 있어 동적개체의 외형복원에 주로 사용되고 있는 실루엣 교차(silhouette intersection)방식의 복원시간 범주 내에서 레이저 스캐너 수준의 복원정밀도를 가지는 Graph-cut 방식의 복원 품질을 기대할 수 있다. 또한 Graph-cut 방식으로 복원된 결과가 다시점 영상의 실루엣 제약조건을 보장하지 못하는 반면, 본 발명은 다시점 영상의 실루엣 제약조건을 보장하며, 복원된 결과를 렌더링하여 사실적 영상을 얻을 수 있으므로 실시간을 요구하는 동적물체의 삼차원 형상복원에서 뛰어난 복원품질을 나타낼 수 있는 효과가 있다.

이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 다시점 영상의 실루엣 정보와 칼라정보를 이용하여 물체의 삼차원 기하학적 외형과 물체의 고유 표면칼라 텍스쳐 정보를 포함한 물체의 삼차원 형상 모델을 복원하는 것이다.

삼차원 형상 모델 복원은 물체를 포함하는 삼차원 공간에서 이루어지며, 각 다시점 영상은 복셀 공간의 월드좌표계에 대해 미리 켈리브레이션(Calibration) 되어 있고, 각 영상은 물체를 포함하는 전경과 배경으로 분리되어 있다. 삼차원 복원 은 물체의 각 영상 전경내의 칼라 정보를 이용하여 이루어지며, 복원된 삼차원 결과물은 다시점 영상의 전경 내 각 픽셀의 칼라정보를 모두 재현할 수 있다.

하기 실시 예에서는 다시점 영상을 이용하여 물체를 삼차원 형상으로 복원하는 방안에 대해 설명하기로 한다.

도 1은 본 발명의 바람직한 실시 예에 따른 다시점 영상을 이용한 물체의 삼차원 형상 복원 시스템의 구조를 도시한 블록도이다.

도 1을 참조하면, 삼차원 형상 복원 시스템(100)은, 입력된 다시점 영상을 이용하여 물체를 삼차원 형상으로 복원시키는 것으로서, 영상 입력부(102), 실루엣 추출부(104), 비쥬얼 헐 복원부(106), 폴리곤(polygon) 근사화부(108), 메쉬구조 생성부(110), 칼라 텍스쳐 맵 생성부(112), 삼차원 외형 모델 형성부(114)를 포함한다.

영상 입력부(102)는 물체를 둘러싼 복수의 다시점 카메라에서 촬영된 다시점 영상을 입력받고, 입력받은 영상을 실루엣 및 칼라 추출부(104)로 전달한다. 실루엣 및 칼라 추출부(104)에서는 다시점 영상에서 복원하고자 하는 물체의 투영영역을 나타내는 실루엣 맵과 칼라 맵을 추출한다. 비쥬얼 헐 복원부(106)에서는 실루엣 및 칼라 추출부(104)에서 추출된 실루엣 맵을 이용한 실루엣 교차(silhoutte intersection)를 통해 복셀 공간의 비쥬얼 헐(Visual hull)을 복원한다.

이후, 폴리곤 근사화부(108)에서는 비쥬얼 헐 단면의 폴리곤으로부터 다시점 영상의 칼라 대응점 추출을 통해 물체의 기하학적 외형 정보를 폴리곤으로 근사화 하게 된다. 이러한 폴리곤 근사화과정은 더 이상의 새로운 폴리곤 근사화가 없는 경우까지 폴리곤 근사화 과정을 수행한 후, 메쉬 구조 생성부(110)에서 각 단면별 폴리곤을 연결하여 전체적인 메쉬 구조를 생성한다.

칼라 텍스쳐 맵 생성부(112)에서는 메쉬 구조로 표현된 물체의 외형정보를 다시점 영상에 투영하여 메쉬 구조의 칼라 텍스쳐 맵을 생성하고, 삼차원 외형 모델 형성부(114)에서는 메쉬 구조와 메쉬 구조에 대응되는 칼라텍스쳐 맵으로 구성된 물체의 고유 외형 정보와 표면 칼라 정보를 모델링하여 삼차원 외형 모델을 형성하게 되는 것이다.

이후 설명에서는 위와 같은 블록들로 이루어진 삼차원 형상 복원 시스템(100)을 이용하여 삼차원 외형 모델을 형성하는 절차를 설명하도록 한다.

도 2는 본 발명의 바람직한 실시예에 따른 다시점 영상을 이용한 물체의 삼차원 형상 복원 절차를 도시한 흐름도이고, 도 3은 본 발명의 바람직한 실시예에 따른 물체의 삼차원 형상복원을 위한 다시점 카메라의 배치와 삼차원 복셀 공간의 설정을 도시한 도면이다. 또한, 도 4는 본 발명의 바람직한 실시예에 따른 다시점 카메라의 각 입력영상의 예시와 입력영상의 실루엣 맵과 실루엣 맵의 픽셀 칼라값을 나타내는 칼라맵의 예시를 도시한 도면이고, 도 5는 본 발명의 바람직한 실시예에 따른 실루엣 정보를 이용한 비쥬얼 헐 복원 방식을 도시한 도면이며, 도 6은 본 발명의 바람직한 실시예에 따른 비쥬얼 헐로부터 폴리곤 근사화 과정을 통해 물체의 기하학적 외형을 근사화하는 과정을 도시한 도면이다.

도 2 내지 도 6을 참조하여 설명하면, 도 2의 200단계에서 영상 입력부(102) 는 도 3과 같이 물체를 둘러싼 다시점 카메라에서 촬영된 다시점 영상을 입력받고, 202단계에서 실루엣 및 칼라 추출부(104)는 도 4와 같이 다시점 영상(400)으로부터 물체 영역이 투영된 픽셀들의 집합인 실루엣 맵(402)과 실루엣 맵의 칼라값을 저장한 칼라맵(304)을 추출한다.

이후, 삼차원 형상 복원 시스템(100)은 다시점 영상(400)에서 실루엣 영역의 픽셀과 해당 픽셀의 칼라값만을 이용하여 물체의 삼차원복원을 수행하게 된다. 이러한 물체의 복원을 수행하기 위해 비쥬얼 헐 복원부(106)에서는 먼저 도 3과 같이 물체를 포함하는 삼차원 공간상에 일정한 크기를 지닌 복셀(voxel)의 조합으로 구성된 복셀 공간을 정의한다. 이후 204단계에서 복셀공간의 각 복셀을 다시점 영상에 투영하여 투영영역이 모두 실루엣 맵(402)의 전경영역 내부에 포함될 경우 해당 복셀은 채워지며, 그렇지 않을 경우 복셀은 복셀 공간에서 사라지게 된다. 이러한 과정을 실루엣 교차라 하며, 이 과정에서 얻어지는 삼차원 형상을 도 5와 같이 비쥬얼 헐(500)이라고 한다.

비쥬얼 헐(500)은 실루엣 정보만을 이용해 얻어지며, 물체의 실제 외형을 포함한다. 하지만 도 5와 같이 실제 물체의 표면보다 항상 크거나 같은 외형을 복원하기 때문에 이 상태에서 텍스쳐를 추출하게 되면 사실감이 떨어지게 된다. 따라서 비쥬얼 헐을 기반으로 복원된 삼차원 외형이 물체의 외형정보를 잘 근사화 하도록 폴리곤 근사화부(108)에서는 다시점 영상의 칼라정보를 이용하여 206 단계에서 폴리곤 근사화 과정을 수행하게 된다.

비쥬얼 헐(500)의 단면을 잘라보면 도 5와 같이 채워진 영역의 외곽선이 연 속된 선형의 폴리곤으로 구성됨을 알 수 있다. 이러한 폴리곤 내에 실제 물체의 외형이 포함되어 있으며, 각 폴리곤 선분을 다시점 영상에 투영해서 얻은 폴리곤 라인을 따라 칼라 대응점을 찾아내게 되면 도 6과 같이 대응점(600, 602, 604)을 구할 수 있게 된다. 이러한 대응점은 모든 폴리곤 선분마다 한 개 이상 존재한다.

해당 폴리곤이 다시점 영상에 투영되었을 때 다수의 칼라 에지와 교차하게 되면, 교차점에 새로운 대응점을 생성시키고, 인접 대응점끼리 연결하여 새로운 폴리곤을 생성한다. 이러한 폴리곤 근사화 과정은 208단계에서 각 폴리곤 선분을 다시점 영상에 투영했을 때 더 이상 칼라 에지와 교차점을 가지는 폴리곤이 없을 때까지 비쥬얼 헐의 단면을 이동하며 계속하게 된다.

즉, 폴리곤 근사화는 근사화 된 폴리곤을 계속적으로 반복하여 가시성을 가지는 다시점 영상에 투영했을 때, 더 이상의 폴리곤 근사화 과정이 발생하지 않을 때까지 수행하여, 더 이상의 새로운 폴리곤 근사화가 없을 경우, 210단계로 진행하여 메쉬구조 생성부(100)에서 각 단면별로 구성된 폴리곤을 연결하여 전체적인 메쉬구조를 생성하며, 생성된 메쉬구조는, 물체 고유의 기하학적 외형정보를 잘 근사화하게 된다.

이와 같이 폴리곤 근사화 과정을 거쳐 메쉬구조로 표현된 삼차원 형상은 이를 다시점 영상에 투영했을 때 물체의 실루엣 영역에 해당하는 모든 픽셀로 투영되는 특성을 지니며, 메쉬구조의 인접 메쉬간의 에지는 물체 표면의 칼라에지성분을 따라 전개되는 특성을 지니게 된다. 즉, 도 6과 같이 물체의 외형을 잘 표현하면서 각 영상의 실루엣 맵을 모두 만족시키게 된다.

이후 212단계에서 칼라 텍스쳐 맵 생성부(112)는 생성된 메쉬구조의 각 메쉬들을 다시점 영상에 투영하여 각 메쉬의 칼라 텍스쳐를 생성하게 된다. 각 메쉬들은 전체 메쉬구조의 가시성 정보를 바탕으로 다시점 영상에 투영되고, 투영영역의 픽셀 점유도가 가장 높은 카메라의 해당 투영영역의 칼라값, 즉, 각 메쉬를 다시점 영상에 투영했을 때 최대 투영면적을 지니는 영상의 픽셀 칼라값을 메쉬의 텍스쳐로 채택하여 전체 메쉬 구조의 칼라 텍스쳐 맵을 생성한다. 여기서, 메쉬의 텍스쳐는 단일 칼라성분이나 칼라텍스쳐로 구성되어 물체의 텍스쳐맵의 압축성을 극대화하는 특성을 가진다.

이를 통해 214단계에서 삼차원 외형 모델 형성부(114)는 물체의 삼차원 기하학적 외형과 표면의 고유칼라를 그대로 재현할 수 있는 삼차원 형상복원 결과를 얻을 수 있다.

이상 설명한 바와 같이, 본 발명은 다시점 영상의 실루엣 정보와 칼라정보를 이용하여 물체의 삼차원 기하학적 외형과 물체의 고유 표면칼라 텍스쳐 정보를 포함한 물체의 삼차원 형상 모델을 복원한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 바람직한 실시예에 따른 다시점 영상을 이용한 물체의 삼차원 형상 복원 시스템의 구조를 도시한 블록도,

도 2는 본 발명의 바람직한 실시예에 따른 다시점 영상을 이용한 물체의 삼차원 형상 복원 절차를 도시한 흐름도,

도 3은 본 발명의 바람직한 실시예에 따른 물체의 삼차원 형상복원을 위한 다시점 카메라의 배치와 삼차원 복셀공간의 설정을 도시한 도면,

도 4는 본 발명의 바람직한 실시예에 따른 다시점 카메라의 각 입력영상의 예시와 입력영상의 실루엣 맵과 실루엣 맵의 픽셀 칼라값을 나타내는 칼라맵의 예시를 도시한 도면,

도 5는 본 발명의 바람직한 실시예에 따른 실루엣 정보를 이용한 비쥬얼 헐 복원의 방식을 도시한 도면,

도 6은 본 발명의 바람직한 실시예에 따른 비쥬얼 헐로부터 폴리곤 근사화 과정을 통해 물체의 기하학적 외형을 근사화하는 과정을 도시한 도면.

< 도면의 주요 부분에 대한 부호 설명 >

100 : 삼차원 형상복원 시스템 102 : 영상 입력부

104 : 실루엣 및 칼라 추출부 106 : 비쥬얼 헐 복원부

108 : 폴리곤 근사화부 110 : 메쉬 구조 생성부

112 : 칼라 텍스쳐 맵 생성부 114 : 삼차원 외형 모델 형성부

Claims (10)

1. 물체를 포함하는 삼차원 공간상에 일정 크기를 지닌 복셀로 구성된 복셀공간에서 물체를 다양한 시점에서 촬영한 다시점 영상을 입력받아 실루엣 정보와 칼라 정보를 추출하는 과정과,

   상기 실루엣 정보를 이용한 실루엣 교차(silhouette Intersection)를 통해 비쥬얼 헐(visual hull)을 구성하는 과정과,

   상기 비쥬얼 헐의 단면을 따라 이동하며, 상기 단면의 폴리곤을 상기 칼라정보를 이용하여 상기 물체 고유의 기하학적 외형에 근사화시키는 폴리곤 근사화 과정과,

   상기 근사화된 폴리곤을 메쉬 구조로 연결하여 상기 물체의 삼차원 기하학적 외형을 표현하는 과정과,

   각 메쉬 구조를 다시점 영상에 투영하여 물체 표면의 칼라 텍스쳐를 추출하는 과정과,

   상기 메쉬 구조와 상기 메쉬 구조에 대응되는 상기 칼라 텍스쳐로 구성된 물체의 고유 외형 정보와 표면 칼라 정보를 모델링하여 삼차원 외형 모델을 형성하는 과정

   을 포함하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법.
2. 제 1항에 있어서,

   상기 실루엣 교차는,

   상기 복셀공간의 각 복셀을 다시점 영상에 투영하여 투영영역을 상기 실루엣 정보를 통해 형성된 실루엣 맵에 투영하여 해당 복셀이 채워짐으로써, 비쥬얼 헐을 얻는 것을 특징으로 하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법.
3. 제 1항에 있어서,

   상기 폴리곤 근사화 과정은,

   상기 비쥬얼 헐을 토대로 영역의 외곽선이 연속된 선형의 폴리곤으로 구성되는 과정과,

   각 폴리곤 선분을 상기 다시점 영상에 투영해서 얻은 폴리곤 라인을 따라 칼라 대응점을 찾는 과정과,

   상기 폴리곤을 상기 다시점 영상에 투영하여 다수의 칼라 에지와 교차하여 교차점에 새로운 대응점을 생성시키고, 인접 대응점끼리 연결하여 새로운 폴리곤을 생성하는 과정

   을 포함하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법.
4. 제 3항에 있어서,

   상기 폴리곤 근사화 과정은,

   근사화 된 폴리곤을 계속적으로 반복하여 가시성을 가지는 다시점 영상에 투 영했을 때, 더 이상 폴리곤이 발생하지 않을 때까지 수행하는 것을 특징으로 하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법.
5. 제 1항에 있어서,

   상기 칼라 텍스쳐를 추출하는 과정은,

   각 메쉬를 다시점 영상에 투영했을 때 최대 투영면적을 지니는 영상의 픽셀칼라값을 메쉬의 텍스쳐로 추출하여 전체 메쉬 구조의 칼라 텍스쳐 맵을 추출하는 것을 특징으로 하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법.
6. 물체를 포함하는 삼차원 공간상에 일정 크기를 지닌 복셀로 구성된 복셀공간에서 물체를 다양한 시점에서 촬영한 다시점 영상을 입력받아 실루엣 정보와 칼라 정보를 추출하는 실루엣 및 칼라 추출부와,

   상기 실루엣 정보를 이용한 실루엣 교차(silhouette Intersection)를 통해 비쥬얼 헐(visual hull)을 구성하는 비쥬얼 헐 복원부와,

   상기 비쥬얼 헐의 단면을 따라 이동하며, 상기 단면의 폴리곤을 상기 칼라정보를 이용하여 상기 물체 고유의 기하학적 외형에 근사화시키는 폴리곤 근사화 부와,

   상기 근사화된 폴리곤을 메쉬 구조로 연결하여 상기 물체의 삼차원 기하학적 외형을 표현하는 메쉬구조 생성부와,

   각 메쉬 구조를 다시점 영상에 투영하여 물체 표면의 칼라 텍스쳐를 추출하 는 칼라텍스쳐 맵 생성부와,

   상기 메쉬 구조와 상기 메쉬 구조에 대응되는 상기 칼라 텍스쳐로 구성된 물체의 고유 외형 정보와 표면 칼라 정보를 모델링하여 삼차원 외형 모델을 형성하는 삼차원 외형모델 형성부

   를 포함하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 장치.
7. 제 6항에 있어서,

   상기 실루엣 교차는,

   상기 복셀공간의 각 복셀을 다시점 영상에 투영하여 투영영역을 상기 실루엣 정보를 통해 형성된 실루엣 맵에 투영하여 해당 복셀이 채워짐으로써, 비쥬얼 헐을 얻는 것을 특징으로 하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 장치.
8. 제 6항에 있어서,

   상기 폴리곤 근사화부는,

   상기 비쥬얼 헐을 토대로 영역의 외곽선이 연속된 선형의 폴리곤으로 구성되며, 각 폴리곤 선분을 상기 다시점 영상에 투영해서 얻은 폴리곤 라인을 따라 칼라 대응점을 찾고, 상기 폴리곤을 상기 다시점 영상에 투영하여 다수의 칼라 에지와 교차하여 교차점에 새로운 대응점을 생성시키고, 인접 대응점끼리 연결하여 새로운 폴리곤을 생성하는 것을 특징으로 하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 장치.
9. 제 6항에 있어서,

   상기 폴리곤 근사화부는,

   근사화 된 폴리곤을 계속적으로 반복하여 가시성을 가지는 다시점 영상에 투영했을 때, 더 이상 폴리곤이 발생하지 않을 때까지 수행하는 것을 특징으로 하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 장치.
10. 제 6항에 있어서,

    상기 칼라텍스쳐 맵 생성부는,

    각 메쉬를 다시점 영상에 투영했을 때 최대 투영면적을 지니는 영상의 픽셀칼라값을 메쉬의 텍스쳐로 추출하여 전체 메쉬 구조를 칼라 텍스쳐 맵을 추출하는 것을 특징으로 하는 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 장치.

Images