KR20120062345A - Apparatus and method reconstructing 3d model - Google Patents

Apparatus and method reconstructing 3d model Download PDF

Info

Publication number
KR20120062345A
KR20120062345A KR1020100123565A KR20100123565A KR20120062345A KR 20120062345 A KR20120062345 A KR 20120062345A KR 1020100123565 A KR1020100123565 A KR 1020100123565A KR 20100123565 A KR20100123565 A KR 20100123565A KR 20120062345 A KR20120062345 A KR 20120062345A
Authority
KR
South Korea
Prior art keywords
model
dimensional
image
mesh
volume
Prior art date
Application number
KR1020100123565A
Other languages
Korean (ko)
Inventor
박정철
이지형
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100123565A priority Critical patent/KR20120062345A/en
Publication of KR20120062345A publication Critical patent/KR20120062345A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

PURPOSE: A three-dimensional model reconstructing apparatus and a method thereof are provided to apply an obtained image to various fields through a camera. CONSTITUTION: A mesh model generating unit(150) applies an algorithm which is set up a three-dimensional volume model. The mesh model generating unit generates a three-dimensional mesh model. A mapping unit(160) performs texture mapping of the three-dimensional mesh model. A reconstructing unit(170) generates an animation based on the mapping result.

Description

삼차원 모델 복원 장치 및 그 방법{Apparatus and method reconstructing 3D model}Apparatus and method reconstructing 3D model

본 발명은 삼차원 모델 복원 장치 및 그 방법에 관한 것이다. 보다 상세하게는 컴퓨터 그래픽스의 한 부분에 해당하는 모델링분야에서 영상을 기반으로 삼차원 모델을 복원하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for reconstructing a three-dimensional model. More particularly, the present invention relates to an apparatus and method for reconstructing a three-dimensional model based on an image in a modeling field corresponding to a part of computer graphics.

영상산업은 HD(high-definition)급 또는 풀 HD(Full high-definition)급과 같은 생생한 느낌을 전달해 줄 수 있는 고화질의 영상에 초점을 맞추어 발전하고 있다. 하지만, 근래에는 사용자들이 이차원적인 영상에서 만족하지 않고, 공감각적인 삼차원 영상으로 많은 관심이 옮겨가고 있다. 이러한 사용자들의 관심은 여러 대의 카메라에서 획득된 영상을 이용하여 삼차원 모델을 생성하는 연구를 진행하게 하였다. The video industry is developing with a focus on high-definition video that can deliver vivid feelings such as high-definition (HD) or full high-definition (HD). However, in recent years, users are not satisfied with two-dimensional images, and much attention has been shifted to synesthesia-based three-dimensional images. The interest of these users has led to the study of generating a three-dimensional model using images obtained from several cameras.

삼차원 모델을 생성하는 많은 연구 중의 하나인 프랑스 INRIA의 연구소에서 분리된 "4D View Solutions"에서는 영상 기반 삼차원 모델 제작하여 스포츠, 산업, 드라마 등의 애플리케이션에 이용하고 있다. "4D View Solutions", separated from the INRIA lab in France, which is one of many researches on creating three-dimensional models, creates image-based three-dimensional models for use in sports, industry and drama applications.

"4D views solutions"에서는 삼차원 모델을 생성하기 위하여 비주얼 헐 (visual hull)기법을 적용하였고, 이를 기반으로 삼차원 메쉬 모델을 복원하였다. In "4D views solutions", a visual hull technique was applied to generate a 3D model, and the 3D mesh model was reconstructed based on this.

하지만, "4D views solutions"과 같은 방법은 삼차원 복원 시 많은 시간과 메모리가 필요하다는 문제점이 있다.
However, a method such as "4D views solutions" has a problem in that a lot of time and memory are required for 3D restoration.

본 발명의 목적은, 카메라를 이용하여 획득한 영상을 문화재 복원, 영화, 드라마, 스포츠 등의 많은 분야에 걸쳐 적용이 가능한 삼차원 모델을 복원하는 장치 및 그 방법을 제공하는 것이다.
It is an object of the present invention to provide an apparatus and method for restoring a three-dimensional model that can be applied to many fields, such as cultural property restoration, film, drama, sports, etc. acquired using a camera.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른, 삼차원 모델 복원 장치는 According to an embodiment of the present invention for solving the above problems, the three-dimensional model reconstruction device

영상에서 삼차원 정보를 추출하는 추출부; 상기 영상에서 관심 객체를 분리하는 분리부; 상기 삼차원 정보와 상기 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 볼륨 모델 생성부; 상기 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 메쉬 모델 생성부; 상기 영상과 상기 삼차원 메쉬 모델을 텍스쳐 매핑하는 매핑부; 및 상기 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 상기 에니메이션에 배경을 합성하여 상기 삼차원 모델을 복원하는 복원부를 포함한다. An extraction unit for extracting three-dimensional information from the image; A separator that separates an object of interest from the image; A volume model generator configured to generate a three-dimensional volume model using the three-dimensional information and the object of interest; A mesh model generation unit generating a three-dimensional mesh model by applying an algorithm set to the three-dimensional volume model; A mapping unit for texture mapping the image and the three-dimensional mesh model; And a reconstruction unit for generating an animation based on the 3D mesh model and the mapping result, and reconstructing the 3D model by synthesizing a background to the animation.

상기 알고리즘은 마칭 큐브 알고리즘에 해당하는 것을 특징으로 한다. The algorithm is characterized in that it corresponds to the marching cube algorithm.

상기 분리부는 코드북을 이용하는 전/배경 분리 기법을 토대로 상기 영상에서 상기 관심 객체를 분리하는 것을 특징으로 한다. The separator may separate the object of interest from the image based on a pre / background separation technique using a codebook.

상기 볼륨 모델 생성부는 삼차원 큐브 형태의 복셀 집합에 해당하는 삼차원 볼륨 모델을 생성하는 것을 특징으로 한다. The volume model generator may generate a three-dimensional volume model corresponding to a voxel set having a three-dimensional cube.

상기 볼륨 모델 생성부는 상기 삼차원 모델에 해당하는 복셀을 찾아내고, 찾아낸 복수개의 복셀들을 각 카메라의 이미지 평면에 투영하여 상기 삼차원 모델의 영역을 획득하고, 상기 삼차원 모델의 영역에 해당하는 상기 삼차원 볼륨 모델을 생성한다.The volume model generator finds a voxel corresponding to the three-dimensional model, obtains a region of the three-dimensional model by projecting a plurality of found voxels on an image plane of each camera, and the three-dimensional volume model corresponding to the region of the three-dimensional model. Create

상기 볼륨 모델 생성부는 팔진트리 구조를 이용하여 상기 삼차원 모델에 해당하는 복셀을 찾아내는 것을 특징으로 한다. The volume model generator may find a voxel corresponding to the three-dimensional model by using an octal tree structure.

상기 메쉬 모델 생성부는 상기 삼차원 메쉬 모델의 품질은 마칭 큐브의 복수개의 패턴을 통해 생성되는 삼각형의 모양에 대응하는 것을 특징으로 한다. The mesh model generating unit may be characterized in that the quality of the three-dimensional mesh model corresponds to a shape of a triangle generated through a plurality of patterns of the marching cube.

상기 복원부는 상기 영상에 대한 프레임 별로 상기 삼차원 메쉬 모델을 저장하고, 저장한 삼차원 메쉬 모델과 상기 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 상기 에니메이션을 생성하는 것을 특징으로 한다. The restoration unit stores the three-dimensional mesh model for each frame of the image, and generates the animation by storing the stored three-dimensional mesh model and the image used for the texture mapping in a frame-by-frame memory.

상기 영상을 복수개의 카메라를 이용하여 획득하는 획득부를 더 포함한다.
The apparatus may further include an acquirer configured to acquire the image using a plurality of cameras.

상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른, 삼차원 모델 복원 방법은 According to another embodiment of the present invention for solving the above problems, the three-dimensional model reconstruction method

영상에서 삼차원 정보를 추출하는 단계; 상기 영상에서 관심 객체를 분리하는 단계; 상기 삼차원 정보와 상기 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 단계; 상기 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 단계; 상기 영상과 상기 삼차원 메쉬 모델을 텍스쳐 매핑하는 단계; 및 상기 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 상기 에니메이션에 배경을 합성하여 삼차원 모델을 복원하는 단계를 포함한다. Extracting three-dimensional information from an image; Separating an object of interest from the image; Generating a three-dimensional volume model using the three-dimensional information and the object of interest; Generating a 3D mesh model by applying an algorithm set to the 3D volume model; Texture mapping the image and the three-dimensional mesh model; And generating an animation based on the mapping result of the three-dimensional mesh model and restoring a three-dimensional model by synthesizing a background with the animation.

상기 추출하는 단계는 카메라에서 실제 모델이 떨어져 있는 위치를 나타내는 외부 인자와, 삼차원 모델에서 카메라 투영평면에 투영 될 때 사용되는 내부 인자를 포함하는 상기 삼차원 정보를 추출하는 것을 특징으로 한다. The extracting may include extracting the three-dimensional information including an external factor indicating a position where the actual model is separated from the camera and an internal factor used when projected onto the camera projection plane in the three-dimensional model.

상기 분리하는 단계는 코드북을 이용하는 전/배경 분리 기법을 토대로 상기 영상에서 상기 관심 객체를 분리하는 것을 특징으로 한다. The separating may include separating the object of interest from the image based on a total / background separation technique using a codebook.

상기 삼차원 볼륨 모델을 생성하는 단계는 상기 삼차원 모델에 해당하는 복수개의 복셀들을 찾아내는 단계; 상기 복수개의 복셀들을 각 카메라의 이미지 평면에 투영하여 상기 삼차원 모델의 영역을 획득하는 단계; 및 상기 삼차원 모델의 영역에 해당하는 상기 삼차원 볼륨 모델을 생성하는 단계를 포함한다. The generating of the three-dimensional volume model may include finding a plurality of voxels corresponding to the three-dimensional model; Projecting the plurality of voxels onto an image plane of each camera to obtain an area of the three-dimensional model; And generating the three-dimensional volume model corresponding to the region of the three-dimensional model.

상기 복수개의 복셀들을 찾아내는 단계는 팔진트리 구조를 이용하여 상기 복수개의 복셀들을 찾아내는 것을 특징으로 한다. The finding of the plurality of voxels is characterized in that finding the plurality of voxels using an octal tree structure.

상기 삼차원 볼륨 모델은 삼차원 큐브 형태의 복셀 집합에 해당하는 것을 특징으로 한다. The three-dimensional volume model is characterized in that it corresponds to a voxel set in the form of a three-dimensional cube.

상기 삼차원 메쉬 모델의 품질은 마칭 큐브의 복수개의 패턴을 통해 생성되는 삼각형의 모양에 대응하는 것을 특징으로 한다.The quality of the three-dimensional mesh model is characterized in that corresponding to the shape of the triangle generated through a plurality of patterns of the marching cube.

상기 삼차원 모델을 복원하는 단계는 상기 영상에 대한 프레임 별로 상기 삼차원 메쉬 모델을 저장하는 단계; 및 저장한 삼차원 메쉬 모델과 상기 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 상기 에니메이션을 생성하는 단계를 포함한다. Restoring the three-dimensional model may include storing the three-dimensional mesh model for each frame of the image; And generating the animation by storing the stored 3D mesh model and the image used for the texture mapping in a memory for each frame.

상기 삼차원 모델 복원 방법은 상기 영상을 복수개의 카메라들을 통해 획득하는 단계를 더 포함한다.
The 3D model reconstruction method further includes acquiring the image through a plurality of cameras.

본 발명의 실시예에 따르면, 삼차원 모델 복원 장치 및 그 방법은 볼륨 모델 생성시 빠른 탐색을 할 수 있으며 메모리를 효율적으로 사용할 수 있다.
According to an embodiment of the present invention, the three-dimensional model reconstruction apparatus and method can perform a quick search when generating the volume model and can efficiently use the memory.

도 1은 본 발명의 실시예에 따른 삼차원 모델 복원 장치를 적용하는 환경을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 삼차원 모델 복원 장치를 개략적으로 나타내는 구성도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 삼차원 볼륨 모델을 생성하는 방법을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 삼차원 볼륨 모델을 토대로 삼각형의 꼭지점을 찾는 방법을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 인접한 복셀에 의해 생성되는 삼각형을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 삼차원 모델 복원 장치에 의해 복원된 영상을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 삼차원 모델을 복원하는 방법을 나타내는 흐름도이다.1 is a view showing an environment to apply a three-dimensional model reconstruction apparatus according to an embodiment of the present invention.
2 is a schematic view showing a three-dimensional model reconstruction apparatus according to an embodiment of the present invention.
3 and 4 are diagrams illustrating a method of generating a three-dimensional volume model according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a method for finding a vertex of a triangle based on a three-dimensional volume model according to an exemplary embodiment of the present invention.
6 is a diagram illustrating a triangle generated by an adjacent voxel according to an embodiment of the present invention.
7 is a diagram illustrating an image reconstructed by a three-dimensional model reconstruction apparatus according to an embodiment of the present invention.
8 is a flowchart illustrating a method of reconstructing a three-dimensional model according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
The present invention will now be described in detail with reference to the accompanying drawings. Here, the repeated description, well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more completely describe the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for clarity.

이하에서는, 본 발명의 실시예에 따른 삼차원 모델 복원 장치 및 그 방법에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.Hereinafter, an apparatus and method for reconstructing a three-dimensional model according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 삼차원 모델 복원 장치를 적용하는 환경을 나타내는 도면이다. 1 is a view showing an environment to apply a three-dimensional model reconstruction apparatus according to an embodiment of the present invention.

본 발명의 실시예에 따른 삼차원 모델 복원 장치는 다중 카메라가 획득한 영상을 이용하여 삼차원 모델을 복원하는 장치다. An apparatus for reconstructing a three-dimensional model according to an embodiment of the present invention is an apparatus for reconstructing a three-dimensional model by using an image obtained by multiple cameras.

여기서, 다중 카메라는 방송용 카메라 20대를 사용하였으며, 이에 한정되지 않는다. Here, the multi-camera used 20 broadcast cameras, but is not limited thereto.

또한, 본 발명의 실시예에 따른 환경에서는 촬영을 위하여 도 1과 같이, 그린스크린 촬영장을 건설하였으며, 20대의 카메라에서 생성된 무압축 영상 데이터를 저장할 장치를 구축하였다.In addition, in the environment according to the embodiment of the present invention, as shown in FIG.

촬영장은 직경 10m의 정사각형의 규모로 이루어져 있다. 여기서, 연기자가 활동할 수 있는 최대 공간은 3m로 설계가 되었다. 또한, 촬영장에는 무압축 영상 데이터를 저장하기 위하여 10대의 워크스테이션(workstation)과 2채널을 저장할 수 있는 캡쳐 보드 10개를 포함한다. 여기서, 10대의 워크스테이션에 저장된 파일은 하나의 프로세싱 서버로 전송되고, 획득된 동영상을 이용하여 최종적인 삼차원 모델을 생성하는데 사용된다.
The filming site consists of a square scale with a diameter of 10m. Here, the maximum space where the actor can act is designed to be 3m. In addition, the photographing site includes 10 workstations and 10 capture boards capable of storing two channels for storing uncompressed image data. Here, the files stored in the ten workstations are transferred to one processing server and used to generate the final three-dimensional model using the obtained video.

다음, 이러한 환경에 적용하는 삼차원 모델 복원 장치를 도 2를 참조하여 상세하게 설명한다. Next, a three-dimensional model reconstruction apparatus applied to such an environment will be described in detail with reference to FIG. 2.

도 2는 본 발명의 실시예에 따른 삼차원 모델 복원 장치를 개략적으로 나타내는 구성도이다. 2 is a schematic view showing a three-dimensional model reconstruction apparatus according to an embodiment of the present invention.

도 2를 참고하면, 삼차원 모델 복원 장치(100)은 영상 획득부(110), 추출부(120), 분리부(130), 볼륨 모델 생성부(140), 메쉬 모델 생성부(150), 매핑부(160) 및 복원부(170)를 포함한다. Referring to FIG. 2, the 3D model reconstruction device 100 includes an image acquisition unit 110, an extraction unit 120, a separation unit 130, a volume model generator 140, a mesh model generator 150, and a mapping. The unit 160 and the restoration unit 170 are included.

영상 획득부(110)는 적어도 하나의 카메라를 포함하며, 카메라를 이용하여 영상을 획득한다. The image acquisition unit 110 includes at least one camera and acquires an image by using the camera.

추출부(120)는 획득한 영상에서 카메라 캘리브레이션을 이용하여 삼차원 정보에 해당하는 외부 인자 및 내부 인자를 추출한다. 여기서, 외부 인자는 카메라에서 실제 모델이 떨어져 있는 위치를 나타내는 위치 인자에 해당하고, 내부 인자는 삼차원 모델에서 카메라 투영평면에 투영 될 때 사용되는 정보 인자에 해당한다. The extractor 120 extracts an external factor and an internal factor corresponding to three-dimensional information from the acquired image by using camera calibration. Here, the external factor corresponds to the position factor representing the position of the actual model away from the camera, and the internal factor corresponds to the information factor used when projected onto the camera projection plane in the three-dimensional model.

본 발명의 실시예에 따른 외부 인자 및 내부 인자는 삼차원 모델의 실제 좌표를 계산하고, 삼차원 모델을 영상에 투영할 때 쓰여지는 것으로, 이에 한정되지 않는다. The external factor and the internal factor according to the embodiment of the present invention are used when calculating the actual coordinates of the three-dimensional model and projecting the three-dimensional model to the image, but are not limited thereto.

분리부(130)는 획득한 영상에서 관심 객체를 분리하여 전경에 해당하는 마스크 영상을 획득한다. 이때, 분리부(130)는 코드북(codebook)을 이용하는 전/배경 분리 기법을 이용하여 관심 객체를 분리한다. The separator 130 separates the object of interest from the obtained image and acquires a mask image corresponding to the foreground. In this case, the separation unit 130 separates the object of interest by using a pre / background separation technique using a codebook.

볼륨 모델 생성부(140)는 마스크 영상을 이용하여 삼차원 볼륨 모델을 생성한다. The volume model generator 140 generates a 3D volume model using a mask image.

본 발명의 실시예에 따른, 볼륨 모델 생성부(140)는 실루엣 기반 방법(Shape From Silhouette, SFS)에 해당하는 비주얼 헐(visual hull) 기법을 이용하여 삼차원 볼륨 모델을 생성하고, 이에 한정되지 않는다.According to an embodiment of the present invention, the volume model generator 140 generates a 3D volume model using a visual hull technique corresponding to a silhouette from silhouette (SFS), but is not limited thereto. .

구체적으로, 볼륨 모델 생성부(140)는 분리된 관심 객체와 각 카메라의 카메라 캘리브레이션을 통해 획득한 외부 인자 및 내부 인자를 이용하여 삼차원 볼륨 모델을 생성한다. 여기서, 삼차원 볼륨 모델은 삼차원 큐브 형태의 복셀(voxel) 집합을 포함한다. 일반적으로, 복셀은 3D 공간의 한 점을 정의한 일단의 그래픽 정보. 픽셀이 2D 공간에서 x-y좌표로 된 점을 정의한 것이기 때문에 제3의 좌표 z가 필요하다.In detail, the volume model generator 140 generates a three-dimensional volume model by using an external factor and an internal factor obtained through the separated object of interest and camera calibration of each camera. Here, the three-dimensional volume model includes a set of voxels in the form of a three-dimensional cube. In general, a voxel is a set of graphical information that defines a point in 3D space. A third coordinate z is needed because the pixel defines a point in x-y coordinates in 2D space.

즉, 볼륨 모델 생성부(140)는 삼차원 볼륨 모델을 생성하기 위하여, 삼차원 공간 상에서 삼차원 모델에 해당하는 복셀을 찾아내고, 찾아낸 모든 복셀을 각 카메라의 이미지 평면에 투영함으로써, 삼차원 모델에 해당하는 복셀을 찾게 된다. That is, the volume model generator 140 finds a voxel corresponding to the three-dimensional model in the three-dimensional space and generates all three voxels on the image plane of each camera to generate the three-dimensional volume model. You will find.

이때, 삼차원 모델을 영상에 투영하는 것은 도 3과 같이 나타낸다. At this time, the projection of the three-dimensional model to the image is shown as FIG.

도 3을 참고하면, fx, fy와 u0, v0은 카메라 캘리브레이션을 통해 획득된 초점 거리(focal length)와 이미지 중심(image center)에 해당하고, 이는 내부 행렬을 이루는 요소이다. 이때, 내부 행렬은 수학식 1과 같이 나타낸다. Referring to FIG. 3, f x , f y and u 0 , v 0 correspond to a focal length and an image center obtained through camera calibration, which are elements of an internal matrix. At this time, the internal matrix is represented by Equation 1.

Figure pat00001
Figure pat00001

다음, 볼륨 모델 생성부(140)는 내부 행렬에 해당하는 수학식 1을 이용하여 영상의 투영 포인트(u', v')를 획득한다. 이때, 영상의 투영 포인트는 수학식 2와 같다. Next, the volume model generator 140 obtains projection points u 'and v' of the image by using Equation 1 corresponding to the internal matrix. At this time, the projection point of the image is shown in Equation 2.

Figure pat00002
Figure pat00002

볼륨 모델 생성부(140)는 각 복셀을 영상에 투영하면, 각 복셀에 대한 영상 투영 포인트를 알 수 있고, 삼차원 모델의 영역을 알 수 있다. 이처럼, 볼륨 모델 생성부(140)는 투영을 통해 삼차원 볼륨 모델을 획득할 수 있다. When the volume model generator 140 projects each voxel on an image, the volume model generator 140 may know an image projection point for each voxel, and may know an area of the 3D model. As such, the volume model generator 140 may obtain a three-dimensional volume model through projection.

하지만, 위와 같은 모든 복셀에 대한 순차적인 탐색은 많은 시간을 요구한다. 따라서, 본 발명에서는 공간 분할 방법에 해당하는 팔진트리 구조(Octree)를 이용하여 모든 복셀에 대한 빠른 탐색을 수행한다. However, the sequential search for all the above voxels requires a lot of time. Therefore, in the present invention, a quick search for all voxels is performed by using an octree corresponding to the spatial partitioning method.

팔진트리 구조를 이용하여 탐색을 수행하는 방법은 빠른 탐색뿐만 아니라 메모리를 효율적으로 사용할 수 있는 장점을 가지고 있다. The search method using the octal tree structure has the advantage of efficient memory usage as well as fast searching.

고품질의 삼차원 모델 생성을 위해서는 고해상도의 볼륨이 생성되어야 하기 때문에, 물리적인 메모리를 많이 사용하게 되고, 많은 탐색이 이루어지게 된다. 즉, 빠른 탐색과 효율적인 메모리 사용은 고품질의 삼차원 모델을 생성하는데 중요한 요소이다.In order to generate a high quality three-dimensional model, a high resolution volume needs to be generated, which requires a lot of physical memory and a lot of searching. In other words, fast search and efficient memory usage are important factors in generating high quality three-dimensional models.

다음, 본 발명의 실시예에 따른 팔진트리 구조를 이용하여 삼차원 볼륨 모델을 생성하는 방법은 도 4와 같이 나타낸다. Next, a method of generating a three-dimensional volume model using an octal tree structure according to an embodiment of the present invention is shown in FIG.

도 4를 참고하면, 볼륨 모델 생성부(140)는 삼차원 모델에 해당하는 복셀을 찾고, 찾은 복셀을 8조각으로 세부적으로 나눈다, 다음, 볼륨 모델 생성부(140)는 나눠진 복셀에 대해서 삼차원 모델에 해당하는지 판단하여, 이를 토대로 삼차원 볼륨 모델을 생성한다. 즉, 팔진트리 구조를 이용하는 볼륨 모델 생성부(140)는 재귀적인 방법을 사용하여 삼차원 볼륨 모델을 생성한다. Referring to FIG. 4, the volume model generator 140 finds a voxel corresponding to the three-dimensional model, and divides the found voxel into eight pieces in detail. Next, the volume model generator 140 divides the divided voxel into the three-dimensional model. If it is determined that the corresponding, a three-dimensional volume model is generated based on this. That is, the volume model generator 140 using the octal tree structure generates a three-dimensional volume model using a recursive method.

메쉬 모델 생성부(150)는 삼차원 볼륨 모델에 특정 알고리즘을 적용하여 삼차원 메쉬 모델을 생성한다. 여기서, 특정 알고리즘은 마칭 큐브(marching cube) 알고리즘에 해당한다. 이때, 삼차원 메쉬 모델의 질은 마칭 큐브의 256개 패턴을 통해 생성되는 삼각형의 모양에 따라서 최종 품질이 결정된다. The mesh model generator 150 generates a 3D mesh model by applying a specific algorithm to the 3D volume model. Here, the specific algorithm corresponds to a marching cube algorithm. At this time, the quality of the three-dimensional mesh model is the final quality is determined according to the shape of the triangle generated through the 256 patterns of the marching cube.

즉, 메쉬 모델 생성부(150)는 삼각형의 정점을 영상에 투영하여 삼차원 볼륨 모델의 실루엣(silhouette)에 위치시킴으로써, 부드러운 삼차원 메쉬 모델을 생성할 수 있다. That is, the mesh model generator 150 may generate a smooth three-dimensional mesh model by projecting a triangle vertex on an image and placing the mesh vertex on a silhouette of the three-dimensional volume model.

다음, 도 5에서는 삼차원 볼륨 모델의 외곽에 해당하는 경계 복셀의 한 에지를 영상(영상 평면)에 투영하여, 삼각형의 한 꼭지점에 해당하는 점을 찾는 방법을 나타내고 있다. Next, FIG. 5 illustrates a method of finding a point corresponding to one vertex of a triangle by projecting one edge of a boundary voxel corresponding to the outside of the three-dimensional volume model onto an image (image plane).

도 5를 참고하면, 메쉬 모델 생성부(150)는 삼차원 점(X1, Z1)과 점(X2, Z2)을 알고 있으며, 이 두 점을 투영한 영상 평면상의 이차원 점(P1, -e)과 점(P2, -e)을 알 수 있다. 또한, 메쉬 모델 생성부(150)는 삼차원 볼륨 모델의 경계가 되는 경계점(P3, -e)을 알고 있으므로, 카메라의 중심점에서 경계점(P3, -e)을 잇는 선분에서 엣지와 맞닿는 점(X3, Z3)을 구할 수 있다. 결론적으로, 메쉬 모델 생성부(150)는 삼각형의 꼭지점을 구할 수 있다. Referring to FIG. 5, the mesh model generator 150 knows three-dimensional points (X 1 , Z 1 ) and points (X 2 , Z 2 ), and a two-dimensional point (P 1) on the image plane projecting these two points. , -e) and points (P 2 , -e). In addition, since the mesh model generator 150 knows the boundary points P 3 and -e that are the boundaries of the three-dimensional volume model, the mesh model generating unit 150 contacts the edges at the line connecting the boundary points P 3 and -e at the center point of the camera ( X 3 , Z 3 ) can be obtained. In conclusion, the mesh model generator 150 may obtain vertices of triangles.

이와 같이, 메쉬 모델 생성부(150)에서 생성된 삼차원 메쉬 모델은 각 삼각형이 독립적으로 생성되므로, 삼차원 메쉬 모델을 변형시키게 되면 각 삼각형에 따로 적용이 되고, 원하지 않는 결과를 얻을 수 있다. 이를 방지하기 위하여, 메쉬 모델 생성부(150)는 마칭 큐브 알고리즘 적용 시 같은 점을 공유하는 삼각형에 대한 대하여 도 6과 같이 고려해야 한다. As described above, since each triangle is independently generated in the three-dimensional mesh model generated by the mesh model generation unit 150, when the three-dimensional mesh model is deformed, the three-dimensional mesh model may be applied to each triangle separately, thereby obtaining an undesirable result. In order to prevent this, the mesh model generator 150 should consider the triangles that share the same point when applying the marching cube algorithm as shown in FIG. 6.

도 6을 참고하면, 인접한 두 개의 복셀에 의해 생성되는 삼각형은 일부의 꼭지점을 공유한다. 모든 복셀에서 생성되는 삼각형은 세 개의 방향(X, Y, Z)의 ①, ②, ③에 위치하게 된다. Referring to FIG. 6, triangles generated by two adjacent voxels share some vertices. The triangles generated in all voxels are located at ①, ②, ③ in three directions (X, Y, Z).

메쉬 모델 생성부(150)는 미리 생성된 삼각형의 각 꼭지점의 인덱스를 저장 한 후, 다음 삼각형이 해당 복셀의 ①, ②, ③ 중 하나가 꼭지점이 되는 경우에 이전의 꼭지점의 인덱스를 토대로 꼭지점을 공유하는 삼각형을 생성한다. The mesh model generation unit 150 stores the indices of the vertices of the pre-generated triangles, and then selects the vertices based on the indices of the previous vertices when the next triangle becomes one of the vertices ①, ②, ③. Create a shared triangle.

매핑부(160)는 삼차원 메쉬 모델과 영상 획득부(110)를 통해 획득한 영상을 텍스쳐 매핑한다. 여기서, 획득한 영상은 20 대의 카메라 중 삼차원 모델에 가장 가까운 카메라에 해당하는 영상이다. The mapping unit 160 performs texture mapping on the 3D mesh model and the image acquired through the image obtaining unit 110. Here, the acquired image is an image corresponding to the camera closest to the three-dimensional model among the 20 cameras.

복원부(170)는 삼차원 메쉬 모델과 텍스쳐 매핑 결과를 토대로 에니메이션을 생성하고, 생성한 에니메이션에 배경을 합성하여 삼차원 모델을 복원한다. The reconstruction unit 170 generates an animation based on the 3D mesh model and the texture mapping result, and restores the 3D model by synthesizing the background with the generated animation.

구체적으로, 복원부(170)는 획득한 영상에 대한 프레임 별로 삼차원 메쉬 모델을 저장한다. 다음, 복원부(170)는 저장된 삼차원 메쉬 모델과 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 삼차원 모델에 대한 애니메이션을 생성한다. 또한, 복원부(170)는 생성한 애니메이션에 배경을 합성하여 도 7과 같은 합성된 영상 즉, 삼차원 모델을 복원한다.
In detail, the reconstructor 170 stores a 3D mesh model for each frame of the acquired image. Next, the reconstructor 170 generates an animation of the 3D model by storing the stored 3D mesh model and the image used for texture mapping in a memory for each frame. Also, the restoration unit 170 restores the synthesized image, that is, the three-dimensional model, as shown in FIG. 7 by synthesizing the background with the generated animation.

다음, 삼차원 모델을 복원하는 방법을 도 8을 참조하여 상세하게 설명한다.Next, a method of restoring the three-dimensional model will be described in detail with reference to FIG. 8.

도 8은 본 발명의 실시예에 따른 삼차원 모델을 복원하는 방법을 나타내는 흐름도이다.8 is a flowchart illustrating a method of reconstructing a three-dimensional model according to an embodiment of the present invention.

도 8을 참고하면, 삼차원 모델 복원 장치(100)는 예를 들어, 20대의 카메라를 이용하여 영상을 획득한다(S810). Referring to FIG. 8, the 3D model reconstruction device 100 acquires an image using, for example, 20 cameras (S810).

삼차원 모델 복원 장치(100)은 카메라 캘리브레이션을 이용하여 획득한 영상에서 삼차원 정보를 추출한다(S820). 여기서, 삼차원 정보는 카메라에서 실제 모델이 떨어져 있는 위치를 나타내는 위치 인자에 해당하는 외부 인자와, 삼차원 모델에서 카메라 투영평면에 투영 될 때 사용되는 정보 인자에 해당하는 내부 인자를 포함한다. The 3D model reconstruction apparatus 100 extracts 3D information from an image obtained by using camera calibration (S820). Here, the 3D information includes an external factor corresponding to a positional factor indicating a position where the actual model is separated from the camera, and an internal factor corresponding to an information factor used when projected onto the camera projection plane in the 3D model.

삼차원 모델 복원 장치(100)은 획득한 영상에서 관심 객체를 분리하여 전경에 해당하는 마스크 영상을 획득한다(S830). 이때, 삼차원 모델 복원 장치(100)은 코드북(codebook)을 이용하는 전/배경 분리 기법을 이용하여 관심 객체를 분리한다.The 3D model reconstruction apparatus 100 obtains a mask image corresponding to the foreground by separating an object of interest from the acquired image (S830). In this case, the 3D model reconstruction apparatus 100 separates the object of interest by using a pre / background separation technique using a codebook.

삼차원 모델 복원 장치(100)는 획득한 마스크 영상을 이용하여 삼차원 볼륨 모델을 생성한다(S840). 여기서, 삼차원 볼륨 모델은 삼차원 큐브 형태의 복셀 집합을 포함한다. The 3D model reconstruction apparatus 100 generates a 3D volume model using the obtained mask image (S840). Here, the three-dimensional volume model includes a voxel set in the form of a three-dimensional cube.

구체적으로, 삼차원 모델 복원 장치(100)는 삼차원 공간 상에서 삼차원 모델에 해당하는 복셀을 찾아내고, 찾아낸 모든 복셀을 카메라의 이미지 평면에 투영함으로써, 삼차원 모델에 해당하는 삼차원 큐브 형태의 복셀 집합을 찾는다. Specifically, the 3D model reconstruction apparatus 100 finds a voxel corresponding to the 3D model in the 3D space and projects all the found voxels on the image plane of the camera to find a set of 3D cube-shaped voxels corresponding to the 3D model.

삼차원 모델에 해당하는 복셀을 찾아내는 경우, 삼차원 모델 복원 장치(100)는 공간 분할 방법에 해당하는 팔진트리 구조를 이용하여 모든 복셀에 대한 빠른 탐색을 수행한다. When finding a voxel corresponding to the 3D model, the 3D model reconstruction apparatus 100 performs a quick search for all voxels using an octal tree structure corresponding to the spatial division method.

삼차원 모델 복원 장치(100)는 삼차원 모델에 해당하는 복셀을 찾고, 찾은 복셀을 8조각으로 세부적으로 나눈다. 다음, 삼차원 모델 복원 장치(100)는 8조각의 복셀에 대해서 삼차원 모델에 해당하는지 판단하고, 판단한 결과를 토대로 삼차원 볼륨 모델을 생성한다.The 3D model reconstruction apparatus 100 finds a voxel corresponding to the 3D model, and divides the found voxel into 8 pieces in detail. Next, the 3D model reconstruction device 100 determines whether the 8-piece voxel corresponds to the 3D model, and generates a 3D volume model based on the determined result.

다음, 삼차원 모델 복원 장치(100)는 삼차원 볼륨 모델에 마칭 큐브 알고리즘을 적용하여 삼차원 메쉬 모델을 생성한다(S850). 여기서, 삼차원 메쉬 모델의 질은 마칭 큐브의 256개 패턴을 통해 생성되는 삼각형의 모양에 대응한다. Next, the 3D model restoration apparatus 100 generates a 3D mesh model by applying a marching cube algorithm to the 3D volume model (S850). Here, the quality of the three-dimensional mesh model corresponds to the shape of the triangle generated through 256 patterns of the marching cube.

삼차원 모델 복원 장치(100)는 삼차원 메쉬 모델과 획득한 영상을 텍스쳐 매핑한다(S860). 여기서, 획득한 영상은 적어도 하나의 카메라 중 삼차원 모델이 가장 가까운 카메라를 통해 획득한 영상에 해당한다. The 3D model reconstruction apparatus 100 performs texture mapping between the 3D mesh model and the acquired image (S860). Here, the acquired image corresponds to an image acquired through the camera closest to the three-dimensional model of the at least one camera.

삼차원 모델 복원 장치(100)는 삼차원 메쉬 모델과 텍스쳐 매핑 결과를 토대로 에니메이션을 생성하고, 생성한 에니메이션에 배경을 합성하여 삼차원 모델을 복원한다(S870). The 3D model restoration apparatus 100 generates an animation based on the 3D mesh model and the texture mapping result, and restores the 3D model by synthesizing the background with the generated animation (S870).

구체적으로, 삼차원 모델 복원 장치(100)는 획득한 동영상에 대한 프레임 별로 삼차원 메쉬 모델을 저장한다. 다음, 삼차원 모델 복원 장치(100)는 저장된 삼차원 메쉬 모델과 텍스쳐 매핑에 사용된 동영상을 프레임 별로 메모리에 저장하여 삼차원 모델에 대한 애니메이션을 생성한다. 또한, 삼차원 모델 복원 장치(100)는 생성한 애니메이션에 배경을 합성하여 삼차원 모델을 복원한다. In detail, the 3D model reconstruction apparatus 100 stores the 3D mesh model for each frame of the acquired video. Next, the 3D model reconstruction device 100 generates an animation of the 3D model by storing the stored 3D mesh model and the video used for texture mapping in a memory for each frame. In addition, the 3D model restoration apparatus 100 restores the 3D model by synthesizing the background with the generated animation.

이로써, 본 발명의 실시예에 따른 삼차원 모델 복원 방법은 삼차원 볼륨 모델 생성 시 복셀을 찾는 탐색 시간을 감소시킴으로써 삼차원 모델 복원 시 소요되는 시간을 단축하였으며, 메모리를 효율적으로 사용 할 수 있다.
Thus, the method of restoring a three-dimensional model according to an embodiment of the present invention shortens the time required for restoring the three-dimensional model by reducing the search time for finding a voxel when generating the three-dimensional volume model and efficiently uses the memory.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been used herein, they are used only for the purpose of describing the present invention and are not used to limit the scope of the present invention as defined in the meaning or claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

100; 삼차원 모델 복원 장치
110; 영상 획득부
120; 추출부
130; 분리부
140; 볼륨 모델 생성부
150; 메쉬 모델 생성부
160; 매핑부
170; 복원부 100; 3D Model Restoration Device
110; Image Acquisition Unit
120; Extraction unit
130; Separation
140; Volume model generator
150; Mesh model generator
160; Mapping section
170; Restoration department

Claims (18)

영상에서 삼차원 정보를 추출하는 추출부;
상기 영상에서 관심 객체를 분리하는 분리부;
상기 삼차원 정보와 상기 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 볼륨 모델 생성부;
상기 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 메쉬 모델 생성부;
상기 영상과 상기 삼차원 메쉬 모델을 텍스쳐 매핑하는 매핑부; 및
상기 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 상기 에니메이션에 배경을 합성하여 상기 삼차원 모델을 복원하는 복원부
를 포함하는 삼차원 모델 복원 장치.An extraction unit for extracting three-dimensional information from the image;
A separator that separates an object of interest from the image;
A volume model generator configured to generate a three-dimensional volume model using the three-dimensional information and the object of interest;
A mesh model generation unit generating a three-dimensional mesh model by applying an algorithm set to the three-dimensional volume model;
A mapping unit for texture mapping the image and the three-dimensional mesh model; And
A reconstruction unit which generates an animation based on the 3D mesh model and the mapping result, and restores the 3D model by synthesizing a background to the animation
3D model restoration apparatus comprising a. 청구항 1에 있어서,
상기 알고리즘은 마칭 큐브 알고리즘에 해당하는 것을 특징으로 하는 삼차원 모델 복원 장치.The method according to claim 1,
And the algorithm corresponds to a marching cube algorithm. 청구항 1에 있어서,
상기 분리부는
코드북을 이용하는 전/배경 분리 기법을 토대로 상기 영상에서 상기 관심 객체를 분리하는 것을 특징으로 하는 삼차원 모델 복원 장치.The method according to claim 1,
The separating part
3D model reconstruction apparatus, characterized in that for separating the object of interest from the image based on a total / background separation technique using a codebook. 청구항 1에 있어서,
상기 볼륨 모델 생성부는
삼차원 큐브 형태의 복셀 집합에 해당하는 삼차원 볼륨 모델을 생성하는 것을 특징으로 하는 삼차원 모델 복원 장치.The method according to claim 1,
The volume model generator
3D model restoration apparatus, characterized in that for generating a three-dimensional volume model corresponding to a set of three-dimensional cube voxel. 청구항 4에 있어서,
상기 볼륨 모델 생성부는
상기 삼차원 모델에 해당하는 복셀을 찾아내고, 찾아낸 복수개의 복셀들을 각 카메라의 이미지 평면에 투영하여 상기 삼차원 모델의 영역을 획득하고, 상기 삼차원 모델의 영역에 해당하는 상기 삼차원 볼륨 모델을 생성하는 삼차원 모델 복원 장치.The method of claim 4,
The volume model generator
A three-dimensional model for finding a voxel corresponding to the three-dimensional model, projecting the plurality of found voxels on the image plane of each camera to obtain a region of the three-dimensional model, and generates the three-dimensional volume model corresponding to the region of the three-dimensional model Restore device. 청구항 5에 있어서,
팔진트리 구조를 이용하여 상기 삼차원 모델에 해당하는 복셀을 찾아내는 것을 특징으로 하는 삼차원 모델 복원 장치.The method according to claim 5,
And a voxel corresponding to the three-dimensional model using an octal tree structure. 청구항 1에 있어서,
상기 메쉬 모델 생성부는
상기 삼차원 메쉬 모델의 품질은 마칭 큐브의 복수개의 패턴을 통해 생성되는 삼각형의 모양에 대응하는 것을 특징으로 하는 삼차원 모델 복원 장치.The method according to claim 1,
The mesh model generation unit
3D model reconstruction apparatus, characterized in that the quality of the three-dimensional mesh model corresponds to the shape of the triangle generated through a plurality of patterns of the marching cube. 청구항 1에 있어서,
상기 복원부는
상기 영상에 대한 프레임 별로 상기 삼차원 메쉬 모델을 저장하고, 저장한 삼차원 메쉬 모델과 상기 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 상기 에니메이션을 생성하는 것을 특징으로 하는 삼차원 모델 복원 장치.The method according to claim 1,
The restoration unit
And storing the three-dimensional mesh model for each frame of the image, and storing the three-dimensional mesh model and the image used for the texture mapping in a memory for each frame to generate the animation. 청구항 1에 있어서,
상기 영상을 복수개의 카메라를 이용하여 획득하는 획득부
를 더 포함하는 삼차원 모델 복원 장치.The method according to claim 1,
Acquisition unit for acquiring the image using a plurality of cameras
Three-dimensional model reconstruction device further comprising. 영상에서 삼차원 정보를 추출하는 단계;
상기 영상에서 관심 객체를 분리하는 단계;
상기 삼차원 정보와 상기 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 단계;
상기 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 단계;
상기 영상과 상기 삼차원 메쉬 모델을 텍스쳐 매핑하는 단계; 및
상기 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 상기 에니메이션에 배경을 합성하여 삼차원 모델을 복원하는 단계
를 포함하는 삼차원 모델 복원 방법.Extracting three-dimensional information from an image;
Separating an object of interest from the image;
Generating a three-dimensional volume model using the three-dimensional information and the object of interest;
Generating a 3D mesh model by applying an algorithm set to the 3D volume model;
Texture mapping the image and the three-dimensional mesh model; And
Restoring a 3D model by generating an animation based on the 3D mesh model and the mapping result and synthesizing the background with the animation
3D model restoration method comprising a. 청구항 10에 있어서,
상기 추출하는 단계는
카메라에서 실제 모델이 떨어져 있는 위치를 나타내는 외부 인자와, 삼차원 모델에서 카메라 투영평면에 투영 될 때 사용되는 내부 인자를 포함하는 상기 삼차원 정보를 추출하는 것을 특징으로 하는 삼차원 모델 복원 방법.The method according to claim 10,
The extracting step
And extracting the three-dimensional information including an external factor indicating a position where the actual model is separated from the camera and an internal factor used when projected onto the camera projection plane in the three-dimensional model. 청구항 10에 있어서,
상기 분리하는 단계는
코드북을 이용하는 전/배경 분리 기법을 토대로 상기 영상에서 상기 관심 객체를 분리하는 것을 특징으로 하는 삼차원 모델 복원 방법.The method according to claim 10,
The separating step is
3. The method of claim 3, wherein the object of interest is separated from the image based on a total / background separation technique using a codebook. 청구항 10에 있어서,
상기 삼차원 볼륨 모델을 생성하는 단계는
상기 삼차원 모델에 해당하는 복수개의 복셀들을 찾아내는 단계;
상기 복수개의 복셀들을 각 카메라의 이미지 평면에 투영하여 상기 삼차원 모델의 영역을 획득하는 단계; 및
상기 삼차원 모델의 영역에 해당하는 상기 삼차원 볼륨 모델을 생성하는 단계
를 포함하는 삼차원 모델 복원 방법.The method according to claim 10,
Generating the three-dimensional volume model
Finding a plurality of voxels corresponding to the three-dimensional model;
Projecting the plurality of voxels onto an image plane of each camera to obtain an area of the three-dimensional model; And
Generating the three-dimensional volume model corresponding to an area of the three-dimensional model
3D model restoration method comprising a. 청구항 13에 있어서,
상기 복수개의 복셀들을 찾아내는 단계는
팔진트리 구조를 이용하여 상기 복수개의 복셀들을 찾아내는 것을 특징으로 하는 삼차원 모델 복원 방법.The method according to claim 13,
Finding the plurality of voxels
3. The method of claim 3, wherein the plurality of voxels are found using an octal tree structure. 청구항 13에 있어서,
상기 삼차원 볼륨 모델은 삼차원 큐브 형태의 복셀 집합에 해당하는 것을 특징으로 하는 삼차원 모델 복원 방법.The method according to claim 13,
And the three-dimensional volume model corresponds to a set of voxels in the form of a three-dimensional cube. 청구항 10에 있어서,
상기 삼차원 메쉬 모델의 품질은 마칭 큐브의 복수개의 패턴을 통해 생성되는 삼각형의 모양에 대응하는 것을 특징으로 하는 삼차원 모델 복원 방법.The method according to claim 10,
3D model restoration method characterized in that the quality of the three-dimensional mesh model corresponds to the shape of the triangle generated through a plurality of patterns of the marching cube. 청구항 10에 있어서,
상기 삼차원 모델을 복원하는 단계는
상기 영상에 대한 프레임 별로 상기 삼차원 메쉬 모델을 저장하는 단계; 및
저장한 삼차원 메쉬 모델과 상기 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 상기 에니메이션을 생성하는 단계
를 포함하는 삼차원 모델 복원 방법.The method according to claim 10,
Restoring the three-dimensional model
Storing the three-dimensional mesh model for each frame of the image; And
Generating the animation by storing the stored 3D mesh model and the image used for the texture mapping in a memory frame by frame
3D model restoration method comprising a. 청구항 10에 있어서,
상기 영상을 복수개의 카메라들을 통해 획득하는 단계를 더 포함하는 삼차원 모델 복원 방법.
The method according to claim 10,
And acquiring the image through a plurality of cameras.
KR1020100123565A 2010-12-06 2010-12-06 Apparatus and method reconstructing 3d model KR20120062345A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100123565A KR20120062345A (en) 2010-12-06 2010-12-06 Apparatus and method reconstructing 3d model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100123565A KR20120062345A (en) 2010-12-06 2010-12-06 Apparatus and method reconstructing 3d model

Publications (1)

Publication Number Publication Date
KR20120062345A true KR20120062345A (en) 2012-06-14

Family

ID=46683314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100123565A KR20120062345A (en) 2010-12-06 2010-12-06 Apparatus and method reconstructing 3d model

Country Status (1)

Country Link
KR (1) KR20120062345A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496547A (en) * 2021-06-22 2021-10-12 华南理工大学 Method, device, equipment and medium for identifying weakest path of physical protection system
CN115409933A (en) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 Multi-style texture mapping generation method and device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496547A (en) * 2021-06-22 2021-10-12 华南理工大学 Method, device, equipment and medium for identifying weakest path of physical protection system
CN115409933A (en) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 Multi-style texture mapping generation method and device
CN115409933B (en) * 2022-10-28 2023-02-03 北京百度网讯科技有限公司 Multi-style texture mapping generation method and device

Similar Documents

Publication Publication Date Title
Griwodz et al. AliceVision Meshroom: An open-source 3D reconstruction pipeline
Kumar et al. Monocular dense 3d reconstruction of a complex dynamic scene from two perspective frames
US9082224B2 (en) Systems and methods 2-D to 3-D conversion using depth access segiments to define an object
CN111243071A (en) Texture rendering method, system, chip, device and medium for real-time three-dimensional human body reconstruction
EP2272050B1 (en) Using photo collections for three dimensional modeling
JP6201476B2 (en) Free viewpoint image capturing apparatus and method
Schöning et al. Evaluation of multi-view 3D reconstruction software
JP4839237B2 (en) 3D shape restoration method, 3D shape restoration device, 3D shape restoration program implementing the method, and recording medium recording the program
JP2006053694A (en) Space simulator, space simulation method, space simulation program and recording medium
JP2016537901A (en) Light field processing method
KR101181199B1 (en) Stereoscopic image generation method of background terrain scenes, system using the same and recording medium for the same
Zhang et al. Personal photograph enhancement using internet photo collections
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
US20210217225A1 (en) Arbitrary view generation
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
Queguiner et al. Towards mobile diminished reality
KR20080045392A (en) Method for light environment reconstruction for image synthesis and storage medium storing program therefor
Simões et al. Challenges in 3d reconstruction from images for difficult large-scale objects: A study on the modeling of electrical substations
JPH11504452A (en) Apparatus and method for reproducing and handling a three-dimensional object based on a two-dimensional projection
TWI810818B (en) A computer-implemented method and system of providing a three-dimensional model and related storage medium
TWI716874B (en) Image processing apparatus, image processing method, and image processing program
WO2021187157A1 (en) Image processing device, image processing method, and image processing program
KR20100104088A (en) Method and apparatus for processing multi-viewpoint image
KR20120062345A (en) Apparatus and method reconstructing 3d model
KR20210147647A (en) Apparatus and method for color synthesis of face images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application