KR20210086444A - 3d modeling apparatus and method - Google Patents

3d modeling apparatus and method Download PDF

Info

Publication number
KR20210086444A
KR20210086444A KR1020200117005A KR20200117005A KR20210086444A KR 20210086444 A KR20210086444 A KR 20210086444A KR 1020200117005 A KR1020200117005 A KR 1020200117005A KR 20200117005 A KR20200117005 A KR 20200117005A KR 20210086444 A KR20210086444 A KR 20210086444A
Authority
KR
South Korea
Prior art keywords
camera
rgb
photographing
image
modeling
Prior art date
Application number
KR1020200117005A
Other languages
Korean (ko)
Other versions
KR102391376B1 (en
Inventor
이승현
권순철
이재현
이대현
자한젭
이문용
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of KR20210086444A publication Critical patent/KR20210086444A/en
Application granted granted Critical
Publication of KR102391376B1 publication Critical patent/KR102391376B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention relates to an apparatus and a method for 3D modeling. The apparatus comprises: a plurality of IR projectors arranged to be spaced apart from each other in a circumferential direction with respect to a table on which an object is placed and projecting infrared structured light having a predetermined pattern onto the object; a plurality of photographing units arranged in pairs and including an IR camera and an RGB camera for capturing an IR image and an RGB image of the object, respectively; a control unit controlling the IR projector, the IR camera, and the RGB camera, and performing calibration between the IR camera and the RGB camera; and a 3D model generation unit which acquires stereoscopic information of the object from the IR image captured by the IR camera, acquires material information of the object from the RGB image captured by the RGB camera, and generates a 3D model of the object through mapping. The high-efficiency 3D modeling in which unique material information and appearance information of the object are reflected can be performed with only one simultaneous photograph.

Description

3D 모델링 장치 및 방법{3D MODELING APPARATUS AND METHOD}3D modeling apparatus and method {3D MODELING APPARATUS AND METHOD}

본 발명은 객체의 촬영 이미지로부터 3D 모델을 생성하기 위한 3D 모델링 장치 및 방법에 관한 것이다.The present invention relates to a 3D modeling apparatus and method for generating a 3D model from a photographed image of an object.

일반적으로, 각각 다른 시점에서 촬영된 이미지 데이터로부터 특징점을 추출하여 이미지 기반 3D 모델링을 수행할 수 있다. 이러한 이미지 기반 3D 모델링 방법에 있어서는, 어떠한 특징점 추출 방법을 적용했는지에 따라 최종 결과물의 품질이 달라지게 된다.In general, image-based 3D modeling may be performed by extracting feature points from image data captured at different viewpoints. In such an image-based 3D modeling method, the quality of the final result varies depending on which feature point extraction method is applied.

특징점 추출의 정확성을 높이기 위해, 임의로 생성된 패턴을 객체에 비춰줌으로써 패턴과 함께 촬영된 이미지로부터 더 높은 수준의 결과물을 얻을 수 있다. 그러나, 이러한 방식만으로는 패턴이 비춰진 물체로부터 정확한 외형 정보를 획득할 수 있지만, 질감을 표현하는 텍스쳐 정보는 반영하기 어렵다.In order to increase the accuracy of feature point extraction, a higher-level result can be obtained from the image taken with the pattern by illuminating the randomly generated pattern on the object. However, with this method alone, accurate appearance information can be obtained from the object on which the pattern is illuminated, but it is difficult to reflect the texture information expressing the texture.

이러한 문제를 해결하기 위해, 기존의 방법에서는 2회에 걸쳐 촬영을 진행한다. 1회 촬영 시 패턴 문양과 함께 객체를 촬영하여 객체의 외형 정보를 획득하고, 시간이 경과한 후, 2회 촬영 시 패턴 문양을 제거하고 물체가 가진 고유의 텍스쳐 정보를 획득한다.In order to solve this problem, in the conventional method, photographing is performed twice. In the first shooting, the object is captured along with the pattern pattern to obtain the appearance information of the object, and after time elapses, in the second shooting, the pattern pattern is removed and the unique texture information of the object is obtained.

그 다음, 최종 모델링 생성단계에서 획득한 객체의 외형 정보를 통해 생성된 객체의 3D 외형에 객체의 텍스쳐 정보를 중첩하여 객체의 3D 모델을 생성한다.Next, a 3D model of the object is created by superimposing the texture information of the object on the 3D appearance of the object created through the appearance information of the object obtained in the final modeling generation step.

그러나, 이러한 방법은 1회와 2회에 걸쳐 촬영이 진행되기 때문에 사람, 동물 등과 같이 고정이 어려운 물체의 경우에는 정확한 3D 모델링을 수행하기 어렵다는 문제가 있다.However, this method has a problem in that it is difficult to perform accurate 3D modeling of an object that is difficult to fix, such as a person or an animal, because the photographing is performed once and twice.

따라서, 서로 다른 복수개의 카메라를 통해 객체를 동시에 촬영하여 얻은 이미지로부터 3D 모델을 생성하기 위한 기술이 요구되고 있는 실정이다.Accordingly, there is a need for a technology for generating a 3D model from an image obtained by simultaneously photographing an object through a plurality of different cameras.

한국 공개특허공보 제10-2016-0098589호Korean Patent Publication No. 10-2016-0098589

본 발명의 목적은 IR 프로젝터, IR 카메라, 및 RGB 카메라를 이용하여, 서로 다른 복수개의 카메라에서 동시에 촬영된 이미지를 이용하여 3D 모델을 생성하는 3D 모델링 장치 및 방법을 제공함에 있다.An object of the present invention is to provide a 3D modeling apparatus and method for generating a 3D model using images simultaneously photographed by a plurality of different cameras using an IR projector, an IR camera, and an RGB camera.

위와 같은 과제를 해결하기 위한 본 발명의 제1 측면은 3D 모델링 장치에 관한 것이다. 상기 장치는, 객체가 놓여지는 테이블에 대하여 원주방향으로 서로 이격 배치되며 소정의 패턴을 갖는 적외선 구조광을 객체에 투영하는 복수의 IR 프로젝터; 객체의 IR 이미지를 촬영하는 IR 카메라와 객체의 RGB 이미지를 촬영하는 RGB 카메라가 쌍을 이루며 배치되는 복수의 촬영부; 상기 IR 프로젝터, 상기 IR 카메라, 및 상기 RGB 카메라를 제어하며, 상기 IR 카메라와 상기 RGB 카메라 간의 캘리브레이션을 수행하는 제어부; 및 상기 IR 카메라가 촬영한 IR 이미지로부터 객체의 입체 정보를 획득하고, 상기 RGB 카메라가 촬영한 RGB 이미지로부터 객체의 재질 정보를 획득하여 매핑을 통해 객체의 3D 모델을 생성하는 3D 모델 생성부를 포함할 수 있다.A first aspect of the present invention for solving the above problems relates to a 3D modeling apparatus. The apparatus includes: a plurality of IR projectors arranged to be spaced apart from each other in a circumferential direction with respect to a table on which the object is placed and projecting infrared structured light having a predetermined pattern onto the object; a plurality of photographing units in which an IR camera for photographing an IR image of an object and an RGB camera for photographing an RGB image of an object are arranged in pairs; a controller controlling the IR projector, the IR camera, and the RGB camera, and performing calibration between the IR camera and the RGB camera; and a 3D model generation unit that obtains stereoscopic information of the object from the IR image captured by the IR camera, obtains material information of the object from the RGB image photographed by the RGB camera, and generates a 3D model of the object through mapping can

본 발명의 실시예에 따르면, 상기 복수의 촬영부는 제1 촬영부 및 제2 촬영부를 포함하고, 상기 제1 촬영부와 상기 제2 촬영부는 상기 IR 프로젝터를 사이에 두고 상기 테이블의 원주방향으로 인접 배치될 수 있다.According to an embodiment of the present invention, the plurality of photographing units include a first photographing unit and a second photographing unit, and the first photographing unit and the second photographing unit are adjacent in the circumferential direction of the table with the IR projector interposed therebetween. can be placed.

본 발명의 실시예에 따르면, 상기 제어부는 상기 복수의 IR 카메라 및 상기 복수의 RGB 카메라가 객체를 동시에 촬영하도록 상기 IR 카메라 및 상기 RGB 카메라를 제어할 수 있다.According to an embodiment of the present invention, the controller may control the IR camera and the RGB camera so that the plurality of IR cameras and the plurality of RGB cameras simultaneously photograph an object.

본 발명의 실시예에 따르면, 상기 제어부는 상기 각 촬영부를 구성하는 상기 IR 카메라가 획득한 IR 이미지 데이터와 상기 RGB 카메라가 획득한 RGB 이미지 데이터를 서로 결합할 수 있도록 상기 IR 카메라와 상기 RGB 카메라 간의 캘리브레이션을 수행할 수 있다.According to an embodiment of the present invention, the control unit is configured to combine the IR image data obtained by the IR camera constituting the respective photographing units and the RGB image data obtained by the RGB camera with each other between the IR camera and the RGB camera. Calibration can be performed.

본 발명의 실시예에 따르면, 상기 각각의 IR 프로젝터는 원주방향으로 등간격으로 배치되며, 상기 IR 프로젝터는 위치를 조절하기 위한 모터에 연동되며, 상기 제어부는 상기 모터를 제어하여 상기 적외선 구조광의 투영 범위가 서로 중첩되지 않도록 상기 각각의 IR 프로젝터를 객체의 높이방향 및 원주방향으로 이동시킬 수 있다.According to an embodiment of the present invention, each of the IR projectors is arranged at equal intervals in the circumferential direction, and the IR projector is linked to a motor for adjusting a position, and the control unit controls the motor to project the infrared structured light. The respective IR projectors may be moved in the height direction and the circumferential direction of the object so that the ranges do not overlap each other.

본 발명의 실시예에 따르면, 상기 3D 모델 생성부는 상기 복수의 IR 카메라가 동시에 촬영하여 얻은 복수의 IR 이미지를 수신하여 상기 복수의 IR 이미지의 집합인 IR 이미지 시퀀스를 획득하고, 상기 IR 이미지 시퀀스를 구성하는 상기 각 IR 이미지의 복수의 특징점을 추출하여 매칭함으로써 3차원 메쉬를 생성할 수 있다.According to an embodiment of the present invention, the 3D model generating unit receives a plurality of IR images obtained by simultaneously photographing the plurality of IR cameras, obtains an IR image sequence that is a set of the plurality of IR images, and generates the IR image sequence A three-dimensional mesh can be generated by extracting and matching a plurality of feature points of each of the constituting IR images.

본 발명의 실시예에 따르면, 상기 3D 모델 생성부는 상기 복수의 RGB 카메라가 동시에 촬영하여 얻은 복수의 RGB 이미지를 수신하여 상기 복수의 RGB 이미지의 집합인 RGB 이미지 시퀀스를 획득하고, 상기 획득한 RGB 이미지 시퀀스를 이용하여 상기 3차원 메쉬가 생성된 공간상에 매핑을 수행할 수 있다.According to an embodiment of the present invention, the 3D model generating unit receives a plurality of RGB images obtained by simultaneously photographing the plurality of RGB cameras to obtain an RGB image sequence that is a set of the plurality of RGB images, and the obtained RGB image Mapping may be performed on the space in which the 3D mesh is generated using the sequence.

위와 같은 과제를 해결하기 위한 본 발명의 제2 측면은 3D 모델링 방법에 관한 것이다. 상기 방법은, (a) 복수의 IR 프로젝터를 통해 소정의 패턴을 갖는 적외선 구조광을 객체에 투영하는 단계; (b) 상기 IR 프로젝터, IR 카메라, 및 RGB 카메라를 제어하며, 상기 IR 카메라와 상기 RGB 카메라가 쌍을 이루며 배치되는 복수의 촬영부 각각에서 상기 IR 카메라와 상기 RGB 카메라 간의 캘리브레이션을 수행하는 단계; (c) 상기 복수의 IR 카메라 및 상기 복수의 RGB 카메라가 객체를 동시에 촬영하여, 상기 IR 카메라가 상기 적외선 구조광이 투영된 객체의 IR 이미지를 촬영하고, 상기 RGB 카메라가 객체의 RGB 이미지를 촬영하는 단계; 및 (d) 상기 IR 카메라가 촬영한 IR 이미지로부터 객체의 입체 정보를 획득하고, 상기 RGB 카메라가 촬영한 RGB 이미지로부터 객체의 재질 정보를 획득하여 매핑을 통해 객체의 3D 모델을 생성하는 단계를 포함할 수 있다.A second aspect of the present invention for solving the above problems relates to a 3D modeling method. The method includes the steps of: (a) projecting infrared structured light having a predetermined pattern onto an object through a plurality of IR projectors; (b) controlling the IR projector, the IR camera, and the RGB camera, and performing calibration between the IR camera and the RGB camera in each of a plurality of photographing units in which the IR camera and the RGB camera are paired; (c) the plurality of IR cameras and the plurality of RGB cameras simultaneously photograph the object, the IR camera photographing an IR image of the object onto which the infrared structured light is projected, and the RGB camera photographing the RGB image of the object to do; and (d) obtaining stereoscopic information of the object from the IR image captured by the IR camera, obtaining material information of the object from the RGB image photographed by the RGB camera, and generating a 3D model of the object through mapping can do.

본 발명의 실시예에 따르면, 상기 (b) 단계는 상기 각 촬영부를 구성하는 상기 IR 카메라가 획득한 IR 이미지 데이터와 상기 RGB 카메라가 획득한 RGB 이미지 데이터를 서로 결합할 수 있도록 상기 IR 카메라와 상기 RGB 카메라 간의 캘리브레이션을 수행할 수 있다.According to an embodiment of the present invention, in step (b), the IR camera and the IR camera are combined with the RGB image data acquired by the RGB camera with the IR image data acquired by the IR camera constituting the respective photographing units. Calibration between RGB cameras can be performed.

본 발명의 실시예에 따르면, 상기 (b) 단계는 상기 적외선 구조광의 투영 범위가 서로 중첩되지 않도록 상기 각각의 IR 프로젝터를 객체의 높이방향 및 원주방향으로 이동시키는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step (b) may include moving the respective IR projectors in the height direction and the circumferential direction of the object so that the projection ranges of the infrared structured light do not overlap each other.

본 발명의 실시예에 따르면, 상기 (d) 단계는 상기 복수의 IR 카메라가 동시에 촬영하여 얻은 복수의 IR 이미지를 수신하여 상기 복수의 IR 이미지의 집합인 IR 이미지 시퀀스를 획득하고, 상기 IR 이미지 시퀀스를 구성하는 상기 각 IR 이미지의 복수의 특징점을 추출하여 매칭함으로써 3차원 메쉬를 생성할 수 있다.According to an embodiment of the present invention, the step (d) receives a plurality of IR images obtained by simultaneously photographing the plurality of IR cameras to obtain an IR image sequence that is a set of the plurality of IR images, and the IR image sequence A three-dimensional mesh can be generated by extracting and matching a plurality of feature points of each of the IR images constituting the .

본 발명의 실시예에 따르면, 상기 (d) 단계는 상기 복수의 RGB 카메라가 동시에 촬영하여 얻은 복수의 RGB 이미지를 수신하여 상기 복수의 RGB 이미지의 집합인 RGB 이미지 시퀀스를 획득하고, 상기 획득한 RGB 이미지 시퀀스를 이용하여 상기 3차원 메쉬가 생성된 공간상에 매핑을 수행할 수 있다.According to an embodiment of the present invention, the step (d) receives a plurality of RGB images obtained by simultaneously photographing the plurality of RGB cameras to obtain an RGB image sequence that is a set of the plurality of RGB images, and the obtained RGB images Mapping may be performed on the space in which the 3D mesh is generated using the image sequence.

본 발명에 따르면, IR 프로젝터, IR 카메라, 및 RGB 카메라에 의해 수행되는 1회의 동시 촬영만으로도 객체의 고유 재질정보 및 외형 정보가 반영된 고효율의 3D 모델링을 수행할 수 있다.According to the present invention, it is possible to perform high-efficiency 3D modeling in which the intrinsic material information and appearance information of an object are reflected only by one simultaneous shooting performed by the IR projector, the IR camera, and the RGB camera.

도 1은 본 발명에 따른 3D 모델링 장치의 각 구성을 개략적으로 나타낸 구성도이다.
도 2는 도 1의 3D 모델링 장치의 IR 프로젝터 및 적외선 및 RGB 카메라의 배열을 예시적으로 나타낸 평면도이다.
도 3은 도 1의 3D 모델링 장치에 의해 수행되는 3D 모델링 단계를 개략적으로 나타낸 순서도이다.
도 4는 도 3의 3D 모델링 단계 중, 캘리브레이션 수행 단계의 관련 구성을 개략적으로 나타낸 구성도이다.
도 5는 도 3의 각 3D 모델링 단계 중, 3D 모델 생성 단계에 포함되는 각 단계를 개략적으로 나타낸 순서도이다.1 is a configuration diagram schematically showing each configuration of a 3D modeling apparatus according to the present invention.
FIG. 2 is a plan view illustrating an arrangement of an IR projector and infrared and RGB cameras of the 3D modeling apparatus of FIG. 1 .
3 is a flowchart schematically illustrating a 3D modeling step performed by the 3D modeling apparatus of FIG. 1 .
FIG. 4 is a configuration diagram schematically illustrating a related configuration of a calibration performing step among the 3D modeling steps of FIG. 3 .
FIG. 5 is a flowchart schematically illustrating each step included in the 3D model generation step among the 3D modeling steps of FIG. 3 .

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, detailed contents for carrying out the present invention will be described with reference to the accompanying drawings. In the description of the present invention, when it is determined that the subject matter of the present invention may be unnecessarily obscured as it is obvious to those skilled in the art with respect to related known functions, the detailed description thereof will be omitted.

도 1은 본 발명에 따른 3D 모델링 장치의 각 구성을 개략적으로 나타낸 구성도이다. 도 2는 도 1의 3D 모델링 장치의 IR 프로젝터 및 적외선 및 RGB 카메라의 배열을 예시적으로 나타낸 평면도이다.1 is a configuration diagram schematically showing each configuration of a 3D modeling apparatus according to the present invention. FIG. 2 is a plan view illustrating an arrangement of an IR projector and infrared and RGB cameras of the 3D modeling apparatus of FIG. 1 .

도 1 및 도 2를 참조하면, 본 발명에 따른 3D 모델링 장치는 IR 프로젝터(10), IR 카메라(20), RGB 카메라(30), 제어부(40), 및 3D 모델 생성부(50)를 포함한다.1 and 2 , the 3D modeling apparatus according to the present invention includes an IR projector 10 , an IR camera 20 , an RGB camera 30 , a controller 40 , and a 3D model generator 50 . do.

IR 프로젝터(10)는 복수이며, 객체가 놓여지는 테이블(1)에 대하여 원주방향(cd)으로 서로 이격 배치되며 소정의 패턴을 갖는 적외선 구조광을 객체에 투영한다. 패턴 생성기(11)(도 4 참조)가 IR 프로젝터(10)에 연결되어 소정의 패턴을 갖는 적외선 구조광을 제공할 수 있으며, 소정의 패턴은 공지된 임의 형태의 적외선 구조광 패턴이 적용될 수 있다. 복수의 IR 프로젝터(10)는 객체를 향하여 배치되며, 미리 정해진 일정 간격을 두고 서로 이격 배치될 수 있다. 예를 들어, IR 프로젝터(10)는 3개이며, 각각 시계방향을 기준으로 1시 방향, 5시 방향, 및 9시 방향에 객체를 향하여 배치될 수 있다. 또한, IR 프로젝터(10)는 객체의 형태에 따라 객체를 수평하게 향하도록 또는 객체의 상, 하측으로부터 객체를 일정 각도를 가지며 향하도록 배치될 수도 있다.The plurality of IR projectors 10 are arranged spaced apart from each other in the circumferential direction (cd) with respect to the table 1 on which the object is placed, and project infrared structured light having a predetermined pattern onto the object. A pattern generator 11 (see FIG. 4 ) may be connected to the IR projector 10 to provide infrared structured light having a predetermined pattern, and the predetermined pattern may be applied to any known infrared structured light pattern. . The plurality of IR projectors 10 may be disposed toward the object, and may be disposed to be spaced apart from each other at a predetermined predetermined interval. For example, there are three IR projectors 10 , and may be disposed toward the object in the 1 o'clock, 5 o'clock, and 9 o'clock directions with respect to the clockwise direction, respectively. In addition, the IR projector 10 may be arranged to face the object horizontally or to face the object at a predetermined angle from the top and bottom of the object according to the shape of the object.

복수의 촬영부에는 각각 객체의 IR 이미지를 촬영하는 IR 카메라(20)와 객체의 RGB 이미지를 촬영하는 RGB 카메라(30)가 쌍을 이루며 배치된다.In each of the plurality of photographing units, an IR camera 20 for photographing an IR image of an object and an RGB camera 30 for photographing an RGB image of an object are arranged in pairs.

복수의 IR 카메라(20)는 각 IR 프로젝터(10) 사이에 배치되며 적외선 구조광이 투영된 객체의 IR 이미지를 촬영한다. 객체의 IR 이미지에는 객체의 입체 정보를 얻기 위한 데이터가 포함된다. IR 카메라(20)는 적외선에 대한 높은 감도를 갖는 전하 결합 소자(CCD)로 만들어질 수 있다. IR 카메라(20)는 IR 프로젝터(10)에 의해 객체에 투영된 적외선 구조광의 패턴을 촬영한다. 이를 통해, IR 카메라(20)는 적외선 구조광의 패턴이 포함된 객체의 IR 이미지를 촬영할 수 있다.A plurality of IR cameras 20 are disposed between each IR projector 10 and take an IR image of an object onto which the infrared structured light is projected. The IR image of the object includes data for obtaining stereoscopic information of the object. The IR camera 20 may be made of a charge-coupled device (CCD) having high sensitivity to infrared rays. The IR camera 20 captures a pattern of infrared structured light projected onto an object by the IR projector 10 . Through this, the IR camera 20 may take an IR image of an object including a pattern of infrared structured light.

RGB 카메라(30)는 각각의 촬영부 내에서 IR 카메라(20)와 쌍을 이루며 배치되며 객체의 RGB 이미지를 촬영한다. 객체의 RGB 이미지에는 객체의 재질 정보를 얻기 위한 데이터가 포함된다. RGB 카메라는 RGB 색영상을 제공하기 위한 센서를 포함한다.The RGB camera 30 is arranged in pairs with the IR camera 20 in each photographing unit, and captures an RGB image of an object. The RGB image of an object includes data for obtaining material information of the object. The RGB camera includes a sensor for providing an RGB color image.

즉, IR 카메라(20)와 RGB 카메라(30)는 복수의 촬영부를 구성하도록 배열될 수 있으며, 상기 각 촬영부는 각각의 IR 프로젝터(10) 사이에 복수개 배치될 수 있다. 예를 들어, 각각의 IR 프로젝터(10) 사이에는 복수의 촬영부가 객체를 향하여 3개씩 배치되며, IR 프로젝터(10)가 3개인 경우 복수의 촬영부는 총 9개가 된다.That is, the IR camera 20 and the RGB camera 30 may be arranged to constitute a plurality of photographing units, and a plurality of each photographing unit may be disposed between each IR projector 10 . For example, a plurality of photographing units are arranged three by one toward an object between each IR projector 10 , and when there are three IR projectors 10 , a total of nine photographing units are provided.

IR 카메라(20)와 RGB 카메라(30)의 세트로서의 촬영부는, 제1 촬영부(100) 및 제2 촬영부(200)를 포함하고, 제1 촬영부(100)와 제2 촬영부(200)는 IR 프로젝터(10)를 사이에 두고 객체의 원주방향(cd)으로 인접 배치될 수 있다. IR 프로젝터(10)가 객체의 일부에 적외선 구조광을 투영하면, 제1 촬영부(100) 및 제2 촬영부(200)는 적외선 구조광이 투영된 객체의 일부를 촬영한다.The photographing unit as a set of the IR camera 20 and the RGB camera 30 includes the first photographing unit 100 and the second photographing unit 200 , and the first photographing unit 100 and the second photographing unit 200 . ) may be disposed adjacent to the object in the circumferential direction (cd) with the IR projector 10 interposed therebetween. When the IR projector 10 projects the infrared structured light onto a portion of the object, the first photographing unit 100 and the second photographing unit 200 photograph a portion of the object onto which the infrared structured light is projected.

또한, 상기 촬영부는 제3 촬영부(300)를 더 포함할 수 있다. 제3 촬영부(300)는 IR 프로젝터(10) 및 IR 프로젝터(10)를 사이에 두고 배치되는 제1 촬영부(100)와 제2 촬영부(200)의 집합과 원주방향(cd)으로 이격되어 배치된다. 인접한 IR 프로젝터(10)들이 객체의 일부에 서로 다른 범위에서 각각의 적외선 구조광을 투영하면, 제3 촬영부(300)는 각각의 적외선 구조광이 투영된 객체의 일부를 촬영한다.In addition, the photographing unit may further include a third photographing unit 300 . The third photographing unit 300 is spaced apart from the set of the first photographing unit 100 and the second photographing unit 200 disposed with the IR projector 10 and the IR projector 10 therebetween in the circumferential direction (cd). are placed When the adjacent IR projectors 10 project each infrared structured light to a part of the object in different ranges, the third photographing unit 300 captures a portion of the object on which each infrared structured light is projected.

이에 따라, 각 카메라들의 동시 촬영시, 각각의 IR 프로젝터(10)로부터 투영되는 적외선 구조광이 서로 중첩되지 않도록 하는 범위에서, 복수의 IR 카메라(20) 및 복수의 RGB 카메라(30)를 원주방향(cd) 상에 효율적으로 배열하여 최대한의 이미지 시퀀스를 획득할 수 있게 된다.Accordingly, the plurality of IR cameras 20 and the plurality of RGB cameras 30 are rotated in the circumferential direction in a range so that the infrared structured light projected from each IR projector 10 does not overlap each other when the cameras are simultaneously photographed. It is possible to obtain the maximum image sequence by efficiently arranging it on (cd).

또한, 객체의 원주방향(cd) 상에 이격 배치된 복수의 IR 프로젝터(10)에서 객체를 향해 동시에 적외선 구조광이 투사되는 경우, 상기 복수의 IR 카메라(20) 및 복수의 RGB 카메라(30) 중 일부를 온/오프하지 않고 모두 동시에 촬영을 수행하더라도 구조광의 간섭에 의해 오동작하지 않게 된다.In addition, when the infrared structured light is simultaneously projected toward the object from the plurality of IR projectors 10 spaced apart in the circumferential direction (cd) of the object, the plurality of IR cameras 20 and the plurality of RGB cameras 30 Even if all of them are photographed at the same time without turning on/off some of them, a malfunction does not occur due to the interference of the structured light.

제어부(40)는 IR 프로젝터(10), IR 카메라(20), 및 RGB 카메라(30)를 제어하며, IR 카메라(20)와 RGB 카메라(30) 간의 캘리브레이션을 수행한다.The controller 40 controls the IR projector 10 , the IR camera 20 , and the RGB camera 30 , and performs calibration between the IR camera 20 and the RGB camera 30 .

제어부(40)는 복수의 IR 카메라(20) 및 복수의 RGB 카메라(30)가 객체를 동시에 촬영하도록 IR 카메라(20) 및 RGB 카메라(30)를 제어할 수 있다. 본 발명에 따르면, 복수의 카메라들(20, 30)에서 객체를 동시에 촬영하므로, 시간차를 두고 2회에 걸쳐 촬영하거나 카메라를 회전하면서 촬영하지 않더라도, 1회의 동시 촬영만으로도 객체의 고유 재질정보 및 외형 정보가 반영된 고효율의 3D 모델링을 수행할 수 있다.The controller 40 may control the IR camera 20 and the RGB camera 30 so that the plurality of IR cameras 20 and the plurality of RGB cameras 30 simultaneously photograph the object. According to the present invention, since an object is simultaneously photographed by a plurality of cameras 20 and 30, even if the object is photographed twice with a time difference or the camera is not photographed while rotating the camera, only one simultaneous photographing is required for the object's unique material information and appearance High-efficiency 3D modeling in which information is reflected can be performed.

3D 모델 생성부(50)는 IR 카메라(20)가 촬영한 IR 이미지로부터 객체의 입체 정보를 획득하고, RGB 카메라(30)가 촬영한 RGB 이미지로부터 객체의 재질 정보를 획득하여 매핑을 통해 객체의 3D 모델을 생성한다.The 3D model generator 50 obtains three-dimensional information of the object from the IR image photographed by the IR camera 20, obtains material information of the object from the RGB image photographed by the RGB camera 30, and obtains the object's material information through mapping. Create a 3D model.

제어부(40) 및 3D 모델 생성부(50)를 통해 객체의 3D 모델을 생성하는 각 단계에 대하여는 후술하는 3D 모델링 방법에 대한 설명에서 상세히 설명한다.Each step of generating a 3D model of an object through the control unit 40 and the 3D model generating unit 50 will be described in detail in the description of the 3D modeling method to be described later.

도 3은 도 1의 3D 모델링 장치에 의해 수행되는 3D 모델링 단계를 개략적으로 나타낸 순서도이다. 도 4는 도 3의 3D 모델링 단계 중, 캘리브레이션 수행 단계의 관련 구성을 개략적으로 나타낸 구성도이다. 도 5는 도 3의 각 3D 모델링 단계 중, 3D 모델 생성 단계에 포함되는 각 단계를 개략적으로 나타낸 순서도이다.3 is a flowchart schematically illustrating a 3D modeling step performed by the 3D modeling apparatus of FIG. 1 . FIG. 4 is a configuration diagram schematically illustrating a related configuration of a calibration performing step among the 3D modeling steps of FIG. 3 . FIG. 5 is a flowchart schematically illustrating each step included in the 3D model generation step among the 3D modeling steps of FIG. 3 .

도 3을 참조하면, 본 발명에 따른 3D 모델링 방법은 적외선 구조광 투영 단계(s100), 캘리브레이션 수행 단계(s200), 객체의 입체 정보 및 재질 정보 획득 단계(s300), 3D 모델 생성 단계(s400)을 포함한다.Referring to FIG. 3 , the 3D modeling method according to the present invention includes a step of projecting infrared structured light (s100), a step of performing calibration (s200), a step of obtaining three-dimensional information and material information of an object (s300), and a step of generating a 3D model (s400). includes

적외선 구조광 투영 단계(s100)는 복수의 IR 프로젝터를 통해 소정의 패턴을 갖는 적외선 구조광을 객체에 투영하는 단계이다.The infrared structured light projection step s100 is a step of projecting infrared structured light having a predetermined pattern onto an object through a plurality of IR projectors.

캘리브레이션 수행 단계(s200)는 IR 프로젝터(10), IR 카메라(20), 및 RGB 카메라(30)를 제어하며, IR 카메라(20)와 RGB 카메라(30)가 쌍을 이루며 배치되는 복수의 촬영부 각각에서 IR 카메라(20)와 RGB 카메라(30)의 캘리브레이션을 수행하는 단계이다.In the calibration performing step (s200), the IR projector 10, the IR camera 20, and the RGB camera 30 are controlled, and the IR camera 20 and the RGB camera 30 are a plurality of photographing units arranged in pairs. It is a step of performing calibration of the IR camera 20 and the RGB camera 30 in each.

도 4를 참조하면, 제어부(40)는 상기 각 촬영부를 구성하는 상기 IR 카메라(20)가 획득한 IR 이미지 데이터와 RGB 카메라(30)가 획득한 RGB 이미지 데이터를 서로 결합할 수 있도록 IR 카메라와 RGB 카메라 간의 캘리브레이션을 수행할 수 있다. 즉, 캘리브레이션은 제1 촬영부(100), 제2 촬영부(200), 및 제3 촬영부(300)와 같은 각 촬영부별로 개별적으로 수행될 수 있다. 이때, 체크 패턴 등이 형성된 카드보드(Cardboard) 판을 이용한 공지의 캘리브레이션 방법이 적용될 수 있다. Referring to FIG. 4 , the controller 40 is configured to combine the IR image data obtained by the IR camera 20 constituting the respective photographing units and the RGB image data obtained by the RGB camera 30 with the IR camera and each other. Calibration between RGB cameras can be performed. That is, the calibration may be individually performed for each photographing unit such as the first photographing unit 100 , the second photographing unit 200 , and the third photographing unit 300 . In this case, a known calibration method using a cardboard plate on which a check pattern or the like is formed may be applied.

IR 프로젝터(10)는 원주방향으로 등간격으로 배치되며, IR 프로젝터(10)는 위치를 조절하기 위한 모터(미도시)에 연동될 수 있다. 제어부(40)는 상기 모터를 제어하여 적외선 구조광의 투영 범위가 서로 중첩되지 않도록 각각의 IR 프로젝터(10)를 객체의 높이방향 및 원주방향(cd)으로 이동시킬 수 있다. 이를 통해 촬영하는 객체 전반에 중첩되지 않는 적외선 구조광 패턴이 투영될 수 있다.The IR projectors 10 are arranged at equal intervals in the circumferential direction, and the IR projectors 10 may be linked to a motor (not shown) for adjusting a position. The controller 40 may control the motor to move each IR projector 10 in the height direction and the circumferential direction cd of the object so that the projection ranges of the infrared structured light do not overlap each other. Through this, a non-overlapping infrared structured light pattern may be projected over the object to be photographed.

객체의 입체 정보 및 재질 정보 획득 단계(s300)는 복수의 IR 카메라(20), 및 RGB 카메라(30)가 객체를 동시에 촬영하여, IR 카메라(20)가 적외선 구조광이 투영된 객체의 IR 이미지를 촬영하고, RGB 카메라(30)가 객체의 RGB 이미지를 촬영하는 단계이다.In the three-dimensional information and material information acquisition step (s300) of the object, a plurality of IR cameras 20 and the RGB camera 30 photograph the object at the same time, and the IR camera 20 is an IR image of the object onto which the infrared structured light is projected. is a step in which the RGB camera 30 takes an RGB image of the object.

3D 모델 생성 단계(s400)는 이미지 기반 3D 재구성 단계(s410) 및 텍스쳐 매핑 단계(s420)를 포함하며, 이를 통해 객체의 3D 모델을 생성하는 단계이다.The 3D model generation step (s400) includes an image-based 3D reconstruction step (s410) and a texture mapping step (s420), and through this, a 3D model of the object is generated.

이미지 기반 3D 재구성 단계(s410)에서는 IR 카메라(20)가 촬영한 IR 이미지에서 3차원 공간상의 점들을 연결하여 3차원 메쉬를 생성한다.In the image-based 3D reconstruction step (s410), a three-dimensional mesh is generated by connecting points in a three-dimensional space in the IR image captured by the IR camera 20 .

텍스쳐 매핑 단계(s420)에서는 RGB 카메라(30)가 촬영한 RGB 이미지를 3차원 메쉬가 생성된 공간상에 매핑하여 객체의 3D 모델링 정보를 생성한다(s430).In the texture mapping step (s420), the RGB image captured by the RGB camera 30 is mapped on the space in which the 3D mesh is created to generate 3D modeling information of the object (s430).

도 5를 참조하면, 3D 모델 생성부(50)는 복수의 IR 카메라(20)가 동시에 동시에 촬영하여 얻은 복수의 IR 이미지를 수신하여 상기 복수의 IR 이미지의 집합인 IR 이미지 시퀀스를 획득하고(s411), 상기 IR 이미지 시퀀스를 구성하는 상기 각 IR 이미지의 복수의 특징점을 검출 및 추출하여(s412), 상기 추출된 특징점들을 매칭할 수 있다(s413).Referring to FIG. 5 , the 3D model generating unit 50 receives a plurality of IR images obtained by simultaneously photographing a plurality of IR cameras 20 to obtain an IR image sequence that is a set of the plurality of IR images (s411) ), a plurality of feature points of each IR image constituting the IR image sequence may be detected and extracted (s412), and the extracted feature points may be matched (s413).

그 다음, IR 카메라(20)의 포즈를 추정함과(s414) 동시에, 상기 특징점들을 3차원 공간에 투영하여(s415) 3차원 공간상의 좌표값을 갖도록 한 후, 광류 분석 기법 등을 이용하여 객체의 밀집한 포인트 클라우드(dense point cloud)를 재구성할 수 있다(s416). 그 다음, 밀집한 포인트 클라우드에서 삼각화 기법 등을 이용하여 3차원 메쉬를 생성할 수 있다(s417). 이때, 공지된 메쉬 단순화(Mesh simplification) 기법을 이용하여 생성된 3차원 메쉬를 단순화할 수 있다(s418).Next, while estimating the pose of the IR camera 20 (s414), and simultaneously projecting the feature points into a three-dimensional space (s415) to have coordinate values in the three-dimensional space, an object using an optical flow analysis technique, etc. It is possible to reconstruct a dense point cloud of (s416). Then, a three-dimensional mesh may be generated from the dense point cloud by using a triangulation technique or the like (s417). In this case, the generated 3D mesh may be simplified using a known mesh simplification technique (s418).

3D 모델 생성부(50)는 복수의 RGB 카메라(30)가 동시에 촬영하여 얻은 복수의 RGB 이미지를 수신하여 상기 복수의 RGB 이미지의 집합인 RGB 이미지 시퀀스를 획득할 수 있다(s421). 3D 모델 생성부(50)는 획득한 RGB 이미지 시퀀스를 상기 3차원 메쉬가 생성된 공간상에 매핑함으로써(s422) 객체의 최종적인 3D 모델 데이터를 얻을 수 있다(s430). 이때, 매핑되는 3차원 메쉬에는 밀집한 포인트 클라우드에서 생성된 3차원 메쉬, 및 메쉬 단순화 기법이 적용되어 단순화된 3차원 메쉬가 포함될 수 있다.The 3D model generator 50 may receive a plurality of RGB images obtained by simultaneously photographing a plurality of RGB cameras 30 to obtain an RGB image sequence that is a set of the plurality of RGB images (s421). The 3D model generator 50 may obtain final 3D model data of the object by mapping the obtained RGB image sequence onto the space in which the 3D mesh is generated (s422) (s430). In this case, the mapped 3D mesh may include a 3D mesh generated from a dense point cloud and a 3D mesh simplified by applying a mesh simplification technique.

이 분야의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.The scope of protection in this field is not limited to the description and expression of the embodiments explicitly described above. In addition, it is added once again that the protection scope of the present invention cannot be limited due to obvious changes or substitutions in the technical field to which the present invention pertains.

1: 객체 10: IR 프로젝터
20: IR 카메라 30: RGB 카메라
40: 제어부 50: 3D 모델 생성부
100, 200, 300: 카메라의 제1, 제2, 제3 촬영부1: Object 10: IR Projector
20: IR camera 30: RGB camera
40: control unit 50: 3D model generation unit
100, 200, 300: the first, second, and third photographing units of the camera

Claims (12)

객체가 놓여지는 테이블에 대하여 원주방향으로 서로 이격 배치되며 소정의 패턴을 갖는 적외선 구조광을 객체에 투영하는 복수의 IR 프로젝터;
객체의 IR 이미지를 촬영하는 IR 카메라와 객체의 RGB 이미지를 촬영하는 RGB 카메라가 쌍을 이루며 배치되는 복수의 촬영부;
상기 IR 프로젝터, 상기 IR 카메라, 및 상기 RGB 카메라를 제어하며, 상기 IR 카메라와 상기 RGB 카메라 간의 캘리브레이션을 수행하는 제어부; 및
상기 IR 카메라가 촬영한 IR 이미지로부터 객체의 입체 정보를 획득하고, 상기 RGB 카메라가 촬영한 RGB 이미지로부터 객체의 재질 정보를 획득하여 매핑을 통해 객체의 3D 모델을 생성하는 3D 모델 생성부를 포함하는 것을 특징으로 하는, 3D 모델링 장치.
a plurality of IR projectors that are spaced apart from each other in a circumferential direction with respect to a table on which the object is placed and project infrared structured light having a predetermined pattern onto the object;
a plurality of photographing units in which an IR camera for photographing an IR image of an object and an RGB camera for photographing an RGB image of an object are arranged in pairs;
a controller controlling the IR projector, the IR camera, and the RGB camera, and performing calibration between the IR camera and the RGB camera; and
A 3D model generator for acquiring stereoscopic information of an object from an IR image taken by the IR camera, acquiring material information of an object from an RGB image taken by the RGB camera, and generating a 3D model of the object through mapping Characterized, 3D modeling device.
 제1항에 있어서,
상기 복수의 촬영부는 제1 촬영부 및 제2 촬영부를 포함하고,
상기 제1 촬영부와 상기 제2 촬영부는 상기 IR 프로젝터를 사이에 두고 상기 테이블의 원주방향으로 인접 배치되는 것을 특징으로 하는, 3D 모델링 장치.
According to claim 1,
The plurality of photographing units include a first photographing unit and a second photographing unit,
3D modeling apparatus, characterized in that the first photographing unit and the second photographing unit are disposed adjacent to each other in the circumferential direction of the table with the IR projector interposed therebetween.
 제2항에 있어서,
상기 제어부는 상기 복수의 IR 카메라 및 상기 복수의 RGB 카메라가 객체를 동시에 촬영하도록 상기 IR 카메라 및 상기 RGB 카메라를 제어하는 것을 특징으로 하는, 3D 모델링 장치.
3. The method of claim 2,
3D modeling apparatus, characterized in that the control unit controls the IR camera and the RGB camera so that the plurality of IR cameras and the plurality of RGB cameras simultaneously photograph an object.
 제3항에 있어서,
상기 제어부는 상기 각 촬영부를 구성하는 상기 IR 카메라가 획득한 IR 이미지 데이터와 상기 RGB 카메라가 획득한 RGB 이미지 데이터를 서로 결합할 수 있도록 상기 IR 카메라와 상기 RGB 카메라 간의 캘리브레이션을 수행하는 것을 특징으로 하는, 3D 모델링 장치.
4. The method of claim 3,
The control unit performs calibration between the IR camera and the RGB camera so that the IR image data obtained by the IR camera constituting the respective photographing unit and the RGB image data obtained by the RGB camera can be combined with each other. , 3D modeling device.
 제4항에 있어서,
상기 각각의 IR 프로젝터는 원주방향으로 등간격으로 배치되며, 상기 IR 프로젝터는 위치를 조절하기 위한 모터에 연동되며,
상기 제어부는 상기 모터를 제어하여 상기 적외선 구조광의 투영 범위가 서로 중첩되지 않도록 상기 각각의 IR 프로젝터를 객체의 높이방향 및 원주방향으로 이동시키는 것을 특징으로 하는, 3D 모델링 장치.
5. The method of claim 4,
Each of the IR projectors are arranged at equal intervals in the circumferential direction, and the IR projector is linked to a motor for adjusting the position,
The control unit controls the motor to move the respective IR projectors in the height direction and the circumferential direction of the object so that the projection ranges of the infrared structured light do not overlap with each other.
 제3항에 있어서,
상기 3D 모델 생성부는 상기 복수의 IR 카메라가 동시에 촬영하여 얻은 복수의 IR 이미지를 수신하여 상기 복수의 IR 이미지의 집합인 IR 이미지 시퀀스를 획득하고, 상기 IR 이미지 시퀀스를 구성하는 상기 각 IR 이미지의 복수의 특징점을 추출하여 매칭함으로써 3차원 메쉬를 생성하는 것을 특징으로 하는, 3D 모델링 장치.
4. The method of claim 3,
The 3D model generation unit receives a plurality of IR images obtained by simultaneously photographing the plurality of IR cameras to obtain an IR image sequence that is a set of the plurality of IR images, and includes a plurality of each of the IR images constituting the IR image sequence. 3D modeling apparatus, characterized in that the three-dimensional mesh is generated by extracting and matching the feature points of.
 제6항에 있어서,
상기 3D 모델 생성부는 상기 복수의 RGB 카메라가 동시에 촬영하여 얻은 복수의 RGB 이미지를 수신하여 상기 복수의 RGB 이미지의 집합인 RGB 이미지 시퀀스를 획득하고, 상기 획득한 RGB 이미지 시퀀스를 이용하여 상기 3차원 메쉬가 생성된 공간상에 매핑을 수행하는 것을 특징으로 하는, 3D 모델링 장치.
7. The method of claim 6,
The 3D model generator receives a plurality of RGB images obtained by simultaneously photographing the plurality of RGB cameras to obtain an RGB image sequence that is a set of the plurality of RGB images, and uses the obtained RGB image sequence to obtain the three-dimensional mesh 3D modeling apparatus, characterized in that the mapping is performed on the generated space.
 (a) 복수의 IR 프로젝터를 통해 소정의 패턴을 갖는 적외선 구조광을 객체에 투영하는 단계;
(b) 상기 IR 프로젝터, IR 카메라, 및 RGB 카메라를 제어하며, 상기 IR 카메라와 상기 RGB 카메라가 쌍을 이루며 배치되는 복수의 촬영부 각각에서 상기 IR 카메라와 상기 RGB 카메라 간의 캘리브레이션을 수행하는 단계;
(c) 상기 복수의 IR 카메라 및 상기 복수의 RGB 카메라가 객체를 동시에 촬영하여, 상기 IR 카메라가 상기 적외선 구조광이 투영된 객체의 IR 이미지를 촬영하고, 상기 RGB 카메라가 객체의 RGB 이미지를 촬영하는 단계; 및
(d) 상기 IR 카메라가 촬영한 IR 이미지로부터 객체의 입체 정보를 획득하고, 상기 RGB 카메라가 촬영한 RGB 이미지로부터 객체의 재질 정보를 획득하여 매핑을 통해 객체의 3D 모델을 생성하는 단계를 포함하는 것을 특징으로 하는, 3D 모델링 방법.
(a) projecting infrared structured light having a predetermined pattern onto an object through a plurality of IR projectors;
(b) controlling the IR projector, the IR camera, and the RGB camera, and performing calibration between the IR camera and the RGB camera in each of a plurality of photographing units in which the IR camera and the RGB camera are paired;
(c) the plurality of IR cameras and the plurality of RGB cameras simultaneously photograph the object, the IR camera photographing an IR image of the object on which the infrared structured light is projected, and the RGB camera photographing the RGB image of the object to do; and
(d) obtaining stereoscopic information of the object from the IR image captured by the IR camera, obtaining material information of the object from the RGB image photographed by the RGB camera, and generating a 3D model of the object through mapping Characterized in that, 3D modeling method.
 제8항에 있어서, 상기 (b) 단계는
상기 각 촬영부를 구성하는 상기 IR 카메라가 획득한 IR 이미지 데이터와 상기 RGB 카메라가 획득한 RGB 이미지 데이터를 서로 결합할 수 있도록 상기 IR 카메라와 상기 RGB 카메라 간의 캘리브레이션을 수행하는 것을 특징으로 하는, 3D 모델링 방법.
The method of claim 8, wherein step (b) is
3D modeling, characterized in that calibration is performed between the IR camera and the RGB camera so that the IR image data acquired by the IR camera constituting the respective photographing units and the RGB image data acquired by the RGB camera can be combined with each other Way.
 제9항에 있어서, 상기 (b) 단계는
상기 적외선 구조광의 투영 범위가 서로 중첩되지 않도록 상기 각각의 IR 프로젝터를 객체의 높이방향 및 원주방향으로 이동시키는 단계를 포함하는 것을 특징으로 하는, 3D 모델링 방법.
10. The method of claim 9, wherein step (b) is
and moving the respective IR projectors in the height direction and the circumferential direction of the object so that the projection ranges of the infrared structured light do not overlap each other.
 제8항에 있어서, 상기 (d) 단계는
상기 복수의 IR 카메라가 동시에 촬영하여 얻은 복수의 IR 이미지를 수신하여 상기 복수의 IR 이미지의 집합인 IR 이미지 시퀀스를 획득하고, 상기 IR 이미지 시퀀스를 구성하는 상기 각 IR 이미지의 복수의 특징점을 추출하여 매칭함으로써 3차원 메쉬를 생성하는 것을 특징으로 하는, 3D 모델링 방법.
The method of claim 8, wherein step (d) is
By receiving a plurality of IR images obtained by the plurality of IR cameras simultaneously photographing, obtaining an IR image sequence that is a set of the plurality of IR images, and extracting a plurality of feature points of each of the IR images constituting the IR image sequence A 3D modeling method, characterized in that it generates a three-dimensional mesh by matching.
 제11항에 있어서, 상기 (d) 단계는
상기 복수의 RGB 카메라가 동시에 촬영하여 얻은 복수의 RGB 이미지를 수신하여 상기 복수의 RGB 이미지의 집합인 RGB 이미지 시퀀스를 획득하고, 상기 획득한 RGB 이미지 시퀀스를 이용하여 상기 3차원 메쉬가 생성된 공간상에 매핑을 수행하는 것을 특징으로 하는, 3D 모델링 방법.The method of claim 11, wherein step (d) is
A plurality of RGB images obtained by simultaneously photographing by the plurality of RGB cameras are received to obtain an RGB image sequence that is a set of the plurality of RGB images, and the three-dimensional mesh is generated using the obtained RGB image sequence. A 3D modeling method, characterized in that the mapping is performed.
KR1020200117005A 2019-12-31 2020-09-11 3d modeling apparatus and method KR102391376B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190178913 2019-12-31
KR20190178913 2019-12-31

Publications (2)

Publication Number Publication Date
KR20210086444A true KR20210086444A (en) 2021-07-08
KR102391376B1 KR102391376B1 (en) 2022-04-28

Family

ID=76894183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200117005A KR102391376B1 (en) 2019-12-31 2020-09-11 3d modeling apparatus and method

Country Status (1)

Country Link
KR (1) KR102391376B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706692A (en) * 2021-08-25 2021-11-26 北京百度网讯科技有限公司 Three-dimensional image reconstruction method, three-dimensional image reconstruction device, electronic device, and storage medium
KR102517704B1 (en) * 2022-12-07 2023-04-03 강석준 High quality data extraction method, device and system using 3d scan

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150101836A (en) * 2014-02-27 2015-09-04 곽지민 Full body high speed three dimesional scanning apparatus
KR20150111999A (en) * 2013-01-30 2015-10-06 퀄컴 인코포레이티드 Real-time 3d reconstruction with power efficient depth sensor usage
KR20160098589A (en) 2015-02-09 2016-08-19 브이앤아이 주식회사 Photographing and Displaying Apparatus for Hologram 3-Dimensional Image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150111999A (en) * 2013-01-30 2015-10-06 퀄컴 인코포레이티드 Real-time 3d reconstruction with power efficient depth sensor usage
KR20150101836A (en) * 2014-02-27 2015-09-04 곽지민 Full body high speed three dimesional scanning apparatus
KR20160098589A (en) 2015-02-09 2016-08-19 브이앤아이 주식회사 Photographing and Displaying Apparatus for Hologram 3-Dimensional Image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706692A (en) * 2021-08-25 2021-11-26 北京百度网讯科技有限公司 Three-dimensional image reconstruction method, three-dimensional image reconstruction device, electronic device, and storage medium
CN113706692B (en) * 2021-08-25 2023-10-24 北京百度网讯科技有限公司 Three-dimensional image reconstruction method, three-dimensional image reconstruction device, electronic equipment and storage medium
KR102517704B1 (en) * 2022-12-07 2023-04-03 강석준 High quality data extraction method, device and system using 3d scan

Also Published As

Publication number Publication date
KR102391376B1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US10311648B2 (en) Systems and methods for scanning three-dimensional objects
JP4226550B2 (en) Three-dimensional measurement data automatic alignment apparatus and method using optical markers
JP5328985B2 (en) Method for taking 3D images
KR102391376B1 (en) 3d modeling apparatus and method
JP2018514237A (en) Texture mapping apparatus and method for dental 3D scanner
WO2014100950A1 (en) Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
EP3382645A2 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
JP2002213931A (en) Instrument and method for measuring three-dimensional shape
JP6541920B1 (en) INFORMATION PROCESSING APPARATUS, PROGRAM, AND INFORMATION PROCESSING METHOD
JPWO2015108071A1 (en) Three-dimensional data generation apparatus, three-dimensional object manufacturing system, and three-dimensional data generation method
JP4419570B2 (en) 3D image photographing apparatus and method
JP2002344800A (en) Synchronized photographing method and photographing system
WO2019125427A1 (en) System and method for hybrid depth estimation
CN107710276A (en) The unified image processing of the combination image in the region based on spatially co-located
JP2015059849A (en) Method and device for measuring color and three-dimensional shape
US11276184B2 (en) Method and device for determining the amplitude of a movement performed by a member of an articulated body
JP2011095131A (en) Image processing method
JP2015038699A (en) Augmented reality image generation system, three-dimensional shape data generation device, augmented reality presentation device, augmented reality image generation method, and program
KR20150041901A (en) Apparatus and Method Matching Dimension of One Image Up with Dimension of the Other Image Using Pattern Recognition
JP2022106868A (en) Imaging device and method for controlling imaging device
KR20040034221A (en) System And Method For Restorating 3 Dimensional Figuration
JP7251631B2 (en) Template creation device, object recognition processing device, template creation method, object recognition processing method, and program
US20180292867A1 (en) Method for recording an image using a mobile device
KR101775110B1 (en) Methods obtain high-quality textures and apparatus for the same
EP2646769B1 (en) System and method for creating a three-dimensional image file

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right