KR101884565B1 - Apparatus and method of converting 2d images of a object into 3d modeling data of the object - Google Patents

Apparatus and method of converting 2d images of a object into 3d modeling data of the object Download PDF

Info

Publication number
KR101884565B1
KR101884565B1 KR1020170050944A KR20170050944A KR101884565B1 KR 101884565 B1 KR101884565 B1 KR 101884565B1 KR 1020170050944 A KR1020170050944 A KR 1020170050944A KR 20170050944 A KR20170050944 A KR 20170050944A KR 101884565 B1 KR101884565 B1 KR 101884565B1
Authority
KR
South Korea
Prior art keywords
dimensional
dimensional images
image
images
rotation angle
Prior art date
Application number
KR1020170050944A
Other languages
Korean (ko)
Inventor
황재윤
김세호
Original Assignee
주식회사 이볼케이노
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이볼케이노 filed Critical 주식회사 이볼케이노
Priority to KR1020170050944A priority Critical patent/KR101884565B1/en
Application granted granted Critical
Publication of KR101884565B1 publication Critical patent/KR101884565B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06K9/4671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H04N5/23245—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

The present invention relates to a three-dimensional object modeling method using two-dimensional images and a device thereof. According to an embodiment of the present invention, the three-dimensional object modeling method using two-dimensional images includes the following steps: recording two-dimensional images of an object while adjusting the lens focus distance for each rotary angle of the object with a single camera; extracting reference two-dimensional images having the background removed therefrom in the two-dimensional images recorded at each rotary angle and using the reference two-dimensional images in accordance with the rotary angles to extract overlapping pixel locations between the reference two-dimensional images while generating panoramic images; adjusting the size of the two-dimensional images at each rotary angle to fit the size of the reference two-dimensional images, mapping the lens focus distance for maximizing the contrast for the individual pixels in the adjusted two-dimensional images, and connecting the pixels with the same mapped lens focus distance to each other to create contour images representing the height and undulation of the maximum contrast values of the pixels; and using the overlapping pixel locations in accordance with the rotary angles to couple the contour images to fit the rotary angles and generate three-dimensional contour modeling data of the object.

Description

2차원 이미지를 이용한 객체의 3차원 모델링 장치 및 방법{APPARATUS AND METHOD OF CONVERTING 2D IMAGES OF A OBJECT INTO 3D MODELING DATA OF THE OBJECT}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for modeling an object using a two-

본 발명은 객체에 대한 3차원 모델링에 관한 것으로, 보다 상세하게는 객체에 대한 2차원 이미지를 이용하여 상기 객체의 3차원 모델링 데이터를 생성할 수 있도록 하는 기술에 관한 것이다. The present invention relates to three-dimensional modeling of an object, and more particularly, to a technique for generating three-dimensional modeling data of the object using a two-dimensional image of the object.

일반적으로 3차원 프린터는 절삭형과 적층형으로 나눌 수 있다. 절삭형 3차원 프린터는 큰 덩어리의 재료를 조각하듯 깎는 방식의 프린터이고, 적층형 3차원 프린터는 층층이 재료를 쌓아 올리는 방식의 프린터이다. Generally, a three-dimensional printer can be divided into a cutting type and a lamination type. A cutting-type three-dimensional printer is a printer that cuts a large lump of material into pieces, and a stacked three-dimensional printer is a printer in which a layer is stacked.

절삭형 3차원 프린터는 재료를 깎아내는 방식이기 때문에 재료의 손실을 발생하는 반면, 적층형 3차원 프린터는 재료를 쌓는 방식이기 때문에 재료의 손실을 발생하지 않는다.Since a cutting type three-dimensional printer generates a loss of material because it cuts the material, the stacked type three-dimensional printer does not cause loss of material because it is a method of stacking the materials.

한편, 최근 온라인 맞춤형 옷 제작서비스가 제공되고 있다. 이러한 온라인 맞춤형 옷 제작 서비스는 카메라로 사용자를 정면에서 촬영해서 신체 치수를 산출하고 산출된 치수에 옷을 제작하여 사용자에게 제공하는 서비스이다. On the other hand, recently, online customized clothes production service is being provided. The online customized clothes making service is a service for taking a user from the front side with a camera, calculating the body dimensions, fabricating the clothes at the calculated dimensions, and providing them to the users.

하지만, 사용자 촬영이 정면에서만 이루어지고 측면 및 후면 등에서 이루어지지 않기 때문에, 즉 입체적으로 이루어지지 않기 때문에 사용자의 신체 치수 측정이 정확하게 이루어진다고 볼 수 없다. 이를 위해서 사용자의 정확한 신체 치수 측정을 위해서는 사용자 형상이 입체적인 모습으로 표현되어야 한다.However, since the user photographing is performed only on the front side and not on the side and back side, that is, it is not performed in three dimensions, it can not be said that the user's body measurement is accurately performed. To do this, the user's shape must be expressed in three dimensions in order to accurately measure the user's body.

이와 같이 3차원 프린팅 또는 정확한 치수의 맞춤형 옷 제작 등을 위해서 객체에 대한 3차원 모델링 데이터가 필요하게 된다.In this way, 3D modeling data for the object is required for the 3D printing or the customized clothes production with exact dimensions.

이러한 3차원 모델링 데이터는, 대한민국 등록특허 제10-1413393호에 개시된 바와 같이 다수의 카메라를 통해 동시에 객체를 촬영하여 얻어진 2차원 이미지들을 이용하여 제작되었다.These three-dimensional modeling data are produced using two-dimensional images obtained by simultaneously photographing objects through a plurality of cameras as disclosed in Korean Patent No. 10-1413393.

하지만, 3차원 모델링 데이터 제작 시스템은 다수의 카메라 및 다수의 카메라가 설치되는 원통 형상의 구조물로 구성되기 때문에, 3차원 모델링 데이터를 제작하는데 고비용이 소요되어, 일반 사용자가 사용하기 어려운 점이 있다.However, since the three-dimensional modeling data production system is constituted by a cylindrical structure in which a plurality of cameras and a plurality of cameras are installed, it is expensive to manufacture three-dimensional modeling data and is difficult to be used by general users.

본 발명과 관련된 선행문헌으로는 대한민국 등록특허 제10-1413393호(등록일: 2014년 06월 23일)가 있다.A prior art related to the present invention is Korean Patent No. 10-1413393 (registered on June 23, 2014).

일반 사용자가 하나의 카메라로만 객체를 촬영하여 얻어진 2차원 이미지들을 이용하여 손쉽게 3차원 모델링 데이터를 형성할 수 있도록 한 3차원 모델링 장치 및 방법이 제안된다.A three-dimensional modeling device and method are proposed in which an ordinary user can easily form three-dimensional modeling data using two-dimensional images obtained by photographing an object with only one camera.

본 발명의 해결 과제는 이상에서 언급한 해결 과제로 제한되지 않으며, 언급되지 않은 또 다른 해결 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The solution of the present invention is not limited to the above-mentioned solutions, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 양상에 따른 2차원 이미지를 이용한 객체의 3차원 모델링 방법은, 하나의 카메라로 객체의 회전각도마다 렌즈 초점거리를 조절하면서 객체의 2차원 이미지들을 촬영하는 단계; 회전각도마다 상기 촬영된 2차원 이미지들에서 배경이 제거된 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, 회전각도들에 따른 기준 2차원 이미지들을 이용하여 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출하는 단계; 회전각도마다 상기 객체 2차원 이미지들의 크기를 상기 기준 2차원 이미지의 크기에 맞게 조절하고, 상기 조절된 객체 2차원 이미지들에서 픽셀마다 대비(contrast)가 최대가 되게 하는 렌즈 초점거리를 매핑(mapping) 하고, 상기 매핑된 렌즈 초점거리가 동일한 픽셀들을 서로 연결하여 픽셀들 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 형성하는 단계; 및 상기 회전각도들에 따른 중첩 픽셀 위치들을 이용하여 등고선 이미지들을 회전각도에 맞게 결합하여 객체의 등고선 3차원 모델링 데이터를 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of three-dimensionally modeling an object using a two-dimensional image, the method comprising: capturing two-dimensional images of an object while adjusting a focal length of the lens at each rotation angle of the object with one camera; Dimensional image is extracted from the object two-dimensional images from which backgrounds have been removed from the photographed two-dimensional images for each rotation angle, and the reference two-dimensional image is generated using the reference two-dimensional images according to the rotation angles, Extracting overlapping pixel positions between adjacent pixels; Dimensional image, adjusting the size of the object two-dimensional images according to the size of the reference two-dimensional image for each rotation angle, and mapping a lens focal length for maximizing contrast for each pixel in the adjusted object two- Connecting the pixels having the same focal length of the mapped lens to each other to form a contour image representing a height and an undulation of a maximum contrast value between the pixels; And generating contour three-dimensional modeling data of the object by combining the contour images with the rotation angle using the overlapping pixel positions according to the rotation angles.

상기 하나의 카메라로 회전각도마다 렌즈 초점거리를 조절하면서 객체의 2차원 이미지들을 촬영하는 단계는, 상기 회전각도마다 객체를 회전시키도록 회전장치에 회전제어정보를 발생하여 전송하거나 또는 상기 회전각도마다 객체가 회전하도록 회전명령을 청각적으로 또는 시각적으로 송출하는 단계를 포함할 수 있다.The step of photographing the two-dimensional images of the object while adjusting the lens focal length for each rotation angle with the one camera may include generating and transmitting rotation control information to the rotating device to rotate the object for each of the rotation angles, And transmitting the rotation command audibly or visually so that the object is rotated.

상기 기준 2차원 이미지들 간의 중첩 픽셀 위치들을 추출하는 단계는, 회전각도마다 상기 촬영된 2차원 이미지들에서 객체 이외 배경을 제거하여 객체 2차원 이미지들을 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하는 단계; SIFT(Scale Invariant Feature Transform) 기술, SURF(speed up robust feature) 기술 또는 FAST(features from accelerated segment test) 기술을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 추출하는 단계; 상기 특징점들을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 매칭시켜 기준 2차원 이미지들을 연결하는 단계; RANSAC(Random Sample Consensus) 기술을 이용하여 상기 매칭된 특징점들에서 오차가 있는 특징점들을 제거하는 단계; 번들 조정(Bundle Adjustment)을 통해서 상기 오차가 있는 특징점들이 제거된 기준 2차원 이미지들 각각이 상기 파노라마 이미지에 위치하게 될 회전각(Rotation), 초점 거리(Focal Length)를 포함하는 위치정보를 구하는 단계; 및 상기 번들 조정을 통해서 구해진 위치정보를 이용하여 상기 기준 2차원 이미지들을 붙여 합성하여서 상기 파노라마 이미지를 생성하는 단계를 포함할 수 있다.The step of extracting the overlapping pixel positions between the reference two-dimensional images comprises: generating object two-dimensional images by removing backgrounds other than the object in the captured two-dimensional images for each rotation angle; Extracting an image; Extracting coincident feature points among the reference two-dimensional images using a Scale Invariant Feature Transform (SIFT) technique, a speed up robust feature (SURF) technique, or a feature from accelerated segment test (FAST) technique; Connecting the reference two-dimensional images by matching feature points matching the reference two-dimensional images using the feature points; Removing feature points having an error in the matched feature points using a Random Sample Consensus (RANSAC) technique; Acquiring position information including a rotation angle and a focal length at which each of the reference two-dimensional images from which the error feature points are removed through bundle adjustment is to be positioned in the panoramic image; ; And combining the reference two-dimensional images using the position information obtained through the bundle adjustment to generate the panoramic image.

상기 중첩 픽셀 위치들은 상기 매칭된 특징점들 중 오차가 있는 특징점들이 제거된 특징점들에 해당하는 픽셀 위치들일 수 있다.The overlapped pixel positions may be pixel positions corresponding to the minutiae points from which the minutiae having the errors among the matched minutiae are removed.

본 발명의 다른 양상에 따른 2차원 이미지를 이용한 객체의 3차원 모델링 장치는, 객체의 회전각도마다 렌즈 초점거리를 조절하면서 객체의 2차원 이미지들을 촬영하는 카메라; 회전각도마다 상기 촬영된 2차원 이미지들에서 배경을 제거하여 객체 2차원 이미지를 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, 회전각도들에 따른 기준 2차원 이미지들을 이용하여 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출하는 중첩영역 추출부; 회전각도마다 상기 객체 2차원 이미지들의 크기를 상기 기준 2차원 이미지의 크기에 맞게 조절하고, 상기 조절된 객체 2차원 이미지들에서 픽셀마다 대비(contrast)가 최대가 되게 하는 렌즈 초점거리를 매핑(mapping) 하고, 상기 매핑된 렌즈 초점거리가 동일한 픽셀들을 서로 연결하여 픽셀들 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 형성하는 등고선 이미지 형성부; 및 상기 회전각도들에 따른 중첩 픽셀 위치들을 이용하여 등고선 이미지들을 회전각도에 맞게 결합하여 객체의 등고선 3차원 모델링 데이터를 생성하는 모델링부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for three-dimensional modeling of an object using a two-dimensional image, comprising: a camera for photographing two-dimensional images of an object while adjusting a focal length of the lens for each rotation angle of the object; Dimensional image, extracting a reference two-dimensional image from the object two-dimensional images, and extracting a reference two-dimensional image based on the rotation angles, An overlapping region extracting unit for extracting overlapping pixel positions between reference two-dimensional images while generating an image; Dimensional image, adjusting the size of the object two-dimensional images according to the size of the reference two-dimensional image for each rotation angle, and mapping a lens focal length for maximizing contrast for each pixel in the adjusted object two- A contour image forming unit for connecting the pixels having the same focal length of the mapped lens to each other to form a contour image representing a height and an undulation of a maximum contrast value between the pixels; And a modeling unit for generating contour three-dimensional modeling data of the object by combining the contour images with the rotation angle using the overlapping pixel positions according to the rotation angles.

상기 3차원 모델링 장치는 상기 회전각도마다 객체를 회전시키도록 회전장치에 회전제어정보를 발생하여 전송하거나 또는 상기 회전각도마다 객체가 회전하도록 회전명령을 청각적으로 또는 시각적으로 송출하는 회전 제어부를 더 포함할 수 있다.The three-dimensional modeling device may further include a rotation control unit for generating rotation control information to the rotating device to rotate the object for each of the rotation angles, or transmitting the rotation control information to the rotation device for each rotation angle, .

상기 중첩영역 추출부는, 회전각도마다 상기 촬영된 2차원 이미지들에서 객체 이외 배경을 제거하여 객체 2차원 이미지들을 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, SIFT(Scale Invariant Feature Transform) 기술, SURF(speed up robust feature) 기술 또는 FAST(features from accelerated segment test) 기술을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 추출하는 특징점 추출부; 상기 특징점들을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 매칭시켜 기준 2차원 이미지들을 연결하는 매칭부; RANSAC(Random Sample Consensus) 기술을 이용하여 상기 매칭된 특징점들에서 오차가 있는 특징점들을 제거하는 제거부; 번들 조정(Bundle Adjustment)을 통해서 상기 오차가 있는 특징점들이 제거된 기준 2차원 이미지들 각각이 상기 파노라마 이미지에 위치하게 될 회전각(Rotation), 초점 거리(Focal Length)를 포함하는 위치정보를 구하는 위치정보 추출부; 및 상기 번들 조정을 통해서 구해진 위치정보를 이용하여 상기 기준 2차원 이미지들을 붙여 합성하여서 상기 파노라마 이미지를 생성하는 이미지 생성부를 포함할 수 있다.The overlapped region extracting unit extracts a reference two-dimensional image from the two-dimensional object images by removing the non-object background from the captured two-dimensional images at each rotation angle to generate object two-dimensional images, A feature point extracting unit for extracting feature points corresponding to each other between the reference two-dimensional images by using a Transform technique, a speed up robust feature (SURF) technique, or a feature from accelerated segment test (FAST) technique; A matching unit for matching reference two-dimensional images by matching feature points matching the reference two-dimensional images using the feature points; An elimination unit for removing feature points having an error in the matched feature points using a Random Sample Consensus (RANSAC) technique; A rotation angle at which each of the reference two-dimensional images from which the error feature points are removed through a bundle adjustment is located in the panoramic image, a position at which position information including a focal length is obtained An information extracting unit; And an image generation unit for synthesizing the reference two-dimensional images using the position information obtained through the bundle adjustment to generate the panoramic image.

본 발명의 실시예에 따른 2차원 이미지를 이용한 객체의 3차원 모델링 방법 및 장치에 따르면, 하나의 카메라를 고정한 상태에서 회전하는 객체를 회전각도마다 촬영하고, 촬영된 객체의 2차원 이미지들로부터 픽셀 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 생성하고, 생성된 등고선 이미지들을 이용하여 객체의 등고선 3차원 모델링 데이터를 생성함으로써, 사용자가 스마트폰 등과 같은 휴대용 단말기를 이용하여 객체의 3차원 모델링 데이터를 손쉽게 생성할 수 있도록 해준다.According to a method and apparatus for three-dimensional modeling of an object using a two-dimensional image according to an exemplary embodiment of the present invention, a rotating object is photographed at every rotation angle while a camera is fixed, Dimensional modeling data of the object by using the generated contour images to generate three-dimensional contour data of the object using the portable terminal such as a smart phone, Making it easy to create data.

도 1은 본 발명의 실시예에 따른 2차원 이미지를 이용한 객체의 3차원 모델링 장치에 의해서 객체의 촬영이 회전각도마다 이루어지는 것을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 3차원 모델링 장치의 세부 구성도이다.
도 3은 중첩영역 추출부의 상세 구성도이다.
도 4는 렌즈 초점거리의 개념을 설명하기 위한 도면이다.
도 5는 객체의 회전각도 0도일 때 렌즈 초점거리를 31mm ~ 35mm까지 조절하면서 객체를 촬영하여 얻어진 2차원 이미지들을 예시한 도면이다.
도 6은 객체의 회전각도 90도일 때 렌즈 초점거리를 31mm ~ 35mm까지 조절하면서 객체를 촬영하여 얻어진 2차원 이미지들을 예시한 도면이다.
도 7은 객체의 회전각도 180도일 때 렌즈 초점거리를 31mm ~ 35mm까지 조절하면서 객체를 촬영하여 얻어진 2차원 이미지들을 예시한 도면이다.
도 8은 객체의 회전각도 270도일 때 렌즈 초점거리를 31mm ~ 35mm까지 조절하면서 객체를 촬영하여 얻어진 2차원 이미지들을 예시한 도면이다.
도 9는 파노라마 이미지를 예시한 도면이다.
도 10은 회전각도 0도일 때 형성된 등고선 이미지를 나타낸다.
도 11은 회전각도 90도일 때 형성된 등고선 이미지를 나타낸다.
도 12는 회전각도 180도일 때 형성된 등고선 이미지를 나타낸다.
도 13은 회전각도 270도일 때 형성된 등고선 이미지를 나타낸다.
도 14는 도 10 내지 도 13에 도시된 등고선 이미지에 대응하는 3차원 모델링 데이터를 예시한 참조도이다.
도 15는 도 14에 도시된 3차원 모델링 데이터의 등고선 이미지를 도시한 참조도이다.
도 16은 본 발명의 실시예에 따른 2차원 이미지를 이용한 객체의 3차원 모델링 방법을 나타낸다.FIG. 1 is a view showing that an object is photographed by a three-dimensional modeling device of a object using a two-dimensional image according to an embodiment of the present invention for each rotation angle.
2 is a detailed configuration diagram of a three-dimensional modeling apparatus according to an embodiment of the present invention.
3 is a detailed configuration diagram of the overlap area extracting unit.
4 is a view for explaining the concept of the lens focal length.
5 is a view illustrating two-dimensional images obtained by photographing an object while adjusting the focal length of the lens from 31 mm to 35 mm when the rotation angle of the object is 0 degree.
6 is a diagram illustrating two-dimensional images obtained by photographing an object while adjusting the focal length of the lens from 31 mm to 35 mm when the rotation angle of the object is 90 degrees.
7 is a diagram illustrating two-dimensional images obtained by photographing an object while adjusting the focal length of the lens from 31 mm to 35 mm when the rotation angle of the object is 180 degrees.
8 is a diagram illustrating two-dimensional images obtained by photographing an object while adjusting a focal length of the lens from 31 mm to 35 mm when the rotation angle of the object is 270 degrees.
9 is a view illustrating an example of a panoramic image.
10 shows the contour image formed when the rotation angle is 0 degree.
11 shows an image of contour formed when the rotation angle is 90 degrees.
12 shows a contour image formed when the rotational angle is 180 degrees.
13 shows the contour image formed when the rotation angle is 270 degrees.
14 is a reference view illustrating three-dimensional modeling data corresponding to contour images shown in Figs. 10 to 13. Fig.
Fig. 15 is a reference diagram showing a contour image of the three-dimensional modeling data shown in Fig. 14; Fig.
FIG. 16 illustrates a three-dimensional modeling method of an object using a two-dimensional image according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.　 Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art, and the following embodiments may be modified in various other forms, The present invention is not limited to the following embodiments. Rather, these embodiments are provided so that this disclosure will be more thorough and complete, and will fully convey the concept of the invention to those skilled in the art.

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는"포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.　 The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. As used herein, the singular forms "a", "an," and "the" include plural forms unless the context clearly dictates otherwise. Also, " comprise "and / or" comprising "when used herein should be interpreted as specifying the presence of stated shapes, numbers, steps, operations, elements, elements, and / And does not preclude the presence or addition of one or more other features, integers, operations, elements, elements, and / or groups. As used herein, the term "and / or" includes any and all combinations of one or more of the listed items.

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되어서는 안됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.Although the terms first, second, etc. are used herein to describe various elements, regions and / or regions, it should be understood that these elements, components, regions, layers and / Do. These terms do not imply any particular order, top, bottom, or top row, and are used only to distinguish one member, region, or region from another member, region, or region. Thus, the first member, region or region described below may refer to a second member, region or region without departing from the teachings of the present invention.

이하, 본 발명의 실시예들은 본 발명의 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.Hereinafter, embodiments of the present invention will be described with reference to the drawings schematically showing embodiments of the present invention. In the figures, for example, variations in the shape shown may be expected, depending on manufacturing techniques and / or tolerances. Accordingly, embodiments of the present invention should not be construed as limited to any particular shape of the regions illustrated herein, including, for example, variations in shape resulting from manufacturing.

도 1은 본 발명의 실시예에 따른 2차원 이미지를 이용한 객체의 3차원 모델링 장치에 의해서 객체의 촬영이 회전각도마다 이루어지는 것을 나타낸 도면이다.FIG. 1 is a view showing that an object is photographed by a three-dimensional modeling device of a object using a two-dimensional image according to an embodiment of the present invention for each rotation angle.

도 1을 참조하면, 본 발명의 실시예에 따른 3차원 모델링 장치(10)는 하나의 카메라(11)를 이용하여 회전하는 객체(30)를 회전각도마다 렌즈 초점거리를 조절하면서 객체(30)의 2차원 이미지들을 촬영한다. 이때, 3차원 모델링 장치(10)는 하나의 카메라(11)를 구비한 스마트폰, 노트북 등과 같은 휴대용 단말기일 수 있으나, 이에 한정되지 않고 하나의 카메라와 이 카메라와 연결된 PC 등일 수 있다.1, a three-dimensional modeling apparatus 10 according to an embodiment of the present invention includes a plurality of objects 30, each of which rotates an object 30 using one camera 11, Dimensional images. At this time, the 3D modeling device 10 may be a portable terminal such as a smart phone or a notebook computer having one camera 11, but is not limited thereto and may be a single camera and a PC connected to the camera.

이 3차원 모델링 장치(10)는 고정된 상태에서 회전하는 객체(30)를 회전각도마다 렌즈 초점거리를 조절하면서 객체(30)를 촬영하여 객체(30)의 2차원 이미지들을 생성한다.The three-dimensional modeling device 10 photographs the object 30 while adjusting the lens focal distance for each rotation angle of the rotating object 30 in a fixed state, thereby generating two-dimensional images of the object 30.

3차원 모델링 장치(10)는 회전각도마다 생성된 2차원 이미지들에서 배경을 제거하여 객체 2차원 이미지들을 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, 추출된 기준 2차원 이미지들을 이용하여 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출한다. 이때 기준 2차원 이미지는 설정된 렌즈 초점 거리에서 촬영된 2차원 이미지에서 배경이 제거된 객체 2차원 이미지일 수 있다.The three-dimensional modeling device 10 removes the background from the two-dimensional images generated for each rotation angle to generate object two-dimensional images, extracts a reference two-dimensional image from the object two-dimensional images, And extracts overlapping pixel positions between reference two-dimensional images while generating a panoramic image. In this case, the reference two-dimensional image may be an object two-dimensional image in which the background is removed from the two-dimensional image captured at the set lens focal distance.

3차원 모델링 장치(10)는 객체 2차원 이미지들의 크기를 기준 2차원 이미지의 크기에 맞게 조절한 후, 조절된 객체 2차원 이미지들에서 픽셀마다 대비(contrast)가 최대가 되는 렌즈 초점거리를 매핑(mapping) 한다.The three-dimensional modeling device 10 adjusts the size of the object two-dimensional images to fit the size of the reference two-dimensional image, and then maps the lens focal length at which the contrast is maximized for each pixel in the adjusted object two- .

3차원 모델링 장치(10)는 매핑된 렌즈 초점거리가 동일한 픽셀들을 서로 연결하여 픽셀들 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 형성한다.The three-dimensional modeling device 10 connects the pixels having the same lens focal length to each other to form a contour image representing the height and undulation of the maximum contrast value between the pixels.

이후에 3차원 모델링 장치(10)는 회전각도들에 따른 중첩 픽셀 위치들을 이용하여 등고선 이미지들을 회전각도에 맞게 결합하여 객체의 등고선 3차원 모델링 데이터를 생성한다.Then, the 3D modeling device 10 generates contour 3D modeling data of the object by combining the contour images with the rotation angle using the overlapping pixel positions according to the rotation angles.

즉 3차원 모델링 장치(10)는 하나의 카메라(11)를 구비하고 고정된 상태에서 회전하는 객체(30)를 회전각도마다 촬영하고, 촬영된 객체(30)의 2차원 이미지들로부터 픽셀 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 생성하고, 생성된 등고선 이미지들을 이용하여 객체(30)의 등고선 3차원 모델링 데이터를 생성함으로써, 사용자가 스마트폰 등과 같은 휴대용 단말기를 이용하여 객체(30)의 3차원 모델링 데이터를 손쉽게 생성할 수 있도록 해준다.That is, the three-dimensional modeling device 10 has a single camera 11, captures a rotating object 30 in a fixed state at every rotation angle, Dimensional modeling data of the object 30 by generating the contour image representing the height and the contour of the contrast value and using the generated contour lines to generate the contour three-dimensional modeling data of the object 30. Thus, when the user uses the portable terminal such as a smart phone, To create 3D modeling data easily.

도 2는 본 발명의 실시예에 따른 3차원 모델링 장치의 세부 구성도이다.2 is a detailed configuration diagram of a three-dimensional modeling apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시예에 따른 3차원 모델링 장치(10)는 카메라(11), 중첩영역 추출부(14), 등고선 이미지 형성부(15), 모델링부(16), 회전 제어부(17)를 포함한다.2, a three-dimensional modeling apparatus 10 according to an embodiment of the present invention includes a camera 11, an overlap region extracting unit 14, a contour image forming unit 15, a modeling unit 16, (17).

카메라(11)는 객체(30)의 회전각도마다 렌즈 초점거리를 조절하면서 객체의 2차원 이미지들을 촬영한다. The camera 11 captures two-dimensional images of the object while adjusting the lens focal distance for each rotation angle of the object 30. [

이때 렌즈 초점거리의 조절은 자동 또는 수동으로 이루어질 수 있다.At this time, adjustment of the lens focal length can be performed automatically or manually.

실제로 렌즈 초점거리의 조절은, 도 4에 도시된 렌즈 초점거리의 개념을 설명하기 위한 도면에서, 카메라(11)를 구성하는 렌즈(12) 및 렌즈(12)를 통해서 객체(30)의 상(image)이 맺히는 CCD(Charge Coupled Device) 사이의 거리인 렌즈 초점거리를 조절하는 것으로서, 렌즈 이동거리 범위 내에서 이루어질 수 있다.Actually, the adjustment of the lens focal length is carried out in such a manner that the image of the object 30 through the lens 12 and the lens 12 constituting the camera 11 image, which is a distance between the CCDs (Charge Coupled Device), and can be achieved within a range of the lens movement distance.

예를 들어, 도 4에서 렌즈 초점 거리는 실질적으로 렌즈 이동거리 범위인 31mm ~ 35mm에서 조절될 수 있다.For example, in FIG. 4, the lens focal length can be adjusted substantially in the range of the lens moving distance of 31 mm to 35 mm.

회전각도마다 카메라(11)에서 렌즈 초점거리를 조절하면서 촬영된 2차원 이미지들이 도 5 내지 도 8에 예시되어 있다.Two-dimensional images photographed while adjusting the lens focal length in the camera 11 for each rotation angle are illustrated in FIGS.

도 5는 객체(30)의 회전각도 0도일 때 렌즈 초점거리를 31mm ~ 35mm까지 조절하면서 객체(30)를 촬영하여 얻어진 2차원 이미지들을 예시한 도면이다.5 is a diagram illustrating two-dimensional images obtained by photographing an object 30 while adjusting the focal length of the lens from 31 mm to 35 mm when the rotation angle of the object 30 is 0 degrees.

도 6은 객체(30)의 회전각도 90도일 때 렌즈 초점거리를 31mm ~ 35mm까지 조절하면서 객체(30)를 촬영하여 얻어진 2차원 이미지들을 예시한 도면이다.6 is a diagram illustrating two-dimensional images obtained by photographing an object 30 while adjusting a focal length of the lens from 31 mm to 35 mm when the rotation angle of the object 30 is 90 degrees.

도 7은 객체(30)의 회전각도 180도일 때 렌즈 초점거리를 31mm ~ 35mm까지 조절하면서 객체(30)를 촬영하여 얻어진 2차원 이미지들을 예시한 도면이다.7 is a diagram illustrating two-dimensional images obtained by photographing an object 30 while adjusting a focal length of the lens from 31 mm to 35 mm when the rotation angle of the object 30 is 180 degrees.

도 8은 객체(30)의 회전각도 270도일 때 렌즈 초점거리를 31mm ~ 35mm까지 조절하면서 객체(30)를 촬영하여 얻어진 2차원 이미지들을 예시한 도면이다.8 is a diagram illustrating two-dimensional images obtained by photographing an object 30 while adjusting the focal length of the lens from 31 mm to 35 mm when the object 30 is rotated at 270 degrees.

도 5 내지 도 8에서 실선으로 표시된 부분은 객체(30)의 상이 뚜렷이 형성된 부분을 표시한 것이고, 점선으로 표시된 부분은 상이 뚜렷하지 않게 형성되지 않은 부분을 표시한 것이다. In FIGS. 5 to 8, the solid line represents a portion of the object 30 that is clearly formed, and the dotted line represents a portion where the image is not formed conspicuously.

도 5를 참조하면, 렌즈 초점거리가 31mm인 경우에 획득되는 2차원 이미지는 객체(30)의 부분 중에서 CCD(13)와 가까운 거리에 대응하는 코 부분의 상이 뚜렷하게 촬영되어 얻어진 것임을 확인할 수 있다. 또한, 렌즈 초점거리가 32, 33, 34 및 35mm로 점점 멀어짐에 따라, 획득되는 2차원 이미지는 객체(30)의 부분 중에서 CCD(13)와 점점 멀어지는 거리에 대응하는 눈 부분, 얼굴 부분, 모자 부분, 귀 부분 등으로 뚜렷해지는 상이 변화됨을 확인할 수 있다. 도 6 내지 도 8의 경우에도, 도 5와 동일하게 렌즈 초점거리가 31mm인 경우에는 객체(30)의 부분 중에서 CCD(13)와 가까운 거리에 대응하는 부분의 상이 뚜렷하게 획득될 수 있으며, CCD(13)와 멀어짐에 따라 뚜렷해지는 객체(30)의 부분들이 변화됨을 확인할 수 있다. 5, it can be seen that the two-dimensional image obtained when the lens focal length is 31 mm is obtained by clearly photographing the image of the nose portion corresponding to the CCD 13 at a distance from the portion of the object 30. Also, as the lens focal distance gradually decreases to 32, 33, 34, and 35 mm, the acquired two-dimensional image is divided into an eye part, a face part, a hat part, Part, ear part, and the like are changed. In the case of FIGS. 6 to 8, similarly to FIG. 5, when the lens focal length is 31 mm, an image of a portion of the object 30 corresponding to a distance close to the CCD 13 can be clearly obtained, 13) and the parts of the object 30 that become distinct as the distance increases.

카메라(11)에 의해서 회전각도마다 촬영되는 객체(30)는 회전장치(미도시)의 회전판에 놓인 상태에서 회전하거나 또는 회전명령에 따라 스스로 회전할 수 있다.The object 30 photographed by the camera 11 for each rotation angle can be rotated in a state of being placed on a rotary plate of a rotary device (not shown), or rotated by itself in response to a rotary command.

이를 위해서 회전 제어부(17)는 회전각도마다 객체(30)를 회전시키도록 회전장치(미도시)에 회전제어정보를 발생하여 전송하거나 또는 회전각도마다 객체(30)가 회전하도록 회전명령을 청각적으로 또는 시각적으로 송출할 수 있다.To this end, the rotation control unit 17 generates and transmits rotation control information to the rotation device (not shown) so as to rotate the object 30 at each rotation angle, or transmits the rotation command to the object 30 Or visually.

중첩영역 추출부(14)는 회전각도마다 카메라(11)에서 촬영된 2차원 이미지들에 대해 배경이 제거된 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, 회전각도들에 따른 기준 2차원 이미지들을 이용하여 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출한다. The overlapped region extracting unit 14 extracts a reference two-dimensional image from the object two-dimensional images whose backgrounds have been removed from the two-dimensional images photographed by the camera 11 at every rotation angle, Images are used to generate the panoramic image and extract the overlapping pixel positions between the reference two-dimensional images.

이러한 중첩영역 추출부(14)의 상세 구성이 도 3에 도시되어 있다.The detailed structure of the overlap area extracting unit 14 is shown in Fig.

도 3을 참조하면, 중첩영역 추출부(14)는 특징점 추출부(20), 매칭부(21), 제거부(22), 위치정보 추출부(23) 및 이미지 생성부(24)를 포함한다.3, the overlap region extracting unit 14 includes a feature point extracting unit 20, a matching unit 21, a removal unit 22, a position information extracting unit 23, and an image generating unit 24 .

특징점 추출부(20)는 회전각도마다 카메라(11)에서 촬영된 2차원 이미지들에서 객체 이외 배경을 제거하여 객체 2차원 이미지들을 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, SIFT(Scale Invariant Feature Transform) 기술, SURF(speed up robust feature) 기술 또는 FAST(features from accelerated segment test) 기술을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 추출한다.The feature point extracting unit 20 extracts a reference two-dimensional image from two-dimensional object images by removing object backgrounds from the two-dimensional images captured by the camera 11 at every rotation angle, Extracts feature points that match between the reference two-dimensional images using SIFT (Scale Invariant Feature Transform) technology, SURF (speed up robust feature) technique, or FAST (features from accelerated segment test) technique.

그리고 기준 2차원 이미지는 설정된 렌즈 초점거리로 촬영된 2차원 이미지에서 배경이 제거된 객체 2차원 이미지일 수 있다. 예를 들어 기준 2차원 이미지는 회전각도마다 렌즈 초점거리 34mm로 촬영된 2차원 이미지에서 배경이 제거된 객체 2차원 이미지일 수 있다.And the reference two-dimensional image may be an object two-dimensional image in which the background is removed from the two-dimensional image captured at the set lens focal length. For example, a reference two-dimensional image may be an object two-dimensional image with a background removed from a two-dimensional image photographed at a lens focal length of 34 mm per rotation angle.

그리고 특징점(feature point)은 디지털 이미지의 특징을 나타낼 수 있는 점으로서, 다른 점들과 구별될 수 있는 점들이며, 일반적으로 물체의 경계, 꼭지점 등에 위치한다. 사진의 크기와 내용에 따라 달라질 수 있으나, 보통 사진 한 장 당 수천개의 특징점이 추출된다.A feature point is a point that can represent a feature of a digital image and can be distinguished from other points, and is generally located at an object boundary, a vertex, or the like. Though it depends on the size and content of the picture, there are usually thousands of feature points per picture.

특징점은 이미지 매칭에서 매우 중요한 역할을 하기 때문에, 이미지 프로세싱이나 컴퓨터 비전 분야에서 가장 필수적인 작업들 중 하나이다. 이미지 매칭은 특징점을 이용하여 동일한 물체를 촬영한 두 개의 사진들에서 대응되는 부분을 찾아내는 작업인데, 물체/장면 인식, 3차원 구조 계산, 스테레오 매칭, 동작 추적, 파노라마 이미지 생성 등의 다양하게 응용될 수 있다.Because feature points play an important role in image matching, they are one of the most essential tasks in image processing and computer vision. Image matching is a task to find corresponding parts in two photographs of the same object using feature points. It can be applied variously such as object / scene recognition, 3D structure calculation, stereo matching, motion tracking, and panoramic image generation .

매칭부(21)는 상기 특징점들을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 매칭시켜 기준 2차원 이미지들을 연결한다.The matching unit 21 connects the reference two-dimensional images by matching feature points matching the reference two-dimensional images using the feature points.

제거부(22)는 RANSAC(Random Sample Consensus) 기술을 이용하여 상기 매칭된 특징점들에서 오차가 있는 특징점들을 제거한다.The removing unit 22 removes the minutiae with the error from the matched minutiae points using the Random Sample Consensus (RANSAC) technique.

위치정보 추출부(23)는 번들 조정(Bundle Adjustment)을 통해서 상기 오차가 있는 특징점들이 제거된 기준 2차원 이미지들 각각이 상기 파노라마 이미지에 위치하게 될 회전각(Rotation), 초점 거리(Focal Length)를 포함하는 위치정보를 구한다.The position information extracting unit 23 extracts a rotation angle, a focal length, and a focal length at which each of the reference two-dimensional images from which the error feature points are removed through bundle adjustment is positioned in the panoramic image, Is obtained.

이미지 생성부(24)는, 상기 번들 조정을 통해서 구해진 위치정보를 이용하여 상기 기준 2차원 이미지들을 붙여 합성하여서 상기 파노라마 이미지를 생성한다.The image generator 24 combines the reference two-dimensional images using the positional information obtained through the bundle adjustment to generate the panoramic image.

이미지 생성부(24)에서 생성되는 파노라마 이미지에 대한 예시가 도 9에 도시되어 있다.An example of a panoramic image generated by the image generating unit 24 is shown in FIG.

이때, 상기 중첩 픽셀 위치들은 상기 매칭된 특징점들 중 오차가 있는 특징점들이 제거된 특징점들에 해당하는 픽셀 위치들일 수 있다. At this time, the overlapped pixel positions may be pixel positions corresponding to the minutiae points from which the minutiae having the errors among the matched minutiae are removed.

등고선 이미지 형성부(15)는 회전각도마다 상기 객체 2차원 이미지들의 크기를 상기 기준 2차원 이미지의 크기에 맞게 조절하고, 상기 조절된 객체 2차원 이미지들에서 픽셀마다 대비(contrast)가 최대가 되게 하는 렌즈 초점거리를 매핑(mapping) 한다.The contour image forming unit 15 adjusts the size of the object two-dimensional images to the size of the reference two-dimensional image for each rotation angle, and adjusts the contrast for each pixel in the adjusted object two- The lens focal length is mapped.

이후 등고선 이미지 형성부(15)는 상기 매핑된 렌즈 초점거리가 동일한 픽셀들을 서로 연결하여 픽셀들 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 형성한다.The contour image forming unit 15 then connects the pixels having the same focal length to each other to form a contour image representing the height and the undulation of the maximum contrast value between the pixels.

이렇게 형성된 등고선 이미지들이 도 10 내지 도 13에 도시되어 있다.The contour images thus formed are shown in Figs. 10 to 13. Fig.

도 10 내지 도 13에 도시된 등고선 기재된 숫자는 렌즈 초점 거리를 나타낸다. 예를 들어 '31'은 렌즈 초점거리가 31mm임을 나타내고, '32'는 렌즈 초점 거리가 32mm임을 나타낸다.The contour lines shown in Figs. 10 to 13 represent the lens focal length. For example, '31' indicates that the lens focal length is 31 mm, and '32' indicates that the lens focal length is 32 mm.

도 10은 회전각도 0도일 때 등고선 이미지 형성부(15)에 의해서 형성된 등고선 이미지를 나타낸다.10 shows a contour image formed by the contour image forming unit 15 when the rotation angle is 0 degree.

도 11은 회전각도 90도일 때 등고선 이미지 형성부(15)에 의해서 형성된 등고선 이미지를 나타낸다.11 shows a contour image formed by the contour image forming unit 15 when the rotation angle is 90 degrees.

도 12는 회전각도 180도일 때 등고선 이미지 형성부(15)에 의해서 형성된 등고선 이미지를 나타낸다.12 shows a contour image formed by the contour image forming unit 15 when the rotational angle is 180 degrees.

도 13은 회전각도 270도일 때 등고선 이미지 형성부(15)에 의해서 형성된 등고선 이미지를 나타낸다.13 shows a contour image formed by the contour image forming unit 15 when the rotational angle is 270 degrees.

이렇게 등고선 이미지 형성부(15)에서 등고선 이미지가 형성된 후 모델링부(16)는, 상기 회전각도들에 따른 중첩 픽셀 위치들을 이용하여 등고선 이미지들을 회전각도에 맞게 결합하여 객체의 등고선 3차원 모델링 데이터를 생성한다.After the contour image is formed in the contour image forming unit 15, the modeling unit 16 combines the contour images with the rotation angle using the overlapping pixel positions according to the rotation angles, .

이렇게 형성된 3차원 모델링 데이터가 도 14 및 도 15에 예시되어 있다. 도 14는 도 10 내지 도 13에 도시된 등고선 이미지에 대응하는 3차원 모델링 데이터를 예시한 참조도이고, 도 15는 도 14에 도시된 3차원 모델링 데이터의 등고선 이미지를 도시한 참조도이다. 도 15에 있어서, 등고선에 기재된 숫자는 렌즈 초점 거리를 나타낸다. 모델링부(16)는 도 10 내지 도 13에 도시된 등고선 이미지들을 회전각도에 따라 서로 결합함으로써, 등고선 이미지에 대응하는 3차원 모델링 데이터를 생성할 수 있다. The three-dimensional modeling data thus formed are illustrated in Figs. 14 and 15. Fig. 14 is a reference view illustrating three-dimensional modeling data corresponding to the contour line image shown in Figs. 10 to 13, and Fig. 15 is a reference diagram showing a contour line image of the three-dimensional modeling data shown in Fig. In Fig. 15, the numbers on the contour lines indicate the lens focal length. The modeling unit 16 can generate the three-dimensional modeling data corresponding to the contour line image by combining the contour lines shown in Figs. 10 to 13 with each other according to the rotation angle.

도 16은 본 발명의 실시예에 따른 2차원 이미지를 이용한 객체의 3차원 모델링 방법을 나타낸다.FIG. 16 illustrates a three-dimensional modeling method of an object using a two-dimensional image according to an embodiment of the present invention.

도 16에 도시된 3차원 모델링 방법의 수행은 도 2에 도시된 3차원 모델링 장치에 의해서 수행될 수 있으나, 이에 한정되지 않는다.The execution of the three-dimensional modeling method shown in FIG. 16 can be performed by the three-dimensional modeling apparatus shown in FIG. 2, but is not limited thereto.

도 16을 참조하면, 3차원 모델링 장치(10)는 하나의 카메라로 객체의 회전각도마다 렌즈 초점거리를 조절하면서 객체의 2차원 이미지들을 촬영한다(S1).Referring to FIG. 16, the three-dimensional modeling device 10 photographs two-dimensional images of an object while adjusting a focal length of the lens for each rotation angle of the object with one camera (S1).

3차원 모델링 장치(10)는 회전각도마다 상기 촬영된 2차원 이미지들에서 배경이 제거된 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, 회전각도들에 따른 기준 2차원 이미지들을 이용하여 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출한다(S2).The three-dimensional modeling device 10 extracts a reference two-dimensional image from the object two-dimensional images from which backgrounds have been removed from the photographed two-dimensional images for each rotation angle, The overlapping pixel positions between the reference two-dimensional images are extracted while generating the image (S2).

좀 더 구체적으로, 3차원 모델링 장치(10)는 회전각도마다 상기 촬영된 2차원 이미지들에서 객체 이외 배경을 제거하여 객체 2차원 이미지들을 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출한다. More specifically, the three-dimensional modeling device 10 generates object two-dimensional images by removing backgrounds other than the object from the photographed two-dimensional images for each rotation angle, extracts a reference two-dimensional image from the object two- do.

이후 3차원 모델링 장치(10)는 SIFT(Scale Invariant Feature Transform) 기술, SURF(speed up robust feature) 기술 또는 FAST(features from accelerated segment test) 기술을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 추출한다.The 3D modeling device 10 then uses the Scale Invariant Feature Transform (SIFT) technique, the SURF (speed up robust feature) technique, or the FAST (features from accelerated segment test) .

3차원 모델링 장치(10)는 상기 특징점들을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 매칭시켜 기준 2차원 이미지들을 연결한다.The three-dimensional modeling device 10 connects the reference two-dimensional images by matching feature points matching the reference two-dimensional images using the feature points.

3차원 모델링 장치(10)는 RANSAC(Random Sample Consensus) 기술을 이용하여 상기 매칭된 특징점들에서 오차가 있는 특징점들을 제거한다.The three-dimensional modeling device 10 removes the minutiae points having an error in the matched minutiae points by using the RANSAC (Random Sample Consensus) technique.

3차원 모델링 장치(10)는 번들 조정(Bundle Adjustment)을 통해서 상기 오차가 있는 특징점들이 제거된 기준 2차원 이미지들 각각이 상기 파노라마 이미지에 위치하게 될 회전각(Rotation), 초점 거리(Focal Length)를 포함하는 위치정보를 구한다.The three-dimensional modeling apparatus 10 includes a rotation angle, a focal length, and a focal length at which each of the reference two-dimensional images from which the error feature points are removed through bundle adjustment is positioned in the panoramic image, Is obtained.

3차원 모델링 장치(10)는 상기 번들 조정을 통해서 구해진 위치정보를 이용하여 상기 기준 2차원 이미지들을 붙여 합성하여서 상기 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출한다.The three-dimensional modeling device 10 synthesizes the reference two-dimensional images by using the position information obtained through the bundle adjustment, and extracts the overlapped pixel positions between the reference two-dimensional images while generating the panoramic image.

이후, 3차원 모델링 장치(10)는 회전각도마다 상기 객체 2차원 이미지들의 크기를 상기 기준 2차원 이미지의 크기에 맞게 조절하고, 상기 조절된 객체 2차원 이미지들에서 픽셀마다 대비(contrast)가 최대가 되게 하는 렌즈 초점거리를 매핑(mapping) 하고, 상기 매핑된 렌즈 초점거리가 동일한 픽셀들을 서로 연결하여 픽셀들 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 형성한다(S3).Thereafter, the 3D modeling device 10 adjusts the size of the object two-dimensional images according to the size of the reference two-dimensional image for each rotation angle, and adjusts the maximum contrast for each pixel in the adjusted object two- (Step S3). In step S3, contour images representing the height and the undulation of the maximum contrast value between the pixels are formed by connecting the pixels having the same focal length.

3차원 모델링 장치(10)는 상기 회전각도들에 따른 중첩 픽셀 위치들을 이용하여 등고선 이미지들을 회전각도에 맞게 결합하여 객체의 등고선 3차원 모델링 데이터를 생성한다(S4).The 3D modeling device 10 generates contour three-dimensional modeling data of the object by combining the contour images with the rotation angle using the overlapping pixel positions according to the rotation angles (S4).

이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다. The present invention has been described above with reference to the embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. Therefore, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope of the claims and equivalents thereof.

10 : 3차원 모델링 장치
11 : 카메라
12 : 렌즈
13 : CCD
14 : 중첩영역 추출부
15 : 등고선 이미지 형성부
16 : 모델링부
17 : 회전 제어부
20 : 특징점 추출부
21 : 매칭부
22 : 제거부
23 : 위치정보 추출부
24 : 이미지 생성부10: 3D modeling device
11: Camera
12: Lens
13: CCD
14: overlap area extracting unit
15: Contour image forming unit
16: Modeling unit
17:
20: Feature point extraction unit
21:
22: Rejection
23: Position information extracting unit
24:

Claims (6)

하나의 카메라로 객체의 회전각도마다 렌즈 초점거리를 조절하면서 객체의 2차원 이미지들을 촬영하는 단계;
회전각도마다 상기 촬영된 2차원 이미지들에서 배경이 제거된 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, 회전각도들에 따른 기준 2차원 이미지들을 이용하여 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출하는 단계;
회전각도마다 상기 객체 2차원 이미지들의 크기를 상기 기준 2차원 이미지의 크기에 맞게 조절하고, 상기 조절된 객체 2차원 이미지들에서 픽셀마다 대비(contrast)가 최대가 되게 하는 렌즈 초점거리를 매핑(mapping) 하고, 상기 매핑된 렌즈 초점거리가 동일한 픽셀들을 서로 연결하여 픽셀들 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 형성하는 단계; 및
상기 회전각도들에 따른 중첩 픽셀 위치들을 이용하여 등고선 이미지들을 회전각도에 맞게 결합하여 객체의 등고선 3차원 모델링 데이터를 생성하는 단계를 포함하고,
상기 기준 2차원 이미지들 간의 중첩 픽셀 위치들을 추출하는 단계는,
회전각도마다 상기 촬영된 2차원 이미지들에서 객체 이외 배경을 제거하여 객체 2차원 이미지들을 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하는 단계;
SIFT(Scale Invariant Feature Transform) 기술, SURF(speed up robust feature) 기술 또는 FAST(features from accelerated segment test) 기술을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 추출하는 단계;
상기 특징점들을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 매칭시켜 기준 2차원 이미지들을 연결하는 단계;
RANSAC(Random Sample Consensus) 기술을 이용하여 상기 매칭된 특징점들에서 오차가 있는 특징점들을 제거하는 단계;
번들 조정(Bundle Adjustment)을 통해서 상기 오차가 있는 특징점들이 제거된 기준 2차원 이미지들 각각이 상기 파노라마 이미지에 위치하게 될 회전각(Rotation), 초점 거리(Focal Length)를 포함하는 위치정보를 구하는 단계; 및
상기 번들 조정을 통해서 구해진 위치정보를 이용하여 상기 기준 2차원 이미지들을 붙여 합성하여서 상기 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출하는 단계를 포함하되,
상기 중첩 픽셀 위치들은 상기 매칭된 특징점들 중 오차가 있는 특징점들이 제거된 특징점들에 해당하는 픽셀 위치들인, 2차원 이미지를 이용한 객체의 3차원 모델링 방법.
Capturing two-dimensional images of an object while adjusting a lens focal distance for each rotation angle of the object with one camera;
Dimensional image is extracted from the object two-dimensional images from which backgrounds have been removed from the photographed two-dimensional images for each rotation angle, and the reference two-dimensional image is generated using the reference two-dimensional images according to the rotation angles, Extracting overlapping pixel positions between adjacent pixels;
Dimensional image, adjusting the size of the object two-dimensional images according to the size of the reference two-dimensional image for each rotation angle, and mapping a lens focal length for maximizing contrast for each pixel in the adjusted object two- Connecting the pixels having the same focal length of the mapped lens to each other to form a contour image representing a height and an undulation of a maximum contrast value between the pixels; And
And generating contour three-dimensional modeling data of the object by combining the contour images with rotation angles using overlapping pixel positions along the rotation angles,
Wherein extracting the overlapping pixel positions between the reference two-
Removing the non-object background from the photographed two-dimensional images for each rotation angle to generate object two-dimensional images, and extracting a reference two-dimensional image from the object two-dimensional images;
Extracting coincident feature points among the reference two-dimensional images using a Scale Invariant Feature Transform (SIFT) technique, a speed up robust feature (SURF) technique, or a feature from accelerated segment test (FAST) technique;
Connecting the reference two-dimensional images by matching feature points matching the reference two-dimensional images using the feature points;
Removing feature points having an error in the matched feature points using a Random Sample Consensus (RANSAC) technique;
Acquiring position information including a rotation angle and a focal length at which each of the reference two-dimensional images from which the error feature points are removed through bundle adjustment is to be positioned in the panoramic image; ; And
And superposing the reference two-dimensional images using the position information obtained through the bundle adjustment to extract the overlapped pixel positions between the reference two-dimensional images while generating the panoramic image,
Wherein the overlapping pixel positions are pixel positions corresponding to minutiae points from which the minutiae having the error among the matched minutiae are removed.
청구항 1에 있어서,
상기 하나의 카메라로 회전각도마다 렌즈 초점거리를 조절하면서 객체의 2차원 이미지들을 촬영하는 단계는,
상기 회전각도마다 객체를 회전시키도록 회전장치에 회전제어정보를 발생하여 전송하거나 또는 상기 회전각도마다 객체가 회전하도록 회전명령을 청각적으로 또는 시각적으로 송출하는 단계를 포함하는, 2차원 이미지를 이용한 객체의 3차원 모델링 방법.
The method according to claim 1,
The step of photographing the two-dimensional images of the object while adjusting the lens focal length for each rotation angle with the one camera,
And generating and transmitting rotation control information to the rotating device to rotate the object for each of the rotation angles, or transmitting the rotation command either acoustically or visually so that the object rotates for each of the rotation angles. 3-D modeling method of object.
삭제delete 객체의 회전각도마다 렌즈 초점거리를 조절하면서 객체의 2차원 이미지들을 촬영하는 카메라;
회전각도마다 상기 촬영된 2차원 이미지들에서 배경을 제거하여 객체 2차원 이미지를 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, 회전각도들에 따른 기준 2차원 이미지들을 이용하여 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출하는 중첩영역 추출부;
회전각도마다 상기 객체 2차원 이미지들의 크기를 상기 기준 2차원 이미지의 크기에 맞게 조절하고, 상기 조절된 객체 2차원 이미지들에서 픽셀마다 대비(contrast)가 최대가 되게 하는 렌즈 초점거리를 매핑(mapping) 하고, 상기 매핑된 렌즈 초점거리가 동일한 픽셀들을 서로 연결하여 픽셀들 간 최대 대비 값의 높낮이와 기복을 나타내는 등고선 이미지를 형성하는 등고선 이미지 형성부; 및
상기 회전각도들에 따른 중첩 픽셀 위치들을 이용하여 등고선 이미지들을 회전각도에 맞게 결합하여 객체의 등고선 3차원 모델링 데이터를 생성하는 모델링부를 포함하고,
상기 중첩영역 추출부는,
회전각도마다 상기 촬영된 2차원 이미지들에서 객체 이외 배경을 제거하여 객체 2차원 이미지들을 생성하고, 객체 2차원 이미지들에서 기준 2차원 이미지를 추출하고, SIFT(Scale Invariant Feature Transform) 기술, SURF(speed up robust feature) 기술 또는 FAST(features from accelerated segment test) 기술을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 추출하는 특징점 추출부;
상기 특징점들을 이용하여 상기 기준 2차원 이미지들 간에 일치하는 특징점들을 매칭시켜 기준 2차원 이미지들을 연결하는 매칭부;
RANSAC(Random Sample Consensus) 기술을 이용하여 상기 매칭된 특징점들에서 오차가 있는 특징점들을 제거하는 제거부;
번들 조정(Bundle Adjustment)을 통해서 상기 오차가 있는 특징점들이 제거된 기준 2차원 이미지들 각각이 상기 파노라마 이미지에 위치하게 될 회전각(Rotation), 초점 거리(Focal Length)를 포함하는 위치정보를 구하는 위치정보 추출부; 및
상기 번들 조정을 통해서 구해진 위치정보를 이용하여 상기 기준 2차원 이미지들을 붙여 합성하여서 상기 파노라마 이미지를 생성하면서 기준 2차원 이미지들 간 중첩 픽셀 위치들을 추출하는 이미지 생성부를 포함하되,
상기 중첩 픽셀 위치들은 상기 매칭된 특징점들 중 오차가 있는 특징점들이 제거된 특징점들에 해당하는 픽셀 위치들인, 2차원 이미지를 이용한 객체의 3차원 모델링 장치.
A camera for photographing two-dimensional images of an object while adjusting a focal length of the lens for each rotation angle of the object;
Dimensional image, extracting a reference two-dimensional image from the object two-dimensional images, and extracting a reference two-dimensional image based on the rotation angles, An overlapping region extracting unit for extracting overlapping pixel positions between reference two-dimensional images while generating an image;
Dimensional image, adjusting the size of the object two-dimensional images according to the size of the reference two-dimensional image for each rotation angle, and mapping a lens focal length for maximizing contrast for each pixel in the adjusted object two- A contour image forming unit for connecting the pixels having the same focal length of the mapped lens to each other to form a contour image representing a height and an undulation of a maximum contrast value between the pixels; And
And a modeling unit that generates contour three-dimensional modeling data of the object by combining the contour images with the rotation angle using the overlapping pixel positions according to the rotation angles,
The overlapping region extracting unit may extract,
Dimensional image by extracting a reference two-dimensional image from the two-dimensional images of the object, extracting a SIFT (Scale Invariant Feature Transform) technique, a SURF a feature point extracting unit for extracting feature points matching between the reference two-dimensional images using a speed up robust feature technique or a feature from accelerated segment test (FAST) technique;
A matching unit for matching reference two-dimensional images by matching feature points matching the reference two-dimensional images using the feature points;
An elimination unit for removing feature points having an error in the matched feature points using a Random Sample Consensus (RANSAC) technique;
A rotation angle at which each of the reference two-dimensional images from which the error feature points are removed through a bundle adjustment is located in the panoramic image, a position at which position information including a focal length is obtained An information extracting unit; And
And an image generating unit for synthesizing the reference two-dimensional images by using the position information obtained through the bundle adjustment to extract the overlapped pixel positions between the reference two-dimensional images while generating the panoramic image,
Wherein the overlapping pixel positions are pixel positions corresponding to minutiae points from which the minutiae having the error among the matched minutiae points are removed.
청구항 4에 있어서,
상기 회전각도마다 객체를 회전시키도록 회전장치에 회전제어정보를 발생하여 전송하거나 또는 상기 회전각도마다 객체가 회전하도록 회전명령을 청각적으로 또는 시각적으로 송출하는 회전 제어부를 더 포함하는 2차원 이미지를 이용한 객체의 3차원 모델링 장치.
The method of claim 4,
Further comprising a rotation control unit for generating and transmitting rotation control information to the rotating device to rotate the object for each of the rotation angles, or for transmitting the rotation command audibly or visually so that the object rotates for each of the rotation angles, A 3D modeling device for using objects.
삭제delete
KR1020170050944A 2017-04-20 2017-04-20 Apparatus and method of converting 2d images of a object into 3d modeling data of the object KR101884565B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170050944A KR101884565B1 (en) 2017-04-20 2017-04-20 Apparatus and method of converting 2d images of a object into 3d modeling data of the object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170050944A KR101884565B1 (en) 2017-04-20 2017-04-20 Apparatus and method of converting 2d images of a object into 3d modeling data of the object

Publications (1)

Publication Number Publication Date
KR101884565B1 true KR101884565B1 (en) 2018-08-02

Family

ID=63251526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170050944A KR101884565B1 (en) 2017-04-20 2017-04-20 Apparatus and method of converting 2d images of a object into 3d modeling data of the object

Country Status (1)

Country Link
KR (1) KR101884565B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190027172A (en) * 2017-09-06 2019-03-14 단국대학교 산학협력단 360-degree Image Generation System and Method for Synchronizing Time and Position of Object
CN112132785A (en) * 2020-08-25 2020-12-25 华东师范大学 Transmission electron microscope image recognition and analysis method and system for two-dimensional material
US11232323B2 (en) 2020-04-29 2022-01-25 Samsung Electronics Co., Ltd. Method of merging images and data processing device
KR102421776B1 (en) 2021-09-27 2022-07-19 주식회사 넥스트도어 Apparatus for generating 3-dimensional object model and method thereof
KR20230059974A (en) 2021-10-27 2023-05-04 임무임 Apparatus for generating 3D shape images using surface processing and method for generating 3D shape images

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0696144A2 (en) * 1994-08-02 1996-02-07 Canon Kabushiki Kaisha Multilens imaging apparatus comprising a corresponding point extraction unit
US20030063089A1 (en) * 1998-05-27 2003-04-03 Ju-Wei Chen Image-based method and system for building spherical panoramas
JP2005115897A (en) * 2003-10-07 2005-04-28 Open Vr Co Ltd Three-dimensional image creation device and method
WO2005045759A1 (en) * 2003-10-22 2005-05-19 Arcsoft, Inc Panoramic maker engine for a low profile system
KR100601989B1 (en) * 2005-02-07 2006-07-18 삼성전자주식회사 Apparatus and method for estimating 3d face shape from 2d image and computer readable media for storing computer program
KR20070119961A (en) * 2006-06-16 2007-12-21 삼성전자주식회사 Apparatus and method for composing of depth information map, apparatus and method for displaying images by using depth information map
US20080074489A1 (en) * 2006-09-27 2008-03-27 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating panoramic image
KR101413393B1 (en) 2014-02-25 2014-06-27 송승욱 Imaging device for three-dimensional modeling and controlling method thereof
US20160105609A1 (en) * 2014-10-10 2016-04-14 IEC Infrared Systems LLC Panoramic View Imaging System With Laser Range Finding And Blind Spot Detection
KR101642975B1 (en) * 2015-04-27 2016-07-26 주식회사 피씨티 Panorama Space Modeling Method for Observing an Object
US20170163890A1 (en) * 2015-12-04 2017-06-08 Canon Kabushiki Kaisha Image processing apparatus, image-capturing apparatus, image processing method, and non-transitory computer-readable storage medium

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0696144A2 (en) * 1994-08-02 1996-02-07 Canon Kabushiki Kaisha Multilens imaging apparatus comprising a corresponding point extraction unit
US20030063089A1 (en) * 1998-05-27 2003-04-03 Ju-Wei Chen Image-based method and system for building spherical panoramas
JP2005115897A (en) * 2003-10-07 2005-04-28 Open Vr Co Ltd Three-dimensional image creation device and method
WO2005045759A1 (en) * 2003-10-22 2005-05-19 Arcsoft, Inc Panoramic maker engine for a low profile system
KR100601989B1 (en) * 2005-02-07 2006-07-18 삼성전자주식회사 Apparatus and method for estimating 3d face shape from 2d image and computer readable media for storing computer program
KR20070119961A (en) * 2006-06-16 2007-12-21 삼성전자주식회사 Apparatus and method for composing of depth information map, apparatus and method for displaying images by using depth information map
US20080074489A1 (en) * 2006-09-27 2008-03-27 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating panoramic image
KR101413393B1 (en) 2014-02-25 2014-06-27 송승욱 Imaging device for three-dimensional modeling and controlling method thereof
US20160105609A1 (en) * 2014-10-10 2016-04-14 IEC Infrared Systems LLC Panoramic View Imaging System With Laser Range Finding And Blind Spot Detection
KR101642975B1 (en) * 2015-04-27 2016-07-26 주식회사 피씨티 Panorama Space Modeling Method for Observing an Object
US20170163890A1 (en) * 2015-12-04 2017-06-08 Canon Kabushiki Kaisha Image processing apparatus, image-capturing apparatus, image processing method, and non-transitory computer-readable storage medium

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190027172A (en) * 2017-09-06 2019-03-14 단국대학교 산학협력단 360-degree Image Generation System and Method for Synchronizing Time and Position of Object
KR101998318B1 (en) 2017-09-06 2019-10-01 단국대학교 산학협력단 360-degree Image Generation Apparatus and Method for Synchronizing Time and Position of Object
US11232323B2 (en) 2020-04-29 2022-01-25 Samsung Electronics Co., Ltd. Method of merging images and data processing device
CN112132785A (en) * 2020-08-25 2020-12-25 华东师范大学 Transmission electron microscope image recognition and analysis method and system for two-dimensional material
CN112132785B (en) * 2020-08-25 2023-12-15 华东师范大学 Transmission electron microscope image identification and analysis method and system for two-dimensional material
KR102421776B1 (en) 2021-09-27 2022-07-19 주식회사 넥스트도어 Apparatus for generating 3-dimensional object model and method thereof
KR102473287B1 (en) 2021-09-27 2022-12-05 주식회사 넥스트도어 3-dimensional modeling apparatus capable of accurately imitating postures and motions by using a plurality of deep learning modules in single camera images and a method thereof
KR20230059974A (en) 2021-10-27 2023-05-04 임무임 Apparatus for generating 3D shape images using surface processing and method for generating 3D shape images

Similar Documents

Publication Publication Date Title
KR101884565B1 (en) Apparatus and method of converting 2d images of a object into 3d modeling data of the object
CN111060023B (en) High-precision 3D information acquisition equipment and method
JP5812599B2 (en) Information processing method and apparatus
JP6201476B2 (en) Free viewpoint image capturing apparatus and method
KR20170008638A (en) Three dimensional content producing apparatus and three dimensional content producing method thereof
JP6223169B2 (en) Information processing apparatus, information processing method, and program
JP2000102040A (en) Electronic stereo camera
JP2011135246A (en) Image processing apparatus, image capturing apparatus, image processing method, and program
US9063323B2 (en) Super light-field lens and image processing methods
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
CN109146961B (en) 3D measures and acquisition device based on virtual matrix
CN105980928A (en) RGB-D imaging system and method using ultrasonic depth sensing
CN114766042A (en) Target detection method, device, terminal equipment and medium
KR20150091064A (en) Method and system for capturing a 3d image using single camera
CN112423191A (en) Video call device and audio gain method
Gee et al. Tsai camera calibration enhanced
JP4243692B2 (en) Three-dimensional shape detection apparatus and three-dimensional shape detection method
US8908012B2 (en) Electronic device and method for creating three-dimensional image
CN109302600B (en) Three-dimensional scene shooting device
CN110012236A (en) A kind of information processing method, device, equipment and computer storage medium
KR101673144B1 (en) Stereoscopic image registration method based on a partial linear method
KR102019879B1 (en) Apparatus and method for acquiring 360 VR images in a game using a virtual camera
KR102019880B1 (en) 360 VR image acquisition system and method using distributed virtual camera
JP2020191624A (en) Electronic apparatus and control method for the same
WO2007108101A1 (en) Information terminal device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant