KR20120038762A - Portable 3-dimensional scanner and method of reconstructing 3-dimensional image - Google Patents
Portable 3-dimensional scanner and method of reconstructing 3-dimensional image Download PDFInfo
- Publication number
- KR20120038762A KR20120038762A KR1020100100396A KR20100100396A KR20120038762A KR 20120038762 A KR20120038762 A KR 20120038762A KR 1020100100396 A KR1020100100396 A KR 1020100100396A KR 20100100396 A KR20100100396 A KR 20100100396A KR 20120038762 A KR20120038762 A KR 20120038762A
- Authority
- KR
- South Korea
- Prior art keywords
- dimensional
- target object
- images
- distance
- processor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
Abstract
Description
본 발명은 전자 장치에 관한 것으로, 더 상세하게는 휴대용 3차원 스캐너 및 그것의 3차원 형상 복원 방법에 관한 것이다.The present invention relates to an electronic device, and more particularly, to a portable three-dimensional scanner and its three-dimensional shape restoration method.
영상 처리 기술이 발전하면서, 대상 물체의 영상으로부터 대상 물체의 3차원 형상을 획득하는 3차원 스캐너가 개발되고 있다. 3차원 스캐너는 대상 물체의 3차원 형상을 사용자에게 제공한다. 따라서, 3차원 스캐너를 통해 획득된 3차원 형상은 사용자가 대상 물체를 직접 보는 것과 같은 효과를 갖는다.With the development of image processing technology, a three-dimensional scanner for obtaining a three-dimensional shape of a target object from an image of the target object has been developed. The three-dimensional scanner provides a user with a three-dimensional shape of the object. Therefore, the three-dimensional shape obtained through the three-dimensional scanner has the same effect as the user directly sees the target object.
예를 들면, 건축, 토목 등과 같이 대상 물체의 크기로 인해 사용자가 대상 물체의 형상을 인지하기 어려운 분야에서, 3차원 스캐너 및 3차원 형상이 활용되고 있다. 그리고, 치의학 등과 같이 대상 물체의 구조적 특징으로 인해 사용자가 대상 물체의 형상을 인지하기 어려운 분야에서도 3차원 스캐너 및 3차원 형상이 활용되고 있다. 또한, 혹한지역, 혹서지역, 오염지역 등과 같이 사용자가 접근하기 어려운 지역의 대상 물체를 인지하는 수단으로, 3차원 스캐너 및 3차원 형상이 활용되고 있다.For example, a 3D scanner and a 3D shape are used in a field in which it is difficult for a user to recognize a shape of a target object due to the size of the target object such as architecture or civil engineering. In addition, a 3D scanner and a 3D shape are used in a field where a user cannot recognize the shape of the target object due to structural features of the target object such as dentistry. In addition, a 3D scanner and a 3D shape are used as means for recognizing a target object in an area that is difficult to access, such as a cold area, a cold area, and a contaminated area.
본 발명의 목적은 향상된 정확도를 갖는 휴대용 3차원 스캐너 및 그것의 3차원 형상 복원 방법을 제공하는 데에 있다.It is an object of the present invention to provide a portable three-dimensional scanner with improved accuracy and a three-dimensional shape reconstruction method thereof.
본 발명의 다른 목적은 향상된 동작 속도를 갖는 휴대용 3차원 스캐너 및 그것의 3차원 형상 복원 방법을 제공하는 데에 있다.Another object of the present invention is to provide a portable three-dimensional scanner having an improved operation speed and a three-dimensional shape restoration method thereof.
본 발명의 실시 예에 따른 3차원 형상 복원 방법은 대상 물체의 2차원 영상들에서 일치점들을 검출하는 단계; 상기 2차원 영상들에 각각 대응하는 상기 대상 물체의 거리 영상들을 획득하는 단계; 그리고 상기 검출된 일치점들 및 상기 획득된 거리 영상들에 기반하여 상기 대상 물체의 3차원 형상을 복원하는 단계를 포함한다.In accordance with another aspect of the present invention, there is provided a method of reconstructing a three-dimensional shape, including: detecting coincidence points in two-dimensional images of a target object; Obtaining distance images of the target object corresponding to the two-dimensional images, respectively; And restoring a three-dimensional shape of the target object based on the detected matching points and the acquired distance images.
실시 예로서, 상기 검출된 일치점들 및 상기 획득된 거리 영상들에 기반하여 상기 대상 물체의 3차원 형상을 복원하는 단계는 상기 획득된 거리 영상들에서 상기 검출된 일치점들에 대응하는 3차원 거리 벡터들을 검출하는 단계; 상기 획득된 3차원 거리 벡터들로부터 변환 행렬을 산출하는 단계; 그리고 상기 산출된 변환 행렬을 이용하여 상기 대상 물체의 3차원 형상을 복원하는 단계를 포함한다.In an embodiment, the reconstructing the three-dimensional shape of the target object based on the detected matching points and the acquired distance images may include a 3D distance vector corresponding to the detected matching points in the acquired distance images. Detecting them; Calculating a transformation matrix from the obtained three-dimensional distance vectors; And restoring a three-dimensional shape of the target object by using the calculated transformation matrix.
실시 예로서, 상기 2차원 영상들에 각각 대응하는 상기 대상 물체의 거리 영상들을 획득하는 단계는 2차원 구조광을 상기 대상 물체에 투사하는 단계; 그리고 상기 투사된 2차원 구조광의 영상들을 이용하여 상기 거리 영상들을 획득하는 단계를 포함한다.In an embodiment, obtaining distance images of the target object corresponding to the two-dimensional images may include projecting two-dimensional structured light onto the target object; And obtaining the distance images using the images of the projected two-dimensional structured light.
실시 예로서, 상기 거리 영상들은 상기 대상 물체와의 위치 관계를 달리하며 획득된다.In example embodiments, the distance images may be obtained by varying a positional relationship with the target object.
본 발명의 실시 예에 따른 휴대용 3차원 스캐너는 구조광을 투사하도록 구성되는 프로젝터; 상기 투사된 구조광의 영상들을 획득하도록 구성되는 카메라; 상기 카메라를 통해 획득된 영상들을 이용하여 대상 물체의 3차원 형상을 복원하도록 구성되는 프로세서; 그리고 상기 복원된 3차원 형상을 표시하도록 구성되는 모니터를 포함하고, 상기 프로세서는 상기 대상 물체의 2차원 영상들의 일치점들을 이용하여 상기 대상 물체의 3차원 형상을 복원하도록 구성된다.A portable three-dimensional scanner according to an embodiment of the present invention includes a projector configured to project structured light; A camera configured to obtain images of the projected structured light; A processor configured to reconstruct a three-dimensional shape of a target object using the images acquired through the camera; And a monitor configured to display the restored three-dimensional shape, wherein the processor is configured to restore the three-dimensional shape of the object by using coincidence points of two-dimensional images of the object.
실시 예로서, 상기 프로세서는 상기 대상 물체의 2차원 영상들에 기반하여 상기 대상 물체의 거리 영상들을 획득하도록 구성된다.In example embodiments, the processor is configured to acquire distance images of the target object based on two-dimensional images of the target object.
실시 예로서, 상기 프로세서는 상기 2차원 영상들의 일치점들에 각각 대응하는 상기 거리 영상들 상의 3차원 거리 벡터들에 기반하여 상기 대상 물체의 3차원 형상을 복원하도록 구성된다.In example embodiments, the processor may be configured to reconstruct a three-dimensional shape of the object based on three-dimensional distance vectors on the distance images respectively corresponding to coincidence points of the two-dimensional images.
실시 예로서, 상기 프로세서는 상기 일치점들에 대응하는 3차원 거리 벡터들을 검출하고, 상기 검출된 3차원 거리 벡터들에 기반하여 변환 행렬을 산출하고, 그리고 상기 산출된 변환 행렬에 기반하여 상기 획득된 거리 영상들을 3차원 정합하도록 구성된다.In an embodiment, the processor detects three-dimensional distance vectors corresponding to the matching points, calculates a transformation matrix based on the detected three-dimensional distance vectors, and based on the calculated transformation matrix, And to three-dimensional match the distance images.
실시 예로서, 상기 프로젝터, 상기 카메라, 상기 프로세서, 그리고 상기 모니터는 단일 장치를 구성한다.In an embodiment, the projector, the camera, the processor, and the monitor constitute a single device.
본 발명의 다른 실시 예에 따른 휴대용 3차원 스캐너는 2차원 구조광을 투사하도록 구성되는 프로젝터; 상기 투사된 2차원 구조광의 영상을 획득하도록 구성되는 카메라; 상기 카메라를 통해 획득된 영상을 이용하여 대상 물체의 3차원 형상을 복원하도록 구성되는 프로세서; 그리고 상기 복원된 3차원 형상을 표시하도록 구성되는 모니터를 포함하고, 상기 프로젝터, 상기 카메라, 상기 프로세서, 그리고 상기 모니터는 단일 장치를 구성한다.According to another embodiment of the present invention, a portable three-dimensional scanner includes a projector configured to project two-dimensional structured light; A camera configured to obtain an image of the projected two-dimensional structured light; A processor configured to reconstruct a three-dimensional shape of a target object by using an image obtained through the camera; And a monitor configured to display the restored three-dimensional shape, wherein the projector, the camera, the processor, and the monitor constitute a single device.
본 발명에 의하면, 모니터를 구비한 휴대용 3차원 스캐너가 제공된다. 따라서, 대상 물체의 스캔 시에 피드백이 수행되므로, 향상된 정확도를 갖는 휴대용 3차원 스캐너 및 그것의 3차원 형상 복원 방법이 제공된다.According to the present invention, a portable three-dimensional scanner with a monitor is provided. Therefore, since feedback is performed at the time of scanning of the object, a portable three-dimensional scanner having improved accuracy and a three-dimensional shape restoration method thereof are provided.
본 발명에 의하면, 2차원 영상들의 일치점들로부터 변환 행렬이 산출된다. 따라서, 향상된 정확도 및 향상된 동작 속도를 갖는 휴대용 3차원 스캐너 및 그것의 3차원 형상 복원 방법이 제공된다.According to the present invention, a transformation matrix is calculated from the matching points of the two-dimensional images. Accordingly, a portable three-dimensional scanner and improved three-dimensional shape reconstruction method having improved accuracy and improved operating speed are provided.
도 1은 본 발명의 실시 예에 따른 휴대용 3차원 스캐너를 보여주는 블록도이다.
도 2는 도 1의 휴대용 3차원 스캐너의 동작 방법을 보여주는 순서도이다.
도 3은 본 발명의 실시 예에 따른 3차원 스캔 방법을 보여주는 순서도이다.
도 4는 대상 물체의 거리 영상들을 획득하는 방법을 보여주는 도면이다.
도 5는 3차원 정합의 실시 예를 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 3차원 정합 방법을 보여주는 순서도이다.
도 7은 도 6의 3차원 정합 방법을 설명하기 위한 도면이다.1 is a block diagram illustrating a portable 3D scanner according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating a method of operating the portable 3D scanner of FIG. 1.
3 is a flowchart illustrating a 3D scanning method according to an exemplary embodiment of the present invention.
4 is a diagram illustrating a method of obtaining distance images of a target object.
5 is a view for explaining an embodiment of the three-dimensional matching.
6 is a flow chart showing a three-dimensional matching method according to an embodiment of the present invention.
FIG. 7 is a diagram for describing a three-dimensional matching method of FIG. 6.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the technical idea of the present invention. .
도 1은 본 발명의 실시 예에 따른 휴대용 3차원 스캐너(100)를 보여주는 블록도이다. 도 1을 참조하면, 휴대용 3차원 스캐너(100)는 프로젝터(110), 카메라(120), 메모리(130), 모니터(140), 프로세서(150), 그리고 입출력 포트(160)를 포함한다.1 is a block diagram illustrating a
프로젝터(110)는 대상 물체에 광(light)을 투사하도록 구성된다. 예를 들면, 프로젝터(110)는 대상 물체에 구조광(structured light)을 투사하도록 구성된다. 프로젝터(110)는 예를 들어 LED (Light Emitting Diode) 또는 레이저 광원을 이용하여 대상 물체에 구조광을 투사하도록 구성된다. 프로젝터(110)는 예를 들어 대상 물체에 2차원 구조광을 투사하도록 구성된다. 프로젝터(110)는 프로세서(150)의 제어에 따라 대상 물체에 구조광을 투사하도록 구성된다.The
카메라(120)는 대상 물체에 구조광이 투사된 영상을 획득하도록 구성된다. 예를 들면, 카메라(120)는 대상 물체의 형상에 따라 변형된 2차원 구조광의 영상을 획득하도록 구성된다. 카메라(120)는 프로세서(150)의 제어에 따라 영상을 획득하도록 구성된다. 카메라(120)에 의해 획득된 영상은 프로세서(150)로 전달된다. The
메모리(130)는 휴대용 3차원 스캐너(100)의 동작 메모리로서 제공된다. 예를 들면, 메모리(130)는 SRAM (Static RAM), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM) 등과 같은 휘발성 메모리, 그리고 ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FRAM (Ferroelectric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.The
모니터(140)는 프로세서(150)로부터 3차원 형상을 제공받아 표시하도록 구성된다. 예를 들면, 모니터(140)는 프로세서(150)에 의해 복원된 대상 물체의 3차원 형상을 제공받아 표시하도록 구성된다. 모니터(140)는 3차원 모니터일 것이다.The
프로세서(150)는 휴대용 3차원 스캐너(100)의 제반 동작을 제어하도록 구성된다. 예를 들면, 프로세서(150)는 구조광이 투사되도록 프로젝터(110)를 제어한다. 프로세서(150)는 투사된 구조광의 영상을 획득하도록 카메라(120)를 제어한다.The
프로세서(150)는 카메라(120)로부터 투사된 구조광의 영상을 수신하고, 수신된 영상으로부터 구조광의 변형 정도를 산출하도록 구성된다. 프로세서(150)는 산출된 변형 정도에 기반하여, 대상 물체의 거리 영상을 획득하도록 구성된다. 프로세서(150)는 대상 물체의 영상 및 대상 물체의 거리 영상을 이용하여, 대상 물체의 3차원 형상을 복원하도록 구성된다. 예를 들면, 프로세서(150)는 메모리(130)를 이용하여 구조광의 변형 정도를 산출하고, 대상 물체의 거리 영상을 획득하고, 그리고 대상 물체의 3차원 형상을 복원하도록 구성된다.The
프로세서(150)는 복원된 대상 물체의 3차원 형상이 표시되도록 모니터(140)를 제어한다. 프로세서(150)는 입출력 포트(160)를 통해 외부와 통신하도록 구성된다.The
입출력 포트(160)는 휴대용 3차원 스캐너(100)가 외부와 통신할 수 있는 채널을 제공한다. 입출력 포트(160)는 유선 포트 또는 무선 포트일 수 있다. 예를 들면, 입출력 포트(160)는 USB (Universal Serial Bus), 파이어와이어(Firewire), 이더넷(Ethernet) 등과 같은 유선 채널을 제공할 수 있다. 예를 들면, 입출력 포트(160)는 블루투스(Bluetooth), 와이파이(WiFi), 와이브로(Wibro), LTE (Long Term Evolution), 802.11 등과 같은 무선 채널을 제공할 수 있다.The input /
예시적으로, 프로젝터(110), 카메라(120), 메모리(130), 모니터(140), 프로세서(150), 그리고 입출력 포트(160)는 단일 장치를 구성한다. 즉, 휴대용 3차원 스캐너(100)는 단일 장치로서 스캔, 3차원 형상 복원, 그리고 복원된 3차원 형상의 표시 기능을 구비한다.In exemplary embodiments, the
도 2는 도 1의 휴대용 3차원 스캐너(100)의 동작 방법을 보여주는 순서도이다. 도 1 및 도 2를 참조하면, S110 단계에서, 휴대용 3차원 스캐너(100)는 구조광을 투사한다. 예를 들면, 휴대용 3차원 스캐너(100)는 프로젝터(110)를 통해 구조광을 투사한다.2 is a flowchart illustrating a method of operating the
S120 단계에서, 휴대용 3차원 스캐너(100)는 투사된 구조광의 영상을 획득한다. 예를 들면, 휴대용 3차원 스캐너(100)는 카메라(110)를 통해 투사된 구조광의 영상을 획득한다. 예를 들면, 휴대용 3차원 스캐너(100)는 구조광이 대상 물체에 투사되어 변형된 영상을 획득한다.In operation S120, the
S130 단계에서, 휴대용 3차원 스캐너(100)는 3차원 형상을 복원한다. 예를 들면, 휴대용 3차원 스캐너(100)의 프로세서(150)는 카메라(120)를 통해 획득된 영상으로부터 대상 물체의 거리 영상들을 획득한다. 하나의 거리 영상을 획득하기 위하여, 구조광이 투사된 적어도 하나의 영상이 요구될 것이다. 획득된 거리 영상들에 기반하여, 프로세서(150)는 변환 행렬을 산출한다. 산출된 변환 행렬에 기반하여, 프로세서(150)는 대상 물체의 3차원 형상을 복원한다.In step S130, the portable three-
S140 단계에서, 휴대용 3차원 스캐너(100)는 복원된 대상 물체의 3차원 형상을 표시한다. 예를 들면, 휴대용 3차원 스캐너(100)는 모니터(140)를 통해 대상 물체의 3차원 형상을 표시할 것이다.In operation S140, the
도 3은 본 발명의 실시 예에 따른 3차원 스캔 방법을 보여주는 순서도이다. 도 3을 참조하면, S210 단계에서, 사용자는 휴대용 3차원 스캐너(100)를 이용하여 대상 물체를 스캔한다. 대상 물체로부터 획득되는 영상들에 기반하여, 3차원 스캐너(100)는 대상 물체의 3차원 형상을 복원할 것이다. 예를 들면, 도 2를 참조하여 설명된 동작 방법에 따라, 휴대용 3차원 스캐너(100)는 대상 물체의 3차원 형상을 복원할 것이다.3 is a flowchart illustrating a 3D scanning method according to an exemplary embodiment of the present invention. Referring to FIG. 3, in step S210, a user scans a target object using the
S220 단계에서, 휴대용 3차원 스캐너(100)는 획득된 3차원 형상을 사용자에게 제공한다.In operation S220, the
S230 단계에서, 사용자는 획득된 3차원 형상을 분석하여 피드백을 수행한다. 예를 들면, 대상 물체의 3차원 형상이 정상적으로 획득된 경우, 사용자는 3차원 스캔을 종료할 수 있다. 예를 들면, 대상 물체의 3차원 형상이 정상적으로 획득되지 않은 경우, 사용자는 추가 스캔을 수행할 수 있다.In step S230, the user analyzes the obtained three-dimensional shape to perform feedback. For example, when the three-dimensional shape of the target object is normally acquired, the user may end the three-dimensional scan. For example, if the three-dimensional shape of the target object is not normally obtained, the user may perform an additional scan.
예시적으로, 휴대용 3차원 스캐너(100) 및 대상 물체 사이의 위치 관계에 따라, 대상 물체 전체의 3차원 형상이 획득되지 않고 대상 물체의 일부의 3차원 형상만이 획득될 수 있다. 이때, 대상 물체 및 휴대용 3차원 스캐너(100)의 위치 관계를 가변하여, 대상 물체를 추가적으로 3차원 스캔하는 것이 요구된다.For example, according to the positional relationship between the portable three-
도 1을 참조하여 설명된 바와 같이, 휴대용 3차원 스캐너(100)는 3차원 형상을 복원하는 프로세서(150) 및 복원된 3차원 형상을 표시하는 모니터(140)를 구비한다. 따라서, 사용자는 모니터(140)를 통해 표시되는 3차원 형상을 검토하여 추가적인 스캔이 요구되는지 판별할 수 있다. 또한, 사용자는 모니터(140)를 통해 표시되는 3차원 형상을 검토하여, 추가적인 스캔 시에 요구되는 대상 물체 및 휴대용 3차원 스캐너(100)의 위치 관계를 판별할 수 있다. 즉, 영상을 획득하는 프로젝터(110) 및 카메라(120), 획득된 영상으로부터 3차원 형상을 복원하는 프로세서, 그리고 복원된 3차원 형상을 표시하는 모니터를 단일의 휴대용 장치에 구비함으로써, 3차원 스캔 효율이 향상된다.As described with reference to FIG. 1, the portable three-
도 4는 대상 물체의 거리 영상들을 획득하는 방법을 보여주는 도면이다. 도 4에서, 대상 물체(TO) 및 휴대용 3차원 스캐너들(100a, 100b)이 도시되어 있다.4 is a diagram illustrating a method of obtaining distance images of a target object. In FIG. 4, the object TO and the portable three-
예시적으로, 휴대용 3차원 스캐너들(100a, 100b)은 동일한 휴대용 3차원 스캐너(100)가 상이한 시간에 대상 물체(TO)의 거리 영상들을 획득하는 경우들을 보여준다. 예를 들면, 휴대용 3차원 스캐너(100a)는 제 1 시간(t1)에 대상 물체(TO)의 거리 영상을 획득하는 경우를 나타내며, 휴대용 3차원 스캐너(100b)는 제 2 시간(t2)에 대상 물체(TO)의 거리 영상을 획득하는 경우를 나타낸다.For example, the
휴대용 3차원 스캐너(100)가 거리 영상을 획득할 때, 획득된 거리 영상의 좌표계의 중심은 휴대용 3차원 스캐너(100)이다. 예를 들면, 도 4에 도시된 바와 같이, 휴대용 3차원 스캐너(100)가 거리 영상을 획득할 때, 휴대용 3차원 스캐너로부터 대상 물체(TO)의 표면상의 점들에 도달하는 거리 벡터들이 획득된다.When the
대상 물체(TO)의 3차원 형상을 복원하기 위하여, 대상 물체(TO) 및 휴대용 3차원 스캐너(100) 사이의 위치 관계를 변화하며 거리 영상들이 획득된다. 즉, 제 1 시간(t1)에 대상 물체(TO)의 표면 상의 특정 점(예를 들면, P)에 대응하는 3차원 거리 벡터가 획득된다. 또한, 제 2 시간(t2)에 대상 물체(TO)의 표면 상의 특정 점(예를 들면 P)에 대응하는 3차원 거리 벡터가 획득된다. 제 1 시간(t1) 및 제 2 시간(t2)에, 3차원 거리 벡터들의 좌표계들의 원점들이 상이하다. 즉, 제 1 시간(t1) 및 제 2 시간(t2)에 획득된 거리 영상들이 공통 좌표계로 투사되면, 대상 물체(TO) 상의 특정 점(P)에 대응하는 3차원 거리 벡터들은 일치하지 않는다.In order to restore the three-dimensional shape of the target object TO, distance images are acquired while changing the positional relationship between the target object TO and the portable three-
획득된 상이한 거리 영상들로부터 대상 물체(TO)의 3차원 형상을 복원하기 위하여, 3차원 정합이 수행된다.In order to restore the three-dimensional shape of the object TO from the obtained different distance images, three-dimensional matching is performed.
도 5는 3차원 정합의 실시 예를 설명하기 위한 도면이다. 예시적으로, 도 4를 참조하여 설명된 바와 같이, 제 1 거리 영상(RI1) 및 제 2 거리 영상(RI2)은 각각 제 1 시간(t1) 및 제 2 시간(t2)에 대상 물체(TO) 및 휴대용 3차원 스캐너(100)의 위치 관계를 변화하며 획득된 것으로 가정한다.5 is a view for explaining an embodiment of the three-dimensional matching. For example, as described with reference to FIG. 4, the first distance image RI1 and the second distance image RI2 are the target object TO at the first time t1 and the second time t2, respectively. And it is assumed that it is obtained by changing the positional relationship of the portable three-
제 1 거리 영상(RI1)에서, 대상 물체(TO)의 표면 상의 특정 점(P, 또는 특정 점에 대응하는 거리 벡터)이 획득된 것으로 가정한다. 제 2 거리 영상(RI2)에서, 대상 물체(TO)의 표면 상의 특정 점(P)에 대응하는 점은 제 1 점(Q1)인 것으로 가정한다. 통상적으로, 3차원 정합 시에, 제 1 거리 영상(RI1)의 특정 점(P)에 대응하는 제 2 거리 영상(RI2) 상의 점은 특정 점(P)과 가장 가까운 점(예를 들면, Q2)인 것으로 판별된다.In the first distance image RI1, it is assumed that a specific point P on the surface of the target object TO (or a distance vector corresponding to the specific point) is obtained. In the second distance image RI2, it is assumed that the point corresponding to the specific point P on the surface of the target object TO is the first point Q1. Typically, in 3D registration, the point on the second distance image RI2 corresponding to the specific point P of the first distance image RI1 is the point closest to the specific point P (for example, Q2). Is determined to be).
예를 들면, 제 1 거리 영상(RI1) 및 제 2 거리 영상(RI2)이 공통 좌표계로 투사된다. 공통 좌표계에서, 제 1 거리 영상(RI1) 상의 특정 점(P)에 가장 가까운 제 2 거리 영상(RI2) 상의 제 2 점(Q2)이 특정 점(P)에 대응하는 점인 것으로 판별된다.For example, the first distance image RI1 and the second distance image RI2 are projected in a common coordinate system. In the common coordinate system, it is determined that the second point Q2 on the second distance image RI2 that is closest to the specific point P on the first distance image RI1 is a point corresponding to the specific point P.
이후에, 정합 오차를 감소시키기 위한 계산이 수행된다. 오차를 감소시키기 위한 수학식은 다음과 같다.Thereafter, a calculation is performed to reduce the matching error. Equation for reducing the error is as follows.
여기에서, ε은 정합 오차를 나타낸다. Pi는 제 1 거리 영상(RI1)의 점들의 집합을 나타낸다. Qi는 제 1 거리 영상(RI1)의 점들의 집합에 각각 대응하는 것으로 판별된(예를 들면, 가장 가까운) 제 2 거리 영상(RI2)의 점들의 집합이다. T는 정합 오차를 최소화하는 변환 행렬을 나타낸다.Here, epsilon represents a matching error. P i represents a set of points of the first distance image RI1. Q i is a set of points of the second distance image RI2 (eg, nearest) that are respectively determined to correspond to the set of points of the first distance image RI1. T represents a transformation matrix that minimizes the matching error.
수학식 1에서, 정합 오차(ε)를 최소화하는 변환 행렬이 특이값 분해(SVD, Singular Value Decomposition)를 이용하여 산출된다.In
수학식 1에 기반한 3차원 정합은 점들의 집합들(Pi, Qi) 사이의 오차가 더 이상 감소하지 않을 때까지 반복된다.The three-dimensional matching based on
도 6은 본 발명의 실시 예에 따른 3차원 정합 방법을 보여주는 순서도이다. 도 7은 도 6의 3차원 정합 방법을 설명하기 위한 도면이다. 도 6 및 도 7을 참조하면, S310 단계에서, 대상 물체(TO)의 2차원 영상들(TI1, TI2)에서 일치점들이 획득된다. 예를 들면, 대상 물체의 2차원 영상들(TI1, TI2)은 대상 물체(TO)의 거리 영상들(RI1, RI2)에 각각 대응할 것이다. 예를 들면, 대상 물체의 2차원 영상들(TI1, TI2)은 구조광이 투사된 대상 물체의 영상들일 것이다. 즉, 대상 물체의 2차원 영상들(TI1, TI2)은 거리 영상들(RI1, RI2)이 산출되는 소스 영상들일 것이다.6 is a flow chart showing a three-dimensional matching method according to an embodiment of the present invention. FIG. 7 is a diagram for describing a three-dimensional matching method of FIG. 6. 6 and 7, in operation S310, coincidence points are obtained in two-dimensional images TI1 and TI2 of the target object TO. For example, the two-dimensional images TI1 and TI2 of the target object may correspond to the distance images RI1 and RI2 of the target object TO, respectively. For example, the 2D images TI1 and TI2 of the target object may be images of the target object onto which the structured light is projected. That is, the two-dimensional images TI1 and TI2 of the target object may be source images from which the distance images RI1 and RI2 are calculated.
예시적으로, 제 1 2차원 영상(TI1)의 특정 점(TP)과 일치하는 제 2 2차원 영상(TI2)의 제 1 점(TQ1)이 검출된다. In exemplary embodiments, the first point TQ1 of the second 2D image TI2 coinciding with the specific point TP of the first 2D image TI1 is detected.
S320 단계에서, 획득된 2차원 일치점들에 대응하는 3차원 거리 벡터들이 획득된다. 예를 들면, 제 1 2차원 영상(TI1)의 특정 점(TP)에 대응하는 제 1 거리 영상(RI1)의 3차원 거리 벡터가 획득되고, 제 2 2차원 영상(TI2)의 제 1 점(TQ1)에 대응하는 제 2 거리 영상(RI2)의 3차원 거리 벡터가 획득된다. 이때, 획득된 3차원 거리 벡터들은 대상 물체(TO) 상의 동일한 특정 점(P)을 가리킨다.In operation S320, three-dimensional distance vectors corresponding to the obtained two-dimensional match points are obtained. For example, the three-dimensional distance vector of the first distance image RI1 corresponding to the specific point TP of the first two-dimensional image TI1 is obtained, and the first point of the second two-dimensional image TI2 is obtained. The 3D distance vector of the second distance image RI2 corresponding to TQ1) is obtained. In this case, the obtained three-dimensional distance vectors indicate the same specific point P on the target object TO.
S330 단계에서, 획득된 3차원 거리 벡터들을 이용하여 변환 행렬(T)이 산출된다. 예를 들면, 수학식 1에 기반하여, 변환 행렬이 산출될 것이다. 획득된 3차원 거리 벡터들은 대상 물체(TO) 상의 동일한 특정 점(P)을 가리킨다. 따라서, 제 1 거리 영상(RI1) 및 제 2 거리 영상(RI2) 사이의 변환 관계는 한 번의 연산을 통해 산출될 수 있다. 예를 들면, 변환 행렬(T)은 한 번의 특이값 분해(SVD)를 통해 산출될 수 있다.In operation S330, a transformation matrix T is calculated using the obtained 3D distance vectors. For example, based on
S430 단계에서, 산출된 변환 행렬(T)을 이용하여 3차원 형상이 복원된다. 예를 들면, 산출된 변환 행렬(T)을 이용하여 제 1 거리 영상(RI1) 및 제 2 거리 영상(RI2)이 정합될 것이다. 그리고, 대상 물체(TO)의 3차원 형상이 복원될 것이다.In operation S430, the 3D shape is restored using the calculated transformation matrix T. For example, the first distance image RI1 and the second distance image RI2 may be matched using the calculated transformation matrix T. Then, the three-dimensional shape of the target object TO will be restored.
상술된 바와 같이, 본 발명에 의하면, 대상 물체(TO)의 2차원 영상들로부터 일치점들이 검출된다. 검출된 일치점에 대응하는 3차원 거리 벡터들은 대상 물체(TO)의 동일한 점을 가리키는 것으로 판별된다. 검출된 일치점에 대응하는 3차원 거리 벡터들로부터 변환 행렬(T)이 산출된다. 3차원 거리 벡터들은 대상 물체(TO)의 동일한 점을 가리키므로, 변환 행렬(T)은 한 번의 계산을 통해 산출된다. 따라서, 3차원 형상 복원 시간이 단축된다. 즉, 3차원 형상 복원 속도가 향상된다. 또한, 3차원 거리 벡터들은 대상 물체(TO)의 동일한 점을 가리키므로, 3차원 정합 시에 오차가 방지된다. 따라서, 3차원 형상 복원의 정확도가 향상된다.As described above, according to the present invention, coincidence points are detected from two-dimensional images of the target object TO. The three-dimensional distance vectors corresponding to the detected coincidence points are determined to point to the same point of the target object TO. The transformation matrix T is calculated from the three-dimensional distance vectors corresponding to the detected coincidence points. Since the 3D distance vectors point to the same point of the object TO, the transformation matrix T is calculated through one calculation. Thus, the three-dimensional shape restoration time is shortened. That is, the three-dimensional shape restoration speed is improved. In addition, since the three-dimensional distance vectors point to the same point of the target object TO, an error is prevented during the three-dimensional registration. Thus, the accuracy of three-dimensional shape reconstruction is improved.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위와 기술적 사상에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope and spirit of the present invention. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by the claims equivalent to the claims of the present invention as well as the claims of the following.
100, 100a, 100b : 휴대용 3차원 스캐너
110 : 프로젝터
120 : 카메라
130 : 메모리
140 : 모니터
150 : 프로세서
160 : 입출력 포트
RI1, RI2 : 3차원 거리 영상
TI1, TI2 : 2차원 영상
TO : 대상 물체100, 100a, 100b: portable 3D scanner
110: projector
120: camera
130: memory
140: monitor
150: processor
160: input / output port
RI1, RI2: 3D distance image
TI1, TI2: 2D image
TO: object
Claims (10)
상기 2차원 영상들에 각각 대응하는 상기 대상 물체의 거리 영상들을 획득하는 단계; 그리고
상기 검출된 일치점들 및 상기 획득된 거리 영상들에 기반하여 상기 대상 물체의 3차원 형상을 복원하는 단계를 포함하는 3차원 형상 복원 방법.Detecting coincidence points in two-dimensional images of the object;
Obtaining distance images of the target object corresponding to the two-dimensional images, respectively; And
Restoring a three-dimensional shape of the target object based on the detected matching points and the acquired distance images.
상기 검출된 일치점들 및 상기 획득된 거리 영상들에 기반하여 상기 대상 물체의 3차원 형상을 복원하는 단계는
상기 획득된 거리 영상들에서 상기 검출된 일치점들에 대응하는 3차원 거리 벡터들을 검출하는 단계;
상기 획득된 3차원 거리 벡터들로부터 변환 행렬을 산출하는 단계; 그리고
상기 산출된 변환 행렬을 이용하여 상기 대상 물체의 3차원 형상을 복원하는 단계를 포함하는 3차원 형상 복원 방법.The method of claim 1,
Restoring the 3D shape of the target object based on the detected matching points and the obtained distance images
Detecting 3D distance vectors corresponding to the detected match points in the obtained distance images;
Calculating a transformation matrix from the obtained three-dimensional distance vectors; And
And restoring the three-dimensional shape of the target object by using the calculated transformation matrix.
상기 2차원 영상들에 각각 대응하는 상기 대상 물체의 거리 영상들을 획득하는 단계는
2차원 구조광을 상기 대상 물체에 투사하는 단계; 그리고
상기 투사된 2차원 구조광의 영상들을 이용하여 상기 거리 영상들을 획득하는 단계를 포함하는 3차원 형상 복원 방법.The method of claim 1,
Acquiring distance images of the target object corresponding to the two-dimensional images, respectively
Projecting two-dimensional structured light onto the object; And
And obtaining the distance images using the images of the projected two-dimensional structured light.
상기 거리 영상들은 상기 대상 물체와의 위치 관계를 달리하며 획득되는 3차원 형상 복원 방법.The method of claim 1,
The distance images are obtained by varying the positional relationship with the target object.
상기 투사된 구조광의 영상들을 획득하도록 구성되는 카메라;
상기 카메라를 통해 획득된 영상들을 이용하여 대상 물체의 3차원 형상을 복원하도록 구성되는 프로세서; 그리고
상기 복원된 3차원 형상을 표시하도록 구성되는 모니터를 포함하고,
상기 프로세서는 상기 대상 물체의 2차원 영상들의 일치점들을 이용하여 상기 대상 물체의 3차원 형상을 복원하도록 구성되는 휴대용 3차원 스캐너.A projector configured to project structured light;
A camera configured to obtain images of the projected structured light;
A processor configured to reconstruct a three-dimensional shape of a target object using the images acquired through the camera; And
A monitor configured to display the restored three-dimensional shape,
The processor is configured to restore the three-dimensional shape of the target object using the matching points of the two-dimensional images of the target object.
상기 프로세서는 상기 대상 물체의 2차원 영상들에 기반하여 상기 대상 물체의 거리 영상들을 획득하도록 구성되는 휴대용 3차원 스캐너.The method of claim 5, wherein
And the processor is configured to obtain distance images of the target object based on two-dimensional images of the target object.
상기 프로세서는 상기 2차원 영상들의 일치점들에 각각 대응하는 상기 거리 영상들 상의 3차원 거리 벡터들에 기반하여 상기 대상 물체의 3차원 형상을 복원하도록 구성되는 휴대용 3차원 스캐너.The method according to claim 6,
And the processor is configured to reconstruct a three-dimensional shape of the object based on three-dimensional distance vectors on the distance images respectively corresponding to coincidence points of the two-dimensional images.
상기 프로세서는 상기 일치점들에 대응하는 3차원 거리 벡터들을 검출하고, 상기 검출된 3차원 거리 벡터들에 기반하여 변환 행렬을 산출하고, 그리고 상기 산출된 변환 행렬에 기반하여 상기 획득된 거리 영상들을 3차원 정합하도록 구성되는 휴대용 3차원 스캐너.The method according to claim 6,
The processor detects 3D distance vectors corresponding to the matching points, calculates a transform matrix based on the detected 3D distance vectors, and converts the obtained distance images to 3 based on the calculated transform matrix. Portable three-dimensional scanner configured to dimensional match.
상기 프로젝터, 상기 카메라, 상기 프로세서, 그리고 상기 모니터는 단일 장치를 구성하는 휴대용 3차원 스캐너.The method of claim 5, wherein
And said projector, said camera, said processor, and said monitor constitute a single device.
상기 투사된 2차원 구조광의 영상을 획득하도록 구성되는 카메라;
상기 카메라를 통해 획득된 영상을 이용하여 대상 물체의 3차원 형상을 복원하도록 구성되는 프로세서; 그리고
상기 복원된 3차원 형상을 표시하도록 구성되는 모니터를 포함하고,
상기 프로젝터, 상기 카메라, 상기 프로세서, 그리고 상기 모니터는 단일 장치를 구성하는 휴대용 3차원 스캐너.A projector configured to project two-dimensional structured light;
A camera configured to obtain an image of the projected two-dimensional structured light;
A processor configured to reconstruct a three-dimensional shape of a target object by using an image obtained through the camera; And
A monitor configured to display the restored three-dimensional shape,
And said projector, said camera, said processor, and said monitor constitute a single device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100100396A KR101183161B1 (en) | 2010-10-14 | 2010-10-14 | Portable 3-dimensional scanner and method of reconstructing 3-dimensional image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100100396A KR101183161B1 (en) | 2010-10-14 | 2010-10-14 | Portable 3-dimensional scanner and method of reconstructing 3-dimensional image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120038762A true KR20120038762A (en) | 2012-04-24 |
KR101183161B1 KR101183161B1 (en) | 2012-09-17 |
Family
ID=46139378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100100396A KR101183161B1 (en) | 2010-10-14 | 2010-10-14 | Portable 3-dimensional scanner and method of reconstructing 3-dimensional image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101183161B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013180423A1 (en) * | 2012-06-01 | 2013-12-05 | 주식회사 디오에프연구소 | Desktop three-dimensional scanner for dental use provided with two-axis motion unit in which camera and projector are coupled to unit for changing horizontal axis of rotation of stage |
CN107301618A (en) * | 2017-06-21 | 2017-10-27 | 华中科技大学 | Based on the GPU basis matrixs accelerated parallel and homography matrix method of estimation and system |
KR102003002B1 (en) * | 2018-12-05 | 2019-07-25 | 서경덕 | Costume Making System Using A Scanner |
CN113237896A (en) * | 2021-06-08 | 2021-08-10 | 诚丰家具有限公司 | Furniture board dynamic monitoring system and method based on light source scanning |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11185059A (en) | 1997-12-19 | 1999-07-09 | Minolta Co Ltd | Three-dimensional shaped data processor and modeling system |
JP2006065608A (en) | 2004-08-27 | 2006-03-09 | Fuji Xerox Co Ltd | Device and method for generating three-dimensional model |
JP5215615B2 (en) | 2007-08-28 | 2013-06-19 | 三菱プレシジョン株式会社 | Three-dimensional position information restoration apparatus and method |
-
2010
- 2010-10-14 KR KR1020100100396A patent/KR101183161B1/en active IP Right Grant
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013180423A1 (en) * | 2012-06-01 | 2013-12-05 | 주식회사 디오에프연구소 | Desktop three-dimensional scanner for dental use provided with two-axis motion unit in which camera and projector are coupled to unit for changing horizontal axis of rotation of stage |
KR101358631B1 (en) * | 2012-06-01 | 2014-02-04 | 주식회사 디오에프연구소 | A dental desktop 3d scanner that featues cameras and projectors are mounted on a swing arm |
US9737381B2 (en) | 2012-06-01 | 2017-08-22 | Dof Inc. | Desktop three-dimensional scanner for dental use provided with two-axis motion unit in which camera and projector are coupled to unit for changing horizontal axis of rotation of stage |
CN107301618A (en) * | 2017-06-21 | 2017-10-27 | 华中科技大学 | Based on the GPU basis matrixs accelerated parallel and homography matrix method of estimation and system |
CN107301618B (en) * | 2017-06-21 | 2019-11-22 | 华中科技大学 | Based on the GPU basis matrix accelerated parallel and homography matrix estimation method and system |
KR102003002B1 (en) * | 2018-12-05 | 2019-07-25 | 서경덕 | Costume Making System Using A Scanner |
CN113237896A (en) * | 2021-06-08 | 2021-08-10 | 诚丰家具有限公司 | Furniture board dynamic monitoring system and method based on light source scanning |
CN113237896B (en) * | 2021-06-08 | 2024-02-20 | 诚丰家具有限公司 | Furniture board dynamic monitoring system and method based on light source scanning |
Also Published As
Publication number | Publication date |
---|---|
KR101183161B1 (en) | 2012-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102255031B1 (en) | Mismatch detection system, complex reality system, program and mismatch detection method | |
JP6465789B2 (en) | Program, apparatus and method for calculating internal parameters of depth camera | |
JP6589636B2 (en) | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program | |
JP2019510311A (en) | Method and computer program product for calibrating a stereo imaging system using a planar mirror | |
CN110163898B (en) | Depth information registration method, device, system, equipment and storage medium | |
US10896521B2 (en) | Coordinate calibration between two dimensional coordinate system and three dimensional coordinate system | |
TWI672937B (en) | Apparatus and method for processing three dimensional images | |
JP2012058076A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
KR101183161B1 (en) | Portable 3-dimensional scanner and method of reconstructing 3-dimensional image | |
US11012656B2 (en) | Gas detection device, information processing device, and program | |
JPWO2014171418A1 (en) | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program | |
EP3951314A1 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
JP2018173277A (en) | Information processing equipment, information processing method, and, program | |
KR20150087446A (en) | 3-Dimensional Data Processing Apparatus and Method | |
JP6573196B2 (en) | Distance information correction apparatus, distance information correction method, and distance information correction program | |
TWI634515B (en) | Apparatus and method for processing three dimensional image | |
EP3190380B1 (en) | Image pickup device, information processing device, and image pickup system | |
US10218920B2 (en) | Image processing apparatus and control method for generating an image by viewpoint information | |
Wilm et al. | SLStudio: Open-source framework for real-time structured light | |
CN107515844B (en) | Font setting method and device and mobile device | |
JP2007010419A (en) | Three-dimensional shape of object verifying system | |
CN108007386B (en) | Three-dimensional scanning method based on structured light and device and system thereof | |
JP2019207127A (en) | Laser calibration device, calibration method therefor, and image input device including laser calibration device | |
JP2018087715A (en) | Information processing device, information processing method and program | |
KR20130019080A (en) | Image apparatus for combining plenoptic camera and depth camera, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150826 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160818 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20170817 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20180822 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20190827 Year of fee payment: 8 |