KR102505659B1 - Three demension scanning apparatus using light based on smartphone - Google Patents
Three demension scanning apparatus using light based on smartphone Download PDFInfo
- Publication number
- KR102505659B1 KR102505659B1 KR1020160001773A KR20160001773A KR102505659B1 KR 102505659 B1 KR102505659 B1 KR 102505659B1 KR 1020160001773 A KR1020160001773 A KR 1020160001773A KR 20160001773 A KR20160001773 A KR 20160001773A KR 102505659 B1 KR102505659 B1 KR 102505659B1
- Authority
- KR
- South Korea
- Prior art keywords
- lighting
- camera
- color
- image
- smartphone
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법이 개시된다. 본 발명에 따른 3차원 스캐닝 장치는 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영하는 영상 촬영부; 상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하는 영상 처리부; 및 상기 색상 강화 영상에서 상기 조명을 기반으로 스캔 영역을 추출하고, 상기 스캔 영역에 상응하는 위치 정보를 추출하여 상기 3차원 물체를 3차원 스캔하는 스캔부를 포함한다.A 3D scanning device and method using smartphone-based lighting are disclosed. A 3D scanning device according to the present invention includes an image capturing unit for capturing a 3D object based on a camera and a lighting device provided in a terminal; an image processor generating a color enhanced image corresponding to the light output from the lighting device based on a photographed image of the 3D object; and a scan unit extracting a scan area based on the illumination from the color-enhanced image, extracting location information corresponding to the scan area, and performing a 3D scan of the 3D object.
Description
본 발명은 스마트폰 기반의 조명을 이용한 3차원 스캐닝 기술에 관한 것으로, 특히 스마트폰에 구비된 카메라와 조명 장치를 이용하여 3차원 물체를 3차원 스캔할 수 있는 3차원 스캐닝 기술에 관한 것이다.The present invention relates to a 3D scanning technology using smartphone-based lighting, and more particularly, to a 3D scanning technology capable of 3D scanning a 3D object using a camera and a lighting device provided in a smartphone.
현재 출시되고 있는 3D 스캐너는 고가의 장비로 전문가들에 의해서만 사용되고 있다. 기존의 3D 스캐너는 접촉식, 레이저광학식, 구조광식의 특별한 하드웨어와 복잡한 소프트웨어를 요구한다. 하지만 3D 프린팅 기술의 발달로 기존의 역공학분야에서 필요했던 요구사항 이외에도 간단히 스캔하고 간단히 프린트하는 기술 요구가 생기고 있다.3D scanners currently on the market are expensive equipment and are used only by experts. Existing 3D scanners require special hardware and complex software of contact type, laser optical type, and structured light type. However, with the development of 3D printing technology, there is a demand for technology to simply scan and simply print in addition to the requirements required in the existing field of reverse engineering.
모바일용 3D 스캐너는 TOF(Time Of Flight) 방식, 포토 메트리 방식, 레이저광학식을 적용하는 것이 가능하다. TOF 방식은 별도의 적외선 카메라와 적외선 패턴 투사부를 소형으로 제작하여 사용함으로써 물체에 투영된 적외선 패턴의 변화를 측정하여 3차원 데이터를 획득한다. 그러나 이와 같은 방식은 하드웨어 비용이 많이 발생하고, 정확도가 카메라의 해상도에 따라 제한되는 단점을 가진다. 포토 메트리 방식은 물체를 촬영한 두 개 이상의 영상에서 비슷한 영상 쌍을 추출하여 삼각측량기법을 통해 3차원 데이터를 획득한다. 이와 같은 방식은 하드웨어 비용이 들지 않는 장점을 가지나, 물체의 외형을 이루는 점을 제한적으로 획득하게 되어 정확도나 스캔품질이 떨어지는 단점을 가진다. 3D scanners for mobile use TOF (Time Of Flight) method, photometry method, and laser optical method. The TOF method acquires three-dimensional data by measuring the change of an infrared pattern projected on an object by using a separate infrared camera and a small infrared pattern projection unit. However, this method has a disadvantage in that hardware costs are high and accuracy is limited depending on the resolution of the camera. The photometry method obtains three-dimensional data through triangulation by extracting similar image pairs from two or more images of an object. This method has an advantage of not requiring hardware cost, but has a disadvantage in that accuracy and scan quality are degraded because points constituting the outer shape of the object are limitedly acquired.
반면, 레이저 광학식은 비교적 저렴한 하드웨어를 사용하며, 물체에 비춰진 레이저의 곡선을 분석하여 3차원데이터를 획득하는 방법으로 고수준의 정밀도를 획득할 수 있는 장점을 가진다. 그러나, TOF 방식이나 포토 메트리 방식에 비해 물체에 스캔을 반복적으로 해야 한다는 단점을 가지고 있다. 레이저 광학식은 카메라가 고정되어있고 물체를 회전하면서 스캔하는 방식과 움직이면서 스캔할 수 있는 카메라 트래킹 방식으로 세분될 수 있다. 카메라를 고정하는 방식의 경우 물체를 회전하기 위하여 세팅을 반복적으로 바꾸어야 하며, 카메라와 레이저의 방향이 맞지 않아 제대로 스캔이 되지 않는 영역이 많다는 단점을 가진다. 반면 카메라 트래킹 방식은 카메라를 고정하는 방식의 단점을 커버할 수 있으나, 높은 정밀도의 카메라 트래킹 알고리즘이 적용되어야 한다.On the other hand, the laser optical method uses relatively inexpensive hardware and has the advantage of obtaining a high level of precision as a method of obtaining three-dimensional data by analyzing the curve of a laser beamed on an object. However, compared to the TOF method or the photometry method, it has the disadvantage of repeatedly scanning an object. The laser optical method can be subdivided into a method in which the camera is fixed and scans an object while rotating, and a camera tracking method in which the object can be scanned while moving. In the case of the method of fixing the camera, the setting has to be repeatedly changed in order to rotate the object, and there are many areas that are not properly scanned because the direction of the camera and the laser do not match. On the other hand, the camera tracking method can cover the disadvantages of the method of fixing the camera, but a high-precision camera tracking algorithm must be applied.
본 발명의 목적은 스마트폰에 구비된 카메라와 조명 장치를 통해 사용자가 자유롭게 3차원 물체의 전후 좌우를 촬영함으로써 비전문가에게도 손쉬운 3차원 스캐닝 방법을 제공하는 것이다.An object of the present invention is to provide an easy 3D scanning method even to non-experts by allowing a user to freely photograph the front, rear, left and right of a 3D object through a camera and lighting device provided in a smartphone.
또한, 본 발명의 목적은 저가의 조명 장치를 활용한 레이저 광학식 기반의 3차원 스캐닝 장치를 제공함으로써 기존의 기술보다 저렴하게 3차원 스캔 정보를 획득하는 것이다.In addition, an object of the present invention is to obtain 3D scan information at a lower cost than conventional technologies by providing a 3D scanning device based on laser optics using a low-cost lighting device.
또한, 본 발명의 목적은 교체가 간단한 상용의 카메라 트래킹 엔진을 이용함으로써 3차원 스캐닝 장치의 편의성을 향상시키는 것이다.In addition, an object of the present invention is to improve the convenience of a 3D scanning device by using a commercially available camera tracking engine that is easy to replace.
상기한 목적을 달성하기 위한 본 발명에 따른 스마트폰 기반의 조명을 이용한 3차원 스캔 장치는, 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영하는 영상 촬영부; 상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 상기 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출하는 영상 처리부; 및 상기 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 상기 단말의 센서 정보 중 적어도 하나를 조합하여 상기 단말의 회전과 이동을 추정하는 트래킹 엔진부를 포함한다.A three-dimensional scanning device using smartphone-based lighting according to the present invention for achieving the above object includes an image capturing unit for photographing a three-dimensional object based on a camera and a lighting device provided in a terminal; an image processor generating a color-enhanced image corresponding to the light output from the lighting device based on a captured image of the 3D object, and extracting location information corresponding to a scan area based on the color-enhanced image; and a tracking engine unit for estimating rotation and movement of the terminal by combining at least one of image changes generated corresponding to movements of the camera and lighting device and sensor information of the terminal.
이 때, 영상 처리부는 상기 조명의 특성을 기반으로 상기 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 상기 촬영 영상에 포함된 색상들 중 상기 조명에 상응하는 단일색을 강화시킨 상기 색상 강화 영상을 생성할 수 있다.At this time, the image processing unit performs color model conversion for the color of the captured image based on the characteristics of the lighting, and obtains the color-enhanced image obtained by enhancing a single color corresponding to the lighting among the colors included in the captured image. can create
이 때, 영상 처리부는 상기 색상 강화 영상에서 상기 조명에 상응하는 복수의 픽셀들을 기반으로 상기 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고, 상기 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다.In this case, the image processing unit extracts a plurality of subpixels corresponding to the scan area based on a plurality of pixels corresponding to the lighting in the color-enhanced image, and extracts location information corresponding to the plurality of subpixels. can
이 때, 영상 처리부는 상기 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하고, 상기 복수의 픽셀들 중 상기 Rising Edge와 상기 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 상기 복수의 서브픽셀들을 추출할 수 있다.At this time, the image processing unit detects a rising edge and a falling edge based on two types of one-dimensional Gaussian lines in the color-enhanced image, and satisfies a predetermined condition between the rising edge and the falling edge among the plurality of pixels The plurality of subpixels may be extracted by obtaining a sum of weights for pixels included in the region of
이 때, 영상 촬영부는 기설정된 캘리브레이션 보드를 기반으로 상기 카메라 및 상기 조명 장치 중 적어도 하나를 캘리브레이션하는 캘리브레이션부; 및 카메라 트래킹 엔진의 좌표계가 상기 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정하는 카메라 트래킹 조정부를 포함할 수 있다.At this time, the image capturing unit includes a calibration unit for calibrating at least one of the camera and the lighting device based on a preset calibration board; and a camera tracking adjustment unit that adjusts the coordinate system of the camera tracking engine to match the coordinate system of the calibrated camera.
이 때, 캘리브레이션부는 상기 카메라를 이용하여 상기 기설정된 캘리브레이션 보드를 상기 조명과 함께 촬영한 영상 및 상기 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 상기 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 상기 마커평면을 기반으로 상기 조명에 상응하는 평면식을 추정할 수 있다.At this time, the calibration unit estimates a marker plane of the preset calibration board based on at least one of an image captured using the camera with the lighting and a camera parameter obtained by calibrating the camera, , a plane equation corresponding to the lighting can be estimated based on the marker plane.
이 때, 트래킹 엔진부는 상기 단말이 움직이면서 상기 3차원 물체를 촬영하는 동안에 상기 촬영 영상과 상기 센서 정보를 조합하여 상기 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 연속적으로 출력할 수 있다.At this time, the tracking engine unit continuously outputs a parameter corresponding to at least one of a position and attitude of the terminal in a 3D space by combining the photographed image and the sensor information while the terminal moves and captures the 3D object. can do.
이 때, 영상 처리부는 잡음 제거 필터를 이용하여 상기 색상 강화 영상에서 잡음을 제거할 수 있다.In this case, the image processing unit may remove noise from the color enhanced image using a noise removal filter.
이 때, 조명은 상기 조명 장치의 종류에 따라 상기 단일색의 종류 및 조명의 형태 중 적어도 하나에 기반하여 다양하게 사용될 수 있다.At this time, the lighting may be used in various ways based on at least one of the type of the single color and the type of lighting according to the type of the lighting device.
또한, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은, 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영하는 단계; 상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 상기 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출하는 단계; 및 상기 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 상기 단말의 센서 정보 중 적어도 하나를 조합하여 상기 단말의 회전과 이동을 추정하는 단계를 포함한다.In addition, a 3D scanning method using smartphone-based lighting according to an embodiment of the present invention includes the steps of photographing a 3D object based on a camera and a lighting device provided in a terminal; generating a color-enhanced image corresponding to the light output from the lighting device based on a captured image of the 3D object, and extracting location information corresponding to a scan area based on the color-enhanced image; and estimating the rotation and movement of the terminal by combining at least one of an image change generated corresponding to the movement of the camera and the lighting device and sensor information of the terminal.
이 때, 위치 정보를 추출하는 단계는 상기 조명의 특성을 기반으로 상기 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여 상기 촬영 영상에 포함된 색상들 중 상기 조명에 상응하는 단일색을 강화시킨 상기 색상 강화 영상을 생성할 수 있다.At this time, the step of extracting the location information performs color model conversion for the color of the photographed image based on the characteristics of the lighting, and the color in which a single color corresponding to the light is enhanced among colors included in the photographed image. An enhanced image can be created.
이 때, 위치 정보를 추출하는 단계는 상기 색상 강화 영상에서 상기 조명에 상응하는 복수의 픽셀들을 기반으로 상기 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하는 단계를 포함하고, 상기 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다.In this case, the extracting of the location information includes extracting a plurality of subpixels corresponding to the scan area based on a plurality of pixels corresponding to the illumination in the color-enhanced image, and the plurality of subpixels Location information corresponding to can be extracted.
이 때, 복수의 서브픽셀들을 추출하는 단계는 상기 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하는 단계를 포함하고, 상기 복수의 픽셀들 중 상기 Rising Edge와 상기 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 상기 복수의 서브픽셀들을 추출할 수 있다.At this time, the step of extracting a plurality of subpixels includes the step of detecting a rising edge and a falling edge based on two types of one-dimensional Gaussian convolutions in the color-enhanced image, and among the plurality of pixels, the rising edge and The plurality of subpixels may be extracted by obtaining a weighted sum of pixels included in a region satisfying a predetermined condition between the falling edges.
이 때, 촬영하는 단계는 기설정된 캘리브레이션 보드를 기반으로 상기 카메라 및 상기 조명 장치 중 적어도 하나를 캘리브레이션하는 단계; 및 카메라 트래킹 엔진의 좌표계가 상기 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정하는 단계를 포함할 수 있다.At this time, the photographing step may include calibrating at least one of the camera and the lighting device based on a preset calibration board; and adjusting the coordinate system of the camera tracking engine to match the coordinate system of the calibrated camera.
이 때, 캘리브레이션하는 단계는 상기 카메라를 이용하여 상기 기설정된 캘리브레이션 보드를 상기 조명과 함께 촬영한 영상 및 상기 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 상기 기설정된 캘리브레이션 보드의 마커평면을 추정하는 단계를 포함하고, 상기 마커평면을 기반으로 상기 조명에 상응하는 평면식을 추정할 수 있다.At this time, the step of calibrating is based on at least one of a camera parameter obtained by calibrating the camera and an image of the preset calibration board photographed together with the lighting using the camera, the marker plane of the preset calibration board An estimating step may be included, and a plane equation corresponding to the illumination may be estimated based on the marker plane.
이 때, 단말의 회전과 이동을 추정하는 단계는 상기 단말이 움직이면서 상기 3차원 물체를 촬영하는 동안에 상기 촬영 영상과 상기 센서 정보를 조합하여 상기 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력할 수 있다.At this time, the step of estimating the rotation and movement of the terminal is to combine the photographed image and the sensor information while the terminal moves and captures the 3D object, so that at least one of the position and posture of the terminal in the 3D space is determined. Corresponding parameters can be output.
이 때, 위치 정보를 추출하는 단계는 잡음 제거 필터를 이용하여 상기 색상 강화 영상에서 잡음을 제어하는 단계를 더 포함할 수 있다.In this case, extracting the location information may further include controlling noise in the color-enhanced image using a noise removal filter.
이 때, 조명은 상기 조명 장치의 종류에 따라 상기 단일색의 종류 및 조명의 형태 중 적어도 하나에 기반하여 다양하게 사용할 수 있다.At this time, the lighting may be used in various ways based on at least one of the type of the single color and the type of lighting according to the type of the lighting device.
또한, 본 발명의 과제 해결을 위한 또 다른 수단으로써, 상술한 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.In addition, as another means for solving the problem of the present invention, a computer program stored in a medium to execute the above-described method is provided.
본 발명에 따르면, 스마트폰에 구비된 카메라와 조명 장치를 통해 사용자가 자유롭게 3차원 물체의 전후 좌우를 촬영함으로써 비전문가에게도 손쉬운 3차원 스캐닝 방법을 제공할 수 있다.According to the present invention, it is possible to provide an easy 3D scanning method even to non-experts by allowing a user to freely photograph the front, rear, left and right sides of a 3D object through a camera and lighting device provided in a smartphone.
또한, 본 발명은 저가의 조명 장치를 활용한 레이저 광학식 기반의 3차원 스캐닝 장치를 제공함으로써 기존의 기술보다 저렴하게 3차원 스캔 정보를 획득할 수 있다.In addition, the present invention provides a 3D scanning device based on laser optics using a low-cost lighting device, so that 3D scan information can be obtained at a lower cost than conventional technologies.
또한, 본 발명은 교체가 간단한 상용의 카메라 트래킹 엔진을 이용함으로써 3차원 스캐닝 장치의 편의성을 향상시킬 수 있다.In addition, the present invention can improve the convenience of a 3D scanning device by using a commercially available camera tracking engine that can be easily replaced.
도 1은 본 발명에 따른 3차원 스캐닝 장치를 포함하는 스마트폰을 사용하여 3차원 물체를 3차원 스캐닝하는 일 예를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 3차원 스캐닝 장치를 나타낸 블록도이다.
도 3은 도 2에 도시된 영상 촬영부의 일 예를 나타낸 블록도이다.
도 4는 본 발명에 따른 캘리브레이션 보드의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 잡음 제거 필터의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 2종의 1차원 가우시안 회선을 나타낸 도면이다.
도 7 내지 도 10은 본 발명의 일실시예에 따른 조명의 형태를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법을 나타낸 동작 흐름도이다.
도 12는 도 11에 도시된 3차원 스캐닝 방법 중 색상 강화 영상을 생성하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 13은 도 11에 도시된 3차원 스캐닝 방법 중 스캔 영역의 위치 정보를 추출하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 14는 도 11에 도시된 3차원 스캐닝 방법 중 3차원 물체를 촬영하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 15는 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법을 상세하게 나타낸 동작 흐름도이다.1 is a diagram showing an example of 3D scanning of a 3D object using a smart phone including a 3D scanning device according to the present invention.
2 is a block diagram showing a 3D scanning device according to an embodiment of the present invention.
FIG. 3 is a block diagram illustrating an example of an image capture unit shown in FIG. 2 .
4 is a diagram showing an example of a calibration board according to the present invention.
5 is a diagram showing an example of a noise removal filter according to the present invention.
6 is a diagram showing two types of one-dimensional Gaussian convolutions according to the present invention.
7 to 10 are views showing the form of lighting according to an embodiment of the present invention.
11 is an operational flowchart illustrating a 3D scanning method using smartphone-based lighting according to an embodiment of the present invention.
FIG. 12 is an operation flowchart showing in detail a process of generating a color enhanced image in the 3D scanning method shown in FIG. 11 .
FIG. 13 is an operation flowchart showing in detail a process of extracting location information of a scan area in the 3D scanning method shown in FIG. 11 .
FIG. 14 is an operation flowchart showing in detail a process of photographing a 3D object in the 3D scanning method shown in FIG. 11 .
15 is an operation flowchart showing in detail a 3D scanning method using smartphone-based lighting according to an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clarity.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 3차원 스캐닝 장치를 포함하는 스마트폰을 사용하여 3차원 물체를 3차원 스캐닝하는 일 예를 나타낸 도면이다.1 is a diagram showing an example of 3D scanning of a 3D object using a smart phone including a 3D scanning device according to the present invention.
도 1을 참조하면, 카메라(110)와 조명 장치(120)가 구비된 스마트폰(100)을 이용하여 3차원 물체(130)를 촬영함으로써 3차원 물체(130)를 3차원 스캔할 수 있다.Referring to FIG. 1 , the
이 때, 스마트폰(100)은 3차원 물체(130)를 3차원 스캐닝 하기 위한 3차원 스캐닝 장치를 포함할 수 있다. At this time, the
이 때, 3차원 스캐닝 장치는 카메라(110)와 조명 장치(120)를 캘리브레이션하는 캘리브레이션 모드, 카메라 트래킹 엔진을 사용하기 위한 카메라 트래킹 엔진 정보 수집 모드 그리고 3차원 스캐닝을 실시하는 3차원 스캐닝 모드로 구분되어 동작할 수 있다.At this time, the 3D scanning device is divided into a calibration mode for calibrating the
이 때, 캘리브레이션 모드의 목적은 카메라(110)와 조명 장치(120) 각각에 대한 정보를 수집하는 것일 수 있다. 일반적인 캘리브레이션 보드나 캘리브레이션을 위한 소프트웨어를 사용하여 캘리브레이션을 수행할 수도 있으나, 본 발명에서는 조명의 평면식도 구해야 하기 때문에 별도의 캘리브레이션 보드를 사용하여 카메라(110)와 조명 장치(120)의 3차원 위치와 자세를 파악할 수 있다.At this time, the purpose of the calibration mode may be to collect information on each of the
이 때, 카메라 캘리브레이션은 영상처리에 있어서 가장 기본적인 단계로, 영상 이미지과정을 만드는 카메라의 기본인자를 추출하는 기술을 의미할 수 있다. 이 때, 영상 이미지과정이란 실세계의 물체가 영상면 혹은 카메라의 필름면으로 영사, 투사 또는 투영되는 과정일 수 있다. 즉, 실세계의 3차원 물체 위의 한 점 (x, y, z)가 카메라 내의 필름면 (u, v)에 맺히는 것을 수식으로 모델화 한 것일 수 있다. 이 때, 카메라의 3차원 공간상의 위치, 회전 방향, 카메라 렌즈의 특성 등이 카메라의 외부인자 또는 내부인자로 불리며, 이들을 추정하는 과정이 카메라 캘리브레이션이다.At this time, camera calibration is the most basic step in image processing, and may mean a technique of extracting basic factors of a camera that creates a video image process. At this time, the video image process may be a process in which objects in the real world are projected, projected, or projected onto an image plane or a film plane of a camera. That is, a point (x, y, z) on a 3D object in the real world may be modeled by a formula in which a point (x, y, z) is formed on a film plane (u, v) in a camera. At this time, the position of the camera in 3D space, the direction of rotation, the characteristics of the camera lens, etc. are called external factors or internal factors of the camera, and the process of estimating them is camera calibration.
또한, 카메라 캘리브레이션과 동시에 조명 장치(120)에 대한 캘리브레이션을 통해 조명이 만들어내는 평면의 위치와 자세 또한 알아낼 수 있다. 이 때, 조명 장치(120)에서 출력되는 빛, 즉 조명은 눈에 보이는 직선과 조명 장치(120)의 렌즈를 통해 생성되는 3차원 평면(121)으로 표현될 수 있다. 이 때, 3차원 평면(121)에 대한 평면식은 본 발명에 따른 별도의 캘리브레이션 보드를 이용하여 구할 수 있으며, 이에 대한 자세한 설명은 도 4에서 후술하도록 한다.In addition, the position and posture of the plane created by the lighting can also be found through the calibration of the
또한, 카메라 트래킹 엔진 정보 수집 모드의 목적은 사용자가 스마트폰(100)을 움직이면서 3차원 물체(130)를 촬영하기 위해서 필요한 카메라 트래킹 엔진을 셋팅하는 것일 수 있다. Also, the purpose of the camera tracking engine information collection mode may be to set a camera tracking engine necessary for the user to photograph the
카메라 트래킹 엔진은 카메라(110)를 이용하여 3차원 물체(130)를 촬영하는 동안에 촬영되는 영상과 스마트폰(100)의 센서 정보를 조합하여 스마트폰(130)의 위치나 자세에 대한 파라미터를 출력할 수 있다. The camera tracking engine outputs a parameter for the position or posture of the
이 때, 카메라(110)에 대한 캘리브레이션 과정이 독자적으로 수행되므로 카메라 트래킹 엔진이 표현하는 월드 좌표계와 3차원 스캐닝 시스템, 즉 카메라의 월드 좌표계를 일치 시켜야 할 필요가 있는데, 이를 위해 카메라 트래킹 엔진 정보 수집 모드가 사용될 수 있다. At this time, since the calibration process for the
또한, 3차원 스캐닝 모드의 목적은 도 1과 같이 실제로 3차원 물체(130)에 도달한 조명이 만들어 내는 조명 라인(122)의 곡선부를 분석하여 3차원 물체(130)에 대한 3차원 기하 정보를 추출하는 것일 수 있다. 이 때, 3차원 스캐닝 모드는 3차원 스캐닝을 수행하기 위해 가장 마지막에 수행되는 모드이며 가장 많이 수행되는 모드일 수 있다. 앞서 서술한 캘리브레이션 모드나 카메라 트래킹 엔진 정보 수집 모드는 3차원 스캔을 실시하기 전에 이루어지는 선행모드일 수 있다.In addition, the purpose of the 3D scanning mode is to obtain 3D geometric information about the
이 때, 조명 장치(120)에서 3차원 물체(130)로 출력되는 조명은 고유한 단일색을 가지며, 3차원 평면(121)으로 이루어져 카메라(110)를 통해 촬영되는 영상에서 검출할 수 있다.At this time, the light output from the
또한, 3차원 스캐닝 모드에서는 본 발명에서 사용하는 3개의 소프트웨어 엔진들을 모두 사용할 수 있다. 즉, 앞에서 설명한 카메라 트래킹 엔진과 더불어 실시간 영상처리 엔진 및 조명 영상분석 엔진을 모두 사용할 수 있다. Also, in the 3D scanning mode, all three software engines used in the present invention can be used. That is, in addition to the camera tracking engine described above, both a real-time image processing engine and a lighting image analysis engine can be used.
이 때, 실시간 영상처리 엔진에서는 영상을 입력으로 하는 함수들이 가장 많은 자원을 소모할 수 있다. 이 때, 이 함수들이 최적화되어 있어야 시스템 전체적으로 실시간 처리가 가능할 수 있다. 따라서, 본 발명에서는 실시간으로 영상에 나타낸 조명이 만들어내는 조명 라인(122)을 추출하는 알고리즘을 포함할 수 있다. At this time, in the real-time image processing engine, functions that use images as inputs may consume the most resources. At this time, these functions must be optimized to enable real-time processing throughout the system. Therefore, the present invention may include an algorithm for extracting the
이 때, 조명 영상분석 엔진은 본 발명에서 가장 중요한 부분일 수 있으며, 조명 영상분석 엔진의 성능에 따라 전체 시스템 성능이 결정될 수 있다. At this time, the lighting image analysis engine may be the most important part in the present invention, and overall system performance may be determined according to the performance of the lighting image analysis engine.
도 2는 본 발명의 일실시예에 따른 3차원 스캐닝 장치를 나타낸 블록도이다.2 is a block diagram showing a 3D scanning device according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 3차원 스캐닝 장치는 영상 촬영부(210), 영상 처리부(220) 및 트래킹 엔진부(230)를 포함한다.Referring to FIG. 2 , the 3D scanning device according to an embodiment of the present invention includes an
영상 촬영부(210)는 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영한다.The
이 때, 단말은 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile)일 수 있다.At this time, the terminal is a mobile phone, PMP (Portable Multimedia Played), MID (Mobile Internet Device), smart phone (Smart Phone), tablet computer (Tablet PC), notebook (Note book), net book (Net Book), personal portable information It may be a mobile device having various mobile communication specifications such as a personal digital assistant (PDA) and an information communication device.
이 때, 조명 장치는 단일색의 조명을 출력하고, 조명은 렌즈를 통해 3차원 평면의 형태로 출력되어 카메라를 이용해 촬영된 영상에서 검출이 가능할 수 있다.At this time, the lighting device outputs single-color light, and the light is output in the form of a three-dimensional plane through a lens so that it can be detected in an image photographed using a camera.
이 때, 조명은 조명 장치의 종류에 따라 단일색의 종류 및 조명의 형태 중 적어도 하나의 기반하여 다양하게 사용될 수 있다. 예를 들어, 단일색의 종류에 따라 적색의 조명을 출력하는 조명 장치를 사용하거나 녹색의 조명을 출력하는 조명 장치를 사용할 수 있다. 또한, 조명의 형태에 따라 하나의 직선 조명을 출력하는 조명 장치, 두 개 이상의 직선을 출력하는 조명 장치, 슬릿을 기반으로 여러 개의 직선 조명을 출력하는 조명 장치 및 프로젝터 형태로 조명을 출력하는 조명 장치를 사용할 수도 있다.At this time, the lighting may be used in various ways based on at least one of a single color type and a type of lighting according to the type of lighting device. For example, a lighting device outputting red light or a lighting device outputting green light may be used according to the type of single color. In addition, depending on the type of lighting, a lighting device that outputs one straight light, a lighting device that outputs two or more straight lines, a lighting device that outputs multiple straight lights based on a slit, and a lighting device that outputs light in the form of a projector can also be used.
이 때, 기설정된 캘리브레이션 보드를 기반으로 카메라 및 조명 장치 중 적어도 하나를 캘리브레이션 할 수 있다.At this time, at least one of the camera and the lighting device may be calibrated based on a preset calibration board.
이 때, 카메라 캘리브레이션은 카메라의 외부인자 및 내부인자를 추정하는 과정일 수 있다. 예를 들어, 실제 3차원 세계에서의 한 점인 (x, y, z)가 카메라를 이용하여 촬영된 영상인 2차원 평면 내부의 한 점인 (u, v)로 변환될 때, 카메라의 실제 3차원 세계에서의 위치, 회전 방향 및 카메라 렌즈의 특성 등을 추정할 수 있다. In this case, camera calibration may be a process of estimating external factors and internal factors of the camera. For example, when (x, y, z), a point in the real 3D world, is converted to (u, v), a point inside a 2D plane, which is an image captured using a camera, the camera's actual 3D Position in the world, direction of rotation, and characteristics of camera lenses can be estimated.
또한, 조명 장치 캘리브레이션은 조명을 출력하는 조명 장치의 위치 및 자세를 추정하는 과정일 수 있으며, 별도의 캘리브레이션 보드를 이용하여 추정할 수 있다. In addition, lighting device calibration may be a process of estimating the position and attitude of a lighting device that outputs light, and may be estimated using a separate calibration board.
이 때, 카메라를 이용하여 기설정된 캘리브레이션 보드를 조명과 함께 촬영한 영상 및 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 마커평면을 기반으로 조명에 상응하는 평면식을 추정할 수 있다.At this time, the marker plane of the preset calibration board is estimated based on at least one of the camera parameters obtained by calibrating the camera and an image taken with lighting of the preset calibration board using the camera, and lighting based on the marker plane A plane equation corresponding to can be estimated.
예를 들어, 캘리브레이션 보드에서 마커가 위치하지 않는 빈 곳에 조명 장치에서 출력되는 조명의 중심선을 맺히게 하고, 카메라를 이용하여 캘리브레이션 보드에 고정된 마커를 조명과 함께 촬영할 수 있다. 이 후, 카메라로 촬영된 영상으로부터 마커를 분리하고, 마커의 중심과 마커 그룹의 ID를 추출할 수 있다. For example, a central line of light output from a lighting device may be formed in an empty place on the calibration board where no marker is located, and the marker fixed on the calibration board may be photographed together with the light using a camera. Thereafter, the markers may be separated from the image captured by the camera, and the center of the marker and the ID of the marker group may be extracted.
이 후, 영상 내의 색상정보를 이용하여 조명 라인을 검출할 수 있다. 이 때, 카메라 캘리브레이션은 잘 알려진 Tsai's 방법을 활용하여 수행할 수 있고, 카메라 캘리브레이션을 통해 추정된 카메라 내부인자와 외부인자를 이용하여 캘리브레이션 보드의 마커 평면을 추정할 수 있다. 이 후, 마커 평면의 방정식, 여러 개의 촬영 영상에 의한 마커평면들 및 미지의 평면으로부터의 최소자승법을 통해 평면식의 인자를 추정할 수 있다.Thereafter, the lighting line may be detected using color information in the image. In this case, camera calibration may be performed using the well-known Tsai's method, and the marker plane of the calibration board may be estimated using camera internal and external factors estimated through camera calibration. Thereafter, the factor of the plane equation can be estimated through the least squares method from the equation of the marker plane, the marker planes by several captured images, and the unknown plane.
이 때, 카메라 트래킹 엔진의 좌표계가 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정할 수 있다. At this time, the coordinate system of the camera tracking engine may be adjusted to match the coordinate system of the calibrated camera.
이 때, 카메라 트래킹 엔진은 3차원 스캐닝하는 사용자의 움직임, 즉 스마트폰의 움직임을 트래킹할 수 있다. In this case, the camera tracking engine may track the movement of the user performing 3D scanning, that is, the movement of the smartphone.
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다. 이는 각 카메라 트래킹 엔진에 따라서 수행될 수 있다. 또한, 카메라 트래킹 엔진의 출력 정보 중에서 자연특징 2차원 좌표들과 3차원 물체에 출력된 조명 라인과의 교차점들을 수집하여 각 월드 좌표계의 차이를 계산하기 위한 정보로 사용할 수 있다.At this time, since the camera is independently calibrated, it is necessary to match the world coordinate system expressed by the camera tracking engine with the scan system, that is, the world coordinate system of the camera. To this end, a process of initializing the camera tracking engine may be performed. This can be done according to each camera tracking engine. In addition, among the output information of the camera tracking engine, the points of intersection between the natural feature 2D coordinates and the light line output on the 3D object can be collected and used as information for calculating the difference between each world coordinate system.
이 때, 자연특징이 가지고 있는 잡음과 조명 추출 시의 에러를 감안하기 위하여 RANSAC(RANdom Sample Consensus)을 이용하여 아웃라이어(outlier)를 제거하고, 인라이어(inlier)들만의 공간적인 차이를 최소자승법을 이용하여 계산할 수 있다. 즉, 정상적인 분포에서 벗어난 이상한 데이터는 제거할 수 있다.At this time, in order to take into account the noise of natural features and errors in light extraction, outliers are removed using RANSAC (RANdom Sample Consensus), and the spatial differences of only inliers are calculated using the least squares method. can be calculated using That is, odd data that deviate from the normal distribution can be removed.
영상 처리부(220)는 3차원 물체를 촬영한 촬영 영상을 기반으로 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출한다. 예를 들어, 조명 장치에서 출력되는 조명이 적색에 상응한다면, 촬영 영상에서 적색이 보다 잘 보이도록 강화한 적색 강화 영상을 생성하여 스캔 영역에 상응하는 위치 정보를 추출할 수 있다.The
이 때, 조명의 특성을 기반으로 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 촬영 영상에 포함된 색상들 중 조명에 상응하는 단일색을 강화시킨 색상 강화 영상을 생성할 수 있다. 예를 들어, 조명이 적색에 상응한다면, 색상 강화 영상은 촬영 영상에 포함된 색상들 중 적색을 강화시킨 적색 강화 영상에 상응할 수 있다.In this case, a color enhancement image may be generated by enhancing a single color corresponding to the lighting among colors included in the captured image by performing color model conversion on the color of the captured image based on the characteristics of lighting. For example, if the lighting corresponds to red, the color-enhanced image may correspond to a red-enhanced image obtained by enhancing red among colors included in the captured image.
이 때, 색상모델 변환은 촬영 영상의 컬러를 RGB(Red, Green, Blue) 형식에서 YUV(Y, Cb, Cr) 형식으로 변환하고, 촬영 영상의 좌표를 YUV 형식에 상응하는 UV 좌표를 기반으로 변환하는 동작에 상응할 수 있다.At this time, the color model conversion converts the color of the captured image from RGB (Red, Green, Blue) format to YUV (Y, Cb, Cr) format, and converts the coordinates of the captured image based on the UV coordinates corresponding to the YUV format. It may correspond to an operation of converting.
예를 들어, 색상 강화 영상이 적색을 강화한 적색 강화 영상에 상응한다면, 영상에 상응하는 픽셀들은 적색에 가까울수록 1에 가까운 값에 상응하고, 적색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다. 이 때, 적색 강화 영상은 YUV 형식에 상응하는 색상 공간에서 U 축과 V 축이 서로 직교하는 UV 좌표를 베이스로 하여 적색에 상응하는 UV 좌표(-0.25, 0.5)와의 거리의 역수를 기반으로 결정할 수 있다. 상기에서 적색 강화 영상의 좌표를 산출하는 식은 [수학식 1]과 같다.For example, if a color-enhanced image corresponds to a red-enhanced image in which red is enhanced, pixels corresponding to the image may correspond to values close to 1 as they are closer to red, and may correspond to values closer to 0 as they are farther from red. . At this time, the red-enhanced image is determined based on the UV coordinates in which the U-axis and the V-axis are orthogonal to each other in the color space corresponding to the YUV format and the reciprocal of the distance from the UV coordinates (-0.25, 0.5) corresponding to red. can The equation for calculating the coordinates of the red enhanced image is as shown in [Equation 1].
[수학식 1][Equation 1]
이 때, [수학식 1]에서 α는 UV 공간에서 적색에 상응하는 좌표와 가장 먼 거리에 존재하는 좌표의 역수일 수 있다.At this time, in [Equation 1], α may be the reciprocal of the coordinates corresponding to red in the UV space and the coordinates that exist at the farthest distance.
이 때, 색상 강화 영상에서 조명에 상응하는 복수의 픽셀들을 기반으로 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고, 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다. In this case, a plurality of subpixels corresponding to the scan area may be extracted based on a plurality of pixels corresponding to lighting in the color-enhanced image, and location information corresponding to the plurality of subpixels may be extracted.
이 때, 조명이 영상 내에 존재하는 픽셀 값으로 영상화 되었을 경우에는 하나의 픽셀이 아닌 영역에 상응하게 영상화 될 수 있다. 예를 들어, 색상 강화 영상이 적색 강화 영상에 상응한다면, 영상 내에 존재하는 적색의 조명에 상응하는 복수개의 서브픽셀들이 분포된 영역을 스캔 영역으로 판단할 수 있다.At this time, when the lighting is imaged as a pixel value existing in the image, it may be imaged corresponding to an area other than one pixel. For example, if the color-enhanced image corresponds to the red-enhanced image, an area in which a plurality of subpixels corresponding to red illumination present in the image are distributed may be determined as the scan area.
이 때, 3차원 스캔의 성능을 향상시키기 위해서 복수의 픽셀들에서 서브픽셀을 추출할 수 있다.In this case, subpixels may be extracted from a plurality of pixels in order to improve 3D scan performance.
이 때, 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하고, 복수의 픽셀들 중 Rising Edge와 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 복수의 서브픽셀들을 추출할 수 있다.At this time, a rising edge and a falling edge are detected based on two types of one-dimensional Gaussian convolutions in the color-enhanced image, and among a plurality of pixels, pixels included in an area that satisfies a predetermined condition between the rising edge and the falling edge A plurality of subpixels may be extracted by obtaining a weighted sum for .
이 때, 서브픽셀을 추출하기 위해 영상의 가로나 세로에서 가중치 합을 구하는 방법을 사용할 수 있다. 이 때, 가중치 합을 이용하여 서브픽셀을 추출하는 방법은 잡음이 발생할 확률은 낮지만, 가로나 세로의 영역에서 두 군데 이상의 스캔 영역, 즉 조명에 상응하는 영역이 존재하여 위치정확도가 떨어지는 문제가 발생할 수 있다. At this time, in order to extract subpixels, a method of obtaining a weight sum in the width or height of the image may be used. At this time, the method of extracting subpixels using the sum of weights has a low probability of generating noise, but there are two or more scan areas in the horizontal or vertical area, that is, the area corresponding to the lighting, so the location accuracy is low. can happen
따라서, 2종의 1차원 가우시안 회선을 이용하여 처리하면, 색상 강화 영상에서 Rising Edge와 Falling Edge를 검출하여 표시할 수 있고, Rising Edge와 Falling Edge의 사이에서 기설정된 조건을 만족하는 영역을 스캔 영역으로 설정함으로써 위치정확도가 떨어지는 문제점을 해결할 수 있다. 이 때, 기설정된 조건은 조명에 상응하는 단일색에 상응하게 설정될 수 있다.Therefore, when processing using two types of one-dimensional Gaussian convolutions, the rising edge and the falling edge can be detected and displayed in the color-enhanced image, and the area that satisfies the preset condition between the rising edge and the falling edge is the scan area By setting to , it is possible to solve the problem of low positioning accuracy. At this time, the predetermined condition may be set to correspond to a single color corresponding to lighting.
또한, 가우시안 회선을 이용한 함수는 iOS의 Accelerate Framework에서 고속화를 지원해주기 때문에 연산시간에서도 이점을 가질 수 있다.In addition, functions using Gaussian convolutions can have an advantage in calculation time because iOS's Accelerate Framework supports speeding up.
이 때, 잡음 제거 필터를 이용하여 색상 강화 영상에서 잡음을 제거할 수 있다. 일반적으로 사람의 눈은 녹색에 민감하기 때문에, 카메라 센서를 만들 때 녹색 분해능을 파란색이나 빨강색에 비해 높게 제조하게 된다. 이에 따라, [수학식 1]을 기반으로 생성되는 색상 강화 영상에는 잡음이 다수 존재할 수 있으므로, 잡음 제거 필터를 이용하여 색상 강화 영상의 잡음을 제거할 수 있다. In this case, noise can be removed from the color enhanced image using a noise removal filter. In general, since the human eye is sensitive to green, when a camera sensor is manufactured, green resolution is manufactured to be higher than that of blue or red. Accordingly, since a number of noises may exist in a color-enhanced image generated based on [Equation 1], noise of the color-enhanced image may be removed using a noise removal filter.
이 때, 잡음의 영향을 최소화 하기 위하여 f(U, V)함수의 출력 값을 잡음 제거 필터에 적용하여 한번 더 필터링을 수행할 수 있다. 이 때, 별도의 실험결과에 따라 COS함수보다 입력구간 별로 스칼라 곱(scalar multiplication)한 함수가 좋은 결과를 나타낼 수 있다. 또한, 거리함수 f(U, V)를 수정하면 여러 종류의 조명 장치에 적용할 수 있으나, 640nm LED 레이저에 상응하는 조명 장치가 380nm, 470nm, 518nm 등의 LED 레이저에 상응하는 조명 장치들에 비해 저렴할 수 있다.At this time, in order to minimize the effect of noise, filtering may be performed once more by applying the output value of the f(U, V) function to a noise removal filter. At this time, according to the results of a separate experiment, a function obtained by scalar multiplication for each input section may show better results than the COS function. In addition, if the distance function f(U, V) is modified, it can be applied to various types of lighting devices, but a lighting device corresponding to a 640nm LED laser is superior to a lighting device corresponding to a 380nm, 470nm, and 518nm LED laser. It can be cheap.
트래킹 엔진부(230)는 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 단말의 센서 정보 중 적어도 하나를 조합하여 단말의 회전과 이동을 추정한다.The
이 때, 단말이 움직이면서 3차원 물체를 촬영하는 동안에 촬영 영상과 센서 정보를 조합하여 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력할 수 있다. 이러한 출력 데이터는 3차원 스캔이 종료된 후에 별도에 저장모듈에 기록되어 오프라인으로 번들 개선(bundle adjustment)에 입력될 수 있다.In this case, a parameter corresponding to at least one of a position and a posture of the terminal in the 3D space may be output by combining a photographed image and sensor information while the terminal moves and captures the 3D object. Such output data may be separately recorded in a storage module after the 3D scan is completed and input to bundle adjustment offline.
이 때, 번들 개선은 저장모듈에 기록된 모든 영상의 2차원 정보와 이를 기반으로 생성된 각각의 3차원 정보들을 전역적으로 최적화 할 수 있다. 이러한 최적화의 결과로 수정된 카메라의 위치와 자세를 나타내는 값은 다시 영상 내의 조명의 2차원 좌표와 조명이 만들어내는 3차원 평면의 삼각화를 통해서 3차원 스캔 점들을 수정할 수 있다. 이 과정에서 영상에 대한 3차원 스캔 점들은 카메라 트래킹 엔진의 떨림을 보정할 수 있어 3차원 스캔 점의 정밀도를 향상시킬 수 있다.At this time, the bundle improvement can globally optimize the 2D information of all images recorded in the storage module and each 3D information generated based on the 2D information. As a result of this optimization, the values representing the corrected position and posture of the camera can modify 3D scan points through triangulation of the 2D coordinates of the lighting in the image and the 3D plane created by the lighting. In this process, the 3D scan points of the image can compensate for the shaking of the camera tracking engine, so the precision of the 3D scan points can be improved.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 3차원 스캐닝 장치는 3차원 스캔에 상응하게 발생하는 정보들을 저장하는 저장부를 더 포함할 수 있다. In addition, although not shown in FIG. 2, the 3D scanning device according to an embodiment of the present invention may further include a storage unit for storing information generated corresponding to the 3D scan.
이와 같이, 본 발명에 따른 3차원 스캐닝 장치를 이용함으로써, 저가의 조명 장치를 활용한 레이저 광학식 기반의 3차원 스캐닝 장치를 제공함으로써 기존의 기술보다 저렴하게 3차원 스캔 정보를 획득하는 것이 가능할 수 있다.In this way, by using the 3D scanning device according to the present invention, it may be possible to obtain 3D scan information at a lower cost than conventional technologies by providing a 3D scanning device based on laser optics using a low-cost lighting device. .
도 3은 도 2에 도시된 영상 촬영부의 일 예를 나타낸 블록도이다.FIG. 3 is a block diagram illustrating an example of an image capture unit shown in FIG. 2 .
도 3을 참조하면, 도 2에 도시된 영상 촬영부(210)는 캘리브레이션부(310) 및 카메라 트래킹 조정부(320)를 포함한다.Referring to FIG. 3 , the
캘리브레이션부(310)는 기설정된 캘리브레이션 보드를 기반으로 카메라 및 조명 장치 중 적어도 하나를 캘리브레이션한다.The
이 때, 카메라 캘리브레이션은 카메라의 외부인자 및 내부인자를 추정하는 과정일 수 있다. 예를 들어, 실제 3차원 세계에서의 한 점인 (x, y, z)가 카메라를 이용하여 촬영된 영상인 2차원 평면 내부의 한 점인 (u, v)로 변환될 때, 카메라의 실제 3차원 세계에서의 위치, 회전 방향 및 카메라 렌즈의 특성 등을 추정할 수 있다. In this case, camera calibration may be a process of estimating external factors and internal factors of the camera. For example, when (x, y, z), a point in the real 3D world, is converted to (u, v), a point inside a 2D plane, which is an image captured using a camera, the camera's actual 3D Position in the world, direction of rotation, and characteristics of camera lenses can be estimated.
또한, 조명 장치 캘리브레이션은 조명을 출력하는 조명 장치의 위치 및 자세를 추정하는 과정일 수 있으며, 별도의 캘리브레이션 보드를 이용하여 추정할 수 있다. In addition, lighting device calibration may be a process of estimating the position and attitude of a lighting device that outputs light, and may be estimated using a separate calibration board.
이 때, 카메라를 이용하여 기설정된 캘리브레이션 보드를 조명과 함께 촬영한 영상 및 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 마커평면을 기반으로 조명에 상응하는 평면식을 추정할 수 있다.At this time, the marker plane of the preset calibration board is estimated based on at least one of the camera parameters obtained by calibrating the camera and an image taken with lighting of the preset calibration board using the camera, and lighting based on the marker plane A plane equation corresponding to can be estimated.
예를 들어, 캘리브레이션 보드에서 마커가 위치하지 않는 빈 곳에 조명 장치에서 출력되는 조명의 중심선을 맺히게 하고, 카메라를 이용하여 캘리브레이션 보드에 고정된 마커를 조명과 함께 촬영할 수 있다. 이 후, 카메라로 촬영된 영상으로부터 마커를 분리하고, 마커의 중심과 마커 그룹의 ID를 추출할 수 있다. 이 후, 영상 내의 색상정보를 이용하여 조명 라인을 검출할 수 있다. 이 때, 카메라 캘리브레이션은 잘 알려진 Tasi's 방법을 활용하여 수행할 수 있고, 카메라 캘리브레이션을 통해 추정된 카메라 내부인자와 외부인자를 이용하여 캘리브레이션 보드의 마커 평면을 추정할 수 있다. 이 후, 마커 평면의 방정식, 여러 개의 촬영 영상에 의한 마커평면들 및 미지의 평면으로부터의 최소자승법을 통해 평면식의 인자를 추정할 수 있다.For example, a central line of light output from a lighting device may be formed in an empty place on the calibration board where no marker is located, and the marker fixed on the calibration board may be photographed together with the light using a camera. Thereafter, the markers may be separated from the image captured by the camera, and the center of the marker and the ID of the marker group may be extracted. Thereafter, the lighting line may be detected using color information in the image. At this time, camera calibration can be performed using the well-known Tasi's method, and the marker plane of the calibration board can be estimated using camera internal and external factors estimated through camera calibration. Thereafter, the factor of the plane equation can be estimated through the least squares method from the equation of the marker plane, the marker planes by several captured images, and the unknown plane.
카메라 트래킹 조정부(320)는 카메라 트래킹 엔진의 좌표계가 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정한다.The camera
이 때, 카메라 트래킹 엔진은 3차원 스캐닝하는 사용자의 움직임, 즉 스마트폰의 움직임을 트래킹할 수 있다. 즉, 단말을 통해 3차원 물체를 촬영하는 동안에 단말에 대한 3차원 상의 위치에 상응하는 값을 연속적으로 트래킹하여 출력할 수 있다. 출력 데이터는 3차원 스캔이 종료된 후에 별도에 저장모듈에 기록되어 오프라인으로 번들 개선(bundle adjustment)에 입력될 수 있다.In this case, the camera tracking engine may track the movement of the user performing 3D scanning, that is, the movement of the smartphone. That is, while capturing a 3D object through the terminal, a value corresponding to a 3D location of the terminal may be continuously tracked and output. The output data can be separately recorded in a storage module after the 3D scan is completed and input to bundle adjustment offline.
이 때, 번들 개선은 저장모듈에 기록된 모든 영상의 2차원 정보와 이를 기반으로 생성된 각각의 3차원 정보들을 전역적으로 최적화 할 수 있다. 이러한 최적화의 결과로 수정된 카메라의 위치와 자세를 나타내는 값은 다시 영상 내의 조명의 2차원 좌표와 조명이 만들어내는 3차원 평면의 삼각화를 통해서 3차원 스캔 점들을 수정할 수 있다. 이 과정에서 영상에 대한 3차원 스캔 점들은 카메라 트래킹 엔진의 떨림을 보정할 수 있어 3차원 스캔 점의 정밀도를 향상시킬 수 있다.At this time, the bundle improvement can globally optimize the 2D information of all images recorded in the storage module and each 3D information generated based on the 2D information. As a result of this optimization, the values representing the corrected position and posture of the camera can modify 3D scan points through triangulation of the 2D coordinates of the lighting in the image and the 3D plane created by the lighting. In this process, the 3D scan points of the image can compensate for the shaking of the camera tracking engine, so the precision of the 3D scan points can be improved.
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다. 이는 각 카메라 트래킹 엔진에 따라서 수행될 수 있다. 또한, 카메라 트래킹 엔진의 출력 정보 중에서 자연특징 2차원 좌표들과 3차원 물체에 출력된 조명 라인과의 교차점들을 수집하여 각 월드 좌표계의 차이를 계산하기 위한 정보로 사용할 수 있다.At this time, since the camera is independently calibrated, it is necessary to match the world coordinate system expressed by the camera tracking engine with the scan system, that is, the world coordinate system of the camera. To this end, a process of initializing the camera tracking engine may be performed. This can be done according to each camera tracking engine. In addition, among the output information of the camera tracking engine, the points of intersection between the natural feature 2D coordinates and the light line output on the 3D object can be collected and used as information for calculating the difference between each world coordinate system.
이 때, 자연특징이 가지고 있는 잡음과 조명 추출 시의 에러를 감안하기 위하여 RANSAC(RANdom Sample Consensus)을 이용하여 아웃라이어(outlier)를 제거하고, 인라이어(inlier)들만의 공간적인 차이를 최소자승법을 이용하여 계산할 수 있다. 즉, 정상적인 분포에서 벗어난 이상한 데이터는 제거할 수 있다.At this time, in order to take into account the noise of natural features and errors in light extraction, outliers are removed using RANSAC (RANdom Sample Consensus), and the spatial differences of only inliers are calculated using the least squares method. can be calculated using That is, odd data that deviate from the normal distribution can be removed.
도 4는 본 발명에 따른 캘리브레이션 보드의 일 예를 나타낸 도면이다.4 is a diagram showing an example of a calibration board according to the present invention.
도 4를 참조하면, 본 발명에 따른 캘리브레이션 보드를 기반으로 카메라 캘리브레이션을 수행함과 동시에 조명의 평면식을 구할 수 있다.Referring to FIG. 4 , a camera calibration may be performed based on the calibration board according to the present invention, and a planar equation of lighting may be obtained.
이 때, 도 4에 도시된 캘리브레이션 보드에서 마커가 위치하지 않는 빈 공간(420)에 조명 장치에서 출력되는 조명의 중심선이 위치하도록 조명을 출력할 수 있다.At this time, the light may be output such that the center line of the light emitted from the lighting device is located in the
이 후, 카메라를 이용하여 캘리브레이션 보드에 고정된 동심원 마커(410)를 조명과 함께 촬영할 수 있다. Thereafter, the
이 후, 카메라로 촬영된 영상으로부터 동심원 마커(410)를 분리하고, 동심원 마커의 중심과 동심원 마커 그룹의 ID(430, 440, 450, 460)를 추출할 수 있다. Thereafter, the
이 후, 영상 내의 색상정보를 이용하여 조명 라인을 검출할 수 있다. 이 때, 카메라 캘리브레이션은 잘 알려진 Tasi's 방법을 활용하여 수행할 수 있고, 카메라 캘리브레이션을 통해 추정된 카메라 내부인자와 외부인자를 이용하여 캘리브레이션 보드의 마커 평면을 추정할 수 있다. Thereafter, the lighting line may be detected using color information in the image. At this time, camera calibration can be performed using the well-known Tasi's method, and the marker plane of the calibration board can be estimated using camera internal and external factors estimated through camera calibration.
이 후, 마커 평면의 방정식, 여러 개의 촬영 영상에 의한 마커평면들 및 미지의 평면으로부터의 최소자승법을 통해 평면식의 인자를 추정할 수 있다.Thereafter, the factor of the plane equation can be estimated through the least squares method from the equation of the marker plane, the marker planes by several captured images, and the unknown plane.
도 5는 본 발명에 따른 잡음 제거 필터의 일 예를 나타낸 도면이다.5 is a diagram showing an example of a noise removal filter according to the present invention.
도 5를 참조하면, 본 발명에 따른 잡음 제거 필터는 색상 강화 영상에 포함된 잡음을 제거하기 위해 사용될 수 있다.Referring to FIG. 5 , a noise removal filter according to the present invention may be used to remove noise included in a color enhanced image.
일반적으로 사람의 눈은 녹색에 민감하기 때문에, 카메라 센서를 만들 때 녹색 분해능을 파란색이나 빨강색에 비해 높게 제조하게 된다. F(U, V) 함수를 기반으로 생성된 색상 강화 영상에는 잡음이 다수 존재할 수 있으므로, 도 5에 도시된 잡음 제거 필터를 이용하여 색상 강화 영상의 잡음을 제거할 수 있다. In general, since the human eye is sensitive to green, when a camera sensor is manufactured, green resolution is manufactured to be higher than that of blue or red. Since noise may exist in a color-enhanced image generated based on the F(U, V) function, noise in the color-enhanced image may be removed using a noise removal filter shown in FIG. 5 .
이 때, 잡음의 영향을 최소화 하기 위하여 f(U, V)함수의 출력 값을 잡음 제거 필터에 적용하여 한번 더 필터링을 수행할 수 있다.At this time, in order to minimize the effect of noise, filtering may be performed once more by applying the output value of the f(U, V) function to a noise removal filter.
도 5를 참조하면, 잡음 제거 필터의 X축(input)은 f(U, V)함수의 출력 값을 의미할 수 있다. 또한, Y축(output)은 f(U, V)함수의 출력 값을 입력하였을 때 출력되는 값을 의미할 수 있다.Referring to FIG. 5 , the X-axis (input) of the noise cancellation filter may mean an output value of the f(U, V) function. In addition, the Y-axis (output) may mean a value output when an output value of the f(U, V) function is input.
따라서, Y축에 상응하는 출력 값을 이용하여 색상 강화 영상을 보정함으로써 색상 강화 영상의 잡음을 제거할 수 있다.Accordingly, noise of the color enhanced image may be removed by correcting the color enhanced image using the output value corresponding to the Y axis.
도 6은 본 발명에 따른 2종의 1차원 가우시안 회선을 나타낸 도면이다.6 is a diagram showing two types of one-dimensional Gaussian convolutions according to the present invention.
도 6을 참조하면, 본 발명에 따른 2종의 1차원 가우시안 회선은 각각 Rising Edge와 Falling Edge를 검출하기 위한 1차원 가우시안 회선에 상응할 수 있다.Referring to FIG. 6 , two types of 1D Gaussian convolutions according to the present invention may correspond to 1D Gaussian convolutions for detecting a rising edge and a falling edge, respectively.
이 때, 도 6에서 좌측에 도시된 것이 Rising Edge를 검출하기 위한 1차원 가우시안 회선에 상응할 수 있으며, 도 6에서 우측에 도시된 것이 Falling Edge를 검출하기 위한 1차원 가우시안 회선에 상응할 수 있다.At this time, the one shown on the left in FIG. 6 may correspond to a one-dimensional Gaussian convolution for detecting a rising edge, and the one shown on the right in FIG. 6 may correspond to a one-dimensional Gaussian convolution for detecting a falling edge. .
이 때, 두 개의 1차원 가우시안 회선들은 색상 강화 영상에서 조명에 상응하는 서브픽셀을 추출하기 위한 가중치 합을 구하는 과정에서 활용될 수 있으며, 이를 통해 가중치 합을 구하는 과정에서 스캔 영역이 두 군데 이상 존재하는 문제점을 해결할 수 있다.At this time, two one-dimensional Gaussian convolutions can be used in the process of calculating the weight sum for extracting subpixels corresponding to the lighting in the color-enhanced image. can solve the problem of
도 7 내지 도 10은 본 발명의 일실시예에 따른 조명의 형태를 나타낸 도면이다.7 to 10 are views showing the form of lighting according to an embodiment of the present invention.
도 7 내지 도 10을 참조하면, 본 발명의 일실시예에 따른 다양한 조명을 나타내고 있다.Referring to Figures 7 to 10, it shows a variety of lighting according to an embodiment of the present invention.
즉, 본 발명에 적용하여 사용될 수 있는 조명은 그 색상이나 형태에 따라 다양한 실시예를 가질 수 있다.That is, lighting that can be applied and used in the present invention may have various embodiments according to its color or shape.
예를 들어, 조명 장치의 종류에 따라서 조명에 상응하는 색상은 적색이나 녹색에 상응할 수 있고 경우에 따라 적색과 녹색을 교차하여 함께 사용할 수 도 있다. 또한, LED 발광다이오드와 함께 좁은 슬릿을 사용하여 생성되는 조명도 있을 수 있으며, 프로젝터를 사용할 수도 있다.For example, depending on the type of lighting device, a color corresponding to lighting may correspond to red or green, and in some cases, red and green may be alternately used together. Also, there may be lighting generated using a narrow slit with an LED light emitting diode, or a projector may be used.
이 때, 도 7은 조명 장치(710)와 렌즈(720) 그리고 실린더 렌즈(730)로 구성되어 한 개의 직선 조명을 만드는 구성을 나타내고 있다. 이 때, 도 7의 구성을 살펴보면, 조명 장치(710)는 LED나 레이저 광원 장치 등에 상응할 수 있으며, 단색 파장의 빛을 내는 역할을 할 수 있다. 또한, 렌즈(720)는 조명 장치(710)에서 출력된 빛을 모으거나 멀리 보내주는 역할을 할 수 있으며, 실린더 렌즈(730)는 점광원을 직선으로 펼쳐주는 역할을 할 수 있다.At this time, FIG. 7 shows a configuration for generating one linear light by being composed of a
이 때, 도 8은 두 개의 실린더 렌즈(830, 840)를 조합하여 두 개 이상의 직성 조명을 만드는 구성일 수 있다. 이 때, 실린더 렌즈(840)는 점광원을 여러 방향의 직선으로 보내주는 역할을 할 수 있다.At this time, FIG. 8 may be configured to create two or more direct lights by combining two
이 때, 도 9는 좁은 슬릿(930)을 통해 여러 개의 직선 조명을 만드는 구성일 수 있다. 이 때, 슬릿(930)은 렌즈(920)을 통해 나오는 빛을 좁은 직선으로 변형하는 역할을 할 수 있다. At this time, FIG. 9 may be configured to generate several linear lights through a
이 때, 도 10은 도 7 내지 도 9의 구성과는 조명을 만드는 과정이 상이한 구성으로 프로젝터 형태의 조명을 만드는 구성일 수 있다. 예를 들어, 도 10은 LED 디스플레이(1010)나 DMD(Digital Micro mirror Device)와 같이 프로젝터에 사용되는 영상을 만들어 주는 소자와 함께 프로젝터용 광원과 렌즈 및 거울 등이 포함된 광학부(1020, 1030)로 구성될 수 있다.At this time, FIG. 10 may be configured to create a projector type of lighting with a different configuration in the process of creating the lighting from the configuration of FIGS. 7 to 9 . For example, FIG. 10 shows an optical unit (1020, 1030) including a light source for a projector, a lens, a mirror, and the like, together with an element for generating an image used in a projector, such as an
또한, 도 7 내지 도 10에 도시된 구성들을 이용한 조명 이외에도 다양한 조명의 형태가 사용 가능하지만, 본 발명에 적용 시 영상과 분리가능성, 비용, 배터리 소모량 및 스마트폰에 장착 가능한 크기인지 여부 등을 확인하여 사용 여부를 선택할 수 있다.In addition, various types of lighting can be used in addition to the lighting using the configurations shown in FIGS. 7 to 10, but when applied to the present invention, the image and separability, cost, battery consumption, and whether the size can be installed on a smartphone are checked. You can choose whether to use it or not.
도 11은 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법을 나타낸 동작 흐름도이다.11 is an operational flowchart illustrating a 3D scanning method using smartphone-based lighting according to an embodiment of the present invention.
도 11을 참조하면, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영한다(S1110).Referring to FIG. 11 , in the 3D scanning method using smartphone-based lighting according to an embodiment of the present invention, a 3D object is photographed based on a camera and a lighting device provided in a terminal (S1110).
이 때, 단말은 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile)일 수 있다.At this time, the terminal is a mobile phone, PMP (Portable Multimedia Played), MID (Mobile Internet Device), smart phone (Smart Phone), tablet computer (Tablet PC), notebook (Note book), net book (Net Book), personal portable information It may be a mobile device having various mobile communication specifications such as a personal digital assistant (PDA) and an information communication device.
이 때, 조명 장치는 단일색의 조명을 출력하고, 조명은 렌즈를 통해 3차원 평면의 형태로 출력되어 카메라를 이용해 촬영된 영상에서 검출이 가능할 수 있다.At this time, the lighting device outputs single-color light, and the light is output in the form of a three-dimensional plane through a lens so that it can be detected in an image photographed using a camera.
이 때, 조명은 조명 장치의 종류에 따라 단일색의 종류 및 조명의 형태 중 적어도 하나의 기반하여 다양하게 사용될 수 있다. 예를 들어, 단일색의 종류에 따라 적색의 조명을 출력하는 조명 장치를 사용하거나 녹색의 조명을 출력하는 조명 장치를 사용할 수 있다. 또한, 조명의 형태에 따라 하나의 직선 조명을 출력하는 조명 장치, 두 개 이상의 직선을 출력하는 조명 장치, 슬릿을 기반으로 여러 개의 직선 조명을 출력하는 조명 장치 및 프로젝터 형태로 조명을 출력하는 조명 장치를 사용할 수도 있다.At this time, the lighting may be used in various ways based on at least one of a single color type and a type of lighting according to the type of lighting device. For example, a lighting device outputting red light or a lighting device outputting green light may be used according to the type of single color. In addition, depending on the type of lighting, a lighting device that outputs one straight light, a lighting device that outputs two or more straight lines, a lighting device that outputs multiple straight lights based on a slit, and a lighting device that outputs light in the form of a projector can also be used.
이 때, 기설정된 캘리브레이션 보드를 기반으로 카메라 및 조명 장치 중 적어도 하나를 캘리브레이션 할 수 있다.At this time, at least one of the camera and the lighting device may be calibrated based on a preset calibration board.
이 때, 카메라 캘리브레이션은 카메라의 외부인자 및 내부인자를 추정하는 과정일 수 있다. 예를 들어, 실제 3차원 세계에서의 한 점인 (x, y, z)가 카메라를 이용하여 촬영된 영상인 2차원 평면 내부의 한 점인 (u, v)로 변환될 때, 카메라의 실제 3차원 세계에서의 위치, 회전 방향 및 카메라 렌즈의 특성 등을 추정할 수 있다. In this case, camera calibration may be a process of estimating external factors and internal factors of the camera. For example, when (x, y, z), a point in the real 3D world, is converted to (u, v), a point inside a 2D plane, which is an image captured using a camera, the camera's actual 3D Position in the world, direction of rotation, and characteristics of camera lenses can be estimated.
또한, 조명 장치 캘리브레이션은 조명을 출력하는 조명 장치의 위치 및 자세를 추정하는 과정일 수 있으며, 별도의 캘리브레이션 보드를 이용하여 추정할 수 있다. In addition, lighting device calibration may be a process of estimating the position and attitude of a lighting device that outputs light, and may be estimated using a separate calibration board.
이 때, 카메라를 이용하여 기설정된 캘리브레이션 보드를 조명과 함께 촬영한 영상 및 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 마커평면을 기반으로 조명에 상응하는 평면식을 추정할 수 있다.At this time, the marker plane of the preset calibration board is estimated based on at least one of the camera parameters obtained by calibrating the camera and an image taken with lighting of the preset calibration board using the camera, and lighting based on the marker plane A plane equation corresponding to can be estimated.
예를 들어, 캘리브레이션 보드에서 마커가 위치하지 않는 빈 곳에 조명 장치에서 출력되는 조명의 중심선을 맺히게 하고, 카메라를 이용하여 캘리브레이션 보드에 고정된 마커를 조명과 함께 촬영할 수 있다. 이 후, 카메라로 촬영된 영상으로부터 마커를 분리하고, 마커의 중심과 마커 그룹의 ID를 추출할 수 있다. 이 후, 영상 내의 색상정보를 이용하여 조명 라인을 검출할 수 있다. 이 때, 카메라 캘리브레이션은 잘 알려진 Tasi's 방법을 활용하여 수행할 수 있고, 카메라 캘리브레이션을 통해 추정된 카메라 내부인자와 외부인자를 이용하여 캘리브레이션 보드의 마커 평면을 추정할 수 있다. 이 후, 마커 평면의 방정식, 여러 개의 촬영 영상에 의한 마커평면들 및 미지의 평면으로부터의 최소자승법을 통해 평면식의 인자를 추정할 수 있다.For example, a central line of light output from a lighting device may be formed in an empty place on the calibration board where no marker is located, and the marker fixed on the calibration board may be photographed together with the light using a camera. Thereafter, the markers may be separated from the image captured by the camera, and the center of the marker and the ID of the marker group may be extracted. Thereafter, the lighting line may be detected using color information in the image. At this time, camera calibration can be performed using the well-known Tasi's method, and the marker plane of the calibration board can be estimated using camera internal and external factors estimated through camera calibration. Thereafter, the factor of the plane equation can be estimated through the least squares method from the equation of the marker plane, the marker planes by several captured images, and the unknown plane.
이 때, 카메라 트래킹 엔진의 좌표계가 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정할 수 있다. At this time, the coordinate system of the camera tracking engine may be adjusted to match the coordinate system of the calibrated camera.
이 때, 카메라 트래킹 엔진은 3차원 스캐닝하는 사용자의 움직임, 즉 스마트폰의 움직임을 트래킹할 수 있다. In this case, the camera tracking engine may track the movement of the user performing 3D scanning, that is, the movement of the smartphone.
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다. 이는 각 카메라 트래킹 엔진에 따라서 수행될 수 있다. 또한, 카메라 트래킹 엔진의 출력 정보 중에서 자연특징 2차원 좌표들과 3차원 물체에 출력된 조명 라인과의 교차점들을 수집하여 각 월드 좌표계의 차이를 계산하기 위한 정보로 사용할 수 있다.At this time, since the camera is independently calibrated, it is necessary to match the world coordinate system expressed by the camera tracking engine with the scan system, that is, the world coordinate system of the camera. To this end, a process of initializing the camera tracking engine may be performed. This can be done according to each camera tracking engine. In addition, among the output information of the camera tracking engine, the points of intersection between the natural feature 2D coordinates and the light line output on the 3D object can be collected and used as information for calculating the difference between each world coordinate system.
이 때, 자연특징이 가지고 있는 잡음과 조명 추출 시의 에러를 감안하기 위하여 RANSAC(RANdom Sample Consensus)을 이용하여 아웃라이어(outlier)를 제거하고, 인라이어(inlier)들만의 공간적인 차이를 최소자승법을 이용하여 계산할 수 있다. 즉, 정상적인 분포에서 벗어난 이상한 데이터는 제거할 수 있다.At this time, in order to take into account the noise of natural features and errors in light extraction, outliers are removed using RANSAC (RANdom Sample Consensus), and the spatial differences of only inliers are calculated using the least squares method. can be calculated using That is, odd data that deviate from the normal distribution can be removed.
또한, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 3차원 물체를 촬영한 촬영 영상을 기반으로 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출한다(S1120). 예를 들어, 조명 장치에서 출력되는 조명이 적색에 상응한다면, 촬영 영상에서 적색이 보다 잘 보이도록 강화한 적색 강화 영상을 생성하여 스캔 영역에 상응하는 위치 정보를 추출할 수 있다.In addition, the 3D scanning method using smartphone-based lighting according to an embodiment of the present invention generates a color-enhanced image corresponding to the light output from the lighting device based on a photographed image of a 3D object, and Location information corresponding to the scan area is extracted based on the enhanced image (S1120). For example, if the light output from the lighting device corresponds to the color red, a red enhanced image may be generated so that red color may be more clearly seen in the photographed image, and location information corresponding to the scan area may be extracted.
이 때, 조명의 특성을 기반으로 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 촬영 영상에 포함된 색상들 중 조명에 상응하는 단일색을 강화시킨 색상 강화 영상을 생성할 수 있다. 예를 들어, 조명이 적색에 상응한다면, 색상 강화 영상은 촬영 영상에 포함된 색상들 중 적색을 강화시킨 적색 강화 영상에 상응할 수 있다.In this case, a color enhancement image may be generated by enhancing a single color corresponding to the lighting among colors included in the captured image by performing color model conversion on the color of the captured image based on the characteristics of lighting. For example, if the lighting corresponds to red, the color-enhanced image may correspond to a red-enhanced image obtained by enhancing red among colors included in the captured image.
이 때, 색상모델 변환은 촬영 영상의 컬러를 RGB(Red, Green, Blue) 형식에서 YUV(Y, Cb, Cr) 형식으로 변환하고, 촬영 영상의 좌표를 YUV 형식에 상응하는 UV 좌표를 기반으로 변환하는 동작에 상응할 수 있다.At this time, the color model conversion converts the color of the captured image from RGB (Red, Green, Blue) format to YUV (Y, Cb, Cr) format, and converts the coordinates of the captured image based on the UV coordinates corresponding to the YUV format. It may correspond to an operation of converting.
예를 들어, 색상 강화 영상이 적색을 강화한 적색 강화 영상에 상응한다면, 영상에 상응하는 픽셀들은 적색에 가까울수록 1에 가까운 값에 상응하고, 적색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다. 이 때, 적색 강화 영상은 YUV 형식에 상응하는 색상 공간에서 U 축과 V 축이 서로 직교하는 UV 좌표를 베이스로 하여 적색에 상응하는 UV 좌표(-0.25, 0.5)와의 거리의 역수를 기반으로 결정할 수 있다. 상기에서 적색 강화 영상의 좌표를 산출하는 식은 [수학식 1]과 같다.For example, if a color-enhanced image corresponds to a red-enhanced image in which red is enhanced, pixels corresponding to the image may correspond to values close to 1 as they are closer to red, and may correspond to values closer to 0 as they are farther from red. . At this time, the red-enhanced image is determined based on the UV coordinates in which the U-axis and the V-axis are orthogonal to each other in the color space corresponding to the YUV format and the reciprocal of the distance from the UV coordinates (-0.25, 0.5) corresponding to red. can The equation for calculating the coordinates of the red enhanced image is as shown in [Equation 1].
[수학식 1][Equation 1]
이 때, [수학식 1]에서 α는 UV 공간에서 적색에 상응하는 좌표와 가장 먼 거리에 존재하는 좌표의 역수일 수 있다.At this time, in [Equation 1], α may be the reciprocal of the coordinates corresponding to red in the UV space and the coordinates that exist at the farthest distance.
이 때, 색상 강화 영상에서 조명에 상응하는 복수의 픽셀들을 기반으로 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고, 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다.In this case, a plurality of subpixels corresponding to the scan area may be extracted based on a plurality of pixels corresponding to lighting in the color-enhanced image, and location information corresponding to the plurality of subpixels may be extracted.
이 때, 조명이 영상 내에 존재하는 픽셀 값으로 영상화 되었을 경우에는 하나의 픽셀이 아닌 영역에 상응하게 영상화 될 수 있다. 예를 들어, 색상 강화 영상이 적색 강화 영상에 상응한다면, 영상 내에 존재하는 적색의 조명에 상응하는 복수개의 서브픽셀들이 분포된 영역을 스캔 영역으로 판단할 수 있다.At this time, when the lighting is imaged as a pixel value existing in the image, it may be imaged corresponding to an area other than one pixel. For example, if the color-enhanced image corresponds to the red-enhanced image, an area in which a plurality of subpixels corresponding to red illumination present in the image are distributed may be determined as the scan area.
이 때, 3차원 스캔의 성능을 향상시키기 위해서 복수의 픽셀들에서 서브픽셀을 추출할 수 있다.In this case, subpixels may be extracted from a plurality of pixels in order to improve 3D scan performance.
이 때, 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하고, 복수의 픽셀들 중 Rising Edge와 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 복수의 서브픽셀들을 추출할 수 있다.At this time, a rising edge and a falling edge are detected based on two types of one-dimensional Gaussian convolutions in the color-enhanced image, and among a plurality of pixels, pixels included in an area that satisfies a predetermined condition between the rising edge and the falling edge A plurality of subpixels may be extracted by obtaining a weighted sum for .
이 때, 서브픽셀을 추출하기 위해 영상의 가로나 세로에서 가중치 합을 구하는 방법을 사용할 수 있다. 이 때, 가중치 합을 이용하여 서브픽셀을 추출하는 방법은 잡음이 발생할 확률은 낮지만, 가로나 세로의 영역에서 두 군데 이상의 스캔 영역, 즉 조명에 상응하는 영역이 존재하여 위치정확도가 떨어지는 문제가 발생할 수 있다. At this time, in order to extract subpixels, a method of obtaining a weight sum in the width or height of the image may be used. At this time, the method of extracting subpixels using the sum of weights has a low probability of generating noise, but there are two or more scan areas in the horizontal or vertical area, that is, the area corresponding to the lighting, so the location accuracy is low. can happen
따라서, 2종의 1차원 가우시안 회선을 이용하여 처리하면, 색상 강화 영상에서 Rising Edge와 Falling Edge를 검출하여 표시할 수 있고, Rising Edge와 Falling Edge의 사이에서 기설정된 조건을 만족하는 영역을 스캔 영역으로 설정함으로써 위치정확도가 떨어지는 문제점을 해결할 수 있다. 이 때, 기설정된 조건은 조명에 상응하는 단일색에 상응하게 설정될 수 있다.Therefore, when processing using two types of one-dimensional Gaussian convolutions, the rising edge and the falling edge can be detected and displayed in the color-enhanced image, and the area that satisfies the preset condition between the rising edge and the falling edge is the scan area By setting to , it is possible to solve the problem of low positioning accuracy. At this time, the predetermined condition may be set to correspond to a single color corresponding to lighting.
또한, 가우시안 회선을 이용한 함수는 iOS의 Accelerate Framework에서 고속화를 지원해주기 때문에 연산시간에서도 이점을 가질 수 있다.In addition, functions using Gaussian convolutions can have an advantage in calculation time because iOS's Accelerate Framework supports speeding up.
이 때, 잡음 제거 필터를 이용하여 색상 강화 영상에서 잡음을 제거할 수 있다. 일반적으로 사람의 눈은 녹색에 민감하기 때문에, 카메라 센서를 만들 때 녹색 분해능을 파란색이나 빨강색에 비해 높게 제조하게 된다. 이에 따라, [수학식 1]을 기반으로 생성되는 색상 강화 영상에는 잡음이 다수 존재할 수 있으므로, 잡음 제거 필터를 이용하여 색상 강화 영상의 잡음을 제거할 수 있다. In this case, noise can be removed from the color enhanced image using a noise removal filter. In general, since the human eye is sensitive to green, when a camera sensor is manufactured, green resolution is manufactured to be higher than that of blue or red. Accordingly, since a number of noises may exist in a color-enhanced image generated based on [Equation 1], noise of the color-enhanced image may be removed using a noise removal filter.
이 때, 잡음의 영향을 최소화 하기 위하여 f(U, V)함수의 출력 값을 잡음 제거 필터에 적용하여 한번 더 필터링을 수행할 수 있다. 이 때, 별도의 실험결과에 따라 COS함수보다 입력구간 별로 스칼라 곱(scalar multiplication)한 함수가 좋은 결과를 나타낼 수 있다. 또한, 거리함수 f(U, V)를 수정하면 여러 종류의 조명 장치에 적용할 수 있으나, 640nm LED 레이저에 상응하는 조명 장치가 380nm, 470nm, 518nm 등의 LED 레이저에 상응하는 조명 장치들에 비해 저렴할 수 있다.At this time, in order to minimize the effect of noise, filtering may be performed once more by applying the output value of the f(U, V) function to a noise removal filter. At this time, according to the results of a separate experiment, a function obtained by scalar multiplication for each input section may show better results than the COS function. In addition, if the distance function f(U, V) is modified, it can be applied to various types of lighting devices, but a lighting device corresponding to a 640nm LED laser is superior to a lighting device corresponding to a 380nm, 470nm, and 518nm LED laser. It can be cheap.
또한, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 단말의 센서 정보 중 적어도 하나를 조합하여 단말의 회전과 이동을 추정한다(S1130).In addition, the 3D scanning method using smartphone-based lighting according to an embodiment of the present invention combines at least one of image change and sensor information of the terminal corresponding to the movement of the camera and the lighting device to determine the rotation and rotation of the terminal. The movement is estimated (S1130).
이 때, 단말이 움직이면서 3차원 물체를 촬영하는 동안에 촬영 영상과 센서 정보를 조합하여 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력할 수 있다. 이러한 출력 데이터는 3차원 스캔이 종료된 후에 별도에 저장모듈에 기록되어 오프라인으로 번들 개선(bundle adjustment)에 입력될 수 있다.In this case, a parameter corresponding to at least one of a position and a posture of the terminal in the 3D space may be output by combining a photographed image and sensor information while the terminal moves and captures the 3D object. Such output data may be separately recorded in a storage module after the 3D scan is completed and input to bundle adjustment offline.
이 때, 번들 개선은 저장모듈에 기록된 모든 영상의 2차원 정보와 이를 기반으로 생성된 각각의 3차원 정보들을 전역적으로 최적화 할 수 있다. 이러한 최적화의 결과로 수정된 카메라의 위치와 자세를 나타내는 값은 다시 영상 내의 조명의 2차원 좌표와 조명이 만들어내는 3차원 평면의 삼각화를 통해서 3차원 스캔 점들을 수정할 수 있다. 이 과정에서 영상에 대한 3차원 스캔 점들은 카메라 트래킹 엔진의 떨림을 보정할 수 있어 3차원 스캔 점의 정밀도를 향상시킬 수 있다.At this time, the bundle improvement can globally optimize the 2D information of all images recorded in the storage module and each 3D information generated based on the 2D information. As a result of this optimization, the values representing the corrected position and posture of the camera can modify 3D scan points through triangulation of the 2D coordinates of the lighting in the image and the 3D plane created by the lighting. In this process, the 3D scan points of the image can compensate for the shaking of the camera tracking engine, so the precision of the 3D scan points can be improved.
또한, 도 11에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 3차원 스캔에 상응하게 발생하는 정보들을 저장모듈에 저장할 수 있다. In addition, although not shown in FIG. 11, the 3D scanning method using smartphone-based lighting according to an embodiment of the present invention may store information generated corresponding to 3D scanning in a storage module.
이와 같이, 본 발명에 따른 3차원 스캐닝 방법을 통해, 비전문가에게도 손쉬운 3차원 스캐닝 방법을 제공할 수 있다.In this way, through the 3D scanning method according to the present invention, it is possible to provide an easy 3D scanning method even to non-professionals.
도 12는 도 11에 도시된 3차원 스캐닝 방법 중 색상 강화 영상을 생성하는 과정을 상세하게 나타낸 동작 흐름도이다.FIG. 12 is an operation flowchart showing in detail a process of generating a color enhanced image in the 3D scanning method shown in FIG. 11 .
도 12를 참조하면, 도 11에 도시된 3차원 스캐닝 방법 중 색상 강화 영상을 생성하는 과정은 먼저 촬영 영상의 컬러를 RGB(Red, Green, Blue) 형식에서 YUV(Y, Cb, Cr) 형식으로 변환한다(S1210).Referring to FIG. 12, in the process of generating a color-enhanced image in the 3D scanning method shown in FIG. Convert (S1210).
이 때, YUV 형식은 빛의 휘도(Brightness, Y), 색상에 관련된 정보를 나타내는 U 및 V로 이루어진 색의 표현 방식을 의미할 수 있다.In this case, the YUV format may mean a color expression method consisting of U and V representing information related to brightness (Y) and color of light.
이 후, YUV 형식에 상응하는 색상 공간에서 U 축과 V 축이 서로 직교하는 UV 좌표를 기반으로 촬영 영상의 좌표를 변환한다(S1220).Thereafter, the coordinates of the photographed image are converted based on UV coordinates in which the U-axis and the V-axis are orthogonal to each other in the color space corresponding to the YUV format (S1220).
이 때, 촬영 영상에 상응하는 픽셀들은 조명에 상응하는 단일색에 가까울수록 1에 가까운 값에 상응하고, 조명에 상응하는 단일색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다.In this case, the pixels corresponding to the photographed image may correspond to a value closer to 1 as they are closer to the single color corresponding to lighting, and may correspond to a value closer to 0 as they are farther from the single color corresponding to lighting.
예를 들어, 색상 강화 영상이 적색을 강화한 적색 강화 영상에 상응한다면, 영상에 상응하는 픽셀들은 적색에 가까울수록 1에 가까운 값에 상응하고, 적색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다. 이 때, 적색 강화 영상은 YUV 형식에 상응하는 색상 공간에서 U 축과 V 축이 서로 직교하는 UV 좌표를 베이스로 하여 적색에 상응하는 UV 좌표(-0.25, 0.5)와의 거리의 역수를 기반으로 결정할 수 있다. 상기에서 적색 강화 영상의 좌표를 산출하는 식은 [수학식 1]과 같다.For example, if a color-enhanced image corresponds to a red-enhanced image in which red is enhanced, pixels corresponding to the image may correspond to values close to 1 as they are closer to red, and may correspond to values closer to 0 as they are farther from red. . At this time, the red-enhanced image is determined based on the UV coordinates in which the U-axis and the V-axis are orthogonal to each other in the color space corresponding to the YUV format and the reciprocal of the distance from the UV coordinates (-0.25, 0.5) corresponding to red. can The equation for calculating the coordinates of the red enhanced image is as shown in [Equation 1].
[수학식 1][Equation 1]
이 때, [수학식 1]에서 α는 UV 공간에서 적색에 상응하는 좌표와 가장 먼 거리에 존재하는 좌표의 역수일 수 있다.At this time, in [Equation 1], α may be the reciprocal of the coordinates corresponding to red in the UV space and the coordinates that exist at the farthest distance.
이 후, 잡음 제거 필터를 이용하여 색상 강화 영상에서 잡음을 제거한다(S1230). 이 때, 잡음의 영향을 최소화 하기 위하여 f(U, V)함수의 출력 값을 잡음 제거 필터에 적용하여 한번 더 필터링을 수행할 수 있다.Thereafter, noise is removed from the color enhanced image using a noise removal filter (S1230). At this time, in order to minimize the effect of noise, filtering may be performed once more by applying the output value of the f(U, V) function to a noise removal filter.
도 13은 도 11에 도시된 3차원 스캐닝 방법 중 스캔 영역의 위치 정보를 추출하는 과정을 상세하게 나타낸 동작 흐름도이다.FIG. 13 is an operation flowchart showing in detail a process of extracting location information of a scan area in the 3D scanning method shown in FIG. 11 .
도 13을 참조하면, 도 11에 도시된 3차원 스캐닝 방법 중 스캔 영역의 위치 정보를 추출하는 과정은 먼저 색상 강화 영상에서 조명에 상응하는 복수의 픽셀들을 추출한다(S1310). 예를 들어, 색상 강화 영상이 적색 강화 영상에 상응한다면, 영상 내에 존재하는 적색의 조명에 상응하는 복수개의 픽셀들을 추출할 수 있다.Referring to FIG. 13 , in the process of extracting location information of a scan area among the 3D scanning methods shown in FIG. 11 , a plurality of pixels corresponding to illumination are first extracted from a color-enhanced image (S1310). For example, if the color-enhanced image corresponds to the red-enhanced image, a plurality of pixels corresponding to red illumination present in the image may be extracted.
이 후, 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출한다(S1320). 이 때, Rising Edge는 조명에 상응하는 첫 부분 Falling Edge는 조명에 상응하는 끝부분에 상응할 수 있다.Thereafter, a rising edge and a falling edge are detected based on two types of one-dimensional Gaussian convolutions in the color-enhanced image (S1320). At this time, the rising edge may correspond to the first part corresponding to the light, and the falling edge may correspond to the end part corresponding to the light.
이 후, Rising Edge와 Falling Edge의 사이에 상응하는 영역 중 기설정된 조건을 만족하는 특정 영역을 검출한다(S1330). 예를 들어, 색상 강화 영상이 적색 강화 영상에 상응하는 경우에 Rising Edge와 Falling Edge의 사이에 상응하는 영역 중에서 적색 조명에 상응하는 영역, 즉 스캔 영역을 검출할 수 있다.Thereafter, a specific area satisfying a predetermined condition is detected from among areas corresponding to a rising edge and a falling edge (S1330). For example, when a color-enhanced image corresponds to a red-enhanced image, an area corresponding to red illumination, that is, a scan area, may be detected from among areas corresponding to a rising edge and a falling edge.
이 후, 복수의 픽셀들 중 스캔 영역에 포함된 픽셀들에 대해서 가중치 합을 산출하여 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고(S1340), 복수의 서브픽셀들에 상응하는 위치정보를 추출한다(S1350).Thereafter, a weight sum is calculated for pixels included in the scan area among a plurality of pixels to extract a plurality of subpixels corresponding to the scan area (S1340), and location information corresponding to the plurality of subpixels is extracted. Do (S1350).
이 때, 카메라 트래킹 엔진을 기반으로 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다. 즉, 카메라 트래킹 엔진이 출력하는 데이터를 기반으로 복수의 서브픽셀들에 상응하는 위치 정보를 획득할 수 있다.In this case, location information corresponding to a plurality of subpixels may be extracted based on the camera tracking engine. That is, location information corresponding to a plurality of subpixels may be obtained based on data output from the camera tracking engine.
도 14는 도 11에 도시된 3차원 스캐닝 방법 중 3차원 물체를 촬영하는 과정을 상세하게 나타낸 동작 흐름도이다.FIG. 14 is an operation flowchart showing in detail a process of photographing a 3D object in the 3D scanning method shown in FIG. 11 .
도 14를 참조하면, 도 11에 도시된 3차원 스캐닝 방법 중 3차원 물체를 촬영하는 과정은 먼저 기설정된 캘리브레이션 보드를 기반으로 카메라와 조명 장치를 캘리브레이션한다(S1410).Referring to FIG. 14 , in the process of photographing a 3D object among the 3D scanning methods shown in FIG. 11 , a camera and a lighting device are first calibrated based on a preset calibration board (S1410).
이 때, 카메라 캘리브레이션은 카메라의 외부인자 및 내부인자를 추정하는 과정일 수 있다. 예를 들어, 실제 3차원 세계에서의 한 점인 (x, y, z)가 카메라를 이용하여 촬영된 영상인 2차원 평면 내부의 한 점인 (u, v)로 변환될 때, 카메라의 실제 3차원 세계에서의 위치, 회전 방향 및 카메라 렌즈의 특성 등을 추정할 수 있다. In this case, camera calibration may be a process of estimating external factors and internal factors of the camera. For example, when (x, y, z), a point in the real 3D world, is converted to (u, v), a point inside a 2D plane, which is an image captured using a camera, the camera's actual 3D Position in the world, direction of rotation, and characteristics of camera lenses can be estimated.
또한, 조명 장치 캘리브레이션은 조명을 출력하는 조명 장치의 위치 및 자세를 추정하는 과정일 수 있으며, 별도의 캘리브레이션 보드를 이용하여 추정할 수 있다. In addition, lighting device calibration may be a process of estimating the position and attitude of a lighting device that outputs light, and may be estimated using a separate calibration board.
이 때, 카메라를 이용하여 기설정된 캘리브레이션 보드를 조명과 함께 촬영한 영상 및 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 마커평면을 기반으로 조명에 상응하는 평면식을 추정할 수 있다.At this time, the marker plane of the preset calibration board is estimated based on at least one of the camera parameters obtained by calibrating the camera and an image taken with lighting of the preset calibration board using the camera, and lighting based on the marker plane A plane equation corresponding to can be estimated.
이 후, 카메라 트래킹 엔진의 좌표계를 캘리브레이션 된 카메라의 좌표계와 일치하도록 조정한다(S1420).Thereafter, the coordinate system of the camera tracking engine is adjusted to match the coordinate system of the calibrated camera (S1420).
이 때, 카메라 트래킹 엔진은 3차원 스캐닝하는 사용자의 움직임, 즉 스마트폰의 움직임을 트래킹할 수 있다. In this case, the camera tracking engine may track the movement of the user performing 3D scanning, that is, the movement of the smartphone.
이 때, 카메라 트래킹 엔진은 단말이 움직이면서 3차원 물체를 촬영하는 동안에 촬영 영상과 센서 정보를 조합하여 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력할 수 있다. 이러한 출력 데이터는 3차원 스캔이 종료된 후에 별도에 저장모듈에 기록되어 오프라인으로 번들 개선(bundle adjustment)에 입력될 수 있다.In this case, the camera tracking engine may output a parameter corresponding to at least one of a position and attitude of the terminal in a 3D space by combining a photographed image and sensor information while the terminal moves and captures a 3D object. Such output data may be separately recorded in a storage module after the 3D scan is completed and input to bundle adjustment offline.
이 때, 번들 개선은 저장모듈에 기록된 모든 영상의 2차원 정보와 이를 기반으로 생성된 각각의 3차원 정보들을 전역적으로 최적화 할 수 있다. 이러한 최적화의 결과로 수정된 카메라의 위치와 자세를 나타내는 값은 다시 영상 내의 조명의 2차원 좌표와 조명이 만들어내는 3차원 평면의 삼각화를 통해서 3차원 스캔 점들을 수정할 수 있다. 이 과정에서 영상에 대한 3차원 스캔 점들은 카메라 트래킹 엔진의 떨림을 보정할 수 있어 3차원 스캔 점의 정밀도를 향상시킬 수 있다.At this time, the bundle improvement can globally optimize the 2D information of all images recorded in the storage module and each 3D information generated based on the 2D information. As a result of this optimization, the values representing the corrected position and posture of the camera can modify 3D scan points through triangulation of the 2D coordinates of the lighting in the image and the 3D plane created by the lighting. In this process, the 3D scan points of the image can compensate for the shaking of the camera tracking engine, so the precision of the 3D scan points can be improved.
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다. 이는 각 카메라 트래킹 엔진에 따라서 수행될 수 있다. 또한, 카메라 트래킹 엔진의 출력 정보 중에서 자연특징 2차원 좌표들과 3차원 물체에 출력된 조명 라인과의 교차점들을 수집하여 각 월드 좌표계의 차이를 계산하기 위한 정보로 사용할 수 있다.At this time, since the camera is independently calibrated, it is necessary to match the world coordinate system expressed by the camera tracking engine with the scan system, that is, the world coordinate system of the camera. To this end, a process of initializing the camera tracking engine may be performed. This can be done according to each camera tracking engine. In addition, among the output information of the camera tracking engine, the points of intersection between the natural feature 2D coordinates and the light line output on the 3D object can be collected and used as information for calculating the difference between each world coordinate system.
이 때, 자연특징이 가지고 있는 잡음과 조명 추출 시의 에러를 감안하기 위하여 RANSAC(RANdom Sample Consensus)을 이용하여 아웃라이어(outlier)를 제거하고, 인라이어(inlier)들만의 공간적인 차이를 최소자승법을 이용하여 계산할 수 있다. 즉, 정상적인 분포에서 벗어난 이상한 데이터는 제거할 수 있다.At this time, in order to take into account the noise of natural features and errors in light extraction, outliers are removed using RANSAC (RANdom Sample Consensus), and the spatial differences of only inliers are calculated using the least squares method. can be calculated using That is, odd data that deviate from the normal distribution can be removed.
이 후, 카메라 및 조명장치를 이용하여 3차원 물체를 촬영한다(S1430).Thereafter, the 3D object is photographed using a camera and a lighting device (S1430).
도 15는 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법을 상세하게 나타낸 동작 흐름도이다.15 is an operation flowchart showing in detail a 3D scanning method using smartphone-based lighting according to an embodiment of the present invention.
도 15를 참조하면, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 먼저 기설정된 캘리브레이션 보드를 기반으로 카메라 및 조명 장치 중 적어도 하나를 캘리브레이션 한다(S1502).Referring to FIG. 15 , in the 3D scanning method using smartphone-based lighting according to an embodiment of the present invention, first, at least one of a camera and a lighting device is calibrated based on a preset calibration board (S1502).
이 후, 카메라 트래킹 엔진을 초기화한다(S1504).Thereafter, the camera tracking engine is initialized (S1504).
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다.At this time, since the camera is independently calibrated, it is necessary to match the world coordinate system expressed by the camera tracking engine with the scan system, that is, the world coordinate system of the camera. To this end, a process of initializing the camera tracking engine may be performed.
이 후, 카메라와 조명 장치기반으로 3차원 물체를 촬영한다(S1506).After that, the 3D object is photographed based on the camera and the lighting device (S1506).
이 후, 촬영 영상의 컬러를 RGB(Red, Green, Blue) 형식에서 YUV(Y, Cb, Cr) 형식으로 변환한다(S1508).Thereafter, the color of the captured image is converted from RGB (Red, Green, Blue) format to YUV (Y, Cb, Cr) format (S1508).
이 후, UV 좌표를 기반으로 촬영 영상의 좌표 변환을 수행하여 색상 강화 영상을 생성한다(S1510).Thereafter, a color-enhanced image is generated by performing coordinate conversion of the photographed image based on the UV coordinates (S1510).
예를 들어, 색상 강화 영상이 적색을 강화한 적색 강화 영상에 상응한다면, 영상에 상응하는 픽셀들은 적색에 가까울수록 1에 가까운 값에 상응하고, 적색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다.For example, if a color-enhanced image corresponds to a red-enhanced image in which red is enhanced, pixels corresponding to the image may correspond to values close to 1 as they are closer to red, and may correspond to values closer to 0 as they are farther from red. .
이 후, 잡음 제거 필터를 이용하여 색상 강화 영상의 잡음을 제거한다(S1512).Thereafter, noise of the color enhanced image is removed using a noise removal filter (S1512).
이 후, 2종의 1차원 가우시안 회선을 기반으로 색상 강화 영상에서 Rising Edge와 Falling Edge를 검출한다(S1514).Thereafter, a rising edge and a falling edge are detected in the color-enhanced image based on two types of one-dimensional Gaussian convolutions (S1514).
이 후, 색상 강화 영상에서 Rising Edge와 Falling Edge의 사이에 상응하는 영역에서 스캔 영역을 추출하고, 스캔 영역에 상응하는 복수의 픽셀들의 가중치 합을 산출하여 복수의 서브픽셀들을 추출한다(S1516).Thereafter, a scan area is extracted from an area corresponding to a rising edge and a falling edge in the color-enhanced image, and a plurality of subpixels are extracted by calculating a weighted sum of a plurality of pixels corresponding to the scan area (S1516).
이 후, 복수의 서브픽셀들의 위치 정보를 추출한다(S1518).Thereafter, location information of a plurality of subpixels is extracted (S1518).
이 후, 단말의 움직임에 상응하는 영상 변화와 센서 정보를 이용하여 단말의 회전과 이동을 추정하고, 추정한 값을 기반으로 3차원 스캔 정보를 생성한다(S1520). Thereafter, rotation and movement of the terminal are estimated using image changes and sensor information corresponding to the movement of the terminal, and 3D scan information is generated based on the estimated values (S1520).
이 후, 계속해서 3차원 스캔이 수행되는지 여부를 판단한다(S1522).Thereafter, it is determined whether 3D scanning is continuously performed (S1522).
단계(S1522)의 판단결과 계속해서 3차원 스캔이 수행되면, 카메라를 이용하여 3차원 물체를 다시 촬영할 수 있다.As a result of the determination in step S1522, if the 3D scan is continuously performed, the 3D object may be photographed again using the camera.
또한, 단계(S1522)의 판단결과 3차원 스캔이 수행되지 않으면, 3차원 스캔이 종료된 것으로 판단하고 스캔 정보를 저장모듈에 저장한다(S1524).In addition, if the 3D scan is not performed as a result of the determination in step S1522, it is determined that the 3D scan is finished and the scan information is stored in the storage module (S1524).
이상에서와 같이 본 발명에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the 3D scanning device and method using smartphone-based lighting according to the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments have various modifications. All or part of each embodiment may be selectively combined to achieve this.
100: 스마트폰 110: 카메라
120: 조명 장치 121: 3차원 평면
122: 조명 라인 130: 3차원 물체
210: 영상 촬영부 220: 영상 처리부
230: 트래킹 엔진부 310: 캘리브레이션부
320: 카메라 트래킹 조정부 410: 동심원 마커
420: 빈 공간 430, 440, 450, 460: 동심원 마커 그룹의 ID
710, 810, 910: 조명 장치 720, 820, 920: 렌즈
730, 830, 840: 실린더 렌즈 930: 슬릿
1010: LED 디스플레이 1020, 1030: 광학부100: smartphone 110: camera
120: lighting device 121: three-dimensional plane
122: lighting line 130: three-dimensional object
210: image capturing unit 220: image processing unit
230: tracking engine unit 310: calibration unit
320: camera tracking adjustment unit 410: concentric circle marker
420:
710, 810, 910:
730, 830, 840: cylinder lens 930: slit
1010:
Claims (18)
상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 상기 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출하는 영상 처리부; 및
상기 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 상기 단말의 센서 정보 중 적어도 하나를 조합하여 상기 단말의 회전과 이동을 추정하는 트래킹 엔진부
를 포함하고,
상기 영상 처리부는
상기 조명의 특성을 기반으로 상기 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 상기 촬영 영상에 포함된 색상들 중 상기 조명의 특성에 상응하게 결정되는 단일색을 강화시킨 상기 색상 강화 영상을 생성하되,
상기 색상모델 변환은
상기 촬영 영상의 컬러를 RGB 형식에서 YUV 형식으로 변환하고, 상기 촬영 영상의 좌표를 YUV 형식에 상응하는 UV 좌표로 변환하는 동작에 상응하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캔 장치.An image capture unit for photographing a 3D object based on a camera and a lighting device provided in the terminal;
an image processor generating a color-enhanced image corresponding to the light output from the lighting device based on a captured image of the 3D object, and extracting location information corresponding to a scan area based on the color-enhanced image; and
A tracking engine unit for estimating rotation and movement of the terminal by combining at least one of sensor information of the terminal and an image change corresponding to the movement of the camera and lighting device.
including,
The image processing unit
Based on the characteristics of the lighting, color model conversion for the color of the captured image is performed to generate the color-enhanced image by enhancing a single color determined corresponding to the characteristic of the lighting among the colors included in the captured image; ,
The color model conversion
A three-dimensional scanning device using smartphone-based lighting, characterized in that it corresponds to an operation of converting the color of the captured image from RGB format to YUV format and converting the coordinates of the captured image into UV coordinates corresponding to the YUV format. .
상기 영상 처리부는
상기 색상 강화 영상에서 상기 조명에 상응하는 복수의 픽셀들을 기반으로 상기 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고, 상기 복수의 서브픽셀들에 상응하는 위치 정보를 추출하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.The method of claim 1,
The image processing unit
Smartphone characterized in that extracting a plurality of subpixels corresponding to the scan area based on a plurality of pixels corresponding to the illumination in the color-enhanced image, and extracting location information corresponding to the plurality of subpixels 3D scanning device using light based light.
상기 영상 처리부는
상기 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하고, 상기 복수의 픽셀들 중 상기 Rising Edge와 상기 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 상기 복수의 서브픽셀들을 추출하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.The method of claim 3,
The image processing unit
A rising edge and a falling edge are detected based on two types of one-dimensional Gaussian convolutions in the color-enhanced image, and among the plurality of pixels, a pixel included in a region satisfying a predetermined condition between the rising edge and the falling edge A 3D scanning device using smartphone-based lighting, characterized in that for extracting the plurality of subpixels by obtaining a weighted sum for .
상기 영상 촬영부는
기설정된 캘리브레이션 보드를 기반으로 상기 카메라 및 상기 조명 장치 중 적어도 하나를 캘리브레이션하는 캘리브레이션부; 및
카메라 트래킹 엔진의 좌표계가 상기 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정하는 카메라 트래킹 조정부를 포함하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.The method of claim 1,
The video recording department
a calibration unit for calibrating at least one of the camera and the lighting device based on a preset calibration board; and
A three-dimensional scanning device using smartphone-based lighting, characterized in that it comprises a camera tracking adjustment unit for adjusting the coordinate system of the camera tracking engine to match the coordinate system of the camera on which the calibration has been performed.
상기 캘리브레이션부는
상기 카메라를 이용하여 상기 기설정된 캘리브레이션 보드를 상기 조명과 함께 촬영한 영상 및 상기 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 상기 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 상기 마커평면을 기반으로 상기 조명에 상응하는 평면식을 추정하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.The method of claim 5,
The calibration unit
Estimating a marker plane of the preset calibration board based on at least one of a camera parameter obtained by calibrating the camera and an image of the preset calibration board photographed with the lighting using the camera, and the marker plane A three-dimensional scanning device using smartphone-based lighting, characterized in that for estimating a planar expression corresponding to the lighting based on the basis.
상기 트래킹 엔진부는
상기 단말이 움직이면서 상기 3차원 물체를 촬영하는 동안에 상기 촬영 영상과 상기 센서 정보를 조합하여 상기 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 연속적으로 출력하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.The method of claim 5,
The tracking engine part
While the terminal moves and captures the 3D object, the captured image and the sensor information are combined to continuously output a parameter corresponding to at least one of a position and a posture of the terminal in a 3D space. 3D scanning device using phone-based lighting.
상기 영상 처리부는
잡음 제거 필터를 이용하여 상기 색상 강화 영상에서 잡음을 제거하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.The method of claim 1,
The image processing unit
A 3D scanning device using smartphone-based lighting, characterized in that for removing noise from the color-enhanced image using a noise removal filter.
상기 조명은
상기 조명 장치의 종류에 따라 상기 단일색의 종류 및 조명의 형태 중 적어도 하나에 기반하여 다양하게 사용되는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.The method of claim 1,
the lighting
A three-dimensional scanning device using smartphone-based lighting, characterized in that it is used in various ways based on at least one of the type of the single color and the type of lighting according to the type of the lighting device.
상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 상기 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출하는 단계; 및
상기 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 상기 단말의 센서 정보 중 적어도 하나를 조합하여 상기 단말의 회전과 이동을 추정하는 단계
를 포함하고,
상기 위치 정보를 추출하는 단계는
상기 조명의 특성을 기반으로 상기 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 상기 촬영 영상에 포함된 색상들 중 상기 조명의 특성에 상응하게 결정되는 단일색을 강화시킨 상기 색상 강화 영상을 생성하되,
상기 색상모델 변환은
상기 촬영 영상의 컬러를 RGB 형식에서 YUV 형식으로 변환하고, 상기 촬영 영상의 좌표를 YUV 형식에 상응하는 UV 좌표로 변환하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.photographing a 3D object based on a camera and a lighting device provided in a terminal;
generating a color-enhanced image corresponding to the light output from the lighting device based on a captured image of the 3D object, and extracting location information corresponding to a scan area based on the color-enhanced image; and
Estimating rotation and movement of the terminal by combining at least one of sensor information of the terminal and an image change occurring corresponding to the movement of the camera and lighting device
including,
Extracting the location information
Based on the characteristics of the lighting, color model conversion for the color of the captured image is performed to generate the color-enhanced image by enhancing a single color determined corresponding to the characteristic of the lighting among the colors included in the captured image; ,
The color model conversion
3D scanning method using smartphone-based lighting, characterized in that the color of the captured image is converted from RGB format to YUV format, and the coordinates of the captured image are converted into UV coordinates corresponding to the YUV format.
상기 위치 정보를 추출하는 단계는
상기 색상 강화 영상에서 상기 조명에 상응하는 복수의 픽셀들을 기반으로 상기 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하는 단계를 포함하고,
상기 복수의 서브픽셀들에 상응하는 위치 정보를 추출하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.The method of claim 10,
Extracting the location information
Extracting a plurality of subpixels corresponding to the scan area based on a plurality of pixels corresponding to the illumination from the color-enhanced image;
3D scanning method using smartphone-based lighting, characterized in that for extracting location information corresponding to the plurality of subpixels.
상기 복수의 서브픽셀들을 추출하는 단계는
상기 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하는 단계를 포함하고,
상기 복수의 픽셀들 중 상기 Rising Edge와 상기 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 상기 복수의 서브픽셀들을 추출하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.The method of claim 12,
Extracting the plurality of subpixels
Detecting a rising edge and a falling edge based on two types of one-dimensional Gaussian convolutions in the color-enhanced image,
Smartphone-based lighting, characterized in that for extracting the plurality of sub-pixels by obtaining a weighted sum for pixels included in a region satisfying a predetermined condition between the rising edge and the falling edge among the plurality of pixels 3D scanning method using .
상기 촬영하는 단계는
기설정된 캘리브레이션 보드를 기반으로 상기 카메라 및 상기 조명 장치 중 적어도 하나를 캘리브레이션하는 단계; 및
카메라 트래킹 엔진의 좌표계가 상기 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정하는 단계를 포함하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.The method of claim 10,
The shooting step is
calibrating at least one of the camera and the lighting device based on a preset calibration board; and
A three-dimensional scanning method using smartphone-based lighting, characterized in that it comprises the step of adjusting the coordinate system of the camera tracking engine to match the coordinate system of the camera on which the calibration is performed.
상기 캘리브레이션하는 단계는
상기 카메라를 이용하여 상기 기설정된 캘리브레이션 보드를 상기 조명과 함께 촬영한 영상 및 상기 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 상기 기설정된 캘리브레이션 보드의 마커평면을 추정하는 단계를 포함하고,
상기 마커평면을 기반으로 상기 조명에 상응하는 평면식을 추정하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.The method of claim 14,
The calibration step is
Estimating a marker plane of the preset calibration board based on at least one of an image obtained by using the camera to capture the preset calibration board together with the lighting and a camera parameter obtained by calibrating the camera;
A three-dimensional scanning method using smartphone-based lighting, characterized in that for estimating a plane formula corresponding to the lighting based on the marker plane.
상기 단말의 회전과 이동을 추정하는 단계는
상기 단말이 움직이면서 상기 3차원 물체를 촬영하는 동안에 상기 촬영 영상과 상기 센서 정보를 조합하여 상기 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.The method of claim 14,
The step of estimating the rotation and movement of the terminal
While the terminal moves and captures the 3D object, the captured image and the sensor information are combined to output a parameter corresponding to at least one of a position and posture of the terminal in a 3D space. 3D scanning method using illumination of
상기 위치 정보를 추출하는 단계는
잡음 제거 필터를 이용하여 상기 색상 강화 영상에서 잡음을 제어하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.The method of claim 10,
Extracting the location information
3D scanning method using smartphone-based lighting, characterized in that for controlling noise in the color-enhanced image using a noise removal filter.
상기 조명은
상기 조명 장치의 종류에 따라 상기 단일색의 종류 및 조명의 형태 중 적어도 하나에 기반하여 다양하게 사용되는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.The method of claim 10,
the lighting
A three-dimensional scanning method using smartphone-based lighting, characterized in that it is used in various ways based on at least one of the type of the single color and the type of lighting according to the type of the lighting device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/000,419 US9554121B2 (en) | 2015-01-30 | 2016-01-19 | 3D scanning apparatus and method using lighting based on smart phone |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150015260 | 2015-01-30 | ||
| KR20150015260 | 2015-01-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160094270A KR20160094270A (en) | 2016-08-09 |
| KR102505659B1 true KR102505659B1 (en) | 2023-03-06 |
Family
ID=56712591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160001773A KR102505659B1 (en) | 2015-01-30 | 2016-01-06 | Three demension scanning apparatus using light based on smartphone |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102505659B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200493579Y1 (en) | 2019-08-27 | 2021-04-28 | 주식회사 엘지유플러스 | Smartphone based 3D scanning apparatus |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005043410A (en) * | 2003-07-22 | 2005-02-17 | Fujinon Corp | Auto-tracking adjustment system for photographic lens |
| US20110228097A1 (en) * | 2010-03-19 | 2011-09-22 | Pixim Inc. | Image Sensor Including Color and Infrared Pixels |
| WO2013099271A1 (en) * | 2011-12-28 | 2013-07-04 | 山田電器工業株式会社 | Dimension measuring method, electronic device with camera, and program for electronic device with camera |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140110584A (en) * | 2013-03-08 | 2014-09-17 | 삼성전자주식회사 | Method for providing augmented reality, machine-readable storage medium and portable terminal |
| KR20140136138A (en) * | 2013-05-20 | 2014-11-28 | 삼성전자주식회사 | Apparatas and method fof conducting a weighted bluring in a electronic device |
| KR20150060020A (en) | 2013-11-25 | 2015-06-03 | 삼성전자주식회사 | three dimensional scanner and three dimensional scanning method thereof |
-
2016
- 2016-01-06 KR KR1020160001773A patent/KR102505659B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005043410A (en) * | 2003-07-22 | 2005-02-17 | Fujinon Corp | Auto-tracking adjustment system for photographic lens |
| US20110228097A1 (en) * | 2010-03-19 | 2011-09-22 | Pixim Inc. | Image Sensor Including Color and Infrared Pixels |
| WO2013099271A1 (en) * | 2011-12-28 | 2013-07-04 | 山田電器工業株式会社 | Dimension measuring method, electronic device with camera, and program for electronic device with camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160094270A (en) | 2016-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210112229A1 (en) | Three-dimensional scanning device and methods | |
| US9736451B1 (en) | Efficient dense stereo computation | |
| KR101893047B1 (en) | Image processing method and image processing device | |
| CN109242961B (en) | Face modeling method and device, electronic equipment and computer readable medium | |
| CN108307675B (en) | Multi-baseline camera array system architecture for depth enhancement in VR/AR applications | |
| US11516412B2 (en) | Image processing method, image processing apparatus and electronic device | |
| KR101921672B1 (en) | Image processing method and device | |
| Krig | Computer vision metrics | |
| JP4938690B2 (en) | Determination of scene distance in digital camera images | |
| JP6192853B2 (en) | Optical flow imaging system and method using ultrasonic depth detection | |
| WO2021030002A1 (en) | Depth-aware photo editing | |
| US20120147224A1 (en) | Imaging apparatus | |
| CN108702437A (en) | High dynamic range depth for 3D imaging systems generates | |
| JP5704975B2 (en) | Image processing apparatus, image processing method, and program | |
| US9554121B2 (en) | 3D scanning apparatus and method using lighting based on smart phone | |
| US20190096092A1 (en) | Method and device for calibration | |
| JP2014071850A (en) | Image processing apparatus, terminal device, image processing method, and program | |
| JP2007194794A (en) | Photographic device, and image processing method for photographed image, and program | |
| CN107517346B (en) | Photographing method and device based on structured light and mobile device | |
| US11527014B2 (en) | Methods and systems for calibrating surface data capture devices | |
| JP2017514330A (en) | RGB-D imaging system and RGB-D imaging method using ultrasonic depth sensing | |
| CN107493427A (en) | Focusing method, device and the mobile terminal of mobile terminal | |
| CN107547789B (en) | Image acquisition device and method for photographing composition thereof | |
| JP6575999B2 (en) | Lighting information acquisition device, lighting restoration device, and programs thereof | |
| CN114981845A (en) | Image scanning method and device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |