KR20160094270A - 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법 - Google Patents

스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법 Download PDF

Info

Publication number
KR20160094270A
KR20160094270A KR1020160001773A KR20160001773A KR20160094270A KR 20160094270 A KR20160094270 A KR 20160094270A KR 1020160001773 A KR1020160001773 A KR 1020160001773A KR 20160001773 A KR20160001773 A KR 20160001773A KR 20160094270 A KR20160094270 A KR 20160094270A
Authority
KR
South Korea
Prior art keywords
illumination
camera
image
color
dimensional
Prior art date
Application number
KR1020160001773A
Other languages
English (en)
Other versions
KR102505659B1 (ko
Inventor
강현
김재헌
박창준
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/000,419 priority Critical patent/US9554121B2/en
Publication of KR20160094270A publication Critical patent/KR20160094270A/ko
Application granted granted Critical
Publication of KR102505659B1 publication Critical patent/KR102505659B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H04N9/07—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법이 개시된다. 본 발명에 따른 3차원 스캐닝 장치는 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영하는 영상 촬영부; 상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하는 영상 처리부; 및 상기 색상 강화 영상에서 상기 조명을 기반으로 스캔 영역을 추출하고, 상기 스캔 영역에 상응하는 위치 정보를 추출하여 상기 3차원 물체를 3차원 스캔하는 스캔부를 포함한다.

Description

스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법 {THREE DEMENSION SCANNING APPARATUS USING LIGHT BASED ON SMARTPHONE}
본 발명은 스마트폰 기반의 조명을 이용한 3차원 스캐닝 기술에 관한 것으로, 특히 스마트폰에 구비된 카메라와 조명 장치를 이용하여 3차원 물체를 3차원 스캔할 수 있는 3차원 스캐닝 기술에 관한 것이다.
현재 출시되고 있는 3D 스캐너는 고가의 장비로 전문가들에 의해서만 사용되고 있다. 기존의 3D 스캐너는 접촉식, 레이저광학식, 구조광식의 특별한 하드웨어와 복잡한 소프트웨어를 요구한다. 하지만 3D 프린팅 기술의 발달로 기존의 역공학분야에서 필요했던 요구사항 이외에도 간단히 스캔하고 간단히 프린트하는 기술 요구가 생기고 있다.
모바일용 3D 스캐너는 TOF(Time Of Flight) 방식, 포토 메트리 방식, 레이저광학식을 적용하는 것이 가능하다. TOF 방식은 별도의 적외선 카메라와 적외선 패턴 투사부를 소형으로 제작하여 사용함으로써 물체에 투영된 적외선 패턴의 변화를 측정하여 3차원 데이터를 획득한다. 그러나 이와 같은 방식은 하드웨어 비용이 많이 발생하고, 정확도가 카메라의 해상도에 따라 제한되는 단점을 가진다. 포토 메트리 방식은 물체를 촬영한 두 개 이상의 영상에서 비슷한 영상 쌍을 추출하여 삼각측량기법을 통해 3차원 데이터를 획득한다. 이와 같은 방식은 하드웨어 비용이 들지 않는 장점을 가지나, 물체의 외형을 이루는 점을 제한적으로 획득하게 되어 정확도나 스캔품질이 떨어지는 단점을 가진다.
반면, 레이저 광학식은 비교적 저렴한 하드웨어를 사용하며, 물체에 비춰진 레이저의 곡선을 분석하여 3차원데이터를 획득하는 방법으로 고수준의 정밀도를 획득할 수 있는 장점을 가진다. 그러나, TOF 방식이나 포토 메트리 방식에 비해 물체에 스캔을 반복적으로 해야 한다는 단점을 가지고 있다. 레이저 광학식은 카메라가 고정되어있고 물체를 회전하면서 스캔하는 방식과 움직이면서 스캔할 수 있는 카메라 트래킹 방식으로 세분될 수 있다. 카메라를 고정하는 방식의 경우 물체를 회전하기 위하여 세팅을 반복적으로 바꾸어야 하며, 카메라와 레이저의 방향이 맞지 않아 제대로 스캔이 되지 않는 영역이 많다는 단점을 가진다. 반면 카메라 트래킹 방식은 카메라를 고정하는 방식의 단점을 커버할 수 있으나, 높은 정밀도의 카메라 트래킹 알고리즘이 적용되어야 한다.
한국 공개 특허 제10-2015-0060020호, 2015년 6월 3일 공개(명칭: 3차원 스캐너 및 이의 3차원 스캐닝 방법)
본 발명의 목적은 스마트폰에 구비된 카메라와 조명 장치를 통해 사용자가 자유롭게 3차원 물체의 전후 좌우를 촬영함으로써 비전문가에게도 손쉬운 3차원 스캐닝 방법을 제공하는 것이다.
또한, 본 발명의 목적은 저가의 조명 장치를 활용한 레이저 광학식 기반의 3차원 스캐닝 장치를 제공함으로써 기존의 기술보다 저렴하게 3차원 스캔 정보를 획득하는 것이다.
또한, 본 발명의 목적은 교체가 간단한 상용의 카메라 트래킹 엔진을 이용함으로써 3차원 스캐닝 장치의 편의성을 향상시키는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 스마트폰 기반의 조명을 이용한 3차원 스캔 장치는, 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영하는 영상 촬영부; 상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 상기 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출하는 영상 처리부; 및 상기 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 상기 단말의 센서 정보 중 적어도 하나를 조합하여 상기 단말의 회전과 이동을 추정하는 트래킹 엔진부를 포함한다.
이 때, 영상 처리부는 상기 조명의 특성을 기반으로 상기 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 상기 촬영 영상에 포함된 색상들 중 상기 조명에 상응하는 단일색을 강화시킨 상기 색상 강화 영상을 생성할 수 있다.
이 때, 영상 처리부는 상기 색상 강화 영상에서 상기 조명에 상응하는 복수의 픽셀들을 기반으로 상기 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고, 상기 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다.
이 때, 영상 처리부는 상기 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하고, 상기 복수의 픽셀들 중 상기 Rising Edge와 상기 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 상기 복수의 서브픽셀들을 추출할 수 있다.
이 때, 영상 촬영부는 기설정된 캘리브레이션 보드를 기반으로 상기 카메라 및 상기 조명 장치 중 적어도 하나를 캘리브레이션하는 캘리브레이션부; 및 카메라 트래킹 엔진의 좌표계가 상기 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정하는 카메라 트래킹 조정부를 포함할 수 있다.
이 때, 캘리브레이션부는 상기 카메라를 이용하여 상기 기설정된 캘리브레이션 보드를 상기 조명과 함께 촬영한 영상 및 상기 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 상기 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 상기 마커평면을 기반으로 상기 조명에 상응하는 평면식을 추정할 수 있다.
이 때, 트래킹 엔진부는 상기 단말이 움직이면서 상기 3차원 물체를 촬영하는 동안에 상기 촬영 영상과 상기 센서 정보를 조합하여 상기 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 연속적으로 출력할 수 있다.
이 때, 영상 처리부는 잡음 제거 필터를 이용하여 상기 색상 강화 영상에서 잡음을 제거할 수 있다.
이 때, 조명은 상기 조명 장치의 종류에 따라 상기 단일색의 종류 및 조명의 형태 중 적어도 하나에 기반하여 다양하게 사용될 수 있다.
또한, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은, 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영하는 단계; 상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 상기 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출하는 단계; 및 상기 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 상기 단말의 센서 정보 중 적어도 하나를 조합하여 상기 단말의 회전과 이동을 추정하는 단계를 포함한다.
이 때, 위치 정보를 추출하는 단계는 상기 조명의 특성을 기반으로 상기 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여 상기 촬영 영상에 포함된 색상들 중 상기 조명에 상응하는 단일색을 강화시킨 상기 색상 강화 영상을 생성할 수 있다.
이 때, 위치 정보를 추출하는 단계는 상기 색상 강화 영상에서 상기 조명에 상응하는 복수의 픽셀들을 기반으로 상기 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하는 단계를 포함하고, 상기 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다.
이 때, 복수의 서브픽셀들을 추출하는 단계는 상기 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하는 단계를 포함하고, 상기 복수의 픽셀들 중 상기 Rising Edge와 상기 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 상기 복수의 서브픽셀들을 추출할 수 있다.
이 때, 촬영하는 단계는 기설정된 캘리브레이션 보드를 기반으로 상기 카메라 및 상기 조명 장치 중 적어도 하나를 캘리브레이션하는 단계; 및 카메라 트래킹 엔진의 좌표계가 상기 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정하는 단계를 포함할 수 있다.
이 때, 캘리브레이션하는 단계는 상기 카메라를 이용하여 상기 기설정된 캘리브레이션 보드를 상기 조명과 함께 촬영한 영상 및 상기 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 상기 기설정된 캘리브레이션 보드의 마커평면을 추정하는 단계를 포함하고, 상기 마커평면을 기반으로 상기 조명에 상응하는 평면식을 추정할 수 있다.
이 때, 단말의 회전과 이동을 추정하는 단계는 상기 단말이 움직이면서 상기 3차원 물체를 촬영하는 동안에 상기 촬영 영상과 상기 센서 정보를 조합하여 상기 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력할 수 있다.
이 때, 위치 정보를 추출하는 단계는 잡음 제거 필터를 이용하여 상기 색상 강화 영상에서 잡음을 제어하는 단계를 더 포함할 수 있다.
이 때, 조명은 상기 조명 장치의 종류에 따라 상기 단일색의 종류 및 조명의 형태 중 적어도 하나에 기반하여 다양하게 사용할 수 있다.
또한, 본 발명의 과제 해결을 위한 또 다른 수단으로써, 상술한 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.
본 발명에 따르면, 스마트폰에 구비된 카메라와 조명 장치를 통해 사용자가 자유롭게 3차원 물체의 전후 좌우를 촬영함으로써 비전문가에게도 손쉬운 3차원 스캐닝 방법을 제공할 수 있다.
또한, 본 발명은 저가의 조명 장치를 활용한 레이저 광학식 기반의 3차원 스캐닝 장치를 제공함으로써 기존의 기술보다 저렴하게 3차원 스캔 정보를 획득할 수 있다.
또한, 본 발명은 교체가 간단한 상용의 카메라 트래킹 엔진을 이용함으로써 3차원 스캐닝 장치의 편의성을 향상시킬 수 있다.
도 1은 본 발명에 따른 3차원 스캐닝 장치를 포함하는 스마트폰을 사용하여 3차원 물체를 3차원 스캐닝하는 일 예를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 3차원 스캐닝 장치를 나타낸 블록도이다.
도 3은 도 2에 도시된 영상 촬영부의 일 예를 나타낸 블록도이다.
도 4는 본 발명에 따른 캘리브레이션 보드의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 잡음 제거 필터의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 2종의 1차원 가우시안 회선을 나타낸 도면이다.
도 7 내지 도 10은 본 발명의 일실시예에 따른 조명의 형태를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법을 나타낸 동작 흐름도이다.
도 12는 도 11에 도시된 3차원 스캐닝 방법 중 색상 강화 영상을 생성하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 13은 도 11에 도시된 3차원 스캐닝 방법 중 스캔 영역의 위치 정보를 추출하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 14는 도 11에 도시된 3차원 스캐닝 방법 중 3차원 물체를 촬영하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 15는 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법을 상세하게 나타낸 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명에 따른 3차원 스캐닝 장치를 포함하는 스마트폰을 사용하여 3차원 물체를 3차원 스캐닝하는 일 예를 나타낸 도면이다.
도 1을 참조하면, 카메라(110)와 조명 장치(120)가 구비된 스마트폰(100)을 이용하여 3차원 물체(130)를 촬영함으로써 3차원 물체(130)를 3차원 스캔할 수 있다.
이 때, 스마트폰(100)은 3차원 물체(130)를 3차원 스캐닝 하기 위한 3차원 스캐닝 장치를 포함할 수 있다.
이 때, 3차원 스캐닝 장치는 카메라(110)와 조명 장치(120)를 캘리브레이션하는 캘리브레이션 모드, 카메라 트래킹 엔진을 사용하기 위한 카메라 트래킹 엔진 정보 수집 모드 그리고 3차원 스캐닝을 실시하는 3차원 스캐닝 모드로 구분되어 동작할 수 있다.
이 때, 캘리브레이션 모드의 목적은 카메라(110)와 조명 장치(120) 각각에 대한 정보를 수집하는 것일 수 있다. 일반적인 캘리브레이션 보드나 캘리브레이션을 위한 소프트웨어를 사용하여 캘리브레이션을 수행할 수도 있으나, 본 발명에서는 조명의 평면식도 구해야 하기 때문에 별도의 캘리브레이션 보드를 사용하여 카메라(110)와 조명 장치(120)의 3차원 위치와 자세를 파악할 수 있다.
이 때, 카메라 캘리브레이션은 영상처리에 있어서 가장 기본적인 단계로, 영상 이미지과정을 만드는 카메라의 기본인자를 추출하는 기술을 의미할 수 있다. 이 때, 영상 이미지과정이란 실세계의 물체가 영상면 혹은 카메라의 필름면으로 영사, 투사 또는 투영되는 과정일 수 있다. 즉, 실세계의 3차원 물체 위의 한 점 (x, y, z)가 카메라 내의 필름면 (u, v)에 맺히는 것을 수식으로 모델화 한 것일 수 있다. 이 때, 카메라의 3차원 공간상의 위치, 회전 방향, 카메라 렌즈의 특성 등이 카메라의 외부인자 또는 내부인자로 불리며, 이들을 추정하는 과정이 카메라 캘리브레이션이다.
또한, 카메라 캘리브레이션과 동시에 조명 장치(120)에 대한 캘리브레이션을 통해 조명이 만들어내는 평면의 위치와 자세 또한 알아낼 수 있다. 이 때, 조명 장치(120)에서 출력되는 빛, 즉 조명은 눈에 보이는 직선과 조명 장치(120)의 렌즈를 통해 생성되는 3차원 평면(121)으로 표현될 수 있다. 이 때, 3차원 평면(121)에 대한 평면식은 본 발명에 따른 별도의 캘리브레이션 보드를 이용하여 구할 수 있으며, 이에 대한 자세한 설명은 도 4에서 후술하도록 한다.
또한, 카메라 트래킹 엔진 정보 수집 모드의 목적은 사용자가 스마트폰(100)을 움직이면서 3차원 물체(130)를 촬영하기 위해서 필요한 카메라 트래킹 엔진을 셋팅하는 것일 수 있다.
카메라 트래킹 엔진은 카메라(110)를 이용하여 3차원 물체(130)를 촬영하는 동안에 촬영되는 영상과 스마트폰(100)의 센서 정보를 조합하여 스마트폰(130)의 위치나 자세에 대한 파라미터를 출력할 수 있다.
이 때, 카메라(110)에 대한 캘리브레이션 과정이 독자적으로 수행되므로 카메라 트래킹 엔진이 표현하는 월드 좌표계와 3차원 스캐닝 시스템, 즉 카메라의 월드 좌표계를 일치 시켜야 할 필요가 있는데, 이를 위해 카메라 트래킹 엔진 정보 수집 모드가 사용될 수 있다.
또한, 3차원 스캐닝 모드의 목적은 도 1과 같이 실제로 3차원 물체(130)에 도달한 조명이 만들어 내는 조명 라인(122)의 곡선부를 분석하여 3차원 물체(130)에 대한 3차원 기하 정보를 추출하는 것일 수 있다. 이 때, 3차원 스캐닝 모드는 3차원 스캐닝을 수행하기 위해 가장 마지막에 수행되는 모드이며 가장 많이 수행되는 모드일 수 있다. 앞서 서술한 캘리브레이션 모드나 카메라 트래킹 엔진 정보 수집 모드는 3차원 스캔을 실시하기 전에 이루어지는 선행모드일 수 있다.
이 때, 조명 장치(120)에서 3차원 물체(130)로 출력되는 조명은 고유한 단일색을 가지며, 3차원 평면(121)으로 이루어져 카메라(110)를 통해 촬영되는 영상에서 검출할 수 있다.
또한, 3차원 스캐닝 모드에서는 본 발명에서 사용하는 3개의 소프트웨어 엔진들을 모두 사용할 수 있다. 즉, 앞에서 설명한 카메라 트래킹 엔진과 더불어 실시간 영상처리 엔진 및 조명 영상분석 엔진을 모두 사용할 수 있다.
이 때, 실시간 영상처리 엔진에서는 영상을 입력으로 하는 함수들이 가장 많은 자원을 소모할 수 있다. 이 때, 이 함수들이 최적화되어 있어야 시스템 전체적으로 실시간 처리가 가능할 수 있다. 따라서, 본 발명에서는 실시간으로 영상에 나타낸 조명이 만들어내는 조명 라인(122)을 추출하는 알고리즘을 포함할 수 있다.
이 때, 조명 영상분석 엔진은 본 발명에서 가장 중요한 부분일 수 있으며, 조명 영상분석 엔진의 성능에 따라 전체 시스템 성능이 결정될 수 있다.
도 2는 본 발명의 일실시예에 따른 3차원 스캐닝 장치를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 3차원 스캐닝 장치는 영상 촬영부(210), 영상 처리부(220) 및 트래킹 엔진부(230)를 포함한다.
영상 촬영부(210)는 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영한다.
이 때, 단말은 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile)일 수 있다.
이 때, 조명 장치는 단일색의 조명을 출력하고, 조명은 렌즈를 통해 3차원 평면의 형태로 출력되어 카메라를 이용해 촬영된 영상에서 검출이 가능할 수 있다.
이 때, 조명은 조명 장치의 종류에 따라 단일색의 종류 및 조명의 형태 중 적어도 하나의 기반하여 다양하게 사용될 수 있다. 예를 들어, 단일색의 종류에 따라 적색의 조명을 출력하는 조명 장치를 사용하거나 녹색의 조명을 출력하는 조명 장치를 사용할 수 있다. 또한, 조명의 형태에 따라 하나의 직선 조명을 출력하는 조명 장치, 두 개 이상의 직선을 출력하는 조명 장치, 슬릿을 기반으로 여러 개의 직선 조명을 출력하는 조명 장치 및 프로젝터 형태로 조명을 출력하는 조명 장치를 사용할 수도 있다.
이 때, 기설정된 캘리브레이션 보드를 기반으로 카메라 및 조명 장치 중 적어도 하나를 캘리브레이션 할 수 있다.
이 때, 카메라 캘리브레이션은 카메라의 외부인자 및 내부인자를 추정하는 과정일 수 있다. 예를 들어, 실제 3차원 세계에서의 한 점인 (x, y, z)가 카메라를 이용하여 촬영된 영상인 2차원 평면 내부의 한 점인 (u, v)로 변환될 때, 카메라의 실제 3차원 세계에서의 위치, 회전 방향 및 카메라 렌즈의 특성 등을 추정할 수 있다.
또한, 조명 장치 캘리브레이션은 조명을 출력하는 조명 장치의 위치 및 자세를 추정하는 과정일 수 있으며, 별도의 캘리브레이션 보드를 이용하여 추정할 수 있다.
이 때, 카메라를 이용하여 기설정된 캘리브레이션 보드를 조명과 함께 촬영한 영상 및 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 마커평면을 기반으로 조명에 상응하는 평면식을 추정할 수 있다.
예를 들어, 캘리브레이션 보드에서 마커가 위치하지 않는 빈 곳에 조명 장치에서 출력되는 조명의 중심선을 맺히게 하고, 카메라를 이용하여 캘리브레이션 보드에 고정된 마커를 조명과 함께 촬영할 수 있다. 이 후, 카메라로 촬영된 영상으로부터 마커를 분리하고, 마커의 중심과 마커 그룹의 ID를 추출할 수 있다.
이 후, 영상 내의 색상정보를 이용하여 조명 라인을 검출할 수 있다. 이 때, 카메라 캘리브레이션은 잘 알려진 Tsai's 방법을 활용하여 수행할 수 있고, 카메라 캘리브레이션을 통해 추정된 카메라 내부인자와 외부인자를 이용하여 캘리브레이션 보드의 마커 평면을 추정할 수 있다. 이 후, 마커 평면의 방정식, 여러 개의 촬영 영상에 의한 마커평면들 및 미지의 평면으로부터의 최소자승법을 통해 평면식의 인자를 추정할 수 있다.
이 때, 카메라 트래킹 엔진의 좌표계가 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정할 수 있다.
이 때, 카메라 트래킹 엔진은 3차원 스캐닝하는 사용자의 움직임, 즉 스마트폰의 움직임을 트래킹할 수 있다.
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다. 이는 각 카메라 트래킹 엔진에 따라서 수행될 수 있다. 또한, 카메라 트래킹 엔진의 출력 정보 중에서 자연특징 2차원 좌표들과 3차원 물체에 출력된 조명 라인과의 교차점들을 수집하여 각 월드 좌표계의 차이를 계산하기 위한 정보로 사용할 수 있다.
이 때, 자연특징이 가지고 있는 잡음과 조명 추출 시의 에러를 감안하기 위하여 RANSAC(RANdom Sample Consensus)을 이용하여 아웃라이어(outlier)를 제거하고, 인라이어(inlier)들만의 공간적인 차이를 최소자승법을 이용하여 계산할 수 있다. 즉, 정상적인 분포에서 벗어난 이상한 데이터는 제거할 수 있다.
영상 처리부(220)는 3차원 물체를 촬영한 촬영 영상을 기반으로 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출한다. 예를 들어, 조명 장치에서 출력되는 조명이 적색에 상응한다면, 촬영 영상에서 적색이 보다 잘 보이도록 강화한 적색 강화 영상을 생성하여 스캔 영역에 상응하는 위치 정보를 추출할 수 있다.
이 때, 조명의 특성을 기반으로 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 촬영 영상에 포함된 색상들 중 조명에 상응하는 단일색을 강화시킨 색상 강화 영상을 생성할 수 있다. 예를 들어, 조명이 적색에 상응한다면, 색상 강화 영상은 촬영 영상에 포함된 색상들 중 적색을 강화시킨 적색 강화 영상에 상응할 수 있다.
이 때, 색상모델 변환은 촬영 영상의 컬러를 RGB(Red, Green, Blue) 형식에서 YUV(Y, Cb, Cr) 형식으로 변환하고, 촬영 영상의 좌표를 YUV 형식에 상응하는 UV 좌표를 기반으로 변환하는 동작에 상응할 수 있다.
예를 들어, 색상 강화 영상이 적색을 강화한 적색 강화 영상에 상응한다면, 영상에 상응하는 픽셀들은 적색에 가까울수록 1에 가까운 값에 상응하고, 적색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다. 이 때, 적색 강화 영상은 YUV 형식에 상응하는 색상 공간에서 U 축과 V 축이 서로 직교하는 UV 좌표를 베이스로 하여 적색에 상응하는 UV 좌표(-0.25, 0.5)와의 거리의 역수를 기반으로 결정할 수 있다. 상기에서 적색 강화 영상의 좌표를 산출하는 식은 [수학식 1]과 같다.
[수학식 1]
Figure pat00001
이 때, [수학식 1]에서 α는 UV 공간에서 적색에 상응하는 좌표와 가장 먼 거리에 존재하는 좌표의 역수일 수 있다.
이 때, 색상 강화 영상에서 조명에 상응하는 복수의 픽셀들을 기반으로 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고, 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다.
이 때, 조명이 영상 내에 존재하는 픽셀 값으로 영상화 되었을 경우에는 하나의 픽셀이 아닌 영역에 상응하게 영상화 될 수 있다. 예를 들어, 색상 강화 영상이 적색 강화 영상에 상응한다면, 영상 내에 존재하는 적색의 조명에 상응하는 복수개의 서브픽셀들이 분포된 영역을 스캔 영역으로 판단할 수 있다.
이 때, 3차원 스캔의 성능을 향상시키기 위해서 복수의 픽셀들에서 서브픽셀을 추출할 수 있다.
이 때, 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하고, 복수의 픽셀들 중 Rising Edge와 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 복수의 서브픽셀들을 추출할 수 있다.
이 때, 서브픽셀을 추출하기 위해 영상의 가로나 세로에서 가중치 합을 구하는 방법을 사용할 수 있다. 이 때, 가중치 합을 이용하여 서브픽셀을 추출하는 방법은 잡음이 발생할 확률은 낮지만, 가로나 세로의 영역에서 두 군데 이상의 스캔 영역, 즉 조명에 상응하는 영역이 존재하여 위치정확도가 떨어지는 문제가 발생할 수 있다.
따라서, 2종의 1차원 가우시안 회선을 이용하여 처리하면, 색상 강화 영상에서 Rising Edge와 Falling Edge를 검출하여 표시할 수 있고, Rising Edge와 Falling Edge의 사이에서 기설정된 조건을 만족하는 영역을 스캔 영역으로 설정함으로써 위치정확도가 떨어지는 문제점을 해결할 수 있다. 이 때, 기설정된 조건은 조명에 상응하는 단일색에 상응하게 설정될 수 있다.
또한, 가우시안 회선을 이용한 함수는 iOS의 Accelerate Framework에서 고속화를 지원해주기 때문에 연산시간에서도 이점을 가질 수 있다.
이 때, 잡음 제거 필터를 이용하여 색상 강화 영상에서 잡음을 제거할 수 있다. 일반적으로 사람의 눈은 녹색에 민감하기 때문에, 카메라 센서를 만들 때 녹색 분해능을 파란색이나 빨강색에 비해 높게 제조하게 된다. 이에 따라, [수학식 1]을 기반으로 생성되는 색상 강화 영상에는 잡음이 다수 존재할 수 있으므로, 잡음 제거 필터를 이용하여 색상 강화 영상의 잡음을 제거할 수 있다.
이 때, 잡음의 영향을 최소화 하기 위하여 f(U, V)함수의 출력 값을 잡음 제거 필터에 적용하여 한번 더 필터링을 수행할 수 있다. 이 때, 별도의 실험결과에 따라 COS함수보다 입력구간 별로 스칼라 곱(scalar multiplication)한 함수가 좋은 결과를 나타낼 수 있다. 또한, 거리함수 f(U, V)를 수정하면 여러 종류의 조명 장치에 적용할 수 있으나, 640nm LED 레이저에 상응하는 조명 장치가 380nm, 470nm, 518nm 등의 LED 레이저에 상응하는 조명 장치들에 비해 저렴할 수 있다.
트래킹 엔진부(230)는 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 단말의 센서 정보 중 적어도 하나를 조합하여 단말의 회전과 이동을 추정한다.
이 때, 단말이 움직이면서 3차원 물체를 촬영하는 동안에 촬영 영상과 센서 정보를 조합하여 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력할 수 있다. 이러한 출력 데이터는 3차원 스캔이 종료된 후에 별도에 저장모듈에 기록되어 오프라인으로 번들 개선(bundle adjustment)에 입력될 수 있다.
이 때, 번들 개선은 저장모듈에 기록된 모든 영상의 2차원 정보와 이를 기반으로 생성된 각각의 3차원 정보들을 전역적으로 최적화 할 수 있다. 이러한 최적화의 결과로 수정된 카메라의 위치와 자세를 나타내는 값은 다시 영상 내의 조명의 2차원 좌표와 조명이 만들어내는 3차원 평면의 삼각화를 통해서 3차원 스캔 점들을 수정할 수 있다. 이 과정에서 영상에 대한 3차원 스캔 점들은 카메라 트래킹 엔진의 떨림을 보정할 수 있어 3차원 스캔 점의 정밀도를 향상시킬 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 3차원 스캐닝 장치는 3차원 스캔에 상응하게 발생하는 정보들을 저장하는 저장부를 더 포함할 수 있다.
이와 같이, 본 발명에 따른 3차원 스캐닝 장치를 이용함으로써, 저가의 조명 장치를 활용한 레이저 광학식 기반의 3차원 스캐닝 장치를 제공함으로써 기존의 기술보다 저렴하게 3차원 스캔 정보를 획득하는 것이 가능할 수 있다.
도 3은 도 2에 도시된 영상 촬영부의 일 예를 나타낸 블록도이다.
도 3을 참조하면, 도 2에 도시된 영상 촬영부(210)는 캘리브레이션부(310) 및 카메라 트래킹 조정부(320)를 포함한다.
캘리브레이션부(310)는 기설정된 캘리브레이션 보드를 기반으로 카메라 및 조명 장치 중 적어도 하나를 캘리브레이션한다.
이 때, 카메라 캘리브레이션은 카메라의 외부인자 및 내부인자를 추정하는 과정일 수 있다. 예를 들어, 실제 3차원 세계에서의 한 점인 (x, y, z)가 카메라를 이용하여 촬영된 영상인 2차원 평면 내부의 한 점인 (u, v)로 변환될 때, 카메라의 실제 3차원 세계에서의 위치, 회전 방향 및 카메라 렌즈의 특성 등을 추정할 수 있다.
또한, 조명 장치 캘리브레이션은 조명을 출력하는 조명 장치의 위치 및 자세를 추정하는 과정일 수 있으며, 별도의 캘리브레이션 보드를 이용하여 추정할 수 있다.
이 때, 카메라를 이용하여 기설정된 캘리브레이션 보드를 조명과 함께 촬영한 영상 및 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 마커평면을 기반으로 조명에 상응하는 평면식을 추정할 수 있다.
예를 들어, 캘리브레이션 보드에서 마커가 위치하지 않는 빈 곳에 조명 장치에서 출력되는 조명의 중심선을 맺히게 하고, 카메라를 이용하여 캘리브레이션 보드에 고정된 마커를 조명과 함께 촬영할 수 있다. 이 후, 카메라로 촬영된 영상으로부터 마커를 분리하고, 마커의 중심과 마커 그룹의 ID를 추출할 수 있다. 이 후, 영상 내의 색상정보를 이용하여 조명 라인을 검출할 수 있다. 이 때, 카메라 캘리브레이션은 잘 알려진 Tasi's 방법을 활용하여 수행할 수 있고, 카메라 캘리브레이션을 통해 추정된 카메라 내부인자와 외부인자를 이용하여 캘리브레이션 보드의 마커 평면을 추정할 수 있다. 이 후, 마커 평면의 방정식, 여러 개의 촬영 영상에 의한 마커평면들 및 미지의 평면으로부터의 최소자승법을 통해 평면식의 인자를 추정할 수 있다.
카메라 트래킹 조정부(320)는 카메라 트래킹 엔진의 좌표계가 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정한다.
이 때, 카메라 트래킹 엔진은 3차원 스캐닝하는 사용자의 움직임, 즉 스마트폰의 움직임을 트래킹할 수 있다. 즉, 단말을 통해 3차원 물체를 촬영하는 동안에 단말에 대한 3차원 상의 위치에 상응하는 값을 연속적으로 트래킹하여 출력할 수 있다. 출력 데이터는 3차원 스캔이 종료된 후에 별도에 저장모듈에 기록되어 오프라인으로 번들 개선(bundle adjustment)에 입력될 수 있다.
이 때, 번들 개선은 저장모듈에 기록된 모든 영상의 2차원 정보와 이를 기반으로 생성된 각각의 3차원 정보들을 전역적으로 최적화 할 수 있다. 이러한 최적화의 결과로 수정된 카메라의 위치와 자세를 나타내는 값은 다시 영상 내의 조명의 2차원 좌표와 조명이 만들어내는 3차원 평면의 삼각화를 통해서 3차원 스캔 점들을 수정할 수 있다. 이 과정에서 영상에 대한 3차원 스캔 점들은 카메라 트래킹 엔진의 떨림을 보정할 수 있어 3차원 스캔 점의 정밀도를 향상시킬 수 있다.
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다. 이는 각 카메라 트래킹 엔진에 따라서 수행될 수 있다. 또한, 카메라 트래킹 엔진의 출력 정보 중에서 자연특징 2차원 좌표들과 3차원 물체에 출력된 조명 라인과의 교차점들을 수집하여 각 월드 좌표계의 차이를 계산하기 위한 정보로 사용할 수 있다.
이 때, 자연특징이 가지고 있는 잡음과 조명 추출 시의 에러를 감안하기 위하여 RANSAC(RANdom Sample Consensus)을 이용하여 아웃라이어(outlier)를 제거하고, 인라이어(inlier)들만의 공간적인 차이를 최소자승법을 이용하여 계산할 수 있다. 즉, 정상적인 분포에서 벗어난 이상한 데이터는 제거할 수 있다.
도 4는 본 발명에 따른 캘리브레이션 보드의 일 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명에 따른 캘리브레이션 보드를 기반으로 카메라 캘리브레이션을 수행함과 동시에 조명의 평면식을 구할 수 있다.
이 때, 도 4에 도시된 캘리브레이션 보드에서 마커가 위치하지 않는 빈 공간(420)에 조명 장치에서 출력되는 조명의 중심선이 위치하도록 조명을 출력할 수 있다.
이 후, 카메라를 이용하여 캘리브레이션 보드에 고정된 동심원 마커(410)를 조명과 함께 촬영할 수 있다.
이 후, 카메라로 촬영된 영상으로부터 동심원 마커(410)를 분리하고, 동심원 마커의 중심과 동심원 마커 그룹의 ID(430, 440, 450, 460)를 추출할 수 있다.
이 후, 영상 내의 색상정보를 이용하여 조명 라인을 검출할 수 있다. 이 때, 카메라 캘리브레이션은 잘 알려진 Tasi's 방법을 활용하여 수행할 수 있고, 카메라 캘리브레이션을 통해 추정된 카메라 내부인자와 외부인자를 이용하여 캘리브레이션 보드의 마커 평면을 추정할 수 있다.
이 후, 마커 평면의 방정식, 여러 개의 촬영 영상에 의한 마커평면들 및 미지의 평면으로부터의 최소자승법을 통해 평면식의 인자를 추정할 수 있다.
도 5는 본 발명에 따른 잡음 제거 필터의 일 예를 나타낸 도면이다.
도 5를 참조하면, 본 발명에 따른 잡음 제거 필터는 색상 강화 영상에 포함된 잡음을 제거하기 위해 사용될 수 있다.
일반적으로 사람의 눈은 녹색에 민감하기 때문에, 카메라 센서를 만들 때 녹색 분해능을 파란색이나 빨강색에 비해 높게 제조하게 된다. F(U, V) 함수를 기반으로 생성된 색상 강화 영상에는 잡음이 다수 존재할 수 있으므로, 도 5에 도시된 잡음 제거 필터를 이용하여 색상 강화 영상의 잡음을 제거할 수 있다.
이 때, 잡음의 영향을 최소화 하기 위하여 f(U, V)함수의 출력 값을 잡음 제거 필터에 적용하여 한번 더 필터링을 수행할 수 있다.
도 5를 참조하면, 잡음 제거 필터의 X축(input)은 f(U, V)함수의 출력 값을 의미할 수 있다. 또한, Y축(output)은 f(U, V)함수의 출력 값을 입력하였을 때 출력되는 값을 의미할 수 있다.
따라서, Y축에 상응하는 출력 값을 이용하여 색상 강화 영상을 보정함으로써 색상 강화 영상의 잡음을 제거할 수 있다.
도 6은 본 발명에 따른 2종의 1차원 가우시안 회선을 나타낸 도면이다.
도 6을 참조하면, 본 발명에 따른 2종의 1차원 가우시안 회선은 각각 Rising Edge와 Falling Edge를 검출하기 위한 1차원 가우시안 회선에 상응할 수 있다.
이 때, 도 6에서 좌측에 도시된 것이 Rising Edge를 검출하기 위한 1차원 가우시안 회선에 상응할 수 있으며, 도 6에서 우측에 도시된 것이 Falling Edge를 검출하기 위한 1차원 가우시안 회선에 상응할 수 있다.
이 때, 두 개의 1차원 가우시안 회선들은 색상 강화 영상에서 조명에 상응하는 서브픽셀을 추출하기 위한 가중치 합을 구하는 과정에서 활용될 수 있으며, 이를 통해 가중치 합을 구하는 과정에서 스캔 영역이 두 군데 이상 존재하는 문제점을 해결할 수 있다.
도 7 내지 도 10은 본 발명의 일실시예에 따른 조명의 형태를 나타낸 도면이다.
도 7 내지 도 10을 참조하면, 본 발명의 일실시예에 따른 다양한 조명을 나타내고 있다.
즉, 본 발명에 적용하여 사용될 수 있는 조명은 그 색상이나 형태에 따라 다양한 실시예를 가질 수 있다.
예를 들어, 조명 장치의 종류에 따라서 조명에 상응하는 색상은 적색이나 녹색에 상응할 수 있고 경우에 따라 적색과 녹색을 교차하여 함께 사용할 수 도 있다. 또한, LED 발광다이오드와 함께 좁은 슬릿을 사용하여 생성되는 조명도 있을 수 있으며, 프로젝터를 사용할 수도 있다.
이 때, 도 7은 조명 장치(710)와 렌즈(720) 그리고 실린더 렌즈(730)로 구성되어 한 개의 직선 조명을 만드는 구성을 나타내고 있다. 이 때, 도 7의 구성을 살펴보면, 조명 장치(710)는 LED나 레이저 광원 장치 등에 상응할 수 있으며, 단색 파장의 빛을 내는 역할을 할 수 있다. 또한, 렌즈(720)는 조명 장치(710)에서 출력된 빛을 모으거나 멀리 보내주는 역할을 할 수 있으며, 실린더 렌즈(730)는 점광원을 직선으로 펼쳐주는 역할을 할 수 있다.
이 때, 도 8은 두 개의 실린더 렌즈(830, 840)를 조합하여 두 개 이상의 직성 조명을 만드는 구성일 수 있다. 이 때, 실린더 렌즈(840)는 점광원을 여러 방향의 직선으로 보내주는 역할을 할 수 있다.
이 때, 도 9는 좁은 슬릿(930)을 통해 여러 개의 직선 조명을 만드는 구성일 수 있다. 이 때, 슬릿(930)은 렌즈(920)을 통해 나오는 빛을 좁은 직선으로 변형하는 역할을 할 수 있다.
이 때, 도 10은 도 7 내지 도 9의 구성과는 조명을 만드는 과정이 상이한 구성으로 프로젝터 형태의 조명을 만드는 구성일 수 있다. 예를 들어, 도 10은 LED 디스플레이(1010)나 DMD(Digital Micro mirror Device)와 같이 프로젝터에 사용되는 영상을 만들어 주는 소자와 함께 프로젝터용 광원과 렌즈 및 거울 등이 포함된 광학부(1020, 1030)로 구성될 수 있다.
또한, 도 7 내지 도 10에 도시된 구성들을 이용한 조명 이외에도 다양한 조명의 형태가 사용 가능하지만, 본 발명에 적용 시 영상과 분리가능성, 비용, 배터리 소모량 및 스마트폰에 장착 가능한 크기인지 여부 등을 확인하여 사용 여부를 선택할 수 있다.
도 11은 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법을 나타낸 동작 흐름도이다.
도 11을 참조하면, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영한다(S1110).
이 때, 단말은 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile)일 수 있다.
이 때, 조명 장치는 단일색의 조명을 출력하고, 조명은 렌즈를 통해 3차원 평면의 형태로 출력되어 카메라를 이용해 촬영된 영상에서 검출이 가능할 수 있다.
이 때, 조명은 조명 장치의 종류에 따라 단일색의 종류 및 조명의 형태 중 적어도 하나의 기반하여 다양하게 사용될 수 있다. 예를 들어, 단일색의 종류에 따라 적색의 조명을 출력하는 조명 장치를 사용하거나 녹색의 조명을 출력하는 조명 장치를 사용할 수 있다. 또한, 조명의 형태에 따라 하나의 직선 조명을 출력하는 조명 장치, 두 개 이상의 직선을 출력하는 조명 장치, 슬릿을 기반으로 여러 개의 직선 조명을 출력하는 조명 장치 및 프로젝터 형태로 조명을 출력하는 조명 장치를 사용할 수도 있다.
이 때, 기설정된 캘리브레이션 보드를 기반으로 카메라 및 조명 장치 중 적어도 하나를 캘리브레이션 할 수 있다.
이 때, 카메라 캘리브레이션은 카메라의 외부인자 및 내부인자를 추정하는 과정일 수 있다. 예를 들어, 실제 3차원 세계에서의 한 점인 (x, y, z)가 카메라를 이용하여 촬영된 영상인 2차원 평면 내부의 한 점인 (u, v)로 변환될 때, 카메라의 실제 3차원 세계에서의 위치, 회전 방향 및 카메라 렌즈의 특성 등을 추정할 수 있다.
또한, 조명 장치 캘리브레이션은 조명을 출력하는 조명 장치의 위치 및 자세를 추정하는 과정일 수 있으며, 별도의 캘리브레이션 보드를 이용하여 추정할 수 있다.
이 때, 카메라를 이용하여 기설정된 캘리브레이션 보드를 조명과 함께 촬영한 영상 및 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 마커평면을 기반으로 조명에 상응하는 평면식을 추정할 수 있다.
예를 들어, 캘리브레이션 보드에서 마커가 위치하지 않는 빈 곳에 조명 장치에서 출력되는 조명의 중심선을 맺히게 하고, 카메라를 이용하여 캘리브레이션 보드에 고정된 마커를 조명과 함께 촬영할 수 있다. 이 후, 카메라로 촬영된 영상으로부터 마커를 분리하고, 마커의 중심과 마커 그룹의 ID를 추출할 수 있다. 이 후, 영상 내의 색상정보를 이용하여 조명 라인을 검출할 수 있다. 이 때, 카메라 캘리브레이션은 잘 알려진 Tasi's 방법을 활용하여 수행할 수 있고, 카메라 캘리브레이션을 통해 추정된 카메라 내부인자와 외부인자를 이용하여 캘리브레이션 보드의 마커 평면을 추정할 수 있다. 이 후, 마커 평면의 방정식, 여러 개의 촬영 영상에 의한 마커평면들 및 미지의 평면으로부터의 최소자승법을 통해 평면식의 인자를 추정할 수 있다.
이 때, 카메라 트래킹 엔진의 좌표계가 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정할 수 있다.
이 때, 카메라 트래킹 엔진은 3차원 스캐닝하는 사용자의 움직임, 즉 스마트폰의 움직임을 트래킹할 수 있다.
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다. 이는 각 카메라 트래킹 엔진에 따라서 수행될 수 있다. 또한, 카메라 트래킹 엔진의 출력 정보 중에서 자연특징 2차원 좌표들과 3차원 물체에 출력된 조명 라인과의 교차점들을 수집하여 각 월드 좌표계의 차이를 계산하기 위한 정보로 사용할 수 있다.
이 때, 자연특징이 가지고 있는 잡음과 조명 추출 시의 에러를 감안하기 위하여 RANSAC(RANdom Sample Consensus)을 이용하여 아웃라이어(outlier)를 제거하고, 인라이어(inlier)들만의 공간적인 차이를 최소자승법을 이용하여 계산할 수 있다. 즉, 정상적인 분포에서 벗어난 이상한 데이터는 제거할 수 있다.
또한, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 3차원 물체를 촬영한 촬영 영상을 기반으로 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출한다(S1120). 예를 들어, 조명 장치에서 출력되는 조명이 적색에 상응한다면, 촬영 영상에서 적색이 보다 잘 보이도록 강화한 적색 강화 영상을 생성하여 스캔 영역에 상응하는 위치 정보를 추출할 수 있다.
이 때, 조명의 특성을 기반으로 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 촬영 영상에 포함된 색상들 중 조명에 상응하는 단일색을 강화시킨 색상 강화 영상을 생성할 수 있다. 예를 들어, 조명이 적색에 상응한다면, 색상 강화 영상은 촬영 영상에 포함된 색상들 중 적색을 강화시킨 적색 강화 영상에 상응할 수 있다.
이 때, 색상모델 변환은 촬영 영상의 컬러를 RGB(Red, Green, Blue) 형식에서 YUV(Y, Cb, Cr) 형식으로 변환하고, 촬영 영상의 좌표를 YUV 형식에 상응하는 UV 좌표를 기반으로 변환하는 동작에 상응할 수 있다.
예를 들어, 색상 강화 영상이 적색을 강화한 적색 강화 영상에 상응한다면, 영상에 상응하는 픽셀들은 적색에 가까울수록 1에 가까운 값에 상응하고, 적색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다. 이 때, 적색 강화 영상은 YUV 형식에 상응하는 색상 공간에서 U 축과 V 축이 서로 직교하는 UV 좌표를 베이스로 하여 적색에 상응하는 UV 좌표(-0.25, 0.5)와의 거리의 역수를 기반으로 결정할 수 있다. 상기에서 적색 강화 영상의 좌표를 산출하는 식은 [수학식 1]과 같다.
[수학식 1]
이 때, [수학식 1]에서 α는 UV 공간에서 적색에 상응하는 좌표와 가장 먼 거리에 존재하는 좌표의 역수일 수 있다.
이 때, 색상 강화 영상에서 조명에 상응하는 복수의 픽셀들을 기반으로 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고, 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다.
이 때, 조명이 영상 내에 존재하는 픽셀 값으로 영상화 되었을 경우에는 하나의 픽셀이 아닌 영역에 상응하게 영상화 될 수 있다. 예를 들어, 색상 강화 영상이 적색 강화 영상에 상응한다면, 영상 내에 존재하는 적색의 조명에 상응하는 복수개의 서브픽셀들이 분포된 영역을 스캔 영역으로 판단할 수 있다.
이 때, 3차원 스캔의 성능을 향상시키기 위해서 복수의 픽셀들에서 서브픽셀을 추출할 수 있다.
이 때, 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하고, 복수의 픽셀들 중 Rising Edge와 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 복수의 서브픽셀들을 추출할 수 있다.
이 때, 서브픽셀을 추출하기 위해 영상의 가로나 세로에서 가중치 합을 구하는 방법을 사용할 수 있다. 이 때, 가중치 합을 이용하여 서브픽셀을 추출하는 방법은 잡음이 발생할 확률은 낮지만, 가로나 세로의 영역에서 두 군데 이상의 스캔 영역, 즉 조명에 상응하는 영역이 존재하여 위치정확도가 떨어지는 문제가 발생할 수 있다.
따라서, 2종의 1차원 가우시안 회선을 이용하여 처리하면, 색상 강화 영상에서 Rising Edge와 Falling Edge를 검출하여 표시할 수 있고, Rising Edge와 Falling Edge의 사이에서 기설정된 조건을 만족하는 영역을 스캔 영역으로 설정함으로써 위치정확도가 떨어지는 문제점을 해결할 수 있다. 이 때, 기설정된 조건은 조명에 상응하는 단일색에 상응하게 설정될 수 있다.
또한, 가우시안 회선을 이용한 함수는 iOS의 Accelerate Framework에서 고속화를 지원해주기 때문에 연산시간에서도 이점을 가질 수 있다.
이 때, 잡음 제거 필터를 이용하여 색상 강화 영상에서 잡음을 제거할 수 있다. 일반적으로 사람의 눈은 녹색에 민감하기 때문에, 카메라 센서를 만들 때 녹색 분해능을 파란색이나 빨강색에 비해 높게 제조하게 된다. 이에 따라, [수학식 1]을 기반으로 생성되는 색상 강화 영상에는 잡음이 다수 존재할 수 있으므로, 잡음 제거 필터를 이용하여 색상 강화 영상의 잡음을 제거할 수 있다.
이 때, 잡음의 영향을 최소화 하기 위하여 f(U, V)함수의 출력 값을 잡음 제거 필터에 적용하여 한번 더 필터링을 수행할 수 있다. 이 때, 별도의 실험결과에 따라 COS함수보다 입력구간 별로 스칼라 곱(scalar multiplication)한 함수가 좋은 결과를 나타낼 수 있다. 또한, 거리함수 f(U, V)를 수정하면 여러 종류의 조명 장치에 적용할 수 있으나, 640nm LED 레이저에 상응하는 조명 장치가 380nm, 470nm, 518nm 등의 LED 레이저에 상응하는 조명 장치들에 비해 저렴할 수 있다.
또한, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 단말의 센서 정보 중 적어도 하나를 조합하여 단말의 회전과 이동을 추정한다(S1130).
이 때, 단말이 움직이면서 3차원 물체를 촬영하는 동안에 촬영 영상과 센서 정보를 조합하여 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력할 수 있다. 이러한 출력 데이터는 3차원 스캔이 종료된 후에 별도에 저장모듈에 기록되어 오프라인으로 번들 개선(bundle adjustment)에 입력될 수 있다.
이 때, 번들 개선은 저장모듈에 기록된 모든 영상의 2차원 정보와 이를 기반으로 생성된 각각의 3차원 정보들을 전역적으로 최적화 할 수 있다. 이러한 최적화의 결과로 수정된 카메라의 위치와 자세를 나타내는 값은 다시 영상 내의 조명의 2차원 좌표와 조명이 만들어내는 3차원 평면의 삼각화를 통해서 3차원 스캔 점들을 수정할 수 있다. 이 과정에서 영상에 대한 3차원 스캔 점들은 카메라 트래킹 엔진의 떨림을 보정할 수 있어 3차원 스캔 점의 정밀도를 향상시킬 수 있다.
또한, 도 11에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 3차원 스캔에 상응하게 발생하는 정보들을 저장모듈에 저장할 수 있다.
이와 같이, 본 발명에 따른 3차원 스캐닝 방법을 통해, 비전문가에게도 손쉬운 3차원 스캐닝 방법을 제공할 수 있다.
도 12는 도 11에 도시된 3차원 스캐닝 방법 중 색상 강화 영상을 생성하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 12를 참조하면, 도 11에 도시된 3차원 스캐닝 방법 중 색상 강화 영상을 생성하는 과정은 먼저 촬영 영상의 컬러를 RGB(Red, Green, Blue) 형식에서 YUV(Y, Cb, Cr) 형식으로 변환한다(S1210).
이 때, YUV 형식은 빛의 휘도(Brightness, Y), 색상에 관련된 정보를 나타내는 U 및 V로 이루어진 색의 표현 방식을 의미할 수 있다.
이 후, YUV 형식에 상응하는 색상 공간에서 U 축과 V 축이 서로 직교하는 UV 좌표를 기반으로 촬영 영상의 좌표를 변환한다(S1220).
이 때, 촬영 영상에 상응하는 픽셀들은 조명에 상응하는 단일색에 가까울수록 1에 가까운 값에 상응하고, 조명에 상응하는 단일색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다.
예를 들어, 색상 강화 영상이 적색을 강화한 적색 강화 영상에 상응한다면, 영상에 상응하는 픽셀들은 적색에 가까울수록 1에 가까운 값에 상응하고, 적색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다. 이 때, 적색 강화 영상은 YUV 형식에 상응하는 색상 공간에서 U 축과 V 축이 서로 직교하는 UV 좌표를 베이스로 하여 적색에 상응하는 UV 좌표(-0.25, 0.5)와의 거리의 역수를 기반으로 결정할 수 있다. 상기에서 적색 강화 영상의 좌표를 산출하는 식은 [수학식 1]과 같다.
[수학식 1]
Figure pat00003
이 때, [수학식 1]에서 α는 UV 공간에서 적색에 상응하는 좌표와 가장 먼 거리에 존재하는 좌표의 역수일 수 있다.
이 후, 잡음 제거 필터를 이용하여 색상 강화 영상에서 잡음을 제거한다(S1230). 이 때, 잡음의 영향을 최소화 하기 위하여 f(U, V)함수의 출력 값을 잡음 제거 필터에 적용하여 한번 더 필터링을 수행할 수 있다.
도 13은 도 11에 도시된 3차원 스캐닝 방법 중 스캔 영역의 위치 정보를 추출하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 13을 참조하면, 도 11에 도시된 3차원 스캐닝 방법 중 스캔 영역의 위치 정보를 추출하는 과정은 먼저 색상 강화 영상에서 조명에 상응하는 복수의 픽셀들을 추출한다(S1310). 예를 들어, 색상 강화 영상이 적색 강화 영상에 상응한다면, 영상 내에 존재하는 적색의 조명에 상응하는 복수개의 픽셀들을 추출할 수 있다.
이 후, 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출한다(S1320). 이 때, Rising Edge는 조명에 상응하는 첫 부분 Falling Edge는 조명에 상응하는 끝부분에 상응할 수 있다.
이 후, Rising Edge와 Falling Edge의 사이에 상응하는 영역 중 기설정된 조건을 만족하는 특정 영역을 검출한다(S1330). 예를 들어, 색상 강화 영상이 적색 강화 영상에 상응하는 경우에 Rising Edge와 Falling Edge의 사이에 상응하는 영역 중에서 적색 조명에 상응하는 영역, 즉 스캔 영역을 검출할 수 있다.
이 후, 복수의 픽셀들 중 스캔 영역에 포함된 픽셀들에 대해서 가중치 합을 산출하여 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고(S1340), 복수의 서브픽셀들에 상응하는 위치정보를 추출한다(S1350).
이 때, 카메라 트래킹 엔진을 기반으로 복수의 서브픽셀들에 상응하는 위치 정보를 추출할 수 있다. 즉, 카메라 트래킹 엔진이 출력하는 데이터를 기반으로 복수의 서브픽셀들에 상응하는 위치 정보를 획득할 수 있다.
도 14는 도 11에 도시된 3차원 스캐닝 방법 중 3차원 물체를 촬영하는 과정을 상세하게 나타낸 동작 흐름도이다.
도 14를 참조하면, 도 11에 도시된 3차원 스캐닝 방법 중 3차원 물체를 촬영하는 과정은 먼저 기설정된 캘리브레이션 보드를 기반으로 카메라와 조명 장치를 캘리브레이션한다(S1410).
이 때, 카메라 캘리브레이션은 카메라의 외부인자 및 내부인자를 추정하는 과정일 수 있다. 예를 들어, 실제 3차원 세계에서의 한 점인 (x, y, z)가 카메라를 이용하여 촬영된 영상인 2차원 평면 내부의 한 점인 (u, v)로 변환될 때, 카메라의 실제 3차원 세계에서의 위치, 회전 방향 및 카메라 렌즈의 특성 등을 추정할 수 있다.
또한, 조명 장치 캘리브레이션은 조명을 출력하는 조명 장치의 위치 및 자세를 추정하는 과정일 수 있으며, 별도의 캘리브레이션 보드를 이용하여 추정할 수 있다.
이 때, 카메라를 이용하여 기설정된 캘리브레이션 보드를 조명과 함께 촬영한 영상 및 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 마커평면을 기반으로 조명에 상응하는 평면식을 추정할 수 있다.
이 후, 카메라 트래킹 엔진의 좌표계를 캘리브레이션 된 카메라의 좌표계와 일치하도록 조정한다(S1420).
이 때, 카메라 트래킹 엔진은 3차원 스캐닝하는 사용자의 움직임, 즉 스마트폰의 움직임을 트래킹할 수 있다.
이 때, 카메라 트래킹 엔진은 단말이 움직이면서 3차원 물체를 촬영하는 동안에 촬영 영상과 센서 정보를 조합하여 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력할 수 있다. 이러한 출력 데이터는 3차원 스캔이 종료된 후에 별도에 저장모듈에 기록되어 오프라인으로 번들 개선(bundle adjustment)에 입력될 수 있다.
이 때, 번들 개선은 저장모듈에 기록된 모든 영상의 2차원 정보와 이를 기반으로 생성된 각각의 3차원 정보들을 전역적으로 최적화 할 수 있다. 이러한 최적화의 결과로 수정된 카메라의 위치와 자세를 나타내는 값은 다시 영상 내의 조명의 2차원 좌표와 조명이 만들어내는 3차원 평면의 삼각화를 통해서 3차원 스캔 점들을 수정할 수 있다. 이 과정에서 영상에 대한 3차원 스캔 점들은 카메라 트래킹 엔진의 떨림을 보정할 수 있어 3차원 스캔 점의 정밀도를 향상시킬 수 있다.
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다. 이는 각 카메라 트래킹 엔진에 따라서 수행될 수 있다. 또한, 카메라 트래킹 엔진의 출력 정보 중에서 자연특징 2차원 좌표들과 3차원 물체에 출력된 조명 라인과의 교차점들을 수집하여 각 월드 좌표계의 차이를 계산하기 위한 정보로 사용할 수 있다.
이 때, 자연특징이 가지고 있는 잡음과 조명 추출 시의 에러를 감안하기 위하여 RANSAC(RANdom Sample Consensus)을 이용하여 아웃라이어(outlier)를 제거하고, 인라이어(inlier)들만의 공간적인 차이를 최소자승법을 이용하여 계산할 수 있다. 즉, 정상적인 분포에서 벗어난 이상한 데이터는 제거할 수 있다.
이 후, 카메라 및 조명장치를 이용하여 3차원 물체를 촬영한다(S1430).
도 15는 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법을 상세하게 나타낸 동작 흐름도이다.
도 15를 참조하면, 본 발명의 일실시예에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법은 먼저 기설정된 캘리브레이션 보드를 기반으로 카메라 및 조명 장치 중 적어도 하나를 캘리브레이션 한다(S1502).
이 후, 카메라 트래킹 엔진을 초기화한다(S1504).
이 때, 카메라에 대한 캘리브레이션은 독자적으로 수행되므로, 카메라 트래킹 엔진이 표현하는 월드 좌표계와 스캔 시스템, 즉 카메라의 월드 좌표계를 일치시킬 필요가 있다. 이를 위하여 카메라 트래킹 엔진을 초기화하는 과정을 수행할 수 있다.
이 후, 카메라와 조명 장치기반으로 3차원 물체를 촬영한다(S1506).
이 후, 촬영 영상의 컬러를 RGB(Red, Green, Blue) 형식에서 YUV(Y, Cb, Cr) 형식으로 변환한다(S1508).
이 후, UV 좌표를 기반으로 촬영 영상의 좌표 변환을 수행하여 색상 강화 영상을 생성한다(S1510).
예를 들어, 색상 강화 영상이 적색을 강화한 적색 강화 영상에 상응한다면, 영상에 상응하는 픽셀들은 적색에 가까울수록 1에 가까운 값에 상응하고, 적색으로부터 멀어질수록 0에 가까운 값에 상응할 수 있다.
이 후, 잡음 제거 필터를 이용하여 색상 강화 영상의 잡음을 제거한다(S1512).
이 후, 2종의 1차원 가우시안 회선을 기반으로 색상 강화 영상에서 Rising Edge와 Falling Edge를 검출한다(S1514).
이 후, 색상 강화 영상에서 Rising Edge와 Falling Edge의 사이에 상응하는 영역에서 스캔 영역을 추출하고, 스캔 영역에 상응하는 복수의 픽셀들의 가중치 합을 산출하여 복수의 서브픽셀들을 추출한다(S1516).
이 후, 복수의 서브픽셀들의 위치 정보를 추출한다(S1518).
이 후, 단말의 움직임에 상응하는 영상 변화와 센서 정보를 이용하여 단말의 회전과 이동을 추정하고, 추정한 값을 기반으로 3차원 스캔 정보를 생성한다(S1520).
이 후, 계속해서 3차원 스캔이 수행되는지 여부를 판단한다(S1522).
단계(S1522)의 판단결과 계속해서 3차원 스캔이 수행되면, 카메라를 이용하여 3차원 물체를 다시 촬영할 수 있다.
또한, 단계(S1522)의 판단결과 3차원 스캔이 수행되지 않으면, 3차원 스캔이 종료된 것으로 판단하고 스캔 정보를 저장모듈에 저장한다(S1524).
이상에서와 같이 본 발명에 따른 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 스마트폰 110: 카메라
120: 조명 장치 121: 3차원 평면
122: 조명 라인 130: 3차원 물체
210: 영상 촬영부 220: 영상 처리부
230: 트래킹 엔진부 310: 캘리브레이션부
320: 카메라 트래킹 조정부 410: 동심원 마커
420: 빈 공간 430, 440, 450, 460: 동심원 마커 그룹의 ID
710, 810, 910: 조명 장치 720, 820, 920: 렌즈
730, 830, 840: 실린더 렌즈 930: 슬릿
1010: LED 디스플레이 1020, 1030: 광학부

Claims (18)

  1. 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영하는 영상 촬영부;
    상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 상기 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출하는 영상 처리부; 및
    상기 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 상기 단말의 센서 정보 중 적어도 하나를 조합하여 상기 단말의 회전과 이동을 추정하는 트래킹 엔진부
    를 포함하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캔 장치.
  2. 청구항 1에 있어서,
    상기 영상 처리부는
    상기 조명의 특성을 기반으로 상기 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 상기 촬영 영상에 포함된 색상들 중 상기 조명에 상응하는 단일색을 강화시킨 상기 색상 강화 영상을 생성하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.
  3. 청구항 2에 있어서,
    상기 영상 처리부는
    상기 색상 강화 영상에서 상기 조명에 상응하는 복수의 픽셀들을 기반으로 상기 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하고, 상기 복수의 서브픽셀들에 상응하는 위치 정보를 추출하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.
  4. 청구항 3에 있어서,
    상기 영상 처리부는
    상기 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하고, 상기 복수의 픽셀들 중 상기 Rising Edge와 상기 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 상기 복수의 서브픽셀들을 추출하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.
  5. 청구항 2에 있어서,
    상기 영상 촬영부는
    기설정된 캘리브레이션 보드를 기반으로 상기 카메라 및 상기 조명 장치 중 적어도 하나를 캘리브레이션하는 캘리브레이션부; 및
    카메라 트래킹 엔진의 좌표계가 상기 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정하는 카메라 트래킹 조정부를 포함하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.
  6. 청구항 5에 있어서,
    상기 캘리브레이션부는
    상기 카메라를 이용하여 상기 기설정된 캘리브레이션 보드를 상기 조명과 함께 촬영한 영상 및 상기 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 상기 기설정된 캘리브레이션 보드의 마커평면을 추정하고, 상기 마커평면을 기반으로 상기 조명에 상응하는 평면식을 추정하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.
  7. 청구항 5에 있어서,
    상기 트래킹 엔진부는
    상기 단말이 움직이면서 상기 3차원 물체를 촬영하는 동안에 상기 촬영 영상과 상기 센서 정보를 조합하여 상기 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 연속적으로 출력하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.
  8. 청구항 1에 있어서,
    상기 영상 처리부는
    잡음 제거 필터를 이용하여 상기 색상 강화 영상에서 잡음을 제거하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.
  9. 청구항 1에 있어서,
    상기 조명은
    상기 조명 장치의 종류에 따라 상기 단일색의 종류 및 조명의 형태 중 적어도 하나에 기반하여 다양하게 사용되는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치.
  10. 단말에 구비된 카메라와 조명 장치를 기반으로 3차원 물체를 촬영하는 단계;
    상기 3차원 물체를 촬영한 촬영 영상을 기반으로 상기 조명 장치에서 출력되는 조명에 상응하는 색상 강화 영상을 생성하고, 상기 색상 강화 영상을 기반으로 스캔 영역에 상응하는 위치 정보를 추출하는 단계; 및
    상기 카메라와 조명 장치의 움직임에 상응하게 발생하는 영상 변화 및 상기 단말의 센서 정보 중 적어도 하나를 조합하여 상기 단말의 회전과 이동을 추정하는 단계
    를 포함하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
  11. 청구항 10에 있어서,
    상기 위치 정보를 추출하는 단계는
    상기 조명의 특성을 기반으로 상기 촬영 영상의 컬러에 대한 색상모델 변환을 수행하여, 상기 촬영 영상에 포함된 색상들 중 상기 조명에 상응하는 단일색을 강화시킨 상기 색상 강화 영상을 생성하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
  12. 청구항 11에 있어서,
    상기 위치 정보를 추출하는 단계는
    상기 색상 강화 영상에서 상기 조명에 상응하는 복수의 픽셀들을 기반으로 상기 스캔 영역에 상응하는 복수의 서브픽셀들을 추출하는 단계를 포함하고,
    상기 복수의 서브픽셀들에 상응하는 위치 정보를 추출하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
  13. 청구항 12에 있어서,
    상기 복수의 서브픽셀들을 추출하는 단계는
    상기 색상 강화 영상에서 2종의 1차원 가우시안 회선을 기반으로 Rising Edge와 Falling Edge를 검출하는 단계를 포함하고,
    상기 복수의 픽셀들 중 상기 Rising Edge와 상기 Falling Edge 사이의 기설정된 조건을 만족하는 영역에 포함된 픽셀들에 대해서 가중치 합을 구해 상기 복수의 서브픽셀들을 추출하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
  14. 청구항 11에 있어서,
    상기 촬영하는 단계는
    기설정된 캘리브레이션 보드를 기반으로 상기 카메라 및 상기 조명 장치 중 적어도 하나를 캘리브레이션하는 단계; 및
    카메라 트래킹 엔진의 좌표계가 상기 캘리브레이션이 수행된 카메라의 좌표계와 일치하도록 조정하는 단계를 포함하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
  15. 청구항 14에 있어서,
    상기 캘리브레이션하는 단계는
    상기 카메라를 이용하여 상기 기설정된 캘리브레이션 보드를 상기 조명과 함께 촬영한 영상 및 상기 카메라를 캘리브레이션하여 획득된 카메라 파라미터 중 적어도 하나를 기반으로 상기 기설정된 캘리브레이션 보드의 마커평면을 추정하는 단계를 포함하고,
    상기 마커평면을 기반으로 상기 조명에 상응하는 평면식을 추정하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
  16. 청구항 14에 있어서,
    상기 단말의 회전과 이동을 추정하는 단계는
    상기 단말이 움직이면서 상기 3차원 물체를 촬영하는 동안에 상기 촬영 영상과 상기 센서 정보를 조합하여 상기 단말에 대한 3차원 공간 상의 위치 및 자세 중 적어도 하나에 상응하는 파라미터를 출력하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
  17. 청구항 10에 있어서,
    상기 위치 정보를 추출하는 단계는
    잡음 제거 필터를 이용하여 상기 색상 강화 영상에서 잡음을 제어하는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
  18. 청구항 10에 있어서,
    상기 조명은
    상기 조명 장치의 종류에 따라 상기 단일색의 종류 및 조명의 형태 중 적어도 하나에 기반하여 다양하게 사용되는 것을 특징으로 하는 스마트폰 기반의 조명을 이용한 3차원 스캐닝 방법.
KR1020160001773A 2015-01-30 2016-01-06 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법 KR102505659B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/000,419 US9554121B2 (en) 2015-01-30 2016-01-19 3D scanning apparatus and method using lighting based on smart phone

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150015260 2015-01-30
KR20150015260 2015-01-30

Publications (2)

Publication Number Publication Date
KR20160094270A true KR20160094270A (ko) 2016-08-09
KR102505659B1 KR102505659B1 (ko) 2023-03-06

Family

ID=56712591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160001773A KR102505659B1 (ko) 2015-01-30 2016-01-06 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102505659B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210000536U (ko) 2019-08-27 2021-03-09 주식회사 엘지유플러스 스마트폰 기반 3차원 스캐닝 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043410A (ja) * 2003-07-22 2005-02-17 Fujinon Corp 撮影レンズのオートトラッキング調整システム
US20110228097A1 (en) * 2010-03-19 2011-09-22 Pixim Inc. Image Sensor Including Color and Infrared Pixels
WO2013099271A1 (ja) * 2011-12-28 2013-07-04 山田電器工業株式会社 寸法計測方法、カメラ付き電子機器、および、カメラ付き電子機器用プログラム
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
KR20140136138A (ko) * 2013-05-20 2014-11-28 삼성전자주식회사 가중치를 두어 블러링을 수행하는 전자 장치 및 방법
KR20150060020A (ko) 2013-11-25 2015-06-03 삼성전자주식회사 3차원 스캐너 및 이의 3차원 스캐닝 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043410A (ja) * 2003-07-22 2005-02-17 Fujinon Corp 撮影レンズのオートトラッキング調整システム
US20110228097A1 (en) * 2010-03-19 2011-09-22 Pixim Inc. Image Sensor Including Color and Infrared Pixels
WO2013099271A1 (ja) * 2011-12-28 2013-07-04 山田電器工業株式会社 寸法計測方法、カメラ付き電子機器、および、カメラ付き電子機器用プログラム
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
KR20140136138A (ko) * 2013-05-20 2014-11-28 삼성전자주식회사 가중치를 두어 블러링을 수행하는 전자 장치 및 방법
KR20150060020A (ko) 2013-11-25 2015-06-03 삼성전자주식회사 3차원 스캐너 및 이의 3차원 스캐닝 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210000536U (ko) 2019-08-27 2021-03-09 주식회사 엘지유플러스 스마트폰 기반 3차원 스캐닝 장치

Also Published As

Publication number Publication date
KR102505659B1 (ko) 2023-03-06

Similar Documents

Publication Publication Date Title
US11830163B2 (en) Method and system for image generation
US20210112229A1 (en) Three-dimensional scanning device and methods
US11164001B2 (en) Method, apparatus, and system for automatically annotating a target object in images
US20200267371A1 (en) Handheld portable optical scanner and method of using
KR101921672B1 (ko) 이미지 처리 방법 및 장치
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
US10726580B2 (en) Method and device for calibration
JP6192853B2 (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
KR20200024848A (ko) 콘볼루셔널 이미지 변환을 사용하여 동시 로컬화 및 맵핑을 수행하기 위한 방법 및 시스템
US10447999B2 (en) Alignment of images of a three-dimensional object
CN108702437A (zh) 用于3d成像系统的高动态范围深度生成
WO2019049331A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US20150369593A1 (en) Orthographic image capture system
EP3680853A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
WO2014172484A1 (en) Handheld portable optical scanner and method of using
US9554121B2 (en) 3D scanning apparatus and method using lighting based on smart phone
JP5704975B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11527014B2 (en) Methods and systems for calibrating surface data capture devices
JP2014071850A (ja) 画像処理装置、端末装置、画像処理方法、およびプログラム
CN107077719B (zh) 数码照片中基于深度图的透视校正
US11417019B2 (en) Detection of a calibration object for modifying image parameters
KR102505659B1 (ko) 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법
EP3977405A1 (en) 3d model capture system
Slossberg et al. Freehand Laser Scanning Using Mobile Phone.
JP2005216191A (ja) ステレオ画像処理装置およびステレオ画像処理方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant