KR102228939B1 - 3차원 자동 스캔 시스템 및 방법 - Google Patents

3차원 자동 스캔 시스템 및 방법 Download PDF

Info

Publication number
KR102228939B1
KR102228939B1 KR1020210017064A KR20210017064A KR102228939B1 KR 102228939 B1 KR102228939 B1 KR 102228939B1 KR 1020210017064 A KR1020210017064 A KR 1020210017064A KR 20210017064 A KR20210017064 A KR 20210017064A KR 102228939 B1 KR102228939 B1 KR 102228939B1
Authority
KR
South Korea
Prior art keywords
scanner
scan data
scan
model
shape
Prior art date
Application number
KR1020210017064A
Other languages
English (en)
Other versions
KR20210018397A (ko
Inventor
김영민
유병현
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020210017064A priority Critical patent/KR102228939B1/ko
Publication of KR20210018397A publication Critical patent/KR20210018397A/ko
Application granted granted Critical
Publication of KR102228939B1 publication Critical patent/KR102228939B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 3차원 자동 스캔 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 3차원 스캐너를 활용하여 기계 부품 등의 캐드 모델을 스캔할 때, 프리미티브 피팅을 활용하여 형상을 예측함으로써 최적화된 스캐너의 위치를 설정하여 데이터를 획득하고, 피팅된 프리미티브를 바탕으로 한 부가 정보를 생성하여 스캔의 완료 시점을 알려주는 등의 과정들을 자동화한 3차원 자동 스캔 시스템 및 방법에 관한 것이다. 본 발명의 일 실시예는, 기설정된 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득하는 스캔 데이터 획득부, 상기 3차원 스캔 데이터를 토대로 프리미티브 피팅을 수행함에 따라 인식되는 상기 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하는 형상 인식부, 그리고, 상기 3차원 스캔 데이터와 특징 형상 정보를 토대로 예측되는 상기 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성하는 모델 생성부를 포함하는 3차원 자동 스캔 시스템을 제공한다.

Description

3차원 자동 스캔 시스템 및 방법{SYSTEM AND METHOD FOR AUTOMATIC 3-DIMENSIONAL SCANNING}
본 발명은 3차원 자동 스캔 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 3차원 스캐너를 활용하여 기계 부품 등의 캐드 모델을 스캔할 때, 프리미티브 피팅을 활용하여 형상을 예측함으로써 최적화된 스캐너의 위치를 설정하여 데이터를 획득하고, 피팅된 프리미티브를 바탕으로 한 부가 정보를 생성하여 스캔의 완료 시점을 알려주는 등의 과정들을 자동화한 3차원 자동 스캔 시스템 및 방법에 관한 것이다.
3차원 스캐너는 광학적 정보를 이용하여 대상 물체의 형상에 대한 정보를 획득하거나 3차원 모델을 만들기 위해 이용된다. 종래에는 3차원 스캐너를 활용하여 물체를 스캔할 때, 사람이 임의로 판단하여 스캐너의 위치를 설정하고 품질을 예측함에 따라 후처리 과정에서 오류가 발생하는 등 미흡한 부분이 있었고, 이를 보완하기 위해 다시 스캔을 실시하는 등의 과정을 반복적으로 수행하여 스캔을 완성하는 불편함이 존재하였다.
이러한 종래의 스캔 과정에서 필연적으로 발생하는 시간, 비용 및 노력 등의 낭비를 막기 위해 스캔의 전반적인 과정들을 자동화하려는 시도가 있었다. 그러나, 이는 주로 스캔 대상 물체의 정보와는 무관하게 스캐너 또는 대상물이 움직이는 경로를 미리 결정하여 자동으로 반복적으로 스캔을 수행하도록 하거나, 공장에서 대량 생산한 제품을 검사하는 경우와 같이 측정해야 하는 대상물이 한정되어 있을 경우, 이에 맞게 측정 위치를 미리 결정하여 검사하는 용도로만 한정 사용되었다.
위의 예보다 더욱 발전된 자동 스캐닝 방법으로, 스캔할 임의의 대상물에 대하여 스캐너가 움직여야 할 경로를 수학적인 계산을 통하여 지능적으로 산출해 내려는 시도가 있었다. 그러나 이러한 방법은 자유로운 형상으로 표현된 물체의 스캔된 형상에 대한 곡면의 완성도를 평가하는 방식으로 이루어지는 바, 기계부품이나 조립체의 구성품 스캐닝과 같은 산업적으로 사용되는 스캐닝에는 적용되기 어려운 문제가 있다.
또한, 기계 부품의 특징적인 형상까지 고려하여 스캔된 물체의 특징적인형상을 인식하거나 이를 캐드 모델로 변형하려는 시도가 있었으나, 이러한 시도는 결과물의 완성도가 스캔이 완료되었다고 판단할 수 있을 정도로 완전한 스캔 결과물에 대하여 특징적인 형상을 인식하는 방식을 취하고 있어, 스캐닝 과정에서는 활용될 수 없는 문제점이 있다.
즉, 종래의 자동 스캐닝 기술은 대상물의 스캔을 자동화하기 위하여 스캐닝 경로를 지능적으로 생성하는 방법에 집중하여 물체를 미리 정의된 경로를 따라 스캔하여 물체의 형상을 어느 정도 파악한 후, 스캔된 결과물을 평가해 가면서 스캔 품질을 향상시키는 데에 집중하고 있다.
이러한 종래의 자동 스캐닝 방법은 스캐닝 결과물이 포인트 클라우드 또는 삼각망으로 이루어진 일반적인 형상의 품질을 향상시키는 데에 적합하나, 기계 부품과 같이 가공 및 생산에 특화된 특징형상의 조합으로 이루어진 캐드 모델의 형태로 변형하기 어려운 문제가 있다.
상기와 같은 자동 스캐닝 시스템의 결과물을 캐드(CAD) 모델의 평가, 분류, 검색, 보완 등에 활용하기 위해서는 정합된 스캔 데이터를 인식하는 소프트웨어 등을 사용하여 CAD 모델로 변형시키거나, 사람이 수동으로 직접 모델링을 하여서 CAD 모델로 만드는 역설계를 통하여 자동 스캔된 정보를 CAD 모델로 만들기도 한다. 그러나 이는 어디까지나 역설계를 통한 제조를 위하여 필연적으로 진행하는 과정일 뿐, 자동화된 스캐닝을 통한 결과물이 아니다.
특히 종래의 자동 스캐닝 방법들은 기계 부품의 특징 형상을 고려하지 않고 일반적인 수학적 표현에 의한 스캔된 형상의 품질 평가를 수행하기 때문에 스캐닝이 원천적으로 불가능한 형상에 대한 고려를 하지 않고 있다. 예를 들어 스캐너가 스캔할 수 있는 형상보다 좁은 구멍이나 틈은 스캐너가 원천적으로 스캔하는 것이 불가능함에도 불구하고 종래의 스캐닝 시스템으로는 이러한 부분을 판단할 수 없으며, 불완전한 형태로 자동 스캐닝을 시도할 수 밖에 없으며, 생산에 관여하는 특징 형상에 대한 예측이 불가능하여 특정 분야의 기계 부품에 특화된 정보를 활용하는 것이 불가능하다.
본 발명이 이루고자 하는 주된 기술적 과제는, 3차원 스캐너를 활용하여 기계 부품 등의 캐드 모델을 스캔할 때, 프리미티브 피팅을 활용하여 형상을 예측함으로써 최적화된 스캐너의 위치를 설정하여 데이터를 획득하고, 피팅된 프리미티브를 바탕으로 한 부가 정보를 생성하여 스캔의 완료 시점을 알려주는 등의 전체 스캐닝 과정들을 자동화한 3차원 자동 스캔 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는, 기계부품의 특징 형상을 이용하여 스캐닝되는 대상물의 부분적인 스캐닝 과정에서부터 형상을 인식하여, 자동 스캐닝 과정에서 스캐너가 스캔할 위치를 선정하는 과정에서 기계부품의 형상을 완성해 나갈 수 있도록 하고, 특징 형상을 인식한 결과를 스캔의 결과물과 함께 출력하여 최종 스캐닝 결과물이 스캐너로부터 얻은 포인트 클라우드 또는 삼각망의 정보인 형상 정보 뿐만 아니라, 인식된 특징 형상 정보를 포함하여 역설계의 결과물로 활용할 수 있도록 하는 3차원 자동 스캔 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는, 특정 부품 대상군에 특화된 특징형상을 고려한 3차원 스캐닝을 위해, 특징 형상이 포함된 대상군의 캐드 모델을 검색하고 분류하거나 스캔 데이터를 이용할 ?에 신경망 학습 정보를 이용하여 특징 형상의 인식 성능을 향상시킬 수 있도록 하는 3차원 자동 스캔 시스템 및 방법을 제공하는 것이다.
상술한 기술적 과제를 해결하기 위해, 본 발명의 일 실시예는, 기설정된 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득하는 스캔 데이터 획득부, 상기 3차원 스캔 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 상기 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하는 형상 인식부, 그리고, 상기 3차원 스캔 데이터와 특징 형상 정보를 토대로 예측되는 상기 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성하는 모델 생성부를 포함하는 3차원 자동 스캔 시스템을 제공한다.
본 실시예에 있어서, 상기 3차원 모델을 이용하여, 상기 스캐너가, 상기 기설정된 위치와 다른 위치에서 스캐닝 중인 상기 대상물의 3차원 스캔 데이터를 획득하도록 상기 스캐너의 위치를 제어하는 위치 제어부를 더 포함할 수 있다.
본 실시예에 있어서, 상기 스캔 데이터 획득부는, 상기 기설정된 위치에서 상기 스캐너가 스캐닝 중인 상기 대상물의 3차원 스캔 데이터와 상기 기설정된 위치와 다른 위치에서 상기 스캐너가 스캐닝 중인 상기 대상물의 3차원 스캔 데이터를 획득하고, 상기 형상 인식부는, 상기 스캔 데이터 획득부가 획득한 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 상기 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하며, 상기 모델 생성부는, 상기 스캔 데이터 획득부가 획득한 데이터와 상기 형상 인식부가 인식한 특징 형상 정보를 토대로 예측되는 상기 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성할 수 있다.
본 실시예에 있어서, 상기 3차원 모델에서 상기 스캔 데이터 획득부가 획득한 데이터에 따른 상기 대상물의 형상과 상기 형상 인식부가 인식한 특징 형상 정보에 따른 상기 특징 형상들의 관계를 분석하여 상기 대상물의 스캔 완료 여부를 판단하는 스캔 완성도 평가부를 더 포함할 수 있다.
본 실시예에 있어서, 상기 형상 인식부가 상기 3차원 스캔 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 상기 특징 형상 정보는 상기 대상물이 포함하는 평면, 원형, 원통, 원뿔, 구 및 토러스 중 적어도 어느 하나 이상의 형상 정보를 포함할 수 있다.
본 실시예에 있어서, 상기 대상물 및 상기 특징 형상 정보 중 적어도 어느 하나 이상에 대응되는 물체의 형상 정보가 저장된 데이터베이스를 더 포함할 수 있다.
본 실시예에 있어서, 상기 데이터베이스는, 상기 스캔 데이터 획득부가 획득한 데이터, 상기 형상 인식부가 획득한 정보 및 상기 모델 생성부가 생성한 3차원 모델을 저장하고, 상기 데이터베이스는, 기 저장된 상기 스캔 데이터 획득부가 획득한 데이터, 상기 형상 인식부가 획득한 정보, 상기 모델 생성부가 생성한 3차원 모델, 그리고, 기 저장된 상기 대상물 및 상기 특징 형상 정보 중 적어도 어느 하나 이상에 대응되는 물체의 형상 정보를 이용하여 인공 신경망 학습을 수행함에 따라 생성되는 새로운 데이터를 저장하며, 상기 3차원 자동 스캔 시스템은 상기 대상물을 스캐닝하여 상기 대상물의 3차원 모델을 생성할 때 상기 데이터베이스에 저장된 데이터를 이용할 수 있다.
또한, 상술한 기술적 과제를 해결하기 위해, 본 발명의 다른 실시예는, 3차원 자동 스캔 시스템을 이용한 3차원 자동 스캔 방법으로서, i) 상기 3차원 자동 스캔 시스템이, 기설정된 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득하는 단계, ii) 상기 3차원 자동 스캔 시스템이, 상기 3차원 스캔 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 상기 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하는 단계 및 iii) 상기 3차원 자동 스캔 시스템이, 상기 3차원 스캔 데이터와 특징 형상 정보를 토대로 예측되는 상기 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성하는 단계를 포함하는 3차원 자동 스캔 방법을 제공한다.
본 실시예에 있어서, iv) 상기 3차원 자동 스캔 시스템이, 상기 3차원 모델을 이용하여, 상기 스캐너가, 상기 기설정된 위치와 다른 위치에서 스캐닝 중인 상기 대상물의 3차원 스캔 데이터를 획득하도록 상기 스캐너의 위치를 제어하는 단계를 더 포함할 수 있다.
본 실시예에 있어서, 상기 i) 단계는, 상기 3차원 자동 스캔 시스템이, 상기 기설정된 위치에서 상기 스캐너가 스캐닝 중인 상기 대상물의 3차원 스캔 데이터와 상기 기설정된 위치와 다른 위치에서 상기 스캐너가 스캐닝 중인 상기 대상물의 3차원 스캔 데이터를 획득하는 과정을 포함하고, 상기 ii) 단계는, 상기 3차원 자동 스캔 시스템이, 상기 i) 단계에 따라 획득한 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 상기 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하는 과정을 포함하며, 상기 iii) 단계는, 상기 3차원 자동 스캔 시스템이, 상기 i) 단계에 따라 획득한 데이터와 상기 ii) 단계에 따라 인식한 특징 형상 정보를 토대로 예측되는 상기 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성하는 과정을 포함할 수 있다.
본 실시예에 있어서, v) 상기 3차원 자동 스캔 시스템이, 상기 3차원 모델에서 상기 i) 단계에 따라 획득한 데이터에 따른 상기 대상물의 형상과 상기 ii) 단계에 따라 인식한 특징 형상 정보에 따른 상기 특징 형상들의 관계를 분석하여 상기 대상물의 스캔 완료 여부를 판단하는 단계를 더 포함할 수 있다.
본 실시예에 있어서, 상기 3차원 자동 스캔 시스템이, 상기 3차원 스캔 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 상기 특징 형상 정보는 상기 대상물이 포함하는 평면, 원형, 원통, 원뿔, 구 및 토러스 중 적어도 어느 하나 이상의 형상 정보를 포함할 수 있다.
본 실시예에 있어서, 상기 ii) 단계는, 상기 3차원 스캔 데이터로부터 인식되는 특징 형상의 크기를 상기 스캐너의 기설정된 스캔 범위와 비교하고 인식되는 특징 형상을 상기 3차원 스캔 데이터와 매칭하는 과정을 포함하고, 상기 iv) 단계는, 상기 스캐너의 기설정된 스캔 범위와 상기 3차원 스캔 데이터 및 특징 형상 정보를 토대로 상기 스캐너가 스캔 불가 영역을 회피하도록 상기 스캐너의 위치를 제어하는 과정을 포함할 수 있다.
본 발명에 따르면, 프리미티브를 활용하여 캐드 모델의 형상을 예측하여 최적화된 스캔 경로를 설정하고 활용에 편리한 형태로 생성해낼 수 있다.
또한, 본 발명에 따르면, 프리미티브를 활용하여 스캔하려는 모델의 모양을 활용하여 예측하고 예측 불가능한 부분을 중심으로 추가 측정을 하도록 할 수 있다.
또한, 본 발명에 따르면, 프리미티브를 활용하여 캐드 모델의 형상을 예측함으로써, 스캐너의 위치를 최적하여 하여 모델을 생성할 때의 오류를 최소화할 수 있으며, 스캔 횟수 및 시간을 줄일 수 있다.
이와 같이, 본 발명에 따르면, 역설계를 위한 부품의 3차원 스캐닝 과정을 자동화하고 역설계에 필요한 CAD 모델을 생성할 때 수작업으로 인한 품질 편차 및 예측 불가능한 종래의 문제를 가능하도록 할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 자동 스캔 시스템의 구성을 도시한 블록도이다.
도 2 및 도 3은 본 발명의 일 실시예에 적용 가능한 프리미티브 피팅 및 스캐너의 위치 제어 방식의 흐름을 구체적으로 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 획득되는 데이터의 신뢰도를 계산하는 방법의 예를 나타난 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 3차원 스캔 데이터에서 프리미티브 피팅을 수행하는 과정의 일 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 획득되는 데이터의 완전함을 테스트하는 과정을 구체적으로 설명하기 위해 도시한 도면이다.
도 8는 본 발명의 일 실시예에 따른 스캐너의 경로(path) 생성 알고리즘을 설명하기 위해 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 3차원 자동 스캔 방법의 절차를 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있고, 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 “포함(구비 또는 마련)”할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함하며, 분산되어 실시되는 구성요소들은 특별한 제한이 있지 않는 한 결합된 형태로 실시될 수도 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 자동 스캔 시스템(이하, “3차원 자동 스캔 시스템(100)”이라 함)의 구성을 도시한 블록도이다.
도 1을 참조하면, 3차원 자동 스캔 시스템(100)은 스캔 데이터 획득부(110), 형상 인식부(120), 모델 생성부(130)를 포함하며, 위치 제어부(140), 스캔 완성도 평가부(150) 및 데이터베이스(160)를 더 포함할 수 있다.
스캔 데이터 획득부(110)는 기설정된 위치 또는 경로에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득한다.
형상 인식부(120)는 상기 3차원 스캔 데이터를 이용하여 프리미티브 피팅(primitive fitting)을 수행함에 따라 인식되는 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득한다. 형상 인식부(120)가 3차원 스캔 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 특징 형상 정보는 대상물이 포함하는 평면, 원형, 원통, 원뿔, 구 및 토러스(torus) 중 적어도 어느 하나 이상의 형상 정보를 포함할 수 있다.
모델 생성부(130)는 상기 3차원 스캔 데이터와 특징 형상 정보를 토대로 예측되는 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성한다.
위치 제어부(140)는 상기 3차원 모델을 이용하여 스캐너가 기설정된 위치와 다른 위치에서 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득하도록 스캐너의 위치 또는 경로를 제어한다.
스캐너가 기설정된 위치에서 대상물을 스캐닝한 후 위치 제어부(140)에 의해 상기 기설정된 위치와 다른 위치에서 같은 대상물을 스캐닝한 경우, 스캔 데이터 획득부(110)는, 상기 기설정된 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터와 상기 기설정된 위치와 다른 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득한다. 또한, 형상 인식부(120)는, 스캔 데이터 획득부(110)가 획득한 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하며, 모델 생성부(130)는, 스캔 데이터 획득부(110)가 획득한 데이터와 형상 인식부(120)가 인식한 특징 형상 정보를 토대로 예측되는 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성한다.
스캐너의 1차 스캐닝에 따라 생성된 대상물의 3차원 스캔 데이터, 특징 형상 정보 및 3차원 모델을 토대로 대상물의 2차 스캐닝을 위해 위치 제어부(140)는 스캐너의 위치를 조정한다. 이 때, 3차원 스캔 데이터, 특징 형상 정보 및 3차원 모델이 참고되어 스캐너가 스캔하지 못한 대상물의 영역을 스캔하도록 위치 제어부(140)는 스캐너의 위치를 조정할 수 있다.
또한, 형상 인식부(120)는, 3차원 스캔 데이터로부터 인식되는 특징 형상의 크기를 스캐너의 기설정된 스캔 범위와 비교하고 인식되는 특징 형상을 3차원 스캔 데이터와 매칭하며, 위치 제어부(140)는, 스캐너의 기설정된 스캔 범위와 3차원 스캔 데이터 및 특징 형상 정보를 토대로 스캐너가 스캔 불가 영역을 회피하도록 스캐너의 위치를 제어할 수 있다.
스캔 완성도 평가부(150)는 상기 3차원 모델에서 스캔 데이터 획득부(110)가 획득한 데이터에 따른 대상물의 형상과 형상 인식부(120)가 인식한 특징 형상 정보에 따른 특징 형상들의 관계를 분석하여 대상물의 스캔 완료 여부를 판단한다.
데이터베이스(160)는 대상물 및 특징 형상 정보 중 적어도 어느 하나 이상에 대응되는 물체의 형상 정보를 저장하며, 스캔 데이터 획득부(110)가 획득한 데이터, 형상 인식부(120)가 획득한 정보 및 모델 생성부(130)가 생성한 3차원 모델을 저장할 수 있다.
또한, 데이터베이스(160)는, 기 저장된 스캔 데이터 획득부(110)가 획득한 데이터, 형상 인식부(120)가 획득한 정보, 모델 생성부(130)가 생성한 3차원 모델, 그리고, 기 저장된 대상물 및 특징 형상 정보 중 적어도 어느 하나 이상에 대응되는 물체의 형상 정보를 이용하여 인공 신경망 학습을 수행함에 따라 생성되는 새로운 데이터를 저장하며, 이때, 3차원 자동 스캔 시스템(100)은 대상물을 스캐닝하여 대상물의 3차원 모델을 생성할 때 데이터베이스(160)에 저장된 데이터를 이용할 수 있다. 이러한 인공 신경망 학습을 이용하여 3차원 자동 스캔 시스템(100)의 신뢰도를 증대시킬 수 있다.
이와 같이, 3차원 자동 스캔 시스템(100)은 프리미티브를 활용하여 캐드 모델의 형상을 예측하여 최적화된 스캔 경로를 설정하고 활용에 편리한 형태로 생성해낼 수 있고, 프리미티브를 활용하여 스캔하려는 모델의 모양을 활용하여 예측하고 예측 불가능한 부분을 중심으로 추가 측정을 하도록 할 수 있다. 또한, 3차원 자동 스캔 시스템(100)은 프리미티브를 활용하여 캐드 모델의 형상을 예측함으로써, 스캐너의 위치를 최적하여 하여 모델을 생성할 때의 오류를 최소화할 수 있고, 스캔 횟수 및 시간을 줄일 수 있으며, 역설계를 위한 부품의 3차원 스캐닝 과정을 자동화하고 역설계에 필요한 CAD 모델을 생성할 때 수작업으로 인한 품질 편차 및 예측 불가능한 종래의 문제를 가능하도록 할 수 있다.
이하에서는, 도 2 내지 도 8을 참조하여, 상술한 3차원 자동 스캔 시스템(100)에 적용되는 프리미티브 피팅에 대해 더욱 상세하게 설명하도록 한다. 그러나, 반드시 아래 설명에 따라 프리미티브 피팅의 범위가 제한되는 것은 아니며, 아래 설명은 상술한 3차원 자동 스캔 시스템(100)의 다양한 실시예 및 구현예들 중 하나로 이해되어야 한다.
도 2 및 도 3은 본 발명의 일 실시예에 적용 가능한 프리미티브 피팅 및 스캐너의 위치 제어 방식의 흐름을 구체적으로 설명하기 위해 도시한 도면이다.
도 2 및 도 3을 참조하면, 스캐너를 통해 특정 물체를 스캔함에 있어서, 3차원 자동 스캔 시스템(100)은 스캔된 영역에서 검출된 프리미티브 정보에 따라 스캔의 신뢰도를 예측하고, 일부 유추한 형태를 검출된 프리미티브에 맞게 변형(도 2)하거나 연장(도 3)할 수도 있다. 또한, 3차원 자동 스캔 시스템(100)은 예측된 스캔의 불확실성 및 현재 유추한 형태를 바탕으로 다음 스캐너의 위치를 조정할 수 있다.
도 2에 도시된 바와 같이, 3차원 자동 스캔 시스템(100)은 스캐너가 획득한 대상물의 3차원 스캔 데이터인 예측 모델에서 프리미티브 인식 후 검출된 프리미티브를 활용하여 포아송 복원(poisson reconstruction)을 통해 예측한 모델을 변형하거나, 혹은 변형하지 않을 수 있다. 변형된 모델과 변형되지 않은 모델 두 케이스 모두 모델 표면의 모든 위치에 대하여 검출된 프리미티브에 근접함(Euclidean Distance)을 기준으로 컨피던스(신뢰도, confidence)를 부여할 수 있다. 기존 방법의 연속성(Smoothness)과 그래디언트 컨피던스(신뢰도 기울기, Gradient Confidence)를 측정하여 프리미티브 기반으로 측정된 컨피던스(confidence)와 곱하여 최종 컨피던스 맵 (confidence map)를 생성할 수 있다.
도 3을 참조하여, 3차원 자동 스캔 시스템(100)이 프리미티브 검출(detection)을 사용하여 NBV계산에 영향을 주는 방법의 일 예를 설명하면, 3차원 자동 스캔 시스템(100)은 지금까지 스캔된 방향 및 스캐너 뷰 프러스텀(view frustum)을 활용하여 기존의 스캔 데이터에서 더 연장되는 부분을 예측한다. 3차원 자동 스캔 시스템(100)은 뷰 프러스텀(View frustum) 범위 내에서 스캔된 영역이 끊긴 경우 실제 형상의 면이 그곳에서 끝나거나 꺾어진 것으로 판단하여 가장 외각으로 바라본 뷰(view)에 맞게 꺾어지게 점군을 연장한다. 3차원 자동 스캔 시스템(100)은 뷰 프러스텀(View frustum)에 의하여 스캔된 영역이 끊긴 경우는 스캔된 영역이 형성하는 프리미티브 형상대로 영역을 연장한다. 3차원 자동 스캔 시스템(100)은 연장된 스캔 영역을 대상으로 포아송 복원(Poisson Reconstruction)을 진행하여 예측 모델을 생성한다. 그 후에 3차원 자동 스캔 시스템(100)은 도 2를 참조하여 설명한 과정과 동일한 과정을 수행한다.
즉, 3차원 자동 스캔 시스템(100)은 예측 모델에서 프리미티브인식 후 검출된 프리미티브를 활용하여 포아송 복원(poisson reconstruction)을 통해 예측한 모델을 변형하거나, 혹은 변형하지 않는다. 변형된 모델과 변형되지 않은 모델 두 케이스 모두 모델 표면의 모든 위치에 대하여 검출된 프리미티브에 근접함(Euclidean Distance)을 기준으로 컨피던스(confidence)를 부여한다. 기존 방법의 연속성(Smoothness)과 그래디언트 컨피던스(Gradient Confidence)를 측정하여 프리미티브 기반으로 측정된 컨피던스(confidence)와 곱하여 최종 컨피던스 맵 (confidence map)를 생성한다.
도 4는 본 발명의 일 실시예에 따라 획득되는 데이터의 신뢰도를 계산하는 방법의 예를 나타난 도면이다.
종래에는 스캔된 데이터의 경우 스캔 점의 밀도나 연속성(smoothness)등을 활용하여 신뢰도를 예측하였다. 다시 말해, 기존의 프리미티브 검출의 방법을 설명하면, 기존의 프리미티브 검출은 스캔 작업이 완료된 데이터로부터 형상 인식을 하고자 제안된 방법으로 플로우차트 상에서 불완전한(partial) 스캔 데이터를 위해 추가한 초반 면 분할(partition surfaces)을 제외한 이후부터의 단계들로 구성되었다. 입력 모델(Input model)로부터 일정한 간격을 지닌 포인트(point)를 샘플링(sampling)하고, 샘플링(sampling)된 포인트(point)들이 지닌 법선 벡터(normal vector)을 이용하여 평면(plane), 실린더(cylinder) 및 콘(cone)과 같은 회전체의 오리엔테이션(orientation)을 유추한다. 유추된 오리엔테이션(방향, orientation)을 이용하여 평행인 노멀(법선, normal)을 지닌 포인트(point)들의 집합, 평면(plane)을 감지하고, 수직에 가까운 노멀(normal)을 지닌 포인트(point)들로부터는 원(circle)을 감지하여 감지된 슬라이스 원(circle)의 중심(center), 반경(radius)의 변화에 따라 회전체를 구분한다. 형상 추측이 완료되면 형상들에 속한 포인트(point)들 기반 형상을 정의하는 최적의 파라미터(parameter)를 구하며 여기에 입력 모델(input model)에서 패치 기반(patch-based) 과분할(over-segmentation)한 결과를 반영해 최적화된 형상에 포함될 수 있는 포인트들을 탐색한다
이와 달리, 3차원 자동 스캔 시스템(100)은 이에 추가적으로 프리미티브 정보를 활용하여, 프리미티브로 잘 설명되는 부분은 그에 맞게 신뢰도를 증가시킨 뒤 다음 스캔 자세 위치 제어에 활용할 수 있다.
도 4를 참조하여, 3차원 자동 스캔 시스템(100)이 프리미티브를 반영한 컨피던스(confidence)를 계산하는 방법의 일 예를 설명하면, 3차원 자동 스캔 시스템(100)은 검출된 프리미티브의 모델과 실제 표면 간의 서로 상응하는 지점에 대하여 노멀(normal), 거리 오차(distance error)를 계산하여 해당 지점(iso point)의 컨피던스(confidence)를 계산한다. 3차원 자동 스캔 시스템(100)은 프리미티브가 검출되어 변형된 영역은 변형된 영역과 변형되기 전 영역에 일치하는 포인트(corresponding point)들 간의 노멀(normal), 거리 오차(distance error)를 계산하고 프리미티브가 검출되지 않은 영역에 대해서는 영역내 지점(iso point)의 컨피던스(confidence)를 계산하기 위해 지점에서 검출된 프리미티브 영역의 점들 중 가장 가까운 점과 비교하여 노멀(normal), 거리 오차(distance error)를 계산한다. 3차원 자동 스캔 시스템(100)은 계산된 노멀(normal), 거리 오차(distance error)를 0~1사의 값으로 정규화(normalize)하고 프리미티브 기반의 컨피던스(confidence)값으로 사용한다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 3차원 스캔 데이터에서 프리미티브 피팅을 수행하는 과정의 일 예를 도시한 도면이다.
3차원 자동 스캔 시스템(100)은 상기한 기존 방법에 비해 이미 스캔 데이터가 존재하는 부분의 측정값에 우선순위를 두고, 작은 이웃(neighborhood, 도 5) 단위로 묶음으로써 밀도가 낮은 측정값에서도 보다 안정적으로 프리미티브 추정이 가능하게 할 수 있다.
도 5를 참조하여 3차원 자동 스캔 시스템(100)이 프리미티브를 검출할 때 스캔 포인트(scan point)의 위치에 강인하게 조정하는 방법의 일 예를 설명하면, 3차원 자동 스캔 시스템(100)은 우선 근사 표면(approximate surface)을 추출하여 예상 프리미티브를 검출(detect)한 뒤, 스캔 포인트(scan point)와 겹쳐지는 영역에 있는 샘플링 포인트(sampling point)를 사용하여 파라미터(parameter)를 조정하고, 조정된 프리미티브를 활용한다. 3차원 자동 스캔 시스템(100)은 형상으로 라벨링(labeling)된 영역에서부터 연결된 면(face)을 따라 순차적으로 확산해가며 거리(distance) 및 노멀(normal)이 유사한 라벨화되지 않은 포인트(unlabeled point)들을 포함시킨다. 이로써, 3차원 자동 스캔 시스템(100)은 프리미티브를 검출하는 단계에서는 균일한(uniform) 샘플(sample)을 활용할 수 있는 한편, 예상한 표면(surface)의 에러로 인한 효과는 두 번째 튜닝(tuning) 단계에서 감소시키는 효과가 있어, 불완전하고 노이즈가 많은 데이터에서도 프리미티브를 검출할 수 있다.
도 6을 참조하면, 3차원 자동 스캔 시스템(100)은 프리미티브를 검출할 때 스캔 포인트(scan point)를 작은 패치(patch) 단위로 쪼갠 정보를 활용한다. 3차원 자동 스캔 시스템(100)은 스캔 포인트(scan point)와 겹쳐지는 영역의 샘플화된 포인트(Sampled point)들을 노멀(normal) 기준으로 그룹화 한 뒤, 각 그룹에서 랜덤으로 시드(seed)를 선택하여 연결된 면(face) 중 유사한 노멀(normal)을 지닌 경우 패치(patch)를 확산해간다. 이 과정은 주어진 반복(iteration) 횟수 또는 패치(patch)에 포함되지 않은 포인트가 설정한 값 이하 일 때까지 반복된다. 각 패치(patch)는 유사한 face normal을 지닌 연결된 면들의 묶음이며 이는 프리미티브 검출에서 프리미티브 파라미터(parameter) 최적화 이후 라벨화된 포인트가 속한 패치의 포인트들을 바로 포함시킬 수 있도록 도와주며 확산(extension) 단계에서 프리미티브 영역을 확산시키는 과정에 면(face)의 커넥션(connection)을 이용함으로써 거리(distance)와 노멀(normal)만 유사하지만 프리미티브로부터 동떨어져 있는 포인트(point)를 포함시키는 오류를 피할 수 있으며 패치(patch) 단위로 확산함으로써 계산과정을 줄일 수 있다.
도 7은 본 발명의 일 실시예에 따라 획득되는 데이터의 완전함을 테스트하는 과정을 구체적으로 설명하기 위해 도시한 도면이다.
본 실시예에 따르면, 3차원 자동 스캔 시스템(100)은 프리미티브 피팅(primitive fitting)을 통해 유추된 부분과 주위 형상과의 관계를 고려하여 특정 물체의 스캔 데이터의 완전함을 테스트할 수 있다.
기존의 스캔 방법은 점의 밀도 및 변화 정도 등으로 파악하였으나, 스캐너로 측정하기 어려운 부분이나, 서로 다른 프리미티브가 맞닿아 변화가 급격한 부분을 필요 이상으로 스캔하는 문제점이 발생할 수 있으나, 프리미티브로 이루어진 캐드 모델의 경우, 각각의 프리미티브의 경계면이 완전하게 확인되었는지 여부로 완전함을 판단할 수 있다. 이를 고려하여, 3차원 자동 스캔 시스템(100)은 여러 프리미티브가 인식되었을 때, 서로 맞닿은 프리미티브의 경계 부분이 있는 경우, 각각의 프리미티브는 그쪽 방향으로는 스캔이 완료되었다고 파악한다. 예를 들어 상자를 스캔할 때 두 평면이 맞닿은 선이 존재한다면, 그 쪽으로는 평면이 더 이상 연장되지 않는다고 판단할 수 있다.
도 7을 참조하여 3차원 자동 스캔 시스템(100)이 프리미티브를 검출할 때, 경계선의 정보를 활용하는 예를 참조하면, 3차원 자동 스캔 시스템(100)은 이미 검출된 프리미티브의 경계선 정보를 활용하여 보이지 않거나 잘 검출되지 않는 프리미티브를 파악하고, 이들의 검출 확률을 높인다. 예를 들어, 3차원 자동 스캔 시스템(100)은 평면이 검출된 경우, 평면의 경계선에 해당되는 부분이 직선으로 인식되면 그 옆에 다른 평면이 존재할 가능성이 높다고 보고, 원이 인식되면 원통이 존재할 가능성이 높다고 본다. 원통이 검출된 경우, 수평인 다른 원통이나 수직인 평면을 예측할 수 있다. 이와 같은 예측 정보를 바탕으로, 3차원 스캐너가 해당 부위를 측정할 때 가장 중요한 부분을 측정할 수 있도록 다음 위치를 최적화하는 데에 사용할 수 있다. 3차원 자동 스캔 시스템(100)을 이용한 자동 스캔 방법은 예측 정보를 확인하거나 측정이 불가능한 경우 다른 부분을 측정할 수 있도록 하는 등의 단계를 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 스캐너의 경로(path) 생성 알고리즘을 설명하기 위해 도시한 도면이다.
물체가 부드러운 곡면으로 이루어졌다고 가정한 기존의 스캔 방법은 점 사이의 간격이 지나치게 넓거나, 점의 연속성(smoothness)이 낮고 거친 표면으로 된 부분에 더 자세한 측정이 필요하며, 이에 따라 포아송 에너지 함수(Poisson energy function) 등을 활용하여 점의 분포도 및 분포 모양을 수학적으로 표현하고, 주위에 비해 값이 높거나 낮은 영역을 중심으로 스캐너의 측정을 유도한다.
이에 비해, 3차원 자동 스캔 시스템(100)은 프리미티브를 인식하여, 이들로 설명될 수 있는 부분의 경우 추가적인 스캔을 필요로 하지 않는다. 예컨대, 3차원 자동 스캔 시스템(100)은 프리미티브의 경계면의 경우 부드럽게 연결되지 않아도 추가 스캔을 요구하지 않는다.
또한, 3차원 자동 스캔 시스템(100)은 보이지 않는 부분의 프리미티브의 경우, 추론을 통해 채워나가며, 이를 확인하는 수준 (유추한 프리미티브의 존재 유/무 및 경계선 위주의 완전함(completeness) 확인)으로 스캔을 획득한다.
3차원 자동 스캔 시스템(100)은 인식한 프리미티브 및 그들과의 관계 (맞닿아 있는 프리미티브들, 같은 노멀(normal)이나 축(axis)을 가진 것들)가 같은 모델끼리 그룹화가 가능하다,
3차원 자동 스캔 시스템(100)은 인식된 프리미티브를 중심으로, 같은 프리미티브로 이루어졌지만, 파라미터(parameter)만 다르거나, 파라미터(parameter)는 유사하지만 인식된 프리미티브의 수가 다른 것끼리 묶을 수도 있다.
이를 통해 3차원 자동 스캔 시스템(100)은 일부만 스캔되었을 때에도 관련 있는 다른 데이터베이스를 활용하여 아직 인식되지 않은 프리미티브를 중심으로 필요 정보를 제공하는 형식으로 확장 가능하다.
예를 들어, 3차원 자동 스캔 시스템(100)은 서로 나란히 있는 실린더가 3개 있는 엔진 부품끼리 묶고, 세 개의 실린더가 인식되면 데이터베이스로부터 비슷한 모델을 찾아 스캔을 획득하는 데에 도움을 줄 수 있다.
본 발명에 따르면, 프리미티브 피팅을 활용하여 보이지 않는 부분의 형상을 유추함으로써, 필연적으로 발생하는 빈 공간을 채우면서 스캔 횟수를 줄이고, 완성도를 높다. 또한, 스캔하면서 기본 단위 개체와 그들 사이의 관계도 함께 얻어낼 수 있다. 본 발명은 단위 개체로 이루어진 캐드(CAD)모델과 관련한 기계 부품, 가구 등에 응용될 수 있으며, 찾아낸 단위 개체를 효율적인 DB생성에 활용 가능하다.
도 8을 참조하여 3차원 자동 스캔 시스템(100)이 프리미티브 검출 및 경계선 정보를 활용하여 스캐너의 위치를 생성하는 예를 설명하면, 기존의 스캔의 완성도 파악은 측정 점의 밀도와 변화 정도로 주어졌으나, 3차원 자동 스캔 시스템(100)과 같이 프리미티브 인식을 추가하면, 그 경계선이 완전하게 인식되었는지 여부를 추가하여 다음 스캔의 위치를 설정하거나 스캔의 완성도를 파악하는 데에 활용할 수 있다.
이외에도, 3차원 자동 스캔 시스템(100)에는 불완전한 스캔에 특화된 형상 인식 과정, 인식된 형상을 바탕으로 하는 스캐너 위치 제안, 그리고 인식된 정보를 바탕으로 스캔 데이터를 활용하는 방법 등의 다양하고 새로운 알고리즘이 적용될 수 있음은 물론이다.
도 9는 본 발명의 다른 실시예에 따른 3차원 자동 스캔 방법의 절차를 도시한 흐름도이다.
본 실시예에 따른 3차원 자동 스캔 방법은 앞서 도 1 내지 도 8을 참조하여 설명한 3차원 자동 스캔 시스템(100)을 이용한 스캔 방법으로서, 하기한 3차원 자동 스캔 시스템과 상술한 3차원 자동 스캔 시스템(100)은 동일하다. 즉, 3차원 자동 스캔 시스템(100)을 이용하여 수행 가능한 기능들의 모든 절차들을 포함하도록 본 실시예에 따른 3차원 자동 스캔 방법이 구현될 수 있다. 따라서, 이하에서는 상술한 설명과 중복되는 내용은 생략하도록 한다.
도 9를 참조하면, 본 실시예에 따른 3차원 자동 스캔 방법은 3차원 자동 스캔 시스템을 이용한 3차원 자동 스캔 방법으로서, i) 3차원 자동 스캔 시스템이, 기설정된 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득하는 단계(S901), ii) 3차원 자동 스캔 시스템이, 3차원 스캔 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하는 단계(S902), 그리고, iii) 3차원 자동 스캔 시스템이, 3차원 스캔 데이터와 특징 형상 정보를 토대로 예측되는 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성하는 단계(S903)를 포함한다.
또한, 본 실시예에 따른 3차원 자동 스캔 방법은 iv) 3차원 자동 스캔 시스템이, 3차원 모델을 이용하여, 스캐너가, 기설정된 위치와 다른 위치에서 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득하도록 스캐너의 위치를 제어하는 단계(S904)와 v) 3차원 자동 스캔 시스템이, 3차원 모델에서 i) 단계에 따라 획득한 데이터에 따른 대상물의 형상과 ii) 단계에 따라 인식한 특징 형상 정보에 따른 특징 형상들의 관계를 분석하여 대상물의 스캔 완료 여부를 판단하는 단계(S905)를 더 포함할 수 있다
i) 단계(S901)는, 3차원 자동 스캔 시스템이, 기설정된 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터와 기설정된 위치와 다른 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터를 획득하는 과정을 포함할 수 있고, ii) 단계(S902)는, 3차원 자동 스캔 시스템이, i) 단계에 따라 획득한 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하는 과정을 포함할 수 있으며, iii)단계(S903)는, 3차원 자동 스캔 시스템이, i) 단계(S901)에 따라 획득한 데이터와 ii) 단계(S902)에 따라 인식한 특징 형상 정보를 토대로 예측되는 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성하는 과정을 포함할 수 있다.
또한, ii) 단계(S902)는, 3차원 스캔 데이터로부터 인식되는 특징 형상의 크기를 스캐너의 기설정된 스캔 범위와 비교하고 인식되는 특징 형상을 3차원 스캔 데이터와 매칭하는 과정을 포함하고, iv) 단계(S904)는, 스캐너의 기설정된 스캔 범위와 3차원 스캔 데이터 및 특징 형상 정보를 토대로 스캐너가 스캔 불가 영역을 회피하도록 스캐너의 위치를 제어하는 과정을 포함할 수 있다.
앞서 3차원 자동 스캔 시스템(100)의 설명과 마찬가지로, 본 실시예에 따른 3차원 자동 스캔 방법에 있어서, 3차원 자동 스캔 시스템이, 3차원 스캔 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 특징 형상 정보는 대상물이 포함하는 평면, 원형, 원통, 원뿔, 구 및 토러스 중 적어도 어느 하나 이상의 형상 정보를 포함할 수 있다.
상술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (6)

  1. 기설정된 위치에서 스캐너가 스캐닝 중인 대상물의 3차원 스캔 데이터와 상기 기설정된 위치와 다른 위치에서 상기 스캐너가 스캐닝 중인 상기 대상물의 3차원 스캔 데이터를 획득하는 스캔 데이터 획득부;
    상기 스캔 데이터 획득부가 획득한 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 상기 스캐너가 스캐닝 중인 대상물의 특징 형상 정보를 획득하는 형상 인식부;
    상기 스캔 데이터 획득부가 획득한 데이터와 상기 형상 인식부가 인식한 특징 형상 정보를 토대로 예측되는 상기 스캐너가 스캐닝 중인 대상물의 3차원 모델을 생성하는 모델 생성부; 및
    상기 3차원 모델을 이용하여 상기 스캐너가, 상기 기설정된 위치와 다른 위치에서 스캐닝 중인 상기 대상물의 3차원 스캔 데이터를 획득하도록 상기 스캐너의 위치를 제어하는 위치 제어부;를 포함하는 것을 특징으로 하는 3차원 자동 스캔 시스템으로서,
    상기 위치 제어부는,
    대상물의 3차원 스캔 데이터에서 프리미티브 인식 후 검출된 프리미티브 예측 모델(변형되지 않은 모델)과 대상물의 3차원 스캔 데이터를 활용하여 포아송 복원(poisson reconstruction)을 통해 예측한 모델(변형한 모델)에서 상기 두 모델 표면의 모든 위치에 대하여 검출된 프리미티브에 근접함(Euclidean Distance)을 기준으로 컨피던스(신뢰도, confidence)를 부여하고,
    물체가 부드러운 곡면으로 이루어졌다고 가정한 스캔 방법에 따른 점의 연속성(Smoothness)과 그래디언트 컨피던스(신뢰도 기울기, Gradient Confidence)를 측정하고,
    상기 그래디언트 컨피던스를 상기 프리미티브 기반으로 측정된 컨피던스(confidence)와 곱하여 최종 컨피던스 맵 (confidence map)를 생성하고,
    다음 스캔의 위치를 설정하는 것을 특징으로 하는 3차원 자동 스캔 시스템.
  2. 제1항에 있어서,
    상기 3차원 모델에서 상기 스캔 데이터 획득부가 획득한 데이터에 따른 상기 대상물의 형상과 상기 형상 인식부가 인식한 특징 형상 정보에 따른 상기 특징 형상들의 관계를 분석하여 상기 대상물의 스캔 완료 여부를 판단하는 스캔 완성도 평가부를 더 포함하는 것을 특징으로 하는 3차원 자동 스캔 시스템.
  3. 제1항에 있어서,
    상기 형상 인식부가 상기 3차원 스캔 데이터를 이용하여 프리미티브 피팅을 수행함에 따라 인식되는 상기 특징 형상 정보는 상기 대상물이 포함하는 평면, 원형, 원통, 원뿔, 구 및 토러스 중 적어도 어느 하나 이상의 형상 정보를 포함하는 것을 특징으로 하는 3차원 자동 스캔 시스템.
  4. 제1항에 있어서,
    상기 형상 인식부는, 상기 3차원 스캔 데이터로부터 인식되는 특징 형상의 크기를 상기 스캐너의 기설정된 스캔 범위와 비교하고 인식되는 특징 형상을 상기 3차원 스캔 데이터와 매칭하며,
    상기 위치 제어부는, 상기 스캐너의 기설정된 스캔 범위와 상기 3차원 스캔 데이터 및 특징 형상 정보를 토대로 상기 스캐너가 스캔 불가 영역을 회피하도록 상기 스캐너의 위치를 제어하는 것을 특징으로 하는 3차원 자동 스캔 시스템.
  5. 제1항에 있어서,
    상기 대상물 및 상기 특징 형상 정보 중 적어도 어느 하나 이상에 대응되는 물체의 형상 정보가 저장된 데이터베이스를 더 포함하는 것을 특징으로 하는 3차원 자동 스캔 시스템.
  6. 제5항에 있어서,
    상기 데이터베이스는, 상기 스캔 데이터 획득부가 획득한 데이터, 상기 형상 인식부가 획득한 정보 및 상기 모델 생성부가 생성한 3차원 모델을 저장하고,
    상기 데이터베이스는, 기 저장된 상기 스캔 데이터 획득부가 획득한 데이터, 상기 형상 인식부가 획득한 정보, 상기 모델 생성부가 생성한 3차원 모델, 그리고, 기 저장된 상기 대상물 및 상기 특징 형상 정보 중 적어도 어느 하나 이상에 대응되는 물체의 형상 정보를 이용하여 인공 신경망 학습을 수행함에 따라 생성되는 새로운 데이터를 저장하며,
    상기 3차원 자동 스캔 시스템은 상기 대상물을 스캐닝하여 상기 대상물의 3차원 모델을 생성할 때 상기 데이터베이스에 저장된 데이터를 이용하는 것을 특징으로 하는 3차원 자동 스캔 시스템.
KR1020210017064A 2021-02-05 2021-02-05 3차원 자동 스캔 시스템 및 방법 KR102228939B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210017064A KR102228939B1 (ko) 2021-02-05 2021-02-05 3차원 자동 스캔 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210017064A KR102228939B1 (ko) 2021-02-05 2021-02-05 3차원 자동 스캔 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190045087A Division KR20200122169A (ko) 2019-04-17 2019-04-17 3차원 자동 스캔 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210018397A KR20210018397A (ko) 2021-02-17
KR102228939B1 true KR102228939B1 (ko) 2021-03-17

Family

ID=74732067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210017064A KR102228939B1 (ko) 2021-02-05 2021-02-05 3차원 자동 스캔 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102228939B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102623248B1 (ko) 2021-03-05 2024-01-10 주식회사 메디트 데이터 처리 방법
WO2023238451A1 (ja) * 2022-06-09 2023-12-14 日産自動車株式会社 部品検査方法および部品検査装置
KR20240047180A (ko) * 2022-10-04 2024-04-12 현대자동차주식회사 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법
KR102540518B1 (ko) * 2022-11-10 2023-06-13 주식회사 스탠스 3차원 모델을 생성하는 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014145735A (ja) * 2013-01-30 2014-08-14 Nikon Corp 形状測定装置、構造物製造システム、評価装置、形状測定方法、構造物製造方法、及び形状測定プログラム
KR101493659B1 (ko) * 2014-11-18 2015-02-16 중앙대학교 산학협력단 3차원 스캐닝 데이터를 이용한 배관 모델링 방법 및 장치
JP2015194500A (ja) * 2008-10-13 2015-11-05 コー・ヤング・テクノロジー・インコーポレーテッド 3次元形状の測定方法及び測定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489566B2 (ja) * 2016-01-20 2019-03-27 三菱電機株式会社 3次元計測装置及びその計測支援処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015194500A (ja) * 2008-10-13 2015-11-05 コー・ヤング・テクノロジー・インコーポレーテッド 3次元形状の測定方法及び測定装置
JP2014145735A (ja) * 2013-01-30 2014-08-14 Nikon Corp 形状測定装置、構造物製造システム、評価装置、形状測定方法、構造物製造方法、及び形状測定プログラム
KR101493659B1 (ko) * 2014-11-18 2015-02-16 중앙대학교 산학협력단 3차원 스캐닝 데이터를 이용한 배관 모델링 방법 및 장치

Also Published As

Publication number Publication date
KR20210018397A (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
KR102228939B1 (ko) 3차원 자동 스캔 시스템 및 방법
US10885352B2 (en) Method, apparatus, and device for determining lane line on road
CN112581457B (zh) 一种基于三维点云的管道内表面检测方法及装置
US20180341836A1 (en) Neural network point cloud generation system
CN114626470B (zh) 基于多类型几何特征算子的飞机蒙皮关键特征检测方法
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
CN108008006B (zh) 一种焊缝缺陷检测方法、装置、设备及系统
JP2020098587A (ja) ワッサースタイン距離を使用する物体形状回帰
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN117372433B (zh) 厚度参数的控制方法、装置、设备及存储介质
US11519714B2 (en) Method and system for three-dimensional automatic scan based primitive
AU2020271967B2 (en) Method for determining the geometry of a defect on the basis of non-destructive measurement methods using direct inversion
CN116203970A (zh) 一种巡检机器人的智能避障方法及系统
CN117876381B (zh) 用于混凝土结构裂缝识别和分析的ai视觉检测方法和系统
US20210150078A1 (en) Reconstructing an object
CN115953604B (zh) 一种不动产地理信息测绘数据采集方法
CN112525923A (zh) 一种共享果汁平台管道内壁检测方法、系统及可读存储介质
CN117237902A (zh) 基于深度学习的机器人物体识别系统
KR20200122169A (ko) 3차원 자동 스캔 시스템 및 방법
Eastwood et al. Autonomous close-range photogrammetry using machine learning
Riffo et al. Active inspection of objects to detect possible damage and measure their volume using 3D reconstruction
US11138720B2 (en) Method for recognizing the geometry of a portion of an object
Dierenbach et al. Next-Best-View method based on consecutive evaluation of topological relations
Camous et al. Deep Networks for Point Cloud Map Validation
CN117943256B (zh) 一种自适应涂胶工艺控制方法及系统

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant