KR20220017830A - 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 - Google Patents

3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
KR20220017830A
KR20220017830A KR1020210096699A KR20210096699A KR20220017830A KR 20220017830 A KR20220017830 A KR 20220017830A KR 1020210096699 A KR1020210096699 A KR 1020210096699A KR 20210096699 A KR20210096699 A KR 20210096699A KR 20220017830 A KR20220017830 A KR 20220017830A
Authority
KR
South Korea
Prior art keywords
data
mode
point cloud
pattern light
obtaining
Prior art date
Application number
KR1020210096699A
Other languages
English (en)
Other versions
KR102534778B1 (ko
Inventor
임성빈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to PCT/KR2021/010252 priority Critical patent/WO2022031022A1/ko
Priority to EP21852597.0A priority patent/EP4194804A4/en
Priority to US18/040,560 priority patent/US20230298270A1/en
Publication of KR20220017830A publication Critical patent/KR20220017830A/ko
Application granted granted Critical
Publication of KR102534778B1 publication Critical patent/KR102534778B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 개시의 일 측면은 3차원 데이터를 획득하는 장치에 있어서, 3차원 스캐너와 통신하는 통신 인터페이스; 및 적어도 하나의 인스트럭션을 실행하여 상기 3차원 데이터를 획득하는 프로세서를 포함하고, 상기 프로세서는, 상기 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하고, 상기 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 전환하고, 상기 3차원 스캐너에 의해 상기 대상체를 스캔함으로써 제2 데이터를 획득하도록 상기 제2 모드에서 동작하고, 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.

Description

3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체{METHOD AND APPARATUS FOR OBTAINING THREE DIMENSIONAL DATA AND COMPUTER READABLE MEDIUM STORING A PROGRAM FOR PERFORMING THE SAME METHOD}
본 개시는 3차원 데이터를 획득하는 방법 및 장치에 관한 것으로, 보다 구체적으로는 3차원 스캐너를 이용하여 치아에 대한 3차원 데이터를 획득하는 방법 및 장치에 관한 것이다.
치과 치료, 특히 보철 등의 치료를 하는 데 있어 치과용 CAD/CAM(Dental Computer Aided Design/Computer Aided Manufacturing) 기술이 널리 사용되고 있다. CAD/CAM을 이용한 치과 치료에서 가장 중요한 것은 환자의 치아, 잇몸, 턱뼈 등의 대상체의 형상에 대하여 정교한 3차원 데이터를 획득하는 것이다. 치과 치료를 수행함에 있어서, 대상체로부터 획득된 3차원 데이터를 이용하면, 컴퓨터에 의하여 정확한 계산이 수행될 수 있다는 장점이 있다.
예를 들어, 치과용 CAD/CAM 치료 과정에서 대상체의 3차원 데이터를 획득하기 위해서는, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), 및 광학 스캐닝 등의 방법이 이용될 수 있다.
치과 CAD/CAM 분야에서는 광학식 3차원 스캐너가 많이 사용되고 있다. 광학식 3차원 스캐너는 대상체로부터 반사되는 빛을 이용하여 3차원 표면 형상 정보를 획득할 수 있으며, 예를 들어 치아의 인상체, 인상체에 대해서 획득된 석고 모델 또는 치아 표면의 3차원 데이터를 획득할 수 있다. 표면 데이터는, 폴리곤 메쉬 형태로 기록되고, 대상체의 표면의 정점들의 위치 정보와 각 정점들의 연결 관계 정보를 포함할 수 있다. 또는, 표면 데이터는, 포인트 클라우드 형태로 기록되고, 대상체의 표면의 정점들의 위치 정보를 포함할 수 있다.
CAD/CAM을 이용한 치과 치료가 좋은 결과를 얻기 위해서는, 대상체의 형상을 정확하게 반영한 3차원 데이터가 필요하다. 다만, 3차원 스캐너를 이용하여 치아 표면의 3차원 데이터를 획득함에 있어서, 인레이(inlay), 온레이(onlay), 크라운, 보철, 교정 장치 등의 구강 내 금속 구조물은 빛의 반사율이 높아 정확한 형상이 스캔되지 않는다는 문제가 있다.
본 개시의 일 측면은 3차원 데이터를 획득하는 장치에 있어서, 3차원 스캐너와 통신하는 통신 인터페이스; 및 적어도 하나의 인스트럭션을 실행하여 상기 3차원 데이터를 획득하는 프로세서를 포함하고, 상기 프로세서는, 상기 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하고, 상기 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 전환하고, 상기 3차원 스캐너에 의해 상기 대상체를 스캔함으로써 제2 데이터를 획득하도록 상기 제2 모드에서 동작하고, 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 프로세서는, 제1 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하고, 제2 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고, 상기 제2 타입의 패턴 광은, 포인트 패턴 광을 포함하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 모드에서 획득되는 상기 제1 데이터와 상기 제2 모드에서 획득되는 상기 제2 데이터는, 서로 다른 후-처리 방식을 통해 획득되는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 상기 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하고, 상기 제1 데이터는 상기 제1 메쉬 데이터를 포함하고, 상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 들로네 삼각화를 이용하여, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하고, 상기 제2 데이터는 상기 제2 메쉬 데이터를 포함하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 제2 포인트 클라우드 내에서 상기 대상체 상의 금속 영역에 대응하는 포인트들을 식별하고, 상기 들로네 삼각화를 이용하여 상기 식별된 포인트들을 연결하고, 상기 제2 포인트 클라우드 내에서 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결함으로써 상기 제2 메쉬 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지를 삭제하는 필터링을 더 수행하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 상기 제1 포인트 클라우드 내의 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하고, 상기 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하고, 상기 제1 데이터는 필터링이 수행된 상기 제1 메쉬 데이터를 포함하고, 상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하고, 상기 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하고, 상기 제2 데이터는 필터링이 수행된 상기 제2 메쉬 데이터를 포함하고, 상기 제2 소정 값은 상기 제1 소정 값보다 작은 것을 특징으로 하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 상기 대상체 상에 금속 영역의 존재를 감지하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 대상체 상에 금속 영역이 감지되면 상기 동작 모드를 상기 제1 모드로부터 상기 제2 모드로 자동으로 변경하도록 동작 옵션을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하는, 3차원 데이터 획득 장치를 제공할 수 있다.
본 개시의 다른 측면은 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하는 단계; 상기 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 전환하는 단계; 상기 대상체를 스캔함으로써 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는, 제1 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하는 단계를 포함하고, 상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는, 제2 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고, 상기 제2 타입의 패턴 광은, 포인트 패턴 광을 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 모드에서 획득되는 상기 제1 데이터와 상기 제2 모드에서 획득되는 상기 제2 데이터는, 서로 다른 후-처리 방식을 통해 획득되는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는, 상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하는 단계; 및 상기 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하는 단계를 포함하고, 상기 제1 데이터는 상기 제1 메쉬 데이터를 포함하고, 상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는, 상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하는 단계; 및 들로네 삼각화를 이용하여, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하는 단계를 포함하고, 상기 제2 데이터는 상기 제2 메쉬 데이터를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제2 메쉬 데이터를 획득하는 단계는, 상기 제2 포인트 클라우드 내에서 상기 대상체 상의 금속 영역에 대응하는 포인트들을 식별하는 단계; 및 상기 들로네 삼각화를 이용하여 상기 식별된 포인트들을 연결하고, 상기 제2 포인트 클라우드 내에서 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결함으로써 상기 제2 메쉬 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는, 상기 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지를 삭제하는 필터링을 수행하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는, 상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하는 단계; 상기 제1 포인트 클라우드 내의 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하는 단계; 및 상기 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하는 단계를 포함하고, 상기 제1 데이터는 필터링이 수행된 상기 제1 메쉬 데이터를 포함하고, 상기 제2 모드로 상기 제2 데이터를 획득하는 단계는, 상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하는 단계; 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하는 단계; 및 상기 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하는 단계를 포함하고, 상기 제2 데이터는 필터링이 수행된 상기 제2 메쉬 데이터를 포함하고 상기 제2 소정 값은 상기 제1 소정 값보다 작은 것을 특징으로 하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 동작 모드를 상기 제2 모드로 변경하는 단계는, 상기 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 상기 대상체 상에 금속 영역의 존재를 감지하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 대상체 상에 금속 영역이 감지되면 상기 동작 모드를 상기 제1 모드로부터 상기 제2 모드로 자동으로 변경하도록 동작 옵션을 선택하는 사용자 입력을 수신하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
본 개시의 일 측면은 대상체에 제1 타입의 패턴 광을 조사하여, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하는 단계; 상기 대상체에 제2 타입의 패턴 광을 조사하여, 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고, 상기 제2 타입의 패턴 광은, 포인트 패턴 광을 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하는 단계를 포함하고, 상기 제2 데이터를 획득하는 단계는, 상기 대상체에 상기 제2 타입의 패턴 광을 조사하는 단계; 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제2 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제2 포인트 클라우드 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터 및 상기 제2 데이터는, t 시간 당 n(n은 자연수)개의 프레임들을 스캔하는 3차원 스캐너에 의해 획득되고, 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 a(a는, n보다 작은 자연수)개 획득하는 단계를 포함하고, 상기 제2 데이터를 획득하는 단계는, 상기 대상체에 상기 제2 타입의 패턴 광을 조사하는 단계; 및 상기 제2 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 b(b는, n-a보다 작거나 같은 자연수)개 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제2 데이터를 획득하는 단계는, 상기 제2 타입의 상이한 패턴 광들이 순차적으로 조사되는 상기 대상체의 표면에 대해서, 2차원 영상을 포함하는 복수의 프레임들을 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하는 단계를 포함하고, 상기 3차원 데이터 획득 방법은, 상기 제1 타입의 패턴 광 대신에 상기 제2 타입의 패턴 광을 조사하거나, 상기 제1 타입의 패턴 광 및 상기 제2 타입의 패턴 광을 번갈아 가면서 조사할 것을 결정하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하는 단계를 포함하고, 상기 3차원 데이터 획득 방법은, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 획득된 상기 2차원 영상을 포함하는 프레임과 상기 프레임과 이웃하는 이웃 프레임 간의 차이가 임계 값 이상으로 많이 나는 경우, 상기 제1 타입의 패턴 광 대신에 상기 제2 타입의 패턴 광을 조사하거나, 상기 제1 타입의 패턴 광 및 상기 제2 타입의 패턴 광을 번갈아 가면서 조사할 것을 결정하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하는 단계를 포함하고, 상기 3차원 데이터 획득 방법은, 인공 지능 모델을 이용하여, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 획득된 상기 2차원 영상에 기초하여, 상기 제1 타입의 패턴 광 대신에 상기 제2 타입의 패턴 광을 조사하거나, 상기 제1 타입의 패턴 광 및 상기 제2 타입의 패턴 광을 번갈아 가면서 조사할 것을 결정하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제2 데이터를 획득하는 단계는, 상기 대상체에 상기 제2 타입의 적색 패턴 광을 조사하는 단계; 상기 제2 타입의 적색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 R 프레임을 획득하는 단계; 상기 대상체에 상기 제2 타입의 녹색 패턴 광을 조사하는 단계; 상기 제2 타입의 녹색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 G 프레임을 획득하는 단계; 상기 대상체에 상기 제2 타입의 청색 패턴 광을 조사하는 단계; 및 상기 제2 타입의 청색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 B 프레임을 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 청색 패턴 광을 조사하는 단계; 및 상기 제1 타입의 청색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 획득하는 단계를 포함하고, 상기 제2 데이터를 획득하는 단계는, 상기 대상체에 상기 제2 타입의 적색 패턴 광 또는 녹색 패턴 광을 조사하는 단계; 및 상기 제2 타입의 적색 패턴 광 또는 녹색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터에 포함되는 상기 대상체의 제1 형상 정보, 상기 제2 데이터에 포함되는 상기 대상체의 제2 형상 정보 및 색상 정보에 기초하여 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터에 포함되는 제1 포인트 클라우드 데이터 및 상기 제2 데이터에 포함되는 제2 포인트 클라우드 데이터를 병합함으로써, 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터 및 상기 제2 데이터의 가중치 합에 기초하여 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터의 신뢰도에 기초하여, 신뢰도가 높은 상기 대상체의 적어도 일부 영역에 대해서는 상기 제1 데이터를 이용하고, 신뢰도가 낮은 상기 대상체의 나머지 영역에 대해서는 상기 제2 데이터를 이용함으로써, 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터의 신뢰도에 기초하여, 상기 제1 데이터에 대한 가중치를 결정하는 단계; 및 상기 가중치에 기초하여 상기 제1 데이터 및 상기 제2 데이터를 병합함으로써, 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터에 포함되는 복수의 제1 포인트들 및 상기 제2 데이터에 포함되는 복수의 제2 포인트들 간의 중첩 포인트들을 결정하는 단계; 및 상기 중첩 포인트들에 대한 평균값을 이용하여 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터 및 상기 제2 데이터는, 상기 대상체에 대해서 연속적으로 프레임들을 스캔하는 3차원 스캐너에 의해 획득되고, 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터 및 상기 제2 데이터 중에서 이웃하는 프레임들과 유사도가 높은 데이터에 높은 가중치를 할당하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터에 대해서 상기 할당된 가중치를 적용한 가중치 합에 기초하여 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
본 개시의 다른 측면은 3차원 데이터를 획득하는 장치에 있어서, 디스플레이; 3차원 스캐너와 통신하는 통신 인터페이스; 및 적어도 하나의 인스트럭션을 실행하여 상기 3차원 데이터를 획득하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 3차원 스캐너에 의해 대상체에 제1 타입의 패턴 광을 조사하여, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하고, 상기 3차원 스캐너에 의해 상기 대상체에 제2 타입의 패턴 광을 조사하여, 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하고, 상기 제1 데이터 및 상기 제2 데이터에 기초하여 상기 대상체에 대한 3차원 데이터를 획득하는 것을 특징으로 하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터 및 상기 제2 데이터는, t 시간 당 n(n은 자연수)개의 프레임들을 스캔하는 상기 3차원 스캐너에 의해 획득되고, 상기 3차원 스캐너는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하고, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 a(a는, n보다 작은 자연수)개 획득하고, 상기 대상체에 상기 제2 타입의 패턴 광을 조사하고, 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 b(b는, n-a보다 작거나 같은 자연수)개 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 제1 데이터 및 상기 제2 데이터는, 상기 대상체에 대해서 연속적으로 프레임들을 스캔하는 3차원 스캐너에 의해 획득되고, 상기 3차원 스캐너는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하고, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하고, 상기 적어도 하나의 프로세서는, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하고, 상기 제1 타입의 패턴 광 대신에 상기 제2 타입의 패턴 광을 조사하거나, 상기 제1 타입의 패턴 광 및 상기 제2 타입의 패턴 광을 번갈아 가면서 조사할 것을 결정하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 3차원 스캐너는, 상기 대상체에 상기 제2 타입의 적색 패턴 광을 조사하고, 상기 제2 타입의 적색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 R 프레임을 획득하고, 상기 대상체에 상기 제2 타입의 녹색 패턴 광을 조사하고, 상기 제2 타입의 녹색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 G 프레임을 획득하고, 상기 대상체에 상기 제2 타입의 청색 패턴 광을 조사하고, 상기 제2 타입의 청색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 B 프레임을 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 적어도 하나의 프로세서는, 상기 3차원 데이터를 획득함에 있어서, 상기 제1 데이터로부터 상기 대상체의 제1 형상 정보를 추출하고, 상기 제2 데이터로부터 상기 대상체의 제2 형상 정보 및 색상 정보를 추출하고, 상기 제1 형상 정보, 상기 제2 형상 정보 및 상기 색상 정보에 기초하여 상기 3차원 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.
또한 본 개시의 일 실시 예에서 상기 적어도 하나의 프로세서는, 상기 제1 데이터에 포함되는 제1 포인트 클라우드 데이터 및 상기 제2 데이터에 포함되는 제2 포인트 클라우드 데이터를 병합함으로써, 상기 3차원 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.
본 개시의 다른 측면은 3차원 데이터 획득 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체에 있어서, 상기 3차원 데이터 획득 방법은, 대상체에 제1 타입의 패턴 광을 조사하여, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하는 단계; 상기 대상체에 제2 타입의 패턴 광을 조사하여, 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는 단계를 포함하는, 기록 매체를 제공할 수 있다.
개시된 실시 예에 따른 3차원 데이터 획득 방법은, 구강 내의 금속 구조물에 대해서도 정확한 형상을 획득할 수 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일 실시 예에 따른 3차원 데이터 획득 장치를 설명하기 위한 도면이다.
도 2는 일 실시 예에 따라 3차원 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따라 대상체에 조사되는 포인트 패턴 광을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
도 5는 일 실시 예에 따른 3차원 데이터 획득 장치가 포인트 패턴 광 및 라인 패턴 광을 이용하여 대상체에 대한 3차원 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 3차원 데이터 획득 장치가 제1 데이터 및 제2 데이터를 병합함으로써 대상체에 대한 3차원 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따라 획득되는 3차원 데이터의 예를 도시한다.
도 8은 일 실시 예에 따라 획득되는 3차원 데이터의 예를 도시한다.
도 9는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
도 10은 일 실시 예에 따라 3차원 데이터 획득 장치가 디스플레이 하는 사용자 인터페이스의 예를 도시한다.
도 11은 일 실시 예에 따라 3차원 데이터 획득 장치가 제1 모드 및 제2 모드로 대상체를 스캔하여 획득되는 3차원 데이터의 예를 도시한다.
도 12는 일 실시 예에 따라 3차원 데이터 획득 장치가 일반 영역을 스캔하여 획득되는 메쉬 데이터 및 메탈 영역을 스캔하여 획득되는 메쉬 데이터의 예를 도시한다.
도 13은 일 실시 예에 따라 3차원 데이터 획득 장치가 수행하는 들로네 삼각화를 설명하는 도면이다.
도 14는 일 실시 예에 따라 3차원 데이터 획득 장치가 메쉬 데이터에 수행하는 필터링의 예를 도시한다.
도 15는 일 실시 예에 따라 3차원 데이터 획득 장치가 메쉬 데이터에 수행하는 필터링의 예를 도시한다.
도 16은 일 실시 예에 따른 3차원 데이터 획득 장치의 블록도를 도시한다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
본 개시에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등), 대상체 상에 부착 가능하거나 대상체 내에 삽입 가능한 인공 구조물, 또는 팬텀(phantom) 등을 포함할 수 있다. 이하에서는, 대상체로서 적어도 하나의 치아를 포함하는 구강에 대한 3차원 데이터를 획득하는 경우를 예로 들어 설명하였다. 예를 들어, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 하지만 본 개시는 구강에 대한 3차원 데이터를 획득하는 경우에 제한되지 않으며, 다양한 대상체에 대한 3차원 데이터를 획득하기 위해 적용될 수 있다.
본 개시에서 '영상'은 대상체에 대한 2차원 영상 또는 대상체를 입체적으로 나타내는 3차원 모델 또는 3차원 영상이 될 수 있다. 본 개시에서 영상이란, 2차원 프레임 및 3차원 프레임을 모두 포함할 수 있다. 예를 들어, 영상은, 대상체에 대해서 서로 다른 시점에서 획득된 2차원 영상들을 포함하는 2차원 프레임, 또는 포인트 클라우드 형태 또는 폴리곤 메쉬 형태로 표현되는 3차원 프레임을 포함할 수 있다.
또한, 본 개시에서 '데이터'는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 정보, 예를 들어, 적어도 하나의 영상 센서로부터 획득된 로우 데이터(raw data)를 의미할 수 있다. 구체적으로, 로우 데이터는 대상체에 대한 3차원 데이터를 생성하기 위해서 획득되는 2차원 영상일 수 있다. 로우 데이터는, 3차원 스캐너(예를 들어, 구강 스캐너(intraoral scanner))를 이용하여 대상체를 스캔할 때 복수의 영상 센서들에 의해 획득되는 서로 다른 시점의 2차원 영상들이 될 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 3차원 데이터 획득 장치를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100) 및 3차원 영상 디스플레이 장치(300)를 포함할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)를 이용하여 대상체에 패턴 광을 조사(project)하고 패턴 광이 조사된 대상체를 스캔함으로써, 패턴의 변형에 의한 삼각 계측의 원리를 이용하여 대상체의 형상을 나타내는 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)는, 대상체로부터 획득된 로우 데이터를 3차원 영상 디스플레이 장치(300)에게 전송할 수 있다. 3차원 영상 디스플레이 장치(300)는, 전달받은 로우 데이터에 기초하여, 대상체의 표면의 형상을 3차원적으로 나타내는 3차원 데이터를 생성할 수 있다. 3차원 데이터는, 포인트 클라우드 데이터 또는 폴리곤 메쉬 데이터일 수 있다. 다른 일 실시 예에 따른 3차원 스캐너(100)는, 대상체로부터 획득된 로우 데이터를 재구성하여 3차원 프레임을 생성하고, 생성된 3차원 프레임을 3차원 영상 디스플레이 장치(300)에게 전송할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)는, 구강 내의 영상을 획득하기 위한 의료 장치를 포함할 수 있다. 구체적으로, 3차원 스캐너(100)는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 3차원 모델을 생성하기 위한 장치가 될 수 있다. 또한, 3차원 스캐너(100)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 영상 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔할 수 있다.
3차원 스캐너(100)는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터로서 획득할 수 있다. 3차원 영상 디스플레이 장치(300)는, 로우 데이터를 기초로 결합(merge) 등의 3차원 연산을 수행하여 3차원 데이터를 획득하고, 3차원 데이터를 렌더링한 3차원 영상을 화면 상에 디스플레이에 표시할 수 있다.
일 실시 예에 따른 3차원 영상 디스플레이 장치(300)는 3차원 스캐너(100)와 유선 또는 무선 통신 네트워크를 통하여 연결되며, 3차원 스캐너(100)로부터 대상체를 스캔하여 획득된 로우 데이터 또는 3차원 프레임을 수신할 수 있다.
3차원 영상 디스플레이 장치(300)는, 수신된 로우 데이터 또는 3차원 프레임에 기초하여, 대상체에 대한 3차원 데이터 또는 3차원 영상을 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 3차원 영상 디스플레이 장치(300) 는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.
3차원 영상 디스플레이 장치(300)는 3차원 스캐너(100)에서 수신된 데이터에 기초하여, 대상체의 진단에 필요한 정보 및 대상체 영상 중 적어도 하나를 생성하고, 생성된 정보 및/또는 영상을 디스플레이(320)를 통하여 디스플레이 할 수 있다.
일 실시 예에 따른 3차원 영상 디스플레이 장치(300)는 대상체에 대한 3차원 데이터 또는 3차원 영상을 분석하고, 분석 결과를 처리, 디스플레이 및/또는 전송할 수 있다.
또한, 일 실시 예에 따른 3차원 영상 디스플레이 장치(300)는 3차원 스캐너(100)에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 여기서, 전용 소프트웨어는 전용 프로그램 또는 전용 어플리케이션으로 호칭 될 수 있다. 3차원 영상 디스플레이 장치(300)가 3차원 스캐너(100)와 상호 연동되어 동작하는 경우, 3차원 영상 디스플레이 장치(300)에 저장되는 전용 소프트웨어는, 3차원 스캐너(100)와 연결되어 대상체 스캔을 통하여 획득되는 데이터들을 실시간으로 수신하도록 3차원 영상 디스플레이 장치(300)를 구동할 수 있다. 예를 들어, 자사의 구강 스캐너인 i500에서 구강 스캔을 통하여 획득된 데이터를 처리하기 위한 전용 소프트웨어가 존재한다. 3차원 영상 디스플레이 장치(300)는 i500 제품에 대응되는 전용 소프트웨어를 저장 및 실행할 수 있다. 전송 소프트웨어는 구강 이미지를 획득, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다.
전용 소프트웨어는 3차원 영상 디스플레이 장치(300)의 프로세서 또는 메모리에 저장될 수 있다. 또한, 전용 소프트웨어는 3차원 스캐너에서 획득된 데이터의 이용을 위한 사용자 인터페이스를 제공할 수 있다. 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 개시된 실시 예에 따라서 생성되는 대상체에 대한 3차원 영상을 포함할 수 있다. 예를 들어, 개시된 실시 예에서, 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 도 7, 도 8 및 도 10에서 도시되는 사용자 인터페이스 화면들 중 적어도 일부를 포함할 수 있다.
도 2는 일 실시 예에 따라 광학식 3차원 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라 3차원 스캐너(100)를 이용하여 대상체의 표면에 대한 3차원 데이터를 획득하기 위해서는, 양안시 구조광(structured light with stereo vision) 방식이 이용될 수 있다.
일 실시 예에 따른 3차원 스캐너(100)는 2개 이상의 카메라(207, 209)와 구조광(structured light)(또는, 패턴광)(213)을 조사할 수 있는 적어도 하나의 프로젝터(211)로 구성될 수 있다. 일 실시 예에 따른 3차원 스캐너(100)는, 대상체(201)에게 구조광(213)을 조사하고, 좌안 시야(left Field of View)에 대응되는 L 카메라(207)와 우안 시야(Right Field of View)에 대응되는 R 카메라(209) 각각에서 좌안 시야에 대응되는 L 영상(203) 및 우안 시야에 대응되는 R 영상(205)을 획득할 수 있다. 3차원 스캐너(100)는 대상체(201)에 대한 L 영상(203) 및 R 영상(205)을 포함하는 2차원 프레임을 연속적으로 획득할 수 있다. 3차원 스캐너(100) 또는 3차원 영상 디스플레이 장치(300)는, L 영상(203) 및 R 영상(205)을 포함하는 2차원 프레임로부터 대상체의 표면 형상을 나타내는 3차원 프레임을 재구성할 수 있다.
도 2에는 3차원 스캐너(100)가 2 개의 카메라(207, 209) 및 하나의 프로젝터(211)를 포함하는 경우를 예로 들어 도시하였다. 그러나 본 개시의 다양한 실시 예들은 도 2에 도시된 예에 제한되지 않으며, 3차원 스캐너는 하나의 카메라 및 하나의 프로젝터를 포함할 수 있다. 3차원 스캐너가 하나의 카메라 및 하나의 프로젝터를 포함하는 경우, 프로젝터가 영상을 획득하는 카메라의 역할과 구조광을 조사하는 프로젝터의 역할을 동시에 수행할 수 있다. 또한, 본 개시의 다양한 구현 방식에 따라, 3차원 스캐너는 복수 개의 카메라들 및 복수 개의 프로젝터들을 포함할 수 있다.
한편, 3차원 스캐너(100)는, 대상체 주위를 이동하면서 일정한 시간 간격(예를 들어, 수 ms~수십 ms)으로 대상체를 스캔함으로써 복수의 2차원 프레임들을 획득할 수 있다. 3차원 스캐너(100) 또는 3차원 영상 디스플레이 장치(300)는, 복수의 2차원 프레임들로부터 복수의 3차원 프레임들을 획득할 수 있다. 예를 들어, 3차원 스캐너(100)는, 초당 10~30 개의 3차원 프레임들을 획득하고, 각 3차원 프레임은 20~30개의 2차원 프레임들에 기초하여 생성될 수 있다. 3차원 영상 디스플레이 장치(300)는, 복수의 3차원 프레임들을 결합 또는 위치 정렬함으로써 대상체 전체에 대한 3차원 데이터를 재구성할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)가 도 2에 도시된 방식에 따라 구강을 스캔함에 있어서, 인레이(inlay), 온레이(onlay), 크라운, 보철, 교정 장치 등의 구강 내 금속 구조물의 경우 그 형상을 스캔하는 것에 어려움이 있다. 이는, 패턴 광을 대상체에 조사하여 대상체 표면의 3차원 형상 정보를 획득하는 3차원 데이터 획득 방법에 의하면, 패턴이 대상체 표면 상에서 보여야 3차원 형상 정보가 획득 가능하다. 그러나, 금속 구조물의 경우 조사된 패턴 광 중에서 반사되는 빛의 양이 많아 3차원 형상 정보의 측정에 어려움이 있다.
따라서, 금속 구조물을 스캔하기 위해서는, 3차원 스캐너(100)가 더 밝은 패턴 광을 조사하여 패턴 광의 일부라도 대상체 표면 상에서 보이도록 하는 방법이 이용될 수 있다. 예를 들어, 3차원 스캐너(100)가 치아를 스캔하기 위해 적색 광원, 녹색 광원 및 청색 광원 각각을 이용하여 패턴 광을 조사할 수 있는 경우, 3차원 스캐너(100)가 적색 광원, 녹색 광원 및 청색 광원을 동시에 이용하여 흰색 패턴 광을 대상체의 표면에 조사할 수 있다.
또한, 일 실시 예에 따른 3차원 스캐너(100)는, 금속 구조물을 스캔하기 위하여, 라인 패턴 광 대신에 포인트 패턴 광을 이용할 수 있다. 예를 들어, 라인 패턴 광이란, 도 2의 패턴광(213)에 예시된 바와 같이 가로, 세로, 또는 사선 방향으로 직선이나 곡선을 나란히 나타낸 광을 의미할 수 있다. 포인트 패턴 광이란, 일정 크기 또는 다양한 크기의 점들을 늘어놓은 광을 의미할 수 있다.
도 3은 일 실시 예에 따라 대상체에 조사되는 포인트 패턴 광을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 일 실시 예에 따른 3차원 스캐너(100)는, 대상체에게 포인트 패턴 광(301)을 조사하고, 포인트 패턴 광이 조사된 대상체의 표면을 스캔함으로써 2차원 영상 프레임(303)을 획득할 수 있다. 일 실시 예에 따르면, 포인트 패턴 광에 포함되는 포인트들이 일정한 규칙 없이 랜덤하게 늘어놓아질 수 있으므로, 포인트 패턴 광은 랜덤 패턴 광이라고도 지칭될 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 패턴 광이 조사된 대상체의 표면을 서로 다른 시점에서 스캔한 복수의 2차원 영상들을 획득할 수 있다. 이 때, 복수의 2차원 영상들로부터 대상체 표면의 3차원 형상 정보를 획득하기 위해서는 스테레오 매칭(Stereo Matching) 방식이 이용될 수 있다. 스테레오 매칭 방식에는, 예를 들어, 블록 매칭(Block Matching), 그래프 컷(Graph Cut), 또는 세미-글로벌 매칭(Semi-Global Matching) 등이 포함될 수 있다. 세미-글로벌 매칭 방법은, 2차원 영상들의 방사계측(radiometric) 차이값을 보상하기 위한, 픽셀 단위의 상호 정보 기반 매칭 비용 함수를 이용하여 3차원 형상 정보를 획득하는 방법일 수 있다.
일 실시 예에 따른 3차원 스캐너(100)는, 라인 패턴 광을 조사한 경우와 비교하였을 때, 포인트 패턴 광이 조사된 대상체의 표면을 스캔함으로써 대상체의 3차원 형상과 관련된 더 많은 양의 데이터를 획득할 수 있다. 따라서, 포인트 패턴 광을 이용할 경우, 금속으로 이루어진 영역에 대해서도 보다 정확한 3차원 데이터 획득이 가능하다.
3차원 스캐너(100)가 라인 패턴 광을 이용하는 경우, 빛 반사에 의해 선의 일부가 흐릿하게 스캔되더라도 해당 선 전체에 대한 정보를 이용할 수 없게 된다. 반면에, 3차원 스캐너(100)가 포인트 패턴 광을 이용하는 경우, 빛 반사에 의해 일부 포인트가 흐릿하게 스캔되더라도 다른 포인트들로부터 정보를 획득하는 것에 문제가 없게 된다. 따라서, 라인 패턴 광을 이용하는 방식에 비해, 포인트 패턴 광을 이용하는 방식이 빛 반사에 강인하므로, 금속으로 이루어진 영역에 대한 데이터 획득에 유리할 수 있다. 하지만, 금속이 아닌 영역에 대해서는 포인트 패턴 광을 이용하는 것보다, 라인 패턴 광을 이용하는 것이 상대적으로 정밀도가 높을 수 있다.
본 개시의 다양한 실시 예들에 따르면, 3차원 데이터 획득 장치(200)는 다양한 동작 모드를 이용하여 대상체에 대한 3차원 데이터를 획득할 수 있다. 다양한 실시 예들에 따라 3차원 데이터 획득 장치(200)가 대상체에 대한 3차원 데이터를 획득하는 구체적인 방법에 대해서, 이하에서 도 4 내지 도 16을 참조하여 상세히 설명한다.
도 4는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
단계 S401에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체에 제1 타입의 패턴 광을 조사하여, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대한 제1 데이터를 획득할 수 있다.
3차원 데이터 획득 장치(200)에 포함되는 3차원 스캐너(100)는, 대상체에 제1 타입의 패턴 광을 조사하고, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 획득할 수 있다. 예를 들어, 제1 타입의 패턴 광은, 라인 패턴 광을 포함할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대한 2차원 영상들 및 제1 타입의 패턴 광에 대한 정보에 기초하여, 대상체에 대한 제1 포인트 클라우드 데이터를 제1 데이터로서 획득할 수 있다.
예를 들어, 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)의 제1 영상 센서가 스캔한 2차원 영상에 나타나는 대상체 상의 각 선이 제2 영상 센서가 스캔한 2차원 영상의 어느 선에 대응되는 지를 결정할 수 있다. 그리고, 3차원 데이터 획득 장치(200)는, 조사된 라인 패턴 및 2차원 영상들에 보여지는 변형된 선에 기초하여, 2차원 영상들 간에 매칭되는 각 선을 이루는 점들의 3차원 좌표를 계산할 수 있다. 3차원 데이터 획득 장치(200)는, 2차원 영상들에 포함되는 각 픽셀에 대한 3차원 좌표를 계산함으로써 제1 포인트 클라우드 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)는, 제1 타입의 동일한 패턴 광을 대상체에게 조사하거나, 제1 타입의 상이한 패턴 광들을 순차적으로 대상체에게 조사할 수 있다. 예를 들어, 3차원 스캐너(100)는, 제1 타입의 상이한 패턴 광들 각각이 조사된 대상체의 표면에 대해서, 적어도 하나의 프레임을 획득할 수 있다.
단계 S402에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체에 제2 타입의 패턴 광을 조사하여, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대한 제2 데이터를 획득할 수 있다.
3차원 데이터 획득 장치(200)에 포함되는 3차원 스캐너(100)는, 대상체에 제2 타입의 패턴 광을 조사하고, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 획득할 수 있다. 예를 들어, 제2 타입의 패턴 광은, 포인트 패턴 광을 포함할 수 있다. 3차원 데이터 획득 장치(200)는, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대한 2차원 영상들 및 제2 타입의 패턴 광에 대한 정보에 기초하여, 대상체에 대한 제2 포인트 클라우드 데이터를 제2 데이터로서 획득할 수 있다.
예를 들어, 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)의 제1 영상 센서가 스캔한 2차원 영상에 나타나는 대상체 상의 각 포인트가 제2 영상 센서가 스캔한 2차원 영상의 어느 포인트에 대응되는 지를 결정할 수 있다. 그리고, 3차원 데이터 획득 장치(200)는, 조사된 포인트 패턴 및 2차원 영상들에 보여지는 변형된 포인트 패턴에 기초하여, 2차원 영상들 간에 매칭되는 각 포인트의 3차원 좌표를 계산할 수 있다. 3차원 데이터 획득 장치(200)는, 2차원 영상들에 포함되는 각 픽셀에 대한 3차원 좌표를 계산함으로써 제2 포인트 클라우드 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)는, 제2 타입의 동일한 패턴 광을 대상체에게 조사하거나, 제2 타입의 상이한 패턴 광들을 순차적으로 대상체에게 조사할 수 있다. 예를 들어, 3차원 스캐너(100)는, 제2 타입의 상이한 패턴 광들 각각이 조사된 대상체의 표면에 대해서, 적어도 하나의 프레임을 획득할 수 있다.
일 실시 예에 따르면, 3차원 스캐너(100)는, 제1 타입의 패턴 광 및 제2 타입의 패턴 광을 번갈아 가면서 조사하도록 구성될 수 있다. 3차원 스캐너(100)는, 제1 타입의 패턴 광을 이용하여 획득된 복수의 2차원 영상 프레임들에 기초하여 제1 데이터를 획득하고, 제2 타입의 패턴 광을 이용하여 획득된 복수의 2차원 영상 프레임들에 기초하여 제2 데이터를 획득할 수 있다.
본 개시에서는, 설명의 편의를 위하여 3차원 스캐너(100)가 제1 타입의 패턴 광을 조사한 후 제2 타입의 패턴 광을 조사하는 경우를 예로 들어 설명한다. 그러나 본 개시의 다양한 실시 예들은 이러한 예에 제한되지 않으며, 3차원 스캐너(100)가 제1 타입의 패턴 광과 제2 타입의 패턴 광을 번갈아 가면서 조사하도록 구성되므로, 제2 타입의 패턴 광을 조사한 후 제1 타입의 패턴 광을 조사할 수 있다. 또는, 3차원 스캐너(100)는, 제1 타입의 패턴 광을 조사한 후, 제2 타입의 패턴 광을 조사하고, 다시 제1 타입의 패턴 광을 조사할 수 있다.
먼저, 3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제1 데이터를 획득할 수 있다. 예를 들어, 제1 데이터는, t 시간 당 n(n은 자연수)개의 프레임들을 반복하여 스캔하는 3차원 스캐너(100)에 의해 획득될 수 있다. 예를 들어, 3차원 스캐너(100)는, 초당 100~900 프레임들을 스캔할 수 있다.
3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 프레임을 t 시간 당 a개(a는 n보다 작은 자연수) 획득할 수 있다. 예를 들어, 3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 제1 영상 센서가 스캔한 제1의 2차원 영상 및 제2 영상 센서가 스캔한 제2의 2차원 영상을 포함하는 프레임을 획득하고, 프레임 획득 과정을 t 시간 내에 a번 반복할 수 있다. 3차원 데이터 획득 장치(200)는, a개의 2차원 영상 프레임들에 기초하여 제1 데이터로서 제1 포인트 클라우드 데이터를 획득할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 20~30개의 2차원 영상 프레임들로부터 하나의 포인트 클라우드를 획득할 수 있다.
다음으로, 3차원 스캐너(100)는, 제2 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제2 데이터를 획득할 수 있다. 3차원 스캐너(100)는, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 프레임을 t 시간 당 b개(b는 n-a보다 작은 자연수) 획득할 수 있다. 3차원 데이터 획득 장치(200)는, b개의 2차원 영상 프레임들에 기초하여 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)가 제2 타입의 패턴 광을 이용한 제2 데이터를 획득함에 있어서, 대상체에 대한 색상 정보를 획득하기 위하여, 적색 패턴 광, 녹색 패턴 광, 및 청색 패턴 광 중 적어도 하나를 대상체에게 조사할 수 있다. 일 실시 예에 따른 3차원 스캐너(100)는, 대상체에 대한 색상 정보를 획득하기 위하여, 적색 패턴 광, 녹색 패턴 광, 및 청색 패턴 광을 각각 대상체에게 조사할 수 있다.
예를 들어, 3차원 스캐너(100)는, 대상체에 제2 타입의 적색 패턴 광을 조사하고, 제2 타입의 적색 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 R 프레임을 획득할 수 있다. 3차원 스캐너(100)는, 대상체에 제2 타입의 녹색 패턴 광을 조사하고, 제2 타입의 녹색 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 G 프레임을 획득할 수 있다. 3차원 스캐너(100)는, 대상체에 제2 타입의 청색 패턴 광을 조사하고, 제2 타입의 청색 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 B 프레임을 획득할 수 있다. 3차원 데이터 획득 장치(200)는, R 프레임, G 프레임, 및 B 프레임에 기초하여 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.
그러나, 본 개시는 3차원 스캐너(100)가 모든 광원 색상들(즉, 적색, 녹색, 및 청색)을 이용하여 포인트 패턴 광을 조사하는 실시 예에 제한되지 않는다. 일 실시 예에 따른 3차원 스캐너(100)는, 적색, 녹색, 및 청색 중 하나의 광원을 이용하여 라인 패턴 광을 조사하고, 포인트 패턴 광, 패턴이 없는 광, 또는 랜덤 패턴 광을 조사함에 있어서 적색, 녹색, 및 청색 중 나머지 광원들을 이용할 수 있다. 예를 들어, 3차원 스캐너(100)는, 라인 패턴의 청색 광을 조사하고, 포인트 패턴의 적색 광을 조사하고, 패턴이 없는 녹색 광(또는, 랜덤 패턴 녹색 광)을 조사할 수 있다.
다른 일 실시 예에 따르면, 3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체를 스캔하다가, 금속 영역이 감지되면 제2 타입의 패턴 광을 조사하도록 구성될 수 있다.
먼저, 3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제1 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 타입의 패턴 광이 조사된 대상체로부터 획득된 복수의 2차원 영상 프레임들에 기초하여, 제1 데이터로서 제1 포인트 클라우드 데이터를 획득할 수 있다.
일 예로서, 3차원 데이터 획득 장치(200)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 획득된 서로 다른 시점의 2차원 영상들을 포함하는 프레임과 이웃하는 이웃 프레임 간의 밝기 값의 차이가 임계 값 이상으로 많이 나는 경우, 제1 타입의 패턴 광 대신에 제2 타입의 패턴 광을 조사할 것을 결정할 수 있다.
다른 예로서, 3차원 데이터 획득 장치(200)는, 인공 지능 모델을 이용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 3차원 데이터 획득 장치(200)는, 대상체로부터 획득된 2차원 영상 프레임 또는 3차원 프레임을 입력으로서 인공 지능 모델에 적용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 금속 영역 판단에 이용되는 인공 지능 모델은, 대상체의 금속 영역 및 비금속 영역으로부터 획득된 많은 양의 스캔 데이터를 학습(train)한 인공 지능 모델일 수 있다. 3차원 데이터 획득 장치(200)는, 대상체의 영역이 금속 영역이라고 판단되면, 제1 타입의 패턴 광 대신에 제2 타입의 패턴 광을 조사할 것을 결정할 수 있다.
다음으로, 3차원 스캐너(100)는, 제2 타입의 패턴 광을 대상체에게 조사하고, 제2 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제2 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제2 타입의 패턴 광이 조사된 대상체로부터 획득된 복수의 2차원 영상 프레임들에 기초하여, 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.
단계 S403에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터 및 제2 데이터에 기초하여, 대상체에 대한 3차원 데이터를 획득할 수 있다.
3차원 스캐너(100)가 제1 타입의 패턴 광을 이용하여 획득한 제1 데이터는, 대상체의 제1 형상 정보를 포함할 수 있다. 그리고 3차원 스캐너(100)가 적색, 녹색, 및 청색 중 적어도 하나의 제2 타입의 패턴 광을 조사하여 획득한 제2 데이터는, 대상체의 제2 형상 정보 및 색상 정보를 포함할 수 있다. 예를 들어, 3차원 스캐너(100)는 제1 타입의 청색 패턴 광을 이용하여 대상체의 제1 형상 정보를 획득하고, 제2 타입의 적색 패턴 광, 제2 타입의 녹색 패턴 광, 및 제2 타입의 청색 패턴 광을 조사하여, 대상체의 제2 형상 정보 및 색상 정보를 포함할 수 있다.
3차원 데이터 획득 장치(200)는, 제1 형상 정보, 제2 형상 정보 및 색상 정보에 기초하여 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터에 포함되는 제1 포인트 클라우드 데이터 및 제2 데이터에 포함되는 제2 포인트 클라우드 데이터를 병합함으로써, 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터 및 제2 데이터의 가중치 합에 기초하여 3차원 데이터를 획득할 수 있다. 예를 들어, 제1 데이터, 제2 데이터, 및 3차원 데이터는, 포인트 클라우드 데이터이거나 폴리곤 메쉬 데이터일 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터의 신뢰도에 기초하여, 신뢰도가 높은 대상체의 적어도 일부 영역에 대해서는 제1 데이터를 이용하고, 신뢰도가 낮은 대상체의 나머지 영역에 대해서는 제2 데이터를 이용함으로써, 3차원 데이터를 획득할 수 있다.
다른 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터의 신뢰도에 기초하여, 제1 데이터에 대해서 적용될 가중치를 결정할 수 있다. 3차원 데이터 획득 장치(200)는, 가중치에 기초하여 제1 데이터 및 제2 데이터를 병합함으로써, 3차원 데이터를 획득할 수 있다.
또 다른 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터에 포함되는 복수의 제1 포인트들 및 제2 데이터에 포함되는 복수의 제2 포인트들 간의 중첩 포인트들을 결정할 수 있다. 3차원 데이터 획득 장치(200)는, 중첩 포인트들에 대한 평균값을 이용하여 3차원 데이터를 획득할 수 있다.
또 다른 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터 및 제2 데이터 중에서 이웃하는 프레임들과 유사도가 높은 데이터에 높은 가중치를 할당할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 데이터 및 제2 데이터에 대해서, 할당된 가중치를 적용한 가중치 합에 기초하여 3차원 데이터를 획득할 수 있다.
도 5는 일 실시 예에 따른 3차원 데이터 획득 장치가 포인트 패턴 광 및 라인 패턴 광을 이용하여 대상체에 대한 3차원 데이터를 획득하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 복수의 2차원 영상 프레임들로부터 하나의 3차원 영상 프레임을 획득할 수 있다. 이 때, 하나의 3차원 영상 프레임을 획득하기 위해 이용되는 복수의 2차원 영상 프레임들은, 대상체의 색상 데이터(551) 및 형상 데이터(553)를 획득하기 위한 R 프레임(511), G 프레임(513), 및 B 프레임(515)과, 대상체의 형상 데이터(557)를 획득하기 위한 프레임들(521, 523, 525, 527)을 포함할 수 있다.
3차원 스캐너(100)는, 포인트 패턴의 적색 광이 조사된 대상체의 표면에 대해서 R 프레임(511)을 획득하고, 포인트 패턴의 녹색 광이 조사된 대상체의 표면에 대해서 G 프레임(513)을 획득하고, 포인트 패턴의 청색 광이 조사된 대상체의 표면에 대해서 B 프레임(515)을 획득할 수 있다. 3차원 스캐너(100)는, 청색의 라인 패턴 광이 조사된 대상체의 표면에 대해서 복수의 프레임들(521, 523, 525, 527)을 획득할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 패턴 광을 이용하여 획득된 대상체의 형상 데이터(553) 및 라인 패턴 광을 이용하여 획득된 대상체의 형상 데이터(557)를 병합함으로써, 대상체의 3차원 데이터를 획득할 수 있다. 대상체의 형상 데이터(553) 및 형상 데이터(557)는, 대상체의 표면에 대응되는 포인트들의 3차원 공간 상의 위치를 나타내는 포인트 클라우드 데이터일 수 있다. 3차원 데이터 획득 장치(200)는, 형상 데이터(553) 및 형상 데이터(557)를 병합함으로써 하나의 3차원 데이터를 획득할 수 있다.
도 6은 일 실시 예에 따른 3차원 데이터 획득 장치가 제1 데이터 및 제2 데이터를 병합함으로써 대상체에 대한 3차원 데이터를 획득하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 라인 패턴 광에 의해 획득되는 제1 포인트 클라우드(601) 및 포인트 패턴 광에 의해 획득되는 제2 포인트 클라우드(602)를 병합함으로써, 3차원 데이터(630)를 획득할 수 있다. 도 6에 도시된 바와 같이, 포인트 패턴을 이용하여 획득된 제2 포인트 클라우드(602)가 라인 패턴을 이용하여 획득된 제1 포인트 클라우드(601)에 비해 데이터의 양이 더 많을 수 있다.
3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드(601)에 포함되는 포인트들 및 제2 포인트 클라우드(602)에 포함되는 포인트들 간의 중첩 포인트들을 결정할 수 있다. 제1 포인트 클라우드(601)의 포인트와 제2 포인트 클라우드(602)의 포인트가 3차원 공간 내에서 서로 인접한 경우, 중첩 포인트들로서 결정할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 제2 포인트 클라우드(602)에 포함되는 포인트들 중에서, 제1 포인트 클라우드(601)에 포함되는 포인트로부터 소정 거리 내에 위치하는 포인트를 중첩 포인트로서 결정할 수 있다. 3차원 데이터 획득 장치(200)는, 중첩 포인트들에 기초하여 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드(601)에 포함되는 포인트(611)와 인접한, 제2 포인트 클라우드(602)에 포함되는 포인트(622)에 기초하여, 3차원 데이터(630) 내의 포인트(633)의 위치를 결정할 수 있다.
일 예로서, 도 6에 도시된 바와 같이, 3차원 데이터 획득 장치(200)는, 포인트(611)의 위치를 나타내는 좌표 값 (10, 21, 16)과 포인트(622)의 위치를 나타내는 좌표 값 (11, 20, 18)의 평균을 계산하여, 포인트(633)의 위치를 (10.5, 20.5, 17)로 결정할 수 있다.
다른 예로서, 3차원 데이터 획득 장치(200)는, 포인트(611)의 위치를 나타내는 좌표 값 (10, 21, 16)과 포인트(622)의 위치를 나타내는 좌표 값 (11, 20, 18)의 가중치 합을 계산하여 포인트(633)의 위치를 결정할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 포인트(611)에 0.7의 가중치를 부여하고, 포인트(622)에 0.3의 가중치를 부여하여, 포인트(633)의 위치를 (10.3, 20.7, 16.6)로 결정할 수 있다.
3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드(601) 및 제2 포인트 클라우드(602)를 포인트 병합하기 위하여 할당될 가중치를 결정함에 있어서, 다양한 방법을 이용할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 라인 패턴 광을 이용하여 획득되는 제1 포인트 클라우드(601)에 우선적으로 높은 가중치를 부여하고, 포인트 패턴 광을 이용하여 획득되는 제2 포인트 클라우드(602)에 상대적으로 낮은 가중치를 부여할 수 있다.
또는, 3차원 데이터 획득 장치(200)는, 포인트 클라우드 형태의 3차원 프레임들을 연속적으로 획득함에 있어서, 이웃하는 3차원 프레임들과의 유사도가 높은 포인트 클라우드에 높은 가중치를 부여할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 소정 포인트 클라우드에 포함되는 적어도 하나의 포인트와, 이웃하는 포인트 클라우드에 포함되는 적어도 하나의 포인트 간의 거리에 기초하여, 소정 포인트 클라우드와 이웃 포인트 클라우드 간의 유사도를 판단하고, 유사도에 기초하여 소정 포인트 클라우드에게 부여되는 가중치를 결정할 수 있다. 이웃하는 포인트 클라우드란, 소정 포인트 클라우드를 획득하기 전에 스캔 된 데이터로부터 획득된 포인트 클라우드를 의미할 수 있다.
일 예로서 3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드를 획득하기 이 전에 획득한 이웃 포인트 클라우드의 포인트에 대해 제1 포인트 클라우드의 포인트를 대응시킬 수 있다. 3차원 데이터 획득 장치(200)는, 서로 대응하는 포인트들 간의 거리가 가까운 경우, 제1 포인트 클라우드의 포인트와 이웃 포인트 클라우드의 포인트가 잘 얼라인(align) 된다고 판단할 수 있다. 3차원 데이터 획득 장치(200)는, 제2 포인트 클라우드와 비교하여, 서로 대응하는 포인트들 간의 거리가 가까운 경우 제1 포인트 클라우드의 포인트에 높은 가중치를 부여하고, 서로 대응하는 포인트들 간의 거리가 먼 경우 제1 포인트 클라우드의 포인트에 낮은 가중치를 부여할 수 있다.
그리고, 3차원 데이터 획득 장치(200)는, 제2 포인트 클라우드를 획득하기 이 전에 획득한 이웃 포인트 클라우드의 포인트에 대해 제2 포인트 클라우드의 포인트를 대응시키고, 제1 포인트 클라우드와 비교하여, 서로 대응하는 포인트들 간의 거리가 가까운 경우 제2 포인트 클라우드의 포인트에 높은 가중치를 부여하고, 서로 대응하는 포인트들 간의 거리가 먼 경우 제2 포인트 클라우드의 포인트에 낮은 가중치를 부여할 수 있다. 3차원 데이터 획득 장치(200)는, 결정된 가중치에 기초하여 제1 포인트 클라우드 및 제2 포인트 클라우드를 병합함으로써, 제1 포인트 클라우드 및 제2 포인트 클라우드 중에서 이웃 포인트 클라우드와 유사도가 높은 포인트 클라우드에 높은 가중치를 부여할 수 있다.
다른 예로서, 3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드의 포인트 및 제2 포인트 클라우드의 포인트 중에서 이웃 포인트 클라우드에 보다 근사하게(closely) 얼라인(align)되는 포인트를 선택하여 3차원 데이터에 포함시키는 방식을 이용할 수 있다. 제1 포인트 클라우드의 포인트 및 제2 포인트 클라우드의 포인트 중에서 이웃 포인트 클라우드에 보다 근사하게 얼라인되는 포인트는, 서로 대응하는 포인트들 간의 거리에 기초하여 결정될 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드의 제1 포인트와 이웃 포인트 클라우드의 대응 포인트 간의 제1 거리를 계산하고, 제2 포인트 클라우드의 제2 포인트와 이웃 포인트 클라우드의 대응 포인트 간의 제2 거리를 계산할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 거리 및 제2 거리를 비교하여, 대응하는 포인트들 간의 거리가 짧은 경우, 대응하는 포인트들 간에 얼라인이 잘된다고 판단할 수 있다.
또는, 3차원 데이터 획득 장치(200)는, 라인 패턴 광을 이용하여 획득되는 제1 포인트 클라우드(601)의 신뢰도에 기초하여, 제1 포인트 클라우드(601)의 신뢰도가 높을 경우 높은 가중치를 부여하고, 제1 포인트 클라우드(601)의 신뢰도가 낮을 경우 상대적으로 낮은 가중치를 부여할 수 있다. 예를 들어, 라인 패턴 광이 조사된 대상체의 표면으로부터 획득된 복수의 2차원 영상들 내에서 선(line) 간의 명암 대비가 뚜렷한 경우(즉, 선 영역과 다른 영역의 밝기 차이가 임계 값 이상인 경우), 3차원 데이터 획득 장치(200)는 복수의 2차원 영상들로부터 획득된 포인트 클라우드의 신뢰도가 높다고 판단할 수 있다.
도 7은 일 실시 예에 따라 획득되는 3차원 데이터의 예를 도시한다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)로부터 획득된 제1 데이터 및 제2 데이터를 결합함으로써 3차원 데이터를 획득할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(200)의 디스플레이(320)는, 3차원 데이터로부터 생성된 대상체의 3차원 영상(703)을 디스플레이 할 수 있다. 도 7에 도시된 바와 같이, 3차원 데이터는, 3차원 공간 상에 배치된 복수의 포인트들을 포함하는 포인트 클라우드 데이터일 수 있다.
도 8은 일 실시 예에 따라 획득되는 3차원 데이터의 예를 도시한다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)의 디스플레이(320)는, 3차원 데이터로부터 생성된 대상체의 3차원 영상(803)을 디스플레이 할 수 있다. 3차원 데이터는, 대상체의 형상 정보뿐만 아니라 색상 정보도 포함할 수 있다. 3차원 데이터 획득 장치(200)는, 포인트 클라우드 데이터를 폴리곤 메쉬 형태로 변환하거나, 복수의 포인트들에 대한 보간(interpolation)을 적용함으로써, 3차원 영상(803)을 생성할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 금속 영역을 포함하는 대상체에 대한 정확한 3차원 데이터를 획득하기 위하여, 제1 모드 및 제2 모드 각각에서 서로 다른 3차원 스캔 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다. 3차원 스캔이란, 카메라를 이용하여 대상체를 촬영함으로써 획득된 2차원 영상 데이터와 기하학적 정보(예를 들어, 캘리브레이션 데이터 등)를 이용하여, 일련의 3차원 포인트 클라우드를 획득하는 것을 의미할 수 있다. 따라서, 서로 다른 3차원 스캔 방식들이란, 대상체에 조사되는 패턴 광과 관련된 파라미터, 대상체로부터 2차원 영상을 획득하는 방식, 또는, 2차원 영상 데이터로부터 3차원 포인트 클라우드를 획득하는 방식 중 적어도 하나가 상이한 3차원 스캔 방식들을 의미할 수 있다. 예를 들어, 도 4를 참조하여 상술한 바와 같이, 3차원 데이터 획득 장치(200)는, 서로 다른 타입의 패턴 광들을 조사하여 대상체로부터 제1 데이터 및 제2 데이터를 획득하고, 제1 데이터 및 제2 데이터에 기초하여 금속 영역이 포함된 대상체에 관한 3차원 데이터를 획득할 수 있다.
다른 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체로부터 획득된 3차원 포인트 클라우드에 서로 다른 후-처리 방식을 적용함으로써 제1 데이터 및 제2 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 서로 다른 후-처리 방식이 적용된 제1 데이터 및 제2 데이터를 이용함으로써, 금속 영역을 포함하는 대상체에 대해서도 정확한 3차원 데이터를 획득할 수 있다. 후-처리란, 대상체로부터 획득된 포인트 클라우드 및 기타 정보를 이용하여, 포인트 클라우드를 변형(예를 들어, 새로운 포인트의 추가 혹은 삭제)하거나, 새로운 3차원 정보(예를 들어, 포인트 클라우드에 포함되는 포인트들 간의 연결 관계에 기초하여 생성되는 메쉬 데이터, 또는 포인트 클라우드의 곡률 혹은 신뢰도 등)를 생성하는 것을 의미한다. 따라서, 서로 다른 후-처리 방식들이란, 대상체로부터 획득된 3차원 포인트 클라우드를 변형하는 방식 또는 새로운 3차원 정보를 생성하는 방식 중 적어도 하나가 상이한 후-처리 방식들을 의미할 수 있다.
이하에서는, 3차원 데이터 획득 장치(200)가, 서로 다른 동작 모드들(예를 들어, 서로 다른 3차원 스캔 방식들을 이용하는 동작 모드들 또는 서로 다른 후-처리 방식들을 이용하는 동작 모드들)에서 획득된 제1 데이터 및 제2 데이터에 기초하여, 금속 영역이 포함된 대상체에 관한 3차원 데이터를 획득하는 구체적인 방법을 설명한다.
일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 대상체 상에 금속 영역이 감지되면 동작 모드를 자동으로 변경하는 동작 옵션을 선택하는 사용자 입력을 수신할 수 있다. 사용자 입력에 기초하여, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체를 스캔하다가, 대상체 상에 금속 영역이 감지되면 금속 스캔 모드로 동작 모드를 전환하여 동작할 수 있다.
도 9는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
단계 S910에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작할 수 있다. 일 실시 예에 따르면 제1 모드는, 치아 및 치은과 같은 비금속 영역을 스캔하기 적합하도록, 스캔 파라미터, 대상체로부터 2차원 데이터를 획득하는 스캔 방식, 및/또는 대상체로부터 획득된 데이터에 대한 후-처리(post-processing) 방식이 설정된 동작 모드를 의미할 수 있다.
단계 S920에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체 상에 금속 영역이 감지되면, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다.
3차원 데이터 획득 장치(200)는, 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 대상체 상에 금속 영역의 존재를 감지할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 대상체로부터 획득된 제1데이터를 입력으로서 인공 지능 모델에 적용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 금속 영역 판단에 이용되는 인공 지능 모델은, 대상체의 금속 영역 및 비금속 영역으로부터 획득된 많은 양의 스캔 데이터를 학습(train)한 인공 지능 모델일 수 있다. 인공 지능 모델 학습에 이용되는 대상체는, 3차원 데이터 획득 장치(200)가 스캔하고 있는 대상체와는 별개의 대상체일 수 있다.
3차원 데이터 획득 장치(200)는, 대상체 상에 금속 영역이 포함된다고 판단되면, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)는 대상체를 스캔함에 있어서, 대상체에 대한 형상 정보와 더불어 색상 정보를 획득하기 위하여, 적색 광, 녹색 광, 및 청색 광 중 적어도 하나를 대상체에게 조사할 수 있다. 일 실시 예에 따른 3차원 스캐너(100)는, 대상체에 대한 색상 정보를 획득하기 위하여, 적색 광, 녹색 광, 및 청색 광을 각각 순차적으로 대상체에게 조사할 수 있다. 예를 들어, 색상 정보를 획득하기 위하여 대상체에게 조사되는 적색 광, 녹색 광, 또는 청색 광은, 소정 도형, 선, 및/또는 점 형태의 복수의 광들로 이루어진 패턴 광을 포함할 수 있다. 그러나 본 개시는, 대상체에 대한 색상 정보를 획득하기 위해 패턴 광을 대상체에게 조사하는 예에 제한되지 않으며, 패턴이 없는 적색 광, 녹색 광, 및 청색 광 중 적어도 하나가 대상체에게 조사될 수 있다.
일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 적색 광, 녹색 광 및 청색 광 각각에 기초하여 획득된 R 프레임, G 프레임, 및 B 프레임의 세기(intensity)를 결합하여 생성된 컬러 이미지를 분석할 수 있다. 3차원 데이터 획득 장치(200)는, 생성된 컬러 이미지를 분석함으로써, 대상체 상에 금속 영역의 존재를 감지하고, 금속 영역을 스캔하고 있는 지 여부를 판단할 수 있다.
예를 들어, 일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 대상체를 스캔하여 획득한 컬러 이미지를 분석하여, 컬러 이미지 내에 소정 비율 이상의 영역이 금속 영역으로 판단되는 경우, 금속 영역을 스캔하고 있는 것으로 판단할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 컬러 이미지 내의 전체 픽셀들 중 40% 이상의 픽셀이 금속 영역에 대응하는 픽셀로 판단되는 경우, 금속 영역을 스캔하고 있는 것으로 판단할 수 있다. 그러나 본 개시는, 구체적인 수치에 제한되지 않으며, 다양한 구현 예에 따라 금속 영역을 판단하는 기준 값이 상이하게 적용될 수 있다. 3차원 데이터 획득 장치(200)는, 대상체의 금속 영역을 스캔하고 있는 것으로 판단한 결과에 기초하여, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다.
단계 S930에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너에 의해 대상체를 스캔함으로써 제2 데이터를 획득하도록 제2 모드에서 동작할 수 있다. 일 실시 예에 따르면 제2 모드는, 금속 영역을 스캔하기 적합하도록, 스캔 파라미터, 스캔 방식, 및/또는 후-처리 방식이 설정된 동작 모드를 의미할 수 있다.
예를 들어, 제1 모드 및 제2 모드는, 서로 다른 3차원 스캔 방식들을 이용하는 동작 모드들이거나, 서로 다른 후-처리 방식들을 이용하는 동작 모드들을 의미할 수 있다.
일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 제1 모드 및 제2 모드에서 서로 다른 3차원 스캔 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다.
일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 단계 S910에서 제1 타입의 패턴광이 조사된 대상체의 표면에 대한 제1 데이터를 획득하고, 단계 S930에서 제2 타입의 패턴광이 조사된 대상체의 표면에 대한 제2 데이터를 획득할 수 있다. 예를 들어, 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고, 제2 타입의 패턴 광은, 포인트 패턴 광을 포함할 수 있다.
일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 서로 다른 후-처리 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다.
일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 단계 S910에서 일반적인 삼각화 방식을 이용하여 대상체에 대한 제1 포인트 클라우드로부터 제1 메쉬 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 모드에서, 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 제1 데이터로서 획득할 수 있다.
반면에, 단계 S930에서 3차원 데이터 획득 장치(200)는, 들로네 삼각화(Delaunay Triangulation) 방식을 이용하여 대상체에 대한 제2 포인트 클라우드로부터 제2 메쉬 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제2 모드에서, 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 들로네 삼각화를 이용하여 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 제2 데이터로서 획득할 수 있다.
일 예로서, 3차원 데이터 획득 장치(200)는, 제2 메쉬 데이터를 획득하기 위해서, 제2 포인트 클라우드 전체에 대해 들로네 삼각화를 적용할 수 있다.
다른 예로서, 3차원 데이터 획득 장치(200)는, 제2 포인트 클라우드 내에서 금속 영역에 대응하는 포인트들을 식별하고, 식별된 포인트들에 대해서만 들로네 삼각화를 적용하고, 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결하는 일반적인 삼각화를 적용함으로써 제2 메쉬 데이터를 획득할 수 있다.
일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 단계 S930에서 들로네 삼각화를 이용하여 획득된 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지 및/또는 이를 포함하는 메쉬를 삭제하는 필터링을 추가적으로 수행할 수 있다.
또한 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 단계 S910에서 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 제1 포인트 클라우드 내의 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하고, 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행할 수 있다. 3차원 데이터 획득 장치(200)는, 필터링이 수행된 제1 메쉬 데이터를 포함하는 제1 데이터를 획득할 수 있다.
반면에, 단계 S930에서, 3차원 데이터 획득 장치(200)는, 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하고, 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행할 수 있다. 3차원 데이터 획득 장치(200)는, 필터링이 수행된 제2 메쉬 데이터를 포함하는 제2 데이터를 획득할 수 있다. 이 때, 제2 모드에서 필터링을 위해 이용되는 제2소정값은, 제1 모드에서 필터링을 위해 이용되는 제1소정값보다 작을 수 있다.
즉, 제1 모드에서 필터링에 의해 제거되는 삼각형 그룹도, 제2 모드에서는 제거되지 않을 수 있다. 따라서, 3차원 데이터 획득 장치(200)가 제1 모드에서 동작할 때와 비교하여, 제2 모드에서는 필터링에 의해 삭제되는 데이터의 양이 감소될 수 있다. 그 결과, 금속 영역에 관한 보다 많은 정보가, 삭제 되지 않고 보존될 수 있다.
단계 S940에서 일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 제1 모드에서 획득된 제1 데이터 및 제2 모드에서 획득된 제2 데이터에 기초하여, 대상체에 대한 3차원 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 모드 및 제2 모드 각각에서 획득된 데이터를 위치 정렬함으로써, 비금속 영역과 금속 영역이 혼재된 대상체에 대한 3차원 데이터를 획득할 수 있다.
도 10은 일 실시 예에 따라 3차원 데이터 획득 장치가 디스플레이 하는 사용자 인터페이스의 예를 도시한다.
도 10은, 일 실시 예에 따른 3차원 데이터 획득 장치(200)가 디스플레이 하는 화면(1001)의 예를 도시한다. 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)로 대상체를 스캔함으로써 3차원 데이터를 획득하고, 획득된 3차원 데이터에 기초하여 생성된 3차원 영상(1007)을 디스플레이 할 수 있다.
3차원 데이터 획득 장치(200)가 디스플레이 하는 화면(1001)은, 대상체를 스캔함으로써 획득된 2차원 이미지(1003) 및 대상체를 스캔함으로써 획득된 복수의 2차원 이미지들을 재구성하여 획득된 3차원 데이터를 렌더링한 3차원 영상(1007)을 포함할 수 있다.
3차원 스캐너(100)는, 일정한 시간 간격(예를 들어, 수 ms~수십 ms)으로 대상체를 스캔함으로써 복수의 2차원 프레임들을 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 복수의 2차원 프레임들로부터 복수의 3차원 프레임들을 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 복수의 3차원 프레임들을 결합 또는 위치 정렬함으로써 대상체 전체에 대한 3차원 데이터를 재구성할 수 있다. 3차원 데이터 획득 장치(200)는, 대상체 상에서 3차원 스캐너(100)에 의해 현재 스캔되고 있는 영역(1009)을 화면(1001) 상에 표시할 수 있다.
또한, 3차원 데이터 획득 장치(200)는, 대상체의 스캔과 관련된 설정 정보 및/또는 대상체 스캔에 의해 획득된 3차원 데이터의 처리와 관련된 설정 정보를 디스플레이 하고, 설정 정보를 변경하는 사용자 입력을 수신할 수 있도록 하는 메뉴 바를 화면(1001) 상에 표시할 수 있다. 도 10을 참조하면, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 금속 영역 스캔과 관련된 동작 옵션을 선택하는 사용자 입력을 수신하기 위한 사용자 인터페이스(1005)를 화면(1001) 상에 제공할 수 있다.
사용자 인터페이스(1005)는, 금속 영역 스캔과 관련된 동작 옵션이 on 되었는지, off되었는 지 여부를 표시할 수 있다. 금속 영역 스캔과 관련된 동작 옵션이 on되는 경우, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는 대상체 상에 금속 영역이 감지되면 동작 모드를 제1 모드에서 제2 모드로 자동으로 변경할 수 있다. 반면에, 금속 영역 스캔과 관련된 동작 옵션이 off되는 경우, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는 대상체 상에 금속 영역이 감지되는지 여부를 판단하지 않고, 대상체 상의 금속 영역을 스캔하는 경우에도 동작 모드 변경 없이 항상 제1 모드에서 동작할 수 있다.
도 11은 일 실시 예에 따라 3차원 데이터 획득 장치가 제1 모드 및 제2 모드로 대상체를 스캔하여 획득되는 3차원 데이터의 예를 도시한다.
도 11에 도시된 바와 같이, 3차원 데이터 획득 장치(200)가 제1 모드에서 동작하여 3차원 데이터(1110)를 획득하는 경우, 대상체의 금속 영역에 대응되는 부분(1115)에는 3차원 데이터의 누락이 많이 발생할 수 있다. 이는, 금속 영역에 조사된 패턴 광은 대부분이 반사되기 때문에, 3차원 스캐너(100)가 금속 영역을 촬영하여 획득할 수 있는 3차원 형상 정보의 양이, 비금속 영역을 촬영하였을 때 획득되는 정보의 양보다 상대적으로 적기 때문이다.
따라서, 일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 금속 영역을 스캔하는 경우, 금속 영역에 대한 3차원 데이터를 획득하기 적합하도록 구성된(즉, 패턴 광이 조사된 금속 영역의 표면 정보를 손실 없이 최대한 많이 확보할 수 있도록 구성된) 제2 모드에서 동작하도록 동작 모드를 변경할 수 있다. 도 11에 도시된 바와 같이, 3차원 데이터 획득 장치(200)가 제2 모드에서 3차원 데이터(1130)를 획득하는 경우, 대상체의 금속 영역에 대응되는 부분(1135)에 대해서도 온전한 데이터를 획득할 수 있다.
이하에서는, 일 실시 예에 따른 3차원 데이터 획득 장치(200)가, 금속 영역에 대한 3차원 데이터를 획득하기 위하여, 제2 모드에서 동작하는 구체적인 방법을 설명한다.
일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 스캔하는 대상체 상에 금속 영역이 감지되면, 대상체 상에 조사되는 패턴광을 변경함으로써 동작 모드를 변경할 수 있다.
예를 들어, 3차원 데이터 획득 장치(200)는, 제1 모드에서 라인 패턴광을 이용하여 대상체를 스캔하고, 제2 모드에서 포인트 패턴 광을 이용할 수 있다. 라인 패턴 광을 이용하는 방식에 비해, 포인트 패턴 광을 이용하는 방식이 빛 반사에 강인하므로, 금속으로 이루어진 영역에 대한 데이터 획득에 유리할 수 있다. 다만, 본 개시는 포인트 패턴 광에 제한되지 않으며, 금속 영역 스캔에 적합하게 설계된 다양한 패턴 광이 이용될 수 있다.
또한, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 복수의 2차원 영상들로부터 대상체 표면의 3차원 형상 정보를 획득함에 있어서, 제2 모드에서 스테레오 매칭(Stereo Matching) 방식을 이용할 수 있다. 스테레오 매칭 방식에는, 예를 들어, 블록 매칭(Block Matching), 그래프 컷(Graph Cut), 또는 세미-글로벌 매칭(Semi-Global Matching) 등이 포함될 수 있다.
또한, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체로부터 3차원 포인트 클라우드 데이터를 획득한 이 후의 처리 방법인, 후-처리(post processing) 방식을 변경함으로써 동작 모드를 변경할 수 있다. 즉, 3차원 데이터 획득 장치(200)는, 제1 모드 및 제2 모드 각각에서 서로 다른 방식으로 후-처리를 수행할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 클라우드에 포함되는 포인트들을 연결하여 삼각 망을 구성하는 삼각화 방식을 이용하여 3차원 폴리곤 메쉬 데이터를 생성할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 클라우드로부터 메쉬 데이터를 생성하기 위해 다양한 방법을 사용할 수 있다.
일 예로서, 3차원 데이터 획득 장치(200)는, 대상체를 스캔하여 획득된 2차원 영상 데이터를 이용하여 3차원 포인트 클라우드를 생성하고, 2차원 영상 데이터의 각 픽셀 간 연결 관계를 이용하여 3차원 포인트 클라우드로부터 메쉬 데이터를 생성할 수 있다. 3차원 데이터 획득 장치(200)는, 2차원 영상 데이터를 구성하는 픽셀들 중에서 인접한 픽셀들 간의 연결 관계를 이용하여 메쉬 데이터를 생성할 수 있다.
다른 예로서, 3차원 데이터 획득 장치(200)는, 3차원 포인트 클라우드를 이용하여 메쉬 데이터를 생성할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 마칭 큐브(Marching Cubes)나 들로네 삼각화(Delaunay Triangulation) 등의 방법을 사용하여 3차원 포인트 클라우드로부터 메쉬 데이터를 생성할 수 있다. 들로네 삼각화란, 포인트들을 삼각형의 형태로 연결함에 있어서, 삼각형들의 내각의 최소값이 최대가 되도록 연결하는 방식을 의미할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 동일한 포인트 클라우드로부터 메쉬 데이터들을 생성하더라도, 삼각화 방식 및 입력 인자에 따라 서로 다른 형태의 메쉬 데이터들을 생성할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)가, 3차원 스캔에 의해 복수의 정점들로 구성된 포인트 클라우드를 생성함에 있어서, 스캔 시 사용한 카메라 및/또는 광학계의 해상도에 따라서 인접한 정점들 간의 물리적인 최소 거리가 정해질 수 있다. 하지만, 대상체의 재질, 대상체의 형상, 대상체와 3차원 스캐너 간의 기하적인 조건, 또는 대상체를 비추는 조명 조건 등으로 인해, 대상체의 적어도 일부에 대한 3차원 데이터를 획득하지 못하는 경우가 발생할 수 있다.
대상체의 적어도 일부에 대한 3차원 데이터가 획득되지 않은 경우, 한 번의 스캔에 의해 획득한 3차원 데이터는, 인접한 정점들 간의 거리가 일정 기준 이상인 정점들을 포함할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 기준 거리 이상 이격된 정점들이 연결되는 경우, 해당 연결을 적합하지 않은 연결로 판단하여 해당 연결 관계를 제거할 수 있다. 그 결과, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 기준 거리 미만으로 이격된 정점들 만을 연결하여 구성된 삼각망을 포함하는 메쉬 데이터를 획득할 수 있다.
또한, 3차원 데이터 획득 장치(200)는, 메쉬 데이터 내에서 서로 인접한 삼각형들을 적어도 하나의 그룹으로 그룹화할 수 있다. 3차원 데이터 획득 장치(200)는, 각 그룹 별로, 그룹을 구성하는 삼각형의 수를 식별할 수 있다. 3차원 데이터 획득 장치(200)는, 그룹을 구성하는 삼각형의 수가 소정 값 이하인 경우, 해당 그룹을 스캔 과정에서 발생한 노이즈로 간주하여 필터링함으로써 해당 그룹을 메쉬 데이터로부터 제거할 수 있다.
도 12는 일 실시 예에 따라 3차원 데이터 획득 장치가 일반 영역을 스캔하여 획득되는 메쉬 데이터 및 메탈 영역을 스캔하여 획득되는 메쉬 데이터의 예를 도시한다.
일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 대상체의 비금속 영역으로부터 획득된 메쉬 데이터(1210)에 대해서, 소정 값 이하의 개수의 삼각형들로 이루어진 그룹을 제거하는 필터링을 수행할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 3개 이하의 삼각형들로 이루어진 그룹을 노이즈라고 간주할 수 있다. 도 12에 도시된 예를 참조하면, 3차원 데이터 획득 장치(200)는, 메쉬 데이터(1210)로부터 1개의 삼각형을 포함하는 삼각형 그룹(1211)을 삭제할 수 있다.
또한, 도 12에는 대상체의 금속 영역으로부터 획득된 메쉬 데이터(1230)가 도시 된다. 도 12의 메쉬 데이터(1230)에 도시된 바와 같이, 금속 영역에 대해서는 스캔에 의해 획득된 데이터가 부족하므로, 삼각형 그룹들(1231, 1233, 1235)이 듬성 듬성하게 포함된 메쉬 데이터(1230)가 생성될 수 있다. 일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 대상체의 금속 영역으로부터 획득된 메쉬 데이터(120)에 대해서, 소정 값 이하의 개수의 삼각형들로 이루어진 그룹을 제거하는 필터링을 수행할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 3개 이하의 삼각형들로 이루어진 그룹을 노이즈라고 간주할 수 있다. 3차원 데이터 획득 장치(200)가 메쉬 데이터(1230)에 대해 필터링을 수행하는 경우, 듬성 듬성하게 포함된 삼각형 그룹들(1231, 1233, 1235) 이 메쉬 데이터(1230)로부터 삭제될 수 있다. 3차원 데이터 획득 장치(200)가 메쉬 데이터(1230)로부터 삼각형 그룹들(1231, 1233, 1235)을 모두 노이즈로 간주하여 삭제할 경우, 데이터가 크게 손실될 수 있다.
따라서, 본 개시의 일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 데이터의 손실을 줄이기 위하여, 필터링의 기준이 되는 기준 값을 변경함으로써 동작 모드를 제2 모드로 변경할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 제1 모드에서 a개 이하의 삼각형들로 이루어진 그룹을 삭제하도록 설정되고, 금속 영역이 감지되어 동작 모드가 변경되는 경우, 제2 모드에서 b개 이상의 삼각형들로 이루어진 그룹을 삭제하도록 설정될 수 있다. 이 때, a, b는 자연수이고, b는 a보다 작은 수일 수 있다.
예를 들어, 3차원 데이터 획득 장치(200)는, 제1 모드에서 동작하는 경우, b개보다 많고 a개보다 적은 수의 삼각형들을 포함하는 그룹을 데이터에서 삭제할 수 있다. 반면에, 3차원 데이터 획득 장치(200)는, 제2 모드에서 동작하는 경우, b개보다 많고 a개보다 적은 수의 삼각형들을 포함하는 그룹을 데이터에서 삭제하지 않는다. 따라서, 3차원 데이터 획득 장치(200)는, 제1 모드에서 동작할 때와 비교하여, 제2 모드에서 동작하는 경우, 금속 영역의 표면 정보를 손실 없이 최대한 많이 확보할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 데이터의 손실을 줄이기 위하여, 제1 모드에서는 일반적인 삼각화 방식을 수행하고, 제2 모드에서는 들로네 삼각화 방식을 이용하여 메쉬 데이터를 생성할 수 있다. 3차원 데이터 획득 장치(200)는, 들로네 삼각화 방식을 이용할 경우, 포인트들이 멀리 떨어져 있어도 서로 연결하여 메쉬를 구성할 수 있다. 따라서, 들로네 삼각화 방식에 의해 획득된 메쉬 데이터에는, 기준 값 이하의 삼각형들로 이루어진 그룹이 포함되기 어려우므로, 필터링에 의해 데이터가 삭제되지 않을 수 있다.
도 13은 일 실시 예에 따라 3차원 데이터 획득 장치가 수행하는 들로네 삼각화를 설명하는 도면이다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 패턴광이 조사된 대상체를 촬영함으로써 복수의 2차원 영상들을 획득하고, 복수의 2차원 영상들 및 패턴광에 대한 정보에 기초하여 대상체의 표면의 형상 정보를 포함하는 포인트 클라우드(1310)를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 포인트 클라우드(1310)에 포함되는 포인트들을 연결함으로써 메쉬 데이터(1320)를 생성할 수 있다. 이 때, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 클라우드(1310)로부터 메쉬 데이터(1320)를 생성함에 있어서, 제2 모드에서 들로네 삼각화 방식을 이용할 수 있다.
도 13에 도시된 바와 같이, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 들로네 삼각화 방식을 이용함으로써, 금속 영역으로부터 적은 양의 포인트 정보가 획득되는 경우에도, 데이터 손실을 최소화하면서 메쉬 데이터를 생성할 수 있다.
다만, 노이즈 데이터는, 일반적으로 스캔하고자 하는 피대상체 데이터로부터 떨어져 존재한다. 그러므로, 들로네 삼각화 방식에 의하면, 노이즈로서 획득된 포인트까지도 메쉬로 연결되기 때문에, 소정 값 이하의 개수의 삼각형들로 구성된 그룹을 제거하는 필터링에 의해 노이즈가 필터링 되지 않는다. 따라서, 이를 방지하기 위해, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 들로네 삼각화 방식을 이용하여 메쉬 데이터를 생성할 때, 일정 길이 이상의 엣지 및/또는 이를 포함하는 메쉬는 삭제하도록 구성될 수 있다.
도 14는 일 실시 예에 따라 3차원 데이터 획득 장치가 메쉬 데이터에 수행하는 필터링의 예를 도시한다.
도 14는, 일 실시 예에 따른 3차원 데이터 획득 장치(200)가, 제2 모드로 동작하여 획득한 초기 메쉬 데이터(1410) 및 필터링을 수행한 메쉬 데이터(1430)를 도시한다. 도 14에 도시된 바와 같이, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 초기 메쉬 데이터(1410) 내에서 일정 길이 이상의 엣지 및/또는 이를 포함하는 메쉬들을 삭제하여 필터링된 메쉬 데이터(1430)를 획득할 수 있다. 도 14에서 일정 길이 이상의 엣지들은 점선으로 표시된다.
3차원 데이터 획득 장치(200)는, 일정 길이 이상의 엣지 및/또는 이를 포함하는 메쉬들이 제거된 필터링된 메쉬 데이터(1430)에 대해 소정 값 이하의 개수의 삼각형을 포함하는 그룹을 제거하는 필터링을 추가적으로 수행할 수 있다. 3차원 데이터 획득 장치(200)는, 필터링에 의해 삼각형 그룹들(1431, 1433)을 삭제함으로써, 도 15에 도시된 최종 메쉬 데이터(1510)를 획득할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 모드로 획득된 데이터와 제2 모드로 획득된 데이터를 위치 정렬함으로써, 비금속 영역과 금속 영역이 혼재된 대상체의 3차원 형상을 정확하게 표현하는 3차원 데이터를 획득할 수 있다.
일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 제2 모드에서, 3차원 데이터 전체에 대해, 금속 영역을 스캔하기 적합하도록 설정된 후-처리 방식을 적용할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 제2 모드로 동작하는 경우, 3차원 데이터 전체에 대해 들로네 삼각화를 적용하여 메쉬 데이터를 생성하거나, 3차원 데이터 전체에 대해서 변경된 기준 값을 이용하여 적은 숫자의 삼각형을 포함하는 그룹을 제거하는 필터링을 수행할 수 있다.
그러나 본 개시는 이에 제한되지 않으며, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 데이터에서 금속 영역으로 식별된 부분에 대해서만, 제2 모드에 따른 후-처리를 수행할 수 있다. 일반적인 삼각화 방식에 비해 들로네 삼각화 방식은 더 많은 연산량이 요구된다. 또한, 낮은 기준 값을 이용하는 필터링 방식 역시, 제거되지 않고 보존되는 데이터 양을 증가시킴으로써 결과적으로 연산량을 증가시킬 수 있다. 따라서, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 데이터에서 금속 영역으로 식별된 부분에 대해서만, 제2 모드에 따른 포스트 프로세싱을 수행함으로써, 연산량 증가를 줄일 수 있다.
도 16은 일 실시 예에 따른 3차원 데이터 획득 장치의 블록도를 도시한다.
도 16에 도시된 3차원 데이터 획득 장치(200)의 블록도는 상술한 3차원 데이터 획득 장치(200)의 일 예이다. 도 16에 도시된 3차원 데이터 획득 장치(200)는, 본 개시의 다양한 실시 예들에 따른 3차원 데이터 획득 방법을 수행할 수 있으며, 도 1 내지 도 15에 대한 설명이 적용될 수 있다. 따라서, 상술한 바와 중복되는 내용은 생략한다.
도 16에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100) 및 3차원 영상 디스플레이 장치(300)를 포함할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)를 이용하여 대상체를 스캔함으로써 대상체의 형상을 나타내는 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)는, 대상체를 스캔한 2차원 영상 프레임 또는 2차원 영상 프레임으로부터 획득된 3차원 프레임을 3차원 영상 디스플레이 장치(300)에게 전송할 수 있다.
일 실시 예에 따른 3차원 영상 디스플레이 장치(300)는 3차원 스캐너(100)와 유선 또는 무선 통신 네트워크를 통하여 연결되며, 3차원 스캐너(100)로부터 대상체를 스캔하여 획득된 로우 데이터 또는 3차원 프레임을 수신할 수 있다.
3차원 영상 디스플레이 장치(300)는, 수신된 2차원 영상 프레임 또는 3차원 프레임에 기초하여, 대상체에 대한 3차원 영상을 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 본 개시의 다양한 실시 예들에 따른 3차원 영상 디스플레이 장치(300)는 고정형 단말이거나 이동형 단말일 수 있다. 3차원 영상 디스플레이 장치(300)는, 예를 들어, 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.
도 16을 참조하면, 3차원 영상 디스플레이 장치(300)는 프로세서(310), 디스플레이(320), 통신 인터페이스(330), 사용자 입력부(340), 및 메모리(350)를 포함할 수 있다.
일 실시 예에 따른 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작을 수행하도록 3차원 스캐너(100) 및 3차원 영상 디스플레이 장치(300)를 제어한다. 본 개시의 설명에서 3차원 데이터 획득 장치(200)가 수행하는 동작은, 3차원 영상 디스플레이 장치(300)에 의해 수행되거나, 3차원 스캐너(100) 또는 3차원 영상 디스플레이 장치(300)에 의해 수행되도록 프로세서(310)에 의해 제어되는 동작일 수 있다. 여기서, 적어도 하나의 인스트럭션은 프로세서(310) 내에 포함되는 내부 메모리(미도시) 또는 프로세서(310)와 별도로 3차원 영상 디스플레이 장치(300) 내에 포함되는 메모리(350)에 저장되어 있을 수 있다.
일 실시 예에 따른 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작을 수행하도록 3차원 데이터 획득 장치(200) 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(310)가 소정 동작을 수행하는 경우를 예로 들어 설명하더라도, 3차원 데이터 획득 장치(200) 에 포함하는 적어도 하나의 구성들이 소정 동작을 수행하도록 프로세서(310)가 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다.
일 실시 예에 따른 프로세서(310)는 3차원 영상 디스플레이 장치(300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 3차원 영상 디스플레이 장치(300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 3차원 영상 디스플레이 장치(300)의 제어를 위한 제어 프로그램 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 내부의 프로세서(미도시)를 포함할 수 있다.
또한, 프로세서(310)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 또한, 프로세서(310)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다.
개시된 실시 예에서, 프로세서(310)는 3차원 스캐너(100)로부터 수신되는 데이터에 기초하여 대상체에 대한 3차원 데이터를 생성하고, 대상체에 대한 3차원 영상을 생성할 수 있다.
디스플레이(320)는 프로세서(310)에 제어에 따라서 소정 화면을 디스플레이 할 수 있다. 구체적으로, 디스플레이(320)는 3차원 스캐너(100) 가 대상체를 스캔하여 획득한 데이터에 기초하여 생성된 영상을 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다. 또는, 디스플레이(320)는 대상체에 대한 진단 및 치료와 관련되는 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
통신 인터페이스(330)는 적어도 하나의 외부 전자 장치(미도시)와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스(330)는 프로세서(310)의 제어에 따라서 3차원 스캐너(100)와 통신을 수행할 수 있다.
사용자 입력부(340)는 3차원 데이터 획득 장치(200)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(340)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지칭 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.
또한, 사용자 입력부(340)는 음성 인식을 위한 음성 인식 장치(미도시)를 포함할 수 있다. 예를 들어, 음성 인식 장치(미도시)는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(310)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.
일 실시 예에 따르면, 사용자 입력부(340)는, 대상체 상에 금속 영역이 감지되면 동작 모드를 제1 모드로부터 제2 모드로 자동으로 변경하는 동작 옵션을 선택하는 사용자 입력을 수신할 수 있다.
메모리(350)는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(350)는 프로세서(310)가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리(350)는 프로세서(310)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 메모리(350)는 3차원 스캐너(100)로부터 수신되는 데이터(예를 들어, 대상체 스캔을 통하여 획득된 로우 데이터, 2차원 영상 데이터, 3차원 데이터 등)를 저장할 수 있다. 메모리(350)는 대상체를 3차원적으로 나타내는 대상체 영상을 저장할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(310)는, 메모리(350)에 저장된 프로그램을 실행함으로써 3차원 데이터 획득 장치(200)의 전체적인 동작을 제어할 수 있다. 프로세서(310)는 대상체에 대한 3차원 데이터를 획득하기 위하여 3차원 데이터 획득 장치(200)에 포함되는 다른 구성들을 제어할 수 있다.
프로세서(310)가 3차원 데이터 획득 장치(200)의 전체적인 동작을 제어하여 3차원 데이터를 획득하는 구체적인 방법에 대해서는 도 4 또는 도 9에 대한 설명이 적용될 수 있고 중복되는 설명은 생략될 수 있다.
일 실시 예에 따르면 프로세서(310)는, 사용자 입력에 기초하여, 대상체 상에 금속 영역이 감지되면 동작 모드를 제1 모드로부터 제2 모드로 자동으로 변경하도록 동작할 수 있다.
일 실시 예에 따르면 프로세서(310)는, 3차원 스캐너(100)에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하고, 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 변경할 수 있다. 프로세서(310)는, 대상체를 스캔함으로써 제2 데이터를 획득하도록 제2 모드에서 동작하고, 제1 모드에서 획득된 제1 데이터 및 제2 모드에서 획득된 제2 데이터에 기초하여, 대상체에 대한 3차원 데이터를 획득할 수 있다.
예를 들어, 제1 모드 및 제2 모드는, 서로 다른 3차원 스캔 방식들을 이용하는 동작 모드들이거나, 서로 다른 후-처리 방식들을 이용하는 동작 모드들을 의미할 수 있다.
일 실시 예에 따르면, 프로세서(310)는, 제1 모드 및 제2 모드에서 서로 다른 3차원 스캔 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다.
일 실시 예에 따르면 프로세서(310)는, 제1 모드에서, 제1 타입의 패턴광이 조사된 대상체의 표면에 대한 제1 데이터를 획득할 수 있다. 예를 들어, 제1 타입의 패턴 광은, 라인 패턴 광을 포함할 수 있다. 일 실시 예에 따르면 프로세서(310)는, 제2 모드에서, 제2 타입의 패턴광이 조사된 대상체의 표면에 대한 제2 데이터를 획득할 수 있다. 예를 들어, 제2 타입의 패턴 광은, 포인트 패턴 광을 포함할 수 있다.
일 실시 예에 따른 프로세서(310)는, 대상체에 제1 타입의 패턴 광을 조사하여, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대한 제1 데이터를 획득하도록 3차원 데이터 획득 장치(200)를 제어할 수 있다.
프로세서(310)는, 대상체에 제1 타입의 패턴 광을 조사하고, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 획득하도록 3차원 스캐너(100)를 제어할 수 있다. 예를 들어, 제1 타입의 패턴 광은, 라인 패턴 광을 포함할 수 있다.
프로세서(310)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대한 2차원 영상들 및 제1 타입의 패턴 광에 대한 정보에 기초하여, 대상체에 대한 제1 포인트 클라우드 데이터를 제1 데이터로서 획득할 수 있다. 예를 들어, 프로세서(310)는, 3차원 스캐너(100)의 제1 영상 센서가 스캔한 2차원 영상에 나타나는 대상체 상의 각 선이 제2 영상 센서가 스캔한 2차원 영상의 어느 선에 대응되는 지를 결정할 수 있다. 그리고, 프로세서(310)는, 조사된 라인 패턴 및 2차원 영상들에 보여지는 변형된 선에 기초하여, 2차원 영상들 간에 매칭되는 각 선을 이루는 점들의 3차원 좌표를 계산할 수 있다. 프로세서(310)는, 2차원 영상들에 포함되는 각 픽셀에 대한 3차원 좌표를 계산함으로써 제1 포인트 클라우드 데이터를 획득할 수 있다.
일 실시 예에 따른 프로세서(310) 는, 대상체에 제2 타입의 패턴 광을 조사하여, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대한 제2 데이터를 획득하도록 3차원 데이터 획득 장치(200)를 제어할 수 있다.
프로세서(310)는, 대상체에 제2 타입의 패턴 광을 조사하고, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 획득하도록 3차원 스캐너(100)를 제어할 수 있다. 예를 들어, 제2 타입의 패턴 광은, 포인트 패턴 광을 포함할 수 있다.
프로세서(310)는, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대한 2차원 영상들 및 제2 타입의 패턴 광에 대한 정보에 기초하여, 대상체에 대한 제2 포인트 클라우드 데이터를 제2 데이터로서 획득할 수 있다. 예를 들어, 프로세서(310)는, 3차원 스캐너(100)의 제1 영상 센서가 스캔한 2차원 영상에 나타나는 대상체 표면의 각 포인트가 제2 영상 센서가 스캔한 2차원 영상의 어느 포인트에 대응되는 지를 결정할 수 있다. 그리고, 프로세서(310)는, 조사된 포인트 패턴 및 2차원 영상들에 보여지는 변형된 포인트 패턴에 기초하여, 2차원 영상들 간에 매칭되는 각 포인트의 3차원 좌표를 계산할 수 있다. 프로세서(310)는, 2차원 영상들에 포함되는 각 픽셀에 대한 3차원 좌표를 계산함으로써 제1 포인트 클라우드 데이터를 획득할 수 있다.
일 실시 예에 따르면, 3차원 스캐너(100)는, 제1 타입의 패턴 광 및 제2 타입의 패턴 광을 번갈아 가면서 조사하도록 구성될 수 있다. 프로세서(310)는 3차원 스캐너(100)를 이용하여, 제1 타입의 패턴 광을 이용하여 획득된 복수의 2차원 영상 프레임들에 기초하여 제1 데이터를 획득하고, 제2 타입의 패턴 광을 이용하여 획득된 복수의 2차원 영상 프레임들에 기초하여 제2 데이터를 획득할 수 있다.
예를 들어, 3차원 스캐너(100)는, 제2 타입의 패턴 광을 이용한 제2 데이터를 획득함에 있어서, 대상체에 대한 색상 정보를 획득하기 위하여, 적색 패턴 광, 녹색 패턴 광, 및 청색 패턴 광을 각각 순차적으로 대상체에게 조사함으로써, R 프레임, G 프레임, 및 B 프레임을 획득할 수 있다. 프로세서(310)는, R 프레임, G 프레임, 및 B 프레임에 기초하여 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.
다른 일 실시 예에 따르면, 프로세서(310)는 3차원 스캐너(100)를 이용하여 제1 타입의 패턴 광이 조사된 대상체를 스캔하다가, 금속 영역이 감지되면 제2 타입의 패턴 광을 조사하도록 구성될 수 있다.
먼저, 프로세서(310)는 제1 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제1 데이터를 획득하도록 3차원 스캐너(100)를 제어할 수 있다. 프로세서(310)는, 제1 타입의 패턴 광이 조사된 대상체로부터 획득된 복수의 2차원 영상 프레임들에 기초하여, 제1 데이터로서 제1 포인트 클라우드 데이터를 획득할 수 있다. 프로세서(310)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 획득된 서로 다른 시점의 2차원 영상들을 포함하는 프레임과 이웃하는 이웃 프레임 간의 밝기 값의 차이가 임계 값 이상으로 많이 나는 경우, 제1 타입의 패턴 광 대신에 제2 타입의 패턴 광을 조사할 것을 결정할 수 있다.
다른 일 실시 예에 따르면, 프로세서(310)는, 메모리(350)에 저장된 인공 지능 모델을 이용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 프로세서(310)는, 대상체로부터 획득된 2차원 영상 프레임 또는 3차원 프레임을 입력으로서 인공 지능 모델에 적용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 금속 영역 판단에 이용되는 인공 지능 모델은, 대상체의 금속 영역 및 비금속 영역으로부터 획득된 많은 양의 스캔 데이터를 학습(train)한 인공 지능 모델일 수 있다. 3차원 데이터 획득 장치(200)는, 대상체의 영역이 금속 영역이라고 판단되면, 제1 타입의 패턴 광 대신에 제2 타입의 패턴 광을 조사할 것을 결정할 수 있다.
다음으로, 프로세서(310)는, 제2 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제2 데이터를 획득하도록 3차원 스캐너(100)를 제어할 수 있다. 프로세서(310)는, 제2 타입의 패턴 광이 조사된 대상체로부터 획득된 복수의 2차원 영상 프레임들에 기초하여, 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.
일 실시 예에 따른 프로세서(310) 는, 제1 데이터 및 제2 데이터에 기초하여, 대상체에 대한 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 스캐너(100)가 제1 타입의 패턴 광 및 제2 타입의 패턴 광을 번갈아 가면서 조사하도록 구성되는 경우에 있어서, 3차원 스캐너(100)가 제1 타입의 패턴 광을 이용하여 획득한 제1 데이터는, 대상체의 제1 형상 정보를 포함할 수 있다. 그리고 3차원 스캐너(100)가 적색의 제2 타입의 패턴 광, 녹색의 제2 타입의 패턴 광 및 청색의 제2 타입의 패턴 광을 순차적으로 조사하여 획득한 제2 데이터는, 대상체의 제2 형상 정보 및 색상 정보를 포함할 수 있다. 프로세서(310)는, 제1 형상 정보, 제2 형상 정보 및 색상 정보에 기초하여 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 프로세서(310)는, 제1 데이터 및 제2 데이터의 가중치 합에 기초하여 3차원 데이터를 획득할 수 있다. 예를 들어, 제1 데이터, 제2 데이터, 및 3차원 데이터는, 포인트 클라우드 데이터이거나 폴리곤 메쉬 데이터일 수 있다.
일 실시 예에 따른 프로세서(310)는, 제1 데이터의 신뢰도에 기초하여, 신뢰도가 높은 대상체의 적어도 일부 영역에 대해서는 제1 데이터를 이용하고, 신뢰도가 낮은 대상체의 나머지 영역에 대해서는 제2 데이터를 이용함으로써, 3차원 데이터를 획득할 수 있다.
다른 일 실시 예에 따른 프로세서(310)는, 제1 데이터에 포함되는 복수의 제1 포인트들 및 제2 데이터에 포함되는 복수의 제2 포인트들 간의 중첩 포인트들을 결정할 수 있다. 프로세서(310)는, 중첩 포인트들에 대한 평균값을 이용하여 3차원 데이터를 획득할 수 있다.
한편, 다른 일 실시 예에 따르면 프로세서(310)는, 서로 다른 후-처리 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다.
일 예로서, 일 실시 예에 따르면 프로세서(310)는, 제1 모드에서, 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 획득할 수 있다. 또한, 프로세서(310)는, 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행할 수 있다. 프로세서(310)는, 필터링이 수행된 제1 메쉬 데이터를 포함하는 제1 데이터를 획득할 수 있다.
일 실시 예에 따르면 프로세서(310)는, 제2 모드에서, 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득할 수 있다. 프로세서(310)는, 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행할 수 있다. 프로세서(310)는, 필터링이 수행된 제2 메쉬 데이터를 포함하는 제2 데이터를 획득할 수 있다. 이 때, 제2 모드에서 필터링을 위해 이용되는 제2소정값은, 제1 모드에서 필터링을 위해 이용되는 제1소정값보다 작을 수 있다.
다른 예로서, 일 실시 예에 따르면 프로세서(310)는, 제1 모드에서, 일반적인 삼각화 방식을 이용하여 대상체에 대한 제1 포인트 클라우드로부터 제1 메쉬 데이터를 제1 데이터로서 획득할 수 있다. 반면에, 프로세서(310)는, 제2 모드에서, 들로네 삼각화를 이용하여, 대상체에 대한 제2 포인트 클라우드로부터 제2 메쉬 데이터를 제2 데이터로서 획득할 수 있다.
일 실시 예에 따른 프로세서(310)는, 제2 메쉬 데이터를 획득하기 위해서, 제2 포인트 클라우드 내에서 금속 영역에 대응하는 포인트들을 식별하고, 들로네 삼각화를 이용하여 식별된 포인트들을 연결할 수 있다. 프로세서(310)는, 제2 포인트 클라우드 내에서 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결함으로써 제2 메쉬 데이터를 획득할 수 있다.
또한, 프로세서(310)는, 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지 및/또는 이를 포함하는 메쉬를 삭제하는 필터링을 추가적으로 수행할 수 있다.
일 실시 예에 따르면 프로세서(310)는, 대상체 상에 금속 영역이 감지되면, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다.
일 실시 예에 따르면 프로세서(310)는, 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 대상체 상에 금속 영역의 존재를 감지할 수 있다. 예를 들어, 프로세서(310)는, 대상체로부터 획득된 제1데이터를 입력으로서 인공 지능 모델에 적용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 금속 영역 판단에 이용되는 인공 지능 모델은, 대상체의 금속 영역 및 비금속 영역으로부터 획득된 많은 양의 스캔 데이터를 학습(train)한 인공 지능 모델일 수 있다. 프로세서(310)는, 대상체의 영역이 금속 영역이라고 판단되면, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다.
일 실시 예에 따르면 프로세서(310)는, 적색 광, 녹색 광 및 청색 광 각각에 기초하여 획득된 R 프레임, G 프레임, 및 B 프레임의 세기(intensity)를 결합하여 생성된 컬러 이미지를 분석할 수 있다. 프로세서(310)는, 생성된 컬러 이미지를 분석함으로써, 대상체 상에 금속 영역의 존재를 감지할 수 있다.
예를 들어, 일 실시 예에 따르면 프로세서(310)는, 대상체를 스캔하여 획득한 컬러 이미지를 분석하여, 컬러 이미지 내에 소정 비율 이상의 영역이 금속 영역으로 판단되는 경우(예를 들어, 컬러 이미지 내의 전체 픽셀들 중 40% 이상의 픽셀이 금속 영역에 대응하는 픽셀로 판단되는 경우), 금속 영역을 스캔하고 있는 것으로 판단할 수 있다. 프로세서(310)는, 대상체의 금속 영역을 스캔하고 있는 것으로 판단한 결과에 기초하여, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다.
본 개시의 일 실시 예에 따른 3차원 데이터 획득 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예에 따르면, 3차원 데이터 획득 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 제공될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 구강 영상의 디스플레이 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
100: 3차원 스캐너
200: 3차원 데이터 획득 장치
300: 3차원 영상 디스플레이 장치
310: 프로세서
320: 디스플레이
330: 통신 인터페이스
340: 사용자 입력부
350: 메모리

Claims (20)

  1. 3차원 데이터를 획득하는 장치에 있어서,
    3차원 스캐너와 통신하는 통신 인터페이스; 및
    적어도 하나의 인스트럭션을 실행하여 상기 3차원 데이터를 획득하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하고,
    상기 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 전환하고,
    상기 3차원 스캐너에 의해 상기 대상체를 스캔함으로써 제2 데이터를 획득하도록 상기 제2 모드에서 동작하고,
    상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는, 3차원 데이터 획득 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    제1 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하고,
    제2 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는, 3차원 데이터 획득 장치.
  3. 제2 항에 있어서,
    상기 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고,
    상기 제2 타입의 패턴 광은, 포인트 패턴 광을 포함하는, 3차원 데이터 획득 장치.
  4. 제1 항에 있어서,
    상기 제1 모드에서 획득되는 상기 제1 데이터와 상기 제2 모드에서 획득되는 상기 제2 데이터는, 서로 다른 후-처리 방식을 통해 획득되는, 3차원 데이터 획득 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 상기 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하고, 상기 제1 데이터는 상기 제1 메쉬 데이터를 포함하고,
    상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 들로네 삼각화를 이용하여, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하고, 상기 제2 데이터는 상기 제2 메쉬 데이터를 포함하는, 3차원 데이터 획득 장치.
  6. 제5 항에 있어서,
    상기 프로세서는,
    상기 제2 포인트 클라우드 내에서 상기 대상체 상의 금속 영역에 대응하는 포인트들을 식별하고,
    상기 들로네 삼각화를 이용하여 상기 식별된 포인트들을 연결하고, 상기 제2 포인트 클라우드 내에서 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결함으로써 상기 제2 메쉬 데이터를 획득하는, 3차원 데이터 획득 장치.
  7. 제5 항에 있어서,
    상기 프로세서는,
    상기 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지를 삭제하는 필터링을 더 수행하는, 3차원 데이터 획득 장치.
  8. 제4 항에 있어서,
    상기 프로세서는,
    상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 상기 제1 포인트 클라우드 내의 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하고, 상기 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하고, 상기 제1 데이터는 필터링이 수행된 상기 제1 메쉬 데이터를 포함하고,
    상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하고, 상기 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하고, 상기 제2 데이터는 필터링이 수행된 상기 제2 메쉬 데이터를 포함하고,
    상기 제2 소정 값은 상기 제1 소정 값보다 작은 것을 특징으로 하는, 3차원 데이터 획득 장치.
  9. 제1 항에 있어서,
    상기 프로세서는,
    상기 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 상기 대상체 상에 금속 영역의 존재를 감지하는, 3차원 데이터 획득 장치.
  10. 제1 항에 있어서,
    상기 대상체 상에 금속 영역이 감지되면 상기 동작 모드를 상기 제1 모드로부터 상기 제2 모드로 자동으로 변경하도록 동작 옵션을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하는, 3차원 데이터 획득 장치.
  11. 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하는 단계;
    상기 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 전환하는 단계;
    상기 대상체를 스캔함으로써 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계; 및
    상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법.
  12. 제11 항에 있어서,
    상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는,
    제1 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하는 단계를 포함하고,
    상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는,
    제2 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법.
  13. 제12 항에 있어서,
    상기 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고,
    상기 제2 타입의 패턴 광은, 포인트 패턴 광을 포함하는, 3차원 데이터 획득 방법.
  14. 제11 항에 있어서,
    상기 제1 모드에서 획득되는 상기 제1 데이터와 상기 제2 모드에서 획득되는 상기 제2 데이터는, 서로 다른 후-처리 방식을 통해 획득되는, 3차원 데이터 획득 방법.
  15. 제14 항에 있어서,
    상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는,
    상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하는 단계; 및
    상기 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하는 단계를 포함하고, 상기 제1 데이터는 상기 제1 메쉬 데이터를 포함하고,
    상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는,
    상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하는 단계; 및
    들로네 삼각화를 이용하여, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하는 단계를 포함하고, 상기 제2 데이터는 상기 제2 메쉬 데이터를 포함하는, 3차원 데이터 획득 방법.
  16. 제15 항에 있어서,
    상기 제2 메쉬 데이터를 획득하는 단계는,
    상기 제2 포인트 클라우드 내에서 상기 대상체 상의 금속 영역에 대응하는 포인트들을 식별하는 단계; 및
    상기 들로네 삼각화를 이용하여 상기 식별된 포인트들을 연결하고, 상기 제2 포인트 클라우드 내에서 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결함으로써 상기 제2 메쉬 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법.
  17. 제15 항에 있어서,
    상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는,
    상기 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지를 삭제하는 필터링을 수행하는 단계를 더 포함하는, 3차원 데이터 획득 방법.
  18. 제14 항에 있어서,
    상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는,
    상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하는 단계;
    상기 제1 포인트 클라우드 내의 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하는 단계; 및
    상기 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하는 단계를 포함하고, 상기 제1 데이터는 필터링이 수행된 상기 제1 메쉬 데이터를 포함하고,
    상기 제2 모드로 상기 제2 데이터를 획득하는 단계는,
    상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하는 단계;
    상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하는 단계; 및
    상기 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하는 단계를 포함하고, 상기 제2 데이터는 필터링이 수행된 상기 제2 메쉬 데이터를 포함하고
    상기 제2 소정 값은 상기 제1 소정 값보다 작은 것을 특징으로 하는, 3차원 데이터 획득 방법.
  19. 제11 항에 있어서,
    상기 동작 모드를 상기 제2 모드로 변경하는 단계는,
    상기 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 상기 대상체 상에 금속 영역의 존재를 감지하는 단계를 포함하는, 3차원 데이터 획득 방법.
  20. 제11 항에 있어서,
    상기 대상체 상에 금속 영역이 감지되면 상기 동작 모드를 상기 제1 모드로부터 상기 제2 모드로 자동으로 변경하도록 동작 옵션을 선택하는 사용자 입력을 수신하는 단계를 더 포함하는, 3차원 데이터 획득 방법.
KR1020210096699A 2020-08-05 2021-07-22 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 KR102534778B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2021/010252 WO2022031022A1 (ko) 2020-08-05 2021-08-04 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
EP21852597.0A EP4194804A4 (en) 2020-08-05 2021-08-04 METHOD AND DEVICE FOR ACQUIRING THREE-DIMENSIONAL DATA AND COMPUTER-READABLE STORAGE MEDIUM WITH PROGRAM STORED THEREIN FOR IMPLEMENTING THE METHOD
US18/040,560 US20230298270A1 (en) 2020-08-05 2021-08-04 Method and device for acquiring three-dimensional data, and computer-readable storage medium storing program for performing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200098230 2020-08-05
KR20200098230 2020-08-05

Publications (2)

Publication Number Publication Date
KR20220017830A true KR20220017830A (ko) 2022-02-14
KR102534778B1 KR102534778B1 (ko) 2023-05-26

Family

ID=80254186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210096699A KR102534778B1 (ko) 2020-08-05 2021-07-22 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체

Country Status (1)

Country Link
KR (1) KR102534778B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001915A1 (zh) * 2022-06-30 2024-01-04 先临三维科技股份有限公司 扫描数据显示方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008281399A (ja) * 2007-05-09 2008-11-20 Konica Minolta Sensing Inc 三次元測定装置及び携帯型計測器
JP2014055810A (ja) * 2012-09-11 2014-03-27 Keyence Corp 形状測定装置及びこれに組み込まれるプログラム並びにこれを記憶した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008281399A (ja) * 2007-05-09 2008-11-20 Konica Minolta Sensing Inc 三次元測定装置及び携帯型計測器
JP2014055810A (ja) * 2012-09-11 2014-03-27 Keyence Corp 形状測定装置及びこれに組み込まれるプログラム並びにこれを記憶した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001915A1 (zh) * 2022-06-30 2024-01-04 先临三维科技股份有限公司 扫描数据显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102534778B1 (ko) 2023-05-26

Similar Documents

Publication Publication Date Title
US8532355B2 (en) Lighting compensated dynamic texture mapping of 3-D models
EP3669819B1 (en) 3d modeling of an object using textural features
JP6573907B2 (ja) 3dスキャンされるオブジェクトに関する色情報を収集するためのシステム、方法、装置、及びコンピュータ可読記憶媒体
JP2004030007A (ja) 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体
US20230390032A1 (en) Method for determining object area from three-dimensional model, and three-dimensional model processing device
US20240144600A1 (en) Constructing textured 3d models of dental structures
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
EP4374819A1 (en) Image processing apparatus and image processing method
KR102582709B1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
EP4194804A1 (en) Method and device for acquiring three-dimensional data, and computer-readable storage medium storing program for performing method
KR102441485B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
EP3629301B1 (en) Rendering a dental model in an image
EP4287202A1 (en) Digital dental impressions
KR102680644B1 (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
KR102591976B1 (ko) 구강에 대한 마진 라인 정보를 제공하는 방법 및 그를 수행하는 전자 장치
KR102444195B1 (ko) 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
US20240338898A1 (en) Method for adding text on 3-dimensional model and 3-dimensional model processing apparatus
EP4285864A1 (en) Three-dimensional scanning system and method for operating same
KR102605094B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
KR20230029554A (ko) 이미지 처리 장치, 및 이미지 처리 방법
KR20230038117A (ko) 구강 이미지를 처리하는 방법 및 데이터 처리 장치
KR20230014604A (ko) 삼차원 구강 모델을 처리하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant