KR20220025522A - 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 - Google Patents

3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
KR20220025522A
KR20220025522A KR1020200106358A KR20200106358A KR20220025522A KR 20220025522 A KR20220025522 A KR 20220025522A KR 1020200106358 A KR1020200106358 A KR 1020200106358A KR 20200106358 A KR20200106358 A KR 20200106358A KR 20220025522 A KR20220025522 A KR 20220025522A
Authority
KR
South Korea
Prior art keywords
images
phase shift
camera
scanner
index
Prior art date
Application number
KR1020200106358A
Other languages
English (en)
Other versions
KR102444195B1 (ko
Inventor
임성빈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to KR1020200106358A priority Critical patent/KR102444195B1/ko
Priority to PCT/KR2021/010653 priority patent/WO2022045650A1/ko
Priority to US18/019,961 priority patent/US20230290045A1/en
Publication of KR20220025522A publication Critical patent/KR20220025522A/ko
Application granted granted Critical
Publication of KR102444195B1 publication Critical patent/KR102444195B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공한다. 본 개시의 일 실시예는, 적어도 하나의 카메라를 이용하여 대상체를 스캔함으로써, 대상체의 각 영역을 구별하는 영역 인덱스(index)를 설정하기 위한 복수의 인덱스 이미지를 획득하고, 위상 시프트 방식을 통해 대상체를 스캔함으로써, 복수의 위상 시프트 이미지를 획득하는 스캐너, 스캐너로부터 복수의 인덱스 이미지 및 복수의 위상 시프트 이미지를 수신하는 통신 인터페이스, 및 수신된 복수의 인덱스 이미지 및 위상 시프트 이미지를 이미지 처리를 통해, 대상체에 관한 3차원 이미지를 생성하는 프로세서를 포함하고, 스캐너는 복수의 인덱스 이미지 중 상기 적어도 하나의 카메라로부터 선택된 카메라를 통해 획득된 복수의 인덱스 이미지를 비닝하는, 3차원 스캐너 디바이스를 제공한다.

Description

3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체{THREE-DIMENSIONAL SCANNER DEVICE, OPERATING METHOD AND COMPUTER-READABLE MEDIUM STORING A PROGRAM FOR PERFORMING THE SAME METHOD}
본 개시는 3차원 스캐너 디바이스 및 그 동작 방법에 관한 것으로서, 보다 구체적으로는 스캐너를 통해 획득한 복수의 이미지를 프로세싱 디바이스에 전송하는 방법에 및 장치에 관한 것이다.
치과 치료, 특히 보철 등의 치료를 하는 데 있어 치과용 CAD/CAM(Dental Computer Aided Design/Computer Aided Manufacturing) 기술이 널리 사용되고 있다. CAD/CAM을 이용한 치과 치료에서 가장 중요한 것은 환자의 치아, 잇몸, 턱뼈 등의 대상체의 형상에 대하여 정교한 3차원 데이터를 획득하는 것이다. 치과 치료를 수행함에 있어서, 대상체로부터 획득된 3차원 이미지 데이터를 이용하면, 컴퓨터에 의하여 정확한 계산이 수행될 수 있다는 장점이 있다.
치과 CAD/CAM 분야에서는 광학식 3차원 스캐너가 많이 사용되고 있다. 광학식 3차원 스캐너는 대상체로부터 반사되는 빛을 이용하여 복수의 2차원 이미지들을 획득하고, 복수의 2차원 이미지를 이미지 처리함으로써, 대상체의 3차원 표면 형상 정보를 획득할 수 있다. 광학식 3차원 스캐너는 복수의 카메라를 이용하여 대상체를 촬영함으로써 복수의 2차원 이미지를 획득하고, 획득된 복수의 2차원 이미지를 프로세싱 디바이스로 전송한다.
최근에는, 광학식 3차원 스캐너를 통해 획득한 복수의 2차원 이미지 각각이 예를 들어 5백만개의 픽셀을 포함할 정도로 고해상도이고, 고해상도 이미지 파일의 경우 파일 하나 당 용량이 약 5M byte인 경우도 있다. 이 경우, 광학식 3차원 스캐너를 통해 획득된 복수의 2차원 이미지를 프로세싱 디바이스로 전송하는데 시간이 많이 소요되는 문제점이 있다. 전술한 문제점을 해결하기 위하여 복수의 2차원 이미지를 비닝(binning)함으로써 압축하는 방법을 고려할 수 있지만, 압축 시 해상도가 떨어지는바, 이미지의 품질이 저하되는 단점이 있다.
본 개시는 3차원 스캐너를 통해 획득한 복수의 이미지 파일들을 선택적으로 비닝(binning)함으로써, 복수의 이미지들의 품질을 저하시키지 않고 프로세싱 디바이스로 전송하는 속도를 향상시킬 수 있는 방법 및 3차원 스캐너 디바이스를 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는, 3차원 스캐너에서 획득된 이미지의 처리 방법을 제공한다. 상기 방법은, 복수의 카메라를 이용하여 대상체를 스캔함으로써, 대상체의 각 영역을 구별하는 영역 인덱스(index)를 설정하기 위한 복수의 인덱스 이미지를 획득하는 단계, 상기 복수의 카메라를 이용하여 상기 대상체를 스캔함으로써, 위상 시프트(phase shift) 방식을 통해 복수의 위상 시프트 이미지를 획득하는 단계, 상기 복수의 인덱스 이미지 중 상기 복수의 카메라로부터 선택된 적어도 하나의 카메라를 통해 획득된 복수의 인덱스 이미지를 비닝(bining)하는 단계, 및 상기 복수의 인덱스 이미지 및 상기 복수의 위상 시프트 이미지를 상기 3D 스캐너와 연결된 프로세싱 디바이스에 전송하는 단계를 포함할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 복수의 인덱스 이미지는, 제1 카메라를 이용하여 획득된 복수의 제1 인덱스 이미지 및 제2 카메라를 이용하여 획득된 복수의 제2 인덱스 이미지를 포함하고, 상기 복수의 인덱스 이미지를 비닝하는 단계는, 상기 복수의 제1 인덱스 이미지 및 상기 복수의 제2 인덱스 이미지 중 상기 제1 카메라 및 상기 제2 카메라로부터 선택된 적어도 하나의 카메라를 이용하여 획득한 복수의 인덱스 이미지를 비닝할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 방법은 적어도 하나의 카메라를 이용하여 상기 대상체를 스캔함으로써, 위상 시프트(phase shift) 방식을 통해 복수의 위상 시프트 이미지를 획득하는 단계를 더 포함할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 복수의 위상 시프트 이미지는 제1 카메라를 이용하여 획득된 복수의 제1 위상 시프트 이미지 및 제2 카메라를 이용하여 획득된 복수의 제2 위상 시프트 이미지를 포함하고, 상기 방법은 상기 복수의 제1 위상 시프트 이미지 및 상기 복수의 제2 위상 시프트 이미지 중 상기 제1 카메라 및 상기 제2 카메라로부터 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 위상 시프트 이미지를 비닝하는 단계를 더 포함할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 복수의 위상 시프트 이미지를 비닝하는 단계는 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 위상 시프트 이미지 중 선택된 적어도 하나의 위상 시프트 이미지를 비닝할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 대상체에 관한 3차원 이미지를 획득하는 3차원 스캐너 디바이스를 제공한다. 3차원 스캐너 디바이스는, 복수의 카메라를 이용하여 대상체를 스캔함으로써, 상기 대상체의 각 영역을 구별하는 영역 인덱스(index)를 설정하기 위한 복수의 인덱스 이미지를 획득하고, 위상 시프트 방식을 통해 상기 대상체를 스캔함으로써, 복수의 위상 시프트 이미지를 획득하는 스캐너, 상기 스캐너로부터 상기 복수의 인덱스 이미지 및 상기 복수의 위상 시프트 이미지를 수신하는 통신 인터페이스, 및 수신된 상기 복수의 인덱스 이미지 및 상기 위상 시프트 이미지를 조합하고 합성하는 이미지 처리를 통해, 상기 대상체에 관한 3D 이미지를 생성하는 프로세서를 포함하고, 상기 스캐너는 상기 복수의 인덱스 이미지 중 상기 복수의 카메라로부터 선택된 적어도 하나의 카메라를 통해 획득된 복수의 인덱스 이미지를 비닝할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 복수의 인덱스 이미지는, 제1 카메라를 이용하여 복수의 제1 인덱스 이미지 및 제2 카메라를 이용하여 복수의 제2 위상 시프트 이미지를 포함하고, 상기 스캐너는, 상기 복수의 제1 인덱스 이미지 및 상기 복수의 제2 인덱스 이미지 중 상기 제1 카메라 및 상기 제2 카메라로부터 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 인덱스 이미지를 비닝할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 스캐너는 제1 카메라를 이용하여 복수의 제1 위상 시프트 이미지를 획득하고, 제2 카메라를 이용하여 복수의 제2 위상 시프트 이미지를 획득하며, 상기 복수의 제1 위상 시프트 이미지 및 상기 복수의 제2 위상 시프트 이미지 중 상기 제1 카메라 및 상기 제2 카메라로부터 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 위상 시프트 이미지를 비닝할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 스캐너는 상기 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 위상 시프트 이미지 중 선택된 적어도 하나의 위상 시프트 이미지를 비닝할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
개시된 실시 예에 따른 3차원 스캐너 디바이스 및 그 동작 방법은, 생성되는 3차원 이미지의 품질 저하 없이, 스캐너를 통해 획득된 복수의 이미지들을 프로세싱 디바이스로 전송하는 속도를 향상시킬 수 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스의 동작 방법을 개략적으로 설명하기 위한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스가 대상체의 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스가 획득한 복수의 이미지들을 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 스캐너의 동작 방법을 도시한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스의 구성 요소를 도시한 블록도이다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스가 위상 시프트 이미지의 원본과 비닝된 위상 시프트 이미지 간의 픽셀 매칭 방법을 설명하기 위한 도면들이다.
도 7은 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스가 위상 시프트 이미지의 원본과 비닝된 위상 시프트 이미지 간의 픽셀 매칭을 수행하는 방법을 도시한 흐름도이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등), 대상체 상에 부착 가능하거나 대상체 내에 삽입 가능한 인공 구조물, 또는 팬텀(phantom) 등을 포함할 수 있다. 이하에서는, 대상체로서 적어도 하나의 치아를 포함하는 구강에 대한 3차원 이미지 데이터를 획득하는 경우를 예로 들어 설명하였다. 예를 들어, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 그러나, 본 개시는 구강에 대한 3차원 이미지 데이터를 획득하는 경우에 제한되지 않으며, 다양한 대상체에 대한 3차원 이미지 데이터를 획득하기 위해 적용될 수 있다.
또한, 본 개시에서 '데이터'는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 정보, 예를 들어, 적어도 하나의 카메라를 이용하여 획득된 로우 데이터(raw data)를 의미할 수 있다. 구체적으로, 로우 데이터는 대상체에 대한 3차원 이미지 데이터를 생성하기 위해서 획득되는 2차원 이미지일 수 있다. 로우 데이터는, 3차원 스캐너(예를 들어, 구강 스캐너(intraoral scanner))를 이용하여 대상체를 스캔할 때 복수의 카메라들에 의해 획득되는 서로 다른 시점의 2차원 이미지들을 의미할 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스(100)의 동작 방법을 개략적으로 설명하기 위한 개념도이다.
도 1에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 3차원 스캐너 디바이스(100)는, 3차원 스캐너(1000) 및 프로세싱 디바이스(2000)를 포함할 수 있다. 도 1을 참조하면, 3차원 스캐너(1000)는 턴 테이블 상에 놓인 대상체(10)를 적어도 하나의 카메라(1100, 1200)를 이용하여 촬영함으로써, 대상체(10)에 관한 3차원 데이터를 획득하는 테이블 스캐너로 구성될 수 있다.
그러나, 이에 한정되는 것은 아니고, 3차원 스캐너(1000)는 핸드헬드 스캐너(handheld)로 구성될 수도 있다. 3차원 스캐너(1000)가 핸드헬드 스캐너로 구성되는 경우, 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 3차원 모델을 생성하기 위한 장치가 될 수 있다. 또한, 3차원 스캐너(1000)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 영상 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔할 수 있다. 도 1에는 3차원 스캐너 디바이스(100)의 동작을 설명하기 위한 필수적인 구성 요소만 도시되었다. 3차원 스캐너 디바이스(100)가 포함하고 있는 구성이 도 1에 도시된 바와 같이 한정되는 것은 아니다.
일 실시예에서, 3차원 스캐너 디바이스(100)는 3차원 스캐너(1000)를 이용하여 대상체(10)에 패턴 광을 조사(project)하고 패턴 광이 조사된 대상체(10)를 스캔함으로써, 패턴의 변형에 의한 삼각 계측의 원리를 이용하여 대상체(10)의 형상을 나타내는 3차원 데이터를 획득할 수 있다.
3차원 스캐너(1000)는 대상체(10)를 스캔함으로써 로우 데이터(raw data)를 획득할 수 있다. 일 실시예에서, 3차원 스캐너(1000)는 구강 내의 영상을 획득하기 위한 의료 장치를 포함할 수 있다. 일 실시예에서, 3차원 스캐너(1000)를 통해 획득되는 로우 데이터는 복수의 인덱스 이미지(110) 및 복수의 위상 시프트 이미지(phase shift images)(120)를 포함할 수 있다. 복수의 인덱스 이미지(110)는 대상체(10)의 각 영역을 구별하기 위한 영역 인덱스(index)를 설정하는 이미지들이다. 복수의 위상 시프트 이미지(120)는, 위상 시프트(phase shift) 방식으로 대상체(10)에 조사되는 패턴 광을 스캔함으로써 대상체(10) 표면의 깊이 값(depth value)을 측정하기 위한 이미지들이다. 복수의 인덱스 이미지(110) 및 복수의 위상 시프트 이미지(120)에 대해서는 도 3에서 상세하게 설명하기로 한다.
3차원 스캐너(1000)와 프로세싱 디바이스(2000)는 유선 또는 무선 통신 방법으로 서로 연결될 수 있다. 일 실시예에서, 3차원 스캐너(1000)는 유선 랜, 이더넷(Ethernet) 또는 기가 이더넷(Gigbit Ehernet; GigE) 중 어느 하나의 통신 방식으로 프로세싱 디바이스(2000)와 전기적 및/또는 물리적으로 연결될 수 있다. 그러나, 이에 한정되는 것은 아니고, 3차원 스캐너(1000)는 USB 2.0 또는 USB 3.0 규격의 USB(Universal Serial Bus) 연결 방식을 이용하여 프로세싱 디바이스(2000)와 연결될 수도 있다.
3차원 스캐너(1000)는 획득된 복수의 인덱스 이미지(110) 및 복수의 위상 시프트 이미지(120)를 프로세싱 디바이스(2000)에 전송할 수 있다.
프로세싱 디바이스(2000)는 전달받은 로우 데이터에 기초하여, 대상체(10)의 표면의 형상을 3차원적으로 나타내는 3차원 이미지 데이터를 생성할 수 있다. 3차원 이미지 데이터는, 포인트 클라우드 데이터 또는 폴리곤 메쉬 데이터일 수 있다. 일 실시예에서, 프로세싱 디바이스(2000)는 복수의 인덱스 이미지 및 복수의 위상 시프트 이미지를 조합하는 등의 3차원 연산을 수행함으로써, 3차원 이미지 데이터를 획득하고, 3차원 이미지 데이터를 렌더링한 3차원 이미지를 디스플레이부(2400) 상에 표시할 수 있다. 프로세싱 디바이스(2000)가 복수의 인덱스 이미지 및 복수의 위상 시프트 이미지를 이용하여 3차원 이미지 데이터를 획득하는 구체적인 방법에 대해서는, 도 2 및 도 3에서 상세하게 설명하기로 한다.
프로세싱 디바이스(2000)는, 수신된 로우 데이터에 기초하여, 대상체(10)에 대한 3차원 이미지 데이터 또는 3차원 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 프로세싱 디바이스(2000)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다. 일 실시 예에 따른 프로세싱 디바이스(2000)는 대상체(10)에 대한 3차원 이미지 데이터 또는 3차원 이미지를 분석하고, 분석 결과를 처리, 디스플레이 및/또는 전송할 수 있다.
또한, 일 실시예에서, 프로세싱 디바이스(2000)는 3차원 스캐너(1000)에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 여기서, 전용 소프트웨어는 전용 프로그램 또는 전용 어플리케이션으로 호칭될 수 있다. 프로세싱 디바이스(2000)가 3차원 스캐너(1000)와 상호 연동되어 동작하는 경우, 프로세싱 디바이스(2000)에 저장되는 전용 소프트웨어는 3차원 스캐너(1000)와 연결되어 대상체(10) 스캔을 통하여 획득되는 데이터들을 실시간을 수신할 수 있다. 예를 들어, 자사의 구강 스캐너인 i500 제품에 대응되는 i500 에서 구강 스캔을 통하여 획득된 데이터를 처리하기 위한 전용 소프트웨어가 존재한다. 프로세싱 디바이스(2000)는 i500 제품에 대응되는 전용 소프트웨어를 저장 및 실행할 수 있다. 전송 소프트웨어는 구강 이미지를 획득, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다.
전용 소프트웨어는 프로세싱 디바이스(2000)의 프로세서(2200, 도 5 참조) 또는 메모리(2300, 도 5 참조)에 저장될 수 있다. 또한, 전용 소프트웨어는 3차원 스캐너(1000)에서 획득된 데이터의 이용을 위한 사용자 인터페이스를 제공할 수 있다. 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 개시된 실시 예에 따라서 생성되는 대상체(10)에 대한 3차원 이미지를 포함할 수 있다.
도 2는 일 실시 예에 따라 광학식 3차원 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라 3차원 스캐너(1000)를 이용하여 대상체의 표면에 대한 3차원 이미지 데이터를 획득하기 위해서는, 양안시 구조광(structured light with stereo vision) 방식이 이용될 수 있다.
일 실시 예에 따른 3차원 스캐너(1000)는 2개 이상의 카메라(1100, 1200)와 구조광(structured light)(또는, 패턴 광)(20)을 조사할 수 있는 적어도 하나의 패턴 광 조사부(1300)로 구성될 수 있다. 예를 들어, 패턴 광 조사부(1300)는 DLP 프로젝터(Digital Light Processing projector), LCD 프로젝터(projector) 또는 레이저 프로젝터 중 적어도 하나로 구성될 수 있다. 일 실시 예에 따른 3차원 스캐너(1000)는, 대상체(10)에게 구조광(20)을 조사하고, 좌안 시야(left Field of View)에 대응되는 제1 카메라(1100)와 우안 시야(Right Field of View)에 대응되는 제2 카메라(1200) 각각에서 좌안 시야에 대응되는 L 이미지(30) 및 우안 시야에 대응되는 R 이미지(32)을 획득할 수 있다. 3차원 스캐너(1000)는 대상체(10)에 대한 L 이미지(30) 및 R 이미지(32)을 포함하는 2차원 이미지 프레임을 연속적으로 획득할 수 있다. 3차원 스캐너(1000) 또는 프로세싱 디바이스(2000)는, L 이미지(30) 및 R 이미지(32)을 포함하는 2차원 이미지 프레임로부터 대상체의 표면 형상을 나타내는 3차원 이미지 프레임을 재구성할 수 있다.
3차원 스캐너(1000)는, 연속적으로 대상체를 스캔함으로써 복수의 2차원 프레임들을 획득할 수 있다. 3차원 스캐너(1000) 또는 프로세싱 디바이스(2000)는, 복수의 2차원 이미지 프레임들로부터 복수의 3차원 이미지 프레임들을 획득할 수 있다.
프로세싱 디바이스(2000)는, 복수의 3차원 이미지 프레임들을 병합(merge) 또는 위치 정렬(align)함으로써 대상체 전체에 대한 3차원 이미지 데이터를 재구성할 수 있다. 일 실시예에서, 프로세싱 디바이스(2000)는 에피폴라 제약 조건을 이용하여 대상체(10)의 특정 포인트(X)를 스캔함으로써 획득한 L 이미지(30) 상의 픽셀 포인트(x)와, 그에 매칭되는 픽셀 포인트(x')를 R 이미지(32)로부터 식별할 수 있다. 에피폴라 제약 조건은, 제1 카메라(1100), 제2 카메라(1200), 및 대상체의 특정 포인트(X)가 형성하는 에피폴라 평면(epipolar plane)(π)이 이미지 평면과 교차하여 만드는 에피폴라 라인 상에 서로 대응되는 픽셀 포인트(x, x')가 배치되는 원리이다. 일 실시예에서, 프로세싱 디바이스(2000)는 상기 원리를 이용하여, L 이미지(30)의 특정 픽셀 포인트(x)에 대응되는 R 이미지(32) 상의 픽셀 포인트(x')를 식별하고, 식별된 픽셀 포인트(x, x')의 위치 정보에 기초하여 광 삼각화 연산(optical triangulation)을 수행함으로써 픽셀 포인트(x, x')에 관한 3차원 포인트 정보를 획득할 수 있다. 프로세싱 디바이스(2000)는 L 이미지(30) 및 R 이미지(32)에 포함되는 모든 픽셀 포인트에 관하여 상기 연산을 수행함으로써 대상체에 관한 3차원 이미지 데이터를 생성할 수 있다.
도 3은 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스(100)가 획득한 복수의 이미지들을 도시한 도면이다.
도 3을 참조하면, 복수의 카메라(1100, 1200) 중 좌안 시야에 대응되는 제1 카메라(1100, 도 2 참조)는 복수의 제1 인덱스 이미지(310) 및 복수의 제1 위상 시프트 이미지(320)를 획득할 수 있다. 복수의 카메라(1100, 1200) 중 우안 시야에 대응되는 제2 카메라(1200, 도 2 참조)는 복수의 제2 인덱스 이미지(330) 및 복수의 제2 위상 시프트 이미지(340)를 획득할 수 있다.
패턴 광 조사부(1300, 도 2 참조)는 대상체(10)의 영역을 기설정된 적어도 하나의 영역으로 구별하기 위한 복수의 그레이 코드 패턴(gray code pattern)을 대상체(10) 상에 투영(project)할 수 있다. 일 실시예에서, 복수의 그레이 코드 패턴 각각은 0과 1을 포함하는 이진수의 인덱스 값을 갖도록 영역을 분할하는 바이너리 코드 패턴(binary code pattern)일 수 있다.
제1 카메라(1100)는 복수의 그레이 코드 패턴이 투영된 대상체(10)를 스캔함으로써, 복수의 제1 인덱스 이미지(310)를 획득할 수 있다. 복수의 제1 인덱스 이미지(310)는 제1-1 인덱스 이미지(310-1) 내지 제1-n 인덱스 이미지(310-n)를 포함할 수 있다.
마찬가지로, 제2 카메라(1200)는 복수의 그레이 코드 패턴이 투영된 대상체(10)를 스캔함으로써, 복수의 제2 인덱스 이미지(330)를 획득할 수 있다. 복수의 제1 인덱스 이미지(310)와 마찬가지로, 복수의 제2 인덱스 이미지(330)도 인덱스 이미지(330-1 내지 330-n)를 포함할 수 있으나, 이에 한정되는 것은 아니다.
패턴 광 조사부(1300)는 대상체(10)의 표면에 위상(phase)을 천이(shift)함으로써 서로 다른 위상값을 갖는 복수의 위상 시프트 패턴(phase shift pattern)을 투영할 수 있다. 일 실시예에서, 패턴 광 조사부(1300)는 복수의 위상 시프트 패턴을 대상체(10) 상에 투영할 수 있다.
제1 카메라(1100)는 복수의 위상 시프트 패턴이 투영된 대상체(10)를 스캔함으로써, 복수의 제1 위상 시프트 이미지(320)를 획득할 수 있다. 복수의 제1 위상 시프트 이미지(320)는 제1-1 위상 시프트 이미지(320-1) 내지 제1-n 위상 시프트 이미지(320-n)를 포함할 수 있다.
마찬가지로, 제2 카메라(1200)는 복수의 위상 시프트 패턴이 투영된 대상체(10)를 스캔함으로써, 복수의 제2 위상 시프트 이미지(340)를 획득할 수 있다.
제1 카메라(1100) 및 제2 카메라(1200)는 획득된 복수의 제1 인덱스 이미지(310), 복수의 제1 위상 시프트 이미지(320), 복수의 제2 인덱스 이미지(330), 및 복수의 제2 위상 시프트 이미지(340)를 프로세싱 디바이스(2000, 도 1 참조)에 전송할 수 있다. 프로세싱 디바이스(2000)는 제1 카메라(1100) 및 제2 카메라(1200)로부터 수신된 복수의 제1 인덱스 이미지(310), 복수의 제1 위상 시프트 이미지(320), 복수의 제2 인덱스 이미지(330), 및 복수의 제2 위상 시프트 이미지(340)를 이용하여 대상체에 관한 3차원 데이터를 획득할 수 있다.
구체적으로, 프로세싱 디바이스(2000)는 복수의 제1 인덱스 이미지(310)를 합성함으로써, 제1 인덱스 맵(index map)(312)을 생성하고, 복수의 제1 위상 시프트 이미지(320)를 조합함으로써 제1 페이즈 앵글 맵(phase angle map)(322)을 생성할 수 있다. 프로세싱 디바이스(2000)는 제1 인덱스 맵(312)과 제1 페이즈 앵글 맵(322)을 합성하여 제1 Unwrapped 페이즈 앵글 맵(unwrapped phase angle map)(350)을 생성할 수 있다. 'unwrapped 페이즈 앵글 맵(unwrapped phase angle map)'은 픽셀에 따라 서로 다른 위상 시프트 값을 갖는 맵을 의미한다. 마찬가지로, 프로세싱 디바이스(2000)는 복수의 제2 인덱스 이미지(330)를 합성함으로써, 제2 인덱스 맵(332)를 생성하고, 복수의 제2 위상 시프트 이미지(340)를 조합함으로써 제2 페이즈 앵글 맵(342)을 생성할 수 있다. 프로세싱 디바이스(2000)는 제2 인덱스 맵(332)과 제2 페이즈 앵글 맵(342)을 합성하여 제2 Unwrapped 페이즈 앵글 맵(360)을 생성할 수 있다.
프로세싱 디바이스(2000)는 에피폴라 제약 조건을 이용하여, 제1 Unwrapped 페이즈 앵글 맵(350)과 제2 Unwrapped 페이즈 앵글 맵(360) 간의 픽셀 매칭을 수행할 수 있다. 일 실시예에서, 프로세싱 디바이스(2000)는 제1 Unwrapped 페이즈 앵글 맵(350)에 포함되는 특정 픽셀 포인트에 대응되는 픽셀 포인트를 제2 Unwrapped 페이즈 앵글 맵(360) 상에서 식별할 수 있다. 프로세싱 디바이스(2000)는 식별된 픽셀 포인트의 위치 정보에 기초하여, 광 삼각화 연산(optical triangulation)을 수행함으로써, 대상체에 관한 3차원 데이터를 획득할 수 있다. 프로세싱 디바이스(2000)는 획득된 3차원 데이터를 렌더링(rendering)함으로써, 대상체(10)에 관한 최종 3차원 이미지를 생성할 수 있다.
제1 카메라(1100)와 제2 카메라(1200)를 포함하는 3차원 스캐너(1000, 도 1 참조)는 통신 인터페이스를 통해 프로세싱 디바이스(2000)와 연결될 수 있다. 예를 들어, 3차원 스캐너(1000)는 유선 랜, 이더넷(Ethernet) 또는 기가 이더넷(Gigbit Ehernet; GigE) 중 어느 하나의 통신 방식으로 프로세싱 디바이스(2000)와 전기적 및/또는 물리적으로 연결될 수 있다. 기가 이더넷의 경우, 70Mbps의 전송 속도로 데이터를 송수신할 수 있다.
이미지 데이터의 용량이 큰 경우, 3차원 스캐너(1000)로부터 프로세싱 디바이스(2000)에 이미지를 전송하는 전송 시간이 많이 소요되는바, 전송 시간을 감소시키기 위해서는 이미지 데이터를 비닝(binning)하는 방법을 고려할 수 있다. 인덱스 이미지와 위상 시프트 이미지 중 인덱스 이미지의 경우, 대상체(10) 표면의 실질적인 픽셀 값(예를 들어, 깊이 값)을 측정하기 위한 것이 아닌, 대상체(10)의 영역을 구별하기 위한 이미지이기 때문에, 인덱스 이미지를 비닝할 수 있다.
이 경우, 복수의 인덱스 이미지(310, 330) 모두를 비닝하는 것이 아닌, 복수의 제1 인덱스 이미지(310)만을 비닝하거나, 또는 복수의 제2 인덱스 이미지만을 비닝할 수 있다. 또한, 복수의 제1 인덱스 이미지(310) 및 복수의 제2 인덱스 이미지(330) 모두를 비닝할 수도 있다. 또한, 복수의 카메라(1100, 1200)를 이용하여 획득된 복수의 제1 위상 시프트 이미지(320) 및 복수의 제2 위상 시프트 이미지(340) 중 선택된 복수의 위상 시프트 이미지를 비닝함으로써, 이미지 데이터의 용량을 줄일 수도 있다. 이에 대해서는 도 4에서 상세하게 설명하기로 한다.
도 4는 본 개시의 일 실시예에 따른 3차원 스캐너(1000)의 동작 방법을 도시한 흐름도이다.
단계 S410에서, 3차원 스캐너(1000)는 복수의 카메라를 이용하여 대상체를 촬영함으로써, 대상체의 각 영역을 구별하는 영역 인덱스(index)를 설정하기 위한 복수의 인덱스 이미지를 획득한다. 도 3을 함께 참조하면, 3차원 스캐너(1000)는 패턴 광 조사부(1300, 도 2 참조)를 이용하여 복수의 그레이 코드 패턴(gray code pattern)을 대상체(10) 상에 투영(project)하고, 제1 카메라(1100)를 이용하여 복수의 제1 인덱스 이미지(310, 도 3 참조)를 획득할 수 있다. 3차원 스캐너(1000)는 제2 카메라(1200)를 이용하여 복수의 제2 인덱스 이미지(330, 도 3 참조)를 획득할 수 있다. 복수의 제1 인덱스 이미지(310) 및 복수의 제2 인덱스 이미지(330)를 획득하는 구체적인 방법은 도 3의 설명과 동일하므로, 중복되는 설명은 생략한다.
단계 S420에서, 3차원 스캐너(1000)는 복수의 카메라를 이용하여 대상체의 표면을 촬영함으로써, 위상 시프트(phase shift) 방식을 통해 복수의 위상 시피트 이미지를 획득한다. 일 실시예에서, 3차원 스캐너(1000)는 패턴 광 조사부(1300)를 이용하여 대상체(10)의 표면에 서로 다른 위상값을 갖는 복수의 위상 시프트 패턴(phase shift pattern)을 투영하고, 제1 카메라(1100)를 이용하여 대상체(10)의 표면을 스캔함으로써 복수의 제1 위상 시프트 이미지(320, 도 3 참조)를 획득할 수 있다. 3차원 스캐너(1000)는 제2 카메라(1200)를 이용하여 복수의 제2 위상 시프트 이미지(340, 도 3 참조)를 획득할 수 있다. 복수의 제1 위상 시프트 이미지(320) 및 복수의 제2 위상 시프트 이미지(340)를 획득하는 구체적인 방법은 도 3의 설명과 동일하므로, 중복되는 설명은 생략한다.
단계 S430에서, 3차원 스캐너(1000)는 복수의 인덱스 이미지를 기설정된 압축률로 비닝(binning)한다. 일 실시예에서, 3차원 스캐너(1000)는 복수의 제1 인덱스 이미지(310) 및 복수의 제2 인덱스 이미지(330) 중 선택된 복수의 인덱스 이미지를 비닝할 수 있다. 일 실시예에서, 3차원 스캐너(1000)는 복수의 제1 인덱스 이미지(310) 또는 복수의 제2 인덱스 이미지(330) 각각에 포함되는 복수의 픽셀들을 기설정된 압축률로 샘플링(sampling)함으로써 비닝된 인덱스 이미지를 생성할 수 있다. 예를 들어, 가로 방향 및 세로 방향으로 인접한 2×2의 픽셀을 하나의 픽셀로 비닝하는 경우, 3차원 스캐너(1000)는 원본 인덱스 이미지 대비 25%의 픽셀만을 갖는 비닝된 인덱스 이미지를 획득할 수 있다. 예를 들어, 총 5백만 개의 픽셀을 갖는 원본 인덱스 이미지를 25%로 압축하는 비닝을 수행하는 경우, 3차원 스캐너(1000)는 약 125만 개의 픽셀을 갖는 비닝 인덱스 이미지를 획득할 수 있다.
또 다른 예를 들면, 가로 방향 및 세로 방향으로 인접한 3×3의 픽셀을 하나의 픽셀로 비닝하는 경우, 3차원 스캐너(1000)는 원본 인덱스 이미지 대비 11%의 픽셀만을 갖는 비닝된 인덱스 이미지를 획득할 수 있다. 마찬가지로, 총 5백만 개의 픽셀을 갖는 원본 인덱스 이미지를 11%로 압축하는 비닝을 수행하는 경우, 3차원 스캐너(1000)는 약 55만 개의 픽셀을 갖는 비닝 인덱스 이미지를 획득할 수 있다.
일 실시예에서, 3차원 스캐너(1000)는 원본 인덱스 이미지 내의 인접한 복수의 픽셀들 각각의 신호 값인 픽셀 값의 평균을 산출하고, 복수의 픽셀들 각각의 픽셀 값을 산출된 평균값으로 대체함으로써 비닝 인덱스 이미지를 생성할 수 있다. 다른 실시예에서, 3차원 스캐너(1000)는 원본 인덱스 이미지 내의 인접한 복수의 픽셀들 각각의 픽셀 값 중 어느 하나의 픽셀 값을 샘플링하고, 복수의 픽셀들을 샘플링된 픽셀 값을 갖는 하나의 픽셀로 압축함으로써, 비닝 인덱스 이미지를 생성할 수 있다. 그러나, 이에 한정되는 것은 아니고, 3차원 스캐너(1000)는 공지된 모든 비닝 방법을 이용하여, 원본 인덱스 이미지를 비닝할 수 있다.
일 실시예에서, 3차원 스캐너(1000)는 복수의 제1 인덱스 이미지(310) 및 복수의 제2 인덱스 이미지(330) 중 제1 카메라(1100)를 통해 획득된 복수의 제1 인덱스 이미지만을 비닝하거나, 또는 제2 카메라(1200)를 통해 획득된 복수의 제2 인덱스 이미지만을 비닝할 수 있다. 다른 실시예에서, 3차원 스캐너(1000)는 복수의 제1 인덱스 이미지(310) 및 복수의 제2 인덱스 이미지(330)를 모두 비닝할 수 있다. 또 다른 실시예에서, 3차원 스캐너(1000)는 복수의 제1 인덱스 이미지(310) 및 복수의 제2 인덱스 이미지(330)를 모두 비닝하지 않고, 원본 상태로 프로세싱 디바이스(2000)에 전송할 수도 있다.
그러나, 3차원 스캐너(1000)가 복수의 인덱스 이미지만을 비닝하는 것은 아니다. 일 실시예에서, 3차원 스캐너(1000)는 복수의 위상 시프트 이미지를 비닝할 수도 있다. 일 실시예에서, 3차원 스캐너(1000)는 복수의 제1 위상 시프트 이미지(320) 및 복수의 제2 위상 시프트 이미지(340) 중 선택된 복수의 위상 시프트 이미지만을 비닝할 수 있다. 예를 들어, 3차원 스캐너(1000)는 제2 카메라(1200)를 통해 획득된 복수의 제2 위상 시프트 이미지(340)만을 비닝하고, 복수의 제1 위상 시프트 이미지(320)는 비닝하지 않은 원본 상태로 유지할 수 있다. 그러나, 이에 한정되는 것은 아니고, 일 실시예에서, 3차원 스캐너(1000)는 제1 카메라(1100)를 통해 획득된 복수의 제1 위상 시프트 이미지(320)만을 비닝할 수 있다. 다른 실시예에서, 3차원 스캐너(1000)는 복수의 제1 위상 시프트 이미지(320) 및 복수의 제2 위상 시프트 이미지(340) 모두를 비닝하지 않고, 원본 상태로 프로세싱 디바이스(2000)에 전송할 수 있다.
단계 S440에서, 3차원 스캐너(1000)는 비닝된 복수의 인덱스 이미지 및 복수의 위상 시프트 이미지를 3차원 스캐너(1000)와 연결된 프로세싱 디바이스(2000)에 전송한다. 3차원 스캐너(1000)와 프로세싱 디바이스(2000)는 예를 들어, 유선 랜, 이더넷(Ethernet) 또는 기가 이더넷(Gigbit Ehernet; GigE) 중 어느 하나의 통신 방식으로 전기적 및/또는 물리적으로 연결될 수 있다. 예를 들어, 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지가 각각 n개이고, 복수의 제1 위상 시프트 이미지 및 복수의 제2 위상 시프트 이미지 각각이 k개인 경우, 하나의 이미지 파일을 프로세싱 디바이스(2000)에 전송하는데 소요되는 시간이 단위 시간 1(예를 들어, 기가 이더넷으로 연결되는 경우) 이라고 가정하면, 복수의 인덱스 이미지 및 복수의 위상 시프트 이미지를 원본 상태로 전송하는데 소요되는 시간은 하기 표 1과 같다.
상태 개수 전송 시간(단위 시간)
제1 인덱스 이미지 원본 n n
제2 인덱스 이미지 원본 n n
제1 위상 시프트 이미지 원본 k k
제2 위상 시프트 이미지 원본 k k
총계 2n+2k 2n+2k
3차원 스캐너(1000)가 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지를 각각 25%로 압축하는 비닝을 수행하는 경우, 즉 2×2 픽셀을 하나의 픽셀로 비닝하는 경우, 이미지 데이터의 전송 시간은 하기 표 2와 같다.
상태 개수 전송 시간(단위 시간)
제1 인덱스 이미지 25% 비닝 n n/4
제2 인덱스 이미지 25% 비닝 n n/4
제1 위상 시프트 이미지 원본 k k
제2 위상 시프트 이미지 원본 k k
총계 2n+2k n/2+2k
표 2에서, 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지를 각각 25%로 비닝하는 경우, 즉 1/2로 비닝하는 경우에는 전송 시간이 n/2+2k 단위 시간이 소요된다.
3차원 스캐너(1000)가 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지를 각각 11%로 압축하는 비닝을 수행하는 경우, 즉 3×3 픽셀을 하나의 픽셀로 비닝하는 경우, 이미지 데이터의 전송 시간은 하기 표 3과 같다.
상태 개수 전송 시간(단위 시간)
제1 인덱스 이미지 11% 비닝 n n/9
제2 인덱스 이미지 11% 비닝 n n/9
제1 위상 시프트 이미지 원본 k k
제2 위상 시프트 이미지 원본 k k
총계 2n+2k 2n/9+2k
표 3에서, 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지를 각각 11%로 비닝하는 경우, 즉 1/3로 비닝하는 경우에는 전송 시간이 2n/9+2k 단위 시간이 소요된다.
3차원 스캐너(1000)가 인덱스 이미지 뿐만 아니라, 위상 시프트 이미지를 선택적으로 비닝하는 경우, 이미지 데이터의 전송 시간은 더 짧아질 수 있다. 예를 들어, 3차원 스캐너(1000)가 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지를 25%로 비닝하고, 복수의 제2 위상 시프트 이미지를 25%로 비닝하며, 복수의 제1 위상 시프트 이미지는 원본으로 유지하는 경우, 이미지 데이터의 전송 시간은 하기 표 4와 같다.
상태 개수 전송 시간(단위 시간)
제1 인덱스 이미지 25% 비닝 n n/4
제2 인덱스 이미지 25% 비닝 n n/4
제1 위상 시프트 이미지 원본 k k
제2 위상 시프트 이미지 25% 비닝 k k/4
총계 2n+2k n/2+5k/4
표 4에서, 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지를 각각 25%로 비닝하고, 복수의 제2 위상 시프트 이미지를 25%로 비닝하는 경우, 전송 시간이 n/2+5k/4 단위 시간이 소요된다.
3차원 스캐너(1000)가 획득하는 이미지 데이터 중 복수의 인덱스 이미지는 대상체 표면의 실질적인 픽셀 값(예를 들어, 깊이 값)을 측정하는 이미지가 아닌, 대상체의 영역의 인덱스만을 설정하기 위한 것인바, 비닝을 하더라도 최종 3차원 이미지의 품질에는 영향이 없다. 그러나, 복수의 위상 시프트 이미지의 경우, 실질적인 픽셀 값을 획득하기 위한 것인바, 위상 시프트 이미지를 선택적으로 비닝하는 경우 최종 획득되는 3차원 이미지의 품질에 영향을 미칠 수도 있다. 그러나, 본 개시의 3차원 스캐너(1000)에 의해 수행되는 비닝의 경우, 위상 시프트 이미지를 선택적으로 비닝하더라도 최종 3차원 이미지의 품질에는 영향을 끼치지 않을 수 있다. 이에 대해서는 도 6a, 6b 및 도 7에서 상세하게 설명하기로 한다.
도 5는 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스(100)의 구성 요소를 도시한 블록도이다.
도 5를 참조하면, 3차원 스캐너 디바이스(100)는 3차원 스캐너(1000) 및 프로세싱 디바이스(2000)를 포함할 수 있다. 3차원 스캐너 디바이스(100)는, 3차원 스캐너(1000)를 이용하여 대상체를 스캔함으로써 대상체의 형상을 나타내는 3차원 데이터를 획득할 수 있다.
도 5에 도시된 3차원 스캐너 디바이스(100)는, 본 개시의 다양한 실시 예들에 따른 3차원 데이터 획득 방법을 수행할 수 있으며, 도 1 내지 도 4에 대한 설명이 적용될 수 있다. 따라서, 상술한 바와 중복되는 내용은 생략한다.
3차원 스캐너(1000)는 대상체를 스캔함으로써, 대상체에 관한 로우 데이터(raw data)를 획득할 수 있다. 3차원 스캐너(1000)는 획득된 로우 데이터를 프로세싱 디바이스(2000)에 전송할 수 있다. 여기서, '로우 데이터'는 대상체를 스캔함으로써 획득한 복수의 2차원 이미지 프레임을 의미할 수 있다.
3차원 스캐너(1000)는 제1 카메라(1100), 제2 카메라(1200), 및 패턴 광 조사부(1300)를 포함할 수 있다.
도 5에서는 3차원 스캐너(1000)가 제1 카메라(1100) 및 제2 카메라(1200)를 포함하는 총 2개의 카메라를 포함하는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 3차원 스캐너(1000)는 3개 이상의 복수의 카메라를 포함하거나, 또는 하나의 카메라만을 포함할 수도 있다.
제1 카메라(1100) 및 제2 카메라(1200)는 패턴 광 조사부(1300)에 의해 패턴 광(또는, 구조 광)이 투영된 대상체를 촬영함으로써 복수의 이미지 데이터를 획득할 수 있다. 복수의 이미지 데이터는, 예를 들어 복수의 2차원 이미지일 수 있다. 제1 카메라(1100)는 렌즈(1110) 및 이미징 프로세서(1120)를 포함할 수 있다. 제2 카메라(1200)는 렌즈(1210) 및 이미징 프로세서(1220)를 포함할 수 있다.
패턴 광 조사부(1300)는 대상체에 패턴 광(또는, 구조광)을 투영(project)할 수 있다. 일 실시예에서, 패턴 광 조사부(1300)는 대상체의 영역을 기설정된 적어도 하나의 영역으로 구별하기 위한 복수의 그레이 코드 패턴(gray code pattern)을 대상체 상에 투영(project)할 수 있다. 일 실시예에서, 복수의 그레이 코드 패턴 각각은 0과 1을 포함하는 이진수의 인덱스 값을 갖도록 영역을 분할하는 바이너리 코드 패턴(binary code pattern)일 수 있다.
제1 카메라(1100)는 렌즈(1110)를 이용하여 복수의 그레이 코드 패턴이 투영된 대상체를 스캔함으로써, 복수의 제1 인덱스 이미지를 획득할 수 있다. 마찬가지로, 제2 카메라(1200)는 렌즈(1210)를 이용하여 복수의 그레이 코드 패턴이 투영된 대상체를 스캔함으로써, 복수의 제2 인덱스 이미지를 획득할 수 있다.
패턴 광 조사부(1300)는 대상체의 표면에 위상(phase)을 천이(shift)함으로써 서로 다른 위상값을 갖는 복수의 위상 시프트 패턴(phase shift pattern)을 투영할 수 있다. 일 실시예에서, 패턴 광 조사부(1300)는 기설정된 시간 간격으로 복수의 위상 시프트 패턴을 대상체 상에 투영할 수 있다.
제1 카메라(1100)는 렌즈(1110)를 이용하여, 복수의 위상 시프트 패턴이 투영된 대상체를 스캔함으로써, 복수의 제1 위상 시프트 이미지를 획득할 수 있다. 마찬가지로, 제2 카메라(1200)는 렌즈(1210)를 이용하여, 복수의 위상 시프트 패턴이 투영된 대상체를 스캔함으로써, 복수의 제2 위상 시프트 이미지를 획득할 수 있다.
제1 카메라(1100) 및 제2 카메라(1200)는 각각 이미징 프로세서(1120, 1220)를 이용하여, 획득된 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지를 비닝(binning)할 수 있다. 일 실시예에서, 이미징 프로세서(1120, 1220)는 원본 인덱스 이미지 내의 인접한 복수의 픽셀들 각각의 신호 값인 픽셀 값의 평균을 산출하고, 복수의 픽셀들 각각의 픽셀 값을 산출된 평균값으로 대체함으로써 비닝 인덱스 이미지를 생성할 수 있다. 다른 실시예에서, 이미징 프로세서(1120, 1220)는 원본 인덱스 이미지 내의 인접한 복수의 픽셀들 각각의 픽셀 값 중 어느 하나의 픽셀 값을 샘플링하고, 복수의 픽셀들을 샘플링된 픽셀 값을 갖는 하나의 픽셀로 압축함으로써, 비닝 인덱스 이미지를 생성할 수 있다. 그러나, 이에 한정되는 것은 아니고, 이미징 프로세서(1120, 1220)는 공지된 모든 비닝 방법을 이용하여, 원본 인덱스 이미지를 비닝할 수 있다.
일 실시예에서, 제1 카메라(1100)의 이미징 프로세서(1120)는 복수의 제1 인덱스 이미지 각각에 포함되는 복수의 픽셀들을 기설정된 압축률로 샘플링(sampling)함으로써 비닝된 복수의 제1 인덱스 이미지를 생성할 수 있다. 예를 들어, 가로 방향 및 세로 방향으로 인접한 2×2의 픽셀을 하나의 픽셀로 비닝하는 경우, 이미징 프로세서(1120)는 원본 인덱스 이미지 대비 25%의 픽셀만을 갖는 비닝된 인덱스 이미지를 획득할 수 있다. 예를 들어, 총 5백만 개의 픽셀을 갖는 원본 인덱스 이미지를 25%로 압축하는 비닝을 수행하는 경우, 이미징 프로세서(1120)는 약 125만 개의 픽셀을 갖는 비닝 인덱스 이미지를 획득할 수 있다. 제2 카메라(1200)의 경우도 마찬가지로, 이미징 프로세서(1220)를 이용하여 복수의 제2 인덱스 이미지 각각에 포함되는 복수의 픽셀들을 기설정된 압축률로 샘플링함으로써 비닝된 복수의 제2 인덱스 이미지를 생성할 수 있다. 그러나, 이에 한정되는 것은 아니다. 일 실시예에서, 제1 카메라(1100)에 포함되는 이미징 프로세서(1120) 및 제2 카메라(1200)에 포함되는 이미징 프로세서(1220)는 각각 복수의 제1 인덱스 이미지 및 복수의 제2 인덱스 이미지를 비닝하지 않고, 원본 상태로 유지할 수도 있다.
이미징 프로세서(1120, 1220)는 복수의 위상 시프트 이미지를 선택적으로 비닝할 수 있다. 일 실시예에서, 제1 카메라(1100)에 포함되는 이미징 프로세서(1120)는 복수의 제1 위상 시프트 이미지를 비닝하고, 제2 카메라(1200)에 포함되는 이미징 프로세서(1220)는 복수의 제2 위상 시프트 이미지를 비닝하지 않고, 원본 상태로 유지할 수 있다. 다른 실시예에서, 이미징 프로세서(1220)는 복수의 제2 위상 시프트 이미지를 비닝하고, 이미징 프로세서(1120)는 복수의 제1 위상 시프트 이미지를 비닝하지 않고 원본 상태로 유지할 수 있다. 또 다른 실시예에서, 이미징 프로세서(1120, 1220)는 복수의 제1 위상 시프트 이미지 및 복수의 제2 위상 시프트 이미지를 모두 비닝하지 않고, 원본 상태로 유지할 수 있다.
일 실시예에서, 제2 카메라(1200)에 포함되는 이미징 프로세서(1220)는 복수의 제2 위상 시프트 이미지 중 적어도 하나의 제2 위상 시프트 이미지만을 선택적으로 비닝할 수 있다. 예를 들어, 제2 카메라(1200)가 획득한 복수의 제2 위상 시프트 이미지가 총 n개인 경우, 이미징 프로세서(1220)는 n개의 위상 시프트 이미지 중 k개의 위상 시프트 이미지만을 선택하고, 선택된 k개의 위상 시프트 이미지만을 비닝할 수 있다.
3차원 스캐너(1000)는 복수의 인덱스 이미지, 복수의 제1 위상 시프트 이미지 및 복수의 제2 위상 시프트 이미지를 프로세싱 디바이스(2000)에 전송할 수 있다. 예를 들어, 제2 카메라(1200)에 포함되는 이미징 프로세서(1220)가 복수의 제2 위상 시프트 이미지를 비닝하는 경우, 3차원 스캐너(1000)는 비닝된 복수의 제2 위상 시프트 이미지 및 원본 상태인 복수의 제1 위상 시프트 이미지를 프로세싱 디바이스(2000)에 전송할 수 있다.
프로세싱 디바이스(2000)는 3차원 스캐너(1000)로부터 전달받은 이미지 데이터를 이용하여, 대상체의 표면의 형상을 3차원적으로 나타내는 3차원 데이터를 생성할 수 있다. 여기서, '이미지 데이터'는 비닝된 복수의 인덱스 이미지, 복수의 제1 위상 시프트 이미지 및 복수의 제2 위상 시프트 이미지를 포함할 수 있다. 일 실시예에서, 복수의 제2 위상 시프트 이미지는 기설정된 압축률로 비닝된 이미지일 수 있다. '3차원 데이터'는, 포인트 클라우드 데이터 또는 폴리곤 메쉬 데이터일 수 있다.
프로세싱 디바이스(2000)는, 수신된 이미지 데이터에 기초하여, 대상체에 대한 3차원 데이터 또는 3차원 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 프로세싱 디바이스(2000)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다. 일 실시 예에 따른 프로세싱 디바이스(2000)는 대상체에 대한 3차원 데이터 또는 3차원 이미지를 분석하고, 분석 결과를 처리, 디스플레이 및/또는 전송할 수 있다.
프로세싱 디바이스(2000)는 통신 인터페이스(2100), 프로세서(2200), 메모리(2300), 및 디스플레이부(2400)를 포함할 수 있다.
통신 인터페이스(2100)는 3차원 스캐너(1000)와 연결되고, 3차원 스캐너(1000)와 데이터를 송수신할 수 있다. 통신 인터페이스(2100)는 예를 들어, 유선 랜, 이더넷(Ethernet) 또는 기가 이더넷(Gigbit Ehernet; GigE) 중 어느 하나의 통신 방식으로 3차원 스캐너(1000)와 전기적 및/또는 물리적으로 연결될 수 있다. 그러나, 이에 한정되는 것은 아니고, 통신 인터페이스(2100)는 USB 2.0 또는 USB 3.0 규격의 USB(Universal Serial Bus) 연결 방식을 이용하여 3차원 스캐너(1000)와 연결될 수도 있다.
프로세서(2200)는 적어도 하나의 명령어(instructions) 또는 프로그램 코드를 수행하여, 의도하는 동작 및/또는 기능을 수행하도록 3차원 스캐너(1000) 및 프로세싱 디바이스(2000)를 제어한다. 본 개시의 설명에서 3차원 스캐너 디바이스(100)가 수행하는 동작 및/또는 기능은, 3차원 스캐너(1000)에 의해 수행되거나, 프로세싱 디바이스(2000)에 의해 수행되도록 프로세서(2200)에 의해 제어되는 동작일 수 있다. 여기서, 적어도 하나의 명령어 또는 프로그램 코드는 프로세서(2200) 내에 포함되는 내부 메모리(미도시) 또는 프로세서(2200)와 별도로 프로세싱 디바이스(2000) 내에 포함되는 메모리(2300)에 저장되어 있을 수 있다.
일 실시 예에 따른 프로세서(2200)는 적어도 하나의 명령어 또는 프로그램 코드를 수행하여, 의도하는 동작 및/또는 기능을 수행하도록 프로세싱 디바이스(2000) 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 또한, 프로세서(2200)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 또한, 프로세서(2200)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(2200)는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수도 있다.
일 실시예에서, 프로세서(2200)는 3차원 스캐너(1000)로부터 수신되는 이미지 데이터를 이용하여, 대상체에 대한 3차원 데이터를 생성하고, 3차원 데이터를 렌더링함으로써, 대상체의 3차원 이미지를 생성할 수 있다. 일 실시예에서, 프로세서(2200)는 3차원 스캐너(1000)로부터 수신된 복수의 인덱스 이미지 및 복수의 위상 시프트 이미지를 조합 및 합성하고, 광 삼각화 연산(optical triangulation) 등의 3차원 연산을 수행함으로써, 3차원 데이터를 획득하고, 3차원 데이터를 렌더링함으로써 3차원 이미지를 생성할 수 있다.
일 실시예에서, 프로세싱 디바이스(2000)가 3차원 스캐너(1000)로부터 원본 상태의 복수의 제1 위상 시프트 이미지 및 비닝된 복수의 제2 위상 시프트 이미지를 수신하는 경우, 프로세서(2200)는 복수의 제1 위상 시프트 이미지를 합성함으로써 제1 페이즈 앵글 맵을 생성하고, 비닝된 복수의 제2 위상 시프트 이미지를 합성함으로써 제2 페이즈 앵글 맵을 생성할 수 있다. 프로세서(2200)는 복수의 제1 인덱스 이미지로부터 생성된 제1 인덱스 맵과 제1 페이즈 앵글 맵을 합성함으로써, 제1 Unwrapped 페이즈 앵글 맵을 획득할 수 있다. 마찬가지로, 프로세서(2200)는 복수의 제2 인덱스 이미지로부터 생성된 제2 인덱스 맵과 제2 페이즈 앵글 맵을 합성함으로써, 제2 Unwrapped 페이즈 앵글 맵을 획득할 수 있다. 프로세서(2200)는 에피폴라 제약 조건을 이용하여, 제1 Unwrapped 페이즈 앵글 맵과 제2 Unwrapped 패이즈 앵글 맵을 픽셀 매칭하고, 광 삼각화 연산(optical triangulation)을 수행하여 획득한 3차원 포인트 정보를 기초로 대상체에 관한 3차원 이미지를 생성할 수 있다.
메모리(2300)는 적어도 하나의 명령어 또는 프로그램 코드(program code)를 저장할 수 있다. 또한, 메모리(2300)에 저장된 적어도 하나의 명령어 또는 프로그램 코드는 프로세서(2200)에 의해 실행될 수 있다. 일 실시예에서, 메모리(2300)는 3차원 스캐너(1000)로부터 수신되는 이미지 데이터(예를 들어, 대상체 스캔을 통하여 획득된 로우 데이터, 2차원 이미지 데이터, 3차원 데이터 등)를 저장할 수 있다. 메모리(2300)는 대상체를 3차원적으로 나타내는 3차원 이미지를 저장할 수 있다.
메모리(2300)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
디스플레이부(2400)는 프로세서(2200)에 제어에 따라서 소정 화면을 디스플레이 할 수 있다. 일 실시예에서, 디스플레이부(2400)는 프로세서(2200)에 의해 생성된 대상체의 3차원 이미지를 디스플레이할 수 있다. 또한, 디스플레이부(2400)는 3차원 이미지를 포함하는 사용자 인터페이스(User Interface) 화면을 디스플레이 할 수 있다. 또는, 디스플레이부(2400)는 대상체에 대한 진단 및 치료와 관련되는 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
디스플레이부(2400)는, 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나로 구성될 수 있다.
도 6a는 및 도 6b는 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스(100)가 Unwrapped 페이즈 앵글 맵의 원본(600)과 비닝된 Unwrapped 페이즈 앵글 맵(610) 간의 픽셀 매칭 방법을 설명하기 위한 도면들이다.
도 6a를 참조하면, Unwrapped 페이즈 앵글 맵 원본(600)은 원본 상태의 복수의 위상 시프트 이미지를 합성함으로써 생성되고, 6×6의 총 36개의 픽셀들(600-1 내지 600-n)을 포함하는 이미지이다. 비닝된 Unwrapped 페이즈 앵글 맵(610)은 비닝된 복수의 위상 시프트 이미지를 합성함으로써 생성되고, 원본 이미지를 1/2로 비닝, 즉 25%의 압축률로 비닝함으로써 생성된 이미지일 수 있다. 비닝된 Unwrapped 페이즈 앵글 맵(610)은 3×3의 총 9개의 픽셀들(610-1 내지 610-n)을 포함할 수 있다.
프로세서(2200, 도 5 참조)는 Unwrapped 페이즈 앵글 맵 원본(600)에 포함되는 임의의 포인트 Xp에 대응되는 포인트를 비닝된 Unwrapped 페이즈 앵글 맵(610)로부터 식별할 수 있다. 일 실시예에서, 프로세서(2200)는 Unwrapped 페이즈 앵글 맵 원본(600)에 포함되는 포인트 Xp의 픽셀 값 정보를 획득하고, 획득된 Xp의 픽셀 값과 매칭되는 픽셀 값을 갖는 포인트 Xp'를 비닝된 Unwrapped 페이즈 앵글 맵(610)로부터 식별할 수 있다.
비닝된 Unwrapped 페이즈 앵글 맵(610)는 원본 이미지에 비하여 25%에 해당되는 픽셀만을 포함하고 있는바, 포인트 Xp의 픽셀 값과 매칭되는 픽셀 값을 갖는 포인트 Xp'가 Unwrapped 페이즈 앵글 맵 원본(600)의 포인트 Xp의 위치와 완전하게 동일하지 않을 수 있다. 관련하여 도 6b에는, x축은 포인트의 위치 좌표를 나타내고, y축은 포인트의 픽셀 값을 나타내는 그래프가 도시되었다. 도 6b를 함께 참조하면, 포인트 Xp의 픽셀 값인 p는 b와 c 사이의 값일 수 있다. 예를 들어, b의 값이 1.8이고, c의 값이 3.6이며, p의 값이 3인 경우, Unwrapped 페이즈 앵글 맵 원본(600)에서 포인트 Xp의 위치 좌표는 (1.66, 0)일 수 있다.
프로세서(2200)는 비닝된 Unwrapped 페이즈 앵글 맵(610)에서는 인접한 픽셀들에 의해 보간된(interpolated) 픽셀 값을 갖는 포인트를 식별할 수 있다. 도 6a와 도 6b를 함께 참조하면, 비닝된 Unwrapped 페이즈 앵글 맵(610)는 b의 픽셀 값을 갖지 않으므로, 프로세서(2200)는 a와 c를 잇는 가상의 선과 p가 만나는 지점의 포인트 Xp'를 식별할 수 있다. 예를 들어, a의 값이 1.2이고, b의 값이 1.8이고, c의 값이 3.6이며, p의 값이 3인 경우, 프로세서(2200)는 비닝된 Unwrapped 페이즈 앵글 맵(610)로부터 포인트 Xp'의 위치 좌표인 (1.5, 0)를 식별할 수 있다.
도 6b에서, 복수의 카메라 중 기준 카메라인 제1 카메라를 이용하여 획득된 기준 Unwrapped 페이즈 앵글 맵에서 픽셀 값 p가 3인 픽셀 포인트를 나머지 카메라(예를 들어, 제2 카메라)를 이용하여 획득된 Unwrapped 페이즈 앵글 맵 원본 중에서 식별하는 경우, 픽셀 포인트의 좌표값은 (1.66, 0)이고, 비닝된 Unwrapped 페이즈 앵글 맵(610)에서 식별하는 경우, 픽셀 포인트의 좌표값은 (1.5, 0)이다. 픽셀 포인트의 좌표값이 원본인 경우와 비닝된 경우, 각각 (1.66, 0), (1.5, 0)이므로 큰 차이가 나지 않는다. 따라서, 원본 상태인 기준 Unwrapped 페이즈 앵글 맵과 Unwrapped 페이즈 앵글 맵 원본(600)을 기초로 광 삼각화 연산을 수행하여 획득한 3차원 데이터와, 원본 상태인 기준 Unwrapped 페이즈 앵글 맵과 비닝된 Unwrapped 페이즈 앵글 맵(610)을 기초로 광 삼각화 연산을 수행하여 획득한 3차원 데이터의 품질 차이는 크지 않다.
도 6a 및 도 6b에 도시된 실시예에서, 프로세서(2200)는 원본 Unwrapped 페이즈 앵글 맵을 비닝된 Unwrapped 페이즈 앵글 맵(610)과 픽셀 매칭할 수 있다. 이 경우, 비닝된 Unwrapped 페이즈 앵글 맵(610)에 포함되는 픽셀 값을 인접하는 픽셀 값을 이용하여 보간(interpolation)하고, 보간된 픽셀 값을 이용하여 원본 이미지와의 픽셀 매칭을 수행하는바, 어느 하나의 이미지를 비닝하더라도 합성된 이미지의 품질은 저하되지 않을 수 있다. 즉, 복수의 카메라를 통해 획득된 위상 시프트 이미지 중 기준이 되는 카메라, 즉 제1 카메라를 이용하여 획득된 위상 시프트 이미지가 원본이고, 나머지 카메라를 통해 획득된 위상 시프트 이미지가 비닝된 이미지라도, 합성된 Unwrapped 페이즈 앵글 맵의 해상도 및 품질에는 영향이 없거나, 영향이 미미하다. 도 6a 및 도 6b에 도시된 실시예에 따른 3차원 스캐너 디바이스(100)는 비닝을 통한 이미지 품질의 저하 없이, 이미지 데이터의 전송 시간을 현저하게 감소시킬 수 있는 효과가 있다.
도 7은 본 개시의 일 실시예에 따른 3차원 스캐너 디바이스(100)가 위상 시프트 이미지의 원본과 비닝된 위상 시프트 이미지 간의 픽셀 매칭을 수행하는 방법을 도시한 흐름도이다. 구체적으로, 도 7에 도시된 각 단계들은 프로세싱 디바이스(2000, 도 5 참조)의 프로세서(2200, 도 5 참조)에 의해 수행될 수 있다.
단계 S710에서, 3차원 스캐너 디바이스(100)는 기준 Unwrapped 페이즈 앵글 맵 각각에 포함되는 픽셀 값과 비닝된 Unwrapped 페이즈 앵글 맵 각각에 포함되는 보간된 픽셀값(interpolated pixel value)을 픽셀 매칭한다. 일 실시예에서, 프로세서(2200)는 기준 Unwrapped 페이즈 앵글 맵의 원본에 포함되는 복수의 픽셀 중 어느 하나의 픽셀과 매칭되는 픽셀을 비닝된 Unwrapped 페이즈 앵글 맵으로부터 식별할 수 있다. 일 실시예에서, 프로세서(2200)는 비닝된 Unwrapped 페이즈 앵글 맵 내에 포함되는 픽셀 값들 중 보간된 픽셀 값을 이용하여, 픽셀 매칭을 수행할 수 있다.
단계 S720에서, 3차원 스캐너 디바이스(100)는 픽셀 매칭 결과에 기초하여, 광 삼각화 연산(optical triangulation)을 수행한다. 일 실시예에서, 프로세서(2200)는 비닝된 Unwrapped 페이즈 앵글 맵으로부터 식별된 픽셀 포인트의 위치 좌표를 이용하여, 광 삼각화 연산을 수행할 수 있다.
단계 S730에서, 3차원 스캐너 디바이스(100)는 기준 Unwrapped 페이즈 앵글 맵과 비닝된 Unwrapped 페이즈 앵글 맵을 합성함으로써, 대상체에 관한 3차원 이미지를 생성한다.
본 개시의 일 실시 예에 따른 3차원 스캐너 디바이스(100)의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령어 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예에 따르면, 3차원 스캐너 디바이스(100)의 동작 방법을 실행하는 적어도 하나의 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 제공될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 코드를 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 3차원 스캐너 디바이스(100)의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또 다른 실시예에서, 상기 3차원 스캐너 디바이스(100)의 동작 방법은 애플리케이션 스토어(예: 플레이 스토어TM 또는 앱 스토어TM 등)를 통해 사용자 디바이스(예: 스마트 폰)에 직접, 또는 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
100: 스캐너 디바이스, 1000: 3차원 스캐너, 1100: 제1 카메라, 1200: 제2 카메라, 1300: 패턴 광 조사부, 2000: 프로세싱 디바이스, 2100: 통신 인터페이스, 2200: 프로세서, 2300: 메모리, 2400: 디스플레이부

Claims (9)

  1. 3차원(3D) 스캐너에서 획득된 이미지의 처리 방법에 있어서,
    적어도 하나의 카메라를 이용하여 대상체를 스캔함으로써, 대상체의 각 영역을 구별하는 영역 인덱스(index)를 설정하기 위한 복수의 인덱스 이미지를 획득하는 단계;
    상기 복수의 인덱스 이미지 중 상기 적어도 하나의 카메라로부터 선택된 카메라를 통해 획득된 복수의 인덱스 이미지 중 적어도 하나를 비닝(bining)하는 단계; 및
    상기 복수의 인덱스 이미지를 상기 3D 스캐너와 연결된 프로세싱 디바이스에 전송하는 단계;
    를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 복수의 인덱스 이미지는, 제1 카메라를 이용하여 획득된 복수의 제1 인덱스 이미지 및 제2 카메라를 이용하여 획득된 복수의 제2 인덱스 이미지를 포함하고,
    상기 복수의 인덱스 이미지를 비닝하는 단계는, 상기 복수의 제1 인덱스 이미지 및 상기 복수의 제2 인덱스 이미지 중 상기 제1 카메라 및 상기 제2 카메라로부터 선택된 적어도 하나의 카메라를 이용하여 획득한 복수의 인덱스 이미지를 비닝하는, 방법.
  3. 제1 항에 있어서,
    상기 적어도 하나의 카메라를 이용하여 상기 대상체를 스캔함으로써, 위상 시프트(phase shift) 방식을 통해 복수의 위상 시프트 이미지를 획득하는 단계;
    를 더 포함하는, 방법.
  4. 제3 항에 있어서,
    상기 복수의 위상 시프트 이미지는, 제1 카메라를 이용하여 획득된 복수의 제1 위상 시프트 이미지 및 제2 카메라를 이용하여 획득된 복수의 제2 위상 시프트 이미지를 포함하고,
    상기 복수의 제1 위상 시프트 이미지 및 상기 복수의 제2 위상 시프트 이미지 중 상기 제1 카메라 및 상기 제2 카메라로부터 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 위상 시프트 이미지를 비닝하는 단계;
    를 더 포함하는, 방법.
  5. 제3 항에 있어서,
    상기 복수의 위상 시프트 이미지를 비닝하는 단계는, 상기 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 위상 시프트 이미지 중 선택된 적어도 하나의 위상 시프트 이미지를 비닝하는, 방법.
  6. 대상체에 관한 3차원(3D) 이미지를 획득하는 3D 스캐너 디바이스에 있어서,
    적어도 하나의 카메라를 이용하여 대상체를 스캔함으로써, 상기 대상체의 각 영역을 구별하는 영역 인덱스(index)를 설정하기 위한 복수의 인덱스 이미지를 획득하고, 위상 시프트 방식을 통해 상기 대상체를 스캔함으로써, 복수의 위상 시프트 이미지를 획득하는 스캐너;
    상기 스캐너로부터 상기 복수의 인덱스 이미지 및 상기 복수의 위상 시프트 이미지를 수신하는 통신 인터페이스; 및
    수신된 상기 복수의 인덱스 이미지 및 상기 위상 시프트 이미지를 조합하고 합성하는 이미지 처리를 통해, 상기 대상체에 관한 3D 이미지를 생성하는 프로세서;
    를 포함하고,
    상기 스캐너는 상기 복수의 인덱스 이미지 중 상기 적어도 하나의 카메라로부터 선택된 카메라를 통해 획득된 복수의 인덱스 이미지를 비닝하는, 3D 스캐너 디바이스.
  7. 제6 항에 있어서,
    상기 복수의 인덱스 이미지는, 제1 카메라를 이용하여 복수의 제1 인덱스 이미지 및 제2 카메라를 이용하여 복수의 제2 위상 시프트 이미지를 포함하고,
    상기 스캐너는, 상기 복수의 제1 인덱스 이미지 및 상기 복수의 제2 인덱스 이미지 중 상기 제1 카메라 및 상기 제2 카메라로부터 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 인덱스 이미지를 비닝하는, 3D 스캐너 디바이스.
  8. 제6 항에 있어서,
    상기 스캐너는,
    제1 카메라를 이용하여 복수의 제1 위상 시프트 이미지를 획득하고, 제2 카메라를 이용하여 복수의 제2 위상 시프트 이미지를 획득하며,
    상기 복수의 제1 위상 시프트 이미지 및 상기 복수의 제2 위상 시프트 이미지 중 상기 제1 카메라 및 상기 제2 카메라로부터 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 위상 시프트 이미지를 비닝하는, 3D 스캐너 디바이스.
  9. 제8 항에 있어서,
    상기 스캐너는, 상기 선택된 적어도 하나의 카메라를 이용하여 획득된 복수의 위상 시프트 이미지 중 선택된 적어도 하나의 위상 시프트 이미지를 비닝하는, 3D 스캐너 디바이스.
KR1020200106358A 2020-08-24 2020-08-24 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 KR102444195B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200106358A KR102444195B1 (ko) 2020-08-24 2020-08-24 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
PCT/KR2021/010653 WO2022045650A1 (ko) 2020-08-24 2021-08-11 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
US18/019,961 US20230290045A1 (en) 2020-08-24 2021-08-11 Three-dimensional scanner device, operation method, and computer-readable storage medium in which program for executing same operation method is stored

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200106358A KR102444195B1 (ko) 2020-08-24 2020-08-24 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체

Publications (2)

Publication Number Publication Date
KR20220025522A true KR20220025522A (ko) 2022-03-03
KR102444195B1 KR102444195B1 (ko) 2022-09-19

Family

ID=80355435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106358A KR102444195B1 (ko) 2020-08-24 2020-08-24 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체

Country Status (3)

Country Link
US (1) US20230290045A1 (ko)
KR (1) KR102444195B1 (ko)
WO (1) WO2022045650A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090124900A1 (en) * 2005-04-14 2009-05-14 Koninklijke Philips Electronics N. V. Three-Dimensional Time-of-Flight Pet With Course Angular and Slice Rebinning
KR20170032644A (ko) * 2015-09-15 2017-03-23 (주)바텍이우홀딩스 치과용 3차원 스캐너
KR20170111848A (ko) * 2016-03-30 2017-10-12 주식회사바텍 착탈식 모듈을 갖는 치과용 3차원 스캐너
WO2018116305A1 (en) * 2016-12-22 2018-06-28 Eva - Esthetic Visual Analytics Ltd. Real-time tracking for three-dimensional imaging

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7848559B2 (en) * 2006-05-17 2010-12-07 Siemens Medical Solutions Usa, Inc. Discrete axial re-binning of time-of-flight positron emission tomography data
US9706967B2 (en) * 2014-03-14 2017-07-18 Toshiba Medical Systems Corporation Energy-weighted single-binning for a photon-counting detector
KR20180126500A (ko) * 2016-04-06 2018-11-27 케어스트림 덴탈 테크놀로지 톱코 리미티드 압축 센싱을 이용한 구강 내 oct

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090124900A1 (en) * 2005-04-14 2009-05-14 Koninklijke Philips Electronics N. V. Three-Dimensional Time-of-Flight Pet With Course Angular and Slice Rebinning
KR20170032644A (ko) * 2015-09-15 2017-03-23 (주)바텍이우홀딩스 치과용 3차원 스캐너
KR20170111848A (ko) * 2016-03-30 2017-10-12 주식회사바텍 착탈식 모듈을 갖는 치과용 3차원 스캐너
WO2018116305A1 (en) * 2016-12-22 2018-06-28 Eva - Esthetic Visual Analytics Ltd. Real-time tracking for three-dimensional imaging

Also Published As

Publication number Publication date
US20230290045A1 (en) 2023-09-14
KR102444195B1 (ko) 2022-09-19
WO2022045650A1 (ko) 2022-03-03

Similar Documents

Publication Publication Date Title
US11163976B2 (en) Navigating among images of an object in 3D space
US10204414B2 (en) Integration of intra-oral imagery and volumetric imagery
US9363501B2 (en) Combining depth-maps from different acquisition methods
US9245374B2 (en) Space carving in 3D data acquisition
US20140227655A1 (en) Integration of model data, surface data, and volumetric data
CN106456292B (zh) 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备
KR102444195B1 (ko) 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR102419144B1 (ko) 3차원 스캔 시스템, 및 그 동작 방법
EP4287202A1 (en) Digital dental impressions
US20230298270A1 (en) Method and device for acquiring three-dimensional data, and computer-readable storage medium storing program for performing method
KR102605094B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
EP4285864A1 (en) Three-dimensional scanning system and method for operating same
EP4328861A2 (en) Jaw movements data generation apparatus, data generation method, and data generation program
EP4276765A1 (en) Method to correct scale of dental impressions
CN116763474A (zh) 在用牙科成像设备扫描期间生成牙科对象的三维表示
KR20230007909A (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
KR20220050604A (ko) 치과 상담을 보조하기 위한 정보 제공방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant