KR102310662B1 - 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치 - Google Patents

딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치 Download PDF

Info

Publication number
KR102310662B1
KR102310662B1 KR1020210006549A KR20210006549A KR102310662B1 KR 102310662 B1 KR102310662 B1 KR 102310662B1 KR 1020210006549 A KR1020210006549 A KR 1020210006549A KR 20210006549 A KR20210006549 A KR 20210006549A KR 102310662 B1 KR102310662 B1 KR 102310662B1
Authority
KR
South Korea
Prior art keywords
dimensional
scan data
image
feature points
feature point
Prior art date
Application number
KR1020210006549A
Other languages
English (en)
Inventor
정홍
이성민
송보현
Original Assignee
주식회사 에이치디엑스윌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치디엑스윌 filed Critical 주식회사 에이치디엑스윌
Priority to KR1020210006549A priority Critical patent/KR102310662B1/ko
Application granted granted Critical
Publication of KR102310662B1 publication Critical patent/KR102310662B1/ko
Priority to EP22739718.9A priority patent/EP4278954A1/en
Priority to CN202280010664.9A priority patent/CN116782819A/zh
Priority to US18/261,433 priority patent/US20240070882A1/en
Priority to PCT/KR2022/000653 priority patent/WO2022154523A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

정합부, 딥러닝부, 스캔 프레임 특징점 결정부, 및 스캔 데이터 재정합부를 포함하는 3차원 구강 스캔 데이터 정합 장치가 개시된다. 정합부는 복수의 스캐닝된 프레임을 정합하여 전악 이미지를 생성한다. 딥러닝부는 딥러닝을 수행하여 상기 전악 이미지의 특징점을 탐지한다. 스캔 프레임 특징점 결정부는 상기 전악 이미지의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정한다. 스캔 데이터 재정합부는 상기 복수의 스캐닝된 프레임의 특징점에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 3차원 구강 모델을 복원한다.

Description

딥러닝 기반 3D 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치{APPARATUS AND METHOD FOR 3-DIMENSIONAL ORAL SCAN DATA REGISTRATION USING DEEP LEARNING-BASED 3D KEY POINTS DETECTION}
본 발명은 딥러닝 기반 3D 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치에 관한 것이다.
구강 스캐너로부터 3차원(3D) 구강 데이터를 생성하기 위해서는 스캐너로 환자의 구강을 스캔하여 각 프레임(frame)마다 생성된 포인트 클라우드(point cloud)를 3D 상에서 하나로 정합(registration)하는 과정이 필요하다. 포인트 클라우드의 정합에 많이 사용하는 방법으로 Iterative Closest Point (ICP) 알고리즘이 있는데, 기존 방법은 하나의 프레임 쌍(frame pair) 사이의 정합 오차가 작더라도 전체 프레임들을 정합하므로, 누적되는 오차로 인해 최종적으로 복원되는 3D 구강 모델에 기하 왜곡이 발생한다.
한국등록특허 제10-1911327호
본 발명이 이루고자 하는 기술적 과제는 기하 왜곡을 줄이는 3차원 구강 스캔 데이터 정합 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 3차원 구강 스캔 데이터 정합 방법은 복수의 스캐닝된 프레임을 정합하여 전악 이미지를 생성하는 단계; 딥러닝을 수행하여 상기 전악 이미지의 특징점을 탐지하는 단계; 상기 전악 이미지의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정하는 단계; 및 상기 복수의 스캐닝된 프레임의 특징점에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 3차원 구강 모델을 복원하는 단계를 포함할 수 있다.
상기 전악 이미지의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정하는 단계는, 상기 전악 이미지로부터 가상 프레임을 생성하는 단계와, 상기 전악 이미지의 특징점을 상기 가상 프레임에 사영하여 상기 가상 프레임의 특징점을 결정하는 단계와, 상기 가상 프레임의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정하는 단계를 포함할 수 있다.
상기 가상 프레임의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정하는 단계는, 상기 가상 프레임의 특징점을 중심으로 일정 크기의 제1 패치 이미지를 생성하는 단계와, 상기 제1 패치 이미지에 기초하여 상기 가상 프레임에 대응하는 스캐닝된 프레임 내에서 제2 패치 이미지를 선택하는 단계와, 상기 제2 패치 이미지의 중심점을 상기 가상 프레임에 대응하는 스캐닝된 프레임의 특징점으로 결정하는 단계를 포함할 수 있다.
상기 제1 패치 이미지와 상기 제2 패치 이미지 사이의 유사도는 임계값보다 클 수 있다.
상기 가상 프레임은 상기 스캐닝된 프레임의 방향 및 사이즈에 기초하여 상기 전악 이미지로부터 생성될 수 있다.
상기 3차원 구강 모델을 복원하는 단계는, 상기 복수의 스캐닝된 프레임의 특징점 사이를 매칭하여 매칭 쌍을 결정하는 단계와, 상기 매칭 쌍에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 상기 3차원 구강 모델을 복원하는 단계를 포함할 수 있다.
상기 복수의 스캐닝된 프레임은 Iterative Closest Point (ICP) 알고리즘을 이용하여 정합될 수 있다.
상기 전악 이미지의 특징점을 탐지하는 단계는, 상기 전악 이미지를 렌더링하여 렌더링된 2차원 영상을 생성하는 단계와, 상기 렌더링된 2차원 영상에 대해 딥러닝을 적용하여 상기 전악 이미지의 특징점을 탐지하는 단계를 포함할 수 있다.
상기 렌더링된 2차원 영상에 대해 딥러닝을 적용하여 상기 전악 이미지의 특징점을 탐지하는 단계는, 상기 렌더링된 2차원 영상에 대해 딥러닝을 적용하여 치아들이 만나는 포인트에 대한 히트맵을 생성하는 단계와, 상기 히트맵으로부터 상기 전악 이미지의 특징점을 탐지하는 단계를 포함할 수 있다.
상기 렌더링된 2차원 영상에 대해 딥러닝을 적용하여 상기 전악 이미지의 특징점을 탐지하는 단계는, 제1 치아가 제2 치아와 제1 특징점에서 만나고 상기 제2 치아가 제3 치아와 제2 특징점에서 만날 때, 상기 제1 특징점과 상기 제2 특징점의 중심점을 결정하는 단계와, 상기 제1 특징점과 상기 제2 특징점을 지나는 직선에 수직이면서 제1 특징점, 제2 특징점 및 중심점을 지나는 3개의 직선을 결정하는 단계와, 상기 3개의 직선 상에서 상기 제1 특징점 및 상기 제2 특징점 이외의 추가 특징점을 결정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 구강 스캔 데이터 정합 장치는 복수의 스캐닝된 프레임을 정합하여 전악 이미지를 생성하는 정합부; 딥러닝을 수행하여 상기 전악 이미지의 특징점을 탐지하는 딥러닝부; 상기 전악 이미지의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정하는 스캔 프레임 특징점 결정부; 및 상기 복수의 스캐닝된 프레임의 특징점에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 3차원 구강 모델을 복원하는 스캔 데이터 재정합부를 포함할 수 있다.
3차원 구강 스캔 데이터 정합 장치는 상기 전악 이미지로부터 가상 프레임을 생성하는 가상 프레임 생성부; 및 상기 전악 이미지의 특징점을 상기 가상 프레임에 사영하여 상기 가상 프레임의 특징점을 결정하는 가상 프레임 특징점 결정부를 더 포함하고, 상기 스캔 프레임 특징점 결정부는 상기 가상 프레임의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정할 수 있다.
3차원 구강 스캔 데이터 정합 장치는, 상기 복수의 스캐닝된 프레임의 특징점 사이를 매칭하여 매칭 쌍을 결정하는 특징점 매칭부를 더 포함하고, 상기 스캔 데이터 재정합부는 상기 매칭 쌍에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 상기 3차원 구강 모델을 복원할 수 있다.
본 발명의 실시예에 따르면, 딥러닝을 이용하여 프레임 모델 간 매칭 쌍(matching pair)을 구하고 이 매칭 쌍을 기반으로 스캔 프레임들을 재정합함으로써, 복원되는 스캔 모델의 전체 정합오차를 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 3차원 구강 스캔 데이터 정합 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 3차원 구강 스캔 데이터 정합 장치의 동작 방법을 개략적으로 보여준다.
도 3은 본 발명의 실시예에 따른 3차원 구강 스캔 데이터 정합 장치의 동작 방법을 보여주는 흐름도이다.
도 4는 본 발명의 실시예에 따른 구강 스캔 및 스캔 이미지 정합 과정을 보여준다.
도 5는 본 발명의 실시예에 따른 히트맵을 생성하는 과정을 보여준다.
도 6은 본 발명의 실시예에 따른 전악 이미지의 3차원 특징점을 결정하는 과정을 보여준다.
도 7은 본 발명의 실시예에 따른 전악 이미지의 3차원 특징점을 추가로 결정하는 과정을 보여준다.
도 8은 본 발명의 실시예에 따른 가상 프레임의 특징점을 결정하는 방법을 보여준다.
도 9은 본 발명의 실시예에 따라 복수의 스캐닝된 프레임의 특징점을 결정하는 과정을 보여준다.
도 10은 본 발명의 실시예에 따른 3차원 구강 모델을 복원하는 과정을 보여준다.
도 11은 본 발명의 실시예에 따른 3차원 구강 모델을 복원하는 과정을 보여준다.
이하에서는 도면을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.
도 1은 본 발명의 실시예에 따른 3차원 구강 스캔 데이터 정합 장치의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 3차원 구강 스캔 데이터 정합 장치(100)는 스캔부(110), 정합부(120), 딥러닝부(130), 가상 프레임 생성부(140), 가상 프레임 특징점 결정부(150), 스캔 프레임 특징점 결정부(160), 및 특징점 매칭부(170), 및 스캔 데이터 재정합부(180)를 포함한다. 3차원 구강 스캔 데이터 정합 장치(100)의 각 구성 요소의 동작에 대해서는 후술한다.
도 2는 본 발명의 실시예에 따른 3차원 구강 스캔 데이터 정합 장치의 동작 방법을 개략적으로 보여준다.
특히, 도 2는 구강 스캔 데이터 복원 과정에서 누적되는 정합 오차를 줄이기 위한 3D 구강 모델 복원 과정을 보여준다.
도 2에 도시된 바와 같이, 스캔부(110)는 구강을 스캔하여 복수의 스캐닝된 프레임을 생성한다(S21).
정합부(120)는 Iterative Closest Point (ICP) 알고리즘을 이용하여 복수의 스캐닝된 프레임을 정합하여 전악 이미지를 생성하고, 딥러닝부(130)는 딥러닝을 수행하여 전악 이미지에서 3차원 특징점을 결정한다(S22).
가상 프레임 생성부(140)는 스캐닝된 프레임의 방향 및 사이즈에 기초하여 전악 이미지로부터 가상 프레임을 생성하고, 가상 프레임 특징점 결정부(150)는 전악 이미지의 특징점을 가상 프레임에 사영(project)하여 가상 프레임의 특징점을 결정한다(S23).
스캔 프레임 특징점 결정부(160)는 가상 프레임의 특징점을 이용하여 복수의 스캐닝된 프레임의 특징점을 결정한다(S24).
특징점 매칭부(170)는 복수의 스캐닝된 프레임의 특징점 사이를 매칭하여 매칭 쌍을 결정하고, 스캔 데이터 재정합부(180)는 매칭 쌍에 기초하여 복수의 스캐닝된 프레임을 재정합하여 3차원 구강 모델을 복원(reconstruct)한다(S25).
도 3은 본 발명의 실시예에 따른 3차원 구강 스캔 데이터 정합 장치의 동작 방법을 보여주는 흐름도이다.
스캔부(110)는 구강을 스캔하여 복수의 스캐닝된 프레임을 생성한다(S101).
정합부(120)는, 예를 들어 Iterative Closest Point (ICP) 알고리즘을 이용하여 복수의 스캐닝된 프레임을 정합하여 전악 이미지를 생성한다(S103). 정합 방법은 ICP처럼 반복 표면 매칭(iterative surface matching)을 통해 강체 변환(rigid-body transformations)을 구하는 모든 방법을 포함한다.
다음은 도 4를 참고하여 구강 스캔 및 스캔 이미지 정합 과정을 설명한다.
도 4는 본 발명의 실시예에 따른 구강 스캔 및 스캔 이미지 정합 과정을 보여준다.
도 4에 도시된 바와 같이, 스캔부(110)는 구강을 스캔하여(401) 복수의 스캐닝된 프레임(403)을 생성하고, 정합부(120)는 복수의 스캐닝된 프레임을 정합하여 전악 이미지(405)를 생성할 수 있다.
다시 도 3을 설명한다.
딥러닝부(130)는 딥러닝을 수행하여 전악 이미지에서 3차원 특징점을 탐지한다(S105). 딥러닝 과정에서 3차원 메쉬 데이터(3D mesh data)를 바로 다루는 것은 높은 계산 비용을 가지는 문제가 있을 수 있기 때문에, 딥러닝부(130)는 3차원 스캔 데이터 대신에 전악 이미지를 렌더링하여 렌더링된 2차원 영상을 생성하고, 이 2차원 영상에 대해 딥러닝을 적용할 수도 있다.
데이터 학습을 위해, 딥러닝부(130)는 전악 스캔 데이터인 전악 이미지를 z방향으로 렌더링한 2차원 영상을 딥러닝의 입력으로 사용하고 치아간 인접한 2차원 포인트를 딥러닝의 출력으로 사용할 수도 있다. 환자들의 치아 개수가 다른 점을 고려하여 딥러닝부(130)는 개수가 일정한 특징점들의 좌표 벡터를 딥러닝 아웃풋으로 하지 않고 특징점들의 위치를 표시하는 히트맵(heatmap) 영상을 만들어 딥러닝 아웃풋으로 사용해 딥러닝 네트워크를 학습할 수 있다. 히트맵은 2차원에서 색깔로서 어떤 현상의 강도를 보여주는 데이터 시각화 테크닉이다. 따라서, 딥러닝부(130)는 딥러닝을 수행하여 특징점의 강도를 색깔로서 보여주는 히트맵을 출력할 수 있다. 2차원 히트맵으로부터 3차원 특징점을 얻기 위해, 딥러닝부(130)는 히트맵에서 최대 강도를 가지는 점들의 2차원 좌표를 불러오고, 그 점을 3D 전악 이미지로 사영함으로써 3D 전악 이미지의 3D 특징점을 얻을 수 있다.
다음은 도 5와 도 6을 참고하여, 3D 전악 이미지의 특징점을 구하는 과정을 설명한다.
도 5는 본 발명의 실시예에 따른 히트맵을 생성하는 과정을 보여준다.
도 5에 도시된 바와 같이, 딥러닝부(130)는 3D 전악 이미지(501)를 렌더링하여 2D 렌더링 영상(503)을 생성한다. 딥러닝부(130)는 2D 렌더링 영상(503)에서 치아가 만나는 포인트를 결정하고(505), 결정된 포인트를 가우시안 매핑하여 히트맵(507)을 생성할 수 있다.
도 6은 본 발명의 실시예에 따른 전악 이미지의 3차원 특징점을 결정하는 과정을 보여준다.
도 6에 도시된 바와 같이, 딥러닝부(130)는 3D 전악 이미지(601)를 렌더링하여 2D 렌더링 영상(603)을 생성한다. 딥러닝부(130)는 2D 렌더링 영상(603)을 입력으로 하여 딥러닝(605)을 수행하여 치아가 만나는 포인트에 대한 히트맵(607)을 생성한다. 딥러닝부(130)는 히트맵(607)에 기초하여 전악 이미지의 3차원 특징점(609)을 결정할 수 있다.
복수의 스캐닝된 프레임의 정합을 위해서는 프레임마다 적어도 3개의 특징점을 필요로 하기 때문에, 치아간 인접한 점 이외에도 추가로 더 많은 점이 요구된다. 도 7을 참고하여, 치아간 인접한 점 이외의 추가 특징점을 구하는 과정을 설명한다.
도 7은 본 발명의 실시예에 따른 전악 이미지의 3차원 특징점을 추가로 결정하는 과정을 보여준다.
딥러닝부(130)는 히트맵(701)에 기초하여 전악 이미지의 3차원 특징점(703)을 결정할 수 있다.
제1 치아가 제2 치아와 제1 포인트에서 만나고 제2 치아가 제3 치아와 제2 포인트에서 만난다고 가정할 때, 딥러닝부(130)는 제1 포인트와 제2 포인트의 중심점을 결정하고, 딥러닝부(130)는 제1 포인트와 제2 포인트를 지나는 직선에 수직이면서 제1 포인트, 제2 포인트 및 중심점을 지나는 3개의 직선을 결정한다(705). 딥러닝부(130)는 이 3개의 직선 상에서 제1 포인트 및 제2 포인트 이외의 추가 특징점을 결정할 수 있다(707).
이를 모든 치아에 대해 적용하여 딥러닝부(130)는 전악 이미지 전체에 대해서 치아 개수보다 적어도 3배 많은 특징점을 결정할 수 있다(709).
다시 도 3을 설명한다.
가상 프레임 생성부(140)는 스캐닝된 프레임의 방향 및 사이즈에 기초하여 전악 이미지로부터 가상 프레임을 생성한다(S107). 가상 프레임 생성부(140)는 스캐닝된 프레임과 동일한 방향 및 동일한 사이즈로 전악 이미지를 렌더링하여 가상 프레임을 생성할 수도 있다. 가상 프레임은 렌더링 이미지 또는 뎁스 맵(depth map), 또는 렌더링 이미지와 뎁스 맵 모두를 나타낼 수 있다.
가상 프레임 특징점 결정부(150)는 전악 이미지의 특징점을 가상 프레임에 사영(project)하여 가상 프레임의 특징점을 결정한다(S109).
도 8은 본 발명의 실시예에 따른 가상 프레임의 특징점을 결정하는 방법을 보여준다.
도 8에 도시된 바와 같이, 가상 프레임 특징점 결정부(150)는 전악 이미지(801)의 특징점을 가상 프레임(803)에 사영(project)하여 가상 프레임의 특징점을 결정할 수 있다.
스캔 프레임 특징점 결정부(160)는 가상 프레임의 특징점을 이용하여 복수의 스캐닝된 프레임의 특징점을 결정한다(S111). 구체적으로, 스캔 프레임 특징점 결정부(160)는 가상 프레임의 특징점을 중심으로 일정 크기의 패치 이미지(patch)를 생성할 수 있다. 스캔 프레임 특징점 결정부(160)는 이 패치 이미지와 유사도가 임계값보다 큰 패치 이미지를 스캐닝된 프레임에서 선택할 수 있다. 스캔 프레임 특징점 결정부(160)는 스캐닝된 프레임에서 선택된 패치 이미지의 중심점을 스캐닝된 프레임의 특징점으로 결정할 수 있다.
도 9은 본 발명의 실시예에 따라 복수의 스캐닝된 프레임의 특징점을 결정하는 과정을 보여준다.
스캔 프레임 특징점 결정부(160)는 가상 프레임(901)의 특징점을 중심으로 일정 크기의 패치 이미지(903)를 생성할 수 있다. 스캔 프레임 특징점 결정부(160)는 이 패치 이미지(903)와 유사도가 임계값보다 큰 패치 이미지(905)를 스캐닝된 프레임(907)에서 선택할 수 있다. 그러나, 스캐닝된 프레임(907) 전체에서 패치 이미지(903)와 유사한 패치 이미지를 검색하는 경우, 도 9에서와 같이, 2개 이상의 패치 이미지(905)가 선택되거나, 오차가 큰 원하지 않는 패치 이미지(905)가 선택될 수 있다.
이를 해결하기 위하여, 먼저, 스캔 프레임 특징점 결정부(160)는 가상 프레임(911)의 특징점을 중심으로 일정 크기의 패치 이미지(913)를 생성할 수 있다. 스캔 프레임 특징점 결정부(160)는 가상 프레임(911)의 특징점 주변에 대응하는 스캐닝된 프레임(917)의 영역에서, 이 패치 이미지(913)와 유사도가 임계값보다 큰 패치 이미지(915)를 선택할 수 있다. 이후, 스캔 프레임 특징점 결정부(160)는 스캐닝된 프레임에서 선택된 패치 이미지의 중심점을 스캐닝된 프레임의 특징점으로 결정하여, 계산량과 오차를 줄일 수 있다.
다시 도 3을 설명한다.
특징점 매칭부(170)는 복수의 스캐닝된 프레임의 특징점 사이를 매칭하여 매칭 쌍을 결정한다(S113).
스캔 데이터 재정합부(180)는 매칭 쌍에 기초하여 복수의 스캐닝된 프레임을 재정합하여 3차원 구강 모델을 복원(reconstruct)한다(S115). 도 10 및 도 11을 참고하여, 3차원 구강 모델을 복원하는 과정을 설명한다.
도 10은 본 발명의 실시예에 따른 3차원 구강 모델을 복원하는 과정을 보여준다.
도 10에 도시된 바와 같이, 정합부(120)의 정합 과정에서 생기는 오차로 인하여 가상 프레임들과 스캐닝된 프레임들 사이에 차이가 존재하게 되므로, 제1 가상 프레임(1001)과 제2 가상 프레임(1003) 사이의 특징점 쌍에 기반하여 제1 가상 프레임(1001)과 제2 가상 프레임(1003)이 정합되는 경우, 정합된 이미지(1005)에 공간 왜곡이 생길 수 있다.
그러나, 제1 가상 프레임(1001)과 제2 가상 프레임(1003)의 특징점을 제1 스캐닝된 프레임(1011)과 제2 스캐닝된 프레임(1013)에 옮기고, 제1 스캐닝된 프레임(1011)과 제2 스캐닝된 프레임(1013) 사이의 특징점 쌍에 기반하여 제1 스캐닝된 프레임(1011)과 제2 스캐닝된 프레임(1013)이 정합되는 경우, 정합된 이미지(1015)는 감소된 공간 왜곡을 가질 수 있다.
도 11은 본 발명의 실시예에 따른 3차원 구강 모델을 복원하는 과정을 보여준다.
도 11에 도시된 바와 같이, 정합부(120)에 의해 생성되는 구강 이미지(1101)는 공간 왜곡을 가지고 있다. 스캔 데이터 재정합부(180)는 특징점 매칭 쌍에 기초하여 복수의 스캐닝된 프레임(1103, 1105)을 재정합하여 정합된 이미지(1107)을 생성하므로 공간 왜곡이 줄어듬을 알 수 있다. 결국, 적은 공간 왜곡을 가지는 이미지(1107)로부터 생성되는 3차원 구강 모델(1109) 또한 적은 공간 왜곡을 가지게 된다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며 이에 한정되지 않고, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 보호 범위는 특허청구범위의 기술적 사상에 의하여 정해져야 한다.

Claims (13)

  1. 3차원 구강 스캔 데이터 정합 장치의 3차원 구강 스캔 데이터 정합 방법에 있어서,
    상기 3차원 구강 스캔 데이터 정합 장치가, 복수의 스캐닝된 프레임을 정합하여 전악 이미지를 생성하는 단계;
    상기 3차원 구강 스캔 데이터 정합 장치가, 딥러닝을 수행하여 상기 전악 이미지의 특징점을 탐지하는 단계;
    상기 3차원 구강 스캔 데이터 정합 장치가, 상기 전악 이미지로부터 가상 프레임을 생성하는 단계;
    상기 3차원 구강 스캔 데이터 정합 장치가, 상기 전악 이미지의 특징점을 상기 가상 프레임에 사영하여 상기 가상 프레임의 특징점을 결정하는 단계;
    상기 3차원 구강 스캔 데이터 정합 장치가, 상기 가상 프레임의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정하는 단계; 및
    상기 3차원 구강 스캔 데이터 정합 장치가, 상기 복수의 스캐닝된 프레임의 특징점에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 3차원 구강 모델을 복원하는 단계를 포함하는
    3차원 구강 스캔 데이터 정합 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 가상 프레임의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정하는 단계는
    상기 가상 프레임의 특징점을 중심으로 일정 크기의 제1 패치 이미지를 생성하는 단계와,
    상기 제1 패치 이미지에 기초하여 상기 가상 프레임에 대응하는 스캐닝된 프레임 내에서 제2 패치 이미지를 선택하는 단계와,
    상기 제2 패치 이미지의 중심점을 상기 가상 프레임에 대응하는 스캐닝된 프레임의 특징점으로 결정하는 단계를 포함하는
    3차원 구강 스캔 데이터 정합 방법.
  4. 제3항에 있어서,
    상기 제1 패치 이미지와 상기 제2 패치 이미지 사이의 유사도는 임계값보다 큰
    3차원 구강 스캔 데이터 정합 방법.
  5. 제1항에 있어서,
    상기 가상 프레임은 상기 스캐닝된 프레임의 방향 및 사이즈에 기초하여 상기 전악 이미지로부터 생성되는
    3차원 구강 스캔 데이터 정합 방법.
  6. 제1항에 있어서,
    상기 3차원 구강 모델을 복원하는 단계는
    상기 복수의 스캐닝된 프레임의 특징점 사이를 매칭하여 매칭 쌍을 결정하는 단계와,
    상기 매칭 쌍에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 상기 3차원 구강 모델을 복원하는 단계를 포함하는
    3차원 구강 스캔 데이터 정합 방법.
  7. 제1항에 있어서,
    상기 복수의 스캐닝된 프레임은 Iterative Closest Point (ICP) 알고리즘을 이용하여 정합되는
    3차원 구강 스캔 데이터 정합 방법.
  8. 제1항에 있어서,
    상기 전악 이미지의 특징점을 탐지하는 단계는
    상기 전악 이미지를 렌더링하여 렌더링된 2차원 영상을 생성하는 단계와,
    상기 렌더링된 2차원 영상에 대해 딥러닝을 적용하여 상기 전악 이미지의 특징점을 탐지하는 단계를 포함하는
    3차원 구강 스캔 데이터 정합 방법.
  9. 제8항에 있어서,
    상기 렌더링된 2차원 영상에 대해 딥러닝을 적용하여 상기 전악 이미지의 특징점을 탐지하는 단계는
    상기 렌더링된 2차원 영상에 대해 딥러닝을 적용하여 치아들이 만나는 포인트에 대한 히트맵을 생성하는 단계와,
    상기 히트맵으로부터 상기 전악 이미지의 특징점을 탐지하는 단계를 포함하는
    3차원 구강 스캔 데이터 정합 방법.
  10. 제8항에 있어서,
    상기 렌더링된 2차원 영상에 대해 딥러닝을 적용하여 상기 전악 이미지의 특징점을 탐지하는 단계는
    제1 치아가 제2 치아와 제1 특징점에서 만나고 상기 제2 치아가 제3 치아와 제2 특징점에서 만날 때, 상기 제1 특징점과 상기 제2 특징점의 중심점을 결정하는 단계,
    상기 제1 특징점과 상기 제2 특징점을 지나는 직선에 수직이면서 제1 특징점, 제2 특징점 및 중심점을 지나는 3개의 직선을 결정하는 단계,
    상기 3개의 직선 상에서 상기 제1 특징점 및 상기 제2 특징점 이외의 추가 특징점을 결정하는 단계를 더 포함하는
    3차원 구강 스캔 데이터 정합 방법.
  11. 복수의 스캐닝된 프레임을 정합하여 전악 이미지를 생성하는 정합부;
    딥러닝을 수행하여 상기 전악 이미지의 특징점을 탐지하는 딥러닝부;
    상기 전악 이미지로부터 가상 프레임을 생성하는 가상 프레임 생성부;
    상기 전악 이미지의 특징점을 상기 가상 프레임에 사영하여 상기 가상 프레임의 특징점을 결정하는 가상 프레임 특징점 결정부;
    상기 가상 프레임의 특징점을 이용하여 상기 복수의 스캐닝된 프레임의 특징점을 결정하는 스캔 프레임 특징점 결정부; 및
    상기 복수의 스캐닝된 프레임의 특징점에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 3차원 구강 모델을 복원하는 스캔 데이터 재정합부를 포함하는
    3차원 구강 스캔 데이터 정합 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 복수의 스캐닝된 프레임의 특징점 사이를 매칭하여 매칭 쌍을 결정하는 특징점 매칭부를 더 포함하고,
    상기 스캔 데이터 재정합부는 상기 매칭 쌍에 기초하여 상기 복수의 스캐닝된 프레임을 재정합하여 상기 3차원 구강 모델을 복원하는
    3차원 구강 스캔 데이터 정합 장치.
KR1020210006549A 2021-01-18 2021-01-18 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치 KR102310662B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210006549A KR102310662B1 (ko) 2021-01-18 2021-01-18 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
EP22739718.9A EP4278954A1 (en) 2021-01-18 2022-01-13 Method and device for matching three-dimensional oral scan data via deep-learning based 3d feature detection
CN202280010664.9A CN116782819A (zh) 2021-01-18 2022-01-13 通过基于深度学习的3d特征检测匹配三维口内扫描数据的方法和设备
US18/261,433 US20240070882A1 (en) 2021-01-18 2022-01-13 Method and device for matching three-dimensional oral scan data via deep-learning based 3d feature detection
PCT/KR2022/000653 WO2022154523A1 (ko) 2021-01-18 2022-01-13 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210006549A KR102310662B1 (ko) 2021-01-18 2021-01-18 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102310662B1 true KR102310662B1 (ko) 2021-10-12

Family

ID=78078507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210006549A KR102310662B1 (ko) 2021-01-18 2021-01-18 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치

Country Status (5)

Country Link
US (1) US20240070882A1 (ko)
EP (1) EP4278954A1 (ko)
KR (1) KR102310662B1 (ko)
CN (1) CN116782819A (ko)
WO (1) WO2022154523A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154523A1 (ko) * 2021-01-18 2022-07-21 주식회사 에이치디엑스윌 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
KR102428941B1 (ko) 2022-02-28 2022-08-08 75미리스튜디오 주식회사 광대역 라이다 스캔 기반 이미지 정합을 통해 텍스처가 구현된 3d 스캔 데이터 생성 방법, 장치 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911327B1 (ko) 2017-06-23 2018-10-25 오스템임플란트 주식회사 누적 정합 오차를 줄이기 위한 구강 스캐닝 방법, 구강 스캐너 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체
KR102056480B1 (ko) * 2018-12-10 2020-01-22 이치중 디지털 치과 진료 데이터 관리 방법 및 시스템
KR20200100448A (ko) * 2019-02-18 2020-08-26 부산대학교 산학협력단 임플란트 진단용 영상 정합을 위한 장치 및 방법
KR20210000942A (ko) * 2019-06-26 2021-01-06 주식회사 디오 치아 영상 정합 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11007040B2 (en) * 2018-03-19 2021-05-18 James R. Glidewell Dental Ceramics, Inc. Dental CAD automation using deep learning
KR102310662B1 (ko) * 2021-01-18 2021-10-12 주식회사 에이치디엑스윌 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911327B1 (ko) 2017-06-23 2018-10-25 오스템임플란트 주식회사 누적 정합 오차를 줄이기 위한 구강 스캐닝 방법, 구강 스캐너 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체
KR102056480B1 (ko) * 2018-12-10 2020-01-22 이치중 디지털 치과 진료 데이터 관리 방법 및 시스템
KR20200100448A (ko) * 2019-02-18 2020-08-26 부산대학교 산학협력단 임플란트 진단용 영상 정합을 위한 장치 및 방법
KR20210000942A (ko) * 2019-06-26 2021-01-06 주식회사 디오 치아 영상 정합 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154523A1 (ko) * 2021-01-18 2022-07-21 주식회사 에이치디엑스윌 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
KR102428941B1 (ko) 2022-02-28 2022-08-08 75미리스튜디오 주식회사 광대역 라이다 스캔 기반 이미지 정합을 통해 텍스처가 구현된 3d 스캔 데이터 생성 방법, 장치 및 시스템

Also Published As

Publication number Publication date
CN116782819A (zh) 2023-09-19
US20240070882A1 (en) 2024-02-29
EP4278954A1 (en) 2023-11-22
WO2022154523A1 (ko) 2022-07-21

Similar Documents

Publication Publication Date Title
KR102310662B1 (ko) 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
KR100762670B1 (ko) 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
US20120176478A1 (en) Forming range maps using periodic illumination patterns
EP0840253A2 (en) Methods and apparatus for digital subtraction angiography
Citti et al. Sub-Riemannian mean curvature flow for image processing
CN116868232A (zh) 借助口腔扫描数据的冠部分割自动匹配口腔扫描数据和计算机断层摄影图像的设备和方法
KR102273437B1 (ko) 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 정합 장치 및 방법
KR20150079638A (ko) 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치
JP2013213769A (ja) 画像処理装置、画像処理方法及びプログラム
KR102231496B1 (ko) 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
CN109982055B (zh) 图像处理系统、控制装置、图像处理方法及存储介质
KR102199458B1 (ko) 3차원 컬러 메쉬 복원 방법 및 장치
KR102158390B1 (ko) 영상 처리 방법 및 장치
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
Normand et al. A geometry driven reconstruction algorithm for the Mojette transform
KR101027003B1 (ko) 스테레오 매칭 장치 및 그 방법
KR100603602B1 (ko) 조밀하지 않은 비정렬 3차원 측정점들을 이용한 3차원메쉬 생성 방법
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
KR20190068168A (ko) 3차원 영상 생성 장치 및 방법
JP2006065472A (ja) ３次元モデル生成装置および方法
JP2017199285A (ja) 情報処理装置、情報処理方法、プログラム
JP7243513B2 (ja) 計測システムおよび計測方法
JP2023000111A (ja) 三次元モデル復元装置、方法及びプログラム
KR102433837B1 (ko) 3차원 정보 생성 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant