KR20220068230A - 구강 내 측정값을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체 - Google Patents

구강 내 측정값을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
KR20220068230A
KR20220068230A KR1020227011852A KR20227011852A KR20220068230A KR 20220068230 A KR20220068230 A KR 20220068230A KR 1020227011852 A KR1020227011852 A KR 1020227011852A KR 20227011852 A KR20227011852 A KR 20227011852A KR 20220068230 A KR20220068230 A KR 20220068230A
Authority
KR
South Korea
Prior art keywords
image
images
individual
neural network
registration
Prior art date
Application number
KR1020227011852A
Other languages
English (en)
Inventor
마르셀 마이어
사샤 슈나이더
안데르스 아담슨
루웬 슈나벨
Original Assignee
덴츠플라이 시로나 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 덴츠플라이 시로나 인코포레이티드 filed Critical 덴츠플라이 시로나 인코포레이티드
Publication of KR20220068230A publication Critical patent/KR20220068230A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)

Abstract

정합 오류를 제거하거나 감소시키기 위해 개별 구강 내 측정값을 세분화하고 상기 개별 구강 내 측정값을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체가 제공된다. 운영자는 치과용 카메라를 사용하여 치아를 스캔할 수 있으며 트레이닝된 심층 신경망은 정합 오류를 야기할 수 있는 입력 이미지 부분을 자동으로 검출하고 이러한 정합 오류의 소스의 영향을 감소시키거나 제거할 수 있다.

Description

구강 내 측정값을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체
관련 출원들에 대한 상호 참조
이 특허 출원은 2019년 9월 24일에 출원된 미국 출원 제16/580,084호의 이익 및 우선권을 주장하며, 이는 모든 목적을 위해 여기에 참조로 포함된다.
본 출원은 일반적으로 구강 내 측정값(intraoral measurements)을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체에 관한 것이고, 보다 구체적으로는, 구강 내 측정값을 의미론적으로 정합시키기 위해 딥 러닝 방법(deep learning methods)을 활용하기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
치과 의사는 예를 들어, 연성 조직(soft tissue)을 치과용 카메라의 시야 밖에 유지하는 것과 같은 적절한 스캔 기술을 사용하여 스캔하는 동안 만족스러운 획득 결과를 생성하도록 트레이닝될 수 있다. 연성 조직은 스캔하는 동안 변형되어 동일한 영역의 다수의 형상을 야기하고 정합 동안 오류 및/또는 중단을 도입시킬 수 있다.
현재 FPFH(Fast Point Feature Histograms)와 같은 피처 기반 기술을 사용하여 스캔의 상대적 방향에 대한 사전 지식 없이 스캔/3차원(three-dimensional; 3D) 측정값들이 정합될 수 있는 변환을 계산할 수 있다. 그러나 이러한 기술이 동작하려면 변형 가능한 영역의 스캐닝/3D 측정을 피해야 할 수 있다.
미국 특허 제9456754B2호는 치과 오브젝트의 다수의 3차원 이미지를 촬영(record)하는 방법을 개시하고 있으며, 여기서 각각의 3차원 이미지는 오브젝트의 3D 측정된 데이터 및 측정된 표면의 색상 데이터를 포함할 수 있고, 여기서 개별 이미지는 컴퓨터 지원 촬영 알고리즘을 사용하여 전체 이미지로 결합된다. 이 미국 특허는 마치 여기에 완전히 설명된 것처럼 모든 목적을 위해 참조로 여기에 포함된다.
미국 특허 제7698068B2호는 구강 내 공동(cavity)의 적어도 일부의 3차원 표면 기하구조 및 색상을 나타내는 적어도 하나의 수치 엔티티를 제공하고, 수치 엔티티로부터 원하는 데이터를 제공하도록 수치 엔티티를 조작함으로써 구강과 연관된 절차에 유용한 데이터를 제공하는 방법을 개시한다. 전형적으로, 수치 엔티티는 구강 내 공동의 상기 부분과 연관된 표면 기하구조 및 색상 데이터를 포함하고, 색상 데이터는 색조, 채도, 값, 반투명도 및 반사율을 포함하는 실제 또는 인지된 시각적 특성을 포함한다.
국제출원 공개공보 제WO2018219800A1호는 포인트 클라우드 좌표 공간(point cloud coordinate space)에서 구강 내 장면의 일부를 나타내는 3D 포인트 클라우드 데이터를 결정하는 것을 포함하는 구강 내 장면의 일부의 3D 표현을 생성 및 디스플레이하기 위한 방법 및 장치를 개시한다. 카메라 좌표 공간에서 구강 내 장면의 동일한 부분의 색상 이미지가 획득된다. 상기 구강 내 장면의 표면을 나타내는 이미지의 영역 내에 있는 색상 이미지 요소가 레이블링된다(labelled).
미국 특허 제9436868B2호는 측정된 3차원(3D) 오브젝트 장면의 신속하고 자동화된 오브젝트 분류를 가능하게 하는 방법을 개시한다. 오브젝트 장면은 광 패턴으로 조명되고 상이한 공간적 위상들에서 이 패턴에 의해 조명된 오브젝트 장면의 이미지 시퀀스가 획득된다.
미국 특허 제9788917B2호는 자동 치과 교정 진단 및 치료 계획에 인공 지능을 사용하는 방법을 개시한다. 이 방법은 환자에 의해 동작되도록 구성된 구강 내 이미저(intraoral imager)를 제공하는 단계; 교정 상태에 관한 환자 데이터를 수신하는 단계; 치과 교정 치료로부터 유래된 정보를 포함하거나 이에 대한 액세스 권한을 갖는 데이터베이스에 액세스하는 단계; 치과 교정 상태의 전자 모델을 생성하는 단계; 및 환자 데이터를 분석하고 치과 교정 치료로부터 유래된 정보에 기초하여 치과 교정 상태의 적어도 하나의 진단 및 치료 요법을 식별하도록 적어도 하나의 컴퓨터 프로그램에 지시하는 단계를 포함할 수 있다.
미국 특허 출원 공개공보 제20190026893A1호는, 분석 이미지 상에 표현된 치아와 관련된 치아 속성의 값 및/또는 분석 이미지와 관련된 이미지 속성의 적어도 하나의 값을 결정하기 위해, 분석 이미지가 딥 러닝 디바이스에 제출되는 치과 교정 정렬기의 형상을 평가하기 위한 방법을 개시한다.
PCT 출원 제PCT/EP2018/055145호는 치과용 카메라를 사용하여 치과 상황이 측정되고 치과 상황의 3차원(3D) 모델이 생성되는 수복물 구성 방법을 개시한다. 그런 다음 컴퓨터 지원 검출 알고리즘이 치과 상황의 3D 모델에 적용될 수 있으며 수복물의 유형, 치아 번호 또는 수복물의 위치가 자동으로 결정된다.
미국 출원 공개공보 제20180028294A1호는 딥 러닝을 사용한 치과 CAD 자동화 방법을 개시한다. 이 방법은 환자의 치열 데이터 세트의 적어도 일부를 나타내는 환자의 스캔 데이터를 수신하는 단계; 및 트레이닝된 심층 신경망(deep neural network)을 사용하여 환자의 스캔에서 하나 이상의 치과 피처(dental features)를 식별하는 단계를 포함할 수 있다. 여기에서 완전한 스캔이 생성된 후 설계 자동화가 수행될 수 있다. 그러나 이 방법은 실제 스캔 프로세스를 개선하지 않는다.
국제 출원 공개공보 제WO2018158411A1호는 수복물을 구성하기 위한 방법을 개시하며, 이 방법에서 치과용 카메라를 사용하여 치과 상황이 측정되고, 치과 상황의 3D 모델이 생성된다. 이 경우, 컴퓨터 지원 검출 알고리즘이 치과 상황의 3D 모델에 적용되며, 수복물의 유형 및/또는 적어도 치아 번호 및/또는 삽입될 수복물의 위치가 자동으로 결정된다.
전술한 것과 연관된 기존의 제한 사항 및 다른 제한 사항은 딥 러닝 방법을 활용하여 구강 내 측정값을 의미론적으로 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체에 의해 극복될 수 있다.
본 개시의 양상에서, 본 발명은 3차원(three-dimensional; 3D) 정합을 위한 컴퓨터 구현 방법(computer implemented method)을 제공할 수 있으며, 이 방법은, 하나 이상의 컴퓨팅 디바이스에 의해 환자의 치열의 개별 이미지를 수신하는 단계; 예를 들어, 트레이닝된 심층 신경망의 출력 확률 값과 같은 하나 이상의 출력 레이블 값을 사용하여 개별 이미지에서 정합 오류의 소스를 자동으로 식별하는 단계를 포함하며, 출력 레이블/확률 값은 개별 이미지를 하나 이상의 오브젝트 범주에 대응하는 영역으로 세분화함으로써 획득되고; 개별 이미지는 깊이 이미지 및/또는 대응 색상 이미지이고; 방법은, 정합 오류가 없거나 정합 오류가 실질적으로 없는 정합된 3D 이미지를 형성하기 위해 예를 들어, 확률 값과 같은 하나 이상의 출력 레이블에 기초하여 개별 이미지를 함께 정합시키는 단계를 더 포함한다.
본 명세서의 또 다른 양상에서, 컴퓨터 구현 방법은 다음 단계들의 하나 이상의 조합을 더 포함할 수 있다: (i) 정합은, 깊이 이미지의 픽셀을 공간에 투영하여 깊이 이미지로부터 포인트 클라우드를 생성하는 단계; 트레이닝된 심층 신경망의 출력 레이블/확률 값 및 대응하는 색상 이미지를 각각 사용하여 포인트 클라우드에서 각 포인트에 레이블/확률 값 및 색상 값을 할당하는 단계; 할당된 레이블/확률 값에 기초하여, 미리 결정된 가중치를 사용하여 포인트 클라우드에서 포인트를 폐기(discard)하거나 부분적으로 포함하여, 정합에 대한 폐기되거나 부분적으로 포함된 포인트의 기여가 제거 또는 감소되도록 하는 단계에 의해 달성되고, (ii) 개별 이미지는 개별 3차원 광학 이미지이고, (iii) 개별 이미지가 이미지의 시간적 시퀀스로서 수신되고, (iv) 개별 이미지는 한 쌍의 색상 이미지 및 깊이 이미지로서 수신되고, (v) 하나 이상의 오브젝트 범주는 경성 잇몸(hard gingiva), 연성 조직 잇몸(soft tissue gingiva), 치아 및 치아와 유사한 오브젝트를 포함하고, (vi) 정합 에러의 식별된 소스의 관련성의 표시는 그 주변 기하구조에 기초하고, (vii) 심층 신경망은 CNN(Convolutional Neural Network), FCN(Fully Convolutional Neural Network), RNN(Recurrent Neural Network) 및 순환-CNN(Recurrent Convolutional Neural Network)으로 이루어진 그룹으로부터 선택된 네트워크이고, (viii) 방법은, 하나 이상의 컴퓨팅 디바이스 및 복수의 개별 트레이닝 이미지를 사용하여 심층 신경망을 트레이닝하여, 각 트레이닝 이미지의 적어도 한 부분에 있는 하나 이상의 조직을 하나 이상의 레이블/확률 값에 매핑하는 단계를 더 포함하고, 트레이닝은 개별 트레이닝 이미지, 개별 트레이닝 이미지의 픽셀, 또는 개별 트레이닝 이미지의 슈퍼 픽셀(super pixel)을, 의미론적 데이터 유형 및/또는 오류 데이터 유형에 대응하는 하나 이상의 클래스로 분류함으로써 픽셀 레벨에서 수행되고, (ix) 트레이닝 이미지는 3D 메시 및 깊이 이미지와 색상 이미지의 정합된 쌍을 포함하며, (x) 3D 메시는 레이블링되고, 레이블은 변환 함수를 사용하여 깊이 이미지와 색상 이미지의 정합된 쌍으로 전달된다.
본 발명의 또 다른 양상에 있어서, 컴퓨터 시스템에 의해 실행될 때, 컴퓨터 시스템으로 하여금 방법을 수행하게 하는 프로그램을 저장한 비일시적 컴퓨터 판독가능 저장 매체가 제공될 수 있으며, 방법은, 하나 이상의 컴퓨팅 디바이스에 의해 환자의 치열의 개별 이미지를 수신하는 단계; 트레이닝된 심층 신경망(deep neural network)의 하나 이상의 출력 확률 값을 사용하여 개별 이미지에서 정합 오류의 소스(sources)를 자동으로 식별하는 단계를 포함하며, 출력 확률 값은 개별 이미지를 하나 이상의 오브젝트 범주에 대응하는 영역으로 세분화함으로써 획득되고; 개별 이미지는 깊이 이미지 및/또는 대응 색상 이미지이고; 방법은, 정합 오류가 없거나 정합 오류가 실질적으로 없는 정합된 3D 이미지를 형성하기 위해 하나 이상의 출력 확률 값에 기초하여 개별 이미지를 함께 정합시키는 단계를 더 포함한다.
또한, 3차원(three-dimensional; 3D) 정합을 위한 시스템이 제공될 수 있으며, 프로세서를 포함하는 시스템은, 하나 이상의 컴퓨팅 디바이스에 의해 환자 치열의 개별 이미지를 수신하고; 트레이닝된 심층 신경망의 하나 이상의 출력 확률 값을 사용하여 개별 이미지에서 정합 오류의 소스를 자동으로 식별하도록 구성되며, 출력 확률 값은 개별 이미지를 하나 이상의 오브젝트 범주에 대응하는 영역으로 세분화함으로써 획득되고; 개별 이미지는 깊이 이미지 및/또는 대응 색상 이미지이고; 프로세서는, 정합 오류가 없거나 정합 오류가 실질적으로 없는 정합된 3D 이미지를 형성하기 위해 하나 이상의 출력 확률 값에 기초하여 개별 이미지를 함께 정합하도록 구성된다.
본 발명의 또 다른 양상에서, 이 시스템은 CNN(Convolutional Neural Network), FCN(Fully Convolutional Neural Network), RNN(Recurrent Neural Network), 및 순환-CNN(Recurrent Convolutional Neural Networks)으로 이루어진 그룹으로부터 선택된 심층 신경망이다.
예시적인 실시예는 아래에 제공된 상세한 설명 및 첨부 도면으로부터 더 완전히 이해될 것이며, 여기서 유사한 요소는 동일한 참조 문자로 표시되며, 이는 예시의 목적으로만 제공되므로 본 명세서의 예시적인 실시예를 제한하지 않는다.
도 1은 연성 조직의 변형으로 인한 다른 주변 기하구조를 도시하는 구강의 단면의 스케치이다.
도 2a는 환자의 치열의 개별 이미지의 스캐닝/촬영을 예시하는 구강의 평면도의 스케치이다.
도 2b는 본 발명의 실시예에 따른 예시적인 정합을 도시하는 스케치이다.
도 3a는 본 발명의 실시예에 따른 시스템의 상위 레벨 블록도이다.
도 3b는 본 발명의 실시예에 따른 예시적인 트레이닝 이미지를 도시한다.
도 4는 연성 조직을 갖는 개별 이미지로부터 형성된 치열의 전체적인 3D 이미지의 사시도이다.
도 5는 본 발명의 실시예에 따라 제거되거나 덜 가중된 연성 조직 기여를 갖는 개별 이미지로부터 형성된 치열의 정정된 전체 3D 이미지의 사시도이다.
도 6은 일 실시예에 따른 심층 신경망의 구조를 도시한 고수준 블록도이다.
도 7a는 본 발명의 실시예에 따른 방법을 도시한 흐름도이다.
도 7b는 본 발명의 실시예에 따른 방법을 도시한 흐름도이다.
도 8은 본 발명의 실시예에 따른 트레이닝 방법을 도시하는 블록도이다.
도 9는 본 발명의 예시적인 실시예에 따른 컴퓨터 시스템을 도시하는 블록도이다.
도면들의 상이한 것들은 동일한 컴포넌트를 식별하기 위해 동일할 수 있는 적어도 일부 참조 번호를 가질 수 있지만, 각각의 그러한 컴포넌트에 대한 상세한 설명은 각 도면과 관련하여 아래에서 제공되지 않을 수 있다.
본 명세서에 설명된 예시적인 양상에 따르면, 개별 구강 내 측정값을 의미론적으로 세분화하고 상기 개별 구강 내 측정값을 정합시키기 위해 딥 러닝 방법을 활용하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체가 제공될 수 있다.
구강 내 측정값을 정합시키기 위한 시스템
잘못된 정합으로 인해 환자의 구강의 정확한 3D 측정이 어려울 수 있다. 턱의 구강 내 측정에서 단일 스캔을 생성하는 카메라가 사용되어 전체 턱의 서브세트만 캡처하고 이 서브세트가 함께 정합되어 완전한 모델을 형성할 수 있다. 카메라는 핸드헬드일 수 있으며 단일 스캔이 얻어지는 정확한 위치는 일반적으로 알려져 있지 않다. 이러한 단일 스캔(예컨대, 3D 데이터, 색상 데이터)의 정보에 기초해 단일 스캔을 공통 참조 프레임(공통 3D 좌표계)으로 가져오기 위한 변환이 결정된다. 그러나 카메라가 높은 빈도로 많은 단일 스캔을 획득하는 동안 변형되거나 형상이 변하는 구강 부분은 대부분의 정합 프로세스가 경성(rigidity)을 가정하여 동작하기 때문에 정합을 왜곡할 수 있다. 따라서 경성 부분만 정합을 위해 간주된다.
스캔은 상이한 시점들에서 이루어지기 때문에 연성 조직의 변형이나 움직이는 이물질의 존재로 인해 상이한 스캔들 사이의 기간 동안 특정 조직(특히 구강의 연성 조직)의 기하구조가 변경될 수 있다. 이것은 매칭되는 3D 데이터에 의존하는 정합을 방해할 수 있다(예컨대, 제곱합 오차 최소화에 기초한 기술에 의해 생성된 전형적인 오차를 도시하는 도 1 참조).
이러한 기술의 개선은 정합을 위해 경성 부분만 고려하고 관련 없는(즉, 비경성) 부분을 버리거나(discard) 이 관련 없는 부분의 정합에 대한 기여를 더 작게 가중화하여 달성할 수 있는데, 즉, 도 1에 도시된 바와 같이, 예를 들어, 치아와 같은 경성 부분/경성 조직(12)이 정합을 위해 고려될 때, 정합이 견고하며(robust) (iii) 경성 부분/경성 조직(12)의 주변 기하구조(13a, 13b)가 정렬되며, 그 반대의 경우(iv)도 마찬가지이다. 따라서 "경성(rigid)"이라는 용어는 스캔 절차가 수행되는 기간 동안 변형되지 않을 수 있는 해부학적 구조 또는 해부학적 구조의 부분을 설명하기 위해 이하에서 사용될 수 있다. 치아에 가까운 잇몸은 충분한 큰 힘이 가해지면 변형될 수 있지만 구강 내 스캐너로 스캔하는 동안에는 일반적으로 그렇지 않을 수 있다. 따라서 잇몸을 경성인 것으로 간주하는 것은 합리적인 가정이 될 것이다. 반면에, 뺨(cheek)의 내면은 스캔할 때마다 변형될 가능성이 높으므로 연성 조직/연성 부분(15)으로 간주될 수 있다(도 2a).
본 명세서에 설명된 시스템은 바람직하게는 예를 들어, 개별 3차원 광학 이미지(2)(도 2a)와 같은 이미지를 획득할 수 있는데, 각각의 3차원 광학 이미지(2)는 바람직하게 치아의 측정된 표면의 3D 측정 데이터 및 색상 데이터를 포함하고 바람직하게 직접 구강 내 스캔을 통해 구강 내에서 순차적으로 촬영된다. 이 획득은 예를 들어, 치과 병원 또는 치과 진료소에서 발생할 수 있으며 치과 의사 또는 치과 기공사에 의해 수행될 수 있다. 이미지는 저장된 이미지의 시퀀스를 통해 간접적으로 획득될 수도 있다.
바람직하게는 시간적 순서로서 획득된 이미지를 사용하여, 컴퓨터 구현 시스템은 정합을 위해 고려될 수 있는 이미지의 영역을 자동으로 식별할 수 있다. 이것은 실시간으로 수행될 수 있다. 물론 이미지는 개별 2차원(two-dimensional; 2D) 이미지, RGB 이미지, 범위 이미지(2.5차원, 즉, 2.5D), 4-채널 이미지(RGB-D)일 수도 있으며, 여기서 깊이와 색상이 완벽하게 정렬되지 않을 수 있는데, 즉, 깊이 이미지 및 색상 이미지가 상이한 기간들에 획득될 수 있다.
스캐닝 프로세스에서, 복수의 개별 이미지가 생성될 수 있고, 그 다음 적어도 2개의 개별 이미지의 시퀀스(8) 또는 복수의 시퀀스(8)가 결합되어 전체/전역 3D 이미지(10)(도 4)를 형성할 수 있다. 보다 구체적으로, 도 2a에 도시된 바와 같이, 직사각형 형태로 도시된 개별 3차원 광학 이미지(2)는 측정 동안 측정 경로(4)를 따라 오브젝트(1)에 대해 이동될 수 있는 스캐너/치과용 카메라(3)에 의해 획득될 수 있다. 일부 실시예에서, 측정 경로는 임의의 경로일 수 있으며, 즉 측정은 상이한 방향들로부터 취해질 수 있다. 치과용 카메라(3)는 예를 들어, 프린지 투영 방법(fringe projection method)을 사용하여 오브젝트(1)를 측정하는 핸드헬드 카메라일 수 있다. 3D 측정의 다른 방법은 당업자에 의해 실현될 수 있다. 점선으로 도시된 제1 이미지(6)와 제2 이미지(7) 사이의 제1 중첩 영역(5)은, 컴퓨터를 사용하여 촬영 조건이 만족되는지 여부를 결정하도록 검사되고, 만족되면, 3차원 광학 이미지(2)는 전역 3D 이미지(10)를 형성하기 위해 함께 결합/정합될 수 있다.
촬영 조건은 적절한 크기, 적절한 파상도, 적절한 거칠기, 및/또는 특징적인 기하구조의 적절한 수 및 배열을 포함할 수 있다. 그러나 정합 오류의 소스(source)와 이를 방지하는 방법을 판별하기 위해 기존 컴퓨터를 프로그래밍하는 것은 어려울 수 있다. 가능한 모든 시나리오를 다루어지도록 정합 또는 세분화 방법에 사용되는 피처를 수동으로 프로그래밍하는 것은 특히 높은 측정 빈도를 고려할 때 지루할(tedious) 수 있다. 이는 특히 전체 이미지의 컨텍스트를 고려해야 하는 경우에 해당한다. 머신 러닝 접근법, 특히 신경망과 올바른 트레이닝 데이터를 사용하면 문제를 보다 효과적으로 해결할 수 있다. 다른 한편으로, 신경망은 정합 오류의 소스를 인식하고 단일 스캔/단일 3D 측정으로부터 데이터를 의미론적으로 세분화하고, 구강의 이러한 영역이 정합을 위해 고려될 수 있는지 여부를 결정할 수 있다. 이를 위해 세분화의 상이한 오브젝트들/오브젝트 범주들에 대한 레이블(label)은, (i) 경성 조직(예컨대, 치아, 크라운, 브릿지, 치아 근처의 경성 잇몸, 및 치아와 유사한 다른 오브젝트), (ii) 연성 조직(예컨대, 혀, 뺨, 부드러운 잇몸 등) 및(iii) 기구/구강 내 적용된 일회용품(예컨대, 거울, 스캔바디, 면 롤, 브래킷 등)을 포함하도록 - 이것에 제한되지 않음 - 정의될 수 있다. 물론 예를 들어, 눈부심(21)(도 2b, 밝은 빛으로 인해 야기됨)과 같은 다른 정의가 적절하게 추가될 수 있다. 세분화는 색상에 기초할 수 있고, 색상은 컨텍스트 인식 방식으로 해석될 수 있는데, 즉, 정합 오류의 잠재적인 소스의 관련성에 대한 표시는 주변 기하구조(13a, 13b)에 기초할 수 있다. 더욱이, 세분화는 색상 데이터의 단일 픽셀 또는 개별 3차원 광학 이미지(2)의 더 큰 영역에 기초할 수 있다.
크라운, 치아 또는 치아 근처의 경성 잇몸은 경성이기 때문에, 정확한 세분화를 고려하는 정합 알고리즘에 의해 정합 오류가 제거되거나 실질적으로 감소될 수 있다. 또한, 예를 들어, 면 롤과 같은 부대용품으로 인해 도입되는 클러터(clutter)를 제거하여 정리된 3D 모델(cleaned up 3D model)이 생성될 수 있으며, 상기 정리된 3D 모델은 치과 치료와 관련된 데이터만 포함한다.
따라서 이 시스템은 3차원 광학 이미지(2)에서 정합 오류의 소스를 자동으로 인식하고 이러한 소스가 바람직하게는 실시간으로 정합에 기여하는 것을 방지하기 위해 복수의 트레이닝 데이터 세트를 사용하여 예를 들어, 심층 신경망과 같은 신경망을 트레이닝할 수 있다. 따라서, 전역 3D 이미지(10)(도 4)로 전파되는 잘못된 정합(도 1, iv)은 도 5의 정정된 전역 3D 이미지(9)에 도시된 바와 같이 감소되거나 제거될 수 있고 그리고 /또는 잘못된 정합으로 인한 중단이 더 적거나/없기 때문에 스캔 흐름이 개선될 수 있다.
본 시스템은 또한 의미론적으로 데이터를 식별하고 레이블링할 수 있다(컨텍스트 인식 방식으로, 즉 컨텍스트는 적절한 정정 방법을 선택하는 데 중요할 수 있다. 예를 들어, 치아에 가까운 잇몸은 경성 조직(12)으로서 간주될 수 있는 반면 치아에서 멀리 떨어진 잇몸은 연성 조직(15)으로서 간주될 수 있다).
더욱이, 시스템은 정정 조치를 결정하고 그리고/또는 정합 오류의 소스를 검출할 때 상기 결정된 정정 조치를 적용할 수 있다. 예를 들어, 개별 3차원 광학 이미지(2)에서 연성 조직(15)에 대한 경성 조직(12)의 비율이 높은 경우, 환자의 뺨이나 입술의 변형 또는 움직임이 연성 조직의 변형을 초래할 수 있고 따라서 도 1의 (iv)에 도시된 바와 같이 잘못된 촬영을 초래할 수 있기 때문에 연성 조직(15)보다 경성 조직(12)을 더 가중화하는 것은 유리할 수 있다. 그러나, 이미지에서 경성 조직(15)의 비율이 낮은 경우, 촬영 품질을 향상시키기 위해 연성 조직(15)이 훨씬 더 가중화될 수 있다. 예를 들어, 도 2b는 2개의 중간 치아가 결손되어, 경성 조직(12)을 갖는 제1 영역은 개별 3차원 광학 이미지(2)의 전체 영역의 약 10%에 해당하고, 연성 조직(15)을 갖는 제2 영역은 이 이미지의 전체 영역의 약 50%에 해당하는 이미지를 도시한다. 어떤 조직에도 할당될 수 없는 나머지 제3 영역은 약 40%에 해당한다; 경성 조직(12)을 갖는 제1 영역에 대한 백분율은 30%의 미리 결정된 문턱값 아래로 떨어진다. 결과적으로, 경성 조직(12)을 갖는 제1 영역은 제1 가중화 인자로 가중화되고, 연성 조직을 갖는 제2 영역은 제2 가중화 인자로 가중화되어, 제2 가중화 인자는 제1 영역에서의 감소에 따라 증가한다. 예를 들어, 경성 조직(12)을 갖는 제1 영역에 대한 제1 가중화 인자는 1.0일 수 있고, 연성 조직(15)을 갖는 제2 영역에 대한 제2 가변 가중화 인자는 미리 결정된 문턱값이 초과될 때 0.5이고, 제1 영역에서의 감소에 따라 최대 1.0일 수 있다. 제1 영역에 대한 제2 가중화 인자의 의존성은 예를 들어, 지수 함수 또는 선형 함수와 같은 임의의 함수에 따라 정의될 수 있고 경성 조직 및 연성 조직은 본 명세서에서 설명된 신경망을 사용하여 세분화될 수 있다.
도 3a는 일 실시예에 따른 환자의 치열의 개별 3차원 광학 이미지(2)로부터 치과 정보를 인식하기 위한 시스템(200)의 블록도를 도시한다. 시스템(200)은 치과용 카메라(3), 트레이닝 모듈(204), 이미지 정합 모듈(206), 컴퓨터 시스템(100) 및 데이터베이스(202)를 포함할 수 있다. 또 다른 실시예에서, 데이터베이스(202), 이미지 정합 모듈(206), 및/또는 트레이닝 모듈(204)은 컴퓨터 시스템(100)의 일부일 수 있고 그리고/또는 교정 요법에 기초하여 치과용 카메라(3)의 파라미터를 직접적 및/또는 간접적으로 조정할 수 있다. 컴퓨터 시스템(100)은 또한 적어도 하나의 컴퓨터 프로세서(122), 사용자 인터페이스(126) 및 입력 유닛(130)을 포함할 수 있다. 컴퓨터 프로세서는 다양한 요청을 수신하고 저장 디바이스에 저장된 적절한 명령어를 메모리에 로딩한 다음 로딩된 명령어를 실행할 수 있다. 컴퓨터 시스템(100)은 또한 소프트웨어 및 데이터가 컴퓨터 시스템(100)과 외부 디바이스 사이에서 전송될 수 있게 하는 통신 인터페이스(146)를 포함할 수 있다.
컴퓨터 시스템(100)은 예를 들어, 치과용 카메라(3)와 같은 외부 디바이스 또는 사용자(미도시)로부터 정합 요청을 수신할 수 있고 의미론적 정합을 위한 적절한 명령어를 로딩할 수 있다. 바람직하게는, 컴퓨터 시스템은 요청을 기다리지 않고 개별 3차원 광학 이미지(2)를 수신할 때 이미지를 독립적으로 정합할 수 있다.
일 실시예에서, 컴퓨터 시스템(100)은 트레이닝 모듈(204)의 일부일 수 있는 하나 이상의 심층 신경망을 트레이닝하기 위해 데이터베이스(202)로부터의 복수의 트레이닝 데이터 세트(예컨대, 복수의 개별 3차원 광학 이미지(2)를 포함할 수 있음)를 사용할 수 있다. 도 3b의 (I-IV)는 각각 색상 이미지, 깊이 이미지, 깊이 이미지에 매핑된 색상 이미지 및 색상 이미지에 매핑된 깊이 이미지를 포함하는, 트레이닝에 사용되는 예시적인 이미지를 도시한다. CNN(Convolutional Neural Network)은 로컬 이웃(local neighborhoods)에서 동작하므로 이미지 매핑은 CNN에 유용할 수 있다. 따라서 rgb 및 깊이 이미지의 영역은 동일한 2d 픽셀 좌표로 표현될 수 있다. 예를 들어, 깊이 이미지를 rgb 이미지에 매핑하거나 그 반대로 매핑하는 것은 rgb 이미지에서 동일한 2d 픽셀 좌표를 가진 픽셀과 생성된 이미지가 공간의 동일한 지점에 대응하도록 이미지를 생성하는 것을 의미한다. 일반적으로 여기에는 핀홀 카메라 모델의 적용과 움직임을 수용하는 변환(정합 알고리즘에 의해 결정됨)이 포함된다. 모션에 대한 보상 단계는 생략될 수 있으며, 신경망은 결과적으로 작을 것으로 예상되는 오프셋에 대처할 수 있을 것으로 기대될 수 있다. 일부 실시예에서, 시스템(200)은 예를 들어, CNN(Convolutional Neural Networks), FCN(Fully Convolutional Neural Networks), RNN(Recurrent Neural Networks), 및 순환-CNN(Recurrent Convolutional Neural Network)과 같은 다양한 딥 러닝 신경망을 포함하는 신경망 모듈(미도시)을 포함할 수 있다. 완전한 컨볼루션 신경망의 예는 출판물[Jonathan Long et al, entitled "Fully Convolutional Networks for Semantic Segmentation", 8 March 2015]에 설명되어 있으며, 이 출판물은 마치 여기에 완전히 설명된 것처럼 그 전체가 참조로 여기에 포함된다. 따라서 완전 컨볼루션 신경망(픽셀당 세분화에 사용되는 효율적인 컨볼루션 네트워크 아키텍처)은 순환 모델을 사용하여 RGB(D)-이미지 또는 RGB(D)-이미지 시퀀스를 세분화하도록 트레이닝될 수 있다. 단순 피드 포워드 네트워크와는 반대로 순환 모델이 사용될 수 있다. 따라서 이 네트워크는 다음 순방향 계산을 위한 입력으로서 레이어의 출력을 수신할 수 있어서, 현재 활성화가 모든 이전 입력에 따른 상태로 간주될 수 있으므로 시퀀스 처리를 가능케 한다. 또한, 순환-CNN 모델의 예는 출판물[Courtney J. Spoerer et al, entitled "Recurrent Convolutional Neural Networks: A Better Model of Biological Object Recognition" Front. Psychol., 12 September 2017]에 설명되어 있으며, 이 출판물은 마치 여기에 완전히 설명된 것처럼 그 전체가 참조로 여기에 포함된다.
트레이닝 데이터 세트 및/또는 신경망에 대한 입력은 사전 처리될 수 있다. 예를 들어, 3D 측정과 함께 색상 데이터를 처리하기 위해 캘리브레이션(예컨대, 카메라 모델의 파라미터 결정)을 적용하여 색상 이미지를 3D 표면과 정렬할 수 있다. 또한, 예를 들면, 합성 회전, 스케일링 등과 같은 표준 데이터 증강 절차가 트레이닝 데이터 세트 및/또는 입력에 적용될 수 있다.
트레이닝 모듈(204)은 심층 신경망의 학습 프로세스를 감독하기 위해 레이블을 갖는 트레이닝 데이터 세트를 사용할 수 있다. 레이블은 데이터 포인트를 가중화하기 위해 사용될 수 있다. 트레이닝 모듈(204)은 역으로, 레이블링되지 않은 트레이닝 데이터 세트를 사용하여 생성적(generative) 심층 신경망을 트레이닝할 수 있다.
예시적인 실시예에서, 정합 오류의 소스를 검출하도록 심층 신경망을 트레이닝시키기 위해, 전술된 조직 유형(tissue types) 및 오브젝트 범주를 갖는 복수의 실제 개별 3차원 광학 이미지 데이터 세트가 사용될 수 있다. 또 다른 예에서, 의미론적 데이터(예컨대, 치아 근처의 경성 잇몸)를 인식하도록 심층 신경망을 트레이닝하기 위해, 하나 이상의 치아 근처에 하나 이상의 경성 잇몸 영역 및 하나 이상의 치아로부터 멀리 떨어진 하나 이상의 연성 잇몸 영역을 갖는 실제 치과 환자로부터의 또 다른 복수의 트레이닝 데이터 세트가 트레이닝 데이터 세트의 그룹을 형성하도록 선택된다. 따라서 데이터베이스(202)는 트레이닝 데이터 세트의 상이한 그룹들, 예를 들어, 각 오브젝트 범주 및/또는 각 의미론적 데이터 유형에 대한 하나의 그룹을 포함할 수 있다.
일부 실시예에서, 트레이닝 모듈(204)은, 컴퓨터 시스템(100)이 정합 오류의 소스를 검출하기 위해 하나 이상의 사전 트레이닝된 심층 신경망을 용이하게 사용할 수 있도록 데이터베이스(204)로부터의 트레이닝 데이터 세트를 사용하여 하나 이상의 심층 신경망을 사전 트레이닝할 수 있다. 그 다음, 트레이닝 모듈(204)은 검출된 소스 및/또는 개별 3차원 광학 이미지(2)에 대한 정보를 이미지 정합 모듈(206)에 바람직하게는 자동으로 그리고 실시간으로 전송할 수 있으며, 여기서 정합 오류의 소스는 정합 전에 고려될 것이다.
데이터베이스(204)는 또한 대응하는 개별 3차원 광학 이미지(2)와 함께 심층 신경망 및 식별된 소스와 관련된 데이터를 저장할 수 있다. 더욱이, 컴퓨터 시스템(100)은 디스플레이 유닛(126) 및 입력 유닛(130)을 가질 수 있으며, 이를 사용하여 사용자는 트레이닝 동안 요청을 제출하고 정합 오류의 식별된 소스를 수신 및 검토하는 것과 같은 기능을 수행할 수 있다.
트레이닝 프로세스(S600)의 예시적인 실시예에서, 도 8에 도시된 바와 같이, 레이블은 현장에서 실제 사례를 나타내는 이미지를 수집함으로써 생성될 수 있다(S602). 이러한 경우에는 메시(예컨대, 3D 삼각형 메시)와 단일 이미지(깊이 이미지와 색상 이미지의 정합된 쌍)가 포함될 수 있다. 메시는 메시에서 치아를 절단할 수 있는 전문가에 의해 세분화될 수 있다. 그런 다음, 절단된 메시는 단계(S604)에서 레이블링될 수 있다. 절단된 메시는 치아, 크라운, 임플란트 또는 다른 치아 유사 오브젝트로서(단계(S606)) 또는 경성 잇몸 및 연성 잇몸으로서(단계(S608)) 레이블링될 수 있다. 추가적으로, 예를 들어, 구강의 일부가 아닌 카메라(3)의 광학 경로에 있는 3D 포인트와 같은 이상치가 레이블링될 수 있다(단계(S610)). 메시의 레이블링은 단일 이미지의 픽셀로 전송될 수 있으므로 트레이닝 프로세스에서 수행되는 작업량을 감소시킬 수 있다. 모든 최종 레이블은 단계(S606, S608 및 S610)로부터의 정보를 결합하여 단계(S612)에서 결정될 수 있다. 또한, 단일 이미지를 함께 정렬한 변환(정합된 이후)을 알고 있으면, 이러한 최종 레이블이 절단된 메시로부터 단일 이미지로 전송될 수 있다. 이러한 방식으로, 메시의 절단/슬라이싱을 통해 많은 이미지가 한 번에 레이블링될 수 있다.
시스템(200)의 다른 실시예는 상이하고 그리고/또는 추가적인 컴포넌트들을 포함할 수 있다. 더욱이, 기능은 여기에서 설명된 것과는 다른 방식으로 컴포넌트들 사이에 분배될 수 있다.
도 6은 본 발명의 실시예에 따른 심층 신경망(300)의 구조를 도시한 블록도이다. 그것은 입력 레이어(302), 하나 이상의 은닉 레이어(304) 및 출력 레이어(306)를 포함하는 여러 레이어를 가질 수 있다. 각 레이어는 작은 원으로 표시된 하나 이상의 노드(308)로 구성될 수 있다. 정보는 입력 레이어(302)로부터 출력 레이어(306)로, 즉, 좌측에서 우측 방향으로 흐를 수 있지만, 다른 실시예에서는 우측에서 좌측으로 또는 양방향으로 흐를 수 있다. 예를 들어, 순환 네트워크는 시퀀스(8)의 새로운 데이터를 처리할 때 이전에 관찰된 데이터를 고려할 수 있는 반면(예컨대, 현재 이미지는 이전 이미지를 고려하여 세분화될 수 있음), 비순환 네트워크는 새로운 데이터를 분리하여 처리할 수 있다.
노드(308)는 입력 및 출력을 가질 수 있고 입력 레이어의 노드들(308)은 수동적일 수 있으며, 이는 노드들이 데이터를 수정하지 않을 수 있음을 의미한다. 예를 들어, 입력 레이어(302)의 노드(308)는 입력에서 단일 값(예컨대, 픽셀 값)을 수신하고 그 값을 다수의 출력에 복제할 수 있다. 반대로, 은닉 레이어(304) 및 출력층(306)의 노드는 능동적일 수 있고, 따라서 데이터를 수정할 수 있다. 예시적인 구조에서, 입력 레이어(302)로부터의 각각의 값은 복제되어 모든 은닉 노드에 전송될 수 있다. 은닉 노드에 입력되는 값은 은닉 노드 각각과 연관된 미리 결정된 숫자의 세트일 수 있는 가중치로 곱해질 수 있다. 그런 다음, 가중화된 입력을 합산하여 단일 숫자를 생성할 수 있다.
본 발명에 따른 실시예에서, 심층 신경망(300)은 오브젝트 범주를 검출할 때 개별 3차원 광학 이미지(2)의 픽셀을 입력으로서 사용할 수 있다. 개별 3차원 광학 이미지(2)는 색상 이미지 및/또는 깊이 이미지일 수 있다. 여기서, 입력 레이어(302)의 노드 수는 개별 3차원 광학 이미지(2)의 픽셀 수와 동일할 수 있다.
예시적인 실시예에서, 하나의 신경망이 모든 오브젝트 범주에 대해 사용될 수 있고, 또 다른 실시예에서, 상이한 오브젝트 범주들에 대해 상이한 네트워크들이 사용될 수 있다. 또 다른 예에서, 심층 신경망(300)은 예를 들어, 주변광에 의해 야기된 것과 같은 오브젝트 범주를 검출할 때의 개별 픽셀 대신 개별 3차원 광학 이미지(2)를 분류/레이블링할 수 있다. 추가 실시예에서, 이미지는 예를 들어, 4번째 픽셀마다와 같이 서브샘플링된 입력일 수 있다.
또 다른 실시예에서, 심층 신경망(300)은 예를 들어, 노출 시간, 애퍼처 등과 같은 디바이스 파라미터뿐만 아니라 예를 들어, 색상 이미지, 깊이 측정, 가속도와 같은 치과용 카메라(3)에 의해 획득된 복수의 데이터를 입력으로서 가질 수 있다. 심층 신경망은 예를 들어, 특정 오브젝트 범주에 속하는 각 픽셀 입력의 하나 이상의 확률 값을 포함하는 확률 벡터일 수 있는 레이블을 출력할 수 있다. 예를 들어, 출력은 가장 높은 확률 값이 경성 조직(12)의 위치를 정의할 수 있는 확률 값을 포함하는 확률 벡터를 포함할 수 있다. 심층 신경망은 임의의 확률 없이 레이블 값의 맵을 출력할 수도 있다. 필요하지 않을 수도 있지만 각 분류에 대해 심층 신경망이 생성될 수 있다.
구강 내 측정값을 정합시키기 위한 방법
도 3a의 시스템(200)을 설명했지만, 이제 본 명세서의 예시적인 실시예들 중 적어도 일부에 따른 프로세스(S400)를 도시하는 도 7a가 참조될 것이다.
프로세스(S400)는 트레이닝 데이터 세트에서 관심 영역을 획득하고 미리 결정된 레이블로 마킹하는 것으로 시작할 수 있다(단계(S402)). 예를 들어, 도 3b의 (i)에 도시된 샘플 이미지(413) 상의 샘플 연성 조직(415)은 연성 조직으로 레이블링될 수 있다. 도 3b의 (i)에 도시된 샘플 이미지(413) 상의 샘플 경성 조직(412)은 경성 조직으로 레이블링될 수 있다. 트레이닝 이미지의 마킹은 예를 들어, 관심 지점에 대응하는 이미지 상에 점(dots)을 설정하여 디지털 방식으로 수행될 수 있다.
트레이닝 데이터는 의미론(semantics)을 개별 3차원 광학 이미지(2)에 할당하기 위해 레이블링될 수 있다. 이것은 색상 정보 또는 깊이 정보에 대해 픽셀당 수준에서 발생할 수 있다. 대안적으로, 완전한 3D 모델의 메시는 단일 이미지에 대한 대응하는 픽셀당 레이블을 계산하기 위해 절단될 수 있다. 더욱이, 상기 메시는 레이블링 프로세스가 자동화될 수 있도록 세분화될 수 있다. 이 레이블은 치아, 뺨, 입술, 혀, 잇몸, 충전물, 세라믹을 구별할 수 있지만 다른 것에는 레이블을 지정하지 않을 수 있다. 뺨, 입술, 혀, 눈부심 및 레이블링되지 않은 데이터는 정합과 관련이 없다.
트레이닝 데이터는 또한 개별 3차원 광학 이미지(2)에 정합 오류 레이블의 소스를 할당하기 위해 레이블링될 수 있다. 이것은 또한 예를 들어, 이미지 정보 또는 깊이 정보에 대해 픽셀당 수준에서 수행될 수 있다. 예를 들어, 트레이닝 데이터는 경성 조직(12)에 대해 그리고 연성 조직(15) 및/또는 기구/구강 내 적용된 일회용품 등에 대한 픽셀 수준으로 레이블링될 수 있다.
의미론적 레이블, 예를 들어, "경성 조직+눈부심", "경성 조직에 가까운 연성 조직", "혀+경성 조직" 등과 같은 레이블은 정합 오류의 소스에 대한 마커와 중첩될 수 있으며, 이러한 레이블은 예를 들어, "뺨+눈부심"과 같은 다른 레이블과 구별될 수 있다.
레이블링되거나 분류된 이미지의 이 세트를 사용하여, 심층 신경망(300)이 구축되고 레이블링된 이미지가 공급되어, 심층 신경망(300)이 자체적으로 새로운 이미지를 세분화할 수 있는 네트워크 배선을 생성할 수 있도록 심층 신경망(300)이 이 세트로부터 "학습"하게 할 수 있다.
픽셀당 기반의 분류를 포함하는 세분화의 또 다른 옵션으로서, 세분화는 픽셀당 수준보다 약간 높은 수준에서(즉, "슈퍼픽셀"당 수준에서, 즉, "슈퍼픽셀"은 이미지의 일반 픽셀보다 큰 이미지의 일부임) 분류 및 트레이닝을 포함할 수 있다.
프로세스(S400)의 명령어 및 알고리즘은 컴퓨터 시스템(100)의 메모리에 저장될 수 있고, 하나 이상의 출력 레이블/확률 값에 기초하여 하나 이상의 결함(15)을 검출하도록 트레이닝 데이터 세트를 사용하여 하나 이상의 심층 신경망을 트레이닝시키기 위해 프로세서(122)에 의해 로딩되고 실행될 수 있다(단계(S404)). 예를 들어, 눈부심에 대응하는 확률 벡터의 확률 값 중 하나가 90%이면, 신경망은 눈부심(21)을 개별 3차원 광학 이미지(2)의 정합 오류 소스 중 하나로서 검출할 수 있다.
트레이닝은 한 번, 복수 회 또는 간헐적으로 수행될 수 있다. 트레이닝은 또한 반-감독(semi-supervised) 또는 자체-감독(self-supervised)될 수 있다. 예를 들어, 첫 번째 트레이닝 후, 심층 신경망은 이전에 보지 못한 이미지와 출력을 수신하거나 얻을 수 있으며, 대응 피드백은 네트워크가 궁극적으로 인간의 도움 없이 이미지를 분류하기 위해 바람직하게 자체적으로 동작할 수 있도록 제공될 수 있다. 따라서, 심층 신경망(300)은, 개별 3차원 광학 이미지(2)의 시퀀스(8)가 심층 신경망(300)에 입력될 때, 심층 신경망이 이미지의 부분이 속하는 범주를 나타내는 각각의 이미지에 대한 결과적인 레이블/확률 벡터를 반환할 수 있도록 트레이닝될 수 있다.
트레이닝 후, 심층 신경망은 치과용 카메라(3)로부터 실시간으로 세분화하기 위해 개별 3차원 광학 이미지의 시퀀스(8)를 획득하거나 수신할 수 있고(단계(S406)), 이미지에서 정합 오류의 소스를 검출할 수 있다(단계(408)). 상기 소스를 검출하면, 이미지 정합 모듈(206)은 검출된 정합 오류 소스가 정합 프로세스에 기여하지 않는다는 것을 보장함으로써 세그먼트에 대한 미리 결정된 가중치에 기초하여 이미지를 함께 정합할 수 있다(단계(S410)). 도 7a의 단계(S406-S410)는 또한 후술되는 도 7b의 흐름도에 포함된다.
도 7b는 프로세스(S400)의 서브세트일 수 있는 프로세스(S500)를 도시한다. 프로세스(S500)는 색상 이미지 및/또는 깊이 이미지가 치과용 카메라(3)로부터 획득되는 단계(S502)에서 시작될 수 있다. 단계(S504)에서, 색상 이미지 및 깊이 이미지는 트레이닝된 심층 신경망(300)에 대한 입력으로서 사용되며 오브젝트 범주에 속하는 세그먼트의 확률을 나타내는 대응 출력의 레이블링된 이미지가 획득된다. 두 이미지를 모두 사용하면 상이한 레이블들을 더 쉽게 구별할 수 있다. 예를 들어, 깊이와 색상을 사용하는 것보다 색상에 기초해 연성 잇몸과 경성 잇몸을 구별하도록 망(net)을 트레이닝시키는 것이 더 어려울 것으로 예상할 수 있다. 이미지가 "매핑"될 수 있으므로, 어느 이미지가 레이블링되는 지는 이미지는 큰 차이를 야기하지 않을 수 있다. 실시예에서, 하나는 레이블링/세분화되고 다른 하나는 세분화를 결정하기 위해 추가 피처를 단순히 제공할 수 있다. 실시예에 따라, 결과적인 레이블링된 이미지와 깊이 이미지 또는 결과적인 레이블링된 이미지와 색상 이미지 사이에 1:1 대응이 있을 수 있다. 레이블링된 이미지는 깊이 이미지/색상 이미지와 동일한 측방향 해상도 및 레이블에 대한 채널을 가질 수 있다. 단계(S506)에서, 깊이 이미지의 각 픽셀을 공간에 투영하여 깊이 이미지로부터 포인트 클라우드가 생성될 수 있다. 포인트 클라우드의 각 지점에는 색상 이미지로부터의 색상 값과 레이블링된 이미지로부터의 확률 벡터가 할당될 수 있다. 실시예에서, 레이블링된 이미지, 포인트 클라우드 및 결과 메시는 모두 레이블, 레이블 확률 또는 확률 벡터가 할당될 수 있다. 단계(S508)에서, 각각의 유입 포인트 클라우드가 이미 정합된 포인트 클라우드에 정합되도록 더 많은 이미지 및 대응 출력 레이블이 획득된다. 여기에서, 연성 조직일 확률이 높은(예컨대, 미리 결정된 문턱값을 초과하거나 미리 결정된 방식으로 확률의 함수로서 가중화되는) 지점은 경성 조직일 확률이 높은 다른 지점보다 덜 가중화되거나 폐기된다. 단계(S510)에서, 유입 포인트 클라우드의 각 지점은 대응 그리드 셀에 추가되어 위치, 색상 및 확률을 평균화한다. 단일 이미지를 서로 정렬하는 변환은 연성 조직(15), 경성 조직(12) 및/또는 임의의 다른 오브젝트 범주에 대해 미리 결정된 가중치를 사용하여 최적화될 수 있다. 변환이 변경되면 그리드 샘플러의 엔트리가 그에 따라 갱신될 수 있다. 물론, 이러한 설명에 비추어 도 7b와는 다른, 다른 실시예도 달성될 수 있다.
구강 내 측정값을 정합시키기 위한 컴퓨터 시스템
도 7a 및 도 7b의 프로세스를 설명했으므로 이제 본 명세서의 예시적인 실시예 중 적어도 일부에 따라 사용될 수 있는 컴퓨터 시스템(100)의 블록도를 도시하는 도 9를 참조할 것이다. 다양한 실시예가 이 예시적인 컴퓨터 시스템(100)과 관련하여 여기에서 설명될 수 있지만, 이 설명을 읽은 후, 다른 컴퓨터 시스템 및/또는 아키텍처를 사용하여 본 발명을 구현하는 방법이 관련 기술(들)의 당업자에게 명백해질 수 있다.
컴퓨터 시스템(100)은 트레이닝 모듈(204), 데이터베이스(202) 및/또는 이미지 정합 모듈(206)을 포함하거나 이들과 분리될 수 있다. 모듈은 하드웨어, 펌웨어 및/또는 소프트웨어로 구현될 수 있다. 컴퓨터 시스템은 또한 적어도 하나의 컴퓨터 프로세서(122), 사용자 인터페이스(126) 및 입력 유닛(130)을 포함할 수 있다. 예시적인 일 실시예에서 입력 유닛(130)은 트레이닝 프로세스 동안 명령어 또는 요청을 송신하기 위해 예를 들어, 모니터와 같은 디스플레이 유닛(128)과 함께 치과 의사에 의해 사용될 수 있다. 본 명세서의 또 다른 실시예에서, 입력 유닛(130)은 터치스크린 인터페이스(미도시) 상에서 사용될 손가락 또는 스타일러스이다. 입력 유닛(130)은 대안적으로 제스처/음성 인식 디바이스, 트랙볼, 마우스 또는 예를 들어, 키보드 또는 스타일러스와 같은 다른 입력 디바이스일 수 있다. 일 예에서, 디스플레이 유닛(128), 입력 유닛(130), 및 컴퓨터 프로세서(122)는 사용자 인터페이스(126)를 집합적으로 형성할 수 있다.
컴퓨터 프로세서(122)는, 예를 들어, 중앙 처리 장치, 다중 처리 장치, 주문형 집적 회로(application-specific integrated circuit; "ASIC"), 필드 프로그램 가능 게이트 어레이(field programmable gate array; "FPGA") 등을 포함할 수 있다. 프로세서(122)는 통신 기반구조(124)(예컨대, 통신 버스, 또는 네트워크)에 접속될 수 있다. 본 명세서의 실시예에서, 프로세서(122)는 3D 측정에 대한 요청을 수신할 수 있고 이미지에서 정합 오류의 소스를 자동으로 검출할 수 있으며, 이미지 정합 모듈(206)을 사용하여 검출된 정합 오류의 소스에 기초하여 이미지를 자동으로 정합할 수 있다. 프로세서(122)는 컴퓨터 판독가능 프로그램 명령어의 형태로 비일시적 저장 디바이스에 저장된 대응하는 명령어를 로딩하고 로딩된 명령어를 실행함으로써 이를 달성할 수 있다.
컴퓨터 시스템(100)은 랜덤 액세스 메모리(random access memory; "RAM")일 수 있는 메인 메모리(132)를 더 포함할 수 있고, 또한 보조 메모리(134)를 포함할 수 있다. 보조 메모리(134)는, 예를 들면, 하드 디스크 드라이브(136) 및/또는 착탈식 저장 드라이브(138)를 포함할 수 있다. 착탈식 저장 드라이브(138)는 잘 알려진 방식으로 착탈식 저장 유닛(140)으로부터 판독하고 그리고/또는 착탈식 저장 유닛(140)에 기록할 수 있다. 착탈식 저장 유닛(140)은, 예를 들어, 착탈식 저장 드라이브(138)에 의해 기록 및 판독될 수 있는 플로피 디스크, 자기 테이프, 광 디스크, 플래시 메모리 디바이스 등일 수 있다. 착탈식 저장 유닛(140)은 컴퓨터 실행 가능한 소프트웨어 명령어 및/또는 데이터를 저장하는 비일시적인 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다.
다른 대안적인 실시예에서, 보조 메모리(134)는 컴퓨터 시스템(100)에 로딩될 컴퓨터 실행 가능 프로그램 또는 다른 명령어를 저장하는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다. 그러한 디바이스는 착탈식 저장 유닛(144) 및 인터페이스(142)(예컨대, 프로그램 카트리지 및 카트리지 인터페이스); 착탈식 메모리 칩(예컨대, 삭제 가능한 프로그램 가능 판독 전용 메모리(erasable programmable read-only memory; "EPROM") 또는 프로그램 가능 판독 전용 메모리(programmable read-only memory; "PROM")) 및 연관된 메모리 소켓; 및 다른 착탈식 저장 유닛(144) 및 소프트웨어 및 데이터가 착탈식 저장 유닛(144)으로부터 컴퓨터 시스템(100)의 다른 부분으로 전송되도록 하는 인터페이스(142)를 포함한다.
컴퓨터 시스템(100)은 또한 소프트웨어 및 데이터가 컴퓨터 시스템(100)과 외부 디바이스 사이에서 전송될 수 있게 하는 통신 인터페이스(146)를 포함할 수 있다. 이러한 인터페이스는 모뎀, 네트워크 인터페이스(예컨대, 이더넷 카드, 무선 인터페이스, 인터넷을 통해 호스팅된 서비스를 제공하는 클라우드 등), 통신 포트(예컨대, 범용 직렬 버스(Universal Serial Bus; "USB")) 포트 또는 FireWire® 포트), 개인용 컴퓨터 메모리 카드 국제 협회(Personal Computer Memory Card International Association; "PCMCIA") 인터페이스, 블루투스® 등을 포함할 수 있다. 통신 인터페이스(146)를 통해 전송된 소프트웨어 및 데이터는 신호의 형태일 수 있으며, 이는 전자, 전자기, 광학 또는 통신 인터페이스(146)에 의해 전송 및/또는 수신될 수 있는 또 다른 유형의 신호일 수 있다. 신호는 통신 경로(148)(예컨대, 채널)를 통해 통신 인터페이스(146)에 제공될 수 있다. 통신 경로(148)는 신호를 전달할 수 있고 유선 또는 케이블, 광섬유, 전화선, 셀룰러 링크, 무선 주파수(radio-frequency; "RF") 링크 등을 사용하여 구현될 수 있다. 통신 인터페이스(146)는 컴퓨터 시스템(100)과 원격 서버 또는 클라우드 기반 저장소 사이에서 소프트웨어 또는 데이터 또는 다른 정보를 전송하는 데 사용될 수 있다.
하나 이상의 컴퓨터 프로그램 또는 컴퓨터 제어 로직은 메인 메모리(132) 및/또는 보조 메모리(134)에 저장될 수 있다. 컴퓨터 프로그램은 또한 통신 인터페이스(146)를 통해 수신될 수 있다. 컴퓨터 프로그램은 컴퓨터 프로세서(122)에 의해 실행될 때 컴퓨터 시스템(100)이 본 명세서에 설명된 방법을 수행하게 하는 컴퓨터 실행 가능 명령어를 포함할 수 있다.
또 다른 실시예에서, 소프트웨어는 착탈식 저장 드라이브(138), 하드 디스크 드라이브(136) 및/또는 통신 인터페이스(146)를 사용하여, 비일시적 컴퓨터 판독가능 저장 매체에 저장되고 컴퓨터 시스템(100)의 메인 메모리(132) 및/또는 보조 메모리(134)에 로딩될 수 있다. 프로세서(122)에 의해 실행될 때 제어 로직(소프트웨어)은 컴퓨터 시스템(100), 보다 일반적으로는 스캔 간섭을 검출하기 위한 시스템이 여기에서 설명된 방법의 전부 또는 일부를 수행하게 한다.
여기에 설명된 기능을 수행하기 위한 다른 하드웨어 및 소프트웨어 배열의 구현은 이 설명을 고려할 때 관련 기술(들)의 숙련자에게 명백할 것이다.

Claims (14)

  1. 3차원(three-dimensional; 3D) 정합(registration)을 위한 컴퓨터 구현 방법(computer implemented method)에 있어서,
    하나 이상의 컴퓨팅 디바이스에 의해 환자의 치열의 개별 이미지를 수신하는 단계;
    트레이닝된 심층 신경망(deep neural network)의 하나 이상의 출력 레이블 값(output label values)을 사용하여 상기 개별 이미지에서 정합 오류의 소스(sources)를 자동으로 식별하는 단계 - 상기 출력 레이블 값은 상기 개별 이미지를 하나 이상의 오브젝트 범주에 대응하는 영역으로 세분화함으로써 획득됨 -;
    정합 오류가 없거나 정합 오류가 실질적으로 없는 정합된 3D 이미지를 형성하기 위해 상기 하나 이상의 출력 레이블 값에 기초하여 상기 개별 이미지를 함께 정합시키는 단계
    를 포함하고,
    상기 개별 이미지는 깊이 이미지 및/또는 대응하는 색상 이미지인 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 정합은,
    상기 깊이 이미지의 픽셀을 공간에 투영하여 상기 깊이 이미지로부터 포인트 클라우드(point cloud)를 생성하는 단계;
    상기 트레이닝된 심층 신경망의 상기 출력 레이블 값 및 상기 대응하는 색상 이미지를 각각 사용하여 상기 포인트 클라우드에서 각 포인트에 레이블 값 및 색상 값을 할당하는 단계;
    상기 할당된 레이블 값에 기초하여, 미리 결정된 가중치를 사용하여 상기 포인트 클라우드에서 하나 이상의 포인트를 폐기(discard)하거나 부분적으로 포함하여, 정합에 대한 상기 폐기되거나 부분적으로 포함된 하나 이상의 포인트의 기여가 제거 또는 감소되도록 하는 단계
    에 의해 달성되는 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 개별 이미지는 개별 3차원 광학 이미지인 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 개별 이미지는 이미지의 시간적 시퀀스로서 수신되는 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 개별 이미지는 한 쌍의 색상 이미지 및 깊이 이미지로서 수신되는 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 오브젝트 범주는 경성(hard) 잇몸, 연성(soft) 조직 잇몸, 혀, 뺨, 치아 및 치아와 유사한 오브젝트를 포함하는 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  7. 제1항에 있어서,
    정합 에러의 식별된 소스의 관련성의 표시는 그 주변 기하구조에 기초하는 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 심층 신경망은 CNN(Convolutional Neural Network), FCN(Fully Convolutional Neural Network), RNN(Recurrent Neural Network) 및 순환-CNN(Recurrent Convolutional Neural Network)으로 이루어진 그룹으로부터 선택된 네트워크인 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  9. 제1항에 있어서,
    상기 하나 이상의 컴퓨팅 디바이스 및 복수의 개별 트레이닝 이미지를 사용하여 상기 심층 신경망을 트레이닝하여, 각 트레이닝 이미지의 적어도 한 부분에 있는 하나 이상의 조직을 하나 이상의 레이블 값에 매핑하는 단계를 더 포함하고,
    상기 트레이닝은 상기 개별 트레이닝 이미지, 상기 개별 트레이닝 이미지의 픽셀, 또는 상기 개별 트레이닝 이미지의 슈퍼 픽셀(super pixel)을, 의미론적 데이터 유형(semantic data) 및/또는 오류 데이터 유형에 대응하는 하나 이상의 클래스로 분류함으로써 픽셀 레벨에서 수행되는 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  10. 제9항에 있어서,
    상기 트레이닝 이미지는 3D 메시 및 깊이 이미지와 색상 이미지의 정합된 쌍을 포함하는 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  11. 제10항에 있어서,
    상기 3D 메시는 레이블링되고, 상기 레이블은 변환 함수를 사용하여 깊이 이미지와 색상 이미지의 상기 정합된 쌍으로 전달되는 것인, 3차원(3D) 정합을 위한 컴퓨터 구현 방법.
  12. 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 방법을 수행하게 하는 프로그램을 저장한 비일시적 컴퓨터 판독가능 저장 매체(non-transitory computer-readable storage medium)에 있어서, 상기 방법은,
    하나 이상의 컴퓨팅 디바이스에 의해 환자의 치열의 개별 이미지를 수신하는 단계;
    트레이닝된 심층 신경망의 하나 이상의 출력 레이블 값을 사용하여 상기 개별 이미지에서 정합 오류의 소스를 자동으로 식별하는 단계
    를 포함하고, 상기 출력 레이블 값은 상기 개별 이미지를 하나 이상의 오브젝트 범주에 대응하는 영역으로 세분화함으로써 획득되고,
    상기 개별 이미지는 깊이 이미지 및/또는 대응하는 색상 이미지이며,
    상기 방법은, 정합 오류가 없거나 정합 오류가 실질적으로 없는 정합된 3D 이미지를 형성하기 위해 상기 하나 이상의 출력 레이블 값에 기초하여 상기 개별 이미지를 함께 정합시키는 단계를 더 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  13. 프로세서를 포함하는 3차원(three-dimensional; 3D) 정합을 위한 시스템에 있어서, 상기 프로세서는,
    하나 이상의 컴퓨팅 디바이스에 의해 환자의 치열의 개별 이미지를 수신하고;
    트레이닝된 심층 신경망의 하나 이상의 출력 레이블 값을 사용하여 상기 개별 이미지에서 정합 오류의 소스를 자동으로 식별하도록
    구성되고, 상기 출력 레이블 값은 상기 개별 이미지를 하나 이상의 오브젝트 범주에 대응하는 영역으로 세분화함으로써 획득되며,
    상기 개별 이미지는 깊이 이미지 및/또는 대응하는 색상 이미지이고,
    상기 프로세서는, 정합 오류가 없거나 정합 오류가 실질적으로 없는 정합된 3D 이미지를 형성하기 위해 상기 하나 이상의 출력 레이블 값에 기초하여 상기 개별 이미지를 함께 정합하도록 구성되는 것인, 3차원(3D) 정합을 위한 시스템.
  14. 제13항에 있어서,
    상기 심층 신경망은 CNN(Convolutional Neural Network), FCN(Fully Convolutional Neural Network), RNN(Recurrent Neural Network) 및 순환-CNN(Recurrent Convolutional Neural Network)으로 이루어진 그룹으로부터 선택된 네트워크인 것인, 3차원(3D) 정합을 위한 시스템.
KR1020227011852A 2019-09-24 2020-09-22 구강 내 측정값을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체 KR20220068230A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/580,084 2019-09-24
US16/580,084 US11250580B2 (en) 2019-09-24 2019-09-24 Method, system and computer readable storage media for registering intraoral measurements
PCT/US2020/051942 WO2021061611A1 (en) 2019-09-24 2020-09-22 Method, system and computer readable storage media for registering intraoral measurements

Publications (1)

Publication Number Publication Date
KR20220068230A true KR20220068230A (ko) 2022-05-25

Family

ID=72752524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227011852A KR20220068230A (ko) 2019-09-24 2020-09-22 구강 내 측정값을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체

Country Status (7)

Country Link
US (1) US11250580B2 (ko)
EP (1) EP4042371A1 (ko)
JP (1) JP2022549281A (ko)
KR (1) KR20220068230A (ko)
CN (1) CN114424246A (ko)
CA (1) CA3149843A1 (ko)
WO (1) WO2021061611A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102657737B1 (ko) * 2022-10-24 2024-04-16 주식회사 십일리터 반려동물 구강 정보 분석 제공 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7152455B2 (ja) * 2019-10-07 2022-10-12 株式会社モリタ製作所 セグメンテーション装置および学習モデルの生成方法
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
EP4113373A1 (en) * 2021-07-01 2023-01-04 DENTSPLY SIRONA Inc. Dental procedures
WO2023014995A1 (en) * 2021-08-06 2023-02-09 Align Technology, Inc. Intuitive intraoral scanning
CN114140504B (zh) * 2021-12-06 2024-03-01 安徽大学 一种三维交互的生物医学图像配准方法
WO2023219155A1 (ja) * 2022-05-12 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、データ構造、プログラム
WO2024139588A1 (zh) * 2022-12-29 2024-07-04 香港浸会大学 收集与量化舌像特征的方法与装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084868B2 (en) * 2000-04-26 2006-08-01 University Of Louisville Research Foundation, Inc. System and method for 3-D digital reconstruction of an oral cavity from a sequence of 2-D images
DE602005004332T2 (de) 2004-06-17 2009-01-08 Cadent Ltd. Verfahren zum Bereitstellen von Daten im Zusammenhang mit der Mundhöhle
US8194936B2 (en) * 2008-04-25 2012-06-05 University Of Iowa Research Foundation Optimal registration of multiple deformed images using a physical model of the imaging distortion
US9788917B2 (en) 2010-03-17 2017-10-17 ClearCorrect Holdings, Inc. Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning
US9436868B2 (en) 2010-09-10 2016-09-06 Dimensional Photonics International, Inc. Object classification for measured three-dimensional object scenes
DE102011080180B4 (de) 2011-08-01 2013-05-02 Sirona Dental Systems Gmbh Verfahren zur Registrierung mehrerer dreidimensionaler Aufnahmen eines dentalen Objektes
US9704068B2 (en) * 2012-06-22 2017-07-11 Google Inc. System and method for labelling aerial images
WO2014035895A2 (en) * 2012-08-27 2014-03-06 Lamontagne Entertainment, Inc. A system and method for qualifying events based on behavioral patterns and traits in digital environments
WO2016044465A1 (en) * 2014-09-16 2016-03-24 Sirona Dental, Inc. Methods, systems, apparatuses, and computer programs for processing tomographic images
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US11291532B2 (en) 2016-07-27 2022-04-05 James R. Glidewell Dental Ceramics, Inc. Dental CAD automation using deep learning
EP3552147A1 (en) * 2016-12-12 2019-10-16 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
DE102017203475A1 (de) 2017-03-03 2018-09-06 Sirona Dental Systems Gmbh Verfahren zur Konstruktion einer Restauration
GB201708520D0 (en) 2017-05-27 2017-07-12 Dawood Andrew A method for reducing artefact in intra oral scans
FR3069361B1 (fr) 2017-07-21 2019-08-23 Dental Monitoring Procede d'analyse d'une image d'une arcade dentaire
US10818019B2 (en) * 2017-08-14 2020-10-27 Siemens Healthcare Gmbh Dilated fully convolutional network for multi-agent 2D/3D medical image registration
ES2981320T3 (es) 2018-02-16 2024-10-08 3Shape As Escaneo intraoral con diferenciación de superficies
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
US10859508B2 (en) * 2018-05-29 2020-12-08 Board Of Regents, The University Of Texas System Devices and methods for evaluation of deformable image registration (DIR) systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102657737B1 (ko) * 2022-10-24 2024-04-16 주식회사 십일리터 반려동물 구강 정보 분석 제공 방법 및 장치

Also Published As

Publication number Publication date
WO2021061611A1 (en) 2021-04-01
US20210090272A1 (en) 2021-03-25
JP2022549281A (ja) 2022-11-24
EP4042371A1 (en) 2022-08-17
CN114424246A (zh) 2022-04-29
US11250580B2 (en) 2022-02-15
CA3149843A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
KR20220068230A (ko) 구강 내 측정값을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체
KR20220066899A (ko) 삼차원 측정에서 에러의 검출을 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체
US11961238B2 (en) Tooth segmentation using tooth registration
US9191648B2 (en) Hybrid stitching
US12076204B2 (en) Method for generating a model of a dental arch
US10810738B1 (en) Marker-less alignment of digital 3D face and jaw models
CN118175973A (zh) 口内扫描仪实时和扫描后可视化
US20230337898A1 (en) Oral image processing method, oral diagnostic device for performing operation according thereto, and computer-readable storage medium in which program for performing method is stored
CN112106109A (zh) 具有表面区分的口腔内扫描
CN111937038B (zh) 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪
US20240058105A1 (en) Augmentation of 3d surface of dental site using 2d images
US20230042643A1 (en) Intuitive Intraoral Scanning
WO2023014995A1 (en) Intuitive intraoral scanning
KR102267449B1 (ko) 치아 영상 정합 장치 및 방법
US20240177397A1 (en) Generation of dental renderings from model data
KR102612679B1 (ko) 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체
US20220202532A1 (en) Method for evaluating an orthodontic aligner
CN118799857A (zh) 残冠识别方法、模型训练方法、装置、设备及存储介质
WO2024118819A1 (en) Generation of dental renderings from model data
CN118267134A (zh) 数据的处理方法、装置、设备、标靶及存储介质