KR102510501B1 - 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
KR102510501B1
KR102510501B1 KR1020220147953A KR20220147953A KR102510501B1 KR 102510501 B1 KR102510501 B1 KR 102510501B1 KR 1020220147953 A KR1020220147953 A KR 1020220147953A KR 20220147953 A KR20220147953 A KR 20220147953A KR 102510501 B1 KR102510501 B1 KR 102510501B1
Authority
KR
South Korea
Prior art keywords
data
point
cutting
scan data
dimensional
Prior art date
Application number
KR1020220147953A
Other languages
English (en)
Inventor
천소정
심응준
김영준
Original Assignee
이마고웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이마고웍스 주식회사 filed Critical 이마고웍스 주식회사
Priority to KR1020220147953A priority Critical patent/KR102510501B1/ko
Priority to KR1020230031871A priority patent/KR102630009B1/ko
Application granted granted Critical
Publication of KR102510501B1 publication Critical patent/KR102510501B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035—Beam shaping or redirecting; Optical components therefor
    • A61B2018/20351—Scanning mechanisms
    • A61B2018/20353—Scanning in three dimensions [3D]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Architecture (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Otolaryngology (AREA)
  • Image Analysis (AREA)

Abstract

3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 2차원 영상으로 변환하는 단계, 2차원 영상을 입력 받는 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계, 3차원 랜드마크를 이용하여 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계, 3차원 랜드마크 및 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계, 앵커 포인트를 이용하여 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계, 맵핑 데이터를 입력 받는 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계 및 세그멘테이션 마스크를 스캔 데이터 또는 커팅 데이터에 맵핑하는 단계를 포함한다.

Description

3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 {AUTOMATED METHOD FOR TOOTH SEGMENTATION OF THREE DIMENSIONAL SCAN DATA AND COMPUTER READABLE MEDIUM HAVING PROGRAM FOR PERFORMING THE METHOD}
본 발명은 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 메쉬 파라미터라이제이션(mesh parameterization) 및 딥러닝(deep learning)을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있는 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
치과에서 진단, 분석, 보철물 제작 등을 위해 환자의 3차원 스캔 데이터에서 치아를 분리하는 기술이 필요하다. 특히, 치과계에서 구강 스캐너를 이용한 디지털 교정이 늘어가고 있다. 교정에서는 치아의 배열, 교합 등을 예측하고 이에 적합한 계획 수립이 중요한데 이를 위해서는 치아 분리가 필수적이다.
치아 분리를 위해 널리 사용되는 방법은 다음과 같다. 먼저, 구강 스캐너로 치아 스캔 데이터를 얻는다. 그 후 작업자가 치아의 경계를 수작업으로 지정해주고, 축 정보와 치아의 경계를 이용하여 치아 분리에 사용할 평면을 지정하며, 마지막으로 치아와 치아 사이의 분리된 면을 확인하고 필요한 부분을 수정하여 마무리한다. 그리고 이와 같은 과정을 모든 치아에 대하여 반복적으로 수행하여 분리된 치아 데이터를 획득할 수 있다.
이와 같이 작업자가 수작업을 하는 경우, 3차원 데이터에 대해 2차원 화면을 통해 육안으로 경계를 지정하여야 하므로 그 정확도가 떨어지며, 작업자의 높은 숙련도와 많은 시간을 요구하는 문제가 있다.
본 발명이 이루고자 하는 목적은 메쉬 파라미터라이제이션(mesh parameterization) 및 딥러닝을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있는 3차원 스캔 데이터의 치아 자동 분리 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 2차원 영상으로 변환하는 단계, 상기 2차원 영상을 입력 받는 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계, 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계, 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계, 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계, 상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계 및 상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터를 상기 2차원 영상으로 변환하는 단계는 상기 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단하는 주축 정규화 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 인공지능 신경망을 이용하여 상기 3차원 랜드마크를 판단하는 단계는 상기 제1 인공지능 신경망을 이용하여 상기 2차원 영상으로부터 2차원 랜드마크를 판단하는 단계 및 상기 2차원 랜드마크를 상기 3차원 랜드마크로 변환하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 랜드마크는 제1 측의 최외곽 치아 내에 배치되는 제1 점, 2개의 중절치의 사이에 배치되는 제2 점 및 제2 측의 최외곽 치아 내에 배치되는 제3 점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제1 점 및 상기 제3 점에 의해 정의되는 제1 측면 노멀 벡터, 상기 제1 점 및 상기 제3 점에 의해 정의되는 제2 측면 노멀 벡터, 상기 제1 점, 상기 제2 점 및 상기 제3 점에 의해 생성되는 하면 노멀 벡터 및 상기 제1 측면 노멀 벡터 및 상기 하면 노멀 벡터에 의해 생성되는 후면 노멀 벡터를 이용할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 점이 P1, 상기 제2 점이 P2, 상기 제3 점이 P3, 상기 제1 측면 노멀 벡터가 nside1, 상기 제2 측면 노멀 벡터가 nside2, 상기 하면 노멀 벡터가 ndown, 상기 후면 노멀 벡터가 nback일 때,
Figure 112022118693938-pat00001
,
Figure 112022118693938-pat00002
,
Figure 112022118693938-pat00003
, 및
Figure 112022118693938-pat00004
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제1 점으로부터 상기 제1 측으로 치아의 바깥쪽을 향하여 이동한 제1 커팅 점에서 상기 제1 측면 노멀 벡터를 노멀 벡터로 갖는 제1 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제3 점으로부터 상기 제2 측으로 치아의 바깥쪽을 향하여 이동한 제2 커팅 점에서 상기 제2 측면 노멀 벡터를 노멀 벡터로 갖는 제2 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제1 점 및 상기 제3 점의 중점으로부터 하면을 향하여 이동한 제3 커팅 점에서 상기 하면 노멀 벡터를 노멀 벡터로 갖는 제3 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제1 점 및 상기 제3 점의 중점으로부터 후면을 향하여 이동한 제4 커팅 점에서 상기 후면 노멀 벡터를 노멀 벡터로 갖는 제4 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 앵커 포인트를 판단하는 단계는 상기 제1 점, 상기 제2 점 및 상기 제3 점을 연결한 곡선을 이용할 수 있다.
본 발명의 일 실시예에 있어서, 상기 앵커 포인트를 판단하는 단계는 상기 제1 점에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제1 평면 및 상기 제3 점에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제2 평면을 이용할 수 있다.
본 발명의 일 실시예에 있어서, 상기 앵커 포인트를 판단하는 단계는 상기 제1 평면과 상기 커팅 데이터가 만나는 점 중 최외곽 점 2개를 제1 앵커 포인트 및 제2 앵커 포인트로 판단하고, 상기 제2 평면과 상기 커팅 데이터가 만나는 점 중 최외곽 점 2개를 제3 앵커 포인트 및 제4 앵커 포인트로 판단할 수 있다.
본 발명의 일 실시예에 있어서, 상기 미리 정해진 공간은 직사각형일 수 있다. 상기 맵핑 데이터를 생성하는 단계는 상기 제1 앵커 포인트, 상기 제2 앵커 포인트, 상기 제3 앵커 포인트 및 상기 제4 앵커 포인트를 상기 직사각형의 4개의 꼭지점에 대응시켜 상기 맵핑 데이터를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 맵핑 데이터를 생성하는 단계는 상기 커팅 데이터를 상기 커팅 데이터 내의 각 점의 곡률값을 나타내는 곡률 데이터로 변환하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타낼 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 스캔 데이터의 치아 자동 분리 방법은 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현되고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현되도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 인공지능 신경망은 상기 스캔 데이터를 변환하여 생성된 상기 2차원 영상을 입력 받아 상기 3차원 랜드마크를 판단할 수 있다. 상기 제2 인공지능 신경망은 2차원의 상기 맵핑 데이터를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 입력 받는 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계, 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계, 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계, 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계, 상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계 및 상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 제1 인공지능 신경망은 상기 3차원의 상기 스캔 데이터를 입력 받아 상기 3차원 랜드마크를 판단할 수 있다. 상기 제2 인공지능 신경망은 2차원의 상기 맵핑 데이터를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터 및 상기 스캔 데이터의 3차원 랜드마크를 이용하여 앵커 포인트를 판단하는 단계, 상기 앵커 포인트를 이용하여 상기 스캔 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계, 상기 맵핑 데이터를 입력 받는 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계 및 상기 세그멘테이션 마스크를 상기 스캔 데이터에 맵핑하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
본 발명에 따른 3차원 스캔 데이터의 치아 자동 분리 방법에 따르면, 메쉬 파라미터라이제이션 및 딥러닝을 통해 치아 분리가 완전 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.
제1 인공지능 신경망을 이용하여 3차원 랜드마크를 자동으로 판단하고, 상기 3차원 랜드마크를 이용하여 스캔 데이터를 커팅하며, 상기 3차원 랜드마크 및 커팅 데이터를 이용하여 앵커 포인트를 판단하고, 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑할 수 있다. 상기 미리 정해진 공간에 맵핑된 영상을 제2 인공지능 신경망의 입력으로 활용하여 세그멘테이션 마스크를 판단하여, 치아 자동 분리의 정확도를 더욱 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
도 2는 도 1의 치아 자동 분리 방법을 나타내는 개념도이다.
도 3은 도 1의 스캔 데이터를 2차원 영상으로 변환하는 단계를 나타내는 도면이다.
도 4는 도 1의 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계를 나타내는 도면이다.
도 5는 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계를 나타내는 도면이다.
도 6은 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계에서 사용되는 벡터들을 나타내는 도면이다.
도 7 및 도 8은 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계에서 사용되는 커팅 평면들을 나타내는 도면이다.
도 9는 도 1의 상기 3차원 랜드마크 및 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계를 나타내는 도면이다.
도 10은 도 1의 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계에서 사용되는 스플라인 커브를 나타내는 도면이다.
도 11은 도 1의 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계에서 사용되는 평면들을 나타내는 도면이다.
도 12는 도 1의 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계에서 판단된 앵커 포인트들을 나타내는 도면이다.
도 13은 도 1의 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하는 단계를 나타내는 도면이다.
도 14는 상기 앵커 포인트가 표시된 상기 커팅 데이터를 나타내는 도면이다.
도 15는 상기 커팅 데이터 내의 각 점들의 곡률값을 나타내는 도면이다.
도 16은 도 1의 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하는 단계에서 사용되는 상기 미리 정해진 공간을 나타내는 도면이다.
도 17은 상기 미리 정해진 공간에 맵핑된 상기 커팅 데이터의 상기 곡률값을 나타내는 도면이다.
도 18은 도 1의 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계를 나타내는 도면이다.
도 19는 도 1의 상기 세그멘테이션 마스크를 상기 스캔 데이터에 맵핑하는 단계를 나타내는 도면이다.
도 20은 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
도 21는 도 20의 치아 자동 분리 방법을 나타내는 개념도이다.
도 22는 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다. 도 2는 도 1의 치아 자동 분리 방법을 나타내는 개념도이다.
도 1 및 도 2를 참조하면, 본 발명에서는 메쉬 파라미터라이제이션(mesh parameterization) 및 딥러닝을 이용하여 3차원 스캔 데이터로부터 개별 치아를 완전 자동으로 분할할 수 있다. 예를 들어, 상기 스캔 데이터는 폴리곤메쉬(polygon mesh)로 이루어질 수 있으므로, 도 2 및 도 3에서 Mesh로 기재하였다.
일반적으로 딥러닝 네트워크는 일정한 크기의 데이터(정형 데이터)만을 입력 받을 수 있다. 상기 스캔 데이터는 3차원 폴리곤메쉬로 표현되며, 메쉬의 점이나 엣지, 셀의 개수가 데이터마다 다르다는 문제가 있다. 따라서, 상기 스캔 데이터를 입력으로 받는 딥러닝 네트워크의 정확도를 향상시키기 위해서는 상기 스캔 데이터를 정형 데이터로 만들어주는 과정이 필요할 수 있다. 본 발명에서는 상기 스캔 데이터를 정형 데이터로 만들어주기 위해 메쉬 파라미터라이제이션을 이용할 수 있다.
상기 메쉬 파라미터라이제이션은 3차원 메쉬를 구성하는 점들을 미리 정해진 다른 공간으로 일대일 맵핑시켜주는 것을 의미할 수 있다. 메쉬가 존재하는 공간에서 상기 미리 정해진 다른 공간(파라미터 공간)으로 맵핑을 하기 위해서는 먼저 상기 메쉬가 존재하는 공간의 바운더리를 상기 파라미터 공간의 바운더리로 맵핑할 수 있다. 상기 메쉬가 존재하는 공간의 바운더리를 제외한 내부 점들은 상기 파라미터 공간의 바운더리의 내부로 맵핑시킬 수 있으며, 이 때 에너지 함수를 사용하여 메쉬의 토폴로지(topology)를 최대한 유지하는 방법을 사용할 수 있다.
상기 메쉬 파라미터라이제이션을 이용하면, 상기 스캔 데이터를 2차원 공간으로 맵핑시킬 수 있기 때문에 상기 딥러닝에 이용하는 상기 정형 데이터를 적절하게 형성할 수 있다. 상기 메쉬 파라미터라이제이션을 적용할 때 바운더리의 맵핑 순서를 일정하게 해주기 위해 인공지능 신경망을 이용하여 치아의 랜드마크(특징점)를 얻을 수 있다.
본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 2차원 영상으로 변환하는 단계(S100), 상기 2차원 영상을 입력 받는 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크를 판단하는 단계(S200), 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계(S300), 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계(S400), 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계(S500), 상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600) 및 상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계(S700)를 포함할 수 있다.
본 실시예의 3차원 스캔 데이터의 치아 자동 분리 방법은 컴퓨팅 장치에 의해 수행될 수 있다.
도 3은 도 1의 스캔 데이터(Mesh)를 2차원 영상(Captured Image)으로 변환하는 단계(S100)를 나타내는 도면이다.
도 1 내지 도 3을 참조하면, 본 실시예에서, 상기 제1 인공지능 신경망(AI 1)의 입력은 2차원 영상이므로 상기 3차원의 스캔 데이터를 상기 2차원 영상으로 변환하는 단계를 포함할 수 있다.
예를 들어, 상기 2차원 영상은 레드 계조, 그린 계조 및 블루 계조를 포함하는 RGB 계조 데이터일 수 있다. 예를 들어, 상기 2차원 영상은 흑백 계조 데이터일 수 있다. 예를 들어, 상기 2차원 영상은 뎁스 정보를 포함하는 뎁스 맵(depth map)일 수 있다.
상기 스캔 데이터를 상기 2차원 영상으로 변환하는 단계는 주축 정규화 단계를 포함할 수 있다. 상기 주축 정규화는 주축 분석을 통해 공간상 오리엔테이션을 설정해주는 것이다. 상기 주축 정규화 단계에서는 상기 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단할 수 있다.
상기 주축 분석으로 추출된 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 긴 축은 치아의 U-shape의 좌우 방향으로 판단할 수 있다. 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 짧은 축은 상기 U-shape의 상하 방향으로 판단할 수 있다. 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 두 번째로 긴 축은 상기 U-shape의 전후 방향으로 판단할 수 있다.
상기 주축 정규화 단계를 통해 치아의 교합면이 최대한 잘 보이도록 상기 스캔 데이터를 정렬할 수 있다.
도 4는 도 1의 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크(3D Landmarks)를 판단하는 단계(S200)를 나타내는 도면이다.
도 1 내지 도 4를 참조하면, 상기 제1 인공지능 신경망(AI 1)은 상기 2차원 영상을 입력 받아 3차원 랜드마크를 판단할 수 있다. 예를 들어, 상기 제1 인공지능 신경망(AI 1)의 입력은 상기 S100 단계에서 생성된 상기 2차원 영상이고, 상기 제1 인공지능 신경망(AI 1)의 출력은 3차원 랜드마크의 좌표일 수 있다.
이와는 달리, 상기 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크를 판단하는 단계(S200)는 상기 제1 인공지능 신경망(AI 1)을 이용하여 상기 2차원 영상으로부터 2차원 랜드마크를 판단하는 단계 및 상기 2차원 랜드마크를 상기 3차원 랜드마크로 변환하는 단계를 포함할 수도 있다.
이 때에는 상기 제1 인공지능 신경망(AI 1)의 입력은 상기 S100 단계에서 생성된 상기 2차원 영상이고, 상기 제1 인공지능 신경망(AI 1)의 출력은 2차원 랜드마크 좌표일 수 있다.
상기 2차원 랜드마크를 상기 3차원 랜드마크로 변환하는 단계는 상기 S100 단계에서 수행한 변환의 역 변환일 수 있다.
예를 들어, 상기 제1 인공지능 신경망(AI 1)은 컨볼루셔널 신경망(Convolutional neural network, CNN)일 수 있다.
상기 3차원 랜드마크는 적어도 3개 이상의 치아 특징점들을 포함할 수 있다. 예를 들어, 상기 3차원 랜드마크는 제1 측의 최외곽 치아 내에 배치되는 제1 점(P1(x1, y1, z1)), 2개의 중절치의 사이에 배치되는 제2 점(P2(x2, y2, z2)) 및 제2 측의 최외곽 치아 내에 배치되는 제3 점(P3(x3, y3, z3))을 포함할 수 있다. 예를 들어, 상기 제1 점(P1(x1, y1, z1))은 상기 제1 측의 가장 안쪽의 대구치의 표면 중심점에 배치될 수 있다. 예를 들어, 상기 제3 점(P3(x3, y3, z3))은 상기 제2 측의 가장 안쪽의 대구치의 표면 중심점에 배치될 수 있다. 예를 들어, 상기 제2 점(P2(x2, y2, z2))은 상기 2개의 중절치의 중심점에 배치될 수 있다.
상기 3차원 랜드마크는 상기 스캔 데이터 내에서 필요 없는 부분을 잘라내기 위해 사용될 수 있고, 메쉬 파라미터라이제이션을 수행할 때에 기준이 되는 앵커 포인트를 설정하기 위해 사용될 수 있다.
본 실시예에서는 상기 3차원 랜드마크가 3개의 점을 포함하는 경우를 예시하였으나, 본 발명은 이에 한정되지 않으며, 상기 3차원 랜드마크는 3개보다 많은 점을 포함할 수도 있다. 상기 3차원 랜드마크가 포함하는 점의 개수가 많아지면, 메쉬 파라미터라이제이션의 정확도가 높아질 수 있는 반면, 연산 로드가 증가할 수 있다.
도 5는 도 1의 상기 3차원 랜드마크(3D Landmarks)를 이용하여 상기 스캔 데이터를 커팅하는 단계(S300)를 나타내는 도면이다. 도 6은 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계(S300)에서 사용되는 벡터들을 나타내는 도면이다. 도 7 및 도 8은 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계(S300)에서 사용되는 커팅 평면들을 나타내는 도면이다.
도 1 내지 도 8을 참조하면, 상기 스캔 데이터를 커팅하여 상기 커팅 데이터(Cut Mesh)를 생성하는 단계(S300)는 상기 제1 점(P1) 및 상기 제3 점(P3)에 의해 정의되는 제1 측면 노멀 벡터(nside1), 상기 제1 점(P1) 및 상기 제3 점(P3)에 의해 정의되는 제2 측면 노멀 벡터(nside2), 상기 제1 점(P1), 상기 제2 점(P2) 및 상기 제3 점(P3)에 의해 생성되는 하면 노멀 벡터(ndown) 및 상기 제1 측면 노멀 벡터(nside1) 및 상기 하면 노멀 벡터(ndown)에 의해 생성되는 후면 노멀 벡터(nback)를 이용할 수 있다.
상기 커팅 데이터를 생성하는 단계(S300)는 상기 제1 측면 노멀 벡터(nside1), 상기 제2 측면 노멀 벡터(nside2), 상기 하면 노멀 벡터(ndown) 및 상기 후면 노멀 벡터(nback)를 이용하여 생성되는 제1 내지 제4 커팅 평면(CP1, CP2, CP3, CP4)을 이용하여 상기 스캔 데이터를 커팅하여 상기 커팅 데이터를 생성할 수 있다.
예를 들어, 상기 제1 점이 P1, 상기 제2 점이 P2, 상기 제3 점이 P3, 상기 제1 측면 노멀 벡터가 nside1, 상기 제2 측면 노멀 벡터가 nside2, 상기 하면 노멀 벡터가 ndown, 상기 후면 노멀 벡터가 nback일 때,
Figure 112022118693938-pat00005
,
Figure 112022118693938-pat00006
,
Figure 112022118693938-pat00007
, 및
Figure 112022118693938-pat00008
을 만족할 수 있다.
예를 들어, 상기 커팅 데이터를 생성하는 단계(S300)는 상기 제1 점(P1)으로부터 상기 제1 측으로 치아의 바깥쪽을 향하여 이동한 제1 커팅 점에서 상기 제1 측면 노멀 벡터(nside1)를 노멀 벡터로 갖는 제1 커팅 평면(CP1)을 이용하여 상기 스캔 데이터를 커팅할 수 있다.
예를 들어, 상기 커팅 데이터를 생성하는 단계(S300)는 상기 제3 점(P3)으로부터 상기 제2 측으로 치아의 바깥쪽을 향하여 이동한 제2 커팅 점에서 상기 제2 측면 노멀 벡터(nside2)를 노멀 벡터로 갖는 제2 커팅 평면(CP2)을 이용하여 상기 스캔 데이터를 커팅할 수 있다.
예를 들어, 상기 커팅 데이터를 생성하는 단계(S300)는 상기 제1 점(P1) 및 상기 제3 점(P3)의 중점으로부터 하면을 향하여 이동한 제3 커팅 점에서 상기 하면 노멀 벡터(ndown)를 노멀 벡터로 갖는 제3 커팅 평면(CP3)을 이용하여 상기 스캔 데이터를 커팅할 수 있다.
예를 들어, 상기 커팅 데이터를 생성하는 단계(S300)는 상기 제1 점(P1) 및 상기 제3 점(P3)의 중점으로부터 후면을 향하여 이동한 제4 커팅 점에서 상기 후면 노멀 벡터(nback)를 노멀 벡터로 갖는 제4 커팅 평면(CP4)을 이용하여 상기 스캔 데이터를 커팅할 수 있다.
상기 커팅 데이터(Cut Mesh)는 도 5의 우측 하단에 도시하였다.
도 9는 도 1의 상기 3차원 랜드마크(3D Landmarks) 및 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S400)를 나타내는 도면이다. 도 10은 도 1의 상기 3차원 랜드마크(3D Landmarks) 및 상기 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S400)에서 사용되는 스플라인 커브를 나타내는 도면이다. 도 11은 도 1의 상기 3차원 랜드마크(3D Landmarks) 및 상기 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S400)에서 사용되는 평면들을 나타내는 도면이다. 도 12는 도 1의 상기 3차원 랜드마크(3D Landmarks) 및 상기 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S400)에서 판단된 앵커 포인트들(3D Anchor Points)을 나타내는 도면이다.
도 1 내지 도 12를 참조하면, 도 10에서 보듯이, 상기 앵커 포인트를 판단하는 단계(S400)는 상기 3차원 랜드마크의 상기 제1 점(P1), 상기 제2 점(P2) 및 상기 제3 점(P3)을 연결한 곡선을 이용할 수 있다. 예를 들어, 상기 곡선은 스플라인 커브(spline curve)일 수 있다.
도 11에서 보듯이, 상기 앵커 포인트를 판단하는 단계(S400)는 상기 제1 점(P1)에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제1 평면(AP1) 및 상기 제3 점(P3)에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제2 평면(AP2)을 이용할 수 있다.
예를 들어, 상기 앵커 포인트를 판단하는 단계(S400)는 상기 제1 평면(AP1)과 상기 커팅 데이터(Cut Mesh)가 만나는 점 중 최외곽 점 2개를 제1 앵커 포인트(도 12의 3) 및 제2 앵커 포인트(도 12의 4)로 판단하고, 상기 제2 평면(AP2)과 상기 커팅 데이터(Cut Mesh)가 만나는 점 중 최외곽 점 2개를 제3 앵커 포인트(도 12의 1) 및 제4 앵커 포인트(도 12의 2)로 판단할 수 있다.
도 13은 도 1의 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(Cut Mesh)를 미리 정해진 공간에 맵핑하는 단계(S500)를 나타내는 도면이다. 도 14는 상기 앵커 포인트(1, 2, 3, 4)가 표시된 상기 커팅 데이터(Cut Mesh)를 나타내는 도면이다. 도 15는 상기 커팅 데이터(Cut Mesh) 내의 각 점들의 곡률값을 나타내는 도면이다. 도 16은 도 1의 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(Cut Mesh)를 미리 정해진 공간에 맵핑하는 단계(S500)에서 사용되는 상기 미리 정해진 공간을 나타내는 도면이다. 도 17은 상기 미리 정해진 공간에 맵핑된 상기 커팅 데이터(Cut Mesh)의 상기 곡률값을 나타내는 도면이다.
도 1 내지 도 17을 참조하면, 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(Cut Mesh)를 미리 정해진 공간에 맵핑할 수 있으며, 이러한 단계를 메쉬 파라미터라이제이션이라고 할 수 있다.
도 16을 보면, 상기 미리 정해진 공간은 직사각형일 수 있다. 상기 맵핑 데이터를 생성하는 단계(S500)는 상기 제1 앵커 포인트(도 12의 3), 상기 제2 앵커 포인트(도 12의 4), 상기 제3 앵커 포인트(도 12의 1) 및 상기 제4 앵커 포인트(도 12의 2)를 상기 직사각형의 4개의 꼭지점에 각각 대응시켜 상기 맵핑 데이터를 생성할 수 있다.
본 실시예에서, 상기 맵핑 데이터를 생성하는 단계(S500)는 상기 커팅 데이터(Cut Mesh)를 상기 커팅 데이터(Cut Mesh) 내의 각 점의 곡률값(Curvature)을 나타내는 곡률 데이터로 변환하는 단계를 포함할 수 있다.
도 14는 상기 커팅 데이터(Cut Mesh)를 도시하고, 도 15는 상기 커팅 데이터(Cut Mesh) 내의 각 점의 곡률값을 나타내는 곡률 데이터를 도시한다.
예를 들어, 상기 곡률 데이터는 최대 곡률값, 최소 곡률값, 가우시안 곡률값 및 평균 곡률값을 나타낼 수 있다. 도 15에서는 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타낸다.
상기 치아의 상면의 경우 곡률값이 비교적 일정한 값을 가질 수 있다. 반면, 치아와 치아의 경계부에서는 상기 곡률값이 크게 변화할 수 있다. 따라서, 상기 곡률값은 치아와 잇몸이 닿는 부분을 잘 나타내는 값이며, 상기 곡률값을 이용하여 치아의 세그멘테이션을 수행하는 경우 그 정확도가 상대적으로 높을 수 있다.
종래의 곡률 데이터는 상기 곡률값이 클수록 검은색을 갖고, 작을수록 흰색을 가질 수 있다.
본 실시예에서는 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현하고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현하도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 수행할 수 있다. 도 15는 상기 곡률 데이터의 그레이가 반전된 도면이며, 따라서, 상기 최소 곡률값이 큰 부분이 흰색으로 표현되었고, 상기 최소 곡률값이 작은 부분이 검은색으로 표현되었다. 예를 들어, 상기 곡률 데이터의 그레이를 반전하지 않는 경우, 도 15와 반대로, 상기 최소 곡률값이 큰 경우 검은색을 나타내고, 상기 최소 곡률값이 작은 경우 흰색을 나타내게 된다.
즉, 상기 곡률 데이터가 상기 최소 곡률값을 반전하지 않은 값을 갖는 경우, 치아와 잇몸이 닿는 부분과 같이 유의미한 부분(최소 곡률값이 큰 부분)이 검은색을 나타내게 된다. 그러나, 본 실시예에서는 상기 그레이 반전으로 인해, 치아와 잇몸이 닿는 부분과 같이 유의미한 부분(최소 곡률값이 큰 부분)이 흰색을 나타내게 된다.
예를 들어, 스캔 데이터에 홀이 있어서 해당 부분에 포인트 자체가 존재하지 않아 곡률값이 존재하지 않는 경우, 종래의 곡률 데이터는 곡률값이 존재하지 않는 부분을 검은색으로 표시하게 된다. 만약, 상기 곡률 데이터의 그레이 반전을 하지 않는 경우, 유의미한 부분(예컨대, 치아와 잇몸이 닿는 부분)이 검은색으로 나타나게 되는데, 이 경우에 곡률값이 존재하지 않는 부분도 마찬가지로 검은색으로 표시되어, 곡률값이 존재하지 않는 부분이 유의미한 부분으로 오인되는 문제가 있다. 반대로, 상기 곡률 데이터의 그레이 반전이 수행되는 경우, 유의미한 부분(예컨대, 치아와 잇몸이 닿는 부분)이 흰색으로 나타나게 되며, 이 경우에는 곡률값이 존재하지 않는 홀 부분이 유의미한 부분으로 인식하지 않으므로 곡률값이 존재하지 않는 부분으로 인한 오판단을 제거할 수 있다.
도 17은 도 14의 상기 커팅 데이터(Cut Mesh)를 도 15의 상기 곡률 데이터로 변환한 후에, 상기 앵커 포인트를 이용하여 도 16의 미리 정해진 직사각형의 공간(파리미터 공간)에 맵핑한 결과(parameterized image)를 나타낸다.
도 18은 도 1의 제2 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600)를 나타내는 도면이다. 도 19는 도 1의 상기 세그멘테이션 마스크를 상기 스캔 데이터에 맵핑하는 단계(S700)를 나타내는 도면이다.
도 1 내지 도 19를 참조하면, 상기 맵핑 데이터(parameterized image)를 상기 제2 인공지능 신경망(AI 2)에 통과시켜 상기 세그멘테이션 마스크를 판단할 수 있다. 예를 들어, 상기 제2 인공지능 신경망(AI 2)은 2차원의 상기 맵핑 데이터(parameterized image)를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단할 수 있다.
배경 부분이 0의 레이블을 갖고, 1번 내지 16번 치아 부분이 각각 1 내지 16의 레이블을 갖는다고 할 때, 상기 세그멘테이션 마스크는 상기 맵핑 데이터(parameterized image)의 각 영역에 0 내지 16의 레이블을 표시한 것으로 이해할 수 있다.
예를 들어, 상기 제2 인공지능 신경망(AI 2)은 컨볼루셔널 신경망(Convolutional neural network, CNN)일 수 있다.
2차원의 상기 세그멘테이션 마스크를 3차원의 상기 스캔 데이터에 맵핑하여 최종적으로 치아 세그멘테이션이 완료된 스캔 데이터(Segmented Mesh)를 얻을 수 있다. 2차원의 상기 세그멘테이션 마스크를 3차원의 상기 스캔 데이터(Mesh)에 맵핑하는 경우를 예시하였으나, 2차원의 상기 세그멘테이션 마스크를 3차원의 상기 커팅 데이터(Cut Mesh)에 맵핑할 수도 있다.
본 실시예에 따르면, 메쉬 파라미터라이제이션 및 딥러닝을 통해 치아 분리가 완전 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.
상기 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크(3D Landmarks)를 자동으로 판단하고, 상기 3차원 랜드마크(3D Landmarks)를 이용하여 스캔 데이터(Mesh)를 커팅하며, 상기 3차원 랜드마크(3D Landmarks) 및 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하고, 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(3D Anchor Points)를 미리 정해진 공간에 맵핑할 수 있다. 상기 미리 정해진 공간에 맵핑된 영상(Parameterized Image)을 상기 제2 인공지능 신경망(AI 2)의 입력으로 활용하여 상기 세그멘테이션 마스크를 판단하여, 치아 자동 분리의 정확도를 더욱 향상시킬 수 있다.
도 20은 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다. 도 21는 도 20의 치아 자동 분리 방법을 나타내는 개념도이다.
본 실시예에 따른 치아 자동 분리 방법은 제1 인공지능 신경망의 입력을 제외하면, 도 1 내지 도 19의 치아 자동 분리 방법과 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략한다.
도 20 및 도 21을 참조하면, 본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 입력 받는 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크를 판단하는 단계(S250), 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계(S300), 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계(S400), 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계(S500), 상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600) 및 상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계(S700)를 포함할 수 있다.
본 실시예의 3차원 스캔 데이터의 치아 자동 분리 방법은 컴퓨팅 장치에 의해 수행될 수 있다.
도 1 내지 도 19의 치아 자동 분리 방법에서는 상기 제1 인공지능 신경망(AI 1)의 입력이 2차원 영상인 경우를 예시하였으나, 본 실시예에서 상기 제1 인공지능 신경망(AI 1)은 입력이 3차원 스캔 데이터인 경우를 예시한다.
본 실시예에서, 상기 제1 인공지능 신경망(AI 1)은 상기 3차원 스캔 데이터를 입력 받아 상기 3차원 랜드마크의 좌표를 직접 판단할 수 있다.
본 실시예에서, 상기 제2 인공지능 신경망(AI 2)은 2차원의 상기 맵핑 데이터(Parameterized Image)를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단할 수 있다.
본 실시예에 따르면, 메쉬 파라미터라이제이션 및 딥러닝을 통해 치아 분리가 완전 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.
상기 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크(3D Landmarks)를 자동으로 판단하고, 상기 3차원 랜드마크(3D Landmarks)를 이용하여 스캔 데이터(Mesh)를 커팅하며, 상기 3차원 랜드마크(3D Landmarks) 및 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하고, 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(3D Anchor Points)를 미리 정해진 공간에 맵핑할 수 있다. 상기 미리 정해진 공간에 맵핑된 영상(Parameterized Image)을 상기 제2 인공지능 신경망(AI 2)의 입력으로 활용하여 상기 세그멘테이션 마스크를 판단하여, 치아 자동 분리의 정확도를 더욱 향상시킬 수 있다.
도 22는 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
본 실시예에 따른 치아 자동 분리 방법은 3차원 랜드마크 및 스캔 데이터(또는 커팅 데이터)가 주어진 상황에서 치아 자동 분리 방법을 수행하는 경우를 예시한다. 즉, 스캔 데이터를 2차원 영상으로 변환하는 단계(S100), 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계(S200) 및 3차원 랜드마크를 이용하여 스캔 데이터를 커팅(S300)하는 단계를 포함하지 않는 것을 제외하면, 도 1 내지 도 19의 치아 자동 분리 방법과 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략한다.
도 2 및 도 22를 참조하면, 본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터(Mesh) 및 상기 스캔 데이터(Mesh)의 3차원 랜드마크(3D Landmarks)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S450), 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 스캔 데이터(Mesh)를 미리 정해진 공간에 맵핑하여 맵핑 데이터(Parameterized Mesh)를 생성하는 단계(S500), 상기 맵핑 데이터(Parameterized Mesh)를 입력 받는 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600) 및 상기 세그멘테이션 마스크를 상기 스캔 데이터(Mesh)에 맵핑하는 단계(S700)를 포함할 수 있다.
본 실시예의 3차원 스캔 데이터의 치아 자동 분리 방법은 컴퓨팅 장치에 의해 수행될 수 있다.
도 22의 치아 자동 분리 방법에서는 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크를 판단하는 단계를 생략하였고, 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계도 생략하였다.
도 22의 치아 자동 분리 방법은 앵커 포인트를 판단하는 단계(S450), 상기 앵커 포인트를 이용하여 메쉬 파라미터라이제이션을 수행하는 단계(S500), 상기 맵핑 데이터(Parameterized Mesh)를 입력 받아 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600)를 중점적으로 포함한다.
본 실시예에 따르면, 메쉬 파라미터라이제이션 및 딥러닝을 통해 치아 분리가 완전 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.
상기 3차원 랜드마크(3D Landmarks) 및 스캔 데이터(Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하고, 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 스캔 데이터(3D Anchor Points)를 미리 정해진 공간에 맵핑할 수 있다. 상기 미리 정해진 공간에 맵핑된 영상(Parameterized Image)을 상기 인공지능 신경망(AI 2)의 입력으로 활용하여 상기 세그멘테이션 마스크를 판단하여, 치아 자동 분리의 정확도를 더욱 향상시킬 수 있다.
본 발명의 일 실시예에 의하면, 상기 실시예들에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 3차원 스캔 데이터의 치아 자동 분리 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
본 발명은 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (22)

  1. 3차원의 스캔 데이터를 2차원 영상으로 변환하는 단계;
    상기 2차원 영상을 기초로 3차원 랜드마크를 판단하는 단계;
    상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계;
    상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계;
    상기 맵핑 데이터를 기초로 세그멘테이션 마스크를 판단하는 단계; 및
    상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계를 포함하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  2. 제1항에 있어서, 상기 스캔 데이터를 상기 2차원 영상으로 변환하는 단계는
    상기 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단하는 주축 정규화 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  3. 제1항에 있어서, 상기 3차원 랜드마크를 판단하는 단계는
    상기 2차원 영상으로부터 2차원 랜드마크를 판단하는 단계; 및
    상기 2차원 랜드마크를 상기 3차원 랜드마크로 변환하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  4. 제1항에 있어서, 상기 3차원 랜드마크는
    제1 측의 최외곽 치아 내에 배치되는 제1 점;
    2개의 중절치의 사이에 배치되는 제2 점; 및
    제2 측의 최외곽 치아 내에 배치되는 제3 점을 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  5. 제4항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제1 점 및 상기 제3 점에 의해 정의되는 제1 측면 노멀 벡터, 상기 제1 점 및 상기 제3 점에 의해 정의되는 제2 측면 노멀 벡터, 상기 제1 점, 상기 제2 점 및 상기 제3 점에 의해 생성되는 하면 노멀 벡터 및 상기 제1 측면 노멀 벡터 및 상기 하면 노멀 벡터에 의해 생성되는 후면 노멀 벡터를 이용하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  6. 제5항에 있어서, 상기 제1 점이 P1, 상기 제2 점이 P2, 상기 제3 점이 P3, 상기 제1 측면 노멀 벡터가 nside1, 상기 제2 측면 노멀 벡터가 nside2, 상기 하면 노멀 벡터가 ndown, 상기 후면 노멀 벡터가 nback일 때,
    Figure 112022118693938-pat00009
    ,
    Figure 112022118693938-pat00010
    ,
    Figure 112022118693938-pat00011
    , 및
    Figure 112022118693938-pat00012
    인 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  7. 제5항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제1 점으로부터 상기 제1 측으로 치아의 바깥쪽을 향하여 이동한 제1 커팅 점에서 상기 제1 측면 노멀 벡터를 노멀 벡터로 갖는 제1 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  8. 제5항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제3 점으로부터 상기 제2 측으로 치아의 바깥쪽을 향하여 이동한 제2 커팅 점에서 상기 제2 측면 노멀 벡터를 노멀 벡터로 갖는 제2 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  9. 제5항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제1 점 및 상기 제3 점의 중점으로부터 하면을 향하여 이동한 제3 커팅 점에서 상기 하면 노멀 벡터를 노멀 벡터로 갖는 제3 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  10. 제5항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제1 점 및 상기 제3 점의 중점으로부터 후면을 향하여 이동한 제4 커팅 점에서 상기 후면 노멀 벡터를 노멀 벡터로 갖는 제4 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  11. 제4항에 있어서,
    상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계를 더 포함하고,
    상기 앵커 포인트를 판단하는 단계는
    상기 제1 점, 상기 제2 점 및 상기 제3 점을 연결한 곡선을 이용하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  12. 제11항에 있어서, 상기 앵커 포인트를 판단하는 단계는
    상기 제1 점에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제1 평면 및 상기 제3 점에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제2 평면을 이용하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  13. 제12항에 있어서, 상기 앵커 포인트를 판단하는 단계는
    상기 제1 평면과 상기 커팅 데이터가 만나는 점 중 최외곽 점 2개를 제1 앵커 포인트 및 제2 앵커 포인트로 판단하고,
    상기 제2 평면과 상기 커팅 데이터가 만나는 점 중 최외곽 점 2개를 제3 앵커 포인트 및 제4 앵커 포인트로 판단하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  14. 제13항에 있어서, 상기 미리 정해진 공간은 직사각형이고,
    상기 맵핑 데이터를 생성하는 단계는
    상기 제1 앵커 포인트, 상기 제2 앵커 포인트, 상기 제3 앵커 포인트 및 상기 제4 앵커 포인트를 상기 직사각형의 4개의 꼭지점에 대응시켜 상기 맵핑 데이터를 생성하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  15. 제1항에 있어서, 상기 맵핑 데이터를 생성하는 단계는
    상기 커팅 데이터를 상기 커팅 데이터 내의 각 점의 곡률값을 나타내는 곡률 데이터로 변환하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  16. 제15항에 있어서, 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타내는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  17. 제16항에 있어서, 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현되고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현되도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  18. 제1항에 있어서, 상기 스캔 데이터를 변환하여 생성된 상기 2차원 영상을 기초로 상기 3차원 랜드마크가 판단되고,
    2차원의 상기 맵핑 데이터를 기초로 2차원의 상기 세그멘테이션 마스크가 판단되는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  19. 3차원의 스캔 데이터를 기초로 3차원 랜드마크를 판단하는 단계;
    상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계;
    상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계;
    상기 맵핑 데이터를 기초로 세그멘테이션 마스크를 판단하는 단계; 및
    상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계를 포함하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  20. 제19항에 있어서, 상기 3차원의 상기 스캔 데이터를 기초로 상기 3차원 랜드마크가 판단되고,
    2차원의 상기 맵핑 데이터를 기초로 2차원의 상기 세그멘테이션 마스크가 판단되는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  21. 3차원의 스캔 데이터의 3차원 랜드마크를 이용하여 상기 스캔 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계;
    상기 맵핑 데이터를 기초로 세그멘테이션 마스크를 판단하는 단계; 및
    상기 세그멘테이션 마스크를 상기 스캔 데이터에 맵핑하는 단계를 포함하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  22. 제1항 내지 제21항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020220147953A 2021-12-29 2022-11-08 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 KR102510501B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220147953A KR102510501B1 (ko) 2021-12-29 2022-11-08 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR1020230031871A KR102630009B1 (ko) 2021-12-29 2023-03-10 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210191809A KR102426230B1 (ko) 2021-12-29 2021-12-29 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR1020220090471A KR102466490B1 (ko) 2021-12-29 2022-07-21 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR1020220147953A KR102510501B1 (ko) 2021-12-29 2022-11-08 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220090471A Division KR102466490B1 (ko) 2021-12-29 2022-07-21 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230031871A Division KR102630009B1 (ko) 2021-12-29 2023-03-10 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Publications (1)

Publication Number Publication Date
KR102510501B1 true KR102510501B1 (ko) 2023-03-17

Family

ID=82606356

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020210191809A KR102426230B1 (ko) 2021-12-29 2021-12-29 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR1020220090471A KR102466490B1 (ko) 2021-12-29 2022-07-21 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR1020220147953A KR102510501B1 (ko) 2021-12-29 2022-11-08 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR1020230031871A KR102630009B1 (ko) 2021-12-29 2023-03-10 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020210191809A KR102426230B1 (ko) 2021-12-29 2021-12-29 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR1020220090471A KR102466490B1 (ko) 2021-12-29 2022-07-21 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230031871A KR102630009B1 (ko) 2021-12-29 2023-03-10 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Country Status (2)

Country Link
KR (4) KR102426230B1 (ko)
WO (1) WO2023128046A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008128700A1 (en) * 2007-04-18 2008-10-30 Materialise Dental N.V. Computer-assisted creation of a custom tooth set-up using facial analysis
KR20140015239A (ko) * 2010-06-29 2014-02-06 쓰리세이프 에이/에스 2ｄ 영상 장치
KR102302587B1 (ko) * 2020-12-17 2021-09-16 이마고웍스 주식회사 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102334485B1 (ko) * 2020-08-20 2021-12-06 이마고웍스 주식회사 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031879A (zh) * 2004-09-29 2007-09-05 皇家飞利浦电子股份有限公司 用于在计算机上安装软件程序的方法
KR101913586B1 (ko) 2017-05-24 2018-11-01 오스템임플란트 주식회사 치아 영상 정합 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR102152423B1 (ko) * 2019-02-18 2020-09-04 부산대학교 산학협력단 개인맞춤형 임플란트 식립 가이드 제작을 위한 장치 및 방법
KR102331034B1 (ko) * 2020-12-10 2021-12-01 이마고웍스 주식회사 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008128700A1 (en) * 2007-04-18 2008-10-30 Materialise Dental N.V. Computer-assisted creation of a custom tooth set-up using facial analysis
KR20140015239A (ko) * 2010-06-29 2014-02-06 쓰리세이프 에이/에스 2ｄ 영상 장치
KR102334485B1 (ko) * 2020-08-20 2021-12-06 이마고웍스 주식회사 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102302587B1 (ko) * 2020-12-17 2021-09-16 이마고웍스 주식회사 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Also Published As

Publication number Publication date
WO2023128046A1 (ko) 2023-07-06
KR102466490B1 (ko) 2022-11-17
KR20230104074A (ko) 2023-07-07
KR102630009B1 (ko) 2024-01-30
KR102426230B1 (ko) 2022-07-29

Similar Documents

Publication Publication Date Title
US11928832B2 (en) Intraoral scanning system that removes excessive materials from intraoral scans
US20240087097A1 (en) Domain specific image quality assessment
JP2008282376A (ja) 画像処理方法および装置
KR102453912B1 (ko) 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
CN116205956A (zh) 点云配准方法、装置以及医疗影像设备
EP4331531A1 (en) Automated method for generating prothesis from three dimensional scan data and computer readable medium having program for performing the method
KR102510501B1 (ko) 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
US20230206450A1 (en) Automated method for tooth segmentation of three dimensional scan data and computer readable medium having program for performing the method
CN115546455B (zh) 一种三维建筑模型单体化方法、装置及存储介质
JP2015158737A (ja) 画像処理装置及び画像処理方法
KR102496449B1 (ko) 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
JP5888989B2 (ja) 画像処理装置および画像処理方法
CN113298828B (zh) 一种基于卷积神经网络的颌骨自动分割方法
US20230206455A1 (en) Automated method for tooth segmentation of three dimensional scan data using tooth boundary curve and computer readable medium having program for performing the method
CN115205487A (zh) 单目相机人脸重建方法及装置
KR102610716B1 (ko) 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102670837B1 (ko) 딥러닝을 이용한 크라운 교합면 3d 메쉬 생성 방법 및 이를 이용하는 장치
KR102610682B1 (ko) 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 방법, 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 제너레이터 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102609620B1 (ko) 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 방법, 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 장치 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102670827B1 (ko) 딥러닝을 이용한 크라운 측면 3d 메쉬 생성 방법 및 이를 이용하는 장치
EP4371527A1 (en) Automated method for generating prothesis from three dimensional scan data, generator generating prosthesis from three dimensional scan data and computer readable medium having program for performing the method
KR102331038B1 (ko) 서로 다른 영역이 촬영된 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
US20230218370A1 (en) Automatic determination of trim-line for aligners
US20230281840A1 (en) Automated method for aligning three dimensional dental library model to three dimensional oral scan data and computer readable medium having program for performing the method
EP4113373A1 (en) Dental procedures

Legal Events

Date Code Title Description
GRNT Written decision to grant