KR20240025109A - 인공지능 기반 크라운 디자인 자동화 방법 및 시스템 - Google Patents
인공지능 기반 크라운 디자인 자동화 방법 및 시스템 Download PDFInfo
- Publication number
- KR20240025109A KR20240025109A KR1020220102693A KR20220102693A KR20240025109A KR 20240025109 A KR20240025109 A KR 20240025109A KR 1020220102693 A KR1020220102693 A KR 1020220102693A KR 20220102693 A KR20220102693 A KR 20220102693A KR 20240025109 A KR20240025109 A KR 20240025109A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- output
- crown
- voxel image
- input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000013461 design Methods 0.000 title claims abstract description 51
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 46
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 19
- 230000004913 activation Effects 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 210000004513 dentition Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000036346 tooth eruption Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000008312 Tooth Loss Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/0003—Making bridge-work, inlays, implants or the like
- A61C13/0004—Computer-assisted sizing or machining of dental prostheses
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C5/00—Filling or capping teeth
- A61C5/70—Tooth crowns; Making thereof
- A61C5/77—Methods or devices for making crowns
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
- A61B2018/2035—Beam shaping or redirecting; Optical components therefor
- A61B2018/20351—Scanning mechanisms
- A61B2018/20353—Scanning in three dimensions [3D]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computer Hardware Design (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Architecture (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 프로세서에 의해 실행되는 인공지능 기반 크라운 디자인 자동화 방법으로서, 환자로부터 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 획득하는 단계 - 상기 구강 스캐너 이미지는 크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함함 -; 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 전처리하는 단계 - 상기 3D 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델 및 입력 메쉬 모델에 치기공사가 디자인한 크라운을 결합한 출력 메쉬 모델을 각각 생성함 -; 상기 입력 메쉬 모델 및 출력 메쉬 모델 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하는 단계; 및 변환된 입력 복셀 이미지 및 출력 복셀 이미지를 학습 데이터로 이용하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교하여 인공신경망을 학습시키는 단계; 를 포함할 수 있다.
Description
본 발명은 인공신경망 모델을 이용하여 3D 기반 크라운의 형태적 특성을 고려한 크라운 디자인 자동화 방법 및 시스템에 관한 것이다.
기공소에서는 STL 파일과 치아 디자인 전용 캐드로 환자의 치아 및 보철물들을 치기공사가 디자인한 후, 기공소 내에 축가공기(milling machine)를 이용하여 기공물을 생산한다.
현재 치과 진료 시장은 치아모델을 디지털 파일(STL) 형태로 추출하는 구강 스캐너(Intra-oral Scanner)의 확산이 빠르게 진행되고 있으며, 기존에 사용하던 자료의 소모가 없고, 재현 정확도가 향상되고 있다. 치과에서 환자의 구강을 STL 파일형태로 기공소에 디지털 송부하여 이 데이터를 이용하여 기공물의 디자인을 치아 디자인 전용 캐드(CAD)로 진행하고 있다.
전술한 내용과 같이 현재 환자 맞춤형 보철물 제작을 위한 산업 전반의 디지털화가 국내외 업체들에 의해 진행되었지만, 디지털 프로세스 내에 환자 맞춤형 제작물에 대한 디자인에 투입되는 시간 및 자원이 기존 재래식 작업 방식에 비해 크게 감소하지 못하였고, 결과적으로 효율성을 더욱 극대화 시켜줄 수 있는 인공지능 알고리즘을 필요로 하고 있다.
또한, 기존의 크라운 생성 알고리즘은 2D 모델의 크라운 렌더링 이미지 기반으로 학습되어 3D 크라운의 형태적 특성을 살리지 못하는 문제점이 존재했다.
이에 본 발명은 상기한 문제점을 해결하기 위해 착안된 것으로서, 3D 기반 크라운 생성 모델을 구축하여 크라운의 형태적 특성을 보완할 뿐만 아니라 교합면의 형태를 고려하는 크라운 디자인 알고리즘을 구현한다.
학습 가능한 인공신경망을 이용하여 3D 기반 크라운의 형태적 특성을 고려한 크라운 디자인 자동화 방법 및 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 프로세서에 의해 실행되는 인공지능 기반 크라운 디자인 자동화 방법은 환자로부터 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 획득하는 단계 - 상기 구강 스캐너 이미지는 크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함함 -; 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 전처리하는 단계 - 상기 3D 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델 및 입력 메쉬 모델에 치기공사가 디자인한 크라운을 결합한 출력 메쉬 모델을 각각 생성함 -; 상기 입력 메쉬 모델 및 출력 메쉬 모델 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하는 단계; 및 변환된 입력 복셀 이미지 및 출력 복셀 이미지를 학습 데이터로 이용하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교하여 인공신경망을 학습시키는 단계; 를 포함할 수 있다.
일 실시예에서, 상기 방법은 크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함하는 3D 구강 스캐너 이미지를 입력받는 단계; 상기 3D 구강 스캐너 이미지를 전처리하는 단계 - 상기 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델을 생성함; 상기 입력 메쉬 모델을 입력 복셀 이미지로 변환하는 단계; 학습된 인공신경망에 상기 입력 메쉬 모델을 입력하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하는 단계; 상기 AI 출력 복셀 이미지를 메쉬화하여 AI 출력 메쉬 모델을 생성하는 단계; 를 더 포함할 수 있다.
일 실시예에서, 상기 방법은 상기 AI 출력 메쉬 모델을 기초로, 축가공기 기계로부터 크라운을 실물로 생산할 수 있도록 STL 파일을 추출하는 단계; 를 더 포함할 수 있다.
일 실시예에서, 상기 인공신경망을 학습시키는 단계는, 생성자를 이용하여 상기 학습 데이터에 포함된 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하는 제1 프로세스; 판별자를 이용하여 상기 생성된 AI 출력 복셀 이미지와 학습 데이터에 포함된 출력 복셀 이미지를 비교하여 오차 데이터를 획득하는 제2 프로세스; 및 상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 제3 프로세스를 포함할 수 있다.
일 실시예에서, 상기 인공신경망은, 상기 제1 내지 제3 프로세스를 반복적으로 수행함으로써 출력 복셀 이미지와 생성된 AI 출력 복셀 이미지 간의 오차를 줄이도록 학습될 수 있다.
일 실시예에서, 상기 전처리하는 단계는, 상기 구강 스캐너 이미지에서 관심영역을 기준으로 바운딩 박스를 설정하고, 학습에 불필요한 부분을 제거하는 단계를 포함하고, 상기 관심영역은 생성할 크라운을 기준으로 인접치아와 대합치아가 최소 1개 이상 포함되도록 설정될 수 있다.
일 실시예에서, 상기 제3 프로세스는 Dice similarity coefficient loss를 이용하여 상기 출력 복셀 이미지와 AI 출력 복셀 이미지의 유사도 오차를 줄여나갈 수 있다.
일 실시예에서, 상기 Dice similarity coefficient loss는 다음의 [수학식 1]에 의하여 산출되고,
[수학식 1]
상기 [수학식 1]에서 는 출력 복셀 이미지의 픽셀 값이 1인 영역을 나타내고, 는 생성자에 의하여 생성된 AI 출력 복셀 이미지의 픽셀 값이 1인 영역을 나타낸다.
일 실시예에서, 상기 제3 프로세스는 Depth map loss를 이용하여 상기 출력 복셀 이미지에서의 교합면과 AI 출력 복셀 이미지에서의 교합면을 고려한 크라운의 측면 볼륨 모양에 대한 유사도 오차를 줄여나갈 수 있다.
일 실시예에서, 상기 제3 프로세스는, 생성자가 생성한 AI 출력 복셀 이미지를 메쉬화한 후, 크라운이 생성된 치아의 대합치아를 제거하는 단계; 생성된 크라운의 수직 방향 위에서 카메라를 위치시키고, 크라운의 중심을 초점 위치로 설정하는 단계; 및 렌더링을 통해 깊이 지도 이미지를 획득하는 단계; 를 포함할 수 있다.
일 실시예에서, 상기 Depth map loss는 다음의 [수학식 2]에 의하여 산출되고,
[수학식 2]
상기 [수학식 2]의 는 출력 복셀 이미지의 i번째 깊이 지도 이미지의 픽셀 값이고, 는 AI 출력 복셀 이미지의 i번째 깊이 지도 이미지의 픽셀 값을 나타내고, 상기 n은 깊이 지도 이미지의 픽셀 수를 나타낼 수 있다.
일 실시예에서, 상기 생성자는 ResNet 기반의 합성곱층-전치합성곱층 (Encoder-Decoder) 구조일 수 있다.
일 실시예에서, 상기 판별자는 PatchGAN 기반의 합성곱층 (Encoder) 구조일 수 있다.
일 실시예에서, 상기 인공신경망은 학습된 비선형 매핑을 통해 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성할 수 있다.
일 실시예에 따른 인공지능 기반 크라운 디자인 자동화 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반 크라운 디자인 자동화 시스템은 환자로부터 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 획득하는 유닛 - 상기 구강 스캐너 이미지는 크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함함 -; 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 전처리하는 유닛 - 상기 3D 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델 및 입력 메쉬 모델에 치기공사가 디자인한 크라운을 결합한 출력 메쉬 모델을 각각 생성함 -; 상기 입력 메쉬 모델 및 출력 메쉬 모델 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하는 유닛; 및 변환된 입력 복셀 이미지 및 출력 복셀 이미지를 학습 데이터로 이용하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교하여 인공신경망을 학습시키는 유닛; 을 포함할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반 크라운 디자인 자동화 방법 및 시스템에 의하면, 3차원 기반 모델을 활용함으로써 2차원 기반 모델 활용시 3D로 복원한 크라운 표면과 커넥터 모델을 생성할 필요가 없다.
환자 맞춤형 크라운 디자인을 자동화함으로써 관련 직업군의 업무 효율성 증대하고 인건비를 절감할 수 있다.
치기공사의 숙련도나 피로도에 따른 디자인 편차를 예방하여 제품의 정밀도 및 품질 일관성을 향상시킬 수 있다.
개발한 인공신경망을 디지털 의료기기 및 소프트웨어와 연동이 가능하여 진단부터 치료, 기공물의 제작까지 정확한 데이터를 일관적으로 사용하는 것이 가능하고, 환자 방문 즉시 제작하여 당일 시술이 가능하다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 도면의 일부 구성요소들에 대한 표현이 과장되거나 생략될 수 있다.
도 1은 일 실시예에 따른 인공지능 기반 크라운 디자인 자동화 방법을 설명하기 위한 순서도이다.
도 2는 일 실시예에 따른 도 1의 학습된 인공신경망을 이용하여 인공지능 기반 크라운 디자인 자동화 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따라 3D 구강 스캐너 이미지를 전처리하는 과정을 도시한다.
도 4는 일 실시예에 따라 학습데이터를 이용하여 인공신경망을 학습하는 과정을 나타낸 것이다.
도 5은 일 실시예에 따라 생성된 AI 출력 복셀 이미지와 실제 출력 복셀 이미지 간의 유사도 오차를 줄여나가는 과정을 나타낸 것이다.
도 6은 일 실시예에 따라 AI 출력 복셀 이미지와 실제 출력 복셀 이미지 간의 교합면을 고려하여 유사도 오차를 줄여나가는 과정을 나타낸 것이다.
도 7은 일 실시예에 따라 렌더링을 통해 교합면을 고려하여 유사도 오차를 줄여나가는 세분화된 과정을 나타낸 것이다.
도 8은 일 실시예에 따라 생성된 AI 출력 메쉬 모델과 실제 치기공사가 디자인한 3D 크라운을 비교한 것을 나타낸다.
도 1은 일 실시예에 따른 인공지능 기반 크라운 디자인 자동화 방법을 설명하기 위한 순서도이다.
도 2는 일 실시예에 따른 도 1의 학습된 인공신경망을 이용하여 인공지능 기반 크라운 디자인 자동화 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따라 3D 구강 스캐너 이미지를 전처리하는 과정을 도시한다.
도 4는 일 실시예에 따라 학습데이터를 이용하여 인공신경망을 학습하는 과정을 나타낸 것이다.
도 5은 일 실시예에 따라 생성된 AI 출력 복셀 이미지와 실제 출력 복셀 이미지 간의 유사도 오차를 줄여나가는 과정을 나타낸 것이다.
도 6은 일 실시예에 따라 AI 출력 복셀 이미지와 실제 출력 복셀 이미지 간의 교합면을 고려하여 유사도 오차를 줄여나가는 과정을 나타낸 것이다.
도 7은 일 실시예에 따라 렌더링을 통해 교합면을 고려하여 유사도 오차를 줄여나가는 세분화된 과정을 나타낸 것이다.
도 8은 일 실시예에 따라 생성된 AI 출력 메쉬 모델과 실제 치기공사가 디자인한 3D 크라운을 비교한 것을 나타낸다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명한다.
도 1은 일 실시예에 따른 인공지능 기반 크라운 디자인 자동화 방법을 설명하기 위한 순서도이다.
도 1을 참조하면, 본 발명의 인공지능 기반 크라운 디자인 자동화 방법(이하, “크라운 디자인 방법”이라고 함)은 환자의 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 획득하는 단계(S100), 획득한 3D 구강 스캐너 이미지 및 3D 크라운 메쉬 이미지를 전처리하는 단계(S110), 입력 메쉬 모델 및 출력 메쉬 모델 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하는 단계(S120) 및 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교하여 인공신경망을 학습시키는 단계(S130)를 포함할 수 있다. 상기 각 단계들은 데이터를 획득하는 획득 수단, 획득된 데이터를 처리하는 처리 수단 및 출력 수단을 갖는 스마트폰, 태블릿, 노트북, 또는 컴퓨터에 실행시키기 위한 매체에 저장된 애플리케이션의 기능으로 구현되어도 무방하다. 크라운 디자인 방법은 3D 스캐너 장비 및 서버를 구비한 시스템 상에서 수행될 수 있다.
상기 구강 스캐너 이미지는 크라운을 생성하고자 하는 손실치아 부위의 주변부인 인접치아와 손실치아와 맞물리는 위치에 있는 대합치아의 스캔 이미지를 포함한다. 상기 구강 스캐너 이미지는 환자 치아를 본 뜬 치아의 모델을 스캐닝하여 조명이 확보된 구강외 스캐닝으로 획득될 수 있다. 일 실시예로, 환자의 구강 스캐너 이미지는 구강 내 스캐닝으로 확보될 수 있다.
일반적으로, 종래의 보철물 제작시 설계의 기반이 되는 환자의 구강 정보는 구강 스캐닝으로 확보된다. 다만, 이 경우 구강 내에서 환자의 치열을 스캐닝시 어두운 구강 환경과, 치아의 빛 반사로 인해 아무리 고가의 장비로 스캐닝을 수행하여도 치열 이미지의 해상도가 떨어지며, 상당한 노이즈를 피하기 어렵다.
따라서, 본 실시예에 따른 구강 스캐너 이미지가 획득되는 단계(S100)는 학습의 정확도 및 효율을 확보하기 위해 학습 데이터 구축을 위한 입력 데이터를 환자의 구강 내 촬영이 아닌 구강 외 촬영을 통해 획득될 수 있다. 구강 외 환경 스캐닝을 위해 환자의 치열에 해당하는 모델을 별도로 제작한 이후, 제작된 모델이 일정한 조명 조건 하에 스캐너를 이용하여 스캐닝될 수 있다.
획득한 3D 구강 스캐너 이미지 및 3D 크라운 메쉬 이미지를 전처리하는 단계(S110)는 상기 3D 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델 및 입력 메쉬 모델에 치기공사가 디자인한 크라운을 결합한 출력 메쉬 모델을 각각 생성할 수 있다.
상기 입력 메쉬 모델 및 출력 메쉬 모델 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하는 단계(S120)는 상기 전처리하는 단계(S110)에서 전처리한 이미지를 인공신경망의 입출력 이미지로 변환하기 위해 3차원 복셀 라벨맵으로 변환하는 단계이다.
인공신경망을 학습시키는 단계(S130)는 변환된 입력 복셀 이미지 및 출력 복셀 이미지를 학습 데이터로 이용하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교한다. 일 실시예에서, 인공신경망은 조건부 적대적 생성 신경망일 수 있으며, 입력 이미지인 치아 손실 이미지에서 크라운이 생성된 이미지로 생성하는 비선형 매핑을 학습하는 단계이다.
도 2는 일 실시예에 따른 도 1의 학습된 인공신경망을 이용하여 인공지능 기반 크라운 디자인 자동화 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 크라운 디자인 방법은 크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함하는 3D 구강 스캐너 이미지를 입력받는 단계(S200), 3D 구강 스캐너 이미지를 전처리하는 단계(S210), 입력 메쉬 모델을 입력 복셀 이미지로 변환하는 단계(S220), 학습된 인공신경망에 상기 입력 메쉬 모델을 입력하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하는 단계(S230), AI 출력 복셀 이미지를 메쉬화하여 AI 출력 메쉬 모델을 생성하는 단계(S240) 및 AI 출력 메쉬 모델을 기초로, 축가공기 기계로부터 크라운을 실물로 생산할 수 있도록 STL 파일을 추출하는 단계(S250)를 더 포함할 수 있다. 상기 S200, S210, S220 각각의 단계들은 도 1의 S100, S110, S120 단계들과 대응될 수 있다. 단계 S250는 AI 출력 메쉬 모델을 기초로, 축가공기 기계로부터 크라운을 실물로 생산할 수 있도록 STL 파일을 추출한다. 인공신경망의 출력이 3D 복셀 이미지로 생성되어 메쉬 모델로의 변환이 편리하며, 메쉬 모델로 변환하기만 하면 크라운과 잇몸 간 커넥터를 디자인하는 과정이 생략될 수 있고, 상기 STL 파일을 이용하여 기공소 내에 축가공기를 통해 기공물을 생산할 수 있다.
도 3은 일 실시예에 따라 3D 구강 스캐너 이미지를 전처리하는 과정을 도시한다.
도 3을 참조하면, 전처리하는 단계(S110)는 상기 구강 스캐너 이미지에서 관심영역을 기준으로 바운딩 박스를 설정하고, 학습에 불필요한 부분을 제거하는 단계를 포함할 수 있다. 상기 관심영역은 생성할 크라운을 기준으로 인접치아와 대합치아가 최소 1개 이상 포함되도록 설정될 수 있다. 바운딩 박스가 설정되고 크로핑되면, 잘라진 인접 치아와 대합 치아가 열린 Surface 모델이기 때문에, Close 연산을 통해 닫힌 메쉬 모델로 처리할 수 있다. 인공신경망의 입출력 이미지로 변환하기 위해 Appending 알고리즘을 통해 대합치아와 인접치아를 결합한 입력 메쉬 모델과 입력 메쉬 모델에 치기공사가 디자인한 크라운을 결합한 출력 메쉬 모델이 각각 생성될 수 있다. 생성된 입력 메쉬 모델과 출력 입력 복셀 이미지 및 출력 복셀 이미지 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하여 인공신경망의 학습 데이터로 이용할 수 있다.
도 4는 일 실시예에 따라 학습데이터를 이용하여 인공신경망을 학습하는 과정을 나타낸 것이다.
도 4를 참조하면, 학습 데이터를 이용하여 인공신경망을 학습시키는 단계가 수행된다(S130). 일 실시예에서, 상기 인공신경망은 적대적 생성 신경망(GAN) 모델을 통해 학습될 수 있다. 상기 인공신경망의 손실함수는 치아의 형상 정보, 인접 치아의 정보, 치아의 교합면 정보를 파라미터로 정의될 수 있다. GAN 의 생성자(generator)는 학습 데이터의 확률 분포를 근사하고, 판별자는 생성자가 근사한 학습 데이터의 원본을 판별한다. 보다 상세하게, 생성자는 만드는 자로 이해할 수 있다. 판별자는 구별하는 자로 이해할 수 있다. 판별자는 실제 학습 데이터와 생성자를 거쳐 만들어진 가짜 데이터를 이용하여 학습을 하며, 실제 샘플이 진짜인지 혹은 가짜인지 구별하는 역할을 한다. 생성자는 판별자를 속일 수 있을 정도로 진짜와 구별이 불가능 할 수준의 가짜 데이터를 만들어내는 것이 목표이다. 본 실시예에 따른 판별자는 판별을 잘 하는 방향으로, 생성자는 판별자를 잘 속이는 방향으로 계속 학습을 수행한다. 단계 S130는 최종적으로 생성자가 진짜인지 가짜인지 거의 구별이 불가능한 수준의 데이터를 만들어내고, 판별자 역시 분별능력이 점차 개선이 되게 하는 것 이 목표이다.
상기 단계 S130는 변환된 입력 복셀 이미지 및 출력 복셀 이미지를 학습 데이터로 이용하여, 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교하여 인공신경망을 학습시킨다. 구체적인 실시예에 따르면, 인공신경망 모델의 학습 프로세스는, 생성자를 이용하여 상기 학습 데이터에 포함된 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하는 제1 프로세스, 판별자를 이용하여 상기 생성된 AI 출력 복셀 이미지와 학습 데이터에 포함된 출력 복셀 이미지를 비교하여 오차 데이터를 획득하는 제2 프로세스 및 상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 제3 프로세스를 포함할 수 있다. 인공신경망은 학습된 비선형 매핑을 통해 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성할 수 있다.
제1 프로세스에서는, 생성자를 이용하여 학습 데이터에 포함된 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성한다. 생성자(generator)는 적어도 하나의 합성곱층과 적어도 하나의 전치합성곱층을 포함하는 복수의 레이어로 구성될 수 있다.
일 실시예에 따르면, 생성자를 구성하는 합성곱층은 입력 복셀 이미지를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력한다. 구체적으로, 필터를 일정 간격(stride)으로 움직이면서 입력 데이터에 곱하여 이미지 영역의 특징을 강조하는 특징 맵(feature map)을 출력한다. 합성곱층을 통과할수록 이미지의 너비, 높이, 깊이는 점점 줄어들면서 채널의 수가 많아진다. 필터의 값들은 가중치 파라미터들로 구성되며, 필터의 값들은 초기에 랜덤하게 설정되었다가 학습 단계에서 오차 역전파(출력층의 결과의 오차를 입력층 방향으로 전달하여 가중치 파라미터를 업데이트 하는 것)를 통해 최적화되도록 업데이트 된다.
전치합성곱층은 상기 합성곱층에 의해 추출된 특징맵을 목표하는 출력 이미지로 합성하고 사이즈를 복원(upsampling)하는 과정을 학습하는 층이다. 필터를 일정 간격으로 움직이면서 입력 데이터에 곱하여 특징맵을 출력하며, 합성곱층과 달리 입출력 크기를 전치한다. 다시 말해, 전치합성곱층을 통과할수록 이미지의 너비, 높이, 깊이는 점점 증가하고 채널의 수가 줄어든다. 합성곱층의 역기능을 수행하며 추출된 특징에 기초하여 새로운 이미지를 생성한다.
일 실시예에 따르면, 생성자의 합성곱층 또는 전치합성곱층은 특징맵의 데이터 분포를 정규화하기 위한 인스턴스정규화 및 각 출력값의 범위를 결정하기 위한 활성화 함수와 함께 사용될 수 있다. 인스턴스정규화는 학습 과정에서 합성곱 또는 전치합성곱의 필터 값(가중치)들이 학습 데이터에만 최적화되고 테스트 데이터에 적합하지 않게 되는 과적합(overfitting) 문제를 완화시키고 학습 과정을 안정화시키는 역할을 한다. 특징 맵의 데이터의 분포를 안정화시키기 위해 평균과 표준편차를 통해 특징 맵들을 정규화한다(모델이 전달되는 하나의 인자만큼씩). 학습을 마친 후 실제로 입력된 테스트 데이터 또한 학습 과정 동안 저장된 평균과 표준편차로 동일하게 정규화되기 때문에 학습 데이터와 분포가 다른 데이터에 대해서도 보다 안정적으로 출력 영상을 생성한다.
활성화 함수는 합성곱층 또는 전치합성곱층과 결합하여 각 층으로부터 다른 층으로 전달될 출력값의 범위를 결정하고 어떤 값을 전달할 것인지 임계치를 설정한다. 또한 딥러닝 모델에 비선형성(nonlinearity)를 추가하며 비선형성의 추가에 따라 딥러닝 모델의 층이 깊어지면서 오차의 미분 값이 0에 가까워지며 가중치 파라미터들이 업데이트되지 않는 Gradient vanishing 효과를 완화할 수 있다. 활성화 함수는, 예컨대 입력된 데이터가 0보다 작거나 같으면 0값, 크면 그대로의 값을 가지도록 하는 ReLu 활성화 함수, ReLu 활성화 함수와 비슷한 역할을 하나 입력되는 값이 0보다 작아도 완전히 0이 되지 않도록 0.1값을 곱해 0보다 크면 값을 유지하는 LeakyReLu 활성화 함수, 입력 데이터가 -1과 1 사이의 값을 가지도록 하는 Tanh 활성화 함수, 입력 데이터가 0과 1 사이의 값을 가지도록 하는 Sigmoid 활성화 함수 등이 사용될 수 있다.
제2 프로세스에서는 판별자를 이용하여 상기 생성된 AI 출력 복셀 이미지와 학습 데이터에 포함된 출력 복셀 이미지를 비교하여 오차 데이터를 획득한다. 판별자(discriminator)는 연속적인 합성곱층들을 포함할 수 있는데, 각 합성곱층은 생성자에서와는 달리, 생성된 AI 출력 복셀 이미지를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하도록 구성된다. 생성자와 마찬가지로, 각 합성곱층은 특징맵의 데이터 분포를 정규화하기 위한 인스턴스정규화 및 각 출력값의 범위를 결정하기 위한 활성화 함수와 함께 사용될 수 있다.
일 실시예에 따르면, 생성자는 적어도 하나의 잔여블록층(residual block layer)을 포함할 수 있는데, 모델의 층이 깊어질수록 최적화되기 힘들어지므로 모델의 학습 난이도를 낮추는 역할을 한다. 잔여블록층은 이미지의 너비와 높이가 작아지되 채널 방향으로 넓어지게 하는 합성곱층(Encoder)과 이미지의 너비와 높이 및 채널이 원본과 동일하게 복원하는 전치합성곱층(Decoder) 사이에서 반복된다. 하나의 잔여블록은 합성곱-인스턴스정규화-ReLu활성화-합성곱-인스턴스정규화 단계로 구성되며, 여기서 합성곱은 필터와 간격(stride) 값의 조정을 통해 입력 이미지와 동일한 너비, 높이, 깊이 및 채널의 크기를 갖는 이미지를 출력한다. 즉 입력 데이터의 특징을 추출하거나 복원하는 것이 아닌 데이터의 정보 손실을 최소화하여 다음 층에 전달하는 것을 목적으로 한다. 예컨대, 잔여블록은 입력 x 값을 잔여블록의 출력에 더해주는 형태를 갖는데, 이는 입력 데이터 x에 대한 출력 H(x)가 아닌 입력 x와 출력 H(x)의 차인 F(x)를 학습하도록 유도한다. 이에 따라 앞서 학습된 입력 데이터 x는 그대로 출력으로 가져와 더해줌으로써 잔여 정보인 F(x)만 학습할 수 있는 형태가 되어 모델의 학습 과정을 간소화할 수 있다.
제3 프로세스에서는 상기 오차 데이터를 이용하여 상기 생성자를 학습시킨다. 즉, 인공신경망을 통해 크라운을 합성한 AI 출력 복셀 이미지와 실제 치기공사가 디자인한 3D 크라운 메쉬 이미지를 기초로 생성된 출력 복셀 이미지를 비교하고, 비교 결과를 생성자에 다시 입력하여 다음에는 출력 복셀 이미지와 더 유사한 결과물을 출력하도록 생성자의 성능을 향상시킬 수 있다. 실시예에 따른 인공신경망은 다양한 학습 데이터를 통해 상기 제1 내지 제3 프로세스를 반복함으로써 출력 복셀 이미지와 생성된 AI 출력 복셀 이미지 간의 오차를 줄이도록 학습될 수 있다.
이처럼 생성자는 비선형 매핑을 통해 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 판별자는 생성된 AI 출력 복셀 이미지와 출력 복셀 이미지를 구분하는 적대적 생성 신경망(GAN) 모델을 통해 학습을 거듭할수록 보다 정교한 영상(즉, 출력 복셀 이미지에 가까운 영상)을 생성할 수 있다.
일 실시예에서, 생성자는 ResNet 기반의 합성곱층-전치합성곱층(Encoder-Decoder) 구조일 수 있고, 판별자는 PatchGAN 기반의 합성곱층(Encoder) 구조일 수 있다.
도 5은 일 실시예에 따라 생성된 AI 출력 복셀 이미지와 실제 출력 복셀 이미지 간의 유사도 오차를 줄여나가는 과정을 나타낸 것이다.
도 5를 참조하면, 인공신경망을 학습시키는 단계(S130)는 판별자의 정의된 손실 함수가 최소화되도록 학습할 수 있다. 일 실시예에서 우선, 생성자가 고정되고, 판별자만이 학습을 진행할 수 있다. 판별자는 어느 것이 치기공사가 디자인한 크라운 이미지이고 어느 것이 합성된 크라운 이미지인지 이미 알고 있기 때문에 가짜 샘플과 진짜를 구별하는 방향으로 손실함수가 정의된다. 그 다음 판별자는 고정시키고 생성자를 학습시킨다. 생성자의 목적은 판별자를 속이는 것이므로 판별자가 착각 할 수 있는 방향으로 학습을 수행한다. 제3 프로세스는 위 과정을 반복적으로 수행하여, 판별자와 생성자가 발전을 거듭하여 평형상태에 도달하도록 한다. 기존의 인공신경망 모델들은 손실함수를 최소화하는 방향으로 학습이 이루어지지만, 판별자와 생성자가 서로 상호보완적으로 학습이 이루어지는 형태이므로 결과적으로 손실함수가 0.5에 도달하는 방향으로 최적화가 진행될 수 있다.
제3 프로세스는 상기의 생성자와 판별자가 경쟁하는 적대적 손실함수(adversarial loss)뿐만 아니라, 치기공사가 디자인한 크라운 이미지와 합성된 크라운 이미지의 오차를 줄여나가는 Dice similarity coefficient loss를 이용할 수 있다. 상기 제3 프로세스는 Dice similarity coefficient loss를 이용하여 상기 출력 복셀 이미지와 AI 출력 복셀 이미지의 유사도 오차를 줄여나갈 수 있다. Dice similarity coefficient loss는 다음의 수학식 1을 통해 구해질 수 있다.
[수학식 1]
상기 수학식 1에서 는 출력 복셀 이미지의 픽셀값이 1인 영역을 나타내고, 는 생성자에 의하여 생성된 AI 출력 복셀 이미지의 픽셀값이 1인 영역을 나타낸다. 실제 출력 복셀 이미지와 AI 출력 복셀 이미지의 예측된 영역이 정확히 동일하다면 해당 영역을 1로, 그렇지 않다면 0으로 간주하여 Dice similarity coefficient 유사도를 구한다. 1에 해당 유사도 값을 빼주어 Dice similarity coefficient loss를 구할 수 있다.
기존 발명들은 인공신경망의 출력이 크라운 2D 깊이 이미지로 생성되기 때문에, 이미지를 메쉬 모델로 복원해야하는 별도의 과정이 필요했다. 또한, 정보가 없는 부분은 크라운과 잇몸 간의 커넥터를 디자인하는 과정이 추가적으로 요구되었다. 본 발명은 Dice similarity coefficient loss을 통해 3D 기반으로 볼륨 유사도를 줄여나가며 크라운을 생성해나가기 때문에 해당 과정이 생략될 수 있다는 장점이 있다.
도 6은 일 실시예에 따라 AI 출력 복셀 이미지와 실제 출력 복셀 이미지 간의 교합면을 고려하여 유사도 오차를 줄여나가는 과정을 나타낸 것이다.
도 6을 참조하면, 상기 제3 프로세스는 Depth map loss를 이용하여 상기 출력 복셀 이미지에서의 교합면과 AI 출력 복셀 이미지에서의 교합면에 대한 유사도 오차를 줄여나갈 수 있다. Depth map loss는 다음의 수학식 2를 활용하여 실제 크라운의 깊이 지도 이미지와 AI 크라운의 깊이 지도 이미지간 평균 픽셀 오차를 통해 구해질 수 있다.
[수학식 2]
상기 수학식 2의 는 출력 복셀 이미지의 i번째 깊이 지도 이미지의 픽셀 값이고, 는 AI 출력 복셀 이미지의 i번째 깊이 지도 이미지의 픽셀 값을 나타낸다. 상기 n은 깊이 지도 이미지의 픽셀 수를 나타낸다.
위 방법은 Dice similarity coefficient loss를 통해 구해지는 볼륨 기반의 크라운의 교합 기능성을 향상시키고자 고안된 방법이다. 학습 중 볼륨 유사도를 향상해 나가는 동시에 교합면만의 오차를 줄여나가면 크라운의 측면과 아울러 교합 기능성이 개선된 크라운을 얻을 수 있는 장점이 있다. 출력 복셀 이미지와 AI 출력 복셀 이미지로부터 깊이 지도 이미지를 구하는 방법은 도 7에서 설명된다.
도 7은 일 실시예에 따라 렌더링을 통해 교합면을 고려하여 유사도 오차를 줄여나가는 세분화된 과정을 나타낸 것이다.
도 7을 참조하면, 제3 프로세스는 입력 복셀 이미지를 치아의 형태를 담은 데이터를 만들기 위해 모든 공간 정보를 담아 Depth Map으로 표현할 수 있다. 상기 제3 프로세스는, 생성자가 생성한 AI 출력 복셀 이미지를 메쉬화한 후, 크라운이 생성된 치아의 대합치아를 제거하는 단계, 생성된 크라운의 수직 방향 위에서 카메라를 위치시키고, 크라운의 중심을 초점 위치로 설정하는 단계 및 렌더링을 통해 깊이 지도 이미지를 획득하는 단계를 포함할 수 있다.
도 8은 일 실시예에 따라 생성된 AI 출력 메쉬 모델과 실제 치기공사가 디자인한 3D 크라운을 비교한 것을 나타낸다.
도 8을 참조하면, 크라운 디자인 방법을 하악 대구치인 18, 19, 30, 31번 치아 데이터에 적용한 일 례이나, 다른 치아에 번호에도 동일한 방법으로 적용 가능하다. (좌)는 상기 인공신경망을 이용해 생성된 AI 출력 메쉬 모델을 나타내고, (우)는 실제 치기공사가 디자인한 3D 크라운 모델을 나타낸다. 도시된 것처럼 생성된 AI 출력 메쉬 모델과 실제 치기공사가 디자인한 3D 크라운이 육안으로 봐도 유사한 것을 알 수 있었고, 차원 기반 모델을 구축하여 크라운의 형태적 특성을 보완할 뿐만 아니라, 교합면의 형태 또한 고려된 것을 알 수 있었다. 이는 실제 치기공사가 디자인한 3D 크라운이 아닌 합성된 AI 출력 메쉬 모델을 크라운 디자인에 적용하기에 충분하다는 것을 의미한다.
실시예에 따른 인공지능 기반 크라운 디자인 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 실시예들에 따르면, 인공신경망을 이용하여 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성할 수 있다. 인공신경망은 생성자와 판별자의 경쟁적 학습을 통해 성능을 향상시킬 수 있으며, 적은 오차율을 갖는 정교한 AI 출력 복셀 이미지를 생성하는 것이 가능하다.
본 발명의 다른 일 측면에 따른 인공지능 기반 크라운 디자인 자동화 시스템 에 따르면, 프로세서를 포함한 컴퓨팅 장치에 의해 수행될 수 있다.
일 실시예에서, 인공지능 기반 크라운 디자인 자동화 시스템은 환자로부터 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 획득하는 유닛 - 상기 구강 스캐너 이미지는 크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함함 -; 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 전처리하는 유닛 - 상기 3D 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델 및 입력 메쉬 모델에 치기공사가 디자인한 크라운을 결합한 출력 메쉬 모델을 각각 생성함 -; 상기 입력 메쉬 모델 및 출력 메쉬 모델 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하는 유닛; 및 변환된 입력 복셀 이미지 및 출력 복셀 이미지를 학습 데이터로 이용하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교하여 인공신경망을 학습시키는 유닛; 을 포함할 수 있다.
이와 같은 본 발명의 일 실시예에 따른 인공지능 기반 크라운 디자인 자동화 방법 및 시스템에 의하면, 3차원 기반 모델을 활용함으로써 2차원 기반 모델 활용시 3D로 복원한 크라운 표면과 커넥터 모델을 생성할 필요가 없다. 환자 맞춤형 크라운 디자인을 자동화함으로써 관련 직업군의 업무 효율성 증대하고 인건비를 절감할 수 있다. 치기공사의 숙련도나 피로도에 따른 디자인 편차를 예방하여 제품의 정밀도 및 품질 일관성을 향상시킬 수 있다. 개발한 인공신경망을 디지털 의료기기 및 소프트웨어와 연동이 가능하여 진단부터 치료, 기공물의 제작까지 정확한 데이터를 일관적으로 사용하는 것이 가능하고, 환자 방문 즉시 제작하여 당일 시술이 가능하다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (16)
- 프로세서에 의해 실행되는 인공지능 기반 크라운 디자인 자동화 방법으로서,
환자로부터 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 획득하는 단계 - 상기 구강 스캐너 이미지는 크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함함 -;
획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 전처리하는 단계 - 상기 3D 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델 및 입력 메쉬 모델에 치기공사가 디자인한 크라운을 결합한 출력 메쉬 모델을 각각 생성함 -;
상기 입력 메쉬 모델 및 출력 메쉬 모델 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하는 단계; 및
변환된 입력 복셀 이미지 및 출력 복셀 이미지를 학습 데이터로 이용하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교하여 인공신경망을 학습시키는 단계; 를 포함하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제1항에 있어서,
크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함하는 3D 구강 스캐너 이미지를 입력받는 단계;
상기 3D 구강 스캐너 이미지를 전처리하는 단계 - 상기 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델을 생성함;
상기 입력 메쉬 모델을 입력 복셀 이미지로 변환하는 단계;
학습된 인공신경망에 상기 입력 메쉬 모델을 입력하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하는 단계;
상기 AI 출력 복셀 이미지를 메쉬화하여 AI 출력 메쉬 모델을 생성하는 단계; 를 더 포함하는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제2항에 있어서,
상기 AI 출력 메쉬 모델을 기초로, 축가공기 기계로부터 크라운을 실물로 생산할 수 있도록 STL 파일을 추출하는 단계; 를 더 포함하는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제1항에 있어서,
상기 인공신경망을 학습시키는 단계는,
생성자를 이용하여 상기 학습 데이터에 포함된 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하는 제1 프로세스;
판별자를 이용하여 상기 생성된 AI 출력 복셀 이미지와 학습 데이터에 포함된 출력 복셀 이미지를 비교하여 오차 데이터를 획득하는 제2 프로세스; 및
상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 제3 프로세스를 포함하는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제4항에 있어서,
상기 인공신경망은, 상기 제1 내지 제3 프로세스를 반복적으로 수행함으로써 출력 복셀 이미지와 생성된 AI 출력 복셀 이미지 간의 오차를 줄이도록 학습되는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제1항에 있어서,
상기 전처리하는 단계는,
상기 구강 스캐너 이미지에서 관심영역을 기준으로 바운딩 박스를 설정하고, 학습에 불필요한 부분을 제거하는 단계를 포함하고,
상기 관심영역은 생성할 크라운을 기준으로 인접치아와 대합치아가 최소 1개 이상 포함되도록 설정되는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제4항에 있어서,
상기 제3 프로세스는 Dice similarity coefficient loss를 이용하여 상기 출력 복셀 이미지와 AI 출력 복셀 이미지의 유사도 오차를 줄여나가는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제7항에 있어서,
상기 Dice similarity coefficient loss는 다음의 [수학식 1]에 의하여 산출되고,
[수학식 1]
상기 [수학식 1]에서 는 출력 복셀 이미지의 픽셀 값이 1인 영역을 나타내고, 는 생성자에 의하여 생성된 AI 출력 복셀 이미지의 픽셀 값이 1인 영역을 나타내는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제4항에 있어서,
상기 제3 프로세스는 Depth map loss를 이용하여 상기 출력 복셀 이미지에서의 교합면과 AI 출력 복셀 이미지에서의 교합면을 고려한 크라운의 측면 볼륨 모양에 대한 유사도 오차를 줄여나가는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제8항에 있어서,
상기 제3 프로세스는,
생성자가 생성한 AI 출력 복셀 이미지를 메쉬화한 후, 크라운이 생성된 치아의 대합치아를 제거하는 단계;
생성된 크라운의 수직 방향 위에서 카메라를 위치시키고, 크라운의 중심을 초점 위치로 설정하는 단계; 및
렌더링을 통해 깊이 지도 이미지를 획득하는 단계; 를 포함하는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제9항에 있어서,
상기 Depth map loss는 다음의 [수학식 2]에 의하여 산출되고,
[수학식 2]
상기 [수학식 2]의 는 출력 복셀 이미지의 i번째 깊이 지도 이미지의 픽셀 값이고, 는 AI 출력 복셀 이미지의 i번째 깊이 지도 이미지의 픽셀 값을 나타내고, 상기 n은 깊이 지도 이미지의 픽셀 수를 나타내는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제4항에 있어서,
상기 생성자는 ResNet 기반의 합성곱층-전치합성곱층(Encoder-Decoder) 구조인 것을 특징으로 하는 인공지능 기반 크라운 디자인 자동화 방법.
- 제4항에 있어서,
상기 판별자는 PatchGAN 기반의 합성곱층(Encoder) 구조인 것을 특징으로 하는 인공지능 기반 크라운 디자인 자동화 방법.
- 제1항에 있어서,
상기 인공신경망은 학습된 비선형 매핑을 통해 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하는 것을 특징으로 하는, 인공지능 기반 크라운 디자인 자동화 방법.
- 제1항 내지 제14항 중 어느 한 항에 따른 인공지능 기반 크라운 디자인 자동화 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
- 인공지능 기반 크라운 디자인 자동화 시스템으로서,
환자로부터 획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 획득하는 유닛 - 상기 구강 스캐너 이미지는 크라운을 생성하고자 하는 인접치아와 대합치아의 스캔 이미지를 포함함 -;
획득한 3D 구강 스캐너 이미지 및 상기 구강 스캐너 이미지와 대응하여 치기공사가 디자인한 3D 크라운 메쉬 이미지를 전처리하는 유닛 - 상기 3D 구강 스캐너 이미지를 기초로 인접치아와 대합치아를 결합한 입력 메쉬 모델 및 입력 메쉬 모델에 치기공사가 디자인한 크라운을 결합한 출력 메쉬 모델을 각각 생성함 -;
상기 입력 메쉬 모델 및 출력 메쉬 모델 각각을 입력 복셀 이미지 및 출력 복셀 이미지로 변환하는 유닛; 및
변환된 입력 복셀 이미지 및 출력 복셀 이미지를 학습 데이터로 이용하여, 상기 입력 복셀 이미지에 대응하는 AI 출력 복셀 이미지를 생성하고, 생성된 AI 출력 복셀 이미지를 학습 데이터에 포함된 출력 복셀 이미지와 비교하여 인공신경망을 학습시키는 유닛; 을 포함하는, 인공지능 기반 크라운 디자인 자동화 시스템.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220102693A KR20240025109A (ko) | 2022-08-17 | 2022-08-17 | 인공지능 기반 크라운 디자인 자동화 방법 및 시스템 |
US18/449,093 US20240062882A1 (en) | 2022-08-17 | 2023-08-14 | Method and system for automating dental crown design based on artificial intelligence |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220102693A KR20240025109A (ko) | 2022-08-17 | 2022-08-17 | 인공지능 기반 크라운 디자인 자동화 방법 및 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240025109A true KR20240025109A (ko) | 2024-02-27 |
Family
ID=89907202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220102693A KR20240025109A (ko) | 2022-08-17 | 2022-08-17 | 인공지능 기반 크라운 디자인 자동화 방법 및 시스템 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240062882A1 (ko) |
KR (1) | KR20240025109A (ko) |
-
2022
- 2022-08-17 KR KR1020220102693A patent/KR20240025109A/ko not_active Application Discontinuation
-
2023
- 2023-08-14 US US18/449,093 patent/US20240062882A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240062882A1 (en) | 2024-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11810271B2 (en) | Domain specific image quality assessment | |
US11468568B2 (en) | Color-based foreign object filtering for intraoral scanning | |
US20220218449A1 (en) | Dental cad automation using deep learning | |
US11972572B2 (en) | Intraoral scanning system with excess material removal based on machine learning | |
KR102559819B1 (ko) | 심층 학습 방법을 이용한 자동화된 3d 치근 형상 예측 시스템 및 방법 | |
CN114746952A (zh) | 用于从二维草图创建三维牙科修复体的方法、系统和计算机可读存储介质 | |
US20240221307A1 (en) | Capture guidance for video of patient dentition | |
US20240144480A1 (en) | Dental treatment video | |
JP2024031920A (ja) | 3次元スキャンデータから補綴物を自動で生成する方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体 | |
KR20240025109A (ko) | 인공지능 기반 크라운 디자인 자동화 방법 및 시스템 | |
US20240185518A1 (en) | Augmented video generation with dental modifications | |
US20240325124A1 (en) | Method for providing annotated synthetic image data for training machine learning models | |
KR102610716B1 (ko) | 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 | |
WO2024097673A1 (en) | Dental treatment video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |