KR102606857B1 - 구강 이미지 처리 장치 및 구강 이미지 처리 방법 - Google Patents
구강 이미지 처리 장치 및 구강 이미지 처리 방법 Download PDFInfo
- Publication number
- KR102606857B1 KR102606857B1 KR1020200138596A KR20200138596A KR102606857B1 KR 102606857 B1 KR102606857 B1 KR 102606857B1 KR 1020200138596 A KR1020200138596 A KR 1020200138596A KR 20200138596 A KR20200138596 A KR 20200138596A KR 102606857 B1 KR102606857 B1 KR 102606857B1
- Authority
- KR
- South Korea
- Prior art keywords
- tooth
- template
- teeth
- oral
- image
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 148
- 238000003672 processing method Methods 0.000 title abstract description 7
- 239000013598 vector Substances 0.000 claims description 80
- 210000000214 mouth Anatomy 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 53
- 238000013507 mapping Methods 0.000 claims description 40
- 239000012634 fragment Substances 0.000 claims description 21
- 238000004891 communication Methods 0.000 description 34
- 210000004195 gingiva Anatomy 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- IFPMZBBHBZQTOV-UHFFFAOYSA-N 1,3,5-trinitro-2-(2,4,6-trinitrophenyl)-4-[2,4,6-trinitro-3-(2,4,6-trinitrophenyl)phenyl]benzene Chemical group [O-][N+](=O)C1=CC([N+](=O)[O-])=CC([N+]([O-])=O)=C1C1=C([N+]([O-])=O)C=C([N+]([O-])=O)C(C=2C(=C(C=3C(=CC(=CC=3[N+]([O-])=O)[N+]([O-])=O)[N+]([O-])=O)C(=CC=2[N+]([O-])=O)[N+]([O-])=O)[N+]([O-])=O)=C1[N+]([O-])=O IFPMZBBHBZQTOV-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4547—Evaluating teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/0003—Making bridge-work, inlays, implants or the like
- A61C13/0004—Computer-assisted sizing or machining of dental prostheses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/34—Making or working of models, e.g. preliminary castings, trial dentures; Dowel pins [4]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Physical Education & Sports Medicine (AREA)
- Computer Networks & Wireless Communication (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Physiology (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
실시예들에 따라 구강 이미지 처리 장치 및 구강 이미지 처리 방법이 개시된다. 개시된 구강 이미지 처리 방법은, 치아들을 스캔하여 생성된 구강 이미지를 획득하는 동작, 상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하는 동작, 상기 구강 이미지의 치아들을 분리함으로써 복수개의 치아 조각들을 획득하는 동작, 및 상기 얼라인된 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써, 상기 구강 이미지의 치아들을 개별화하는 동작을 포함한다.
Description
개시된 실시예는 구강 이미지 처리 장치 및 구강 이미지 처리 방법에 대한 것이다.
구체적으로, 개시된 실시예는 구강 이미지에 포함된 하나 이상의 치아들을 개별화하기 위한 구강 이미지의 처리 장치 및 구강 이미지의 처리 방법에 대한 것이다.
환자의 치과적 치료를 위해 환자의 구강 내에 구강 스캐너를 삽입하고 구강 스캐너에 의해 환자의 구강 이미지를 획득할 수 있다. 구강 스캐너에 의해 획득된 구강 이미지는 하나 이상의 치아를 포함할 수 있다. 치과적 치료인 보철 치료나 교정 치료 등의 프로세스를 위해 구강 이미지에 포함된 치아들 각각을 이동시키는 등의 조작을 할 필요가 있다. 따라서, 구강 이미지에 포함된 치아들 각각의 위치 정보를 식별하고 또한 각 치아에 번호를 매기는 것과 같이 치아를 개별화시킬 필요가 있다. 개별 치아를 식별하고 분할하는 기술에 관한 문헌으로는 공개특허공보 제10-2018-0090308 호 (공개일: 2018년 8월 10일)를 예로 들 수 있다.
개시된 실시예는, 구강 이미지에 포함된 하나 이상의 치아들을 개별화하기 위한 구강 이미지의 처리 방법 및 그에 따른 동작을 수행하는 장치의 제공을 목적으로 한다.
일 실시예에 따라 구강 이미지의 처리 방법은, 치아들을 스캔하여 생성된 구강 이미지를 획득하는 동작, 상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하는 동작, 상기 구강 이미지의 치아들을 분리함으로써 복수개의 치아 조각들을 획득하는 동작, 및 상기 얼라인된 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써, 상기 구강 이미지의 치아들을 개별화하는 동작을 포함할 수 있다.
일 실시예에 따라 상기 구강 이미지의 치아들을 개별화하는 동작은, 상기 얼라인된 각 템플릿 치아에 대응하는 치아 조각을 식별함으로써, 상기 구강 이미지의 각 치아 조각과 상기 각 템플릿 치아의 매핑 관계를 획득하는 동작, 및 상기 매핑 관계를 이용하여, 상기 각 템플릿 치아에 매핑된 하나 이상의 치아 조각을 수집하는 동작을 포함할 수 있다.
일 실시예에 따라 상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하는 동작은, 상기 치아 모델 템플릿의 상기 복수의 템플릿 치아들을 상기 구강 이미지에 포함된 치아들에 대응되도록 위치시키는 동작을 포함할 수 있다.
일 실시예에 따라 상기 구강 이미지의 치아들을 분리함으로써 복수개의 치아 조각들을 획득하는 동작은, 상기 치아들을 곡률 분포에 따라 분리함으로써 각 치아를 하나 이상의 치아 조각으로 분리하는 동작을 포함할 수 있다.
일 실시예에 따라 상기 구강 이미지의 치아들을 개별화하는 동작은, 상기 각 템플릿 치아와 상기 각 치아 조각의 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작을 포함할 수 있다.
일 실시예에 따라 상기 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작은, 상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하는 동작, 및 상기 식별된 치아 조각에서의 교차점에서의 법선 벡터와 상기 정점에서의 법선 벡터 사이의 각이 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는 동작을 포함할 수 있다.
일 실시예에 따라 상기 구강 이미지의 치아들을 개별화하는 동작은, 상기 각 템플릿 치아와 상기 각 치아 조각의 거리 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작을 포함하며, 상기 식별 동작은, 상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하는 동작, 및 상기 정점으로부터 상기 교차점까지의 거리가 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는 동작을 포함할 수 있다.
일 실시예에 따라 상기 구강 이미지의 치아들을 개별화하는 동작은, 상기 각 템플릿 치아와 상기 각 치아 조각의 거리 조건 및 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작을 포함하며, 상기 거리 조건 및 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작은, 상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점으로서, 상기 정점으로부터 소정 거리 이내에 있는 상기 교차점을 식별하는 동작, 및 상기 식별된 치아 조각에서의 교차점에서의 법선 벡터와 상기 정점에서의 법선 벡터 사이의 각이 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는 동작을 포함할 수 있다.
일 실시예에 따라 구강 이미지의 처리 장치는, 프로세서와 메모리를 포함하고, 상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써, 치아들을 스캔하여 생성된 구강 이미지를 획득하고, 상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하고, 상기 구강 이미지의 치아들을 분리함으로써 복수개의 치아 조각들을 획득하고, 상기 얼라인된 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써, 상기 구강 이미지의 치아들을 개별화한다.
실시예에 따라 구강 이미지의 처리 방법을 수행하기 위해 적어도 하나의 인스트럭션을 포함하는 프로그램이 기록된 비일시적(non-transitory) 컴퓨터 판독 가능 저장 매체에 있어서, 상기 구강 이미지의 처리 방법은, 치아들을 스캔하여 생성된 구강 이미지를 획득하는 동작, 상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하는 동작, 상기 구강 이미지의 치아들을 분리함으로써 복수개의 치아 조각들을 획득하는 동작, 및 상기 얼라인된 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써, 상기 구강 이미지의 치아들을 개별화하는 동작을 포함한다.
개시된 실시예에 따른 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 장치는, 치아 모델 템플릿을 이용하여 구강 이미지에 포함된 치아들을 개별화하는 방법을 제시함으로써 보다 정확하고 편리하게 치아들을 개별화시킬 수 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 개시된 실시예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 일 예에 따라 구강 이미지에 포함된 치아들을 템플릿을 이용하여 개별화하는 방법을 설명하기 위한 참고도이다.
도 3은 개시된 실시예에 따른 데이터 처리 장치 100를 나타내는 일 블록도이다.
도 4는 개시된 실시예에 따라 데이터 처리 장치의 구강 이미지의 처리 방법을 나타내는 일 플로우차트이다.
도 5는 일 실시예에 따라 삼차원 스캐너를 이용하여 획득한 결과 데이터의 삼차원 메쉬 구조의 일 예를 나타낸다.
도 6은 일 실시예에 따라 구강 이미지를 치아 덩어리와 치은으로 분리하는 방법을 설명하기 위한 참고도이다.
도 7은 일 실시예에 따라 치아 덩어리를 복수개의 치아 조각들로 분리하는 방법을 설명하기 위한 참고도이다.
도 8은 일 실시예에 따라 구강 이미지에 대응하는 곡률 분포를 맵으로 나타낸 것이다.
도 9는 일 실시예에 따라 구강 이미지의 치아 덩어리에 치아 모델 템플릿을 정렬시키는 방법을 설명하기 위한 참고도이다.
도 10은 일 실시예에 따라 치아 덩어리의 각 치아 조각과 상기 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
도 11은 일 실시예에 따라 치아 덩어리와 치아 모델 템플릿이 얼라인된 데이터의 일부 영역을 나타낸다.
도 12는 일 실시예에 따라 오리엔테이션 조건 및 거리 조건을 이용하여 치아 덩어리의 각 치아 조각과 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
도 13은 일 실시예에 따라 오리엔테이션 조건 및 거리 조건을 이용하여 치아 덩어리의 각 치아 조각과 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
도 14는 일 실시예에 따라 하나의 치아 조각이 중복적으로 복수개의 템플릿 치아에 매핑되는 경우를 설명하기 위한 참고도이다.
도 15는 일 실시예에 따라 치아 조각과 템플릿 치아의 매핑 관계를 이용하여 템플릿 치아에 매핑된 하나 이상의 치아 조각을 수집함으로써, 구강 이미지의 치아들을 개별화하는 방법을 설명하기 위한 참고도이다.
도 1은 개시된 실시예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 일 예에 따라 구강 이미지에 포함된 치아들을 템플릿을 이용하여 개별화하는 방법을 설명하기 위한 참고도이다.
도 3은 개시된 실시예에 따른 데이터 처리 장치 100를 나타내는 일 블록도이다.
도 4는 개시된 실시예에 따라 데이터 처리 장치의 구강 이미지의 처리 방법을 나타내는 일 플로우차트이다.
도 5는 일 실시예에 따라 삼차원 스캐너를 이용하여 획득한 결과 데이터의 삼차원 메쉬 구조의 일 예를 나타낸다.
도 6은 일 실시예에 따라 구강 이미지를 치아 덩어리와 치은으로 분리하는 방법을 설명하기 위한 참고도이다.
도 7은 일 실시예에 따라 치아 덩어리를 복수개의 치아 조각들로 분리하는 방법을 설명하기 위한 참고도이다.
도 8은 일 실시예에 따라 구강 이미지에 대응하는 곡률 분포를 맵으로 나타낸 것이다.
도 9는 일 실시예에 따라 구강 이미지의 치아 덩어리에 치아 모델 템플릿을 정렬시키는 방법을 설명하기 위한 참고도이다.
도 10은 일 실시예에 따라 치아 덩어리의 각 치아 조각과 상기 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
도 11은 일 실시예에 따라 치아 덩어리와 치아 모델 템플릿이 얼라인된 데이터의 일부 영역을 나타낸다.
도 12는 일 실시예에 따라 오리엔테이션 조건 및 거리 조건을 이용하여 치아 덩어리의 각 치아 조각과 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
도 13은 일 실시예에 따라 오리엔테이션 조건 및 거리 조건을 이용하여 치아 덩어리의 각 치아 조각과 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
도 14는 일 실시예에 따라 하나의 치아 조각이 중복적으로 복수개의 템플릿 치아에 매핑되는 경우를 설명하기 위한 참고도이다.
도 15는 일 실시예에 따라 치아 조각과 템플릿 치아의 매핑 관계를 이용하여 템플릿 치아에 매핑된 하나 이상의 치아 조각을 수집함으로써, 구강 이미지의 치아들을 개별화하는 방법을 설명하기 위한 참고도이다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 이미지는 적어도 하나의 치아, 또는 적어도 하나의 치아를 포함하는 구강을 나타내는 이미지, 치아 모형을 나타내는 이미지(이하, '구강 이미지')를 포함할 수 있다.
또한, 본 명세서에서 이미지는 대상체에 대한 2차원 이미지 또는 대상체를 입체적으로 나타내는 3차원 모델 또는 3차원 이미지가 될 수 있다. 또한, 본 명세서에서 이미지는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 데이터, 예를 들어, 적어도 하나의 이미지 센서로부터 획득된 로우 데이터(raw data) 등을 의미할 수 있다. 구체적으로, 로우 데이터는 구강 이미지를 생성하기 위해서 획득되는 2차원 또는 3차원 데이터로, 삼차원 스캐너(scanner)를 이용하여 대상체인 환자의 구강 내를 스캔(scan)할 때 구강 스캐너에 포함되는 적어도 하나의 이미지 센서에서 획득되는 데이터(일 실시예로, 2차원 데이터)가 될 수 있다. 삼차원 스캐너는, 구강 스캐너, 테이블 스캐너, CT 스캐너 등을 포함할 수 있다.
이하에서는 구강 스캐너를 예로 들어 설명하기로 한다.
본 명세서에서 '대상체(object)'는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 여기서, 교정 장치는 브라켓, 어태치먼트(attachment), 교정용 나사, 설측 교정 장치, 및 가철식 교정 유지 장치 중 적어도 하나를 포함할 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 개시된 실시예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 구강 스캐너 10는 구강 내의 이미지를 획득하기 위한 의료 장치이다.
구체적으로, 구강 스캐너 10는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 이미지를 획득하기 위한 장치가 될 수 있다. 또한, 구강 스캐너 10는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 이미지 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔 한다. 구강 스캐너 10는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어 등을 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득할 수 있다. 또한 구강 스캐너 10는 직접 환자의 구강을 스캔하는 것 뿐만 아니라, 환자의 인상 채득을 통해 얻어진 치아 모형 또는 석고 모형을 스캔함으로써 구강 이미지를 획득할 수도 있다.
구강 스캐너 10에서 획득된 이미지 데이터는 유선 또는 무선 통신 네트워크를 통하여 연결되는 데이터 처리 장치 100로 전송될 수 있다.
데이터 처리 장치 100는 구강 스캐너 10와 유선 또는 무선 통신 네트워크를 통하여 연결되며, 구강 스캐너 10로부터 구강을 스캔하여 획득된 이차원 이미지를 수신하고, 수신된 이차원 이미지에 근거하여 구강 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 데이터 처리 장치 100는 구강 스캐너 10에 의해 획득된 구강 이미지를 수신하는 것 외에, 3D 모델 스캐너가 치아 모형을 스캔함으로써 획득한 치아 모형 이미지 또한 3D 모델 스캐너로부터 수신할 수 있다.
데이터 처리 장치 100는 구강 스캐너 10에서 수신된 이차원 이미지 데이터에 근거하여, 이차원 이미지 데이터를 처리하여 생성한 정보 및 이차원 이미지 데이터를 처리하여 생성한 구강 이미지 중 적어도 하나를 생성하고, 생성된 정보 및 구강 이미지를 디스플레이 130를 통하여 디스플레이 할 수 있다.
데이터 처리 장치 100는 도 1에서 랩탑 컴퓨터 형태로 도시되었지만 이에 한정되지 않으며, 스마트 폰(smart phone), 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.
또한, 데이터 처리 장치 100는 구강 이미지를 처리하기 위한 서버(또는 서버 장치) 등의 형태로 존재할 수도 있을 것이다.
또한, 구강 스캐너 10는 구강 스캔을 통하여 획득된 로우 데이터(raw data)를 그대로 데이터 처리 장치 100로 전송할 수 있다. 이 경우, 데이터 처리 장치 100는 수신된 로우 데이터에 근거하여 구강을 3차원적으로 나타내는 3차원 구강 이미지를 생성할 수 있다. 또한, '3차원 구강 이미지'는 수신된 로우 데이터에 근거하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 생성될 수 있으므로, '3차원 구강 모델' 또는 '3차원 구강 이미지'로 호칭될 수도 있다. 이하에서는, 구강을 2차원 또는 3차원적으로 나타내는 모델 또는 이미지를 통칭하여, '구강 이미지'라 칭하도록 한다.
또한, 데이터 처리 장치 100는 생성된 구강 이미지를 분석, 처리, 디스플레이 및/또는 외부 장치로 전송할 수 있을 것이다.
또 다른 예로, 구강 스캐너 10가 구강 스캔을 통하여 로우 데이터(raw data)를 획득하고, 획득된 로우 데이터를 가공하여 대상체인 구강에 대응되는 이미지를 생성하여 데이터 처리 장치 100로 전송할 수 있다. 이 경우, 데이터 처리 장치 100는 수신된 이미지를 분석, 처리, 디스플레이 및/또는 전송할 수 있을 것이다.
개시된 실시예에서, 데이터 처리 장치 100는 하나 이상의 치아를 포함하는 구강을 3차원적으로 나타내는 구강 이미지를 생성 및 디스플레이할 수 있는 전자 장치로, 이하에서 상세히 설명한다.
도 2는 일 예에 따라 구강 이미지에 포함된 치아들을 치아 모델 템플릿을 이용하여 개별화하는 방법을 설명하기 위한 참고도이다.
구강 이미지 500는 환자의 구강을 구강 스캐너 10를 이용하여 획득된 구강 이미지 또는 환자의 치아 모형을 3D 모델 스캐너 등을 이용하여 스캔함으로써 얻은 구강 이미지 등이 될 수 있다.
구강 이미지 500는 환자의 구강 내의 표면이 전체적으로 이미징되므로, 하나 이상의 치아 510와 치아를 둘러싸는 치은 520 등이 모두 함께 이미징된다.
구강 스캐너 10는 대상체인 구강에 대한 표면 정보를 나타내는 이차원 데이터를 획득할 수 있다. 그리고, 데이터 처리 장치 100는 구강 스캐너 10에서 획득된 이차원 데이터에 근거하여 구강 이미지 500를 생성할 수 있다.
구강 이미지 500는 구강 스캐너가 대상체를 스캔함으로써 획득한 포인트들의 좌표들을 정점들로 하는 포인트 클라우드에서 인접한 정점들을 다각화(polygonization)함으로써 다각형 메쉬 구조를 가질 수 있다. 메쉬 구조를 구성하는 다각형은, 삼각형, 사각형, 오각형 등이 될 수 있으며, 일 실시예로 삼각형일 수 있다. 이와 같이 데이터 처리 장치 100에 의해 생성된 다각형 메쉬 구조를 가지는 구강 이미지 500는 치아 510과 치은 520이 분리되어 있지 않으며 또한 치아 510도 복수의 치아들이 각각 분리되지 않은 하나의 치아 덩어리로 인식될 수 있다. 또는 다른 실시예에 따라 데이터 처리 장치 100는 스캔 과정에서 획득된 2D 이미지에서 인공 지능 (Artificial Intelligence)를 이용하여 치아와 치은 영역을 분리함으로써, 데이터 처리 장치 100에서 생성된 구강 이미지 500는 자동적으로 치아 덩어리와 치은으로 분리된 상태를 가질 수 있다.
치아 모델 템플릿 200는 치아들이 이상적인 형상을 가지고 또한 치아들이 이상적인 위치에 배열되어 있으며, 각 치아에 번호가 매겨진 템플릿 모델 데이터를 나타낸다. 예를 들어, 치아 모델 템플릿 200의 각 템플릿 치아에는 왼쪽으로부터 시작해서 1번, 2번 등과 같이 해서 14번까지 치아 번호가 매겨져 있다.
데이터 처리 장치 100는 구강 이미지 500의 치아들 510을 치아 모델 템플릿 200을 이용하여 데이터 처리함으로써 구강 이미지의 치아들을 개별화하여 개별화된 치아 550를 획득할 수 있다. 구강 이미지의 치아를 개별화한다는 것은, 구강 이미지에서 치아들을 치은으로부터 분리하고 또한 치아들 각각에 대한 정보를 획득한다는 것을 의미할 수 있다. 각 치아에 대한 정보는, 각 치아의 형상에 대한 정보, 각 치아의 위치에 대한 정보, 각 치아의 번호에 대한 정보를 포함할 수 있다. 구강 이미지의 치아들의 개별화는 구강 이미지의 치아들의 세그먼테이션 또는 치아들의 세분화 등으로 언급될 수도 있다. 이와 같이 구강 이미지의 치아들이 개별화됨으로써, 데이터 처리 장치 100는 개별화된 치아 550을 이용하여 각 치아를 삭제하거나, 이동시키거나, 또는 추가적인 치아를 삽입하거나 하는 처리를 할 수 있다.
도 3은 개시된 실시예에 따른 데이터 처리 장치 100를 나타내는 일 블록도이다.
도 3을 참조하면, 데이터 처리 장치 100는 통신 인터페이스 110, 사용자 인터페이스 120, 디스플레이 130, 영상 처리부 140, 메모리 150 및 프로세서 160를 포함할 수 있다.
통신 인터페이스 110는 적어도 하나의 외부 전자 장치와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스 110는 프로세서 160의 제어에 따라서 구강 스캐너 10와 통신을 수행할 수 있다. 통신 인터페이스 110는 프로세서의 제어에 따라서 유무선의 통신 네트워크를 통하여 연결되는 외부의 전자 장치 또는 서버 등과 통신을 수행할 수 있다.
통신 인터페이스 110는 유무선의 통신 네트워크를 통하여 외부의 전자 장치 (예를 들어, 구강 스캐너, 서버, 또는 외부의 의료 장치 등)와 통신할 수 있다. 구체적으로, 통신 인터페이스는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈을 포함할 수 있다.
또한, 통신 인터페이스 110는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈을 더 포함할 수 있다. 구체적으로, 통신 인터페이스 110는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 또한, 통신 인터페이스는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다.
또한, 통신 인터페이스 110는 외부 전자 장치(예를 들어, 구강 스캐너 등)와 유선으로 통신하기 위해서, 외부 전자 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 그에 따라서, 통신 인터페이스 110는 적어도 하나의 포트를 통하여 유선 연결된 외부 전자 장치와 통신을 수행할 수 있다.
사용자 인터페이스 120는 데이터 처리 장치를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 인터페이스 120는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지정 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.
또한, 사용자 인터페이스 120는 음성 인식을 위한 음성 인식 장치를 포함할 수 있다. 예를 들어, 음성 인식 장치는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.
디스플레이 130는 화면을 디스플레이 한다. 구체적으로, 디스플레이 130는 프로세서 160의 제어에 따라서 소정 화면을 디스플레이 할 수 있다. 구체적으로, 디스플레이 130는 구강 스캐너 10에서 환자의 구강을 스캔하여 획득한 데이터에 근거하여 생성된 구강 이미지를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다. 또는, 디스플레이 130는 환자의 치과 치료와 관련되는 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
영상 처리부 140는 이미지의 생성 및/또는 처리를 위한 동작들을 수행할 수 있다. 구체적으로, 영상 처리부 140는 구강 스캐너 10로부터 획득된 로우 데이터를 수신하고, 수신된 데이터에 근거하여 구강 이미지를 생성할 수 있다. 구체적으로, 영상 처리부 140는 환자의 구강 이미지에 포함된 치아들을 치아 모델 템플릿을 이용하여 개별화함으로써 개별화된 치아를 획득할 수 있다. 이와 같은 영상 처리부 140는 도 3에 도시된 바와 같이 프로세서 160와 별도로 구비될 수도 있고, 영상 처리부 140는 프로세서 160 내에 포함될 수도 있다.
메모리 150는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리 150는 프로세서가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리는 프로세서 160가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한, 메모리 150는 구강 스캐너로부터 수신되는 데이터(예를 들어, 구강 스캔을 통하여 획득된 로우 데이터 등)를 저장할 수 있다. 또는, 메모리는 구강을 3차원적으로 나타내는 구강 이미지를 저장할 수 있다. 일 실시예에 따라 메모리 150는 구강 이미지에 포함된 치아들을 치아 모델 템플릿을 이용하여 개별화함으로써 개별화된 치아를 획득하는 하나 이상의 인스트럭션을 포함할 수 있다. 일 실시예에 따라 메모리 150는 구강 이미지에 포함된 치아들을 치아 모델 템플릿을 이용하여 개별화함으로써 개별화된 치아를 획득하기 위해 본 개시서에 개시된 방법을 수행하기 위한 하나 이상의 인스트럭션을 포함할 수 있다.
프로세서 160는 메모리 150에 저장된 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 제어한다. 여기서, 적어도 하나의 인스트럭션은 프로세서 160내에 포함되는 내부 메모리 또는 프로세서와 별도로 데이터 처리 장치 내에 포함되는 메모리 150에 저장되어 있을 수 있다.
구체적으로, 프로세서 160는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 데이터 처리 장치 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서가 소정 동작들이 수행되도록 데이터 처리 장치 내부에 포함하는 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 치아들을 스캔하여 생성된 구강 이미지를 획득하고, 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하고, 구강 이미지의 치아들을 곡률 분포에 따라 분리함으로써 복수개의 치아 조각들을 획득하고, 얼라인된 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써, 구강 이미지의 치아들을 개별화할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 얼라인된 각 템플릿 치아에 대응하는 치아 조각을 식별함으로써, 구강 이미지의 각 치아 조각과 각 템플릿 치아의 매핑 관계를 획득하고, 이러한 매핑 관계를 이용하여, 각 템플릿 치아에 매핑된 하나 이상의 치아 조각을 수집할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 구강 이미지에서 치은으로부터 상기 치아들을 분리하고, 치아들을 곡률 분포에 따라 분리함으로써 각 치아를 하나 이상의 치아 조각으로 분리할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 치아 모델 템플릿의 복수의 템플릿 치아들을 구강 이미지에 포함된 치아들에 대응되도록 위치시킬 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 각 템플릿 치아와 각 치아 조각의 오리엔테이션 조건을 이용하여 각 템플릿 치아에 대응하는 각 치아 조각을 식별할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하고, 식별된 치아 조각에서의 교차점에서의 법선 벡터와 정점에서의 법선 벡터 사이의 각이 임계치 미만이면, 치아 조각을 템플릿 치아에 대응되는 것으로 판단할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 각 템플릿 치아와 상기 각 치아 조각의 거리 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 거리 조건을 이용한 식별 동작을 위해, 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하고, 정점으로부터 교차점까지의 거리가 임계치 미만이면, 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 각 템플릿 치아와 각 치아 조각의 오리엔테이션 조건 및 거리 조건을 이용하여 각 템플릿 치아에 대응하는 각 치아 조각을 식별할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 오리엔테이션 조건 및 거리 조건을 이용하여 각 템플릿 치아에 대응하는 각 치아 조각을 식별을 위해, 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 치아 조각을 구성하는 3차원 메쉬의 교차점으로서, 정점으로부터 소정 거리 이내에 있는 교차점을 식별하고, 식별된 치아 조각에서의 교차점에서의 법선 벡터와 정점에서의 법선 벡터 사이의 각이 임계치 미만이면, 치아 조각을 템플릿 치아에 대응되는 것으로 판단할 수 있다.
일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 각 템플릿 치아에 매핑된 하나 이상의 치아 조각을 수집할 때, 복수의 템플릿 치아에 중복적으로 매핑된 치아 조각은 무시할 수 있다.
일 예에 따라 프로세서 160는, 내부적으로 적어도 하나의 내부 프로세서 및 내부 프로세서에서 처리 또는 이용될 프로그램, 인스트럭션, 신호, 및 데이터 중 적어도 하나 저장하기 위한 메모리 소자(예를 들어, RAM, ROM 등)을 포함하는 형태로 구현될 수 있다.
또한, 프로세서 160는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit)를 포함할 수 있다. 또한, 프로세서는 코어(Core)와 GPU를 통합한 SoC(System on Chip)로 구현될 수 있다. 또한, 프로세서는 싱글 코어 이상의 멀티 코어를 포함할 수 있다. 예를 들어, 프로세서는 듀얼 코어, 트리플 코어, 쿼드 코어, 헥사 코어, 옥타 코어, 데카 코어, 도데카 코어, 헥사 다시 벌 코어 등을 포함할 수 있다.
개시된 실시예에서, 프로세서 160는 구강 스캐너 10로부터 수신되는 이차원 이미지에 근거하여 구강 이미지를 생성할 수 있다.
구체적으로, 프로세서 160의 제어에 따라서 통신 인터페이스 110는 구강 스캐너 10에서 획득된 데이터, 예를 들어 구강 스캔을 통하여 획득된 로우 데이터(raw data)를 수신할 수 있다. 그리고, 프로세서 160는 통신 인터페이스에서 수신된 로우 데이터에 근거하여 구강을 3차원적으로 나타내는 3차원 구강 이미지를 생성할 수 있다. 예를 들어, 구강 스캐너는 광 삼각 방식에 따라서 3차원 이미지를 복원하기 위해서, 적어도 1개 이상의 카메라를 포함할 수 있고 구체적 일 실시예로 좌안 시야(Left Field of View)에 대응되는 L 카메라 및 우안 시야(Right Field of View)에 대응되는 R 카메라를 포함할 수 있다. 그리고, 구강 스캐너는 L 카메라 및 R 카메라 각각에서 좌안 시야(Left Field of View)에 대응되는 L 이미지 데이터 및 우안 시야(Right Field of View)에 대응되는 R 이미지 데이터를 획득할 수 있다. 계속하여, 구강 스캐너(미도시)는 L 이미지 데이터 및 R 이미지 데이터를 포함하는 로우 데이터를 데이터 처리 장치 100의 통신 인터페이스로 전송할 수 있다.
그러면, 통신 인터페이스 110는 수신되는 로우 데이터를 프로세서로 전달하고, 프로세서는 전달받은 로우 데이터에 근거하여, 구강을 3차원적으로 나타내는 구강 이미지를 생성할 수 있다.
또한, 프로세서 160는 통신 인터페이스를 제어하여, 외부의 서버, 의료 장치 등으로부터 구강을 3차원적으로 나타내는 구강 이미지를 직접 수신할 수 있을 것이다. 이 경우, 프로세서는 로우 데이터에 근거한 3차원 구강 이미지를 생성하지 않고, 3차원 구강 이미지를 획득할 수 있다.
개시된 실시예에 따라서, 프로세서 160가 '추출', '획득', '생성' 등의 동작을 수행한다는 것은, 프로세서 160에서 적어도 하나의 인스트럭션을 실행하여 전술한 동작들을 직접 수행하는 경우뿐만 아니라, 전술한 동작들이 수행되도록 다른 구성 요소들을 제어하는 것을 포함할 수 있다.
본 개시서에 개시된 실시예들을 구현하기 위해서 데이터 처리 장치 100는 도 3에 도시된 구성요소들의 일부만을 포함할 수도 있고, 도 3에 도시된 구성요소 외에 더 많은 구성요소를 포함할 수도 있다.
또한, 데이터 처리 장치 100는 구강 스캐너에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 여기서, 전용 소프트웨어는 전용 프로그램, 전용 툴(tool), 또는 전용 어플리케이션으로 호칭될 수 있다. 데이터 처리 장치 100가 구강 스캐너 10와 상호 연동되어 동작하는 경우, 데이터 처리 장치 100에 저장되는 전용 소프트웨어는 구강 스캐너 10와 연결되어 구강 스캔을 통하여 획득되는 데이터들을 실시간을 수신할 수 있다. 예를 들어, 메디트의 구강 스캐너인 i500 제품에서 구강 스캔을 통하여 획득된 데이터를 처리하기 위한 전용 소프트웨어가 존재한다. 구체적으로, 메디트에서는 구강 스캐너(예를 들어, i500)에서 획득된 데이터를 처리, 관리, 이용, 및/또는 전송하기 위한 소프트웨어인 'Medit Link'를 제작하여 배포하고 있다. 여기서, '전용 소프트웨어'는 구강 스캐너와 연동되어 동작 가능한 프로그램, 툴, 또는 어플리케이션을 의미하는 것이므로 다양한 제작자에 의해서 개발 및 판매되는 다양한 구강 스캐너들이 공용으로 이용할 수도 있을 것이다. 또한, 전술한 전용 소프트웨어는 구강 스캔을 수행하는 구강 스캐너와 별도로 제작 및 배포될 수 있다.
데이터 처리 장치 100는 i500 제품에 대응되는 전용 소프트웨어를 저장 및 실행할 수 있다. 전송 소프트웨어는 구강 이미지를 획득, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다. 여기서, 전용 소프트웨어는 프로세서에 저장될 수 있다. 또한, 전용 소프트웨어는 구강 스캐너에서 획득된 데이터의 이용을 위한 사용자 인터페이스를 제공할 수 있다. 여기서, 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 개시된 실시예에 따라서 생성되는 구강 이미지를 포함할 수 있다.
도 4는 개시된 실시예에 따라 데이터 처리 장치의 구강 이미지의 처리 방법을 나타내는 일 플로우차트이다. 도 4에 도시된 구강 이미지 처리 방법은 데이터 처리 장치 100를 통하여 수행될 수 있다. 따라서, 도 4에 도시된 구강 이미지의 처리 방법은 데이터 처리 장치 100의 동작들을 나타내는 흐름도가 될 수 있다.
도 4를 참조하면, 동작 410에서, 데이터 처리 장치 100는 치아들을 스캔하여 생성된 구강 이미지를 획득할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 치아들을 스캔하여 생성된 이차원 데이터를 도 1에 도시된 바와 같은 구강 스캐너 10으로부터 수신하고, 수신된 이차원 데이터를 기반으로 구강 이미지를 생성할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 치아들을 스캔하여 획득한 이차원 데이터를 기반으로 생성된 구강 이미지를 구강 스캐너 10로부터 수신할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 메모리에 저장된 구강 이미지를 획득할 수 있다.
동작 420에서, 데이터 처리 장치 100는 구강 이미지에 포함된 치아들을 곡률 분포에 따라 분할함으로써 복수개의 치아 조각들을 획득할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 구강 이미지 500를 곡률 분포에 따라서 치아 덩어리 510와 치은 520으로 분리할 수 있다. 다른 실시예에 따라 데이터 처리 장치 100는 구강 이미지 500를 인공지능을 이용한 신경망 네트워크를 이용하여 치아 덩어리 510와 치은 520으로 자동으로 분리할 수도 있다.
일 실시예에 따라서 데이터 처리 장치 100는 치아 덩어리 510를 곡률 분포에 따라서 복수개의 치아 조각들로 분리할 수 있다. 이때 하나의 치아의 경우에도 곡률 분포에 따라서 두개 이상의 치아 조각들로 분리될 수 있다. 따라서, 예를 들어, 치아 덩어리 510는 30개 내지 50개의 치아 조각들로 분리될 수 있다.
동작 430에서, 데이터 처리 장치 100는 구강 이미지의 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿 200을 얼라인할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 구강 이미지의 치아들에 치아 모델 템플릿 200을 얼라인할 때 다양한 자동 얼라인 알고리즘을 이용할 수 있고, 예를 들어, ICP (Iterative closest point) 알고리즘을 이용할 수 있다.
도 4에서는 동작 420에서 치아 조각들을 분리하고 동작 430에서 치아 모델 템플릿을 얼라인하는 것으로 도시되어 있지만, 실시예들은 이에 한정되는 것이 아님은 물론이다. 치아 조각들을 분리하는 동작과 치아 모델 템플릿을 얼라인하는 동작은 병렬적으로 수행될 수도 있고, 치아 모델 템플릿을 얼라인하는 동작 후에 치아 조각들을 분리하는 동작이 수행될 수도 있다.
동작 440에서, 데이터 처리 장치 100는 얼라인된 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써 구강 이미지의 치아들을 개별화할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 구강 이미지의 치아들에 정렬된 템플릿 치아에 기반하여, 템플릿 치아와 치아 조각의 오리엔테이션 조건(또는 법선 조건)을 이용하여 치아 조각에 대응하는 템플릿 치아를 식별할 수 있다. 오리엔테이션 조건(또는 법선 조건)은, 템플릿 치아의 법선 벡터와 치아 조각의 법선 벡터를 이용하여 템플릿 치아에 대응하는 치아 조각을 식별하기 위한 조건을 의미할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 오리엔테이션 조건으로서, 템플릿 치아의 법선 벡터와 치아 조각의 법선 벡터를 이용하여 템플릿 치아에 대응하는 치아 조각을 식별할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 각 템플릿 치아의 정점에서의 법선 벡터가 구강 이미지의 치아 조각과 만나는 교차점에서의 법선 벡터와의 각도를 이용하여 템플릿 치아와 치아 조각이 대응되는 지를 식별할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 각 템플릿 치아의 정점에서의 법선 벡터가 구강 이미지의 치아 조각과 만나는 교차점에서의 법선 벡터와의 각도가 임계 각도 미만이면 템플릿 치아와 치아 조각이 대응되는 것으로 식별하고, 임계 각도 이상이면 템플릿 치아와 치아 조각이 대응되지 않는 것으로 식별할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 각 템플릿 치아의 정점으로부터, 이러한 정점 에서의 법선 벡터가 구강 이미지의 치아 조각과 만나는 교차점 까지의 거리 조건을 이용하여 템플릿 치아와 치아 조각이 대응되는 지를 식별할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하고, 정점으로부터 교차점까지의 거리가 임계치 미만이면, 치아 조각을 템플릿 치아에 대응되는 것으로 판단할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 구강 이미지의 치아 조각들에 얼라인된 템플릿 치아에 기반하여, 템플릿 치아와 치아 조각의 거리 조건 및 오리엔테이션 조건을 이용하여 치아 조각에 대응하는 템플릿 치아를 식별할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 각 템플릿 치아의 정점에서 일정 거리 이내에 있으며 앞서 설명한 오리엔테이션 조건을 만족하는 치아 조각을 대응되는 치아 조각으로 식별할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 하나의 치아 조각에 복수개의 템플릿 치아가 매핑되어 있으면, 데이터 처리 장치 100는 복수개의 템플릿 치아에 공통으로 매핑된 치아 조각은 치아 조각 수집에 이용하지 않고 무시할 수 있다.
개시된 실시예에 따른 구강 이미지의 처리 방법은, 이하에서 도 5 내지 도 16을 참조하여 상세히 설명하도록 한다.
데이터 처리 장치 100는 구강 이미지에 포함된 치아들을 곡률 분포에 따라 분리함으로써 복수개의 치아 조각들을 획득할 수 있다. 이때 먼저, 데이터 처리 장치 100는 구강 이미지에 포함된 치아들을 곡률 분포에 따라 분리함으로써 치아 덩어리와 치은으로 분리할 수 있다. 또한 데이터 처리 장치 100는 치아 덩어리를 곡률 분포에 따라 분리함으로써 복수개의 치아 조각들로 분리할 수 있다.
먼저, 구강 스캐너를 이용하여 획득한 결과 데이터에 따른 삼차원 메쉬 구조 및 곡률 분포의 개념을 설명한다.
도 5는 일 실시예에 따라 구강 스캐너를 이용하여 획득한 결과 데이터의 삼차원 메쉬 구조의 일 예를 나타낸다.
구강 스캐너를 이용하여 이차원 데이터가 획득되었을 때 데이터 처리 장치 100는 삼각 측량 방법을 사용하여 복수의 조명된 표면 포인트의 좌표를 계산할 수 있다. 구강 스캐너를 이용하여 대상체의 표면을 이동하면서 스캔함으로써 스캔 데이터의 양이 증가함에 따라 표면 포인트의 좌표들이 누적될 수 있다. 이러한 이미지 획득의 결과로서, 정점들의 포인트 클라우드가 식별되어 표면의 범위를 나타낼 수 있다. 포인트 클라우드 내의 포인트는 객체의 3 차원 표면 상의 실제 측정된 포인트를 나타낼 수 있다. 표면 구조는 포인트 클라우드의 인접한 정점이 라인 세그먼트에 의해 연결된 다각형 메쉬를 형성함으로써 근사화될 수 있다. 다각형 메쉬는 삼각형, 사각형, 오각형 메쉬 등 다양하게 결정될 수 있다. 이와 같은 메쉬 모델의 다각형 및 이웃하는 다각형 간의 관계는 치아 경계의 특징, 예를 들어, 곡률, 최소 곡률, 에지, 공간 관계 등을 추출하는 데 사용될 수 있다.
도 5를 참조하면, 구강 이미지 500의 영역 501은 포인트 클라우드를 구성하는 복수의 정점들 및 인접한 정점들을 선으로 연결함으로써 생성된 삼각형 메쉬로 구성될 수 있다.
도 5 및 도 8은 곡률 분포를 이용하여 치아와 치은의 분리 및 치아 덩어리를 조각내는 것을 설명하기 위한 참조도면으로, 표면의 주어진 어느 점 P에서의 프린서플 곡률(principal curvatures)는 표면이 그 주어진 점 P에서 서로 다른 방향으로 얼만큼 굽어있는가를 나타내는 척도를 나타낼 수 있다. 구체적으로, 삼차원 표면의 각 점 P에서 법선 벡터(normal vector)를 정의할 수 있고, 점 P에서의 법선 벡터를 포함하는 평면을 법선 벡터 평면(normal plane)이라 하는데, 상기 법선 벡터 평면들은 모두 점 P에서의 표면에 탄젠트한 법선 벡터를 가진다.
점 P 부근의 표면을 서로 다른 법선 벡터 평면으로 잘랐을 때, 각 단면으로 만들어내는 곡선(curve)의 곡률(curvature)은 서로 다른 크기의 값을 가질 수 있으며, 이러한 곡률들 중 고유한 특성을 갖는 것이 프린서플 곡률(principal curvatures) k1, k2이다.
점 P에서의 프린서플 곡률 k1, k2는 다음과 같이 정의될 수 있다.
k1은 곡면 상의 임의의 점 P의 법선 벡터를 포함하는 평면인 법선 벡터 평면과 곡선이 이루는 무수히 많은 단면에서의 곡률들 중 그 절대값이 가장 큰 값을 나타낸다.
k2는 k1이 평가된 법선 벡터 평면과 직교하는 법선 벡터 평면에서 평가된 곡률을 나타낸다.
각 프린서플 곡률은 각 법선 벡터 평면에서의 1/곡률반경에 해당한다.
도 8은 일 실시예에 따라 구강 이미지에 대응하는 곡률 분포를 맵으로 나타낸 것이다.
도 8을 참조하면, 구강 이미지를 구성하는 메쉬 구조의 각 정점에서 평가된 프린서플 곡률 k1, k2를 사용해서 상기 k1, k2 중 작은 값의 분포(min(k1, k2)) 를 맵으로 표시한 것이다. 예를 들어, 데이터 처리 장치 100는 도 8에 도시된 맵에서 min(k1, k2) 값이 일 실시예로 -2 보다 작은 부분을 잘라내서 조각을 냄으로써 치아와 치은의 분리 및 치아 덩어리를 복수개의 치아 조각들로 분리할 수 있다.
도 6은 일 실시예에 따라 구강 이미지를 치아 덩어리와 치은으로 분리하는 방법을 설명하기 위한 참고도이다.
도 6을 참조하면, 구강 스캐너에 의해 획득된 구강 이미지 500는 치아 덩어리 510과 치은 520을 포함하기 때문에 데이터 처리 장치 100는 구강 이미지 500를 곡률 분포에 따라서 분할함으로써 치은 520으로부터 치아 덩어리 510을 분리할 수 있다. 데이터 처리 장치 100는 치아 덩어리 510와 치은 520의 경계를 분리할 수 있는 적절한 곡률 임계치를 결정하고, 결정된 곡률 임계치 보다 작은 곡률 값을 가지는 부분을 분리함으로써, 치아 덩어리 510과 치은 520을 분리할 수 있다.
데이터 처리 장치 100는 소정의 곡률 값을 기준으로 치아 덩어리와 치은을 분리하고 나서, 치아 덩어리에 해당하는 영역의 데이터를 이용하여 후속 처리를 할 수 있다.
도 7은 일 실시예에 따라 치아 덩어리를 복수개의 치아 조각들로 분리하는 방법을 설명하기 위한 참고도이다.
도 7을 참조하면, 구강 이미지 500에서 치은 520으로부터 분리된 치아 덩어리 510는 곡률을 따라서 복수개의 치아 조각들로 분리될 수 있다. 치아 덩어리 510가 복수개의 치아 조각들로 분리될 때, 치아 덩어리 510에 포함된 각각의 치아가 치아 조각으로 될 수 있을 뿐만 아니라, 하나의 치아도 곡률에 따라서 복수개의 치아 조각들로 분리될 수 있다. 데이터 처리 장치 100는 치아 덩어리 510에서 각 치아 조각의 경계를 분리할 수 있는 적절한 곡률 임계치를 결정하고, 결정된 곡률 임계치 보다 작은 곡률 값을 가지는 부분을 분리함으로써, 치아 덩어리 510를 복수개의 치아 조각으로 분리할 수 있다. 예를 들어, 도 7을 참조하면, 치아 511는 5개의 치아 조각 C1, C2, C3, C4, C5로 분리될 수 있다. 따라서, 치아 덩어리 510는 예를 들어 30개에서 50개의 치아 조각들로 분리될 수 있다.
일 실시예에 따라서 데이터 처리 장치 100는 구강 이미지에서 치아 덩어리와 치은을 분리하는데 이용하는 곡률 임계치와, 치아 덩어리에서 복수의 치아 조각들로 분리하는데 이용되는 곡률 임계치를 동일한 값으로 결정하고, 한번에 구강 이미지 510에서 복수개의 치아 조각들을 분리해낼 수 있다.
다른 실시예에 따라서 데이터 처리 장치 100는 구강 이미지에서 치아 덩어리와 치은을 분리하는데 이용하는 곡률 임계치를 제1값으로 결정하고, 치아 덩어리에서 복수의 치아 조각들로 분리하는데 이용되는 곡률 임계치를 제2값으로 결정함으로써, 먼저, 곡률 임계치의 제1값을 이용하여 구강 이미지에서 치아 덩어리와 치은을 분리하고 나서, 다음 곡률 임계치의 제2값을 이용하여 치아 덩어리에서 복수의 치아 조각들을 분리해낼 수도 있다.
도 9는 일 실시예에 따라 구강 이미지의 치아 덩어리에 치아 모델 템플릿을 정렬시키는 방법을 설명하기 위한 참고도이다.
치아 모델 템플릿 200는 가장 이상적인 치열을 나타내는 3D 치아 모델 데이터를 나타낼 수 있다. 치아 모델 템플릿 200는 각각의 템플릿 치아가 이상적인 형상을 가지고 또한 이들 템플릿 치아들의 이상적인 배열 상태를 가지는 치아 데이터로서, 치아 모델 템플릿 200의 각 템플릿 치아에는 치아의 번호가 붙여져 있다. 치아 모델 템플릿 200는 각 템플릿 치아에 대한 형상 데이터, 각 치아에 대한 위치 데이터, 및 각 치아의 치아 번호를 포함할 수 있다. 도 9를 참조하면, 예를 들어, 치아 모델 템플릿 200는 14개의 치아로 이루어져 있으며, 각 치아에는 왼쪽 어금니로부터 1번으로 시작하여 순차적으로 14번까지 치아 번호가 매겨져 있다.
데이터 처리 장치 100는 치아 덩어리 510에 치아 모델 템플릿 200를 얼라인시킬 수 있다. 치아 모델 템플릿 200는 치아 모델 템플릿 200 고유의 좌표계에 따른 위치 정보를 가지고 있고, 치아 덩어리 510 또한, 구강 스캐너에 의해 구강 이미지가 획득됨에 따라 결정되는 고유 좌표계에 따른 위치 정보를 가지고 있다. 치아 덩어리 510에 치아 모델 템플릿 200를 얼라인시킨다는 것은, 치아 덩어리 510의 위치 정보 및 치아 모델 템플릿 200의 위치 정보를 이용하여 치아 덩어리 510의 대응되는 위치에 치아 모델 템플릿 200를 위치시키는 것을 나타낼 수 있다. 데이터 처리 장치 100가 치아 모델 템플릿 200를 치아 덩어리 510에 얼라인시킬 때, 다양한 얼라인(align) 알고리즘을 이용할 수 있으며, 예를 들어, 알려진 Iterative closest point (ICP)와 같은 알고리즘을 이용할 수 있다. ICP는 두 개의 포인트 클라우드 사이를 최소화하기 위한 알고리즘으로서, 서로 다른 스캔 데이터로부터 2D 또는 3D 표면을 재구성하는데 이용되는 알고리즘이다. ICP 알고리즘은 레퍼런스라고 불리우는 포인트 클라우드를 고정시키고, 소오스라고 불리우는 포인트 클라우드를 레퍼런스에 가장 잘 매칭되도록 변형시킨다. ICP 알고리즘은 소오스로부터 레퍼런스까지의 거리를 나타내는 에러 메트릭(error metric)을 최소화하는데 필요한 변형 (이동(translation)과 회전(rotation)의 결합)을 반복적으로 수정함으로써, 3차원 모델을 정렬할 수 있다. 얼라인 알고리즘은 ICP 이외에도 다양한 알고리즘이 이용될 수 있으며, 예를 들어, Kabsch algorithm이 이용될 수도 있다.
데이터 처리 장치 100가 치아 모델 템플릿 200을 구강 이미지 500로부터 추출된 치아 덩어리 510에 얼라인시킬 때, Iterative closest point (ICP) 알고리즘을 이용하는 경우, 치아 덩어리 510에 대응하는 포인트 클라우드가 레퍼런스가 되고, 치아 모델 템플릿 200에 대응하는 포인트 클라우드가 소오스가 될 수 있다.
데이터 처리 장치 100는 치아 덩어리 510에서 첫 번째 치아에 가장 가까운 형상을 가진 치아를 치아 모델 템플릿 200에서 찾은 결과, 치아 모델 템플릿 200의 치아 번호 1에 해당하는 치아가 치아 덩어리 510의 첫번째 치아에 가장 가까운 형상을 가진 치아임을 판단할 수 있다. 이와 같이 치아 덩어리 510의 치아 별로 가장 가까운 치아를 치아 모델 템플릿 200에서 찾아서 위치시킴으로써 치아 모델 템플릿 200을 치어 덩어리 510에 얼라인시킴으로써, 치아 덩어리와 치아 모델 템플릿의 얼라인 데이터 900를 획득할 수 있다. 도 9를 참조하면, 얼라인 데이터 900은 치아 덩어리 510에 치아 모델 템플릿 200이 오버레이되어 얼라인됨으로써, 얼라인 데이터 900에서 치아 덩어리 510는 실선으로 표시되어 있고 치아 모델 템플릿 200는 점선으로 표시되어 있다.
도 10은 일 실시예에 따라 치아 덩어리의 각 치아 조각과 상기 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
일 실시예에 따라 데이터 처리 장치 100는 치아 덩어리의 각 치아 조각과 상기 각 템플릿 치아의 매핑 관계를 획득하기 위해 템플릿 치아와 치아 조각의 오리엔테이션 조건(법선 조건)을 이용하여 치아 조각에 대응하는 템플릿 치아를 식별할 수 있다. 오리엔테이션 조건은, 템플릿 치아의 법선 벡터와 치아 조각의 법선 벡터를 이용하여 템플릿 치아에 대응하는 치아 조각을 식별하기 위한 조건을 나타낼 수 있다. 좀더 구체적으로, 데이터 처리 장치 100는 각 템플릿 치아의 정점에서의 법선 벡터가 구강 이미지의 치아 조각과 만나는 교차점에서의 법선 벡터와의 각도를 이용하여 템플릿 치아와 치아 조각이 대응되는 지를 식별할 수 있다. 데이터 처리 장치 100는 각 템플릿 치아의 정점에서의 법선 벡터가 구강 이미지의 치아 조각과 만나는 교차점에서의 법선 벡터와의 각도가 임계 각도 미만 이면 템플릿 치아와 치아 조각이 대응되는 것으로 식별하고, 임계 각도 이상 이면 템플릿 치아와 치아 조각이 대응되지 않는 것으로 식별할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 치아 덩어리의 각 치아 조각과 상기 각 템플릿 치아의 매핑 관계를 획득하기 위해 템플릿 치아와 치아 조각의 거리 조건 및 오리엔테이션 조건을 이용하여 치아 조각에 대응하는 템플릿 치아를 식별할 수 있다. 일 실시예에 따라 데이터 처리 장치 100는 각 템플릿 치아의 정점에서 일정 거리 이내에 있으며 앞서 설명한 오리엔테이션 조건을 만족하는 치아 조각을 대응되는 치아 조각으로 식별할 수 있다.
데이터 처리 장치 100는 템플릿 치아의 모든 정점들에 대해서 도 10에서 설명된 바와 같은 오리엔테이션 조건 또는 오리엔테이션 조건 및 거리 조건을 이용하여 치아 조각에 대응하는 템플릿 치아를 식별함으로써, 치아 덩어리의 각 치아 조각과 치아 모델 템플릿의 모든 템플릿 치아의 매핑 관계를 획득할 수 있다.
이하에서는 도 11 내지 도 16을 참조하여 오리엔테이션 조건과 거리 조건을 이용하여 치아 덩어리의 각 치아 조각과 치아 모델 템플릿의 각 템플릿 치아의 매핑 관계를 획득하는 방법을 구체적으로 설명한다.
도 11은 일 실시예에 따라 치아 덩어리와 치아 모델 템플릿이 얼라인된 데이터의 일부 영역을 나타낸다.
템플릿 치아와 치아 덩어리의 치아 조각들 간의 매핑 관계를 획득하는 방법의 설명을 위해 얼라인 데이터의 일부 영역은 예를 들어 도 11에서와 같이 치아 템플릿 모델의 템플릿 치아 T1, T2, T3 및 치아 조각 C1, C2, C3, C4, C5, C6, C7을 포함한다고 고려한다.
도 12는 일 실시예에 따라 오리엔테이션 조건 및 거리 조건을 이용하여 치아 덩어리의 각 치아 조각과 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
도 12를 참조하면, 일 예에 따라 치아 템플릿 T1과 치아 조각 C1을 이용하여 매핑 관계를 획득하는 방법을 설명한다.
데이터 처리 장치 100는 치아 템플릿 T1을 구성하는 다각형 메쉬 구조의 모든 정점에 대해서, 각 정점에서의 법선 벡터 N이 치아 조각을 구성하는 다각형 메쉬 구조와 만나는 교차점을 찾을 수 있다. 그리고 찾아진 치아 조각 메쉬 구조의 교차점에서의 법선 벡터가 치아 템플릿 T1의 정점에서의 법선 벡터와 이루는 각도를 확인할 수 있다. 치아 템플릿의 어떤 정점에서의 법선 벡터와 치아 조각에서의 법선 벡터가 이루는 각도가 임계치 이하이면, 해당 치아 템플릿의 정점 부분은 찾아진 치아 조각과 대응되는 것을 나타내는 매핑 관계를 결정할 수 있다. 이와 같은 작업을 치아 템플릿 T1을 구성하는 다각형 메쉬 구조의 모든 정점에 대해서 수행함으로써, 데이터 처리 장치 100는 치아 템플릿 T1의 모든 정점들에 대해서 매핑관계에 있는 치아 조각을 식별할 수 있다. 도 12에서는 치아 템플릿 T1을 구성하는 다각형 메쉬 구조의 정점들 중에서 일부 정점인 V1 내지 V16을 도시하고 있다.
치아 템플릿 T1을 구성하는 정점 V7을 포함하는 부분 A을 참조하여 오리엔테이션 조건과 거리 조건을 이용하여 매핑 관계를 획득하는 방법을 구체적으로 설명한다.
데이터 처리 장치 100는 템플릿 치아 T1을 구성하는 다각형 메쉬 구조의 정점 V7에서의 법선 벡터 N1이 제1방향에서 치아 조각 C1을 구성하는 메쉬 표면과 만나는 교차점 CR7을 찾을 수 있다. 법선 벡터 N1이 치아 조각 C1을 구성하는 메쉬 표면과 만나는 교차점 CR7은 치아 조각 C1을 구성하는 메쉬 구조의 정점일 수도 있고, 치아 조각 C1을 구성하는 메쉬 구조의 다각형의 면이 될 수 있다.
데이터 처리 장치 100는 법선 벡터 N1이 치아 조각 C1을 구성하는 메쉬 표면과 만나는 교차점 CR7에서의 법선 벡터 N2를 획득할 수 있다. 교차점 CR7이 치아 조각 C1의 정점에 있다면, 법선 벡터 N2는 정점인 CR7에서의 법선 벡터가 될 것이고, 교차점 CR7이 치아 조각 C1의 삼각형 면에 있다면, 법선 벡터 N2는 삼각형 면에서의 법선 벡터가 될 것이다.
데이터 처리 장치 100는 법선 벡터 N1과 법선 벡터 N2가 이루는 사잇각을 식별하고, 사잇각이 임계치 미만이면 템플릿 치아 T1의 정점 V7과 치아 조각 C1은 매핑되는 것으로 판단할 수 있다. 따라서 데이터 처리 장치 100는 템플릿 치아 T1의 정점 V7에 대해서 (V7:C1)과 같은 매핑 관계를 획득할 수 있다. 예를 들어, 매핑 여부를 판가름하는 사잇각의 임계치는 템플릿 치아와 실제 스캔 치아 형상의 유사한 정보 또는 얼라인 알고리즘의 신뢰도(정확도) 중 적어도 하나에 기반하여 결정될 수 있다. 매핑 여부를 판가름하는 사잇각의 임계치는 위와 같은 조건을 고려하여 다양하게 결정될 수 있으며, 예를 들어, 20도에서 45도 범위에서 결정될 수 있다. 예를 들어, 매핑 여부를 판가름하는 사잇각의 임계치를 30도로 결정하는 경우, 사잇각이 30도 미만이면 해당 템플릿 치아는 해당 치아 조각에 매핑되는 것으로 판단할 수 있다. 그리고 사잇각이 30도 이상인 경우에 해당 템플릿 치아는 해당 치아 조각에 매핑되지 않는 것으로 판단할 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 치아 템플릿 T1을 구성하는 다각형 메쉬 구조의 정점에서 법선 벡터 N이 치아 조각을 구성하는 다각형 메쉬 구조와 만나는 교차점을 찾을 때, 제1방향 뿐만 아니라 제2방향으로도 교차점을 찾을 수 있다. 예를 들어, B 영역을 보면, 치아 조각 C1의 표면은 템플릿 T1을 구성하는 메쉬의 정점들 V11 내지 V16 보다 안 쪽에 있다. 따라서 B 영역의 경우에는 데이터 처리 장치 100는 템플릿 치아의 정점에서의 법선 벡터와 치아 조각 C1을 구성하는 메쉬의 교차점을 제2방향에서 찾을 수 있다.
일 실시예에 따라 데이터 처리 장치 100는 템플릿 치아와 치아 조각의 매핑 관계 획득시에 위 설명한 바와 같이 법선 벡터를 이용한 오리엔테이션 조건 외에 거리 조건을 더 이용할 수 있다. 즉, 데이터 처리 장치는 템플릿 치아 T1의 정점에서의 법선 벡터가 치아 조각 C1의 메쉬 표면과 만나는 교차점이 미리 정한 거리 임계치 이내에 있는 경우에, 오리엔테이션 조건을 만족하는지 판단하고, 교차점이 미리 정한 거리 임계치 이내에 있지 않은 경우에는 오리엔테이션 조건을 만족하는지 판단함 없이 매핑관계에서 제외시킬 수 있다. 거리 임계치는 템플릿 치아와 실제 스캔 치아 형상의 유사한 정보 또는 얼라인 알고리즘의 신뢰도(정확도) 중 적어도 하나에 기반하여 결정될 수 있다. 거리 임계치는 위와 같은 조건을 고려하여 다양하게 결정될 수 있으며, 예를 들어 데이터 처리 장치 100가 거리 임계치를 0.5mm로 결정한 경우, 데이터 처리 장치 100는 템플릿 치아 T1의 정점에서의 0.5mm 이내에 있는 교차점을 찾을 수 있다. 데이터 처리 장치 100는 템플릿 치아 T1의 정점으로부터 0.5mm 이내에 있지 않은 교차점은 해당 교차점이 비록 오리엔테이션 조건을 만족시킨다 하더라도 매핑관계에서 제외시킬 수 있다. 위에서 예를 든 0.5 mm 는 일 예 따른 것이고, 거리 임계치는 경험이나 실험치를 토대로 다양하게 결정될 수 있다. 이는 템플릿 치아 T1의 정점과 치아 조각의 어느 부분이 오리엔테이션이 유사하더라도 거리상으로 멀리 있으면 이러한 치아 조각 부분은 매핑 관계에서 고려하지 않겠다는 것을 나타낸다.
도 13은 일 실시예에 따라 오리엔테이션 조건 및 거리 조건을 이용하여 치아 덩어리의 각 치아 조각과 각 템플릿 치아의 매핑 관계를 획득하는 방법을 설명하기 위한 참고도이다.
도 13을 참조하면, 구강 이미지의 어떤 치아는 치아 조각 C2, C3, C4로 분리될 수 있다. 이러한 경우 템플릿 치아 T2와 치아 조각 C2, C3, C4의 매핑 관계를 설명한다.
템플릿 치아 T2의 메쉬 표면은 더 많은 수의 정점들로 구성될 수 있지만, 도 13에서는 설명의 편의상 템플릿 치아 T2의 정점 V1 내지 V14가 도시되어 있다. 데이터 처리 장치 100는 템플릿 치아 T2의 각 정점에서의 법선 벡터가 치아 조각 C2, C3, C4의 메쉬 표면과 만나는 교차점의 법선 벡터의 사잇각을 기반으로 매핑 관계를 정리함으로서, (V1:C2), (V2:C2), (V3:C2), (V4:C2), (V5:C2), (V6:C2), (V7:C3), (V8:C3), (V9:C3), (V10:C4), (V11:C4), (V12:C4), (V13:C4), (V14:C4)와 같은 매핑 관계를 획득할 수 있다.
이와 같은 템플릿 치아 T2의 각 정점과 치아 조각과의 매핑 관계를 정리하면, 템플릿 치아 T2에는 치아 조각 C2, C3, C4가 각각 매핑되는 것으로 확인할 수 있다.
도 14는 일 실시예에 따라 하나의 치아 조각이 중복적으로 복수개의 템플릿 치아에 매핑되는 경우를 설명하기 위한 참고도이다.
구강 이미지의 어떤 치아 조각은 복수의 템플릿 치아에 매핑되는 관계를 가질 수 있다. 데이터 처리 장치 100는 복수의 템플릿 치아에 중복적으로 매핑되는 치아 조각은 매핑 관계에서 제외시킬 수 있다.
도 14를 참조하면, 치아 조각 C4는 템플릿 치아 T2에도 매핑되고 템플릿 치아 T3에도 매핑되는 관계를 나타낸다. 즉, 템플릿 치아 T2의 정점 V1에서의 법선 벡터가 치아 조각 C4와 만나는 교차점 CR1에서의 법선 벡터와 이루는 사잇각이 임계치 미만일 때 데이터 처리 장치 100는 템플릿 치아 T2가 치아 조각 C4와 매핑되는 것으로 결정할 수 있다. 또한, 템플릿 치아 T3에서의 정점 V2에서의 법선 벡터가 치아 조각 C4와 만나는 교차점 CR2에서의 법선 벡터와 이루는 사잇각이 임계치 미만일 때 데이터 처리 장치 100는 템플릿 치아 T3가 치아 조각 C4와 매핑되는 것으로 결정할 수 있다.
이와 같이 하나의 치아 조각 C4가 템플릿 치아 T2에도 매핑되고 템플릿 치아 T3에도 매핑되는 것과 같이 중복적으로 매핑되는 경우 데이터 처리 장치 100는 복수의 템플릿 치아에 중복적으로 매핑되는 치아 조각 C4는 매핑 관계에서 제외시킬 수 있다.
선택적으로, 데이터 처리 장치 100는 복수의 템플릿 치아에 중복적으로 매핑되는 치아 조각은 제외시키지 않고 보다 유사하다고 판단되는 템플릿 치아에 매핑시킬 수 있다.
상기 유사도는, 매핑되는 빈도, 영역, 각도 및 거리 등을 적절히 조합해서 평가될 수 있다.
도 15는 일 실시예에 따라 치아 조각과 템플릿 치아의 매핑 관계를 이용하여 템플릿 치아에 매핑된 하나 이상의 치아 조각을 수집함으로써, 구강 이미지의 치아들을 개별화하는 방법을 설명하기 위한 참고도이다.
도 15를 참조하면, 데이터 처리 장치 100는 앞서 설명한 바와 같은 오리엔테이션 조건 및 거리 조건을 이용하여 구강 이미지의 치아 조각들 C1, C2, C3, C4, C5, C6, C7 에 대해서, C1:T1, C2:T2, C3:T2, C4:T2, T3, C5:T3, C6:T3, C7:T3 와 같은 매핑 관계를 얻을 수 있다. 데이터 처리 장치 100는 이러한 매핑 관계의 역을 취해서 템플릿 치아 기준으로, 각 템플릿 치아에 매핑되는 하나 이상의 치아 조각들을 수집함으로써 각 템플릿 치아에 대응하는 치아를 개별화할 수 있다. 즉, 데이터 처리 장치 100는 위 매핑 관계를 템플릿 치아 기준으로 정리함으로써, T1:C1, T2:C2, C3, T3:C5, C6, C7 와 같은 대응 관계를 얻을 수 있다. 이는 템플릿 치아 T1은 치아 조각 C1에 대응되고, 템플릿 치아 T2는 치아 조각 C2와 C3에 대응되고, 템플릿 치아 T3는 치아 조각 C5, C6, C7에 대응됨을 나타낸다. 한편, 치아 조각 C4의 경우에는 복수개의 서로 다른 템플릿 치아 T2와 T3에 중복적으로 매핑되어 있으므로, 치아 조각 C4는 각 템플릿 치아에 매핑되는 하나 이상의 치아 조각들을 수집하는 동작에는 이용되지 않고 제외될 수 있다. 이와 같이 치아 조각들의 수집에서 제외되는 치아 조각으로 인해 치아를 개별화할 때 발생할 수 있는 빈 공간은 표면 재구성(surface reconstruction), 메쉬 홀 필링(mesh hole filling), 메쉬 재구성(mesh reconstruction) 등에 의해 자연스럽게 메꿔질 수 있다.
데이터 처리 장치 100는 이와 같이 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써 각 템플릿 치아에 대응하는 치아를 결정할 수 있다. 데이터 처리 장치 100는 각 템플릿 치아에 대응하는 치아를 결정하면 적절한 후처리를 통해서 치아 모델을 완성할 수 있다. 데이터 처리 장치 100는 각 템플릿 치아에 대응하는 치아를 결정하면, 템플릿 치아에 관한 정보를 이용하여 대응하는 치아의 정보, 즉, 치아의 위치, 방위, 자세 (pose 또는 attitude) 관련 정보나 치아의 치아 번호 등을 결정할 수 있다. 구체적으로, 데이터 처리 장치 100는 템플릿 치아가 가진 치아의 방위 정보, 예를 들어, buccal, lingual, distal, mesial 와 같은 정보를 대응하는 스캔 치아에 전사(transfer)할 수 있다.
본 개시의 일 실시예에 따른 구강 이미지의 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시예는, 구강 이미지의 처리 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 구강 이미지의 처리 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 구체적으로, 개시된 실시예에 따른 컴퓨터 프로그램 제품은 개시된 실시예에 따른 구강 이미지의 처리 방법을 수행하기 위해 적어도 하나의 인스트럭션을 포함하는 프로그램이 기록된 저장 매체를 포함할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
Claims (16)
- 구강 이미지의 처리 방법에 있어서,
치아들을 스캔하여 생성된 구강 이미지를 획득하는 동작,
상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하는 동작,
상기 구강 이미지의 치아들의 각 치아를 복수개의 치아 조각으로 분리함으로써 복수개의 치아 조각들을 획득하는 동작, 및
상기 얼라인된 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써, 상기 구강 이미지의 치아들을 개별화하는 동작을 포함하는, 구강 이미지의 처리 방법. - 제1항에 있어서,
상기 구강 이미지의 치아들을 개별화하는 동작은,
상기 얼라인된 각 템플릿 치아에 대응하는 치아 조각을 식별함으로써, 상기 구강 이미지의 각 치아 조각과 상기 각 템플릿 치아의 매핑 관계를 획득하는 동작, 및
상기 매핑 관계를 이용하여, 상기 각 템플릿 치아에 매핑된 하나 이상의 치아 조각을 수집하는 동작을 포함하는, 구강 이미지의 처리 방법. - 제1항에 있어서,
상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하는 동작은,
상기 치아 모델 템플릿의 상기 복수의 템플릿 치아들을 상기 구강 이미지에 포함된 치아들에 대응되도록 위치시키는 동작을 포함하는, 구강 이미지의 처리 방법. - 제1항에 있어서,
상기 구강 이미지의 치아들을 분리함으로써 복수개의 치아 조각들을 획득하는 동작은,
상기 치아들을 곡률 분포에 따라 분리함으로써 각 치아를 하나 이상의 치아 조각으로 분리하는 동작을 포함하는, 구강 이미지의 처리 방법. - 제1항에 있어서,
상기 구강 이미지의 치아들을 개별화하는 동작은,
상기 각 템플릿 치아와 각 치아 조각의 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작을 포함하는, 구강 이미지의 처리 방법. - 제5항에 있어서,
상기 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작은,
상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하는 동작, 및
상기 식별된 치아 조각에서의 교차점에서의 법선 벡터와 상기 정점에서의 법선 벡터 사이의 각이 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는 동작을 포함하는, 구강 이미지의 처리 방법. - 제1항에 있어서,
상기 구강 이미지의 치아들을 개별화하는 동작은,
상기 각 템플릿 치아와 각 치아 조각의 거리 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작을 포함하며,
상기 식별 동작은,
상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하는 동작, 및
상기 정점으로부터 상기 교차점까지의 거리가 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는 동작을 포함하는, 구강 이미지의 처리 방법. - 제1항에 있어서,
상기 구강 이미지의 치아들을 개별화하는 동작은,
상기 각 템플릿 치아와 각 치아 조각의 거리 조건 및 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작을 포함하며,
상기 거리 조건 및 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는 동작은,
상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점으로서, 상기 정점으로부터 소정 거리 이내에 있는 상기 교차점을 식별하는 동작, 및
상기 식별된 치아 조각에서의 교차점에서의 법선 벡터와 상기 정점에서의 법선 벡터 사이의 각이 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는 동작을 포함하는, 구강 이미지의 처리 방법. - 구강 이미지의 처리 장치에 있어서,
프로세서와 메모리를 포함하고,
상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써,
치아들을 스캔하여 생성된 구강 이미지를 획득하고,
상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하고,
상기 구강 이미지의 치아들의 각 치아를 복수개의 치아 조각으로 분리함으로써 복수개의 치아 조각들을 획득하고,
상기 얼라인된 각 템플릿 치아에 대응하는 하나 이상의 치아 조각을 수집함으로써, 상기 구강 이미지의 치아들을 개별화하는, 구강 이미지의 처리 장치. - 제9항에 있어서,
상기 구강 이미지의 치아들을 개별화하기 위해 상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써,
상기 얼라인된 각 템플릿 치아에 대응하는 치아 조각을 식별함으로써, 상기 구강 이미지의 각 치아 조각과 상기 각 템플릿 치아의 매핑 관계를 획득하는 동작, 및
상기 매핑 관계를 이용하여, 상기 각 템플릿 치아에 매핑된 하나 이상의 치아 조각을 수집하는 동작을 포함하는, 구강 이미지의 처리 장치. - 제9항에 있어서,
상기 구강 이미지에 포함된 치아들에, 복수의 템플릿 치아들을 포함하는 치아 모델 템플릿을 얼라인하기 위해, 상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써,
상기 치아 모델 템플릿의 상기 복수의 템플릿 치아들을 상기 구강 이미지에 포함된 치아들에 대응되도록 위치시키는, 구강 이미지의 처리 장치. - 제9항에 있어서,
상기 구강 이미지의 치아들을 분리함으로써 복수개의 치아 조각들을 획득하기 위해, 상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써,
상기 치아들을 곡률 분포에 따라 분리함으로써 각 치아를 하나 이상의 치아 조각으로 분리하는, 구강 이미지의 처리 장치. - 제9항에 있어서,
상기 구강 이미지의 치아들을 개별화하기 위해, 상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써,
상기 각 템플릿 치아와 각 치아 조각의 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하는, 구강 이미지의 처리 장치. - 제13항에 있어서,
상기 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하기 위해, 상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써,
상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하고,
상기 식별된 치아 조각에서의 교차점에서의 법선 벡터와 상기 정점에서의 법선 벡터 사이의 각이 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는, 구강 이미지의 처리 장치. - 제9항에 있어서,
상기 구강 이미지의 치아들을 개별화하기 위해, 상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써,
상기 각 템플릿 치아와 각 치아 조각의 거리 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하며,
상기 거리 조건을 이용한 각 치아 조각 식별을 위해,
상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점을 식별하고,
상기 정점으로부터 상기 교차점까지의 거리가 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는, 구강 이미지의 처리 장치. - 제9항에 있어서,
상기 구강 이미지의 치아들을 개별화하기 위해, 상기 프로세서는 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써,
상기 각 템플릿 치아와 각 치아 조각의 거리 조건 및 오리엔테이션 조건을 이용하여 상기 각 템플릿 치아에 대응하는 각 치아 조각을 식별하며,
상기 거리 조건 및 오리엔테이션 조건을 이용한 각 치아 조각 식별을 위해,
상기 템플릿 치아를 구성하는 3차원 메쉬의 각 정점에서의 법선 벡터와 상기 치아 조각을 구성하는 3차원 메쉬의 교차점으로서, 상기 정점으로부터 소정 거리 이내에 있는 상기 교차점을 식별하고,
상기 식별된 치아 조각에서의 교차점에서의 법선 벡터와 상기 정점에서의 법선 벡터 사이의 각이 임계치 미만이면, 상기 치아 조각을 상기 템플릿 치아에 대응되는 것으로 판단하는, 구강 이미지의 처리 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200138596A KR102606857B1 (ko) | 2020-10-23 | 2020-10-23 | 구강 이미지 처리 장치 및 구강 이미지 처리 방법 |
| US18/033,093 US20230394687A1 (en) | 2020-10-23 | 2021-09-28 | Oral image processing device and oral image processing method |
| EP21883038.8A EP4233782A1 (en) | 2020-10-23 | 2021-09-28 | Oral image processing device and oral image processing method |
| PCT/KR2021/013237 WO2022085966A1 (ko) | 2020-10-23 | 2021-09-28 | 구강 이미지 처리 장치 및 구강 이미지 처리 방법 |
| CN202180072220.3A CN116348061A (zh) | 2020-10-23 | 2021-09-28 | 口腔图像处理装置和口腔图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200138596A KR102606857B1 (ko) | 2020-10-23 | 2020-10-23 | 구강 이미지 처리 장치 및 구강 이미지 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220054095A KR20220054095A (ko) | 2022-05-02 |
| KR102606857B1 true KR102606857B1 (ko) | 2023-11-29 |
Family
ID=81290690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200138596A KR102606857B1 (ko) | 2020-10-23 | 2020-10-23 | 구강 이미지 처리 장치 및 구강 이미지 처리 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230394687A1 (ko) |
| EP (1) | EP4233782A1 (ko) |
| KR (1) | KR102606857B1 (ko) |
| CN (1) | CN116348061A (ko) |
| WO (1) | WO2022085966A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2965923T3 (es) * | 2019-07-09 | 2024-04-17 | Vita Zahnfabrik H Rauter Gmbh & Co Kg | Sistema de soporte para la fabricación de restauraciones dentales y sistema de restauración dental |
| WO2024014914A1 (ko) * | 2022-07-13 | 2024-01-18 | 주식회사 메디트 | 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체 |
| CN116492082B (zh) * | 2023-06-21 | 2023-09-26 | 先临三维科技股份有限公司 | 基于三维模型的数据处理方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190259220A1 (en) | 2018-02-20 | 2019-08-22 | Ivoclar Vivadent Ag | Dental Model Attributes Transfer |
| JP2020516335A (ja) | 2017-03-17 | 2020-06-11 | トロフィー | 動的歯列弓マップ |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017093563A1 (en) * | 2015-12-04 | 2017-06-08 | 3Shape A/S | Deriving tooth condition information for populating digital dental charts |
| US10483004B2 (en) * | 2016-09-29 | 2019-11-19 | Disney Enterprises, Inc. | Model-based teeth reconstruction |
| EP3462373A1 (en) * | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
-
2020
- 2020-10-23 KR KR1020200138596A patent/KR102606857B1/ko active IP Right Grant
-
2021
- 2021-09-28 US US18/033,093 patent/US20230394687A1/en active Pending
- 2021-09-28 EP EP21883038.8A patent/EP4233782A1/en active Pending
- 2021-09-28 CN CN202180072220.3A patent/CN116348061A/zh active Pending
- 2021-09-28 WO PCT/KR2021/013237 patent/WO2022085966A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020516335A (ja) | 2017-03-17 | 2020-06-11 | トロフィー | 動的歯列弓マップ |
| US20190259220A1 (en) | 2018-02-20 | 2019-08-22 | Ivoclar Vivadent Ag | Dental Model Attributes Transfer |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230394687A1 (en) | 2023-12-07 |
| CN116348061A (zh) | 2023-06-27 |
| EP4233782A1 (en) | 2023-08-30 |
| KR20220054095A (ko) | 2022-05-02 |
| WO2022085966A1 (ko) | 2022-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102606857B1 (ko) | 구강 이미지 처리 장치 및 구강 이미지 처리 방법 | |
| CN105447908B (zh) | 基于口腔扫描数据和cbct数据的牙列模型生成方法 | |
| US10049471B2 (en) | Unified coordinate system for multiple CT scans of patient lungs | |
| KR101744079B1 (ko) | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 | |
| KR101556992B1 (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
| WO2016143022A1 (ja) | 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法 | |
| JP2022516488A (ja) | 歯の位置合わせを用いた歯のセグメンテーション | |
| KR102460621B1 (ko) | 구강 이미지 처리 장치, 및 구강 이미지 처리 방법 | |
| US20220343528A1 (en) | Intraoral image processing apparatus, and intraoral image processing method | |
| KR20220056760A (ko) | 구강 이미지 처리 장치, 및 구강 이미지 처리 방법 | |
| KR102582709B1 (ko) | 삼차원 구강 모델을 처리하는 방법 및 장치 | |
| US20230390035A1 (en) | Oral image processing device and oral image processing method | |
| KR102631922B1 (ko) | 삼차원 구강 모델을 처리하는 방법 및 장치 | |
| EP4374819A1 (en) | Image processing apparatus and image processing method | |
| KR20210147729A (ko) | 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 | |
| KR102673346B1 (ko) | 삼차원 구강 모델 처리 장치 및 삼차원 구강 모델 처리 방법 | |
| KR102666198B1 (ko) | 구강 모델을 처리하는 데이터 처리 장치 및 그 동작 방법 | |
| KR102626888B1 (ko) | 삼차원 구강 모델 처리 장치 및 삼차원 구강 모델 처리 방법 | |
| KR102645173B1 (ko) | 구강 이미지 처리 장치, 및 구강 이미지 처리 방법 | |
| KR20230038117A (ko) | 구강 이미지를 처리하는 방법 및 데이터 처리 장치 | |
| KR102493440B1 (ko) | 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치 | |
| US20240077430A1 (en) | Image processing apparatus and image processing method | |
| KR20220166204A (ko) | 구강 이미지를 처리하는 데이터 처리 장치 및 구강 이미지 처리 방법 | |
| KR102520630B1 (ko) | 삼차원 구강 모델을 처리하는 방법 및 장치 | |
| KR20230007933A (ko) | 구강 모델을 처리하는 데이터 처리 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |