KR20220056765A - 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치 - Google Patents

3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치 Download PDF

Info

Publication number
KR20220056765A
KR20220056765A KR1020200165076A KR20200165076A KR20220056765A KR 20220056765 A KR20220056765 A KR 20220056765A KR 1020200165076 A KR1020200165076 A KR 1020200165076A KR 20200165076 A KR20200165076 A KR 20200165076A KR 20220056765 A KR20220056765 A KR 20220056765A
Authority
KR
South Korea
Prior art keywords
determining
model
area
region
reference point
Prior art date
Application number
KR1020200165076A
Other languages
English (en)
Other versions
KR102493440B1 (ko
Inventor
김두수
이승훈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to EP21886621.8A priority Critical patent/EP4238534A1/en
Priority to CN202180072440.6A priority patent/CN116457835A/zh
Priority to PCT/KR2021/014123 priority patent/WO2022092627A1/ko
Priority to US18/034,238 priority patent/US20230390032A1/en
Publication of KR20220056765A publication Critical patent/KR20220056765A/ko
Application granted granted Critical
Publication of KR102493440B1 publication Critical patent/KR102493440B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00Dental prostheses; Making same
    • A61C13/0003Making bridge-work, inlays, implants or the like
    • A61C13/0004Computer-assisted sizing or machining of dental prostheses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002Orthodontic computer assisted systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035Beam shaping or redirecting; Optical components therefor
    • A61B2018/20351Scanning mechanisms
    • A61B2018/20353Scanning in three dimensions [3D]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Abstract

본 개시의 일 측면은 구강에 대한 3차원 모델로부터 대상체에 대응하는 영역을 결정하는 방법에 있어서, 상기 3차원 모델을 획득하는 단계; 상기 3차원 모델 상에 시드 포인트를 결정하는 단계; 상기 시드 포인트에 기초하여 상기 3차원 모델 상에 기준 포인트를 결정하는 단계; 상기 기준 포인트에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정하는 단계; 및 상기 3차원 모델 상에 상기 결정된 영역을 표시하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.

Description

3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치{METHOD FOR DETERMINING REGION OF OBJECT FROM THREE DIMENSIONAL MODEL AND APPARATUS FOR PROCESSING THREE DIMENSIONAL MODEL}
본 개시는 3차원 모델을 처리하는 방법 및 장치에 관한 것으로, 보다 구체적으로는 구강에 대한 3차원 모델로부터 대상체에 대응하는 영역을 결정하는 방법 및 장치에 관한 것이다.
치과 치료, 특히 보철 등의 치료를 하는 데 있어 치과용CAD/CAM(Dental Computer Aided Design/Computer Aided Manufacturing) 기술이 널리 사용되고 있다. CAD/CAM을 이용한 치과 치료에서 가장 중요한 것은 환자의 치아, 잇몸, 턱뼈 등의 대상체의 형상에 대하여 정교한 3차원 데이터를 획득하는 것이다. 치과 치료를 수행함에 있어서, 대상체로부터 획득된 3차원 데이터를 이용하면, 컴퓨터에 의하여 정확한 계산이 수행될 수 있다는 장점이 있다.
예를 들어, 치과용 CAD/CAM 치료과정에서 대상체의 3차원 데이터를 획득하기 위해서는, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), 및 광학 스캐닝 등의 방법이 이용될 수 있다.
치과 CAD/CAM 분야에서는 3차원 스캔 장치가 많이 사용되고 있다. 3차원 스캔 장치는 대상체로부터 반사되는 빛을 이용하여 3차원 표면 형상 정보를 획득할 수 있으며, 예를 들어 치아의 인상체, 인상체에 대해서 획득된 석고 모형 또는 치아의 표면의 3차원 모델을 획득할 수 있다. 표면 데이터는, 폴리곤메쉬 형태로 기록되고, 대상체의 표면의 정점들의 위치 정보와 각 정점들의 연결 관계 정보를 포함할 수 있다. 또는, 표면 데이터는, 포인트 클라우드 형태로 기록되고, 대상체의 표면의 정점들의 위치 정보를 포함할 수 있다.
구강 및 석고 모형에 대한 스캔 데이터로부터 3차원 모델을 획득하면, 획득한 모델을 이용하여 보철물을 가상으로 디자인하거나 교정 계획을 수립할 수 있다.
가상 보철물 및 교정 계획을 디자인하기 위해서는 대상체(예를 들어, 개별 치아, 치은 등) 정보가 필요하며, 따라서, 3차원 모델에 대하여 대상체 영역을 설정하는 등의 정보를 부가할 수 있다.
하지만, 종래에는 대상체 영역을 선택하기 위해서는 3차원 모델로부터 대상체에 해당하는 영역을 수동으로 선택하는 방식이 이용되었다. 이에 따라, 대상체 영역을 수동으로 선택하는 과정에서 많은 시간이 소요되거나, 불필요한 영역이 설정되는 문제가 함께 존재하였다.
본 개시의 일 측면은 구강에 대한 3차원 모델로부터 대상체에 대응하는 영역을 결정하는 방법에 있어서, 상기 3차원 모델을 획득하는 단계; 상기 3차원 모델 상에 시드 포인트를 결정하는 단계; 상기 시드 포인트에 기초하여 상기 3차원 모델 상에 기준 포인트를 결정하는 단계; 상기 기준 포인트에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정하는 단계; 및 상기 3차원 모델 상에 상기 결정된 영역을 표시하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 기준 포인트를 결정하는 단계는, 상기 시드 포인트의 곡률 값에 기초하여 상기 기준 포인트를 결정하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 모델은, 3차원 스캔 장치에 의해 획득되고, 상기 구강 내의 복수의 치아들 및 치은의 표면의 형상 정보를 포함하고, 상기 대상체는, 치아 또는 치은인 것을 특징으로 하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 시드 포인트를 결정하는 단계는, 상기 3차원 모델을 디스플레이 하는 단계; 및 상기 디스플레이된 3차원 모델에 대한 사용자 입력에 기초하여, 상기 시드 포인트를 결정하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 기준 포인트를 결정하는 단계는, 상기 3차원 모델 상에 결정된 상기 시드 포인트의 곡률 값에 기초하여, 상기 기준 포인트를 결정하는 단계를 포함하고, 상기 시드 포인트의 곡률 값은, 상기 시드 포인트의 법선을 포함하는 노말 평면들과 상기 대상체의 곡면이 교차하는 곡선이 이루는 곡률 값들 중 절대값이 가장 큰 곡률 값(k1) 및 상기 노말 평면과 직교하고 상기 시드 포인트의 법선을 포함하는 직교 노말 평면이 상기 대상체의 곡면과 교차하는 곡선이 이루는 곡률 값(k2) 중 적어도 하나를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 기준 포인트를 결정하는 단계는, 상기 3차원 모델 상에 결정된 상기 시드 포인트의 곡률 값이 소정 범위 내의 값을 가지면, 상기 시드 포인트를 기준 포인트로서 결정하는 단계; 및 상기 시드 포인트의 곡률 값이 상기 소정 범위 내의 값을 갖지 않으면, 상기 소정 범위 내의 곡률 값을 갖는 다른 포인트를 기준 포인트로서 결정하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 대상체에 대응하는 영역을 결정하는 단계는, 상기 기준 포인트로부터 선택 영역을 점차 확장함으로써, 상기 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 제1 영역을 결정하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 대상체에 대응하는 영역을 결정하는 단계는, 상기 결정된 제1 영역으로부터 영역 확장 및 수축 처리를 반복함으로써 상기 대상체에 대응하는 제2 영역을 결정하는 단계를 더 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 대상체에 대응하는 영역을 결정하는 단계는, 상기 기준 포인트로부터 선택 영역을 점차 확장함으로써, 상기 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 제1 영역을 결정하는 단계를 포함하고, 상기 영역 결정 방법은, 사용자의 드래그 입력에 기초하여, 상기 임계 범위를 변경하는 단계; 및 상기 변경된 임계 범위에 기초하여, 제2 영역을 결정하는 단계를 더 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 시드 포인트를 결정하는 단계는, 상기 3차원 모델을 복수의 대상체들에 대응하는 영역들로 구분하는 세그멘테이션을 수행하는 단계; 및 상기 복수의 영역들 중 하나의 영역 상에 상기 시드 포인트를 결정하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 모델 상에 복수의 치아들 및 각 치아에 대응하는 치아 번호가 표시된 영상을 표시하는 단계; 및 상기 복수의 치아들 중 제1 치아를 상기 대상체로서 선택하는 사용자 입력을 수신하는 단계를 더 포함하고, 상기 기준 포인트를 결정하는 단계는, 상기 제1 치아 상의 상기 기준 포인트를 결정하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
본 개시의 다른 측면은 구강에 대한 3차원 모델을 처리하는 장치에 있어서,
상기 3차원 모델로부터 렌더링된 영상을 디스플레이 하는 디스플레이; 및 상기 3차원 모델 상에 시드 포인트를 결정하고, 상기 시드 포인트에 기초하여 상기 3차원 모델 상에 기준 포인트를 결정하고, 상기 기준 포인트에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정하고, 상기 3차원 모델 상에 상기 결정된 영역을 표시하도록 상기 디스플레이를 제어하는, 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는, 3차원 모델 처리 장치를 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 디스플레이는, 상기 3차원 모델을 디스플레이 하고, 상기 적어도 하나의 프로세서는, 상기 디스플레이된 3차원 모델에 대한 사용자 입력에 기초하여, 상기 시드 포인트를 결정하는 것을 특징으로 하는, 3차원 모델 처리 장치를 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는, 상기 기준 포인트로부터 선택 영역을 점차 확장함으로써, 상기 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 제1 영역을 결정하고, 상기 결정된 제1 영역으로부터 영역 확장 및 수축 처리를 반복함으로써 상기 대상체에 대응하는 제2 영역을 결정하는 것을 특징으로 하는, 3차원 모델 처리 장치를 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 디스플레이는, 상기 3차원 모델 상에 복수의 치아들 및 각 치아에 대응하는 치아 번호가 표시된 영상을 표시하고, 상기 적어도 하나의 프로세서는, 상기 복수의 치아들 중 제1 치아를 상기 대상체로서 선택하는 사용자 입력을 수신하고, 상기 제1 치아 상의 상기 기준 포인트를 결정하는 것을 특징으로 하는, 3차원 모델 처리 장치를 제공할 수 있다.
본 개시의 다른 측면은 3차원 모델로부터 영역을 결정하는 방법에 있어서, 구강에 대한 3차원 모델을 획득하는 단계; 상기 구강 내에서 선택하고자 하는 영역의 적어도 일부 영역을 결정하는 단계; 상기 결정된 적어도 일부 영역에 기초하여, 상기 3차원 모델로부터 상기 선택하고자 하는 영역에 대응하는 제1 영역을 결정하는 단계; 및 상기 결정된 제1 영역을 디스플레이 하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 적어도 일부 영역을 결정하는 단계는, 사용자 입력에 기초하여 상기 적어도 일부 영역을 결정하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 사용자 입력은, 클릭, 호버 및 드래그 중 적어도 하나의 제스처를 포함하는, 영역 결정 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 모델을 복수의 치아들 각각에 대응하는 복수의 영역들로 구분하는 세그멘테이션을 수행하는 단계를 더 포함하고, 상기 적어도 일부 영역을 결정하는 단계는, 상기 세그멘테이션된 3차원 모델에 기초하여, 상기 복수의 치아들 중 하나의 치아를 선택하는 단계; 및 상기 선택된 치아 상의 시드 포인트에 기초하여 상기 적어도 일부 영역을 결정하는 단계를 포함하는, 영역 결정 방법을 제공할 수 있다.
개시된 실시 예들에 따르면, 대상체 영역 선택의 정확도를 높이고 소요 시간을 단축시킬 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미할 수 있다.
도 1은 일 실시 예에 따른 3차원 모델 처리 시스템을 설명하기 위한 도면이다.
도 2는 수동으로 개별 치아의 외곽 라인을 선택하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 3차원 모델 처리 시스템의 블록도를 도시한다.
도 4는 일 실시 예에 따른 3차원 모델 처리 장치가 3차원 모델로부터 대상체 영역을 결정하는 방법의 흐름도를 도시한다.
도 5는 일 실시 예에 따라 시드 포인트로부터 계산되는 곡률 값을 설명하기 위한 도면이다.
도 6a는 치아의 k1 값들을 색상으로 표시한 도면이다.
도 6b는 치아 표면의 k1 값들의 분포를 나타내는 그래프를 도시한다.
도 7은 일 실시 예에 따라 치아 상에 선택되는 시드 포인트 및 기준 포인트를 도시한다.
도 8은 일 실시 예에 따라 치아 영역 선택을 위해 결정되는 기준 포인트를 설명하기 위한 도면이다.
도 9a는 일 실시 예에 따라 복수의 치아들에 대한 3차원 모델 상에서 임계 범위 내의 곡률 값들을 갖는 영역을 나타내는 도면이다.
도 9b는 일 실시 예에 따라 산발적으로 선택된 치아 영역을 나타내는 도면이다.
도 10a는 일 실시 예에 따라 치아 선택 영역을 확장(expand)하는 방법을 설명하기 위한 도면이다.
도 10b는 일 실시 예에 따라 확장된 치아 영역을 나타내는 도면이다.
도 10c는 일 실시 예에 따라 확장된 치아 영역을 수축(shrink)하는 방법을 설명하기 위한 도면이다.
도 10d는 일 실시 예에 따라 영역 확장 및 수축 과정을 거쳐 최종적으로 결정된 치아 영역을 나타내는 도면이다.
도 11a는 일 실시 예에 따라 사용자의 드래그 입력에 기초하여 치아 선택 영역을 확장하는 방법을 설명하기 위한 도면이다.
도 11b는 일 실시 예에 따라 사용자의 드래그 입력에 기초하여 치아 선택 영역을 확장하는 방법을 설명하기 위한 도면이다.
도 11c는 일 실시 예에 따라 사용자의 드래그 입력에 기초하여 치아 선택 영역을 확장하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 치아 영역 선택 방법이 적용되는 프로그램의 구동 화면의 예를 도시한다.
도 13a는 일 실시 예에 따른 치아 영역 선택 방법이 적용되는 프로그램의 구동 화면의 예를 도시한다.
도 13b는 일 실시 예에 따른 치아 영역 선택 방법이 적용되는 프로그램의 구동 화면의 예를 도시한다.
도 13c는 일 실시 예에 따른 치아 영역 선택 방법이 적용되는 프로그램의 구동 화면의 예를 도시한다.
도 14는 일 실시 예에 따른 치아 영역 선택 방법이 적용되는 프로그램의 구동 화면의 예를 도시한다.
도 15는 일 실시 예에 따른 3차원 모델 처리 장치의 블록도를 도시한다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
본 개시에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등), 대상체 상에 부착 가능하거나 대상체 내에 삽입 가능한 인공 구조물, 또는 팬텀(phantom) 등을 포함할 수 있다. 예를 들어, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등), 인공 구조물이 부착된 치아 또는 치은 등을 포함할 수 있다.
본 개시에서 '영상'은 대상체에 대한 2차원 영상 또는 대상체를 입체적으로 나타내는 3차원 모델 또는 3차원 영상이 될 수 있다. 본 개시에서 영상이란, 2차원 프레임 및 3차원 프레임을 모두 포함할 수 있다. 예를 들어, 영상은, 대상체에 대해서 서로 다른 시점에서 획득된 2차원 영상들을 포함하는 2차원 프레임, 또는 포인트 클라우드 형태 또는 폴리곤 메쉬 형태로 표현되는 3차원 프레임을 포함할 수 있다.
또한, 본 개시에서 '데이터'는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 정보, 예를 들어, 적어도 하나의 영상 센서로부터 획득된 로우 데이터(raw data)를 의미할 수 있다. 구체적으로, 로우 데이터는 대상체에 대한 3차원 모델을 생성하기 위해서 획득되는 2차원 영상들일 수 있다. 로우 데이터는, 3차원 스캐너(예를 들어, 구강 스캐너(intraoral scanner))를 이용하여 대상체를 스캔할 때 복수의 영상 센서들에 의해 획득되는 서로 다른 시점의 2차원 영상들이 될 수 있다. 또한, 본 개시에서 '데이터'는 치아, 치은, 및 치아 또는 치은에 부착되는 인공 구조물 중 적어도 하나를 포함하는 대상체의 입체적인 특성을 나타내는 3차원 모델을 의미할 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 3차원 모델 처리 시스템을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 3차원 모델 처리 시스템은, 3차원 스캔 장치(100) 및 3차원 모델 처리 장치(300)를 포함할 수 있다.
일 실시 예에 따른 3차원 모델 처리 시스템은, 3차원 스캔 장치(100)를 이용하여 대상체에 패턴 광을 조사(project)하고 패턴 광이 조사된 대상체를 스캔함으로써, 패턴의 변형에 의한 삼각 계측의 원리를 이용하여 대상체의 형상을 나타내는 3차원 모델을 획득할 수 있다. 그러나, 3차원 스캔 장치(100)로 3차원 모델을 획득하는 방법은 이에 한정되지 않으며, 구현 방식에 따라 다양한 방법으로 3차원 모델을 획득할 수 있다.
일 실시 예에 따른 3차원 스캔 장치(100)는, 대상체로부터 획득된 로우 데이터를 3차원 모델 처리 장치(300)에게 전송할 수 있다. 3차원 모델 처리 장치(300)는, 전달받은 로우 데이터에 기초하여, 대상체의 표면의 형상을 3차원적으로 나타내는 3차원 모델을 생성할 수 있다. 3차원 모델은, 포인트 클라우드 데이터 또는 폴리곤 메쉬 데이터일 수 있다. 다른 일 실시예에 따른 3차원 스캔 장치(100)는, 대상체로부터 획득된 로우 데이터를 재구성하여 3차원 프레임을 생성하고, 생성된 3차원 프레임을 3차원 모델 처리 장치(300)에 전송할 수 있다.
일 실시 예에 따른 3차원 스캔 장치(100)는, 구강 내의 3차원 모델을 획득하기 위한 의료 장치를 포함할 수 있다. 구체적으로, 3차원 스캔 장치(100)는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 3차원 모델을 생성하기 위한 장치가 될 수 있다. 또한, 3차원 스캔 장치(100)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 영상 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔할 수 있다. 또한, 3차원 스캔 장치(100)는 테이블 스캐너일 수 있다.
3차원 스캔 장치(100)는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터로서 획득할 수 있다. 3차원 모델 처리 장치(300)는, 로우 데이터를 기초로 결합(merge) 등의 3차원 연산을 수행하여 3차원 모델을 획득하고, 3차원 모델을 렌더링한 영상을 화면 상에 디스플레이에 표시할 수 있다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는 3차원 스캔 장치(100)와 유선 또는 무선 통신 네트워크를 통하여 연결되며, 3차원 스캔 장치(100)로부터 대상체를 스캔하여 획득된 로우 데이터 또는 3차원 프레임을 수신할 수 있다.
3차원 모델 처리 장치(300)는, 수신된 로우 데이터 또는 3차원 프레임에 기초하여, 대상체에 대한 3차원 모델 또는 영상을 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 3차원 모델 처리 장치(300)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.
3차원 모델 처리 장치(300)는 3차원 스캔 장치(100)에서 수신된 데이터에 기초하여, 대상체의 진단에 필요한 정보 및 대상체 영상 중 적어도 하나를 생성하고, 생성된 정보 및/또는 영상을 디스플레이(320)를 통하여 디스플레이 할 수 있다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는 대상체에 대한 3차원 모델 또는 영상을 분석하고, 분석 결과를 처리, 디스플레이 및/또는 전송할 수 있다.
또한, 일 실시 예에 따른 3차원 모델 처리 장치(300)는 3차원 스캔 장치(100)에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 전용 소프트웨어는 전용 프로그램 또는 전용 어플리케이션으로 호칭될 수 있다. 3차원 모델 처리 장치(300)가 3차원 스캔 장치(100)와 상호 연동되어 동작하는 경우, 3차원 모델 처리 장치(300)에 저장되는 전용 소프트웨어는 3차원 스캔 장치(100)와 연결되어 대상체 스캔을 통하여 획득되는 데이터들을 실시간으로 수신할 수 있다. 예를 들어, 자사의 구강 스캐너인 i500 제품에 대응되는 i500 에서 구강 스캔을 통하여 획득된 데이터를 처리하기 위한 전용 소프트웨어가 존재한다. 3차원 모델 처리 장치(300)는 i500 제품에 대응되는 전용 소프트웨어를 저장 및 실행할 수 있다. 전용 소프트웨어는 3차원 모델을 획득, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다.
전용 소프트웨어는 3차원 모델 처리 장치(300)의 프로세서 또는 메모리에 저장될 수 있다. 또한, 전용 소프트웨어는 3차원 스캔 장치(100)에서 획득된 데이터의 이용을 위한 사용자 인터페이스를 제공할 수 있다. 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 개시된 실시 예에 따라서 생성되는 대상체에 대한 3차원 모델을 포함할 수 있다. 예를 들어, 개시된 실시 예에서, 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 이하의 도면들에서 도시되는 사용자 인터페이스 화면들 중 어느 하나가 될 수 있다.
한편, 가상 보철물 및 교정 계획을 디자인하기 위해서는, 예를 들어, 개별 치아에 대한 정보가 필요할 수 있다. 개별 치아에 대응하는 영역을 선택하기 위하여, 종래에는 3차원 모델복수의 치아들에 대한 3차원 모델로부터 치아 형상을 수동으로 선택하는 방식이 이용되었다.
도 2는 수동으로 개별 치아의 외곽 라인을 선택하는 방법을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 종래에는 사용자가 3차원 모델 영상(200) 상에 치아(210)의 경계 영역을 수동으로 선택하였다. 사용자가 치아(210)의 경계 상의 포인트들을 선택하면, 3차원 모델 처리 장치는, 사용자가 선택한 포인트들을 연결하여 외곽 라인(205)을 획득함으로써 개별 치아 영역을 결정하였다. 따라서 종래 기술에 따르면, 개별 치아를 수동으로 선택하는 과정에서 많은 시간이 소요되거나, 불필요한 영역이 설정되는 문제가 있었다.
이러한 문제점을 해결하기 위하여, 본 개시의 다양한 실시 예들에 따른 3차원 모델 처리 장치(300)는, 빠른 속도 및 높은 정확도로 대상체 영역을 자동으로 선택할 수 있는 방법을 제안한다.
도 3은 일 실시 예에 따른 3차원 모델 처리 시스템의 블록도를 도시한다.
도 3에 도시된 바와 같이, 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 외부 디바이스, 또는 외부 서버와 유선 또는 무선 통신 네트워크를 통하여 연결될 수 있다. 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 3차원 스캔 장치(31), 데이터 획득 장치(32)(예를 들어, CT, MRI등의 의료 진단 장치), 및 서버(33) 중 적어도 하나로부터 대상체에 대한 데이터를 획득하고 처리할 수 있다. 또는, 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 내부 메모리에 미리 저장되어 있던 데이터를 획득하고 처리할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 3차원 모델 처리 장치(300)는 구강에 대한 3차원 모델로부터 적어도 하나의 대상체에 대응하는 영역을 결정할 수 있다. 일 실시예에 따른 3차원 모델 처리 장치(300)는, 구강에 대한 3차원 모델을 획득하고, 구강 내에서 선택하고자 하는 영역의 적어도 일부 영역을 결정할 수 있다. 일 실시예에 따른 3차원 모델 처리 장치(300)는, 사용자 입력에 기초하여 적어도 일부 영역을 결정할 수 있다. 예를 들어, 사용자 입력은, 클릭, 호버 및 드래그 중 적어도 하나의 제스처를 포함할 수 있다.
예를 들어, 3차원 모델 처리 장치(300)는, 3차원 모델을 복수의 치아들 각각에 대응하는 복수의 영역들로 구분하는 세그멘테이션을 수행할 수 있다. 3차원 모델 처리 장치(300)는, 세그멘테이션된 3차원 모델에 기초하여, 복수의 치아들 중 하나의 치아를 선택할 수 있다. 3차원 모델 처리 장치(300)는, 선택된 치아 상의 시드 포인트에 기초하여 적어도 일부 영역을 결정할 수 있다.
3차원 모델 처리 장치(300)는, 결정된 적어도 일부 영역에 기초하여, 3차원 모델로부터 선택하고자 하는 영역에 대응하는 제1 영역을 결정할 수 있다. 3차원 모델 처리 장치(300)는, 결정된 제1 영역을 디스플레이 할 수 있다.
다양한 실시 예들에 따라 3차원 모델 처리 장치(300)가 대상체 영역을 선택하는 구체적인 방법과 관련하여서는, 이하에서 도 4 내지 도 14를 참조하여 보다 상세히 설명한다.
도 4는 일 실시 예에 따른 3차원 모델 처리 장치가 3차원 모델로부터 대상체 영역을 결정하는 방법의 흐름도를 도시한다.
단계 S401에서 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 구강에 대한 3차원 모델을 획득할 수 있다. 예를 들어, 구강 내의 복수의 치아들, 치은, 및/또는 인공 구조물의 표면 형상 정보를 포함하는 3차원 모델을 획득할 수 있다. 예를 들어, 3차원 모델은, 3차원 스캔 장치에 의해 획득된 스캔 데이터일 수 있다. 3차원 모델 처리 장치(300)는, 3차원 스캔 장치 등의 외부 장치 또는 외부 서버로부터 3차원 모델을 획득할 수 있다. 또는, 3차원 모델 처리 장치(300)는, 내부 메모리에 미리 저장된 3차원 모델을 획득할 수 있다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는, 3차원 모델 상에서 대상체에 대응하는 것으로 추정되는 영역 상의 시드 포인트를 선택할 수 있다. 시드 포인트란, 대상체에 대응하는 영역을 결정하기 위하여 선택된 포인트를 의미할 수 있다. 예를 들어, 3차원 모델 처리 장치(300)는, 3차원 모델이 나타내는 복수의 치아들 중에서 제1 치아 상의 시드 포인트를 선택할 수 있다.
일 예로서, 3차원 모델 처리 장치(300)는, 사용자 입력에 기초하여 시드 포인트를 선택할 수 있다.
시드 포인트를 선택하는 사용자 입력을 수신하기 위하여, 먼저, 3차원 모델 처리 장치(300)는, 3차원 모델로부터 렌더링된 영상을 화면에 디스플레이 할 수 있다. 3차원 모델 처리 장치(300)는, 3차원 모델을 디스플레이 하고, 디스플레이된 3차원 모델 상에 포인트를 선택하는 사용자 입력을 수신하고, 선택된 포인트의 위치에 기초하여 3차원 모델 상의 시드 포인트를 결정할 수 있다.
도 7은 3차원 모델 처리 장치(300)가 디스플레이 하는 3차원 모델의 일부를 도시한다. 3차원 모델 처리 장치(300)는, 3차원 모델 상에 시드 포인트(701)를 선택하는 사용자 입력을 수신할 수 있다.
2D 화면 상에 디스플레이되는 영상에 대한 사용자 입력에 기초하여 3차원 공간 내의 시드 포인트를 선택하기 위하여, 3차원 모델 처리 장치(300)는, 사용자 입력이 수신된 위치에 대응하는 3차원 좌표 값을 결정할 수 있다. 예를 들어, 시드 포인트를 선택하는 사용자 입력은, 터치 스크린 상의 탭 제스처, 화면 내에 마우스 포인터를 위치시키는 제스처(Hover), 화면 내에 마우스 포인터를 위치시키고 클릭하는 제스처, 또는 클릭한 뒤에 드래그 하는 제스처 등을 포함할 수 있다.
예를 들어, 3차원 모델 처리 장치(300)는, 사용자의 마우스 클릭 입력이 수신된 위치에 기초하여, 디스플레이되는 영상의 스크린 좌표계 상의 x, y축 좌표 값을 획득할 수 있다. 3차원 모델 처리 장치(300)는, 획득된 x, y축 좌표값을 3차원 모델의 좌표계로 변환하고, 삼각 메쉬(triangle mesh)들로 표현되는 3차원 모델 내에서 시드 포인트를 결정할 수 있다. 3차원 모델 처리 장치(300)는, 변환된 좌표 값에 대응하는 정점(vertex)을 시드 포인트로 결정할 수 있다.
다른 예로서, 3차원 모델 처리 장치(300)는, 3차원 모델을 분석함으로써 자동으로 시드 포인트를 선택할 수 있다.
또 다른 예로서, 3차원 모델 처리 장치(300)는, 세그멘테이션 영역을 시드 포인트로 선택할 수 있다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는, 3차원 모델을 복수의 대상체들에 대응하는 영역들로 구분하는 세그멘테이션을 수행할 수 있다. 3차원 모델 처리 장치(300)는, 세그멘테이션에 의해 식별된 복수의 영역들 중 하나의 영역 상에 시드 포인트를 결정할 수 있다.
구체적으로 설명하면, 3차원 모델 처리 장치(300)는, 3차원 모델을 세그멘테이션 할 수 있다. 일 예로, 3차원 모델 처리 장치(300)는 템플릿을 사용하거나 인공지능 등을 사용하여, 3차원 모델을 적어도 하나의 치아에 대응하는 영역과 치은에 대응하는 영역으로 분리할 수 있으며, 복수의 치아들에 대한 영역을 개별 치아에 대응하는 영역으로 분리할 수 있다.
그러나, 3차원 모델을 세그멘테이션함으로써 소정 대상체(예를 들어, 치아, 또는 치은 등)에 대응하는 영역을 선택하는 기존 방식의 경우, 대상체에 대응하는 영역을 정확하게 선택하는데 한계가 있었다. 스캐너의 노이즈 또는 분해능에 따라, 세그멘테이션을 통해 결정되는 치아 영역이 실제 치아 영역의 일부만을 포함하거나 실제 치아 영역을 벗어난 영역을 포함할 수 있다. 따라서, 기존 방식에 따르면, 개별 치아의 영역을 정확하게 식별하는데 한계가 있었다. 그러므로, 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 1차적으로 세그멘테이션을 수행한 후에, 세그멘테이션에 의해 대상체에 대응하는 영역으로 추정되는 영역 상에 시드 포인트를 선택할 수 있다. 이러한 실시예는 사용자의 입력없이 실행될 수 있다.
단계 S402에서 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 3차원 모델 상에 기준 포인트를 결정할 수 있다. 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 시드 포인트의 곡률 값에 기초하여, 3차원 모델 상에 기준 포인트를 결정할 수 있다.
곡률(curvature)이란 곡면이 휜 정도를 표시하는 지표(indicator)로서 곡면 반지름의 역수로 표현될 수 있다. 대상체 표면 상의 소정 포인트의 곡률 값은, 소정 포인트를 지나가는, 대상체 표면 상에서 결정되는, 적어도 하나의 곡선의 휘어짐 정도를 나타낼 수 있다. 이 때, 소정 포인트를 지나가는 곡선들은 방향에 따라 휜 정도가 달라질 수 있다. 그러므로, 일 실시 예에 따른 3차원 모델 처리 장치(300)는 가장 큰 곡률 값을 소정 포인트의 곡률 값으로 결정할 수 있으나, 본 개시는 이에 제한되지 않는다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는, 3차원 모델 상에 결정된 시드 포인트의 곡률 값이 소정 범위 내의 값을 가지면, 시드 포인트를 기준 포인트로서 결정할 수 있다. 반면에, 3차원 모델 처리 장치(300)는, 시드 포인트의 곡률 값이 소정 범위 내의 값을 갖지 않으면, 소정 범위 내의 곡률 값을 갖는 다른 포인트를 기준 포인트로서 결정할 수 있다.
다른 예로서, 3차원 모델 처리 장치(300)는 시드 포인트가 일정 영역인 경우(예를 들어,세그멘테이션 영역)에, 해당 영역 내에서 적어도 하나의 기준 포인트를 결정할 수 있다. 기준 포인트가 하나 이상인 경우, 각각의 기준 포인트로부터 선택된 선택 영역을 합쳐서 대상체에 대응하는 영역으로 결정할 수 있다.
단계 S403에서 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 기준 포인트에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정할 수 있다. 3차원 모델 처리 장치(300)는, 기준 포인트의 곡률 값에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정할 수 있다.
3차원 모델 처리 장치(300)는, 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 대상체에 대응하는 영역을 결정할 수 있다.
3차원 모델 처리 장치(300)는 대상체 영역을 선택하기 위한 기준값으로서, 기준 포인트의 k1 값을 이용하거나, k1 값 및 k2 값을 모두 이용하거나, k1 값 및 k2 값 중에 작은 값을 이용할 수 있다.
또한, 일 실시예에 따른 3차원 모델 처리 장치(300)는, 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 대상체에 대응하는 제1 영역을 결정할 수 있다. 3차원 모델 처리 장치(300)는, 결정된 제1 영역으로부터 영역 확장 및 수축 처리를 반복함으로써 대상체에 대응하는 제2 영역을 결정할 수 있다. 3차원 모델 처리 장치(300)는, 제2 영역을 대상체에 대응하는 최종 영역으로서 결정할 수 있다.
이 때, 3차원 모델 처리 장치(300)는, 사용자의 드래그 입력에 기초하여 대상체 영역을 결정하기 위한 곡률 값의 임계 범위를 변경할 수 있다. 3차원 모델 처리 장치(300)는, 변경된 임계 범위에 기초하여, 대상체에 대응하는 영역을 결정할 수 있다.
단계 S404에서 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 3차원 모델 상에 대상체에 대응하는 영역으로 결정된 영역을 표시할 수 있다. 3차원 모델 처리 장치(300)는, 색, 명암, 선, 또는 텍스처를 이용하여 대상체에 대응하는 영역으로 결정된 영역을 다른 영역과 구분되게 표시할 수 있다.
이하에서는, 복수의 치아들에 대한 3차원 모델로부터 제1 치아에 대응하는 영역을 결정하는 경우를 예로 들어 본 개시에 따른 구체적인 동작 방법을 설명한다. 그러나 본 개시의 다양한 실시예들은, 3차원 모델 상에서 치아 영역을 결정하는 것에 제한되지 않으며, 상술한 바와 같이, 치아, 치은, 및 인공 구조물 중 적어도 하나에 대응하는 영역을 결정하기 위해서도 본 개시의 방법이 적용될 수 있다. 중복되는 설명은 생략한다.
도 5는 일 실시 예에 따라 시드 포인트로부터 계산되는 곡률 값을 설명하기 위한 도면이다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는, 시드 포인트(501)의 곡률 값을 계산할 수 있다.
3차원 모델 처리 장치(300)는, 시드 포인트(501)의 노말 벡터(531)(또는, 법선)를 포함하는 노말 평면들과 치아의 곡면(520)이 교차하는 곡선들의 곡률 값들을 계산할 수 있다. 3차원 모델 처리 장치(300)는, 계산된 곡률 값들 중에서 제1 노말 평면(542)과 치아의 곡면(520)이 교차하는 곡선의 곡률 값(k1)의 절대값이 가장 크다고 결정할 수 있다. 또한, 3차원 모델 처리 장치(300)는, 제1 노말 평면(542)과 직교하고 시드 포인트(501)의 노말 벡터를 포함하는 직교 노말 평면(544)이 치아의 곡면(520)과 교차하는 곡선이 이루는 곡률 값(k2)를 계산할 수 있다. 3차원 모델 처리 장치(300)는, k1 값 및 k2 값 중 적어도 하나를 시드 포인트(501)의 곡률 값으로 이용할 수 있다.
도 6a는 치아 상의 포인트들의 k1 값들을 색상으로 표시한 도면이다.
도 6a에 도시된 바와 같이, 치아에서 솟아오른 부위인 교두(cusp) 영역 상의 포인트들은 상대적으로 큰 k1 값을 가지므로 적색으로 표시될 수 있다. 반면에, 치아에서 홈이 파져 있는 그루브(groove) 영역 상의 포인트들 및 치아와 치은의 경계 영역 상의 포인트들은 상대적으로 작은 k1 값을 가지며, 청색으로 표시될 수 있다.
도 6b는 치아 표면의 k1 값들의 분포를 나타내는 그래프를 도시한다. 보다 구체적으로는, 도 6b는 치아 표면 상의 포인트들의 k1 값들의 구간별 빈도수 분포를 나타내는 그래프일 수 있다.
도 6b를 참조하면, 치아 표면 상의 포인트들은, 평균값을 중앙으로 하여 좌우 유사한 분포를 가지며, 대부분의 포인트들이 소정 범위 내의 k1 값들을 가짐을 알 수 있다. 따라서, 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 소정 범위 내의 곡률 값(예를 들어, k1 값)들을 갖는 포인트들이 포함되는 영역을 치아 영역으로서 식별할 수 있다.
이 때, 어떠한 포인트를 기준으로 치아 영역을 선택하느냐에 따라 정확도가 달라질 수 있다. 예를 들어, 사용자가 선택한 시드 포인트가 치아의 교두에 위치하는 경우, 치아 영역이 상대적으로 정확하게 선택되고, 반면에, 사용자가 선택한 시드 포인트가 치아의 그루브에 위치하는 경우, 치아 영역이 상대적으로 부정확하게 선택될 수 있다.
그러므로, 3차원 모델 처리 장치(300)는, 시드 포인트의 곡률 값에 기초하여 치아 영역 선택을 위한 기준 포인트를 결정함으로써 영역 선택 정확도를 높일 수 있다. 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 시드 포인트의 곡률 값이 소정 범위 내의 값이면, 시드 포인트를 기준 포인트로서 결정할 수 있다. 반면에, 3차원 모델 처리 장치(300)는, 시드 포인트의 곡률 값이 소정 범위 내의 값이 아니면, 소정 범위 내의 곡률 값을 갖는 다른 포인트를 기준 포인트로서 결정할 수 있다. 3차원 모델 처리 장치(300)는, 곡률 값이 소정 범위 내인 포인트들 중에서, 시드 포인트로부터 가장 가까운 포인트를 기준 포인트로서 결정할 수 있다.
3차원 모델 처리 장치(300)는, 선택된 시드 포인트의 곡률 값이 소정 범위 내가 아닌 경우, 곡률 값이 소정 범위 내에 포함되는 포인트들 중에서 시드 포인트로부터 가장 근접한 포인트를 검색할 수 있다. 예를 들어, 소정 범위는, 치아의 교두(cusp) 영역이 나타내는 곡률 값들의 범위일 수 있다. 3차원 모델 처리 장치(300)는, 시드 포인트로부터 일정 거리(예를 들어, 0.01~0.02mm) 내의 영역의 포인트들을 검색하고 검색 대상 영역을 조금씩 넓혀가면서, 곡률 값이 소정 범위 내에 포함되는 것으로 검색된 포인트를 기준 포인트로서 결정할 수 있다.
도 7은 일 실시 예에 따라 치아 상에 선택되는 시드 포인트 및 기준 포인트를 도시한다.
도 7에 도시된 바와 같이, 사용자가 선택한 시드 포인트(701)가 치아의 그루브에 위치하는 경우, 시드 포인트(701)의 k1 값은 매우 낮게 계산된다. 3차원 모델 처리 장치(300)는, 시드 포인트(701)의 k1 값이 소정 범위를 벗어난다고 판단하는 경우, 다른 포인트를 기준 포인트로 결정할 수 있다. 즉, 3차원 모델 처리 장치(300)는 선택된 시드 포인트(701)가 교두 상의 포인트가 아니므로, 다른 포인트를 기준 포인트로 치아 영역을 선택해야 한다고 판단할 수 있다. 따라서, 3차원 모델 처리 장치(300)는 시드 포인트(701)의 주변 영역을 검색함으로써, 곡률 값이 소정 범위 내이면서 시드 포인트(701)로부터 가장 가까운 포인트를 기준 포인트(703)로서 결정할 수 있다.
사용자가 선택한 시드 포인트를 기준 포인트로서 이용하지 않고, 곡률 값이 소정 범위(예를 들어, 교두 영역의 곡률 값의 범위) 내인 포인트를 서치하여 기준 포인트로 이용하는 이유는, 소정 범위 내의 곡률 값을 갖는 포인트를 기준으로 치아 영역을 선택하여야 영역 선택 정확도가 높아지기 때문이다.
도 6a의 치아 영상을 보면, 치아와 치은의 경계 영역 상의 포인트들은 k1값들이 상대적으로 낮은 값을 가지며 청색으로 표시되고, 치아 영역의 포인트들은 대부분 평균 값 주위의 k1 값들을 가지며 황색으로 표시될 수 있다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는, 기준 포인트를 중심으로 영역을 확장하면서, 기준 포인트의 곡률 값을 기준으로 임계 범위내의 곡률 값을 갖는 영역을 치아 영역으로서 선택할 수 있다. 따라서, 기준 포인트가 청색 영역(즉, 상대적으로 낮은 k1 값을 갖는 영역)에 포함되는 경우, 3차원 모델 처리 장치(300)는 기준 포인트로부터 선택 영역을 확장해 나갈 때 청색 영역을 벗어나서 확장하기 쉽다.
이하에서는, 도 8을 참조하여, 기준 포인트의 곡률 값이 소정 범위 내인 경우와 아닌 경우를 비교하여 구체적으로 설명한다.
도 8은 일 실시 예에 따라 치아 영역 선택을 위해 결정되는 기준 포인트를 설명하기 위한 도면이다.
도 8에는 치아 경계 영역이 갖는 k1 값의 범위와, 교두 영역이 갖는 k1 값의 범위가 표시된다. 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 교두 영역이 갖는 k1 값의 범위를 기준 포인트를 결정하기 위한 소정 범위로서 이용할 수 있다. 그러나, 본 개시는 “교두 영역이 갖는 k1 값의 범위를 소정 범위로서 이용”하는 실시예에 제한되지 않으며, 기준 포인트를 결정하기 위한 소정 범위는 다양하게 결정될 수 있다.
도 8에 도시된 바와 같이, 제1 기준 포인트(cp1)의 곡률 값이 소정 범위 내인 경우, 3차원 모델 처리 장치(300)는 제1 기준 포인트(cp1)의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 영역을 치아 영역으로 선택할 수 있다. 이 때, 제1 기준 포인트(cp1)와 곡률 값의 차이가 임계 범위 내인 영역은 치아 경계를 벗어나지 않는다.
한편, 제2 기준 포인트(cp2)의 곡률 값은 소정 범위 밖이고, 3차원 모델 처리 장치(300)는 제2 기준 포인트(cp2)의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 영역을 치아 영역으로 선택할 수 있다. 이 때, 제2 기준 포인트(cp2)와 곡률 값의 차이가 임계 범위 내인 영역은, 치아 경계 영역의 일부를 포함하므로 제2 기준 포인트(cp2)에 기초하여 선택된 영역은 치아 경계를 벗어날 수 있다. 그러므로, 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 소정 범위(예를 들어, 교두 영역이 갖는 k1 값의 범위)내의 k1 값을 갖는 기준 포인트를 결정할 수 있다.
도 7 및 도 8을 참조하여 상술한 바와 같이, 치아 상면에서 움푹 파인 그루브 영역과 치아의 경계 영역은 낮은 곡률 값을 가진다. 따라서, 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 영역을 선택하는 경우, 치아 상면의 그루브 영역은 선택되지 않을 수 있다. 따라서, 일 실시 예에 따른 데이터 처리 장치(300)는, 산발적으로 선택된 치아 영역으로부터 영역 확장 및 수축 처리를 반복함으로써 치아에 대응하는 최종 영역을 선택할 수 있다. 이하에서 도 9a 내지 10d를 참조하여 영역 확장 및 수축 과정을 구체적으로 설명한다.
도 9a는 일 실시 예에 따라 복수의 치아들에 대한 3차원 모델 상에서 임계 범위 내의 곡률 값들을 갖는 영역을 나타내는 도면이다.
도 9a는 3차원 모델로부터 렌더링된 영상의 일부를 도시한다. 3차원 모델 처리 장치(300)는, 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 영역을 결정할 수 있다. 3차원 모델 처리 장치(300)는, 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값들을 컬러바(901) 상에 소정 색상(예를 들어,녹색)으로 나타낼 수 있다. 그리고, 3차원 모델 처리 장치(300)는, 임계 범위 내의 곡률 값들을 갖는 영역(913)을 동일한 소정 색상으로 나타낼 수 있다.
도 9b는 일 실시 예에 따라 산발적으로 선택된 치아 영역을 나타내는 도면이다.
도 9b는 삼각 메쉬들로 표현되는 3차원 모델을 나타낸다. 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 기준 포인트에서 시작하여, 기준 포인트와 곡률 값의 차이가 임계 범위내인 인접 포인트들을 선택함으로써, 선택 영역을 확장해 나갈 수 있다. 3차원 모델 처리 장치(300)는, 선택 영역을 확장해 나가다가, 치아 경계 영역에 도달하게 되면 기준 포인트와 곡률 값의 차이가 임계 범위 이상이 되므로 더 이상 선택 영역을 확장하지 않을 수 있다. 따라서, 도 9b에 도시된 바와 같이, 3차원 모델 처리 장치(300)는 치아와 치은의 경계 영역을 식별할 수 있다. 다만, 3차원 모델 처리 장치(300)가 일차적으로 선택한 영역에는, 치아 상면에서 움푹 파인 그루브 영역은 포함되지 않을 수 있다.
그러므로 일 실시예에 따른 3차원 모델 처리 장치(300)는, 산발적으로 선택된 영역의 빈 공간을 채우기 위하여, 선택 영역을 확장할 수 있다.
도 10a는 일 실시 예에 따라 선택 영역을 확장(enlarge)하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는, 제1 선택 영역(1011)의 경계와 인접한 삼각 메쉬들(1013)을 선택함으로써, 선택 영역을 확장할 수 있다.
도 10b는 일 실시 예에 따라 확장된 치아 영역을 나타내는 도면이다.
도 10b에 도시된 바와 같이, 선택 영역을 확장함으로써 기존에 선택되지 않았던 영역까지 선택될 수 있다. 도 10b의 확장된 치아 영역(1022)에는 빈 공간이 포함되지 않는다.
도 10c는 일 실시 예에 따라 확장된 치아 영역을 수축(shrink)하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는, 확장된 치아 영역(1022)의 경계에 안쪽 방향으로 인접한 삼각 메쉬들(1033)을 선택 영역으로부터 제외시킴으로써, 선택 영역을 수축할 수 있다.
도 10d는 일 실시 예에 따라 영역 확장 및 수축 과정을 거쳐 최종적으로 결정된 치아 영역을 나타내는 도면이다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는, 선택된 치아 영역으로부터 영역 확장 및 수축 처리를 소정 횟수 반복함으로써 최종적으로 치아에 대응하는 영역(1040)을 결정할 수 있다.
한편, 일 실시 예에 따른 3차원 모델 처리 장치(300)는, 기준 포인트의 곡률 값을 기준으로 고정된 임계 범위 내의 곡률 값을 갖는 치아 영역을 선택할 수 있다. 즉, 3차원 모델 처리 장치(300)는, 기준 포인트와의 곡률 값의 차이가 고정된 임계 범위 내인 치아 영역을 선택할 수 있다. 예를 들어, 일 실시 예에 따르면 3차원 모델 처리 장치(300)는, 사용자가 클릭한 위치에 기초하여 기준 포인트를 결정하고, 기준 포인트와의 곡률 값의 차이가 고정된 임계 범위 내인 치아 영역을 선택할 수 있다.
그러나, 본 개시는 이러한 실시 예에 제한되지 않으며,일 실시 예에 따른 3차원 모델 처리 장치(300)는, 기준 포인트의 곡률 값에 관계없이 미리 결정된 임계 범위 내의 곡률 값을 갖는 치아 영역을 선택할 수 있다.
또 다른 일 실시 예에 따르면 3차원 모델 처리 장치(300)는, 사용자의 드래그 입력에 기초하여 임계 범위를 유동적으로 결정함으로써, 치아 영역을 선택할 수 있다. 3차원 모델 처리 장치(300)는, 드래그하는 사용자 입력에 기초하여, 치아 영역을 선택하기 위한 곡률 값의 임계 범위를 변경할 수 있다. 3차원 모델 처리 장치(300)는, 변경된 임계 범위에 기초하여, 치아 영역을 선택할 수 있다.
도 11a, 도 11b, 및 도 11c는 일 실시 예에 따라 사용자의 드래그 입력에 기초하여 치아 선택 영역을 확장하는 방법을 설명하기 위한 도면이다.
도 11a, 도 11b, 및 도 11c는 3차원 모델로부터 렌더링된 영상을 도시한다.
도 11a에 도시된 바와 같이, 3차원 모델 상의 임의의 위치를 사용자가 클릭하면, 3차원 모델 처리 장치(300)는 사용자가 클릭한 위치에 대응하는 시드 포인트(1103)를 결정할 수 있다. 3차원 모델 처리 장치(300)는 시드 포인트(1103)의 곡률 값이 소정 범위를 벗어난다고 판단하고, 시드 포인트(1103)와 인접한 기준 포인트(1101)를 결정할 수 있다. 3차원 모델 처리 장치(300)는 기준 포인트(1101)의 곡률 값을 기준으로 제1 범위 내의 곡률 값을 갖는 영역을 선택할 수 있다. 제1 범위는 미리 설정된 임계 범위일 수 있다.
사용자가 포인터를 시드 포인트(1103)로부터 제1 포인트(1105)로 드래그하면, 3차원 모델 처리 장치(300)는, 임계 범위를 제1 범위로부터 제2 범위로 변경할 수 있다. 제2 범위는 제1 범위보다 큰 값일 수 있다. 3차원 모델 처리 장치(300)는, 드래그 거리가 증가함에 따라 임계 범위의 값도 증가시킬 수 있다. 3차원 모델 처리 장치(300)는, 기준 포인트(1101)의 곡률 값을 기준으로 제2 범위 내의 곡률 값을 갖는 영역을 선택하고, 선택된 영역을 표시할 수 있다.
도 11b에 도시된 바와 같이, 사용자가 포인터를 제2 포인트(1107)로 더 길게 드래그하면, 3차원 모델 처리 장치(300)는, 임계 범위를 제2 범위로부터 제3 범위로 변경할 수 있다. 제3 범위는 제2 범위보다 큰 값일 수 있다. 3차원 모델 처리 장치(300)는, 드래그 거리가 증가함에 따라 임계 범위도 증가시킬 수 있다. 임계 범위가 증가함에 따라 3차원 모델 처리 장치(300)가 선택하는 영역도 확장된다. 3차원 모델 처리 장치(300)는, 기준 포인트(1101)의 곡률 값을 기준으로 제3 범위 내의 곡률 값을 갖는 영역을 선택하고, 선택된 영역을 표시할 수 있다. 도 11a에서 선택된 영역보다 도 11b에서 선택된 영역이 더 커졌음을 알 수 있다.
도 11c에 도시된 바와 같이, 사용자가 포인터를 시드 포인트(1103)로부터 제3 포인트(1109)로 더 길게 드래그하면, 3차원 모델 처리 장치(300)는, 임계 범위를 제3 범위로부터 제4 범위로 변경할 수 있다. 제4 범위는 제3 범위보다 클 수 있다. 3차원 모델 처리 장치(300)는, 기준 포인트(1101)의 곡률 값을 기준으로 제4 범위 내의 곡률 값을 갖는 영역을 선택하고, 선택된 영역을 표시할 수 있다. 도 11b에서 선택된 영역보다 도 11c에서 선택된 영역이 더 커졌음을 알 수 있다.
3차원 모델 처리 장치(300)는, 사용자의 드래그 입력의 거리가 증가함에 따라 임계 범위를 증가시킴으로써 선택 영역을 확장하되, 임계 값 이하의 곡률 값을 갖는 영역으로는 더 이상 선택 영역을 확장하지 않을 수 있다. 3차원 모델 처리 장치(300)는, 선택 영역이 치아와 치은의 경계를 벗어나서 확장되지 않도록 임계 값을 결정할 수 있다.
이하에서는, 도 12 내지 도 14를 참조하여, 상술한 치아 영역 선택 방법을 구현하기 위하여 사용자에게 제공되는 인터페이스 화면들을 설명한다. 그러나 본 개시는 도면에 도시된 예에 제한되지 않으며,구현 방식에 따라 다양하게 변형될 수 있다.
도 12 내지 도 14는 일 실시 예에 따른 치아 영역 선택 방법이 적용되는 프로그램의 구동 화면의 예를 도시한다.
도 12에 도시된 바와 같이, 3차원 모델 처리 장치(300)는, 3차원 모델에 대한 세그멘테이션을 통해 복수의 치아들에 대응하는 영역이 식별된 3차원 모델을 디스플레이 할 수 있다. 3차원 모델 처리 장치(300)는, 각 치아마다 고유 번호를 부여하고, 각 치아 영역을 자동으로 결정하여 화면 상에 표시할 수 있다. 3차원 모델 처리 장치(300)는, 3차원 모델 상에 복수의 치아들 및 각 치아에 대응하는 치아 번호가 표시된 영상을 표시할 수 있다.
사용자는, 개별 치아 영역이 제대로 선택되었는지 검토할 수 있다. 사용자는, 치아(1201)에 대응하는 영역 내에 빈 공간이 포함되어 있음을 확인하고 치아 영역이 잘못 선택되었으므로 다시 선택하여야 한다고 판단할 수 있다. 사용자는, 치아(1201)를 선택하거나 치아의 고유 번호인 27이 표시된 아이콘을 클릭할 수 있다.
사용자가 소정 치아를 선택하는 입력을 수신하면, 3차원 모델 처리 장치(300)는 도 13a와 같이, 소정 치아의 영역을 재선택할 것인지를 묻는 팝업 창을 디스플레이 할 수 있다. 3차원 모델 처리 장치(300)는, 스마트 선택(smart selection) 기능을 이용하여 치아 영역을 재선택할 것을 요청하는 사용자 입력(예를 들어, 아이콘(1301)을 클릭하는 사용자 입력)을 수신하면, 도 13b와 같이 소정 치아 부분을 확대한 화면을 디스플레이할 수 있다.
도 13b에 도시된 바와 같이, 27번 치아의 상면의 일부 영역이 제대로 선택되어 있지 않은 상태이므로, 사용자는 기 선택되었던 영역 전체에 대한 선택을 해제하는 아이콘(1334)을 클릭할 수 있다. 3차원 모델 처리 장치(300)는, 선택 해제 아이콘(1334)을 클릭하는 사용자 입력이 수신되면, 스마트 선택 기능을 안내하는 팝업 창(1321)을 디스플레이 할 수 있다.
사용자는 팝업창(1321)에 안내된 사항에 따라, 27번 치아의 임의의 위치를 클릭하거나 클릭 앤 드래그함으로써 치아 영역을 선택할 수 있다. 3차원 모델 처리 장치(300)가 사용자의 입력에 기초하여 치아 영역을 선택하는 구체적인 방법에는 도 4 내지 도 11을 참조하여 상술한 설명이 적용될 수 있다. 중복되는 설명은 생략한다.
도 13c에 도시된 바와 같이, 치아 영역이 빈 곳 없이 제대로 선택되었다고 판단되면, 사용자는 선택이 완료되었음을 확인(confirm)하는 아이콘(1323)을 클릭한다.
3차원 모델 처리 장치(300)는, 확인 아이콘(1324)을 클릭하는 사용자 입력이 수신되면, 도 14에 도시된 바와 같이 복수의 치아들을 모두 표시하는 초기 화면으로 되돌아갈 수 있다. 일 실시 예에 따른 스마트 선택 기능에 의해 27번 치아 영역(1401)이 정확하게 재선택 되었음을 알 수 있다.
상술한 바와 같이, 본 개시의 일 실시 예에 따른 3차원 모델 처리 장치(300)는 사용자의 몇 번의 클릭(또는, 드래그)만으로도 정확하고 빠르게 개별 치아 영역을 선택함으로써 사용자 편의를 도모하고 업무 시간을 단축시킬 수 있다.
도 15는 일 실시 예에 따른 3차원 모델 처리 장치의 블록도를 도시한다.
도 15에 도시된 3차원 모델 처리 장치(300)는, 본 개시의 다양한 실시 예들에 따른 3차원 모델 처리 방법을 수행할 수 있으며, 도 1 내지 도 14에 대한 설명이 적용될 수 있다. 따라서, 상술한 바와 중복되는 내용은 생략한다.
일 실시 예에 따른 3차원 모델 처리 장치(300)는 3차원 스캔 장치 등의 외부 장치 또는 외부 서버와 유선 또는 무선 통신 네트워크를 통하여 연결되며, 대상체에 대한 3차원 모델을 획득할 수 있다.
3차원 모델 처리 장치(300)는, 획득된 3차원 모델에 기초하여,대상체에 대한 3차원 영상을 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 본 개시의 다양한 실시 예들에 따른 3차원 모델 처리 장치(300)는 고정형 단말이거나 이동형 단말일 수 있다. 3차원 모델 처리 장치(300)는, 예를 들어, 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.
도 15를 참조하면, 3차원 모델 처리 장치(300)는 프로세서(310), 디스플레이(320), 통신 인터페이스(330), 사용자 입력부(340), 및 메모리(350)를 포함할 수 있다.
일 실시 예에 따른 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작을 수행하도록 3차원 모델 처리 장치(300)를 제어한다. 적어도 하나의 인스트럭션은 프로세서(310) 내에 포함되는 내부 메모리(미도시) 또는 별도의 메모리(350) 내에 저장되어 있을 수 있다.
일 실시 예에 따른 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작을 수행하도록 3차원 모델 처리 장치(200) 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(310)가 소정 동작을 수행하는 경우를 예로 들어 설명하더라도, 3차원 모델 처리 장치(200)에 포함하는 적어도 하나의 구성들이 소정 동작을 수행하도록 프로세서(310)가 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다.
일 실시 예에 따른 프로세서(310)는 3차원 모델 처리 장치(300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 3차원 모델 처리 장치(300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 3차원 모델 처리 장치(300)의 제어를 위한 제어 프로그램 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 내부의 프로세서(미도시)를 포함할 수 있다.
또한, 프로세서(310)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 또한, 프로세서(310)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다.
개시된 실시 예에서, 프로세서(310)는 구강에 대한 3차원 모델을 렌더링함으로써 영상을 생성할 수 있다. 예를 들어, 3차원 모델은, 복수의 치아들, 치은, 및 인공 구조물 중 적어도 하나를 포함하는 구강의 표면 형상 정보를 포함할 수 있다.
디스플레이(320)는 프로세서(310)에 제어에 따라서 소정 화면을 디스플레이 할 수 있다. 구체적으로, 디스플레이(320)는 3차원 모델을 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다. 또는, 디스플레이(320)는 대상체에 대한 진단 및 치료와 관련되는 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
통신 인터페이스(330)는 적어도 하나의 외부 전자 장치(미도시)또는 서버(미도시)와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다.
사용자 입력부(340)는 3차원 모델 처리 장치(300)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(340)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지칭 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.
또한, 사용자 입력부(340)는 음성 인식을 위한 음성 인식 장치(미도시)를 포함할 수 있다. 예를 들어, 음성 인식 장치(미도시)는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(310)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.
메모리(350)는 프로세서(310)가 실행하는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(350)는 프로세서(310)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 메모리(350)는 외부 장치 또는 외부 서버로부터 수신되는 데이터(예를 들어, 대상체 스캔을 통하여 획득된 로우 데이터, 2차원 영상 데이터, 3차원 모델 등)를 저장할 수 있다. 메모리(350)는 대상체를 3차원적으로 나타내는 대상체 영상을 저장할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(310)는, 메모리(350)에 저장된 프로그램을 실행함으로써 3차원 모델 처리 장치(200)의 전체적인 동작을 제어할 수 있다.
프로세서(310)가 3차원 모델을 처리하여 대상체 영역을 선택하는 구체적인 방법에 대해서는 도 4에 대한 설명이 적용될 수 있고 중복되는 설명은 생략한다.
먼저, 일 실시 예에 따른 프로세서(310)는, 구강에 대한 3차원 모델을 획득할 수 있다. 프로세서(310)는, 3차원 모델 상에 기준 포인트를 결정하고, 기준 포인트에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정할 수 있다. 프로세서(310)는, 디스플레이(320)를 통해 3차원 모델 상에 대상체에 대응하는 영역을 표시할 수 있다.
일 실시예에 따른 프로세서(310)는, 3차원 모델 상에 시드 포인트를 자동 또는 수동으로 결정하고, 시드 포인트의 곡률 값에 기초하여 기준 포인트를 결정할 수 있다. 프로세서(310)는, 기준 포인트의 곡률 값에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정할 수 있다.
예를 들어, 프로세서(310)는, 3차원 모델이 나타내는 복수의 치아들 중에서 제1 치아 상의 시드 포인트를 선택할 수 있다. 프로세서(310)는, 3차원 모델로부터 렌더링된 영상을 화면에 디스플레이하도록 디스플레이(320)를 제어할 수 있다. 프로세서(310)는, 렌더링된 영상 상에 포인트를 선택하는 사용자 입력을 수신하고, 렌더링된 영상 상의 선택된 포인트의 위치에 기초하여 3차원 모델 상의 시드 포인트를 결정할 수 있다.
일 실시 예에 따른 프로세서(310)는, 시드 포인트의 곡률 값에 기초하여, 제1 치아 상의 기준 포인트를 결정할 수 있다. 프로세서(310)는, k1 값 및 k2 값 중 적어도 하나를 시드 포인트의 곡률 값으로 이용할 수 있다. 일 실시 예에 따른 프로세서(310)는, 시드 포인트의 곡률 값에 기초하여 치아 영역 선택을 위한 기준 포인트를 결정함으로써 영역 선택 정확도를 높일 수 있다.
프로세서(310)는, 시드 포인트의 곡률 값이 소정 범위 내의 값을 가지면, 시드 포인트를 기준 포인트로서 결정할 수 있다. 반면에, 프로세서(310)는, 시드 포인트의 곡률 값이 소정 범위 내의 값을 갖지 않으면, 소정 범위 내의 곡률 값을 갖는 다른 포인트를 기준 포인트로서 결정할 수 있다. 프로세서(310)는, 곡률 값이 소정 범위 내인 가장 가까운 포인트를 기준 포인트로서 결정할 수 있다.
프로세서(310)는, 선택된 시드 포인트의 곡률 값이 소정 범위 내가 아닌 경우, 곡률 값이 소정 범위 내에 포함되는 포인트들 중에서 시드 포인트로부터 가장 인접한 포인트를 검색할 수 있다. 프로세서(310)는, 시드 포인트로부터 일정 거리(예를 들어, 0.01~0.02mm) 내의 영역의 포인트들을 검색하고 검색 대상 영역을 조금씩 넓혀가면서, 곡률 값이 소정 범위 내에 포함되는 것으로 검색된 포인트를 기준 포인트로서 결정할 수 있다.
일 실시 예에 따른 프로세서(310)는, 기준 포인트의 곡률 값에 기초하여 선택 영역을 점차 확장함으로써 제1 치아에 대응하는 영역을 결정할 수 있다.
프로세서(310)는, 기준 포인트로부터 선택 영역을 점차 확장함으로써, 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 치아 영역을 선택할 수 있다.
프로세서(310)는 치아 영역을 선택하기 위한 기준값으로서 기준 포인트의 k1 값을 이용하거나, k1 값 및 k2 값을 모두 이용할 수 있다.일 실시 예에 따른 프로세서(310)는, 산발적으로 선택된 치아 영역으로부터 영역 확장 및 수축 처리를 반복함으로써 치아에 대응하는 최종 영역을 선택할 수 있다.
한편, 일 실시 예에 따른 프로세서(310)는, 기준 포인트의 곡률 값을 기준으로 고정된 임계 범위 내의 곡률 값을 갖는 치아 영역을 선택할 수 있다. 즉, 프로세서(310)는, 기준 포인트와의 곡률 값의 차이가 고정된 임계 범위 내인 치아 영역을 선택할 수 있다.
그러나, 본 개시는 이러한 실시 예에 제한되지 않으며, 일 실시 예에 따른 프로세서(310)는, 기준 포인트의 곡률 값에 관계없이 미리 결정된 임계 범위 내의 곡률 값을 갖는 치아 영역을 선택할 수 있다.
또 다른 일 실시 예에 따르면 프로세서(310)는, 사용자의 드래그 입력에 기초하여 임계 범위를 유동적으로 결정함으로써, 치아 영역을 선택할 수 있다. 프로세서(310)는, 기준 포인트의 곡률 값을 기준으로, 드래그하는 사용자 입력에 기초하여, 치아 영역을 선택하기 위한 곡률 값의 임계 범위를 변경할 수 있다. 프로세서(310)는, 변경된 임계 범위에 기초하여, 치아 영역을 선택할 수 있다. 예를 들어, 프로세서(310)는, 드래그 거리가 증가함에 따라 임계 범위의 값을 증가시킬 수 있다. 임계 범위의 값이 증가함에 따라 프로세서(310)는 선택 영역을 확장할 수 있다. 다만, 프로세서(310)는, 사용자의 드래그 입력의 거리가 증가함에 따라 임계 범위의 값을 증가시킴으로써 선택 영역을 확장하되, 소정 값 이하의 곡률 값을 갖는 영역으로는 더 이상 선택 영역을 확장하지 않을 수 있다. 프로세서(310)는, 선택 영역이 치아와 치은의 경계를 벗어나서 확장되지 않도록 소정 값을 결정할 수 있다.
상술한 본 개시의 다양한 실시 예들에 따른 3차원 모델 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예에 따르면, 3차원 모델 획득 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 제공될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 구강 영상의 디스플레이 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
300: 3차원 모델 처리 장치
310: 프로세서
320: 디스플레이
330: 통신 인터페이스
340: 사용자 입력부
350: 메모리

Claims (19)

  1. 구강에 대한 3차원 모델로부터 대상체에 대응하는 영역을 결정하는 방법에 있어서,
    상기 3차원 모델을 획득하는 단계;
    상기 3차원 모델 상에 시드 포인트를 결정하는 단계;
    상기 시드 포인트에 기초하여 상기 3차원 모델 상에 기준 포인트를 결정하는 단계;
    상기 기준 포인트에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정하는 단계; 및
    상기 3차원 모델 상에 상기 결정된 영역을 표시하는 단계를 포함하는, 영역 결정 방법.
  2. 제1 항에 있어서,
    상기 기준 포인트를 결정하는 단계는,
    상기 시드 포인트의 곡률 값에 기초하여 상기 기준 포인트를 결정하는 단계를 포함하는, 영역 결정 방법.
  3. 제1 항에 있어서,
    상기 3차원 모델은, 3차원 스캔 장치에 의해 획득되고, 상기 구강 내의 복수의 치아들 및 치은의 표면의 형상 정보를 포함하고,
    상기 대상체는, 치아 또는 치은인 것을 특징으로 하는, 영역 결정 방법.
  4. 제1 항에 있어서,
    상기 시드 포인트를 결정하는 단계는,
    상기 3차원 모델을 디스플레이 하는 단계; 및
    상기 디스플레이된 3차원 모델에 대한 사용자 입력에 기초하여, 상기 시드 포인트를 결정하는 단계를
    포함하는, 영역 결정 방법.
  5. 제1 항에 있어서,
    상기 기준 포인트를 결정하는 단계는,
    상기 3차원 모델 상에 결정된 상기 시드 포인트의 곡률 값에 기초하여, 상기 기준 포인트를 결정하는 단계를 포함하고,
    상기 시드 포인트의 곡률 값은,
    상기 시드 포인트의 법선을 포함하는 노말 평면들과 상기 대상체의 곡면이 교차하는 곡선이 이루는 곡률 값들 중 절대값이 가장 큰 곡률 값(k1) 및 상기 노말 평면과 직교하고 상기 시드 포인트의 법선을 포함하는 직교 노말 평면이 상기 대상체의 곡면과 교차하는 곡선이 이루는 곡률 값(k2) 중 적어도 하나를 포함하는, 영역 결정 방법.
  6. 제1 항에 있어서,
    상기 기준 포인트를 결정하는 단계는,
    상기 3차원 모델 상에 결정된 상기 시드 포인트의 곡률 값이 소정 범위 내의 값을 가지면, 상기 시드 포인트를 기준 포인트로서 결정하는 단계; 및
    상기 시드 포인트의 곡률 값이 상기 소정 범위 내의 값을 갖지 않으면, 상기 소정 범위 내의 곡률 값을 갖는 다른 포인트를 기준 포인트로서 결정하는 단계를 포함하는, 영역 결정 방법.
  7. 제1 항에 있어서,
    상기 대상체에 대응하는 영역을 결정하는 단계는,
    상기 기준 포인트로부터 선택 영역을 점차 확장함으로써, 상기 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 제1 영역을 결정하는 단계를 포함하는, 영역 결정 방법.
  8. 제7 항에 있어서,
    상기 대상체에 대응하는 영역을 결정하는 단계는,
    상기 결정된 제1 영역으로부터 영역 확장 및 수축 처리를 반복함으로써 상기 대상체에 대응하는 제2 영역을 결정하는 단계를 더 포함하는, 영역 결정 방법.
  9. 제1 항에 있어서,
    상기 대상체에 대응하는 영역을 결정하는 단계는,
    상기 기준 포인트로부터 선택 영역을 점차 확장함으로써, 상기 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 제1 영역을 결정하는 단계를 포함하고,
    상기 영역 결정 방법은,
    사용자의 드래그 입력에 기초하여, 상기 임계 범위를 변경하는 단계; 및
    상기 변경된 임계 범위에 기초하여, 제2 영역을 결정하는 단계를 더 포함하는, 영역 결정 방법.
  10. 제1 항에 있어서,
    상기 시드 포인트를 결정하는 단계는,
    상기 3차원 모델을 복수의 대상체들에 대응하는 영역들로 구분하는세그멘테이션을 수행하는 단계; 및
    상기 복수의 영역들 중 하나의 영역 상에 상기 시드 포인트를 결정하는 단계를 포함하는, 영역 결정 방법.
  11. 제1 항에 있어서,
    상기 3차원 모델 상에 복수의 치아들 및 각 치아에 대응하는 치아 번호가 표시된 영상을 표시하는 단계; 및
    상기 복수의 치아들 중 제1 치아를 상기 대상체로서 선택하는 사용자 입력을 수신하는 단계를 더 포함하고,
    상기 기준 포인트를 결정하는 단계는,
    상기 제1 치아 상의 상기 기준 포인트를 결정하는 단계를 포함하는, 영역 결정 방법.
  12. 구강에 대한 3차원 모델을 처리하는 장치에 있어서,
    상기 3차원 모델로부터 렌더링된 영상을 디스플레이 하는 디스플레이; 및
    상기 3차원 모델 상에 시드 포인트를 결정하고,
    상기 시드 포인트에 기초하여 상기 3차원 모델 상에 기준 포인트를 결정하고,
    상기 기준 포인트에 기초하여 선택 영역을 점차 확장함으로써 대상체에 대응하는 영역을 결정하고,
    상기 3차원 모델 상에 상기 결정된 영역을 표시하도록 상기 디스플레이를 제어하는, 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는, 3차원 모델 처리 장치.
  13. 제12 항에 있어서,
    상기 디스플레이는,
    상기 3차원 모델을 디스플레이 하고,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이된 3차원 모델에 대한 사용자 입력에 기초하여, 상기 시드 포인트를 결정하는 것을 특징으로 하는, 3차원 모델 처리 장치.
  14. 제12 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 기준 포인트로부터 선택 영역을 점차 확장함으로써, 상기 기준 포인트의 곡률 값을 기준으로 임계 범위 내의 곡률 값을 갖는 제1 영역을 결정하고,
    상기 결정된 제1 영역으로부터 영역 확장 및 수축 처리를 반복함으로써 상기 대상체에 대응하는 제2 영역을 결정하는 것을 특징으로 하는, 3차원 모델 처리 장치.
  15. 제12 항에 있어서,
    상기 디스플레이는,
    상기 3차원 모델 상에 복수의 치아들 및 각 치아에 대응하는 치아 번호가 표시된 영상을 표시하고,
    상기 적어도 하나의 프로세서는,
    상기 복수의 치아들 중 제1 치아를 상기 대상체로서 선택하는 사용자 입력을 수신하고,
    상기 제1 치아 상의 상기 기준 포인트를 결정하는 것을 특징으로 하는, 3차원 모델 처리 장치.
  16. 3차원 모델로부터 영역을 결정하는 방법에 있어서,
    구강에 대한 3차원 모델을 획득하는 단계;
    상기 구강 내에서 선택하고자 하는 영역의 적어도 일부 영역을 결정하는 단계;
    상기 결정된 적어도 일부 영역에 기초하여, 상기 3차원 모델로부터 상기 선택하고자 하는 영역에 대응하는 제1 영역을 결정하는 단계; 및
    상기 결정된 제1 영역을 디스플레이 하는 단계를 포함하는, 영역 결정 방법.
  17. 제16 항에 있어서,
    상기 적어도 일부 영역을 결정하는 단계는,
    사용자 입력에 기초하여 상기 적어도 일부 영역을 결정하는 단계를 포함하는, 영역 결정 방법.
  18. 제17 항에 있어서,
    상기 사용자 입력은, 클릭, 호버 및 드래그 중 적어도 하나의 제스처를 포함하는, 영역 결정 방법.
  19. 제16 항에 있어서,
    상기 3차원 모델을 복수의 치아들 각각에 대응하는 복수의 영역들로 구분하는 세그멘테이션을 수행하는 단계를 더 포함하고, 상기 적어도 일부 영역을 결정하는 단계는,
    상기 세그멘테이션된 3차원 모델에 기초하여, 상기 복수의 치아들 중 하나의 치아를 선택하는 단계; 및
    상기 선택된 치아 상의 시드 포인트에 기초하여 상기 적어도 일부 영역을 결정하는 단계를 포함하는, 영역 결정 방법.

KR1020200165076A 2020-10-28 2020-11-30 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치 KR102493440B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21886621.8A EP4238534A1 (en) 2020-10-28 2021-10-13 Method for determining object area from three-dimensional model, and three-dimensional model processing device
CN202180072440.6A CN116457835A (zh) 2020-10-28 2021-10-13 从三维模型确定对象体区域的方法和三维模型处理装置
PCT/KR2021/014123 WO2022092627A1 (ko) 2020-10-28 2021-10-13 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
US18/034,238 US20230390032A1 (en) 2020-10-28 2021-10-13 Method for determining object area from three-dimensional model, and three-dimensional model processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200141577 2020-10-28
KR1020200141577 2020-10-28

Publications (2)

Publication Number Publication Date
KR20220056765A true KR20220056765A (ko) 2022-05-06
KR102493440B1 KR102493440B1 (ko) 2023-01-31

Family

ID=81584477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200165076A KR102493440B1 (ko) 2020-10-28 2020-11-30 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치

Country Status (1)

Country Link
KR (1) KR102493440B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016143022A1 (ja) * 2015-03-09 2016-09-15 富士通株式会社 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法
KR101911693B1 (ko) * 2017-07-11 2019-01-04 오스템임플란트 주식회사 치아 변연선 추출 방법, 장치 및 치아 변연선 추출 방법을 수행하는 프로그램이 기록된 기록매체
KR101999465B1 (ko) * 2015-03-06 2019-07-11 얼라인 테크널러지, 인크. 구강 이미지의 자동 선택 및 잠금
WO2019229092A1 (en) * 2018-05-29 2019-12-05 Medicim Nv Methods, systems, and computer programs for segmenting a tooth's pulp region from an image
JP2020516335A (ja) * 2017-03-17 2020-06-11 トロフィー 動的歯列弓マップ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999465B1 (ko) * 2015-03-06 2019-07-11 얼라인 테크널러지, 인크. 구강 이미지의 자동 선택 및 잠금
WO2016143022A1 (ja) * 2015-03-09 2016-09-15 富士通株式会社 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法
JP2020516335A (ja) * 2017-03-17 2020-06-11 トロフィー 動的歯列弓マップ
KR101911693B1 (ko) * 2017-07-11 2019-01-04 오스템임플란트 주식회사 치아 변연선 추출 방법, 장치 및 치아 변연선 추출 방법을 수행하는 프로그램이 기록된 기록매체
WO2019229092A1 (en) * 2018-05-29 2019-12-05 Medicim Nv Methods, systems, and computer programs for segmenting a tooth's pulp region from an image

Also Published As

Publication number Publication date
KR102493440B1 (ko) 2023-01-31

Similar Documents

Publication Publication Date Title
US10438363B2 (en) Method, apparatus and program for selective registration three-dimensional tooth image data to optical scanning tooth model
EP2896017B1 (en) 3d modelling of bodies
JP2004534584A (ja) 3d画像に表示される3dサーフェイスとインタラクトする画像処理方法
KR102351684B1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
US20230390032A1 (en) Method for determining object area from three-dimensional model, and three-dimensional model processing device
US20220168074A1 (en) Method for graphically presenting a plurality of scans
KR102493440B1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR102582709B1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
KR102460621B1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
CN116457835A (zh) 从三维模型确定对象体区域的方法和三维模型处理装置
KR102441485B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR20230007909A (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
KR101949202B1 (ko) 치아 수복물 설계를 위한 그래픽 제공 방법, 이를 위한 장치 및 이를 기록한 기록매체
US20230111425A1 (en) Method for processing intraoral image, and data processing apparatus
KR102418810B1 (ko) 마진라인 포인트 선택 방법 및 이를 위한 덴탈 캐드 장치
CN112353512B (zh) 修整牙齿模型的方法及设备
KR102605094B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
EP4216230A1 (en) Three-dimensional scan data processing system and three-dimensional scan data processing method
EP4321128A1 (en) Data processing device, scanner, and method for operating same
EP4095808A1 (en) Method and system for interactively rendering digital dental models
KR20230051057A (ko) 구강 이미지를 처리하는 방법 및 데이터 처리 장치
KR20230038117A (ko) 구강 이미지를 처리하는 방법 및 데이터 처리 장치
KR20230007933A (ko) 구강 모델을 처리하는 데이터 처리 장치 및 그 동작 방법
KR20230014628A (ko) 이미지 처리 장치, 및 이미지 처리 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant