KR102289610B1 - 치아 부가정보 제공 방법 및 그 장치 - Google Patents
치아 부가정보 제공 방법 및 그 장치 Download PDFInfo
- Publication number
- KR102289610B1 KR102289610B1 KR1020190054036A KR20190054036A KR102289610B1 KR 102289610 B1 KR102289610 B1 KR 102289610B1 KR 1020190054036 A KR1020190054036 A KR 1020190054036A KR 20190054036 A KR20190054036 A KR 20190054036A KR 102289610 B1 KR102289610 B1 KR 102289610B1
- Authority
- KR
- South Korea
- Prior art keywords
- tooth
- image
- images
- viewer
- outputting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 239000007943 implant Substances 0.000 claims description 48
- 238000004088 simulation Methods 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000037182 bone density Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 241000282465 Canis Species 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 210000004086 maxillary sinus Anatomy 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000000276 neural tube Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001738 temporomandibular joint Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
치아의 2D 파노라마 영상과 3D 영상의 매칭을 통한 치아 부가정보를 제공하는 방법에 대한 기술이 제공된다. 보다 구체적으로, 치아의 2D 파노라마 영상과 3D 영상에 대한 치아 세그먼테이션을 수행하여 복수의 개별 치아 이미지로 분할하고, 분할된 치아 이미지 각각에 부여된 치아 번호를 매개로 복수의 개별 치아 이미지들을 매칭하며, 사용자가 2D 파노라마 영상 내에서 특정 치아 이미지를 선택하는 경우 특정 치아 이미지와 매칭된 3D 치아 이미지를 팝업창 형태로 제공함으로써, 3D 영상을 확인하기 위해 3D 뷰어를 실행하지 않고도 2D 뷰어 만으로 치아에 대한 상세 정보를 제공할 수 있는 치아 부가정보 제공 방법 및 그 장치에 관한 것이다.
Description
본 발명은 치아 부가정보 제공 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 2D 뷰어를 통해 치아의 2D 파노라마 영상을 제공하되, 사용자가 2D 파노라마 영상 내에서 특정 치아를 선택하는 경우, 선택한 치아에 대한 3D 단면 영상을 제공함으로써, 2D 뷰어 만으로 치아에 대한 전체적인 상태와 특정 치아의 세부적인 상태를 확인할 수 있는 치아 부가정보 제공 방법 및 그 장치에 관한 것이다.
파노라마 영상 기법은 악궁과 같이 곡면에 있는 물체의 관심영역을 평면의 영상으로 펼쳐 보이는 것을 말한다. 치과 분야에서 파노라마 영상 기법은 치아 전체를 하나의 이미지에서 관찰할 수 있을 뿐만 아니라, 턱뼈나 턱관절의 이상도 함께 확인할 수 있고, 임플란트 시술 시 상악동, 신경관 등의 위치를 이해하는데 유리하다는 이점이 있으며, 이러한 이점들으로 인해, 파노라마 영상 기법은 치과 분야를 비롯하여 구강을 다루는 의료분야에서 널리 사용되고 있다.
일반적으로, 파노라마 영상을 이용하여 환자의 치아 상태를 진단하는 방법은 2D 뷰어를 통해 파노라마 영상 장치를 이용하여 생성된 2차원 파노라마 영상을 이용하는 방법을 사용한다. 그러나, 2D 파노라마 영상을 이용하는 방법의 경우, 파노라마 영상을 통해 치아를 한눈에 볼 수 있지만, 치아의 상태를 단면적으로 밖에 볼 수 없기 때문에, 치아 상태에 대한 정확한 진단을 하기 어렵다는 단점이 있다.
최근에는 이러한 단점을 보완하기 위해 치아의 상태에 대한 보다 상세한 정보 및 영상을 제공하는 3D 뷰어를 2D 뷰어와 함께 사용하고 있다. 그러나, 2D 뷰어와 3D 뷰어를 동시에 사용하는 경우, 환자의 치아 전체적인 영상을 보기 위해 2D 뷰어를 사용하고, 세부적인 정보를 얻기 위해 3D 뷰어를 사용하는 등 용도에 따라 서로 다른 애플리케이션을 오가야 하기 때문에, 치과 진료를 수행하는데 불편함이 있다.
또한, 3D 뷰어를 통해 발치된 치아에 대한 임플란트 시뮬레이션을 수행하는 경우, 2D 뷰어에서는 임플란트 시뮬레이션의 결과를 확인할 수 없고, 2D 뷰어에서 임플란트 시뮬레이션의 결과를 보기 위해 사용자가 동일한 작업을 중복적으로 수행해야 한다는 문제가 있다.
따라서, 기존의 2D 뷰어 및 3D 뷰어의 단점을 개선하여, 치아를 한눈에 볼 수 있을 뿐만 아니라, 치아에 대한 상세한 정보, 임플란트 시뮬레이션 결과 등을 확인할 수 있는 애플리케이션 개발이 필요하다.
본 발명이 해결하고자 하는 기술적 과제는, 2D 뷰어 애플리케이션을 통해 치아 전체의 파노라마 영상을 제공하되, 사용자로부터 2D 파노라마 영상에서 특정 치아 이미지를 선택받는 경우, 선택한 치아에 대한 3D 영상을 제공할 수 있는 치아 부가정보 제공 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 3D 뷰어 애플리케이션을 통해 수행된 임플란트 시뮬레이션의 결과를 2D 뷰어에 표시함으로써, 2D 뷰어 만을 이용하더라도 임플란트 시뮬레이션의 결과를 확인할 수 있는 치아 부가정보 제공 방법 및 그 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 치아 부가정보 제공 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 치아의 2D 파노라마 영상 및 3D 영상에 대한 치아 세그먼테이션(tooth segmentation)을 수행하여 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지를 각각 생성하고, 상기 복수의 2D 치아 이미지 및 상기 복수의 3D 치아 이미지 각각에 치아 번호를 부여하는 단계, 상기 치아 번호를 매개로 하여 상기 복수의 2D 치아 이미지와 상기 복수의 3D 치아 이미지를 상호 매칭하는 단계 및 상기 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계를 포함할 수 있다.
일 실시예에서, 상기 치아 번호를 부여하는 단계는, 골밀도(Bone Density) 분석 방법 및 그레이 스케일(Gray scale) 분석 중 적어도 하나의 분석 방법을 이용하여 상기 치아의 2D 파노라마 영상 및 상기 3D 영상에 대한 상기 치아 세그먼테이션을 수행하는 단계를 포함할 수 있다.
일 실시예에서, 상기 치아 번호를 부여하는 단계는, CBCT(Cone Beam CT) 영상을 재구성하여 치아의 3D 파노라마 영상을 생성하는 단계 및 상기 치아의 2D 파노라마 영상 및 상기 치아의 3D 파노라마 영상에서 상기 치아의 중심선 및 스마일 라인을 이용하여 상기 치아 세그먼테이션을 수행하는 단계를 포함할 수 있다.
일 실시예에서, 상기 치아 번호를 부여하는 단계는, 상기 치아 세그먼테이션을 수행한 이후, 3D 뷰어를 통해 상기 복수의 3D 치아 이미지에 대한 횡단면(Cross-section) 영상을 자동으로 캡쳐하는 단계를 더 포함하며, 상기 선택한 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계는, 2D 뷰어를 통해 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지에 대한 상기 횡단면 영상을 출력하는 단계를 포함할 수 있다.
일 실시예에서, 상기 치아 번호를 부여하는 단계는, 상기 치아 세그먼테이션을 수행하여 복수의 개별 치아 이미지를 생성하되, 서로 인접한 개별 치아 이미지 사이의 간격이 기준 간격을 초과하는 경우, 상기 서로 인접한 개별 치아 이미지들 사이에 발치된 치아가 있는 것으로 판단하는 단계 및 상기 발치된 치아가 있는 것으로 판단된 위치에 상기 치아 번호를 부여하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상호 매칭하는 단계는, 3D 뷰어를 통해 상기 발치된 치아가 있는 것으로 판단된 위치에 임플란트 시뮬레이션이 수행되는 경우, 상기 발치된 치아가 있는 것으로 판단된 위치에 부여된 상기 치아 번호에 따라 상기 2D 파노라마 영상 내의 동일한 위치에 상기 임플란트 시뮬레이션의 결과를 표시하는 단계를 포함할 수 있다.
일 실시예에서, 상기 치아 정보를 제공하는 방법은, 상기 3D 뷰어를 통해 상기 발치된 치아가 있는 것으로 판단된 위치에 상기 임플란트 시뮬레이션이 수행되는 경우, 상기 임플란트 시뮬레이션을 수행한 위치에 대한 단면 영상을 자동으로 생성하는 단계를 더 포함하며, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계는, 2D 뷰어를 통해 출력되는 상기 2D 파노라마 영상에 표시된 상기 임플란트 시뮬레이션의 결과를 선택하는 경우, 상기 자동으로 생성된 단면 영상을 출력하는 단계를 포함할 수 있다.
일 실시예에서, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계는, 상기 선택한 2D 치아 이미지와 인접한 위치에 팝업창 형태로 상기 3D 치아 이미지를 출력하는 단계를 포함할 수 있다.
일 실시예에서, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계는, 상기 2D 파노라마 영상을 출력하는 2D 뷰어 상에서 상기 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 상기 3D 영상을 출력하는 3D 뷰어를 실행하고, 상기 선택한 2D 치아 이미지와 매칭되는 상기 3D 치아 이미지에 대한 단면 영상을 상기 3D 뷰어 상에 자동으로 출력하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 상호 매칭하는 단계는, 상기 복수의 2D 치아 이미지의 개수와 상기 복수의 3D 치아 이미지의 개수가 동일한 경우에만 상기 복수의 2D 치아 이미지 및 상기 복수의 3D 치아 이미지를 상호 매칭하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상호 매칭하는 단계는, 상기 복수의 2D 치아 이미지의 개수와 상기 복수의 3D 치아 이미지의 개수가 서로 상이한 경우, 상기 복수의 2D 치아 이미지의 개수와 상기 복수의 3D 치아 이미지의 개수가 서로 동일할 때까지 상기 치아 세그먼테이션을 반복 수행하되, 상기 치아 세그먼테이션의 반복 횟수가 기 설정된 횟수를 초과하는 경우, 상기 치아의 2D 파노라마 영상과 상기 3D 영상을 재 촬영할 것을 안내하는 안내 메시지를 출력하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상호 매칭하는 단계는, 상기 복수의 2D 치아 이미지의 개수와 상기 복수의 3D 치아 이미지의 개수가 서로 상이한 경우, 상기 복수의 2D 치아 이미지와 상기 복수의 3D 치아 이미지를 직접 매칭하기 위한 사용자 인터페이스를 출력하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 다른 실시예에 따른 치아 부가정보 제공 장치는, 치아의 2D 파노라마 영상 및 3D 영상을 수신하는 통신 인터페이스, 치아 정보를 제공하기 위한 소프트웨어를 저장하는 스토리지, 상기 소프트웨어의 실행에 따라 복수의 인스트럭션(instruction)이 로드 되는 메모리, 상기 복수의 인스트럭션을 실행하는 프로세서를 포함하되, 상기 복수의 인스트럭션은, 상기 치아의 2D 파노라마 영상 및 상기 3D 영상에 대한 치아 세그먼테이션(tooth segmentation)을 수행하여 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지를 각각 생성하고, 상기 복수의 2D 치아 이미지 및 상기 복수의 3D 치아 이미지 각각에 치아 번호를 부여하는 인스트럭션, 상기 치아 번호를 매개로 하여 상기 복수의 2D 치아 이미지와 상기 복수의 3D 치아 이미지를 상호 매칭하는 인스트럭션 및 상기 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 인스트럭션을 포함할 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 치아의 2D 파노라마 영상 및 3D 영상에 대한 치아 세그먼테이션(tooth segmentation)을 수행하여 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지를 각각 생성하고, 상기 복수의 2D 치아 이미지 및 상기 복수의 3D 치아 이미지 각각에 치아 번호를 부여하는 단계, 상기 치아 번호를 매개로 하여 상기 복수의 2D 치아 이미지와 상기 복수의 3D 치아 이미지를 상호 매칭하는 단계 및 상기 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 치아 부가정보 제공 시스템의 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 치아 부가정보 제공 방법의 순서도이다.
도 3은 도 2를 참조하여 설명한 치아 부가정보 제공 방법의 치아 세그먼테이션 단계에 따라 분할된 치아 파노라마 영상을 예시적으로 도시한 도면이다.
도 4는 도 2를 참조하여 설명한 치아 부가정보 제공 방법의 치아 번호 부여 단계에 따라 분할된 치아에 치아 번호가 부여된 형태를 예시적으로 도시한 도면이다.
도 5는 도 2를 참조하여 설명한 치아 부가정보 제공 방법의 치아 이미지 매칭 단계의 일 실시예를 설명하기 위한 순서도이다.
도 6은 도 2를 참조하여 설명한 치아 부가정보 제공 방법의 치아 이미지 매칭 단계의 다른 실시예를 설명하기 위한 순서도이다.
도 7은 본 발명의 몇몇 실시예에 따라 수행되는 분할된 치아 이미지의 횡단면 영상을 생성하는 동작 및 치아의 발치 여부를 판단하는 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따라 특정 치아 이미지를 선택한 경우에 3D 치아 이미지가 출력되는 형태를 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 치아 부가정보 제공 방법에서, 2D 파노라마 영상에 임플란트 시뮬레이션의 결과를 표시하는 방법을 설명하기 위한 순서도이다.
도 10은 도 9를 참조하여 설명한 임플란트 시뮬레이션의 결과를 표시하는 방법의 임플란트 시뮬레이션 수행 단계에 따라 수행된 임플란트 시뮬레이션의 결과를 예시적으로 도시한 도면이다.
도 11은 도 9를 참조하여 설명한 임플란트 시뮬레이션의 결과를 표시하는 방법의 임플란트 시뮬레이션 결과를 표시하는 단계에 따라 2D 파노라마 영상에 임플란트 시뮬레이션의 결과가 표시되는 것을 예시적으로 도시한 도면이다.
도 12는 몇몇 실시예에 따라 2D 뷰어에서 임플란트 시뮬레이션의 결과 및 단면 영상이 출력되는 형태를 예시적으로 도시한 도면이다.
도 13은 몇몇 실시예에 따라 2D 뷰어에서 임플란트 시뮬레이션의 결과가 아이콘으로 표시되는 형태를 예시적으로 도시한 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 치아 부가정보 제공 장치의 하드웨어 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 치아 부가정보 제공 방법의 순서도이다.
도 3은 도 2를 참조하여 설명한 치아 부가정보 제공 방법의 치아 세그먼테이션 단계에 따라 분할된 치아 파노라마 영상을 예시적으로 도시한 도면이다.
도 4는 도 2를 참조하여 설명한 치아 부가정보 제공 방법의 치아 번호 부여 단계에 따라 분할된 치아에 치아 번호가 부여된 형태를 예시적으로 도시한 도면이다.
도 5는 도 2를 참조하여 설명한 치아 부가정보 제공 방법의 치아 이미지 매칭 단계의 일 실시예를 설명하기 위한 순서도이다.
도 6은 도 2를 참조하여 설명한 치아 부가정보 제공 방법의 치아 이미지 매칭 단계의 다른 실시예를 설명하기 위한 순서도이다.
도 7은 본 발명의 몇몇 실시예에 따라 수행되는 분할된 치아 이미지의 횡단면 영상을 생성하는 동작 및 치아의 발치 여부를 판단하는 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따라 특정 치아 이미지를 선택한 경우에 3D 치아 이미지가 출력되는 형태를 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 치아 부가정보 제공 방법에서, 2D 파노라마 영상에 임플란트 시뮬레이션의 결과를 표시하는 방법을 설명하기 위한 순서도이다.
도 10은 도 9를 참조하여 설명한 임플란트 시뮬레이션의 결과를 표시하는 방법의 임플란트 시뮬레이션 수행 단계에 따라 수행된 임플란트 시뮬레이션의 결과를 예시적으로 도시한 도면이다.
도 11은 도 9를 참조하여 설명한 임플란트 시뮬레이션의 결과를 표시하는 방법의 임플란트 시뮬레이션 결과를 표시하는 단계에 따라 2D 파노라마 영상에 임플란트 시뮬레이션의 결과가 표시되는 것을 예시적으로 도시한 도면이다.
도 12는 몇몇 실시예에 따라 2D 뷰어에서 임플란트 시뮬레이션의 결과 및 단면 영상이 출력되는 형태를 예시적으로 도시한 도면이다.
도 13은 몇몇 실시예에 따라 2D 뷰어에서 임플란트 시뮬레이션의 결과가 아이콘으로 표시되는 형태를 예시적으로 도시한 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 치아 부가정보 제공 장치의 하드웨어 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
또한, 본 명세서에서는 치과 분야에 적용하여 치아 부가정보를 제공하는 장치 및 방법에 대하여 서술하고 있으나, 이에 한정되지 않고, 2D 뷰어와 3D 뷰어를 동시에 사용하는 어떠한 분야에서든 적용이 가능하다.
본 명세서에서, 치아 세그먼테이션(tooth segmentation)이란, 치아 파노라마 영상에서 치아와 잇몸 사이, 치아와 치아 사이를 구분하여 개별 치아영역을 구획하는 것을 의미한다. 치아 세그먼테이션이 수행된 결과의 예는 도 3에 도시된 바와 같다.
이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.
먼저, 도 1은 본 발명의 일 실시예에 따른 치아 부가정보 제공 시스템의 구성도이다.
도 1을 참조하면, 본 실시예에 따른 치아 부가정보 제공 시스템은 촬영 장치(10), 치아 부가정보 제공 서버(100), 네트워크(11) 및 사용자 단말(12)을 포함할 수 있다.
여기서, 도 1에 도시된 치아 부가정보 제공 시스템은 일 실시예에 따른 것이고, 그 구성요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있음을 유의한다.
또한, 도 1에 도시된 치아 부가정보 제공 시스템 각각의 구성요소(10, 11, 12, 100)들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 복수의 구성요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다.
먼저, 촬영 장치(10)는 환자의 치아 배열을 파악하기 위하여 환자의 치아를 촬영함으로써 영상 데이터를 생성하는 장치일 수 있다. 예를 들어, 촬영 장치(10)는 치아의 2D 파노라마 영상을 촬영하는 2D 파노라마 촬영 장치 및 3D 영상을 촬영하는 CBCT(Cone Beam CT) 장치일 수 있다.
여기서, 촬영 장치(10)는 후술되는 치아 부가정보 제공 장치(100)로 치아의 2D 파노라마 영상과 3D 영상을 각각 제공하기 위하여, 2D 파노라마 영상을 촬영하는 장치와 3D 영상을 촬영하는 장치를 모두 포함하는 것이 바람직하다. 그러나, 이에 한정되지 않고, 치아관련 영상을 제공하는 어떠한 방법이든 적용이 가능하다. 예를 들어, 치아 부가정보 제공 시스템은 별도의 촬영 장치(10)를 구비하지 않고, 치아의 2D 영상 데이터 및 3D 영상 데이터를 저장하는 외부의 스토리지 서버로부터 제공된 치아의 영상 데이터를 이용할 수 있다.
치아 부가정보 제공 장치(100)는 촬영장치(10)로부터 제공된 치아의 2D 파노라마 영상과 3D 영상에 대한 치아 세그먼테이션을 각각 수행하여 각 영상의 치아 영역을 복수의 개별 치아 이미지로 분할하고, 분할된 복수의 개별 치아 이미지에 대하여 치아 번호를 부여할 수 있다. 또한, 치아 부가정보 제공 장치(100)는 치아 번호를 매개로 2D 파노라마 영상과 3D 영상을 매칭할 수 있다.
또한, 치아 부가정보 제공 장치(100)는 네트워크(11)를 통해 사용자 단말(12)과 통신 가능하며, 네트워크(11)를 통해 사용자 단말(12)로 치아 뷰어 애플리케이션을 제공할 수 있다.
여기서, 치아 뷰어 애플리케이션은, 치아 부가정보 제공 장치(100)에서 생성한 영상 데이터를 디스플레이 하는 사용자 인터페이스를 가지는 애플리케이션을 의미할 수 있다. 예를 들어, 치아 뷰어 애플리케이션은 2D 파노라마 영상을 디스플레이 하는 2D 뷰어 애플리케이션과 3D 영상을 디스플레이 하는 3D 뷰어 애플리케이션을 포함할 수 있으며, 사용자 단말(12)에 설치된 치아 뷰어 애플리케이션을 통해 치아 부가정보 제공 장치(100)로부터 제공된 영상 데이터를 출력함으로써, 사용자가 2D 파노라마 영상 및 2D 파노라마 영상과 매칭된 3D 영상을 확인하도록 할 수 있다. 이하, 도 2 내지 도 13을 참조하여, 2D 파노라마 영상 내에서 3D 영상(부가정보)을 제공하는 프로세스에 대하여 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 치아 부가정보 제공 방법을 설명하기 위한 순서도이다. 본 실시예의 치아 부가정보 제공 방법은 컴퓨팅 장치에 의하여 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 도 1의 치아 부가정보 제공 장치(100)일 수 있다. 이하, 본 실시예와 관련된 기재에서 동작의 주체에 대한 기재가 생략된 경우, 그 주체는 도 1의 치아 부가정보 제공 장치(100)인 것으로 이해될 수 있을 것이다.
도 2를 참조하면, 먼저, 치아의 2D 파노라마 영상 및 3D 영상이 수신된다(S110). 예를 들어, 치아 부가정보 제공 장치(100)는 촬영 장치(10)를 통해 촬영된 2D 파노라마 영상 및 3D 영상을 수신하거나 또는, 외부 서버(미도시)로부터 기 저장된 2D 파노라마 영상 및 3D 영상을 제공받을 수 있다. 그러나, 이에 한정되지 않는다.
S110 단계 이후, S110단계에서 수신한 치아의 2D 파노라마 영상과 3D 영상에 대한 치아 세그먼테이션을 수행함으로써, 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지가 각각 생성된다(S120).
일 실시예에서, 치아 부가정보 제공 장치(100)는 골밀도(Bone Density) 분석 방법 및 그레이 스케일(Gray scale) 분석 중 적어도 하나의 분석 방법을 이용하여 치아의 2D 파노라마 영상 및 3D 영상에 대한 치아 세그먼테이션을 수행할 수 있다.
다른 실시예에서, 치아 부가정보 제공 장치(100)는 2D 파노라마 영상과 3D 영상에서의 치아의 중심선과 스마일 라인을 이용하여 치아의 세그먼테이션을 수행할 수 있다. 예를 들어, S110단계에서 수신한 3D 영상 데이터가 CBCT 영상인 경우, 치아 부가정보 제공 장치(100)는 CBCT 영상을 파노라마 형태로 재구성하여 3D 파노라마 영상을 생성하고, 2D 파노라마 영상과 파노라마 형태로 재구성된 CBCT 영상의 치아의 중심선 및 스마일 라인을 이용하여 치아 세그먼테이션을 수행할 수 있다. 그러나, 이에 한정되지 않고, 다양한 치아 세그먼테이션 방법이 적용될 수 있다. 여기서, S120 단계를 거쳐 분할된 치아 이미지는 도 3에 도시된 바와 같다.
일 실시예에서, 치아 부가정보 제공 장치(100)는 3D 영상에 대한 치아 세그먼테이션을 수행한 이후, 분할된 3D 치아 이미지에 대한 부가정보를 자동으로 생성할 수 있다.
여기서, 부가정보는, 치아에 대한 보다 정밀한 진료 및 진단을 위하여 필요한 정보를 의미한다. 예를 들어, 치아 부가정보 제공 장치(100)는 도 7에 도시된 바와 같이 치아 세그먼테이션을 수행한 이후, 3D 뷰어를 통해 분할된 3D 치아 이미지(40-1 및 40-2)에 대한 횡단면(Cross-section) 영상(50)을 자동으로 캡쳐할 수 있다. 그러나, 이에 한정되지 않고, 3D 뷰어를 통해 생성 가능하며, 치아의 정밀한 진료 및 진단을 위해 필요한 어떠한 정보든지 적용이 가능하다.
S120 단계 이후, S120 단계에서 생성된 복수의 2D 치아 이미지와 복수의 3D 치아 이미지 각각에 대하여 치아 번호가 부여된다(S130).
여기서, 치아 부가정보 제공 장치(100)는 도 4에 도시된 바와 같이 치아의 위치, 치아에 종류에 따라 기 설정된 치아 번호 테이블을 이용하여 복수의 2D 치아 이미지와 복수의 3D 치아 이미지 각각에 대하여 치아 번호를 부여할 수 있다. 그러나, 이에 한정되지 않는다.
S130 단계 이후, S130 단계에서 부여된 복수의 2D 치아 이미지와 복수의 3D 치아 이미지 각각의 치아 번호를 매개로 하여 복수의 2D 치아 이미지와 복수의 3D 치아 이미지가 상호 매칭된다(S140). 예를 들어, 복수의 2D 치아 이미지 중 13번, 23번 치아 이미지(상악 송곳니)와 복수의 3D 치아 이미지 중 13번, 23번 치아 이미지(상악 송곳니)를 각각 매칭할 수 있다.
일 실시예에서, 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지의 개수가 동일한 경우에만 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지를 상호 매칭할 수 있다. 이하, 도 5 및 6을 참조하여, 복수의 개별 치아 이미지들 간의 상호 매칭하는 방법을 설명하도록 한다.
도 5를 참조하면, 일 실시예에서, 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수가 상이한 경우, 치아 부가정보 제공 장치(100)는 치아 세그먼테이션 동작을 반복적으로 재 수행할 수 있다.
도 2의 S130단계 이후, 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수를 비교하고(S210), S210 단계에서의 비교 결과에 따라 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수가 동일한지 여부가 판단된다(S220).
S220 단계에서, 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수가 동일한 경우, 도 2의 S140단계를 수행하여, 복수의 2D 치아 이미지와 복수의 3D 치아 이미지가 상호 매칭된다.
만약, S220 단계에서 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수가 상이한 것으로 판단되는 경우, 도 2의 S130 단계가 반복적으로 수행된다(S230).
여기서, S230 단계를 반복한 횟수가 기 설정된 횟수(N)를 초과하는지 여부를 확인할 수 있고(S240), 반복 횟수가 기 설정된 횟수를 초과하는 경우, 사용자 단말(12)로 치아의 2D 파노라마 영상과 3D 영상을 재 촬영할 것을 안내하는 안내 메시지가 출력된다(S250).
도 6을 참조하면, 다른 실시예에서, 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수가 상이한 경우, 치아 부가정보 제공 장치(100)는 사용자가 복수의 2D 치아 이미지와 복수의 3D 치아 이미지를 직접 매칭하도록 하는 치아 매칭 사용자 인터페이스를 사용자 단말(12)로 제공할 수 있다.
도 2의 S130단계 이후, 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수를 비교하고(S310), S310 단계에서의 비교 결과에 따라 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수가 동일한지 여부가 판단된다 (S320).
S320 단계에서, 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수가 동일한 경우, 도 2의 S140단계를 수행되어, 복수의 2D 치아 이미지와 복수의 3D 치아 이미지가 상호 매칭된다.
만약, S320 단계에서 복수의 2D 치아 이미지의 개수와 복수의 3D 치아 이미지 개수가 상이한 것으로 판단되는 경우, 복수의 2D 치아 이미지와 복수의 3D 치아 이미지를 직접 매칭할 수 있는 치아 매칭 사용자 인터페이스가 사용자 단말(12)로 제공되며, 사용자가 직접 치아 이미지를 매칭하도록 할 수 있다.
즉, 치아 부가정보 제공 장치(100)가 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지의 개수가 동일 할 때만 상호 매칭을 수행하고, 동일하지 않은 경우에는 치아 세그먼테이션을 반복 수행하는 방법 또는 직접 매칭하는 방법을 수행함으로써, 치아 이미지들 간의 매칭 정확도를 향상시킬 수 있고, 이에 따라 정확한 정보를 제공할 수 있다는 이점이 있다.
다시 도 2로 돌아와서, S140단계 이후, 사용자 단말(12)로 제공한 뷰어 애플리케이션을 통해 2D 파노라마 영상이 제공되고, 사용자가 사용자 단말(12)에 출력된 2D 뷰어를 통해 특정 치아 이미지를 선택하는 경우, 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지가 출력된다(S150).
일 실시예에서, 치아 부가정보 제공 장치(100)는 사용자가 사용자 단말(12)에 출력된 2D 뷰어를 통해 특정 2D 치아 이미지를 선택하는 경우, 선택한 2D 치아 이미지와 인접한 위치에 팝업(pop-up)창 형태로 상기 3D 치아 이미지를 출력할 수 있다. 예를 들어, 치아 부가정보 제공 장치(100)는 사용자로부터 특정 치아 이미지(40)를 선택받는 경우, 선택받은 특정 치아 이미지(40)와 인접한 위치에 팝업창(30)을 출력하고, 출력된 팝업창(30)에 도 2의 S120 단계에서 치아 세그먼테이션 이후에 자동으로 캡쳐한 치아의 단면 영상을 출력할 수 있다.
일 실시예에서, 치아 부가정보 제공 장치(100)는 사용자 단말(12)에 출력된 2D 뷰어를 통해 사용자가 특정 치아를 선택하고자 포인터를 특정 치아에 이동시키는 경우, 도 13에 도시된 바와 같이 선택한 영역을 활성화함으로써, 사용자가 선택하고자 하는 특정 치아 이미지를 정확하게 안내할 수 있다.
즉, 사용자가 2D 뷰어에 출력되는 2D 파노라마 영상을 통해 환자의 치아를 진료하는 과정에서, 특정 치아를 선택하는 경우, 3D 뷰어를 실행하지 않고 선택한 특정 치아에 대한 부가정보(3D 단면 영상)을 제공함으로써, 진료 효율을 높일 수 있다는 이점이 있다.
다른 실시예에서, 치아 부가정보 제공 장치(100)는 치아 부가정보 제공 장치(100)는 사용자가 사용자 단말(12)에 출력된 2D 뷰어를 통해 특정 2D 치아 이미지를 선택하는 경우, 치아의 3D 영상을 출력하는 3D 뷰어를 실행할 수 있고, 2D 뷰어에서 선택한 특정 치아 이미지(40)와 매칭되는 3D 치아 이미지에 대한 상세한 정보를 3D 뷰어를 통해 자동으로 출력할 수 있다.
즉, 본 발명의 일 실시예에 따른 치아 부가정보 제공 장치(100)는 2D 파노라마 영상만을 이용하여 치아를 진단하는 상황에서 팝업창을 통해 치아의 상세한 부가정보를 제공할 수 있을 뿐만 아니라, 보다 상세한 정보를 많이 확인하고자 하는 상황에서는 3D 뷰어를 직접 실행하여 3D 뷰어를 통해 보다 많은 부가정보를 제공함으로써, 상황에 따라 정보를 제공할 수 있다는 이점이 있다.
그러나, 이에 한정되지 않는다. 이하, 도 9 내지 13을 참조하며 사용자가 3D 뷰어를 통해 수행한 임플란트 시뮬레이션을 연동하는 방법에 대하여 설명하도록 한다.
도 9는 본 발명의 다른 실시예에 따른 치아 부가정보 제공 방법에서, 임플란트 시뮬레이션의 결과를 표시하는 방법을 설명하기 위한 순서도이다.
도 9를 참조하면, 먼저 2D 파노라마 영상과 3D 영상에 대한 치아 세그먼테이션을 수행되어 복수의 개별 치아 이미지가 생성되되, 서로 인접한 개별 치아 이미지들 사이의 간격이 기준 간격을 초과하는 경우, 서로 인접한 개별 치아들 사이에 발치된 치아가 있는 것으로 판단된다(S410). 예를 들어, 도 7에 도시된 바와 같이, 치아 세그먼테이션을 수행한 결과, 서로 인접한 제1 치아 이미지(40-1) 및 제2 치아 이미지(40-2)를 생성할 수 있다. 이때, 제1 치아 이미지(40-1)와 제2 치아 이미지(40-2) 사이의 간격이 기준 간격인 1.5mm를 초과하는 경우, 제1 치아 이미지(40-1)와 제2 치아 이미지(40-2) 사이에 발치된 치아가 있는 것으로 판단될 수 있다. 그러나, 이에 한정되지 않는다.
S410 단계 이후, S410 단계에서 발치된 치아가 있는 것으로 판단된 위치에 대하여 치아 번호가 부여된다(S420). 예를 들어, 발치된 치아가 있는 것으로 판단된 위치(40-3)에 대해서도 치아 번호를 부여할 수 있다.
S420 단계 이후, 사용자가 자신의 사용자 단말(12)에 출력된 3D 뷰어 애플리케이션을 통해 발치된 것으로 판단된 위치(40-3)에 임플란트 시뮬레이션을 수행하는 경우(S430), 사용자 단말(12)로부터 임플란트 시뮬레이션의 결과가 수신되고, 수신된 임플란트 시뮬레이션의 결과를 이용하여, 사용자가 임플란트 시뮬레이션을 수행한 위치에 대한 치아 번호가 식별된다(S440).
일 실시예에서, 치아 부가정보 제공 장치(100)는 사용자 단말(12)로부터 3D 뷰어를 통해 발치된 치아가 있는 것으로 판단된 위치에 임플란트 시뮬레이션이 수행되는 경우, 임플란트 시뮬레이션을 수행한 위치에 대한 단면 영상을 자동으로 생성할 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 임플란트 시뮬레이션을 통해 임플란트 픽스쳐(20)를 식립한 경우, 픽스쳐(20)를 식립한 위치에 대한 단면 영상(50)을 자동으로 캡쳐하여 생성할 수 있다. 그러나, 이에 한정되지 않는다.
S440 단계 이후, S440 단계에서 식별된 치아 번호에 따라 2D 파노라마 영상 내의 동일한 위치에 임플란트 시뮬레이션의 결과가 표시된다(S450). 예를 들어, 도 10에 도시된 바와 같이, 임플란트 시뮬레이션을 통해 임플란트 픽스쳐(20)를 식립한 경우, 치아 부가정보 제공 장치(100)는 3D 뷰어 애플리케이션을 통해 사용자가 식립한 픽스쳐(20)의 정보를 수신하고, 수신한 픽스쳐(20)의 정보를 이용하여 임플란트 시뮬레이션의 결과로써 도 11에 도시된 바와 같이 픽스쳐 이미지(21)를 2D 파노라마 영상 내에 표시할 수 있다.
일 실시예에서, 치아 부가정보 제공 장치(100)는 임플란트 시뮬레이션의 결과로써 픽스쳐 이미지(21)와 함께 임플란트 시뮬레이션 결과를 표시하는 아이콘(21a)를 함께 표시할 수 있다.
S450 단계 이후, 사용자가 사용자 단말(12)을 통해 2D 뷰어 애플리케이션을 통해 출력되는 2D 파노라마 영상에 표시된 임플란트 시뮬레이션의 결과를 선택하는 경우, 도 13에 도시된 바와 같이, 임플란트 시뮬레이션의 결과가 표시된 위치와 인접한 위치에 팝업창(30)을 출력하여 S440단계에서 생성된 단면 영상이 출력된다.
즉, 본 발명의 일 실시예에 따른 치아 부가정보 제공 장치(100)는 2D 뷰어에 출력되는 2D 파노라마 영상 내에 3D 뷰어에서 수행한 임플란트 시뮬레이션 결과를 표시함으로써, 2D 파노라마 영상만으로 임플란트 시뮬레이션에 대한 정보를 얻을 수 있고, 임플란트 시뮬레이션의 결과를 선택하는 경우에 임플란트 시뮬레이션에 대한 상세한 부가정보를 제공함으로써, 2D 뷰어 만을 이용하더라도 환자의 치아 진료를 원활하게 진행할 수 있다는 이점이 있다.
지금까지 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 클라우드 서비스를 위한 서버 풀에 속한 물리 서버, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치를 모두 포함한다.
상기 컴퓨터프로그램은 DVD-ROM, 플래시 메모리 장치 등의 기록매체에 저장된 것일 수도 있다. 이하, 도 14를 참조하여, 본 발명의 또 다른 실시예에 따른 치아 부가정보 제공 장치(100)의 하드웨어 구성 및 동작을 설명하도록 한다.
도 14는 본 발명의 또 다른 실시예에 따른 치아 부가정보 제공 장치의 하드웨어 구성도이다.
도 13을 참조하면, 본 발명의 또 다른 실시예에 따른 치아 부가정보 제공 장치(100)는 하나 이상의 프로세서(110), 통신 인터페이스(120), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(141)을 로드(Load)하는 메모리(130), 컴퓨터 프로그램(141)을 저장하는 스토리지(140) 및 버스(150)을 포함할 수 있다. 여기서, 도 14에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 14에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 치아 부가정보 제공 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 하나 이상의 프로세서를 구비할 수 있다.
통신 인터페이스(120)는 치아 부가정보 제공 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(120)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(120)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(120)는 생략될 수도 있다.
메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(140)로부터 컴퓨터 프로그램(141)을 로드할 수 있다. 메모리(130)에 컴퓨터 프로그램(141)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(141)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.
스토리지(140)는 컴퓨터 프로그램(141)을 비 임시적으로 저장할 수 있다. 또한, 스토리지(140)는 치아 부가정보 제공 장치(100)에서 복수의 2D 치아 이미지와 복수의 3D 치아 이미지를 매칭하여 생성되는 치아 매칭 정보(142)를 저장할 수 있다.
스토리지(140)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(141)은 메모리(130)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(141)은 치아의 2D 파노라마 영상 및 3D 영상에 대한 치아 세그먼테이션(tooth segmentation)을 수행하여 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지를 각각 생성하고, 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지 각각에 치아 번호를 부여하는 인스트럭션, 치아 번호를 매개로 하여 복수의 2D 치아 이미지와 복수의 3D 치아 이미지를 상호 매칭하는 인스트럭션 및 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 인스트럭션을 포함할 수 있다.
버스(150)는 치아 부가정보 제공 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(150)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
지금까지 도 1 내지 도 14을 참조하여 본 발명의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 발명의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.
Claims (14)
- 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
치아의 2D 파노라마 영상 및 3D 영상을 이용하여 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지를 각각 생성하고, 상기 복수의 2D 치아 이미지 및 상기 복수의 3D 치아 이미지 각각에 치아 번호를 부여하는 단계;
상기 치아 번호를 매개로 하여 상기 복수의 2D 치아 이미지와 상기 복수의 3D 치아 이미지를 상호 매칭하는 단계; 및
상기 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 치아 번호를 부여하는 단계는,
골밀도(Bone Density) 분석 방법 및 그레이 스케일(Gray scale) 분석 중 적어도 하나의 분석 방법을 이용하여 상기 치아의 2D 파노라마 영상 및 상기 3D 영상에 대한 치아 세그먼테이션(tooth segmentation)을 수행하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 치아 번호를 부여하는 단계는,
CBCT(Cone Beam CT) 영상을 재구성하여 치아의 3D 파노라마 영상을 생성하는 단계; 및
상기 치아의 2D 파노라마 영상 및 상기 치아의 3D 파노라마 영상에서 상기 치아의 중심선 및 스마일 라인을 이용하여 치아 세그먼테이션을 수행하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 치아 번호를 부여하는 단계는,
치아 세그먼테이션을 수행한 이후, 3D 뷰어를 통해 상기 복수의 3D 치아 이미지에 대한 횡단면(Cross-section) 영상을 자동으로 캡쳐하는 단계를 더 포함하며,
상기 선택한 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계는,
2D 뷰어를 통해 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지에 대한 상기 횡단면 영상을 출력하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 치아 번호를 부여하는 단계는,
치아 세그먼테이션을 수행하여 복수의 개별 치아 이미지를 생성하되, 서로 인접한 개별 치아 이미지 사이의 간격이 기준 간격을 초과하는 경우, 상기 서로 인접한 개별 치아 이미지들 사이에 발치된 치아가 있는 것으로 판단하는 단계; 및
상기 발치된 치아가 있는 것으로 판단된 위치에 상기 치아 번호를 부여하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제5항에 있어서,
상기 상호 매칭하는 단계는,
3D 뷰어를 통해 상기 발치된 치아가 있는 것으로 판단된 위치에 임플란트 시뮬레이션이 수행되는 경우, 상기 발치된 치아가 있는 것으로 판단된 위치에 부여된 상기 치아 번호에 따라 상기 2D 파노라마 영상 내의 동일한 위치에 상기 임플란트 시뮬레이션의 결과를 표시하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제6항에 있어서,
상기 치아 부가정보 제공 방법은,
상기 3D 뷰어를 통해 상기 발치된 치아가 있는 것으로 판단된 위치에 상기 임플란트 시뮬레이션이 수행되는 경우, 상기 임플란트 시뮬레이션을 수행한 위치에 대한 단면 영상을 자동으로 생성하는 단계를 더 포함하며,
상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계는,
2D 뷰어를 통해 출력되는 상기 2D 파노라마 영상에 표시된 상기 임플란트 시뮬레이션의 결과를 선택하는 경우, 상기 자동으로 생성된 단면 영상을 출력하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계는,
상기 선택한 2D 치아 이미지와 인접한 위치에 팝업창 형태로 상기 3D 치아 이미지를 출력하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계는,
상기 2D 파노라마 영상을 출력하는 2D 뷰어 상에서 상기 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 상기 3D 영상을 출력하는 3D 뷰어를 실행하고, 상기 선택한 2D 치아 이미지와 매칭되는 상기 3D 치아 이미지에 대한 단면 영상을 상기 3D 뷰어 상에 자동으로 출력하는 단계를 더 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 상호 매칭하는 단계는,
상기 복수의 2D 치아 이미지의 개수와 상기 복수의 3D 치아 이미지의 개수가 동일한 경우에만 상기 복수의 2D 치아 이미지 및 상기 복수의 3D 치아 이미지를 상호 매칭하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 상호 매칭하는 단계는,
상기 복수의 2D 치아 이미지의 개수와 상기 복수의 3D 치아 이미지의 개수가 서로 상이한 경우, 상기 복수의 2D 치아 이미지의 개수와 상기 복수의 3D 치아 이미지의 개수가 서로 동일할 때까지 치아 세그먼테이션을 반복 수행하되, 상기 치아 세그먼테이션의 반복 횟수가 기 설정된 횟수를 초과하는 경우, 상기 치아의 2D 파노라마 영상과 상기 3D 영상을 재 촬영할 것을 안내하는 안내 메시지를 출력하는 단계를 포함하는, 치아 부가정보 제공 방법. - 제1항에 있어서,
상기 상호 매칭하는 단계는,
상기 복수의 2D 치아 이미지의 개수와 상기 복수의 3D 치아 이미지의 개수가 서로 상이한 경우, 상기 복수의 2D 치아 이미지와 상기 복수의 3D 치아 이미지를 직접 매칭하기 위한 사용자 인터페이스를 출력하는 단계를 포함하는, 치아 부가정보 제공 방법. - 치아의 2D 파노라마 영상 및 3D 영상을 수신하는 통신 인터페이스;
치아 정보를 제공하기 위한 소프트웨어를 저장하는 스토리지;
상기 소프트웨어의 실행에 따라 복수의 인스트럭션(instruction)이 로드 되는 메모리;
상기 복수의 인스트럭션을 실행하는 프로세서를 포함하되,
상기 복수의 인스트럭션은,
상기 치아의 2D 파노라마 영상 및 상기 3D 영상을 이용하여 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지를 각각 생성하고, 상기 복수의 2D 치아 이미지 및 상기 복수의 3D 치아 이미지 각각에 치아 번호를 부여하는 인스트럭션;
상기 치아 번호를 매개로 하여 상기 복수의 2D 치아 이미지와 상기 복수의 3D 치아 이미지를 상호 매칭하는 인스트럭션; 및
상기 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 인스트럭션을 포함하는, 치아 부가정보 제공 장치. - 컴퓨팅 장치와 결합되어,
치아의 2D 파노라마 영상 및 3D 영상을 이용하여 복수의 2D 치아 이미지 및 복수의 3D 치아 이미지를 각각 생성하고, 상기 복수의 2D 치아 이미지 및 상기 복수의 3D 치아 이미지 각각에 치아 번호를 부여하는 단계;
상기 치아 번호를 매개로 하여 상기 복수의 2D 치아 이미지와 상기 복수의 3D 치아 이미지를 상호 매칭하는 단계; 및
상기 복수의 2D 치아 이미지 중 어느 하나의 2D 치아 이미지를 선택하는 경우, 상기 선택한 2D 치아 이미지와 매칭된 3D 치아 이미지를 출력하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된, 컴퓨터 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190054036A KR102289610B1 (ko) | 2019-05-09 | 2019-05-09 | 치아 부가정보 제공 방법 및 그 장치 |
| PCT/KR2020/095014 WO2020226473A1 (ko) | 2019-05-09 | 2020-03-05 | 치아 부가정보 제공 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190054036A KR102289610B1 (ko) | 2019-05-09 | 2019-05-09 | 치아 부가정보 제공 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200129509A KR20200129509A (ko) | 2020-11-18 |
| KR102289610B1 true KR102289610B1 (ko) | 2021-08-17 |
Family
ID=73051112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190054036A KR102289610B1 (ko) | 2019-05-09 | 2019-05-09 | 치아 부가정보 제공 방법 및 그 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102289610B1 (ko) |
| WO (1) | WO2020226473A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240003352A (ko) | 2022-06-29 | 2024-01-09 | 재단법인 아산사회복지재단 | 임플란트 식립 시뮬레이터 디자인 및 제작 방법 및 그 장치 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102544203B1 (ko) * | 2021-04-22 | 2023-06-16 | 주식회사 메디트 | 구강 이미지 처리 장치 및 구강 이미지 처리 방법 |
| KR102568247B1 (ko) * | 2021-05-17 | 2023-08-21 | 오스템임플란트 주식회사 | 치아 치료를 위한 시뮬레이션 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
| KR102607886B1 (ko) * | 2021-07-27 | 2023-11-29 | 오스템임플란트 주식회사 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080049894A1 (en) | 2006-07-31 | 2008-02-28 | Fujifilm Corporation | Dental radiation image display apparatus |
| KR101723652B1 (ko) | 2016-04-22 | 2017-04-06 | 오스템임플란트 주식회사 | 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록 매체 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110036387A (ko) * | 2009-10-01 | 2011-04-07 | 윤규승 | 파노라마 치식도 시스템 및 제공 방법 |
| KR20130030336A (ko) | 2011-09-08 | 2013-03-27 | 주식회사바텍 | 파노라마 영상획득 장치 |
| KR101463871B1 (ko) * | 2013-03-27 | 2014-11-21 | 주식회사 이우소프트 | 엑스선 영상 처리 방법 및 장치, 상기 방법을 수행하는 애플리케이션을 기록한 컴퓨터 판독 가능 기록 매체 |
| KR101744079B1 (ko) * | 2014-07-04 | 2017-06-09 | 주식회사 인스바이오 | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 |
| KR101613159B1 (ko) * | 2014-12-31 | 2016-04-20 | 오스템임플란트 주식회사 | 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체 |
| KR20160142142A (ko) * | 2015-06-02 | 2016-12-12 | 와이메디칼네트워크 주식회사 | 치아 3d 스캐닝 데이터를 이용한 치과 이력 관리시스템 및 그 방법 |
| KR102024988B1 (ko) * | 2017-08-11 | 2019-09-24 | 서울대학교병원 | 치아교정용 가이드 시스템 및 이를 이용한 치아교정 가이드 방법 |
-
2019
- 2019-05-09 KR KR1020190054036A patent/KR102289610B1/ko active IP Right Grant
-
2020
- 2020-03-05 WO PCT/KR2020/095014 patent/WO2020226473A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080049894A1 (en) | 2006-07-31 | 2008-02-28 | Fujifilm Corporation | Dental radiation image display apparatus |
| KR101723652B1 (ko) | 2016-04-22 | 2017-04-06 | 오스템임플란트 주식회사 | 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록 매체 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240003352A (ko) | 2022-06-29 | 2024-01-09 | 재단법인 아산사회복지재단 | 임플란트 식립 시뮬레이터 디자인 및 제작 방법 및 그 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020226473A1 (ko) | 2020-11-12 |
| KR20200129509A (ko) | 2020-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102289610B1 (ko) | 치아 부가정보 제공 방법 및 그 장치 | |
| ES2827295T3 (es) | Elaboración automática de fichas dentales mediante imágenes digitales | |
| KR102301769B1 (ko) | 교정적 치아배열 형상 생성 방법 및 장치 | |
| Yitschaky et al. | Comparison of common hard tissue cephalometric measurements between computed tomography 3D reconstruction and conventional 2D cephalometric images | |
| KR20180006917A (ko) | 교합 치아 모형의 x선 스캔을 위한 방법 및 장치 | |
| Kobayashi-Velasco et al. | Diagnosis of alveolar and root fractures: an in vitro study comparing CBCT imaging with periapical radiographs | |
| KR102344521B1 (ko) | 진단 및 진료계획 수립 방법 및 이를 위한 3차원 치과영상 제공장치 | |
| US20220246269A1 (en) | Implant surgery planning method using automatic placement of implant structure, user interface providing method therefor, and teeth image processing device therefor | |
| Spin‐Neto et al. | Impact of motion artefacts and motion‐artefact correction on diagnostic accuracy of apical periodontitis in CBCT images: an ex vivo study in human cadavers | |
| Adnan et al. | An artificial intelligence model for instance segmentation and tooth numbering on orthopantomograms. | |
| US9924912B2 (en) | X-ray image processing system and method | |
| US20240164875A1 (en) | Method and system for presenting dental scan | |
| JP2022521136A (ja) | 歯の骨年齢を決定するための装置、方法及び命令を記録した記録媒体 | |
| KR102180943B1 (ko) | 다이나믹 기능을 이용한 투명 교정 모델 설정 장치, 그 방법 및 프로그램 | |
| JP7152738B2 (ja) | 画像処理装置および画像処理プログラム | |
| KR102346199B1 (ko) | 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 | |
| KR102072052B1 (ko) | 치과 ct 영상의 영상 처리 방법, 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 | |
| KR20200088977A (ko) | 치아 병변 진단 방법 및 그 장치 | |
| KR102200060B1 (ko) | 치아의 정밀 진단 모듈로의 간편한 이동 방법 및 그 장치 | |
| WO2020136245A1 (en) | 3d printing optimization using clinical indications | |
| KR20240048384A (ko) | 교정 치료 계획 생성 방법 및 그 장치 | |
| KR102473722B1 (ko) | 치아 단면영상 제공방법 및 이를 위한 치과영상 처리장치 | |
| KR102268433B1 (ko) | 치아교정 진단 방법 및 장치 | |
| JP6674614B2 (ja) | 骨質評価装置及び骨質評価プログラム | |
| KR102301422B1 (ko) | 치과용 파노라마 촬영 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |