KR20210099835A - 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 - Google Patents
파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 Download PDFInfo
- Publication number
- KR20210099835A KR20210099835A KR1020200013679A KR20200013679A KR20210099835A KR 20210099835 A KR20210099835 A KR 20210099835A KR 1020200013679 A KR1020200013679 A KR 1020200013679A KR 20200013679 A KR20200013679 A KR 20200013679A KR 20210099835 A KR20210099835 A KR 20210099835A
- Authority
- KR
- South Korea
- Prior art keywords
- tooth
- image
- generating
- panoramic image
- angle
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004088 simulation Methods 0.000 claims description 25
- 238000013473 artificial intelligence Methods 0.000 claims description 20
- 238000003745 diagnosis Methods 0.000 claims description 13
- 208000002354 Edentulous Jaw Diseases 0.000 claims description 5
- 230000008685 targeting Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 210000003484 anatomy Anatomy 0.000 description 7
- 239000007943 implant Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000013170 computed tomography imaging Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 210000001847 jaw Anatomy 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000004086 maxillary sinus Anatomy 0.000 description 3
- 210000000276 neural tube Anatomy 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000002455 dental arch Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치가 개시된다. 일 실시 예에 따른 파노라믹 영상 생성 방법은 환자의 CT 영상으로부터 각 치아를 기준으로 치아 각도를 반영하여 파노라믹 영상을 생성함에 따라 파노라믹 영상 생성 시 왜곡을 줄일 수 있다.
Description
본 발명은 영상 처리 및 제공 기술에 관한 것으로, 보다 상세하게는 파노라믹 영상을 생성하는 기술에 관한 것이다.
도 1은 CT 영상으로부터 왜곡된 파노라믹 영상이 생성되는 예를 도시한 도면이다.
도 1을 참조하면, 일반적으로 CT 영상에서 만들어 지는 파노라믹 영상은 치아의 각도를 고려하지 않고 파노라믹 영상의 기준선이 되는 악궁 라인(Arch line)을 따라 생성되었다. 각 치아들은 x, y, z 축으로 각도를 가지고 있기 때문에, 치아의 각도와 상관없이 악궁 라인에 수직하게 생성된 파노라믹 영상은 실제 치아와의 모양과 오차가 발생한다. 이 오차로 인해 파노라믹 영상에서 정확한 측정이 어려워진다. 예를 들어, 악궁 라인에 따라 수직으로 생성된 파노라믹 영상을 표시하기 때문에, 치아의 길이, 각도 등을 측정할 때 정확한 수치가 될 수 없다. 또한, 영상 관찰 시 사용자가 실제 치아의 상태를 보고자 하는 목적을 정확하게 반영하지 못하는 경우도 발생한다. 예를 들어, 어떤 치아의 경우 치관, 치근, 구조물 등이 보이지 않는 문제가 발생한다.
도 2는 치아 각도를 고려하지 않은 연속 단면 영상 화면을 도시한 도면이다.
도 2를 참조하면, 일반적으로 크로스 단면(Cross-section) 영상은 악궁 라인을 기준으로 생성되어 파노라믹 영상과 동일하게 단순한 수직 영상만 표시했다. 더불어 생성된 연속 단면 영상은 한 축의 영상밖에 볼 수 없어 다른 면을 보기 위해서는 생성 기준이 되는 악궁 라인을 다시 생성해야 하는 불편함을 가지고 있다.
일 실시 예에 따라, CT 영상으로부터 파노라믹 영상 생성 시 영상 왜곡을 줄여 사용자가 보고자 하는 부분을 정확하게 표시할 수 있는 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치를 제안한다.
일 실시 예에 따른 파노라믹 영상 생성방법은, 환자의 CT 영상을 포함한 영상 데이터를 획득하는 단계와, 획득된 CT 영상으로부터 치아들을 분할하는 단계와, 분할된 각 치아를 기준으로 치아 각도를 반영하여 파노라믹 영상을 생성하는 단계를 포함한다.
치아를 분할하는 단계는, 이전 진단 및 진료계획을 수립한 환자들의 영상 데이터들을 대상으로 인공지능에 기반하여 학습한 학습 데이터를 획득하는 단계와, 획득된 학습 데이터를 이용하여 영상 데이터의 치아영역을 자동으로 분할하는 단계를 포함할 수 있다.
학습 데이터를 생성하는 단계에서, 영상 데이터들에서 치아를 분할한 마스크를 설정한 후 인공지능을 통해 학습을 수행하여 학습 데이터를 생성할 수 있다.
파노라믹 영상을 생성하는 단계는, CT 영상 별로 치아영역을 분할하고 분할된 치아영역 내 치아 별로 치아 기준선을 설정하는 단계와, 설정된 치아 기준선 및 악궁 라인 간에 형성되는 치아 각도를 계산하고 설정된 치아 기준선을 악궁 라인과 일치하도록 보정하는 단계와, 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성하는 단계를 포함할 수 있다.
치아 기준선을 설정하는 단계에서, 분할된 치아의 치관의 미리 설정된 지점 단면의 중심에 제1 기준점을 생성하고, 분할된 치아의 치근의 미리 설정된 지점 단면의 중심에 제2 기준점을 생성한 후 제1 기준점과 제2 기준점을 연결하여 치아 기준선을 생성할 수 있다.
악궁 라인과 일치하도록 보정하는 단계는, 설정된 각 치아 기준선을 따라 치아 두께 및 크기만큼 CT 영상들을 중첩 시켜 치아 영상을 생성하는 단계와, 생성된 치아 영상의 치아 기준선 및 악궁 라인 간에 형성되는 치아 각도를 계산하는 단계와, 계산된 치아 각도에 따라 악궁 라인에 맞게 치아 영상을 세워주는 단계를 포함할 수 있다.
파노라믹 영상을 생성방법은, 파노라믹 영상 생성 시 영상 필터를 이용한 영상 처리를 통해 왜곡을 감소시키는 단계를 더 포함할 수 있다.
파노라믹 영상을 생성하는 단계는, 치아 분할 시 무치악인 경우 미리 설정된 평균 치아 각도 데이터를 반영하여 치아번호 별로 치아 각도를 추정하는 단계와, 추정된 치아 각도를 악궁 라인과 일치하도록 보정하는 단계와, 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성하는 단계를 포함할 수 있다.
파노라믹 영상 생성방법은, 분할된 치아 별로 치아 각도에 따라 연속 단면 영상을 생성하여 파노라믹 영상 및 연속 단면 영상을 포함한 시뮬레이션 화면을 제공하는 단계를 더 포함할 수 있다.
시뮬레이션 화면을 제공하는 단계는, CT 영상 별로 치아영역을 분할하고 분할된 치아영역 내 치아 별로 치아 기준선을 설정하는 단계와, 설정된 기준선을 중심으로 연속 단면 영상을 생성하는 단계와, 연속 단면 영상에 수직하는 연속 단면 영상을 생성하여 표시하는 단계를 포함할 수 있다.
연속 단면 영상에 수직하는 연속 단면 영상을 생성하여 표시하는 단계는, 소정의 치아를 대상으로 각 축에서의 연속 단면 영상을 모두 하나의 화면에 표시하는 단계와, 소정의 치아를 대상으로 소정 축에서의 연속 단면 영상을 표시하는 단계 중 적어도 하나를 포함할 수 있다.
다른 실시 예에 따른 영상 처리장치는, 환자의 CT 영상을 포함한 영상 데이터를 획득하는 데이터 획득부와, 획득된 CT 영상을 대상으로 악궁 라인을 생성하고 치아를 분할하며, 분할된 각 치아 별로 치아 기준선을 설정한 후 설정된 치아 기준선을 기준으로 측정되는 치아 각도를 반영하여 파노라믹 영상을 생성하는 제어부와, 생성된 파노라믹 영상을 화면에 출력하는 출력부를 포함한다.
제어부는 설정된 치아 기준선을 악궁 라인과 일치하도록 보정한 후 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성할 수 있다.
제어부는 치아 분할 시 무치악인 경우 미리 설정된 평균 치아 각도 데이터를 반영하여 치아번호 별로 치아 각도를 추정하고 추정된 치아 각도를 악궁 라인과 일치하도록 보정한 후 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성할 수 있다.
제어부는 분할된 치아 별로 치아 각도에 따라 연속 단면 영상을 생성하여 파노라믹 영상 및 연속 단면 영상을 포함한 시뮬레이션 화면을 구성할 수 있다.
일 실시 예에 따른 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치에 따르면, 왜곡이 없거나 적은 파노라믹 영상을 얻을 수 있다. 특히, 치관, 치근, 구조물 등을 포함한 전체 상태의 손실 없이 모든 치아 구조물을 확인할 수 있다. 치아 각도를 고려하여 치아 각도에 맞는 파노라믹 영상을 생성하므로 치아의 길이, 각도 등을 정확하게 측정할 수 있다. 또한, 관찰하는 파노라믹 영상이 각도에 맞게 보이기 때문에 정확하게 관찰이 가능하며, 파노라믹 영상에서 안 보이는 부분 없이 관찰이 가능하며, 진단의 정확도를 높일 수 있다.
또한, 치아 각도에 따라 연속 단면 영상을 생성하여 제공할 수 있고, 다양한 축을 기준으로 한 연속 단면 영상을 생성하여 제공할 수 있다.
나아가, 수동으로 치아를 분할하지 않고, 인공지능 기반 기계학습을 이용하여 자동으로 치아를 분할할 수 있다. 기존 CT 영상의 HU 값으로만 치아를 분할 하였으나, 기계학습을 같이 활용함에 따라 HU 값으로만 분할할 수 없는 부분까지 분할이 가능하다.
도 1은 CT 영상으로부터 왜곡된 파노라믹 영상이 생성되는 예를 도시한 도면,
도 2는 치아 각도를 고려하지 않은 연속 단면 영상 화면을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 CT 영상을 이용하여 파노라믹 영상을 생성하는 영상 처리장치의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 치아 각도를 고려한 파노라믹 영상 생성 프로세스를 각 단계 별 치아 영상과 함께 보여주는 도면,
도 5는 본 발명의 일 실시 예에 따른 치아 자동 분할을 위한 인공지능 기반기계학습 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따라 생성되는 치아 기준선을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 치아 각도를 계산하는 예를 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 소정의 CT 단면영상을 대상으로 치아치아 별 치아각도를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 치아 별 치아 각도를 측정하여 치아 각도에 따라 악궁 라인에 맞게 치아 각도가 보정된 치아 영상을 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 치아 각도를 반영하여 생성된 파노라믹 영상을 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 무치악의 경우 영상의 왜곡을 줄이는 파노라믹 영상을 생성 시 사용하는 평균 치아 각도 데이터를 도시한 도면,
도 12는 본 발명의 일 실시 예에 따른 치아 각도에 따라 연속 단면 영상을 생성하는 예를 도시한 도면,
도 13은 본 발명의 일 실시 예에 따른 시뮬레이션 화면을 도시한 도면,
도 14 내지 도 16은 본 발명의 다른 실시 예에 따른 시뮬레이션 화면을 도시한 도면,
도 17은 본 발명의 일 실시 예에 따른 파노라믹 영상 생성방법의 흐름을 도시한 도면이다.
도 2는 치아 각도를 고려하지 않은 연속 단면 영상 화면을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 CT 영상을 이용하여 파노라믹 영상을 생성하는 영상 처리장치의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 치아 각도를 고려한 파노라믹 영상 생성 프로세스를 각 단계 별 치아 영상과 함께 보여주는 도면,
도 5는 본 발명의 일 실시 예에 따른 치아 자동 분할을 위한 인공지능 기반기계학습 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따라 생성되는 치아 기준선을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 치아 각도를 계산하는 예를 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 소정의 CT 단면영상을 대상으로 치아치아 별 치아각도를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 치아 별 치아 각도를 측정하여 치아 각도에 따라 악궁 라인에 맞게 치아 각도가 보정된 치아 영상을 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 치아 각도를 반영하여 생성된 파노라믹 영상을 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 무치악의 경우 영상의 왜곡을 줄이는 파노라믹 영상을 생성 시 사용하는 평균 치아 각도 데이터를 도시한 도면,
도 12는 본 발명의 일 실시 예에 따른 치아 각도에 따라 연속 단면 영상을 생성하는 예를 도시한 도면,
도 13은 본 발명의 일 실시 예에 따른 시뮬레이션 화면을 도시한 도면,
도 14 내지 도 16은 본 발명의 다른 실시 예에 따른 시뮬레이션 화면을 도시한 도면,
도 17은 본 발명의 일 실시 예에 따른 파노라믹 영상 생성방법의 흐름을 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
도 3은 본 발명의 일 실시 예에 따른 CT 영상을 이용하여 파노라믹 영상을 생성하는 영상 처리장치의 구성을 도시한 도면이다.
도 3을 참조하면, 영상 처리장치(1)는 CT 영상을 가지고 영상처리를 하여 파노라믹 영상을 생성(CT to Panorama)하는 전자장치이다. 전자장치는 컴퓨터, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) PC, 스마트폰, 휴대폰, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등이 있다. 영상 처리장치(1)는 외부의 CT 촬영장치로부터 CT 영상을 획득할 수 있고, 획득된 CT 영상을 처리하기 위한 영상처리 프로그램을 가질 수 있다. CT 촬영장치는 치과용 콘빔 CT(Cone Beam CT: CBCT) 장치일 수 있다. 이렇게 획득된 CT 영상은 DICOM(Digital Imaging and Communications in Medicine) 파일 형대로 저장될 수 있다. CT 촬영으로 얻은 DICOM 파일을 영상 처리장치(1)로 옮긴 후 영상처리 프로그램을 이용하여 파노라믹 영상을 구성한다. 파노라믹 영상의 경우, 임플란트 등과 같은 시술 시에 해부학적 구조물에 대한 3차원적 정보를 획득할 수 있다. 본 발명에서는 치과용 CT 영상을 이용한 파노라믹 영상 구성을 위주로 설명하고 있으나, 치과뿐만 아니라 의료영상을 다루는 분야에 확장 적용될 수 있음을 명시한다
영상 처리장치(1)는 CT 영상 및 이로부터 생성된 파노라믹 영상을 통해 진단 및 진료계획을 수립할 수 있다. 예를 들어, 획득된 CT 영상을 파노라믹 영상으로 재구성하고 재구성된 파노라믹 영상을 가지고 진단을 하거나 시뮬레이션을 수행하여 진료계획을 수립할 수 있다. 예를 들어, 치과 치료를 위해 임플란트 구조물을 디자인하여 임플란트 수술 계획을 수립한다. 의사는 수립된 임플란트 수술 계획에 따라 임플란트 수술을 진행할 수 있다.
이하, 전술한 특징을 가지는 영상 처리장치(1)의 구성에 대해 상세히 후술한다.
도 3을 참조하면, 일 실시 예에 따른 영상 처리장치(1)는 데이터 획득부(10), 저장부(12), 제어부(14), 입력부(16) 및 출력부(18)를 포함한다.
데이터 획득부(10)는 CT 영상을 포함한 영상 데이터를 획득한다. 외부의 CT 촬영장치로부터 CT 영상을 수신할 수 있고, 직접 CT 영상을 촬영할 수도 있다. CT 영상은 환자의 치아 구조물을 대상으로 촬영을 통해 생성된 2차원(2D) 단면 영상일 수 있고, 3차원(3D) 영상일 수 있다. 2차원 단면영상은 축 뷰 영상(Axial view image), 시상면 뷰 영상(Sagittal view image), 관상면 뷰 영상(Coronal view image)를 포함한다. 데이터 획득부(10)는 외부 전자장치와 유무선 수신할 수 있는 통신모듈을 구비하여 네트워크에 연결될 수 있으며, 네트워크에 연결된 외부의 CT 촬영장치로부터 CT 영상을 수신할 수 있다. 다른 예로서, 데이터 획득부(10)는 CT 영상이 인화된 필름을 스캔할 수 있는 스캔 모듈을 구비하여 CT 영상이 인화된 복수 개의 필름들을 스캔할 수 있다. 또한, CT 영상을 저장하고 있는 저장장치로부터 CT 영상을 수신할 수도 있다. 데이터 획득부(10)는 수신된 CT 영상을 제어부(14)로 전달할 수 있고, 저장부(12)에 저장할 수도 있다. 저장된 CT 영상들은 향후 파노라믹 영상 재구성의 대상이 된다.
저장부(12)에는 영상 처리장치(1)의 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보 등의 각종 데이터가 저장된다. 일 실시 예에 따른 저장부(12)에는 개별 환자의 CT 데이터가 저장되고, 치과 치료 시뮬레이션 시 전체 CT 데이터들 중에서 특정 환자의 CT 데이터를 사용자 요청에 따라 제어부(14)에 제공할 수 있다. 이때, 저장부(12)에는 개별 환자의 상측 치열의 영상 및 하측 치열의 영상이 저장되어 있고, 특정 환자의 CT 데이터에 매칭되는 상측 치열의 영상 및 하측 치열의 영상을 사용자 요청에 따라 제어부(14)에 제공할 수 있다.
저장부(12)에는 영상처리를 위한 인스트럭션들이 저장된다. 인스트럭션들은 예를 들어, 데이터 획득부(10)를 통해 획득된 CT 영상들로부터 치아를 분할하는 인스트럭션, 치아 별로 치아 각도를 계산하고 치아 각도를 보정하는 인스트럭션, CT 영상들을 병합하여 파노라 최종 파노라믹 영상을 생성하는 인스트럭션, 영상 처리가 이루어진 영상을 출력부(18)에 표시하도록 하는 인스트럭션 등이 될 수 있다.
제어부(14)는 컴퓨터 프로그램에 의한 제어를 통하여 각 구성요소를 제어한다. 제어부(14)는 출력부(18)를 통해 화면에 보이는 화면정보를 관리하고, 치과 영상을 통해 진단 및 치료계획을 수립한다. 진단 및 치료계획 수립에는 가상의 픽스쳐, 크라운 등을 포함한 임플란트 구조물을 식립하는 시뮬레이션을 포함한다. 치과 영상은 구강 영상 및 치아 영상 등으로 불릴 수 있다.
일 실시 예에 따른 제어부(14)는 데이터 획득부(10)로부터 전달받은 CT 영상을 영상 처리하여 파노라믹 영상을 생성한다. 예를 들어, 획득된 CT 영상으로부터 치아들을 분할한 후 분할된 각 치아를 기준으로 치아 각도를 반영하여 파노라믹 영상을 생성한다.
치아 분할 시, 제어부(14)는 인공지능 기반 학습 데이터를 이용하여 획득된 영상 데이터로부터 치아를 자동 분할할 수 있다. 예를 들어, 이전 진단 및 진료계획을 수립한 환자들의 영상 데이터들을 대상으로 인공지능에 기반하여 학습한 학습 데이터를 획득한 후, 학습 데이터와 획득된 영상 데이터를 비교하여 영상 데이터로부터 치아를 분할할 수 있다.
인공지능이란 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로서, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 말한다. 이러한 인공지능 기법을 치과영상 프로그램에 적용하여 컴퓨터가 사전에 진단 및 진료계획을 수립한 환자들의 영상 데이터를 프로그램에서 학습하도록 하고, 해부학적 구조물 별로 분할한 학습 데이터를 환자의 현재 영상 데이터에 적용하면 사용자가 현재 영상 데이터에서 수동으로 해부학적 구조물을 분할하는 조작을 최소화하거나 생략할 수 있다.
일 실시 예에 따른 제어부(14)는 분할된 각 치아를 기준으로 치아 각도를 반영하여 파노라믹 영상을 생성한다. 이를 위해, CT 영상 별로 치아영역을 분할하고 분할된 치아영역 내 치아 별로 치아 기준선을 설정한 후, 설정된 치아 기준선 및 악궁 라인 간에 형성되는 치아 각도를 계산한다. 그리고 설정된 치아 기준선을 악궁 라인과 일치하도록 보정한 후, 치아 별로 각도가 보정된 CT 영상들을 병합하여 최종 파노라믹 영상을 생성한다. 치아 분할 시 무치악인 경우 미리 설정된 평균 치아 각도 데이터를 반영하여 치아번호 별로 치아 각도를 추정하고, 추정된 치아 각도를 악궁 라인과 일치하도록 보정한 후, 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성할 수 있다.
일 실시 예에 따른 제어부(14)는 시뮬레이션 화면을 출력부(18)를 통해 제공하고, 시뮬레이션 화면을 통해 시뮬레이션을 수행한다. 시뮬레이션 화면은 3차원/다중 평면 재구성(Multi Planar Reconstruction: MPR, 이하 'MPR'이라 칭함) 화면, 치아 악궁라인(Dental Arch line) 화면, 임플란트 가이드 화면 등이 있다. 이하, 후술되는 도면에서는 3차원/MPR 화면을 위주로 설명하고자 하나, 시뮬레이션 화면은 이에 한정되지는 않는다.
시뮬레이션 화면 제공 시, 제어부(14)는 분할된 치아 별로 치아 각도에 따라 연속 단면 영상을 생성하여 파노라믹 영상 및 연속 단면 영상을 포함한 시뮬레이션 화면을 제공할 수 있다. 이때, CT 영상 별로 치아영역을 분할하고 분할된 치아영역 내 치아 별로 치아 기준선을 설정하고, 설정된 기준선을 중심으로 연속 단면 영상을 생성한 후, 연속 단면 영상에 수직하는 연속 단면 영상을 생성할 수 있다.
입력부(16)는 사용자 조작신호를 입력 받는다. 예를 들어, 시뮬레이션 화면에서 기능 선택을 위한 사용자 조작신호를 입력 받는다. 출력부(18)는 각종 정보를 출력한다. 일 실시 예에 따른 출력부(18)는 제어부(14)를 통해 생성된 파노라믹 영상을 사용자가 인지할 수 있도록 출력한다. 출력부(18)는 파노라믹 영상 및 연속 단면 영상을 포함한 시뮬레이션 화면을 출력할 수 있다. 또한, 출력부(18)는 특정 부위를 볼 수 있는 확대 기능 및 축 지정 기능, 명암 대조 기능 등을 제공할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 치아 각도를 고려한 파노라믹 영상 생성 프로세스를 각 단계 별 치아 영상과 함께 보여주는 도면이다.
도 3 및 도 4를 참조하면, 영상 처리장치(1)는 CT 영상 별로 악궁 라인을 생성(S410) 하고, CT 영상 별로 치아를 분할한다(S420). 이때, 영상에서 치아가 남아있는지 남아있지 않은지를 판단하고, 치아가 남아 있는 경우 치아 기준선을 생성한 후 치아 각도를 측정한다(S430). 치아가 남아있지 않은 무치악의 경우는 미리 설정된 데이터를 이용하여 치아 기준선을 생성할 수 있다. 이에 대한 실시 예는 도 11을 참조로 하여 후술한다. 이어서, 영상 처리장치(1)는 치아 기준선을 악궁 라인과 맞게 보정한다. 이어서, 치아 별로 각도가 보정된 CT 영상들을 병합(S440) 하여 파노라믹 영상을 생성한다(S450). 이하, 후술되는 도면들을 통해 전술한 파노라믹 생성 프로세스에 대해 상세히 후술한다.
도 5는 본 발명의 일 실시 예에 따른 치아 자동 분할을 위한 인공지능 기반기계학습 예를 도시한 도면이다.
도 3 및 도 5를 참조하면, 영상 처리장치(1)는 진단 및 진료계획을 수립한 환자들의 영상 데이터들을 대상으로 인공지능(Artificial Intelligence: AI)에 기반하여 기계학습(Machine Learning)을 수행함에 따라 생성되는 학습 결과인 학습 데이터를 획득한다. 영상 처리장치(1)가 인공지능 기반 기계학습을 수행하여 학습 데이터를 생성할 수도 있고, 기계학습 결과인 학습 데이터만을 획득할 수도 있다.
기계학습 방식은 인공지능의 한 분야로, 음성과 영상 등에서 사용되고 있으며, 특히 이미지 분류 및 대조와 비교분석 등에 많이 사용되고 있다. 대상 데이터가 이미지(image)일 경우, 처리 방식은 이미지 라이브러리 등을 확보하고 이를 카테고리화 한 후 콘볼루션 신경망(Convolutional Neural Network: CNN, 이하, 'CNN'이라 칭함)과 같은 인공신경망으로 특징을 추출하고 이를 학습시킴으로써 정확도를 높여가는 방식을 사용한다. CNN은 특징 추출(feature extraction) 단계와 분류(classification) 단계로 이루어진다. 특징 추출단계는 콘볼루션 계층과 풀링 계층으로 구성된 특징 추출 계층이 복수 개로 이루어진다. 분류 단계는 완전 연결된 하나의 계층을 생성하고 추출된 특징들을 이용하여 결과치(Output)를 내는 단계이다. 기계학습 방식은 공지된 기술이므로 상세한 설명을 생략한다.
인공지능 기반 기계학습을 위해 CT 데이터 상에 진단 및 진료계획이 수립된 데이터를 축적하고 기계학습 알고리즘을 통해 반복적인 트레이닝과 테스트 과정을 거친다. 이때, 테스트 결과가 미리 설정된 기준 이상의 정확도를 가지면 이를 적용하여 실제 해부학적 구조물을 분할 하였던 정보를 제공한다. 트레이닝 과정에서 영상 처리장치가 학습하는 정보는 환자의 CT 데이터에서 확인할 수 있는 해부학적 구조물로, 치아, 뼈, 병변 정보와 더불어 상악의 경우는 상악동(부비동), 하악의 경우는 신경관 정보를 포함한다.
CT 데이터들을 대상으로 치아 구조물을 수동 또는 자동으로 분할한 후 인공지능 기반 기계학습을 통해 학습 데이터를 생성한다. 예를 들어, 도 2에 도시된 바와 같이, n개의 CT 데이터(50)를 대상으로 분할할 부분인 치아 별로 마스크(Mask)(500)를 생성한다. 영상 처리장치(1)는 마스크 생성을 통해 치아, 뼈, 신경관, 상악동, 병변 등의 해부학적 구조물들을 분할할 수 있다. 이때, 영상에서 상악 및 하악을 분리하고, 치아번호에 따라 치아를 분할할 수 있다. 뼈는 상악 및 하악으로 나누어 분할할 수 있다. 상악동은 왼쪽과 오른쪽을 나누어 분할할 수 있다. 신경관도 왼쪽과 오른쪽을 나누어 분할할 수 있다. 병변은 병변 별 특징을 감지하여 분할할 수 있다. 이렇게 생성된 분할할 해부학적 구조물 별로 마스크를 생성한 이후 인공지능 기반 기계학습을 거쳐 학습 데이터를 생성되면, 추후 환자의 CT 데이터가 획득됐을 때 학습 데이터를 이용하여 CT 데이터로부터 치아를 포함한 해부학적 구조물을 자동으로 분할할 수 있게 된다.
도 6은 본 발명의 일 실시 예에 따라 생성되는 치아 기준선을 도시한 도면이다.
도 3 및 도 6을 참조하면, 영상 처리장치(1)는 분할된 치아들을 대상으로 치아 별로 치아 기준선을 생성한다. 예를 들어, 분할된 치아의 치관(Crown)(60)의 상단에서 미리 설정된 지점 단면의 중심에 제1 기준점(600)을 생성한다. 이때, 미리 설정된 지점은 치관(60)의 상단에서 1/3이 되는 지점일 수 있으나, 이에 한정되는 것은 아니며, 사용자에 의해 설정 가능하다. 그리고 분할된 치아의 치근(Root)(62)의 미리 설정된 지점 단면의 중심에 제2 기준점(620)을 생성한다. 이때, 미리 설정된 지점은 치근(62)의 1/2이 되는 지점일 수 있으나, 이에 한정되는 것은 아니며, 사용자에 의해 설정 가능하다. 치근(62)의 만곡은 대부분 하방의 1/3 지점까지 발생하는데, 만곡으로 인해 오차가 발생할 수 있으므로 치근(62)의 1/2이 되는 지점을 제2 기준점(620)으로 설정할 수 있다. 이어서, 제1 기준점(600)과 제2 기준점(620)을 연결하여 치아 기준선을 생성한다.
도 7은 본 발명의 일 실시 예에 따른 치아 각도를 계산하는 예를 도시한 도면이다.
도 3 및 도 7을 참조하면, 영상 처리장치(1)는 치아 기준선(72)과 악궁 라인(70) 간의 치아 각도(74)를 측정한다. 이를 위해, 악궁 라인(70)을 생성하는 단계와 치아를 분할하는 단계와, 분할된 치아 별로 치아 기준선(72)을 설정하는 단계가 사전에 요구된다. 악궁 라인(70)을 생성하는 단계와 치아를 분할하는 단계는 자동으로 이루어질 수 있다.
도 8은 본 발명의 일 실시 예에 따른 소정의 CT 단면영상을 대상으로 치아치아 별 치아각도를 도시한 도면이다.
도 3 및 도 8을 참조하면, 영상 처리장치(1)는 치아 별로 치아 기준선과 악궁 라인(70) 간의 치아 각도를 측정한다. 예를 들어, 도 8에 도시된 바와 같이 소정의 CT 단면 영상에서 14번 치아(82)와 13번 치아(84)의 치아 기준선과 악궁 라인(70) 간의 치아 각도를 각각 측정한다. 14번 치아(82)와 13번 치아(84) 간과 같이 치아 영역 간에는 중첩된 영역이 발생할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 치아 별 치아 각도를 측정하여 치아 각도에 따라 악궁 라인에 맞게 치아 각도가 보정된 치아 영상을 도시한 도면이다.
도 3 및 도 9를 참조하면, 영상 처리장치(1)는 CT 영상 별로 설정된 각 치아 기준선(72)을 따라 치아 두께 및 크기만큼 CT 영상들을 중첩 시켜 치아 영상을 생성한다. 그리고 생성된 치아 영상의 치아 기준선(72) 및 악궁 라인(70) 간에 형성되는 치아 각도(74)를 계산하고, 치아 기준선(72)이 악궁 라인(70)과 일치하도록 치아 영상을 보정한다. 예를 들어, 도 9에 도시된 바와 같이, 계산된 치아 각도(74)에 따라 치아 기준선(72)을 악궁 라인(70)에 맞게 세워주는 방식으로 치아 영상을 보정할 수 있다. 이와 같이 치아 각도를 고려하여 치아 영상을 보정함에 따라 파노라믹 영상 생성 시 영상에서 잘 안 보이는 치아가 발생하는 것과 같은 왜곡을 감소시킬 수 있다.
나아가, 치아 두께 및 크기만큼 CT 영상들을 중첩 시켜 생성된 치아 영상을 대상으로 영상 필터를 이용한 영상 처리를 통해 왜곡을 감소시킬 수 있다. 영상 필터는 언샵 마스크 필터(Unsharpen mask filter) 등을 통해 영상에 대한 전체적인 선명도를 높이고 경계 부분을 선명하게 처리할 수 있다. 언샵 마스크 필터는 하운스필드 단위(HU) 경계 부분 간의 경계 처리에 용이하다. 치아의 구조물의 구조에 따라 서로 상이한 적응적 렌더링(adaptive rendering)을 수행하여 선명도를 높이는 렌더링 테크닉(rendering technique)을 적용할 수도 있다. 예를 들어, 치아의 관심영역은 선명도를 증가시키고 비 관심영역은 선명도를 감소시킨다. 영상 처리장치(1)는 영상 필터가 적용된 CT 영상들을 병합하여 하나의 최종 파노라믹 영상을 생성한다. 최종 파노라믹 영상은 영상 손실 및 흐릿한 부분이 없이 선명한 영상이 된다.
도 10은 본 발명의 일 실시 예에 따른 치아 각도를 반영하여 생성된 파노라믹 영상을 도시한 도면이다.
도 10을 참조하면, CT 영상으로부터 치아 각도를 고려하지 않고 생성된 파노라믹 영상(1010)에 비해, 치아 각도를 고려하여 생성된 파노라믹 영상(1020)은 파노라믹 영상(1010)에서 잘 안 보였던 치아가 선명하게 보이고 있음을 확인할 수 있다.
전술한 바와 같이, 치아의 각도를 고려하여 파노라믹 영상을 생성하면 왜곡이 없거나 적은 파노라믹 영상을 얻을 수 있다. 특히, 치관, 치근, 구조물 등을 포함한 전체 상태의 손실 없이 모든 치아 구조물을 확인할 수 있다. 치아 각도를 고려하여 치아 각도에 맞는 파노라믹 영상을 생성하므로 치아의 길이, 각도 등을 정확하게 측정할 수 있다. 또한, 관찰하는 파노라믹 영상이 각도에 맞게 보이기 때문에 정확하게 관찰이 가능하며, 파노라믹 영상에서 안 보이는 부분 없이 관찰이 가능하며, 진단의 정확도를 높일 수 있다.
도 11은 본 발명의 일 실시 예에 따른 무치악의 경우 영상의 왜곡을 줄이는 파노라믹 영상을 생성 시 사용하는 평균 치아 각도 데이터를 도시한 도면이다.
도 3 및 도 11을 참조하면, 영상 처리장치(1)는 치아 분할 과정에서 무치악인 경우, 평균 치아 각도 데이터(1100)를 반영하여 치아 각도를 추정한다. 평균 치아 각도 데이터(1100)는 사전에 설정된 치아번호 별로 학습된 평균 각도 정보를 나타내는데, 뷰 모드, 예를 들어, 축 뷰 영상(Axial View Image), 시상면 뷰 영상(Sagittal View Image), 관상면 뷰 영상(Coronal View Image) 등에 따라 치아번호 별로 사전에 설정될 수 있으며 사용자에 의해 추후 변경도 가능하다. 이때, 추정된 치아 각도를 악궁 라인과 일치하도록 보정한 후, 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 치아 각도에 따라 연속 단면 영상을 생성하는 예를 도시한 도면이다.
도 3 및 도 12를 참조하면, 영상 처리장치(1)는 치아 각도를 반영하여 연속 단면 영상을 생성하여 표시하고, 다양한 축에서의 연속 단면 영상을 생성하여 표시할 수 있다.
이때, 도 5를 참조로 하여 전술한 치아 분할 마스크 설정을 통해 생성된 학습 데이터를 이용하여 치아를 자동 분할하는 단계와, 도 6을 참조로 전술한 치아 기준선을 설정하는 단계가 사전에 수행된다. 이어서, 설정된 기준선을 중심으로 연속 단면 영상(1200)을 생성한다.
도 13은 본 발명의 일 실시 예에 따른 시뮬레이션 화면을 도시한 도면이다.
도 3 및 도 13을 참조하면, 영상 처리장치(1)는 분할된 치아 별로 치아 각도를 고려한 연속 단면 영상을 생성한 후, 파노라믹 영상(1340), 연속 단면 영상, 3차원 영상(1350) 등을 포함하는 시뮬레이션 화면을 제공한다. 연속 단면 영상은 설정된 기준선을 중심으로 생성된 연속 단면 영상에 수직하는 연속 단면 영상으로서, 하나의 화면에 소정의 치아를 대상으로 다수의 축에서의 각 연속 단면 영상을 제공할 수 있다. 예를 들어, 관상면 뷰(Coronal View)를 가진 연속 단면 영상(1310), 시상면 뷰(Sagittal View)를 가진 연속 단면 영상(1320), 축 뷰(Axial View)를 가진 연속 단면 영상(1330) 등을 포함할 수 있다.
도 14 내지 도 16은 본 발명의 다른 실시 예에 따른 시뮬레이션 화면을 도시한 도면이다.
구체적으로 도 14는 시상면 뷰(Sagittal View)를 가진 연속 단면 영상(1320)을 도시한 것이고, 도 15는 관상면 뷰(Coronal View)를 가진 연속 단면 영상(1310)을 도시한 것이며, 도 16은 축 뷰(Axial View)를 가진 연속 단면 영상(1330)을 도시한 것이다.
도 13 내지 도 16을 참조로 하여 전술한 바와 같이 치아 각도에 따라 연속 단면 영상을 생성하고 다양한 축의 연속 단면 영상을 생성하여 제공할 수 있다.
도 17은 본 발명의 일 실시 예에 따른 파노라믹 영상 생성방법의 흐름을 도시한 도면이다.
도 3 및 도 17을 참조하면, 영상 처리장치(1)는 환자의 CT 영상을 포함한 영상 데이터를 획득(S1710)한 후, 획득된 CT 영상을 대상으로 악궁 라인을 생성하고, 치아들을 분할한다(S1720). 이때, 인공지능 기반 기계학습 데이터를 이용하여 치아를 자동 분할할 수 있다. 예를 들어, 이전 진단 및 진료계획을 수립한 환자들의 영상 데이터들을 대상으로 인공지능에 기반하여 학습한 학습 데이터를 획득하고, 획득된 학습 데이터를 이용하여 환자의 영상 데이터의 치아영역을 자동으로 분할할 수 있다. 학습 데이터 생성 시, 영상 데이터들에서 치아를 분할한 마스크를 설정한 후 인공지능을 통해 학습을 수행하여 학습 데이터를 생성할 수 있다.
이어서, 영상 처리장치(1)는 분할된 각 치아를 기준으로 치아 각도를 반영하여 파노라믹 영상을 생성한다(S1730).
파노라믹 영상 생성 단계(S1730)에서, 영상 처리장치(1)는 CT 영상 별로 치아영역을 분할하고 분할된 치아영역 내 치아 별로 치아 기준선을 설정한 후, 설정된 치아 기준선 및 악궁 라인 간에 형성되는 치아 각도를 계산하고 설정된 치아 기준선을 악궁 라인과 일치하도록 보정할 수 있다. 그리고 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성한다.
치아 기준선 설정 시, 분할된 치아의 치관의 미리 설정된 지점 단면의 중심에 제1 기준점을 생성하고, 분할된 치아의 치근의 미리 설정된 지점 단면의 중심에 제2 기준점을 생성한 후 제1 기준점과 제2 기준점을 연결하여 치아 기준선을 생성할 수 있다. 설정된 각 치아 기준선을 따라 치아 두께 및 크기만큼 CT 영상들을 중첩 시켜 치아 영상을 생성하고, 생성된 치아 영상의 치아 기준선 및 악궁 라인 간에 형성되는 치아 각도를 계산하며, 계산된 치아 각도에 따라 악궁 라인에 맞게 치아 영상을 세워줄 수 있다.
파노라믹 영상 생성 단계(S1730)에서, 치아 영상을 대상으로 영상 필터를 이용한 영상 처리를 통해 왜곡을 감소시킬 수 있다.
파노라믹 영상 생성 단계(S1730)에서, 치아 분할 시 무치악인 경우 미리 설정된 평균 치아 각도 데이터를 반영하여 치아번호 별로 치아 각도를 추정하며, 추정된 치아 각도를 악궁 라인과 일치하도록 보정한 후 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성할 수 있다.
이어서, 영상 처리장치(1)는 분할된 치아 별로 치아 각도에 따라 연속 단면 영상을 생성하여 파노라믹 영상 및 연속 단면 영상을 포함한 시뮬레이션 화면을 제공할 수 있다(S1740). 시뮬레이션 화면을 제공하는 단계(S1740)에서, CT 영상 별로 치아영역을 분할하고 분할된 치아영역 내 치아 별로 치아 기준선을 설정하고, 설정된 기준선을 중심으로 연속 단면 영상을 생성하며, 연속 단면 영상에 수직하는 연속 단면 영상을 생성하여 표시할 수 있다. 이때, 소정의 치아를 대상으로 각 축에서의 연속 단면 영상을 모두 하나의 화면에 표시할 수 있고, 소정의 치아를 대상으로 소정 축에서의 연속 단면 영상을 표시할 수도 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (15)
- 환자의 CT 영상을 포함한 영상 데이터를 획득하는 단계;
획득된 CT 영상으로부터 치아들을 분할하는 단계; 및
분할된 각 치아를 기준으로 치아 각도를 반영하여 파노라믹 영상을 생성하는 단계;
를 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 1 항에 있어서, 치아를 분할하는 단계는
이전 진단 및 진료계획을 수립한 환자들의 영상 데이터들을 대상으로 인공지능에 기반하여 학습한 학습 데이터를 획득하는 단계; 및
획득된 학습 데이터를 이용하여 영상 데이터의 치아영역을 자동으로 분할하는 단계;
를 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 2 항에 있어서, 학습 데이터를 생성하는 단계는
영상 데이터들에서 치아를 분할한 마스크를 설정한 후 인공지능을 통해 학습을 수행하여 학습 데이터를 생성하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 1 항에 있어서, 파노라믹 영상을 생성하는 단계는
CT 영상 별로 치아영역을 분할하고 분할된 치아영역 내 치아 별로 치아 기준선을 설정하는 단계;
설정된 치아 기준선 및 악궁 라인 간에 형성되는 치아 각도를 계산하고 설정된 치아 기준선을 악궁 라인과 일치하도록 보정하는 단계; 및
치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성하는 단계;
를 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 4 항에 있어서, 치아 기준선을 설정하는 단계는
분할된 치아의 치관의 미리 설정된 지점 단면의 중심에 제1 기준점을 생성하고, 분할된 치아의 치근의 미리 설정된 지점 단면의 중심에 제2 기준점을 생성한 후 제1 기준점과 제2 기준점을 연결하여 치아 기준선을 생성하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 4 항에 있어서, 악궁 라인과 일치하도록 보정하는 단계는
설정된 각 치아 기준선을 따라 치아 두께 및 크기만큼 CT 영상들을 중첩 시켜 치아 영상을 생성하는 단계;
생성된 치아 영상의 치아 기준선 및 악궁 라인 간에 형성되는 치아 각도를 계산하는 단계; 및
계산된 치아 각도에 따라 악궁 라인에 맞게 치아 영상을 세워주는 단계;
를 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 1 항에 있어서, 파노라믹 영상 생성방법은
파노라믹 영상 생성 시 영상 필터를 이용한 영상 처리를 통해 왜곡을 감소시키는 단계;
를 더 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 1 항에 있어서, 파노라믹 영상을 생성하는 단계는
치아 분할 시 무치악인 경우 미리 설정된 평균 치아 각도 데이터를 반영하여 치아번호 별로 치아 각도를 추정하는 단계;
추정된 치아 각도를 악궁 라인과 일치하도록 보정하는 단계; 및
치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성하는 단계;
를 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 1 항에 있어서, 파노라믹 영상 생성방법은
분할된 치아 별로 치아 각도에 따라 연속 단면 영상을 생성하여 파노라믹 영상 및 연속 단면 영상을 포함한 시뮬레이션 화면을 제공하는 단계;
를 더 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 9 항에 있어서, 시뮬레이션 화면을 제공하는 단계는
CT 영상 별로 치아영역을 분할하고 분할된 치아영역 내 치아 별로 치아 기준선을 설정하는 단계;
설정된 기준선을 중심으로 연속 단면 영상을 생성하는 단계; 및
연속 단면 영상에 수직하는 연속 단면 영상을 생성하여 표시하는 단계;
를 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 제 10 항에 있어서, 연속 단면 영상에 수직하는 연속 단면 영상을 생성하여 표시하는 단계는
소정의 치아를 대상으로 각 축에서의 연속 단면 영상을 모두 하나의 화면에 표시하는 단계; 및
소정의 치아를 대상으로 소정 축에서의 연속 단면 영상을 표시하는 단계;
중 적어도 하나를 포함하는 것을 특징으로 하는 파노라믹 영상 생성방법. - 환자의 CT 영상을 포함한 영상 데이터를 획득하는 데이터 획득부;
획득된 CT 영상을 대상으로 악궁 라인을 생성하고 치아를 분할하며, 분할된 각 치아 별로 치아 기준선을 설정한 후 설정된 치아 기준선을 기준으로 측정되는 치아 각도를 반영하여 파노라믹 영상을 생성하는 제어부; 및
생성된 파노라믹 영상을 화면에 출력하는 출력부;
를 포함하는 것을 특징으로 하는 영상 처리장치. - 제 12 항에 있어서, 제어부는
설정된 치아 기준선을 악궁 라인과 일치하도록 보정한 후 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성하는 것을 특징으로 하는 영상 처리장치. - 제 12 항에 있어서, 제어부는
치아 분할 시 무치악인 경우 미리 설정된 평균 치아 각도 데이터를 반영하여 치아번호 별로 치아 각도를 추정하고 추정된 치아 각도를 악궁 라인과 일치하도록 보정한 후 치아 별로 각도가 보정된 CT 영상들을 병합하여 파노라믹 영상을 생성하는 것을 특징으로 하는 영상 처리장치. - 제 12 항에 있어서, 제어부는
분할된 치아 별로 치아 각도에 따라 연속 단면 영상을 생성하여 파노라믹 영상 및 연속 단면 영상을 포함한 시뮬레이션 화면을 구성하는 것을 특징으로 하는 영상 처리장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200013679A KR102346199B1 (ko) | 2020-02-05 | 2020-02-05 | 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200013679A KR102346199B1 (ko) | 2020-02-05 | 2020-02-05 | 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210099835A true KR20210099835A (ko) | 2021-08-13 |
| KR102346199B1 KR102346199B1 (ko) | 2022-01-03 |
Family
ID=77313639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200013679A KR102346199B1 (ko) | 2020-02-05 | 2020-02-05 | 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102346199B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230053738A (ko) * | 2021-10-14 | 2023-04-24 | 주식회사 메디트 | 3차원 스캐너의 스캔 이미지 정렬 방법, 장치 및 명령을 기록한 기록매체 |
| WO2024039029A1 (ko) * | 2022-08-18 | 2024-02-22 | 오스템임플란트 주식회사 | 치아 병변 정보 시각화 방법 및 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130018896A (ko) * | 2010-05-11 | 2013-02-25 | 텔레시스템즈 가부시키가이샤 | 방사선 촬상 장치 및 동장치에 이용하는 팬텀 |
| KR20190090664A (ko) * | 2018-01-25 | 2019-08-02 | (주)바텍이우홀딩스 | 치아영역 추출 시스템 및 방법 |
| KR20190105763A (ko) * | 2018-03-06 | 2019-09-18 | 경희대학교 산학협력단 | 치아 ct 영상을 이용한 자동 파노라마 영상 생성 방법 및 시스템 |
| US20190333627A1 (en) * | 2018-04-25 | 2019-10-31 | Sota Precision Optics, Inc. | Dental imaging system utilizing artificial intelligence |
-
2020
- 2020-02-05 KR KR1020200013679A patent/KR102346199B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130018896A (ko) * | 2010-05-11 | 2013-02-25 | 텔레시스템즈 가부시키가이샤 | 방사선 촬상 장치 및 동장치에 이용하는 팬텀 |
| KR20190090664A (ko) * | 2018-01-25 | 2019-08-02 | (주)바텍이우홀딩스 | 치아영역 추출 시스템 및 방법 |
| KR20190105763A (ko) * | 2018-03-06 | 2019-09-18 | 경희대학교 산학협력단 | 치아 ct 영상을 이용한 자동 파노라마 영상 생성 방법 및 시스템 |
| US20190333627A1 (en) * | 2018-04-25 | 2019-10-31 | Sota Precision Optics, Inc. | Dental imaging system utilizing artificial intelligence |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230053738A (ko) * | 2021-10-14 | 2023-04-24 | 주식회사 메디트 | 3차원 스캐너의 스캔 이미지 정렬 방법, 장치 및 명령을 기록한 기록매체 |
| WO2024039029A1 (ko) * | 2022-08-18 | 2024-02-22 | 오스템임플란트 주식회사 | 치아 병변 정보 시각화 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102346199B1 (ko) | 2022-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7168644B2 (ja) | 口腔内画像の選択及びロック | |
| CN111388125B (zh) | 一种口腔正畸治疗前后牙齿移动量计算方法和装置 | |
| US20220084267A1 (en) | Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports | |
| KR102314890B1 (ko) | 의료영상 정합 방법 및 그 장치 | |
| KR102344521B1 (ko) | 진단 및 진료계획 수립 방법 및 이를 위한 3차원 치과영상 제공장치 | |
| KR102346199B1 (ko) | 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 | |
| WO2022191575A1 (ko) | 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법 | |
| KR20210146857A (ko) | 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치 | |
| KR102566541B1 (ko) | 치과 교정치료 계획 수립방법 및 그 장치 | |
| EP4113440A1 (en) | Non-invasive periodontal examination | |
| KR101873332B1 (ko) | 치아쌍 단면 영상 생성 방법, 장치, 및 이를 기록한 기록 매체 | |
| KR20080000055A (ko) | 하악단면영상을 이용한 하악신경관 추출 장치 및 방법 | |
| US20160005237A1 (en) | Method and system for automatically aligning models of an upper jaw and a lower jaw | |
| KR102350098B1 (ko) | 악궁라인 생성 방법 및 이를 위한 치과영상 처리장치 | |
| KR102231215B1 (ko) | 신경관 라인 자동 생성방법 및 이를 위한 의료영상 처리장치 | |
| JP2021058595A (ja) | セグメンテーション装置 | |
| CN111553941A (zh) | 用户口腔全景视图的合成方法及装置、电子设备 | |
| KR20200088978A (ko) | Fmx 자동 생성 방법 및 그 장치 | |
| US20230252748A1 (en) | System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR) | |
| KR102573907B1 (ko) | 아치라인 수정방법 및 그 치아 배열 디자인 장치 | |
| KR102292871B1 (ko) | 파노라믹 영상 분석 방법 및 이를 수행하는 치아영상 처리장치 | |
| EP4328861A2 (en) | Jaw movements data generation apparatus, data generation method, and data generation program | |
| KR102473722B1 (ko) | 치아 단면영상 제공방법 및 이를 위한 치과영상 처리장치 | |
| US20240161317A1 (en) | Enhancing dental video to ct model registration and augmented reality aided dental treatment | |
| CN117058309B (zh) | 一种基于口腔成像的图像生成方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |