KR102160097B1 - 치아영역 추출 시스템 및 방법 - Google Patents

치아영역 추출 시스템 및 방법 Download PDF

Info

Publication number
KR102160097B1
KR102160097B1 KR1020180009654A KR20180009654A KR102160097B1 KR 102160097 B1 KR102160097 B1 KR 102160097B1 KR 1020180009654 A KR1020180009654 A KR 1020180009654A KR 20180009654 A KR20180009654 A KR 20180009654A KR 102160097 B1 KR102160097 B1 KR 102160097B1
Authority
KR
South Korea
Prior art keywords
tooth
image
neural network
region
artificial neural
Prior art date
Application number
KR1020180009654A
Other languages
English (en)
Other versions
KR20190090664A (ko
Inventor
김정훈
조현래
피재우
반 쿠옹 응우옌
권태웅
Original Assignee
(주)바텍이우홀딩스
주식회사 이우소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)바텍이우홀딩스, 주식회사 이우소프트 filed Critical (주)바텍이우홀딩스
Priority to KR1020180009654A priority Critical patent/KR102160097B1/ko
Publication of KR20190090664A publication Critical patent/KR20190090664A/ko
Application granted granted Critical
Publication of KR102160097B1 publication Critical patent/KR102160097B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

상기 목적을 달성하기 위한 본 발명은, 치아영역 추출 시스템에 있어서, 다수의 3차원 치아 CT 영상 및 각각의 3차원 치아 CT 영상으로부터 치아영역에
해당하는 부분을 분리하여 취득된 제 1 치아영역 영상이 저장된 데이터 베이스, 상기 데이터 베이스로부터 제공된 상기 3차원 치아 CT 영상과 상기 제 1 치아영역 영상에 기반한 학습을 통해 치아 존재 유무에 대한 제 1 가중치를 결정하고, 외부로부터 입력된 3차원 치아 CT 영상으로부터 치아 존재 유무를 추정하는 제 1 인공 신경망 시스템 및 상기 데이터 베이스로부터 제공된 상기 3차원 치아 CT 영상과 상기 제 1 치아영역 영상에 기반한 학습을 통해 치아영역에 대한 제 2 가중치를 결정하고, 외부로부터 입력된 3차원 치아 CT 영상으로부터 치아영역을 추정하여 치아영역을 추출하는 제 2 인공 신경망 시스템을 포함한다.

Description

치아영역 추출 시스템 및 방법{DENTAL AREA EXTRACTION SYSTEM AND METHOD}
본 발명은 치아영역 추출 시스템 및 방법에 관한 것으로서, 보다 구체적으로 3차원 전산화 단층 촬영(이하, CT) 영상에서 딥러닝을 이용하여 자동으로 치아영역을 정밀하게 분리취득하는 치아영역 추출 시스템 및 방법에 관한 것이다.
일반적으로 치과 전문의들은 환자 진료 및 크라운, 임플란트 등의 수술 설계를 위해 환자의 치아와 주변 조직 구조의 정확한 형태를 파악할 필요가 있다. 이를 위해, 치과 전문들의들은 환자의 구강을 3차원 CT 영상을 촬영하여 주변 조직의 형태와 사이즈를 확인하며, 보다 정밀한 진단을 위해서, 3차원 CT 영상에서 치아의 영역만을 분리하여 환자의 치아 상태를 살펴보길 원한다.
이때, 치아 CT 영상의 복셀을 수치화하여 살펴보면, 동일한 조직에 대한 특징이 균일하지 못하며, CT 영상의 신체 내부를 투과한다는 특성으로 인해 노이즈가 포함된다. 따라서, 기존의 영상 처리 방식을 통해서는 CT 영상에서 치아와 그 주변의 조직을 정밀하게 분리하기 어렵다.
또한, 치아 영역을 CT 영상에서 분리하기 위해 주로 사용하는 방법은, 수작업에 의해 치아 영역에 해당하는 영역을 지정해주고, 유사한 성질을 가진 영역을 알고리즘에 의해 자동 그룹화(grouping) 하는 방법이다. 다만, 이러한 방법은 정밀한 결과를 얻기 위해 작업자의 시간이 많이 소요되며, 정밀하게 치아 영역을 분리하기 어렵다. 따라서, CT 영상에서 치아 영역을 더 간단하고 정밀하게 분리할 수 있는 시스템 및 방법이 필요하다.
본 발명은 치아영역 추출 시스템 및 방법에 관한 것으로서, 보다 구체적으로 3차원 CT 영상에서 딥러닝을 이용하여 자동으로 치아영역을 정밀하게 분리취득하는 데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 치아영역 추출 시스템에 있어서, 다수의 3차원 치아 CT 영상 및 각각의 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 취득된 제 1 치아영역 영상이 저장된 데이터 베이스, 상기 데이터 베이스로부터 제공된 상기 3차원 치아 CT 영상과 상기 제 1 치아영역 영상에 기반한 학습을 통해 치아 존재 유무에 대한 제 1 가중치를 결정하고, 외부로부터 입력된 3차원 치아 CT 영상으로부터 치아 존재 유무를 추정하는 제 1 인공 신경망 시스템 및 상기 데이터 베이스로부터 제공된 상기 3차원 치아 CT 영상과 상기 제 1 치아영역 영상에 기반한 학습을 통해 치아영역에 대한 제 2 가중치를 결정하고, 외부로부터 입력된 3차원 치아 CT 영상으로부터 치아영역을 추정하여 치아영역을 추출하는 제 2 인공 신경망 시스템을 포함한다.
본 발명은 대량의 3차원 CT 영상에 대해 인공 신경망을 학습시키면서, 원하는 치아영역이 획득될 때까지 반복하여 인공 신경망의 가중치를 업데이트함으로써, 3차원 CT 영상에 치아영역을 보다 정밀하게 분리취득하는 효과가 있다.
또한, 본 발명에서 딥러닝에 이용되는 인공 신경망 구조는 손실되는 원본 데이터를 보완함으로써, 치아 영역의 추정 시 정확도를 향상시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 치아영역 추출 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 사용되는 RNN(Recurrent Neural Network)방식을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 사용되는 인공 신경망의 연결 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 제 1 인공 신경망 시스템의 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 제 2 인공 신경망 시스템의 구조를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 치아 존재 유무 추정 및 치아영역의 추정 결과를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 치아영역 추출 시스템의 영상 출력부에서 출력된 영상을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 치아영역 추출 방법에 대한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 치아영역 추출 방법에서 S200 단계 및 S300 단계를 구체화한 흐름도이다.
전술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 실시예를 통하여 보다 분명해 질 것이다.
특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 출원의 명세서에서 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들은 도면에 예시하고 본 출원의 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떠한 구성 요소가 다른 구성 요소에 "연결되어 있다"거나 "접속되어 있다"고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성 요소가 다른 구성 요소에 "직접 연결되어 있다"거나 또는 "직접 접속되어 있다"고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하기 위한 다른 표현들, 즉 "∼사이에"와 "바로 ∼사이에" 또는 "∼에 인접하는"과 "∼에 직접 인접하는" 등의 표현도 마찬가지로 해석되어야 한다.
본 출원의 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상세히 설명하도록 한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 치아영역 추출 시스템을 도시한 블록도이다. 도 1에 있어서, 치아영역 추출 시스템은 데이터 베이스(100), 영상 입력부(200), 제 1 인공 신경망 시스템(300), 제 2 인공 신경망 시스템(400) 및 영상 출력부(500)를 포함한다.
데이터 베이스(100)는 다수의 3차원 치아 CT 영상 및 각각의 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 취득된 치아영역 영상이 저장된다.
영상 입력부(200)는 3차원 치아 CT 영상을 외부로부터 입력받고, CT 영상에 대한 전처리 과정을 진행한다. 여기서, 전처리 과정은 영상마다 다른 시계(Field of view)와 샘플링 간격 차이에 대한 정규화를 지칭한다. 즉, 3차원 CT 영상마다 다르게 구성될 수 있는 다수의 2차원 CT 슬라이스(slice)를 정규화함으로써, 이후 인공 신경망에서 CT 슬라이스에 대한 내부 연산을 용이하게 하기 위한 과정이다.
제 1 인공 신경망 시스템(300)은 데이터 베이스로부터 제공된 다수의 3차원 치아 CT 영상 및 각각의 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 취득된 치아영역 영상에 기반한 학습을 통해, 치아 존재 유무에 대한 가중치를 결정하고, 외부로부터 입력된 3차원 치아 CT 영상으로부터 치아 존재 유무를 추정한다. 여기서, 인공 신경망은 인간의 인식방식과 유사하게 모델링된 복수 층의 계층적 구조를 말한다. 가중치는 인공 신경망(Neural Network)에서 각 층들을 연결하는 강도를 의미하며, 가중치를 반복적으로 조정하면 인공 신경망의 학습이 가능할 수 있다. 이하, 기존에 사용자가 수작업 등을 통해 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 취득된 치아영역 영상을 제 1 치아영역 영상이라 한다.
제 2 인공 신경망 시스템(400)은 데이터 베이스로부터 제공된 다수의 3차원 치아 CT 영상 및 각각의 3차원 치아 CT 영상에 대한 제 1 치아영역 영상에 기반한 학습을 통해, 치아영역에 대한 가중치를 결정하고, 외부로부터 입력된 3차원 치아 CT 영상으로부터 치아영역을 추정하여 치아영역을 추출한다.
영상 출력부(500)는 추정된 치아영역에 기반하여, 치아영역이 분리된 이진 마스크(binary mask)를 출력한다.
도 2는 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 사용되는 RNN(Recurrent Neural Network)방식을 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 사용되는 인공 신경망의 연결 구조를 나타낸 도면이다. 도 2를 참조하면, 본 발명에 있어서, 제 1 인공 신경망 시스템(300)과 제 2 인공 신경망 시스템(400)은 RNN(Recurrent Neural Network)방식을 채용한 딥러닝(Deep Learning) 기술을 활용한다. RNN 방식은 외부로부터 입력된 데이터(예컨대, CT 슬라이스)에 대한 출력 데이터(예컨대, 마스크 이미지)를 인공 신경망을 통해 추정하고, 다음으로 입력되는 데이터와 추정된 출력 데이터를 접합하여 다시 인공 신경망에 입력하는 것을 반복함으로써, 보다 정밀하게 출력 데이터를 추정하는 방식이다. 여기서, CT 슬라이스는 3차원 치아 CT 영상을 구성하는 2차원 치아 이미지를 의미하고, 마스크 이미지는 3차원 치아 CT 영상에서 치아 영역에 해당하는 부분이 분리취득된 마스크 영상을 구성하는 2차원 이미지를 의미한다.
또한, 본 발명에서 인공 신경망 구조는 FCN(Fully Convolutional Network)기법을 사용하는 것이 바람직하다. FCN 기법은 컨벌루션 계층(Convolution layer)들을 여러번 거치면서 입력된 이미지의 크기가 줄어들게 하고, 이미지 내의 특징(Feature)이 추출된 뒤에, 풀리 커넥티드 계층(Fully-Connected Layer)를 거치면서 이미지가 분류되게 하는 기법을 말한다.
도 3을 참조하면, 본 발명에 있어서, 제 1 인공 신경망 시스템(300)과 제 2 인공 신경망 시스템(400)은 제 1 신경망, 제 2 신경망 및 제 3 신경망으로 구성될 수 있다. 각각의 신경망은 서로 연결될 수 있으며, 점선으로 된 화살표는 제 1 신경망과 제 2 신경망이 연결될 때의 데이터 흐름을 의미한다.
제 1 신경망은 CT 영상의 위치 정보를 고려하여, CT 슬라이스가 다수의 컨벌루션 계층(Convoultion layer) 및 풀링 계층(Polling layer)을 단계적으로 거치게 하는 신경망이다. 이 과정에서 CT 슬라이스는 압축되어 특징이 추출된다. 여기서, 컨벌루션 계층은 입력 데이터로부터 특징을 추출하는 계층이며, 풀링 계층은 컨벌루션 계층을 거쳐서 추출된 특징들을 서브 샘플링(Sub sampling)하여 데이터를 압축하는 계층이다. 이때, 풀링 계층은 컨벌루션 계층에서 추출된 특징들 중 최대 값을 추출함으로써 데이터를 압축하는 맥스 풀링 계층(Max pulling layer)일 수 있다.
제 2 신경망은 제 1 신경망에서 제공된 데이터와 CT 슬라이스에 대한 접합(concatenation)과정 이후, 제 1 신경망에서 제공된 데이터와 접합된 CT 슬라이스가 컨벌루션 계층 및 업 컨브 계층(Up-Conv layer)을 거치며, 최종적으로 시그모이드(Sigmoid) 함수를 통해 특정 영역이 추정된 이미지 데이터를 추출하는 신경망이다. 이 과정에서 CT 슬라이스가 단계적으로 확대되면서 해상도가 복원된다. 여기서, 접합은 두 개의 매트릭스를 특정 축 방향으로 나란히 붙여서 하나의 매트릭스로 만드는 것이며, 업 컨브 계층은 업 샘플링, 즉, 축소된 매트릭스를 다시 확대시키고, 컨벌루션 연산을 반대로 적용하는 계층이다. 시그모이드 함수는 최소 지점을 찾는 이산 분류 함수를 말한다.
제 3 신경망은 다수의 풀리 커넥티드 계층(Fully-Connected Layer)으로 이루어진 MLP(Multi layer perceptron)로써, 전체적으로 연결된 신경망 연결 구조를 통해 CT 영상에서 영상의 의미를 파악하는 신경망이다.
도 4는 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 제 1 인공 신경망 시스템(300)의 구조를 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 제 2 인공 신경망 시스템(400)의 구조를 도시한 도면이다. 또한, 도 6은 본 발명의 일 실시예에 따른 치아영역 추출 시스템에서 치아 존재 유무 추정 및 치아영역의 추정 결과를 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 치아영역 추출 시스템의 영상 출력부(500)에서 출력된 영상을 나타낸 도면이다.
도 1 내지 도 7을 참조하여, 치아영역 분리 시스템의 동작을 구체적으로 설명하겠다. 각각의 인공 신경망에서 이루어지는 동작은 다수의 CT 슬라이스 각각에 대하여 순차적으로 이루어진다.
제 1 인공 신경망 시스템(300)은 순방향으로 진행하면서, 치아의 존재를 구분할 수 있도록 입력된 3차원 치아 CT 영상을 압축하고, 압축된 영상을 일렬로 된 벡터로 변경함으로써 치아 유무를 추정하는 데이터를 생성한다. 구체적으로, 제 1 인공 신경망 시스템(300)은 치아의 존재를 구분할 수 있도록 제 1 신경망을 통해 입력된 CT 슬라이스의 사이즈를 축소시키고, 축소된 결과를 일렬로 된 벡터로 변경(flatten)하여, 제 3 신경망을 거쳐 치아의 유무를 추정한다. 이때, 최종 결과는 2차원의 벡터로 표현되며, 소프트맥스(softmax) 함수를 통해 출력 값이 치아가 존재하지 않으면 벡터의 0 번째 인덱스가 1로 나타나고, 치아가 존재하면 1 번째 인덱스가 1로 나타난다. 여기서, 소프트맥스(softmax) 함수는 입력을 0~1 사이의 값으로 모두 정규화하여 출력하고, 출력의 합이 1이 되게 만드는 함수이다. K 차원의 벡터 데이터가 z가 있을때, softmax 함수는 다음의 수학식 1과 같다.
Figure 112018009050311-pat00001
제 2 인공 신경망 시스템(400)은 순방향으로 진행하면서, CT 영상에서 치아 중심 영역을 추정하며, 입력 데이터는 CT 슬라이스와 제 1 인공 신경망 시스템(300)의 치아 유무 존재에 대한 추정 데이터 및 이전에 입력된 CT 슬라이스에서 치아 중심 영역에 대한 추정이 이루어진 데이터가 접합된 데이터일 수 있다. 제 2 인공 신경망 시스템(400)은 제 1 신경망과 제 2 신경망이 연결된 인공 신경망을 사용한다. 제 1 신경망은 치아의 특징을 가지는 영역을 구분할 수 있는 사이즈로 입력 데이터를 사영(projection)시키며, 제 2 신경망은 제 1 신경망을 통해 구분된 특징들을 조합하여 동일한 특징을 지닌 영역으로 그룹화(grouping)한다. 이에 따라, 치아가 존재하는 것으로 추정되는 영역은 1로 나타나고 치아가 존재하지 않는 것으로 추정되는 영역은 0으로 나타나는 마스크(mask) 이미지가 출력된다. 여기서, 제 2 신경망을 이용한 그룹화는 영상로부터 추출된 특징이 같은 영역을 동일한 레이블(lable)로 그룹화하는 시맨틱 분할(semantic segmentation) 기법일 수 있다. 또한, 도 2에서의 데이터 흐름을 참고하면, 제 1 신경망과 제 2 신경망이 연결되는 방식은 유넷(u-net) 방식일 수 있으며, 여기서, 유넷(u-net) 방식은 제 1 신경망에서 영상 사이즈가 다운샘플링될 때 출력되는 데이터가 제 2 신경망에서 영상 사이즈의 업샘플링 과정 중 접합하는 단계에 연결되는 방식을 말한다. 즉, 인공 신경망 구조에서 계층(layer)이 깊어짐에 따라, 손실되는 원본 데이터의 정보를 깊은 층에 피딩(feeding)시켜, 추정의 정확도를 향상시키고, 인공 신경망의 학습이 원활히 이루어질 수 있도록 한다.
또한, 도 6을 참조하면, 치아 유무의 추정 결과는 우측 그래프로 표현되며, X축은 치아가 존재하는 CT 슬라이스이면 1 값을, 치아가 존재하지 않는 CT 슬라이스이면 0 값을 갖는 확률 값이고, Y축은 CT 슬라이스의 넘버이다. CT 영상 아래에 나타난 아치 형태의 점 영상은 치아영역의 추정 영상으로 오른쪽 그래프에서 X축이 1인 영역에만 CT 슬라이스에 점 영상이 표시된다.
제 2 인공 신경망 시스템(400)은 순방향으로 재 진행하면서, 보다 정밀하게 치아 영역을 추정한다. 입력 데이터는 CT 슬라이스와 마스크 이미지 및 이전에 입력된 CT 슬라이스의 마스크 영상이 접합된 데이터일 수 있다. 제 2 인공 신경망 시스템(400)은 입력된 CT 영상을 재 진행을 통해 추정된 치아영역에 대한 위치 정보와 접합하여, 치아 영역은 1로 표현되고, 치아가 없는 영역은 0으로 표현되는 마스크(mask) 영상을 출력한다.
이후, 제 2 인공 신경망 시스템(400)은 출력된 마스크 영상에서 치아영역을 분리한다. 이때, 영상처리는 당업자에게 널리 알려진 라벨링(labeling) 알고리즘과 워터셔드(watershed) 알고리즘을 이용하여 분리하므로, 구체적인 동작은 생략한다.
각 인공 신경망 시스템의 학습 시에는 각 인공 신경망 시스템의 추정 방향과 역방향으로 진행되며, 원하는 결과(Ground Truth)와 인공 신경망 시스템에서 추정한 예측 영상과의 차이가 최소화되는 방향으로 인공 신경망을 학습시킨다. 본 발명에 있어서, 인공 신경망에 대한 학습 시에는 경사 하강법(gradient descent)을 적용하고, 지역 최적점(local minima)문제를 해결하기 위해 배치 정규화(batch normalization)를 이용할 수 있다. 여기서, 경사 하강법은 현재 위치에서 가장 경사가 급한 곳을 찾고, 그 방향으로 이동하여 새로운 위치를 지정하는 과정을 통해 가장 낮은 지점을 찾아가는 방법이다. 지역 최적점의 문제는 인공 신경망을 통해 가장 낮은 지점을 찾아가는 과정에서 사용자가 의도한 방향으로 진행되지 않고, 전혀 다른 방향으로 진행되는 문제를 말하며, 배치 정규화는 함수의 출력 값 또는 활성화 값을 정규화하는 방법으로, 신경망의 각 계층에 대해 데이터의 분포를 정규화하는 것을 말한다.
구체적으로, 제 1 인공 신경망 시스템(300)은 역방향으로 진행하면서, 데이터 베이스로부터 제공된 다수의 3차원 치아 CT 영상과 각각의 3차원 치아 CT 영상에 대한 제 1 치아영역 영상에 기반한 학습을 통해, 치아 존재 유무에 대한 제 1 가중치를 결정한다. 그리고, 데이터 베이스에 저장된 3차원 치아 CT 영상과 제 1 치아영역 영상을 제공받아, 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 제 2 치아영역 영상을 취득한 후, 제 1 치아영역 영상과 제 2 치아영역 영상의 비교를 통해, 사용자가 원하는 결과를 얻을 때까지 반복하여 제 1 가중치를 업데이트한다. 여기서, 제 2 치아영역 영상은 인공 신경망 시스템을 통해 3차원 치아 CT 영상에서 치아영역에 해당하는 부분을 분리취득한 영상을 의미한다.
제 2 인공 신경망 시스템(400)은 역방향으로 진행하면서, 데이터 베이스로부터 제공된 다수의 3차원 치아 CT 영상과 각각의 3차원 치아 CT 영상에 대한 제 1 치아영역 영상에 기반한 학습을 통해, 치아영역에 대한 제 2 가중치를 결정한다. 그리고, 데이터 베이스에 저장된 3차원 치아 CT 영상과 제 1 치아영역 영상을 제공받아, 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 제 2 치아영역 영상을 취득한 후, 제 1 치아영역 영상과 제 2 치아영역 영상의 비교를 통해, 사용자가 원하는 결과를 얻을 때까지 반복하여 제 2 가중치를 업데이트한다.
도 6을 참조하면, 영상 출력부(500)는 전체 치아가 정밀하게 분리된 이진 마스크를 출력하며, 경계를 부드럽게 하기위한 스무딩(smoothing) 필터링 후처리를 할 수 있다. 스무딩 필터링 후처리는 당업자에게 널리 알려진 알고리즘을 사용하므로, 구체적인 설명은 생략한다.
도 8은 본 발명의 일 실시예에 따른 치아영역 추출 방법에 대한 흐름도이다. 도 8에 있어서, 상술한 치아영역 추출 시스템에 대한 설명을 참조하여, 3차원 치아 CT 영상으로부터의 치아영역 추출 방법을 설명하겠다.
우선, S100 단계에서, 인공 신경망의 학습에 필요한 영상들을 데이터 베이스에 저장한다. 여기서, 인공 신경망의 학습에 필요한 영상들은 다수의 3차원 치아 CT 영상 및 각각의 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 취득한 제 1 치아영역 영상을 의미한다.
S200 단계에서, 데이터 베이스로부터 제공된 3차원 치아 CT 영상과 제 1 치아영역 영상에 기반하여, 인공 신경망을 학습시킴으로써 가중치를 결정한다.
S300 단계에서, 가중치가 결정된 인공 신경망을 사용하여, 외부로부터 입력된 3차원 치아 CT 영상으로부터 치아 영역에 해당하는 부분을 분리취득한다.
S400 단계에서, 분리취득된 치아영역을 이진 마스크로 출력한다.
도 9는 본 발명의 일 실시예에 따른 치아영역 추출 방법에서 S200 단계 및 S300 단계를 구체화한 흐름도이다.
도 9에 도시된 바와 같이, S210 단계에서, 제 1 인공 신경망 시스템을 데이터 베이스에 저장된 다수의 3차원 치아 CT 영상으로부터 치아 존재 유무에 대해 학습시켜, 제 1 인공 신경망 시스템의 제 1 가중치를 결정한다.
S310 단계에서, 치아의 존재를 구분할 수 있도록 입력된 3차원 치아 CT 영상을 압축하고, 압축된 영상을 일렬로 된 벡터로 변경함으로써 치아 존재 유무를 추정하는 데이터를 생성하는 제 1 인공 신경망 시스템을 사용한다.
S220 단계에서, 제 2 인공 신경망 시스템을 데이터 베이스에 저장된 다수의 3차원 치아 CT 영상으로부터 3차원 CT 영상에서의 치아 중심 영역에 대해 학습시켜, 제 2 인공 신경망 시스템의 제 2 가중치를 결정한다.
S320 단계에서, 치아 중심 영역을 구분할 수 있도록 상기 입력된 3차원 치아 CT 영상에서 동일한 특징값을 지닌 영역이 그룹화된 데이터, 즉, 마스크 이미지를 생성하는 제 2 인공 신경망 시스템을 사용한다.
S230 단계에서,제 2 인공 신경망 시스템을 데이터 베이스에 저장된 제 1 치아영역 영상과 제 2 치아영역 영상의 비교를 통해 제 2 가중치를 업데이트한다.
S330 단계에서, 마스크 이미지를 입력되는 3차원 치아 CT 영상에 접합시키고, 제 2 인공 신경망 시스템을 사용하여 접합된 3차원 치아 CT 영상로부터 치아 전체 영역을 추정하며, 3차원 치아 CT 영상에서 치아 영역에 해당하는 부분을 분리취득한다.
발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (16)

  1. 다수의 3차원 치아 CT 영상 및 각각의 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 취득된 다수의 제 1 치아영역 영상이 저장된 데이터 베이스;
    상기 다수의 3차원 치아 CT 영상 및 상기 제 1 치아영역 영상에 기반한 학습을 통해 외부로부터 입력된 3차원 치아 CT 영상에서 치아영역을 추정하여 추출하는 인공 신경망 시스템; 및
    상기 추출된 치아영역을 이진 마스크로 출력하는 영상 출력부를 포함하고,
    상기 인공 신경망 시스템은 상기 학습의 결과에 따라 상기 치아영역에 대한 마스크 이미지를 생성하고, 상기 외부로부터 입력된 3차원 치아 CT 영상에 상기 마스크 이미지를 정합하여 상기 치아영역을 추정하는
    치아영역 추출 시스템.
  2. 제1항에 있어서,
    상기 인공 신경망 시스템은,
    상기 다수의 3차원 치아 CT 영상 및 상기 제 1 치아영역 영상에 기반한 학습을 통해 상기 외부로부터 입력된 3차원 치아 CT 영상에서 치아 존재 유무를 추정하는 제1인공 신경망 시스템; 및
    상기 다수의 3차원 치아 CT 영상 및 상기 제 1 치아영역 영상에 기반한 학습을 통해 상기 외부로부터 입력된 3차원 치아 CT 영상에서 상기 치아영역을 추출하는 제2인공 신경망 시스템을 포함하는
    치아영역 추출 시스템.
  3. 제2항에 있어서,
    상기 제1인공 신경망 시스템은,
    치아의 존재를 구분할 수 있도록 상기 입력된 3차원 치아 CT 영상을 압축하고, 압축된 영상을 일렬로 된 벡터로 변경함으로서 치아 유무를 추정하는 데이터를 생성하는 치아영역 추출 시스템.
  4. 제2항에 있어서,
    상기 제2인공 신경망 시스템은,
    치아 중심 영역을 구분할 수 있도록 상기 입력된 3차원 치아 CT 영상에서 동일한 특징값을 지닌 영역이 그룹화된 데이터인 상기 마스크 이미지를 생성하며,
    상기 마스크 이미지를 상기 3차원 치아 CT 영상에 접합시키고, 상기 접합된 3차원 치아 CT 영상 및 마스크 이미지로부터 치아 전체 영역을 추정하며, 상기 3차원 치아 CT 영상에서 치아영역에 해당하는 부분을 분리하는 치아영역 추출 시스템.
  5. 제4항에 있어서,
    상기 마스크 이미지는, 치아가 존재하는 것으로 추정되는 영역은 1로 나타나고, 치아가 존재하지 않는 것으로 추정되는 영역은 0으로 나타나는 치아영역 추출 시스템.
  6. 다수의 3차원 치아 CT 영상 및 각각의 3차원 치아 CT 영상으로부터 치아영역에 해당하는 부분을 분리하여 취득된 다수의 제 1 치아영역 영상이 저장된 데이터 베이스에 저장하는 단계;
    상기 다수의 3차원 치아 CT 영상 및 상기 제 1 치아영역 영상에 기반하여 인공 신경망을 학습시키는 단계;
    상기 학습의 결과에 따라 치아영역에 대한 마스크 이미지를 생성하는 단계;
    외부로부터 입력된 3차원 치아 CT 영상에 상기 마스크 이미지를 정합하여 치아영역을 추정하고 추출하는 단계; 및
    상기 추출된 치아영역을 이진 마스크로 출력하는 단계
    를 포함하는 치아영역 추출 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020180009654A 2018-01-25 2018-01-25 치아영역 추출 시스템 및 방법 KR102160097B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180009654A KR102160097B1 (ko) 2018-01-25 2018-01-25 치아영역 추출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180009654A KR102160097B1 (ko) 2018-01-25 2018-01-25 치아영역 추출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190090664A KR20190090664A (ko) 2019-08-02
KR102160097B1 true KR102160097B1 (ko) 2020-09-25

Family

ID=67614298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180009654A KR102160097B1 (ko) 2018-01-25 2018-01-25 치아영역 추출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102160097B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220065642A (ko) * 2020-11-13 2022-05-20 주식회사 메디트 교합 정렬 방법 및 교합 정렬 장치
KR20220093992A (ko) * 2020-12-28 2022-07-05 주식회사 크리에이티브마인드 3차원 치아이미지에서 치아영역을 인식하는 방법 및 그 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346199B1 (ko) * 2020-02-05 2022-01-03 오스템임플란트 주식회사 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치
KR102267739B1 (ko) * 2020-02-24 2021-06-22 주식회사 딥덴탈스 치아 진단 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102459179B1 (ko) * 2020-03-13 2022-10-31 주식회사 인비전랩 인공 신경망을 이용한 의료용 이미지의 판독 장치
KR102448395B1 (ko) * 2020-09-08 2022-09-29 주식회사 뷰노 치아 영상 부분 변환 방법 및 장치
KR102691052B1 (ko) * 2021-07-05 2024-07-31 김정란 치주질환 진단을 위한 보조지표를 제공하는 방법 및 시스템
KR102491837B1 (ko) * 2021-11-04 2023-01-27 주식회사 카이아이컴퍼니 치면 착색 영상 데이터를 활용한 비대면 치아우식 위험도 진단 및 구강관리 시스템과 그 방법
KR102505539B1 (ko) * 2022-06-21 2023-03-02 가천대학교 산학협력단 간 분할 정보 제공 방법 및 이를 이용한 간 분할에 대한 정보 제공용 장치
KR102690710B1 (ko) * 2023-10-18 2024-08-05 (주)비씨앤컴퍼니 멀티 인공지능을 이용한 인체 내 임플란트 종류 판독장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007524461A (ja) 2003-06-25 2007-08-30 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 乳房撮像の自動診断及び決定支援システム及び方法
JP2011200625A (ja) 2010-03-05 2011-10-13 Fujifilm Corp 画像診断支援装置、方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381061B1 (ko) * 2012-07-27 2014-04-04 경희대학교 산학협력단 Ｃｔ영상으로부터 치열구조의 자동추출방법
KR20170047423A (ko) * 2015-10-22 2017-05-08 한국디지털병원수출사업협동조합 Cad기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템
KR102472034B1 (ko) * 2016-02-19 2022-11-30 주식회사 바텍 X선 영상에서의 치아의 인접면 우식증 영역 검출 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007524461A (ja) 2003-06-25 2007-08-30 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 乳房撮像の自動診断及び決定支援システム及び方法
JP2011200625A (ja) 2010-03-05 2011-10-13 Fujifilm Corp 画像診断支援装置、方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220065642A (ko) * 2020-11-13 2022-05-20 주식회사 메디트 교합 정렬 방법 및 교합 정렬 장치
KR102502588B1 (ko) * 2020-11-13 2023-02-23 주식회사 메디트 교합 정렬 방법 및 교합 정렬 장치
KR20220093992A (ko) * 2020-12-28 2022-07-05 주식회사 크리에이티브마인드 3차원 치아이미지에서 치아영역을 인식하는 방법 및 그 장치
KR102453932B1 (ko) 2020-12-28 2022-10-14 주식회사 크리에이티브마인드 3차원 치아이미지에서 치아영역을 인식하는 방법 및 그 장치

Also Published As

Publication number Publication date
KR20190090664A (ko) 2019-08-02

Similar Documents

Publication Publication Date Title
KR102160097B1 (ko) 치아영역 추출 시스템 및 방법
KR102250164B1 (ko) 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템
CN110638438B (zh) 用于对血流储备分数的基于机器学习的评估的方法和系统
US12124960B2 (en) Learning apparatus and learning method
JP3902765B2 (ja) Ｍｒ心臓画像における左心室のセグメンテーションに対する様々なアプローチ
WO2018229490A1 (en) A system and computer-implemented method for segmenting an image
WO2018227105A1 (en) Progressive and multi-path holistically nested networks for segmentation
JP2002500795A (ja) 輪郭検出段階を含む画像処理方法及びシステム
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN111685899A (zh) 基于口内图像和三维模型的牙齿正畸治疗监测方法
KR101959438B1 (ko) 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템
CN111265317B (zh) 一种牙齿正畸过程预测方法
JP7317306B2 (ja) Ｃｔ画像基盤の部位別の大脳皮質収縮率の予測方法及び装置
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN116485809B (zh) 基于自注意力与感受野调整的牙齿实例分割方法及系统
CN116935164A (zh) 脑血管识别模型构建方法及网络构建方法
CN115830163A (zh) 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置
CN110826565A (zh) 基于跨连接的卷积神经网络齿痕舌象分类方法及系统
CN113762285A (zh) 一种分析和处理医学影像的系统及方法
CN117333751A (zh) 一种医学图像融合方法
AU2021412721A1 (en) Method for automatically segmenting maxillofacial bones in ct image by using deep learning
US20230180999A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
KR102250173B1 (ko) 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템
CN113614788A (zh) 计算机辅助读取和分析的深度强化学习
CN115410032A (zh) 基于自监督学习的octa图像分类结构训练方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant