KR102461343B1 - 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템 - Google Patents

금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템 Download PDF

Info

Publication number
KR102461343B1
KR102461343B1 KR1020220024229A KR20220024229A KR102461343B1 KR 102461343 B1 KR102461343 B1 KR 102461343B1 KR 1020220024229 A KR1020220024229 A KR 1020220024229A KR 20220024229 A KR20220024229 A KR 20220024229A KR 102461343 B1 KR102461343 B1 KR 102461343B1
Authority
KR
South Korea
Prior art keywords
image
dental
heat map
net
model
Prior art date
Application number
KR1020220024229A
Other languages
English (en)
Other versions
KR102461343B9 (ko
Inventor
이원진
양수
Original Assignee
서울대학교산학협력단
서울대학교치과병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 서울대학교치과병원 filed Critical 서울대학교산학협력단
Priority to KR1020220024229A priority Critical patent/KR102461343B1/ko
Application granted granted Critical
Publication of KR102461343B1 publication Critical patent/KR102461343B1/ko
Publication of KR102461343B9 publication Critical patent/KR102461343B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

금속 인공 음영이 포함된 의료영상에서 치아 랜드마크를 자동으로 검출하는 방법 및 시스템으로서, CT(Computed Tomography) 영상 및 3D 치과 스캐너 영상을 획득하는 단계, CT영상을 상악 CT영상과 하악 CT영상으로 분할하고, 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 단계, 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 단계, 상악 모델과 하악 모델 각각에 대해, 치아 랜드마크를 레이블링하고, 레이블링된 위치를 좌표로 변환하는 단계, 좌표를 3D 히트맵(Heat map)으로 변환하는 단계, 복수의 CT 영상 및 복수의 3D 치과 스캐너 영상으로 복수의 상악 모델과 복수의 하악 모델을 생성하고 복수의 치아 랜드마크 레이블을 생성하고, 레이블링된 좌표로 출력한 3D 히트맵을 레이블로 인공신경망을 학습하여 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 단계, 학습된 인공신경망 모델에 의해 금속 인공 음영이 포함된 대상자의 의료영상으로부터 3D 히트맵을 예측하는 단계, 그리고 예측된 3D 히트맵의 최대값을 추출하여 치아 랜드마크 좌표로 변환하여, 치아 랜드마크를 자동으로 검출하는 단계를 포함한다.

Description

금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템{AUTOMATIC TOOTH LANDMARK DETECTION METHOD AND SYSTEM IN MEDICAL IMAGES CONTAINING METAL ARTIFACTS}
본 발명은 치아 랜드마크 자동 검출 모델을 통하여 CT(Computed Tomography) 및 CBCT(Cone Beam Computed Tomography)에서 고정밀 치아 랜드마크를 자동 검출하는 방법 및 시스템에 관한 것이다.
일반적으로 임플란트 또는 그와 유사한 시술을 하기 전에 대상자의 CT(Computed Tomography) 및 CBCT(Cone Beam Computed Tomography)영상을 획득한다. 그리고 획득한 영상을 가공하여 시술에 적합한 이미지로 변조한다. 이 과정에서 치아 랜드마크를 설정하여 시술 전 분석을 시행한다.
악교정 수술에서 상악골의 미세한 위치 변화는 얼굴에 큰 변화를 가져올 수 있다. 따라서 수술 전 정확한 악교정 수술계획을 수립하는 것이 매우 중요하다. 종래에는 2D 두부 계측 방사선사진에 기반한 캐스트 모델과 교합기를 사용하여 수술 시뮬레이션을 하였다. 그리고 해부학적 랜드마크 기반의 3D 가상 악교정 수술계획시에는 관찰자가 수동으로 랜드마크 레이블링을 수행해야 하는 어려움이 존재한다.
본 발명의 일 실시예로 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법을 제공하고자 한다. 그리고 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따르면, CT(Computed Tomography) 영상 및 3D 치과 스캐너 영상을 획득하는 단계, CT영상을 상악 CT영상과 하악 CT영상으로 분할하고, 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 단계, 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 단계, 상악 모델과 하악 모델 각각에 대해, 치아 랜드마크를 레이블링하고, 레이블링된 위치를 좌표로 변환하는 단계, 좌표를 3D 히트맵(Heat map)으로 변환하는 단계, 복수의 CT 영상 및 복수의 3D 치과 스캐너 영상으로 복수의 상악 모델과 복수의 하악 모델을 생성하고 복수의 치아 랜드마크 레이블을 생성하고, 레이블링된 좌표로 출력한 3D 히트맵을 레이블로 하며, 인공신경망을 학습하여 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 단계, 학습된 인공신경망 모델에 의해 금속 인공 음영이 포함된 대상자의 의료영상으로부터 3D 히트맵을 예측하는 단계, 그리고 예측된 3D 히트맵의 최대값을 추출하여 치아 랜드마크 좌표로 변환하여, 치아 랜드마크를 자동으로 검출하는 단계를 포함할 수 있다.
3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 단계는, 3D 치과 스캐너 영상에서 치열을 제외한 부분을 크롭(Crop)하고 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 각각 분할할 수 있다.
상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 단계는, CT영상과 3D 치과 스캐너 영상 중 서로 매칭되는 상악 또는 하악 이미지를 점대점 방식으로 상악 모델 및 하악 모델을 생성할 수 있다.
점대점 방식으로 상악 모델 하악 모델을 생성할 때, CT 영상과 3D 치과 스캐너 영상이 점대점 방식으로 정확하게 매칭되지 않는 경우, 의료 영상의 스케일 변환, 회전, 또는 이동으로 모델을 매칭하는 ICP(Iteration Closest Point) 방식으로 CT영상과 3D 치과 스캐너 영상으로 상악 모델 및 하악 모델을 생성할 수 있다.
상악 모델과 하악 모델에서 치아 랜드마크를 각각 레이블링하는 단계는, 상악 모델과 하악 모델에서 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니 그리고 뒤쪽 비강 척추를 랜드마킹할 수 있다.
레이블링된 위치를 좌표로 변환하는 단계는, 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표계를 따르고, 치아 랜드마크의 좌표는 하기의 수학식 1을 만족하는 카르테시안 좌표계일 수 있다.
[수학식 1]
Figure 112022020886349-pat00001
수학식 1에서,
Figure 112022020886349-pat00002
는 치아 랜드마크의 x, y, z 좌표, (Coordinate-Physical origin)x,y,z는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표에서 x, y, z 좌표, (Voxel Spacing)x,y,z은 치아 랜드마크 이미지의 3차원 행렬 형태 배치에서 x, y, z좌표일 수 있다.
좌표를 3D 히트맵으로 변환하는 단계는 치아 랜드마크 위치를 3D 히트맵에 표시하는 방법으로 변환하고, 3D 히트맵은 3D 가우시안 히트맵의 픽셀확률에 따라 표시되며, 3D 가우시안 히트맵의 픽셀확률은 하기의 수학식 2를 만족할 수 있다.
[수학식 2]
Figure 112022020886349-pat00003
수학식 2에서, Hi는 3D 가우시안 히트맵의 픽셀 확률,
Figure 112022020886349-pat00004
,
Figure 112022020886349-pat00005
,
Figure 112022020886349-pat00006
는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수일 수 있다.
레이블링된 좌표로 출력한 3D 히트맵을 레이블로 하고, 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 단계에서, 인공신경망 모델은 V2-Net 아키텍처(Architecture)이고, 아키텍처는 각각 레이어의 수가 동일한 V-Net 아키텍쳐인 Coarse V-Net 및 Fine V-Net을 직렬 배치한 V2-Net이며, 각각의 V-Net 아키텍처는 스케일링 다운 후에 스케일링 업 하는 구조를 포함하고, V-Net에서 스케일링 업을 할 때 스케일링 업 레이어와 대응되는 스케일링 다운 레이어와 이전 레이어를 합성하여 다음 레이어를 출력하며, Coarse V-Net은 첫번째 히트맵 예측인 제1 3D 히트맵을 예측하도록 학습되고, 제1 3D 히트맵은 하기의 수학식 3을 만족할 수 있다.
[수학식 3]
Figure 112022020886349-pat00007
수학식 3에서, Hi는 3D 가우시안 히트맵의 픽셀 확률,
Figure 112022020886349-pat00008
,
Figure 112022020886349-pat00009
,
Figure 112022020886349-pat00010
는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수일 수 있다.
Coarse V-Net이 출력하는 제1 3D 히트맵과 Fine V-Net이 출력하는 두번째 히트맵 예측인 제2 3D 히트맵에서, Coarse V-Net의 제1 3D 히트맵과 레이블을 비교하여 하기의 수학식 4를 만족하는 유사 후버손실(Pseudo Hubber Loss)값을 산출하고, 산출한 손실수치와 제1 3D 히트맵을 합성하여 3D 유도 맵을 출력하며, 3D 유도 맵과 입력 의료 이미지를 합성하여 합성 이미지를 출력하고, 합성 이미지를 Fine V-Net의 입력으로 할 수 있다.
[수학식 4]
Figure 112022020886349-pat00011
수학식 4에서, PHL은 유사 후버손실함수, GT는 입력 이미지의 그라운드 트루스, PH는 예측된 3D 히트맵, δ는 유사 후버손실의 경사를 제어하는 가중치 계수, a는 그라운드 트루스와 예측된 3D 히트맵 사이의 절대 손실 값일 수 있다.
수학식 3을 만족하는 제1 3D 히트맵과 제2 3D 히트맵에서 유사 후버손실을 산출하고, 각각의 V-Net 손실수치를 변수로 하기의 수학식 5를 만족하는 총 손실수치를 산출하며, 총 손실수치에 따라 가중치를 판단할 수 있다.
[수학식 5]
Figure 112022020886349-pat00012
수학식 5에서, Ltotal은 총 유사 후버손실, PHLint은 Coarse V-Net 출력 레이어에서의 손실, PHLout은 Fine V-Net 출력 레이어에서의 손실, Hα는 표준편차가 α일 때 Coarse V-Net의 그라운드 트루스, Hβ는 표준편차가 β일 때 Fine V-Net의 그라운드 트루스, Mc와 Ms는 각각 Coarse V-Net과 Fine V-Net의 예측 히트맵일 수 있다.
Fine V-Net에 상악 모델과 하악 모델을 입력한 후에 복수 개의 컨볼루션 레이어로 상악 모델과 하악 모델이 스케일링 다운되고, 스케일링 다운된 모델이 다음 레이어에 입력될 때 다음 레이어와 대응되는 Coarse V-Net의 스케일링 업 레이어의 출력과 스케일링 다운되어 다음 레이어에 입력되는 이미지를 합성하기 위한 어텐션 모듈에 입력되며, 어텐션 모듈의 출력이 다음 레이어에 입력될 수 있다.
어텐션 모듈은 스케일링 다운된 Fine V-Net의 출력을 제1 FCN(Fully Convolutional Network)에 입력하고, 제1 FCN의 출력과 Coarse V-Net의 스케일링 업 레이어의 출력을 합성하며, 합성된 출력을 ReLU(Rectified Linear Unit) 함수로 선형화 하여 출력하고, 선형화 된 출력을 제2 FCN에 입력한 후 제2 FCN의 출력을 Sigmoid 함수에 입력하여 정규화 하여 출력하며, 정규화 된 출력과 Coarse V-Net의 스케일링 업 레이어의 출력을 합성한 후 제3 FCN에 입력하고 제3 FCN의 출력을 배치 정규화(Batch Normalization)할 수 있다.
3D 히트맵은 7개의 채널을 포함하며 각 채널은 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니, 뒤쪽 비강 척추 그리고 배경일 수 있다.
CT(Computed Tomography) 영상 및 3D 치과 스캐너 영상을 획득하는 영상 수신부, CT영상을 상악 CT영상과 하악 CT영상으로 분할하고, 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 영상 변환부, 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 모델 획득부, 합성된 상악 모델과 하악 모델 각각에 대해, 치아 랜드마크를 레이블링하고, 레이블링된 위치를 좌표로 변환하는 레이블링 및 좌표 변환부, 좌표를 3D 히트맵(Heat map)으로 변환하는 히트맵 변환부, 복수의 CT 영상 및 복수의 3D 치과 스캐너 영상으로 복수의 상악 모델과 복수의 하악 모델을 생성하고 복수의 치아 랜드마크 레이블을 생성하고, 레이블링된 좌표로 출력한 3D 히트맵을 레이블로 하며, 인공신경망을 학습하여 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 모델 학습부, 학습된 인공신경망 모델에 의해 금속 인공 음영이 포함된 대상자의 의료영상으로부터 3D 히트맵을 예측하는 히트맵 예측부, 그리고 예측된 3D 히트맵의 최대값을 추출하여 치아 랜드마크 좌표로 변환하여, 치아 랜드마크를 자동으로 검출할 수 있다.
3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 영상 변환부는 3D 치과 스캐너 영상에서 치열을 제외한 부분을 크롭(Crop)하고 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 각각 분할할 수 있다.
상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 모델 획득부는, CT 영상과 3D 치과 스캐너 영상 중 서로 매칭되는 상악 또는 하악 이미지를 점대점 방식으로 상악 모델 및 하악 모델을 생성할 수 있다.
점대점 방식으로 상악 모델과 하악 모델을 생성할 때, CT 영상과 3D 치과 스캐너 영상이 점대점 방식으로 정확하게 매칭되지 않는 경우, 의료 영상의 스케일 변환, 회전, 또는 이동으로 모델을 매칭하는 ICP(Iteration Closest Point) 방식으로 CT 영상과 3D 치과 스캐너 영상으로 상악 모델 및 하악 모델을 생성할 수 있다.
상악 모델과 하악 모델에서 치아 랜드마크를 각각 레이블링하는 레이블링부는 상악 모델과 하악 모델에서 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니 그리고 뒤쪽 비강 척추를 랜드마킹할 수 있다.
레이블링된 위치를 좌표로 변환하는 좌표 변환부는, 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표계를 따르고, 치아 랜드마크의 좌표는 하기의 수학식 6을 만족하는 카르테시안 좌표계일 수 있다.
[수학식 6]
Figure 112022020886349-pat00013
수학식 6은
Figure 112022020886349-pat00014
는 치아 랜드마크의 x, y, z 좌표, (Coordinate-Physical origin)x,y,z는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표에서 x, y, z 좌표, (Voxel Spacing)x,y,z은 치아 랜드마크 이미지의 3차원 행렬 형태 배치에서 x, y, z좌표일 수 있다.
좌표를 3D 히트맵으로 변환하는 히트맵 변환부는 치아 랜드마크 위치를 3D 히트맵에 표시하는 방법으로 변환하고, 3D 히트맵은 3D 가우시안 히트맵의 픽셀확률에 따라 표시되며, 3D 가우시안 히트맵의 픽셀확률은 하기의 수학식 7을 만족할 수 있다.
[수학식 7]
Figure 112022020886349-pat00015
수학식 7에서 Hi는 3D 가우시안 히트맵의 픽셀 확률,
Figure 112022020886349-pat00016
,
Figure 112022020886349-pat00017
,
Figure 112022020886349-pat00018
는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수일 수 있다.
레이블링된 좌표로 출력한 3D 히트맵을 레이블로 하고, 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 모델 학습부에서, 인공신경망 모델은 V2-Net 아키텍처(Architecture)이고, 아키텍처는 각각 레이어의 수가 동일한 V-Net 아키텍쳐인 Coarse V-Net 및 Fine V-Net을 직렬 배치한 V2-Net이며, 각각의 V-Net 아키텍처는 스케일링 다운 후에 스케일링 업 하는 구조를 포함하고, V-Net에서 스케일링 업을 할 때 스케일링 업 레이어와 대응되는 스케일링 다운 레이어와 이전 레이어를 합성하여 다음 레이어를 출력하며, Coarse V-Net은 첫번째 히트맵 예측인 제1 3D 히트맵을 예측하도록 학습되고, 제1 3D 히트맵은 하기의 수학식 8을 만족할 수 있다.
[수학식 8]
Figure 112022020886349-pat00019
수학식 8에서 Hi는 3D 가우시안 히트맵의 픽셀 확률,
Figure 112022020886349-pat00020
,
Figure 112022020886349-pat00021
,
Figure 112022020886349-pat00022
는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수일 수 있다.
Coarse V-Net이 출력하는 제1 3D 히트맵과 Fine V-Net이 출력하는 두번째 히트맵 예측인 제2 3D 히트맵에서, Coarse V-Net의 제1 3D 히트맵과 레이블을 비교하여 하기의 수학식 9를 만족하는 유사 후버손실(Pseudo Hubber Loss)값을 산출하고, 산출한 손실수치와 제1 3D 히트맵을 합성하여 3D 유도 맵을 출력하며, 3D 유도 맵과 입력 의료 이미지를 합성하여 합성 이미지를 출력하고, 합성 이미지를 Fine V-Net의 입력으로 할 수 있다.
[수학식 9]
Figure 112022020886349-pat00023
수학식 9에서, PHL은 유사 후버손실함수, GT는 입력 이미지의 그라운드 트루스, PH는 예측된 3D 히트맵, δ는 유사 후버손실의 경사를 제어하는 가중치 계수, a는 그라운드 트루스와 예측된 3D 히트맵 사이의 절대 손실 값일 수 있다.
제1 3D 히트맵과 제2 3D 히트맵에서 유사 후버손실을 산출하고, 각각의 V-Net 손실수치를 변수로 하기의 수학식 10을 만족하는 총 손실수치를 산출하며, 총 손실수치에 따라 가중치를 판단할 수 있다.
[수학식 10]
Figure 112022020886349-pat00024
수학식 10에서, Ltotal은 총 유사 후버손실, PHLint은 Coarse V-Net 출력 레이어에서의 손실, PHLout은 Fine V-Net 출력 레이어에서의 손실, Hα는 표준편차가 α일 때 Coarse V-Net의 그라운드 트루스, Hβ는 표준편차가 β일 때 Fine V-Net의 그라운드 트루스, Mc와 Ms는 각각 Coarse V-Net과 Fine V-Net의 예측 히트맵일 수 있다.
Fine V-Net에 상악 모델과 하악 모델을 입력한 후에 복수 개의 컨볼루션 레이어로 상악 모델의 이미지와 하악 모델의 이미지가 스케일링 다운되고, 스케일링 다운되어 다음 레이어에 입력될 때 다음 레이어와 대응되는 Coarse V-Net의 스케일링 업 레이어의 출력과 스케일링 다운되어 다음 레이어에 입력되는 입력을 합성하기 위한 어텐션 모듈에 입력되며, 어텐션 모듈의 출력이 다음 레이어에 입력될 수 있다.
어텐션 모듈은 Fine V-Net의 스케일링 다운 출력을 제1 FCN(Fully Convolutional Network)에 입력하고, 제1 FCN의 출력과 Coarse V-Net의 스케일링 업 레이어의 출력을 합성하며, 합성된 출력을 ReLU(Rectified Linear Unit) 함수로 선형화 하여 출력하고, 선형화 된 출력을 제2 FCN에 입력한 후 제2 FCN의 출력을 Sigmoid 함수에 입력하여 정규화 하여 출력하며, 정규화 된 출력과 Coarse V-Net의 스케일링 업 레이어의 출력을 합성한 후 제3 FCN에 입력하고 제3 FCN의 출력을 배치 정규화(Batch Normalization)할 수 있다.
3D 히트맵은 7개의 채널을 포함하며 각 채널은 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니, 뒤쪽 비강 척추 그리고 배경일 수 있다.
본 발명의 실시예에 따르면, 금속 인공 음영이 포함된 CT(Computed Tomography) 및 CBCT(Cone Beam Computed Tomography) 이미지에서 술자 등의 가공없이 V2-Net모델 및 손실함수를 통해 치아 랜드마크를 자동으로 검출한다.
본 발명의 상세한 설명에서 사용되는 도면을 보다 충분히 이해하기 위하여, 각 도면의 간단한 설명이 제공된다.
도 1은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법의 개략도이다.
도 2는 도 1의 치아 랜드마크 자동 검출 순서의 개략도이다.
도 3은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 시스템의 개략도이다.
도 4는 도 3 하드웨어의 개략도이다.
도 5는 V2-Net 치아 랜드마크 자동 검출 모델 구조의 개략도이다.
도 6는 인공 음영의 영향을 받은 CT 영상의 치아 랜드마크 검출 결과이다.
도 7은 3차원 상악 모델에서 치아 랜드마크 자동 검출 결과이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 네트워크를 구성하는 장치들은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에 기재된 " … 부", " … 기", " … 모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명의 일 실시예에서 설명하는 장치들은 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다.
본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 전술한 구성요소들은 전술한 용어들에 의해 한정되지는 않는다. 전술한 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.
도 1은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법의 개략도이다. 본 도면은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 1의 방법을 다르게 변형할 수 있다.
본 발명의 일 실시예에서 입력 데이터는 50개의 CT 스캔 영상을 사용하여 CMF(Cranio Maxillofacial Fixation) 이미징을 한다. 그리고, CT 영상의 해상도는 0.45 x 0.45 x 0.4 mm3 에서 0.57 x 0.57 x 0.5 mm3이다. 50개의 CT 스캔 영상은 34개는 학습, 8개는 검증, 8개는 테스트 데이터로 사용한다.
즉, 인공신경망 입력 전 전처리 되는 CT영상과 3D 치과 스캐너 영상은 복수이다. 따라서, 인공신경망이 학습하는 데이터 셋은 복수의 레이블링된 랜드마크와 복수의 CT영상 및 복수의 3D 치과 스캐너 영상이다. 그리고 그에 따라 출력되는 3D 히트맵도 복수이다.
도 1을 참조하면, 데이터 수집 및 치아 랜드마크 검출 방법의 개략도이다. 먼저 CT(Computed Tomography) 스캐너와 3D 치과 스캐너로부터 환자의 CT영상과 광학 스캔(OSD, Optically Scanned Dentition)모델을 획득한다. 그리고 CT장치는 영상에서 상악과 하악 영역을 분할한 영상을 출력한다. 그리고 3D 치과 스캐너에서는 중복 영역을 제거하고 치열외의 부분을 크롭한 광학 스캔 모델을 출력한다.
상술한 바와 같이 입력을 설정한다. 그리고 CT 장치에서 출력한 CT영상을 상악 CT영상과 하악 CT영상으로 분할한 영상과 3D 치과 스캐너에서 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할한 크롭 광학 스캔 영상을 합성한다. 합성은 점대점 방식 및 ICP(Iterative Closest Point) 방식을 통하여 진행된다. 최종적으로 6개의 랜드마크(앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니, 뒤쪽 비강 척추)에 대한 주석을 출력한다.
본 발명의 일 실시예는 상술한 방법을 이용해 출력된 치아 랜드마크 위치를 3D 히트맵(Heatmap)에 표시한다. 각각의 치아 랜드마크는 Li로 표시한다. 그리고 Li는 0 내지 1 범위를 가지는 3D 가우시안 히트맵의 픽셀 확률인 Hi로 표시한다.
상술한 픽셀 확률은 3D 히트맵의 중심에서 1로 나타난다. 그리고 히트맵의 중심에서 멀어질수록 그 확률이 낮아진다. Hi의 가우시안 분포는 하기의 수학식 1을 만족한다.
[수학식 1]
Figure 112022020886349-pat00025
수학식 1에서, Hi는 3D 가우시안 히트맵의 픽셀 확률,
Figure 112022020886349-pat00026
,
Figure 112022020886349-pat00027
,
Figure 112022020886349-pat00028
는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수이다.
수학식 1에서 σ의 크기에 따라 3D 히트맵의 선명도가 달라진다. σ의 크기가 큰 경우 치아 랜드마크 중심 분포의 선명도가 낮아진다. 그리고 σ의 크기가 작은 경우 치아 랜드마크 중심 분포의 선명도가 높아진다. 하지만 선명도의 증가에 의해 치아 랜드마크가 한정된다.
도 2는 도 1의 치아 랜드마크 자동 검출 방법의 개략도이다. 본 도면은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 2의 방법을 다르게 변형할 수 있다.
도 2를 참조하면, 본 발명의 일 실시예는 인공 신경망 모델 학습 단계 및 인공신경망 모델 예측 단계를 포함한다. 인공신경망 모델 학습단계는 CT 영상에서 상악과 하악을 분할한 영상(s211-1)과 3D 치과 스캐너에서 중복 영역을 제거한 후 출력된 광학 스캔 모델(s211-2)을 획득하고 이를 입력으로 한다. 그리고 인공신경망 모델 예측 단계에서는 CT 영상만을 입력하여 치아 랜드마크를 추출한다.
인공신경망 모델 학습부에서는, CT 영상을 획득하는 단계(s221)를 거친다. 그리고 획득한 CT영상을 상악 CT영상과 하악 CT영상으로 분할한다. 그 이후에 분할한 3D 모델 중 상악 모델과 하악 모델을 구분하여 각각 추출하는 단계(s212-1)를 실행한다.
3D 치과 스캐너에서 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 단계를 실행한다. 그리고 치열을 제외한 여분 영역을 분할 및 삭제하여 추출하는 크롭(Crop)을 한다. 그리고 크롭된 광학스캔 모델에서 상악과 하악 각각의 치열을 추출하는 단계(s212-2)를 실행한다. 치아 랜드마크의 좌표는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표계를 따른다.
그리고 상술한 3D 모델입력과 추출한 치열 모델을 입력으로 하여 두 모델을 각각 정합 하는 단계(s213)를 실행한다. 정합 하는 단계는 점대점 및 ICP(Iterative Closest Point) 방식을 통하여 진행된다. 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하여 정합을 마친 후 고해상도의 3D 상악 모델 및 하악 모델을 출력한다.
그리고 치아 랜드마크의 좌표계에 따라 3D 상악 모델 및 하악 모델의 점대점 정합을 실행한다. 그리고 점대점 정합에서 정합이 정확하게 되지 않는 점들에 ICP 방식을 사용한다. 한 지점에 대해 두 개의 포인트가 존재하는 경우 두 데이터를 합성하여 정합 하는 방법이다. 상술한 ICP 및 점대점 정합을 마치면 상악 모델 및 하악 모델의 고해상도 3D 모델을 획득한다.
고해상도 3D 모델을 입력으로 치아 랜드마크 레이블링 및 좌표변환 단계(s214)를 실행한다. 치아 랜드마크의 좌표 변환 단계는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표계를 따른다. 그리고 치아 랜드마크의 좌표는 하기의 수학식 2를 만족하는 카르테시안 좌표계로 한다.
[수학식 2]
Figure 112022020886349-pat00029
수학식 2에서,
Figure 112022020886349-pat00030
는 치아 랜드마크의 x, y, z 좌표, (Coordinate-Physical origin)x,y,z는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표에서 x, y, z 좌표, (Voxel Spacing)x,y,z은 치아 랜드마크 이미지의 3차원 행렬 형태 배치에서 x, y, z좌표이다.
레이블링 단계(s214)는 출력된 고해상도 3차원 상악 모델 및 하악 모델을 입력으로 하여 치아 랜드마크를 레이블링하는 단계(s214)를 실행한다. 레이블링은 합성한 상악 모델 및 하악 모델의 여섯 점(앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니, 뒤쪽 비강 척추)을 레이블링한다. 그리고 상술한 치아 랜드마크의 x, y, z 좌표에 따라 레이블링한다.
그러면 치아 랜드마크의 좌표를 입력으로 가우시안 분포를 따르는 3D 히트맵으로 변환하는 단계(s215)를 실행한다. 가우시안 분포를 따르는 3D 히트맵은 수학식 1을 만족한다. 그리고 복수의 상악 모델과 복수의 하악 모델을 학습 데이터 셋으로 하여 상술한 단계들을 반복하고 인공신경망을 설계하고 학습하는 단계(s216)에서 손실함수가 작아지는 방향으로 각 레이어의 가중치를 학습한다.
인공신경망 모델을 설계하고 학습하는 단계(s216)를 실행한다. 인공신경망은 2개의 3차원 V-Net을 직렬 배치한 V2-Net을 기본으로 한다. 그리고 각각의 V-Net은 Coarse V-Net과 Fine V-Net으로 나눈다.
기 설정된 제1 σ값을 가진 Coarse V-Net에 3D CT 영상을 입력하면 3D 히트맵 제1 치아 랜드마크 예측이 출력된다. 그러면 Coarse V-Net의 입력과 제1 치아 랜드마크 예측을 합성하여 기 설정된 제2 σ값을 가진 Fine V-Net에 입력된다. 그리고 기 설정된 제2 σ값을 가진 Fine V-Net에서 3D 히트맵 제2 치아 랜드마크 예측을 출력한다.
각각의 3D 히트맵 출력단에서는 3D 히트맵과 레이블간의 차이인 손실함수를 산출한다. 산출된 손실함수의 수치에 따라 각각의 인공신경망 연산에 손실함수의 수치를 줄일 수 있는 가중치를 부가한다. 상술한 방법을 반복하여 V2-Net모델은 출력되는 치아 랜드마크의 오차를 줄이는 방향으로 학습된다.
인공신경망 모델의 학습과정에서 3D 히트맵 제2 치아 랜드마크 예측을 출력하면 출력된 예측값중 최대값을 추출하여 치아 랜드마크 좌표로 변환하는 단계(s217)를 실행한다. 6개의 최대값 위치를 출력하여 치아 랜드마크 좌표로 변환한다. 그리고 검출된 치아 랜드마크 좌표를 통하여 가상 악교정 수술계획을 수립하는 단계를 실행한다.
인공신경망의 학습이 완료되면 인공신경망 모델에 의료영상 획득 단계(s221)를 실행하여 치아 랜드마크를 출력하는 인공신경망 모델 예측단계를 실행한다. 인공신경망 모델 예측단계는 CT 의료영상을 획득하는 단계에서 의료영상을 획득 단계(s221)를 실행한다. 그리고 의료영상을 학습된 인공신경망 모델의 입력으로 하여 3D 히트맵 예측하는 단계(s222)를 실행한다. 다음은 출력한 3D 히트맵 예측에서 최대값을 추출하여 치아 랜드마크 좌표로 변환하는 단계(s223)를 실행한다. 마지막으로 자동 검출된 치아 랜드마크로 가상 악교정 수술계획을 출력하는 단계(s224)를 실행한다.
인공신경망 모델 예측단계는 인공신경망 모델 학습단계에서 학습한 인공신경망 모델을 이용하여 치아 랜드마크를 예측한다. 그러므로 학습한 인공신경망 모델과 동일한 아키텍쳐를 가지고 있다. 그래서 도 2에 도시된 각각의 단계는 학습방법을 제외하면, 인공신경망 모델 학습단계와 동일하게 진행된다.
도 3은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 시스템(300)의 개략도이다. 본 도면은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 시스템으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 3의 방법을 다르게 변형할 수 있다.
도 3을 참조하면, 치아 랜드마크 자동 검출 시스템은 인공신경망 학습 유닛(310)과 인공신경망 예측 유닛(320)을 포함한다. 먼저 인공신경망 학습 유닛은 V2-Net을 학습시켜서 치아 랜드마크 자동 검출을 할 수 있게 한다. 그리고 인공신경망 예측 유닛은 학습된 V2-Net에 CT 영상을 입력하여 치아 랜드마크를 자동 검출한다.
인공신경망 학습 유닛(310)에서는, 처음으로 영상 수신부(311-1)에서 영상을 수신하면 영상을 영상 변환부(311-2)에 전송한다. 영상을 수신한 영상 변환부(311-2)는 영상을 변환한다. 그러면 영상 변환부(311-2)는 CT 영상을 상악 CT영상과 하악 CT영상으로 분할하여 출력하고, 3D 치과 스캐너 영상에서는 중복되는 영역을 제거하고 치열만을 남겨 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할한다.
변환된 영상은 각각 상악 영상과 하악 영상으로 구분되어 모델 획득부(312)에 전송된다. 모델 획득부(312)에서는 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성한다. 그리고 두 모델 간의 점대점 매칭과 ICP 정합을 통하여 합성한다. 모델의 합성이 완료되면 합성된 모델을 레이블링부(313-1)에 전송한다. 그리고 레이블링부(313-1)는 치아 랜드마크를 레이블링 한 후에 추출 및 좌표 변환부(313-2)에 전송한다.
추출 및 좌표 변환부(313-2)에서는 모델의 치아 랜드마크 좌표를 수신한다. 그 후에 상술한 수학식 2를 만족하는 카르테시안 좌표계로 변환한다. 그리고 치아 랜드마크 좌표를 변환한 후에 히트맵 변환부(314)에 전송한다. 히트맵 변환부(314)에서는 치아 랜드마크의 좌표를 수신한다. 그리고 수학식 1을 만족하는 가우시안 분포를 따르는 3D 히트맵을 출력한다. 모델 학습부(315)에서는 상술한 과정들을 통하여 가중치를 설정하는 학습을 진행한다. 학습을 진행할 때 V2-Net의 특징인 Coarse V-Net과 Fine V-Net을 직렬 배치하여 학습을 진행한다. 그리고 Fine V-Net에 어텐션 모듈을 배치하고, Coarse V-Net과 Fine V-Net의 출력부에서 유사 후버손실함수를 정의하여 치아 랜드마크 예측의 정확도를 높인다.
인공신경망 예측 유닛(320)에서는 인공신경망 학습 유닛에서 학습한 V2-Net모델로 치아 랜드마크를 예측한다. 예측 유닛에는 CT 의료영상을 획득하는 영상획득부(321), 획득한 영상으로부터 히트맵을 예측하여 출력하는 히트맵 예측부(322), 히트맵의 최댓값을 랜드마크의 좌표로 하여 치아 랜드마크를 출력하는 치아 랜드마크 예측부(323)를 포함한다. 그리고 예측한 치아 랜드마크를 통해 수술을 계획하는 수술계획부(324)를 더 포함한다.
도 4는 도 3 하드웨어의 개략도이다. 본 도면은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 시스템으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 4의 방법을 다르게 변형할 수 있다.
도 4를 참조하면, 치아 랜드마크 자동 검출 시스템(300)은 적어도 하나의 컴퓨팅 장치로 구현될 수 있고, 일 실시예에 따른 동작을 실행하도록 기술된 명령들(instructions)이 포함된 컴퓨터 프로그램을 실행할 수 있다. 치아 랜드마크 자동 검출 시스템(300)의 하드웨어는 하나 이상의 프로세서(processor)(410), 하나 이상의 메모리(memory)(430), 하나 이상의 스토리지(storage)(420), 그리고 하나 이상의 통신 인터페이스(communication interface)(440)를 포함할 수 있고, 이들은 버스(bus)를 통해 서로 연결될 수 있다. 이외에도, 치아 랜드마크 자동 검출 시스템(300)의 하드웨어는 입력 장치, 출력 장치 등의 하드웨어를 포함할 수 있다. 또한, 치아 랜드마크 자동 검출 시스템(300)에는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.
프로세서(410)는 치아 랜드마크 자동 검출 시스템(300)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서일 수 있다. 예를 들어, 프로세서(410)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등일 수 있다. 메모리(430)는 일 실시예에 따른 동작을 실행하도록 기술된 명령들이 프로세서(410)에 의해 처리되도록 해당 프로그램을 로드한다. 예를 들어, 메모리(430)는 ROM(read only memory), RAM(random access memory) 등일 수 있다. 스토리지(420)는 일 실시예에 따른 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(440)는 유/무선 통신 모듈로서, 유무선 네트워크를 통해 외부 데이터베이스와 연동할 수 있다.
도 5는 V2-Net 치아 랜드마크 자동 검출 모델 구조의 개략도이다. 본 도면은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 5의 방법을 다르게 변형할 수 있다.
도 5를 참조하면, 본 발명은 치아 랜드마크를 목표 범위까지 한정한다. 그래서 입력되는 CT 영상을 3D 히트맵으로 변환한다. 그리고 Coarse V-Net과 Fine V-Net을 연결하여 종단 간 네트워크 아키텍쳐를 설계한다.
구체적으로, Xn ∈
Figure 112022020886349-pat00031
H x W x D인 3D CT 영상이 입력된다. 그리고 Coarse V-Net에서 3D 히트맵을 예측한다(MC ∈ [0,1]H x W x D x C). 그리고 Coarse V-Net의 3D 히트맵 출력과 입력 CT 영상을 합성한다. 합성한 영상을 Fine V-Net에 입력하여 신뢰도가 높은 3D 히트맵을 출력(MS ∈ [0,1]H x W x D x C)한다. 그리고 MC와 MS는 하기의 수학식 3을 만족한다.
[수학식 3]
Figure 112022020886349-pat00032
수학식 3에서, θ는 V2-Net의 변수, fCV는 Coarse V-Net, fFV는 Fine V-Net, MC는 Coarse V-Net의 출력, MS는 Fine V-Net의 출력, X는 입력 볼륨이다.
그리고 본 발명의 일 실시예의 V-Net은 출력 계층을 제외하고 3 x 3 컨볼루션 레이어, 배치 정규화, 정류 선형 유닛(ReLU)활성화를 포함한 3D 컨볼루션 블록으로 구성된다. 그리고 각 해상도 레벨에서 특성 채널의 수는 12, 24, 36, 48 그리고 96이다. 3D 입력을 다운샘플링 및 업샘플링할 때, 맥스풀링(Max-Pooling)과 디컨볼루션(De-convolution)의 스트라이드(Stride)는 2로 한다. 그리고 스킵-연결(Skip-Connection)은 인코더와 디코더 사이에서 3회 사용된다.
각각의 해상도에서 3D 어텐션 모듈은 Coarse V-Net의 디코더와 Fine V-Net의 인코더 사이에 위치한다. 그리고 각각의 V-Net출력은 소프트맥스 기능을 포함하는 3 x 3 x 3 컨볼루션 레이어로 구성된다.
본 발명의 일 실시예로는, Coarse V-Net에서 Fine V-Net으로 어텐션 유도 학습을 한다. 먼저 D'= {Xn,
Figure 112022020886349-pat00033
,
Figure 112022020886349-pat00034
로 하고, 입력은 Xn ∈
Figure 112022020886349-pat00035
H x W x D이다. 그리고 Coarse V-Net의 그라운드 트루스(Ground Truth)는
Figure 112022020886349-pat00036
∈ [0,1]H x W x D x C이고, Fine V-Net의 그라운드 트루스는
Figure 112022020886349-pat00037
∈ [0,1]H x W x D x C이다. 여기서
Figure 112022020886349-pat00038
및
Figure 112022020886349-pat00039
는 각각 α및 β의 표준편차에서 비롯된다.
Coarse V-Net 출력 히트맵의 표준편차인 α는 4.5 내지 5.5사이의 수치로 설정되어 있다. 그리고 해부학적 분포에 기초하여 치아 랜드마크의 3D 히트맵을 출력하도록 학습된다. Coarse V-Net의 출력은 CT 영상에서 치아 랜드마크의 범위를 축소시켜 한정된 범위를 Fine V-Net에 입력한다. 그러므로 Coarse V-Net의 출력은 Fine V-Net의 유도 맵 역할을 한다.
그리고 V-Net의 각 레이어 수준에서 Coarse V-Net의 특성 맵과 Fine V-Net의 특성 맵 사이에 3D 어텐션 모듈을 배치하여 치아 랜드마크의 공간 정보를 파악한다. 따라서, Fine V-Net은 CT 영상과 3D 유도 맵으로 출력되는 히트맵의 표준편차인 β는 3.5 내지 4.5이고, 출력되는 3D 히트 맵을 직접 회귀하여 학습된다.
본 발명의 일 실시예에서는 회귀학습의 오차를 최소화하기 위해 유사 후버손실(PHL, Pseudo Hubber Loss)을 사용한다. V-Net을 학습할 때 손실 값을 적용한다. 그리고 유사 후버손실은 하기의 수학식 4를 만족하고 제곱 손실과 절대 손실특성을 결합하여 최소 손실에서 큰 기울기를 가지고 최대 손실에서는 낮은 기울기를 가진다.
[수학식 4]
Figure 112022020886349-pat00040
수학식 4에서, PHL은 유사 후버손실함수, GT는 입력 이미지의 그라운드 트루스, PH는 예측된 3D 히트맵, δ는 유사 후버손실의 경사를 제어하는 가중치 계수, a는 그라운드 트루스와 예측된 3D 히트맵 사이의 절대 손실 값이다.
그러면 유사 후버손실함수로 제곱 손실과 절대 손실특성을 합하여 총 손실을 나타낼 수 있다. 다시 말해, Coarse V-Net 출력 레이어에서의 손실과 Fine V-Net 출력 레이어에서의 손실의 합이다. 총 손실은 하기의 수학식 5를 따른다.
[수학식 5]
Figure 112022020886349-pat00041
수학식 5에서, Ltotal은 총 유사 후버손실, PHLint은 Coarse V-Net 출력 레이어에서의 손실, PHLout은 Fine V-Net 출력 레이어에서의 손실, Hα는 표준편차가 α일 때 Coarse V-Net의 그라운드 트루스, Hβ는 표준편차가 β일 때 Fine V-Net의 그라운드 트루스, Mc와 Ms는 각각 Coarse V-Net과 Fine V-Net의 예측 히트맵이다.
도 6은 인공 음영의 영향을 받은 CT 영상의 치아 랜드마크 검출 결과이다. 본 도면은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 6의 방법을 다르게 변형할 수 있다.
실험조건의 입력 볼륨은 700 x 512 x 512의 복셀 사이즈를 가진다. 그리고 크기 조정없이 치아 랜드마크를 포함하는 상악골 영역을 128 x 256 x 256크기로 분할하였다. 본 발명의 일 실시예에서 V2-Net 모델은 RMSprop optimizer에 의해 300 에포크(epoch) 동안 학습한다.
하기의 표 1은 본 발명의 일 실시예에 따른 V2-Net의 예측성능이다.
Test
dataset		 치아 랜드마크 MRE±SD
(mm)
앞니 왼쪽
송곳니		 오른쪽
송곳니		 왼쪽
어금니		 오른쪽
어금니		 PNS
1 0.60 0.60 1.09 0.99 0.76 1.50 0.93±0.34
2 0.45 0.00 0.45 1.29 0.80 1.29 0.71±0.47
3 0.92 0.92 0.76 1.01 0.60 1.09 0.88±0.16
4 0.60 0.64 0.64 0.99 0.60 0.60 0.68±0.14
5 0.92 0.45 1.01 0.60 0.64 0.60 0.70±0.20
6 0.92 0.40 0.40 0.92 1.29 1.01 0.82±0.32
7 0.60 0.60 0.60 1.29 2.07 0.99 1.03±0.53
8 1.02 1.21 1.21 0.40 1.28 1.98 1.06±0.54
MRE±SD(mm) 0.75±0.20 0.60±0.33 0.68±0.24 0.94±0.29 1.01±0.48 1.14±0.44 0.85±0.40
MRE(Mean Radial Error)는 평균 방사 에러이다. 예측된 6개의 랜드마크와 그라운드 트루스 데이터 간 유클리드 거리의 합을 데이터의 수로 나눈 것이다. 그리고 SDR(Success Detection Rate)은 탐지 성공률이다. 성공률은 치아 랜드마크의 MRE가 1.0mm, 1.5mm, 2.0mm 그리고 2.5mm 범위 내로 검출된 비율이다. 표 1을 참조하면, 각각의 테스트 데이터 셋에서 상술한 수학식 4의 δ가 3.0인 경우 본 발명의 일 실시예에 따른 유사 후버손실을 나타낸 것이다. 각각의 치아 랜드마크와 데이터 셋은 데이터 셋으로부터 자동 검출된 치아 랜드마크와 치아 랜드마크 그라운드 트루스 데이터 간의 차이(mm)를 나타낸다. MRE는 상술한 바와 같고, SD는 치아 랜드마크의 MRE가 1.0mm, 1.5mm, 2.0mm 그리고 2.5mm 범위 내로 검출된 데이터를 정규화 한 것이다.
하기의 표 2는 종래 기술들과 본 발명의 일 실시예를 실험적으로 비교한 데이터이다.
방법 데이터 셋 종류 데이터 셋 MRE(mm)
1 Kang CT 27 7.61
2 O'Neil CT 221 2.29
3 Zhang1 CT + CBCT 86 1.47
4 Zhang2 CT + CBCT 107 1.10
5 본 발명 CT 50 0.85
표 2를 참조하면 방법 1 내지 4는 종래의 논문에서 제시한 방법들을 의미한다. 1번은 Kang, S.H., Jeon, K., Kim, H.-J., Seo, J.K., Lee, S.-H.: Automatic three-dimensional cephalometric annotation system using three-dimensional convolutional neural networks: a developmental trial. Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization 8, 210-218 (2020)이다.
2번은 O'Neil, A.Q., Kascenas, A., Henry, J., Wyeth, D., Shepherd, M., Beveridge, E., Clunie, L.,Sansom, C., Seduikyte Keith Muir, E., Poole, I.: Attaining human-level performance with atlas location auto context for anatomical landmark detection in 3D CT data. Proceedings of the European Conference on Computer Vision (ECCV) Workshops (2018)이다.
3번은 Zhang, J., Gao, Y., Wang, L., Tang, Z., Xia, J.J., Shen, D.: Automatic craniomaxillofacial landmark digitization via segmentation-guided partially-joint regression forest model and multiscale statistical features. IEEE Transactions on Biomedical Engineering 63, 1820-1829(2015)이다.
4번은 Zhang, J., Liu, M., Wang, L., Chen, S., Yuan, P., Li, J., Shen, S.G.-F., Tang, Z., Chen, K.-C., Xia, J.J.: Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization. Medical image analysis 60, 101621 (2020)이다.
데이터 셋의 종류와 데이터 셋의 숫자는 논문에 개시되어 있는 바에 따랐으며, 그에 따른 MRE 역시 논문의 개시에 따랐다. 결과적으로 본 발명의 방법이 가장 낮은 MRE를 보이는 것을 확인하였다. 본 발명의 일 실시예에 따른 치아 랜드마크 검출 성능이 종래 기술들보다 향상된 성능을 보여주는 것을 확인할 수 있다. 데이터 세트와 대상 치아 랜드마크는 종래기술과 상이한 면이 있다. 하지만 MRE 감소면에서 현저한 효과를 보였다.
하기의 표 3은 어텐션 모듈의 유무에 따른 각 인공신경망의 SDR을 표시한 것이다. SDR은 각 오차의 크기별로 1.0mm, 1.5mm, 2.0mm, 2.5mm보다 작은 오차에 대하여 구분하였다. 그리고 MRE ± SD도 표시하였다.
Models SDR(%) MRE±SD
(mm)
< 1.0mm < 1.5mm < 2.0mm < 2.5mm
Single V-Net 41.67 83.33 93.75 97.92 1.12±0.54
V2-Net without AM 52.08 83.33 93.75 97.92 1.01±0.56
V2-Net with AM 68.75 93.75 97.92 100.00 0.85±0.40
표 3을 참조하면 단일 V-Net, 어텐션 모듈(AM, Attention Module)이 없는 V2-Net 그리고 어텐션 모듈이 있는 V2-Net의 비교이다. 어텐션 모듈이 있는 V2-Net이 본 발명의 일 실시예에 해당한다. 본 발명의 일 실시예에 따른 방법은 1.0 mm, 1.5mm, 2.0mm 그리고 2.5mm에서 각각 68.75%, 93.75%, 97.92% 그리고 100%의 SDR을 보인다. 그리고 MRE±SD는 0.85±0.40mm를 보인다. 도 6은 금속 인공물과 저해상도의 영향을 받는 CT 이미지에서 치아 랜드마크 검출의 결과이다. 노란색 점선은 금속 인공물이 검출된 것을 나타낸다. 빨간색 랜드마크는 치아 랜드마크의 실측 자료이다. 그리고 녹색 랜드마크는 V2-Net의 치아 랜드마크 예측 결과이다.
테스트 데이터 세트에서 모든 CT 영상은 치과 복원 및 브라켓 같은 금속 인공물의 영향을 받는다. 좌우 어금니의 랜드마크는 상대적으로 금속 인공물의 영향을 많이 받은 것을 확인할 수 있다. MRE 또한 앞니 및 좌우 송곳니에 비하여 높다.
도 7은 3차원 상악 모델에서 치아 랜드마크 자동 검출 결과이다. 본 도면은 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 7의 방법을 다르게 변형할 수 있다.
도 7을 참조하면, 3D 상악골 모델을 통한 실측 및 예측 결과를 3D 시각화 한 것이다. 빨간색 랜드마크는 치아 랜드마크의 실측자료이다. 그리고 청록색 랜드마크는 V2-Net의 치아 랜드마크 예측 결과이다. 도 6의 결과는 3D 상악모델이 저해상도인 경우에도 치아 랜드마크가 정확하게 한정되는 것을 나타낸다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.
300 : 치아 랜드마크 자동 검출 시스템
310 : 인공신경망 학습 유닛
311-1 : 영상 수신부
311-2 : 영상 변환부
312 : 모델 획득부
313-1 : 레이블링부
313-2 : 좌표 변환부
314 : 히트맵 변환부
315 : 모델 학습부
320 : 인공신경망 예측 유닛
321 : 영상 획득부
322 : 히트맵 예측부
323 : 치아 랜드마크 예측부
324 : 수술계획부
410 : 프로세서
420 : 스토리지
430 : 메모리
440 : 통신 인터페이스

Claims (26)

  1. CT(Computed Tomography) 영상 및 3D 치과 스캐너 영상을 획득하는 단계,
    상기 CT영상을 상악 CT영상과 하악 CT영상으로 분할하고, 상기 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 단계,
    상기 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 단계
    상기 상악 모델과 상기 하악 모델 각각에 대해, 치아 랜드마크를 레이블링하고, 레이블링된 위치를 좌표로 변환하는 단계,
    상기 좌표를 3D 히트맵(Heat map)으로 변환하는 단계,
    복수의 CT 영상 및 복수의 3D 치과 스캐너 영상으로 복수의 상악 모델과 복수의 하악 모델을 생성하고 복수의 치아 랜드마크 레이블을 생성하고, 레이블링된 좌표로 출력한 상기 3D 히트맵을 레이블로 인공신경망을 학습하여 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 단계,
    학습된 상기 인공신경망 모델에 의해 금속 인공 음영이 포함된 대상자의 의료영상으로부터 3D 히트맵을 예측하는 단계, 그리고
    예측된 상기 3D 히트맵의 최대값을 추출하여 치아 랜드마크 좌표로 변환하여, 치아 랜드마크를 자동으로 검출하는 단계를 포함하고,
    상기 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 단계는,
    상기 CT영상과 상기 3D 치과 스캐너 영상 중 서로 매칭되는 상악 또는 하악 이미지를 점대점 방식으로 상기 상악 모델 및 상기 하악 모델을 생성하는 치아 랜드마크 자동 검출 방법.
  2. 제1항에서,
    상기 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 단계는,
    상기 3D 치과 스캐너 영상에서 치열을 제외한 부분을 크롭(Crop)하고 상기 상악 3D 스캐너 영상과 상기 하악 3D 스캐너 영상으로 각각 분할하는 단계인 치아 랜드마크 자동 검출 방법.
  3. 삭제
  4. 제1항에서,
    상기 점대점 방식으로 상기 상악 모델 상기 하악 모델을 생성할 때, 상기 CT 영상과 상기 3D 치과 스캐너 영상이 상기 점대점 방식으로 정확하게 매칭되지 않는 경우,
    의료 영상의 스케일 변환, 회전, 또는 이동으로 모델을 매칭하는 ICP(Iteration Closest Point) 방식으로 상기 CT영상과 상기 3D 치과 스캐너 영상으로 상기 상악 모델 및 상기 하악 모델을 생성하는 치아 랜드마크 자동 검출 방법.
  5. 제1항에서,
    상기 상악 모델과 상기 하악 모델에서 상기 치아 랜드마크를 각각 레이블링하는 단계는
    상기 상악 모델과 상기 하악 모델에서 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니 그리고 뒤쪽 비강 척추를 랜드마킹하는 치아 랜드마크 자동 검출 방법.
  6. 제1항에서,
    상기 레이블링된 위치를 좌표로 변환하는 단계는,
    의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표계를 따르고, 치아 랜드마크의 상기 좌표는 하기의 수학식 1을 만족하는 카르테시안 좌표계이고,
    [수학식 1]
    Figure 112022020886349-pat00042

    상기 수학식 1에서,
    Figure 112022020886349-pat00043
    는 치아 랜드마크의 x, y, z 좌표, (Coordinate-Physical origin)x,y,z는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표에서 x, y, z 좌표, (Voxel Spacing)x,y,z은 치아 랜드마크 이미지의 3차원 행렬 형태 배치에서 x, y, z좌표인, 치아 랜드마크 자동 검출 방법.
  7. 제1항에서,
    상기 좌표를 3D 히트맵으로 변환하는 단계는
    상기 치아 랜드마크 위치를 상기 3D 히트맵에 표시하는 방법으로 변환하고,
    상기 3D 히트맵은 3D 가우시안 히트맵의 픽셀확률에 따라 표시되며,
    상기 3D 가우시안 히트맵의 픽셀확률은 하기의 수학식 2를 만족하고,
    [수학식 2]
    Figure 112022020886349-pat00044

    상기 수학식 2에서, Hi는 3D 가우시안 히트맵의 픽셀 확률,
    Figure 112022020886349-pat00045
    ,
    Figure 112022020886349-pat00046
    ,
    Figure 112022020886349-pat00047
    는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수인, 치아 랜드마크 자동 검출 방법.
  8. 제1항에서,
    상기 레이블링된 좌표로 출력한 상기 3D 히트맵을 레이블로 하고, 상기 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 단계에서
    상기 인공신경망 모델은 V2-Net 아키텍처(Architecture)이고,
    상기 아키텍처는 각각 레이어의 수가 동일한 V-Net 아키텍쳐인 Coarse V-Net 및 Fine V-Net을 직렬 배치한 V2-Net이며,
    각각의 V-Net 아키텍처는 스케일링 다운 후에 스케일링 업 하는 구조를 포함하고,
    상기 V-Net에서 스케일링 업을 할 때 스케일링 업 레이어와 대응되는 스케일링 다운 레이어와 이전 레이어를 합성하여 다음 레이어를 출력하며,
    상기 Coarse V-Net은 첫번째 히트맵 예측인 제1 3D 히트맵을 예측하도록 학습되고,
    상기 제1 3D 히트맵은 하기의 수학식 3을 만족하며,
    [수학식 3]
    Figure 112022083315525-pat00048

    상기 수학식 3에서, Hi는 3D 가우시안 히트맵의 픽셀 확률,
    Figure 112022083315525-pat00049
    ,
    Figure 112022083315525-pat00050
    ,
    Figure 112022083315525-pat00051
    는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수인, 치아 랜드마크 자동 검출 방법.
  9. 제8항에서,
    상기 Coarse V-Net이 출력하는 상기 제1 3D 히트맵과 Fine V-Net이 출력하는 두번째 히트맵 예측인 제2 3D 히트맵에서,
    상기 Coarse V-Net의 상기 제1 3D 히트맵과 상기 레이블을 비교하여 하기의 수학식 4를 만족하는 유사 후버손실(Pseudo Hubber Loss)값을 산출하고,
    산출한 상기 손실수치와 상기 제1 3D 히트맵을 합성하여 3D 유도 맵을 출력하며,
    상기 3D 유도 맵과 입력 의료 이미지를 합성하여 합성 이미지를 출력하고,
    상기 합성 이미지를 상기 Fine V-Net의 입력으로 하며,
    [수학식 4]
    Figure 112022020886349-pat00052

    상기 수학식 4에서, PHL은 유사 후버손실함수, GT는 입력 이미지의 그라운드 트루스, PH는 예측된 3D 히트맵, δ는 유사 후버손실의 경사를 제어하는 가중치 계수, a는 그라운드 트루스와 예측된 3D 히트맵 사이의 절대 손실 값인, 치아 랜드마크 자동 검출 방법.
  10. 제9항에서,
    상기 수학식 3을 만족하는 상기 제1 3D 히트맵과 상기 제2 3D 히트맵에서 상기 유사 후버손실을 산출하고,
    각각의 V-Net 손실수치를 변수로 하기의 수학식 5를 만족하는 총 손실수치를 산출하며,
    상기 총 손실수치에 따라 가중치를 판단하고,
    [수학식 5]
    Figure 112022020886349-pat00053

    상기 수학식 5에서, Ltotal은 총 유사 후버손실, PHLint은 Coarse V-Net 출력 레이어에서의 손실, PHLout은 Fine V-Net 출력 레이어에서의 손실, Hα는 표준편차가 α일 때 Coarse V-Net의 그라운드 트루스, Hβ는 표준편차가 β일 때 Fine V-Net의 그라운드 트루스, Mc와 Ms는 각각 Coarse V-Net과 Fine V-Net의 예측 히트맵인, 치아 랜드마크 자동 검출 방법.
  11. 제10항에서,
    상기 Fine V-Net에 상기 상악 모델과 상기 하악 모델을 입력한 후에 복수 개의 컨볼루션 레이어로 상기 상악 모델의 이미지와 상기 하악 모델의 이미지가 스케일링 다운되고,
    스케일링 다운되어 다음 레이어에 입력될 때 상기 다음 레이어와 대응되는 Coarse V-Net의 스케일링 업 레이어의 출력과 상기 스케일링 다운되어 다음 레이어에 입력되는 이미지를 합성하기 위한 어텐션 모듈에 입력되며,
    상기 어텐션 모듈의 출력이 상기 다음 레이어에 입력되는 치아 랜드마크 자동 검출 방법.
  12. 제11항에서,
    상기 어텐션 모듈은 스케일링 다운된 상기 Fine V-Net의 출력을 제1 FCN(Fully Convolutional Network)에 입력하고,
    상기 제1 FCN의 출력과 상기 Coarse V-Net의 스케일링 업 레이어의 출력을 합성하며,
    상기 합성된 출력을 ReLU(Rectified Linear Unit) 함수로 선형화 하여 출력하고,
    상기 선형화 된 출력을 제2 FCN에 입력한 후 상기 제2 FCN의 출력을 Sigmoid 함수에 입력하여 정규화 하여 출력하며,
    상기 정규화 된 출력과 상기 Coarse V-Net의 스케일링 업 레이어의 출력을 합성한 후 제3 FCN에 입력하고 상기 제3 FCN의 출력을 배치 정규화(Batch Normalization)하는 치아 랜드마크 자동 검출 방법.
  13. 제1항에서,
    상기 3D 히트맵은 7개의 채널을 포함하며 각 채널은 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니, 뒤쪽 비강 척추 그리고 배경인 치아 랜드마크 자동 검출 방법.
  14. CT(Computed Tomography) 영상 및 3D 치과 스캐너 영상을 획득하는 영상 수신부,
    상기 CT영상을 상악 CT영상과 하악 CT영상으로 분할하고, 상기 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 영상 변환부,
    상기 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 모델 획득부,
    합성된 상기 상악 모델과 상기 하악 모델 각각에 대해, 치아 랜드마크를 레이블링하고, 레이블링된 위치를 좌표로 변환하는 레이블링 및 좌표 변환부,
    상기 좌표를 3D 히트맵(Heat map)으로 변환하는 히트맵 변환부,
    복수의 CT 영상 및 복수의 3D 치과 스캐너 영상으로 복수의 상악 모델과 복수의 하악 모델을 생성하고 복수의 치아 랜드마크 레이블을 생성하고, 레이블링된 좌표로 출력한 3D 히트맵을 레이블로 인공신경망을 학습하여 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 모델 학습부,
    상기 학습된 인공신경망 모델에 의해 금속 인공 음영이 포함된 대상자의 의료영상으로부터 상기 3D 히트맵을 예측하는 히트맵 예측부, 그리고
    예측된 상기 3D 히트맵의 최대값을 추출하여 치아 랜드마크 좌표로 변환하여, 치아 랜드마크를 자동으로 검출하는 치아 랜드마크 예측부를 포함하고,
    상기 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 모델 획득부는,
    상기 CT 영상과 상기 3D 치과 스캐너 영상 중 서로 매칭되는 상악 또는 하악 이미지를 점대점 방식으로 상기 상악 모델 및 상기 하악 모델을 생성하는 치아 랜드마크 자동 검출 시스템.
  15. 제14항에서,
    상기 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 영상 변환부는
    상기 3D 치과 스캐너 영상에서 치열을 제외한 부분을 크롭(Crop)하고 상기 상악 3D 스캐너 영상과 상기 하악 3D 스캐너 영상으로 각각 분할하는 치아 랜드마크 자동 검출 시스템.
  16. 삭제
  17. 제14항에서,
    상기 점대점 방식으로 상기 상악 모델과 상기 하악 모델을 생성할 때, 상기 CT 영상과 상기 3D 치과 스캐너 영상이 상기 점대점 방식으로 정확하게 매칭되지 않는 경우,
    의료 영상의 스케일 변환, 회전, 또는 이동으로 모델을 매칭하는 ICP(Iteration Closest Point) 방식으로 상기 CT 영상과 상기 3D 치과 스캐너 영상으로 상기 상악 모델 및 상기 하악 모델을 생성하는 치아 랜드마크 자동 검출 시스템.
  18. 제14항에서,
    상기 상악 모델과 상기 하악 모델에서 상기 치아 랜드마크를 각각 레이블링하는 레이블링부는
    상기 상악 모델과 상기 하악 모델에서 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니 그리고 뒤쪽 비강 척추를 랜드마킹하는 치아 랜드마크 자동 검출 시스템.
  19. 제14항에서,
    상기 레이블링된 위치를 좌표로 변환하는 좌표 변환부는,
    의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표계를 따르고, 치아 랜드마크의 상기 좌표는 하기의 수학식 6을 만족하는 카르테시안 좌표계이며,
    [수학식 6]
    Figure 112022020886349-pat00054

    상기 수학식 6은
    Figure 112022020886349-pat00055
    는 치아 랜드마크의 x, y, z 좌표, (Coordinate-Physical origin)x,y,z는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표에서 x, y, z 좌표, (Voxel Spacing)x,y,z은 치아 랜드마크 이미지의 3차원 행렬 형태 배치에서 x, y, z좌표인, 치아 랜드마크 자동 검출 시스템.
  20. 제14항에서,
    상기 좌표를 3D 히트맵으로 변환하는 히트맵 변환부는
    상기 치아 랜드마크 위치를 상기 3D 히트맵에 표시하는 방법으로 변환하고,
    상기 3D 히트맵은 3D 가우시안 히트맵의 픽셀확률에 따라 표시되며,
    상기 3D 가우시안 히트맵의 픽셀확률은 하기의 수학식 7을 만족하고,
    [수학식 7]
    Figure 112022020886349-pat00056

    상기 수학식 7에서 Hi는 3D 가우시안 히트맵의 픽셀 확률,
    Figure 112022020886349-pat00057
    ,
    Figure 112022020886349-pat00058
    ,
    Figure 112022020886349-pat00059
    는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수인, 치아 랜드마크 자동 검출 시스템.
  21. 제14항에서,
    상기 레이블링된 좌표로 출력한 상기 3D 히트맵을 레이블로 하고, 상기 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 모델 학습부에서,
    상기 인공신경망 모델은 V2-Net 아키텍처(Architecture)이고,
    상기 아키텍처는 각각 레이어의 수가 동일한 V-Net 아키텍쳐인 Coarse V-Net 및 Fine V-Net을 직렬 배치한 V2-Net이며,
    각각의 V-Net 아키텍처는 스케일링 다운 후에 스케일링 업 하는 구조를 포함하고,
    상기 V-Net에서 스케일링 업을 할 때 스케일링 업 레이어와 대응되는 스케일링 다운 레이어와 이전 레이어를 합성하여 다음 레이어를 출력하며,
    상기 Coarse V-Net은 첫번째 히트맵 예측인 제1 3D 히트맵을 예측하도록 학습되고,
    상기 제1 3D 히트맵은 하기의 수학식 8을 만족하며,
    [수학식 8]
    Figure 112022083315525-pat00060

    상기 수학식 8에서 Hi는 3D 가우시안 히트맵의 픽셀 확률,
    Figure 112022083315525-pat00061
    ,
    Figure 112022083315525-pat00062
    ,
    Figure 112022083315525-pat00063
    는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수인, 치아 랜드마크 자동 검출 시스템.
  22. 제21항에서,
    상기 Coarse V-Net이 출력하는 상기 제1 3D 히트맵과 Fine V-Net이 출력하는 두번째 히트맵 예측인 제2 3D 히트맵에서,
    상기 Coarse V-Net의 제1 3D 히트맵과 상기 레이블을 비교하여 하기의 수학식 9를 만족하는 유사 후버손실(Pseudo Hubber Loss)값을 산출하고,
    산출한 상기 손실수치와 상기 제1 3D 히트맵을 합성하여 3D 유도 맵을 출력하며,
    상기 3D 유도 맵과 입력 의료 이미지를 합성하여 합성 이미지를 출력하고,
    상기 합성 이미지를 상기 Fine V-Net의 입력으로 하며,
    [수학식 9]
    Figure 112022020886349-pat00064

    상기 수학식 9에서, PHL은 유사 후버손실함수, GT는 입력 이미지의 그라운드 트루스, PH는 예측된 3D 히트맵, δ는 유사 후버손실의 경사를 제어하는 가중치 계수, a는 그라운드 트루스와 예측된 3D 히트맵 사이의 절대 손실 값인, 치아 랜드마크 자동 검출 시스템.
  23. 제22항에서,
    상기 수학식 8을 만족하는 상기 제1 3D 히트맵과 상기 제2 3D 히트맵에서 상기 유사 후버손실을 산출하고,
    각각의 V-Net 손실수치를 변수로 하기의 수학식 10을 만족하는 총 손실수치를 산출하며,
    상기 총 손실수치에 따라 가중치를 판단하고,
    [수학식 10]
    Figure 112022020886349-pat00065

    상기 수학식 10에서, Ltotal은 총 유사 후버손실, PHLint은 Coarse V-Net 출력 레이어에서의 손실, PHLout은 Fine V-Net 출력 레이어에서의 손실, Hα는 표준편차가 α일 때 Coarse V-Net의 그라운드 트루스, Hβ는 표준편차가 β일 때 Fine V-Net의 그라운드 트루스, Mc와 Ms는 각각 Coarse V-Net과 Fine V-Net의 예측 히트맵인, 치아 랜드마크 자동 검출 시스템.
  24. 제23항에서,
    상기 Fine V-Net에 상기 상악 모델과 상기 하악 모델을 입력한 후에 복수 개의 컨볼루션 레이어로 상기 상악 모델의 이미지와 상기 하악 모델의 이미지가 스케일링 다운되고,
    스케일링 다운되어 다음 레이어에 입력될 때 상기 다음 레이어와 대응되는 Coarse V-Net의 스케일링 업 레이어의 출력과 상기 스케일링 다운되어 다음 레이어에 입력되는 입력을 합성하기 위한 어텐션 모듈에 입력되며,
    상기 어텐션 모듈의 출력이 상기 다음 레이어에 입력되는 치아 랜드마크 자동 검출 시스템.
  25. 제24항에서,
    상기 어텐션 모듈은 스케일링 다운된 상기 Fine V-Net의 출력을 제1 FCN(Fully Convolutional Network)에 입력하고,
    상기 제1 FCN의 출력과 상기 Coarse V-Net의 스케일링 업 레이어의 출력을 합성하며,
    상기 합성된 출력을 ReLU(Rectified Linear Unit) 함수로 선형화 하여 출력하고,
    상기 선형화 된 출력을 제2 FCN에 입력한 후 상기 제2 FCN의 출력을 Sigmoid 함수에 입력하여 정규화 하여 출력하며,
    상기 정규화 된 출력과 상기 Coarse V-Net의 스케일링 업 레이어의 출력을 합성한 후 제3 FCN에 입력하고 상기 제3 FCN의 출력을 배치 정규화(Batch Normalization)하는 치아 랜드마크 자동 검출 시스템.
  26. 제14항에서,
    상기 3D 히트맵은 7개의 채널을 포함하며 각 채널은 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니, 뒤쪽 비강 척추 그리고 배경인 치아 랜드마크 자동 검출 시스템.
KR1020220024229A 2022-02-24 2022-02-24 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템 KR102461343B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220024229A KR102461343B1 (ko) 2022-02-24 2022-02-24 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220024229A KR102461343B1 (ko) 2022-02-24 2022-02-24 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR102461343B1 true KR102461343B1 (ko) 2022-10-31
KR102461343B9 KR102461343B9 (ko) 2023-04-12

Family

ID=83802628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220024229A KR102461343B1 (ko) 2022-02-24 2022-02-24 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102461343B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912426A (zh) * 2023-09-11 2023-10-20 山东迈尔医疗科技有限公司 一种基于图像处理的义齿模型生成系统
CN117036365A (zh) * 2023-10-10 2023-11-10 南京邮电大学 一种基于深度注意力网络的第三磨牙牙根数目识别方法
CN117095018A (zh) * 2023-10-16 2023-11-21 北京朗视仪器股份有限公司 基于cbct图像的多类别牙齿分割方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170126860A (ko) * 2015-03-09 2017-11-20 케어스트림 헬스 인코포레이티드 치과 3d 스캐너를 위한 텍스쳐 매핑의 장치 및 방법
KR101893983B1 (ko) * 2017-03-06 2018-08-31 주식회사 디오 레퍼런스 마커에 기반하여 설계 이미지를 생성하는 이미지 처리장치 및 그 방법
KR102284623B1 (ko) * 2019-04-11 2021-08-02 주식회사 디오 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170126860A (ko) * 2015-03-09 2017-11-20 케어스트림 헬스 인코포레이티드 치과 3d 스캐너를 위한 텍스쳐 매핑의 장치 및 방법
KR101893983B1 (ko) * 2017-03-06 2018-08-31 주식회사 디오 레퍼런스 마커에 기반하여 설계 이미지를 생성하는 이미지 처리장치 및 그 방법
KR102284623B1 (ko) * 2019-04-11 2021-08-02 주식회사 디오 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Payer, C. 외. "Regressing Heatmaps for Multiple Landmark Localization Using CNNs." MICCAI 2016.(2016.10.02. 공개)* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912426A (zh) * 2023-09-11 2023-10-20 山东迈尔医疗科技有限公司 一种基于图像处理的义齿模型生成系统
CN116912426B (zh) * 2023-09-11 2023-11-21 山东迈尔医疗科技有限公司 一种基于图像处理的义齿模型生成系统
CN117036365A (zh) * 2023-10-10 2023-11-10 南京邮电大学 一种基于深度注意力网络的第三磨牙牙根数目识别方法
CN117095018A (zh) * 2023-10-16 2023-11-21 北京朗视仪器股份有限公司 基于cbct图像的多类别牙齿分割方法及装置
CN117095018B (zh) * 2023-10-16 2023-12-22 北京朗视仪器股份有限公司 基于cbct图像的多类别牙齿分割方法及装置

Also Published As

Publication number Publication date
KR102461343B9 (ko) 2023-04-12

Similar Documents

Publication Publication Date Title
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
KR102461343B1 (ko) 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템
JP7412334B2 (ja) 深層学習法を使用する３ｄ歯データの自動分類および分類法
US11443423B2 (en) System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex
US11734825B2 (en) Segmentation device and method of generating learning model
Bulatova et al. Assessment of automatic cephalometric landmark identification using artificial intelligence
CN110956633B (zh) 一种基于虚拟立体定位像的快速ct扫描方法及系统
CN112639880A (zh) 使用深度学习自动确定3d对象的正则姿态和自动叠加3d对象
US20220084267A1 (en) Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
Hou et al. Teeth U-Net: A segmentation model of dental panoramic X-ray images for context semantics and contrast enhancement
CN115797730B (zh) 模型训练方法及装置、头影测量关键点定位方法及装置
US12062170B2 (en) System and method for classifying a tooth condition based on landmarked anthropomorphic measurements
CN114187293B (zh) 基于注意力机制和集成配准的口腔腭部软硬组织分割方法
CN112785632B (zh) 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
US20230169666A1 (en) Methods and systems for image registration
US20220358740A1 (en) System and Method for Alignment of Volumetric and Surface Scan Images
US20220361992A1 (en) System and Method for Predicting a Crown and Implant Feature for Dental Implant Planning
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
US11488305B2 (en) Segmentation device
US20230419631A1 (en) Guided Implant Surgery Planning System and Method
Liu et al. Fully automatic AI segmentation of oral surgery-related tissues based on cone beam computed tomography images
US20230252748A1 (en) System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR)
CN116797731A (zh) 一种基于人工智能的口腔cbct影像截面生成方法
US20220122261A1 (en) Probabilistic Segmentation of Volumetric Images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]