KR102373500B1 - 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치 - Google Patents

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치 Download PDF

Info

Publication number
KR102373500B1
KR102373500B1 KR1020210162432A KR20210162432A KR102373500B1 KR 102373500 B1 KR102373500 B1 KR 102373500B1 KR 1020210162432 A KR1020210162432 A KR 1020210162432A KR 20210162432 A KR20210162432 A KR 20210162432A KR 102373500 B1 KR102373500 B1 KR 102373500B1
Authority
KR
South Korea
Prior art keywords
feature point
neural network
dimensional
medical image
initial
Prior art date
Application number
KR1020210162432A
Other languages
English (en)
Other versions
KR20210146857A (ko
Inventor
김영준
김한나
Original Assignee
이마고웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이마고웍스 주식회사 filed Critical 이마고웍스 주식회사
Priority to KR1020210162432A priority Critical patent/KR102373500B1/ko
Publication of KR20210146857A publication Critical patent/KR20210146857A/ko
Application granted granted Critical
Publication of KR102373500B1 publication Critical patent/KR102373500B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Geometry (AREA)

Abstract

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계, 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계, 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계를 포함한다.

Description

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치 {METHOD AND APPARATUS FOR DETECTING LANDMARKS FROM MEDICAL 3D VOLUME IMAGE BASED ON DEEP LEARNING}
본 발명은 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 관한 것이다.
치과, 구강악안면외과, 성형외과 등에서 환자의 두경부 및 구강을 진단하기 위해 획득하는 Computed Tomography (CT), Cone-beam CT (CBCT), Magnetic Resonance Imaging (MRI) 영상 등은 수백 장에 달하는 2차원 슬라이드 영상이 축적된 3차원 볼륨 데이터이다.
진단 및 치료 계획을 수립하거나 치료 전/후의 비교를 위해, 3차원 볼륨 데이터의 분석과정을 반드시 거치게 된다. 이 분석 과정은 3차원 볼륨 데이터에서 환자의 해부학적 특징점을 마킹하고, 특징점 간의 거리나 비율, 각도를 계측하는 과정이다. 하지만, 수백 장에 달하는 슬라이드 영상으로 구축된 3차원 볼륨 데이터에서 수동으로 3차원 상의 점 하나를 특정하여 마킹하는 것은 까다로우면서도 많은 시간이 소요되는 작업이기 때문에, 이를 자동으로 검출하는 기법이 필요하다.
이러한 필요성에 의해 환자의 해부학적 특징점을 자동으로 검출하거나 분석하는 방법들이 제안되었다. 3차원 볼륨 데이터가 아닌 2차원 영상 (X-ray 영상)에서의 자동 검출방법이 제안되었고, 3차원 볼륨 데이터에서의 사용자의 상호작용을 통한 특징점 검출 및 분석에 대한 방법이 제안되었으며, 3차원 볼륨 데이터로부터 안면골 3차원 모델을 추출하여 이를 2차원으로 투영시킨 2차원 투영영상에서의 자동 검출 방법이 제안되었다.
하지만 본 발명에서와 같이 3차원 볼륨 데이터에서의 자동 검출에 대한 방법은 제안된 바가 없었다. 가장 연관성이 높은 3차원 모델을 추출하여 2차원 투영시켜 자동 검출하는 방법의 경우, 추출된 3차원 안면골 모델의 질에 따라 자동 검출의 정확도가 영향을 받게 된다.
본 발명이 이루고자 하는 목적은 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있는, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 수행하는 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계, 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계, 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 컨볼루션 신경망에 통과시킬 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상을 기초로 정면 해부학적 초기 특징점을 검출하는 단계, 상기 측면 밝기 값 투영 영상을 기초로 측면 해부학적 초기 특징점을 검출하는 단계 및 상기 정면 해부학적 초기 특징점 및 상기 측면 해부학적 초기 특징점을 조합하여 3차원의 상기 해부학적 초기 특징점을 계산하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 컨볼루션 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망일 수 있다. 상기 제2 컨볼루션 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 3차원 완전 컨볼루션 심층 신경망일 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 컨볼루션 신경망의 입력 데이터는 상기 2차원 밝기 값 투영 영상이고, 상기 제1 컨볼루션 신경망의 출력 데이터는 해부학적 임시 초기 특징점을 포함하며, 상기 해부학적 임시 초기 특징점에 해당하는 위치가 가장 큰 값을 갖는 2차원 영상일 수 있다. 상기 제2 컨볼루션 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역이고, 상기 제2 컨볼루션 신경망의 출력 데이터는 해부학적 임시 세부 특징점을 포함하며, 상기 해부학적 임시 세부 특징점에 해당하는 위치가 가장 큰 값을 갖는 3차원 볼륨 영상일 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 관심 볼륨 영역을 생성하는 단계는 상기 해부학적 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 형성할 수 있다. 상기 3차원 관심 볼륨 영역의 중심은 상기 해부학적 초기 특징점의 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 세부 특징점은 Nasion, Anterior Nasal Spine, Point-A, Posterior Nasal Spine, Point-B, Pogonion, Gnathion, Right/Left of Orbitale Superius, Right/Left of Orbitale Inferius, Right/Left of Sutura Zygomaticofrontale, Right/Left of Foramen Mentale, Basion, Right Porion, Right/Left of Condylus Medialis, Right/Left of Condylus Lateralis, Right/Left of Areus Zygomatieus, Right/Left of Inferior Gonion, Right/Left of Posterior Gonion 및 Right of Processus Coronoideus를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제3 세부 특징점은 Glabella, Soft Tissue Nasion, Pronasale, Subnasale, Upper Lip Superior, Lower Lip Superior, Soft Tissue Pogonion, Soft Tissue Gnathion 및 Soft Tissue B-point를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root, 및 Canine Root를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 치아에 관련되며 상기 치아 상에 존재하는 제5 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치는 밝기 값 투영 영상 생성부, 초기 특징점 자동 검출부, 3차원 관심 볼륨 영역 생성부 및 세부 특징점 자동 검출부를 포함한다. 상기 밝기 값 투영 영상 생성부는 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성한다. 상기 초기 특징점 자동 검출부는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출한다. 상기 3차원 관심 볼륨 영역 생성부는 상기 3차원 볼륨 의료 영상을 입력받고, 상기 해부학적 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성한다. 상기 세부 특징점 자동 검출부는 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출한다.
본 발명의 일 실시예에 있어서, 상기 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
본 발명에 따른 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 따르면, 3차원 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있다.
특히, 3차원 볼륨 의료영상에서 환자의 악안면 및 구강의 해부학적 3차원 특징점을 짧은 시간에 자동으로 검출할 수 있고, 자동 검출된 특징점을 기반으로 환자의 악안면 및 구강을 쉽게 계측 및 분석할 수 있다.
CBCT와 같이 화질이 낮고 노이즈가 심한 볼륨 데이터의 경우 정확한 3차원 모델 추출이 어려워 3차원 모델을 2차원으로 투영시키는 종래의 방법이 적용되기 어렵고, 치아 보철물이나 교정 장치로 인해 금속 노이즈가 빈번히 발생하여 3차원 모델로 추출하기 어려운 치아 특징점에 대해서도 같은 이유로 종래의 방법이 적용되기 어렵다. 또한 골 표면이나 연조직 및 경조직 경계에 존재하지 않는 해부학적 특징점(예를 들면 Sella turcica의 중심점이나 치아 뿌리 관련 특징점)은 3차원 모델 표면에 존재하지 않기 때문에 종래의 방법을 자동 검출될 수 없다. 그러나, 본 발명에 따르면, 화질이 낮고 노이즈가 심한 3차원 볼륨 데이터에 대해서도 정확한 해부학적 특징점의 자동 검출이 가능하고, 치아 보철물이나 교정 장치 등 금속 노이즈가 있는 경우에도 정확하게 해부학적 특징점을 자동 검출할 수 있으며, 골 표면이나, 연조직 및 경조직의 경계에 존재하지 않는 해부학적 특징점도 자동 검출할 수 있다.
도 1은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 도면이다.
도 2는 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치를 나타내는 블록도이다.
도 3은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 흐름도이다.
도 4는 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 악안면골과 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 5는 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 피부 표면에 존재하는 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 6은 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 치아와 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 7은 도 2의 밝기 값 투영 영상 생성부에 의해 생성되는 밝기 값 투영 영상의 예시를 나타내는 도면이다.
도 8은 도 2의 초기 특징점 자동 검출부에 의해 검출되는 해부학적 초기 특징점을 나타내는 도면이다.
도 9는 도 2의 3차원 관심 볼륨 영역 생성부에 의해 생성되는 3차원 관심 볼륨 영역의 예시를 나타내는 도면이다.
도 10a는 도 2의 초기 특징점 자동 검출부가 이용하는 제1 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 10b는 도 2의 세부 특징점 자동 검출부가 이용하는 제2 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 11은 도 2의 세부 특징점 자동 검출부에 의해 검출되는 해부학적 세부 특징점을 나타내는 도면이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 도면이다. 도 2는 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치를 나타내는 블록도이다. 도 3은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 흐름도이다.
도 1 내지 도 3을 참조하면, 본 발명은 크게 (1) 초기 자동 특징점 검출 단계(Initial Stage)와 (2) 세부 자동 검출 단계(Fine Stage)로 구성된다.
(1) 초기 자동 검출 단계는 3차원 볼륨 데이터 전처리 단계 및 완전 컨볼루션 신경망 (Fully convolutional neural network) 딥러닝 모델을 이용한 초기 특징점 자동 검출 단계로 구성된다.
(2) 세부 자동 검출 단계는 초기 특징점 자동 검출 결과를 이용한 3차원 관심 볼륨영역 (VOI; Volume of Interest) 자동 추출 단계 및 3차원 완전 컨볼루션 신경망 (3차원 Fully convolutional neural network) 딥러닝 모델을 이용한 세부 특징점 자동 검출 단계로 구성된다.
이때, 3차원 볼륨 의료영상 데이터는　CT, CBCT, MRI 및 PET(Positron Emission Tomography) 중 하나가 될 수 있으며, 이 외에 환자의 해부학적 구조가 3차원 볼륨 데이터로 획득되는 어떤 의료영상 데이터도 가능하다.
검출하고자 하는 환자의 해부학적 특징점은 3차원 볼륨 의료영상 데이터에 포함된 어떤 특징점도 가능하며, 모든 타겟 특징점에 대해 별도의 처리 없이 동일한 제안 방법을 적용하여 특징점을 자동 검출한다.
도 2를 보면, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치는 밝기 값 투영 영상 생성부(100), 초기 특징점 자동 검출부(200), 3차원 관심 볼륨 영역 생성부(300) 및 세부 특징점 자동 검출부(400)를 포함한다. 상기 밝기 값 투영 영상 생성부(100)는 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성한다. 상기 초기 특징점 자동 검출부(200)는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출한다. 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 3차원 볼륨 의료 영상을 입력받고, 상기 해부학적 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성한다. 상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출한다.
도 3을 보면, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계(S100), 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계(S200), 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계(S300), 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계(S400) 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계(S500)를 포함할 수 있다.
도 4는 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 악안면골과 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 4를 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 해부학적 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함할 수 있다.
도 4에서 보듯이, 상기 제1 세부 특징점은 Nasion (N), Anterior Nasal Spine (ANS), Point-A (A), Posterior Nasal Spine (PNS), Point-B (B), Pogonion, Gnathion (Pg), Right/Left of Orbitale Superius (OrSR/OrSL), Right/Left of Orbitale Inferius (OriR/OriL), Right/Left of Sutura Zygomaticofrontale (ZyFrR/ZyFrL), Right/Left of Foramen Mentale (FoMR/FoML), Basion (Ba), Right Porion (PoR), Right/Left of Condylus Medialis (CmR/CmL), Right/Left of Condylus Lateralis (ClR/ClL), Right/Left of Areus Zygomatieus (ArZyR/ArZyL), Right/Left of Inferior Gonion (IGoR/IGoL), Right/Left of Posterior Gonion (PGoR/PGoL) 및 Right of Processus Coronoideus (PrCor)를 포함할 수 있다.
상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함할 수 있다. 도 4에서 보듯이, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella (S)를 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 연조직의 중간에 존재하는 제2 세부 특징점도 정확하게 검출할 수 있다.
도 5는 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 피부 표면에 존재하는 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 5를 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함할 수 있다.
도 5에서 보듯이, 상기 제3 세부 특징점은 Glabella (G), Soft Tissue Nasion (Ns), Pronasale (Pn), Subnasale (Sn), Upper Lip Superior (ULA), Lower Lip Superior (LLA), Soft Tissue Pogonion (Pgs), Soft Tissue Gnathion (Gns) 및 Soft Tissue B-point (Bs)를 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 피부 표면에 존재하는 제3 세부 특징점도 정확하게 검출할 수 있다.
도 6은 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 치아와 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 6을 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함할 수 있다.
도 6에서 보듯이, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root 및 Canine Root를 포함할 수 있다.
상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 치아에 관련되며 치아 상에 존재하는 제5 세부 특징점을 포함할 수 있다.
도 6에서 보듯이, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 악골의 내부에 존재하는 제4 세부 특징점 및 치아 상에 존재하는 제5 세부 특징점도 정확하게 검출할 수 있다
도 7은 도 2의 밝기 값 투영 영상 생성부(100)에 의해 생성되는 밝기 값 투영 영상의 예시를 나타내는 도면이다.
도 1 내지 도 7을 참조하면, (1) 초기 자동 특징점 검출 단계에서는 3차원 볼륨 의료영상 데이터 전체 영역에 대하여 초기 특징점을 자동으로 검출할 수 있다. 초기 자동 검출에 앞서 3차원 볼륨 데이터를 완전 컨볼루션 신경망 딥러닝 모델에 맞는 형태로 처리하는 과정을 거친다. 이러한 처리 과정을 전처리라고 부를 수 있다. 상기 밝기 값 투영 영상 생성부(100)는 전처리를 수행할 수 있다.
전처리는 3차원 볼륨 의료영상 데이터의 밝기 값을 이용해 정면 방향 (Coronal View)과 측면 방향 (Sagittal View) 밝기 값 투영 영상을 각각 생성하는 영상처리 과정으로, 각 투영 방향으로 밝기 값을 스캔하여 투영 기준에 따른 값을 최종 투영 영상에 반영하는 방법이다.
상기 밝기 값 투영 영상 생성부(100)는 상기 3차원 볼륨 의료 영상을 입력 받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성할 수 있다.
상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성할 수 있다. 예를 들어, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성할 수 있다. 이와는 달리, 상기 밝기 값 투영 영상 생성부(100)는 3차원 볼륨 의료 영상의 밝기 값들의 최대값, 최소값, 평균값, 중간값 등을 이용하여 상기 2차원 밝기 값 투영 영상을 생성할 수 있다.
도 7에서 보듯이, 상기 2차원 밝기 값 투영 영상은 정면 밝기 값 투영 영상(도 7의 좌측) 및 측면 밝기 값 투영 영상(도 7의 우측)을 포함할 수 있다.
이 때, 상기 초기 특징점 자동 검출부(200)는 동일한 구조의 딥러닝 모델을 정면 밝기 값 투영 영상과 측면 밝기 값 투영 영상에 대해 각각 학습시킨 후 사용한다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 컨볼루션 신경망에 통과시킬 수 있다.
도 8은 도 2의 초기 특징점 자동 검출부(200)에 의해 검출되는 해부학적 초기 특징점을 나타내는 도면이다.
도 1 내지 도 8을 참조하면, 상기 초기 특징점 자동 검출부(200)는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출할 수 있다.
전처리 과정을 통해 생성된 상기 2차원 밝기 값 투영 영상을 입력 영상으로 하여, 완전 컨볼루션 신경망 딥러닝 모델이 투영 영상에서의 특징점을 자동으로 검출하도록 하는 학습과정을 거친다. 완전 컨볼루션 신경망 딥러닝 모델은 컨볼루션 층으로 구성된 신경망 딥러닝 모델이다.
도 8은 각 방향의 투영 영상에서 학습이 완료된 완전 컨볼루션 신경망 딥러닝 모델로 자동 검출한 초기 특징점 검출 결과의 예시이다. 도 8의 좌측은 정면 밝기 값 투영 영상 결과 (Coronal View)를 나타내고 도 8의 우측은 측면 밝기 값 투영 영상 결과 (Sagittal View)를 나타내며, 도 8에서 빨간색 점은 학습에 사용한 정답 특징점의 위치를 나타내고, 파란색 점은 완전 컨볼루션 신경망 딥러닝 모델에서 자동 검출된 초기 특징점의 위치를 나타낸다.
예를 들어, 상기 초기 특징점 자동 검출부(200)는 2차원의 초기 특징점을 3차원의 초기 특징점으로 변환할 수 있다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 밝기 값 투영 영상을 기초로 정면 해부학적 초기 특징점을 검출하고, 상기 측면 밝기 값 투영 영상을 기초로 측면 해부학적 초기 특징점을 검출할 수 있다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 해부학적 초기 특징점 및 상기 측면 해부학적 초기 특징점을 조합하여 3차원의 상기 해부학적 초기 특징점을 계산할 수 있다.
도 9는 도 2의 3차원 관심 볼륨 영역 생성부(300)에 의해 생성되는 3차원 관심 볼륨 영역의 예시를 나타내는 도면이다.
도 1 내지 도 9를 참조하면, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역(VOI)을 생성할 수 있다.
(2) 세부 자동 검출 단계에서는 (1) 초기 자동 특징점 검출 단계의 결과를 이용하여 세부 영역에서 특징점을 검출하는 단계이다. 먼저 초기 특징점 자동 검출 결과를 이용해, 원본 3차원 볼륨 의료영상 데이터로부터 3차원 관심 볼륨 영역(VOI)을 자동으로 추출한다. 각 3차원 관심 볼륨 영역(VOI)은 각 초기 특징점을 중심으로 하여 일정 영역을 포함하는 3차원 볼륨 영역으로, 정육면체 형태의 영역일 수 있다.
도 9에서 좌측은 제1 초기 특징점에 대한 3차원 관심 볼륨 영역을 나타내고, 도 9에서 우측은 상기 제1 초기 특징점과 다른 제2 초기 특징점에 대한 3차원 관심 볼륨 영역을 나타낸다.
이와 같이, 상기 3차원 관심 볼륨 영역(VOI)의 개수는 3차원의 해부학적 초기 특징점의 개수와 일치할 수 있다.
예를 들어, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 상기 3차원 관심 볼륨 영역(VOI)을 형성할 수 있다. 이 때, 상기 3차원 관심 볼륨 영역(VOI)의 중심은 상기 해부학적 초기 특징점의 좌표일 수 있다.
예를 들어, 상기 해부학적 초기 특징점을 이용하여 10ㅧ10ㅧ10 크기의 상기 3차원 관심 볼륨 영역(VOI)을 만든다면, 상기 3차원 관심 볼륨 영역(VOI) 내에서 상기 해부학적 초기 특징점의 좌표는 (5, 5, 5)일 수 있다.
상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역(VOI)을 기초로, 상기 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출할 수 있다. 상기 제2 컨볼루션 신경망을 거쳐 생성되는 상기 해부학적 세부 특징점의 좌표는 상기 3차원 관심 볼륨 영역(VOI) 내에서 (5, 5, 5)가 아닐 수 있다. 예를 들어, 상기 제2 컨볼루션 신경망을 거쳐 생성되는 상기 해부학적 세부 특징점의 좌표가 (5, 6, 7)이라면, 상기 세부 특징점의 위치가 상기 초기 특징점에 비해 y축으로 1만큼, z축으로 2만큼 이동한 것을 의미할 수 있다.
본 실시예에서는, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점을 기초로 상기 3차원 관심 볼륨 영역(VOI)을 생성하고, 상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역(VOI)에 대해서만 제2 컨볼루션 신경망을 통과시키므로, 상기 3차원 볼륨 의료 영상을 상기 제2 컨볼루션 신경망에 그대로 통과시키는 경우에 비해 계산량을 크게 감소시킬 수 있고, 세부 특징점 검출의 정확도를 더욱 향상시킬 수 있다.
도 10a는 도 2의 초기 특징점 자동 검출부(200)가 이용하는 제1 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다. 도 10b는 도 2의 세부 특징점 자동 검출부(400)가 이용하는 제2 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 1 내지 도 10b를 참조하면, 상기 초기 특징점 자동 검출부(200)가 이용하는 제1 컨볼루션 신경망과 상기 세부 특징점 자동 검출부(200)가 이용하는 제2 컨볼루션 신경망은 서로 다를 수 있다.
상기 제1 컨볼루션 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)이고, 상기 제2 컨볼루션 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 3차원 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)일 수 있다. 상기 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)은 모든 연산이 컨볼루션으로만 구성된 심층 신경망을 의미할 수 있다.
도 10a에서 H는 2차원 입력 영상의 높이, W는 2차원 입력 영상의 폭을 나타낼 수 있고, k는 커널의 높이 및 폭을 나타낼 수 있다. 도 10b에서 H는 3차원 입력 영상의 높이, W는 3차원 입력 영상의 폭, L은 3차원 입력 영상의 길이를 나타낼 수 있고, k는 커널의 높이 및 폭을 나타내며, d는 커널의 길이를 나타낼 수 있다.
상기한 바와 같이, 상기 제1 컨볼루션 신경망의 입력 데이터는 상기 2차원 밝기 값 투영 영상(예컨대, 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상)이고, 상기 제1 컨볼루션 신경망의 출력 데이터는 해부학적 임시 초기 특징점을 포함하며, 상기 해부학적 임시 초기 특징점에 해당하는 위치가 가장 큰 값을 갖는 2차원 영상일 수 있다.
상기 초기 특징점 자동 검출부(200)는 상기 해부학적 임시 초기 특징점을 3차원으로 변환하여 상기 해부학적 초기 특징점을 생성할 수 있다.
상기 제2 컨볼루션 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역(VOI)이고, 상기 제2 컨볼루션 신경망의 출력 데이터는 해부학적 임시 세부 특징점을 포함하며, 상기 해부학적 임시 세부 특징점에 해당하는 위치가 가장 큰 값을 갖는 3차원 볼륨 영상일 수 있다.
상기 세부 특징점 자동 검출부(400)는 상기 해부학적 임시 세부 특징점을 상기 3차원 볼륨 의료 영상 내의 좌표로 변환하여 최종적으로 상기 해부학적 세부 특징점을 검출할 수 있다.
도 11은 도 2의 세부 특징점 자동 검출부에 의해 검출되는 해부학적 세부 특징점을 나타내는 도면이다.
도 1 내지 도 11을 참조하면, 자동 추출된 초기 특징점별 3차원 관심 볼륨 영역(VOI) 데이터를 입력 영상으로 하여, 3차원 완전 컨볼루션 신경망 딥러닝 모델이 3차원 관심 볼륨영역의 3차원 특징점을 자동으로 세부 검출하도록 하는 학습과정을 거친다. 3차원 완전 컨볼루션 신경망 딥러닝 모델은 3차원 컨볼루션 층으로 구성된 신경망 딥러닝 모델이다.
이 때, 서로 다른 특징점의 3차원 관심 볼륨 영역(VOI)에 대하여 하나의 딥러닝 모델을 사용하여 학습시킨 후 사용한다. 도 11은 학습된 딥러닝 모델로부터 자동으로 세부 검출된 원본 3차원 볼륨 의료 영상 데이터에서의 최종 특징점 결과 예시를 보여준다.
도 11에서 빨간색 점은 학습에 사용한 정답 세부 특징점의 위치를 나타내고, 노란색 점은 3차원 완전 컨볼루션 신경망 딥러닝 모델에서 자동 검출된 세부 특징점의 위치를 나타낸다.
본 실시예에 따르면, 3차원 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있다.
특히, 3차원 볼륨 의료영상에서 환자의 악안면 및 구강의 해부학적 3차원 특징점을 짧은 시간에 자동으로 검출할 수 있고, 자동 검출된 특징점을 기반으로 환자의 악안면 및 구강을 쉽게 계측 및 분석할 수 있다.
CBCT와 같이 화질이 낮고 노이즈가 심한 볼륨 데이터의 경우 정확한 3차원 모델 추출이 어려워 3차원 모델을 2차원으로 투영시키는 종래의 방법이 적용되기 어렵고, 치아 보철물이나 교정 장치로 인해 금속 노이즈가 빈번히 발생하여 3차원 모델로 추출하기 어려운 치아 특징점에 대해서도 같은 이유로 종래의 방법이 적용되기 어렵다. 또한 골 표면이나 연조직 및 경조직 경계에 존재하지 않는 해부학적 특징점(예를 들면 Sella turcica의 중심점이나 치아 뿌리 관련 특징점)은 3차원 모델 표면에 존재하지 않기 때문에 종래의 방법을 자동 검출될 수 없다. 그러나, 본 발명에 따르면, 화질이 낮고 노이즈가 심한 3차원 볼륨 데이터에 대해서도 정확한 해부학적 특징점의 자동 검출이 가능하고, 치아 보철물이나 교정 장치 등 금속 노이즈가 있는 경우에도 정확하게 해부학적 특징점을 자동 검출할 수 있으며, 골 표면이나, 연조직 및 경조직의 경계에 존재하지 않는 해부학적 특징점도 자동 검출할 수 있다.
본 발명의 일 실시예에 의하면, 전술한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구형될 수 있다.
본 발명은 3차원 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 대한 것으로, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이 간단하고 신속하며 정확하게 환자의 해부학적 특징점을 검출할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (21)

  1. 3차원 볼륨 의료 영상을 입력받는 단계;
    상기 3차원 볼륨 의료 영상을 기초로 2차원 영상을 생성하는 단계;
    상기 2차원 영상을 기초로, 제1 신경망을 이용하여 초기 특징점을 자동으로 검출하는 단계;
    상기 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계; 및
    상기 3차원 관심 볼륨 영역을 기초로, 제2 신경망을 이용하여 세부 특징점을 자동으로 검출하는 단계를 포함하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  2. 제1항에 있어서, 상기 2차원 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  3. 제2항에 있어서, 상기 2차원 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  4. 제1항에 있어서, 상기 2차원 영상은 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  5. 제4항에 있어서, 상기 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 신경망에 통과시키는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  6. 제4항에 있어서, 상기 초기 특징점을 자동으로 검출하는 단계는
    상기 정면 밝기 값 투영 영상을 기초로 정면 초기 특징점을 검출하는 단계;
    상기 측면 밝기 값 투영 영상을 기초로 측면 초기 특징점을 검출하는 단계; 및
    상기 정면 초기 특징점 및 상기 측면 초기 특징점을 조합하여 3차원의 상기 초기 특징점을 계산하는 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  7. 제1항에 있어서, 상기 제1 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망이고,
    상기 제2 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 완전 컨볼루션 심층 신경망인 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  8. 제7항에 있어서, 상기 제1 신경망의 입력 데이터는 상기 2차원 영상이고, 상기 제1 신경망의 출력 데이터는 임시 초기 특징점을 포함하고,
    상기 제2 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역이고, 상기 제2 신경망의 출력 데이터는 임시 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  9. 제1항에 있어서, 상기 3차원 관심 볼륨 영역을 생성하는 단계는 상기 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 형성하며,
    상기 3차원 관심 볼륨 영역의 중심은 상기 초기 특징점의 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  10. 제1항에 있어서, 상기 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  11. 제10항에 있어서, 상기 제1 세부 특징점은 Nasion, Anterior Nasal Spine, Point-A, Posterior Nasal Spine, Point-B, Pogonion, Gnathion, Right/Left of Orbitale Superius, Right/Left of Orbitale Inferius, Right/Left of Sutura Zygomaticofrontale, Right/Left of Foramen Mentale, Basion, Right Porion, Right/Left of Condylus Medialis, Right/Left of Condylus Lateralis, Right/Left of Areus Zygomatieus, Right/Left of Inferior Gonion, Right/Left of Posterior Gonion 및 Right of Processus Coronoideus를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  12. 제10항에 있어서, 상기 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  13. 제12항에 있어서, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  14. 제12항에 있어서, 상기 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  15. 제14항에 있어서, 상기 제3 세부 특징점은 Glabella, Soft Tissue Nasion, Pronasale, Subnasale, Upper Lip Superior, Lower Lip Superior, Soft Tissue Pogonion, Soft Tissue Gnathion 및 Soft Tissue B-point를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  16. 제14항에 있어서, 상기 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  17. 제16항에 있어서, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root 및 Canine Root를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  18. 제16항에 있어서, 상기 세부 특징점은 상기 치아에 관련되며 상기 치아 상에 존재하는 제5 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  19. 제18항에 있어서, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  20. 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 영상을 생성하는 투영 영상 생성부;
    상기 2차원 영상을 기초로, 제1 신경망을 이용하여 초기 특징점을 자동으로 검출하는 초기 특징점 자동 검출부;
    상기 3차원 볼륨 의료 영상을 입력받고, 상기 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성하는 3차원 관심 볼륨 영역 생성부; 및
    상기 3차원 관심 볼륨 영역을 기초로, 제2 신경망을 이용하여 세부 특징점을 자동으로 검출하는 세부 특징점 자동 검출부를 포함하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치.
  21. 제1항 내지 19항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020210162432A 2020-04-16 2021-11-23 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치 KR102373500B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210162432A KR102373500B1 (ko) 2020-04-16 2021-11-23 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200045924A KR102334480B1 (ko) 2020-04-16 2020-04-16 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
KR1020210162432A KR102373500B1 (ko) 2020-04-16 2021-11-23 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200045924A Division KR102334480B1 (ko) 2020-04-16 2020-04-16 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210146857A KR20210146857A (ko) 2021-12-06
KR102373500B1 true KR102373500B1 (ko) 2022-03-14

Family

ID=78084095

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200045924A KR102334480B1 (ko) 2020-04-16 2020-04-16 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
KR1020210162432A KR102373500B1 (ko) 2020-04-16 2021-11-23 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200045924A KR102334480B1 (ko) 2020-04-16 2020-04-16 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치

Country Status (4)

Country Link
US (1) US11995820B2 (ko)
EP (1) EP4074259A4 (ko)
KR (2) KR102334480B1 (ko)
WO (1) WO2021210723A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
US11568625B2 (en) * 2021-01-07 2023-01-31 Nvidia Corporation Targeted object detection in image processing applications
KR102512005B1 (ko) * 2022-05-04 2023-03-21 이마고웍스 주식회사 3차원 구강 스캔 데이터에 3차원 단일 치아 모델을 자동 정렬하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20230160995A (ko) 2022-05-17 2023-11-27 주식회사 애마슈 3차원 볼륨 영상으로부터 랜드마크를 검출하기 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613159B1 (ko) 2014-12-31 2016-04-20 오스템임플란트 주식회사 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
US20170330319A1 (en) 2016-05-12 2017-11-16 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
KR102044237B1 (ko) 2018-10-23 2019-11-13 연세대학교 산학협력단 2차원 음영 영상 기반 기계학습을 이용한 자동 3차원 랜드마크 검출 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882326A (zh) * 2010-05-18 2010-11-10 广州市刑事科学技术研究所 基于中国人全面部结构形数据的三维颅面复原方法
KR101805619B1 (ko) * 2011-01-25 2017-12-07 삼성전자주식회사 3차원 의료 영상으로부터 최적의 2차원 의료 영상을 자동으로 생성하는 방법 및 장치
KR102070256B1 (ko) * 2018-06-01 2020-01-29 오스템임플란트 주식회사 교정 치료 플래닝을 위한 세팔로 영상 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
KR102015223B1 (ko) * 2018-08-17 2019-10-21 (주)제이엘케이인스펙션 3차원 자기공명영상과 다평면 혈관투영영상을 활용한 뇌질환 진단 방법 및 장치
KR102099390B1 (ko) * 2018-08-21 2020-04-09 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613159B1 (ko) 2014-12-31 2016-04-20 오스템임플란트 주식회사 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
US20170330319A1 (en) 2016-05-12 2017-11-16 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
KR102044237B1 (ko) 2018-10-23 2019-11-13 연세대학교 산학협력단 2차원 음영 영상 기반 기계학습을 이용한 자동 3차원 랜드마크 검출 방법 및 장치

Also Published As

Publication number Publication date
EP4074259A4 (en) 2023-06-07
US11995820B2 (en) 2024-05-28
US20230024671A1 (en) 2023-01-26
KR20210146857A (ko) 2021-12-06
KR102334480B1 (ko) 2021-12-06
EP4074259A1 (en) 2022-10-19
WO2021210723A1 (ko) 2021-10-21
KR20210128535A (ko) 2021-10-27

Similar Documents

Publication Publication Date Title
KR102373500B1 (ko) 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
JP7289026B2 (ja) ハイブリッドメッシュセグメンテーションのための方法及び装置
US8731280B2 (en) Virtual cephalometric imaging
ES2967306T3 (es) Método y sistema para la eliminación de aparatos fijos de la malla de dentición
Bulatova et al. Assessment of automatic cephalometric landmark identification using artificial intelligence
US10339649B2 (en) Method and system for hybrid mesh segmentation
KR102302587B1 (ko) 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102369067B1 (ko) 치과용 3차원 스캔 데이터의 간소화된 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
JP7100446B2 (ja) 歯科対象を捕捉するための方法
KR102331034B1 (ko) 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102372962B1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
KR102215068B1 (ko) 임플란트 진단용 영상 정합을 위한 장치 및 방법
KR101811644B1 (ko) 방사선 영상의 정보 획득 방법 및 장치
JP2013236750A (ja) 画像処理装置、撮像システム、およびプログラム
CN115886863A (zh) 全颅底为基准平面的牙齿与面骨三维重叠测量方法及设备
KR102533659B1 (ko) 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
EP4235572A1 (en) Automated registration method of 3d facial scan data and 3d volumetric medical image data using deep learning and computer readable medium having program for performing the method
CN117876578B (zh) 基于冠根融合的正畸排牙的方法
EP4246432A1 (en) Tooth subdivision and alignment
KR20230163182A (ko) 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램
Zhao et al. Multimodal Registration of Dental and Facial Images
Halazonetis Software Support for Advanced Cephalometric Analysis in Orthodontics
BAOPING Registration of multimodal dental and facial images

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant