WO2021210723A1 - 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치 - Google Patents

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치 Download PDF

Info

Publication number
WO2021210723A1
WO2021210723A1 PCT/KR2020/006789 KR2020006789W WO2021210723A1 WO 2021210723 A1 WO2021210723 A1 WO 2021210723A1 KR 2020006789 W KR2020006789 W KR 2020006789W WO 2021210723 A1 WO2021210723 A1 WO 2021210723A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
anatomical
detailed
neural network
dimensional
Prior art date
Application number
PCT/KR2020/006789
Other languages
English (en)
French (fr)
Inventor
김한나
김영준
Original Assignee
이마고웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이마고웍스 주식회사 filed Critical 이마고웍스 주식회사
Priority to EP20931280.0A priority Critical patent/EP4074259A4/en
Priority to US17/295,916 priority patent/US11995820B2/en
Publication of WO2021210723A1 publication Critical patent/WO2021210723A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • Computed Tomography CT
  • Cone-beam CT CBCT
  • Magnetic Resonance Imaging MRI
  • An object of the present invention is a 3D medical image using deep learning that can automatically detect anatomical feature points of a patient using 3D volume data itself without user input or a separate 3D model extraction process. It is to provide a method for automatically detecting feature points of data.
  • Another object of the present invention is to provide an apparatus for performing a method for automatically detecting feature points of 3D medical image data using the deep learning.
  • the 2D brightness value projection image may be generated by projecting brightness values of the 3D volume medical image in one direction.
  • the automatically detecting the anatomical initial feature point includes: detecting the frontal anatomical initial feature point based on the frontal brightness value projection image;
  • the method may include detecting an initial anatomical feature point and calculating the three-dimensional initial anatomical feature point by combining the frontal anatomical initial feature point and the lateral anatomical initial feature point.
  • the detailed anatomical feature point may include a second detailed feature point existing in the middle of the soft tissue of the maxillofacial face.
  • the second detailed feature point may include Sella, which is the center of Sella turcica.
  • the third detailed feature point may include Glabella, Soft Tissue Nasion, Pronasale, Subnasale, Upper Lip Superior, Lower Lip Superior, Soft Tissue Pogonion, Soft Tissue Gnathion, and Soft Tissue B-point. have.
  • An apparatus for automatically detecting a feature point of 3D medical image data using deep learning includes a brightness value projection image generator, an initial feature point automatic detector, a three-dimensional volume of interest generator and A detailed feature point automatic detection unit is included.
  • the brightness value projection image generator receives a 3D volumetric medical image and generates a 2D brightness value projection image based on the 3D volumetric medical image.
  • the automatic initial feature point detection unit automatically detects an anatomical initial feature point using a first convolutional neural network based on the two-dimensional brightness value projection image.
  • FIG. 5 is a diagram illustrating an example of detailed anatomical feature points existing on a skin surface that can be detected by the automatic detailed feature point detection unit of FIG. 2 .
  • FIG. 10A is a diagram illustrating a type of convolution operation of the first convolutional neural network used by the automatic initial feature point detection unit of FIG. 2 .
  • FIG. 10B is a diagram illustrating a type of convolution operation of a second convolutional neural network used by the automatic detailed feature point detection unit of FIG. 2 .
  • first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
  • the present invention is largely composed of (1) an initial automatic feature point detection step (Initial Stage) and (2) a detailed automatic detection step (Fine Stage).
  • the initial automatic detection step consists of a three-dimensional volume data preprocessing step and an initial feature point automatic detection step using a fully convolutional neural network deep learning model.
  • the detailed automatic detection step is an automatic three-dimensional volume of interest (VOI) extraction step using the initial feature point automatic detection result and a three-dimensional fully convolutional neural network deep learning model. It consists of automatic detection of detailed feature points.
  • VOI volume of interest
  • the 3D volume-of-interest region generating unit 300 receives the 3D volumetric medical image and generates a 3D volume-of-interest region from the 3D volumetric medical image based on the initial anatomical feature points.
  • the automatic detailed feature detection unit 400 automatically detects detailed anatomical features using a second convolutional neural network different from the first convolutional neural network based on the 3D volume of interest region.
  • the detailed anatomical feature points that can be detected by the automatic detailed feature point detection unit 400 may include the first detailed feature points existing on the surface of the maxillofacial bone.
  • the first detailed feature points are Nasion (N), Anterior Nasal Spine (ANS), Point-A (A), Posterior Nasal Spine (PNS), Point-B (B), Pogonion, Gnathion (Pg), Right/Left of Orbitale Superius (OrSR/OrSL), Right/Left of Orbital Inferius (OriR/OriL), Right/Left of Sutura Zygomaticofrontale (ZyFrR/ZyFrL), Right/Left of Foramen Mentale (FoMR/) FoML), Basion (Ba), Right Porion (PoR), Right/Left of Condylus Medialis (CmR/CmL), Right/Left of Condylus Lateralis (ClR/ClL), Right/Left of Areus Zygomatieus (ArZyR/ArZyL), Right/Left of Inferior Gonion
  • the third detailed characteristic point is Glabella (G), Soft Tissue Nasion (Ns), Pronasale (Pn), Subnasale (Sn), Upper Lip Superior (ULA), Lower Lip Superior (LLA), Soft Tissue.
  • G Glabella
  • Ns Soft Tissue Nasion
  • Pn Pronasale
  • Sn Subnasale
  • UOA Upper Lip Superior
  • LSA Lower Lip Superior
  • Pgs Soft Tissue Gnathion
  • Bs Soft Tissue B-point
  • 6A and 6B are diagrams illustrating examples of detailed anatomical feature points associated with teeth that can be detected by the automatic detailed feature point detection unit 400 of FIG. 2 .
  • the detailed anatomical feature points that can be detected by the automatic detailed feature point detection unit 400 may include a fourth detailed feature point related to teeth and existing inside the jawbone.
  • the fourth detailed feature point may include a Central Incisor Root, a First Molar Distal Root, and a Canine Root.
  • FIG. 7 is a diagram illustrating an example of a brightness value projection image generated by the brightness value projection image generating unit 100 of FIG. 2 .
  • the initial feature point may be automatically detected for the entire area of 3D volume medical image data.
  • 3D volume data Prior to initial automatic detection, 3D volume data is processed into a form suitable for a fully convolutional neural network deep learning model. This process may be referred to as pretreatment.
  • the brightness value projection image generator 100 may perform pre-processing.
  • Preprocessing is an image processing process that generates images projected with frontal (Coronal View) and lateral (Sagittal View) brightness values using the brightness values of 3D volumetric medical image data. It is a method of reflecting the value according to the value to the final projection image.
  • the brightness value projection image generating unit 100 may receive the 3D volumetric medical image and generate a 2D brightness value projection image based on the 3D volumetric medical image.
  • the 2D brightness value projection image may be generated by projecting brightness values of the 3D volumetric medical image in one direction.
  • the 2D brightness value projection image may be generated by calculating a standard deviation in the one direction of the brightness values of the 3D volumetric medical image.
  • the brightness value projection image generating unit 100 may generate the 2D brightness value projection image by using the maximum, minimum, average, and median values of the brightness values of the 3D volumetric medical image.
  • the 2D luminance value projection image may include a front luminance value projection image (left of FIG. 7 ) and a side luminance value projection image (right of FIG. 7 ).
  • FIG. 8 is a diagram illustrating an anatomical initial feature point detected by the automatic initial feature point detection unit 200 of FIG. 2 .
  • the two-dimensional brightness value projection image generated through the pre-processing process is used as an input image, and a fully convolutional neural network deep learning model is subjected to a learning process to automatically detect feature points in the projected image.
  • a fully convolutional neural network deep learning model is a neural network deep learning model composed of convolutional layers.
  • FIG. 8 is an example of an initial feature point detection result automatically detected by a fully convolutional neural network deep learning model that has been trained in a projection image in each direction.
  • the left side of FIG. 8 shows the frontal brightness value projection image result (Coronal View)
  • the right side of FIG. 8 shows the side brightness value projection image result (Sagittal View)
  • the black dot in FIG. 8 shows the location of the correct answer feature point used for learning
  • the white dots indicate the positions of the initial feature points automatically detected in the deep learning model of the fully convolutional neural network.
  • FIG. 9 is a diagram illustrating an example of a 3D volume of interest region generated by the 3D volume of interest region generating unit 300 of FIG. 2 .
  • the 3D VOI generating unit 300 may generate a 3D VOI based on the initial anatomical feature point.
  • the left side represents a 3D VOI region for the first initial feature point
  • the right side in FIG. 9 shows a 3D VOI region for a second initial feature point different from the first initial feature point.
  • the number of 3D volume-of-interest regions may coincide with the number of 3D anatomical initial feature points.
  • coordinates of the initial anatomical feature point within the 3D volume-of-interest region VOI may be (5, 5, 5).
  • H may represent the height of the 2D input image
  • W may represent the width of the 2D input image
  • k may represent the height and width of the kernel
  • H may represent the height of the 3D input image
  • W may represent the width of the 3D input image
  • L may represent the length of the 3D input image
  • k represents the height and width of the kernel
  • d represents the length of the kernel.
  • the input data of the second convolutional neural network is the three-dimensional volume of interest region (VOI), and the output data of the second convolutional neural network includes an anatomical temporary detailed feature point, and a position corresponding to the anatomical temporary detailed feature point. may be a 3D volume image having the largest value.
  • VOI three-dimensional volume of interest region
  • the automatic detailed feature point detection unit 400 may convert the temporary detailed anatomical feature point into coordinates in the 3D volumetric medical image to finally detect the detailed anatomical feature point.
  • the three-dimensional volume of interest (VOI) of different feature points is trained using one deep learning model and then used.
  • 11 shows an example of the final feature point result in the original 3D volume medical image data automatically detected in detail from the trained deep learning model.
  • the patient's anatomical feature points are automatically utilized by using 3D volume data itself, without user input or a separate 3D model extraction process. can be detected.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, etc.
  • Hardware devices specifically configured to store and execute program instructions are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention.
  • the above-described method for automatically detecting feature points of 3D medical image data may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
  • the present invention relates to a method and apparatus for automatically detecting feature points of three-dimensional medical image data using three-dimensional deep learning, and detects anatomical feature points of a patient simply, quickly and accurately without user input or separate three-dimensional model extraction process. can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Geometry (AREA)

Abstract

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계, 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계, 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계를 포함한다.

Description

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
본 발명은 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 관한 것이다.
치과, 구강악안면외과, 성형외과 등에서 환자의 두경부 및 구강을 진단하기 위해 획득하는 Computed Tomography (CT), Cone-beam CT (CBCT), Magnetic Resonance Imaging (MRI) 영상 등은 수백 장에 달하는 2차원 슬라이드 영상이 축적된 3차원 볼륨 데이터이다.
진단 및 치료 계획을 수립하거나 치료 전/후의 비교를 위해, 3차원 볼륨 데이터의 분석과정을 반드시 거치게 된다. 이 분석 과정은 3차원 볼륨 데이터에서 환자의 해부학적 특징점을 마킹하고, 특징점 간의 거리나 비율, 각도를 계측하는 과정이다. 하지만, 수백 장에 달하는 슬라이드 영상으로 구축된 3차원 볼륨 데이터에서 수동으로 3차원 상의 점 하나를 특정하여 마킹하는 것은 까다로우면서도 많은 시간이 소요되는 작업이기 때문에, 이를 자동으로 검출하는 기법이 필요하다.
이러한 필요성에 의해 환자의 해부학적 특징점을 자동으로 검출하거나 분석하는 방법들이 제안되었다. 3차원 볼륨 데이터가 아닌 2차원 영상 (X-ray 영상)에서의 자동 검출방법이 제안되었고, 3차원 볼륨 데이터에서의 사용자의 상호작용을 통한 특징점 검출 및 분석에 대한 방법이 제안되었으며, 3차원 볼륨 데이터로부터 안면골 3차원 모델을 추출하여 이를 2차원으로 투영시킨 2차원 투영영상에서의 자동 검출 방법이 제안되었다.
하지만 본 발명에서와 같이 3차원 볼륨 데이터에서의 자동 검출에 대한 방법은 제안된 바가 없었다. 가장 연관성이 높은 3차원 모델을 추출하여 2차원 투영시켜 자동 검출하는 방법의 경우, 추출된 3차원 안면골 모델의 질에 따라 자동 검출의 정확도가 영향을 받게 된다.
본 발명이 이루고자 하는 목적은 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있는, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 수행하는 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계, 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계, 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 컨볼루션 신경망에 통과시킬 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상을 기초로 정면 해부학적 초기 특징점을 검출하는 단계, 상기 측면 밝기 값 투영 영상을 기초로 측면 해부학적 초기 특징점을 검출하는 단계 및 상기 정면 해부학적 초기 특징점 및 상기 측면 해부학적 초기 특징점을 조합하여 3차원의 상기 해부학적 초기 특징점을 계산하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 컨볼루션 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망일 수 있다. 상기 제2 컨볼루션 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 3차원 완전 컨볼루션 심층 신경망일 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 컨볼루션 신경망의 입력 데이터는 상기 2차원 밝기 값 투영 영상이고, 상기 제1 컨볼루션 신경망의 출력 데이터는 해부학적 임시 초기 특징점을 포함하며, 상기 해부학적 임시 초기 특징점에 해당하는 위치가 가장 큰 값을 갖는 2차원 영상일 수 있다. 상기 제2 컨볼루션 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역이고, 상기 제2 컨볼루션 신경망의 출력 데이터는 해부학적 임시 세부 특징점을 포함하며, 상기 해부학적 임시 세부 특징점에 해당하는 위치가 가장 큰 값을 갖는 3차원 볼륨 영상일 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 관심 볼륨 영역을 생성하는 단계는 상기 해부학적 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 형성할 수 있다. 상기 3차원 관심 볼륨 영역의 중심은 상기 해부학적 초기 특징점의 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 세부 특징점은 Nasion, Anterior Nasal Spine, Point-A, Posterior Nasal Spine, Point-B, Pogonion, Gnathion, Right/Left of Orbitale Superius, Right/Left of Orbitale Inferius, Right/Left of Sutura Zygomaticofrontale, Right/Left of Foramen Mentale, Basion, Right Porion, Right/Left of Condylus Medialis, Right/Left of Condylus Lateralis, Right/Left of Areus Zygomatieus, Right/Left of Inferior Gonion, Right/Left of Posterior Gonion 및 Right of Processus Coronoideus를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제3 세부 특징점은 Glabella, Soft Tissue Nasion, Pronasale, Subnasale, Upper Lip Superior, Lower Lip Superior, Soft Tissue Pogonion, Soft Tissue Gnathion 및 Soft Tissue B-point를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root, 및 Canine Root를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 치아에 관련되며 상기 치아 상에 존재하는 제5 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치는 밝기 값 투영 영상 생성부, 초기 특징점 자동 검출부, 3차원 관심 볼륨 영역 생성부 및 세부 특징점 자동 검출부를 포함한다. 상기 밝기 값 투영 영상 생성부는 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성한다. 상기 초기 특징점 자동 검출부는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출한다. 상기 3차원 관심 볼륨 영역 생성부는 상기 3차원 볼륨 의료 영상을 입력받고, 상기 해부학적 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성한다. 상기 세부 특징점 자동 검출부는 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출한다.
본 발명의 일 실시예에 있어서, 상기 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
본 발명에 따른 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 따르면, 3차원 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있다.
특히, 3차원 볼륨 의료영상에서 환자의 악안면 및 구강의 해부학적 3차원 특징점을 짧은 시간에 자동으로 검출할 수 있고, 자동 검출된 특징점을 기반으로 환자의 악안면 및 구강을 쉽게 계측 및 분석할 수 있다.
CBCT와 같이 화질이 낮고 노이즈가 심한 볼륨 데이터의 경우 정확한 3차원 모델 추출이 어려워 3차원 모델을 2차원으로 투영시키는 종래의 방법이 적용되기 어렵고, 치아 보철물이나 교정 장치로 인해 금속 노이즈가 빈번히 발생하여 3차원 모델로 추출하기 어려운 치아 특징점에 대해서도 같은 이유로 종래의 방법이 적용되기 어렵다. 또한 골 표면이나 연조직 및 경조직 경계에 존재하지 않는 해부학적 특징점(예를 들면 Sella turcica의 중심점이나 치아 뿌리 관련 특징점)은 3차원 모델 표면에 존재하지 않기 때문에 종래의 방법을 자동 검출될 수 없다. 그러나, 본 발명에 따르면, 화질이 낮고 노이즈가 심한 3차원 볼륨 데이터에 대해서도 정확한 해부학적 특징점의 자동 검출이 가능하고, 치아 보철물이나 교정 장치 등 금속 노이즈가 있는 경우에도 정확하게 해부학적 특징점을 자동 검출할 수 있으며, 골 표면이나, 연조직 및 경조직의 경계에 존재하지 않는 해부학적 특징점도 자동 검출할 수 있다.
도 1은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 도면이다.
도 2는 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치를 나타내는 블록도이다.
도 3은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 흐름도이다.
도 4a, 도 4b, 도 4c 및 도 4d는 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 악안면골과 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 5는 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 피부 표면에 존재하는 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 6a 및 도 6b는 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 치아와 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 7은 도 2의 밝기 값 투영 영상 생성부에 의해 생성되는 밝기 값 투영 영상의 예시를 나타내는 도면이다.
도 8은 도 2의 초기 특징점 자동 검출부에 의해 검출되는 해부학적 초기 특징점을 나타내는 도면이다.
도 9는 도 2의 3차원 관심 볼륨 영역 생성부에 의해 생성되는 3차원 관심 볼륨 영역의 예시를 나타내는 도면이다.
도 10a는 도 2의 초기 특징점 자동 검출부가 이용하는 제1 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 10b는 도 2의 세부 특징점 자동 검출부가 이용하는 제2 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 11은 도 2의 세부 특징점 자동 검출부에 의해 검출되는 해부학적 세부 특징점을 나타내는 도면이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 도면이다. 도 2는 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치를 나타내는 블록도이다. 도 3은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 흐름도이다.
도 1 내지 도 3을 참조하면, 본 발명은 크게 (1) 초기 자동 특징점 검출 단계(Initial Stage)와 (2) 세부 자동 검출 단계(Fine Stage)로 구성된다.
(1) 초기 자동 검출 단계는 3차원 볼륨 데이터 전처리 단계 및 완전 컨볼루션 신경망 (Fully convolutional neural network) 딥러닝 모델을 이용한 초기 특징점 자동 검출 단계로 구성된다.
(2) 세부 자동 검출 단계는 초기 특징점 자동 검출 결과를 이용한 3차원 관심 볼륨영역 (VOI; Volume of Interest) 자동 추출 단계 및 3차원 완전 컨볼루션 신경망 (3차원 Fully convolutional neural network) 딥러닝 모델을 이용한 세부 특징점 자동 검출 단계로 구성된다.
이때, 3차원 볼륨 의료영상 데이터는　CT, CBCT, MRI 및 PET(Positron Emission Tomography) 중 하나가 될 수 있으며, 이 외에 환자의 해부학적 구조가 3차원 볼륨 데이터로 획득되는 어떤 의료영상 데이터도 가능하다.
검출하고자 하는 환자의 해부학적 특징점은 3차원 볼륨 의료영상 데이터에 포함된 어떤 특징점도 가능하며, 모든 타겟 특징점에 대해 별도의 처리 없이 동일한 제안 방법을 적용하여 특징점을 자동 검출한다.
도 2를 보면, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치는 밝기 값 투영 영상 생성부(100), 초기 특징점 자동 검출부(200), 3차원 관심 볼륨 영역 생성부(300) 및 세부 특징점 자동 검출부(400)를 포함한다. 상기 밝기 값 투영 영상 생성부(100)는 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성한다. 상기 초기 특징점 자동 검출부(200)는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출한다. 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 3차원 볼륨 의료 영상을 입력받고, 상기 해부학적 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성한다. 상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출한다.
도 3을 보면, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계(S100), 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계(S200), 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계(S300), 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계(S400) 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계(S500)를 포함할 수 있다.
도 4a, 도 4b, 도 4c 및 도 4d는 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 악안면골과 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 4d를 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 해부학적 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함할 수 있다.
도 4a 내지 도 4d에서 보듯이, 상기 제1 세부 특징점은 Nasion (N), Anterior Nasal Spine (ANS), Point-A (A), Posterior Nasal Spine (PNS), Point-B (B), Pogonion, Gnathion (Pg), Right/Left of Orbitale Superius (OrSR/OrSL), Right/Left of Orbitale Inferius (OriR/OriL), Right/Left of Sutura Zygomaticofrontale (ZyFrR/ZyFrL), Right/Left of Foramen Mentale (FoMR/FoML), Basion (Ba), Right Porion (PoR), Right/Left of Condylus Medialis (CmR/CmL), Right/Left of Condylus Lateralis (ClR/ClL), Right/Left of Areus Zygomatieus (ArZyR/ArZyL), Right/Left of Inferior Gonion (IGoR/IGoL), Right/Left of Posterior Gonion (PGoR/PGoL) 및 Right of Processus Coronoideus (PrCor)를 포함할 수 있다.
상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함할 수 있다. 도 4a 내지 도 4d에서 보듯이, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella (S)를 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 연조직의 중간에 존재하는 제2 세부 특징점도 정확하게 검출할 수 있다.
도 5는 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 피부 표면에 존재하는 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 5를 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함할 수 있다.
도 5에서 보듯이, 상기 제3 세부 특징점은 Glabella (G), Soft Tissue Nasion (Ns), Pronasale (Pn), Subnasale (Sn), Upper Lip Superior (ULA), Lower Lip Superior (LLA), Soft Tissue Pogonion (Pgs), Soft Tissue Gnathion (Gns) 및 Soft Tissue B-point (Bs)를 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 피부 표면에 존재하는 제3 세부 특징점도 정확하게 검출할 수 있다.
도 6a 및 도 6b는 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 치아와 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 6b를 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함할 수 있다.
도 6a 및 도 6b에서 보듯이, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root 및 Canine Root를 포함할 수 있다.
상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 치아에 관련되며 치아 상에 존재하는 제5 세부 특징점을 포함할 수 있다.
도 6a 및 도 6b에서 보듯이, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 악골의 내부에 존재하는 제4 세부 특징점 및 치아 상에 존재하는 제5 세부 특징점도 정확하게 검출할 수 있다
도 7은 도 2의 밝기 값 투영 영상 생성부(100)에 의해 생성되는 밝기 값 투영 영상의 예시를 나타내는 도면이다.
도 1 내지 도 7을 참조하면, (1) 초기 자동 특징점 검출 단계에서는 3차원 볼륨 의료영상 데이터 전체 영역에 대하여 초기 특징점을 자동으로 검출할 수 있다. 초기 자동 검출에 앞서 3차원 볼륨 데이터를 완전 컨볼루션 신경망 딥러닝 모델에 맞는 형태로 처리하는 과정을 거친다. 이러한 처리 과정을 전처리라고 부를 수 있다. 상기 밝기 값 투영 영상 생성부(100)는 전처리를 수행할 수 있다.
전처리는 3차원 볼륨 의료영상 데이터의 밝기 값을 이용해 정면 방향 (Coronal View)과 측면 방향 (Sagittal View) 밝기 값 투영 영상을 각각 생성하는 영상처리 과정으로, 각 투영 방향으로 밝기 값을 스캔하여 투영 기준에 따른 값을 최종 투영 영상에 반영하는 방법이다.
상기 밝기 값 투영 영상 생성부(100)는 상기 3차원 볼륨 의료 영상을 입력 받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성할 수 있다.
상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성할 수 있다. 예를 들어, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성할 수 있다. 이와는 달리, 상기 밝기 값 투영 영상 생성부(100)는 3차원 볼륨 의료 영상의 밝기 값들의 최대값, 최소값, 평균값, 중간값 등을 이용하여 상기 2차원 밝기 값 투영 영상을 생성할 수 있다.
도 7에서 보듯이, 상기 2차원 밝기 값 투영 영상은 정면 밝기 값 투영 영상(도 7의 좌측) 및 측면 밝기 값 투영 영상(도 7의 우측)을 포함할 수 있다.
이 때, 상기 초기 특징점 자동 검출부(200)는 동일한 구조의 딥러닝 모델을 정면 밝기 값 투영 영상과 측면 밝기 값 투영 영상에 대해 각각 학습시킨 후 사용한다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 컨볼루션 신경망에 통과시킬 수 있다.
도 8은 도 2의 초기 특징점 자동 검출부(200)에 의해 검출되는 해부학적 초기 특징점을 나타내는 도면이다.
도 1 내지 도 8을 참조하면, 상기 초기 특징점 자동 검출부(200)는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출할 수 있다.
전처리 과정을 통해 생성된 상기 2차원 밝기 값 투영 영상을 입력 영상으로 하여, 완전 컨볼루션 신경망 딥러닝 모델이 투영 영상에서의 특징점을 자동으로 검출하도록 하는 학습과정을 거친다. 완전 컨볼루션 신경망 딥러닝 모델은 컨볼루션 층으로 구성된 신경망 딥러닝 모델이다.
도 8은 각 방향의 투영 영상에서 학습이 완료된 완전 컨볼루션 신경망 딥러닝 모델로 자동 검출한 초기 특징점 검출 결과의 예시이다. 도 8의 좌측은 정면 밝기 값 투영 영상 결과 (Coronal View)를 나타내고 도 8의 우측은 측면 밝기 값 투영 영상 결과 (Sagittal View)를 나타내며, 도 8에서 검정색 점은 학습에 사용한 정답 특징점의 위치를 나타내고, 흰색 점은 완전 컨볼루션 신경망 딥러닝 모델에서 자동 검출된 초기 특징점의 위치를 나타낸다.
예를 들어, 상기 초기 특징점 자동 검출부(200)는 2차원의 초기 특징점을 3차원의 초기 특징점으로 변환할 수 있다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 밝기 값 투영 영상을 기초로 정면 해부학적 초기 특징점을 검출하고, 상기 측면 밝기 값 투영 영상을 기초로 측면 해부학적 초기 특징점을 검출할 수 있다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 해부학적 초기 특징점 및 상기 측면 해부학적 초기 특징점을 조합하여 3차원의 상기 해부학적 초기 특징점을 계산할 수 있다.
도 9는 도 2의 3차원 관심 볼륨 영역 생성부(300)에 의해 생성되는 3차원 관심 볼륨 영역의 예시를 나타내는 도면이다.
도 1 내지 도 9를 참조하면, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역(VOI)을 생성할 수 있다.
(2) 세부 자동 검출 단계에서는 (1) 초기 자동 특징점 검출 단계의 결과를 이용하여 세부 영역에서 특징점을 검출하는 단계이다. 먼저 초기 특징점 자동 검출 결과를 이용해, 원본 3차원 볼륨 의료영상 데이터로부터 3차원 관심 볼륨 영역(VOI)을 자동으로 추출한다. 각 3차원 관심 볼륨 영역(VOI)은 각 초기 특징점을 중심으로 하여 일정 영역을 포함하는 3차원 볼륨 영역으로, 정육면체 형태의 영역일 수 있다.
도 9에서 좌측은 제1 초기 특징점에 대한 3차원 관심 볼륨 영역을 나타내고, 도 9에서 우측은 상기 제1 초기 특징점과 다른 제2 초기 특징점에 대한 3차원 관심 볼륨 영역을 나타낸다.
이와 같이, 상기 3차원 관심 볼륨 영역(VOI)의 개수는 3차원의 해부학적 초기 특징점의 개수와 일치할 수 있다.
예를 들어, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 상기 3차원 관심 볼륨 영역(VOI)을 형성할 수 있다. 이 때, 상기 3차원 관심 볼륨 영역(VOI)의 중심은 상기 해부학적 초기 특징점의 좌표일 수 있다.
예를 들어, 상기 해부학적 초기 특징점을 이용하여 10×10×10 크기의 상기 3차원 관심 볼륨 영역(VOI)을 만든다면, 상기 3차원 관심 볼륨 영역(VOI) 내에서 상기 해부학적 초기 특징점의 좌표는 (5, 5, 5)일 수 있다.
상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역(VOI)을 기초로, 상기 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출할 수 있다. 상기 제2 컨볼루션 신경망을 거쳐 생성되는 상기 해부학적 세부 특징점의 좌표는 상기 3차원 관심 볼륨 영역(VOI) 내에서 (5, 5, 5)가 아닐 수 있다. 예를 들어, 상기 제2 컨볼루션 신경망을 거쳐 생성되는 상기 해부학적 세부 특징점의 좌표가 (5, 6, 7)이라면, 상기 세부 특징점의 위치가 상기 초기 특징점에 비해 y축으로 1만큼, z축으로 2만큼 이동한 것을 의미할 수 있다.
본 실시예에서는, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점을 기초로 상기 3차원 관심 볼륨 영역(VOI)을 생성하고, 상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역(VOI)에 대해서만 제2 컨볼루션 신경망을 통과시키므로, 상기 3차원 볼륨 의료 영상을 상기 제2 컨볼루션 신경망에 그대로 통과시키는 경우에 비해 계산량을 크게 감소시킬 수 있고, 세부 특징점 검출의 정확도를 더욱 향상시킬 수 있다.
도 10a는 도 2의 초기 특징점 자동 검출부(200)가 이용하는 제1 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다. 도 10b는 도 2의 세부 특징점 자동 검출부(400)가 이용하는 제2 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 1 내지 도 10b를 참조하면, 상기 초기 특징점 자동 검출부(200)가 이용하는 제1 컨볼루션 신경망과 상기 세부 특징점 자동 검출부(200)가 이용하는 제2 컨볼루션 신경망은 서로 다를 수 있다.
상기 제1 컨볼루션 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)이고, 상기 제2 컨볼루션 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 3차원 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)일 수 있다. 상기 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)은 모든 연산이 컨볼루션으로만 구성된 심층 신경망을 의미할 수 있다.
도 10a에서 H는 2차원 입력 영상의 높이, W는 2차원 입력 영상의 폭을 나타낼 수 있고, k는 커널의 높이 및 폭을 나타낼 수 있다. 도 10b에서 H는 3차원 입력 영상의 높이, W는 3차원 입력 영상의 폭, L은 3차원 입력 영상의 길이를 나타낼 수 있고, k는 커널의 높이 및 폭을 나타내며, d는 커널의 길이를 나타낼 수 있다.
상기한 바와 같이, 상기 제1 컨볼루션 신경망의 입력 데이터는 상기 2차원 밝기 값 투영 영상(예컨대, 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상)이고, 상기 제1 컨볼루션 신경망의 출력 데이터는 해부학적 임시 초기 특징점을 포함하며, 상기 해부학적 임시 초기 특징점에 해당하는 위치가 가장 큰 값을 갖는 2차원 영상일 수 있다.
상기 초기 특징점 자동 검출부(200)는 상기 해부학적 임시 초기 특징점을 3차원으로 변환하여 상기 해부학적 초기 특징점을 생성할 수 있다.
상기 제2 컨볼루션 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역(VOI)이고, 상기 제2 컨볼루션 신경망의 출력 데이터는 해부학적 임시 세부 특징점을 포함하며, 상기 해부학적 임시 세부 특징점에 해당하는 위치가 가장 큰 값을 갖는 3차원 볼륨 영상일 수 있다.
상기 세부 특징점 자동 검출부(400)는 상기 해부학적 임시 세부 특징점을 상기 3차원 볼륨 의료 영상 내의 좌표로 변환하여 최종적으로 상기 해부학적 세부 특징점을 검출할 수 있다.
도 11은 도 2의 세부 특징점 자동 검출부에 의해 검출되는 해부학적 세부 특징점을 나타내는 도면이다.
도 1 내지 도 11을 참조하면, 자동 추출된 초기 특징점별 3차원 관심 볼륨 영역(VOI) 데이터를 입력 영상으로 하여, 3차원 완전 컨볼루션 신경망 딥러닝 모델이 3차원 관심 볼륨영역의 3차원 특징점을 자동으로 세부 검출하도록 하는 학습과정을 거친다. 3차원 완전 컨볼루션 신경망 딥러닝 모델은 3차원 컨볼루션 층으로 구성된 신경망 딥러닝 모델이다.
이 때, 서로 다른 특징점의 3차원 관심 볼륨 영역(VOI)에 대하여 하나의 딥러닝 모델을 사용하여 학습시킨 후 사용한다. 도 11은 학습된 딥러닝 모델로부터 자동으로 세부 검출된 원본 3차원 볼륨 의료 영상 데이터에서의 최종 특징점 결과 예시를 보여준다.
도 11에서 검정색 점은 학습에 사용한 정답 세부 특징점의 위치를 나타내고, 흰색 점은 3차원 완전 컨볼루션 신경망 딥러닝 모델에서 자동 검출된 세부 특징점의 위치를 나타낸다.
본 실시예에 따르면, 3차원 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있다.
특히, 3차원 볼륨 의료영상에서 환자의 악안면 및 구강의 해부학적 3차원 특징점을 짧은 시간에 자동으로 검출할 수 있고, 자동 검출된 특징점을 기반으로 환자의 악안면 및 구강을 쉽게 계측 및 분석할 수 있다.
CBCT와 같이 화질이 낮고 노이즈가 심한 볼륨 데이터의 경우 정확한 3차원 모델 추출이 어려워 3차원 모델을 2차원으로 투영시키는 종래의 방법이 적용되기 어렵고, 치아 보철물이나 교정 장치로 인해 금속 노이즈가 빈번히 발생하여 3차원 모델로 추출하기 어려운 치아 특징점에 대해서도 같은 이유로 종래의 방법이 적용되기 어렵다. 또한 골 표면이나 연조직 및 경조직 경계에 존재하지 않는 해부학적 특징점(예를 들면 Sella turcica의 중심점이나 치아 뿌리 관련 특징점)은 3차원 모델 표면에 존재하지 않기 때문에 종래의 방법을 자동 검출될 수 없다. 그러나, 본 발명에 따르면, 화질이 낮고 노이즈가 심한 3차원 볼륨 데이터에 대해서도 정확한 해부학적 특징점의 자동 검출이 가능하고, 치아 보철물이나 교정 장치 등 금속 노이즈가 있는 경우에도 정확하게 해부학적 특징점을 자동 검출할 수 있으며, 골 표면이나, 연조직 및 경조직의 경계에 존재하지 않는 해부학적 특징점도 자동 검출할 수 있다.
본 발명의 일 실시예에 의하면, 전술한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구형될 수 있다.
본 발명은 3차원 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 대한 것으로, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이 간단하고 신속하며 정확하게 환자의 해부학적 특징점을 검출할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (21)

  1. 3차원 볼륨 의료 영상을 입력받는 단계;
    상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계;
    상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계;
    상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계; 및
    상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계를 포함하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  2. 제1항에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  3. 제2항에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  4. 제1항에 있어서, 상기 2차원 밝기 값 투영 영상은 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  5. 제4항에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 컨볼루션 신경망에 통과시키는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  6. 제4항에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는
    상기 정면 밝기 값 투영 영상을 기초로 정면 해부학적 초기 특징점을 검출하는 단계;
    상기 측면 밝기 값 투영 영상을 기초로 측면 해부학적 초기 특징점을 검출하는 단계; 및
    상기 정면 해부학적 초기 특징점 및 상기 측면 해부학적 초기 특징점을 조합하여 3차원의 상기 해부학적 초기 특징점을 계산하는 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  7. 제1항에 있어서, 상기 제1 컨볼루션 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망이고,
    상기 제2 컨볼루션 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 3차원 완전 컨볼루션 심층 신경망인 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  8. 제7항에 있어서, 상기 제1 컨볼루션 신경망의 입력 데이터는 상기 2차원 밝기 값 투영 영상이고, 상기 제1 컨볼루션 신경망의 출력 데이터는 해부학적 임시 초기 특징점을 포함하며, 상기 해부학적 임시 초기 특징점에 해당하는 위치가 가장 큰 값을 갖는 2차원 영상이고,
    상기 제2 컨볼루션 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역이고, 상기 제2 컨볼루션 신경망의 출력 데이터는 해부학적 임시 세부 특징점을 포함하며, 상기 해부학적 임시 세부 특징점에 해당하는 위치가 가장 큰 값을 갖는 3차원 볼륨 영상인 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  9. 제1항에 있어서, 상기 3차원 관심 볼륨 영역을 생성하는 단계는 상기 해부학적 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 형성하며,
    상기 3차원 관심 볼륨 영역의 중심은 상기 해부학적 초기 특징점의 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  10. 제1항에 있어서, 상기 해부학적 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  11. 제10항에 있어서, 상기 제1 세부 특징점은 Nasion, Anterior Nasal Spine, Point-A, Posterior Nasal Spine, Point-B, Pogonion, Gnathion, Right/Left of Orbitale Superius, Right/Left of Orbitale Inferius, Right/Left of Sutura Zygomaticofrontale, Right/Left of Foramen Mentale, Basion, Right Porion, Right/Left of Condylus Medialis, Right/Left of Condylus Lateralis, Right/Left of Areus Zygomatieus, Right/Left of Inferior Gonion, Right/Left of Posterior Gonion 및 Right of Processus Coronoideus를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  12. 제10항에 있어서, 상기 해부학적 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  13. 제12항에 있어서, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  14. 제12항에 있어서, 상기 해부학적 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  15. 제14항에 있어서, 상기 제3 세부 특징점은 Glabella, Soft Tissue Nasion, Pronasale, Subnasale, Upper Lip Superior, Lower Lip Superior, Soft Tissue Pogonion, Soft Tissue Gnathion 및 Soft Tissue B-point를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  16. 제14항에 있어서, 상기 해부학적 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  17. 제16항에 있어서, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root 및 Canine Root를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  18. 제16항에 있어서, 상기 해부학적 세부 특징점은 상기 치아에 관련되며 상기 치아 상에 존재하는 제5 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  19. 제18항에 있어서, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  20. 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 밝기 값 투영 영상 생성부;
    상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 초기 특징점 자동 검출부;
    상기 3차원 볼륨 의료 영상을 입력받고, 상기 해부학적 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성하는 3차원 관심 볼륨 영역 생성부; 및
    상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 세부 특징점 자동 검출부를 포함하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치.
  21. 제1항 내지 19항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2020/006789 2020-04-16 2020-05-26 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치 WO2021210723A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20931280.0A EP4074259A4 (en) 2020-04-16 2020-05-26 METHOD AND DEVICE FOR AUTOMATIC RECOGNITION OF FEATURE POINTS FROM THREE-DIMENSIONAL MEDICAL IMAGE DATA USING DEPTH LEARNING
US17/295,916 US11995820B2 (en) 2020-04-16 2020-05-26 Method and apparatus for automated detection of landmarks from 3D medical image data based on deep learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0045924 2020-04-16
KR1020200045924A KR102334480B1 (ko) 2020-04-16 2020-04-16 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021210723A1 true WO2021210723A1 (ko) 2021-10-21

Family

ID=78084095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/006789 WO2021210723A1 (ko) 2020-04-16 2020-05-26 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치

Country Status (3)

Country Link
EP (1) EP4074259A4 (ko)
KR (2) KR102334480B1 (ko)
WO (1) WO2021210723A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220215201A1 (en) * 2021-01-07 2022-07-07 Nvidia Corporation Targeted object detection in image processing applications
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102512005B1 (ko) * 2022-05-04 2023-03-21 이마고웍스 주식회사 3차원 구강 스캔 데이터에 3차원 단일 치아 모델을 자동 정렬하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20230160995A (ko) 2022-05-17 2023-11-27 주식회사 애마슈 3차원 볼륨 영상으로부터 랜드마크를 검출하기 위한 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882326A (zh) * 2010-05-18 2010-11-10 广州市刑事科学技术研究所 基于中国人全面部结构形数据的三维颅面复原方法
KR20120086084A (ko) * 2011-01-25 2012-08-02 삼성전자주식회사 3차원 의료 영상으로부터 최적의 2차원 의료 영상을 자동으로 생성하는 방법 및 장치
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
KR102015223B1 (ko) * 2018-08-17 2019-10-21 (주)제이엘케이인스펙션 3차원 자기공명영상과 다평면 혈관투영영상을 활용한 뇌질환 진단 방법 및 장치
KR20200023703A (ko) * 2018-08-21 2020-03-06 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613159B1 (ko) 2014-12-31 2016-04-20 오스템임플란트 주식회사 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
US10210613B2 (en) 2016-05-12 2019-02-19 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
KR102070256B1 (ko) * 2018-06-01 2020-01-29 오스템임플란트 주식회사 교정 치료 플래닝을 위한 세팔로 영상 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR102044237B1 (ko) 2018-10-23 2019-11-13 연세대학교 산학협력단 2차원 음영 영상 기반 기계학습을 이용한 자동 3차원 랜드마크 검출 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882326A (zh) * 2010-05-18 2010-11-10 广州市刑事科学技术研究所 基于中国人全面部结构形数据的三维颅面复原方法
KR20120086084A (ko) * 2011-01-25 2012-08-02 삼성전자주식회사 3차원 의료 영상으로부터 최적의 2차원 의료 영상을 자동으로 생성하는 방법 및 장치
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
KR102015223B1 (ko) * 2018-08-17 2019-10-21 (주)제이엘케이인스펙션 3차원 자기공명영상과 다평면 혈관투영영상을 활용한 뇌질환 진단 방법 및 장치
KR20200023703A (ko) * 2018-08-21 2020-03-06 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4074259A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
US20220215201A1 (en) * 2021-01-07 2022-07-07 Nvidia Corporation Targeted object detection in image processing applications
US11568625B2 (en) * 2021-01-07 2023-01-31 Nvidia Corporation Targeted object detection in image processing applications

Also Published As

Publication number Publication date
KR102373500B1 (ko) 2022-03-14
EP4074259A4 (en) 2023-06-07
KR20210128535A (ko) 2021-10-27
EP4074259A1 (en) 2022-10-19
KR102334480B1 (ko) 2021-12-06
KR20210146857A (ko) 2021-12-06
US20230024671A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
WO2021210723A1 (ko) 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
US8244028B2 (en) Virtual cephalometric imaging
WO2022131419A1 (ko) 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022164126A1 (ko) 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
Bulatova et al. Assessment of automatic cephalometric landmark identification using artificial intelligence
WO2016003255A2 (ko) 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
WO2016003257A2 (ko) 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
WO2018080194A1 (ko) 구강 병변의 진단 시스템 및 방법
CN111768497B (zh) 一种头部动态虚拟模型的三维重建方法、装置及系统
WO2021157966A1 (ko) 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
WO2021215582A1 (ko) 치주염 자동 진단 방법 및 이를 구현하는 프로그램
WO2022124462A1 (ko) 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022131418A1 (ko) 치과용 3차원 스캔 데이터의 간소화된 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2017191878A1 (ko) 치아 움직임 추적 장치 및 그 방법
WO2021025296A1 (ko) 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치
WO2023274690A1 (en) Non-invasive periodontal examination
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
CN115886863A (zh) 全颅底为基准平面的牙齿与面骨三维重叠测量方法及设备
WO2023163263A1 (ko) 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2023229152A1 (ko) 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램
WO2020067636A1 (ko) 엑스선 영상 생성 방법, 엑스선 영상 생성 장치 및 컴퓨터 판독 가능한 기록 매체
Doan et al. The accuracy (trueness and precision) of Bellus3DARC-7 and an in-vivo analysis of intra and inter-examiner reliability of digital and manual anthropometry
WO2022197016A1 (ko) 데이터 처리 방법
Nunes et al. Orofacial assessment as digital path for forensic and legal evidence-record

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20931280

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020931280

Country of ref document: EP

Effective date: 20220713

NENP Non-entry into the national phase

Ref country code: DE