WO2021210966A1 - 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법, 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법, 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
WO2021210966A1
WO2021210966A1 PCT/KR2021/004839 KR2021004839W WO2021210966A1 WO 2021210966 A1 WO2021210966 A1 WO 2021210966A1 KR 2021004839 W KR2021004839 W KR 2021004839W WO 2021210966 A1 WO2021210966 A1 WO 2021210966A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
scan data
point
vector
dimensional
Prior art date
Application number
PCT/KR2021/004839
Other languages
English (en)
French (fr)
Inventor
최진혁
김한나
신봉주
손태근
김영준
Original Assignee
이마고웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200045924A external-priority patent/KR102334480B1/ko
Priority claimed from KR1020200104934A external-priority patent/KR102334485B1/ko
Priority claimed from KR1020200117978A external-priority patent/KR102331038B1/ko
Priority claimed from KR1020200172656A external-priority patent/KR102331034B1/ko
Priority claimed from KR1020200174713A external-priority patent/KR102334519B1/ko
Priority claimed from KR1020200177353A external-priority patent/KR102302587B1/ko
Application filed by 이마고웍스 주식회사 filed Critical 이마고웍스 주식회사
Publication of WO2021210966A1 publication Critical patent/WO2021210966A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method and apparatus for automatically detecting feature points of 3D medical image data, and more particularly, to a method and apparatus for automatically detecting feature points of 3D medical image data using deep learning.
  • the present invention relates to a method for automating dental three-dimensional data position alignment and a computer-readable recording medium in which a program for executing the same is recorded on a computer, and more particularly, to a dental CT image and a digital impression model. It relates to a method for automating the alignment of three-dimensional data for dental use that can reduce time and effort for registration, and to a computer-readable recording medium in which a program for executing the same in a computer is recorded.
  • the present invention relates to a method for automatically detecting landmarks in dental three-dimensional scan data and a computer-readable recording medium in which a program for executing the same on a computer is recorded, and more particularly, to a dental CT image and digital It relates to a method for automatically detecting landmarks in dental three-dimensional scan data that can reduce time and effort for matching impression models, and to a computer-readable recording medium in which a program for executing the same on a computer is recorded.
  • the present invention relates to a method for determining the matching accuracy of a three-dimensional dental CT image and a three-dimensional digital impression model, and to a computer-readable recording medium in which a program for executing the same on a computer is recorded, and more particularly, to a computer-readable recording medium
  • a method for determining the registration accuracy of a 3D dental CT image and a 3D digital impression model that can reduce the time and effort for determining the accuracy of the registration result of a 3D dental CT image and a 3D digital impression model by performing the It relates to a computer-readable recording medium in which a program to be executed in a computer is recorded.
  • Computed Tomography CT
  • Cone-beam CT CBCT
  • Magnetic Resonance Imaging MRI
  • an analysis process of 3D volume data In order to establish a diagnosis and treatment plan, or to compare before/after treatment, an analysis process of 3D volume data must be performed.
  • This analysis process is a process of marking the patient's anatomical feature points in 3D volume data, and measuring the distance, ratio, and angle between the feature points.
  • a technique for automatically detecting it is required. .
  • 3D patient medical image data and 3D digital impression model scan data are used for diagnosis, analysis, and prosthesis production.
  • the two data have different information, and when combined into one, it is more effective and various diagnosis, analysis, and production are possible.
  • a matching process to match the two data is required.
  • Selecting six feature points from two different three-dimensional data, a dental CT image and a digital impression model may take a lot of time and effort. Also, even if the feature points are found using artificial intelligence, the found feature points may not exactly match each other. In addition, when there is a missing tooth or when the data areas are different, the result of the initial registration may not be good only with the feature point.
  • CT Computed Tomography
  • CBCT Cone Beam Computed Tomography
  • CT 3D volume data required when diagnosing oral and maxillofacial conditions or establishing surgery and treatment plans in dentistry, plastic surgery, etc.
  • soft tissue such as the tongue or lips
  • various information such as the position and shape of neural tube existing inside the bone are included.
  • metallic materials in the oral cavity such as implants, orthodontic devices, and dental crowns, which the patient has previously treated, metal artifacts occur in CT, an X-ray-based image, and the teeth and surrounding areas are significantly distorted and identified. and difficulties in diagnosis.
  • a 3D digital scan model is acquired and used. This is obtained by directly scanning the patient's oral cavity, or data is obtained by scanning the patient's plaster impression model. .
  • a matching process of overlapping data of different modalities is performed.
  • the same location on the CT scan data is matched by the user manually setting each landmark.
  • scan data of the same patient acquired at different times may be matched in the same way for treatment progress or before-and-after comparison. Since registration results are important basic data for treatment and surgery, it is very important to increase the accuracy of registration.
  • the location of landmarks which are the matching standards, requires high accuracy because it becomes the basis of planning work for placing the implant in the optimal position by grasping the location of the neural tube, tissue, etc.
  • manually marking a three-dimensional landmark in two different types of data on a consistent basis or at a fixed location is difficult and takes a lot of time, and there is a deviation for each user.
  • An object of the present invention is a 3D medical image using deep learning that can automatically detect anatomical feature points of a patient using 3D volume data itself without user input or a separate 3D model extraction process. It is to provide a method for automatically detecting feature points of data.
  • Another object of the present invention is to provide an apparatus for performing a method for automatically detecting feature points of 3D medical image data using the deep learning.
  • Another object of the present invention is to provide a computer-readable recording medium in which a program for executing the dental three-dimensional data position alignment automation method on a computer is recorded.
  • An object of the present invention is to automatically detect the landmark of the 3D scan data for dental use in order to reduce the time and effort for matching the dental CT image and the 3D scan data. To provide a detection method.
  • Another object of the present invention is to provide a computer-readable recording medium in which a program for executing the automatic landmark detection method of the dental three-dimensional scan data is recorded on a computer.
  • An object of the present invention is a 3D dental CT image and 3D dental CT image that can be automatically performed by deep learning to reduce the time and effort for determining the accuracy of the registration result of the 3D dental CT image and the 3D digital impression model. It is to provide a method for determining the matching accuracy of a dimensional digital impression model.
  • Another object of the present invention is to provide a computer-readable recording medium in which a program for executing a method for determining matching accuracy between the three-dimensional dental CT image and a three-dimensional digital impression model is recorded on a computer.
  • a method for automatically detecting feature points of 3D medical image data using deep learning includes the steps of receiving a 3D volume medical image, and 2 based on the 3D volumetric medical image. generating a dimensional brightness value projection image; automatically detecting an anatomical initial feature point using a first convolutional neural network based on the two-dimensional luminance value projection image; generating a volume-of-interest region; and automatically detecting detailed anatomical feature points using a second convolutional neural network different from the first convolutional neural network based on the three-dimensional volume-of-interest region.
  • the 2D brightness value projection image may be generated by projecting brightness values of the 3D volume medical image in one direction.
  • the 2D brightness value projection image may be generated by calculating a standard deviation of the brightness values of the 3D volume medical image in the one direction.
  • the 2D luminance value projection image may include a front luminance value projection image and a side luminance value projection image.
  • the automatically detecting the anatomical initial feature point may include passing the front brightness value projection image and the side brightness value projection image through the same first convolutional neural network.
  • the automatically detecting the anatomical initial feature point includes: detecting the frontal anatomical initial feature point based on the frontal brightness value projection image;
  • the method may include detecting an initial anatomical feature point and calculating the three-dimensional initial anatomical feature point by combining the frontal anatomical initial feature point and the lateral anatomical initial feature point.
  • the first convolutional neural network may be a two-dimensional fully convolutional deep neural network that outputs a two-dimensional output based on a two-dimensional input.
  • the second convolutional neural network may be a three-dimensional fully convolutional deep neural network that outputs a three-dimensional output based on a three-dimensional input.
  • the input data of the first convolutional neural network is the two-dimensional brightness value projection image
  • the output data of the first convolutional neural network includes an anatomical temporary initial feature point
  • the anatomical The position corresponding to the temporary initial feature point may be a 2D image having the largest value.
  • the input data of the second convolutional neural network is the three-dimensional volume of interest region, and the output data of the second convolutional neural network includes an anatomical temporary detailed feature point, and the position corresponding to the anatomical temporary detailed feature point is the largest. It may be a 3D volume image having a value.
  • the generating of the 3D volume of interest region may be formed by extending from the coordinates of the initial anatomical feature point in the x-axis, y-axis, and z-axis directions, respectively.
  • a center of the 3D volume of interest region may be a coordinate of the anatomical initial feature point.
  • the detailed anatomical feature point may include a first detailed feature point existing on the surface of the maxillofacial bone.
  • the first detailed feature point is Nasion, Anterior Nasal Spine, Point-A, Posterior Nasal Spine, Point-B, Pogonion, Gnathion, Right/Left of Orbital Superius, Right/Left of Orbital Inferius , Right/Left of Sutura Zygomaticofrontale, Right/Left of Foramen Mentale, Basion, Right Porion, Right/Left of Condylus Medialis, Right/Left of Condylus Lateralis, Right/Left of Areus Zygomatieus, Right/Left of Inferior Gonion, Right/ Left of Posterior Gonion and Right of Processus Coronoideus.
  • the detailed anatomical feature point may include a second detailed feature point existing in the middle of the soft tissue of the maxillofacial face.
  • the second detailed feature point may include Sella, which is the center of Sella turcica.
  • the detailed anatomical feature point may include a third detailed feature point existing on the skin surface of the maxillofacial.
  • the third detailed feature point may include Glabella, Soft Tissue Nasion, Pronasale, Subnasale, Upper Lip Superior, Lower Lip Superior, Soft Tissue Pogonion, Soft Tissue Gnathion, and Soft Tissue B-point. have.
  • the detailed anatomical feature point may include a fourth detailed feature point related to a tooth and existing inside the jawbone.
  • the fourth detailed feature point may include a Central Incisor Root, First Molar Distal Root, and Canine Root.
  • the detailed anatomical feature point may include a fifth detailed feature point related to the tooth and present on the tooth.
  • the fifth detailed feature point may include a Mid Point of Central Incisors, a Distal Point of First Molar Crown, a Cusp Tip, and a Distal Point of Canine Crown.
  • An apparatus for automatically detecting a feature point of 3D medical image data using deep learning includes a brightness value projection image generator, an initial feature point automatic detector, a three-dimensional volume of interest generator and A detailed feature point automatic detection unit is included.
  • the brightness value projection image generator receives a 3D volumetric medical image and generates a 2D brightness value projection image based on the 3D volumetric medical image.
  • the automatic initial feature point detection unit automatically detects an anatomical initial feature point using a first convolutional neural network based on the two-dimensional brightness value projection image.
  • the 3D volume-of-interest region generating unit receives the 3D volumetric medical image, and generates a 3D volume-of-interest region from the 3D volumetric medical image based on the initial anatomical feature point.
  • the automatic detailed feature detection unit automatically detects detailed anatomical features using a second convolutional neural network different from the first convolutional neural network, based on the 3D volume of interest region.
  • a program for executing the method for automatically detecting feature points of 3D medical image data using deep learning in a computer may be recorded in a computer-readable recording medium.
  • a dental three-dimensional data position alignment automation method includes extracting feature points of CT data, extracting feature points of scan data of a digital impression model, and a patient's eye Determining the up vector indicating the direction of the nose and the nose and the left and right of the feature point of the scan data, extracting the tooth part of the scan data, searching for the source point of the scan data on the spline curve of the CT data to find a candidate generating a target point, and determining a value having the smallest error between the candidate target point and a feature point of the CT data as a final candidate.
  • the feature points of the CT data may include three or more feature points in the upper jaw and three or more feature points in the lower jaw.
  • the feature point of the scan data may include three feature points.
  • the first feature point and the third feature point of the scan data may represent the outermost point of the tooth of the scan data in the lateral direction, respectively.
  • the second feature point of the scan data may be between two central incisors.
  • the step of determining the left and right of the feature point of the scan data includes the first feature point of the scan data , the second characteristic point , the third characteristic point and the average vector of the normal vectors at all points constituting the mesh of the scan data when said, vector and Cross product of vectors and the mean vector can be used to determine the left and right of the feature point of the scan data.
  • the up vector in the step of determining the up vector, is and the left tooth feature point indicating the outer point of the patient's left tooth is and the right tooth characteristic point indicating the outer point of the patient's right tooth is and a second feature point of the scan data and when the scan data is maxillary data, can be
  • the up vector in the step of determining the up vector, is and the left tooth feature point indicating the outer point of the patient's left tooth is and the right tooth characteristic point indicating the outer point of the patient's right tooth is and a second feature point of the scan data and when the scan data is mandibular data, can be
  • the method for automating the alignment of the 3D data for dentistry may further include determining whether the CT data and the scan data have the same area.
  • th is a first threshold value for determining whether the CT data and the scan data have the same area
  • p1, p3, and p5 are feature points of the CT data
  • one of the first feature points, the second feature points, and the third feature points of the scan data is in the up vector direction. extracting the highest point, cutting the scan data in an infinite plane using the up vector as a normal vector to a first distance moving point in the positive direction of the up vector from the highest point, and the up vector from the highest point of the scan data
  • the method may include cutting the scan data in an infinite plane using the up vector as a normal vector to the second distance moving point in the negative direction of .
  • one of the first feature point, the second feature point, and the third feature point of the scan data is in the up vector direction. extracting a lowest point, cutting scan data in an infinite plane using the up vector as a normal vector to the first distance moving point in the positive direction of the up vector from the lowest point, and cutting the scan data from the lowest point of the scan data
  • the method may further include cutting the scan data in an infinite plane using the up vector as a normal vector to the second distance moving point in the negative direction of the vector.
  • the step of extracting the tooth portion of the scan data includes a vector from the second feature point of the scan data toward the right tooth feature point. and a vector from the second feature point to the left tooth feature point
  • the step of extracting the tooth portion of the scan data includes a vector from the second feature point of the scan data toward the right tooth feature point. and a vector from the second feature point to the left tooth feature point
  • the third distance may be smaller than the first distance and the second distance.
  • the step of extracting the tooth portion of the scan data comprises the right tooth feature point.
  • the step of extracting the tooth portion of the scan data comprises the right tooth feature point.
  • the Using a first vector rotated by +90 degrees from a vector as a normal vector and cutting the scan data in an infinite plane at a point moved by a fourth distance to the first vector the right tooth feature point At a point moved by the third distance in the vector direction, the Using a second vector rotated by -90 degrees from the vector as a normal vector and cutting the scan data in an infinite plane at a point moved by the fourth distance to the second vector, the left tooth feature point At a point moved by the third distance in the vector direction, the Using a third vector rotated by -90 degrees from the vector as a normal vector, cutting the scan data in an infinite plane at a point moved by the fourth distance to the third vector, and the left tooth feature point At a point moved by the third distance in the vector direction, the The method may further include using a fourth vector rotated by +90 degrees from the
  • the fourth distance may be greater than the first distance, the second distance, and the third distance.
  • the step of extracting the tooth portion of the scan data includes the second feature point of the scan data. vector and above sum of vectors At a point moved by a fifth distance in the vector direction, the cutting the scan data into an infinite plane with a vector as a normal vector and at the second feature point of the scan data - At the point moved by the fifth distance in the vector direction, the - The method may further include cutting the scan data in an infinite plane using a vector as a normal vector.
  • the generating of a candidate target point by searching for a source point of the scan data on a spline curve of the CT data includes a plurality of feature points of the upper jaw of the CT data or the mandible of the CT data.
  • the method may include calculating the spline curve, C(u), based on a plurality of feature points.
  • the source point may include three points: a left tooth feature point, a second feature point, and the right tooth feature point.
  • d11
  • d11, d12, and d13
  • the step of determining a value having the smallest error between the candidate target point and the feature point of the CT data as a final candidate transforms the candidate target point into the domain of the CT data using a transformation matrix. and measuring a transformation error as an average of distances between the transformed candidate target points and the feature points of the CT data.
  • a program for executing the method for automating the alignment of the dental three-dimensional data position in a computer may be recorded in a computer-readable recording medium.
  • a dental three-dimensional data position alignment automation method includes extracting feature points of CT data, extracting feature points of scan data of a digital impression model, and a patient's eye determining the left and right of the feature point of the scan data and the up vector indicating the direction in which the nose and the nose are located; determining whether the CT data and the scan data have the same area; extracting the tooth part of the scan data; generating a candidate target point by searching a source point of the scan data on a spline curve of the CT data when the CT data and the scan data have different regions; and among the candidate target points, the CT data and the scan data and recommending a value having the smallest matching error as a final candidate.
  • th is a first threshold value for determining whether the CT data and the scan data have the same area
  • p1, p3, and p5 are feature points of the CT data
  • p1 p3, and p5 are feature points of the CT data
  • the step of determining the left and right of the feature point of the scan data includes the first feature point of the scan data , the second characteristic point , the third characteristic point and the average vector of the normal vectors at all points constituting the mesh of the scan data when said, vector and Cross product of vectors and the mean vector can be used to determine the left and right of the feature point of the scan data.
  • the up vector in the step of determining the up vector, is and the left tooth feature point indicating the outer point of the patient's left tooth is and the right tooth characteristic point indicating the outer point of the patient's right tooth is and a second feature point of the scan data and when the scan data is maxillary data, can be
  • the up vector in the step of determining the up vector, is and the left tooth feature point indicating the outer point of the patient's left tooth is and the right tooth characteristic point indicating the outer point of the patient's right tooth is and a second feature point of the scan data and when the scan data is mandibular data, can be
  • one of the first feature points, the second feature points, and the third feature points of the scan data is in the up vector direction. extracting the highest point, cutting the scan data in an infinite plane using the up vector as a normal vector to a first distance moving point in the positive direction of the up vector from the highest point, and the up vector from the highest point of the scan data
  • the method may include cutting the scan data in an infinite plane using the up vector as a normal vector to the second distance moving point in the negative direction of .
  • one of the first feature point, the second feature point, and the third feature point of the scan data is in the up vector direction. extracting a lowest point, cutting scan data in an infinite plane using the up vector as a normal vector to the first distance moving point in the positive direction of the up vector from the lowest point, and cutting the scan data from the lowest point of the scan data
  • the method may further include cutting the scan data in an infinite plane using the up vector as a normal vector to the second distance moving point in the negative direction of the vector.
  • the step of extracting the tooth portion of the scan data includes a vector from the second feature point of the scan data toward the right tooth feature point. and a vector from the second feature point to the left tooth feature point
  • the step of extracting the tooth portion of the scan data includes a vector from the second feature point of the scan data toward the right tooth feature point. and a vector from the second feature point to the left tooth feature point
  • the step of extracting the tooth portion of the scan data comprises the right tooth feature point.
  • the step of extracting the tooth portion of the scan data comprises the right tooth feature point.
  • the Using a first vector rotated by +90 degrees from a vector as a normal vector and cutting the scan data in an infinite plane at a point moved by a fourth distance to the first vector the right tooth feature point At a point moved by the third distance in the vector direction, the Using a second vector rotated by -90 degrees from the vector as a normal vector and cutting the scan data in an infinite plane at a point moved by the fourth distance to the second vector, the left tooth feature point At a point moved by the third distance in the vector direction, the Using a third vector rotated by -90 degrees from the vector as a normal vector, cutting the scan data in an infinite plane at a point moved by the fourth distance to the third vector, and the left tooth feature point At a point moved by the third distance in the vector direction, the The method may further include using a fourth vector rotated by +90 degrees from the
  • the step of extracting the tooth portion of the scan data includes the second feature point of the scan data. vector and above sum of vectors At a point moved by a fifth distance in the vector direction, the cutting the scan data into an infinite plane with a vector as a normal vector and at the second feature point of the scan data - At the point moved by the fifth distance in the vector direction, the - The method may further include cutting the scan data in an infinite plane using a vector as a normal vector.
  • the generating of a candidate target point by searching for a source point of the scan data on a spline curve of the CT data includes a plurality of feature points of the upper jaw of the CT data or the mandible of the CT data.
  • the method may include calculating the spline curve, C(u), based on a plurality of feature points.
  • the source point may include three points: a left tooth feature point, a second feature point, and the right tooth feature point.
  • d11
  • d11, d12, and d13
  • a program for executing the method for automating the alignment of the dental three-dimensional data position in a computer may be recorded in a computer-readable recording medium.
  • a method for automatically detecting a landmark of a dental 3D scan data includes generating a 2D depth image by projecting the 3D scan data, a convolutional neural network model (convolutional neural network model) Classifying whether the two-dimensional depth image is full arch data obtained by scanning all teeth of the patient or partial arch data obtained by scanning only a portion of the patient's teeth using a neural network model, a fully convolutional neural network detecting a two-dimensional landmark in the two-dimensional depth image using a fully-connected convolutional neural network model, and back-projecting the two-dimensional landmark to the three-dimensional scan data and detecting a three-dimensional landmark.
  • a convolutional neural network model convolutional neural network model
  • generating the 2D depth image may include determining the projection direction vector through principal component analysis of the 3D scan data.
  • the determining of the projection direction vector includes an average of a normal vector of the three-dimensional scan data. when, If w 3 is determined as the projection direction vector, If -w 3 can be determined as the projection direction vector.
  • the 2D depth image may be formed on a projection plane defined at a distance from the 3D scan data by a first distance with the projection direction vector as a normal vector.
  • the detecting of the 3D landmark may include inversely projecting the 2D landmark onto the 3D scan data in a direction opposite to the projection direction vector by using the projection direction vector.
  • the convolutional neural network model includes a feature extractor for extracting features of the two-dimensional depth image and a classifier for calculating a score for arch classification information based on the features extracted by the feature extractor.
  • the feature extractor may include a convolution layer including steps of extracting features of the 2D depth image and a pooling layer comprising steps of extracting the extracted features by classification. have.
  • detecting the two-dimensional landmark when the 2D depth image is the full arch data, a first fully convolutional neural network model learned using full arch learning data is used.
  • the first fully convolutional neural network model and the second fully convolutional neural network model are a convolution process for detecting a landmark feature in the two-dimensional depth image, respectively, and the detected landmark feature.
  • the convolution process and the deconvolution process may be repeatedly performed in the first fully convolutional neural network model.
  • the convolution process and the deconvolution process may be repeatedly performed.
  • the number of times that the convolution process and the deconvolution process are repeatedly performed in the first fully convolutional neural network model is the number of times that the convolution process and the deconvolution process are repeatedly performed in the second fully convolutional neural network model. may be different.
  • the number of times that the convolution process and the deconvolution process are repeatedly performed in the first fully convolutional neural network model is the number of times the convolution process and the deconvolution process are performed in the second fully convolutional neural network model. There may be more than the number of times that the convolution process is repeatedly performed.
  • the detecting of the two-dimensional landmark may further include learning the convolutional neural network model.
  • learning of the convolutional neural network model a learning 2D depth image and user-defined landmark information may be input.
  • the user-defined landmark information may use the type of the learning landmark and correct position information of the learning landmark in the learning 2D depth image.
  • the fully convolutional neural network model includes a convolution process for detecting landmark features in the two-dimensional depth image and a deconvolution process for adding landmark location information to the detected landmark features. can be performed.
  • the result of the deconvolution process may be in the form of a heat map corresponding to the number of the two-dimensional landmarks.
  • pixel coordinates having the largest value in the heat map may indicate the position of the two-dimensional landmark.
  • a program for executing the method of automatically detecting landmarks of the dental 3D scan data in a computer may be recorded in a computer-readable recording medium.
  • a method for automatically detecting a landmark of a dental 3D scan data includes generating a 2D depth image by projecting the 3D scan data, a fully convolutional neural network model (detecting a two-dimensional landmark in the two-dimensional depth image using a fully-connected convolutional neural network model) detecting the landmark.
  • generating the 2D depth image may include determining the projection direction vector through principal component analysis of the 3D scan data.
  • the determining of the projection direction vector includes an average of a normal vector of the three-dimensional scan data. when, If w 3 is determined as the projection direction vector, If -w 3 can be determined as the projection direction vector.
  • the 2D depth image may be formed on a projection plane defined at a distance from the 3D scan data by a first distance with the projection direction vector as a normal vector.
  • the detecting of the 3D landmark may include inversely projecting the 2D landmark onto the 3D scan data in a direction opposite to the projection direction vector by using the projection direction vector.
  • the fully convolutional neural network model includes a convolution process for detecting landmark features in the two-dimensional depth image and a deconvolution process for adding landmark location information to the detected landmark features. can be performed.
  • the convolution process and the deconvolution process may be repeatedly performed in the fully convolutional neural network model.
  • the result of the deconvolution process may be in the form of a heat map corresponding to the number of the two-dimensional landmarks.
  • pixel coordinates having the largest value in the heat map may indicate the position of the two-dimensional landmark.
  • the detecting of the two-dimensional landmark may further include learning the convolutional neural network model.
  • learning of the convolutional neural network model a learning 2D depth image and user-defined landmark information may be input.
  • the user-defined landmark information may use the type of the learning landmark and correct position information of the learning landmark in the learning 2D depth image.
  • a program for executing the method of automatically detecting landmarks of the dental 3D scan data in a computer may be recorded in a computer-readable recording medium.
  • the method for determining the matching accuracy of a 3D dental CT image and a 3D digital impression model is the 3D scan data and the 3D CT data registered in the registration data. Projecting the scan data in two dimensions to generate a scan projection image, projecting the three-dimensional CT data from the registration data in two dimensions to generate a CT projection image, a first convolutional neural network model ) inputting the frontal vertical frontal frontal scan projected image and the frontal vertical frontal CT projection image to determine the frontal registration accuracy, the second convolutional neural net model and determining lateral registration accuracy by inputting a lateral CT projection image of a direction, and determining final registration accuracy of the registration data based on the frontal registration accuracy and the lateral registration accuracy.
  • the scan projection image may be a projection depth image indicating a distance between the 3D scan data and a projection plane in terms of brightness.
  • the CT projection image may be generated by accumulating voxel values of the CT data along a projection direction.
  • the projection direction is A
  • the voxel value of the CT data is I(x, y, z)
  • the pixel value of the CT projection image is I(u) , v) when can be satisfied with
  • the CT projection image may be generated based on a standard deviation of voxel values of the CT data along a projection direction.
  • the CT projection image may be generated based on a maximum value of voxel values of the CT data along a projection direction.
  • the 3D CT data is projected in two dimensions to generate the front CT projection image direction may coincide.
  • a second direction in which the 3D scan data is projected in two dimensions to generate the side scan projection image may coincide with a direction in which the side CT projection image is generated by projecting the 3D CT data in two dimensions.
  • the first direction in which the front scan projection image is generated may be a front direction of the 3D CT data.
  • the second direction in which the side scan projection image is generated may be a side direction of the 3D CT data.
  • the first convolutional neural network model is based on a first feature extractor for extracting features of the front scan projection image and the front CT projection image, and features extracted by the first feature extractor and a first classifier for calculating a score as a result of matching the frontal scan projected image and the frontal CT projected image.
  • the second convolutional neural network model is based on a second feature extractor for extracting features of the lateral scan projection image and the lateral CT projection image, and features extracted by the second feature extractor and a second classifier for calculating a score as a result of matching the lateral scan projection image and the lateral CT projection image.
  • the first feature extractor performs the steps of extracting features of the front scan projected image and the front CT projected image, and a first convolutional layer extracted from the first convolutional layer. It may include a first pooling layer that performs the steps of culling features by classification.
  • the second feature extractor performs the steps of extracting the features of the lateral scan projected image and the lateral CT projected image by a second convolution layer and extracting features extracted from the second convolutional layer by classification. It may include a second pooling layer.
  • the first classifier generates a first matching success score r1 and a first matching failure score q1 based on the features extracted by the first feature extractor, and if r1 > q1, the first classifier The result of the first classifier may be determined as success, and if r1 ⁇ q1, the result of the first classifier may be determined as failure.
  • the second classifier generates a second matching success score r2 and a second matching failure score q2 based on the features extracted by the second feature extractor, and if r2 > q2, the result of the second classifier is determined to be successful, , if r2 ⁇ q2, the result of the second classifier may be determined to be a failure.
  • the final matching result is determined as a success; If at least one of the result of the first classifier and the result of the second classifier is a failure, the final matching result may be determined as a failure.
  • a program for executing the method for determining the matching accuracy of the three-dimensional dental CT image and the three-dimensional digital impression model in a computer may be recorded in a computer-readable recording medium.
  • accurate automatic detection of anatomical feature points is possible even for 3D volume data with low image quality and severe noise, and accurate anatomical feature points can be automatically detected even in the presence of metal noise such as dental prostheses or orthodontic devices. It can also automatically detect anatomical feature points that do not exist on the bone surface or at the boundary between soft and hard tissues.
  • the dental 3D data position alignment automation method According to the dental 3D data position alignment automation method according to the present invention, good initial registration result can be obtained even if there is no user input and the data areas are different from each other. Through this, it is possible to quickly match up to the final precise registration without any user input.
  • patient medical image data CT, CBCT
  • digital impression model scan data that are frequently performed for diagnosis, analysis, prosthesis production, etc. in dentistry and dental laboratories It can dramatically reduce the time and effort required for matching.
  • the method for automatically detecting landmarks of 3D scan data for dentistry since the landmarks of 3D scan data are automatically detected using deep learning, the user's Effort and time can be reduced, and the accuracy of landmarks in 3D scan data can be increased.
  • the landmark of the 3D scan data is automatically detected using deep learning, the accuracy of the registration of the dental CT image and the 3D scan data is improved, and the user's effort for the registration of the dental CT image and the 3D scan data is reduced. time can be reduced.
  • a 2D projection image is obtained from a 3D dental CT image and 3D scan data without a separate user input and constructed by a convolution operation
  • the matching accuracy can be automatically determined using the deep learning model.
  • FIG. 1 is a diagram illustrating a method for automatically detecting feature points of 3D medical image data using deep learning according to the present embodiment.
  • FIG. 2 is a block diagram illustrating an apparatus for automatically detecting feature points of 3D medical image data using deep learning according to the present embodiment.
  • FIG. 3 is a flowchart illustrating a method for automatically detecting feature points of 3D medical image data using deep learning according to the present embodiment.
  • 4A, 4B, 4C, and 4D are diagrams illustrating examples of detailed anatomical feature points associated with maxillofacial bone that can be detected by the automatic detailed feature point detection unit of FIG. 2 .
  • FIG. 5 is a diagram illustrating an example of detailed anatomical feature points existing on a skin surface that can be detected by the automatic detailed feature point detection unit of FIG. 2 .
  • 6A and 6B are diagrams illustrating examples of detailed anatomical feature points associated with teeth that can be detected by the automatic detailed feature point detection unit of FIG. 2 .
  • FIG. 7 is a diagram illustrating an example of a brightness value projection image generated by the brightness value projection image generator of FIG. 2 .
  • FIG. 8 is a diagram illustrating an anatomical initial feature point detected by the automatic initial feature point detection unit of FIG. 2 .
  • FIG. 9 is a diagram illustrating an example of a 3D VOI region generated by the 3D VOI region generator of FIG. 2 .
  • FIG. 10A is a diagram illustrating a type of convolution operation of the first convolutional neural network used by the automatic initial feature point detection unit of FIG. 2 .
  • FIG. 10B is a diagram illustrating a type of convolution operation of a second convolutional neural network used by the automatic detailed feature point detection unit of FIG. 2 .
  • FIG. 11 is a diagram illustrating detailed anatomical feature points detected by the automatic detailed feature point detection unit of FIG. 2 .
  • FIG. 12 is a flowchart illustrating a method for automating the alignment of dental 3D data according to the present embodiment.
  • FIG. 13 is a diagram illustrating a dental CT image and scan data of a digital impression model.
  • FIG. 14 is a diagram illustrating characteristic points of a dental CT image.
  • 15 is a diagram illustrating characteristic points of scan data of a digital impression model.
  • 16 to 19 are conceptual views illustrating a step of separating the left and right of the feature point of the up vector and scan data of FIG. 12 .
  • 20 is a conceptual diagram illustrating an up vector when scan data is maxillary data.
  • 21 is a conceptual diagram illustrating an up vector when scan data is mandibular data.
  • 22 and 23 are conceptual views illustrating a step of determining whether regions of CT data and scan data of FIG. 12 match.
  • 24 and 25 are conceptual views illustrating a tooth part extraction step of the scan data of FIG. 12 .
  • FIG. 26 is a diagram illustrating a tooth part of the scan data of FIG. 12 extracted by the step of extracting a tooth part of the scan data of FIG. 12 .
  • FIG. 27 is a diagram illustrating a tooth part of the scan data of FIG. 12 extracted by the step of extracting a tooth part of the scan data of FIG. 12 .
  • FIG. 28 is a diagram illustrating a step of searching for a source point of the scan data of FIG. 12 on a CT SPLINE CURVE.
  • 29A to 29C are diagrams illustrating results of the initial matching step (COARSE REGISTRATION) of FIG. 12 .
  • 30A to 30C are diagrams showing results of the fine registration step (FINE REGISTRATION) of FIG. 12 .
  • 31 is a flowchart illustrating a method for automatically detecting a landmark of dental 3D scan data according to the present embodiment.
  • 32 is a perspective view illustrating an example of a landmark of 3D scan data.
  • 33 is a conceptual diagram illustrating a method of generating a 2D depth image by projecting 3D scan data.
  • 34 is a perspective view illustrating an example of a projection direction when a two-dimensional depth image is generated.
  • 35 is a perspective view illustrating an example of a projection direction when a two-dimensional depth image is generated.
  • 36 is a plan view illustrating an example of a two-dimensional depth image.
  • 37 is a plan view illustrating an example of a two-dimensional depth image.
  • Fig. 38 is a perspective view showing full arch data and partial arch data
  • 39 is a conceptual diagram illustrating a convolutional neural network for classifying full arch data and partial arch data.
  • 40 is a conceptual diagram illustrating an example of training data of a fully convolutional neural network for detecting two-dimensional landmarks.
  • 41 is a conceptual diagram illustrating a fully convolutional neural network for detecting two-dimensional landmarks.
  • FIG. 42 is a conceptual diagram illustrating a first landmark detection unit for full arch data and a second landmark detection unit for partial arch data.
  • 43 is a plan view illustrating an example of a two-dimensional landmark.
  • 44 is a conceptual diagram illustrating a method of detecting a 3D landmark by back-projecting a 2D landmark onto 3D scan data.
  • 45 is a flowchart illustrating a method for automatically detecting a landmark of dental 3D scan data according to the present embodiment.
  • 46 is a conceptual diagram illustrating a landmark detection unit.
  • 47 is a flowchart illustrating a method for determining matching accuracy between a 3D dental CT image and a 3D digital impression model according to the present embodiment.
  • FIG. 48 is a diagram illustrating an example of a registration result of a 3D dental CT image and a 3D digital impression model.
  • FIG. 49 is a diagram illustrating a projected depth image of scan data in a vertical direction in front of the matched image of FIG. 48 .
  • FIG. 50 is a diagram illustrating a projected depth image of scan data in a lateral vertical direction in the registered image of FIG. 48 .
  • FIG. 51 is a diagram illustrating a projection image of CT data in a vertical direction in front of the registered image of FIG. 48 .
  • FIG. 52 is a diagram illustrating a projection image of CT data in a lateral vertical direction in the registered image of FIG. 48 .
  • FIG. 53 is a conceptual diagram illustrating a method of generating a projection depth image of scan data in a front vertical direction and a projection depth image of scan data in a side vertical direction in the registered image of FIG. 48 .
  • FIG. 54 is a conceptual diagram illustrating a method of generating a projection image of CT data in a front vertical direction and a projection image of CT data in a side vertical direction from the registered image of FIG. 48 .
  • 55 is a conceptual diagram illustrating a first convolutional neural network for determining matching accuracy between a projection depth image of scan data in a front vertical direction and a projection image of CT data in a vertical front direction.
  • 56 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are well matched.
  • 57 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are not properly matched.
  • FIG. 58 is a conceptual diagram illustrating a second convolutional neural network for determining matching accuracy between a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a vertical lateral direction.
  • 59 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are well matched.
  • 60 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are not well matched.
  • 61 is a conceptual diagram illustrating a method of determining the final matching accuracy of scan data and CT data based on the matching accuracy in the frontal vertical direction and the matching accuracy in the side vertical direction.
  • first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
  • 1 is a diagram illustrating a method for automatically detecting feature points of 3D medical image data using deep learning according to the present embodiment.
  • 2 is a block diagram illustrating an apparatus for automatically detecting feature points of 3D medical image data using deep learning according to the present embodiment.
  • 3 is a flowchart illustrating a method for automatically detecting feature points of 3D medical image data using deep learning according to the present embodiment.
  • the present invention is largely composed of (1) an initial automatic feature point detection step (Initial Stage) and (2) a detailed automatic detection step (Fine Stage).
  • the initial automatic detection step consists of a three-dimensional volume data preprocessing step and an initial feature point automatic detection step using a fully convolutional neural network deep learning model.
  • the detailed automatic detection step is an automatic three-dimensional volume of interest (VOI) extraction step using the initial feature point automatic detection result and a three-dimensional fully convolutional neural network deep learning model. It consists of automatic detection of detailed feature points.
  • VOI volume of interest
  • the 3D volume medical image data may be one of CT, CBCT, MRI, and PET (Positron Emission Tomography). .
  • the patient's anatomical feature point to be detected can be any feature point included in the 3D volume medical image data, and the feature point is automatically detected by applying the same proposed method to all target feature points without additional processing.
  • an apparatus for automatically detecting a feature point of 3D medical image data using deep learning includes a brightness value projection image generator 100 , an initial feature point automatic detector 200 , a three-dimensional volume of interest generator 300 , and details. It includes an automatic feature point detection unit 400 .
  • the brightness value projection image generating unit 100 receives a 3D volumetric medical image and generates a 2D brightness value projection image based on the 3D volumetric medical image.
  • the automatic initial feature point detection unit 200 automatically detects an anatomical initial feature point using a first convolutional neural network based on the two-dimensional brightness value projection image.
  • the 3D volume-of-interest region generating unit 300 receives the 3D volumetric medical image and generates a 3D volume-of-interest region from the 3D volumetric medical image based on the initial anatomical feature points.
  • the automatic detailed feature detection unit 400 automatically detects detailed anatomical features using a second convolutional neural network different from the first convolutional neural network based on the 3D volume of interest region.
  • the method for automatically detecting feature points of 3D medical image data using deep learning includes receiving a 3D volumetric medical image (S10), and generating a 2D brightness value projection image based on the 3D volumetric medical image.
  • step (S20) automatically detecting an anatomical initial feature point using a first convolutional neural network based on the two-dimensional brightness value projection image (S30), a three-dimensional interest based on the anatomical initial feature point Creating a volume region (S40) and automatically detecting detailed anatomical features using a second convolutional neural network different from the first convolutional neural network based on the three-dimensional volume region of interest (S50) may include
  • 4A, 4B, 4C, and 4D are diagrams illustrating examples of detailed anatomical feature points associated with maxillofacial bone that can be detected by the automatic detailed feature point detection unit 400 of FIG. 2 .
  • the detailed anatomical feature points that can be detected by the automatic detailed feature point detection unit 400 may include the first detailed feature points existing on the surface of the maxillofacial bone.
  • the first detailed feature points are Nasion (N), Anterior Nasal Spine (ANS), Point-A (A), Posterior Nasal Spine (PNS), Point-B (B), Pogonion, Gnathion (Pg), Right/Left of Orbitale Superius (OrSR/OrSL), Right/Left of Orbital Inferius (OriR/OriL), Right/Left of Sutura Zygomaticofrontale (ZyFrR/ZyFrL), Right/Left of Foramen Mentale (FoMR/) FoML), Basion (Ba), Right Porion (PoR), Right/Left of Condylus Medialis (CmR/CmL), Right/Left of Condylus Lateralis (ClR/ClL), Right/Left of Areus Zygomatieus (ArZyR/ArZyL), Right/Left of Inferior Gonion
  • the detailed anatomical feature points that can be detected by the automatic detailed feature point detection unit 400 may include a second detailed feature point that exists in the middle of the soft tissue of the maxillofacial face. As shown in FIGS. 4A to 4D , the second detailed feature point may include Sella (S), which is the center of Sella turcica.
  • S Sella
  • the second detailed feature point present in the middle of the soft tissue rather than the bone surface can also be accurately detected.
  • FIG. 5 is a diagram illustrating an example of detailed anatomical feature points existing on the skin surface that can be detected by the automatic detailed feature point detection unit 400 of FIG. 2 .
  • the detailed anatomical feature points that can be detected by the automatic detailed feature point detection unit 400 may include third detailed feature points existing on the skin surface of the maxillofacial face.
  • the third detailed characteristic point is Glabella (G), Soft Tissue Nasion (Ns), Pronasale (Pn), Subnasale (Sn), Upper Lip Superior (ULA), Lower Lip Superior (LLA), Soft Tissue.
  • G Glabella
  • Ns Soft Tissue Nasion
  • Pn Pronasale
  • Sn Subnasale
  • UOA Upper Lip Superior
  • LSA Lower Lip Superior
  • Pgs Soft Tissue Gnathion
  • Bs Soft Tissue B-point
  • 6A and 6B are diagrams illustrating examples of detailed anatomical feature points associated with teeth that can be detected by the automatic detailed feature point detection unit 400 of FIG. 2 .
  • the detailed anatomical feature points that can be detected by the automatic detailed feature point detection unit 400 may include a fourth detailed feature point related to teeth and existing inside the jawbone.
  • the fourth detailed feature point may include a Central Incisor Root, a First Molar Distal Root, and a Canine Root.
  • the detailed anatomical feature point that can be detected by the automatic detailed feature point detection unit 400 may include a fifth detailed feature point related to the tooth and existing on the tooth.
  • the fifth detailed feature point may include a Mid Point of Central Incisors, a Distal Point of First Molar Crown, a Cusp Tip, and a Distal Point of Canine Crown.
  • FIG. 7 is a diagram illustrating an example of a brightness value projection image generated by the brightness value projection image generating unit 100 of FIG. 2 .
  • the initial feature point may be automatically detected for the entire area of 3D volume medical image data.
  • 3D volume data Prior to initial automatic detection, 3D volume data is processed into a form suitable for a fully convolutional neural network deep learning model. This process may be referred to as pretreatment.
  • the brightness value projection image generator 100 may perform pre-processing.
  • Preprocessing is an image processing process that generates images projected with frontal (Coronal View) and lateral (Sagittal View) brightness values using the brightness values of 3D volumetric medical image data. It is a method of reflecting the value according to the value to the final projection image.
  • the brightness value projection image generating unit 100 may receive the 3D volumetric medical image and generate a 2D brightness value projection image based on the 3D volumetric medical image.
  • the 2D brightness value projection image may be generated by projecting brightness values of the 3D volumetric medical image in one direction.
  • the 2D brightness value projection image may be generated by calculating a standard deviation in the one direction of the brightness values of the 3D volumetric medical image.
  • the brightness value projection image generating unit 100 may generate the 2D brightness value projection image by using the maximum, minimum, average, and median values of the brightness values of the 3D volumetric medical image.
  • the 2D luminance value projection image may include a front luminance value projection image (left of FIG. 7 ) and a side luminance value projection image (right of FIG. 7 ).
  • the initial feature point automatic detection unit 200 uses the deep learning model of the same structure after learning for the front brightness value projection image and the side brightness value projection image, respectively.
  • the initial feature point automatic detection unit 200 may pass the front brightness value projection image and the side brightness value projection image through the same first convolutional neural network.
  • FIG. 8 is a diagram illustrating an anatomical initial feature point detected by the automatic initial feature point detection unit 200 of FIG. 2 .
  • the automatic initial feature point detection unit 200 may automatically detect an anatomical initial feature point using a first convolutional neural network based on the two-dimensional brightness value projection image.
  • the two-dimensional brightness value projection image generated through the pre-processing process is used as an input image, and a fully convolutional neural network deep learning model is subjected to a learning process to automatically detect feature points in the projected image.
  • a fully convolutional neural network deep learning model is a neural network deep learning model composed of convolutional layers.
  • FIG. 8 is an example of an initial feature point detection result automatically detected by a fully convolutional neural network deep learning model that has been trained in a projection image in each direction.
  • the left side of FIG. 8 shows the frontal brightness value projection image result (Coronal View)
  • the right side of FIG. 8 shows the side brightness value projection image result (Sagittal View)
  • the black dots in FIG. and white dots indicate the positions of the initial feature points automatically detected in the deep learning model of the fully convolutional neural network.
  • the automatic initial feature point detection unit 200 may convert a two-dimensional initial feature point into a three-dimensional initial feature point.
  • the automatic initial feature point detection unit 200 may detect an initial front anatomical feature point based on the frontal brightness value projection image and detect an initial side anatomical feature point based on the side surface brightness value projected image.
  • the automatic initial feature point detection unit 200 may calculate the three-dimensional initial anatomical feature point by combining the front anatomical initial feature point and the side anatomical initial feature point.
  • FIG. 9 is a diagram illustrating an example of a 3D volume of interest region generated by the 3D volume of interest region generating unit 300 of FIG. 2 .
  • the 3D VOI generating unit 300 may generate a 3D VOI based on the initial anatomical feature point.
  • the detailed automatic detection step is a step of detecting a characteristic point in the detailed area using the result of the (1) initial automatic characteristic point detection step.
  • the 3D volume of interest (VOI) is automatically extracted from the original 3D volumetric medical image data using the initial feature point automatic detection result.
  • Each three-dimensional volume-of-interest region VOI is a three-dimensional volume region including a predetermined region centering on each initial feature point, and may be a cube-shaped region.
  • the left side represents a 3D VOI region for the first initial feature point
  • the right side in FIG. 9 shows a 3D VOI region for a second initial feature point different from the first initial feature point.
  • the number of 3D volume-of-interest regions may coincide with the number of 3D anatomical initial feature points.
  • the three-dimensional VOI generating unit 300 may form the three-dimensional VOI by extending in the x-axis, y-axis, and z-axis directions from the coordinates of the initial anatomical feature point. have.
  • the center of the 3D volume-of-interest region VOI may be the coordinates of the anatomical initial feature point.
  • coordinates of the initial anatomical feature point within the 3D volume-of-interest region VOI may be (5, 5, 5).
  • the automatic detailed feature point detection unit 400 may automatically detect detailed anatomical feature points using the second convolutional neural network based on the 3D volume-of-interest region (VOI).
  • the coordinates of the detailed anatomical feature points generated through the second convolutional neural network may not be (5, 5, 5) in the 3D volume of interest VOI. For example, if the coordinates of the detailed anatomical feature point generated through the second convolutional neural network are (5, 6, 7), the position of the detailed feature point is 1 on the y-axis compared to the initial feature point, and the z-axis It may mean that it has moved by 2.
  • the 3D volume-of-interest region generating unit 300 generates the 3D volume-of-interest region (VOI) based on the initial anatomical feature point
  • the automatic detailed feature point detection unit 400 generates the three-dimensional feature point. Since the second convolutional neural network is passed only for the volume region of interest (VOI), the amount of computation can be greatly reduced compared to the case of passing the 3D volume medical image through the second convolutional neural network as it is, and the accuracy of detecting detailed feature points can be further improved.
  • FIG. 10A is a diagram illustrating a type of convolution operation of the first convolutional neural network used by the automatic initial feature point detection unit 200 of FIG. 2 .
  • FIG. 10B is a diagram illustrating a type of convolution operation of a second convolutional neural network used by the automatic detailed feature point detection unit 400 of FIG. 2 .
  • the first convolutional neural network used by the automatic initial feature point detection unit 200 and the second convolutional neural network used by the detailed feature automatic detection unit 200 may be different from each other.
  • the first convolutional neural network is a two-dimensional fully convolutional deep neural network that outputs a two-dimensional output based on a two-dimensional input
  • the second convolutional neural network is three-dimensional based on a three-dimensional input. It may be a three-dimensional fully convolutional deep neural network that outputs an output.
  • the fully convolutional deep neural network may mean a deep neural network in which all operations are configured only by convolution.
  • H may represent the height of the 2D input image
  • W may represent the width of the 2D input image
  • k may represent the height and width of the kernel
  • H may represent the height of the 3D input image
  • W may represent the width of the 3D input image
  • L may represent the length of the 3D input image
  • k represents the height and width of the kernel
  • d represents the length of the kernel.
  • the input data of the first convolutional neural network is the two-dimensional brightness value projection image (eg, a front brightness value projection image and a side brightness value projection image), and the output data of the first convolutional neural network is anatomical It may be a two-dimensional image that includes an anatomical temporary initial feature point, and a position corresponding to the anatomical temporary initial feature point has the largest value.
  • the automatic initial feature point detection unit 200 may generate the anatomical initial feature point by converting the temporary initial anatomical feature point into three dimensions.
  • the input data of the second convolutional neural network is the three-dimensional volume of interest region (VOI), and the output data of the second convolutional neural network includes an anatomical temporary detailed feature point, and a position corresponding to the anatomical temporary detailed feature point. may be a 3D volume image having the largest value.
  • VOI three-dimensional volume of interest region
  • the automatic detailed feature point detection unit 400 may convert the temporary detailed anatomical feature point into coordinates in the 3D volumetric medical image to finally detect the detailed anatomical feature point.
  • FIG. 11 is a diagram illustrating detailed anatomical feature points detected by the automatic detailed feature point detection unit of FIG. 2 .
  • a 3D fully convolutional neural network deep learning model uses the automatically extracted 3D volume of interest (VOI) data for each initial feature point as an input image, a 3D fully convolutional neural network deep learning model calculates the 3D feature point of the 3D volume of interest. It goes through a learning process that automatically detects details.
  • the 3D fully convolutional neural network deep learning model is a neural network deep learning model composed of 3D convolutional layers.
  • the three-dimensional volume of interest (VOI) of different feature points is trained using one deep learning model and then used.
  • 11 shows an example of the final feature point result in the original 3D volume medical image data automatically detected in detail from the trained deep learning model.
  • black dots indicate the positions of the correct answer detailed feature points used for learning
  • white dots indicate the positions of the detailed feature points automatically detected in the 3D fully convolutional neural network deep learning model.
  • the patient's anatomical feature points are automatically utilized by using 3D volume data itself, without user input or a separate 3D model extraction process. can be detected.
  • accurate automatic detection of anatomical feature points is possible even for 3D volume data with low image quality and severe noise, and accurate anatomical feature points can be automatically detected even in the presence of metal noise such as dental prostheses or orthodontic devices. It can also automatically detect anatomical feature points that do not exist on the bone surface or at the boundary between soft and hard tissues.
  • a computer-readable recording medium in which a program for executing the above-described automatic feature point detection method of 3D medical image data is recorded on a computer.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of the data used in the above-described method may be recorded in a computer-readable medium through various means.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, etc.
  • Hardware devices specifically configured to store and execute program instructions are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention.
  • the above-described method for automatically detecting feature points of 3D medical image data may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
  • 12 is a flowchart illustrating a method for automating the alignment of dental 3D data according to the present embodiment.
  • 13 is a diagram illustrating a dental CT image and scan data of a digital impression model.
  • 14 is a diagram illustrating characteristic points of a dental CT image.
  • 15 is a diagram illustrating characteristic points of scan data of a digital impression model.
  • a feature point may be extracted from the dental CT image (step S100), and the feature point may be extracted from scan data of the digital impression model. (Step S200).
  • the dental CT image may be a CBCT (Cone Beam CT) image.
  • the dental CT image may be an image including teeth, bones, and neural tubes.
  • the scan data of the digital impression model may be an image scanned by a scanner inside the patient's oral cavity.
  • the scan data may be an image scanned by a scanner of a shape imitating the inside of the patient's oral cavity with plaster.
  • the left image of FIG. 13 may be the scan data of the digital impression model.
  • the right image of FIG. 13 may be the dental CT image.
  • the digital impression model may be data corresponding to any one of the maxilla and the mandible of the patient.
  • the dental CT image may include information on both the maxilla and the mandible of the patient.
  • the feature points of the dental CT image may be points indicating specific positions of teeth.
  • the feature points of the dental CT image may include five feature points (p1, p2, p3, p4, p5) in the upper jaw and five feature points (p6, p7, p8, p9, p10) in the mandible.
  • the first feature point p1 and the fifth feature point p5 of the maxilla may represent the outermost point of the tooth of the maxilla in the lateral direction, respectively.
  • the third characteristic point p3 of the maxilla may indicate between the two maxillary central incisors.
  • the second feature point p2 of the maxilla may be disposed between the first feature point p1 and the third feature point p3, and the fourth feature point p4 of the maxilla is the third feature point p3 and It may be disposed between the fifth feature points p5.
  • the sixth feature point p6 and the tenth feature point p10 of the mandible may represent the outermost points of the teeth of the mandible in the lateral direction, respectively.
  • the eighth characteristic point p8 of the mandible may indicate between two mandibular central incisors.
  • the seventh feature point p7 of the mandible may be disposed between the sixth feature point p6 and the eighth feature point p8, and the ninth feature point p9 of the mandible is the eighth feature point p8 and It may be disposed between the tenth feature points p10.
  • the feature points of the scan data may be points indicating specific positions of teeth.
  • the feature point of the scan data may include three feature points ( , , ).
  • the scan data may be data representing the patient's upper jaw or data representing the patient's mandible.
  • the first feature point ( ) and the third feature point ( ) may indicate the outermost point of the tooth of the scan data in the lateral direction, respectively.
  • a second feature point of the scan data ( ) can represent between two central incisors.
  • the feature points (eg, p1 to p10) of the CT image may be automatically extracted using artificial intelligence deep learning technology.
  • the feature points of the scan data eg, inside
  • the scan data can be automatically extracted using artificial intelligence deep learning technology. Whether the scan data represents the upper jaw or the mandible may be determined through a user input or may be automatically determined through additional information of the scan data.
  • 16 to 19 show the up vector ( ) and a conceptual diagram showing the step of separating the left and right of the feature points of the scan data.
  • step S300 an up vector ( ) and feature points of the scan data ( , ) will be described (step S300).
  • the scan data of FIG. 16 is a view in which a tooth is projected downward in the scan data, and a first feature point ( ) is displayed, and the third feature point ( ) is shown as an example. Even if the teeth of the scan data of FIG. 16 are projected downward, the scan data of FIG. 16 does not necessarily mean the maxillary data. Whether the scan data of FIG. 16 is upper jaw data or mandibular data may be determined through a user input or may be determined through additional information of the scan data.
  • a unit vector of the average vector obtained by obtaining a normal vector from all points (all points on the surface of the scan data) constituting the mesh of the scan data of FIG. 16 . can be obtained When a normal vector is obtained from all points constituting the mesh and an average vector thereof is obtained, the average vector is directed downward in the scan data as shown in FIG. 16 . 16, the unit vector of the average vector has a unit length in the downward direction.
  • the discriminant for separating the left and right is as Equation 1 below.
  • 17 is a view in which a tooth is projected downward in the scan data, and a third feature point ( ) is displayed, and the first feature point ( ) is shown as an example.
  • FIG. 18 is a diagram in which a tooth is projected upward in the scan data, and a third feature point ( ) is displayed, and the first feature point ( ) is shown as an example.
  • 19 is a view in which teeth are projected upward in the scan data, and a first feature point ( ) is displayed, and the third feature point ( ) is shown as an example.
  • the up vector ( ) is the same as Equation 2 below.
  • an up vector ( ) is the same as Equation 3 below.
  • 20 is a conceptual diagram illustrating an up vector when scan data is maxillary data.
  • 21 is a conceptual diagram illustrating an up vector when scan data is mandibular data.
  • the up vector ( ) can be obtained in the opposite direction to the direction of tooth extraction.
  • the up vector ( ) may be obtained in substantially the same direction as the tooth extraction direction.
  • 22 and 23 are conceptual views illustrating a step of determining whether regions of CT data and scan data of FIG. 12 match.
  • case 1 having the same area and case 2 not having the same area may be distinguished (step S400 ).
  • Equation 4 below it can be determined that the CT data and the scan data have the same area.
  • th may be a first threshold value for determining whether the CT data and the scan data have the same area.
  • the first threshold value th may be 5 mm.
  • FIG. 24 and 25 are conceptual views illustrating a tooth part extraction step of the scan data of FIG. 12 .
  • FIG. 26 is a diagram illustrating a tooth part of the scan data of FIG. 12 extracted by the step of extracting a tooth part of the scan data of FIG. 12 .
  • a tooth portion which is a common area between the two data
  • only a tooth portion may be cut out from the scan data (step S500).
  • the scan data is maxillary data
  • the scan data is mandibular data
  • a first feature point ( ), the second feature point ( ) and the third feature point ( ) of the up vector ( ) to extract the lowest point.
  • the up vector ( ) to the first distance (+a) moving point in the positive direction The scan data is cut in an infinite plane with a normal vector, and the up vector ( ) at the second distance (-b) moving point in the negative direction Scan data can be cut into an infinite plane with .
  • the first distance (+a) may be 6 mm.
  • the second distance (-b) may be -6 mm.
  • the absolute value of the first distance (+a) and the second distance (-b) may be the same.
  • absolute values of the first distance (+a) and the second distance ( ⁇ b) may be different.
  • the up vector ( ) to the first distance (+a) moving point in the positive direction is cut into an infinite plane CP1 with a normal vector
  • the up vector ( ) at the second distance (-b) moving point in the negative direction Scan data can be cut into an infinite plane (CP2) with a normal vector.
  • the second feature point right tooth feature point from vector towards It can be said that the second characteristic point from left tooth feature point vector towards It can be said that The right tooth feature point at At the point moved by the third distance in the vector direction
  • the scan data is cut into an infinite plane (CP3) with a vector as a normal vector
  • the left tooth feature point is at At a point moved by the third distance in the vector direction
  • Scan data can be cut into an infinite plane (CP4) with a vector as a normal vector.
  • the third distance may be smaller than the first distance and the second distance.
  • the third distance may be 1 mm.
  • the right tooth feature point at At a point moved by a third distance in the vector direction the A first vector rotated by -90 degrees from the vector may be used as a normal vector, and the scan data may be cut into an infinite plane CP5 at a point moved by a fourth distance to the first vector.
  • the right tooth feature point at At a point moved by the third distance in the vector direction the A second vector rotated by +90 degrees from the vector may be used as a normal vector, and the scan data may be cut into the infinite plane CP6 at a point moved by the fourth distance to the second vector.
  • the fourth distance may be greater than the first distance, the second distance, and the third distance.
  • the fourth distance may be 10 mm.
  • the left tooth feature point at At a point moved by the third distance in the vector direction the A third vector rotated by +90 degrees from the vector may be used as a normal vector, and the scan data may be cut into the infinite plane CP7 at a point moved by a fourth distance to the third vector.
  • the left tooth feature point at At a point moved by the third distance in the vector direction the A fourth vector rotated by -90 degrees from the vector may be used as a normal vector, and the scan data may be cut into an infinite plane CP8 at a point moved by the fourth distance to the fourth vector.
  • the Scan data can be cut into an infinite plane (CP10) with a vector as a normal vector.
  • the fifth distance may be greater than the third distance and smaller than the fourth distance.
  • the fifth distance may be 6 mm.
  • 26 shows a tooth portion obtained by cutting scan data using cutting planes CP1 to CP10.
  • a parametric spline curve, C(u) may be calculated using the first to fifth feature points p1 to p5 of the maxilla of the CT data as a control point.
  • the parametric spline curve C(u) refers to a spline curve of an arch connecting the five feature points p1 to p5 of the maxilla of the CT data.
  • the parametric spline curve C(u) may be calculated using five feature points p6 to p10 of the mandible of the CT data as control points.
  • a target point may be generated by searching for a source point of the scan data on the CT spline curve C(u) (step S600).
  • the source point of the scan data is the left tooth feature point ( ), the second feature point ( ), the right tooth feature point ( ) can contain three points.
  • the first point of the target point may be searched on C(u) while increasing the parameter u by the first value.
  • the first point of the target point may be represented by C(u1).
  • the first value may be 0.05.
  • u>u1 and the second value may be 0.001.
  • u>u2 and the third value may be 0.001.
  • the target points C(u1), C(u2), and C(u3) are selected as candidates.
  • the second threshold value may be 8 mm.
  • FIG. 27 is a diagram illustrating a tooth part of the scan data of FIG. 12 extracted by the step of extracting a tooth part of the scan data of FIG. 12 .
  • Case 2 in which the CT data and the scan data have different regions is exemplified.
  • the CT data may include the entire area of the patient's teeth, but the scan data may include only a portion of the patient's teeth.
  • the present invention exemplifies a case in which the CT data includes the entire area of the patient's teeth and the scan data includes only a portion of the patient's teeth, but the present invention is not limited thereto.
  • the CT data and the scan data are determined as Case 1 having the same area, and if Equation 4 is not satisfied, the CT data and the scan data are Case 2 having different areas. may be determined, and in the present embodiment, since Equation 4 is not satisfied, the CT data and the scan data may have different regions.
  • the scan data may include only a portion of the patient's teeth.
  • FIG. 28 is a diagram illustrating a step of searching for a source point of the scan data of FIG. 12 on a CT SPLINE CURVE.
  • the source point of the scan data and the first to fifth feature points p1 to p5 of the maxilla of the CT data are control points. It is possible to calculate a parametric spline curve, C(u).
  • a target point may be generated by searching for a source point of the scan data on the CT spline curve C(u) (step S600).
  • the source point of the scan data is the left tooth feature point ( ), the second feature point ( ), the right tooth feature point ( ) can contain three points.
  • the first point of the target point may be searched on C(u) while increasing the parameter u by the first value.
  • the first point of the target point may be represented by C(u1).
  • the first value may be 0.05.
  • u>u1 and the second value may be 0.001.
  • u>u2 and the third value may be 0.001.
  • the target points C(u1), C(u2), and C(u3) are selected as candidates.
  • the second threshold value may be 8 mm.
  • 29A to 29C are diagrams illustrating results of the initial matching step (COARSE REGISTRATION) of FIG. 12 .
  • the candidate target points may include six points, and a plurality of candidate target points may be generated.
  • the transformation matrix M may move the feature points of the scan data to the domain of the CT data.
  • a candidate target point having the smallest value of the conversion error may be determined as a final candidate.
  • a step of moving the candidate target point of the scan data to the domain of the CT data using the transform matrix M and determining the final candidate having the smallest transform error may be referred to as an initial matching step (Coarse registration, step S700).
  • the candidate target point having the smallest value of the transformation error is not determined as the final candidate.
  • the left tooth feature point ( ), the second feature point ( ) and the right tooth feature point ( ) does not form a relationship corresponding to the first feature point p1, the third feature point p3, and the fifth feature point p5 of the CT data.
  • the final candidate may be determined in a precise matching step (S800) described below.
  • the basic image showing the shape of the tooth in FIGS. 29A to 29C may be CT data.
  • a portion drawn with a solid line in FIGS. 29A to 29C may be an outline of the scan data matched to the CT data.
  • Fig. 29A shows an axial view of the initially matched CT data and the scan data
  • Fig. 29B shows a sagittal view of the initially matched CT data and the scan data
  • Fig. 29C shows the initially matched CT data and the scan data.
  • a coronal diagram of the data is shown.
  • 30A to 30C are diagrams showing results of the fine registration step (FINE REGISTRATION) of FIG. 12 .
  • a precise matching step for further matching the tooth area of the CT data with the tooth area of the scan data may be performed.
  • the source data may use only the cut tooth part of the scan data
  • the target data may be a CT image of the patient.
  • the basic image showing the shape of the tooth in FIGS. 30A to 30C may be CT data.
  • a portion drawn with a solid line in FIGS. 30A to 30C may be an outline of the scan data matched to the CT data.
  • Fig. 30A shows an axial view of the precisely matched CT data and the scan data
  • Fig. 30B shows a sagittal view of the precisely matched CT data and the scan data
  • Fig. 30C shows the precisely matched CT data and the scan data.
  • a coronal diagram of the data is shown.
  • FIGS. 30A to 30C it can be seen that the tooth portion of the CT data and the tooth portion of the scan data are more precisely matched compared to FIGS. 29A through 29C .
  • a user may determine one of the plurality of candidate target points as the final candidate based on an error obtained from the precise matching.
  • good initial matching result can be obtained even if there is no user input and regions included in data are different from each other. Through this, it is possible to quickly match up to the final precise registration without any user input.
  • the time and effort required to match the digital impression model scan data with the patient medical image data (CT, CBCT), which are frequently performed for diagnosis, analysis, prosthesis production, etc. in dentistry and dental laboratories, are dramatically reduced.
  • CT patient medical image data
  • CBCT patient medical image data
  • a computer-readable recording medium in which a program for executing the above-described three-dimensional data position alignment automation method for dentistry is recorded on a computer.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of the data used in the above-described method may be recorded in a computer-readable medium through various means.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, etc.
  • Hardware devices specifically configured to store and execute program instructions are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention.
  • the above-described method for automating the alignment of 3D data for dentistry may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
  • 31 is a flowchart illustrating a method for automatically detecting a landmark of dental 3D scan data according to the present embodiment.
  • 32 is a perspective view illustrating an example of a landmark of 3D scan data.
  • the method for automatically detecting a landmark of the dental 3D scan data includes generating a 2D depth image by projecting the 3D scan data (S1100), and convolving the 2D depth image Determining full arch data and partial arch data by applying to a neural network (S1200), applying the 2D depth image to a fully-connected convolutional neural network 2 It may include detecting a 3D landmark (S1300) and detecting the 3D landmark of the 3D scan data by back-projecting the 2D landmark onto the 3D scan data (S1400).
  • the step of generating the 2D depth image may be a process of imaging the depth of 3D scan data of the virtual camera.
  • the 3D scan data is classified into full arch data and partial arch data according to the type of the scanned area.
  • the two-dimensional landmark automatic detection step is a step of detecting a landmark in a two-dimensional image using a fully convolutional neural network deep learning model.
  • the two-dimensional landmark detected in the previous two-dimensional landmark automatic detection step (S1300) may be three-dimensionalized and reflected in the scan data.
  • the landmark 32 shows three landmarks (LM1, LM2, LM3) of three-dimensional scan data.
  • the landmark is located at a predetermined interval or at the top of a specific tooth (incisor, canine, molar, etc.) to estimate the shape of a dental arch.
  • the landmark can be automatically detected at once by applying the same method to all landmarks without additional processing according to the location or characteristics of the landmark.
  • the landmark of the 3D scan data may be points indicating a specific position of the tooth.
  • the landmark of the 3D scan data may include three points LM1, LM2, and LM3.
  • the 3D scan data may be data representing the patient's upper jaw or data representing the patient's mandible.
  • the first landmark LM1 and the third landmark LM3 of the 3D scan data may represent an outermost point of a tooth of the 3D scan data in a lateral direction, respectively.
  • the second landmark LM2 of the three-dimensional scan data is the first landmark LM1 and the third landmark LM3 in an arch including the first landmark LM1 and the third landmark LM3 ) can be a point between
  • the second landmark LM2 of the 3D scan data may indicate between two central incisors of a patient.
  • 33 is a conceptual diagram illustrating a method of generating a 2D depth image by projecting 3D scan data.
  • 34 is a perspective view illustrating an example of a projection direction when a two-dimensional depth image is generated.
  • 35 is a perspective view illustrating an example of a projection direction when a two-dimensional depth image is generated.
  • the depth image performs principal component analysis of each 3D point p(x, y, z) of the scan data and the scan data when the 3D scan data is projected on a 2D plane. It is an image showing the vertical distance information between the plane UVs defined through The pixel value of the 2D image represents the distance d(u,v) from the 2D plane defined above to the surface of the scan data.
  • PCA principal component analysis
  • the covariance for the three-dimensional n point coordinates save The covariance may indicate how the three-dimensional n point coordinates are distributed along the x, y, and z axes.
  • the result of eigendecomposition of the covariance ⁇ is can be expressed as
  • the column vector is composed of the eigenvector w(p,q,r) of ⁇ .
  • diagonal matrix is the eigenvalue ⁇ of the diagonal element ⁇ .
  • w 1 having the largest eigenvalue ⁇ in FIG. 33 may be a direction connecting both ends of the teeth in the lateral direction
  • w 2 having the second largest eigenvalue ⁇ may be in the front direction of the patient or the posterior direction of the patient.
  • w 3 having the smallest eigenvalue ⁇ may be in a direction from the tooth root to the occlusal surface or vice versa.
  • the average of the normal vector of the triangle set in the 3D scan data use the then determine w 3 as the projection direction, If -w 3 is determined as the projection direction when generating a depth image.
  • the projection plane uses a projection direction vector as a normal vector, defines a predetermined distance from the 3D scan data, and generates a depth image.
  • the three axial directions of the three-dimensional scan data obtained through principal component analysis are w 1 , w 2 , and w 3 , among which the eigenvalue ⁇ of w 1 is the largest, and the eigenvalue ⁇ of w 3 is smallest
  • the projection direction is determined using the direction vector w 3 with the smallest eigenvalue ⁇ .
  • the normal vector average of the triangle set of the 3D scan data may be formed in an upward direction when the tooth is projected upward, and may be formed in a downward direction when the tooth is projected downward.
  • w 3 is a direction that generally coincides with the direction of tooth extraction, , and the case of using the w 3 vector as the projection direction vector is exemplified.
  • the three axial directions of the three-dimensional scan data obtained through principal component analysis are w 1 , w 2 , and w 3 , among which the eigenvalue ⁇ of w 1 is the largest, and the eigenvalue ⁇ of w 3 is smallest
  • the projection direction is determined using the direction vector w 3 with the smallest eigenvalue ⁇ .
  • w 3 is in the direction substantially opposite to the direction of tooth extraction, , and exemplifies a case where the -w 3 vector is used as the projection direction vector.
  • the teeth may be well formed so that the teeth do not overlap in the two-dimensional depth image.
  • 36 is a plan view illustrating an example of a two-dimensional depth image.
  • 37 is a plan view illustrating an example of a two-dimensional depth image.
  • the two-dimensional depth image is an image having a depth value (d) with respect to two-dimensional coordinates ⁇ u, v ⁇ , and when the two-dimensional depth image is back-projected in a direction opposite to the projection direction, the three-dimensional scan data can be restored.
  • Fig. 38 is a perspective view showing full arch data and partial arch data
  • 39 is a conceptual diagram illustrating a convolutional neural network for classifying full arch data and partial arch data.
  • the 3D scan data may be formed by changing a scan area according to a user's purpose.
  • Data obtained by scanning all the teeth of the patient may be referred to as full arch data, and data obtained by scanning only a portion of the patient's missing teeth may be referred to as partial arch data.
  • the upper part of FIG. 38 shows an example of full arch data, and the lower part of FIG. 38 shows an example of partial arch data.
  • a separate learning model can be formed by distinguishing them from each other in the learning step for automatic landmark detection. Accordingly, in order to completely automatically detect the landmark, a neural network model for classifying the full arch data and the partial arch data may be performed prior to the automatic landmark detection step.
  • a deep learning model using a convolutional neural network model may be generated by inputting the 2D depth image generated in the 2D depth image generating step, and arch classification information for classifying the full arch data and the partial arch data as inputs. .
  • the convolutional neural network model may include a feature extractor and a classifier.
  • the input 2D depth image is subjected to a feature extraction step including a step-by-step convolution layer and a pooling layer, and features are extracted from the input image.
  • the convolution layer is a process of extracting features of the depth image
  • the pooling layer is a process of extracting the extracted features into several categories to classify them.
  • the classifier calculates a score for arch classification information (full arch, partial arch) based on the feature extracted by the feature extractor. Data is classified as the item with the highest score among the items of the arch classification information.
  • the input depth image may be determined as full arch data.
  • the score for the partial arch is higher than the score for the full arch as a result of passing through all the hidden layers, the input depth image may be determined as partial arch data.
  • the depth image may be determined as full arch data.
  • 40 is a conceptual diagram illustrating an example of training data of a fully convolutional neural network for detecting two-dimensional landmarks.
  • 41 is a conceptual diagram illustrating a fully convolutional neural network for detecting two-dimensional landmarks.
  • 42 is a conceptual diagram illustrating a first landmark detection unit for full arch data and a second landmark detection unit for partial arch data.
  • 43 is a plan view illustrating an example of a two-dimensional landmark.
  • a landmark deep learning model using a fully convolutional neural network is trained by inputting the depth image classified in the scan data classification step S1200 and user-defined landmark information as inputs.
  • the user-defined landmark information used during learning includes 1) the type of landmark to be found (eg, divided by indices 0,1,2) and 2) in the 2D depth image of the corresponding landmark. It may be the correct position coordinates (u i ,v i ).
  • the fully convolutional neural network for automatic landmark detection may be a neural network deep learning model composed of convolutional layers.
  • the landmark automatic detection when the depth image is full arch data, the landmark automatic detection may be performed using a fully convolutional neural network learned using full arch learning data. Conversely, when the depth image is partial arch data, the landmark automatic detection may be performed using a fully convolutional neural network learned using partial arch learning data.
  • a fully convolutional neural network includes two processes as shown in FIG. 41 .
  • the convolution process the feature of each landmark is detected and classified in the depth image through a plurality of pre-trained convolution layers. By combining this with the entire image information through the deconvolution process, location information is added to the feature, and the location of the landmark on the image is output as a heatmap.
  • each heat map image may be output as many as the number of user-defined landmarks used when learning the deep learning model. For example, if the number of the user-defined landmarks is three, three heat map images corresponding to the three landmarks may be output.
  • the convolution process can be said to be a process of extracting only features from the 2D depth image instead of losing location information.
  • the feature of the landmark may be extracted through the convolution process.
  • the deconvolution process can be referred to as a process of reviving the lost location information for the landmarks extracted in the convolution process.
  • a deep learning neural network model in which a fully convolutional neural network is repeatedly superposed may be used for more precise detection.
  • the first landmark detection unit for the full arch data may include a first fully convolutional neural network model
  • the second landmark detection unit for the partial arch data may include a second fully convolutional neural network model
  • the convolution process and the deconvolution process are repeatedly performed, and in the second fully convolutional neural network model for the partial arch data, the convolution process and the deconvolution process
  • the convolution process may be repeatedly performed.
  • the number of times that the convolution process and the deconvolution process are repeatedly performed in the first fully convolutional neural network model is the number of times that the convolution process and the deconvolution process are repeatedly performed in the second fully convolutional neural network model. may be different.
  • the number of times that the convolution process and the deconvolution process are repeatedly performed in the first fully convolutional neural network model is the number of times that the convolution process and the deconvolution process are duplicated in the second fully convolutional neural network model. It may be more than the number of times it is performed.
  • three overlapping neural networks (three convolution processes and three deconvolution processes) may be generated.
  • the depth image classified in the scan data classification step S1200 is input, and a heat map indicating the location of a desired target landmark is output for each channel according to the learning model user-defined landmark index.
  • the final result heat map can be obtained by summing the output heat map data of each step of the nested neural network for each channel.
  • the pixel coordinates having the largest value in the result heat map data indicate the location of the detected landmark. Since the heat map is output for each channel in the order of the user-defined landmark index used during learning, location information of the desired landmark can be obtained.
  • the 2D landmarks in the 2D depth image are expressed as L1, L2, and L3.
  • 44 is a conceptual diagram illustrating a method of detecting a 3D landmark by back-projecting a 2D landmark onto 3D scan data.
  • the two-dimensional coordinates of the landmarks (L1, L2, L3) obtained in the landmark automatic detection step (S1300) are coordinates of the landmarks (LM1, LM2, LM3) of the three-dimensional scan data convert to
  • the coordinates of the final 3D landmark may be calculated using the projection information used in generating the depth image ( S1100 ).
  • the two-dimensional landmarks L1, L2, and L3 are back-projected onto the three-dimensional scan data using the projection information used in generating the depth image (S1100), and the three-dimensional landmark LM1 of the three-dimensional scan data , LM2, LM3) can be obtained.
  • the landmarks (LM1, LM2, LM3) of the three-dimensional scan data are automatically detected using deep learning, the user for extracting the landmarks (LM1, LM2, LM3) of the three-dimensional scan data It is possible to reduce the effort and time of the 3D scan data and to increase the accuracy of the landmarks (LM1, LM2, LM3) of the 3D scan data.
  • landmarks (LM1, LM2, LM3) of 3D scan data are automatically detected using deep learning, the accuracy of registration between dental CT images and 3D scan data is improved, and dental CT images and 3D scan data are automatically detected. The user's effort and time for registration can be reduced.
  • a computer-readable recording medium in which a program for executing the above-described automatic landmark detection method of dental 3D scan data is recorded on a computer may be provided.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of the data used in the above-described method may be recorded in a computer-readable medium through various means.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, etc.
  • Hardware devices specifically configured to store and execute program instructions are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention.
  • the above-described automatic landmark detection method of 3D dental scan data may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
  • 45 is a flowchart illustrating a simplified automatic landmark detection method of dental 3D scan data according to the present embodiment.
  • 46 is a conceptual diagram illustrating a landmark detection unit.
  • the simplified automatic landmark detection method of the dental 3D scan data generates a 2D depth image by projecting the 3D scan data (S1100), the 2D depth image A step of detecting a two-dimensional landmark by applying to a fully-connected convolutional neural network (S1300), and back-projecting the two-dimensional landmark onto the three-dimensional scan data 3D of the three-dimensional scan data It may include detecting the landmark (S1400).
  • the step of generating the 2D depth image ( S1100 ) may be a process of imaging the depth of 3D scan data of the virtual camera.
  • the two-dimensional landmark automatic detection step (S1300) is a step of detecting a landmark in a two-dimensional image using a fully convolutional neural network deep learning model.
  • the two-dimensional landmark detected in the previous two-dimensional landmark automatic detection step (S1300) may be three-dimensionalized and reflected in the scan data.
  • a deep learning neural network model in which a fully convolutional neural network is repeatedly superposed may be used for more precise detection.
  • the convolution process and the deconvolution process may be repeatedly performed.
  • the number of times the convolution process and the deconvolution process are repeatedly performed may be determined in consideration of the accuracy of the landmark detection result.
  • the landmark detector may include four overlapping neural networks (four convolution processes and four deconvolution processes).
  • the landmark detection unit may construct a system in which the two-dimensional depth image is input and a heat map indicating the location of a desired target landmark is output for each channel according to the learning model user-defined landmark index.
  • the final result heat map can be obtained by summing the output heat map data of each step of the nested neural network for each channel.
  • the pixel coordinates having the largest value in the result heat map data indicate the location of the detected landmark. Since the heat map is output for each channel in the order of the user-defined landmark index used during learning, location information of the desired landmark can be obtained.
  • the landmarks (LM1, LM2, LM3) of the three-dimensional scan data are automatically detected using deep learning, the user for extracting the landmarks (LM1, LM2, LM3) of the three-dimensional scan data It is possible to reduce the effort and time of the 3D scan data and to increase the accuracy of the landmarks (LM1, LM2, LM3) of the 3D scan data.
  • landmarks (LM1, LM2, LM3) of 3D scan data are automatically detected using deep learning, the accuracy of registration between dental CT images and 3D scan data is improved, and dental CT images and 3D scan data are automatically detected. The user's effort and time for registration can be reduced.
  • FIG. 47 is a flowchart illustrating a method for determining matching accuracy between a 3D dental CT image and a 3D digital impression model according to the present embodiment.
  • 48 is a diagram illustrating an example of a registration result of a 3D dental CT image and a 3D digital impression model.
  • FIG. 49 is a diagram illustrating a projected depth image of scan data in a vertical direction in front of the matched image of FIG. 48 .
  • FIG. 50 is a diagram illustrating a projected depth image of scan data in a lateral vertical direction in the registered image of FIG. 48 .
  • FIG. 51 is a diagram illustrating a projection image of CT data in a vertical direction in front of the registered image of FIG. 48 .
  • FIG. 52 is a diagram illustrating a projection image of CT data in a lateral vertical direction in the registered image of FIG. 48 .
  • the method for determining the matching accuracy of the 3D dental CT image and the 3D digital impression model (3D scan data) includes the 3D scan data and the 3D CT data in the registration data. Projecting the dimensional scan data in two dimensions to generate a scan projection image (S2100), projecting the three-dimensional CT data from the registration data in two dimensions to generate a CT projection image (S2200), a first convolution Determining frontal registration accuracy by inputting a frontal vertical scan projection image and a frontal vertical frontal CT projection image to a neural network model (S2300), a side vertical to the second convolutional neural network model determining the lateral registration accuracy by inputting the lateral scan projection image in the direction and the lateral CT projection image in the lateral vertical direction (S2400) and the final registration accuracy of the registration data based on the front registration accuracy and the lateral registration accuracy and determining (S2500).
  • the dental CT image may be a CBCT (Cone Beam CT) image.
  • the dental CT image may be an image including teeth, bones, and neural tubes.
  • the scan data of the digital impression model may be an image scanned by a scanner inside the patient's oral cavity.
  • the scan data may be an image scanned by a scanner of a shape imitating the inside of the patient's oral cavity with plaster.
  • the matching data may be an image in which the CT image and the scan data are matched.
  • the scan projection image which is a projection image of the scan data, may include a front scan projection image and a side scan projection image.
  • 49 shows a front scan projection image
  • FIG. 50 shows a side scan projection image.
  • the scan projection image may be a projection depth image indicating a distance between the 3D scan data and a projection plane as brightness.
  • the step of generating the scan projection image by projecting the three-dimensional scan data in two dimensions will be described later in detail with reference to FIG. 53 .
  • the CT projection image which is a projection image of the CT scan data, may include a front CT projection image and a side CT projection image.
  • 51 shows a front CT projection image
  • FIG. 52 shows a side CT projection image.
  • FIG. 53 is a conceptual diagram illustrating a method of generating a projection depth image of scan data in a front vertical direction and a projection depth image of scan data in a side vertical direction in the registered image of FIG. 48 .
  • the projection image is based on 3D medical image data (based on 3D CT data) according to the projection direction in two directions: an anterior-posterior (AP) and a lateral vertical direction (Lateral). can be generated for dental CT data and scan data respectively.
  • AP anterior-posterior
  • Lateral lateral vertical direction
  • the image obtained by projecting the scan data onto the projection plane may be a projection depth image in which vertical distance information between each point p(x, y, z) of the scan data and each projection plane is reflected.
  • the pixel values of the projection depth image represent the distances d(u, v) and d(s, t) from the scan data surface to the projection plane in each projection direction.
  • x, y, and z denote a three-dimensional coordinate system
  • u and v denote a coordinate system on a side projection plane
  • s and t denote a coordinate system on a front projection plane.
  • the x direction may be the side projection direction
  • the y direction may be the front projection direction
  • the x, y, and z may be coordinate systems in the CT data.
  • a brightly marked portion may mean that a distance from the front projection plane is close, and a darkly displayed portion may mean a long distance from the front projection plane. That is, the central incisor portion may be displayed relatively brightly, and the molar portion may be displayed relatively darkly.
  • a brightly marked portion may mean that a distance from the side projection plane is close, and a darkened portion may mean a long distance from the side projection plane. That is, the central incisor portion may be displayed relatively darkly, and the molar portion may be displayed relatively brightly.
  • the side scan projection image may be generated for only one side of the left and right sides of the patient.
  • FIG. 54 is a conceptual diagram illustrating a method of generating a projection image of CT data in a front vertical direction and a projection image of CT data in a side vertical direction from the registered image of FIG. 48 .
  • a pixel value of an image obtained by projecting the CT data onto a two-dimensional plane may represent an accumulated brightness value of data image points on the same straight line with respect to each projection direction. That is, the CT projection image may be generated by accumulating voxel values of the CT data along a projection direction.
  • the voxel value of the CT data is I(x, y, z), and the pixel value of the CT projection image is I(u, v), can be satisfied with 54 , where A may indicate a frontal direction.
  • the voxel value of the CT data is I(x, y, z), and the pixel value of the CT projection image is I(s, t), can be satisfied with 54 , where B may represent a lateral direction.
  • the CT projection image is not limited to being generated by accumulating voxel values.
  • the CT projection image may be generated based on a standard deviation of voxel values of the CT data along a projection direction.
  • the CT projection image may be generated based on a maximum value of voxel values of the CT data along a projection direction.
  • a first direction (y direction in FIG. 53 ) in which the 3D scan data is projected in two dimensions to generate the front scan projection image is a direction in which the 3D CT data is projected in two dimensions to generate the front CT projection image (direction y of FIG. 54 )
  • the second direction for generating the side scan projection image (direction x in FIG. 53 ) by projecting the 3D scan data in 2D is to convert the 3D CT data into 2D
  • the projection may coincide with a direction (x-direction in FIG. 54 ) in which the lateral CT projection image is generated.
  • the first direction in which the front scan projection image is generated may be a front direction of the 3D CT data
  • the second direction in which the side scan projection image is generated may be a side direction of the 3D CT data
  • 55 is a conceptual diagram illustrating a first convolutional neural network for determining matching accuracy between a projection depth image of scan data in a front vertical direction and a projection image of CT data in a vertical front direction.
  • 56 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are well matched.
  • 57 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are not properly matched.
  • the first convolutional neural network model that receives a front scan projection image and a front CT projection image to determine front matching accuracy is a first feature extractor (AP) and a first classifier (AP). classifier) may be included.
  • the first feature extractor may extract features of the front scan projection image and the front CT projection image.
  • the first classifier may calculate a matching result score of the front scan projection image and the front CT projection image based on the features extracted by the first feature extractor.
  • the training data of the first convolutional neural network model may be a front scan projection training image, a front CT projection training image, and whether or not matching is successful (GOOD or BAD).
  • the first feature extractor performs the steps of extracting the features of the front scan projected image and the front CT projected image by classification of a first convolution layer and features extracted from the first convolutional layer It may include a first pooling layer.
  • the first classifier may generate a first matching success score r1 and a first matching failure score q1 based on the features extracted by the first feature extractor.
  • the front matching score is gradually extracted.
  • the result of the first classifier may be determined as success, and if r1 ⁇ q1, the result of the first classifier may be determined as failure.
  • the result of the first classifier may be determined as matching success.
  • FIG. 56 shows a case in which the front scan projection image and the front CT projection image are well matched. In this case, r1 may be greater than q1.
  • FIG. 57 shows a case in which the front scan projection image and the front CT projection image do not match well. In this case, q1 may be greater than r1. Referring to the circled portion of FIG. 57 , it can be seen that the molar portion of the front CT projection image and the molar portion of the front scan projection image do not match at all.
  • 58 is a conceptual diagram illustrating a second convolutional neural network for determining matching accuracy between a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a vertical lateral direction.
  • 59 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are well matched.
  • 60 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are not well matched.
  • the second convolutional neural network model that receives a lateral scan projection image and a lateral CT projection image to determine lateral registration accuracy is a second feature extractor and a second classifier classifier) may be included.
  • the second feature extractor may extract features of the side scan projection image and the side CT projection image.
  • the second classifier may calculate a score as a result of matching the lateral scan projection image and the lateral CT projection image based on the features extracted by the second feature extractor.
  • the training data of the second convolutional neural network model may be a side scan projection training image, a side CT projection training image, and whether or not matching is successful (GOOD or BAD).
  • the second feature extractor performs the steps of extracting the features of the lateral scan projected image and the lateral CT projected image by a second convolution layer and extracting features extracted from the second convolutional layer by classification. It may include a second pooling layer.
  • the second classifier may generate a second matching success score r2 and a second matching failure score q2 based on the features extracted by the second feature extractor.
  • the lateral matching score is gradually extracted.
  • the result of the second classifier may be determined as a success, and if r2 ⁇ q2, the result of the second classifier may be determined as a failure.
  • the result of the second classifier may be determined as matching success.
  • FIG. 59 shows a case in which the side scan projection image and the side CT projection image are well matched. In this case, r2 may be greater than q2. Conversely, FIG. 60 shows a case in which the side scan projection image and the side CT projection image are not well matched. In this case, q2 may be greater than r2. 60 , it can be seen that the incisors of the lateral CT projection image and the incisors of the lateral scan projection image do not match at all.
  • 61 is a conceptual diagram illustrating a method of determining the final matching accuracy of scan data and CT data based on the matching accuracy in the frontal vertical direction and the matching accuracy in the side vertical direction.
  • the step of determining the final matching accuracy of the matching data ( S2500 ) if the result of the first classifier is Good and the result of the second classifier is Good, the The final matching result may be judged as good.
  • the final matching result is set as a failure (Bad).
  • a computer-readable recording medium in which a program for executing the above-described 3D dental CT image for dentistry and the method for determining matching accuracy of a 3D digital impression model is recorded on a computer may be provided.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of the data used in the above-described method may be recorded in a computer-readable medium through various means.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, etc.
  • Hardware devices specifically configured to store and execute program instructions are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention.
  • the above-described 3D dental CT image and the 3D digital impression model matching accuracy determination method may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
  • the present invention relates to a method and apparatus for automatically detecting feature points of three-dimensional medical image data using three-dimensional deep learning, and detects anatomical feature points of a patient simply, quickly and accurately without user input or separate three-dimensional model extraction process. can do.
  • the present invention relates to a dental 3D data position alignment automation method and a computer-readable recording medium in which a program for executing the same is recorded on a computer, which reduces time and effort for matching a dental CT image with a digital impression model. can do it
  • the present invention relates to a method for automatically detecting a landmark of dental 3D scan data and a computer-readable recording medium in which a program for executing the same on a computer is recorded, and a user's method for extracting a landmark of 3D scan data is provided.
  • the effort and time can be reduced, and the effort and time for registration of the dental CT image and the digital impression model can be reduced.
  • the present invention relates to a method for determining the accuracy of matching between a three-dimensional dental CT image for dentistry and a three-dimensional digital impression model, and to a computer-readable recording medium in which a program for executing the same on a computer is recorded. It is possible to automatically determine the accuracy of registration of the three-dimensional digital impression model data, thereby reducing the time and effort required to determine the registration result, and also increasing the accuracy of the automatic registration algorithm.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계, 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계, 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계를 포함한다.

Description

딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법, 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
본 발명은 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 관한 것이다.
본 발명은 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 자동으로 수행되어 치과 CT 영상과 디지털 인상 모델의 정합을 위한 시간과 노력을 감소시킬 수 있는 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
본 발명은 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 자동으로 수행되어 치과 CT 영상과 디지털 인상 모델의 정합을 위한 시간과 노력을 감소시킬 수 있는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
본 발명은 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 딥러닝에 의해 자동으로 수행되어 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 결과에 대한 정확도 판단을 위한 시간과 노력을 감소시킬 수 있는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
치과, 구강악안면외과, 성형외과 등에서 환자의 두경부 및 구강을 진단하기 위해 획득하는 Computed Tomography (CT), Cone-beam CT (CBCT), Magnetic Resonance Imaging (MRI) 영상 등은 수백 장에 달하는 2차원 슬라이드 영상이 축적된 3차원 볼륨 데이터이다.
진단 및 치료 계획을 수립하거나 치료 전/후의 비교를 위해, 3차원 볼륨 데이터의 분석과정을 반드시 거치게 된다. 이 분석 과정은 3차원 볼륨 데이터에서 환자의 해부학적 특징점을 마킹하고, 특징점 간의 거리나 비율, 각도를 계측하는 과정이다. 하지만, 수백 장에 달하는 슬라이드 영상으로 구축된 3차원 볼륨 데이터에서 수동으로 3차원 상의 점 하나를 특정하여 마킹하는 것은 까다로우면서도 많은 시간이 소요되는 작업이기 때문에, 이를 자동으로 검출하는 기법이 필요하다.
이러한 필요성에 의해 환자의 해부학적 특징점을 자동으로 검출하거나 분석하는 방법들이 제안되었다. 3차원 볼륨 데이터가 아닌 2차원 영상 (X-ray 영상)에서의 자동 검출방법이 제안되었고, 3차원 볼륨 데이터에서의 사용자의 상호작용을 통한 특징점 검출 및 분석에 대한 방법이 제안되었으며, 3차원 볼륨 데이터로부터 안면골 3차원 모델을 추출하여 이를 2차원으로 투영시킨 2차원 투영영상에서의 자동 검출 방법이 제안되었다.
하지만 본 발명에서와 같이 3차원 볼륨 데이터에서의 자동 검출에 대한 방법은 제안된 바가 없었다. 가장 연관성이 높은 3차원 모델을 추출하여 2차원 투영시켜 자동 검출하는 방법의 경우, 추출된 3차원 안면골 모델의 질에 따라 자동 검출의 정확도가 영향을 받게 된다.
치과에서 진단, 분석, 보철물 제작 등을 위해 3차원 환자 의료 영상 데이터와 3차원 디지털 인상 모델 스캔 데이터가 사용되고 있다. 두 데이터는 서로 다른 정보를 가지고 있으며, 하나로 합쳐졌을 때 더욱 효과적이며 다양한 진단, 분석, 제작이 가능하다. 하지만 서로 다른 좌표계에서 획득된 3차원 데이터이기 때문에 두 데이터를 일치시켜주는 정합 과정이 필요하다.
3차원 환자 의료 영상 데이터와 3차원 디지털 인상 모델 스캔 데이터를 정합하기 위해서는 3차원 환자 의료 영상 데이터와 3차원 디지털 인상 모델 스캔 데이터 각각에 특징점을 설정해야 한다.
서로 다른 두 3차원 데이터인 치과 CT 영상과 디지털 인상 모델에서 6개의 특징점을 선택하는 작업은 시간과 노력이 많이 소요될 수 있다. 또한, 인공지능을 이용하여 특징점을 찾아내더라도, 찾아진 특징점이 서로 정확히 일치하지 않을 수 있다. 그리고 결손 치아가 있는 경우 또는 데이터 영역이 서로 다른 경우는 특징점만으로는 초기 정합의 결과가 좋지 않을 수 있다.
치과, 성형외과 등에서 구강 및 악안면 상태를 진단하거나 수술 및 치료 계획을 수립할 때 필수로 요구되는 3차원 볼륨 데이터인 CT(Computed Tomography) 또는 CBCT(Cone Beam Computed Tomography) (이하 CT로 통칭) 데이터는 뼈나 치아에 해당하는 경조직 뿐만 아니라, 혀 또는 입술과 같은 연조직, 뼈 내부에 존재하는 신경관 위치 및 형태 등의 다양한 정보를 포함하고 있다. 하지만, 환자가 기존에 시술 받은 임플란트, 교정장치, 치아 크라운 등의 구강 내에 존재하는 금속성 물질들로 인해, X-선 기반의 영상인 CT에서 Metal Artifact 현상이 일어나, 치아 및 주변부가 크게 왜곡되어 식별 및 진단에 어려움이 있다. 또한, 잇몸의 형상 또는 치아와의 경계면을 특정하기 어렵다. 이와 같은 제한된 치아 및 구강 정보를 보완하기 위해 3차원 디지털 스캔 모델을 획득해 사용한다. 이는 환자의 구강을 직접 스캔하여 획득되거나, 환자의 석고 인상 모형을 스캔하여 데이터를 획득되며, stl, obj, ply 등의 점과 면 정보로 이루어진 3차원 모델 파일 형식(이하 스캔 데이터)의 데이터이다.
CT 데이터와 함께 스캔 데이터를 활용할 때는, 서로 다른 모달리티의 데이터를 중첩하는 정합 과정을 거친다. 일반적으로 스캔 데이터를 CT 상에서 동일한 위치를 사용자가 각각 수동으로 랜드마크를 설정하여 정합한다. 또한, 치료 경과 혹은 전후 비교를 위해 다른 시기에 획득된 동일 환자의 스캔 데이터를 같은 방식으로 정합하기도 한다. 정합 결과는 치료, 수술 등의 중요한 기초 자료가 되기 때문에 정합의 정확성을 높이는 것은 아주 중요하다. 특히 임플란트의 경우, 신경관, 조직 등의 위치를 파악하여 최적의 위치에 임플란트 식립하기 위한 계획 작업의 기초가 되므로 정합 기준이 되는 랜드마크의 위치는 높은 정확도를 요구한다. 하지만, 수동으로 서로 다른 두 종류의 데이터에서 3차원 상의 랜드마크를 일관된 기준으로 혹은 일정한 위치에 마킹하는 것은 까다로우면서도 많은 시간이 소요되며 사용자별 편차가 존재한다.
랜드마크를 얻기 위해, 마커를 구강에 직접 부착하여 스캔 데이터를 생성하는 경우에는 환자에게 불편함을 초래할 수 있고, 구강 내부는 연조직이기 때문에 마커 고정이 어려우므로 적절한 방법이 되기 어려운 문제가 있다.
3차원 볼륨 데이터와 함께 스캔 데이터를 활용할 때는, 서로 다른 모달리티의 데이터를 중첩하는 정합 과정을 거친다. 또한, 치료 경과 혹은 전후 비교를 위해 다른 시기에 획득된 동일 환자의 스캔 데이터를 같은 방식으로 정합하기도 한다. 정합 결과는 치료, 수술 등의 중요한 기초 자료가 되기 때문에 정합 결과의 정확도에 대한 판단은 중요하다. 특히 임플란트의 경우, 결손 치아 크기 및 신경관, 조직 등의 위치를 파악하여 최적의 위치와 크기로 임플란트를 식립하기 위한 계획 작업의 기초가 되므로 정확한 정합의 여부를 판단하는 것은 의료적, 경제적인 측면에서 큰 효율을 기대할 수 있다. 하지만, 육안만으로 일관된 기준으로 정합의 정확도를 판단하는 것은 까다로우면서도 많은 시간이 소요되며 사용자별 편차가 존재한다. 정합의 정확도를 높이고 사용자의 노력과 시간을 줄이기 위해, 정확한 정합 여부를 자동으로 판단하는 방법이 필요하다.
본 발명이 이루고자 하는 목적은 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있는, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 수행하는 장치를 제공하는 것이다.
본 발명이 이루고자 하는 목적은 치과 CT 영상과 디지털 인상 모델의 정합을 위한 시간과 노력을 감소시킬 수 있는 치과용 3차원 데이터 위치 정렬 자동화 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 치과용 3차원 데이터 위치 정렬 자동화 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
본 발명이 이루고자 하는 목적은 치과 CT 영상과 3차원 스캔 데이터의 정합을 위한 시간과 노력을 감소시키기 위해 3차원 스캔 데이터의 랜드마크를 자동으로 검출할 수 있는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
본 발명이 이루고자 하는 목적은 딥러닝에 의해 자동으로 수행되어 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 결과에 대한 정확도 판단을 위한 시간과 노력을 감소시킬 수 있는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계, 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계, 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 밝기 값 투영 영상은 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 컨볼루션 신경망에 통과시킬 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상을 기초로 정면 해부학적 초기 특징점을 검출하는 단계, 상기 측면 밝기 값 투영 영상을 기초로 측면 해부학적 초기 특징점을 검출하는 단계 및 상기 정면 해부학적 초기 특징점 및 상기 측면 해부학적 초기 특징점을 조합하여 3차원의 상기 해부학적 초기 특징점을 계산하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 컨볼루션 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망일 수 있다. 상기 제2 컨볼루션 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 3차원 완전 컨볼루션 심층 신경망일 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 컨볼루션 신경망의 입력 데이터는 상기 2차원 밝기 값 투영 영상이고, 상기 제1 컨볼루션 신경망의 출력 데이터는 해부학적 임시 초기 특징점을 포함하며, 상기 해부학적 임시 초기 특징점에 해당하는 위치가 가장 큰 값을 갖는 2차원 영상일 수 있다. 상기 제2 컨볼루션 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역이고, 상기 제2 컨볼루션 신경망의 출력 데이터는 해부학적 임시 세부 특징점을 포함하며, 상기 해부학적 임시 세부 특징점에 해당하는 위치가 가장 큰 값을 갖는 3차원 볼륨 영상일 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 관심 볼륨 영역을 생성하는 단계는 상기 해부학적 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 형성할 수 있다. 상기 3차원 관심 볼륨 영역의 중심은 상기 해부학적 초기 특징점의 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 세부 특징점은 Nasion, Anterior Nasal Spine, Point-A, Posterior Nasal Spine, Point-B, Pogonion, Gnathion, Right/Left of Orbitale Superius, Right/Left of Orbitale Inferius, Right/Left of Sutura Zygomaticofrontale, Right/Left of Foramen Mentale, Basion, Right Porion, Right/Left of Condylus Medialis, Right/Left of Condylus Lateralis, Right/Left of Areus Zygomatieus, Right/Left of Inferior Gonion, Right/Left of Posterior Gonion 및 Right of Processus Coronoideus를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제3 세부 특징점은 Glabella, Soft Tissue Nasion, Pronasale, Subnasale, Upper Lip Superior, Lower Lip Superior, Soft Tissue Pogonion, Soft Tissue Gnathion 및 Soft Tissue B-point를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root, 및 Canine Root를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 해부학적 세부 특징점은 치아에 관련되며 상기 치아 상에 존재하는 제5 세부 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치는 밝기 값 투영 영상 생성부, 초기 특징점 자동 검출부, 3차원 관심 볼륨 영역 생성부 및 세부 특징점 자동 검출부를 포함한다. 상기 밝기 값 투영 영상 생성부는 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성한다. 상기 초기 특징점 자동 검출부는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출한다. 상기 3차원 관심 볼륨 영역 생성부는 상기 3차원 볼륨 의료 영상을 입력받고, 상기 해부학적 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성한다. 상기 세부 특징점 자동 검출부는 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출한다.
본 발명의 일 실시예에 있어서, 상기 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 치과용 3차원 데이터 위치 정렬 자동화 방법은 CT 데이터의 특징점을 추출하는 단계, 디지털 인상 모델의 스캔 데이터의 특징점을 추출하는 단계, 환자의 눈과 코가 있는 방향을 나타내는 업 벡터 및 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계, 상기 스캔 데이터의 치아 부분을 추출하는 단계, 상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 spline curve 상에서 탐색하여 후보 타겟 포인트를 생성하는 단계 및 상기 후보 타겟 포인트와 상기 CT 데이터의 특징점의 에러가 가장 작은 값을 최종 후보로 결정하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 CT 데이터의 특징점은 상악에 3개 이상의 특징점, 하악에 3개 이상의 특징점을 포함할 수 있다. 상기 스캔 데이터의 특징점은 3개의 특징점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 제1 특징점 및 제3 특징점은 각각 횡 방향으로 상기 스캔 데이터의 치아의 최외곽점을 나타낼 수 있다. 상기 스캔 데이터의 제2 특징점은 2개의 중절치의 사이일 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계는 상기 스캔 데이터의 제1 특징점이
Figure PCTKR2021004839-appb-I000001
, 제2 특징점이
Figure PCTKR2021004839-appb-I000002
, 제3 특징점이
Figure PCTKR2021004839-appb-I000003
이고, 상기 스캔 데이터의 메쉬를 구성하고 있는 모든 점에서의 노멀 벡터의 평균 벡터를
Figure PCTKR2021004839-appb-I000004
이라고 할 때,
Figure PCTKR2021004839-appb-I000005
벡터 및
Figure PCTKR2021004839-appb-I000006
벡터의 외적 및 상기 평균 벡터
Figure PCTKR2021004839-appb-I000007
을 이용하여 상기 스캔 데이터의 특징점의 좌우를 판단할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계에서, 상기 스캔 데이터가 상악 데이터이면서 판별식 d<0이면, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000008
은
Figure PCTKR2021004839-appb-I000009
이고, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점
Figure PCTKR2021004839-appb-I000010
은
Figure PCTKR2021004839-appb-I000011
이며, 상기 스캔 데이터가 상악 데이터이면서 판별식 d>=0이면, 상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000012
은
Figure PCTKR2021004839-appb-I000013
이고, 상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000014
은
Figure PCTKR2021004839-appb-I000015
이며, 상기 판별식은
Figure PCTKR2021004839-appb-I000016
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계에서, 상기 스캔 데이터가 하악 데이터이면서 판별식 d<0이면, 상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000017
은
Figure PCTKR2021004839-appb-I000018
이고, 상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000019
은
Figure PCTKR2021004839-appb-I000020
이며, 상기 스캔 데이터가 하악 데이터이면서 판별식 d>=0이면, 상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000021
은
Figure PCTKR2021004839-appb-I000022
이고, 상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000023
은
Figure PCTKR2021004839-appb-I000024
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 업 벡터를 판단하는 단계에서, 상기 업 벡터는
Figure PCTKR2021004839-appb-I000025
이고, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점은
Figure PCTKR2021004839-appb-I000026
이며, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점은
Figure PCTKR2021004839-appb-I000027
이고, 상기 스캔 데이터의 제2 특징점이
Figure PCTKR2021004839-appb-I000028
이며, 상기 스캔 데이터가 상악 데이터일 때,
Figure PCTKR2021004839-appb-I000029
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 업 벡터를 판단하는 단계에서, 상기 업 벡터는
Figure PCTKR2021004839-appb-I000030
이고, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점은
Figure PCTKR2021004839-appb-I000031
이며, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점은
Figure PCTKR2021004839-appb-I000032
이고, 상기 스캔 데이터의 제2 특징점이
Figure PCTKR2021004839-appb-I000033
이며, 상기 스캔 데이터가 하악 데이터일 때,
Figure PCTKR2021004839-appb-I000034
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 치과용 3차원 데이터 위치 정렬 자동화 방법은 상기 CT 데이터와 상기 스캔 데이터가 같은 영역을 가지고 있는지 판단하는 단계를 더 포함할 수 있다.
Figure PCTKR2021004839-appb-I000035
이고, th는 상기 CT 데이터와 상기 스캔 데이터는 같은 영역을 갖는지를 판단하기 위한 제1 쓰레스홀드값이며, p1, p3, p5는 상기 CT 데이터의 특징점들이고,
Figure PCTKR2021004839-appb-I000036
,
Figure PCTKR2021004839-appb-I000037
,
Figure PCTKR2021004839-appb-I000038
은 상기 스캔 데이터의 특징점들일 때,
Figure PCTKR2021004839-appb-I000039
를 만족하면, 상기 CT 데이터와 상기 스캔 데이터가 일치하는 같은 영역을 가지고 있는 것으로 판단할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 스캔 데이터가 상악 데이터인 경우, 상기 스캔 데이터의 제1 특징점, 제2 특징점 및 제3 특징점 중 상기 업 벡터 방향으로 최고점을 추출하는 단계, 상기 최고점으로부터 상기 업 벡터의 양의 방향으로 제1 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계 및 상기 스캔 데이터의 상기 최고점으로부터 상기 업 벡터의 음의 방향으로 제2 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 스캔 데이터가 하악 데이터인 경우, 상기 스캔 데이터의 제1 특징점, 제2 특징점 및 제3 특징점 중 상기 업 벡터 방향으로 최저점을 추출하는 단계, 상기 최저점으로부터 상기 업 벡터의 양의 방향으로 상기 제1 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계 및 상기 스캔 데이터의 상기 최저점으로부터 상기 업 벡터의 음의 방향으로 상기 제2 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 스캔 데이터의 상기 제2 특징점으로부터 우측 치아 특징점을 향하는 벡터를
Figure PCTKR2021004839-appb-I000040
이라 하고, 상기 제2 특징점으로부터 좌측 치아 특징점을 향하는 벡터를
Figure PCTKR2021004839-appb-I000041
이라 할 때, 상기 우측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000042
벡터 방향으로 제3 거리만큼 이동한 지점에 상기
Figure PCTKR2021004839-appb-I000043
벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계 및 상기 좌측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000044
벡터 방향으로 상기 제3 거리만큼 이동한 지점에 상기
Figure PCTKR2021004839-appb-I000045
벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제3 거리는 상기 제1 거리 및 상기 제2 거리보다 작을 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 우측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000046
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000047
벡터로부터 +90도로 회전한 제1 벡터를 법선 벡터로 하고 상기 제1 벡터로 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계, 상기 우측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000048
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000049
벡터로부터 -90도로 회전한 제2 벡터를 법선 벡터로 하고 상기 제2 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계, 상기 좌측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000050
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000051
벡터로부터 -90도로 회전한 제3 벡터를 법선 벡터로 하고 상기 제3 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계 및 상기 좌측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000052
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000053
벡터로부터 +90도로 회전한 제4 벡터를 법선 벡터로 하고 상기 제4 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제4 거리는 상기 제1 거리, 상기 제2 거리 및 상기 제3 거리보다 클 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 스캔 데이터의 상기 제2 특징점에서 상기
Figure PCTKR2021004839-appb-I000054
벡터와 상기
Figure PCTKR2021004839-appb-I000055
벡터의 합인
Figure PCTKR2021004839-appb-I000056
벡터 방향으로 제5 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000057
벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계 및 상기 스캔 데이터의 상기 제2 특징점에서 -
Figure PCTKR2021004839-appb-I000058
벡터 방향으로 상기 제5 거리만큼 이동한 지점에서 상기 -
Figure PCTKR2021004839-appb-I000059
벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 spline curve 상에서 탐색하여 후보 타겟 포인트를 생성하는 단계는 상기 CT 데이터의 상악의 복수의 특징점들 또는 상기 CT 데이터의 하악의 복수의 특징점들을 기초로 상기 spline curve, C(u)를 계산하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 소스 포인트는 좌측 치아 특징점, 제2 특징점, 상기 우측 치아 특징점의 3개의 점을 포함할 수 있다.
본 발명의 일 실시예에 있어서,
Figure PCTKR2021004839-appb-I000060
은 상기 좌측 치아 특징점이고,
Figure PCTKR2021004839-appb-I000061
는 상기 제2 특징점이며,
Figure PCTKR2021004839-appb-I000062
은 상기 우측 치아 특징점이고, 타겟 포인트의 첫 번째 점은 C(u) 상에서 파라미터 u를 제1 값만큼 증가시키면서 탐색하고, 상기 타겟 포인트의 두 번째 점은 C(u) 상에서 상기 파라미터 u를 제2 값만큼 증가시키면서 d11=||C(u1)-C(u2)||-||
Figure PCTKR2021004839-appb-I000063
-
Figure PCTKR2021004839-appb-I000064
||가 최소가 되는 C(u2)를 탐색하며, 상기 타겟 포인트의 세 번째 점은 C(u) 상에서 상기 파라미터 u를 제3 값만큼 증가시키면서 d12=||C(u2)-C(u3)||-||
Figure PCTKR2021004839-appb-I000065
-
Figure PCTKR2021004839-appb-I000066
||이 최소가 되는 C(u3)를 탐색하고, 상기 d11, d12 및 d13=||C(u3)-C(u1)||-||
Figure PCTKR2021004839-appb-I000067
-
Figure PCTKR2021004839-appb-I000068
||이 모두 제2 쓰레스홀드값보다 작으면 상기 타겟 포인트 C(u1), C(u2) 및 C(u3)는 상기 후보 타겟 포인트로 선정되며, 상기 후보 타겟 포인트는 C(u1), C(u2) 및 C(u3)의 3개의 점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 후보 타겟 포인트와 상기 CT 데이터의 특징점의 에러가 가장 작은 값을 최종 후보로 결정하는 단계는 변환 매트릭스를 이용하여 상기 후보 타겟 포인트를 상기 CT 데이터의 도메인으로 변환하는 단계 및 상기 변환된 후보 타겟 포인트와 상기 CT 데이터의 특징점 간의 거리의 평균으로 변환 에러를 측정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 치과용 3차원 데이터 위치 정렬 자동화 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 치과용 3차원 데이터 위치 정렬 자동화 방법은 CT 데이터의 특징점을 추출하는 단계, 디지털 인상 모델의 스캔 데이터의 특징점을 추출하는 단계, 환자의 눈과 코가 있는 방향을 나타내는 업 벡터 및 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계, 상기 CT 데이터와 상기 스캔 데이터가 같은 영역을 갖는지 판단하는 단계, 상기 스캔 데이터의 치아 부분을 추출하는 단계, 상기 CT 데이터와 상기 스캔 데이터가 서로 다른 영역을 가질 때, 상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 spline curve 상에서 탐색하여 후보 타겟 포인트를 생성하는 단계 및 상기 후보 타겟 포인트 중 상기 CT 데이터와 상기 스캔 데이터의 정합 에러가 가장 작은 값을 최종 후보로 추천하는 단계를 포함한다.
본 발명의 일 실시예에 있어서,
Figure PCTKR2021004839-appb-I000069
이고, th는 상기 CT 데이터와 상기 스캔 데이터는 같은 영역을 갖는지를 판단하기 위한 제1 쓰레스홀드값이며, p1, p3, p5는 상기 CT 데이터의 특징점들이고
Figure PCTKR2021004839-appb-I000070
,
Figure PCTKR2021004839-appb-I000071
,
Figure PCTKR2021004839-appb-I000072
, 은 상기 스캔 데이터의 특징점들일 때,
Figure PCTKR2021004839-appb-I000073
를 만족하면, 상기 CT 데이터와 상기 스캔 데이터가 같은 영역을 갖는 것으로 판단할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계는 상기 스캔 데이터의 제1 특징점이
Figure PCTKR2021004839-appb-I000074
, 제2 특징점이
Figure PCTKR2021004839-appb-I000075
, 제3 특징점이
Figure PCTKR2021004839-appb-I000076
이고, 상기 스캔 데이터의 메쉬를 구성하고 있는 모든 점에서의 노멀 벡터의 평균 벡터를
Figure PCTKR2021004839-appb-I000077
이라고 할 때,
Figure PCTKR2021004839-appb-I000078
벡터 및
Figure PCTKR2021004839-appb-I000079
벡터의 외적 및 상기 평균 벡터
Figure PCTKR2021004839-appb-I000080
을 이용하여 상기 스캔 데이터의 특징점의 좌우를 판단할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계에서, 상기 스캔 데이터가 상악 데이터이면서 판별식 d<0이면, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000081
은
Figure PCTKR2021004839-appb-I000082
이고, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점
Figure PCTKR2021004839-appb-I000083
은
Figure PCTKR2021004839-appb-I000084
이며, 상기 스캔 데이터가 상악 데이터이면서 판별식 d>=0이면, 상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000085
은
Figure PCTKR2021004839-appb-I000086
이고, 상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000087
은
Figure PCTKR2021004839-appb-I000088
이며, 상기 판별식은
Figure PCTKR2021004839-appb-I000089
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계에서, 상기 스캔 데이터가 하악 데이터이면서 판별식 d<0이면, 상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000090
은
Figure PCTKR2021004839-appb-I000091
이고, 상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000092
은
Figure PCTKR2021004839-appb-I000093
이며, 상기 스캔 데이터가 하악 데이터이면서 판별식 d>=0이면, 상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000094
은
Figure PCTKR2021004839-appb-I000095
이고, 상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000096
은
Figure PCTKR2021004839-appb-I000097
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 업 벡터를 판단하는 단계에서, 상기 업 벡터는
Figure PCTKR2021004839-appb-I000098
이고, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점은
Figure PCTKR2021004839-appb-I000099
이며, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점은
Figure PCTKR2021004839-appb-I000100
이고, 상기 스캔 데이터의 제2 특징점이
Figure PCTKR2021004839-appb-I000101
이며, 상기 스캔 데이터가 상악 데이터일 때,
Figure PCTKR2021004839-appb-I000102
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 업 벡터를 판단하는 단계에서, 상기 업 벡터는
Figure PCTKR2021004839-appb-I000103
이고, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점은
Figure PCTKR2021004839-appb-I000104
이며, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점은
Figure PCTKR2021004839-appb-I000105
이고, 상기 스캔 데이터의 제2 특징점이
Figure PCTKR2021004839-appb-I000106
이며, 상기 스캔 데이터가 하악 데이터일 때,
Figure PCTKR2021004839-appb-I000107
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 스캔 데이터가 상악 데이터인 경우, 상기 스캔 데이터의 제1 특징점, 제2 특징점 및 제3 특징점 중 상기 업 벡터 방향으로 최고점을 추출하는 단계, 상기 최고점으로부터 상기 업 벡터의 양의 방향으로 제1 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계 및 상기 스캔 데이터의 상기 최고점으로부터 상기 업 벡터의 음의 방향으로 제2 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 스캔 데이터가 하악 데이터인 경우, 상기 스캔 데이터의 제1 특징점, 제2 특징점 및 제3 특징점 중 상기 업 벡터 방향으로 최저점을 추출하는 단계, 상기 최저점으로부터 상기 업 벡터의 양의 방향으로 상기 제1 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계 및 상기 스캔 데이터의 상기 최저점으로부터 상기 업 벡터의 음의 방향으로 상기 제2 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 스캔 데이터의 상기 제2 특징점으로부터 우측 치아 특징점을 향하는 벡터를
Figure PCTKR2021004839-appb-I000108
이라 하고, 상기 제2 특징점으로부터 좌측 치아 특징점을 향하는 벡터를
Figure PCTKR2021004839-appb-I000109
이라 할 때, 상기 우측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000110
벡터 방향으로 제3 거리만큼 이동한 지점에 상기
Figure PCTKR2021004839-appb-I000111
벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계 및 상기 좌측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000112
벡터 방향으로 상기 제3 거리만큼 이동한 지점에 상기
Figure PCTKR2021004839-appb-I000113
벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 우측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000114
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000115
벡터로부터 +90도로 회전한 제1 벡터를 법선 벡터로 하고 상기 제1 벡터로 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계, 상기 우측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000116
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000117
벡터로부터 -90도로 회전한 제2 벡터를 법선 벡터로 하고 상기 제2 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계, 상기 좌측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000118
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000119
벡터로부터 -90도로 회전한 제3 벡터를 법선 벡터로 하고 상기 제3 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계 및 상기 좌측 치아 특징점에서 상기
Figure PCTKR2021004839-appb-I000120
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000121
벡터로부터 +90도로 회전한 제4 벡터를 법선 벡터로 하고 상기 제4 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는 상기 스캔 데이터의 상기 제2 특징점에서 상기
Figure PCTKR2021004839-appb-I000122
벡터와 상기
Figure PCTKR2021004839-appb-I000123
벡터의 합인
Figure PCTKR2021004839-appb-I000124
벡터 방향으로 제5 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000125
벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계 및 상기 스캔 데이터의 상기 제2 특징점에서 -
Figure PCTKR2021004839-appb-I000126
벡터 방향으로 상기 제5 거리만큼 이동한 지점에서 상기 -
Figure PCTKR2021004839-appb-I000127
벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 spline curve 상에서 탐색하여 후보 타겟 포인트를 생성하는 단계는 상기 CT 데이터의 상악의 복수의 특징점들 또는 상기 CT 데이터의 하악의 복수의 특징점들을 기초로 상기 spline curve, C(u)를 계산하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 소스 포인트는 좌측 치아 특징점, 제2 특징점, 상기 우측 치아 특징점의 3개의 점을 포함할 수 있다.
본 발명의 일 실시예에 있어서,
Figure PCTKR2021004839-appb-I000128
은 상기 좌측 치아 특징점이고,
Figure PCTKR2021004839-appb-I000129
는 상기 제2 특징점이며,
Figure PCTKR2021004839-appb-I000130
은 상기 우측 치아 특징점이고, 타겟 포인트의 첫 번째 점은 C(u) 상에서 파라미터 u를 제1 값만큼 증가시키면서 탐색하고, 상기 타겟 포인트의 두 번째 점은 C(u) 상에서 상기 파라미터 u를 제2 값만큼 증가시키면서 d11=||C(u1)-C(u2)||-||
Figure PCTKR2021004839-appb-I000131
-
Figure PCTKR2021004839-appb-I000132
||가 최소가 되는 C(u2)를 탐색하며, 상기 타겟 포인트의 세 번째 점은 C(u) 상에서 상기 파라미터 u를 제3 값만큼 증가시키면서 d12=||C(u2)-C(u3)||-||
Figure PCTKR2021004839-appb-I000133
-
Figure PCTKR2021004839-appb-I000134
||이 최소가 되는 C(u3)를 탐색하고, 상기 d11, d12 및 d13=||C(u3)-C(u1)||-||
Figure PCTKR2021004839-appb-I000135
-
Figure PCTKR2021004839-appb-I000136
||이 모두 제2 쓰레스홀드값보다 작으면 상기 타겟 포인트 C(u1), C(u2) 및 C(u3)는 상기 후보 타겟 포인트로 선정되며, 상기 후보 타겟 포인트는 C(u1), C(u2) 및 C(u3)의 3개의 점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 치과용 3차원 데이터 위치 정렬 자동화 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법은 3차원 스캔 데이터를 투영하여 2차원 깊이 영상을 생성하는 단계, 컨볼루션 신경망 모델(convolutional neural network model)을 이용하여 상기 2차원 깊이 영상이 환자가 지닌 모든 치아를 스캔한 풀 아치(Full arch) 데이터인지 환자가 지닌 치아 중 일부분만을 스캔한 부분 아치 데이터인지 분류하는 단계, 완전 컨볼루션 신경망 모델(fully-connected convolutional neural network model)을 이용하여 상기 2차원 깊이 영상 내에서 2차원 랜드마크를 검출하는 단계 및 상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영하여 상기 3차원 스캔 데이터의 3차원 랜드마크를 검출하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 2차원 깊이 영상을 생성하는 단계는 상기 3차원 스캔 데이터의 주성분 분석을 통해 상기 투영 방향 벡터를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 투영 방향 벡터를 결정하는 단계는 상기 3차원 스캔 데이터의 3차원 n개의 점 좌표
Figure PCTKR2021004839-appb-I000137
집합을 행렬로 나타낸
Figure PCTKR2021004839-appb-I000138
를
Figure PCTKR2021004839-appb-I000139
의 평균값
Figure PCTKR2021004839-appb-I000140
를 중심으로 이동시키는 단계, 상기 3차원 n개의 점 좌표에 대한 공분산
Figure PCTKR2021004839-appb-I000141
을 계산하는 단계, 상기 공분산 Σ를 고유분해(
Figure PCTKR2021004839-appb-I000142
)하는 단계(
Figure PCTKR2021004839-appb-I000143
이고
Figure PCTKR2021004839-appb-I000144
이며,) 및 w1={w1p,w1q,w1r},w2={w2p,w2q,w2r},w3={w3p,w3q,w3r} 중 고유값 λ가 가장 작은 방향 벡터 w3을 이용하여 상기 투영 방향 벡터를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 투영 방향 벡터를 결정하는 단계는 상기 3차원 스캔 데이터의 법선 벡터 평균이
Figure PCTKR2021004839-appb-I000145
일 때,
Figure PCTKR2021004839-appb-I000146
이면 w3을 상기 투영 방향 벡터로 결정하고,
Figure PCTKR2021004839-appb-I000147
이면 -w3을 상기 투영 방향 벡터로 결정할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 깊이 영상은 상기 투영 방향 벡터를 법선 벡터로 하고 상기 3차원 스캔 데이터로부터 제1 거리만큼 떨어진 곳에 정의된 투영 평면 상에 형성될 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 랜드마크를 검출하는 단계는 상기 투영 방향 벡터를 이용하여 상기 투영 방향 벡터의 역방향으로 상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영할 수 있다.
본 발명의 일 실시예에 있어서, 상기 컨볼루션 신경망 모델은 상기 2차원 깊이 영상의 특징을 추출하는 특징 추출기 및 상기 특징 추출기에 의해 추출된 특징을 기반으로 아치 분류 정보에 대한 점수를 계산하는 분류기를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 특징 추출기는 상기 2차원 깊이 영상의 특징들을 추출하는 단계들을 포함하는 컨볼루션층 및 상기 추출된 특징들을 분류 별로 추려나가는 단계들을 포함하는 풀링층을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 랜드마크를 검출하는 단계는 상기 2차원 깊이 영상이 상기 풀 아치 데이터인 경우, 풀 아치 학습 데이터들을 이용하여 학습된 제1 완전 컨볼루션 신경망 모델을 이용하여 상기 2차원 랜드마크를 검출하는 단계 및 상기 2차원 깊이 영상이 상기 부분 아치 데이터인 경우, 부분 아치 학습 데이터들을 이용하여 학습된 제2 완전 컨볼루션 신경망 모델을 이용하여 상기 2차원 랜드마크를 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 완전 컨볼루션 신경망 모델 및 상기 제2 완전 컨볼루션 신경망 모델은 각각 상기 2차원 깊이 영상에서 랜드마크 특징을 검출하는 컨볼루션 과정 및 상기 검출된 랜드마크 특징에 랜드마크 위치 정보를 추가하는 디컨볼루션 과정을 수행할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행될 수 있다. 상기 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행될 수 있다. 상기 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수는 상기 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수와 상이할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수는 상기 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수보다 많을 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 랜드마크를 검출하는 단계는 상기 컨볼루션 신경망 모델을 학습하는 단계를 더 포함할 수 있다. 상기 컨볼루션 신경망 모델을 학습하는 단계는 학습 2차원 깊이 영상 및 사용자 정의 랜드마크 정보를 입력할 수 있다. 상기 사용자 정의 랜드마크 정보는 학습 랜드마크의 종류 및 상기 학습 랜드마크의 상기 학습 2차원 깊이 영상에서의 정답 위치 정보를 이용할 수 있다.
본 발명의 일 실시예에 있어서, 상기 완전 컨볼루션 신경망 모델은 상기 2차원 깊이 영상에서 랜드마크 특징을 검출하는 컨볼루션 과정 및 상기 검출된 랜드마크 특징에 랜드마크 위치 정보를 추가하는 디컨볼루션 과정을 수행할 수 있다.
본 발명의 일 실시예에 있어서, 상기 디컨볼루션 과정의 결과는 상기 2차원 랜드마크의 개수에 대응하는 히트맵의 형태일 수 있다.
본 발명의 일 실시예에 있어서, 상기 히트맵에서 가장 큰 값을 갖는 픽셀 좌표가 상기 2차원 랜드마크의 위치를 나타낼 수 있다.
본 발명의 일 실시예에 있어서, 상기 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법은 3차원 스캔 데이터를 투영하여 2차원 깊이 영상을 생성하는 단계, 완전 컨볼루션 신경망 모델(fully-connected convolutional neural network model)을 이용하여 상기 2차원 깊이 영상 내에서 2차원 랜드마크를 검출하는 단계 및 상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영하여 상기 3차원 스캔 데이터의 3차원 랜드마크를 검출하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 2차원 깊이 영상을 생성하는 단계는 상기 3차원 스캔 데이터의 주성분 분석을 통해 상기 투영 방향 벡터를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 투영 방향 벡터를 결정하는 단계는 상기 3차원 스캔 데이터의 3차원 n개의 점 좌표
Figure PCTKR2021004839-appb-I000148
집합을 행렬로 나타낸
Figure PCTKR2021004839-appb-I000149
를
Figure PCTKR2021004839-appb-I000150
의 평균값
Figure PCTKR2021004839-appb-I000151
를 중심으로 이동시키는 단계(
Figure PCTKR2021004839-appb-I000152
), 상기 3차원 n개의 점 좌표에 대한 공분산
Figure PCTKR2021004839-appb-I000153
을 계산하는 단계, 상기 공분산 Σ를 고유분해(
Figure PCTKR2021004839-appb-I000154
)하는 단계(
Figure PCTKR2021004839-appb-I000155
이고
Figure PCTKR2021004839-appb-I000156
이며,) 및 w1={w1p,w1q,w1r},w2={w2p,w2q,w2r},w3={w3p,w3q,w3r} 중 고유값 λ가 가장 작은 방향 벡터 w3을 이용하여 상기 투영 방향 벡터를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 투영 방향 벡터를 결정하는 단계는 상기 3차원 스캔 데이터의 법선 벡터 평균이
Figure PCTKR2021004839-appb-I000157
일 때,
Figure PCTKR2021004839-appb-I000158
이면 w3을 상기 투영 방향 벡터로 결정하고,
Figure PCTKR2021004839-appb-I000159
이면 -w3을 상기 투영 방향 벡터로 결정할 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 깊이 영상은 상기 투영 방향 벡터를 법선 벡터로 하고 상기 3차원 스캔 데이터로부터 제1 거리만큼 떨어진 곳에 정의된 투영 평면 상에 형성될 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 랜드마크를 검출하는 단계는 상기 투영 방향 벡터를 이용하여 상기 투영 방향 벡터의 역방향으로 상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영할 수 있다.
본 발명의 일 실시예에 있어서, 상기 완전 컨볼루션 신경망 모델은 상기 2차원 깊이 영상에서 랜드마크 특징을 검출하는 컨볼루션 과정 및 상기 검출된 랜드마크 특징에 랜드마크 위치 정보를 추가하는 디컨볼루션 과정을 수행할 수 있다.
본 발명의 일 실시예에 있어서, 상기 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행될 수 있다.
본 발명의 일 실시예에 있어서, 상기 디컨볼루션 과정의 결과는 상기 2차원 랜드마크의 개수에 대응하는 히트맵의 형태일 수 있다.
본 발명의 일 실시예에 있어서, 상기 히트맵에서 가장 큰 값을 갖는 픽셀 좌표가 상기 2차원 랜드마크의 위치를 나타낼 수 있다.
본 발명의 일 실시예에 있어서, 상기 2차원 랜드마크를 검출하는 단계는 상기 컨볼루션 신경망 모델을 학습하는 단계를 더 포함할 수 있다. 상기 컨볼루션 신경망 모델을 학습하는 단계는 학습 2차원 깊이 영상 및 사용자 정의 랜드마크 정보를 입력할 수 있다. 상기 사용자 정의 랜드마크 정보는 학습 랜드마크의 종류 및 상기 학습 랜드마크의 상기 학습 2차원 깊이 영상에서의 정답 위치 정보를 이용할 수 있다.
본 발명의 일 실시예에 있어서, 상기 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법은 3차원 스캔 데이터 및 3차원 CT 데이터가 정합된 정합 데이터에서 상기 3차원 스캔 데이터를 2차원으로 투영하여 스캔 투영 영상을 생성하는 단계, 상기 정합 데이터에서 상기 3차원 CT 데이터를 2차원으로 투영하여 CT 투영 영상을 생성하는 단계, 제1 컨볼루션 신경망 모델(convolutional neural network model)에 정면 수직 방향의 정면 스캔 투영 영상과 상기 정면 수직 방향의 정면 CT 투영 영상을 입력하여 정면 정합 정확도를 판단하는 단계, 제2 컨볼루션 신경망 모델에 측면 수직 방향의 측면 스캔 투영 영상과 상기 측면 수직 방향의 측면 CT 투영 영상을 입력하여 측면 정합 정확도를 판단하는 단계 및 상기 정면 정합 정확도 및 상기 측면 정합 정확도를 기초로 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 스캔 투영 영상은 상기 3차원 스캔 데이터와 투영 평면 사이의 거리를 밝기로 나타내는 투영 깊이 영상일 수 있다.
본 발명의 일 실시예에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값을 누적하여 생성될 수 있다.
본 발명의 일 실시예에 있어서, 상기 CT 투영 영상은 상기 투영 방향이 A이고, 상기 CT 데이터의 상기 복셀 값이 I(x, y, z)이며, 상기 CT 투영 영상의 픽셀 값이 I(u, v)일 때,
Figure PCTKR2021004839-appb-I000160
를 만족할 수 있다.
본 발명의 일 실시예에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 표준 편차를 기초로 생성될 수 있다.
본 발명의 일 실시예에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 최대값을 기초로 생성될 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 정면 스캔 투영 영상을 생성하는 제1 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 정면 CT 투영 영상을 생성하는 방향과 일치할 수 있다. 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 측면 스캔 투영 영상을 생성하는 제2 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 측면 CT 투영 영상을 생성하는 방향과 일치할 수 있다.
본 발명의 일 실시예에 있어서, 상기 정면 스캔 투영 영상을 생성하는 상기 제1 방향은 상기 3차원 CT 데이터의 정면 방향일 수 있다. 상기 측면 스캔 투영 영상을 생성하는 상기 제2 방향은 상기 3차원 CT 데이터의 측면 방향일 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 컨볼루션 신경망 모델은 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징을 추출하는 제1 특징 추출기 및 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 정합 결과 점수를 산출하는 제1 분류기를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 컨볼루션 신경망 모델은 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징을 추출하는 제2 특징 추출기 및 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 정합 결과 점수를 산출하는 제2 분류기를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 특징 추출기는 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제1 컨볼루션층 및 상기 제1 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제1 풀링층을 포함할 수 있다. 상기 제2 특징 추출기는 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제2 컨볼루션층 및 상기 제2 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제2 풀링층을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 분류기는 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 제1 정합 성공 점수 r1과 제1 정합 실패 점수 q1을 생성하고, r1 > q1이면 상기 제1 분류기의 결과가 성공으로 판단되며, r1 < q1이면 상기 제1 분류기의 결과가 실패로 판단될 수 있다. 상기 제2 분류기는 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 제2 정합 성공 점수 r2와 제2 정합 실패 점수 q2를 생성하고, r2 > q2이면 상기 제2 분류기의 결과가 성공으로 판단되며, r2 < q2이면 상기 제2 분류기의 결과가 실패로 판단될 수 있다.
본 발명의 일 실시예에 있어서, 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계는 상기 제1 분류기의 결과가 성공이고, 상기 제2 분류기의 결과가 성공이면 상기 최종 정합 결과를 성공으로 판단하고, 상기 제1 분류기의 결과 및 상기 제2 분류기의 결과 중 적어도 어느 하나가 실패이면 상기 최종 정합 결과를 실패로 판단할 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
본 발명에 따른 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 따르면, 3차원 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있다.
특히, 3차원 볼륨 의료영상에서 환자의 악안면 및 구강의 해부학적 3차원 특징점을 짧은 시간에 자동으로 검출할 수 있고, 자동 검출된 특징점을 기반으로 환자의 악안면 및 구강을 쉽게 계측 및 분석할 수 있다.
CBCT와 같이 화질이 낮고 노이즈가 심한 볼륨 데이터의 경우 정확한 3차원 모델 추출이 어려워 3차원 모델을 2차원으로 투영시키는 종래의 방법이 적용되기 어렵고, 치아 보철물이나 교정 장치로 인해 금속 노이즈가 빈번히 발생하여 3차원 모델로 추출하기 어려운 치아 특징점에 대해서도 같은 이유로 종래의 방법이 적용되기 어렵다. 또한 골 표면이나 연조직 및 경조직 경계에 존재하지 않는 해부학적 특징점(예를 들면 Sella turcica의 중심점이나 치아 뿌리 관련 특징점)은 3차원 모델 표면에 존재하지 않기 때문에 종래의 방법을 자동 검출될 수 없다. 그러나, 본 발명에 따르면, 화질이 낮고 노이즈가 심한 3차원 볼륨 데이터에 대해서도 정확한 해부학적 특징점의 자동 검출이 가능하고, 치아 보철물이나 교정 장치 등 금속 노이즈가 있는 경우에도 정확하게 해부학적 특징점을 자동 검출할 수 있으며, 골 표면이나, 연조직 및 경조직의 경계에 존재하지 않는 해부학적 특징점도 자동 검출할 수 있다.
본 발명에 따른 치과용 3차원 데이터 위치 정렬 자동화 방법에 따르면, 사용자의 입력이 없고, 데이터가 포함하고 있는 영역이 서로 다르더라도 좋은 초기 정합의 결과를 얻을 수 있다. 이를 통해 최종 정밀 정합까지 사용자의 입력 없이 빠르게 정합할 수 있다.
본 발명에 따른 치과용 3차원 데이터 위치 정렬 자동화 방법에 따르면, 치과 및 치기공소에서 진단, 분석, 보철물 제작 등을 위해 빈번하게 진행되고 있는 환자 의료 영상 데이터(CT, CBCT)와 디지털 인상 모델 스캔 데이터를 정합하는데 소요되는 시간과 노력을 획기적으로 줄일 수 있다.
본 발명에 따른 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법에 따르면, 3차원 스캔 데이터의 랜드마크를 딥러닝을 이용하여 자동으로 검출하므로, 3차원 스캔 데이터의 랜드마크를 추출하기 위한 사용자의 노력과 시간을 줄일 수 있고, 3차원 스캔 데이터의 랜드마크의 정확도를 높일 수 있다.
또한, 3차원 스캔 데이터의 랜드마크를 딥러닝을 이용하여 자동으로 검출하므로, 치과 CT 영상과 3차원 스캔 데이터의 정합의 정확도를 높이고 치과 CT 영상과 3차원 스캔 데이터의 정합을 위한 사용자의 노력과 시간을 줄일 수 있다.
본 발명에 따른 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법에 따르면, 별도의 사용자 입력 없이 3차원 치과 CT 영상 및 3차원 스캔 데이터로부터 2차원 투영 영상을 얻고 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여 정합의 정확도를 자동으로 판단할 수 있다.
3차원 치과 CT 영상 데이터와 3차원 디지털 인상 모델 데이터의 정합의 정확도를 자동으로 판단할 수 있어, 정합 결과를 판단하는데 소요되는 시간과 노력을 줄일 수 있고, 또한 상기 판단된 정합의 정확도를 기초로 자동 정합 알고리즘의 정확도를 높일 수 있다.
도 1은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 도면이다.
도 2는 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치를 나타내는 블록도이다.
도 3은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 흐름도이다.
도 4a, 도 4b, 도 4c 및 도 4d는 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 악안면골과 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 5는 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 피부 표면에 존재하는 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 6a 및 도 6b는 도 2의 세부 특징점 자동 검출부가 검출할 수 있는 치아와 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 7은 도 2의 밝기 값 투영 영상 생성부에 의해 생성되는 밝기 값 투영 영상의 예시를 나타내는 도면이다.
도 8은 도 2의 초기 특징점 자동 검출부에 의해 검출되는 해부학적 초기 특징점을 나타내는 도면이다.
도 9는 도 2의 3차원 관심 볼륨 영역 생성부에 의해 생성되는 3차원 관심 볼륨 영역의 예시를 나타내는 도면이다.
도 10a는 도 2의 초기 특징점 자동 검출부가 이용하는 제1 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 10b는 도 2의 세부 특징점 자동 검출부가 이용하는 제2 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 11은 도 2의 세부 특징점 자동 검출부에 의해 검출되는 해부학적 세부 특징점을 나타내는 도면이다.
도 12는 본 실시예에 따른 치과용 3차원 데이터 위치 정렬 자동화 방법을 나타내는 순서도이다.
도 13은 치과 CT 영상과 디지털 인상 모델의 스캔 데이터를 나타내는 도면이다.
도 14는 치과 CT 영상의 특징점들을 나타내는 도면이다.
도 15는 디지털 인상 모델의 스캔 데이터의 특징점들을 나타내는 도면이다.
도 16 내지 도 19는 도 12의 업 벡터 및 스캔 데이터의 특징점의 좌우 구분 단계를 나타내는 개념도이다.
도 20은 스캔 데이터가 상악 데이터인 경우의 업 벡터를 나타내는 개념도이다.
도 21은 스캔 데이터가 하악 데이터인 경우의 업 벡터를 나타내는 개념도이다.
도 22 및 도 23은 도 12의 CT 데이터와 스캔 데이터의 영역 일치 여부 판단 단계를 나타내는 개념도이다.
도 24 및 도 25는 도 12의 스캔 데이터의 치아 부분 추출 단계를 나타내는 개념도이다.
도 26은 도 12의 스캔 데이터의 치아 부분 추출 단계에 의해 추출된 도 12의 스캔 데이터의 치아 부분을 나타내는 도면이다.
도 27은 도 12의 스캔 데이터의 치아 부분 추출 단계에 의해 추출된 도 12의 스캔 데이터의 치아 부분을 나타내는 도면이다.
도 28은 도 12의 스캔 데이터의 소스 포인트를 CT SPLINE CURVE 상에서 탐색하는 단계를 나타내는 도면이다.
도 29a 내지 도 29c는 도 12의 초기 정합 단계(COARSE REGISTRATION)의 결과를 나타내는 도면이다.
도 30a 내지 도 30c는 도 12의 정밀 정합 단계(FINE REGISTRATION)의 결과를 나타내는 도면이다.
도 31은 본 실시예에 따른 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법을 나타내는 흐름도이다.
도 32는 3차원 스캔 데이터의 랜드마크의 예시를 나타내는 사시도이다.
도 33은 3차원 스캔 데이터를 투영하여 2차원 깊이 영상을 생성하는 방법을 나타내는 개념도이다.
도 34는 2차원 깊이 영상을 생성할 때의 투영 방향의 예시를 나타내는 사시도이다.
도 35는 2차원 깊이 영상을 생성할 때의 투영 방향의 예시를 나타내는 사시도이다.
도 36은 2차원 깊이 영상의 예시를 나타내는 평면도이다.
도 37은 2차원 깊이 영상의 예시를 나타내는 평면도이다.
도 38은 풀 아치 데이터 및 부분 아치 데이터를 나타내는 사시도이다.
도 39는 풀 아치 데이터 및 부분 아치 데이터를 분류하는 컨볼루션 신경망을 나타내는 개념도이다.
도 40은 2차원 랜드마크를 검출하는 완전 컨볼루션 신경망의 트레이닝 데이터의 예시를 나타내는 개념도이다.
도 41은 2차원 랜드마크를 검출하는 완전 컨볼루션 신경망을 나타내는 개념도이다.
도 42는 풀 아치 데이터에 대한 제1 랜드마크 검출부 및 부분 아치 데이터에 대한 제2 랜드마크 검출부를 나타내는 개념도이다.
도 43은 2차원 랜드마크의 예시를 나타내는 평면도이다.
도 44는 2차원 랜드마크를 3차원 스캔 데이터에 역투영하여 3차원 랜드마크를 검출하는 방법을 나타내는 개념도이다.
도 45는 본 실시예에 따른 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법을 나타내는 흐름도이다.
도 46은 랜드마크 검출부를 나타내는 개념도이다.
도 47은 본 실시예에 따른 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 나타내는 흐름도이다.
도 48은 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 결과의 예시를 나타내는 도면이다.
도 49는 도 48의 정합 영상에서 정면 수직 방향의 스캔 데이터의 투영 깊이 영상을 나타내는 도면이다.
도 50은 도 48의 정합 영상에서 측면 수직 방향의 스캔 데이터의 투영 깊이 영상을 나타내는 도면이다.
도 51은 도 48의 정합 영상에서 정면 수직 방향의 CT 데이터의 투영 영상을 나타내는 도면이다.
도 52는 도 48의 정합 영상에서 측면 수직 방향의 CT 데이터의 투영 영상을 나타내는 도면이다.
도 53은 도 48의 정합 영상에서 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 스캔 데이터의 투영 깊이 영상을 생성하는 방법을 나타내는 개념도이다.
도 54는 도 48의 정합 영상에서 정면 수직 방향의 CT 데이터의 투영 영상 및 측면 수직 방향의 CT 데이터의 투영 영상을 생성하는 방법을 나타내는 개념도이다.
도 55는 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합 정확도를 판단하는 제1 컨볼루션 신경망을 나타내는 개념도이다.
도 56은 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 된 예시를 나타내는 개념도이다.
도 57은 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 되지 않은 예시를 나타내는 개념도이다.
도 58은 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합 정확도를 판단하는 제2 컨볼루션 신경망을 나타내는 개념도이다.
도 59는 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 된 예시를 나타내는 개념도이다.
도 60은 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 되지 않은 예시를 나타내는 개념도이다.
도 61은 정면 수직 방향의 정합 정확도 및 측면 수직 방향의 정합 정확도를 기초로 스캔 데이터와 CT 데이터의 최종 정합 정확도를 결정하는 방법을 나타내는 개념도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 도면이다. 도 2는 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치를 나타내는 블록도이다. 도 3은 본 실시예에 따른 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 나타내는 흐름도이다.
도 1 내지 도 3을 참조하면, 본 발명은 크게 (1) 초기 자동 특징점 검출 단계(Initial Stage)와 (2) 세부 자동 검출 단계(Fine Stage)로 구성된다.
(1) 초기 자동 검출 단계는 3차원 볼륨 데이터 전처리 단계 및 완전 컨볼루션 신경망 (Fully convolutional neural network) 딥러닝 모델을 이용한 초기 특징점 자동 검출 단계로 구성된다.
(2) 세부 자동 검출 단계는 초기 특징점 자동 검출 결과를 이용한 3차원 관심 볼륨영역 (VOI; Volume of Interest) 자동 추출 단계 및 3차원 완전 컨볼루션 신경망 (3차원 Fully convolutional neural network) 딥러닝 모델을 이용한 세부 특징점 자동 검출 단계로 구성된다.
이때, 3차원 볼륨 의료영상 데이터는　CT, CBCT, MRI 및 PET(Positron Emission Tomography) 중 하나가 될 수 있으며, 이 외에 환자의 해부학적 구조가 3차원 볼륨 데이터로 획득되는 어떤 의료영상 데이터도 가능하다.
검출하고자 하는 환자의 해부학적 특징점은 3차원 볼륨 의료영상 데이터에 포함된 어떤 특징점도 가능하며, 모든 타겟 특징점에 대해 별도의 처리 없이 동일한 제안 방법을 적용하여 특징점을 자동 검출한다.
도 2를 보면, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치는 밝기 값 투영 영상 생성부(100), 초기 특징점 자동 검출부(200), 3차원 관심 볼륨 영역 생성부(300) 및 세부 특징점 자동 검출부(400)를 포함한다. 상기 밝기 값 투영 영상 생성부(100)는 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성한다. 상기 초기 특징점 자동 검출부(200)는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출한다. 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 3차원 볼륨 의료 영상을 입력받고, 상기 해부학적 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성한다. 상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출한다.
도 3을 보면, 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 3차원 볼륨 의료 영상을 입력받는 단계(S10), 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계(S20), 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계(S30), 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계(S40) 및 상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계(S50)를 포함할 수 있다.
도 4a, 도 4b, 도 4c 및 도 4d는 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 악안면골과 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 4d를 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 해부학적 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함할 수 있다.
도 4a 내지 도 4d에서 보듯이, 상기 제1 세부 특징점은 Nasion (N), Anterior Nasal Spine (ANS), Point-A (A), Posterior Nasal Spine (PNS), Point-B (B), Pogonion, Gnathion (Pg), Right/Left of Orbitale Superius (OrSR/OrSL), Right/Left of Orbitale Inferius (OriR/OriL), Right/Left of Sutura Zygomaticofrontale (ZyFrR/ZyFrL), Right/Left of Foramen Mentale (FoMR/FoML), Basion (Ba), Right Porion (PoR), Right/Left of Condylus Medialis (CmR/CmL), Right/Left of Condylus Lateralis (ClR/ClL), Right/Left of Areus Zygomatieus (ArZyR/ArZyL), Right/Left of Inferior Gonion (IGoR/IGoL), Right/Left of Posterior Gonion (PGoR/PGoL) 및 Right of Processus Coronoideus (PrCor)를 포함할 수 있다.
상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함할 수 있다. 도 4a 내지 도 4d에서 보듯이, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella (S)를 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 연조직의 중간에 존재하는 제2 세부 특징점도 정확하게 검출할 수 있다.
도 5는 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 피부 표면에 존재하는 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 5를 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함할 수 있다.
도 5에서 보듯이, 상기 제3 세부 특징점은 Glabella (G), Soft Tissue Nasion (Ns), Pronasale (Pn), Subnasale (Sn), Upper Lip Superior (ULA), Lower Lip Superior (LLA), Soft Tissue Pogonion (Pgs), Soft Tissue Gnathion (Gns) 및 Soft Tissue B-point (Bs)를 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 피부 표면에 존재하는 제3 세부 특징점도 정확하게 검출할 수 있다.
도 6a 및 도 6b는 도 2의 세부 특징점 자동 검출부(400)가 검출할 수 있는 치아와 연관된 해부학적 세부 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 6b를 참조하면, 상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함할 수 있다.
도 6a 및 도 6b에서 보듯이, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root 및 Canine Root를 포함할 수 있다.
상기 세부 특징점 자동 검출부(400)가 검출할 수 있는 상기 해부학적 세부 특징점은 치아에 관련되며 치아 상에 존재하는 제5 세부 특징점을 포함할 수 있다.
도 6a 및 도 6b에서 보듯이, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함할 수 있다.
본 실시예에 따르면, 골 표면이 아닌 악골의 내부에 존재하는 제4 세부 특징점 및 치아 상에 존재하는 제5 세부 특징점도 정확하게 검출할 수 있다
도 7은 도 2의 밝기 값 투영 영상 생성부(100)에 의해 생성되는 밝기 값 투영 영상의 예시를 나타내는 도면이다.
도 1 내지 도 7을 참조하면, (1) 초기 자동 특징점 검출 단계에서는 3차원 볼륨 의료영상 데이터 전체 영역에 대하여 초기 특징점을 자동으로 검출할 수 있다. 초기 자동 검출에 앞서 3차원 볼륨 데이터를 완전 컨볼루션 신경망 딥러닝 모델에 맞는 형태로 처리하는 과정을 거친다. 이러한 처리 과정을 전처리라고 부를 수 있다. 상기 밝기 값 투영 영상 생성부(100)는 전처리를 수행할 수 있다.
전처리는 3차원 볼륨 의료영상 데이터의 밝기 값을 이용해 정면 방향 (Coronal View)과 측면 방향 (Sagittal View) 밝기 값 투영 영상을 각각 생성하는 영상처리 과정으로, 각 투영 방향으로 밝기 값을 스캔하여 투영 기준에 따른 값을 최종 투영 영상에 반영하는 방법이다.
상기 밝기 값 투영 영상 생성부(100)는 상기 3차원 볼륨 의료 영상을 입력 받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성할 수 있다.
상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성할 수 있다. 예를 들어, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성할 수 있다. 이와는 달리, 상기 밝기 값 투영 영상 생성부(100)는 3차원 볼륨 의료 영상의 밝기 값들의 최대값, 최소값, 평균값, 중간값 등을 이용하여 상기 2차원 밝기 값 투영 영상을 생성할 수 있다.
도 7에서 보듯이, 상기 2차원 밝기 값 투영 영상은 정면 밝기 값 투영 영상(도 7의 좌측) 및 측면 밝기 값 투영 영상(도 7의 우측)을 포함할 수 있다.
이 때, 상기 초기 특징점 자동 검출부(200)는 동일한 구조의 딥러닝 모델을 정면 밝기 값 투영 영상과 측면 밝기 값 투영 영상에 대해 각각 학습시킨 후 사용한다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 컨볼루션 신경망에 통과시킬 수 있다.
도 8은 도 2의 초기 특징점 자동 검출부(200)에 의해 검출되는 해부학적 초기 특징점을 나타내는 도면이다.
도 1 내지 도 8을 참조하면, 상기 초기 특징점 자동 검출부(200)는 상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출할 수 있다.
전처리 과정을 통해 생성된 상기 2차원 밝기 값 투영 영상을 입력 영상으로 하여, 완전 컨볼루션 신경망 딥러닝 모델이 투영 영상에서의 특징점을 자동으로 검출하도록 하는 학습과정을 거친다. 완전 컨볼루션 신경망 딥러닝 모델은 컨볼루션 층으로 구성된 신경망 딥러닝 모델이다.
도 8은 각 방향의 투영 영상에서 학습이 완료된 완전 컨볼루션 신경망 딥러닝 모델로 자동 검출한 초기 특징점 검출 결과의 예시이다. 도 8의 좌측은 정면 밝기 값 투영 영상 결과 (Coronal View)를 나타내고, 도 8의 우측은 측면 밝기 값 투영 영상 결과 (Sagittal View)를 나타내며, 도 8에서 검정색 점은 학습에 사용한 정답 특징점의 위치를 나타내고, 흰색 점은 완전 컨볼루션 신경망 딥러닝 모델에서 자동 검출된 초기 특징점의 위치를 나타낸다.
예를 들어, 상기 초기 특징점 자동 검출부(200)는 2차원의 초기 특징점을 3차원의 초기 특징점으로 변환할 수 있다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 밝기 값 투영 영상을 기초로 정면 해부학적 초기 특징점을 검출하고, 상기 측면 밝기 값 투영 영상을 기초로 측면 해부학적 초기 특징점을 검출할 수 있다. 상기 초기 특징점 자동 검출부(200)는 상기 정면 해부학적 초기 특징점 및 상기 측면 해부학적 초기 특징점을 조합하여 3차원의 상기 해부학적 초기 특징점을 계산할 수 있다.
도 9는 도 2의 3차원 관심 볼륨 영역 생성부(300)에 의해 생성되는 3차원 관심 볼륨 영역의 예시를 나타내는 도면이다.
도 1 내지 도 9를 참조하면, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역(VOI)을 생성할 수 있다.
(2) 세부 자동 검출 단계에서는 (1) 초기 자동 특징점 검출 단계의 결과를 이용하여 세부 영역에서 특징점을 검출하는 단계이다. 먼저 초기 특징점 자동 검출 결과를 이용해, 원본 3차원 볼륨 의료영상 데이터로부터 3차원 관심 볼륨 영역(VOI)을 자동으로 추출한다. 각 3차원 관심 볼륨 영역(VOI)은 각 초기 특징점을 중심으로 하여 일정 영역을 포함하는 3차원 볼륨 영역으로, 정육면체 형태의 영역일 수 있다.
도 9에서 좌측은 제1 초기 특징점에 대한 3차원 관심 볼륨 영역을 나타내고, 도 9에서 우측은 상기 제1 초기 특징점과 다른 제2 초기 특징점에 대한 3차원 관심 볼륨 영역을 나타낸다.
이와 같이, 상기 3차원 관심 볼륨 영역(VOI)의 개수는 3차원의 해부학적 초기 특징점의 개수와 일치할 수 있다.
예를 들어, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 상기 3차원 관심 볼륨 영역(VOI)을 형성할 수 있다. 이 때, 상기 3차원 관심 볼륨 영역(VOI)의 중심은 상기 해부학적 초기 특징점의 좌표일 수 있다.
예를 들어, 상기 해부학적 초기 특징점을 이용하여 10×10×10 크기의 상기 3차원 관심 볼륨 영역(VOI)을 만든다면, 상기 3차원 관심 볼륨 영역(VOI) 내에서 상기 해부학적 초기 특징점의 좌표는 (5, 5, 5)일 수 있다.
상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역(VOI)을 기초로, 상기 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출할 수 있다. 상기 제2 컨볼루션 신경망을 거쳐 생성되는 상기 해부학적 세부 특징점의 좌표는 상기 3차원 관심 볼륨 영역(VOI) 내에서 (5, 5, 5)가 아닐 수 있다. 예를 들어, 상기 제2 컨볼루션 신경망을 거쳐 생성되는 상기 해부학적 세부 특징점의 좌표가 (5, 6, 7)이라면, 상기 세부 특징점의 위치가 상기 초기 특징점에 비해 y축으로 1만큼, z축으로 2만큼 이동한 것을 의미할 수 있다.
본 실시예에서는, 상기 3차원 관심 볼륨 영역 생성부(300)는 상기 해부학적 초기 특징점을 기초로 상기 3차원 관심 볼륨 영역(VOI)을 생성하고, 상기 세부 특징점 자동 검출부(400)는 상기 3차원 관심 볼륨 영역(VOI)에 대해서만 제2 컨볼루션 신경망을 통과시키므로, 상기 3차원 볼륨 의료 영상을 상기 제2 컨볼루션 신경망에 그대로 통과시키는 경우에 비해 계산량을 크게 감소시킬 수 있고, 세부 특징점 검출의 정확도를 더욱 향상시킬 수 있다.
도 10a는 도 2의 초기 특징점 자동 검출부(200)가 이용하는 제1 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다. 도 10b는 도 2의 세부 특징점 자동 검출부(400)가 이용하는 제2 컨볼루션 신경망의 컨볼루션 연산의 유형을 나타내는 도면이다.
도 1 내지 도 10b를 참조하면, 상기 초기 특징점 자동 검출부(200)가 이용하는 제1 컨볼루션 신경망과 상기 세부 특징점 자동 검출부(200)가 이용하는 제2 컨볼루션 신경망은 서로 다를 수 있다.
상기 제1 컨볼루션 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)이고, 상기 제2 컨볼루션 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 3차원 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)일 수 있다. 상기 완전 컨볼루션 심층 신경망(fully convolutional deep neural network)은 모든 연산이 컨볼루션으로만 구성된 심층 신경망을 의미할 수 있다.
도 10a에서 H는 2차원 입력 영상의 높이, W는 2차원 입력 영상의 폭을 나타낼 수 있고, k는 커널의 높이 및 폭을 나타낼 수 있다. 도 10b에서 H는 3차원 입력 영상의 높이, W는 3차원 입력 영상의 폭, L은 3차원 입력 영상의 길이를 나타낼 수 있고, k는 커널의 높이 및 폭을 나타내며, d는 커널의 길이를 나타낼 수 있다.
상기한 바와 같이, 상기 제1 컨볼루션 신경망의 입력 데이터는 상기 2차원 밝기 값 투영 영상(예컨대, 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상)이고, 상기 제1 컨볼루션 신경망의 출력 데이터는 해부학적 임시 초기 특징점을 포함하며, 상기 해부학적 임시 초기 특징점에 해당하는 위치가 가장 큰 값을 갖는 2차원 영상일 수 있다.
상기 초기 특징점 자동 검출부(200)는 상기 해부학적 임시 초기 특징점을 3차원으로 변환하여 상기 해부학적 초기 특징점을 생성할 수 있다.
상기 제2 컨볼루션 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역(VOI)이고, 상기 제2 컨볼루션 신경망의 출력 데이터는 해부학적 임시 세부 특징점을 포함하며, 상기 해부학적 임시 세부 특징점에 해당하는 위치가 가장 큰 값을 갖는 3차원 볼륨 영상일 수 있다.
상기 세부 특징점 자동 검출부(400)는 상기 해부학적 임시 세부 특징점을 상기 3차원 볼륨 의료 영상 내의 좌표로 변환하여 최종적으로 상기 해부학적 세부 특징점을 검출할 수 있다.
도 11은 도 2의 세부 특징점 자동 검출부에 의해 검출되는 해부학적 세부 특징점을 나타내는 도면이다.
도 1 내지 도 11을 참조하면, 자동 추출된 초기 특징점별 3차원 관심 볼륨 영역(VOI) 데이터를 입력 영상으로 하여, 3차원 완전 컨볼루션 신경망 딥러닝 모델이 3차원 관심 볼륨영역의 3차원 특징점을 자동으로 세부 검출하도록 하는 학습과정을 거친다. 3차원 완전 컨볼루션 신경망 딥러닝 모델은 3차원 컨볼루션 층으로 구성된 신경망 딥러닝 모델이다.
이 때, 서로 다른 특징점의 3차원 관심 볼륨 영역(VOI)에 대하여 하나의 딥러닝 모델을 사용하여 학습시킨 후 사용한다. 도 11은 학습된 딥러닝 모델로부터 자동으로 세부 검출된 원본 3차원 볼륨 의료 영상 데이터에서의 최종 특징점 결과 예시를 보여준다.
도 11에서 검정색 점은 학습에 사용한 정답 세부 특징점의 위치를 나타내고, 흰색 점은 3차원 완전 컨볼루션 신경망 딥러닝 모델에서 자동 검출된 세부 특징점의 위치를 나타낸다.
본 실시예에 따르면, 3차원 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이, 3차원 볼륨 데이터 자체를 활용하여 자동으로 환자의 해부학적 특징점을 검출할 수 있다.
특히, 3차원 볼륨 의료영상에서 환자의 악안면 및 구강의 해부학적 3차원 특징점을 짧은 시간에 자동으로 검출할 수 있고, 자동 검출된 특징점을 기반으로 환자의 악안면 및 구강을 쉽게 계측 및 분석할 수 있다.
CBCT와 같이 화질이 낮고 노이즈가 심한 볼륨 데이터의 경우 정확한 3차원 모델 추출이 어려워 3차원 모델을 2차원으로 투영시키는 종래의 방법이 적용되기 어렵고, 치아 보철물이나 교정 장치로 인해 금속 노이즈가 빈번히 발생하여 3차원 모델로 추출하기 어려운 치아 특징점에 대해서도 같은 이유로 종래의 방법이 적용되기 어렵다. 또한 골 표면이나 연조직 및 경조직 경계에 존재하지 않는 해부학적 특징점(예를 들면 Sella turcica의 중심점이나 치아 뿌리 관련 특징점)은 3차원 모델 표면에 존재하지 않기 때문에 종래의 방법을 자동 검출될 수 없다. 그러나, 본 발명에 따르면, 화질이 낮고 노이즈가 심한 3차원 볼륨 데이터에 대해서도 정확한 해부학적 특징점의 자동 검출이 가능하고, 치아 보철물이나 교정 장치 등 금속 노이즈가 있는 경우에도 정확하게 해부학적 특징점을 자동 검출할 수 있으며, 골 표면이나, 연조직 및 경조직의 경계에 존재하지 않는 해부학적 특징점도 자동 검출할 수 있다.
본 발명의 일 실시예에 의하면, 전술한 3차원 의료 영상 데이터의 특징점 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 3차원 의료 영상 데이터의 특징점 자동 검출 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
도 12는 본 실시예에 따른 치과용 3차원 데이터 위치 정렬 자동화 방법을 나타내는 순서도이다. 도 13은 치과 CT 영상과 디지털 인상 모델의 스캔 데이터를 나타내는 도면이다. 도 14는 치과 CT 영상의 특징점들을 나타내는 도면이다. 도 15는 디지털 인상 모델의 스캔 데이터의 특징점들을 나타내는 도면이다.
도 12 내지 도 15를 참조하면, 상기 치과 CT 영상과 디지털 인상 모델을 자동 정합하기 위해서는 상기 치과 CT 영상으로부터 특징점을 추출하고 (단계 S100), 상기 디지털 인상 모델의 스캔 데이터로부터 특징점을 추출할 수 있다 (단계 S200).
예를 들어, 상기 치과 CT 영상은 CBCT (Cone Beam CT)영상일 수 있다. 상기 치과 CT 영상은 치아, 뼈, 신경관을 포함하는 영상일 수 있다. 예를 들어, 상기 디지털 인상 모델의 상기 스캔 데이터는 환자의 구강 내부를 스캐너로 스캔한 영상일 수 있다. 예를 들어, 상기 스캔 데이터는 환자의 구강 내부를 석고로 본 뜬 형상을 스캐너로 스캔한 영상일 수 있다.
도 13의 좌측 영상은 상기 디지털 인상 모델의 상기 스캔 데이터일 수 있다. 도 13의 우측 영상은 상기 치과 CT 영상일 수 있다. 본 실시예에서, 상기 디지털 인상 모델은 환자의 상악이나 하악 중 어느 하나에 대응되는 데이터일 수 있다. 본 실시예에서, 상기 치과 CT 영상은 환자의 상악 및 하악의 정보를 모두 포함할 수 있다.
예를 들어, 도 14에서 상기 치과 CT 영상의 특징점은 치아의 특정 위치를 나타내는 점들일 수 있다. 상기 치과 CT 영상의 특징점은 상악에 5개의 특징점(p1, p2, p3, p4, p5) 및 하악에 5개의 특징점(p6, p7, p8, p9, p10)을 포함할 수 있다. 예를 들어, 상기 상악의 제1 특징점(p1)과 제5 특징점(p5)은 각각 횡 방향으로 상기 상악의 치아의 최외곽점을 나타낼 수 있다. 상기 상악의 제3 특징점(p3)은 2개의 상악 중절치의 사이를 나타낼 수 있다. 상기 상악의 제2 특징점(p2)은 상기 제1 특징점(p1)과 상기 제3 특징점(p3) 사이에 배치될 수 있고, 상기 상악의 제4 특징점(p4)은 상기 제3 특징점(p3)과 상기 제5 특징점(p5) 사이에 배치될 수 있다. 예를 들어, 상기 하악의 제6 특징점(p6)과 제10 특징점(p10)은 각각 횡 방향으로 상기 하악의 치아의 최외곽점을 나타낼 수 있다. 상기 하악의 제8 특징점(p8)은 2개의 하악 중절치의 사이를 나타낼 수 있다. 상기 하악의 제7 특징점(p7)은 상기 제6 특징점(p6)과 상기 제8 특징점(p8) 사이에 배치될 수 있고, 상기 하악의 제9 특징점(p9)은 상기 제8 특징점(p8)과 상기 제10 특징점(p10) 사이에 배치될 수 있다.
예를 들어, 도 15에서 상기 스캔 데이터의 특징점은 치아의 특정 위치를 나타내는 점들일 수 있다. 상기 스캔 데이터의 특징점은 3개의 특징점을 포함할 수 있다(
Figure PCTKR2021004839-appb-I000161
,
Figure PCTKR2021004839-appb-I000162
,
Figure PCTKR2021004839-appb-I000163
). 여기서, 상기 스캔 데이터는 환자의 상악을 나타내는 데이터일 수도 있고, 환자의 하악을 나타내는 데이터일 수도 있다. 예를 들어, 상기 스캔 데이터의 제1 특징점(
Figure PCTKR2021004839-appb-I000164
) 및 제3 특징점(
Figure PCTKR2021004839-appb-I000165
)은 각각 횡 방향으로 상기 스캔 데이터의 치아의 최외곽점을 나타낼 수 있다. 상기 스캔 데이터의 제2 특징점(
Figure PCTKR2021004839-appb-I000166
)은 2개의 중절치의 사이를 나타낼 수 있다.
본 실시예에서, 상기 CT 영상의 특징점(예컨대, p1 내지 p10)은 인공지능 딥 러닝 기술을 이용하여 자동으로 추출될 수 있다. 또한, 상기 스캔 데이터의 특징점(예컨대,
Figure PCTKR2021004839-appb-I000167
내지
Figure PCTKR2021004839-appb-I000168
)은 인공지능 딥 러닝 기술을 이용하여 자동으로 추출될 수 있다. 상기 스캔 데이터가 상악을 나타내는지 하악을 나타내는지 여부는 사용자의 입력을 통해 결정되거나, 상기 스캔 데이터의 추가 정보를 통해 자동으로 판정될 수도 있다.
도 16 내지 도 19는 도 12의 업 벡터(
Figure PCTKR2021004839-appb-I000169
) 및 스캔 데이터의 특징점의 좌우 구분 단계를 나타내는 개념도이다.
도 16 내지 도 19를 참조하여, 상기 스캔 데이터의 위쪽 방향(환자의 눈과 코가 있는 방향)을 나타내는 업 벡터(
Figure PCTKR2021004839-appb-I000170
)와 스캔 데이터의 특징점(
Figure PCTKR2021004839-appb-I000171
,
Figure PCTKR2021004839-appb-I000172
)의 좌우를 구분하는 방법을 설명한다 (단계 S300).
도 16은 상기 스캔 데이터에서 치아가 하부 방향으로 정출되고, 상기 스캔 데이터의 좌측에 제1 특징점(
Figure PCTKR2021004839-appb-I000173
)이 표시되며, 스캔 데이터의 우측에 제3 특징점(
Figure PCTKR2021004839-appb-I000174
)이 표시된 경우를 예시한다. 도 16의 스캔 데이터의 치아가 하부 방향으로 정출되어 있다고 하여 도 16의 스캔 데이터가 반드시 상악 데이터를 의미하는 것은 아니다. 상기 도 16의 스캔 데이터가 상악 데이터인지, 하악 데이터인지는 사용자의 입력을 통해 판단되거나, 상기 스캔 데이터의 추가 정보를 통해 판단될 수 있다.
도 16의 스캔 데이터의 메쉬(mesh)를 구성하고 있는 모든 점(스캔 데이터의 표면의 모든 점)에서 normal vector를 구하여 그 평균 벡터의 단위 벡터
Figure PCTKR2021004839-appb-I000175
을 구할 수 있다. 상기 메쉬(mesh)를 구성하고 있는 모든 점에서 normal vector를 구하여 그 평균 벡터를 구하면, 도 16과 같은 스캔 데이터에서는 상기 평균 벡터는 도면의 하부 방향을 향하게 된다. 도 16에서 상기 평균 벡터의 단위 벡터
Figure PCTKR2021004839-appb-I000176
은 하부 방향으로 단위 길이를 갖게 된다.
상기 스캔 데이터의 특징점(
Figure PCTKR2021004839-appb-I000177
,
Figure PCTKR2021004839-appb-I000178
)의 좌우를 구분하는 판별식은 아래 수학식 1과 같다.
[수학식 1]
Figure PCTKR2021004839-appb-I000179
스캔 데이터가 상악 데이터이면서 판별식 d<0이면, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000180
=
Figure PCTKR2021004839-appb-I000181
이고, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점
Figure PCTKR2021004839-appb-I000182
=
Figure PCTKR2021004839-appb-I000183
이다. 반대로, 스캔 데이터가 상악 데이터이면서 판별식 d>=0이면, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000184
=
Figure PCTKR2021004839-appb-I000185
이고, 우측 치아 특징점
Figure PCTKR2021004839-appb-I000186
=
Figure PCTKR2021004839-appb-I000187
이다.
스캔 데이터가 하악 데이터이면서 판별식 d<0이면, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000188
=
Figure PCTKR2021004839-appb-I000189
이고, 우측 치아 특징점
Figure PCTKR2021004839-appb-I000190
=
Figure PCTKR2021004839-appb-I000191
이다. 반대로, 스캔 데이터가 하악 데이터이면서 판별식 d>=0이면, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000192
=
Figure PCTKR2021004839-appb-I000193
이고, 우측 치아 특징점
Figure PCTKR2021004839-appb-I000194
=
Figure PCTKR2021004839-appb-I000195
이다.
도 16에서
Figure PCTKR2021004839-appb-I000196
은 하부 방향이므로 상부 방향을 양의 방향이라고 할 때,
Figure PCTKR2021004839-appb-I000197
=-1이 된다.
Figure PCTKR2021004839-appb-I000198
와
Figure PCTKR2021004839-appb-I000199
의 외적(
Figure PCTKR2021004839-appb-I000200
Figure PCTKR2021004839-appb-I000201
Figure PCTKR2021004839-appb-I000202
)은 하부 방향(음수)을 갖게 된다. 따라서, 도 16의 스캔 데이터가 상악 데이터라면, d>=0이므로, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000203
=
Figure PCTKR2021004839-appb-I000204
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000205
=
Figure PCTKR2021004839-appb-I000206
이다. 반대로, 도 16의 스캔 데이터가 만약 하악 데이터라면, d>=0이므로, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000207
=
Figure PCTKR2021004839-appb-I000208
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000209
=
Figure PCTKR2021004839-appb-I000210
이다.
도 17은 상기 스캔 데이터에서 치아가 하부 방향으로 정출되고, 상기 스캔 데이터의 좌측에 제3 특징점(
Figure PCTKR2021004839-appb-I000211
)이 표시되며, 스캔 데이터의 우측에 제1 특징점(
Figure PCTKR2021004839-appb-I000212
)이 표시된 경우를 예시한다.
도 17에서
Figure PCTKR2021004839-appb-I000213
은 하부 방향이므로 상부 방향을 양의 방향이라고 할 때,
Figure PCTKR2021004839-appb-I000214
=-1이 된다.
Figure PCTKR2021004839-appb-I000215
와
Figure PCTKR2021004839-appb-I000216
의 외적(
Figure PCTKR2021004839-appb-I000217
)은 상부 방향(양수)을 갖게 된다. 따라서, 도 17의 스캔 데이터가 상악 데이터라면, d<0이므로, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000218
=
Figure PCTKR2021004839-appb-I000219
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000220
=
Figure PCTKR2021004839-appb-I000221
이다. 반대로, 도 17의 스캔 데이터가 만약 하악 데이터라면, d<0이므로, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000222
=
Figure PCTKR2021004839-appb-I000223
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000224
=
Figure PCTKR2021004839-appb-I000225
이다.
도 18은 상기 스캔 데이터에서 치아가 상부 방향으로 정출되고, 상기 스캔 데이터의 좌측에 제3 특징점(
Figure PCTKR2021004839-appb-I000226
)이 표시되며, 스캔 데이터의 우측에 제1 특징점(
Figure PCTKR2021004839-appb-I000227
)이 표시된 경우를 예시한다.
도 18에서
Figure PCTKR2021004839-appb-I000228
은 상부 방향이므로 상부 방향을 양의 방향이라고 할 때,
Figure PCTKR2021004839-appb-I000229
=1이 된다.
Figure PCTKR2021004839-appb-I000230
와
Figure PCTKR2021004839-appb-I000231
의 외적(
Figure PCTKR2021004839-appb-I000232
)은 상부 방향(양수)을 갖게 된다. 따라서, 도 18의 스캔 데이터가 하악 데이터라면, d>=0이므로, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000233
=
Figure PCTKR2021004839-appb-I000234
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000235
=
Figure PCTKR2021004839-appb-I000236
이다. 반대로, 도 18의 스캔 데이터가 만약 상악 데이터라면, d>=0이므로, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000237
=
Figure PCTKR2021004839-appb-I000238
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000239
=
Figure PCTKR2021004839-appb-I000240
이다.
도 19는 상기 스캔 데이터에서 치아가 상부 방향으로 정출되고, 상기 스캔 데이터의 좌측에 제1 특징점(
Figure PCTKR2021004839-appb-I000241
)이 표시되며, 스캔 데이터의 우측에 제3 특징점(
Figure PCTKR2021004839-appb-I000242
)이 표시된 경우를 예시한다.
도 19에서
Figure PCTKR2021004839-appb-I000243
은 상부 방향이므로 상부 방향을 양의 방향이라고 할 때,
Figure PCTKR2021004839-appb-I000244
=1이 된다.
Figure PCTKR2021004839-appb-I000245
와
Figure PCTKR2021004839-appb-I000246
의 외적(
Figure PCTKR2021004839-appb-I000247
)은 하부 방향(음수)을 갖게 된다. 따라서, 도 19의 스캔 데이터가 하악 데이터라면, d<0이므로, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000248
=
Figure PCTKR2021004839-appb-I000249
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000250
=
Figure PCTKR2021004839-appb-I000251
이다. 반대로, 도 19의 스캔 데이터가 만약 상악 데이터라면, d<0이므로, 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000252
=
Figure PCTKR2021004839-appb-I000253
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000254
=
Figure PCTKR2021004839-appb-I000255
이다.
상기 스캔 데이터가 상악 데이터일 때, 상기 환자의 눈과 코가 있는 방향을 나타내는 업 벡터(
Figure PCTKR2021004839-appb-I000256
)를 나타내는 식은 아래 수학식 2와 같다.
[수학식 2]
Figure PCTKR2021004839-appb-I000257
예를 들어, 도 16의 스캔 데이터가 상악 데이터인 경우에, 상기 판별식에 의해 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000258
=
Figure PCTKR2021004839-appb-I000259
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000260
=
Figure PCTKR2021004839-appb-I000261
이다. 수학식 2에 따라
Figure PCTKR2021004839-appb-I000262
-
Figure PCTKR2021004839-appb-I000263
와
Figure PCTKR2021004839-appb-I000264
-
Figure PCTKR2021004839-appb-I000265
의 외적인
Figure PCTKR2021004839-appb-I000266
는 상부 방향(양수)을 갖게 된다.
상기 스캔 데이터가 하악 데이터일 때, 상기 환자의 눈과 코가 있는 방향을 나타내는 업 벡터(
Figure PCTKR2021004839-appb-I000267
)를 나타내는 식은 아래 수학식 3과 같다.
[수학식 3]
Figure PCTKR2021004839-appb-I000268
예를 들어, 도 18의 스캔 데이터가 하악 데이터인 경우에, 상기 판별식에 의해 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000269
=
Figure PCTKR2021004839-appb-I000270
이고 우측 치아 특징점
Figure PCTKR2021004839-appb-I000271
=
Figure PCTKR2021004839-appb-I000272
이다. 수학식 3에 따라
Figure PCTKR2021004839-appb-I000273
-
Figure PCTKR2021004839-appb-I000274
와
Figure PCTKR2021004839-appb-I000275
-
Figure PCTKR2021004839-appb-I000276
의 외적인
Figure PCTKR2021004839-appb-I000277
는 상부 방향(양수)을 갖게 된다.
도 20은 스캔 데이터가 상악 데이터인 경우의 업 벡터를 나타내는 개념도이다. 도 21은 스캔 데이터가 하악 데이터인 경우의 업 벡터를 나타내는 개념도이다.
도 20에서 보듯이, 상기 스캔 데이터가 상악 데이터인 경우, 상기 업 벡터(
Figure PCTKR2021004839-appb-I000278
)의 방향은 치아의 정출 방향과 반대 방향으로 얻어질 수 있다.
또한, 도 21에서 보듯이, 상기 스캔 데이터가 하악 데이터인 경우, 상기 업 벡터(
Figure PCTKR2021004839-appb-I000279
)의 방향은 치아의 정출 방향과 실질적으로 동일한 방향으로 얻어질 수 있다.
도 22 및 도 23은 도 12의 CT 데이터와 스캔 데이터의 영역 일치 여부 판단 단계를 나타내는 개념도이다.
도 12 내지 도 23을 참조하면, CT 데이터와 스캔 데이터의 정합에서, 두 데이터가 같은 영역을 가지고 있는 케이스 1과 같은 영역을 가지고 있지 않은 케이스 2를 구별할 수 있다 (단계 S400). 아래 수학식 4를 만족하면, 상기 CT 데이터와 스캔 데이터는 같은 영역을 갖는 것으로 판단할 수 있다.
[수학식 4]
Figure PCTKR2021004839-appb-I000280
여기서,
Figure PCTKR2021004839-appb-I000281
이고, th는 상기 CT 데이터와 스캔 데이터는 같은 영역을 갖는지를 판단하기 위한 제1 쓰레스홀드값일 수 있다. 예를 들어, 상기 제1 쓰레스홀드값(th)은 5mm일 수 있다.
도 24 및 도 25는 도 12의 스캔 데이터의 치아 부분 추출 단계를 나타내는 개념도이다. 도 26은 도 12의 스캔 데이터의 치아 부분 추출 단계에 의해 추출된 도 12의 스캔 데이터의 치아 부분을 나타내는 도면이다.
도 12 내지 도 26을 참조하면, 두 데이터 간의 공통 영역인 치아부분을 기초로 정합을 진행하기 위해 스캔 데이터에서 치아부분만을 잘라낼 수 있다 (단계 S500). 상기 스캔 데이터가 상악 데이터인 경우, 상기 스캔 데이터의 제1 특징점(
Figure PCTKR2021004839-appb-I000282
), 제2 특징점(
Figure PCTKR2021004839-appb-I000283
) 및 제3 특징점(
Figure PCTKR2021004839-appb-I000284
) 중 상기 업 벡터(
Figure PCTKR2021004839-appb-I000285
) 방향으로 최고점을 추출한다. 상기 스캔 데이터가 하악 데이터인 경우, 상기 스캔 데이터의 제1 특징점(
Figure PCTKR2021004839-appb-I000286
), 제2 특징점(
Figure PCTKR2021004839-appb-I000287
) 및 제3 특징점(
Figure PCTKR2021004839-appb-I000288
) 중 상기 업 벡터(
Figure PCTKR2021004839-appb-I000289
) 방향으로 최저점을 추출한다.
상기 스캔 데이터가 상악 데이터인 경우, 상기 스캔 데이터의 상기 최고점으로부터 상기 업 벡터(
Figure PCTKR2021004839-appb-I000290
)의 양의 방향으로 제1 거리(+a) 이동 지점에
Figure PCTKR2021004839-appb-I000291
를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르고, 상기 스캔 데이터의 상기 최고점으로부터 상기 업 벡터(
Figure PCTKR2021004839-appb-I000292
)의 음의 방향으로 제2 거리(-b) 이동 지점에
Figure PCTKR2021004839-appb-I000293
를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자를 수 있다. (도 24) 예를 들어, 상기 제1 거리(+a)는 6mm일 수 있다. 예를 들어, 상기 제2 거리(-b)는 -6mm일 수 있다. 예를 들어, 상기 제1 거리(+a)와 상기 제2 거리(-b)의 절대값은 동일할 수 있다. 이와는 달리, 상기 제1 거리(+a)와 상기 제2 거리(-b)의 절대값은 상이할 수 있다.
상기 스캔 데이터가 하악 데이터인 경우, 상기 스캔 데이터의 상기 최저점으로부터 상기 업 벡터(
Figure PCTKR2021004839-appb-I000294
)의 양의 방향으로 제1 거리(+a) 이동 지점에
Figure PCTKR2021004839-appb-I000295
를 법선 벡터로 하는 무한한 평면(CP1)으로 스캔 데이터를 자르고, 상기 스캔 데이터의 상기 최저점으로부터 상기 업 벡터(
Figure PCTKR2021004839-appb-I000296
)의 음의 방향으로 제2 거리(-b) 이동 지점에
Figure PCTKR2021004839-appb-I000297
를 법선 벡터로 하는 무한한 평면(CP2)으로 스캔 데이터를 자를 수 있다. (도 24)
도 25를 보면, 상기 제2 특징점
Figure PCTKR2021004839-appb-I000298
로부터 우측 치아 특징점
Figure PCTKR2021004839-appb-I000299
을 향하는 벡터를
Figure PCTKR2021004839-appb-I000300
이라고 할 수 있고, 상기 제2 특징점
Figure PCTKR2021004839-appb-I000301
로부터 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000302
을 향하는 벡터를
Figure PCTKR2021004839-appb-I000303
이라고 할 수 있다. 상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000304
에서
Figure PCTKR2021004839-appb-I000305
벡터 방향으로 제3 거리만큼 이동한 지점에
Figure PCTKR2021004839-appb-I000306
벡터를 법선 벡터로 하는 무한한 평면(CP3)으로 스캔 데이터를 자르고, 상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000307
에서
Figure PCTKR2021004839-appb-I000308
벡터 방향으로 상기 제3 거리만큼 이동한 지점에
Figure PCTKR2021004839-appb-I000309
벡터를 법선 벡터로 하는 무한한 평면(CP4)으로 스캔 데이터를 자를 수 있다. 예를 들어, 상기 제3 거리는 상기 제1 거리 및 상기 제2 거리보다 작을 수 있다. 여기서, 상기 제3 거리는 1mm일 수 있다.
상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000310
에서
Figure PCTKR2021004839-appb-I000311
벡터 방향으로 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000312
벡터로부터 -90도로 회전한 제1 벡터를 법선 벡터로 하고 상기 제1 벡터로 제4 거리만큼 이동한 지점에서 무한한 평면(CP5)으로 스캔 데이터를 자를 수 있다. 상기 우측 치아 특징점
Figure PCTKR2021004839-appb-I000313
에서
Figure PCTKR2021004839-appb-I000314
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000315
벡터로부터 +90도로 회전한 제2 벡터를 법선 벡터로 하고 상기 제2 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면(CP6)으로 스캔 데이터를 자를 수 있다. 예를 들어, 상기 제4 거리는 상기 제1 거리, 상기 제2 거리 및 상기 제3 거리보다 클 수 있다. 여기서, 상기 제4 거리는 10mm일 수 있다.
상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000316
에서
Figure PCTKR2021004839-appb-I000317
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000318
벡터로부터 +90도로 회전한 제3 벡터를 법선 벡터로 하고 상기 제3 벡터로 제4 거리만큼 이동한 지점에서 무한한 평면(CP7)으로 스캔 데이터를 자를 수 있다. 상기 좌측 치아 특징점
Figure PCTKR2021004839-appb-I000319
에서
Figure PCTKR2021004839-appb-I000320
벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000321
벡터로부터 -90도로 회전한 제4 벡터를 법선 벡터로 하고 상기 제4 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면(CP8)으로 스캔 데이터를 자를 수 있다.
또한, 상기 제2 특징점(
Figure PCTKR2021004839-appb-I000322
)에서 상기
Figure PCTKR2021004839-appb-I000323
벡터와 상기
Figure PCTKR2021004839-appb-I000324
벡터의 합인
Figure PCTKR2021004839-appb-I000325
벡터 방향으로 제5 거리만큼 이동한 지점에서 상기
Figure PCTKR2021004839-appb-I000326
벡터를 법선 벡터로 하는 무한한 평면(CP10)으로 스캔 데이터를 자를 수 있다. 상기 제2 특징점(
Figure PCTKR2021004839-appb-I000327
)에서 -
Figure PCTKR2021004839-appb-I000328
벡터 방향으로 제5 거리만큼 이동한 지점에서 상기 -
Figure PCTKR2021004839-appb-I000329
벡터를 법선 벡터로 하는 무한한 평면(CP9)으로 스캔 데이터를 자를 수 있다. 예를 들어, 상기 제5 거리는 상기 제3 거리보다 크고, 상기 제4 거리보다 작을 수 있다. 여기서, 상기 제5 거리는 6mm일 수 있다.
도 26은 스캔 데이터를 절단 평면들(CP1 내지 CP10)을 이용하여 절단하여 얻은 치아 부분을 나타낸다.
상기 CT 데이터의 상기 상악의 제1 내지 제5 특징점(p1 내지 p5)을 컨트롤 포인트로 하여 parametric spline curve, C(u)를 계산할 수 있다. 여기서, u는 0<=u<=1을 만족하고, 환자 기준 가장 왼쪽에서 u=0이고, 환자 기준 가장 오른쪽에서 u=1일 수 있다.
상기 parametric spline curve C(u)는 상기 CT 데이터의 상기 상악의 5개의 특징점(p1 내지 p5)을 연결하는 아치의 스플라인 곡선을 의미한다. parametric spline curve C(u)는 상기 CT 데이터의 상기 하악의 5개의 특징점(p6 내지 p10)을 컨트롤 포인트로 하여 계산될 수도 있다.
상기 스캔 데이터의 소스 포인트를 상기 CT spline curve C(u) 상에서 탐색하여 타겟 포인트를 생성할 수 있다 (단계 S600).
상기 스캔 데이터의 소스 포인트는 상기 좌측 치아 특징점(
Figure PCTKR2021004839-appb-I000330
), 상기 제2 특징점(
Figure PCTKR2021004839-appb-I000331
), 상기 우측 치아 특징점(
Figure PCTKR2021004839-appb-I000332
)의 3개의 점을 포함할 수 있다.
타겟 포인트의 첫 번째 점은 C(u) 상에서 파라미터 u를 제1 값만큼 증가시키면서 탐색할 수 있다. 상기 타겟 포인트의 첫 번째 점은 C(u1)으로 표시할 수 있다. 상기 제1 값은 0.05일 수 있다.
타겟 포인트의 두 번째 점은 C(u) 상에서 파라미터 u를 제2 값만큼 증가시키면서 d11=||C(u1)-C(u2)||-||
Figure PCTKR2021004839-appb-I000333
-
Figure PCTKR2021004839-appb-I000334
||가 최소가 되는 C(u2)를 찾는다. 여기서, u>u1이고, 상기 제2 값은 0.001일 수 있다.
타겟 포인트의 세 번째 점은 C(u) 상에서 파라미터 u를 제3 값만큼 증가시키면서 d12=||C(u2)-C(u3)||-||
Figure PCTKR2021004839-appb-I000335
-
Figure PCTKR2021004839-appb-I000336
||이 최소가 되는 C(u3)를 찾는다. 여기서, u>u2이고, 상기 제3 값은 0.001일 수 있다.
만약 d11, d12 및 d13=||C(u3)-C(u1)||-||
Figure PCTKR2021004839-appb-I000337
-
Figure PCTKR2021004839-appb-I000338
||이 모두 제2 쓰레스홀드값보다 작으면 상기 타겟 포인트 C(u1), C(u2) 및 C(u3)를 후보로 선정한다. 상기 제2 쓰레스홀드값은 8mm일 수 있다.
도 27은 도 12의 스캔 데이터의 치아 부분 추출 단계에 의해 추출된 도 12의 스캔 데이터의 치아 부분을 나타내는 도면이다.
도 12 내지 도 27을 참조하면, 본 실시예에서는 상기 CT 데이터와 상기 스캔 데이터가 서로 다른 영역을 갖는 케이스 2를 예시한다. 예를 들어, 상기 CT 데이터는 환자의 치아의 전체 영역을 포함할 수 있으나, 상기 스캔 데이터는 환자의 치아 중 일부분만을 포함할 수 있다. 본 발명은 상기 CT 데이터는 환자의 치아의 전체 영역을 포함하고, 상기 스캔 데이터는 환자의 치아 중 일부분만을 포함하는 경우를 예시하나, 본 발명은 이에 한정되지는 않는다.
즉, 상기 수학식 4를 만족하면, 상기 CT 데이터와 스캔 데이터는 같은 영역을 갖는 케이스 1로 판단되고, 상기 수학식 4를 만족하지 않으면 상기 CT 데이터와 스캔 데이터는 서로 다른 영역을 갖는 케이스 2로 판단될 수 있으며, 본 실시예에서는 상기 수학식 4를 만족하지 않아 상기 CT 데이터와 스캔 데이터는 서로 다른 영역을 가질 수 있다.
도 27에서 보듯이, 상기 스캔 데이터는 환자의 치아의 일부분만을 포함할 수 있다.
도 28은 도 12의 스캔 데이터의 소스 포인트를 CT SPLINE CURVE 상에서 탐색하는 단계를 나타내는 도면이다.
도 12 내지 도 28을 참조하면, 도 15에서 설명한 바와 마찬가지로 도 27의 스캔 데이터에 대해서도 상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 상기 상악의 제1 내지 제5 특징점(p1 내지 p5)을 컨트롤 포인트로 하여 parametric spline curve, C(u)를 계산할 수 있다.
상기 스캔 데이터의 소스 포인트를 상기 CT spline curve C(u) 상에서 탐색하여 타겟 포인트를 생성할 수 있다 (단계 S600).
상기 스캔 데이터의 소스 포인트는 상기 좌측 치아 특징점(
Figure PCTKR2021004839-appb-I000339
), 상기 제2 특징점(
Figure PCTKR2021004839-appb-I000340
), 상기 우측 치아 특징점(
Figure PCTKR2021004839-appb-I000341
)의 3개의 점을 포함할 수 있다.
타겟 포인트의 첫 번째 점은 C(u) 상에서 파라미터 u를 제1 값만큼 증가시키면서 탐색할 수 있다. 상기 타겟 포인트의 첫 번째 점은 C(u1)으로 표시할 수 있다. 상기 제1 값은 0.05일 수 있다.
타겟 포인트의 두 번째 점은 C(u) 상에서 파라미터 u를 제2 값만큼 증가시키면서 d11=||C(u1)-C(u2)||-||
Figure PCTKR2021004839-appb-I000342
-
Figure PCTKR2021004839-appb-I000343
||가 최소가 되는 C(u2)를 찾는다. 여기서, u>u1이고, 상기 제2 값은 0.001일 수 있다.
타겟 포인트의 세 번째 점은 C(u) 상에서 파라미터 u를 제3 값만큼 증가시키면서 d12=||C(u2)-C(u3)||-||
Figure PCTKR2021004839-appb-I000344
-
Figure PCTKR2021004839-appb-I000345
||이 최소가 되는 C(u3)를 찾는다. 여기서, u>u2이고, 상기 제3 값은 0.001일 수 있다.
만약 d11, d12 및 d13=||C(u3)-C(u1)||-||
Figure PCTKR2021004839-appb-I000346
-
Figure PCTKR2021004839-appb-I000347
||이 모두 제2 쓰레스홀드값보다 작으면 상기 타겟 포인트 C(u1), C(u2) 및 C(u3)를 후보로 선정한다. 상기 제2 쓰레스홀드값은 8mm일 수 있다.
도 29a 내지 도 29c는 도 12의 초기 정합 단계(COARSE REGISTRATION)의 결과를 나타내는 도면이다.
도 12 내지 도 29c를 참조하면, 상기 단계 S500에서는 후보 타겟 포인트는 6개의 점을 포함할 수 있고, 상기 후보 타겟 포인트는 복수 개 생성될 수 있다.
상기 복수의 후보 타겟 포인트에 대해 landmark transform을 통해 변환 매트릭스 M을 계산할 수 있다. 상기 변환된 스캔 데이터의 특징점 pi'=Mpi, (i=L, 12, R)과 CT 데이터의 특징점 pk(k=1, 3, 5 or k=6, 8, 10)간의 거리의 평균으로 변환 에러를 측정할 수 있다. 상기 변환 매트릭스 M은 스캔 데이터의 특징점을 CT 데이터의 도메인으로 이동시킬 수 있다.
단계 S400에서 CT 데이터와 스캔 데이터의 두 데이터가 같은 영역을 가지고 있는 케이스 1인 경우에, 상기 변환 에러가 가장 작은 값을 갖는 후보 타겟 포인트를 최종 후보로 결정할 수 있다.
상기 스캔 데이터의 후보 타겟 포인트를 변환 매트릭스 M을 이용하여 CT 데이터의 도메인으로 이동시키고, 변환 에러가 가장 작은 최종 후보를 결정하는 단계를 초기 정합 단계(Coarse registration, 단계 S700)로 부를 수 있다.
단계 S400에서 CT 데이터와 스캔 데이터의 두 데이터가 서로 다른 영역을 가지고 있는 케이스 2인 경우에, 상기 변환 에러가 가장 작은 값을 갖는 후보 타겟 포인트를 최종 후보로 결정하지 않는다. 이 경우에는 상기 스캔 데이터의 상기 좌측 치아 특징점(
Figure PCTKR2021004839-appb-I000348
), 상기 제2 특징점(
Figure PCTKR2021004839-appb-I000349
) 및 상기 우측 치아 특징점(
Figure PCTKR2021004839-appb-I000350
)이 상기 CT 데이터의 상기 제1 특징점(p1), 상기 제3 특징점(p3) 및 상기 제5 특징점(p5)과 대응하는 관계를 형성하지 않기 때문이다.
그 대신, 상기 케이스 2의 경우에는 상기 최종 후보가 이하 설명하는 정밀 정합 단계(S800)에서 결정될 수 있다.
도 29a 내지 도 29c에서 치아의 모양이 나타나 있는 기본 영상은 CT 데이터일 수 있다. 도 29a 내지 도 29c에서 실선으로 그려진 부분은 상기 CT 데이터에 정합된 스캔 데이터의 외곽선일 수 있다. 도 29a는 초기 정합된 상기 CT 데이터 및 상기 스캔 데이터의 axial 도면을 나타내고, 도 29b는 초기 정합된 상기 CT 데이터 및 상기 스캔 데이터의 sagittal 도면을 나타내며, 도 29c는 초기 정합된 상기 CT 데이터 및 상기 스캔 데이터의 coronal 도면을 나타낸다.
도 30a 내지 도 30c는 도 12의 정밀 정합 단계(FINE REGISTRATION)의 결과를 나타내는 도면이다.
도 12 내지 도 30c를 참조하면, 초기 정합 단계(단계 S700) 이후에는 CT 데이터의 치아 영역과 스캔 데이터의 치아 영역을 더욱 일치시키기 위한 정밀 정합 단계(단계 S800)가 수행될 수 있다. 상기 정밀 정합 단계에서 소스 데이터는 스캔 데이터의 잘라낸 치아 부분만을 이용하고 타겟 데이터는 환자의 CT 영상으로 할 수 있다.
도 30a 내지 도 30c에서 치아의 모양이 나타나 있는 기본 영상은 CT 데이터일 수 있다. 도 30a 내지 도 30c에서 실선으로 그려진 부분은 상기 CT 데이터에 정합된 스캔 데이터의 외곽선일 수 있다. 도 30a는 정밀 정합된 상기 CT 데이터 및 상기 스캔 데이터의 axial 도면을 나타내고, 도 30b는 정밀 정합된 상기 CT 데이터 및 상기 스캔 데이터의 sagittal 도면을 나타내며, 도 30c는 정밀 정합된 상기 CT 데이터 및 상기 스캔 데이터의 coronal 도면을 나타낸다.
도 30a 내지 도 30c를 보면, 도 29a 내지 도 29c에 비해 CT 데이터의 치아 부분과 스캔 데이터의 치아 부분이 더욱 정밀하게 정합된 것을 확인할 수 있다.
CT 데이터와 스캔 데이터의 두 데이터가 서로 다른 영역을 가지고 있는 상기 케이스 2의 경우에는 상기 복수의 후보 타겟 포인트에 대해 정밀 정합을 수행한다. 상기 정밀 정합으로부터 얻어지는 에러가 작은 순으로 정렬하여 사용자에게 상기 복수의 후보 타겟 포인트 중 최종 후보를 추천할 수 있다.
사용자는 상기 정밀 정합으로부터 얻어지는 에러를 기초로 상기 복수의 후보 타겟 포인트 중 하나를 상기 최종 후보로 결정할 수 있다.
본 실시예에 따르면, 사용자의 입력이 없고, 데이터가 포함하고 있는 영역이 서로 다르더라도 좋은 초기 정합의 결과를 얻을 수 있다. 이를 통해 최종 정밀 정합까지 사용자의 입력 없이 빠르게 정합할 수 있다.
본 실시예에 따르면, 치과 및 치기공소에서 진단, 분석, 보철물 제작 등을 위해 빈번하게 진행되고 있는 환자 의료 영상 데이터(CT, CBCT)와 디지털 인상 모델 스캔 데이터를 정합하는데 소요되는 시간과 노력을 획기적으로 줄일 수 있다.
본 발명의 일 실시예에 의하면, 전술한 치과용 3차원 데이터 위치 정렬 자동화 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 치과용 3차원 데이터 위치 정렬 자동화 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
도 31은 본 실시예에 따른 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법을 나타내는 흐름도이다. 도 32는 3차원 스캔 데이터의 랜드마크의 예시를 나타내는 사시도이다.
도 31 및 도 32를 참조하면, 상기 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법은 3차원 스캔 데이터를 투영하여 2차원 깊이 영상을 생성하는 단계(S1100), 상기 2차원 깊이 영상을 컨볼루션 신경망(convolutional neural network)에 적용하여 풀 아치(Full arch) 데이터 및 부분 아치 데이터를 판단하는 단계(S1200), 상기 2차원 깊이 영상을 완전 컨볼루션 신경망(fully-connected convolutional neural network)에 적용하여 2차원 랜드마크를 검출하는 단계(S1300) 및 상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영하여 상기 3차원 스캔 데이터의 3차원 랜드마크를 검출하는 단계(S1400)를 포함할 수 있다.
상기 2차원 깊이 영상 생성 단계(S1100)는 가상 카메라에 대한 3차원 스캔 데이터의 깊이를 영상화시키는 과정일 수 있다. 상기 3차원 스캔 데이터의 분류 단계(S1200)에서는 상기 스캔된 영역의 종류에 따라 상기 3차원 스캔 데이터를 풀 아치 데이터 및 부분 아치 데이터로 분류한다. 상기 2차원 랜드마크 자동 검출 단계(S1300)는 완전 컨볼루션 신경망 딥러닝 모델을 이용하여 2차원 영상에서 랜드마크를 검출하는 단계이다. 상기 랜드마크 3차원 투영 단계(S1400)에서는 앞선 2차원 랜드마크 자동 검출 단계(S1300)에서 검출한 2차원 랜드마크를 3차원화하여 스캔 데이터에 반영할 수 있다.
도 32는 3차원 스캔 데이터의 3개의 랜드마크(LM1, LM2, LM3)를 도시하였다. 본 실시예에서, 상기 랜드마크는 일정 간격 혹은 특정 치아(앞니, 송곳니, 어금니 등)의 상단에 위치하여 치아 아치(Dental arch)의 형태를 추정할 수 있도록 한다. 상기 랜드마크의 위치 또는 특징에 따른 추가적인 처리 없이 모든 랜드마크에 대해 같은 방법을 적용하여 랜드마크를 한 번에 자동 검출할 수 있다.
상기 3차원 스캔 데이터의 랜드마크는 치아의 특정 위치를 나타내는 점들일 수 있다. 예를 들어, 상기 3차원 스캔 데이터의 랜드마크는 3개의 점(LM1, LM2, LM3)을 포함할 수 있다. 여기서, 상기 3차원 스캔 데이터는 환자의 상악을 나타내는 데이터일 수도 있고, 환자의 하악을 나타내는 데이터일 수도 있다. 예를 들어, 상기 3차원 스캔 데이터의 제1 랜드마크(LM1) 및 제3 랜드마크(LM3)는 각각 횡 방향으로 상기 3차원 스캔 데이터의 치아의 최외곽점을 나타낼 수 있다. 상기 3차원 스캔 데이터의 제2 랜드마크(LM2)는 상기 제1 랜드마크(LM1) 및 제3 랜드마크(LM3)를 포함하는 아치에서 상기 제1 랜드마크(LM1) 및 제3 랜드마크(LM3)의 사이의 점일 수 있다. 예를 들어, 상기 3차원 스캔 데이터의 제2 랜드마크(LM2)는 환자의 2개의 중절치의 사이를 나타낼 수 있다.
도 33은 3차원 스캔 데이터를 투영하여 2차원 깊이 영상을 생성하는 방법을 나타내는 개념도이다. 도 34는 2차원 깊이 영상을 생성할 때의 투영 방향의 예시를 나타내는 사시도이다. 도 35는 2차원 깊이 영상을 생성할 때의 투영 방향의 예시를 나타내는 사시도이다.
도 31 내지 도 35를 참조하면, 깊이 영상은 3차원 스캔 데이터를 2차원 평면상에 투영할 때, 상기 스캔 데이터의 각 3차원 점 p(x,y,z)와 상기 스캔 데이터의 주성분 분석을 통해 정의된 평면 UV 간의 수직거리 정보를 나타내는 영상이다. 2차원 영상의 픽셀 값은 앞에서 정의된 2차원 평면에서 상기 스캔 데이터 표면까지의 거리 d(u,v)를 나타낸다.
이때, 투영하는 방향 및 평면을 정하기 위해 주성분 분석(PCA; Principal Component Analysis)을 수행할 수 있다. 먼저 스캔 데이터의 3차원 n개의 점 좌표
Figure PCTKR2021004839-appb-I000351
집합을 행렬로 나타낸
Figure PCTKR2021004839-appb-I000352
의 평균값
Figure PCTKR2021004839-appb-I000353
를 중심으로 데이터를 이동시킨다(
Figure PCTKR2021004839-appb-I000354
).
이후, 상기 3차원 n개의 점 좌표에 대한 공분산
Figure PCTKR2021004839-appb-I000355
을 구한다. 상기 공분산은 3차원 n개의 점 좌표들이 x, y, z 축으로 어떻게 분산되어 있는지를 나타낼 수 있다. 상기 공분산 Σ를 고유분해한 결과는
Figure PCTKR2021004839-appb-I000356
로 나타낼 수 있다.
행렬
Figure PCTKR2021004839-appb-I000357
는 열 벡터가 Σ의 고유 벡터 w(p,q,r)로 구성된다. 대각행렬
Figure PCTKR2021004839-appb-I000358
는 대각원소가 Σ의 고유값 λ이다. w={w1,w2,w3} 중 고유값 λ가 가장 작은 방향 벡터 w3은 치아의 뿌리에서 교합면 방향과 같거나(도 34) 그 반대 방향(도 35)일 수 있다. 예를 들어, 도 33에서 고유값 λ이 가장 큰 w1은 횡 방향으로 치아의 양쪽 끝을 연결하는 방향일 수 있고, 고유값 λ이 두번째로 큰 w2는 환자의 정면 방향 또는 환자의 후면 방향일 수 있으며, 고유값 λ이 가장 작은 w3은 치아 뿌리에서 교합면을 향하는 방향 또는 그 반대 방향일 수 있다. 상기 방향 벡터 w3은 w3={w3p,w3q,w3r}로 표현할 수 있다.
치아 뿌리에서 교합면으로 향하는 방향과 같은 방향의 w3을 찾기 위해 3차원 스캔 데이터가 가지고 있는 삼각형 집합의 법선 벡터 평균
Figure PCTKR2021004839-appb-I000359
을 이용한다.
Figure PCTKR2021004839-appb-I000360
이면 w3을 투영 방향으로 결정하고,
Figure PCTKR2021004839-appb-I000361
이면 -w3을 깊이 영상 생성 시 투영 방향으로 결정한다. 투영 평면은 투영 방향 벡터를 법선 벡터로 하고 3차원 스캔 데이터로부터 일정 거리만큼 떨어진 곳에 정의하고 깊이 영상을 생성한다.
도 34에서, 주성분 분석을 통해 얻어진 상기 3차원 스캔데이터의 3개의 축 방향은 각각 w1, w2, w3이고, 그 중 w1의 고유값 λ가 가장 크고, w3의 고유값 λ가 가장 작다. 여기서, 고유값 λ가 가장 작은 방향 벡터 w3을 이용하여 투영 방향이 결정된다. 3차원 스캔 데이터가 가지고 있는 삼각형 집합의 법선 벡터 평균 는 치아가 상부를 향해 정출되어 있으면, 상부 방향으로 형성되고, 치아가 하부를 향해 정출되어 있으면, 하부 방향으로 형성될 수 있다. 도 34에서는 w3이 치아의 정출 방향과 대체로 일치하는 방향이므로,
Figure PCTKR2021004839-appb-I000362
으로 계산되며, w3 벡터를 투영 방향 벡터로 이용하는 경우를 예시한다.
도 35에서, 주성분 분석을 통해 얻어진 상기 3차원 스캔데이터의 3개의 축 방향은 각각 w1, w2, w3이고, 그 중 w1의 고유값 λ가 가장 크고, w3의 고유값 λ가 가장 작다. 여기서, 고유값 λ가 가장 작은 방향 벡터 w3을 이용하여 투영 방향이 결정된다. 도 35에서는 w3이 치아의 정출 방향과 대체로 반대 방향이므로,
Figure PCTKR2021004839-appb-I000363
으로 계산되며, -w3 벡터를 투영 방향 벡터로 이용하는 경우를 예시한다.
이와 같이, 상기 주성분 분석에서 고유값 λ가 가장 작은 방향 벡터 w3을 이용하여 투영 방향을 결정하므로, 2차원 깊이 영상에서 치아가 겹치지 않도록 잘 형성될 수 있다.
도 36은 2차원 깊이 영상의 예시를 나타내는 평면도이다. 도 37은 2차원 깊이 영상의 예시를 나타내는 평면도이다.
도 36 및 도 37은 상기 2차원 깊이 영상 생성 단계(S1100)를 통해 얻어진 2차원 깊이 영상의 예시이다. 영상 내에서 밝게 표시된 부분은 투영 평면으로부터의 거리가 큰 지점을 의미하고, 영상 내에서 어둡게 표시된 부분은 투영 평면으로부터의 거리가 가까운 지점을 의미한다. 즉, 상기 2차원 깊이 영상은 2차원 좌표 {u, v}에 대한 깊이 값(d)을 가지고 있는 영상이며, 상기 2차원 깊이 영상을 상기 투영 방향의 반대 방향으로 역투영하면 상기 3차원 스캔 데이터를 복원할 수 있다.
도 38은 풀 아치 데이터 및 부분 아치 데이터를 나타내는 사시도이다. 도 39는 풀 아치 데이터 및 부분 아치 데이터를 분류하는 컨볼루션 신경망을 나타내는 개념도이다.
도 31 내지 도 39를 참조하면, 상기 3차원 스캔 데이터는 사용자의 목적에 따라 스캔 영역을 다르게 하여 형성될 수 있다. 환자가 지닌 모든 치아를 스캔한 데이터를 풀 아치 데이터라고 할 수 있고, 환자가 지는 치아 중 일부분만을 스캔한 데이터를 부분 아치 데이터라고 할 수 있다. 도 38의 상부는 풀 아치 데이터의 예시를 도시하고 있고, 도 38의 하부는 부분 아치 데이터의 예시를 도시하고 있다.
상기 풀 아치 데이터와 상기 부분 아치 데이터는 그 형상이 기본적으로 서로 다르기 때문에 랜드마크 자동 검출을 위한 학습 단계서 서로 구별하여 별개의 학습 모델을 각각 형성할 수 있다. 따라서, 완전히 자동으로 랜드마크를 검출하기 위해, 상기 랜드마크 자동 검출 단계에 앞서 상기 풀 아치 데이터와 상기 부분 아치 데이터를 분류하기 위한 신경망 모델을 거칠 수 있다.
상기 2차원 깊이 영상 생성 단계에서 생성된 상기 2차원 깊이 영상과 상기 풀 아치 데이터 및 상기 부분 아치 데이터를 분류하기 위한 아치 분류 정보를 입력으로 하여 컨볼루션 신경망 모델을 이용한 딥러닝 모델을 생성할 수 있다.
도 39에서 보듯이, 상기 컨볼루션 신경망 모델은 특징 추출기(feature extractor)와 분류기(classifier)를 포함할 수 있다. 입력된 2차원 깊이 영상은 단계별 컨볼루션층(convolution)과 풀링층(pooling)이 포함된 Feature extraction 단계를 거쳐 입력된 영상으로부터 특징을 추출한다. 상기 컨볼루션층(convolution)은 상기 깊이 영상의 특징들을 추출해가는 과정이고, 상기 풀링층(pooling)은 상기 추출된 특징들을 분류하기 위해 몇몇 분류로 추려나가는 과정이라고 할 수 있다.
상기 분류기(classifier)에서는 상기 특징 추출기에서 추출된 특징을 기반으로 아치 분류 정보(풀 아치, 부분 아치)에 대한 점수를 계산한다. 아치 분류 정보의 항목 중 가장 높은 점수가 나타난 항목으로 데이터가 분류된다.
상기 추출된 특징들이 상기 분류기의 히든층을 통과하면서 상기 아치 분류 정보의 항목별 점수가 점차 추출되게 된다. 상기 히든층을 모두 통과한 결과, 풀 아치(Full)에 대한 점수가 부분 아치(Partial)에 대한 점수보다 높게 나타나는 경우, 입력된 깊이 영상은 풀 아치 데이터로 판단될 수 있다. 반대로, 상기 히든층을 모두 통과한 결과, 부분 아치(Partial)에 대한 점수가 풀 아치(Full)에 대한 점수보다 높게 나타나는 경우, 입력된 깊이 영상은 부분 아치 데이터로 판단될 수 있다. 도 39에서는 입력된 깊이 영상의 풀 아치(Full)에 대한 점수가 0.9점이고, 부분 아치(Partial)에 대한 점수가 0.1점이므로, 상기 깊이 영상은 풀 아치 데이터로 판단될 수 있다.
도 40은 2차원 랜드마크를 검출하는 완전 컨볼루션 신경망의 트레이닝 데이터의 예시를 나타내는 개념도이다. 도 41은 2차원 랜드마크를 검출하는 완전 컨볼루션 신경망을 나타내는 개념도이다. 도 42는 풀 아치 데이터에 대한 제1 랜드마크 검출부 및 부분 아치 데이터에 대한 제2 랜드마크 검출부를 나타내는 개념도이다. 도 43은 2차원 랜드마크의 예시를 나타내는 평면도이다.
도 31 내지 도 43을 참조하면, 상기 스캔 데이터 분류 단계(S1200)에서 분류된 깊이 영상 및 사용자 정의 랜드마크 정보를 입력으로 하여 완전 컨볼루션 신경망을 이용한 랜드마크 딥러닝 모델을 학습시킨다. 도 40에서 나타낸 바와 같이, 학습 시 사용되는 사용자 정의 랜드마크 정보는 1) 찾고자 하는 랜드마크의 종류 (예컨대, 인덱스 0,1,2로 구분)와 2) 해당 랜드마크의 2차원 깊이 영상에서의 정답 위치 좌표 (ui,vi)일 수 있다.
상기 랜드마크 자동 검출을 위한 완전 컨볼루션 신경망은 컨볼루션 층으로 구성된 신경망 딥러닝 모델일 수 있다.
본 실시예에서, 상기 깊이 영상이 풀 아치 데이터인 경우, 상기 랜드마크 자동 검출은 풀 아치 학습 데이터들을 이용하여 학습된 완전 컨볼루션 신경망을 이용하여 수행될 수 있다. 반대로, 상기 깊이 영상이 부분 아치 데이터인 경우, 상기 랜드마크 자동 검출은 부분 아치 학습 데이터들을 이용하여 학습된 완전 컨볼루션 신경망을 이용하여 수행될 수 있다.
완전 컨볼루션 신경망은 도 41과 같이 크게 두 과정이 포함되어 있다. Convolution 과정에서는 사전에 학습된 다수의 컨볼루션 층을 거쳐 깊이 영상에서 각 랜드마크의 특징을 검출하고 분류한다. 이를 Deconvolution 과정을 통해 전체 영상 정보와 결합함으로써 특징에 위치 정보를 더해주게 되어 영상 상의 랜드마크의 위치가 히트맵(heatmap)으로 출력된다. 이때, 딥러닝 모델 학습 시 이용한 사용자 정의 랜드마크 개수만큼 각각 히트맵 영상이 출력될 수 있다. 예를 들어, 상기 사용자 정의 랜드마크의 개수가 3개라면, 3개의 랜드마크에 대응되는 3개의 히트맵 영상이 출력될 수 있다.
즉, 상기 Convolution 과정은 상기 2차원 깊이 영상에서 위치 정보를 잃어가는 대신에 특징만을 추출해 나가는 과정이라 할 수 있다. 상기 Convolution 과정을 통해 상기 랜드마크의 특징이 추출될 수 있다. 반면, 상기 Deconvolution 과정은 상기 Convolution 과정에서 추출된 상기 랜드마크들에 대해, 사라진 위치 정보를 다시 되살리는 과정이라 할 수 있다.
본 실시예에서는, 보다 정밀한 검출을 위해 완전 컨볼루션 신경망이 반복 중첩된 딥러닝 신경망 모델을 사용할 수 있다.
상기 풀 아치 데이터에 대한 제1 랜드마크 검출부는 제1 완전 컨볼루션 신경망 모델을 포함하고, 상기 부분 아치 데이터에 대한 제2 랜드마크 검출부는 제2 완전 컨볼루션 신경망 모델을 포함할 수 있다.
상기 풀 아치 데이터에 대한 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되고, 상기 부분 아치 데이터에 대한 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행될 수 있다. 상기 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수는 상기 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수와 상이할 수 있다. 예를 들어, 상기 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수는 상기 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수보다 많을 수 있다.
도 42에서 보듯이, 상기 스캔 데이터가 상기 풀 아치 데이터로 판단된 경우, 4개의 중첩 신경망(4개의 convolution 과정 및 4개의 deconvolution 과정)을 생성할 수 있다.
상기 스캔 데이터가 상기 부분 아치 데이터로 판단된 경우, 3개의 중첩 신경망(3개의 convolution 과정 및 3개의 deconvolution 과정)을 생성할 수 있다.
상기 스캔 데이터 분류 단계(S1200)에서 분류된 깊이 영상이 입력되고, 원하는 목적 랜드마크의 위치를 나타내는 히트맵이 학습 모델 사용자 정의 랜드마크 인덱스에 따른 채널 별로 출력되는 시스템을 구축할 수 있다. 중첩된 신경망의 각 단계별 출력 히트맵 데이터를 채널 별로 모두 합하여 최종 결과 히트맵을 얻을 수 있다. 결과 히트맵 데이터에서 가장 큰 값을 갖는 픽셀 좌표가 검출된 랜드마크의 위치를 나타낸다. 학습 시 사용한 사용자 정의 랜드마크 인덱스 순서대로 히트맵이 채널 별로 출력되므로 원하는 랜드마크의 위치 정보를 얻을 수 있다.
도 43은 완전 컨볼루션 신경망을 모델을 이용하여 상기 2차원 깊이 영상의 랜드마크를 자동 검출한 결과를 나타낸다. 상기 2차원 깊이 영상에서의 상기 2차원 랜드마크들은 L1, L2, L3로 표현하였다.
도 44는 2차원 랜드마크를 3차원 스캔 데이터에 역투영하여 3차원 랜드마크를 검출하는 방법을 나타내는 개념도이다.
도 31 내지 도 44를 참조하면, 상기 랜드마크 자동 검출 단계(S1300)에서 얻은 랜드마크(L1, L2, L3)의 2차원 좌표를 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)의 좌표로 변환한다. 깊이 영상 생성(S1100) 시 사용된 투영 정보를 이용하여 최종 3차원 랜드마크의 좌표를 계산할 수 있다. 상기 깊이 영상 생성(S1100) 시 사용된 투영 정보를 이용하여 상기 2차원 랜드마크(L1, L2, L3)를 상기 3차원 스캔 데이터 상에 역투영하여 상기 3차원 스캔 데이터의 3차원 랜드마크(LM1, LM2, LM3)를 얻을 수 있다.
본 실시예에 따르면, 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)를 딥러닝을 이용하여 자동으로 검출하므로, 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)를 추출하기 위한 사용자의 노력과 시간을 줄일 수 있고, 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)의 정확도를 높일 수 있다.
또한, 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)를 딥러닝을 이용하여 자동으로 검출하므로, 치과 CT 영상과 3차원 스캔 데이터의 정합의 정확도를 높이고 치과 CT 영상과 3차원 스캔 데이터의 정합을 위한 사용자의 노력과 시간을 줄일 수 있다.
본 발명의 일 실시예에 의하면, 전술한 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
도 45는 본 실시예에 따른 치과용 3차원 스캔 데이터의 간소화된 랜드마크 자동 검출 방법을 나타내는 흐름도이다. 도 46은 랜드마크 검출부를 나타내는 개념도이다.
도 45 및 도 46을 참조하면, 상기 치과용 3차원 스캔 데이터의 간소화된 랜드마크 자동 검출 방법은 3차원 스캔 데이터를 투영하여 2차원 깊이 영상을 생성하는 단계(S1100), 상기 2차원 깊이 영상을 완전 컨볼루션 신경망(fully-connected convolutional neural network)에 적용하여 2차원 랜드마크를 검출하는 단계(S1300) 및 상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영하여 상기 3차원 스캔 데이터의 3차원 랜드마크를 검출하는 단계(S1400)를 포함할 수 있다.
상기 2차원 깊이 영상 생성 단계(S1100)는 가상 카메라에 대한 3차원 스캔 데이터의 깊이를 영상화시키는 과정일 수 있다. 상기 2차원 랜드마크 자동 검출 단계(S1300)는 완전 컨볼루션 신경망 딥러닝 모델을 이용하여 2차원 영상에서 랜드마크를 검출하는 단계이다. 상기 랜드마크 3차원 투영 단계(S1400)에서는 앞선 2차원 랜드마크 자동 검출 단계(S1300)에서 검출한 2차원 랜드마크를 3차원화하여 스캔 데이터에 반영할 수 있다.
본 실시예에서는, 보다 정밀한 검출을 위해 완전 컨볼루션 신경망이 반복 중첩된 딥러닝 신경망 모델을 사용할 수 있다.
상기 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행될 수 있다. 상기 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수는 랜드마크 검출 결과의 정확성을 고려하여 결정될 수 있다.
도 46에서 보듯이, 예를 들어, 상기 랜드마크 검출부는 4개의 중첩 신경망(4개의 convolution 과정 및 4개의 deconvolution 과정)을 포함할 수 있다.
상기 랜드마크 검출부는 상기 2차원 깊이 영상이 입력되고, 원하는 목적 랜드마크의 위치를 나타내는 히트맵이 학습 모델 사용자 정의 랜드마크 인덱스에 따른 채널 별로 출력되는 시스템을 구축할 수 있다. 중첩된 신경망의 각 단계별 출력 히트맵 데이터를 채널 별로 모두 합하여 최종 결과 히트맵을 얻을 수 있다. 결과 히트맵 데이터에서 가장 큰 값을 갖는 픽셀 좌표가 검출된 랜드마크의 위치를 나타낸다. 학습 시 사용한 사용자 정의 랜드마크 인덱스 순서대로 히트맵이 채널 별로 출력되므로 원하는 랜드마크의 위치 정보를 얻을 수 있다.
본 실시예에 따르면, 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)를 딥러닝을 이용하여 자동으로 검출하므로, 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)를 추출하기 위한 사용자의 노력과 시간을 줄일 수 있고, 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)의 정확도를 높일 수 있다.
또한, 3차원 스캔 데이터의 랜드마크(LM1, LM2, LM3)를 딥러닝을 이용하여 자동으로 검출하므로, 치과 CT 영상과 3차원 스캔 데이터의 정합의 정확도를 높이고 치과 CT 영상과 3차원 스캔 데이터의 정합을 위한 사용자의 노력과 시간을 줄일 수 있다.
도 47은 본 실시예에 따른 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 나타내는 흐름도이다. 도 48은 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 결과의 예시를 나타내는 도면이다. 도 49는 도 48의 정합 영상에서 정면 수직 방향의 스캔 데이터의 투영 깊이 영상을 나타내는 도면이다. 도 50은 도 48의 정합 영상에서 측면 수직 방향의 스캔 데이터의 투영 깊이 영상을 나타내는 도면이다. 도 51은 도 48의 정합 영상에서 정면 수직 방향의 CT 데이터의 투영 영상을 나타내는 도면이다. 도 52는 도 48의 정합 영상에서 측면 수직 방향의 CT 데이터의 투영 영상을 나타내는 도면이다.
도 47 내지 도 52를 참조하면, 상기 3차원 치과 CT 영상과 3차원 디지털 인상 모델(3차원 스캔 데이터)의 정합 정확도 판단 방법은 3차원 스캔 데이터 및 3차원 CT 데이터가 정합된 정합 데이터에서 상기 3차원 스캔 데이터를 2차원으로 투영하여 스캔 투영 영상을 생성하는 단계(S2100), 상기 정합 데이터에서 상기 3차원 CT 데이터를 2차원으로 투영하여 CT 투영 영상을 생성하는 단계(S2200), 제1 컨볼루션 신경망 모델(convolutional neural network model)에 정면 수직 방향의 정면 스캔 투영 영상과 상기 정면 수직 방향의 정면 CT 투영 영상을 입력하여 정면 정합 정확도를 판단하는 단계(S2300), 제2 컨볼루션 신경망 모델에 측면 수직 방향의 측면 스캔 투영 영상과 상기 측면 수직 방향의 측면 CT 투영 영상을 입력하여 측면 정합 정확도를 판단하는 단계(S2400) 및 상기 정면 정합 정확도 및 상기 측면 정합 정확도를 기초로 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계(S2500)를 포함한다.
예를 들어, 상기 치과 CT 영상은 CBCT (Cone Beam CT)영상일 수 있다. 상기 치과 CT 영상은 치아, 뼈, 신경관을 포함하는 영상일 수 있다. 예를 들어, 상기 디지털 인상 모델의 상기 스캔 데이터는 환자의 구강 내부를 스캐너로 스캔한 영상일 수 있다. 예를 들어, 상기 스캔 데이터는 환자의 구강 내부를 석고로 본 뜬 형상을 스캐너로 스캔한 영상일 수 있다.
도 48에서 보듯이, 상기 정합 데이터는 상기 CT 영상과 상기 스캔 데이터가 정합된 영상일 수 있다.
상기 스캔 데이터의 투영 영상인 상기 스캔 투영 영상은 정면 스캔 투영 영상과 측면 스캔 투영 영상을 포함할 수 있다. 도 49는 정면 스캔 투영 영상을 나타내며, 도 50은 측면 스캔 투영 영상을 나타낸다.
상기 스캔 투영 영상은 상기 3차원 스캔 데이터와 투영 평면 사이의 거리를 밝기로 나타내는 투영 깊이 영상일 수 있다. 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 스캔 투영 영상을 생성하는 단계는 도 53을 참조하여 상세히 후술한다.
상기 CT 스캔 데이터의 투영 영상인 상기 CT 투영 영상은 정면 CT 투영 영상과 측면 CT 투영 영상을 포함할 수 있다. 도 51은 정면 CT 투영 영상을 나타내며, 도 52는 측면 CT 투영 영상을 나타낸다.
상기 3차원 CT 데이터를 2차원으로 투영하여 상기 CT 투영 영상을 생성하는 단계는 도 54를 참조하여 상세히 후술한다.
도 53은 도 48의 정합 영상에서 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 스캔 데이터의 투영 깊이 영상을 생성하는 방법을 나타내는 개념도이다.
도 47 내지 도 53을 참조하면, 투영 영상은 투영 방향에 따라 3차원 의료 영상 데이터 기준(3차원 CT 데이터 기준) 정면 수직 방향(Anterior-Posterior(AP))과 측면 수직 방향(Lateral)의 두 방향으로 치과 CT 데이터 및 스캔 데이터에 대해 각각 생성할 수 있다.
예를 들어, 스캔 데이터를 투영 평면으로 투영한 영상은 스캔 데이터의 각 점 p(x, y, z)와 각 투영 평면 간의 수직거리 정보가 반영된 투영 깊이 영상일 수 있다. 투영 깊이 영상의 픽셀 값은 스캔 데이터 표면에서 각 투영 방향에 있는 투영 평면까지의 거리 d(u, v)와 d(s, t)를 나타낸다. 여기서, x, y, z는 3차원 좌표계를 나타내고, u와 v는 측면 투영 평면 상의 좌표계를 나타내며, s와 t는 정면 투영 평면 상의 좌표계를 나타낸다.
예를 들어, x 방향은 상기 측면 투영 방향일 수 있고, y 방향은 상기 정면 투영 방향일 수 있다. 상기 x, y, z는 상기 CT 데이터 내의 좌표계일 수 있다.
예를 들어, 상기 정면 스캔 투영 영상에서 밝게 표시된 부분은 정면 투영 평면과의 거리가 가까운 것을 의미하고, 어둡게 표시된 부분은 정면 투영 평면과의 거리가 먼 것을 의미할 수 있다. 즉, 중절치 부분은 상대적으로 밝게 표시될 수 있고, 대구치 부분은 상대적으로 어둡게 표시될 수 있다.
예를 들어, 상기 측면 스캔 투영 영상에서 밝게 표시된 부분은 측면 투영 평면과의 거리가 가까운 것을 의미하고, 어둡게 표시된 부분은 측면 투영 평면과의 거리가 먼 것을 의미할 수 있다. 즉, 중절치 부분은 상대적으로 어둡게 표시될 수 있고, 대구치 부분은 상대적으로 밝게 표시될 수 있다. 상기 측면 스캔 투영 영상은 환자의 좌측과 우측 중 하나의 측면에 대해서만 생성될 수 있다.
도 54는 도 48의 정합 영상에서 정면 수직 방향의 CT 데이터의 투영 영상 및 측면 수직 방향의 CT 데이터의 투영 영상을 생성하는 방법을 나타내는 개념도이다.
도 47 내지 도 54를 참조하면, 상기 CT 데이터를 2차원 평면으로 투영한 영상의 픽셀 값은 각 투영 방향에 대해 같은 일직선상에 있는 데이터 상 점들의 누적 밝기 값을 나타낼 수 있다. 즉, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값을 누적하여 생성될 수 있다.
상기 CT 투영 영상은 상기 투영 방향이 A이고, 상기 CT 데이터의 상기 복셀 값이 I(x, y, z)이며, 상기 CT 투영 영상의 픽셀 값이 I(u, v)일 때,
Figure PCTKR2021004839-appb-I000364
를 만족할 수 있다. 도 54에서 보듯이, 여기서 A는 정면 방향을 나타낼 수 있다.
상기 CT 투영 영상은 상기 투영 방향이 B이고, 상기 CT 데이터의 상기 복셀 값이 I(x, y, z)이며, 상기 CT 투영 영상의 픽셀 값이 I(s, t)일 때,
Figure PCTKR2021004839-appb-I000365
를 만족할 수 있다. 도 54에서 보듯이, 여기서 B는 측면 방향을 나타낼 수 있다.
본 실시예에서 상기 CT 투영 영상은 복셀 값을 누적하여 생성되는 것으로 한정되지 않는다. 예를 들어, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 표준 편차를 기초로 생성될 수 있다. 또한, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 최대값을 기초로 생성될 수도 있다.
상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 정면 스캔 투영 영상을 생성하는 제1 방향(도 53의 y 방항)은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 정면 CT 투영 영상을 생성하는 방향(도 54의 y 방항)과 일치하고, 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 측면 스캔 투영 영상(도 53의 x 방항)을 생성하는 제2 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 측면 CT 투영 영상을 생성하는 방향(도 54의 x 방항)과 일치할 수 있다.
상기 정면 스캔 투영 영상을 생성하는 상기 제1 방향은 상기 3차원 CT 데이터의 정면 방향이고, 상기 측면 스캔 투영 영상을 생성하는 상기 제2 방향은 상기 3차원 CT 데이터의 측면 방향일 수 있다.
도 55는 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합 정확도를 판단하는 제1 컨볼루션 신경망을 나타내는 개념도이다. 도 56은 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 된 예시를 나타내는 개념도이다. 도 57은 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 되지 않은 예시를 나타내는 개념도이다.
도 47 내지 도 57을 참조하면, 정면 스캔 투영 영상과 정면 CT 투영 영상을 입력받아 정면 정합 정확도를 판단하는 상기 제1 컨볼루션 신경망 모델은 제1 특징 추출기(AP Feature extractor) 및 제1 분류기(AP Classifier)를 포함할 수 있다.
상기 제1 특징 추출기는 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징을 추출할 수 있다. 상기 제1 분류기는 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 정합 결과 점수를 산출할 수 있다.
상기 제1 컨볼루션 신경망 모델의 학습 데이터는 정면 스캔 투영 학습 영상, 정면 CT 투영 학습 영상, 정합 성공 여부(GOOD or BAD)일 수 있다.
상기 제1 특징 추출기는 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제1 컨볼루션층 및 상기 제1 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제1 풀링층을 포함할 수 있다.
상기 제1 분류기는 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 제1 정합 성공 점수 r1과 제1 정합 실패 점수 q1을 생성할 수 있다.
상기 제1 특징 추출기에서 추출된 특징들이 상기 제1 분류기의 히든층을 통과하면서 상기 정면 정합 점수가 점차 추출되게 된다. 상기 히든층을 모두 통과한 결과, r1 > q1이면 상기 제1 분류기의 결과가 성공으로 판단되며, r1 < q1이면 상기 제1 분류기의 결과가 실패로 판단될 수 있다.
도 55에서는 제1 정합 성공 점수(Good) r1이 0.9이고, 제1 정합 실패 점수(Bad) q1이 0.1이므로, 상기 제1 분류기의 결과는 정합 성공으로 판단될 수 있다.
도 56은 정면 스캔 투영 영상과 정면 CT 투영 영상이 잘 정합된 경우를 나타내며, 이 경우, r1이 q1보다 클 수 있다. 반대로 도 57은 정면 스캔 투영 영상과 정면 CT 투영 영상이 잘 정합되지 않은 경우를 나타내며, 이 경우, q1이 r1보다 클 수 있다. 도 57의 동그라미 부분을 보면, 상기 정면 CT 투영 영상의 어금니 부분과 상기 정면 스캔 투영 영상의 어금니 부분이 전혀 일치하지 않음을 알 수 있다.
도 58은 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합 정확도를 판단하는 제2 컨볼루션 신경망을 나타내는 개념도이다. 도 59는 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 된 예시를 나타내는 개념도이다. 도 60은 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 되지 않은 예시를 나타내는 개념도이다.
도 47 내지 도 60을 참조하면, 측면 스캔 투영 영상과 측면 CT 투영 영상을 입력받아 측면 정합 정확도를 판단하는 상기 제2 컨볼루션 신경망 모델은 제2 특징 추출기(Lateral Feature extractor) 및 제2 분류기(Lateral Classifier)를 포함할 수 있다.
상기 제2 특징 추출기는 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징을 추출할 수 있다. 상기 제2 분류기는 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 정합 결과 점수를 산출할 수 있다.
상기 제2 컨볼루션 신경망 모델의 학습 데이터는 측면 스캔 투영 학습 영상, 측면 CT 투영 학습 영상, 정합 성공 여부(GOOD or BAD)일 수 있다.
상기 제2 특징 추출기는 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제2 컨볼루션층 및 상기 제2 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제2 풀링층을 포함할 수 있다.
상기 제2 분류기는 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 제2 정합 성공 점수 r2와 제2 정합 실패 점수 q2를 생성할 수 있다.
상기 제2 특징 추출기에서 추출된 특징들이 상기 제2 분류기의 히든층을 통과하면서 상기 측면 정합 점수가 점차 추출되게 된다. 상기 히든층을 모두 통과한 결과, r2 > q2면 상기 제2 분류기의 결과가 성공으로 판단되며, r2 < q2면 상기 제2 분류기의 결과가 실패로 판단될 수 있다.
도 58에서는 제2 정합 성공 점수(Good) r2가 0.9이고, 제2 정합 실패 점수(Bad) q2가 0.1이므로, 상기 제2 분류기의 결과는 정합 성공으로 판단될 수 있다.
도 59는 측면 스캔 투영 영상과 측면 CT 투영 영상이 잘 정합된 경우를 나타내며, 이 경우, r2가 q2보다 클 수 있다. 반대로 도 60은 측면 스캔 투영 영상과 측면 CT 투영 영상이 잘 정합되지 않은 경우를 나타내며, 이 경우, q2가 r2보다 클 수 있다. 도 60의 동그라미 부분을 보면, 상기 측면 CT 투영 영상의 앞니 부분과 상기 측면 스캔 투영 영상의 앞니 부분이 전혀 일치하지 않음을 알 수 있다.
도 61은 정면 수직 방향의 정합 정확도 및 측면 수직 방향의 정합 정확도를 기초로 스캔 데이터와 CT 데이터의 최종 정합 정확도를 결정하는 방법을 나타내는 개념도이다.
도 47 내지 도 61을 참조하면, 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계(S2500)는 상기 제1 분류기의 결과가 성공(Good)이고, 상기 제2 분류기의 결과가 성공(Good)이면 상기 최종 정합 결과(Result)를 성공(Good)으로 판단할 수 있다.
한편, 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계(S2500)는 상기 제1 분류기의 결과 및 상기 제2 분류기의 결과 중 적어도 어느 하나가 실패(Bad)이면 상기 최종 정합 결과를 실패(Bad)로 판단할 수 있다. 정면 정합과 측면 정합이 모두 정확하게 된 경우에 상기 스캔 데이터와 CT 데이터의 정합이 성공한 것으로 볼 수 있기 때문이다.
본 실시예에 따르면, 별도의 사용자 입력 없이 3차원 치과 CT 영상 및 3차원 스캔 데이터로부터 2차원 투영 영상을 얻고 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여 정합의 정확도를 자동으로 판단할 수 있다.
3차원 치과 CT 영상 데이터와 3차원 디지털 인상 모델 데이터의 정합의 정확도를 자동으로 판단할 수 있어, 정합 결과를 판단하는데 소요되는 시간과 노력을 줄일 수 있고, 또한 상기 판단된 정합의 정확도를 기초로 자동 정합 알고리즘의 정확도를 높일 수 있다.
본 발명의 일 실시예에 의하면, 전술한 치과용 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
본 발명은 3차원 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치에 대한 것으로, 사용자의 입력이나 별도의 3차원 모델의 추출과정 없이 간단하고 신속하며 정확하게 환자의 해부학적 특징점을 검출할 수 있다.
본 발명은 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 치과 CT 영상과 디지털 인상 모델의 정합을 위한 시간과 노력을 감소시킬 수 있다.
본 발명은 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 3차원 스캔 데이터의 랜드마크를 추출하기 위한 사용자의 노력과 시간을 줄일 수 있고, 치과 CT 영상과 디지털 인상 모델의 정합을 위한 노력과 시간을 줄일 수 있다.
본 발명은 치과용 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 3차원 치과 CT 영상 데이터와 3차원 디지털 인상 모델 데이터의 정합의 정확도를 자동으로 판단할 수 있어, 정합 결과를 판단하는데 소요되는 시간과 노력을 줄일 수 있고, 또한 자동 정합 알고리즘의 정확도를 높일 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (101)

  1. 3차원 볼륨 의료 영상을 입력받는 단계;
    상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 단계;
    상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 단계;
    상기 해부학적 초기 특징점을 기초로 3차원 관심 볼륨 영역을 생성하는 단계; 및
    상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 단계를 포함하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  2. 제1항에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 밝기 값들을 일 방향으로 프로젝션하여 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  3. 제2항에 있어서, 상기 2차원 밝기 값 투영 영상은 상기 3차원 볼륨 의료 영상의 상기 밝기 값들의 상기 일 방향의 표준 편차를 계산하여 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  4. 제1항에 있어서, 상기 2차원 밝기 값 투영 영상은 정면 밝기 값 투영 영상 및 측면 밝기 값 투영 영상을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  5. 제4항에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는 상기 정면 밝기 값 투영 영상 및 상기 측면 밝기 값 투영 영상을 동일한 상기 제1 컨볼루션 신경망에 통과시키는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  6. 제4항에 있어서, 상기 해부학적 초기 특징점을 자동으로 검출하는 단계는
    상기 정면 밝기 값 투영 영상을 기초로 정면 해부학적 초기 특징점을 검출하는 단계;
    상기 측면 밝기 값 투영 영상을 기초로 측면 해부학적 초기 특징점을 검출하는 단계; 및
    상기 정면 해부학적 초기 특징점 및 상기 측면 해부학적 초기 특징점을 조합하여 3차원의 상기 해부학적 초기 특징점을 계산하는 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  7. 제1항에 있어서, 상기 제1 컨볼루션 신경망은 2차원 입력을 기초로 2차원 출력을 출력하는 2차원 완전 컨볼루션 심층 신경망이고,
    상기 제2 컨볼루션 신경망은 3차원 입력을 기초로 3차원 출력을 출력하는 3차원 완전 컨볼루션 심층 신경망인 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  8. 제7항에 있어서, 상기 제1 컨볼루션 신경망의 입력 데이터는 상기 2차원 밝기 값 투영 영상이고, 상기 제1 컨볼루션 신경망의 출력 데이터는 해부학적 임시 초기 특징점을 포함하며, 상기 해부학적 임시 초기 특징점에 해당하는 위치가 가장 큰 값을 갖는 2차원 영상이고,
    상기 제2 컨볼루션 신경망의 입력 데이터는 상기 3차원 관심 볼륨 영역이고, 상기 제2 컨볼루션 신경망의 출력 데이터는 해부학적 임시 세부 특징점을 포함하며, 상기 해부학적 임시 세부 특징점에 해당하는 위치가 가장 큰 값을 갖는 3차원 볼륨 영상인 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  9. 제1항에 있어서, 상기 3차원 관심 볼륨 영역을 생성하는 단계는 상기 해부학적 초기 특징점의 좌표로부터 x축, y축 및 z축 방향으로 각각 확장하여 형성하며,
    상기 3차원 관심 볼륨 영역의 중심은 상기 해부학적 초기 특징점의 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  10. 제1항에 있어서, 상기 해부학적 세부 특징점은 악안면골의 표면에 존재하는 제1 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  11. 제10항에 있어서, 상기 제1 세부 특징점은 Nasion, Anterior Nasal Spine, Point-A, Posterior Nasal Spine, Point-B, Pogonion, Gnathion, Right/Left of Orbitale Superius, Right/Left of Orbitale Inferius, Right/Left of Sutura Zygomaticofrontale, Right/Left of Foramen Mentale, Basion, Right Porion, Right/Left of Condylus Medialis, Right/Left of Condylus Lateralis, Right/Left of Areus Zygomatieus, Right/Left of Inferior Gonion, Right/Left of Posterior Gonion 및 Right of Processus Coronoideus를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  12. 제10항에 있어서, 상기 해부학적 세부 특징점은 악안면의 연조직의 중간에 존재하는 제2 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  13. 제12항에 있어서, 상기 제2 세부 특징점은 Sella turcica의 중심부인 Sella를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  14. 제12항에 있어서, 상기 해부학적 세부 특징점은 상기 악안면의 피부 표면에 존재하는 제3 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  15. 제14항에 있어서, 상기 제3 세부 특징점은 Glabella, Soft Tissue Nasion, Pronasale, Subnasale, Upper Lip Superior, Lower Lip Superior, Soft Tissue Pogonion, Soft Tissue Gnathion 및 Soft Tissue B-point를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  16. 제14항에 있어서, 상기 해부학적 세부 특징점은 치아에 관련되며 악골의 내부에 존재하는 제4 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  17. 제16항에 있어서, 상기 제4 세부 특징점은 Central Incisor Root, First Molar Distal Root 및 Canine Root를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  18. 제16항에 있어서, 상기 해부학적 세부 특징점은 상기 치아에 관련되며 상기 치아 상에 존재하는 제5 세부 특징점을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  19. 제18항에 있어서, 상기 제5 세부 특징점은 Mid Point of Central Incisors, Distal Point of First Molar Crown, Cusp Tip 및 Distal Point of Canine Crown을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법.
  20. 3차원 볼륨 의료 영상을 입력받고, 상기 3차원 볼륨 의료 영상을 기초로 2차원 밝기 값 투영 영상을 생성하는 밝기 값 투영 영상 생성부;
    상기 2차원 밝기 값 투영 영상을 기초로, 제1 컨볼루션 신경망을 이용하여 해부학적 초기 특징점을 자동으로 검출하는 초기 특징점 자동 검출부;
    상기 3차원 볼륨 의료 영상을 입력받고, 상기 해부학적 초기 특징점을 기초로 상기 3차원 볼륨 의료 영상으로부터 3차원 관심 볼륨 영역을 생성하는 3차원 관심 볼륨 영역 생성부; 및
    상기 3차원 관심 볼륨 영역을 기초로, 상기 제1 컨볼루션 신경망과 상이한 제2 컨볼루션 신경망을 이용하여 해부학적 세부 특징점을 자동으로 검출하는 세부 특징점 자동 검출부를 포함하는 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 장치.
  21. 제1항 내지 19항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  22. CT 데이터의 특징점을 추출하는 단계;
    디지털 인상 모델의 스캔 데이터의 특징점을 추출하는 단계;
    환자의 눈과 코가 있는 방향을 나타내는 업 벡터 및 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계;
    상기 스캔 데이터의 치아 부분을 추출하는 단계;
    상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 spline curve 상에서 탐색하여 후보 타겟 포인트를 생성하는 단계; 및
    상기 후보 타겟 포인트와 상기 CT 데이터의 특징점의 에러가 가장 작은 값을 최종 후보로 결정하는 단계를 포함하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  23. 제22항에 있어서, 상기 CT 데이터의 특징점은 상악에 3개 이상의 특징점, 하악에 3개 이상의 특징점을 포함하고,
    상기 스캔 데이터의 특징점은 3개의 특징점을 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  24. 제23항에 있어서, 상기 스캔 데이터의 제1 특징점 및 제3 특징점은 각각 횡 방향으로 상기 스캔 데이터의 치아의 최외곽점을 나타내고,
    상기 스캔 데이터의 제2 특징점은 2개의 중절치의 사이인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  25. 제22항에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계는
    상기 스캔 데이터의 제1 특징점이
    Figure PCTKR2021004839-appb-I000366
    , 제2 특징점이
    Figure PCTKR2021004839-appb-I000367
    , 제3 특징점이
    Figure PCTKR2021004839-appb-I000368
    이고, 상기 스캔 데이터의 메쉬를 구성하고 있는 모든 점에서의 노멀 벡터의 평균 벡터를
    Figure PCTKR2021004839-appb-I000369
    이라고 할 때,
    Figure PCTKR2021004839-appb-I000370
    벡터 및
    Figure PCTKR2021004839-appb-I000371
    벡터의 외적 및 상기 평균 벡터
    Figure PCTKR2021004839-appb-I000372
    을 이용하여 상기 스캔 데이터의 특징점의 좌우를 판단하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  26. 제25항에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계에서,
    상기 스캔 데이터가 상악 데이터이면서 판별식 d<0이면, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점
    Figure PCTKR2021004839-appb-I000373
    은
    Figure PCTKR2021004839-appb-I000374
    이고, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점
    Figure PCTKR2021004839-appb-I000375
    은
    Figure PCTKR2021004839-appb-I000376
    이며,
    상기 스캔 데이터가 상악 데이터이면서 판별식 d>=0이면, 상기 좌측 치아 특징점
    Figure PCTKR2021004839-appb-I000377
    은
    Figure PCTKR2021004839-appb-I000378
    이고, 상기 우측 치아 특징점
    Figure PCTKR2021004839-appb-I000379
    은
    Figure PCTKR2021004839-appb-I000380
    이며,
    상기 판별식은
    Figure PCTKR2021004839-appb-I000381
    인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  27. 제26항에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계에서,
    상기 스캔 데이터가 하악 데이터이면서 판별식 d<0이면, 상기 좌측 치아 특징점
    Figure PCTKR2021004839-appb-I000382
    은
    Figure PCTKR2021004839-appb-I000383
    이고, 상기 우측 치아 특징점
    Figure PCTKR2021004839-appb-I000384
    은
    Figure PCTKR2021004839-appb-I000385
    이며,
    상기 스캔 데이터가 하악 데이터이면서 판별식 d>=0이면, 상기 좌측 치아 특징점
    Figure PCTKR2021004839-appb-I000386
    은
    Figure PCTKR2021004839-appb-I000387
    이고, 상기 우측 치아 특징점
    Figure PCTKR2021004839-appb-I000388
    은
    Figure PCTKR2021004839-appb-I000389
    인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  28. 제22항에 있어서, 상기 업 벡터를 판단하는 단계에서,
    상기 업 벡터는
    Figure PCTKR2021004839-appb-I000390
    이고, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점은
    Figure PCTKR2021004839-appb-I000391
    이며, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점은
    Figure PCTKR2021004839-appb-I000392
    이고, 상기 스캔 데이터의 제2 특징점이
    Figure PCTKR2021004839-appb-I000393
    이며, 상기 스캔 데이터가 상악 데이터일 때,
    Figure PCTKR2021004839-appb-I000394
    인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  29. 제22항에 있어서, 상기 업 벡터를 판단하는 단계에서,
    상기 업 벡터는
    Figure PCTKR2021004839-appb-I000395
    이고, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점은
    Figure PCTKR2021004839-appb-I000396
    이며, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점은
    Figure PCTKR2021004839-appb-I000397
    이고, 상기 스캔 데이터의 제2 특징점이
    Figure PCTKR2021004839-appb-I000398
    이며, 상기 스캔 데이터가 하악 데이터일 때,
    Figure PCTKR2021004839-appb-I000399
    인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  30. 제22항에 있어서, 상기 CT 데이터와 상기 스캔 데이터가 일치하는 같은 영역을 가지고 있는지 판단하는 단계를 더 포함하고,
    Figure PCTKR2021004839-appb-I000400
    이고, th는 상기 CT 데이터와 상기 스캔 데이터는 같은 영역을 갖는지를 판단한기 위한 제1 쓰레스홀드값이며, p1, p3, p5는 상기 CT 데이터의 특징점들이고
    Figure PCTKR2021004839-appb-I000401
    ,
    Figure PCTKR2021004839-appb-I000402
    ,
    Figure PCTKR2021004839-appb-I000403
    은 상기 스캔 데이터의 특징점들일 때,
    Figure PCTKR2021004839-appb-I000404
    를 만족하면, 상기 CT 데이터와 상기 스캔 데이터가 일치하는 같은 영역을 가지고 있는 것으로 판단하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  31. 제22항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 스캔 데이터가 상악 데이터인 경우, 상기 스캔 데이터의 제1 특징점, 제2 특징점 및 제3 특징점 중 상기 업 벡터 방향으로 최고점을 추출하는 단계;
    상기 최고점으로부터 상기 업 벡터의 양의 방향으로 제1 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계; 및
    상기 스캔 데이터의 상기 최고점으로부터 상기 업 벡터의 음의 방향으로 제2 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  32. 제31항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 스캔 데이터가 하악 데이터인 경우, 상기 스캔 데이터의 제1 특징점, 제2 특징점 및 제3 특징점 중 상기 업 벡터 방향으로 최저점을 추출하는 단계;
    상기 최저점으로부터 상기 업 벡터의 양의 방향으로 상기 제1 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계; 및
    상기 스캔 데이터의 상기 최저점으로부터 상기 업 벡터의 음의 방향으로 상기 제2 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계를 더 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  33. 제32항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 스캔 데이터의 상기 제2 특징점으로부터 우측 치아 특징점을 향하는 벡터를
    Figure PCTKR2021004839-appb-I000405
    이라 하고, 상기 제2 특징점으로부터 좌측 치아 특징점을 향하는 벡터를
    Figure PCTKR2021004839-appb-I000406
    이라 할 때,
    상기 우측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000407
    벡터 방향으로 제3 거리만큼 이동한 지점에 상기
    Figure PCTKR2021004839-appb-I000408
    벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계; 및
    상기 좌측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000409
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에 상기
    Figure PCTKR2021004839-appb-I000410
    벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  34. 제33항에 있어서, 상기 제3 거리는 상기 제1 거리 및 상기 제2 거리보다 작은 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  35. 제33항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 우측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000411
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000412
    벡터로부터 +90도로 회전한 제1 벡터를 법선 벡터로 하고 상기 제1 벡터로 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계;
    상기 우측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000413
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000414
    벡터로부터 -90도로 회전한 제2 벡터를 법선 벡터로 하고 상기 제2 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계;
    상기 좌측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000415
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000416
    벡터로부터 -90도로 회전한 제3 벡터를 법선 벡터로 하고 상기 제3 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계; 및
    상기 좌측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000417
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000418
    벡터로부터 +90도로 회전한 제4 벡터를 법선 벡터로 하고 상기 제4 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  36. 제35항에 있어서, 상기 제4 거리는 상기 제1 거리, 상기 제2 거리 및 상기 제3 거리보다 큰 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  37. 제33항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 스캔 데이터의 상기 제2 특징점에서 상기
    Figure PCTKR2021004839-appb-I000419
    벡터와 상기
    Figure PCTKR2021004839-appb-I000420
    벡터의 합인
    Figure PCTKR2021004839-appb-I000421
    벡터 방향으로 제5 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000422
    벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계; 및
    상기 스캔 데이터의 상기 제2 특징점에서 -
    Figure PCTKR2021004839-appb-I000423
    벡터 방향으로 상기 제5 거리만큼 이동한 지점에서 상기 -
    Figure PCTKR2021004839-appb-I000424
    벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  38. 제22항에 있어서, 상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 spline curve 상에서 탐색하여 후보 타겟 포인트를 생성하는 단계는
    상기 CT 데이터의 상악의 복수의 특징점들 또는 상기 CT 데이터의 하악의 복수의 특징점들을 기초로 상기 spline curve, C(u)를 계산하는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  39. 제38항에 있어서, 상기 소스 포인트는 좌측 치아 특징점, 제2 특징점, 상기 우측 치아 특징점의 3개의 점을 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  40. 제39항에 있어서,
    Figure PCTKR2021004839-appb-I000425
    은 상기 좌측 치아 특징점이고,
    Figure PCTKR2021004839-appb-I000426
    는 상기 제2 특징점이며,
    Figure PCTKR2021004839-appb-I000427
    은 상기 우측 치아 특징점이고,
    타겟 포인트의 첫 번째 점은 C(u) 상에서 파라미터 u를 제1 값만큼 증가시키면서 탐색하고, 상기 타겟 포인트의 두 번째 점은 C(u) 상에서 상기 파라미터 u를 제2 값만큼 증가시키면서 d11=||C(u1)-C(u2)||-||
    Figure PCTKR2021004839-appb-I000428
    -
    Figure PCTKR2021004839-appb-I000429
    ||가 최소가 되는 C(u2)를 탐색하며, 상기 타겟 포인트의 세 번째 점은 C(u) 상에서 상기 파라미터 u를 제3 값만큼 증가시키면서 d12=||C(u2)-C(u3)||-||
    Figure PCTKR2021004839-appb-I000430
    -
    Figure PCTKR2021004839-appb-I000431
    ||이 최소가 되는 C(u3)를 탐색하고,
    상기 d11, d12 및 d13=||C(u3)-C(u1)||-||
    Figure PCTKR2021004839-appb-I000432
    -
    Figure PCTKR2021004839-appb-I000433
    ||이 모두 제2 쓰레스홀드값보다 작으면 상기 타겟 포인트 C(u1), C(u2) 및 C(u3)는 상기 후보 타겟 포인트로 선정되며,
    상기 후보 타겟 포인트는 C(u1), C(u2) 및 C(u3)의 3개의 점을 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  41. 제38항에 있어서, 상기 후보 타겟 포인트와 상기 CT 데이터의 특징점의 에러가 가장 작은 값을 최종 후보로 결정하는 단계는
    변환 매트릭스를 이용하여 상기 후보 타겟 포인트를 상기 CT 데이터의 도메인으로 변환하는 단계; 및
    상기 변환된 후보 타겟 포인트와 상기 CT 데이터의 특징점 간의 거리의 평균으로 변환 에러를 측정하는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  42. 제22항 내지 41항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  43. CT 데이터의 특징점을 추출하는 단계;
    디지털 인상 모델의 스캔 데이터의 특징점을 추출하는 단계;
    환자의 눈과 코가 있는 방향을 나타내는 업 벡터 및 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계;
    상기 CT 데이터와 상기 스캔 데이터가 같은 영역을 갖는지 판단하는 단계;
    상기 스캔 데이터의 치아 부분을 추출하는 단계;
    상기 CT 데이터와 상기 스캔 데이터가 서로 다른 영역을 가질 때, 상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 spline curve 상에서 탐색하여 후보 타겟 포인트를 생성하는 단계; 및
    상기 후보 타겟 포인트 중 상기 CT 데이터와 상기 스캔 데이터의 정합 에러가 가장 작은 값을 최종 후보로 추천하는 단계를 포함하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  44. 제43항에 있어서,
    Figure PCTKR2021004839-appb-I000434
    이고, th는 상기 CT 데이터와 상기 스캔 데이터는 같은 영역을 갖는지를 판단하기 위한 제1 쓰레스홀드값이며, p1, p3, p5는 상기 CT 데이터의 특징점들이고
    Figure PCTKR2021004839-appb-I000435
    ,
    Figure PCTKR2021004839-appb-I000436
    ,
    Figure PCTKR2021004839-appb-I000437
    은 상기 스캔 데이터의 특징점들일 때,
    Figure PCTKR2021004839-appb-I000438
    를 만족하면, 상기 CT 데이터와 상기 스캔 데이터가 같은 영역을 갖는 것으로 판단하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  45. 제43항에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계는
    상기 스캔 데이터의 제1 특징점이
    Figure PCTKR2021004839-appb-I000439
    , 제2 특징점이
    Figure PCTKR2021004839-appb-I000440
    , 제3 특징점이
    Figure PCTKR2021004839-appb-I000441
    이고, 상기 스캔 데이터의 메쉬를 구성하고 있는 모든 점에서의 노멀 벡터의 평균 벡터를
    Figure PCTKR2021004839-appb-I000442
    이라고 할 때,
    Figure PCTKR2021004839-appb-I000443
    벡터 및
    Figure PCTKR2021004839-appb-I000444
    벡터의 외적 및 상기 평균 벡터
    Figure PCTKR2021004839-appb-I000445
    을 이용하여 상기 스캔 데이터의 특징점의 좌우를 판단하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  46. 제45항에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계에서,
    상기 스캔 데이터가 상악 데이터이면서 판별식 d<0이면, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점
    Figure PCTKR2021004839-appb-I000446
    은
    Figure PCTKR2021004839-appb-I000447
    이고, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점
    Figure PCTKR2021004839-appb-I000448
    은
    Figure PCTKR2021004839-appb-I000449
    이며,
    상기 스캔 데이터가 상악 데이터이면서 판별식 d>=0이면, 상기 좌측 치아 특징점
    Figure PCTKR2021004839-appb-I000450
    은
    Figure PCTKR2021004839-appb-I000451
    이고, 상기 우측 치아 특징점
    Figure PCTKR2021004839-appb-I000452
    은
    Figure PCTKR2021004839-appb-I000453
    이며,
    상기 판별식은
    Figure PCTKR2021004839-appb-I000454
    인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  47. 제46항에 있어서, 상기 스캔 데이터의 특징점의 좌우를 판단하는 단계에서,
    상기 스캔 데이터가 하악 데이터이면서 판별식 d<0이면, 상기 좌측 치아 특징점
    Figure PCTKR2021004839-appb-I000455
    은
    Figure PCTKR2021004839-appb-I000456
    이고, 상기 우측 치아 특징점
    Figure PCTKR2021004839-appb-I000457
    은
    Figure PCTKR2021004839-appb-I000458
    이며,
    상기 스캔 데이터가 하악 데이터이면서 판별식 d>=0이면, 상기 좌측 치아 특징점
    Figure PCTKR2021004839-appb-I000459
    은
    Figure PCTKR2021004839-appb-I000460
    이고, 상기 우측 치아 특징점
    Figure PCTKR2021004839-appb-I000461
    은
    Figure PCTKR2021004839-appb-I000462
    인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  48. 제43항에 있어서, 상기 업 벡터를 판단하는 단계에서,
    상기 업 벡터는
    Figure PCTKR2021004839-appb-I000463
    이고, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점은
    Figure PCTKR2021004839-appb-I000464
    이며, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점은
    Figure PCTKR2021004839-appb-I000465
    이고, 상기 스캔 데이터의 제2 특징점이
    Figure PCTKR2021004839-appb-I000466
    이며, 상기 스캔 데이터가 상악 데이터일 때,
    Figure PCTKR2021004839-appb-I000467
    인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  49. 제43항에 있어서, 상기 업 벡터를 판단하는 단계에서,
    상기 업 벡터는
    Figure PCTKR2021004839-appb-I000468
    이고, 환자의 좌측 치아의 외곽점을 나타내는 좌측 치아 특징점은
    Figure PCTKR2021004839-appb-I000469
    이며, 환자의 우측 치아의 외곽점을 나타내는 우측 치아 특징점은
    Figure PCTKR2021004839-appb-I000470
    이고, 상기 스캔 데이터의 제2 특징점이
    Figure PCTKR2021004839-appb-I000471
    이며, 상기 스캔 데이터가 하악 데이터일 때,
    Figure PCTKR2021004839-appb-I000472
    인 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  50. 제43항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 스캔 데이터가 상악 데이터인 경우, 상기 스캔 데이터의 제1 특징점, 제2 특징점 및 제3 특징점 중 상기 업 벡터 방향으로 최고점을 추출하는 단계;
    상기 최고점으로부터 상기 업 벡터의 양의 방향으로 제1 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계; 및
    상기 스캔 데이터의 상기 최고점으로부터 상기 업 벡터의 음의 방향으로 제2 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  51. 제50항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 스캔 데이터가 하악 데이터인 경우, 상기 스캔 데이터의 제1 특징점, 제2 특징점 및 제3 특징점 중 상기 업 벡터 방향으로 최저점을 추출하는 단계;
    상기 최저점으로부터 상기 업 벡터의 양의 방향으로 상기 제1 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계; 및
    상기 스캔 데이터의 상기 최저점으로부터 상기 업 벡터의 음의 방향으로 상기 제2 거리 이동 지점에 상기 업 벡터를 법선 벡터로 하는 무한한 평면으로 스캔 데이터를 자르는 단계를 더 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  52. 제51항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 스캔 데이터의 상기 제2 특징점으로부터 우측 치아 특징점을 향하는 벡터를
    Figure PCTKR2021004839-appb-I000473
    이라 하고, 상기 제2 특징점으로부터 좌측 치아 특징점을 향하는 벡터를
    Figure PCTKR2021004839-appb-I000474
    이라 할 때,
    상기 우측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000475
    벡터 방향으로 제3 거리만큼 이동한 지점에 상기
    Figure PCTKR2021004839-appb-I000476
    벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계; 및
    상기 좌측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000477
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에 상기
    Figure PCTKR2021004839-appb-I000478
    벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  53. 제52항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 우측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000479
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000480
    벡터로부터 +90도로 회전한 제1 벡터를 법선 벡터로 하고 상기 제1 벡터로 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계;
    상기 우측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000481
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000482
    벡터로부터 -90도로 회전한 제2 벡터를 법선 벡터로 하고 상기 제2 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계;
    상기 좌측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000483
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000484
    벡터로부터 -90도로 회전한 제3 벡터를 법선 벡터로 하고 상기 제3 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계; 및
    상기 좌측 치아 특징점에서 상기
    Figure PCTKR2021004839-appb-I000485
    벡터 방향으로 상기 제3 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000486
    벡터로부터 +90도로 회전한 제4 벡터를 법선 벡터로 하고 상기 제4 벡터로 상기 제4 거리만큼 이동한 지점에서 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  54. 제52항에 있어서, 상기 스캔 데이터의 치아 부분을 추출하는 단계는
    상기 스캔 데이터의 상기 제2 특징점에서 상기
    Figure PCTKR2021004839-appb-I000487
    벡터와 상기
    Figure PCTKR2021004839-appb-I000488
    벡터의 합인
    Figure PCTKR2021004839-appb-I000489
    벡터 방향으로 제5 거리만큼 이동한 지점에서 상기
    Figure PCTKR2021004839-appb-I000490
    벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계; 및
    상기 스캔 데이터의 상기 제2 특징점에서 -
    Figure PCTKR2021004839-appb-I000491
    벡터 방향으로 상기 제5 거리만큼 이동한 지점에서 상기 -
    Figure PCTKR2021004839-appb-I000492
    벡터를 법선 벡터로 하는 무한한 평면으로 상기 스캔 데이터를 자르는 단계를 더 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  55. 제43항에 있어서, 상기 스캔 데이터의 소스 포인트를 상기 CT 데이터의 spline curve 상에서 탐색하여 후보 타겟 포인트를 생성하는 단계는
    상기 CT 데이터의 상악의 복수의 특징점들 또는 상기 CT 데이터의 하악의 복수의 특징점들을 기초로 상기 spline curve, C(u)를 계산하는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  56. 제55항에 있어서, 상기 소스 포인트는 좌측 치아 특징점, 제2 특징점, 상기 우측 치아 특징점의 3개의 점을 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  57. 제56항에 있어서,
    Figure PCTKR2021004839-appb-I000493
    은 상기 좌측 치아 특징점이고,
    Figure PCTKR2021004839-appb-I000494
    는 상기 제2 특징점이며,
    Figure PCTKR2021004839-appb-I000495
    은 상기 우측 치아 특징점이고,
    타겟 포인트의 첫 번째 점은 C(u) 상에서 파라미터 u를 제1 값만큼 증가시키면서 탐색하고, 상기 타겟 포인트의 두 번째 점은 C(u) 상에서 상기 파라미터 u를 제2 값만큼 증가시키면서 d11=||C(u1)-C(u2)||-||
    Figure PCTKR2021004839-appb-I000496
    -
    Figure PCTKR2021004839-appb-I000497
    ||가 최소가 되는 C(u2)를 탐색하며, 상기 타겟 포인트의 세 번째 점은 C(u) 상에서 상기 파라미터 u를 제3 값만큼 증가시키면서 d12=||C(u2)-C(u3)||-||
    Figure PCTKR2021004839-appb-I000498
    -
    Figure PCTKR2021004839-appb-I000499
    ||이 최소가 되는 C(u3)를 탐색하고,
    상기 d11, d12 및 d13=||C(u3)-C(u1)||-||
    Figure PCTKR2021004839-appb-I000500
    -
    Figure PCTKR2021004839-appb-I000501
    ||이 모두 제2 쓰레스홀드값보다 작으면 상기 타겟 포인트 C(u1), C(u2) 및 C(u3)는 상기 후보 타겟 포인트로 선정되며,
    상기 후보 타겟 포인트는 C(u1), C(u2) 및 C(u3)의 3개의 점을 포함하는 것을 특징으로 하는 치과용 3차원 데이터 위치 정렬 자동화 방법.
  58. 제43항 내지 57항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  59. 3차원 스캔 데이터를 투영하여 2차원 깊이 영상을 생성하는 단계;
    컨볼루션 신경망 모델(convolutional neural network model)을 이용하여 상기 2차원 깊이 영상이 환자가 지닌 모든 치아를 스캔한 풀 아치(Full arch) 데이터인지 환자가 지닌 치아 중 일부분만을 스캔한 부분 아치 데이터인지 분류하는 단계;
    완전 컨볼루션 신경망 모델(fully-connected convolutional neural network model)을 이용하여 상기 2차원 깊이 영상 내에서 2차원 랜드마크를 검출하는 단계; 및
    상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영하여 상기 3차원 스캔 데이터의 3차원 랜드마크를 검출하는 단계를 포함하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  60. 제59항에 있어서, 상기 2차원 깊이 영상을 생성하는 단계는
    상기 3차원 스캔 데이터의 주성분 분석을 통해 상기 투영 방향 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  61. 제60항에 있어서, 상기 투영 방향 벡터를 결정하는 단계는
    상기 3차원 스캔 데이터의 3차원 n개의 점 좌표
    Figure PCTKR2021004839-appb-I000502
    집합을 행렬로 나타낸
    Figure PCTKR2021004839-appb-I000503
    를
    Figure PCTKR2021004839-appb-I000504
    의 평균값
    Figure PCTKR2021004839-appb-I000505
    를 중심으로 이동시키는 단계 (
    Figure PCTKR2021004839-appb-I000506
    );
    상기 3차원 n개의 점 좌표에 대한 공분산
    Figure PCTKR2021004839-appb-I000507
    을 계산하는 단계;
    상기 공분산 Σ를 고유분해(
    Figure PCTKR2021004839-appb-I000508
    )하는 단계 (
    Figure PCTKR2021004839-appb-I000509
    이고
    Figure PCTKR2021004839-appb-I000510
    이며,); 및
    w1={w1p,w1q,w1r},w2={w2p,w2q,w2r},w3={w3p,w3q,w3r} 중 고유값 λ가 가장 작은 방향 벡터 w3을 이용하여 상기 투영 방향 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  62. 제61항에 있어서, 상기 투영 방향 벡터를 결정하는 단계는
    상기 3차원 스캔 데이터의 법선 벡터 평균이
    Figure PCTKR2021004839-appb-I000511
    일 때,
    Figure PCTKR2021004839-appb-I000512
    이면 w3을 상기 투영 방향 벡터로 결정하고,
    Figure PCTKR2021004839-appb-I000513
    이면 -w3을 상기 투영 방향 벡터로 결정하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  63. 제60항에 있어서, 상기 2차원 깊이 영상은
    상기 투영 방향 벡터를 법선 벡터로 하고 상기 3차원 스캔 데이터로부터 제1 거리만큼 떨어진 곳에 정의된 투영 평면 상에 형성되는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  64. 제60항에 있어서, 상기 3차원 랜드마크를 검출하는 단계는
    상기 투영 방향 벡터를 이용하여 상기 투영 방향 벡터의 역방향으로 상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  65. 제59항에 있어서, 상기 컨볼루션 신경망 모델은
    상기 2차원 깊이 영상의 특징을 추출하는 특징 추출기; 및
    상기 특징 추출기에 의해 추출된 특징을 기반으로 아치 분류 정보에 대한 점수를 계산하는 분류기를 포함하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  66. 제65항에 있어서, 상기 특징 추출기는
    상기 2차원 깊이 영상의 특징들을 추출하는 단계들을 포함하는 컨볼루션층; 및
    상기 추출된 특징들을 분류 별로 추려나가는 단계들을 포함하는 풀링층을 포함하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  67. 제59항에 있어서, 상기 2차원 랜드마크를 검출하는 단계는
    상기 2차원 깊이 영상이 상기 풀 아치 데이터인 경우, 풀 아치 학습 데이터들을 이용하여 학습된 제1 완전 컨볼루션 신경망 모델을 이용하여 상기 2차원 랜드마크를 검출하는 단계; 및
    상기 2차원 깊이 영상이 상기 부분 아치 데이터인 경우, 부분 아치 학습 데이터들을 이용하여 학습된 제2 완전 컨볼루션 신경망 모델을 이용하여 상기 2차원 랜드마크를 검출하는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  68. 제67항에 있어서, 상기 제1 완전 컨볼루션 신경망 모델 및 상기 제2 완전 컨볼루션 신경망 모델은 각각,
    상기 2차원 깊이 영상에서 랜드마크 특징을 검출하는 컨볼루션 과정; 및
    상기 검출된 랜드마크 특징에 랜드마크 위치 정보를 추가하는 디컨볼루션 과정을 수행하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  69. 제68항에 있어서, 상기 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되고,
    상기 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되며,
    상기 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수는 상기 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수와 상이한 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  70. 제69항에 있어서, 상기 제1 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수는 상기 제2 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 횟수보다 많은 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  71. 제59항에 있어서, 상기 2차원 랜드마크를 검출하는 단계는 상기 컨볼루션 신경망 모델을 학습하는 단계를 더 포함하고,
    상기 컨볼루션 신경망 모델을 학습하는 단계는 학습 2차원 깊이 영상 및 사용자 정의 랜드마크 정보를 입력하며,
    상기 사용자 정의 랜드마크 정보는 학습 랜드마크의 종류 및 상기 학습 랜드마크의 상기 학습 2차원 깊이 영상에서의 정답 위치 정보를 이용하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  72. 제59항에 있어서, 상기 완전 컨볼루션 신경망 모델은
    상기 2차원 깊이 영상에서 랜드마크 특징을 검출하는 컨볼루션 과정; 및
    상기 검출된 랜드마크 특징에 랜드마크 위치 정보를 추가하는 디컨볼루션 과정을 수행하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  73. 제72항에 있어서, 상기 디컨볼루션 과정의 결과는 상기 2차원 랜드마크의 개수에 대응하는 히트맵의 형태인 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  74. 제73항에 있어서, 상기 히트맵에서 가장 큰 값을 갖는 픽셀 좌표가 상기 2차원 랜드마크의 위치를 나타내는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  75. 제59항 내지 74항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  76. 3차원 스캔 데이터를 투영하여 2차원 깊이 영상을 생성하는 단계;
    완전 컨볼루션 신경망 모델(fully-connected convolutional neural network model)을 이용하여 상기 2차원 깊이 영상 내에서 2차원 랜드마크를 검출하는 단계; 및
    상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영하여 상기 3차원 스캔 데이터의 3차원 랜드마크를 검출하는 단계를 포함하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  77. 제76항에 있어서, 상기 2차원 깊이 영상을 생성하는 단계는
    상기 3차원 스캔 데이터의 주성분 분석을 통해 상기 투영 방향 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  78. 제77항에 있어서, 상기 투영 방향 벡터를 결정하는 단계는
    상기 3차원 스캔 데이터의 3차원 n개의 점 좌표
    Figure PCTKR2021004839-appb-I000514
    집합을 행렬로 나타낸
    Figure PCTKR2021004839-appb-I000515
    를
    Figure PCTKR2021004839-appb-I000516
    의 평균값
    Figure PCTKR2021004839-appb-I000517
    를 중심으로 이동시키는 단계(
    Figure PCTKR2021004839-appb-I000518
    );
    상기 3차원 n개의 점 좌표에 대한 공분산
    Figure PCTKR2021004839-appb-I000519
    을 계산하는 단계;
    상기 공분산 Σ를 고유분해(
    Figure PCTKR2021004839-appb-I000520
    )하는 단계 (
    Figure PCTKR2021004839-appb-I000521
    이고
    Figure PCTKR2021004839-appb-I000522
    이며,); 및
    w1={w1p,w1q,w1r},w2={w2p,w2q,w2r},w3={w3p,w3q,w3r} 중 고유값 λ가 가장 작은 방향 벡터 w3을 이용하여 상기 투영 방향 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  79. 제78항에 있어서, 상기 투영 방향 벡터를 결정하는 단계는
    상기 3차원 스캔 데이터의 법선 벡터 평균이
    Figure PCTKR2021004839-appb-I000523
    일 때,
    Figure PCTKR2021004839-appb-I000524
    이면 w3을 상기 투영 방향 벡터로 결정하고,
    Figure PCTKR2021004839-appb-I000525
    이면 -w3을 상기 투영 방향 벡터로 결정하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  80. 제77항에 있어서, 상기 2차원 깊이 영상은
    상기 투영 방향 벡터를 법선 벡터로 하고 상기 3차원 스캔 데이터로부터 제1 거리만큼 떨어진 곳에 정의된 투영 평면 상에 형성되는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  81. 제77항에 있어서, 상기 3차원 랜드마크를 검출하는 단계는
    상기 투영 방향 벡터를 이용하여 상기 투영 방향 벡터의 역방향으로 상기 2차원 랜드마크를 상기 3차원 스캔 데이터에 역투영하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  82. 제76항에 있어서, 상기 완전 컨볼루션 신경망 모델은
    상기 2차원 깊이 영상에서 랜드마크 특징을 검출하는 컨볼루션 과정; 및
    상기 검출된 랜드마크 특징에 랜드마크 위치 정보를 추가하는 디컨볼루션 과정을 수행하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  83. 제82항에 있어서, 상기 완전 컨볼루션 신경망 모델에서 상기 컨볼루션 과정 및 상기 디컨볼루션 과정이 중복 수행되는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  84. 제82항에 있어서, 상기 디컨볼루션 과정의 결과는 상기 2차원 랜드마크의 개수에 대응하는 히트맵의 형태인 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  85. 제84항에 있어서, 상기 히트맵에서 가장 큰 값을 갖는 픽셀 좌표가 상기 2차원 랜드마크의 위치를 나타내는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  86. 제76항에 있어서, 상기 2차원 랜드마크를 검출하는 단계는 상기 컨볼루션 신경망 모델을 학습하는 단계를 더 포함하고,
    상기 컨볼루션 신경망 모델을 학습하는 단계는 학습 2차원 깊이 영상 및 사용자 정의 랜드마크 정보를 입력하며,
    상기 사용자 정의 랜드마크 정보는 학습 랜드마크의 종류 및 상기 학습 랜드마크의 상기 학습 2차원 깊이 영상에서의 정답 위치 정보를 이용하는 것을 특징으로 하는 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법.
  87. 제76항 내지 86항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  88. 3차원 스캔 데이터 및 3차원 CT 데이터가 정합된 정합 데이터에서 상기 3차원 스캔 데이터를 2차원으로 투영하여 스캔 투영 영상을 생성하는 단계;
    상기 정합 데이터에서 상기 3차원 CT 데이터를 2차원으로 투영하여 CT 투영 영상을 생성하는 단계;
    제1 컨볼루션 신경망 모델(convolutional neural network model)에 정면 수직 방향의 정면 스캔 투영 영상과 상기 정면 수직 방향의 정면 CT 투영 영상을 입력하여 정면 정합 정확도를 판단하는 단계;
    제2 컨볼루션 신경망 모델에 측면 수직 방향의 측면 스캔 투영 영상과 상기 측면 수직 방향의 측면 CT 투영 영상을 입력하여 측면 정합 정확도를 판단하는 단계; 및
    상기 정면 정합 정확도 및 상기 측면 정합 정확도를 기초로 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계를 포함하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  89. 제88항에 있어서, 상기 스캔 투영 영상은 상기 3차원 스캔 데이터와 투영 평면 사이의 거리를 밝기로 나타내는 투영 깊이 영상인 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  90. 제89항에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값을 누적하여 생성되는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  91. 제90항에 있어서, 상기 CT 투영 영상은 상기 투영 방향이 A이고, 상기 CT 데이터의 상기 복셀 값이 I(x, y, z)이며, 상기 CT 투영 영상의 픽셀 값이 I(u, v)일 때,
    Figure PCTKR2021004839-appb-I000526
    를 만족하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  92. 제89항에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 표준 편차를 기초로 생성되는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  93. 제89항에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 최대값을 기초로 생성되는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  94. 제88항에 있어서, 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 정면 스캔 투영 영상을 생성하는 제1 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 정면 CT 투영 영상을 생성하는 방향과 일치하고,
    상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 측면 스캔 투영 영상을 생성하는 제2 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 측면 CT 투영 영상을 생성하는 방향과 일치하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  95. 제94항에 있어서, 상기 정면 스캔 투영 영상을 생성하는 상기 제1 방향은 상기 3차원 CT 데이터의 정면 방향이고,
    상기 측면 스캔 투영 영상을 생성하는 상기 제2 방향은 상기 3차원 CT 데이터의 측면 방향인 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  96. 제88항에 있어서, 상기 제1 컨볼루션 신경망 모델은
    상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징을 추출하는 제1 특징 추출기; 및
    상기 제1 특징 추출기에 의해 추출된 특징을 기초로 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 정합 결과 점수를 산출하는 제1 분류기를 포함하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  97. 제96항에 있어서, 상기 제2 컨볼루션 신경망 모델은
    상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징을 추출하는 제2 특징 추출기; 및
    상기 제2 특징 추출기에 의해 추출된 특징을 기초로 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 정합 결과 점수를 산출하는 제2 분류기를 포함하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  98. 제97항에 있어서, 상기 제1 특징 추출기는 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제1 컨볼루션층 및 상기 제1 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제1 풀링층을 포함하고,
    상기 제2 특징 추출기는 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제2 컨볼루션층 및 상기 제2 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제2 풀링층을 포함하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  99. 제97항에 있어서, 상기 제1 분류기는 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 제1 정합 성공 점수 r1과 제1 정합 실패 점수 q1을 생성하고, r1 > q1이면 상기 제1 분류기의 결과가 성공으로 판단되며, r1 < q1이면 상기 제1 분류기의 결과가 실패로 판단되고,
    상기 제2 분류기는 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 제2 정합 성공 점수 r2와 제2 정합 실패 점수 q2를 생성하고, r2 > q2이면 상기 제2 분류기의 결과가 성공으로 판단되며, r2 < q2이면 상기 제2 분류기의 결과가 실패로 판단되는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  100. 제99항에 있어서, 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계는
    상기 제1 분류기의 결과가 성공이고, 상기 제2 분류기의 결과가 성공이면 상기 최종 정합 결과를 성공으로 판단하고,
    상기 제1 분류기의 결과 및 상기 제2 분류기의 결과 중 적어도 어느 하나가 실패이면 상기 최종 정합 결과를 실패로 판단하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.
  101. 제88항 내지 100항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2021/004839 2020-04-16 2021-04-16 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법, 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 WO2021210966A1 (ko)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
KR1020200045924A KR102334480B1 (ko) 2020-04-16 2020-04-16 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
KR10-2020-0045924 2020-04-16
KR1020200104934A KR102334485B1 (ko) 2020-08-20 2020-08-20 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR10-2020-0104934 2020-08-20
KR10-2020-0117978 2020-09-14
KR1020200117978A KR102331038B1 (ko) 2020-09-14 2020-09-14 서로 다른 영역이 촬영된 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR1020200172656A KR102331034B1 (ko) 2020-12-10 2020-12-10 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR10-2020-0172656 2020-12-10
KR10-2020-0174713 2020-12-14
KR1020200174713A KR102334519B1 (ko) 2020-12-14 2020-12-14 치과용 3차원 스캔 데이터의 간소화된 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR10-2020-0177353 2020-12-17
KR1020200177353A KR102302587B1 (ko) 2020-12-17 2020-12-17 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Publications (1)

Publication Number Publication Date
WO2021210966A1 true WO2021210966A1 (ko) 2021-10-21

Family

ID=78084716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004839 WO2021210966A1 (ko) 2020-04-16 2021-04-16 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법, 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Country Status (1)

Country Link
WO (1) WO2021210966A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114714626A (zh) * 2022-04-02 2022-07-08 北京大学口腔医学院 一种义齿3d打印支架的设计方法、装置及可存储介质
EP4207065A1 (en) * 2021-12-29 2023-07-05 Imagoworks Inc. Automated method for tooth segmentation of three dimensional scan data and computer readable medium having program for performing the method
EP4239577A1 (en) * 2022-03-04 2023-09-06 Imagoworks Inc. Automated method for aligning three dimensional dental library model to three dimensional oral scan data and computer readable medium having program for performing the method
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613159B1 (ko) * 2014-12-31 2016-04-20 오스템임플란트 주식회사 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
US20170330319A1 (en) * 2016-05-12 2017-11-16 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
KR102044237B1 (ko) * 2018-10-23 2019-11-13 연세대학교 산학협력단 2차원 음영 영상 기반 기계학습을 이용한 자동 3차원 랜드마크 검출 방법 및 장치
KR20190137388A (ko) * 2018-06-01 2019-12-11 오스템임플란트 주식회사 교정 치료 플래닝을 위한 세팔로 영상 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20200023703A (ko) * 2018-08-21 2020-03-06 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613159B1 (ko) * 2014-12-31 2016-04-20 오스템임플란트 주식회사 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
US20170330319A1 (en) * 2016-05-12 2017-11-16 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
KR20190137388A (ko) * 2018-06-01 2019-12-11 오스템임플란트 주식회사 교정 치료 플래닝을 위한 세팔로 영상 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20200023703A (ko) * 2018-08-21 2020-03-06 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
KR102044237B1 (ko) * 2018-10-23 2019-11-13 연세대학교 산학협력단 2차원 음영 영상 기반 기계학습을 이용한 자동 3차원 랜드마크 검출 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
EP4207065A1 (en) * 2021-12-29 2023-07-05 Imagoworks Inc. Automated method for tooth segmentation of three dimensional scan data and computer readable medium having program for performing the method
EP4239577A1 (en) * 2022-03-04 2023-09-06 Imagoworks Inc. Automated method for aligning three dimensional dental library model to three dimensional oral scan data and computer readable medium having program for performing the method
CN114714626A (zh) * 2022-04-02 2022-07-08 北京大学口腔医学院 一种义齿3d打印支架的设计方法、装置及可存储介质
CN114714626B (zh) * 2022-04-02 2023-08-15 北京大学口腔医学院 一种义齿3d打印支架的设计方法、装置及可存储介质

Similar Documents

Publication Publication Date Title
WO2021210966A1 (ko) 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법, 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2021221343A1 (ko) 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
WO2020242260A1 (ko) 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
WO2017188706A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2015102391A1 (ko) 뎁스 영상 분석을 통한 사용자의 골프 스윙 자세 분석을 위한 영상 생성 방법과 이를 이용한 골프 스윙 자세 분석 방법 및 장치
WO2018074904A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2015016481A1 (ko) 기도와 폐엽을 추출하는 방법 및 그 장치
WO2021242050A1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2020106010A1 (ko) 이미지 분석 시스템 및 분석 방법
ATE232621T1 (de) Verfahren und system zur erkennung von handgesten
WO2019074339A1 (ko) 신호 변환 시스템 및 신호 변환 방법
WO2022240030A1 (ko) 반려동물 생애 관리 시스템 및 그 방법
WO2022039316A1 (ko) 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2021215589A1 (ko) Ocr 기반 문서 분석 시스템 및 방법
JP3780017B2 (ja) 時系列画像解析装置及びその解析方法
WO2022240029A1 (ko) 반려동물 식별 시스템 및 그 방법
WO2015199354A1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
WO2021145713A1 (ko) 가상 모델 생성 장치 및 방법
WO2015080498A1 (en) Method for detecting human body through depth information analysis and apparatus for analyzing depth information for user body detection
WO2021091282A1 (ko) 3차원 진단 시스템
WO2020263042A1 (ko) 복수의 광원을 이용한 컴퓨터 단층 촬영 장치 및 컴퓨터 단층 촬영 방법
WO2023153606A1 (ko) 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 복원 장치 및 방법
WO2019164274A1 (ko) 학습데이터 생성 방법 및 장치
WO2023177150A1 (ko) 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템
WO2017142299A1 (ko) 공간분할 세그먼트에 대한 동적이동 추적 기반 수기서명 인증 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21787990

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21787990

Country of ref document: EP

Kind code of ref document: A1