WO2023163263A1 - 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
WO2023163263A1
WO2023163263A1 PCT/KR2022/003132 KR2022003132W WO2023163263A1 WO 2023163263 A1 WO2023163263 A1 WO 2023163263A1 KR 2022003132 W KR2022003132 W KR 2022003132W WO 2023163263 A1 WO2023163263 A1 WO 2023163263A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
image data
volume
data
feature points
Prior art date
Application number
PCT/KR2022/003132
Other languages
English (en)
French (fr)
Inventor
김한나
신봉주
최진혁
김영준
Original Assignee
이마고웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이마고웍스 주식회사 filed Critical 이마고웍스 주식회사
Priority to EP23158273.5A priority Critical patent/EP4235572A1/en
Publication of WO2023163263A1 publication Critical patent/WO2023163263A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a method for automatically matching 3D face scan data and 3D volumetric medical image data using deep learning, and a computer-readable recording medium on which a program for executing the same is recorded on a computer, and more particularly, to a user Automatic matching method of 3D face scan data and 3D volumetric medical image data using deep learning that does not require input or data structure conversion, and a computer-readable recording medium on which a program for executing it is recorded will be.
  • 3D volume medical image data refers to the accumulated data of hundreds of 2D slide images such as Computed Tomography (CT), Cone-beam CT (CBCT), and Magnetic Resonance Imaging (MRI). Since various tissues and structures of the body can be acquired as 3D image data, it is widely used for diagnosis, treatment, and surgical planning in most medical fields including internal medicine and surgery. In dentistry, oral and maxillofacial surgery, plastic surgery, etc., 3D volume medical image data is acquired targeting the head and neck region and used to diagnose and treat the patient's maxillofacial and oral cavity.
  • CT Computed Tomography
  • CBCT Cone-beam CT
  • MRI Magnetic Resonance Imaging
  • the head and neck region is an important body region in which aesthetics as well as functional aspects such as breathing, mastication, and pronunciation are greatly emphasized. Therefore, both functional considerations and aesthetic preferences of patients are reflected in maxillofacial and oral procedures and surgical plans.
  • 3D volume medical image data has only intensity information of a single channel and does not include information about colors of various tissues and structures of the body.
  • 3D face scan mesh model data is being used together.
  • This data may include texture, which is color information, along with 3D shape information of the facial appearance, is inexpensive to acquire, and is data that is not exposed to radiation at all during the acquisition process. Therefore, it is easy to check appearance changes before/after surgery and procedures or in various facial expressions.
  • Another method is to perform matching based on matching matching points by manually inputting matching points from the two data, and matching based on markers extracted after acquiring each data by attaching markers for matching to the patient.
  • it is difficult to select an accurate correspondence point and there is a limit in that inconsistent results are derived according to users or repetitive tasks of the same user.
  • markers when markers are used, data must be obtained while a plurality of markers are attached, which causes inconvenience to the patient, and a separate marker extraction or marker location input process must be performed through user input.
  • An object to be achieved by the present invention is to quickly and automatically match 3D face scan data and 3D volume medical image data itself without user input, separate 3D model extraction process, or data structure conversion such as voxelization process. To provide an automatic matching method of 3D face scan data and 3D volumetric medical image data using deep learning.
  • Another object of the present invention is to provide a computer-readable recording medium on which a program for executing a method of automatically matching 3D face scan data and 3D volumetric medical image data using deep learning in a computer is recorded. .
  • a method for automatically matching 3D face scan data and 3D volume medical image data using deep learning is obtained from 3D face scan data using a convolutional neural network. extracting scan feature points, extracting volume feature points from 3D volumetric medical image data using the convolutional neural network, and using the scan feature points and volume feature points to obtain the 3D face scan data and the 3D and initial matching the volumetric medical image data.
  • the first reference plane disposed outside the 3D face scan data and the first 2 representing the distance to the face surface in the 3D face scan data may include generating a dimensional depth image.
  • the input of the convolutional neural network may be the first 2-dimensional depth image.
  • An output of the convolutional neural network may be a first 2-dimensional coordinate corresponding to the scan feature point.
  • the first 2D coordinates are inverted into first 3D coordinates based on the conversion method used in the step of generating the first 2D depth image.
  • a projection step may be further included.
  • the input of the convolutional neural network may be the first 2-dimensional depth image.
  • An output of the convolutional neural network may be a first 3D coordinate corresponding to the scan feature point.
  • the extracting of the volume feature points may include a second reference plane disposed outside the 3D volumetric medical image data and a distance indicating a distance between a face surface in the 3D volumetric medical image data.
  • 2 may include generating a 2D depth image.
  • a change in brightness value occurs first while proceeding from a starting point of the 3D volumetric medical image data to an inside of the 3D volumetric medical image data.
  • a position of a point greater than the threshold value may be generated as a depth value of the second 2D depth image.
  • a change in brightness value occurs first while proceeding from a starting point of the 3D volumetric medical image data to an inside of the 3D volumetric medical image data.
  • a position of a point that is greater than the threshold value and the brightness value is within a predetermined range of skin brightness values may be generated as a depth value of the second 2D depth image.
  • the input of the convolutional neural network may be the second 2-dimensional depth image.
  • An output of the convolutional neural network may be a second 2-dimensional coordinate corresponding to the volume feature point.
  • the extracting of the volume feature points converts the second 2-dimensional coordinates into second 3-dimensional coordinates based on the conversion method used in the generating of the second 2-dimensional depth image.
  • a projection step may be further included.
  • the input of the convolutional neural network may be the second 2-dimensional depth image.
  • An output of the convolutional neural network may be a second 3D coordinate corresponding to the volume feature point.
  • extracting the scan feature points may include generating a first 2D captured image by capturing the 3D face scan data.
  • the input of the convolutional neural network may be the first 2D captured image.
  • An output of the convolutional neural network may be a first 3D coordinate corresponding to the scan feature point.
  • the extracting of the volumetric feature points may include generating a second 2D captured image by capturing the 3D volumetric medical image data.
  • the input of the convolutional neural network may be the second 2D captured image.
  • An output of the convolutional neural network may be a second 3D coordinate corresponding to the volume feature point.
  • the scan feature points extracted in the step of extracting the scan feature points may be three or more.
  • the volume feature points extracted in the step of extracting the volume feature points may be three or more.
  • the three or more scan feature points and the three or more volume feature points may correspond to each other.
  • the scan feature points extracted in the step of extracting the scan feature points and the volume feature points extracted in the step of extracting the volume feature points may include soft tissue nasion, right exocanthion, and left exocanthion, respectively.
  • the scan feature points extracted in the step of extracting the scan feature points and the scan feature points extracted in the step of extracting the volume feature points are Soft tissue gabella, Soft tissue nasion, Supratip, Pronasale, Columella, Subnasale, Soft tissue A-point, Upper lip anterior point, Stomiom Superious, Lower point of gap between maxillary central incisors, Upper point of gap between mandibular central incisors, Stomiom Inferious, Lower lip anterior point, Soft tissue B-point, Soft tissue pogonion, Soft tissue gnathion, Soft tissue menton, Trichion, Right Orbitale superius, Left Orbitale superius, Right Palpebrale superius, Right Palpebrale inferious, Right Exocanthion, Right Endocanthion, Left Palpebrale superius, Left Palpebrale inferious, Left Endocanthion, Left Exocanthion, Left Exocanthion, Left Exocan
  • the 3D face scan data may be mesh data including 3D vertices and triangles or rectangles generated by connecting the vertices.
  • the 3D volume medical image data may be a medical image in which a patient's anatomy is obtained as 3D volume image data.
  • the 3D volume medical image data may be one of a Computed Tomography (CT) image, a Cone-beam CT (CBCT) image, a Magnetic Resonance Imaging (MRI) image, and a Positron Emission Tomography (PET) image.
  • CT Computed Tomography
  • CBCT Cone-beam CT
  • MRI Magnetic Resonance Imaging
  • PET Positron Emission Tomography
  • the automatic matching method of 3D face scan data and 3D volumetric medical image data using deep learning includes the steps of initial matching the 3D face scan data and the 3D volumetric medical image data.
  • a detailed matching step of adjusting a distance between a plurality of sampling points of the 3D face scan data and a plurality of sampling points of the 3D volumetric medical image data to be smaller than a threshold distance may be further included.
  • a method for automatically matching 3D face scan data and 3D volume medical image data using deep learning is a 3D face scan using a first convolutional neural network. Extracting scan feature points from data, extracting volume feature points from 3D volumetric medical image data using a second convolutional neural network different from the first convolutional neural network, and the scan feature points and the volume feature points and initial matching the 3D face scan data and the 3D volume medical image data using
  • a method for automatically matching 3D face scan data and 3D volume medical image data using deep learning is a first 3D face scan using a convolutional neural network. Extracting first scan feature points from data, extracting second scan feature points from second 3-dimensional face scan data using the convolutional neural network, 3-dimensional volume medical care using the convolutional neural network Extracting volume feature points from image data, the first 3D face scan data, the second 3D face scan data, and the 3D volume using the first scan feature point, the second scan feature point, and the volume feature point Initial matching of medical image data and calculating surface distances of the first 3D face scan data and the second 3D face scan data.
  • the first 3-dimensional face scan data and the second 3-dimensional face scan data are at least one of a photographing device, a photographing time, a facial expression, a shape of a specific part of the face, and a coordinate axis. can be different
  • a program for executing the automatic matching method of 3D facial scan data and 3D volumetric medical image data using deep learning on a computer may be recorded on a computer-readable recording medium.
  • 3D facial scan data acquired at various times and with various facial expressions to 3D volume medical image data, it can be used for maxillofacial analysis of patients and analysis before/after surgery and surgery.
  • the network structure can be simplified and the computing load for extracting the feature points can be reduced. can make it
  • 1 is a flowchart illustrating an automatic matching method of 3D face scan data and 3D volumetric medical image data using deep learning according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating an example of detecting a scan feature point from the 3D face scan data of FIG. 1 and detecting a volume feature point from the 3D volumetric medical image data.
  • FIG. 3 is a conceptual diagram illustrating an example of detecting a scan feature point from the 3D face scan data of FIG. 1 and detecting a volume feature point from the 3D volumetric medical image data.
  • FIG. 4 is a conceptual diagram illustrating a method of generating a first 2D depth image from 3D face scan data.
  • 5 and 6 are conceptual views illustrating a method of generating a second 2D depth image from 3D volume medical image data.
  • FIG. 7 and 8 are diagrams illustrating examples of scan feature points and volume feature points.
  • FIG. 9 is a conceptual diagram illustrating an initial matching step of FIG. 1 .
  • FIG. 10 is a conceptual diagram illustrating a detailed matching step of FIG. 1 .
  • FIG. 11 is a diagram showing a detailed matching result of the detailed matching step of FIG. 1 .
  • FIG. 12 is a conceptual diagram illustrating an example of detecting a scan feature point from the 3D face scan data of FIG. 1 and detecting a volume feature point from the 3D volumetric medical image data.
  • FIG. 13 is a conceptual diagram illustrating an example of detecting a scan feature point from the 3D face scan data of FIG. 1 and detecting a volume feature point from the 3D volumetric medical image data.
  • FIG. 14 is a diagram illustrating a first captured image generated by capturing 3D face scan data.
  • 15 is a diagram illustrating a second captured image generated by capturing 3D volume medical image data.
  • 16 is a diagram illustrating an example of automatically matching first 3D face scan data, second 3D face scan data, and 3D volume medical image data.
  • 17 is a diagram illustrating an example of automatically matching first 3D face scan data, second 3D face scan data, and 3D volume medical image data.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
  • functions or operations specified in a specific block may occur in a different order from the order specified in the flowchart. For example, two successive blocks may actually be performed substantially concurrently, or the blocks may be performed backwards depending on the function or operation involved.
  • 1 is a flowchart illustrating an automatic matching method of 3D face scan data and 3D volumetric medical image data using deep learning according to an embodiment of the present invention.
  • the automatic matching method of 3D face scan data and 3D volume medical image data includes the steps of extracting scan feature points from 3D face scan data using a convolutional neural network (S100), the convolutional neural network. Extracting volume feature points from 3D volumetric medical image data using a sional neural network (S200), and initial matching of the 3D face scan data and the 3D volumetric medical image data using the scan feature points and the volumetric feature points It includes the step (S300) of doing.
  • the automatic matching method includes a plurality of sampling points of the 3D face scan data and a plurality of sampling points of the 3D volume medical image data after initial matching of the 3D face scan data and the 3D volume medical image data (S300).
  • a detailed matching step ( S400 ) of adjusting the distance between sampling points to be smaller than the threshold distance may be further included.
  • the 3D face scan data may be mesh data including 3D vertices and triangles or rectangles generated by connecting the vertices.
  • the 3D face scan data may be image data captured through a 3D scanner.
  • the 3D face scan data may be a 3D face model generated by reconstructing a 2D face photo and a 3D face template model matched using feature points of the 2D face photo.
  • the file extension of the 3D face scan data is not limited, and may be, for example, one of ply, obj, and stl.
  • the 3D volume medical image data may be a medical image in which an anatomical structure of a patient is obtained as 3D volume image data.
  • the 3D volume medical image data may be one of a Computed Tomography (CT) image, a Cone-beam CT (CBCT) image, a Magnetic Resonance Imaging (MRI) image, and a Positron Emission Tomography (PET) image.
  • CT Computed Tomography
  • CBCT Cone-beam CT
  • MRI Magnetic Resonance Imaging
  • PET Positron Emission Tomography
  • CT Computed Tomography
  • the number of scanned feature points extracted in the step of extracting the scan feature points may be three or more.
  • the volume feature points extracted in the step of extracting the volume feature points may be three or more.
  • the three or more scan feature points and the three or more volume feature points may correspond to each other.
  • the method of automatically matching 3D face scan data and 3D volume medical image data according to the present embodiment may be performed by a computing device.
  • FIG. 2 is a conceptual diagram illustrating an example of detecting a scan feature point from the 3D face scan data of FIG. 1 and detecting a volume feature point from the 3D volumetric medical image data.
  • FIG. 3 is a conceptual diagram illustrating an example of detecting a scan feature point from the 3D face scan data of FIG. 1 and detecting a volume feature point from the 3D volumetric medical image data.
  • 4 is a conceptual diagram illustrating a method of generating a first 2D depth image from 3D face scan data.
  • 5 and 6 are conceptual views illustrating a method of generating a second 2D depth image from 3D volume medical image data.
  • the step of extracting the scan feature points (S100) represents the distance between a first reference plane disposed outside the 3D face scan data and the face surface within the 3D face scan data.
  • a first 2D depth image may be generated. The first 2D depth image is shown in the upper left of FIG. 2 .
  • FIG. 2 illustrates a case where the input of the convolutional neural network is a 2D image and the output is 2D coordinates.
  • the input of the convolutional neural network may be the first 2D depth image.
  • An output of the convolutional neural network may be a first 2-dimensional coordinate corresponding to the scan feature point.
  • the step of extracting the scan feature points (S100) is the step of back-projecting the first 2-dimensional coordinates to first 3-dimensional coordinates based on the conversion method used in the step of generating the first 2-dimensional depth image. may further include.
  • the first 3D coordinates refer to feature points of the 3D face scan data.
  • the second reference plane disposed outside the 3D volumetric medical image data and the facial surface within the 3D volumetric medical image data represent a distance between the second two-dimensional Depth images can be created.
  • the second 2D depth image is shown in the lower left of FIG. 2 .
  • the input of the convolutional neural network may be the second 2-dimensional depth image.
  • An output of the convolutional neural network may be a second 2-dimensional coordinate corresponding to the volume feature point.
  • the extracting of the volume feature points (S200) is a step of back-projecting the second 2-dimensional coordinates into second 3-dimensional coordinates based on the transformation method used in the generating of the second 2-dimensional depth image. may further include.
  • the second 3D coordinates refer to feature points of the 3D volume medical image data.
  • the scan feature points may be obtained by back-projecting the first 2-dimensional coordinates of FIG. 2 onto 3-dimensional face scan data, and by back-projecting the second 2-dimensional coordinates of FIG. Volume feature points can be obtained.
  • 3 illustrates a case where the input of the convolutional neural network is a 2D image and the output is 3D coordinates.
  • the input of the convolutional neural network may be the first 2D depth image of the 3D face scan data.
  • An output of the convolutional neural network may be a first 3D coordinate corresponding to the scan feature point.
  • an input of the convolutional neural network may be the second 2D depth image of the 3D volume medical image data.
  • An output of the convolutional neural network may be a second 3D coordinate corresponding to the volume feature point.
  • the convolutional neural network for extracting the scan feature points may be the same as the convolutional neural network for detecting the volume feature points. That is, both the first 2D depth image of the 3D face scan data and the second 2D depth image of the 3D volume medical image data are input to the convolutional neural network, and the scan feature points Both the corresponding first 2-dimensional coordinates or the first 3-dimensional coordinates and the second 2-dimensional coordinates or the second 3-dimensional coordinates corresponding to the volume feature point may be output.
  • the convolutional neural network for extracting the scan feature points may be the same as the convolutional neural network for detecting the volume feature points. That is, the first 2D depth image of the 3D face scan data is input to the first convolutional neural network, and the first 2D coordinates or the first 3D coordinates corresponding to the scan feature points are output. can do.
  • the second 2D depth image of the 3D volumetric medical image data is input to a second convolutional neural network different from the first convolutional neural network, and the second 2D coordinates corresponding to the volumetric feature points are input.
  • the second 3-dimensional coordinates may be output.
  • a depth image may be generated by expressing a minimum distance from the surface of the 3D face scan data to a virtual plane (first reference plane) existing at a certain distance from the face scan data as a brightness value (Intensity).
  • a brightness value Intensity
  • a lighter color indicates a shorter distance and a darker color indicates a longer distance.
  • the brightness of the depth image may be inverted and expressed in the opposite way.
  • FIG. 5 and 6 show a process of obtaining a skin region from the 3D volume medical image data and generating a depth image using the skin region.
  • Figure 5 shows the process of extracting the position of the skin surface where the brightness value (Intensity) varies greatly by moving the virtual ray from the beginning to the end of the volume data and intersecting the air and the skin area into three-dimensional coordinates.
  • the first location where the brightness value changes greatly, and the location where the Hounsfield Unit (HU) value is between -100 and 300, which corresponds to skin and fat, is considered as the skin area.
  • HU Hounsfield Unit
  • a change in brightness value is first greater than a threshold value while proceeding from a starting point of the 3D volumetric medical image data to an inside of the 3D volumetric medical image data.
  • the location of the large point may be generated as a depth value of the second 2D depth image.
  • a change in brightness value is first greater than a threshold value while proceeding from a starting point of the 3D volumetric medical image data to an inside of the 3D volumetric medical image data.
  • a position of a point where the skin brightness value is large and the brightness value is within a predetermined range of skin brightness values may be generated as a depth value of the second 2D depth image.
  • the predetermined skin brightness value range may be a Hounsfield Unit (HU) value between -100 and 300.
  • a depth image may be generated by expressing the minimum distance from the extracted three-dimensional coordinates of the skin surface to a virtual plane (second reference plane) existing at a certain distance outside the volume data as a brightness value (Intensity). .
  • a brightness value Intensity
  • FIG. 6 a lighter color indicates a shorter distance and a darker color indicates a longer distance. Unlike this, the brightness of the depth image may be inverted and expressed in the opposite way.
  • FIG. 7 and 8 are diagrams illustrating examples of scan feature points and volume feature points.
  • the scan feature points extracted in the step of extracting the scan feature points (S100) and the scan feature points extracted in the step of extracting the volume feature points (S200) are soft tissue gabella (1), respectively. , Soft tissue nasion(2), Supratip(3), Pronasale(4), Columella(5), Subnasale(6), Soft tissue A-point(7), Upper lip anterior point(8), Stomiom Superious(9) , Lower point of gap between maxillary central incisors(10), Upper point of gap between mandibular central incisors(11), Stomiom Inferious(12), Lower lip anterior point(13), Soft tissue B-point(14), Soft tissue pogonion(15), Soft tissue gnathion(16), Soft tissue menton(17), Trichion(18), Right Orbitale superius(19), Left Orbitale superius(20), Right Palpebrale superius(21), Right Palpebrale inferious(22) ), Right Exocan
  • the scan feature points extracted in the step of extracting the scan feature points (S100) and the scan feature points extracted in the step of extracting the volume feature points (S200) may include skin surface feature points and anterior surface feature points. .
  • FIG. 9 is a conceptual diagram illustrating the initial matching step (S300) of FIG. 1 .
  • FIG. 10 is a conceptual diagram illustrating the detailed matching step (S400) of FIG. 1 .
  • FIG. 11 is a diagram showing a result of detailed matching in the detailed matching step (S400) of FIG. 1 .
  • a transformation matrix M may be calculated through landmark transform using at least three pairs of corresponding feature points detected in steps S100 and S200, and An error may be calculated by calculating a distance difference between feature points.
  • the transformation matrix M is a transformation that minimizes a distance difference between corresponding feature points, and can move scan feature points of the 3D face scan data to the domain of the 3D volume medical image data. 9 shows an initial matching result using corresponding feature points.
  • the scan feature point extracted in the step of extracting the scan feature point (S100) and the volume feature point extracted in the step of extracting the volume feature point (S200) include soft tissue nasion, right exocanthion, and left exocanthion, respectively. can do.
  • FIG. 10 illustrates a case in which the 3D face scan data and the 3D volume medical image data are matched using the soft tissue nasion, right exocanthion, and left exocanthion.
  • the detailed matching result matches the 3D volume medical image data and the 3D face scan data more than the initial matching result.
  • FIG. 11 is a visualization of detailed matching results as a multi-view slide image of 3D volume medical image data.
  • the outer solid line in FIG. 11 is a solid line corresponding to the skin surface of the 3D face scan data, and in FIG. 11, the outer solid line representing the skin surface of the 3D face scan data precisely matches the 3D volume medical image data. can confirm what has happened.
  • the network structure can be simplified and the computing load for extracting the feature points can be reduced. can make it
  • FIG. 12 is a conceptual diagram illustrating an example of detecting a scan feature point from the 3D face scan data of FIG. 1 and detecting a volume feature point from the 3D volumetric medical image data.
  • FIG. 13 is a conceptual diagram illustrating an example of detecting a scan feature point from the 3D face scan data of FIG. 1 and detecting a volume feature point from the 3D volumetric medical image data.
  • 14 is a diagram illustrating a first captured image generated by capturing 3D face scan data.
  • 15 is a diagram illustrating a second captured image generated by capturing 3D volume medical image data.
  • the automatic matching method according to the present embodiment is substantially the same as the automatic matching method of FIGS. 1 to 11 except for the input of the convolutional neural network, the same reference numerals are used for the same or similar components, and redundant explanation is omitted.
  • the automatic matching method of 3D face scan data and 3D volume medical image data includes the steps of extracting scan feature points from 3D face scan data using a convolutional neural network ( S100), extracting volume feature points from 3D volumetric medical image data using the convolutional neural network (S200), and using the scan feature points and volume feature points to extract the 3D face scan data and the 3D volumetric feature points.
  • Initial matching of medical image data is included (S300).
  • the automatic matching method includes a plurality of sampling points of the 3D face scan data and a plurality of sampling points of the 3D volume medical image data after initial matching of the 3D face scan data and the 3D volume medical image data (S300).
  • a detailed matching step ( S400 ) of adjusting the distance between sampling points to be smaller than the threshold distance may be further included.
  • a first 2D captured image may be generated by capturing the 3D face scan data.
  • the first 2D captured image is shown in the upper left corner of FIG. 12 and FIG. 14 .
  • the input of the convolutional neural network is a 2D image and the output is 2D coordinates.
  • the input of the convolutional neural network may be the first 2D captured image.
  • An output of the convolutional neural network may be a first 2-dimensional coordinate corresponding to the scan feature point.
  • the step of extracting the scan feature points (S100) may further include back-projecting the first 2-dimensional coordinates onto the first 3-dimensional coordinates.
  • the first 3D coordinates refer to feature points of the 3D face scan data.
  • a second 2D captured image may be generated by capturing the 3D volumetric medical image data.
  • the second 2D captured image is shown in the lower left of FIG. 12 and FIG. 15 .
  • the input of the convolutional neural network may be the second 2D captured image.
  • An output of the convolutional neural network may be a second 2-dimensional coordinate corresponding to the volume feature point.
  • the step of extracting the volume feature points (S200) may further include back-projecting the second 2-dimensional coordinates onto second 3-dimensional coordinates.
  • the second 3D coordinates refer to feature points of the 3D face scan data.
  • 13 illustrates a case where the input of the convolutional neural network is a 2D image and the output is 3D coordinates.
  • the input of the convolutional neural network may be the first 2D captured image of the 3D face scan data.
  • An output of the convolutional neural network may be a first 3D coordinate corresponding to the scan feature point.
  • the input of the convolutional neural network may be the second 2D captured image of the 3D volume medical image data.
  • An output of the convolutional neural network may be a second 3D coordinate corresponding to the volume feature point.
  • the network structure can be simplified and the computing load for extracting the feature points can be reduced. can make it
  • 16 is a diagram illustrating an example of automatically matching first 3D face scan data S1, second 3D face scan data S2, and 3D volume medical image data V1.
  • 17 is a diagram illustrating an example of automatically matching first 3D face scan data S1, second 3D face scan data S2, and 3D volume medical image data V1.
  • the automatic registration method according to the present embodiment is substantially the same as the automatic registration method of FIGS. 1 to 11 except that two 3D face scan data are matched to one 3D volume medical image data.
  • the same reference numbers are used for components, and overlapping descriptions are omitted.
  • a method for automatically matching 3D face scan data and 3D volume medical image data is to obtain a first scan feature point from first 3D face scan data S1 using a convolutional neural network. Extracting a second scan feature point from the second 3D face scan data S2 using the convolutional neural network; 3D volume medical image data V1 using the convolutional neural network; ), extracting volume feature points from the first scan feature point, the second scan feature point, and the volume feature point to generate the first 3D face scan data S1 and the second 3D face scan data S2 and initial matching of the 3D volume medical image data V1 and calculating surface distances of the first 3D face scan data S1 and the second 3D face scan data S2. .
  • the first scan feature point, the second scan feature point, and the volume feature point may be extracted using the same convolutional neural network.
  • the first scan feature point and the second scan feature point may be extracted using a first convolutional neural network
  • the volume feature point may be extracted using a second convolutional neural network
  • the first 3D face scan data S1 and the second 3D face scan data S2 are at least one of a photographing device, a photographing time, a facial expression, a shape of a specific part of the face, and a coordinate axis. may be different.
  • FIG. 16 illustrates a case in which two 3D face scan data S1 and S2 of the same patient having different imaging devices, facial expressions, and coordinate axes are matched to one 3D volume medical image data V1.
  • FIG. 17 illustrates a case in which two 3D facial scan data S1 and S2 of the same patient with the same imaging device but different facial expressions and coordinate axes are matched to one 3D volume medical image data V1.
  • FIG. 17 illustrates a diagram in which a surface distance difference is analyzed by calculating a surface distance between the first 3D face scan data S1 and the second 3D face scan data S2.
  • the coordinate axes coincide with each other, so that the first 3D face scan data S1 and S2 have different coordinate axes.
  • the face scan data S1 and the second 3D face scan data S2 may be compared and analyzed.
  • FIG. 16 is an example of comparing and analyzing the matched data from various angles by matching 3D facial scan data of the same patient acquired from different devices, at different times, and with different facial expressions to one 3D volume medical image data.
  • shows 17 shows an example of analyzing a facial change region by matching 3D facial scan data of the same patient obtained with different facial expressions to one 3D volume medical image data.
  • 3D volume medical image data is expensive to acquire, and in the case of CT or CBCT, it is difficult to acquire multiple times due to the risk of radiation exposure. Therefore, it is difficult to compare before/after surgery and surgery or to use it for surgery and surgery simulation in various facial expression states.
  • 3D face scan data acquired at various times and with various facial expressions to 3D volume medical image data, it can be used for maxillofacial analysis of a patient and analysis before/after surgery and surgery.
  • the network structure can be simplified and the computing load for extracting the feature points can be reduced. can make it
  • a computer-readable recording medium having a program recorded thereon for executing the automatic matching method of 3D face scan data and 3D volumetric medical image data according to the above embodiments in a computer. It can be.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of data used in the above method may be recorded on a computer readable medium through various means.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs, RAMs, flash memories, and the like.
  • Hardware devices specially configured to store and execute program instructions are included. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention.
  • the aforementioned method of automatically matching 3D face scan data and 3D volume medical image data may be implemented in the form of a computer program or application stored in a recording medium and executed by a computer.
  • the present invention relates to a method for automatically matching 3D face scan data and 3D volumetric medical image data using deep learning, and a computer-readable recording medium on which a program for executing the same is recorded on a computer. It can reduce overtime and effort and improve accuracy.
  • 3D facial scan data acquired at various times and with various facial expressions to 3D volume medical image data it can be used for maxillofacial analysis of patients and analysis before/after surgery and surgery.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 추출하는 단계, 상기 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계 및 상기 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계를 포함한다.

Description

딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
본 발명은 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 사용자의 입력이나 데이터 구조의 변환이 필요치 않은 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
3차원 볼륨 의료 영상 데이터는 Computed Tomography (CT), Cone-beam CT (CBCT), Magnetic Resonance Imaging (MRI) 등 수백 장에 달하는 2차원 슬라이드 영상이 축적된 데이터를 말한다. 신체의 다양한 조직 및 구조를 3차원 영상 데이터로 획득할 수 있기 때문에, 내과와 외과를 아우르는 대부분의 의료영역에서 진단, 치료 및 수술 계획을 위해 폭넓게 활용되고 있다. 치과, 구강악안면외과, 성형외과 등에서는 두경부 영역을 타겟으로 3차원 볼륨 의료 영상 데이터를 획득하여, 환자의 악안면 및 구강을 진단 및 치료하기 위해 활용하고 있다.
두경부 영역은 호흡, 저작, 발음 등과 같은 기능적인 측면 뿐만 아니라, 심미성 또한 크게 강조되는 중요한 신체 영역이다. 때문에 악안면 및 구강의 시술 및 수술계획에는 기능적인 고려사항과 환자의 심미적 기호가 함께 반영된다. 그러나 3차원 볼륨 의료 영상 데이터는 단일 채널(Single Channel)의 밝기 값(Intensity) 정보만 가지고 있어, 신체의 다양한 조직과 구조가 지닌 색상에 대한 정보를 포함하지 않고 있다.
또한 특정 영역의 형태를 3차원적으로 분석하기 위해서는 해당 영역을 분할(Segmentation) 하거나 분할된 데이터를 3차원 모델로 재구성(Reconstruction) 하는 과정이 요구되나, 이들은 많은 시간이 요구되는 작업이다. 또한 3차원 볼륨 의료 영상 데이터는 획득 비용이 비싸고, CT나 CBCT의 경우 방사선 피폭의 위험이 있어 여러 차례 획득되기 어렵다. 때문에 수술 및 시술 전/후를 비교하거나 다양한 얼굴 표정 상태에서의 시술 및 수술 시뮬레이션에 이용하기에는 어려움이 따른다.
3차원 볼륨 의료 영상 데이터가 지닌 이와 같은 한계를 보완하기 위해 3차원 얼굴 스캔 메쉬 모델 데이터가 함께 활용되고 있다. 이는 얼굴 외형의 3차원 형태 정보와 더불어 색상 정보인 텍스쳐(Texture)를 포함할 수 있으며, 획득 비용이 저렴하고, 획득과정에서 방사능 노출이 전혀 없는 데이터이다. 때문에 수술 및 시술 전/후 또는 다양한 표정에서의 외양 변화를 확인하기에 용이하다.
또한 이를 3차원 볼륨 의료 영상 데이터와 함께 이용할 시, 두경부 내부의 해부학적 정보와 더불어 심미적 형태와 색상을 고려하여 시술 및 수술계획을 수립하는데 도움이 된다. 하지만 3차원 볼륨 의료 영상 데이터와 3차원 얼굴 스캔 메쉬 모델 데이터는 서로 다른 3차원 공간 좌표계를 가지고 있기 때문에, 이 두 데이터를 정렬 및 중첩시키는 정합 과정이 선행되어야 한다. 그러나 3차원 공간 상에서 수동 작업은 숙련도가 요구되며, 숙련자에게도 시간이 많이 소요되는 과정이기 때문에, 이를 자동화하는 방법이 필요하다.
종래에는 이를 위해 3차원 얼굴 스캔 메쉬 모델 데이터와 3차원 볼륨 의료 영상 데이터를 정합하는 방법들이 제안되었다. 3차원 얼굴 스캔 메쉬 모델 데이터와 3차원 볼륨 의료 영상 데이터는 서로 다른 데이터 구조를 가지므로, 종래의 방법들에서는 서로 다른 데이터 구조를 하나로 통일하는 과정이 선행되었다. 이는 크게 다음과 같은 두가지 방법으로 나뉜다: 1. 3차원 볼륨 의료 영상 데이터에서 피부 영역을 분할(Segmentation) 및 3차원 재구성(Reconstruction) 하여 3차원 메쉬 모델 데이터로 통일시킨 후 3차원 메쉬 기반의 정합을 수행하는 방법; 2. 3차원 얼굴 스캔 메쉬 데이터를 3차원 볼륨 의료 영상 데이터로 복셀화(Voxelization) 하여 영상 기반의 정합을 수행하는 방법. 하지만 이와 같은 분할(Segmentation) 및 3차원 재구성 (Reconstruction)은 많은 시간이 소요되는 작업이다. 또한 CBCT와 같이 3차원 볼륨 의료 영상 데이터의 화질이 낮거나 치아 보철물이나 교정장치로 인한 금속 노이즈가 심한 데이터의 경우 분할(Segmentation) 자체가 어려워 해당 방법이 적용되기 어렵다. 3차원 얼굴 스캔 메쉬 데이터를 복셀화(Voxelization) 하여 정합하는 방법의 경우에는 메쉬 데이터가 지닌 형태 정보의 손실이 발생하여 정합의 정확도가 떨어지게 된다.
또 다른 방법으로는 두 데이터에서 각각 대응점을 수동으로 입력하여 정합 대응점 기반으로 정합을 수행하는 방법과 정합용 마커(Marker)를 환자에게 부착해 각 데이터를 획득한 후 추출된 마커를 기반으로 정합하는 방법이 있다. 그러나 수동 대응점을 이용한 방법의 경우 정확한 대응점 선택이 어려워 사용자에 따라, 또는 동일 사용자의 반복 작업에 따라 일관되지 못한 결과가 도출되는 한계가 있다. 또한 마커(Marker)를 이용한 경우 다수의 마커를 부착한 상태에서 데이터를 획득해야 하여 환자의 불편을 초래하며, 사용자의 입력을 통한 별도의 마커 추출 또는 마커 위치의 입력 과정을 거쳐야 한다.
본 발명이 이루고자 하는 목적은 사용자의 입력이나 별도의 3차원 모델 추출 과정 또는 복셀화 과정 같은 데이터 구조의 변환 없이, 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터 자체를 활용하여 빠르게 자동으로 정합할 수 있는, 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 추출하는 단계, 상기 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계 및 상기 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 스캔 특징점을 추출하는 단계는 상기 3차원 얼굴 스캔 데이터의 외부에 배치되는 제1 기준 평면과 상기 3차원 얼굴 스캔 데이터 내의 얼굴 표면까지의 거리를 나타내는 제1 2차원 깊이 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제1 2차원 깊이 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 2차원 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 특징점을 추출하는 단계는 상기 제1 2차원 깊이 영상을 생성하는 단계에서 사용된 변환 방법을 기초로 상기 제1 2차원 좌표를 제1 3차원 좌표로 역투영하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제1 2차원 깊이 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 3차원 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 볼륨 특징점을 추출하는 단계는 상기 3차원 볼륨 의료 영상 데이터의 외부에 배치되는 제2 기준 평면과 상기 3차원 볼륨 의료 영상 데이터 내의 얼굴 표면까지의 거리를 나타내는 제2 2차원 깊이 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 2차원 깊이 영상을 생성하는 단계는 상기 3차원 볼륨 의료 영상 데이터의 시작점으로부터 상기 3차원 볼륨 의료 영상 데이터의 내부로 진행하면서 처음으로 밝기 값의 변화가 쓰레스홀드 값보다 큰 지점의 위치를 제2 2차원 깊이 영상의 깊이 값으로 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 2차원 깊이 영상을 생성하는 단계는 상기 3차원 볼륨 의료 영상 데이터의 시작점으로부터 상기 3차원 볼륨 의료 영상 데이터의 내부로 진행하면서 처음으로 밝기 값의 변화가 쓰레스홀드 값보다 크고, 상기 밝기 값이 미리 결정된 피부 밝기 값 범위 내에 있는 지점의 위치를 제2 2차원 깊이 영상의 깊이 값으로 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제2 2차원 깊이 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 2차원 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 볼륨 특징점을 추출하는 단계는 상기 제2 2차원 깊이 영상을 생성하는 단계에서 사용된 변환 방법을 기초로 상기 제2 2차원 좌표를 제2 3차원 좌표로 역투영하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제2 2차원 깊이 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 3차원 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 특징점을 추출하는 단계는 상기 3차원 얼굴 스캔 데이터를 캡쳐하여 제1 2차원 캡쳐 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제1 2차원 캡쳐 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 3차원 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 볼륨 특징점을 추출하는 단계는 상기 3차원 볼륨 의료 영상 데이터를 캡쳐하여 제2 2차원 캡쳐 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제2 2차원 캡쳐 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 3차원 좌표일 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점은 3개 이상일 수 있다. 상기 볼륨 특징점을 추출하는 단계에서 추출되는 상기 볼륨 특징점은 3개 이상일 수 있다. 상기 3개 이상의 상기 스캔 특징점 및 상기 3개 이상의 상기 볼륨 특징점은 서로 대응될 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점 및 상기 볼륨 특징점을 추출하는 단계에서 추출되는 상기 볼륨 특징점은 각각 Soft tissue nasion, Right Exocanthion 및 Left Exocanthion을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 스캔 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점 및 상기 볼륨 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점은 각각 Soft tissue gabella, Soft tissue nasion, Supratip, Pronasale, Columella, Subnasale, Soft tissue A-point, Upper lip anterior point, Stomiom Superious, Lower point of gap between maxillary central incisors, Upper point of gap between mandibular central incisors, Stomiom Inferious, Lower lip anterior point, Soft tissue B-point, Soft tissue pogonion, Soft tissue gnathion, Soft tissue menton, Trichion, Right Orbitale superius, Left Orbitale superius, Right Palpebrale superius, Right Palpebrale inferious, Right Exocanthion, Right Endocanthion, Left Palpebrale superius, Left Palpebrale inferious, Left Endocanthion, Left Exocanthion, Right Zygion, Left Zygion, Right Cheilion, Left Cheilion, Right Tragus, Left Tragus, Right Soft tissue gonion, Left Soft tissue gonion, Right Alare, Left Alare, Right Alar curvature 및 Left Alar curvature 중 적어도 3개를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 얼굴 스캔 데이터는 3차원 점들(Vertex)과 상기 점들을 연결하여 생성된 삼각형 면(Triangle) 또는 사각형 면(Rectangle)을 포함하는 메쉬(Mesh) 데이터일 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 볼륨 의료 영상 데이터는 환자의 해부학적 구조가 3차원 볼륨 영상 데이터로 획득되는 의료 영상일 수 있다. 상기 3차원 볼륨 의료 영상 데이터는 Computed Tomography (CT) 영상, Cone-beam CT (CBCT) 영상, Magnetic Resonance Imaging (MRI) 영상 및 Positron Emission Tomography (PET) 영상 중 하나일 수 있다.
본 발명의 일 실시예에 있어서, 상기 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계 후에 상기 3차원 얼굴 스캔 데이터의 복수의 샘플링 점과 상기 3차원 볼륨 의료 영상 데이터의 복수의 샘플링 점 간의 거리가 쓰레스홀드 거리보다 작도록 조정하는 세부 정합 단계를 더 포함할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 제1 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 추출하는 단계, 상기 제1 컨볼루셔널 뉴럴 네트워크와 상이한 제2 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계 및 상기 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계를 포함한다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 컨볼루셔널 뉴럴 네트워크를 이용하여 제1 3차원 얼굴 스캔 데이터로부터 제1 스캔 특징점을 추출하는 단계, 상기 컨볼루셔널 뉴럴 네트워크를 이용하여 제2 3차원 얼굴 스캔 데이터로부터 제2 스캔 특징점을 추출하는 단계, 상기 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계, 상기 제1 스캔 특징점, 상기 제2 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 제1 3차원 얼굴 스캔 데이터, 상기 제2 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계 및 상기 제1 3차원 얼굴 스캔 데이터 및 상기 제2 3차원 얼굴 스캔 데이터의 표면 거리를 계산하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 제1 3차원 얼굴 스캔 데이터 및 상기 제2 3차원 얼굴 스캔 데이터는 촬영 기기, 촬영 시기, 얼굴 표정, 얼굴의 특정 부위의 형태 및 좌표 축 중 적어도 어느 하나가 상이할 수 있다.
본 발명의 일 실시예에 있어서, 상기 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
본 발명에 따른 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법에 따르면, 사용자의 입력이나 별도의 3차원 모델 추출 과정 또는 복셀화 과정 같은 데이터 구조의 변환 없이, 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터 자체를 활용하여 빠르게 자동으로 정합할 수 있다.
또한, 사용자의 입력이나 데이터 구조의 변환이 수행되지 않으므로 정합의 정확도를 향상시킬 수 있다.
또한, 다양한 표정 및 다양한 시기에 획득한 3차원 얼굴 스캔 데이터를 3차원 볼륨 의료 영상 데이터에 자동 정합함으로써, 환자의 악안면 분석, 수술 및 시술 전/후 분석에 활용할 수 있다.
또한, 상기 3차원 얼굴 스캔 데이터의 특징점 및 상기 3차원 볼륨 의료 영상 데이터의 특징점을 동일한 컨볼루셔널 뉴럴 네트워크를 이용하여 추출하는 경우, 네트워크 구조를 단순화할 수 있고, 특징점 추출을 위한 컴퓨팅 로드를 감소시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법을 나타내는 순서도이다.
도 2는 도 1의 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 검출하는 단계 및 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 검출하는 단계의 일례를 나타내는 개념도이다.
도 3은 도 1의 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 검출하는 단계 및 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 검출하는 단계의 일례를 나타내는 개념도이다.
도 4는 3차원 얼굴 스캔 데이터로부터 제1 2차원 깊이 영상을 생성하는 방법을 나타내는 개념도이다.
도 5 및 도 6은 3차원 볼륨 의료 영상 데이터로부터 제2 2차원 깊이 영상을 생성하는 방법을 나타내는 개념도이다.
도 7 및 도 8은 스캔 특징점 및 볼륨 특징점의 예시를 나타내는 도면이다.
도 9는 도 1의 초기 정합 단계를 나타내는 개념도이다.
도 10은 도 1의 세부 정합 단계를 나타내는 개념도이다.
도 11은 도 1의 세부 정합 단계의 세부 정합 결과를 나타내는 도면이다.
도 12는 도 1의 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 검출하는 단계 및 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 검출하는 단계의 일례를 나타내는 개념도이다.
도 13은 도 1의 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 검출하는 단계 및 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 검출하는 단계의 일례를 나타내는 개념도이다.
도 14는 3차원 얼굴 스캔 데이터를 캡쳐하여 생성되는 제1 캡쳐 영상을 나타내는 도면이다.
도 15는 3차원 볼륨 의료 영상 데이터를 캡쳐하여 생성되는 제2 캡쳐 영상을 나타내는 도면이다.
도 16은 제1 3차원 얼굴 스캔 데이터, 제2 3차원 얼굴 스캔 데이터 및 3차원 볼륨 의료 영상 데이터를 자동 정합한 일례를 나타내는 도면이다.
도 17은 제1 3차원 얼굴 스캔 데이터, 제2 3차원 얼굴 스캔 데이터 및 3차원 볼륨 의료 영상 데이터를 자동 정합한 일례를 나타내는 도면이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법을 나타내는 순서도이다.
도 1을 참조하면, 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 추출하는 단계(S100), 상기 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계(S200) 및 상기 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계(S300)를 포함한다. 상기 자동 정합 방법은 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계(S300) 후에 상기 3차원 얼굴 스캔 데이터의 복수의 샘플링 점과 상기 3차원 볼륨 의료 영상 데이터의 복수의 샘플링 점 간의 거리가 쓰레스홀드 거리보다 작도록 조정하는 세부 정합 단계(S400)를 더 포함할 수 있다.
상기 3차원 얼굴 스캔 데이터는 3차원 점들(Vertex)과 상기 점들을 연결하여 생성된 삼각형 면(Triangle) 또는 사각형 면(Rectangle)을 포함하는 메쉬(Mesh) 데이터일 수 있다. 상기 3차원 얼굴 스캔 데이터는 3차원 스캐너를 통해 촬영된 영상 데이터일 수 있다. 또한, 상기 3차원 얼굴 스캔 데이터는 2차원 얼굴 사진을 재구성하여 생성한 3차원 얼굴 모델과, 2차원 얼굴 사진의 특징점을 활용하여 매칭한 3차원 얼굴 템플릿 모델일 수 있다. 상기 3차원 얼굴 스캔 데이터의 파일 확장자에는 제한이 없으며, 예를 들어, ply, obj, stl 중 하나일 수 있다.
상기 3차원 볼륨 의료 영상 데이터는 환자의 해부학적 구조가 3차원 볼륨 영상 데이터로 획득되는 의료 영상일 수 있다. 상기 3차원 볼륨 의료 영상 데이터는 Computed Tomography (CT) 영상, Cone-beam CT (CBCT) 영상, Magnetic Resonance Imaging (MRI) 영상 및 Positron Emission Tomography (PET) 영상 중 하나일 수 있다. 본 실시예에서는 상기 3차원 볼륨 의료 영상 데이터는 Computed Tomography (CT) 영상인 경우를 예시하여 설명한다.
예를 들어, 상기 스캔 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점은 3개 이상일 수 있다. 예를 들어, 상기 볼륨 특징점을 추출하는 단계에서 추출되는 상기 볼륨 특징점은 3개 이상일 수 있다. 상기 3개 이상의 상기 스캔 특징점 및 상기 3개 이상의 상기 볼륨 특징점은 서로 대응될 수 있다.
본 실시예의 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 컴퓨팅 장치에 의해 수행될 수 있다.
도 2는 도 1의 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 검출하는 단계 및 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 검출하는 단계의 일례를 나타내는 개념도이다. 도 3은 도 1의 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 검출하는 단계 및 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 검출하는 단계의 일례를 나타내는 개념도이다. 도 4는 3차원 얼굴 스캔 데이터로부터 제1 2차원 깊이 영상을 생성하는 방법을 나타내는 개념도이다. 도 5 및 도 6은 3차원 볼륨 의료 영상 데이터로부터 제2 2차원 깊이 영상을 생성하는 방법을 나타내는 개념도이다.
도 1 내지 도 6을 참조하면, 상기 스캔 특징점을 추출하는 단계(S100)는 상기 3차원 얼굴 스캔 데이터의 외부에 배치되는 제1 기준 평면과 상기 3차원 얼굴 스캔 데이터 내의 얼굴 표면까지의 거리를 나타내는 제1 2차원 깊이 영상을 생성할 수 있다. 상기 제1 2차원 깊이 영상은 도 2의 좌측 상부에 도시되었다.
도 2에서는 상기 컨볼루셔널 뉴럴 네트워크의 입력이 2차원 영상이고, 출력이 2차원 좌표인 경우를 예시한다.
예를 들어, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제1 2차원 깊이 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 2차원 좌표일 수 있다.
이 때, 상기 스캔 특징점을 추출하는 단계(S100)는 상기 제1 2차원 깊이 영상을 생성하는 단계에서 사용된 변환 방법을 기초로 상기 제1 2차원 좌표를 제1 3차원 좌표로 역투영하는 단계를 더 포함할 수 있다. 상기 제1 3차원 좌표는 상기 3차원 얼굴 스캔 데이터의 특징점을 의미한다.
이와 마찬가지로, 상기 볼륨 특징점을 추출하는 단계(S200)는 상기 3차원 볼륨 의료 영상 데이터의 외부에 배치되는 제2 기준 평면과 상기 3차원 볼륨 의료 영상 데이터 내의 얼굴 표면까지의 거리를 나타내는 제2 2차원 깊이 영상을 생성할 수 있다. 상기 제2 2차원 깊이 영상은 도 2의 좌측 하부에 도시되었다.
예를 들어, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제2 2차원 깊이 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 2차원 좌표일 수 있다.
이 때, 상기 볼륨 특징점을 추출하는 단계(S200)는 상기 제2 2차원 깊이 영상을 생성하는 단계에서 사용된 변환 방법을 기초로 상기 제2 2차원 좌표를 제2 3차원 좌표로 역투영하는 단계를 더 포함할 수 있다. 상기 제2 3차원 좌표는 상기 3차원 볼륨 의료 영상 데이터의 특징점을 의미한다.
도 2에서,
Figure PCTKR2022003132-appb-I000001
는 얼굴 스캔 데이터로부터 검출된
Figure PCTKR2022003132-appb-I000002
번째 특징점의 제1 2차원 좌표를 나타내며,
Figure PCTKR2022003132-appb-I000003
는 볼륨 의료 영상 데이터로부터 검출된
Figure PCTKR2022003132-appb-I000004
번째 특징점의 제2 2차원 좌표를 나타낸다.
도 2의 상기 제1 2차원 좌표를 3차원 얼굴 스캔 데이터 상에 역투영하여 상기 스캔 특징점을 얻을 수 있고, 도 2의 상기 제2 2차원 좌표를 3차원 볼륨 의료 영상 데이터 상에 역투영하여 상기 볼륨 특징점을 얻을 수 있다.
도 3에서는 상기 컨볼루셔널 뉴럴 네트워크의 입력이 2차원 영상이고, 출력이 3차원 좌표인 경우를 예시한다.
예를 들어, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 3차원 얼굴 스캔 데이터에 대한 상기 제1 2차원 깊이 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 3차원 좌표일 수 있다.
또한, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 3차원 볼륨 의료 영상 데이터에 대한 상기 제2 2차원 깊이 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 3차원 좌표일 수 있다.
도 3에서,
Figure PCTKR2022003132-appb-I000005
는 얼굴 스캔 데이터로부터 검출된
Figure PCTKR2022003132-appb-I000006
번째 특징점을 나타내며,
Figure PCTKR2022003132-appb-I000007
는 볼륨 의료 영상 데이터로부터 검출된
Figure PCTKR2022003132-appb-I000008
번째 특징점을 나타낸다.
본 실시예에서, 상기 스캔 특징점을 추출하기 위한 컨볼루셔널 뉴럴 네트워크는 상기 볼륨 특징점을 검출하기 위한 컨볼루셔널 뉴럴 네트워크와 동일할 수 있다. 즉, 상기 컨볼루셔널 뉴럴 네트워크에는 상기 3차원 얼굴 스캔 데이터에 대한 상기 제1 2차원 깊이 영상과 상기 3차원 볼륨 의료 영상 데이터에 대한 상기 제2 2차원 깊이 영상이 모두 입력되고, 상기 스캔 특징점에 대응하는 상기 제1 2차원 좌표 또는 상기 제1 3차원 좌표 및 상기 볼륨 특징점에 대응하는 상기 제2 2차원 좌표 또는 상기 제2 3차원 좌표를 모두 출력할 수 있다.
이와는 달리, 상기 스캔 특징점을 추출하기 위한 컨볼루셔널 뉴럴 네트워크는 상기 볼륨 특징점을 검출하기 위한 컨볼루셔널 뉴럴 네트워크와 동일할 수 있다. 즉, 제1 컨볼루셔널 뉴럴 네트워크에는 상기 3차원 얼굴 스캔 데이터에 대한 상기 제1 2차원 깊이 영상이 입력되고, 상기 스캔 특징점에 대응하는 상기 제1 2차원 좌표 또는 상기 제1 3차원 좌표를 출력할 수 있다. 상기 제1 컨볼루셔널 뉴럴 네트워크와 상이한 제2 컨볼루셔널 뉴럴 네트워크에는 상기 3차원 볼륨 의료 영상 데이터에 대한 상기 제2 2차원 깊이 영상이 입력되고, 상기 볼륨 특징점에 대응하는 상기 제2 2차원 좌표 또는 상기 제2 3차원 좌표를 출력할 수 있다.
도 4는 상기 3차원 얼굴 스캔 데이터로부터 깊이 영상을 생성하는 과정을 보여준다. 3차원 얼굴 스캔 데이터의 표면으로부터, 얼굴 스캔 데이터와 일정 거리를 두고 존재하는 가상의 평면(제1 기준 평면)까지의 최소거리를 밝기 값(Intensity)으로 표현하여 깊이 영상을 생성할 수 있다. 도 4에서는 밝은 색이 더 가까운 거리를, 어두운 색이 더 먼 거리를 나타낸다. 이와는 달리, 깊이 영상의 밝기는 반전되어 반대로 표현될 수 있다.
도 5와 도 6은 상기 3차원 볼륨 의료 영상 데이터로부터 피부 영역을 획득하고 이를 이용해 깊이 영상을 생성하는 과정을 나타낸다. 도 5는 가상의 Ray를 볼륨 데이터의 시작부터 끝까지 움직이며 공기와 피부영역이 교차하여 밝기 값(Intensity)의 변화가 심한 피부 표면의 위치를 3차원 좌표로 추출하는 과정을 보여준다. 볼륨 데이터의 시작에서 Ray를 쏘았을 때, 가장 처음 만나는 밝기 값 변화가 심한 위치이자, Hounsfield Unit(HU) 값이 피부와 지방에 해당하는 값인 -100 에서 300 사이에 존재하는 위치를 피부 영역으로 고려할 수 있다.
예를 들어, 상기 제2 2차원 깊이 영상을 생성하는 단계는 상기 3차원 볼륨 의료 영상 데이터의 시작점으로부터 상기 3차원 볼륨 의료 영상 데이터의 내부로 진행하면서 처음으로 밝기 값의 변화가 쓰레스홀드 값보다 큰 지점의 위치를 제2 2차원 깊이 영상의 깊이 값으로 생성할 수 있다.
예를 들어, 상기 제2 2차원 깊이 영상을 생성하는 단계는 상기 3차원 볼륨 의료 영상 데이터의 시작점으로부터 상기 3차원 볼륨 의료 영상 데이터의 내부로 진행하면서 처음으로 밝기 값의 변화가 쓰레스홀드 값보다 크고, 상기 밝기 값이 미리 결정된 피부 밝기 값 범위 내에 있는 지점의 위치를 제2 2차원 깊이 영상의 깊이 값으로 생성할 수 있다. 예를 들어, 상기 미리 결정된 피부 밝기 값 범위는 -100에서 300 사이의 Hounsfield Unit(HU) 값일 수 있다.
추출된 피부 표면의 3차원 좌표들로부터 볼륨 데이터의 바깥에 일정 거리를 두고 존재하는 가상의 평면(제2 기준 평면)까지의 최소거리를 밝기 값(Intensity)으로 표현하여 깊이 영상을 생성할 수 있다. 도 6에서는 밝은 색이 더 가까운 거리를, 어두운 색이 더 먼 거리를 나타낸다. 이와는 달리, 깊이 영상의 밝기는 반전되어 반대로 표현될 수 있다.
도 7 및 도 8은 스캔 특징점 및 볼륨 특징점의 예시를 나타내는 도면이다.
도 1 내지 도 8을 참조하면, 상기 스캔 특징점을 추출하는 단계(S100)에서 추출되는 상기 스캔 특징점 및 상기 볼륨 특징점을 추출하는 단계(S200)에서 추출되는 상기 스캔 특징점은 각각 Soft tissue gabella(1), Soft tissue nasion(2), Supratip(3), Pronasale(4), Columella(5), Subnasale(6), Soft tissue A-point(7), Upper lip anterior point(8), Stomiom Superious(9), Lower point of gap between maxillary central incisors(10), Upper point of gap between mandibular central incisors(11), Stomiom Inferious(12), Lower lip anterior point(13), Soft tissue B-point(14), Soft tissue pogonion(15), Soft tissue gnathion(16), Soft tissue menton(17), Trichion(18), Right Orbitale superius(19), Left Orbitale superius(20), Right Palpebrale superius(21), Right Palpebrale inferious(22), Right Exocanthion(23), Right Endocanthion(24), Left Palpebrale superius(25), Left Palpebrale inferious(26), Left Endocanthion(27), Left Exocanthion(28), Right Zygion(29), Left Zygion(30), Right Cheilion(31), Left Cheilion(32), Right Tragus(33), Left Tragus(34), Right Soft tissue gonion(35), Left Soft tissue gonion(36), Right Alare(37), Left Alare(38), Right Alar curvature(39) 및 Left Alar curvature(40) 중 적어도 3개를 포함할 수 있다.
예를 들어, 상기 스캔 특징점을 추출하는 단계(S100)에서 추출되는 상기 스캔 특징점 및 상기 볼륨 특징점을 추출하는 단계(S200)에서 추출되는 상기 스캔 특징점은 피부 표면 특징점 및 전치부 표면 특징점을 포함할 수 있다.
도 9는 도 1의 초기 정합 단계(S300)를 나타내는 개념도이다. 도 10은 도 1의 세부 정합 단계(S400)를 나타내는 개념도이다. 도 11은 도 1의 세부 정합 단계(S400)의 세부 정합 결과를 나타내는 도면이다.
도 1 내지 도 11을 참조하면, 대응 특징점 기반의 초기 정합 단계(S300)에서는 S100 단계 및 S200 단계에서 검출된 최소 3쌍의 대응 특징점을 이용하여 landmark transform을 통해 변환 매트릭스 M을 계산할 수 있으며, 대응 특징점 간의 거리 차이를 계산하여 오차를 계산할 수 있다.
상기 변환 매트릭스 M은 대응 특징점 간의 거리 차이를 최소화하는 변환이며, 상기 3차원 얼굴 스캔 데이터의 스캔 특징점을 상기 3차원 볼륨 의료 영상 데이터의 도메인으로 이동시킬 수 있다. 도 9는 대응 특징점을 이용한 초기 정합 결과를 보여준다.
예를 들어, 상기 스캔 특징점을 추출하는 단계(S100)에서 추출되는 상기 스캔 특징점 및 상기 볼륨 특징점을 추출하는 단계(S200)에서 추출되는 상기 볼륨 특징점은 각각 Soft tissue nasion, Right Exocanthion 및 Left Exocanthion을 포함할 수 있다.
도 10에서는 상기 Soft tissue nasion, Right Exocanthion 및 Left Exocanthion을 이용하여 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 정합한 경우를 예시한다.
세부 정합 단계(S400)에서는 초기 정합 단계(S300) 이후에 상기 3차원 볼륨 의료 영상 데이터와 상기 3차원 얼굴 스캔 데이터를 더욱 일치시키기 위한 정밀 정합이 수행된다. 도 10 및 도 11은 세부 정합 결과를 보여준다.
도 10을 보면, 상기 세부 정합 결과는 상기 초기 정합 결과에 비해 상기 3차원 볼륨 의료 영상 데이터와 상기 3차원 얼굴 스캔 데이터가 더욱 일치하는 것을 확인할 수 있다.
도 11은 세부 정합 결과를 3차원 볼륨 의료 영상 데이터의 멀티 뷰 슬라이드 영상으로 가시화한 것이다. 도 11의 외곽 실선은 상기 3차원 얼굴 스캔 데이터의 피부 표면에 대응하는 실선이며, 도 11에서는 상기 3차원 얼굴 스캔 데이터의 피부 표면을 나타내는 상기 외곽 실선이 상기 3차원 볼륨 의료 영상 데이터에 정밀하게 정합된 것을 확인할 수 있다.
본 실시예에 따르면, 사용자의 입력이나 별도의 3차원 모델 추출 과정 또는 복셀화 과정 같은 데이터 구조의 변환 없이, 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터 자체를 활용하여 빠르게 자동으로 정합할 수 있다.
또한, 사용자의 입력이나 데이터 구조의 변환이 수행되지 않으므로 정합의 정확도를 향상시킬 수 있다.
또한, 상기 3차원 얼굴 스캔 데이터의 특징점 및 상기 3차원 볼륨 의료 영상 데이터의 특징점을 동일한 컨볼루셔널 뉴럴 네트워크를 이용하여 추출하는 경우, 네트워크 구조를 단순화할 수 있고, 특징점 추출을 위한 컴퓨팅 로드를 감소시킬 수 있다.
도 12는 도 1의 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 검출하는 단계 및 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 검출하는 단계의 일례를 나타내는 개념도이다. 도 13은 도 1의 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 검출하는 단계 및 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 검출하는 단계의 일례를 나타내는 개념도이다. 도 14는 3차원 얼굴 스캔 데이터를 캡쳐하여 생성되는 제1 캡쳐 영상을 나타내는 도면이다. 도 15는 3차원 볼륨 의료 영상 데이터를 캡쳐하여 생성되는 제2 캡쳐 영상을 나타내는 도면이다.
본 실시예에 따른 자동 정합 방법은 컨볼루셔널 뉴럴 네트워크의 입력을 제외하면, 도 1 내지 도 11의 자동 정합 방법과 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략한다.
도 1, 도 7 내지 도 15를 참조하면, 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 추출하는 단계(S100), 상기 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계(S200) 및 상기 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계(S300)를 포함한다. 상기 자동 정합 방법은 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계(S300) 후에 상기 3차원 얼굴 스캔 데이터의 복수의 샘플링 점과 상기 3차원 볼륨 의료 영상 데이터의 복수의 샘플링 점 간의 거리가 쓰레스홀드 거리보다 작도록 조정하는 세부 정합 단계(S400)를 더 포함할 수 있다.
상기 스캔 특징점을 추출하는 단계(S100)는 상기 3차원 얼굴 스캔 데이터를 캡쳐하여 제1 2차원 캡쳐 영상을 생성할 수 있다. 상기 제1 2차원 캡쳐 영상은 도 12의 좌측 상부 및 도 14에 도시되었다.
도 12에서는 상기 컨볼루셔널 뉴럴 네트워크의 입력이 2차원 영상이고, 출력이 2차원 좌표인 경우를 예시한다.
예를 들어, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제1 2차원 캡쳐 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 2차원 좌표일 수 있다.
이 때, 상기 스캔 특징점을 추출하는 단계(S100)는 상기 제1 2차원 좌표를 제1 3차원 좌표로 역투영하는 단계를 더 포함할 수 있다. 상기 제1 3차원 좌표는 상기 3차원 얼굴 스캔 데이터의 특징점을 의미한다.
이와 마찬가지로, 상기 볼륨 특징점을 추출하는 단계(S200)는 상기 3차원 볼륨 의료 영상 데이터를 캡쳐하여 제2 2차원 캡쳐 영상을 생성할 수 있다. 상기 제2 2차원 캡쳐 영상은 도 12의 좌측 하부 및 도 15에 도시되었다.
예를 들어, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제2 2차원 캡쳐 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 2차원 좌표일 수 있다.
이 때, 상기 볼륨 특징점을 추출하는 단계(S200)는 상기 제2 2차원 좌표를 제2 3차원 좌표로 역투영하는 단계를 더 포함할 수 있다. 상기 제2 3차원 좌표는 상기 3차원 얼굴 스캔 데이터의 특징점을 의미한다.
도 13에서는 상기 컨볼루셔널 뉴럴 네트워크의 입력이 2차원 영상이고, 출력이 3차원 좌표인 경우를 예시한다.
예를 들어, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 3차원 얼굴 스캔 데이터에 대한 상기 제1 2차원 캡쳐 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 3차원 좌표일 수 있다.
또한, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 3차원 볼륨 의료 영상 데이터에 대한 상기 제2 2차원 캡쳐 영상일 수 있다. 상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 3차원 좌표일 수 있다.
본 실시예에 따르면, 사용자의 입력이나 별도의 3차원 모델 추출 과정 또는 복셀화 과정 같은 데이터 구조의 변환 없이, 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터 자체를 활용하여 빠르게 자동으로 정합할 수 있다.
또한, 사용자의 입력이나 데이터 구조의 변환이 수행되지 않으므로 정합의 정확도를 향상시킬 수 있다.
또한, 상기 3차원 얼굴 스캔 데이터의 특징점 및 상기 3차원 볼륨 의료 영상 데이터의 특징점을 동일한 컨볼루셔널 뉴럴 네트워크를 이용하여 추출하는 경우, 네트워크 구조를 단순화할 수 있고, 특징점 추출을 위한 컴퓨팅 로드를 감소시킬 수 있다.
도 16은 제1 3차원 얼굴 스캔 데이터(S1), 제2 3차원 얼굴 스캔 데이터(S2) 및 3차원 볼륨 의료 영상 데이터(V1)를 자동 정합한 일례를 나타내는 도면이다. 도 17은 제1 3차원 얼굴 스캔 데이터(S1), 제2 3차원 얼굴 스캔 데이터(S2) 및 3차원 볼륨 의료 영상 데이터(V1)를 자동 정합한 일례를 나타내는 도면이다.
본 실시예에 따른 자동 정합 방법은 2개의 3차원 얼굴 스캔 데이터가 1개의 3차원 볼륨 의료 영상 데이터에 정합되는 것을 제외하면, 도 1 내지 도 11의 자동 정합 방법과 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략한다.
도 1 내지 도 17을 참조하면, 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 컨볼루셔널 뉴럴 네트워크를 이용하여 제1 3차원 얼굴 스캔 데이터(S1)로부터 제1 스캔 특징점을 추출하는 단계, 상기 컨볼루셔널 뉴럴 네트워크를 이용하여 제2 3차원 얼굴 스캔 데이터(S2)로부터 제2 스캔 특징점을 추출하는 단계, 상기 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터(V1)로부터 볼륨 특징점을 추출하는 단계, 상기 제1 스캔 특징점, 상기 제2 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 제1 3차원 얼굴 스캔 데이터(S1), 상기 제2 3차원 얼굴 스캔 데이터(S2) 및 상기 3차원 볼륨 의료 영상 데이터(V1)를 초기 정합하는 단계 및 상기 제1 3차원 얼굴 스캔 데이터(S1) 및 상기 제2 3차원 얼굴 스캔 데이터(S2)의 표면 거리를 계산하는 단계를 포함한다.
예를 들어, 상기 제1 스캔 특징점, 상기 제2 스캔 특징점 및 상기 볼륨 특징점은 동일한 컨볼루셔널 뉴럴 네트워크를 이용하여 추출될 수 있다.
이와는 달리, 상기 제1 스캔 특징점 및 상기 제2 스캔 특징점은 제1 컨볼루셔널 뉴럴 네트워크를 이용하여 추출되고, 상기 볼륨 특징점은 제2 컨볼루셔널 뉴럴 네트워크를 이용하여 추출될 수도 있다.
예를 들어, 상기 제1 3차원 얼굴 스캔 데이터(S1) 및 상기 제2 3차원 얼굴 스캔 데이터(S2)는 촬영 기기, 촬영 시기, 얼굴 표정, 얼굴의 특정 부위의 형태 및 좌표 축 중 적어도 어느 하나가 상이할 수 있다.
도 16은 촬영 기기, 얼굴 표정 및 좌표 축이 서로 상이한 동일 환자의 2개의 3차원 얼굴 스캔 데이터(S1, S2)를 하나의 3차원 볼륨 의료 영상 데이터(V1)에 정합한 경우를 예시한다.
도 17은 촬영 기기는 서로 동일하나, 얼굴 표정 및 좌표 축이 서로 상이한 동일 환자의 2개의 3차원 얼굴 스캔 데이터(S1, S2)를 하나의 3차원 볼륨 의료 영상 데이터(V1)에 정합한 경우를 예시한다.
도 17에는 상기 제1 3차원 얼굴 스캔 데이터(S1) 및 상기 제2 3차원 얼굴 스캔 데이터(S2)의 표면 거리를 계산하여 표면 거리 차이를 분석한 도면을 예시하였다.
도 16 및 도 17을 보면, 좌표 축이 서로 다른 3차원 얼굴 스캔 데이터(S1, S2)가 동일한 3차원 볼륨 의료 영상 데이터(V1)에 정합되면서 좌표 축이 서로 일치하게 되므로, 상기 제1 3차원 얼굴 스캔 데이터(S1) 및 상기 제2 3차원 얼굴 스캔 데이터(S2)를 비교 분석할 수 있다.
도 16은 서로 다른 기기로부터, 서로 다른 시기에, 서로 다른 얼굴 표정으로 획득한 동일한 환자의 3차원 얼굴 스캔 데이터를 하나의 3차원 볼륨 의료 영상 데이터에 정합하여 다양한 각도에서 정합 데이터를 비교 분석하는 예시를 보여준다. 도 17은 서로 다른 표정으로 획득한 동일한 환자의 3차원 얼굴 스캔 데이터를 하나의 3차원 볼륨 의료 영상 데이터에 정합하여, 얼굴 변화 영역을 분석하는 예시를 보여준다.
3차원 볼륨 의료 영상 데이터는 획득 비용이 비싸고, CT나 CBCT의 경우 방사선 피폭의 위험이 있어 여러 차례 획득되기 어렵다. 때문에 수술 및 시술 전/후를 비교하거나 다양한 얼굴 표정 상태에서의 시술 및 수술 시뮬레이션에 이용하기에는 어려움이 따른다. 본 실시예에서는, 다양한 표정 및 다양한 시기에 획득한 3차원 얼굴 스캔 데이터를 3차원 볼륨 의료 영상 데이터에 자동 정합함으로써, 환자의 악안면 분석, 수술 및 시술 전/후 분석에 활용할 수 있다.
본 실시예에 따르면, 사용자의 입력이나 별도의 3차원 모델 추출 과정 또는 복셀화 과정 같은 데이터 구조의 변환 없이, 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터 자체를 활용하여 빠르게 자동으로 정합할 수 있다.
또한, 사용자의 입력이나 데이터 구조의 변환이 수행되지 않으므로 정합의 정확도를 향상시킬 수 있다.
또한, 상기 3차원 얼굴 스캔 데이터의 특징점 및 상기 3차원 볼륨 의료 영상 데이터의 특징점을 동일한 컨볼루셔널 뉴럴 네트워크를 이용하여 추출하는 경우, 네트워크 구조를 단순화할 수 있고, 특징점 추출을 위한 컴퓨팅 로드를 감소시킬 수 있다.
본 발명의 일 실시예에 의하면, 상기 실시예들에 따른 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
본 발명은 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 자동 정합을 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있다. 다양한 표정 및 다양한 시기에 획득한 3차원 얼굴 스캔 데이터를 3차원 볼륨 의료 영상 데이터에 자동 정합함으로써, 환자의 악안면 분석, 수술 및 시술 전/후 분석에 활용할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (25)

  1. 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 추출하는 단계;
    상기 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계; 및
    상기 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계를 포함하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  2. 제1항에 있어서, 상기 스캔 특징점을 추출하는 단계는
    상기 3차원 얼굴 스캔 데이터의 외부에 배치되는 제1 기준 평면과 상기 3차원 얼굴 스캔 데이터 내의 얼굴 표면까지의 거리를 나타내는 제1 2차원 깊이 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  3. 제2항에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제1 2차원 깊이 영상이고,
    상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 2차원 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  4. 제3항에 있어서, 상기 스캔 특징점을 추출하는 단계는
    상기 제1 2차원 깊이 영상을 생성하는 단계에서 사용된 변환 방법을 기초로 상기 제1 2차원 좌표를 제1 3차원 좌표로 역투영하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  5. 제2항에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제1 2차원 깊이 영상이고,
    상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 3차원 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  6. 제1항에 있어서, 상기 볼륨 특징점을 추출하는 단계는
    상기 3차원 볼륨 의료 영상 데이터의 외부에 배치되는 제2 기준 평면과 상기 3차원 볼륨 의료 영상 데이터 내의 얼굴 표면까지의 거리를 나타내는 제2 2차원 깊이 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  7. 제6항에 있어서, 상기 제2 2차원 깊이 영상을 생성하는 단계는
    상기 3차원 볼륨 의료 영상 데이터의 시작점으로부터 상기 3차원 볼륨 의료 영상 데이터의 내부로 진행하면서 처음으로 밝기 값의 변화가 쓰레스홀드 값보다 큰 지점의 위치를 제2 2차원 깊이 영상의 깊이 값으로 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  8. 제6항에 있어서, 상기 제2 2차원 깊이 영상을 생성하는 단계는
    상기 3차원 볼륨 의료 영상 데이터의 시작점으로부터 상기 3차원 볼륨 의료 영상 데이터의 내부로 진행하면서 처음으로 밝기 값의 변화가 쓰레스홀드 값보다 크고, 상기 밝기 값이 미리 결정된 피부 밝기 값 범위 내에 있는 지점의 위치를 제2 2차원 깊이 영상의 깊이 값으로 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  9. 제6항에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제2 2차원 깊이 영상이고,
    상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 2차원 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  10. 제9항에 있어서, 상기 볼륨 특징점을 추출하는 단계는
    상기 제2 2차원 깊이 영상을 생성하는 단계에서 사용된 변환 방법을 기초로 상기 제2 2차원 좌표를 제2 3차원 좌표로 역투영하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  11. 제6항에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제2 2차원 깊이 영상이고,
    상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 3차원 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  12. 제1항에 있어서, 상기 스캔 특징점을 추출하는 단계는
    상기 3차원 얼굴 스캔 데이터를 캡쳐하여 제1 2차원 캡쳐 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  13. 제12항에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제1 2차원 캡쳐 영상이고,
    상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 스캔 특징점에 대응하는 제1 3차원 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  14. 제12항에 있어서, 상기 볼륨 특징점을 추출하는 단계는
    상기 3차원 볼륨 의료 영상 데이터를 캡쳐하여 제2 2차원 캡쳐 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  15. 제14항에 있어서, 상기 컨볼루셔널 뉴럴 네트워크의 입력은 상기 제2 2차원 캡쳐 영상이고,
    상기 컨볼루셔널 뉴럴 네트워크의 출력은 상기 볼륨 특징점에 대응하는 제2 3차원 좌표인 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  16. 제1항에 있어서, 상기 스캔 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점은 3개 이상이고,
    상기 볼륨 특징점을 추출하는 단계에서 추출되는 상기 볼륨 특징점은 3개 이상이며,
    상기 3개 이상의 상기 스캔 특징점 및 상기 3개 이상의 상기 볼륨 특징점은 서로 대응되는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  17. 제16항에 있어서, 상기 스캔 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점 및 상기 볼륨 특징점을 추출하는 단계에서 추출되는 상기 볼륨 특징점은 각각 Soft tissue nasion, Right Exocanthion 및 Left Exocanthion을 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  18. 제1항에 있어서, 상기 스캔 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점 및 상기 볼륨 특징점을 추출하는 단계에서 추출되는 상기 스캔 특징점은 각각 Soft tissue gabella, Soft tissue nasion, Supratip, Pronasale, Columella, Subnasale, Soft tissue A-point, Upper lip anterior point, Stomiom Superious, Lower point of gap between maxillary central incisors, Upper point of gap between mandibular central incisors, Stomiom Inferious, Lower lip anterior point, Soft tissue B-point, Soft tissue pogonion, Soft tissue gnathion, Soft tissue menton, Trichion, Right Orbitale superius, Left Orbitale superius, Right Palpebrale superius, Right Palpebrale inferious, Right Exocanthion, Right Endocanthion, Left Palpebrale superius, Left Palpebrale inferious, Left Endocanthion, Left Exocanthion, Right Zygion, Left Zygion, Right Cheilion, Left Cheilion, Right Tragus, Left Tragus, Right Soft tissue gonion, Left Soft tissue gonion, Right Alare, Left Alare, Right Alar curvature 및 Left Alar curvature 중 적어도 3개를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  19. 제1항에 있어서, 상기 3차원 얼굴 스캔 데이터는 3차원 점들(Vertex)과 상기 점들을 연결하여 생성된 삼각형 면(Triangle) 또는 사각형 면(Rectangle)을 포함하는 메쉬(Mesh) 데이터인 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  20. 제1항에 있어서, 상기 3차원 볼륨 의료 영상 데이터는 환자의 해부학적 구조가 3차원 볼륨 영상 데이터로 획득되는 의료 영상이며,
    상기 3차원 볼륨 의료 영상 데이터는 Computed Tomography (CT) 영상, Cone-beam CT (CBCT) 영상, Magnetic Resonance Imaging (MRI) 영상 및 Positron Emission Tomography (PET) 영상 중 하나인 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  21. 제1항에 있어서, 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계 후에 상기 3차원 얼굴 스캔 데이터의 복수의 샘플링 점과 상기 3차원 볼륨 의료 영상 데이터의 복수의 샘플링 점 간의 거리가 쓰레스홀드 거리보다 작도록 조정하는 세부 정합 단계를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  22. 제1 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 얼굴 스캔 데이터로부터 스캔 특징점을 추출하는 단계;
    상기 제1 컨볼루셔널 뉴럴 네트워크와 상이한 제2 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계; 및
    상기 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계를 포함하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  23. 컨볼루셔널 뉴럴 네트워크를 이용하여 제1 3차원 얼굴 스캔 데이터로부터 제1 스캔 특징점을 추출하는 단계;
    상기 컨볼루셔널 뉴럴 네트워크를 이용하여 제2 3차원 얼굴 스캔 데이터로부터 제2 스캔 특징점을 추출하는 단계;
    상기 컨볼루셔널 뉴럴 네트워크를 이용하여 3차원 볼륨 의료 영상 데이터로부터 볼륨 특징점을 추출하는 단계;
    상기 제1 스캔 특징점, 상기 제2 스캔 특징점 및 상기 볼륨 특징점을 이용하여 상기 제1 3차원 얼굴 스캔 데이터, 상기 제2 3차원 얼굴 스캔 데이터 및 상기 3차원 볼륨 의료 영상 데이터를 초기 정합하는 단계; 및
    상기 제1 3차원 얼굴 스캔 데이터 및 상기 제2 3차원 얼굴 스캔 데이터의 표면 거리를 계산하는 단계를 포함하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  24. 제23항에 있어서, 상기 제1 3차원 얼굴 스캔 데이터 및 상기 제2 3차원 얼굴 스캔 데이터는 촬영 기기, 촬영 시기, 얼굴 표정, 얼굴의 특정 부위의 형태 및 좌표 축 중 적어도 어느 하나가 상이한 것을 특징으로 하는 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법.
  25. 제1항 내지 제24항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2022/003132 2022-02-28 2022-03-04 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 WO2023163263A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP23158273.5A EP4235572A1 (en) 2022-02-28 2023-02-23 Automated registration method of 3d facial scan data and 3d volumetric medical image data using deep learning and computer readable medium having program for performing the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0026434 2022-02-28
KR1020220026434A KR102533659B1 (ko) 2022-02-28 2022-02-28 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Publications (1)

Publication Number Publication Date
WO2023163263A1 true WO2023163263A1 (ko) 2023-08-31

Family

ID=86545204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003132 WO2023163263A1 (ko) 2022-02-28 2022-03-04 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Country Status (3)

Country Link
US (1) US20230306677A1 (ko)
KR (2) KR102533659B1 (ko)
WO (1) WO2023163263A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101694A (ko) * 2018-02-23 2019-09-02 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
KR102273437B1 (ko) * 2021-01-20 2021-07-07 주식회사 에이치디엑스윌 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 정합 장치 및 방법
KR20210088946A (ko) * 2020-01-07 2021-07-15 주식회사 메디트 데이터 정합을 통한 3차원 모델 생성 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101694A (ko) * 2018-02-23 2019-09-02 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
KR20210088946A (ko) * 2020-01-07 2021-07-15 주식회사 메디트 데이터 정합을 통한 3차원 모델 생성 장치 및 방법
KR102273437B1 (ko) * 2021-01-20 2021-07-07 주식회사 에이치디엑스윌 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 정합 장치 및 방법
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE JEONGJIN: "Accurate Registration Method of 3D Facial Scan Data and CBCT Data using Distance Map", JOURNAL OF KOREA MULTIMEDIA SOCIETY, KOREA MULTIMEDIA SOCIETY, KR, vol. 18, no. 10, 30 October 2015 (2015-10-30), KR , pages 1157 - 1163, XP093088024, ISSN: 1229-7771, DOI: 10.9717/kmms.2015.18.10.1157 *

Also Published As

Publication number Publication date
KR102533659B1 (ko) 2023-05-18
KR20230128995A (ko) 2023-09-05
US20230306677A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
JP7168644B2 (ja) 口腔内画像の選択及びロック
CN109069097B (zh) 牙科用三维数据处理装置及其方法
WO2022164126A1 (ko) 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
US8244028B2 (en) Virtual cephalometric imaging
WO2016003257A2 (ko) 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
WO2021210723A1 (ko) 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
KR20180047850A (ko) 3차원 치아 영상 데이터와 광학식 스캔 치아 모델의 선택적 정합 방법, 장치 및 프로그램
WO2016003255A2 (ko) 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
US20070160957A1 (en) Image based dentition record digitization
WO2022131419A1 (ko) 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2021141416A1 (ko) 데이터 정합을 통한 3차원 모델 생성 장치 및 방법
CN111415419A (zh) 基于多源图像的牙体修复模型制作方法和系统
WO2022131418A1 (ko) 치과용 3차원 스캔 데이터의 간소화된 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022124462A1 (ko) 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022191575A1 (ko) 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법
JP2022524532A (ja) 個人の歯列弓の仮想モデルとこの個人の顔のデジタルモデルとをレジストレーションする方法
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
WO2024111914A1 (ko) 범용성이 향상된 인공지능에 의한 의료영상 변환방법 및 그 장치
WO2024111916A1 (ko) 주파수 영역에서 인공지능에 의한 의료영상 변환방법 및 그 장치
WO2023163263A1 (ko) 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
CN116763481A (zh) 一种基于多模态融合的颞下颌关节运动系统性还原方法
WO2021177658A1 (ko) 초음파 영상을 이용한 영상 정합 방법 및 장치
WO2023229152A1 (ko) 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램
EP4235572A1 (en) Automated registration method of 3d facial scan data and 3d volumetric medical image data using deep learning and computer readable medium having program for performing the method
WO2023191566A1 (ko) 하악골 움직임 시뮬레이션 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22929015

Country of ref document: EP

Kind code of ref document: A1