WO2023128046A1 - 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
WO2023128046A1
WO2023128046A1 PCT/KR2022/000911 KR2022000911W WO2023128046A1 WO 2023128046 A1 WO2023128046 A1 WO 2023128046A1 KR 2022000911 W KR2022000911 W KR 2022000911W WO 2023128046 A1 WO2023128046 A1 WO 2023128046A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
point
cutting
scan data
dimensional
Prior art date
Application number
PCT/KR2022/000911
Other languages
English (en)
French (fr)
Inventor
천소정
심응준
김영준
Original Assignee
이마고웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이마고웍스 주식회사 filed Critical 이마고웍스 주식회사
Priority to US17/983,525 priority Critical patent/US20230206450A1/en
Priority to EP22216184.6A priority patent/EP4207065A1/en
Publication of WO2023128046A1 publication Critical patent/WO2023128046A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035—Beam shaping or redirecting; Optical components therefor
    • A61B2018/20351—Scanning mechanisms
    • A61B2018/20353—Scanning in three dimensions [3D]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present invention relates to a method for automatically separating teeth from three-dimensional scan data and a computer-readable recording medium on which a program for executing the same is recorded on a computer, and more particularly, to mesh parameterization and deep learning (A method of automatically separating teeth from 3D scan data that can be automatically performed through deep learning to reduce time and effort for separating teeth from scan data, and a computer-readable program on which a program for executing it is recorded It is about a recording medium.
  • a widely used method for tooth separation is as follows. First, dental scan data is obtained with an intraoral scanner. After that, the operator manually designates the boundary of the teeth, uses the axis information and the boundary of the teeth to designate the plane to be used for tooth separation, and finally checks the separated surface between the teeth and corrects the necessary parts to finish. do. In addition, separated tooth data may be obtained by repeatedly performing this process for all teeth.
  • An object to be achieved by the present invention is a tooth of 3D scan data that can be automatically performed through mesh parameterization and deep learning to reduce time and effort for separating teeth from scan data and improve accuracy. It is to provide an automatic separation method.
  • Another object of the present invention is to provide a computer-readable recording medium on which a program for executing the method of automatically separating teeth from the three-dimensional scan data on a computer is recorded.
  • a method for automatically separating teeth from 3D scan data includes the steps of converting 3D scan data into a 2D image, and a first artificial intelligence receiving the 2D image. Determining a 3D landmark using a neural network, cutting the scan data using the 3D landmark to generate cutting data, determining an anchor point using the 3D landmark and the cutting data generating mapping data by mapping the cutting data to a predetermined space using the anchor point, determining a segmentation mask using a second artificial intelligence neural network receiving the mapping data, and the segmentation mask and mapping to the scan data or the cutting data.
  • the converting of the scan data into the 2D image may include analyzing a principal axis formed by points in the scan data, and first, second, and third principal axes perpendicular to each other. It may include a principal axis normalization step of determining .
  • the step of determining the 3-dimensional landmark using the first artificial intelligence neural network is the step of determining a 2-dimensional landmark from the 2-dimensional image using the first artificial neural network and converting the 2D landmark into the 3D landmark.
  • the three-dimensional landmark is disposed in a first point disposed in the outermost tooth on the first side, a second point disposed between two central incisors, and disposed in the outermost tooth on the second side.
  • a third point may be included.
  • the generating of the cutting data may include a first side normal vector defined by the first point and the third point, and a second side normal vector defined by the first point and the third point. Two side normal vectors, a lower surface normal vector generated by the first point, the second point, and the third point, and a back surface normal vector generated by the first side normal vector and the lower surface normal vector may be used.
  • the normal vector is n down and the back normal vector is n back , , , , and can be
  • the generating of the cutting data includes the first lateral normal vector as a normal vector at a first cutting point moved toward the outside of the tooth from the first point to the first side.
  • the method may include cutting the scan data using a first cutting plane.
  • the step of generating the cutting data has the second side normal vector as a normal vector at a second cutting point moved toward the outside of the tooth from the third point to the second side.
  • the method may include cutting the scan data using a second cutting plane.
  • the step of generating the cutting data is a third cutting point having a normal vector as a normal vector when the lower surface is moved from the midpoint of the first point and the third point. Cutting the scan data using a cutting plane may be included.
  • the generating of the cutting data may include a fourth cutting point having the back surface normal vector as a normal vector at a fourth cutting point moved from midpoints of the first point and the third point toward the rear surface. Cutting the scan data using a cutting plane may be included.
  • the determining of the anchor point may use a curve connecting the first point, the second point, and the third point.
  • the determining of the anchor point may include a first plane having the slope of the curve at the first point as a normal vector and a second plane having the slope of the curve at the third point as a normal vector. 2 planes are available.
  • the determining of the anchor point determines two outermost points among points where the first plane and the cutting data meet as a first anchor point and a second anchor point, and Among the points where the 2 planes and the cutting data meet, two outermost points may be determined as the third anchor point and the fourth anchor point.
  • the predetermined space may be rectangular.
  • the mapping data may be generated by corresponding the first anchor point, the second anchor point, the third anchor point, and the fourth anchor point to four vertices of the rectangle.
  • mapping data may include converting the cutting data into curvature data representing a curvature value of each point in the cutting data.
  • the curvature data may indicate a minimum curvature value of each point.
  • the minimum curvature value of each point is large, it is expressed in white, and if the minimum curvature value of each point is small, it is expressed in black.
  • a step of inverting gray of the curvature data may be further included.
  • the first artificial intelligence neural network may determine the 3-dimensional landmark by receiving the 2-dimensional image generated by converting the scan data.
  • the second artificial intelligence neural network may receive the 2-dimensional mapping data and determine the 2-dimensional segmentation mask.
  • a method for automatically separating teeth from 3D scan data includes determining a 3D landmark using a first artificial intelligence neural network receiving 3D scan data, Generating cutting data by cutting the scan data using the 3D landmark, determining an anchor point using the 3D landmark and the cutting data, and generating the cutting data using the anchor point.
  • Generating mapping data by mapping in a predetermined space, determining a segmentation mask using a second artificial intelligence neural network receiving the mapping data, and mapping the segmentation mask to the scan data or the cutting data.
  • the first artificial intelligence neural network may determine the 3-dimensional landmark by receiving the 3-dimensional scan data.
  • the second artificial intelligence neural network may receive the 2-dimensional mapping data and determine the 2-dimensional segmentation mask.
  • a method for automatically separating teeth from 3D scan data includes the steps of determining an anchor point using 3D scan data and a 3D landmark of the scan data, the Generating mapping data by mapping the scan data to a predetermined space using an anchor point, determining a segmentation mask using an artificial intelligence neural network receiving the mapping data, and mapping the segmentation mask to the scan data It includes steps to
  • a program for executing the method of automatically separating teeth from the 3D scan data on a computer may be recorded on a computer-readable recording medium.
  • tooth separation is performed completely automatically through mesh parameterization and deep learning, thereby reducing time and effort for separating teeth from scan data.
  • 1 is a flowchart illustrating a method for automatically separating teeth from 3D scan data according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating the automatic tooth separation method of FIG. 1 .
  • FIG. 3 is a diagram illustrating a step of converting the scan data of FIG. 1 into a 2D image.
  • FIG. 4 is a diagram illustrating a step of determining a 3D landmark using the first artificial intelligence neural network of FIG. 1 .
  • FIG. 5 is a diagram illustrating a step of cutting the scan data using the 3D landmark of FIG. 1 .
  • FIG. 6 is a diagram illustrating vectors used in the step of cutting the scan data using the 3D landmark of FIG. 1 .
  • FIG. 7 and 8 are diagrams illustrating cutting planes used in the step of cutting the scan data using the 3D landmark of FIG. 1 .
  • FIG. 9 is a diagram illustrating a step of determining an anchor point using the 3D landmark and cutting data of FIG. 1 .
  • FIG. 10 is a diagram illustrating a spline curve used in the step of determining an anchor point using the 3D landmark and the cutting data of FIG. 1 .
  • FIG. 11 is a diagram illustrating planes used in the step of determining an anchor point using the 3D landmark and the cutting data of FIG. 1 .
  • FIG. 12 is a diagram illustrating anchor points determined in the step of determining anchor points using the 3D landmark and the cutting data of FIG. 1 .
  • FIG. 13 is a diagram illustrating a step of mapping the cutting data to a predetermined space using the anchor points of FIG. 1 .
  • FIG. 14 is a diagram illustrating the cutting data in which the anchor points are displayed.
  • 15 is a diagram showing curvature values of respective points in the cutting data.
  • FIG. 16 is a diagram illustrating the predetermined space used in the step of mapping the cutting data to the predetermined space using the anchor points of FIG. 1 .
  • 17 is a diagram showing the curvature values of the cutting data mapped to the predetermined space.
  • FIG. 18 is a diagram illustrating a step of determining a segmentation mask using the second artificial intelligence neural network of FIG. 1 .
  • 19 is a diagram illustrating a step of mapping the segmentation mask of FIG. 1 to the scan data.
  • 20 is a flowchart illustrating a method for automatically separating teeth from 3D scan data according to an embodiment of the present invention.
  • FIG. 21 is a conceptual diagram illustrating the automatic tooth separation method of FIG. 20 .
  • 22 is a flowchart illustrating a method for automatically separating teeth from 3D scan data according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
  • functions or operations specified in a specific block may occur in a different order from the order specified in the flowchart. For example, two successive blocks may actually be performed substantially concurrently, or the blocks may be performed backwards depending on the function or operation involved.
  • FIG. 1 is a flowchart illustrating a method for automatically separating teeth from 3D scan data according to an embodiment of the present invention.
  • 2 is a conceptual diagram illustrating the automatic tooth separation method of FIG. 1 .
  • individual teeth can be completely automatically segmented from 3D scan data using mesh parameterization and deep learning.
  • the scan data may be formed of a polygon mesh, it is described as Mesh in FIGS. 2 and 3 .
  • deep learning networks can receive only data (structured data) of a certain size.
  • the scan data is expressed as a three-dimensional polygon mesh, and there is a problem that the number of points, edges, and cells of the mesh is different for each data. Therefore, in order to improve the accuracy of the deep learning network that receives the scan data as an input, a process of making the scan data into structured data may be required.
  • mesh parameterization may be used to convert the scan data into structured data.
  • the mesh parameterization may mean one-to-one mapping of points constituting the 3D mesh to another predetermined space.
  • the boundary of the space where the mesh exists can be mapped to the boundary of the parameter space.
  • Internal points excluding the boundary of the space in which the mesh exists may be mapped to the inside of the boundary of the parameter space, and at this time, a method of maximally maintaining the topology of the mesh using an energy function may be used.
  • the mesh parameterization since the scan data can be mapped into a two-dimensional space, the patterned data used for the deep learning can be appropriately formed.
  • landmarks (feature points) of the teeth may be obtained using an artificial intelligence neural network in order to make the boundary mapping order constant.
  • the method for automatically separating teeth from 3D scan data includes converting 3D scan data into a 2D image (S100), using a first artificial intelligence neural network (AI 1) receiving the 2D image. determining a 3D landmark (S200), generating cutting data by cutting the scan data using the 3D landmark (S300), anchoring using the 3D landmark and the cutting data Determining a point (S400), generating mapping data by mapping the cutting data to a predetermined space using the anchor point (S500), a second artificial intelligence neural network (AI 2) receiving the mapping data It may include determining a segmentation mask by using (S600) and mapping the segmentation mask to the scan data or the cutting data (S700).
  • the method of automatically separating teeth from 3D scan data according to this embodiment may be performed by a computing device.
  • FIG. 3 is a diagram illustrating a step (S100) of converting the scan data (Mesh) of FIG. 1 into a 2D image (Captured Image).
  • the input of the first artificial intelligence neural network (AI 1) is a 2D image
  • a step of converting the 3D scan data into the 2D image may be included.
  • the 2D image may be RGB grayscale data including red grayscale, green grayscale, and blue grayscale.
  • the 2D image may be black and white grayscale data.
  • the 2D image may be a depth map including depth information.
  • Converting the scan data into the 2D image may include a principal axis normalization step.
  • the principal axis normalization is to set spatial orientation through principal axis analysis.
  • a first principal axis, a second principal axis, and a third principal axis perpendicular to each other may be determined by analyzing principal axes formed by points in the scan data.
  • the longest axis among the first main axis, the second main axis, and the third main axis extracted through the principal axis analysis can be determined as the left and right direction of the U-shape of the tooth.
  • the shortest axis among the first main axis, the second main axis, and the third main axis may be determined as a vertical direction of the U-shape.
  • the second longest axis among the first main axis, the second main axis, and the third main axis may be determined as the front-back direction of the U-shape.
  • the scan data may be aligned so that the occlusal surface of the tooth is visible as best as possible.
  • FIG. 4 is a diagram illustrating a step (S200) of determining 3D landmarks using the first artificial intelligence neural network (AI 1) of FIG. 1 .
  • the first artificial intelligence neural network AI 1 may receive the 2D image and determine a 3D landmark.
  • the input of the first artificial intelligence neural network (AI 1) may be the 2-dimensional image generated in step S100, and the output of the first artificial intelligence neural network (AI 1) may be the coordinates of a 3-dimensional landmark. there is.
  • the step of determining a 3D landmark using the first artificial intelligence neural network (AI 1) (S200) is a 2D landmark from the 2D image using the first artificial intelligence neural network (AI 1). and converting the 2D landmark into the 3D landmark.
  • the input of the first artificial intelligence neural network AI 1 may be the 2D image generated in step S100, and the output of the first artificial neural network AI 1 may be 2D landmark coordinates.
  • the converting of the 2D landmark into the 3D landmark may be an inverse transform of the transform performed in step S100.
  • the first artificial intelligence neural network AI 1 may be a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the 3D landmark may include at least three tooth feature points.
  • the 3-dimensional landmark is a first point (P 1 (x 1 , y 1 , z 1 )) disposed in the outermost tooth of the first side, and a second point disposed between two central incisors ( It may include P 2 (x 2 , y 2 , z 2 )) and a third point (P 3 (x 3 , y 3 , z 3 )) disposed within the outermost tooth on the second side.
  • the first point P 1 (x 1 , y 1 , z 1 ) may be disposed at a surface center point of the innermost molar tooth on the first side.
  • the third point (P 3 (x 3 , y 3 , z 3 )) may be disposed at the surface center point of the innermost molar tooth on the second side.
  • the second point P 2 (x 2 , y 2 , z 2 ) may be disposed at the center point of the two central incisors.
  • the 3D landmark may be used to cut unnecessary parts in the scan data, and may be used to set an anchor point that is a reference when mesh parameterization is performed.
  • the 3D landmark includes three points
  • the present invention is not limited thereto, and the 3D landmark may include more than three points. If the number of points included in the 3D landmark increases, the accuracy of mesh parameterization may increase, but the computational load may increase.
  • FIG. 5 is a diagram illustrating a step (S300) of cutting the scan data using the 3D landmarks of FIG. 1 .
  • FIG. 6 is a diagram showing vectors used in the step of cutting the scan data using the 3D landmark of FIG. 1 (S300).
  • 7 and 8 are diagrams illustrating cutting planes used in the step of cutting the scan data using the 3D landmark of FIG. 1 (S300).
  • the step of generating the cutting data (Cut Mesh) by cutting the scan data (S300) is defined by the first point (P 1 ) and the third point (P 3 ).
  • the cutting data may be generated by cutting the scan data using the first to fourth cutting planes CP1 , CP2 , CP3 , and CP4 generated by using .
  • the first side normal vector (n side1 ) is located at a first cutting point moved toward the outside of the tooth from the first point (P 1 ) to the first side. ) as a normal vector, the scan data may be cut using the first cutting plane CP1.
  • the second side normal vector (n side2 ) is located at a second cutting point that moves toward the outside of the tooth from the third point (P 3 ) to the second side. ) as a normal vector, the scan data may be cut using the second cutting plane CP2.
  • the lower surface normal vector ( The scan data may be cut using the third cutting plane CP3 having n down ) as a normal vector.
  • the back surface normal vector ( The scan data may be cut using the fourth cutting plane CP4 having n back ) as a normal vector.
  • the cutting data (Cut Mesh) is shown in the lower right corner of FIG. 5 .
  • FIG. 9 is a diagram showing the step (S400) of determining anchor points (3D Anchor Points) using the 3D landmarks and cutting data (Cut Mesh) of FIG. 1 .
  • FIG. 10 is a diagram showing a spline curve used in the step of determining 3D anchor points (S400) using the 3D landmarks and the cutting data (Cut Mesh) of FIG. 1 .
  • FIG. 11 is a diagram showing planes used in the step of determining 3D anchor points (S400) using the 3D landmarks and the cutting data (Cut Mesh) of FIG. 1 .
  • 12 shows the anchor points determined in the step of determining 3D anchor points (S400) using the 3D landmarks and the cutting data (Cut Mesh) of FIG. 1 (3D Anchor Points).
  • determining the anchor point (S400) is the first point (P 1 ), the second point (P 2 ) and A curve connecting the third point P 3 may be used.
  • the curve may be a spline curve.
  • the second plane AP2 having the slope of the curve as a normal vector may be used.
  • the anchor point (S400) two outermost points among the points where the first plane AP1 and the cutting data (Cut Mesh) meet are selected as a first anchor point (3 in FIG. 12). and the second anchor point (4 in FIG. 12), and the two outermost points among the points where the second plane AP2 and the cutting data (Cut Mesh) meet are designated as the third anchor point (1 in FIG. 12). and a fourth anchor point (2 in FIG. 12).
  • FIG. 13 is a diagram illustrating a step (S500) of mapping the cutting data (Cut Mesh) to a predetermined space using the anchor points (3D Anchor Points) of FIG. 1 .
  • 14 is a view showing the cutting data (Cut Mesh) in which the anchor points 1, 2, 3, and 4 are displayed.
  • 15 is a diagram showing curvature values of respective points in the cutting data (Cut Mesh).
  • FIG. 16 is a diagram showing the predetermined space used in the step of mapping the cutting data (Cut Mesh) to the predetermined space using the anchor points (3D Anchor Points) of FIG. 1 (S500).
  • 17 is a diagram illustrating the curvature value of the cutting data (Cut Mesh) mapped to the predetermined space.
  • the cutting data (Cut Mesh) may be mapped to a predetermined space using the anchor points (3D Anchor Points), and this step may be referred to as mesh parameterization.
  • the predetermined space may have a rectangular shape.
  • the generating of the mapping data (S500) includes the first anchor point (3 in FIG. 12), the second anchor point (4 in FIG. 12), the third anchor point (1 in FIG. 12) and the fourth anchor point (3 in FIG. 12).
  • the mapping data may be generated by corresponding anchor points (2 in FIG. 12 ) to the four vertexes of the rectangle, respectively.
  • the step of generating the mapping data (S500) includes converting the cutting data (Cut Mesh) into curvature data representing the curvature value (Curvature) of each point in the cutting data (Cut Mesh). can do.
  • FIG. 14 shows the cutting data (Cut Mesh)
  • FIG. 15 shows curvature data indicating the curvature value of each point in the cutting data (Cut Mesh).
  • the curvature data may indicate a maximum curvature value, a minimum curvature value, a Gaussian curvature value, and an average curvature value.
  • the curvature data represents the minimum curvature value of each point.
  • the curvature value may have a relatively constant value.
  • the curvature value may greatly change at the boundary between the teeth. Therefore, the curvature value is a value that well represents the part where the tooth and the gum come into contact, and when segmentation of the tooth is performed using the curvature value, the accuracy may be relatively high.
  • Conventional curvature data may have a black color when the curvature value is large, and a white color when the curvature value is small.
  • a step of inverting the gray color of the curvature data may be further performed so that when the minimum curvature value of each point is large, it is expressed as white, and when the minimum curvature value of each point is small, it is expressed as black.
  • . 15 is a diagram in which gray of the curvature data is inverted, and accordingly, a portion having a large minimum curvature value is represented in white, and a portion having a small minimum curvature value is represented in black. For example, when gray of the curvature data is not inverted, contrary to FIG. 15 , black is displayed when the minimum curvature value is large, and white is displayed when the minimum curvature value is small.
  • a significant portion (a portion having a large minimum curvature value), such as a portion where teeth and gums come into contact, is displayed in black.
  • a significant portion shows white.
  • the conventional curvature data displays the part where the curvature value does not exist in black. If the gray inversion of the curvature data is not performed, a significant part (eg, a part where the teeth and gums touch) appears in black. In this case, the part where the curvature value does not exist is also displayed in black, There is a problem in that a part where no curvature value exists is misunderstood as a significant part. Conversely, when gray inversion of the curvature data is performed, a significant part (eg, a part where the teeth and gums touch) appears in white color. It is possible to eliminate misjudgment due to the part where the value does not exist.
  • a significant part eg, a part where the teeth and gums touch
  • FIG. 17 is a result of converting the cutting data (Cut Mesh) of FIG. 14 to the curvature data of FIG. 15 and then mapping the anchor point to a predetermined rectangular space (parameter space) of FIG. 16 (parameterized image ).
  • FIG. 18 is a diagram illustrating a step (S600) of determining a segmentation mask using the second artificial intelligence neural network AI 2 of FIG. 1 .
  • FIG. 19 is a diagram illustrating the mapping of the segmentation mask of FIG. 1 to the scan data (S700).
  • the segmentation mask may be determined by passing the mapping data (parameterized image) through the second artificial intelligence neural network (AI2).
  • the second artificial intelligence neural network AI 2 may receive the 2-dimensional mapping data (parameterized image) and determine the 2-dimensional segmentation mask.
  • the segmentation mask assigns a label of 0 to 16 to each region of the mapping data (parameterized image). can be understood as indicated.
  • the second artificial intelligence neural network AI 2 may be a convolutional neural network (CNN).
  • CNN convolutional neural network
  • tooth segmented scan data may be obtained by mapping the 2-dimensional segmentation mask to the 3-dimensional scan data.
  • the 2-dimensional segmentation mask may be mapped to the 3-dimensional cutting data (Cut Mesh).
  • tooth separation is performed fully automatically through mesh parameterization and deep learning, thereby reducing time and effort for separating teeth from scan data.
  • 3D landmarks are automatically determined using the first artificial intelligence neural network (AI 1), and scan data (Mesh) is cut using the 3D landmarks.
  • Anchor points (3D Anchor Points) are determined using dimensional landmarks (3D Landmarks) and cutting data (Cut Mesh), and the cutting data (3D Anchor Points) is determined in advance using the anchor points (3D Anchor Points). can be mapped in space.
  • the accuracy of automatic tooth separation can be further improved by determining the segmentation mask by using the parameterized image mapped to the predetermined space as an input of the second artificial intelligence neural network (AI 2).
  • 20 is a flowchart illustrating a method for automatically separating teeth from 3D scan data according to an embodiment of the present invention.
  • 21 is a conceptual diagram illustrating the automatic tooth separation method of FIG. 20 .
  • the automatic tooth separation method according to this embodiment is substantially the same as the automatic tooth separation method of FIGS. 1 to 19 except for the input of the first artificial intelligence neural network, the same reference numerals are used for the same or similar components, , duplicate descriptions are omitted.
  • the method for automatically separating teeth from 3D scan data determines a 3D landmark using a first artificial intelligence neural network (AI 1) receiving 3D scan data. (S250), generating cutting data by cutting the scan data using the 3D landmark (S300), and determining an anchor point using the 3D landmark and the cutting data (S400). ), generating mapping data by mapping the cutting data to a predetermined space using the anchor point (S500), determining a segmentation mask using a second artificial intelligence neural network (AI 2) receiving the mapping data (S600) and mapping the segmentation mask to the scan data or the cutting data (S700).
  • AI 1 artificial intelligence neural network
  • AI 2 second artificial intelligence neural network
  • the method of automatically separating teeth from 3D scan data according to this embodiment may be performed by a computing device.
  • the first artificial intelligence neural network (AI 1) is a two-dimensional image
  • the first artificial neural network (AI 1) has an input
  • a case of 3D scan data is exemplified.
  • the first artificial intelligence neural network AI 1 may receive the 3D scan data and directly determine the coordinates of the 3D landmark.
  • the second artificial intelligence neural network AI 2 may receive the 2-dimensional mapping data (Parameterized Image) and determine the 2-dimensional segmentation mask.
  • tooth separation is performed fully automatically through mesh parameterization and deep learning, thereby reducing time and effort for separating teeth from scan data.
  • 3D landmarks are automatically determined using the first artificial intelligence neural network (AI 1), and scan data (Mesh) is cut using the 3D landmarks.
  • Anchor points (3D Anchor Points) are determined using dimensional landmarks (3D Landmarks) and cutting data (Cut Mesh), and the cutting data (3D Anchor Points) is determined in advance using the anchor points (3D Anchor Points). can be mapped in space.
  • the accuracy of automatic tooth separation can be further improved by determining the segmentation mask by using the parameterized image mapped to the predetermined space as an input of the second artificial intelligence neural network (AI 2).
  • 22 is a flowchart illustrating a method for automatically separating teeth from 3D scan data according to an embodiment of the present invention.
  • the automatic tooth separation method illustrates a case of performing the automatic tooth separation method in a situation in which a 3D landmark and scan data (or cutting data) are given. That is, converting the scan data into a 2D image (S100), determining a 3D landmark using the first artificial intelligence neural network (S200), and cutting the scan data using the 3D landmark (S300) Except for not including the step of, since it is substantially the same as the automatic tooth separation method of FIGS. 1 to 19, the same reference numerals are used for the same or similar components, and overlapping descriptions are omitted.
  • the method for automatically separating teeth from 3D scan data uses 3D scan data (Mesh) and 3D landmarks of the scan data (Mesh). Determining anchor points (3D Anchor Points) (S450), and mapping the scan data (Mesh) to a predetermined space using the anchor points (3D Anchor Points) to generate mapping data (Parameterized Mesh). (S500), determining a segmentation mask using an artificial intelligence neural network (AI 2) receiving the mapping data (Parameterized Mesh) (S600) and mapping the segmentation mask to the scan data (Mesh) (S700) ) may be included.
  • AI 2 artificial intelligence neural network
  • the method of automatically separating teeth from 3D scan data according to this embodiment may be performed by a computing device.
  • the step of determining a three-dimensional landmark using the first artificial intelligence neural network (AI 1) was omitted, and the step of generating cutting data by cutting scan data was also omitted.
  • the automatic tooth separation method of FIG. 22 includes determining an anchor point (S450), performing mesh parameterization using the anchor point (S500), and receiving the mapping data (Parameterized Mesh) as an artificial intelligence neural network ( It mainly includes determining a segmentation mask using AI 2) (S600).
  • tooth separation is performed fully automatically through mesh parameterization and deep learning, thereby reducing time and effort for separating teeth from scan data.
  • Anchor points (3D Anchor Points) are determined using the 3D landmarks and scan data (Mesh), and the scan data (3D Anchor Points) is determined in advance using the anchor points (3D Anchor Points). It can be mapped in a defined space. The accuracy of automatic tooth separation can be further improved by determining the segmentation mask by using the parameterized image mapped to the predetermined space as an input of the artificial intelligence neural network AI 2 .
  • a computer-readable recording medium on which a program for executing the method of automatically separating teeth from 3D scan data according to the above embodiments in a computer may be provided.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of data used in the above method may be recorded on a computer readable medium through various means.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs, RAMs, flash memories, and the like.
  • a hardware device specially configured to store and execute program instructions is included. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention.
  • the above-described method for automatically separating teeth from 3D scan data may be implemented in the form of a computer program or application stored in a recording medium and executed by a computer.
  • the present invention relates to a method for automatically separating teeth from three-dimensional scan data and a computer-readable recording medium on which a program for executing the same is recorded on a computer, which can reduce time and effort for separating teeth and improve accuracy. there is.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Architecture (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Otolaryngology (AREA)
  • Image Analysis (AREA)

Abstract

3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 2차원 영상으로 변환하는 단계, 2차원 영상을 입력 받는 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계, 3차원 랜드마크를 이용하여 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계, 3차원 랜드마크 및 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계, 앵커 포인트를 이용하여 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계, 맵핑 데이터를 입력 받는 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계 및 세그멘테이션 마스크를 스캔 데이터 또는 커팅 데이터에 맵핑하는 단계를 포함한다.

Description

3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
본 발명은 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 메쉬 파라미터라이제이션(mesh parameterization) 및 딥러닝(deep learning)을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있는 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
치과에서 진단, 분석, 보철물 제작 등을 위해 환자의 3차원 스캔 데이터에서 치아를 분리하는 기술이 필요하다. 특히, 치과계에서 구강 스캐너를 이용한 디지털 교정이 늘어가고 있다. 교정에서는 치아의 배열, 교합 등을 예측하고 이에 적합한 계획 수립이 중요한데 이를 위해서는 치아 분리가 필수적이다.
치아 분리를 위해 널리 사용되는 방법은 다음과 같다. 먼저, 구강 스캐너로 치아 스캔 데이터를 얻는다. 그 후 작업자가 치아의 경계를 수작업으로 지정해주고, 축 정보와 치아의 경계를 이용하여 치아 분리에 사용할 평면을 지정하며, 마지막으로 치아와 치아 사이의 분리된 면을 확인하고 필요한 부분을 수정하여 마무리한다. 그리고 이와 같은 과정을 모든 치아에 대하여 반복적으로 수행하여 분리된 치아 데이터를 획득할 수 있다.
이와 같이 작업자가 수작업을 하는 경우, 3차원 데이터에 대해 2차원 화면을 통해 육안으로 경계를 지정하여야 하므로 그 정확도가 떨어지며, 작업자의 높은 숙련도와 많은 시간을 요구하는 문제가 있다.
본 발명이 이루고자 하는 목적은 메쉬 파라미터라이제이션(mesh parameterization) 및 딥러닝을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있는 3차원 스캔 데이터의 치아 자동 분리 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 상기 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 2차원 영상으로 변환하는 단계, 상기 2차원 영상을 입력 받는 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계, 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계, 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계, 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계, 상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계 및 상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 스캔 데이터를 상기 2차원 영상으로 변환하는 단계는 상기 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단하는 주축 정규화 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 인공지능 신경망을 이용하여 상기 3차원 랜드마크를 판단하는 단계는 상기 제1 인공지능 신경망을 이용하여 상기 2차원 영상으로부터 2차원 랜드마크를 판단하는 단계 및 상기 2차원 랜드마크를 상기 3차원 랜드마크로 변환하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 랜드마크는 제1 측의 최외곽 치아 내에 배치되는 제1 점, 2개의 중절치의 사이에 배치되는 제2 점 및 제2 측의 최외곽 치아 내에 배치되는 제3 점을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제1 점 및 상기 제3 점에 의해 정의되는 제1 측면 노멀 벡터, 상기 제1 점 및 상기 제3 점에 의해 정의되는 제2 측면 노멀 벡터, 상기 제1 점, 상기 제2 점 및 상기 제3 점에 의해 생성되는 하면 노멀 벡터 및 상기 제1 측면 노멀 벡터 및 상기 하면 노멀 벡터에 의해 생성되는 후면 노멀 벡터를 이용할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 점이 P1, 상기 제2 점이 P2, 상기 제3 점이 P3, 상기 제1 측면 노멀 벡터가 nside1, 상기 제2 측면 노멀 벡터가 nside2, 상기 하면 노멀 벡터가 ndown, 상기 후면 노멀 벡터가 nback일 때,
Figure PCTKR2022000911-appb-I000001
,
Figure PCTKR2022000911-appb-I000002
,
Figure PCTKR2022000911-appb-I000003
, 및
Figure PCTKR2022000911-appb-I000004
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제1 점으로부터 상기 제1 측으로 치아의 바깥쪽을 향하여 이동한 제1 커팅 점에서 상기 제1 측면 노멀 벡터를 노멀 벡터로 갖는 제1 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제3 점으로부터 상기 제2 측으로 치아의 바깥쪽을 향하여 이동한 제2 커팅 점에서 상기 제2 측면 노멀 벡터를 노멀 벡터로 갖는 제2 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제1 점 및 상기 제3 점의 중점으로부터 하면을 향하여 이동한 제3 커팅 점에서 상기 하면 노멀 벡터를 노멀 벡터로 갖는 제3 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 커팅 데이터를 생성하는 단계는 상기 제1 점 및 상기 제3 점의 중점으로부터 후면을 향하여 이동한 제4 커팅 점에서 상기 후면 노멀 벡터를 노멀 벡터로 갖는 제4 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 앵커 포인트를 판단하는 단계는 상기 제1 점, 상기 제2 점 및 상기 제3 점을 연결한 곡선을 이용할 수 있다.
본 발명의 일 실시예에 있어서, 상기 앵커 포인트를 판단하는 단계는 상기 제1 점에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제1 평면 및 상기 제3 점에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제2 평면을 이용할 수 있다.
본 발명의 일 실시예에 있어서, 상기 앵커 포인트를 판단하는 단계는 상기 제1 평면과 상기 커팅 데이터가 만나는 점 중 최외곽 점 2개를 제1 앵커 포인트 및 제2 앵커 포인트로 판단하고, 상기 제2 평면과 상기 커팅 데이터가 만나는 점 중 최외곽 점 2개를 제3 앵커 포인트 및 제4 앵커 포인트로 판단할 수 있다.
본 발명의 일 실시예에 있어서, 상기 미리 정해진 공간은 직사각형일 수 있다. 상기 맵핑 데이터를 생성하는 단계는 상기 제1 앵커 포인트, 상기 제2 앵커 포인트, 상기 제3 앵커 포인트 및 상기 제4 앵커 포인트를 상기 직사각형의 4개의 꼭지점에 대응시켜 상기 맵핑 데이터를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 맵핑 데이터를 생성하는 단계는 상기 커팅 데이터를 상기 커팅 데이터 내의 각 점의 곡률값을 나타내는 곡률 데이터로 변환하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타낼 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 스캔 데이터의 치아 자동 분리 방법은 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현되고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현되도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 인공지능 신경망은 상기 스캔 데이터를 변환하여 생성된 상기 2차원 영상을 입력 받아 상기 3차원 랜드마크를 판단할 수 있다. 상기 제2 인공지능 신경망은 2차원의 상기 맵핑 데이터를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 입력 받는 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계, 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계, 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계, 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계, 상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계 및 상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 제1 인공지능 신경망은 상기 3차원의 상기 스캔 데이터를 입력 받아 상기 3차원 랜드마크를 판단할 수 있다. 상기 제2 인공지능 신경망은 2차원의 상기 맵핑 데이터를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터 및 상기 스캔 데이터의 3차원 랜드마크를 이용하여 앵커 포인트를 판단하는 단계, 상기 앵커 포인트를 이용하여 상기 스캔 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계, 상기 맵핑 데이터를 입력 받는 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계 및 상기 세그멘테이션 마스크를 상기 스캔 데이터에 맵핑하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
본 발명에 따른 3차원 스캔 데이터의 치아 자동 분리 방법에 따르면, 메쉬 파라미터라이제이션 및 딥러닝을 통해 치아 분리가 완전 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.
제1 인공지능 신경망을 이용하여 3차원 랜드마크를 자동으로 판단하고, 상기 3차원 랜드마크를 이용하여 스캔 데이터를 커팅하며, 상기 3차원 랜드마크 및 커팅 데이터를 이용하여 앵커 포인트를 판단하고, 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑할 수 있다. 상기 미리 정해진 공간에 맵핑된 영상을 제2 인공지능 신경망의 입력으로 활용하여 세그멘테이션 마스크를 판단하여, 치아 자동 분리의 정확도를 더욱 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
도 2는 도 1의 치아 자동 분리 방법을 나타내는 개념도이다.
도 3은 도 1의 스캔 데이터를 2차원 영상으로 변환하는 단계를 나타내는 도면이다.
도 4는 도 1의 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계를 나타내는 도면이다.
도 5는 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계를 나타내는 도면이다.
도 6은 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계에서 사용되는 벡터들을 나타내는 도면이다.
도 7 및 도 8은 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계에서 사용되는 커팅 평면들을 나타내는 도면이다.
도 9는 도 1의 상기 3차원 랜드마크 및 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계를 나타내는 도면이다.
도 10은 도 1의 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계에서 사용되는 스플라인 커브를 나타내는 도면이다.
도 11은 도 1의 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계에서 사용되는 평면들을 나타내는 도면이다.
도 12는 도 1의 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계에서 판단된 앵커 포인트들을 나타내는 도면이다.
도 13은 도 1의 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하는 단계를 나타내는 도면이다.
도 14는 상기 앵커 포인트가 표시된 상기 커팅 데이터를 나타내는 도면이다.
도 15는 상기 커팅 데이터 내의 각 점들의 곡률값을 나타내는 도면이다.
도 16은 도 1의 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하는 단계에서 사용되는 상기 미리 정해진 공간을 나타내는 도면이다.
도 17은 상기 미리 정해진 공간에 맵핑된 상기 커팅 데이터의 상기 곡률값을 나타내는 도면이다.
도 18은 도 1의 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계를 나타내는 도면이다.
도 19는 도 1의 상기 세그멘테이션 마스크를 상기 스캔 데이터에 맵핑하는 단계를 나타내는 도면이다.
도 20은 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
도 21은 도 20의 치아 자동 분리 방법을 나타내는 개념도이다.
도 22는 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다. 도 2는 도 1의 치아 자동 분리 방법을 나타내는 개념도이다.
도 1 및 도 2를 참조하면, 본 발명에서는 메쉬 파라미터라이제이션(mesh parameterization) 및 딥러닝을 이용하여 3차원 스캔 데이터로부터 개별 치아를 완전 자동으로 분할할 수 있다. 예를 들어, 상기 스캔 데이터는 폴리곤메쉬(polygon mesh)로 이루어질 수 있으므로, 도 2 및 도 3에서 Mesh로 기재하였다.
일반적으로 딥러닝 네트워크는 일정한 크기의 데이터(정형 데이터)만을 입력 받을 수 있다. 상기 스캔 데이터는 3차원 폴리곤메쉬로 표현되며, 메쉬의 점이나 엣지, 셀의 개수가 데이터마다 다르다는 문제가 있다. 따라서, 상기 스캔 데이터를 입력으로 받는 딥러닝 네트워크의 정확도를 향상시키기 위해서는 상기 스캔 데이터를 정형 데이터로 만들어주는 과정이 필요할 수 있다. 본 발명에서는 상기 스캔 데이터를 정형 데이터로 만들어주기 위해 메쉬 파라미터라이제이션을 이용할 수 있다.
상기 메쉬 파라미터라이제이션은 3차원 메쉬를 구성하는 점들을 미리 정해진 다른 공간으로 일대일 맵핑시켜주는 것을 의미할 수 있다. 메쉬가 존재하는 공간에서 상기 미리 정해진 다른 공간(파라미터 공간)으로 맵핑을 하기 위해서는 먼저 상기 메쉬가 존재하는 공간의 바운더리를 상기 파라미터 공간의 바운더리로 맵핑할 수 있다. 상기 메쉬가 존재하는 공간의 바운더리를 제외한 내부 점들은 상기 파라미터 공간의 바운더리의 내부로 맵핑시킬 수 있으며, 이 때 에너지 함수를 사용하여 메쉬의 토폴로지(topology)를 최대한 유지하는 방법을 사용할 수 있다.
상기 메쉬 파라미터라이제이션을 이용하면, 상기 스캔 데이터를 2차원 공간으로 맵핑시킬 수 있기 때문에 상기 딥러닝에 이용하는 상기 정형 데이터를 적절하게 형성할 수 있다. 상기 메쉬 파라미터라이제이션을 적용할 때 바운더리의 맵핑 순서를 일정하게 해주기 위해 인공지능 신경망을 이용하여 치아의 랜드마크(특징점)를 얻을 수 있다.
본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 2차원 영상으로 변환하는 단계(S100), 상기 2차원 영상을 입력 받는 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크를 판단하는 단계(S200), 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계(S300), 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계(S400), 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계(S500), 상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600) 및 상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계(S700)를 포함할 수 있다.
본 실시예의 3차원 스캔 데이터의 치아 자동 분리 방법은 컴퓨팅 장치에 의해 수행될 수 있다.
도 3은 도 1의 스캔 데이터(Mesh)를 2차원 영상(Captured Image)으로 변환하는 단계(S100)를 나타내는 도면이다.
도 1 내지 도 3을 참조하면, 본 실시예에서, 상기 제1 인공지능 신경망(AI 1)의 입력은 2차원 영상이므로 상기 3차원의 스캔 데이터를 상기 2차원 영상으로 변환하는 단계를 포함할 수 있다.
예를 들어, 상기 2차원 영상은 레드 계조, 그린 계조 및 블루 계조를 포함하는 RGB 계조 데이터일 수 있다. 예를 들어, 상기 2차원 영상은 흑백 계조 데이터일 수 있다. 예를 들어, 상기 2차원 영상은 뎁스 정보를 포함하는 뎁스 맵(depth map)일 수 있다.
상기 스캔 데이터를 상기 2차원 영상으로 변환하는 단계는 주축 정규화 단계를 포함할 수 있다. 상기 주축 정규화는 주축 분석을 통해 공간상 오리엔테이션을 설정해주는 것이다. 상기 주축 정규화 단계에서는 상기 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단할 수 있다.
상기 주축 분석으로 추출된 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 긴 축은 치아의 U-shape의 좌우 방향으로 판단할 수 있다. 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 짧은 축은 상기 U-shape의 상하 방향으로 판단할 수 있다. 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 두 번째로 긴 축은 상기 U-shape의 전후 방향으로 판단할 수 있다.
상기 주축 정규화 단계를 통해 치아의 교합면이 최대한 잘 보이도록 상기 스캔 데이터를 정렬할 수 있다.
도 4는 도 1의 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크(3D Landmarks)를 판단하는 단계(S200)를 나타내는 도면이다.
도 1 내지 도 4를 참조하면, 상기 제1 인공지능 신경망(AI 1)은 상기 2차원 영상을 입력 받아 3차원 랜드마크를 판단할 수 있다. 예를 들어, 상기 제1 인공지능 신경망(AI 1)의 입력은 상기 S100 단계에서 생성된 상기 2차원 영상이고, 상기 제1 인공지능 신경망(AI 1)의 출력은 3차원 랜드마크의 좌표일 수 있다.
이와는 달리, 상기 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크를 판단하는 단계(S200)는 상기 제1 인공지능 신경망(AI 1)을 이용하여 상기 2차원 영상으로부터 2차원 랜드마크를 판단하는 단계 및 상기 2차원 랜드마크를 상기 3차원 랜드마크로 변환하는 단계를 포함할 수도 있다.
이 때에는 상기 제1 인공지능 신경망(AI 1)의 입력은 상기 S100 단계에서 생성된 상기 2차원 영상이고, 상기 제1 인공지능 신경망(AI 1)의 출력은 2차원 랜드마크 좌표일 수 있다.
상기 2차원 랜드마크를 상기 3차원 랜드마크로 변환하는 단계는 상기 S100 단계에서 수행한 변환의 역 변환일 수 있다.
예를 들어, 상기 제1 인공지능 신경망(AI 1)은 컨볼루셔널 신경망(Convolutional neural network, CNN)일 수 있다.
상기 3차원 랜드마크는 적어도 3개 이상의 치아 특징점들을 포함할 수 있다. 예를 들어, 상기 3차원 랜드마크는 제1 측의 최외곽 치아 내에 배치되는 제1 점(P1(x1, y1, z1)), 2개의 중절치의 사이에 배치되는 제2 점(P2(x2, y2, z2)) 및 제2 측의 최외곽 치아 내에 배치되는 제3 점(P3(x3, y3, z3))을 포함할 수 있다. 예를 들어, 상기 제1 점(P1(x1, y1, z1))은 상기 제1 측의 가장 안쪽의 대구치의 표면 중심점에 배치될 수 있다. 예를 들어, 상기 제3 점(P3(x3, y3, z3))은 상기 제2 측의 가장 안쪽의 대구치의 표면 중심점에 배치될 수 있다. 예를 들어, 상기 제2 점(P2(x2, y2, z2))은 상기 2개의 중절치의 중심점에 배치될 수 있다.
상기 3차원 랜드마크는 상기 스캔 데이터 내에서 필요 없는 부분을 잘라내기 위해 사용될 수 있고, 메쉬 파라미터라이제이션을 수행할 때에 기준이 되는 앵커 포인트를 설정하기 위해 사용될 수 있다.
본 실시예에서는 상기 3차원 랜드마크가 3개의 점을 포함하는 경우를 예시하였으나, 본 발명은 이에 한정되지 않으며, 상기 3차원 랜드마크는 3개보다 많은 점을 포함할 수도 있다. 상기 3차원 랜드마크가 포함하는 점의 개수가 많아지면, 메쉬 파라미터라이제이션의 정확도가 높아질 수 있는 반면, 연산 로드가 증가할 수 있다.
도 5는 도 1의 상기 3차원 랜드마크(3D Landmarks)를 이용하여 상기 스캔 데이터를 커팅하는 단계(S300)를 나타내는 도면이다. 도 6은 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계(S300)에서 사용되는 벡터들을 나타내는 도면이다. 도 7 및 도 8은 도 1의 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하는 단계(S300)에서 사용되는 커팅 평면들을 나타내는 도면이다.
도 1 내지 도 8을 참조하면, 상기 스캔 데이터를 커팅하여 상기 커팅 데이터(Cut Mesh)를 생성하는 단계(S300)는 상기 제1 점(P1) 및 상기 제3 점(P3)에 의해 정의되는 제1 측면 노멀 벡터(nside1), 상기 제1 점(P1) 및 상기 제3 점(P3)에 의해 정의되는 제2 측면 노멀 벡터(nside2), 상기 제1 점(P1), 상기 제2 점(P2) 및 상기 제3 점(P3)에 의해 생성되는 하면 노멀 벡터(ndown) 및 상기 제1 측면 노멀 벡터(nside1) 및 상기 하면 노멀 벡터(ndown)에 의해 생성되는 후면 노멀 벡터(nback)를 이용할 수 있다.
상기 커팅 데이터를 생성하는 단계(S300)는 상기 제1 측면 노멀 벡터(nside1), 상기 제2 측면 노멀 벡터(nside2), 상기 하면 노멀 벡터(ndown) 및 상기 후면 노멀 벡터(nback)를 이용하여 생성되는 제1 내지 제4 커팅 평면(CP1, CP2, CP3, CP4)을 이용하여 상기 스캔 데이터를 커팅하여 상기 커팅 데이터를 생성할 수 있다.
예를 들어, 상기 제1 점이 P1, 상기 제2 점이 P2, 상기 제3 점이 P3, 상기 제1 측면 노멀 벡터가 nside1, 상기 제2 측면 노멀 벡터가 nside2, 상기 하면 노멀 벡터가 ndown, 상기 후면 노멀 벡터가 nback일 때,
Figure PCTKR2022000911-appb-I000005
,
Figure PCTKR2022000911-appb-I000006
,
Figure PCTKR2022000911-appb-I000007
, 및
Figure PCTKR2022000911-appb-I000008
을 만족할 수 있다.
예를 들어, 상기 커팅 데이터를 생성하는 단계(S300)는 상기 제1 점(P1)으로부터 상기 제1 측으로 치아의 바깥쪽을 향하여 이동한 제1 커팅 점에서 상기 제1 측면 노멀 벡터(nside1)를 노멀 벡터로 갖는 제1 커팅 평면(CP1)을 이용하여 상기 스캔 데이터를 커팅할 수 있다.
예를 들어, 상기 커팅 데이터를 생성하는 단계(S300)는 상기 제3 점(P3)으로부터 상기 제2 측으로 치아의 바깥쪽을 향하여 이동한 제2 커팅 점에서 상기 제2 측면 노멀 벡터(nside2)를 노멀 벡터로 갖는 제2 커팅 평면(CP2)을 이용하여 상기 스캔 데이터를 커팅할 수 있다.
예를 들어, 상기 커팅 데이터를 생성하는 단계(S300)는 상기 제1 점(P1) 및 상기 제3 점(P3)의 중점으로부터 하면을 향하여 이동한 제3 커팅 점에서 상기 하면 노멀 벡터(ndown)를 노멀 벡터로 갖는 제3 커팅 평면(CP3)을 이용하여 상기 스캔 데이터를 커팅할 수 있다.
예를 들어, 상기 커팅 데이터를 생성하는 단계(S300)는 상기 제1 점(P1) 및 상기 제3 점(P3)의 중점으로부터 후면을 향하여 이동한 제4 커팅 점에서 상기 후면 노멀 벡터(nback)를 노멀 벡터로 갖는 제4 커팅 평면(CP4)을 이용하여 상기 스캔 데이터를 커팅할 수 있다.
상기 커팅 데이터(Cut Mesh)는 도 5의 우측 하단에 도시하였다.
도 9는 도 1의 상기 3차원 랜드마크(3D Landmarks) 및 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S400)를 나타내는 도면이다. 도 10은 도 1의 상기 3차원 랜드마크(3D Landmarks) 및 상기 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S400)에서 사용되는 스플라인 커브를 나타내는 도면이다. 도 11은 도 1의 상기 3차원 랜드마크(3D Landmarks) 및 상기 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S400)에서 사용되는 평면들을 나타내는 도면이다. 도 12는 도 1의 상기 3차원 랜드마크(3D Landmarks) 및 상기 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S400)에서 판단된 앵커 포인트들(3D Anchor Points)을 나타내는 도면이다.
도 1 내지 도 12를 참조하면, 도 10에서 보듯이, 상기 앵커 포인트를 판단하는 단계(S400)는 상기 3차원 랜드마크의 상기 제1 점(P1), 상기 제2 점(P2) 및 상기 제3 점(P3)을 연결한 곡선을 이용할 수 있다. 예를 들어, 상기 곡선은 스플라인 커브(spline curve)일 수 있다.
도 11에서 보듯이, 상기 앵커 포인트를 판단하는 단계(S400)는 상기 제1 점(P1)에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제1 평면(AP1) 및 상기 제3 점(P3)에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제2 평면(AP2)을 이용할 수 있다.
예를 들어, 상기 앵커 포인트를 판단하는 단계(S400)는 상기 제1 평면(AP1)과 상기 커팅 데이터(Cut Mesh)가 만나는 점 중 최외곽 점 2개를 제1 앵커 포인트(도 12의 3) 및 제2 앵커 포인트(도 12의 4)로 판단하고, 상기 제2 평면(AP2)과 상기 커팅 데이터(Cut Mesh)가 만나는 점 중 최외곽 점 2개를 제3 앵커 포인트(도 12의 1) 및 제4 앵커 포인트(도 12의 2)로 판단할 수 있다.
도 13은 도 1의 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(Cut Mesh)를 미리 정해진 공간에 맵핑하는 단계(S500)를 나타내는 도면이다. 도 14는 상기 앵커 포인트(1, 2, 3, 4)가 표시된 상기 커팅 데이터(Cut Mesh)를 나타내는 도면이다. 도 15는 상기 커팅 데이터(Cut Mesh) 내의 각 점들의 곡률값을 나타내는 도면이다. 도 16은 도 1의 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(Cut Mesh)를 미리 정해진 공간에 맵핑하는 단계(S500)에서 사용되는 상기 미리 정해진 공간을 나타내는 도면이다. 도 17은 상기 미리 정해진 공간에 맵핑된 상기 커팅 데이터(Cut Mesh)의 상기 곡률값을 나타내는 도면이다.
도 1 내지 도 17을 참조하면, 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(Cut Mesh)를 미리 정해진 공간에 맵핑할 수 있으며, 이러한 단계를 메쉬 파라미터라이제이션이라고 할 수 있다.
도 16을 보면, 상기 미리 정해진 공간은 직사각형일 수 있다. 상기 맵핑 데이터를 생성하는 단계(S500)는 상기 제1 앵커 포인트(도 12의 3), 상기 제2 앵커 포인트(도 12의 4), 상기 제3 앵커 포인트(도 12의 1) 및 상기 제4 앵커 포인트(도 12의 2)를 상기 직사각형의 4개의 꼭지점에 각각 대응시켜 상기 맵핑 데이터를 생성할 수 있다.
본 실시예에서, 상기 맵핑 데이터를 생성하는 단계(S500)는 상기 커팅 데이터(Cut Mesh)를 상기 커팅 데이터(Cut Mesh) 내의 각 점의 곡률값(Curvature)을 나타내는 곡률 데이터로 변환하는 단계를 포함할 수 있다.
도 14는 상기 커팅 데이터(Cut Mesh)를 도시하고, 도 15는 상기 커팅 데이터(Cut Mesh) 내의 각 점의 곡률값을 나타내는 곡률 데이터를 도시한다.
예를 들어, 상기 곡률 데이터는 최대 곡률값, 최소 곡률값, 가우시안 곡률값 및 평균 곡률값을 나타낼 수 있다. 도 15에서는 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타낸다.
상기 치아의 상면의 경우 곡률값이 비교적 일정한 값을 가질 수 있다. 반면, 치아와 치아의 경계부에서는 상기 곡률값이 크게 변화할 수 있다. 따라서, 상기 곡률값은 치아와 잇몸이 닿는 부분을 잘 나타내는 값이며, 상기 곡률값을 이용하여 치아의 세그멘테이션을 수행하는 경우 그 정확도가 상대적으로 높을 수 있다.
종래의 곡률 데이터는 상기 곡률값이 클수록 검은색을 갖고, 작을수록 흰색을 가질 수 있다.
본 실시예에서는 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현하고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현하도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 수행할 수 있다. 도 15는 상기 곡률 데이터의 그레이가 반전된 도면이며, 따라서, 상기 최소 곡률값이 큰 부분이 흰색으로 표현되었고, 상기 최소 곡률값이 작은 부분이 검은색으로 표현되었다. 예를 들어, 상기 곡률 데이터의 그레이를 반전하지 않는 경우, 도 15와 반대로, 상기 최소 곡률값이 큰 경우 검은색을 나타내고, 상기 최소 곡률값이 작은 경우 흰색을 나타내게 된다.
즉, 상기 곡률 데이터가 상기 최소 곡률값을 반전하지 않은 값을 갖는 경우, 치아와 잇몸이 닿는 부분과 같이 유의미한 부분(최소 곡률값이 큰 부분)이 검은색을 나타내게 된다. 그러나, 본 실시예에서는 상기 그레이 반전으로 인해, 치아와 잇몸이 닿는 부분과 같이 유의미한 부분(최소 곡률값이 큰 부분)이 흰색을 나타내게 된다.
예를 들어, 스캔 데이터에 홀이 있어서 해당 부분에 포인트 자체가 존재하지 않아 곡률값이 존재하지 않는 경우, 종래의 곡률 데이터는 곡률값이 존재하지 않는 부분을 검은색으로 표시하게 된다. 만약, 상기 곡률 데이터의 그레이 반전을 하지 않는 경우, 유의미한 부분(예컨대, 치아와 잇몸이 닿는 부분)이 검은색으로 나타나게 되는데, 이 경우에 곡률값이 존재하지 않는 부분도 마찬가지로 검은색으로 표시되어, 곡률값이 존재하지 않는 부분이 유의미한 부분으로 오인되는 문제가 있다. 반대로, 상기 곡률 데이터의 그레이 반전이 수행되는 경우, 유의미한 부분(예컨대, 치아와 잇몸이 닿는 부분)이 흰색으로 나타나게 되며, 이 경우에는 곡률값이 존재하지 않는 홀 부분이 유의미한 부분으로 인식하지 않으므로 곡률값이 존재하지 않는 부분으로 인한 오판단을 제거할 수 있다.
도 17은 도 14의 상기 커팅 데이터(Cut Mesh)를 도 15의 상기 곡률 데이터로 변환한 후에, 상기 앵커 포인트를 이용하여 도 16의 미리 정해진 직사각형의 공간(파리미터 공간)에 맵핑한 결과(parameterized image)를 나타낸다.
도 18은 도 1의 제2 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600)를 나타내는 도면이다. 도 19는 도 1의 상기 세그멘테이션 마스크를 상기 스캔 데이터에 맵핑하는 단계(S700)를 나타내는 도면이다.
도 1 내지 도 19를 참조하면, 상기 맵핑 데이터(parameterized image)를 상기 제2 인공지능 신경망(AI 2)에 통과시켜 상기 세그멘테이션 마스크를 판단할 수 있다. 예를 들어, 상기 제2 인공지능 신경망(AI 2)은 2차원의 상기 맵핑 데이터(parameterized image)를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단할 수 있다.
배경 부분이 0의 레이블을 갖고, 1번 내지 16번 치아 부분이 각각 1 내지 16의 레이블을 갖는다고 할 때, 상기 세그멘테이션 마스크는 상기 맵핑 데이터(parameterized image)의 각 영역에 0 내지 16의 레이블을 표시한 것으로 이해할 수 있다.
예를 들어, 상기 제2 인공지능 신경망(AI 2)은 컨볼루셔널 신경망(Convolutional neural network, CNN)일 수 있다.
2차원의 상기 세그멘테이션 마스크를 3차원의 상기 스캔 데이터에 맵핑하여 최종적으로 치아 세그멘테이션이 완료된 스캔 데이터(Segmented Mesh)를 얻을 수 있다. 2차원의 상기 세그멘테이션 마스크를 3차원의 상기 스캔 데이터(Mesh)에 맵핑하는 경우를 예시하였으나, 2차원의 상기 세그멘테이션 마스크를 3차원의 상기 커팅 데이터(Cut Mesh)에 맵핑할 수도 있다.
본 실시예에 따르면, 메쉬 파라미터라이제이션 및 딥러닝을 통해 치아 분리가 완전 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.
상기 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크(3D Landmarks)를 자동으로 판단하고, 상기 3차원 랜드마크(3D Landmarks)를 이용하여 스캔 데이터(Mesh)를 커팅하며, 상기 3차원 랜드마크(3D Landmarks) 및 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하고, 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(3D Anchor Points)를 미리 정해진 공간에 맵핑할 수 있다. 상기 미리 정해진 공간에 맵핑된 영상(Parameterized Image)을 상기 제2 인공지능 신경망(AI 2)의 입력으로 활용하여 상기 세그멘테이션 마스크를 판단하여, 치아 자동 분리의 정확도를 더욱 향상시킬 수 있다.
도 20은 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다. 도 21은 도 20의 치아 자동 분리 방법을 나타내는 개념도이다.
본 실시예에 따른 치아 자동 분리 방법은 제1 인공지능 신경망의 입력을 제외하면, 도 1 내지 도 19의 치아 자동 분리 방법과 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략한다.
도 20 및 도 21을 참조하면, 본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터를 입력 받는 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크를 판단하는 단계(S250), 상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계(S300), 상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계(S400), 상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계(S500), 상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600) 및 상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계(S700)를 포함할 수 있다.
본 실시예의 3차원 스캔 데이터의 치아 자동 분리 방법은 컴퓨팅 장치에 의해 수행될 수 있다.
도 1 내지 도 19의 치아 자동 분리 방법에서는 상기 제1 인공지능 신경망(AI 1)의 입력이 2차원 영상인 경우를 예시하였으나, 본 실시예에서 상기 제1 인공지능 신경망(AI 1)은 입력이 3차원 스캔 데이터인 경우를 예시한다.
본 실시예에서, 상기 제1 인공지능 신경망(AI 1)은 상기 3차원 스캔 데이터를 입력 받아 상기 3차원 랜드마크의 좌표를 직접 판단할 수 있다.
본 실시예에서, 상기 제2 인공지능 신경망(AI 2)은 2차원의 상기 맵핑 데이터(Parameterized Image)를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단할 수 있다.
본 실시예에 따르면, 메쉬 파라미터라이제이션 및 딥러닝을 통해 치아 분리가 완전 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.
상기 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크(3D Landmarks)를 자동으로 판단하고, 상기 3차원 랜드마크(3D Landmarks)를 이용하여 스캔 데이터(Mesh)를 커팅하며, 상기 3차원 랜드마크(3D Landmarks) 및 커팅 데이터(Cut Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하고, 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 커팅 데이터(3D Anchor Points)를 미리 정해진 공간에 맵핑할 수 있다. 상기 미리 정해진 공간에 맵핑된 영상(Parameterized Image)을 상기 제2 인공지능 신경망(AI 2)의 입력으로 활용하여 상기 세그멘테이션 마스크를 판단하여, 치아 자동 분리의 정확도를 더욱 향상시킬 수 있다.
도 22는 본 발명의 일 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
본 실시예에 따른 치아 자동 분리 방법은 3차원 랜드마크 및 스캔 데이터(또는 커팅 데이터)가 주어진 상황에서 치아 자동 분리 방법을 수행하는 경우를 예시한다. 즉, 스캔 데이터를 2차원 영상으로 변환하는 단계(S100), 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계(S200) 및 3차원 랜드마크를 이용하여 스캔 데이터를 커팅(S300)하는 단계를 포함하지 않는 것을 제외하면, 도 1 내지 도 19의 치아 자동 분리 방법과 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략한다.
도 2 및 도 22를 참조하면, 본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 스캔 데이터(Mesh) 및 상기 스캔 데이터(Mesh)의 3차원 랜드마크(3D Landmarks)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하는 단계(S450), 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 스캔 데이터(Mesh)를 미리 정해진 공간에 맵핑하여 맵핑 데이터(Parameterized Mesh)를 생성하는 단계(S500), 상기 맵핑 데이터(Parameterized Mesh)를 입력 받는 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600) 및 상기 세그멘테이션 마스크를 상기 스캔 데이터(Mesh)에 맵핑하는 단계(S700)를 포함할 수 있다.
본 실시예의 3차원 스캔 데이터의 치아 자동 분리 방법은 컴퓨팅 장치에 의해 수행될 수 있다.
도 22의 치아 자동 분리 방법에서는 제1 인공지능 신경망(AI 1)을 이용하여 3차원 랜드마크를 판단하는 단계를 생략하였고, 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계도 생략하였다.
도 22의 치아 자동 분리 방법은 앵커 포인트를 판단하는 단계(S450), 상기 앵커 포인트를 이용하여 메쉬 파라미터라이제이션을 수행하는 단계(S500), 상기 맵핑 데이터(Parameterized Mesh)를 입력 받아 인공지능 신경망(AI 2)을 이용하여 세그멘테이션 마스크를 판단하는 단계(S600)를 중점적으로 포함한다.
본 실시예에 따르면, 메쉬 파라미터라이제이션 및 딥러닝을 통해 치아 분리가 완전 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.
상기 3차원 랜드마크(3D Landmarks) 및 스캔 데이터(Mesh)를 이용하여 앵커 포인트(3D Anchor Points)를 판단하고, 상기 앵커 포인트(3D Anchor Points)를 이용하여 상기 스캔 데이터(3D Anchor Points)를 미리 정해진 공간에 맵핑할 수 있다. 상기 미리 정해진 공간에 맵핑된 영상(Parameterized Image)을 상기 인공지능 신경망(AI 2)의 입력으로 활용하여 상기 세그멘테이션 마스크를 판단하여, 치아 자동 분리의 정확도를 더욱 향상시킬 수 있다.
본 발명의 일 실시예에 의하면, 상기 실시예들에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 3차원 스캔 데이터의 치아 자동 분리 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
본 발명은 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (22)

  1. 3차원의 스캔 데이터를 2차원 영상으로 변환하는 단계;
    상기 2차원 영상을 입력 받는 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계;
    상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계;
    상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계;
    상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계;
    상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계; 및
    상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계를 포함하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  2. 제1항에 있어서, 상기 스캔 데이터를 상기 2차원 영상으로 변환하는 단계는
    상기 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단하는 주축 정규화 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  3. 제1항에 있어서, 상기 제1 인공지능 신경망을 이용하여 상기 3차원 랜드마크를 판단하는 단계는
    상기 제1 인공지능 신경망을 이용하여 상기 2차원 영상으로부터 2차원 랜드마크를 판단하는 단계; 및
    상기 2차원 랜드마크를 상기 3차원 랜드마크로 변환하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  4. 제1항에 있어서, 상기 3차원 랜드마크는
    제1 측의 최외곽 치아 내에 배치되는 제1 점;
    2개의 중절치의 사이에 배치되는 제2 점; 및
    제2 측의 최외곽 치아 내에 배치되는 제3 점을 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  5. 제4항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제1 점 및 상기 제3 점에 의해 정의되는 제1 측면 노멀 벡터, 상기 제1 점 및 상기 제3 점에 의해 정의되는 제2 측면 노멀 벡터, 상기 제1 점, 상기 제2 점 및 상기 제3 점에 의해 생성되는 하면 노멀 벡터 및 상기 제1 측면 노멀 벡터 및 상기 하면 노멀 벡터에 의해 생성되는 후면 노멀 벡터를 이용하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  6. 제5항에 있어서, 상기 제1 점이 P1, 상기 제2 점이 P2, 상기 제3 점이 P3, 상기 제1 측면 노멀 벡터가 nside1, 상기 제2 측면 노멀 벡터가 nside2, 상기 하면 노멀 벡터가 ndown, 상기 후면 노멀 벡터가 nback일 때,
    Figure PCTKR2022000911-appb-I000009
    ,
    Figure PCTKR2022000911-appb-I000010
    ,
    Figure PCTKR2022000911-appb-I000011
    , 및
    Figure PCTKR2022000911-appb-I000012
    인 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  7. 제5항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제1 점으로부터 상기 제1 측으로 치아의 바깥쪽을 향하여 이동한 제1 커팅 점에서 상기 제1 측면 노멀 벡터를 노멀 벡터로 갖는 제1 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  8. 제5항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제3 점으로부터 상기 제2 측으로 치아의 바깥쪽을 향하여 이동한 제2 커팅 점에서 상기 제2 측면 노멀 벡터를 노멀 벡터로 갖는 제2 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  9. 제5항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제1 점 및 상기 제3 점의 중점으로부터 하면을 향하여 이동한 제3 커팅 점에서 상기 하면 노멀 벡터를 노멀 벡터로 갖는 제3 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  10. 제5항에 있어서, 상기 커팅 데이터를 생성하는 단계는
    상기 제1 점 및 상기 제3 점의 중점으로부터 후면을 향하여 이동한 제4 커팅 점에서 상기 후면 노멀 벡터를 노멀 벡터로 갖는 제4 커팅 평면을 이용하여 상기 스캔 데이터를 커팅하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  11. 제4항에 있어서, 상기 앵커 포인트를 판단하는 단계는
    상기 제1 점, 상기 제2 점 및 상기 제3 점을 연결한 곡선을 이용하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  12. 제11항에 있어서, 상기 앵커 포인트를 판단하는 단계는
    상기 제1 점에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제1 평면 및 상기 제3 점에서 상기 곡선의 기울기를 노멀 벡터로 갖는 제2 평면을 이용하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  13. 제12항에 있어서, 상기 앵커 포인트를 판단하는 단계는
    상기 제1 평면과 상기 커팅 데이터가 만나는 점 중 최외곽 점 2개를 제1 앵커 포인트 및 제2 앵커 포인트로 판단하고,
    상기 제2 평면과 상기 커팅 데이터가 만나는 점 중 최외곽 점 2개를 제3 앵커 포인트 및 제4 앵커 포인트로 판단하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  14. 제13항에 있어서, 상기 미리 정해진 공간은 직사각형이고,
    상기 맵핑 데이터를 생성하는 단계는
    상기 제1 앵커 포인트, 상기 제2 앵커 포인트, 상기 제3 앵커 포인트 및 상기 제4 앵커 포인트를 상기 직사각형의 4개의 꼭지점에 대응시켜 상기 맵핑 데이터를 생성하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  15. 제1항에 있어서, 상기 맵핑 데이터를 생성하는 단계는
    상기 커팅 데이터를 상기 커팅 데이터 내의 각 점의 곡률값을 나타내는 곡률 데이터로 변환하는 단계를 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  16. 제15항에 있어서, 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타내는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  17. 제16항에 있어서, 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현되고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현되도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 포함하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  18. 제1항에 있어서, 상기 제1 인공지능 신경망은 상기 스캔 데이터를 변환하여 생성된 상기 2차원 영상을 입력 받아 상기 3차원 랜드마크를 판단하고,
    상기 제2 인공지능 신경망은 2차원의 상기 맵핑 데이터를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  19. 3차원의 스캔 데이터를 입력 받는 제1 인공지능 신경망을 이용하여 3차원 랜드마크를 판단하는 단계;
    상기 3차원 랜드마크를 이용하여 상기 스캔 데이터를 커팅하여 커팅 데이터를 생성하는 단계;
    상기 3차원 랜드마크 및 상기 커팅 데이터를 이용하여 앵커 포인트를 판단하는 단계;
    상기 앵커 포인트를 이용하여 상기 커팅 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계;
    상기 맵핑 데이터를 입력 받는 제2 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계; 및
    상기 세그멘테이션 마스크를 상기 스캔 데이터 또는 상기 커팅 데이터에 맵핑하는 단계를 포함하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  20. 제19항에 있어서, 상기 제1 인공지능 신경망은 상기 3차원의 상기 스캔 데이터를 입력 받아 상기 3차원 랜드마크를 판단하고,
    상기 제2 인공지능 신경망은 2차원의 상기 맵핑 데이터를 입력 받아 2차원의 상기 세그멘테이션 마스크를 판단하는 것을 특징으로 하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  21. 3차원의 스캔 데이터 및 상기 스캔 데이터의 3차원 랜드마크를 이용하여 앵커 포인트를 판단하는 단계;
    상기 앵커 포인트를 이용하여 상기 스캔 데이터를 미리 정해진 공간에 맵핑하여 맵핑 데이터를 생성하는 단계;
    상기 맵핑 데이터를 입력 받는 인공지능 신경망을 이용하여 세그멘테이션 마스크를 판단하는 단계; 및
    상기 세그멘테이션 마스크를 상기 스캔 데이터에 맵핑하는 단계를 포함하는 3차원 스캔 데이터의 치아 자동 분리 방법.
  22. 제1항 내지 제21항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2022/000911 2021-12-29 2022-01-18 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 WO2023128046A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/983,525 US20230206450A1 (en) 2021-12-29 2022-11-09 Automated method for tooth segmentation of three dimensional scan data and computer readable medium having program for performing the method
EP22216184.6A EP4207065A1 (en) 2021-12-29 2022-12-22 Automated method for tooth segmentation of three dimensional scan data and computer readable medium having program for performing the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0191809 2021-12-29
KR1020210191809A KR102426230B1 (ko) 2021-12-29 2021-12-29 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Publications (1)

Publication Number Publication Date
WO2023128046A1 true WO2023128046A1 (ko) 2023-07-06

Family

ID=82606356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000911 WO2023128046A1 (ko) 2021-12-29 2022-01-18 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Country Status (2)

Country Link
KR (4) KR102426230B1 (ko)
WO (1) WO2023128046A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008128700A1 (en) * 2007-04-18 2008-10-30 Materialise Dental N.V. Computer-assisted creation of a custom tooth set-up using facial analysis
KR20140015239A (ko) * 2010-06-29 2014-02-06 쓰리세이프 에이/에스 2ｄ 영상 장치
KR102152423B1 (ko) * 2019-02-18 2020-09-04 부산대학교 산학협력단 개인맞춤형 임플란트 식립 가이드 제작을 위한 장치 및 방법
KR102331034B1 (ko) * 2020-12-10 2021-12-01 이마고웍스 주식회사 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102334485B1 (ko) * 2020-08-20 2021-12-06 이마고웍스 주식회사 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031879A (zh) * 2004-09-29 2007-09-05 皇家飞利浦电子股份有限公司 用于在计算机上安装软件程序的方法
KR101913586B1 (ko) 2017-05-24 2018-11-01 오스템임플란트 주식회사 치아 영상 정합 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR102302587B1 (ko) * 2020-12-17 2021-09-16 이마고웍스 주식회사 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008128700A1 (en) * 2007-04-18 2008-10-30 Materialise Dental N.V. Computer-assisted creation of a custom tooth set-up using facial analysis
KR20140015239A (ko) * 2010-06-29 2014-02-06 쓰리세이프 에이/에스 2ｄ 영상 장치
KR102152423B1 (ko) * 2019-02-18 2020-09-04 부산대학교 산학협력단 개인맞춤형 임플란트 식립 가이드 제작을 위한 장치 및 방법
KR102334485B1 (ko) * 2020-08-20 2021-12-06 이마고웍스 주식회사 치과용 3차원 데이터 위치 정렬 자동화 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102331034B1 (ko) * 2020-12-10 2021-12-01 이마고웍스 주식회사 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Also Published As

Publication number Publication date
KR102466490B1 (ko) 2022-11-17
KR20230104074A (ko) 2023-07-07
KR102630009B1 (ko) 2024-01-30
KR102510501B1 (ko) 2023-03-17
KR102426230B1 (ko) 2022-07-29

Similar Documents

Publication Publication Date Title
WO2022164126A1 (ko) 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
WO2021157966A1 (ko) 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
WO2021137573A2 (ko) 마진라인 설정 장치 및 방법
WO2022019675A1 (ko) 시설 평면도에 포함된 기호 분석 장치 및 방법
WO2022131419A1 (ko) 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2021210723A1 (ko) 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
WO2021025296A1 (ko) 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치
WO2023128046A1 (ko) 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022177095A1 (ko) 인공지능 기반 치아 수복을 위한 3d 보철물 제작 방법 및 애플리케이션
WO2022154523A1 (ko) 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
WO2021141424A1 (ko) 이미지 필터링 방법
WO2023128050A1 (ko) 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2023214790A1 (ko) 영상 분석 장치 및 방법
WO2024043378A1 (ko) 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022065756A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2024106583A1 (ko) 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 방법, 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 제너레이터 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022092594A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2023167356A1 (ko) 3차원 구강 스캔 데이터에 3차원 치아 라이브러리 모델을 자동 정렬하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2020197109A1 (ko) 치아 영상 정합 장치 및 방법
WO2023214607A1 (ko) 3차원 구강 스캔 데이터에 3차원 단일 치아 모델을 자동 정렬하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022260442A1 (ko) 구강 이미지를 처리하는 데이터 처리 장치 및 구강 이미지 처리 방법
US20230206450A1 (en) Automated method for tooth segmentation of three dimensional scan data and computer readable medium having program for performing the method
WO2023101167A1 (ko) 후면 영상정보 생성 장치 및 방법
WO2024071571A1 (ko) 3차원 구강 모델의 세그멘테이션 방법 및 그 시스템
WO2023003399A1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916207

Country of ref document: EP

Kind code of ref document: A1