WO2022193909A1 - 去除牙齿三维数字模型上的附件的方法 - Google Patents

去除牙齿三维数字模型上的附件的方法 Download PDF

Info

Publication number
WO2022193909A1
WO2022193909A1 PCT/CN2022/077090 CN2022077090W WO2022193909A1 WO 2022193909 A1 WO2022193909 A1 WO 2022193909A1 CN 2022077090 W CN2022077090 W CN 2022077090W WO 2022193909 A1 WO2022193909 A1 WO 2022193909A1
Authority
WO
WIPO (PCT)
Prior art keywords
digital model
dimensional digital
point cloud
point
neural network
Prior art date
Application number
PCT/CN2022/077090
Other languages
English (en)
French (fr)
Inventor
方可
Original Assignee
杭州朝厚信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州朝厚信息科技有限公司 filed Critical 杭州朝厚信息科技有限公司
Publication of WO2022193909A1 publication Critical patent/WO2022193909A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present application generally relates to a method for removing attachments on a three-dimensional digital model of teeth, and more particularly to a method for removing attachments on a three-dimensional digital model of teeth using a deep learning artificial neural network.
  • Shell-shaped dental appliances made of polymer materials are becoming more and more popular due to their beauty, convenience and ease of cleaning.
  • orthodontic treatment with shell-shaped appliances requires a series of successive shell-shaped appliances, each of which has a cavity in which the geometry of the tooth-accommodating cavity corresponds to the desired tooth in the corresponding orthodontic step.
  • the layout basically matches.
  • a 3D digital model of a patient's teeth without attachments at a certain stage in the orthodontic treatment process is required.
  • the 3D digital model of the patient's teeth is obtained from an intraoral scan of the patient with attachments. Therefore, it is necessary to provide a way to remove Methods of attachment on three-dimensional digital models of teeth.
  • One aspect of the present application provides a computer-implemented method of removing attachments on a three-dimensional digital model of teeth, comprising: acquiring a first three-dimensional digital model representing a first tooth provided with attachments; Point cloudification to obtain a first point cloud; use the trained first artificial neural network to divide the first point cloud into an attachment area and a non-attachment area, and record the non-attachment area of the first point cloud as the second A point cloud, the second point cloud forms a vacancy at the attachment area; the second artificial neural network is used to complete the vacancy based on the second point cloud to obtain the first tooth representing the first tooth without attachment; three point clouds; reconstructing a second three-dimensional digital model representing the first tooth without attachments based on the third point cloud; cutting out a portion corresponding to the vacancy from the second three-dimensional digital model; based on the According to the segmentation result of the first artificial neural network, the attachment part of the first three-dimensional digital model is deleted; of the third three-dimensional digital model of the first tooth.
  • the first artificial neural network is one of the following: DGCNN, PointNet, and PointNet++.
  • the computer-implemented method for removing attachments on a three-dimensional digital model of teeth further includes: smoothing the segmentation result generated by the first artificial neural network, where the smoothing takes into account both annotation loss and geometry loss, where the annotation loss is the loss caused by smoothing the current annotation into another annotation, and the geometric loss is the loss caused by smoothing the current annotation into an adjacent point annotation.
  • the second artificial neural network is one of the following: PFNet, PCN, TopNet, and GRNet.
  • the second artificial neural network is PFNet, and it employs an edge convolution based feature extraction layer.
  • the training of the second artificial neural network takes into account a surface deviation loss to avoid the completed points in the third point cloud being far from the first tooth surface.
  • the computer-implemented method for removing attachments on the three-dimensional digital model of teeth further comprises: removing extreme points among the completed points in the third point cloud by a clustering algorithm.
  • the clustering algorithm is one of: DBSCAN, Kmeans, HDBSCAN, and Agglomerative Clustering.
  • the computer-implemented method for removing attachments on the three-dimensional digital model of teeth further comprises: constructing a first KD tree with center points of each facet of the first three-dimensional digital model of the attachment-removed part, Screening out a first patch set from the second 3D digital model based on the distance between the center point of the patch and the first KD tree; and using the center of the boundary patch of the attachment part on the first 3D digital model point to construct a second KD tree, and based on the distance from the boundary point to the second KD tree, a connected three-dimensional digital model whose boundary basically matches the boundary of the accessory part is selected from the first patch set as the cutout part.
  • each point in the first point cloud includes the following features: three-dimensional coordinates of the patch center point, a normal vector of the patch, and a vector from the patch center point to each vertex.
  • FIG. 1 is a schematic flowchart of a method for removing attachments on a three-dimensional digital model of a tooth according to an embodiment of the present application
  • FIG. 2A schematically shows a triangulation scheme in an example
  • FIG. 2B schematically illustrates another triangulation scheme of the example shown in Fig. 2A.
  • Figure 3 schematically shows a triangulation scheme in yet another example.
  • One aspect of the present application provides a computer-implemented method of removing attachments on a three-dimensional digital model of teeth.
  • FIG. 1 is a schematic flowchart of a method 100 of a computer-implemented method for removing attachments on a three-dimensional digital model of teeth in one embodiment of the present application.
  • a first three-dimensional digital model representing a first tooth provided with an attachment is acquired.
  • an intraoral scan of the patient may be performed to obtain a three-dimensional digital model of the patient's upper and lower jaw dentition, and then the three-dimensional digital model may be segmented to obtain a single tooth 3D digital model.
  • the intraoral scanning and the segmentation of the three-dimensional digital model of the dentition are known technologies in the industry, and will not be described in detail here.
  • the first three-dimensional digital model is point clouded.
  • the first three-dimensional digital model may be a three-dimensional digital model composed of triangular meshes/patches.
  • the first three-dimensional digital model can be uniformly sampled and features can be extracted, so as to realize point cloudification of the first three-dimensional digital model.
  • a fixed number (eg, 4000) of points may be sampled due to subsequent data processing requirements. It can be understood that this fixed number can be determined by the design of the module for subsequent processing of the point cloud.
  • the center point of the patch can be used as a sampling point, and each sampling point can be represented by the following features: the three-dimensional coordinates of the center point of the patch, the normal vector of the patch, and the distance from the center point of the patch to each vertex vector (total of 15 dimensional features).
  • the number of patches of the three-dimensional digital model of a tooth may be lower than the fixed number.
  • the fixed number of points may be obtained by repeated sampling. Replacing the missing points with zeros, in yet another embodiment, two or more points may be sampled on a patch to obtain the fixed number of points.
  • the first point cloud is obtained after the point cloud is converted into the first three-dimensional digital model.
  • the first point cloud is segmented into attachment regions and non-attachment regions using the trained first artificial neural network.
  • the first artificial neural network may use a dynamic graph convolutional neural network (hereinafter referred to as DGCNN).
  • DGCNN dynamic graph convolutional neural network
  • the first artificial neural network is enabled to segment the points in the first point cloud into attachment points (for example, can be marked with 1) and non-attachment points. Points (for example, can be labeled with 0).
  • the first point cloud is input to the first trained artificial neural network, which outputs a probability distribution over 0 and 1 for each point in the first point cloud. If the probability of a point on 1 is greater than its probability on 0, then the point is marked as an attachment point.
  • the segmentation result may be smoothed.
  • Two losses can be considered when smoothing, one is the labeling loss and the other is the geometric loss.
  • Annotation loss is the loss of smoothing the current annotation of one patch (ie, a point in a point cloud) into another annotation (eg, smoothing attachment annotations to non-attachment annotations).
  • the labeling loss may be set as the probability of the current labeling, that is, the greater the current labeling probability, the greater the loss of the smoothing process.
  • the geometric loss is the loss of smoothing the current annotation of a patch to the annotation of the adjacent patch, which can be taken as the product of the distance between the center points of the two patches and the dihedral angle.
  • the weighted sum of annotation loss and geometric loss is minimized by a graph-cut algorithm to achieve smoothing.
  • minimization loss there is a non-negative constant lambda as the weight of the geometric loss, which is used to balance the influence of the labeling loss and the geometric loss on the total loss.
  • lambda of 10 has a better effect. . If the value of lambda is too large, the attachment point is easily mistaken for the tooth point. On the contrary, if the value of lambda is too small, the tooth point is easily mistaken for the attachment point.
  • the points belonging to the attachment can be removed, and the remaining points (that is, the points of the teeth) are called the second point cloud, which represents the vacant teeth left after the attachment is removed.
  • the point cloud representing the complete tooth can be obtained after the point in the vacancy is completed.
  • the first artificial neural network can also adopt any other suitable artificial neural network, for example, PointNet or PointNet++.
  • a third point cloud representing the first tooth without attachment is obtained by filling in the vacancy based on the second point cloud using the second artificial neural network.
  • the second artificial neural network may adopt PFNet (Point Fractal Network for 3D Point Cloud Completion).
  • the generation of the vacancy point depends on the features of the nearest points around it (that is, the input second point cloud).
  • the traditional feature extraction sub-network of PFNet can be replaced by a simple multi-layer perceptron (Multi-Layer Perceptron).
  • It is a feature extraction sub-network based on edge convolution (EdgeConv), for example, the feature extraction sub-network of DGCNN, which includes sequentially connected T-Net, 3-layer EdgeConv and 1-layer Conv2D.
  • the second artificial neural network can be trained during When increasing the surface deviation loss.
  • the surface deviation loss ⁇ can be calculated according to the following equation (1).
  • m represents the average value of distances from all points in the second point cloud to its center point c
  • n represents the average value of distances from all points in the third point cloud to the center point c.
  • clustering algorithms such as Kmeans, HDBSCAN, or Agglomerative Clustering can also be used to delete extreme points from the generated points.
  • the second artificial neural network can also adopt any other suitable artificial neural network, for example, PCN (Point Completion Network), TopNet or GRNet (Gridding Residual Network), etc.
  • PCN Point Completion Network
  • TopNet TopNet
  • GRNet Gridding Residual Network
  • a second three-dimensional digital model representing the first tooth is reconstructed based on the third point cloud.
  • the second three-dimensional digital model (ie, the mesh model) may be reconstructed based on the third point cloud using a Poisson surface reconstruction algorithm.
  • a Poisson surface reconstruction algorithm any other suitable algorithm can also be used to reconstruct the second three-dimensional digital model based on the third point cloud, for example, the rolling ball algorithm (Ball Pivoting), etc.
  • Poisson reconstruction may produce a large number of redundant patches at the tooth boundary
  • the reconstructed second 3D digital model in the non-adnexal area is different from the original first 3D digital model.
  • the models are very similar but not exactly coincident. Therefore, the vacant part can be cut out on the second three-dimensional digital model, and then stitched to the first three-dimensional digital model with the accessories removed.
  • the following method may be used to cut out the part of the second three-dimensional digital model corresponding to the vacancy.
  • K-Nearest Neighbour K-Nearest Neighbour, KNN for short
  • KNN K-Nearest Neighbour
  • KD-Tree a KD tree
  • KD-Tree a KD tree
  • the distance from the center point in the second three-dimensional digital model to the KD tree is greater than Tol's patches
  • the first patch set is obtained, and these patches are the patches corresponding to the vacancies and the redundant patches generated at the boundary by Poisson reconstruction.
  • tol can take an empirical value of 0.3.
  • the first patch set can be divided into several connected three-dimensional models according to the connectivity. If a 3D model corresponds to a vacancy, its boundary should approximately coincide with the boundary of the attachment area.
  • the coincidence check can be done using KD tree.
  • a KD tree can be constructed by using the center point of the boundary interface of the attachment part on the first three-dimensional digital model, and the distance from each boundary point of each connected three-dimensional model to the KD tree can be calculated and calculated. Calculate the average value, if the average value is less than tol2, then the connected three-dimensional model is considered to correspond to an attachment area (in some cases, multiple attachments can be set on a tooth).
  • tol2 can take an empirical value of 1.3. Only the connected 3D model corresponding to the vacancy is left, and the redundant patches generated by Poisson reconstruction can be removed. So far, the part of the second three-dimensional digital model corresponding to the vacancy is obtained.
  • the first three-dimensional digital model from which the attachment part is removed is stitched with the part corresponding to the vacancy of the second three-dimensional digital model to obtain a third three-dimensional digital model representing the first tooth without attachment.
  • the edges of the two to-be-stitched portions may be smoothed before the curved surfaces are stitched.
  • the Laplacian smoothing method can be used, and the specific operation is as follows.
  • the smoothing operation is described in detail below by taking the edge of the portion of the second three-dimensional digital model corresponding to the vacancy as an example.
  • Laplace smoothing can be expressed in equation (2) below.
  • p 1 ' and p 2 ' are sorted.
  • a pair of points ⁇ P 1 'i, P 2 'j ⁇ with the smallest distance between p 1 ' and p 2 ' may be found first, and then, starting from p 1 'i, counterclockwise The direction reorders p 1 ', starting from p 2 'j, and reorders p 2 ' in the counterclockwise direction.
  • the subsurfaces can then be divided based on the sorted set of points.
  • the following method can be used to divide the sub-surface.
  • the closest point pair of p short and p long is calculated, wherein the first point of p short and p long constitutes a closest point pair, and the last point of p short and p long constitutes a closest point pair.
  • the following method can be used to segment the subsurface based on the interior angles of the triangle.
  • f2 consists of np vertices, including a p short vertex p short i+1 and np-1 p long vertices. At this time, every two adjacent vertices of p short i+1 and the np-1 p long vertices form a triangle, and triangulation of the subsurface is completed, as shown in FIG. 3 .
  • the method for removing attachments on a three-dimensional digital model of teeth of the present application can be automatically executed by a computer, and has extremely high efficiency, thereby effectively reducing labor costs.
  • the various diagrams may illustrate exemplary architectural or other configurations of the disclosed methods and systems, which may be helpful in understanding the features and functionality that may be included in the disclosed methods and systems. What is claimed is not limited to the exemplary architectures or configurations shown, and the desired features may be implemented in various alternative architectures and configurations. Additionally, with respect to the flowcharts, functional descriptions, and method claims, the order of blocks presented herein should not be limited to various embodiments that are implemented in the same order to perform the functions, unless the context clearly dictates otherwise. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请的一方面提供了一种计算机执行的去除牙齿三维数字模型上的附件的方法，其包括：获取表示设有附件的第一牙齿的第一三维数字模型；将所述第一三维数字模型点云化获得第一点云；利用经训练的第一人工神经网络将所述第一点云分割为附件区域和非附件区域，将所述第一点云的非附件区域部分记为第二点云，该第二点云在所述附件区域处形成空缺；利用经训练的第二人工神经网络基于所述第二点云补全其空缺处得到表示无附件的所述第一牙齿的第三点云；基于所述第三点云重建表示无附件的所述第一牙齿的第二三维数字模型；自所述第二三维数字模型切割出与所述空缺处相对应的部分；基于所述第一人工神经网络的分割结果，将所述第一三维数字模型的附件部分删除；以及将所述切割出的部分与删除所述附件部分的所述第一三维数字模型缝合得到表示无附件的所述第一牙齿的第三三维数字模型。

Description

去除牙齿三维数字模型上的附件的方法 技术领域
本申请总体上涉及去除牙齿三维数字模型上的附件的方法，尤其是涉及利用深度学习人工神经网络去除牙齿三维数字模型上的附件的方法。
背景技术
由于美观、便捷以及利于清洁等优点，以高分子材料制成的壳状牙齿矫治器越来越受欢迎。通常，利用壳状牙齿矫治器进行牙齿正畸治疗，需要一系列逐次的壳状牙齿矫治器，每一个这些壳状牙齿矫治器容纳牙齿的空腔的几何形态与对应矫治步所希望达到的牙齿布局基本匹配。
在很多情况下，单纯依靠壳状牙齿矫治器本身难以保证对牙齿施加大小和方向适宜的矫治力系。例如，在沿牙弓方向近中或远中方向移动牙齿时，虽然，希望的移动方式是牙齿的平移，但在实际操作中很容易形成较大的倾倒力矩，使得牙齿切端向移动方向同侧发生过度移动，从而导致牙齿发生不希望的倾斜移动。在临床应用中，为了避免上述问题，为了在牙齿上施加更接近设计目标所需的矫治力系，往往需要在牙齿上通过粘贴等方法额外固定具有一定外形的凸起的附件，并在壳状牙齿矫治器上形成相应的容纳该附件的腔体，通过腔体与附件之间的挤压和摩擦作用，对该牙齿施加辅助力系，使得对该牙齿施加的总的矫治力系更接近希望的力系。
在一些情况下，需要正畸治疗过程中某一阶段无附件的患者牙齿的三维数字模型，然而，对患者进行口内扫描获得患者牙齿的三维数字模型带有附件，因此，有必要提供一种去除牙齿三维数字模型上的附件的方法。
发明内容
本申请的一方面提供了一种计算机执行的去除牙齿三维数字模型上的附件的方法，其包括：获取表示设有附件的第一牙齿的第一三维数字模型；将所述第一三维数字模型点云化获得第一点云；利用经训练的第一人工神经网络将所述第一点云分割为附件区域和非附件区域，将所述第一点云的非附件区域部分记为第二点云，该第二点云在所述附件区域处形成空缺；利用经训练的第二人工神经网络基于所述第二点云补全其空缺处得到表示无附件的所述第一牙齿的第三点云；基于所述第三点云重建表示无附件的所述第一牙齿的第二三维数字模型；自所述第二三维数字模型切割出与所述空缺处相对应的部分；基于所述第一人工神经网络的分割结果，将所述第一三维数字模型的附件部分删除；以及将所述切割出的部分与删除所述附件部分的所述第一三维数字模型缝合得到表示无附件的所述第一牙齿的第三三维数字模型。
在一些实施方式中，所述第一人工神经网络是以下之一：DGCNN、PointNet及PointNet++。
在一些实施方式中，所述的计算机执行的去除牙齿三维数字模型上的附件的方法还包括：对所述第一人工神经网络产生的分割结果进行平滑处理，该平滑处理同时考虑标注损失和几何损失，其中，所述标注损失是将当前标注平滑为另一标注所产生的损失，所述几何损失是将当前标注平滑为相邻点标注所产生的损失。
在一些实施方式中，所述第二人工神经网络是以下之一：PFNet、PCN、TopNet及GRNet。
在一些实施方式中，所述第二人工神经网络是PFNet，并且其采用基于边卷积的特征提取层。
在一些实施方式中，所述第二人工神经网络的训练考虑曲面偏离损失，以避免所述第三点云中补全的点远离所述第一牙齿表面。
在一些实施方式中，所述的计算机执行的去除牙齿三维数字模型上的附件的方法还包括：通过聚类算法去除所述第三点云中补全的点中的极端点。
在一些实施方式中，所述聚类算法是以下之一：DBSCAN、Kmeans、HDBSCAN及Agglomerative Clustering。
在一些实施方式中，所述的计算机执行的去除牙齿三维数字模型上的附件的方法还包括：用所述去除附件部分的第一三维数字模型的各面片的中心点构建第一KD树，基于面片中心点与该第一KD树的距离，自所述第二三维数字模型中筛选出第一面片集；以及用所述第一三维数字模型上的附件部分的边界面片的中心点构建第二KD树，基于边界点到该第二KD树的距离，自所述第一面片集中筛选出边界与所述附件部分的边界基本吻合的连通的三维数字模型作为所述切割出的部分。
在一些实施方式中，所述第一点云中的每个点包括以下特征：面片中心点的三维坐标、面片的法向量以及面片中心点到每个顶点的向量。
附图说明
以下将结合附图及其详细描述对本申请的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本申请的若干示例性的实施方式，因此不应被视为是对本申请保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。
图1为本申请一个实施例中的去除牙齿三维数字模型上的附件的方法的示意性流程图；
图2A示意性地展示了一个例子中的一种三角形剖分方案；
图2B示意性地展示了图2A所示例子的另一种三角形剖分方案；以及
图3示意性地展示了又一例子中的三角形剖分方案。
具体实施方式
以下的详细描述中引用了构成本说明书一部分的附图。说明书和附图所提及的示意性实施方式仅仅出于是说明性之目的，并非意图限制本申请的保护范围。在本申请的启示下，本领域技术人员能够理解，可以采用许多其他的实施方式，并且可以对所描述实施方式做出各种改变，而不背离本申请的主旨和保护范围。应当理解的是，在此说明并图示的本申请的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置都在本申请的保护范围之内。
本申请的一方面提供了一种计算机执行的去除牙齿三维数字模型上的附件的方法。
请参图1，为本申请一个实施例中的计算机执行的去除牙齿三维数字模型上的附件的方法100的示意性流程图。
在101中，获取表示设有附件的第一牙齿的第一三维数字模型。
在一个实施例中，可以对患者进行口内扫描(例如，利用激光口腔扫描设备进行扫描)获得患者上、下颌牙列的三维数字模型，然后，对所述三维数字模型进行分割以获得单颗牙齿的三维数字模型。口内扫描和牙列三维数字模型的分割均为业界习知技术，此处不再对其进行详细说明。
在103中，点云化第一三维数字模型。
在一个实施例中，所述第一三维数字模型可以是由三角形网格/面片构成的三维数字模型。
在一个实施例中，可以对所述第一三维数字模型进行均匀采样并提取特征，以实现对其的点云化。
在一个实施例中，由于后续数据处理要求，可以采样固定数量(例如，4000个)的点。可以理解，这个固定数量可以由后续处理点云的模块的设计所决定。
在一个实施例中，可以将面片的中心点作为采样点，每个采样点可以由以下 特征表示：面片中心点的三维坐标、面片的法向量以及面片中心点到每个顶点的向量(共15维特征)。
在一些情况下，一颗牙齿的三维数字模型的面片数量可能低于所述固定数量，在一个实施例中，可以通过重复采样获得所述固定数量的点，在又一实施例中，可以用零代替短缺的点，在又一实施例中，可以在一个面片上采样两个或以上的点，以获得所述固定数量的点。
点云化第一三维数字模型后获得第一点云。
在105中，利用经训练的第一人工神经网络将第一点云分割成附件区域和非附件区域。
在一个实施例中，第一人工神经网络可以采用动态图卷积神经网络(以下简称DGCNN)。在一个实施例中，通过特征学习(即训练)，使得所述第一人工神经网络能够将所述第一点云内的点分割为附件的点(例如，可以用1标注)和非附件的点(例如，可以用0标注)。把所述第一点云输入所述经训练的第一人工神经网络，所述经训练的第一人工神经网络输出所述第一点云中每个点在0和1上的概率分布。若一个点在1上的概率大于其在0上的概率，那么，该点被标注为附件点。
在一个实施例中，可以对分割结果进行平滑处理。在进行平滑处理时可以考虑两个损失，一个是标注损失，另一个是几何损失。
标注损失是将一个面片(即点云中的点)的当前标注平滑处理为另一标注的损失(例如，将附件标注平滑处理为非附件标注)。在一个实施例中，可以把标注损失取值为当前标注的概率，即当前标注概率越大，平滑处理的损失越大。
几何损失是将一个面片的当前标注平滑处理为与之相邻的面片的标注的损失，可以将其取值为这两个面片的中心点距离和二面角的乘积。
接着，通过图割算法(Graph-Cut)最小化标注损失和几何损失的加权和，以实现平滑。在最小化损失中，有一个非负常数lambda作为几何损失的权重，用 于平衡标注损失和几何损失对于总损失的影响，经过大量实验，本申请的发明人发现lambda取10具有较好的效果。若lambda取值太大，附件点容易被误认为牙齿点，反之，若lambda取值太小，牙齿点容易被误认为附件点。
获得所述第一点云的最终分割结果后，可以把其中属于附件的点去除，将剩余的点(即牙齿的点)称为第二点云，它表示去除了附件后留下空缺的牙齿的三维数字模型，将该空缺处的点补全后即可得到表示完整牙齿的点云。
在本申请的启示下，可以理解，除了DGCNN之外，第一人工神经网络还可以采用任何其他适用的人工神经网络，例如，PointNet或PointNet++等。
在107中，利用第二人工神经网络基于所述第二点云补全其空缺处得到表示无附件的第一牙齿的第三点云。
在一个实施例中，所述第二人工神经网络可以采用PFNet(Point Fractal Network for 3D Point Cloud Completion)。
从空间结构来看，空缺处点的生成依赖于其周围最近的多个点(即输入的第二点云)的特征。在一个实施例中，为了获得更多周围点的结构特征，以更好地产生空缺处的点，可以将传统的PFNet的特征提取子网络由简单的多层感知器(Multi-Layer Perceptron)替换为基于边卷积(EdgeConv)的特征提取子网络，例如，DGCNN的特征提取子网络，其包括依次连接的T-Net、3层EdgeConv以及1层Conv2D。
为了使生成的点尽可能地位于牙冠曲面上，而非远离牙冠曲面(例如，靠近牙冠中心，或位于牙冠曲面之外并远离之)，可以在训练所述第二人工神经网络的时候增加曲面偏离损失。在一个实施例中，可以根据以下方程式(1)计算曲面偏离损失ξ。
ξ＝(m-n) 2                    方程式(1)
其中，m代表所述第二点云中所有点到其中心点c的距离的平均值，n代表所述第三点云中所有点到所述中心点c的距离的平均值。
由于PFnet对点的预测没有任何强制约束，因此有可能出现极端点(离大多数点较远的点)。本申请的发明人经过大量实验发现，在几乎所有情况下，这些极端点都是需要去除的噪音点。
在一个实施例中，可以采用DBSCAN聚类算法(eps＝0.8)在生成的点中找出所有无法被归类到任何一个聚类的点，这些点大概率就是要找的极端点。再进行进一步操作之前，需要将这些点从所述生成的点中删去。
在本申请的启示下，可以理解，除了DBSCAN之外，还可以采用Kmeans、HDBSCAN或Agglomerative Clustering等聚类算法从所述生成的点中删除极端点。
在本申请的启示下，可以理解，除了PFNet之外，第二人工神经网络还可以采用任何其他适用的人工神经网络，例如，PCN(Point Completion Network)、TopNet或GRNet(Gridding Residual Network)等。
在109中，基于第三点云重建表示第一牙齿的第二三维数字模型。
在一个实施例中，可以采用泊松曲面重建算法基于所述第三点云重建所述第二三维数字模型(即网格模型)。在本申请的启示下，可以理解，除了泊松曲面重建算法之外，也可以采用任何其他适用的算法基于所述第三点云重建所述第二三维数字模型，例如，滚球算法(Ball Pivoting)等。
需要注意的是：(1)泊松重建可能会在牙齿边界处产生大量多余的面片；(2)所述重建的第二三维数字模型在非附件区虽然与所述原始的第一三维数字模型非常相似但并不完全重合。因此，可以在所述第二三维数字模型上抠出空缺处的部分，然后，将其缝合到去除了附件的第一三维数字模型上。
在111中，抠出第二三维数字模型对应空缺处的部分。
在一个实施例中，可以采用以下方法抠出所述第二三维数字模型对应空缺处的部分。
首先，可以利用K近邻算法(K-Nearest Neighbour，简称KNN)，基于所述第一点云的分割结果，将所述第一三维数字模型上属于附件的面片删除。
接着，可以用所述去除附件部分的第一三维数字模型的各面片的中心点构建一棵KD树(KD-Tree)，筛选出所述第二三维数字模型中中心点距离该KD树大于tol的面片，得到第一面片集，这些面片就是所述空缺处所对应的面片以及泊松重建在边界处产生的多余面片。在一个例子中，tol可以取经验值0.3。
然后，可以将第一面片集按连通性分为若干个连通的三维模型。如果某个三维模型与空缺处相对应，那么，其边界应与附件区域的边界近似重合。重合检验可以采用KD树完成。在一个实施例中，可以用所述第一三维数字模型上的附件部分的边界面片的中心点构建一颗KD树，计算各连通的三维模型的每一边界点到该KD树的距离并求平均值，若平均值小于tol2，那么，认为该连通三维模型对应一个附件区域(在一些情况下，一颗牙齿上可以设置多个附件)。在一个例子中，tol2可以取经验值1.3。仅留下与空缺处对应的连通的三维模型，可以去除泊松重建所产生的多余的面片。至此，获得第二三维数字模型对应空缺处的部分。
在113中，将去除附件部分的第一三维数字模型与第二三维数字模型对应空缺处的部分进行缝合，得到表示无附件的第一牙齿的第三三维数字模型。
在一个实施例中，为了保证后续曲面缝合的平滑，可以在曲面缝合前对所述两个待缝合部分的边缘进行平滑处理。在一个实施例中，可以采用拉普拉斯平滑方法，其具体操作如下。
下面以所述第二三维数字模型对应空缺处的部分的边缘为例对平滑操作进行详细说明。
先获取所述第二三维数字模型对应空缺处的部分的边缘的点集p 1，计算p 1中顶点v i与相邻顶点v i+1和v i-1的夹角α，若
Figure PCTCN2022077090-appb-000001
则对vi作拉普拉斯平滑。在一个实施例中，拉普拉斯平滑可以下面方程式(2)表达。
Figure PCTCN2022077090-appb-000002
其中，n＝3，
得到平滑后的顶点集p 1’，再次计算p 1’中各顶点与相邻顶点的夹角，若
Figure PCTCN2022077090-appb-000003
则对该顶点进行拉普拉斯平滑，以此循环，直至所有顶点均不满足若
Figure PCTCN2022077090-appb-000004
的条件。
设经平滑的所述第二三维数字模型对应空缺处的部分的边缘和去除附件部分的第一三维数字模型的空缺处的边缘的点集分别为p 1’和p 2’。
接着，将p 1’和p 2’进行排序。在一个实施例中，可以先找出p 1’和p 2’之间距离最小的一对点{P 1′i,P 2′j}，然后，以p 1’i为起点，沿逆时针方向重新将p 1’排序，以p 2’j为起点，沿逆时针方向重新将p 2’排序。
然后，可以基于排序后的点集划分子曲面。在一个实施例中，可以采用如下方法进行子曲面划分。
先计算p 1’与p 2’中点的数量，数量少的定义为p short，数量多的定义为p long。
接着，计算p short和p long的最近点对，其中，p short和p long的第一个点构成一个最近点对，p short和p long的最后一个点构成一个最近点对。
每两个相邻的最近点对(4个点)以及它们之间的p long中的点构成一个子曲面，其中，第一个最近点对和最后一个最近点对构成一个子曲面。
接下来对子曲面进行三角剖分。在一个实施例中，可以采用以下方法基于三角形内角对子曲面进行剖分。
首先，计算每一子曲面中属于p long的顶点的数量np。
若np＝1，则说明该子曲面为三角形，无需剖分。
若np＝2，则该子曲面将被剖分成两个三角形。这时，有两种剖分方法，分别 如图2a和2b所示。计算这两种剖分方法的最小内角，采用最小内角较大的剖分方法。
若np>2，先将该子曲面剖分成两个部分f1和f2，其中，f1由4个顶点(p shorti、p shorti+1、p longj以及p longj+1)构成，采用np＝2时的剖分方法对f1进行剖分。f2由np个顶点构成，其中，包括一个p short的顶点p shorti+1和np-1个p long的顶点。此时，p shorti+1和所述np-1个p long的顶点中每两个相邻的顶点构成一个三角形，完成该子曲面的三角形剖分，如图3所示。
三角形剖分完成后即完成了缝合，获得表示去除了附件的第一牙齿的第三三维数字模型。
本申请的去除牙齿三维数字模型上的附件的方法能够由计算机自动执行，具有极高的效率，进而有效降低人力成本。
尽管在此公开了本申请的多个方面和实施例，但在本申请的启发下，本申请的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本申请的保护范围和主旨仅通过后附的权利要求书来确定。
同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。

Claims (10)

  1. 一种计算机执行的去除牙齿三维数字模型上的附件的方法，包括：
    获取表示设有附件的第一牙齿的第一三维数字模型；
    将所述第一三维数字模型点云化获得第一点云；
    利用经训练的第一人工神经网络将所述第一点云分割为附件区域和非附件区域，将所述第一点云的非附件区域部分记为第二点云，该第二点云在所述附件区域处形成空缺；
    利用经训练的第二人工神经网络基于所述第二点云补全其空缺处得到表示无附件的所述第一牙齿的第三点云；
    基于所述第三点云重建表示无附件的所述第一牙齿的第二三维数字模型；
    自所述第二三维数字模型切割出与所述空缺处相对应的部分；
    基于所述第一人工神经网络的分割结果，将所述第一三维数字模型的附件部分删除；以及
    将所述切割出的部分与删除所述附件部分的所述第一三维数字模型缝合得到表示无附件的所述第一牙齿的第三三维数字模型。
  2. 如权利要求1所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，所述第一人工神经网络是以下之一：DGCNN、PointNet及PointNet++。
  3. 如权利要求1所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，它还包括：对所述第一人工神经网络产生的分割结果进行平滑处理，该平滑处理同时考虑标注损失和几何损失，其中，所述标注损失是将当前标注平滑为另一标注所产生的损失，所述几何损失是将当前标注平滑为相邻点标注所产生的损失。
  4. 如权利要求1所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，所述第二人工神经网络是以下之一：PFNet、PCN、TopNet及GRNet。
  5. 如权利要求4所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，所述第二人工神经网络是PFNet，并且其采用基于边卷积的特征提取层。
  6. 如权利要求1所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，所述第二人工神经网络的训练考虑曲面偏离损失，以避免所述第三点云中补全的点远离所述第一牙齿表面。
  7. 如权利要求1所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，它还包括：通过聚类算法去除所述第三点云中补全的点中的极端点。
  8. 如权利要求7所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，所述聚类算法是以下之一：DBSCAN、Kmeans、HDBSCAN及Agglomerative Clustering。
  9. 如权利要求1所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，它还包括：
    用所述去除附件部分的第一三维数字模型的各面片的中心点构建第一KD树，基于面片中心点与该第一KD树的距离，自所述第二三维数字模型中筛选出第一面片集；以及
    用所述第一三维数字模型上的附件部分的边界面片的中心点构建第二KD树，基于边界点到该第二KD树的距离，自所述第一面片集中筛选出边界与所述附件部分的边界基本吻合的连通的三维数字模型作为所述切割出的部分。
  10. 如权利要求1所述的计算机执行的去除牙齿三维数字模型上的附件的方法，其特征在于，所述第一点云中的每个点包括以下特征：面片中心点的三维坐标、面片的法向量以及面片中心点到每个顶点的向量。
PCT/CN2022/077090 2021-03-19 2022-02-21 去除牙齿三维数字模型上的附件的方法 WO2022193909A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110293745.1A CN115115769A (zh) 2021-03-19 2021-03-19 去除牙齿三维数字模型上的附件的方法
CN202110293745.1 2021-03-19

Publications (1)

Publication Number Publication Date
WO2022193909A1 true WO2022193909A1 (zh) 2022-09-22

Family

ID=83321543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/077090 WO2022193909A1 (zh) 2021-03-19 2022-02-21 去除牙齿三维数字模型上的附件的方法

Country Status (2)

Country Link
CN (1) CN115115769A (zh)
WO (1) WO2022193909A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830287A (zh) * 2023-02-20 2023-03-21 汉斯夫(杭州)医学科技有限公司 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546444B (zh) * 2022-11-28 2023-03-10 上海牙典医疗器械有限公司 基于三维牙齿和牙冠配准的牙齿重建方法、系统及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108639A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Semantic Segmentation of 3D Point Clouds
CN111696192A (zh) * 2019-03-14 2020-09-22 杭州朝厚信息科技有限公司 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法
CN112241997A (zh) * 2020-09-14 2021-01-19 西北大学 基于多尺度点云上采样的三维模型建立、修复方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108639A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Semantic Segmentation of 3D Point Clouds
CN111696192A (zh) * 2019-03-14 2020-09-22 杭州朝厚信息科技有限公司 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法
CN112241997A (zh) * 2020-09-14 2021-01-19 西北大学 基于多尺度点云上采样的三维模型建立、修复方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830287A (zh) * 2023-02-20 2023-03-21 汉斯夫(杭州)医学科技有限公司 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质
CN115830287B (zh) * 2023-02-20 2023-12-12 汉斯夫(杭州)医学科技有限公司 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质

Also Published As

Publication number Publication date
CN115115769A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN108932716B (zh) 用于牙齿图像的图像分割方法
WO2022193909A1 (zh) 去除牙齿三维数字模型上的附件的方法
JP7451406B2 (ja) 深層学習法を使用する自動３ｄ歯根形状予測
US11051912B2 (en) Fabrication of dental appliances
CN110189352B (zh) 一种基于口腔cbct图像的牙根提取方法
US20210153986A1 (en) Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
WO2018218988A1 (zh) 牙颌三维数字模型的分割方法
CN113454637A (zh) 使用深度学习对非欧式3d数据集的自动语义分割
CN111968146B (zh) 三维牙颌网格模型分割方法
JP2019536561A (ja) 歯列メッシュからのブレース除去のための方法およびシステム
CN112136157B (zh) 根据图像对牙齿牙髓区域分割的方法、系统和计算机程序
CN112785609B (zh) 一种基于深度学习的cbct牙齿分割方法
CN115619773B (zh) 一种三维牙齿多模态数据配准方法及系统
US10373701B2 (en) Methods and apparatuses for creating a statistical average model of an enamel-dentine junction
CN115272585A (zh) 一种三维牙列模型构建装置及方法
Zhang et al. Computer-aided design of dental inlay restoration based on dual-factor constrained deformation
Jung et al. Combining volumetric dental CT and optical scan data for teeth modeling
CN112308861B (zh) 一种牙齿牙龈分割方法、牙齿分割方法和电子设备
WO2022183852A1 (zh) 牙颌三维数字模型的分割方法
CN114974523A (zh) 牙齿三维数字模型的融合方法
CN112396609A (zh) 一种牙列分割方法、牙齿分割方法、装置及电子设备
CN113139908B (zh) 一种三维牙列分割与标注方法
CN115375720A (zh) 牙龈边缘线生成方法、装置、计算机设备和存储介质
CN114758073A (zh) 一种基于rgbd输入和柔性配准口腔数字化系统
Kustra et al. Shape segmentation using medial point clouds with applications to dental cast analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770264

Country of ref document: EP

Kind code of ref document: A1