WO2020181974A1 - 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法 - Google Patents

基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法 Download PDF

Info

Publication number
WO2020181974A1
WO2020181974A1 PCT/CN2020/076115 CN2020076115W WO2020181974A1 WO 2020181974 A1 WO2020181974 A1 WO 2020181974A1 CN 2020076115 W CN2020076115 W CN 2020076115W WO 2020181974 A1 WO2020181974 A1 WO 2020181974A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional digital
tooth
neural network
artificial neural
surface bubbles
Prior art date
Application number
PCT/CN2020/076115
Other languages
English (en)
French (fr)
Inventor
张长庚
Original Assignee
杭州朝厚信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州朝厚信息科技有限公司 filed Critical 杭州朝厚信息科技有限公司
Publication of WO2020181974A1 publication Critical patent/WO2020181974A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A61C2007/004—Automatic construction of a set of axes for a tooth or a plurality of teeth

Definitions

  • the application generally relates to a computer-implemented method for removing surface bubbles from a three-dimensional digital model of a tooth based on an artificial neural network.
  • One aspect of the present application provides a computer-executed method for removing surface bubbles from a three-dimensional digital model of a tooth based on an artificial neural network.
  • the method includes: obtaining a three-dimensional digital model of a first tooth; performing processing on the three-dimensional digital model of the first tooth Feature extraction; based on the extracted features, using a trained artificial neural network to identify surface bubbles of the three-dimensional digital model of the first tooth; and removing the identified surface bubbles.
  • the artificial neural network may be a convolutional neural network.
  • the convolutional neural network may sequentially include the following layers: input layer, convolutional layer, convolutional layer, pooling layer, convolutional layer, convolutional layer, pooling layer, fully connected layer, dropout Layer, fully connected layer and output layer.
  • the features may include: Curvature Feature, PCA Feature, Shape Diameter Feature, Distance from Medial Surface, Average Geodesic Distance, Shape Contexts, and Spin Images.
  • the artificial neural network may be trained on a three-dimensional tooth model with resampled surface bubbles.
  • the identified surface bubbles may be removed based on the Laplace smoothing method.
  • the artificial neural network is only used to identify the surface bubbles of the three-dimensional digital model of the tooth where the first tooth is located, that is, each tooth position corresponds to a set of dedicated artificial neural network.
  • Fig. 1 is a schematic flowchart of a computer-executed method for removing surface bubbles from a three-dimensional digital model of a tooth based on an artificial neural network in an embodiment of the application;
  • Figure 2 schematically shows the structure of the CNN network in an embodiment of the present application.
  • One aspect of the present application provides a computer-executed method for removing bubbles on the surface of a three-dimensional digital tooth model based on an artificial neural network.
  • FIG. 1 is a schematic flowchart of a computer-executed method 100 for removing bubbles on the surface of a three-dimensional digital model of a tooth based on an artificial neural network in an embodiment of the application.
  • a three-dimensional digital model can be constructed based on a triangular mesh.
  • the following specific embodiments are all based on this three-dimensional digital model. It can be understood that in addition to triangular grids, three-dimensional digital models can also be constructed based on other types of grids, such as quadrilateral grids, pentagonal grids, hexagonal grids, etc., which will not be described here.
  • feature extraction is performed on the three-dimensional digital model of the first tooth.
  • Feature extraction is performed on the three-dimensional digital model of the first tooth as the input of the trained artificial neural network.
  • the following method may be used to extract Curvature Feature.
  • connection information can be used to reduce the search space and improve calculation efficiency.
  • the curvature characteristic is calculated based on the matrix block at P 0 point, which can be regarded as the curvature of P point.
  • a ⁇ n are the coefficients of the quasi-quadratic function F(x,y,z),
  • the coefficients E, F, and G are the first-order partial derivatives of F(x,y,z), and the coefficients L, M, and N are the second-order partial derivatives of F(x,y,z).
  • the covariance matrix of the local patch centers in different ranges can be constructed, supplemented by area weights, and the three singular values s1, s2, and s3 can be calculated.
  • the range can be determined by a variety of geodesic distance radii, such as 5%, 10%, 20%, etc.
  • Each group can have the following characteristics: s1/(s1+s2+s3), s2/(s1+s2+s3), s3/(s1+s2+s3), (s1+s2)/(s1+ s2+s3), (s1+s3)/(s1+s2+s3), (s2+s3)/(s1+s2+s3), s1/s2, s1/s3, s2/s3, s1/s2+s1 /s3, s1/s2+s2/s3 and s1/s3+s2/s3.
  • Shape Diameter Feature can be defined as follows: A certain number of rays are emitted at a certain angle from the center point of the patch to the normal vector of the point, and these rays intersect with the other surface to form a line segment . Taking the line segment with the median length as the standard, calculate the weighted average, median, and mean square of all line segments whose length is within the specified standard deviation as the SDF value at that point.
  • the average value of the coordinates of the three vertices of the patch can be used as the coordinate value of the center point of the patch. Then, in the shape defined by the three-dimensional digital model of the tooth, find the largest inscribed circle with the center point of the patch as the tangent point. From the center of the inscribed circle, the ray is emitted to the surroundings in a balanced manner, intersecting the curved surface (that is, the closed shape defined by the dental jaw three-dimensional digital model), and the length of all the line segments is calculated. The weighted average, median, and mean square of the length of these line segments can be calculated as features, and normalized and logarithmic versions can be added.
  • This feature can be used to describe the degree of dispersion between patches.
  • the corresponding average geodesic distance between the centers of all patches on the curved surface can be calculated. You can also use the mean square distance and the value in the percentage range of different distances as features. Then, normalize.
  • the distributions corresponding to other patches can be calculated, which are described by the angle of the patch normal vector and the logarithmic geodesic distance, respectively.
  • 6 geodesic distance intervals and 6 angle intervals can be established.
  • the calculation can be performed according to the following method. First, establish a cylindrical coordinate system with the normal vector of the vertex P as the central axis. Next, define the resolution (that is, the length and width of the Image) and the size (that is, the number of grids) of the SpinImage. Then, according to the following equation (7), the 3D point is projected onto the 2D Spin Image. Then interpolate the 2D projection result, and assign the value of one point to four surrounding points.
  • ⁇ represents the radial distance to the normal vector n
  • ⁇ represents the axial distance to the tangent plane
  • n represents the normal vector passing through the point P
  • X represents the coordinates (x, y, z) of the 3D point.
  • 593-dimensional features can be extracted, as shown in Table 1.
  • the trained artificial neural network is used to identify the surface bubbles of the three-dimensional digital model of the first tooth.
  • the features extracted in 103 are input into the trained artificial neural network, and the patches belonging to the surface bubbles are identified.
  • convolutional neural networks (Convolutional Neural Networks, CNN for short) may be used.
  • PyTorch can be used to build a CNN network.
  • the CNN network has 10 layers: 4 convolutional layers, 2 pooling layers, 2 fully connected layers, 1 dropout layer, and 1 output layer (the output current patch belongs to a bubble patch or non- The predicted probability of the bubble patch).
  • the input of the CNN network can be a 20*30 feature matrix. Since there are only 593 features in this embodiment, the remaining 7 bits in the feature matrix can be filled with zeros.
  • the parameters of each layer of the CNN network can be set as shown in FIG. 2.
  • Relu is used as the activation function, which can avoid the phenomenon of vanishing gradient to a certain extent.
  • the 4 convolutional layers can fully analyze the characteristic data, obtain local information, and obtain better weights.
  • the two pooling layers can retain part of the global information and have a certain role in preventing overfitting.
  • One dropout layer can be used to resist overfitting.
  • training parameters may be used: learning rate 0.01, class_weight 5, sample 10, solver_mode: GPU.
  • the training process of the artificial neural network may include a back propagation algorithm, a gradient descent algorithm, and error calculation, and the above three processes may not be included in the process of using the trained artificial neural network to make predictions.
  • a set of artificial neural networks can be set for each tooth; in another embodiment, due to the symmetrical teeth
  • the shape of the teeth is relatively consistent.
  • a separate set of artificial neural networks can be set for every two symmetrical teeth; in another embodiment, the teeth can be divided into several categories according to the similarity of the shape, and a set of artificial nerves can be set for each category. Network, so that teeth with similar shapes share a set of artificial neural networks.
  • the three-dimensional digital model of the entire dentition can be debubbled.
  • the three-dimensional digital model of the entire dentition can be segmented, that is, the teeth are independent of each other, so that different teeth can be easily adjusted.
  • the corresponding artificial neural network is used to identify the surface bubbles on it.
  • the three-dimensional digital model of the tooth can be segmented manually.
  • a computer can be used to automatically segment the three-dimensional digital model of the tooth. Specifically, you can refer to Xiaojie Xu, Chang Liu, and Youyi Zheng, which was published in IEEE Transactions on Visualization and Computer Graphics on May 22, 2018. Segmentation and Labeling using Deep Convolutional Neural Networks.
  • the Laplacian smoothing algorithm may be used to perform a smoothing operation on the identified surface bubble patch to remove surface bubbles and obtain a three-dimensional digital model of the first tooth from which the surface bubbles have been removed.
  • the basic principle is to move each vertex to the weighted average position of adjacent vertices, that is, using an umbrella operator.
  • a point set of all the vertices of the bubble patch can be constructed, and all points in the point set are Laplace smoothed multiple times, until the displacement distance of all points in the point set before and after a single smoothing
  • the sum is less than a preset threshold, which can be set according to specific conditions.
  • Laplacian Mesh Optimization published in “GRAPHITE” in 2006 by Andrew Nealen, Takeo Igarashi, and Marc Alexa.
  • any applicable method can also be used to remove the identified surface bubbles, for example, a mesh filtering (Mesh Fairing) algorithm.
  • each diagram may show an exemplary architecture or other configuration of the disclosed method and system, which is helpful in understanding the features and functions that can be included in the disclosed method and system.
  • the claimed content is not limited to the exemplary architecture or configuration shown, and the desired features can be implemented with various alternative architectures and configurations.
  • the order of the blocks given here should not be limited to the various embodiments that are implemented in the same order to perform the functions, unless clearly indicated in the context .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本申请的一方面提供了一种计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，包括：获取第一牙齿的三维数字模型；对所述第一牙齿的三维数字模型进行特征提取；基于所述提取的特征，利用经训练的人工神经网络识别所述第一牙齿的三维数字模型的表面气泡；以及去除所述识别出的表面气泡。

Description

基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法 技术领域
本申请总体上涉及计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法。
背景技术
随着计算机技术的飞速发展，牙科治疗越来越多地借助计算机技术，例如，利用计算机制定牙齿正畸治疗方案以及利用计算机设计义齿等。在借助计算机技术进行牙科治疗时，经常需要用到牙齿的三维数字模型。通常，牙齿的三维数字模型是通过扫描牙齿模型或者通过口内扫描获得，由于扫描误差的原因，扫描得到的牙齿三维数字模型上常常会有气泡。这些气泡的存在不利于后续对牙齿三维数字模型的使用，因此，在这之前通常需要去除这些气泡。当前，主要是依靠手工方式修正去除牙齿三维数字模型上的气泡，但这种方式效率较低且人工成本较高。
鉴于以上，有必要提供一种新的牙齿三维数字模型的气泡去除方法。
发明内容
本申请的一方面提供了一种计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，包括：获取第一牙齿的三维数字模型；对所述第一牙齿的三维数字模型进行特征提取；基于所述提取的特征，利用经训练的人工神经网络识别所述第一牙齿的三维数字模型的表面气泡；以及去除所述识别出的表面气泡。
在一些实施方式中，所述人工神经网络可以是卷积神经网络。
在一些实施方式中，所述卷积神经网络可以依次包括以下层：输入层、卷积层、卷积层、池化层、卷积层、卷积层、池化层、全连接层、dropout层、全连接层以及输出层。
在一些实施方式中，所述特征可以包括：Curvature Feature、PCA Feature、Shape Diameter Feature、Distance from Medial Surface、Average Geodesic Distance、Shape Contexts以及Spin Images。
在一些实施方式中，所述人工神经网络可以表面气泡经重采样的牙齿三维模型进行训练。
在一些实施方式中，可以基于拉普拉斯平滑方法去除所述识别出的表面气泡。
在一些实施方式中，所述人工神经网络是仅用于识别所述第一牙齿所在牙位的牙齿的三维数字模型的表面气泡，即每一牙位对应有一套专用的人工神经网络。
附图说明
以下将结合附图及其详细描述对本申请的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本申请的若干示例性的实施方式，因此不应被视为是对本申请保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。
图1为本申请一个实施例中的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法的示意性流程图；以及
图2示意性地展示了本申请一个实施例中CNN网络的结构。
具体实施方式
以下的详细描述中引用了构成本说明书一部分的附图。说明书和附图所提及 的示意性实施方式仅仅出于是说明性之目的，并非意图限制本申请的保护范围。在本申请的启示下，本领域技术人员能够理解，可以采用许多其他的实施方式，并且可以对所描述实施方式做出各种改变，而不背离本申请的主旨和保护范围。应当理解的是，在此说明并图示的本申请的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置都在本申请的保护范围之内。
本申请的一方面提供了一种计算机执行的基于人工神经网络的去除牙齿三维数字模型表面气泡的方法。
在本申请的启示下，可以理解，在一些借助计算机技术的牙科治疗应用中，仅需要单颗牙齿的三维数字模型；在一些借助计算机技术的牙科治疗应用中，则需要多颗牙齿的三维数字模型，例如，整个牙列的三维数字模型。下面以单颗牙齿为例，对本申请一个实施例中的计算机执行的基于人工神经网络的去除牙齿三维数字模型表面气泡的方法进行详细描述。
请参图1，为本申请一个实施例中的计算机执行的基于人工神经网络的去除牙齿三维数字模型表面气泡的方法100的示意性流程图。
在101中，获取第一牙齿的三维数字模型。
在一个实施例中，可以基于三角网格构建三维数字模型，下面的具体实施例均是基于这种三维数字模型进行说明。可以理解，除了三角网格，还可以基于其他类型的网格构建三维数字模型，例如四边形网格、五边形网格、六边形网格等，此处不再进行一一说明。
在103中，对第一牙齿的三维数字模型进行特征提取。
对第一牙齿的三维数字模型进行特征提取，作为经训练的人工神经网络的输入。
本申请的发明人经过大量研究和验证工作，发现采用以下特征组合对于识别牙齿三维数字模型表面气泡具有较好的效果：Curvature Feature、PCA Feature(Principal Components Analysis)、Shape Diameter Feature、Distance from Medial  Surface、Average Geodesic Distance、Shape Contexts以及Spin Images。这些特征的提取具体可参由Evangelos Kalogerakis、Aaron Hertzmann以及Karan Singh在ACM Transactions on Graphics,29(3),2010上发表的《Learning3D Mesh Segmentation and Labeling》。下面对这些特征的提取进行简单说明。
1)Curvature Feature
在一个实施例中，可以采用以下方法提取Curvature Feature。
首先，选择与P点临近的N个顶点。在一个实施例中，可以利用连接信息以缩减搜索空间，提高计算效率。
接着，基于满足以下条件的二次矩阵块以及所有临近的顶点，拟合二次曲面F(x,y,z)，
F(x,y,z)＝ax 2+by 2+cz 2+2exy+2fyz+2gzx+2lx+2my+2nz+d＝0      方程式(1)
计算P点在所述矩阵块上的映射P 0，且满足以下条件，
F(P 0)＝0     方程式(2)
在P 0点基于所述矩阵块计算曲率特性，即可作为P点的曲率。
若对所有临近顶点，
Figure PCTCN2020076115-appb-000001
其中，a～n为拟二次曲面函数F(x,y,z)的系数，
那么，可以把矩阵B -1A的两个特征值k 1和k 2作为主曲率，其中，
Figure PCTCN2020076115-appb-000002
Figure PCTCN2020076115-appb-000003
其中，系数E、F、G为F(x,y,z)的一阶偏导，系数L、M、N为F(x,y,z)的二阶偏导。
2)PCA Feature
在一个实施例中，可以构造不同范围的局部面片中心的协方差矩阵，辅以面积权重，计算其3个奇异值s1、s2以及s3。范围可以由多种测地线距离半径所决定，比如5％、10％、20％等。每一组可以有以下几种特征描述：s1/(s1+s2+s3)、s2/(s1+s2+s3)、s3/(s1+s2+s3)、(s1+s2)/(s1+s2+s3)、(s1+s3)/(s1+s2+s3)、(s2+s3)/(s1+s2+s3)、s1/s2、s1/s3、s2/s3、s1/s2+s1/s3、s1/s2+s2/s3及s1/s3+s2/s3。
3)Shape Diameter Feature
在一个实施例中，可以这么定义Shape Diameter Feature(简称“SDF”)：在面片中心点上向该点法向量反向的一定角度内发射一定数量的射线，这些射线与另一面相交形成线段。以长度中值的线段为标准，计算所有长度在规定标准差之内的线段的加权平均值、中值、均方，作为该点的SDF值。
在一个实施例中，可以加入计算获得的SDF的多种对数化版本(对应正规化项α＝1,2,4,8)，如以下方程式(6)，
Figure PCTCN2020076115-appb-000004
4)Distance from Medial Surface
在一个实施例中，可以把面片三个顶点的坐标平均值作为面片中心点的坐标值。然后在牙齿三维数字模型所定义的形状内，找到以所述面片中心点为切点的最大内切圆。由该内切圆的圆心向四周均衡地发射射线，与曲面相交(即牙颌三维数字模型所定义的封闭的形状)，计算所有线段的长度。可以计算这些线段长度的加权平均、中值、均方作为特征，并可以加入归一化和对数化版本。
5)Average Geodesic Distance
该特征可用于描述面片之间的离散程度。在一个实施例中，可以计算曲面所有面片中心之间，对应的平均测地线距离。还可以把均方距离和占不同距离百分比范围的值作为特征。然后，进行归一化。
6)Shape Contexts
在一个实施例中，可以针对每一个面片，计算其他面片对应的分布(辅以面积权重)，分别用面片法向量的角度和对数化测地线距离来描述。在一个实施例中，可以建立6个测地线距离区间和6个角度区间。
7)Spin Images
在一个实施例中，可以根据以下方法进行计算。首先，以顶点P法向量为中轴建立柱面坐标系。接着，定义SpinImage的分辨率(即Image长宽)以及大小(即网格数量)。然后，根据以下方程式(7)把3D点投射到2D Spin Image上。再对2D投影结果进行插值，将一个点的值分配到周围四个点上。
Figure PCTCN2020076115-appb-000005
其中，α表示到法向量n的径向距离，β表示到切平面的轴向距离，n表示经过P点的法向量，X表示3D点的坐标(x,y,z)。
在一个实施例中，可以提取593维特征，如表1所示。
特征 CUR PCA SC AGD SDF DIS SI 总维数
维数 64 48 270 15 72 24 100 593
表1
在本申请的启示下，业界一般技术人员可以对以上特征种类和/或特征维数进行调整，例如，增加、删减以及替代，可以理解，这些改变都在本申请的范围之内。
在105中，基于提取的特征，利用经训练的人工神经网络识别出第一牙齿的 三维数字模型的表面气泡。
将在103中提取的特征输入经训练的人工神经网络，识别出属于表面气泡的面片。
在一个实施例中，可以采用卷积神经网络(Convolutional Neural Networks，简称CNN)。
在一个实施例中，可以采用PyTorch搭建CNN网络。
请参图2，示意性地展示了本申请一个实施例中CNN网络的结构。在该实施例中，CNN网络共有10层：4个卷积层，2个池化层，2个全连接层、1个dropout层以及1个输出层(输出当前面片属于气泡面片或非气泡面片的预测概率)。在该实施例中，CNN网络的输入可以是20*30的特征矩阵，由于在该实施例中总共只有593个特征，可以对该特征矩阵中剩余的7个位进行补0。在一个实施例中，可以如图2所示设置CNN网络各层的参数(包括模板大小、数量以及调用方法等)。
在该实施例中，采用Relu作为激活函数，这能够在一定程度上避免梯度消失现象的出现。4个卷积层能够充分分析特征数据，获取局部信息，得出较佳的权重。2个池化层能够保留一部分全局信息，并具有一定防止过拟合的作用。1个dropout层能够用于抵抗过拟合。
因为非气泡面片的数量远大于气泡面片的数量，针对这种不均衡数据样本的情况，为了获得更好的训练结果，可以采用以下手段：其一，在训练中可以选用BCELoss作为Loss函数；其二，可以对气泡面片进行重采样，以增加气泡面片的样本数量。
在一个实施例中，可以采用以下训练参数：学习率0.01，class_weight 5，sample 10，solver_mode:GPU。
在一个实施例中，人工神经网络的训练过程中可以包含反向传播算法、梯度下降算法以及误差计算，而在利用经训练的人工神经网络进行预测的过程中可以 不包含以上三个处理。
由于不同牙齿之间的形态差异，为了保障人工神经网络预测的准确性，在一个实施例中，可以为每一颗牙齿单独设置一套人工神经网络；在又一实施例中，由于对称的牙齿的形态较为一致，可以为每两颗对称的牙齿单独设置一套人工神经网络；在又一实施例中，可以将牙齿按形态的相似性分成几类，为每一类单独设置一套人工神经网络，使形态相似的牙齿共用一套人工神经网络。
对于多颗牙齿的情况，例如，对整个牙列的三维数字模型进行去气泡处理，整个牙列的三维数字模型可以是经分割的，即各牙齿之间相互独立，以便于对不同的牙齿，采用对应的人工神经网络来识别其上的表面气泡。
在一个实施例中，可以手动分割牙齿的三维数字模型。在又一实施例中，可以利用计算机自动分割牙齿的三维数字模型，具体可参由Xiaojie Xu、Chang Liu以及Youyi Zheng等于2018年5月22日发表于IEEE Transactions on Visualization and Computer Graphics的《3D Tooth Segmentation and Labeling using Deep Convolutional Neural Networks》。
在本申请的启示下，可以理解，除了卷积神经网络，还可以采用其他人工神经网络来识别牙齿三维模型的表面气泡，例如，全连接神经网络和基于图的自变分编码神经网络(Graph AutoEncoder)，而这些都在本申请的范围之内。
在107中，去除识别出的第一牙齿的三维数字模型的表面气泡。
在一个实施例中，可以采用拉普拉斯平滑算法对识别出的表面气泡面片进行平滑操作，以去除表面气泡，获得去除了表面气泡的第一牙齿的三维数字模型。其基本原理是将每个顶点都移动到相邻顶点的加权平均位置，即采用伞状算子。
当气泡面片被识别出之后，可以构建所有气泡面片的顶点的点集，对该点集中的所有点进行多次拉普拉斯平滑，直到单次平滑前后，点集中所有点的位移距离之和小于一预设的阈值，该阈值可根据具体情况进行设定。
拉普拉斯算法的具体内容可参由Andrew Nealen、Takeo Igarashi以及Marc  Alexa在2006年发表于《GRAPHITE》的《Laplacian Mesh Optimization》。
在本申请的启示下，可以理解，除了拉普拉斯算法之外，还可以采用任何适用的方法来去除识别出的表面气泡，例如，网格滤波(Mesh Fairing)算法。
在本申请的启示下，可以理解，本申请的去除牙齿三维数字模型的表面气泡的方法的大部分操作能够由计算机执行，例如，对牙齿三维数字模型的特征提取；基于提取的特征，利用经训练的人工神经网络识别牙齿三维数字模型上的表面气泡；以及去除识别出的牙齿三维数字模型上的表面气泡。与传统的手工去气泡方法相比，大幅提升了效率，降低了人工成本。
尽管在此公开了本申请的多个方面和实施例，但在本申请的启发下，本申请的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本申请的保护范围和主旨仅通过后附的权利要求书来确定。
同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。

Claims (7)

  1. 一种计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，包括：
    获取第一牙齿的三维数字模型；
    对所述第一牙齿的三维数字模型进行特征提取；
    基于所述提取的特征，利用经训练的人工神经网络识别所述第一牙齿的三维数字模型的表面气泡；以及
    去除所述识别出的表面气泡。
  2. 如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述人工神经网络是卷积神经网络。
  3. 如权利要求2所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述卷积神经网络依次包括以下层：输入层、卷积层、卷积层、池化层、卷积层、卷积层、池化层、全连接层、dropout层、全连接层以及输出层。
  4. 如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述特征包括：Curvature Feature、PCA Feature、Shape Diameter Feature、Distance from Medial Surface、Average Geodesic Distance、Shape Contexts以及Spin Images。
  5. 如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述人工神经网络是以表面气泡经重采样的牙齿三维模型进行训练。
  6. 如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，基于拉普拉斯平滑方法去除所述识别出的表面气泡。
  7. 如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述人工神经网络是仅用于识别所述第一牙齿所在牙位的牙齿的三维数字模型的表面气泡。
PCT/CN2020/076115 2019-03-14 2020-02-21 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法 WO2020181974A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910193128.7 2019-03-14
CN201910193128.7A CN111696192A (zh) 2019-03-14 2019-03-14 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法

Publications (1)

Publication Number Publication Date
WO2020181974A1 true WO2020181974A1 (zh) 2020-09-17

Family

ID=72426849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/076115 WO2020181974A1 (zh) 2019-03-14 2020-02-21 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法

Country Status (2)

Country Link
CN (1) CN111696192A (zh)
WO (1) WO2020181974A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022123402A1 (en) * 2020-12-11 2022-06-16 3M Innovative Properties Company Automated processing of dental scans using geometric deep learning
CN117455929A (zh) * 2023-12-26 2024-01-26 福建理工大学 基于双流自注意力图卷积网络的牙齿分割方法及终端

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115769A (zh) * 2021-03-19 2022-09-27 宁波深莱医疗科技有限公司 去除牙齿三维数字模型上的附件的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
CN108986123A (zh) * 2017-06-01 2018-12-11 无锡时代天使医疗器械科技有限公司 牙颌三维数字模型的分割方法
CN109146897A (zh) * 2018-08-22 2019-01-04 北京羽医甘蓝信息技术有限公司 口腔放射图像质量控制方法及装置
CN109360196A (zh) * 2018-09-30 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习处理口腔放射图像的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
CN108986123A (zh) * 2017-06-01 2018-12-11 无锡时代天使医疗器械科技有限公司 牙颌三维数字模型的分割方法
CN109146897A (zh) * 2018-08-22 2019-01-04 北京羽医甘蓝信息技术有限公司 口腔放射图像质量控制方法及装置
CN109360196A (zh) * 2018-09-30 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习处理口腔放射图像的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022123402A1 (en) * 2020-12-11 2022-06-16 3M Innovative Properties Company Automated processing of dental scans using geometric deep learning
CN117455929A (zh) * 2023-12-26 2024-01-26 福建理工大学 基于双流自注意力图卷积网络的牙齿分割方法及终端
CN117455929B (zh) * 2023-12-26 2024-03-15 福建理工大学 基于双流自注意力图卷积网络的牙齿分割方法及终端

Also Published As

Publication number Publication date
CN111696192A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
WO2018218988A1 (zh) 牙颌三维数字模型的分割方法
WO2020181974A1 (zh) 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法
Xu et al. 3D tooth segmentation and labeling using deep convolutional neural networks
WO2019214339A1 (zh) 牙齿三维数字模型的局部坐标系设定方法
WO2019001208A1 (zh) 一种oct图像中脉络膜新生血管分割算法
Xia et al. Individual tooth segmentation from CT images scanned with contacts of maxillary and mandible teeth
CN111968146B (zh) 三维牙颌网格模型分割方法
US20190043255A1 (en) Population-based surface mesh reconstruction
WO2020108304A1 (zh) 人脸网格模型的重建方法、装置、设备和存储介质
Sun et al. Medial meshes–a compact and accurate representation of medial axis transform
CN113269791B (zh) 一种基于边缘判定与区域生长的点云分割方法
CN105389821B (zh) 一种基于云模型和图割相结合的医学图像分割方法
WO2019201205A1 (zh) 一种确定肺结节密度的方法及装置
US10373701B2 (en) Methods and apparatuses for creating a statistical average model of an enamel-dentine junction
CN114255244A (zh) 一种牙颌三维模型分割方法和系统
CN104318553A (zh) 基于自适应表面形变模型的ct图像肝脏分割方法
WO2022193909A1 (zh) 去除牙齿三维数字模型上的附件的方法
WO2021212940A1 (zh) 牙颌三维数字模型的分割方法
TW201317815A (zh) 尺寸號資訊處理系統及方法
Zhang et al. A new section line extraction method of ring forgings based on normal vector and L1-median
CN107492101B (zh) 基于自适应构造最优图的多模态鼻咽肿瘤分割算法
Bénière et al. Recovering primitives in 3D CAD meshes
CN113139908B (zh) 一种三维牙列分割与标注方法
CN109948541A (zh) 一种面部情感识别方法与系统
Denk et al. Feature line detection of noisy triangulated CSGbased objects using deep learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769912

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20769912

Country of ref document: EP

Kind code of ref document: A1