LU500415B1 - Grid denoising method based on graphical convolution network - Google Patents
Grid denoising method based on graphical convolution network Download PDFInfo
- Publication number
- LU500415B1 LU500415B1 LU500415A LU500415A LU500415B1 LU 500415 B1 LU500415 B1 LU 500415B1 LU 500415 A LU500415 A LU 500415A LU 500415 A LU500415 A LU 500415A LU 500415 B1 LU500415 B1 LU 500415B1
- Authority
- LU
- Luxembourg
- Prior art keywords
- graphical
- convolution
- grid
- normal
- network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 7
- 230000009977 dual effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 108091028140 FREP Proteins 0.000 description 1
- 101000862627 Homo sapiens eIF-2-alpha kinase activator GCN1 Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 102100030495 eIF-2-alpha kinase activator GCN1 Human genes 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/60—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
La présente invention fournit un procédé de débruitage de la grille basé sur un réseau de convolution graphique, qui explore la structure de grille triangulaire lui-même, et introduit une représentation graphique, puis introduit l'opération de convolution graphique dans l'espace dual triangulaire. La présente invention montre une telle forme de représentation graphique qui peut naturellement capturer des caractéristiques géométriques et en même temps est légère à la fois pour la phase d'apprentissage et la phase d'inférence. Afin de favoriser un apprentissage efficace des caractéristiques, ce réseau utilise à la fois des convolutions de bord statique et dynamique, ce qui permet d'apprendre des informations à partir des relations potentielles entre la structure de grille explicite et les adjacents non connectés. Afin de mieux estimer la fonction de bruit inconnu, la présente invention introduit un exemple d'optimisation en cascade d'une pluralité de GCN pour déduire progressivement la normale sans bruit d'une face. La présente invention obtient les meilleurs résultats à partir d'une pluralité d'ensembles de données de bruit, y compris des modèles CAD contenant des caractéristiques claires et des modèles de balayage d'origine de bruit réel capturé par différents dispositifs.The present invention provides a grid denoising method based on a graphical convolution network, which explores the triangular grid structure itself, and introduces a graphical representation, and then introduces the graphical convolution operation in the triangular dual space . The present invention shows such a form of graphical representation which can naturally capture geometric features and at the same time is lightweight for both the training phase and the inference phase. In order to promote efficient feature learning, this network uses both static and dynamic edge convolutions, allowing information to be learned from potential relationships between the explicit grid structure and unconnected adjacent ones. In order to better estimate the unknown noise function, the present invention introduces an example of a cascade optimization of a plurality of GCNs to gradually deduce the noiseless normal of a face. The present invention obtains the best results from a plurality of noise data sets, including CAD models containing clear features and original scan models of real noise captured by different devices.
Description
BL-5260 Procédé de débruitage de la grille basé sur un réseau de convolution 0500815 graphiqueBL-5260 Grid denoising method based on graphical convolution network 0500815
DOMAINE TECHNIQUE L'invention appartient au domaine de l'infographie, en particulier un procédé de débruitage de la grille basé sur un réseau de convolution graphiqueTECHNICAL FIELD The invention belongs to the field of computer graphics, in particular a grid denoising method based on a graphical convolution network
CONTEXTE TECHNIQUE En raison que la position du sommet ou la normale surfacique est essentiellement un signal 3D, la tâche de débruitage sur la surface de grille est similaire à une image 2D. Par conséquent, la technologie de débruitage de la grille est fortement inspirée de la technologie de débruitage de l'image, et divers filtres passe-bas et caractéristiques-gardant ont été introduits pour effectuer un débruitage de la grille. Le filtre bilatéral est l'un des filtres les plus largement utilisés, mais les procédés basés sur les filtres présentent un inconvénient commun, soit qu’une fois gravement endommagées par le bruit, les caractéristiques (en particulier les caractéristiques faibles) sont difficiles à récupérer par ces procédés. Un autre procédé est basé sur un procédé optimisé de débruitage de la grille. Cependant, il n'est applicable qu'aux grilles qui répondent aux hypothèses, et ne peut pas résumer les modes de bruit pour les grilles présentant des caractéristiques géométriques différentes. En revanche, les procédés basés sur l'apprentissage ne proposent pas d’hypothèses spécifiques sur les caractéristiques essentielles ou les modes de bruit et ont été appliquées avec succès au débruitage de l'image. Cependant, contrairement aux images, les grilles 3D sont irrégulières en général, et les convolutions basées sur image ne peuvent pas être appliquées directement. Afin de résoudre ce problème, nous proposons un nouveau procédé pour entrer des données du bloc de grilles irrégulière directement dans un réseau de convolution graphique. En représentant graphiquement le graphe géométrique de la surface locale via l’opérations de convolution graphique, notre réseau peut mieux capturer les caractéristiques géométriques inhérentes d’un modèle source sous bruit que les autres procédés existants. Des réseaux de convolution graphique (GCN) ont été introduits pour traiter les structures non euclidiennes. Les premiers travaux du GCN nécessitent une structure de graphe statique et ne peuvent donc pas être étendus à une grille avec une topologie variable. Les dernières recherches sur la convolution graphique dynamique montrent que les bords variables peuvent être plus performantes. Notre procédé utilise une structure de graphe statique dans le bloc et une 1TECHNICAL BACKGROUND Because vertex position or surface normal is essentially a 3D signal, the denoising task on the grid surface is similar to a 2D image. Therefore, the grid denoising technology is strongly inspired from the image denoising technology, and various low-pass and feature-guarding filters have been introduced to perform grid denoising. The bilateral filter is one of the most widely used filters, but filter-based methods have a common drawback that once severely damaged by noise, features (especially weak features) are difficult to recover. by these processes. Another method is based on an optimized method of denoising the grid. However, it is only applicable to grids that meet the assumptions, and cannot summarize the noise modes for grids with different geometric characteristics. In contrast, learning-based methods do not make specific assumptions about essential features or noise modes and have been successfully applied to image denoising. However, unlike images, 3D grids are generally irregular, and image-based convolutions cannot be applied directly. In order to solve this problem, we propose a new method to enter data from the block of irregular grids directly into a graphical convolution network. By graphically representing the geometric graph of the local surface via graphical convolution operations, our network can better capture the inherent geometric characteristics of a source model under noise than other existing methods. Graphic convolution networks (GCN) have been introduced to deal with non-Euclidean structures. The early work of the GCN requires a static graph structure and therefore cannot be extended to a grid with variable topology. The latest research on dynamic graph convolution shows that variable edges can perform better. Our method uses a static graph structure in the block and a 1
BL-5260 structure de graphe dynamique construite pendant la convolution pour apprendre efficacement LUS00415 les caractéristiques géométriques du bloc. En outre, il existe d'autres opérations de convolution développées pour les grilles, qui sont principalement utilisées pour comprendre des objets entiers ou de grandes scènes, et nécessitent des structures de réseau très profondes. Le travail de débruitage accorde plus d'attention aux blocs locaux et introduit la convolution dans un espace dual de la surface de grille.BL-5260 dynamic graph structure built during convolution to effectively learn LUS00415 the geometric characteristics of the block. Also, there are other convolution operations developed for grids, which are mainly used to understand whole objects or large scenes, and require very deep grid structures. The denoising work pays more attention to local blocks and introduces convolution in a dual space of the grid surface.
DIVULGATION DE L’INVENTION La présente invention propose un procédé de débruitage de la grille basé sur un réseau GCN, qui utilise un graphe rotatif et invariant pour représenter dans un espace dual de la face de grille, réalisant ainsi un apprentissage efficace des caractéristiques par convolution graphique.DISCLOSURE OF THE INVENTION The present invention provides a GCN-based gate denoising method, which uses a rotating and invariant graph to represent in dual space the gate face, thereby realizing efficient convolutional feature learning. graphic.
De plus, les opérations de convolution graphique statique et dynamique dans l'architecture de la présente invention sont connectées en série pour apprendre des caractéristiques de structure explicites efficaces et des caractéristiques implicites potentielles entre des nœuds adjacents.Additionally, the static and dynamic graphics convolution operations in the architecture of the present invention are serially connected to learn effective explicit structure characteristics and potential implicit characteristics between adjacent nodes.
La présente invention peut être réalisée par une solution technique suivante : Un procédé de débruitage de la grille basé sur un réseau de convolution graphique est proposé, comprenant les étapes suivantes : Étape 1 : Générer un bloc local pour chaque face d’une grille de bruit et pivoter et aligner les blocs locaux par l'algorithme de vote de tenseur.The present invention can be realized by a following technical solution: A grid denoising method based on a graphical convolution network is proposed, comprising the following steps: Step 1: Generate a local block for each face of a noise grid and rotate and align the local blocks by the tensor voting algorithm.
Étape 2 : Convertir les blocs locaux alignés à l'étape 1 en un graphe pour représenter, entrer-le dans un réseau neuronal de convolution graphique entraîné, prévoir la normale sans bruit, puis mettre à jour du sommet du modèle de grille en fonction de la normale prévue pour obtenir un modèle débruité. Où la structure du réseau neuronal de convolution graphique est composée d’EdgeConv statique de la couche Le, d’EdgeConv dynamique de la couche La et d’une couche entièrement connectée (FC) de la couche Li.Step 2: Convert the local blocks aligned in step 1 into a graph to represent, feed it into a trained graph convolution neural network, predict the normal without noise, then update the vertex of the grid model based on the expected normal to obtain a denoised model. Where the structure of the graph convolution neural network is composed of static EdgeConv of the Le layer, dynamic EdgeConv of the La layer and a fully connected (FC) layer of the Li layer.
De plus, l’étape 1 est mise en œuvre à travers les sous-étapes suivantes : (1.1) Pour une face sélectionnée f, délimiter une sphère d’enveloppe à un rapport fixe de l'aire de sa zone et considérer toutes les faces contenues dans la sphère d’enveloppe comme faces du bloc p.Moreover, step 1 is implemented through the following sub-steps: (1.1) For a selected face f, bound an envelope sphere at a fixed ratio of the area of its area and consider all faces contained in the envelope sphere as faces of the block p.
(1.2) Définir le tenseur de vote f; pour toutes les faces T; du bloc et obtenir des valeurs caractéristiques et des vecteurs caractéristiques unitaires.(1.2) Define the vote tensor f; for all faces T; of the block and obtain characteristic values and unit characteristic vectors.
(1.3) Construire une matrice rotative Ri en fonction des vecteurs caractéristiques obtenus à l’étape 1.2, et multiplier le centre de masse et la normale de chaque facette de p par R;"pour 2(1.3) Construct a rotating matrix Ri according to the characteristic vectors obtained in step 1.2, and multiply the center of mass and the normal of each facet of p by R;"for 2
BL-5260 générer de nouvelles données de bloc p. LU500415 De plus, l’étape 2 est mise en œuvre a travers les sous-étapes suivantes : (2.1) Effectuer une convolution de bord statique sur l’itération de l'image d’entrée par EdgeConv statique pour obtenir des caractéristiques de faces adjacentes.BL-5260 generate new block data p. LU500415 In addition, step 2 is implemented through the following sub-steps: (2.1) Perform static edge convolution on the iteration of the input image by static EdgeConv to obtain features of adjacent faces .
(2.2) Effectuer une convolution de bord dynamique sur l’itération du résultat obtenu à l’étape(2.2) Perform dynamic edge convolution on the iteration of the result obtained in step
2.1 pour obtenir une face caractéristique la plus adjacente dans l’espace caractéristique.2.1 to obtain a most adjacent feature face in feature space.
(2.3) Après la convolution graphique, connecter les caractéristiques apprises ensemble, de sorte que la couche entièrement connectée résume les caractéristiques.(2.3) After graph convolution, connect the learned features together, so that the fully connected layer summarizes the features.
(2.4) Sélectionner les caractéristiques les plus importantes par mise en pool de symétrie, de sorte de prévoir finalement la normale.(2.4) Select the most important features by symmetry pooling, so as to finally predict the normal.
De plus, l'ensemble de données d’entrainement du réseau neuronal de convolution graphique est construit comme suit : Obtenir trois valeurs caractéristiques M1, À, et A3 en appliquant l'algorithme de vote de tenseur à chaque face du modèle sans bruit dans l'ensemble de données. Diviser les faces de tous les modèles de toutes les données en deux groupes, soit un groupe de « face » et un groupe de « bord » en fonction des valeurs caractéristiques, collecter les données de bloc et construire un ensemble de données d’entraînement.Additionally, the training dataset of the graphical convolution neural network is constructed as follows: Obtain three feature values M1, λ, and A3 by applying the tensor voting algorithm to each face of the model without noise in the data set. Divide the faces of all models of all data into two groups, i.e. a “face” group and an “edge” group according to the characteristic values, collect the block data and build a training data set.
De plus, entraîner une pluralité de réseaux neuronaux de convolution graphique en cascade pour prévoir la normale sans bruit, pour entraîner, construire un modèle débruité en fonction de la normale prévue par le réseau neuronal de convolution graphique de l’étage précédent et générer nouvelles données pour entraîner le réseau neuronal de convolution graphique de l’étage suivant jusqu'à ce que la perte du réseau en cascade ne diminue plus.Additionally, train a plurality of cascaded graphical convolution neural networks to predict the noise-free normal, to train, build a denoised model based on the normal predicted by the previous stage graphical convolution neural network, and generate new data to train the graph convolution neural network of the next stage until the loss of the cascaded network no longer decreases.
De plus, pour le dernier étage du réseau neuronal de convolution graphique, effectuer une optimisation itérative sur le composant normal par un filtre bilatéral sur la grille, mettre à jour le sommet à chaque itération, et obtenir enfin un modèle de grille débruité.Moreover, for the last stage of the graphical convolution neural network, perform iterative optimization on the normal component by a bilateral filter on the grid, update the vertex at each iteration, and finally obtain a denoised grid model.
Les contributions exceptionnelles de la présente invention sont : La présente invention propose un GCN-Denoiser, un procédé de débruitage de la grille gardant les caractéristiques basé sur un réseau de convolution graphique (GCN). Différente des procédés de débruitage de la grille précédents basés sur l'apprentissage de caractéristiques de construction artificielle ou basés sur l'apprentissage sur le voxel pour l'apprentissage des caractéristiques, la présente invention explore la structure de grille triangulaire lui-même, et introduit une représentation graphique, puis introduit l'opération de convolution graphique dans l’espace dual triangulaire. La présente invention montre une telle forme de représentation graphique qui peut naturellement capturer des caractéristiques géométriques et en même temps 3The outstanding contributions of the present invention are: The present invention provides a GCN-Denoiser, a feature-keeping grid denoising method based on a Graphical Convolutional Network (GCN). Different from previous grid denoising methods based on learning artificial construction features or based on voxel learning for feature learning, the present invention explores the triangular grid structure itself, and introduces a graphical representation, then introduces the graphical convolution operation in triangular dual space. The present invention shows such a form of graphical representation which can naturally capture geometric features and at the same time 3
BL-5260 est légère à la fois pour la phase d'apprentissage et la phase d'inférence. Afin de favoriser un LUS00415 apprentissage efficace des caractéristiques, ce réseau utilise à la fois des convolutions de bord statique et dynamique, ce qui permet d'apprendre des informations à partir des relations potentielles entre la structure de grille explicite et les adjacents non connectés. Afin de mieux estimer la fonction de bruit inconnu, la présente invention introduit un exemple d'optimisation en cascade d'une pluralité de GCN pour déduire progressivement la normale sans bruit d’une face. La présente invention obtient les meilleurs résultats à partir d’une pluralité d’ensembles de données de bruit, y compris des modèles CAD contenant des caractéristiques claires et des modèles de balayage d'origine de bruit réel capturé par différents dispositifs. Le procédé selon la présente invention atteint le meilleur résultat à l’heure actuelle tout en maintenant un bon équilibre entre l’effet et l’efficacité.BL-5260 is lightweight for both the learning phase and the inference phase. In order to promote efficient feature learning, this LUS00415 network uses both static and dynamic edge convolutions, allowing information to be learned from potential relationships between the explicit grid structure and unconnected adjacent ones. In order to better estimate the unknown noise function, the present invention introduces an example of a cascade optimization of a plurality of GCNs to gradually derive the noiseless normal of a face. The present invention obtains the best results from a plurality of noise data sets, including CAD models containing clear features and original scan models of real noise captured by different devices. The method according to the present invention achieves the best result at present while maintaining a good balance between effect and efficiency.
DESCRIPTION DES FIGURES La figure 1 est un schéma du processus de débruitage de réseau selon la présente invention. La figure 2 est une vue structurale du réseau GCN selon la présente invention. La figure 3 est une vue de l'effet de débruitage du réseau selon la présente invention.DESCRIPTION OF THE FIGURES Figure 1 is a diagram of the network denoising process according to the present invention. Figure 2 is a structural view of the GCN network according to the present invention. Figure 3 is a view of the network denoising effect according to the present invention.
EXPOSE DÉTAILLE DE MODE DE RÉALISATION En raison que le bruit a une composition complexe de la surface du modèle de grille, il est généralement estimé de manière locale. La présente invention a pour but de prévoir la normale sans bruit d'origine pour chaque face f dans un champ dual triangulaire de la grille par le bloc p sous bruit dans une certaine plage, et de reconstruire un modèle sans bruit, qui comprend les étapes suivantes : Étape 1 : Générer un bloc local pour chaque face d’une grille de bruit et pivoter et aligner les blocs locaux par l'algorithme de vote de tenseur. Étape 2 : Convertir les blocs locaux alignés à l'étape 1 en un graphe pour représenter, entrer-le dans un réseau neuronal de convolution graphique entraîné, prévoir la normale sans bruit, puis mettre à jour du sommet du modèle de grille en fonction de la normale prévue pour obtenir un modèle débruité. La structure du réseau neuronal de convolution graphique est composée d’EdgeConv de la couche Le, d’EdgeConv de la couche La et d’une couche entièrement connectée (FC) de la couche Li. La figure 1 montre un processus de débruitage d’une pluralité de réseaux neuronaux de convolution graphique en cascade selon la présente invention. La présente invention peut être décrite en plus détaillé ci-après via un exemple de réalisation : 4DETAILED DISCUSSION OF EMBODIMENT Because the noise has a complex composition of the surface of the grid model, it is generally estimated locally. The aim of the present invention is to predict the original noiseless normal for each face f in a triangular dual field of the grid by the block p under noise in a certain range, and to reconstruct a noiseless model, which includes the steps steps: Step 1: Generate a local block for each face of a noise grid and rotate and align the local blocks by the tensor voting algorithm. Step 2: Convert the local blocks aligned in step 1 into a graph to represent, feed it into a trained graph convolution neural network, predict the normal without noise, then update the vertex of the grid model based on the expected normal to obtain a denoised model. The structure of the graph convolution neural network is composed of EdgeConv of the Le layer, EdgeConv of the La layer and a fully connected (FC) layer of the Li layer. Figure 1 shows a denoising process of a plurality of cascaded graph convolution neural networks according to the present invention. The present invention can be described in more detail below via an exemplary embodiment: 4
BL-5260 Pour une grille de bruit, définir d'abord une grille triangulaire d'entrée comme M = {V, F}, où LUS00415 V = {vi}1 N'définit tous les sommets, et F = {fi}: Ÿ définit toutes les faces.BL-5260 For a noise grid, first define an input triangular grid as M = {V, F}, where LUS00415 V = {vi}1 N' defines all vertices, and F = {fi}: Ÿ defines all faces.
Nyet Nr sont respectivement le nombre de sommets et le nombre de faces.Ny and Nr are respectively the number of vertices and the number of faces.
Pour chaque face fi de F, générer ses données pi du bloc local.For each face fi of F, generate its data pi from the local block.
L'ensemble de tous les blocs de M est défini comme P = {pi} 1. De même, la normale de la face fi est noté ni, son centre de masse est noté ci, et son aire est notée ai.The set of all blocks of M is defined as P = {pi} 1. Similarly, the normal of the face fi is denoted ni, its center of mass is denoted ci, and its area is denoted ai.
Ou, le bloc pi signifie toutes les facettes (y compris fi) contenues dans la sphère avec un rayon r au centre de masse ci de la facette fi, soit pi doit satisfaire : VO 3 Hue—all <r Î; Epi viel; Des blocs avec les mêmes propriétés dans des positions différentes causeront des problèmes au réseau neuronal, car il est difficile d'apprendre les transformations spatiales pour les méthodes d'apprentissage profond.Or, the block pi means all the facets (including fi) contained in the sphere with a radius r at the center of mass ci of the facet fi, that is pi must satisfy: VO 3 Hue—all <r Î; Epi old; Blocks with the same properties in different positions will cause problems for the neural network, as it is difficult to learn spatial transformations for deep learning methods.
Afin de résoudre ce problème, la présente invention utilise la théorie du vote de tenseur pour aligner clairement les faces dans un système de coordonnées commun, c'est-à-dire définir le tenseur de vote T; pour toutes les faces f; du bloc et obtenir des valeurs caractéristiques et des vecteurs caractéristiques unitaires, qui comprend les étapes suivantes : Convertir tout d’abord pi en l'origine [0, 0, 0], puis mettre-le à l'échelle dans la boîte d’enveloppe unitaire.In order to solve this problem, the present invention uses the tensor vote theory to clearly align the faces in a common coordinate system, i.e. define the vote tensor T; for all faces f; of the block and obtain feature values and unit feature vectors, which includes the following steps: First convert pi to the origin [0, 0, 0], then scale it in the box of unit envelope.
La définition du tenseur de vote T; pour la face fi est la suivante : T; = > pining 7 frep Où uj=(a;/ am)exp(-|| c;-ci || /0), avec 6 est un paramètre et est défini dans le présent exemple de réalisation à 1/3, am est l’aire du triangle le plus grand dans pi, et nj © est le composant normal de vote de fj : nj'= 2(n; wi)w; —nj, où w; = normalize { [(ci-ci)<ni]<(cj -ci)}. En raison que Ti est une matrice semi-définie positive, elle peut être exprimée comme : T; = Aree’ + Aneserl + Aseges Où M>A2>A3 sont ses valeurs caractéristiques, €1, € et es sont les vecteurs caractéristiques unitaires correspondants, qui forment un ensemble de bases orthogonales.The definition of the vote tensor T; for the face fi is the following: T; => pining 7 frep Where uj=(a;/am)exp(-|| c;-ci || /0), where 6 is a parameter and is defined in this example embodiment as 1/3, am is the area of the largest triangle in pi, and nj © is the normal voting component of fj: nj'= 2(n; wi)w; —nj, where w; = normalize { [(ci-ci)<ni]<(cj -ci)}. Because Ti is a positive semi-definite matrix, it can be expressed as: T; = Aree’ + Aneserl + Aseges Where M>A2>A3 are its characteristic values, €1, € and es are the corresponding unitary characteristic vectors, which form a set of orthogonal bases.
Ensuite, construire une matrice rotative Ri = [e1, €, es], et multiplier le centre de masse et la normale de chaque facette pi par Ri"! pour générer des nouvelles données de bloc p.Next, construct a rotating matrix Ri = [e1, €, es], and multiply the center of mass and the normal of each facet pi by Ri"! to generate new block data p.
Ensuite, établir une structure graphique pour chaque bloc généré pour l'adapter à notre réseau de convolution graphique ultérieur.Next, establish a graphical structure for each generated block to fit our subsequent graphical convolution network.
Créer un graphe non orienté G = (Q, E, ®), où un nœud qi € Q sur le graphe est créé pour chaque face f du bloc p, et un bord e = (qi, qj) € E est crée siCreate an undirected graph G = (Q, E, ®), where a node qi € Q on the graph is created for each face f of block p, and an edge e = (qi, qj) € E is created if
BL-5260 le face fi et fj sont adjacents. ® représente les caractéristiques de nœud, y compris un ensemble LUS00415 d'attributs de nœud.BL-5260 the face fi and fj are adjacent. ® represents node characteristics, including a LUS00415 set of node attributes.
Pour chaque qiE€ ®, correspondant à la face fi, ¢'=(Ci, Ni, ai, di). Ci et fii signifient le centre de masse et la normale de la face fi alignés. di est le nombre de faces adjacentes dans un champ adjacent d’un anneau de fi, ce qui permet de distinguer les faces limites.For each qiE€ ®, corresponding to face fi, ¢'=(Ci, Ni, ai, di). Ci and fii mean the center of mass and the normal of the face fi aligned. di is the number of adjacent faces in an adjacent field of a ring of fi, which allows boundary faces to be distinguished.
Comme montrée la figure 2, le réseau GCN selon la présente invention est composé d’une pluralité de couches de convolution. (Martin Simonovsky and Nikos Komodakis. 2017. Dynamic edge-conditioned filters in convolutional neural networks on graphs.As shown in Figure 2, the GCN network according to the present invention is composed of a plurality of convolution layers. (Martin Simonovsky and Nikos Komodakis. 2017. Dynamic edge-conditioned filters in convolutional neural networks on graphs.
In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 29-38). Dans chaque couche, similaire au réseau de convolution classique, le GCN selon la présente invention va résumer et mettre à jour les caractéristiques des nœuds adjacents de chaque nœud, ce qui est également appelé opération de convolution.In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 29-38). In each layer, similar to the classic convolution network, the GCN according to the present invention will summarize and update the characteristics of the adjacent nodes of each node, which is also called convolution operation.
Bien qu’il existe une certaine connectivité faciale pour chaque graphe, leur structure est assez différente en termes de bloc.Although there is some facial connectivity for each graph, their structure is quite different in terms of block.
Les diverses structures seront traitées par la stratégie ECC (Edge-Conditioned Convolution) au cours de la convolution.The various structures will be processed by the ECC (Edge-Conditioned Convolution) strategy during the convolution.
Définir G; #(Q,, E;, ®;) comme la couche / dans la convolution graphique et ¢' est G/ le vecteur caractéristique du nœud i dans G/. Mettre à jour les caractéristiques de nœud de la manière suivante :Set G; #(Q,, E;, ®;) as the layer / in the convolution graph and ¢' is G/ the characteristic vector of node i in G/. Update node characteristics as follows:
Oh = LE PC Ici, ¥ est un ensemble de caractéristiques, he! = Lineare! (FF - Fi). Chaque couche de convolution graphique du réseau présente.Oh = THE PC Here, ¥ is a set of features, he! = Linear! (FF - Fi). Each network graphic convolution layer present.
En raison que le mappage du graphe géométrique à la connectivité n'est pas une fonction biunivoque, seule la structure du graphe d'origine qui est utilisée peut entraîner la perte de certaines informations au cours de la convolution.Because the mapping of geometric graph to connectivity is not a one-to-one function, only the structure of the original graph that is used may cause some information to be lost during convolution.
Afin d'enrichir le champ réceptif du nœud graphique, la présente invention permet en outre une connexion de nœuds graphiques non adjacents au cours de la convolution.In order to enrich the receptive field of the graphic node, the present invention further allows a connection of non-adjacent graphic nodes during the convolution.
Telle conversion graphique est appelée EdgeConv dynamique.Such graphics conversion is called Dynamic EdgeConv.
Dans cette solution, les voisins de chaque nœud sont calculés de manière dynamique par KNN (K = 8 dans la mise en œuvre du présent exemple de réalisation) en fonction de la distance euclidienne du nœud.In this solution, the neighbors of each node are dynamically calculated by KNN (K = 8 in the implementation of this example embodiment) based on the Euclidean distance from the node.
La structure du système de réseau selon la présente invention est composée d’EdgeConv statique de la couche Le, d’EdgeConv dynamique de la couche La et d’une couche entièrement connectée (FC) de la couche Li.The structure of the network system according to the present invention is composed of static EdgeConv of the Le layer, dynamic EdgeConv of the La layer and a fully connected (FC) layer of the Li layer.
Après la convolution graphique de chaque couche, connecter les caractéristiques apprises pour pooler.After the graphical convolution of each layer, connect the learned features to pool.
Dans le présent exemple de réalisation, le pool moyen et le pool maximum sont tous utilisés comme fonctions symétriques, qui peuvent sélectionnerIn the present example embodiment, the average pool and the maximum pool are all used as symmetric functions, which can select
66
BL-5260 les caractéristiques les plus importantes.BL-5260 the most important features.
Enfin, la couche FC revient au vecteur 3D, soit la LUS00415 normale prévue par la présente invention.Finally, the FC layer reverts to the 3D vector, which is the normal LUS00415 provided by the present invention.
À l'exception de la dernière couche FC, chaque couche dans la structure du système selon la présente invention a une fonction de normalisation de traitement par lots et d'activation LeakyReLU.Except for the last FC layer, each layer in the structure of the system according to the present invention has a function of batch processing normalization and LeakyReLU activation.
Comme solution de préférence, la normale sans bruit revient progressivement par les GCN en cascade (GCN1, ..., GCNx). Tous les GCN dans l'optimisation en cascade ont la même architecture, mais ont différents EdgeConv statique, EdgeConv dynamique et le nombre de couches FC.As a preferred solution, the noiseless normal returns gradually through the cascaded GCNs (GCN1, ..., GCNx). All GCNs in the waterfall optimization have the same architecture, but have different static EdgeConv, dynamic EdgeConv, and number of FC layers.
Dans le présent exemple de réalisation, pour le premier GCN, on définit Le = 3, Ld = 3 et LI = 4, et pour les GCN restants, et on définit Le = 2, Ld = 2 et L1 = 3. Mettre à jour la position du sommet après chaque mise à jour de prévision de la normale, selon le procédé de la présente invention, la mise à jour du sommet peut être définie comme la formule suivante, où ©’; est le champ du sommet, qui contient ses sommets adjacents et le champ du sommet contient les faces correspondantes des sommets adjacents. vit =o + Sie 2 2 nln] - @f = vf) HE, egyedf; k représente le nombre d'itérations de la mise à jour du sommet et l'exposant g représente la normale cible, à la mise à jour GCN de l’étage précédent x-1, il s’agit la valeur prévue de sortie du réseau, et à la mise à jour du dernier étage, il s’agit la normale optimisée ; et eij représente le bord entre deux sommets de la face.In this example embodiment, for the first GCN, set Le = 3, Ld = 3, and LI = 4, and for the remaining GCNs, set Le = 2, Ld = 2, and L1 = 3. the vertex position after each normal forecast update, according to the method of the present invention, the vertex update can be defined as the following formula, where ©'; is the vertex field, which contains its adjacent vertices and the vertex field contains the corresponding faces of the adjacent vertices. vit =o + Sie 2 2 nln] - @f = vf) HE, egyedf; k represents the number of iterations of the vertex update and the exponent g represents the target normal, at the GCN update of the previous floor x-1, this is the expected network output value , and at the top floor update, this is the optimized normal; and eij represents the edge between two face vertices.
Dans l'étape d'apprentissage hors ligne, on effectue un débruitage sur la grille de bruit dans l'ensemble d'apprentissage à travers la sortie de GCN,, puis génère de nouvelles données à partir de ces grilles mises à jour pour entraîner le GCN, +1 suivant.In the offline training step, one performs denoising on the noise grid in the training set through the output of GCN, and then generates new data from these updated grids to train the GCN, +1 next.
Lorsque l'erreur du réseau sur l'ensemble de validation ne diminue plus, le GCN en cascade peut être arrêté.When the network error on the validation set no longer decreases, the cascaded GCN can be stopped.
La fonction de perte est le MSE entre la sortie du réseau et la valeur standard, soit RU.The loss function is the MSE between the network output and the standard value, ie RU.
Ici, ny est la normale de la grille réelle sans bruit de la face fi, et R est la matrice rotative correspondante mentionnée ci-dessus.Here, ny is the noiseless real gate normal of the fi face, and R is the corresponding rotating matrix mentioned above.
Comme solution de préférence, pour chaque modèle 3D, des bruites de divers niveaux et types seront générés pour l'entraînement.As a preferred solution, for each 3D model, noises of various levels and types will be generated for training.
Obtenir trois valeurs caractéristiques Ai, À, et À; en appliquant l'algorithme de vote de tenseur à chaque face du modèle sans bruit dans l'ensemble de données.Obtain three characteristic values Ai, λ, and λ; by applying the tensor voting algorithm to each face of the noiseless model in the dataset.
Pour chaque modèle, chaque face est divisée en quatre groupes : { fi pa < 0.01 A M3 < 0.001} est une surface plane, { fi [My > 0.01 A M3 < 0.1} est une surface latérale, { fi IE > 0.1} est une surface angulaire et les autres sont des surfaces de transition.For each model, each face is divided into four groups: { fi pa < 0.01 A M3 < 0.001} is a flat surface, { fi [My > 0.01 A M3 < 0.1} is a side surface, { fi IE > 0.1} is an angular surface and the others are transition surfaces.
En raison que le nombre des surfaces latérales et le nombre des surfaces angulaires sont moins que ceux 7Because the number of side surfaces and the number of corner surfaces are less than 7
BL-5260 de deux autres types, elles sont divisées encore en deux groupes : les surfaces non LUS00415 caractéristiques composées des surfaces planes et des surfaces de transition, et les surfaces caractéristiques composées des surfaces latérales et des surfaces angulaires.BL-5260 of two other types, they are further divided into two groups: non LUS00415 characteristic surfaces consisting of plane surfaces and transition surfaces, and characteristic surfaces consisting of lateral surfaces and angular surfaces.
Collecter les blocs de manière régulière dans les deux groupes en tant que données d'entraînement.Collect blocks evenly in both groups as training data.
Cette stratégie est applicable à l’entraînement de tous GCN.This strategy is applicable to the training of all GCNs.
Comme solution de préférence, pour la normale prévue d’une grille de bruit d’entrée donnée, afin d'éviter une discontinuité entre les faces adjacentes provoquée par un traitement local, un filtre bilatéral (Youyi Zheng, Hongbo Fu, Oscar Kin-Chung Au, et Chiew-Lan Tai 2011. Filtrage normal bilatéral pour le débruitage du maillage.As a preferred solution, for the expected normal of a given input noise grid, to avoid a discontinuity between adjacent faces caused by local processing, a bilateral filter (Youyi Zheng, Hongbo Fu, Oscar Kin-Chung Au, and Chiew-Lan Tai 2011. Two-sided normal filtering for mesh denoising.
IEFE Transactions on Visualization and Computer Graphics 17, 10 (2011), 1521-1530.) peut être utilisé pour ajuster de manière précise la normale prévue par GCN : alt = normalize( > a; Ws (Hey ~ er DWe Qi =A DA field L’itération de cette opération peut étre m itérations, mais elle n'est appliquée qu'a la sortie de la normale du dernier GCN en cascade.IEFE Transactions on Visualization and Computer Graphics 17, 10 (2011), 1521-1530.) can be used to precisely adjust the normal predicted by GCN: alt = normalize( > a; Ws (Hey ~ er DWe Qi =A DA field The iteration of this operation can be m iterations, but it is only applied to the output of the normal of the last cascaded GCN.
Ou, n!"*! est la normale obtenue à la fin de m + 1 optimisations itératives, et n]* est la normale calculée à partir de la face après la mise a jour du sommet en fonction de la normale obtenue a la fin de m itérations.Where, n!"*! is the normal obtained at the end of m + 1 iterative optimizations, and n]* is the normal calculated from the face after the vertex update based on the normal obtained at the end of iterations.
Qi; est un ensemble de fi adjacents, et Ws et W, sont les fonctions gaussiennes avec noyaux Gs et or.Qi; is a set of adjacent fi, and Ws and W, are the Gaussian functions with kernels Gs and or.
Les figures 1 et 3 montrent respectivement les résultats de débruitage des modèles de balayage d'origine de bruit réel capturé par différents dispositifs et des modèles CAD contenant des caractéristiques claires, la gauche étant le modèle de bruit d'entrée, le milieu étant les résultats et la droite étant la valeur réelle sans bruit d'origine.Figures 1 and 3 show the denoising results of the original scan models of real noise captured by different devices and CAD models containing clear features, respectively, the left being the input noise model, the middle being the results and the line being the real value without original noise.
Comme montrées les figures, le procédé selon la présente invention atteint les meilleurs résultats de débruitage tout en maintenant un bon équilibre entre l’effet et l’efficacité. 8As shown in the figures, the method according to the present invention achieves the best denoising results while maintaining a good balance between effect and efficiency. 8
Claims (6)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010939418.4A CN112200733B (en) | 2020-09-09 | 2020-09-09 | Grid denoising method based on graph convolution network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| LU500415B1 true LU500415B1 (en) | 2022-03-09 |
Family
ID=74005804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| LU500415A LU500415B1 (en) | 2020-09-09 | 2021-07-09 | Grid denoising method based on graphical convolution network |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7171087B2 (en) |
| CN (1) | CN112200733B (en) |
| LU (1) | LU500415B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197000A (en) * | 2023-11-06 | 2023-12-08 | 武汉中观自动化科技有限公司 | Quick grid denoising method and device and electronic equipment |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011516A (en) * | 2021-03-30 | 2021-06-22 | 华南理工大学 | Three-dimensional mesh model classification method and device based on graph topology and storage medium |
| CN117315194A (en) * | 2023-09-27 | 2023-12-29 | 南京航空航天大学 | Triangular mesh representation learning method for large aircraft appearance |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10726525B2 (en) | 2017-09-26 | 2020-07-28 | Samsung Electronics Co., Ltd. | Image denoising neural network architecture and method of training the same |
| US20190318227A1 (en) * | 2018-04-13 | 2019-10-17 | Fabula Al Limited | Recommendation system and method for estimating the elements of a multi-dimensional tensor on geometric domains from partial observations |
| CN109658348A (en) | 2018-11-16 | 2019-04-19 | 天津大学 | The estimation of joint noise and image de-noising method based on deep learning |
| EP3674983A1 (en) | 2018-12-29 | 2020-07-01 | Dassault Systèmes | Machine-learning for 3d modeled object inference |
| CN111626102B (en) * | 2020-04-13 | 2022-04-26 | 上海交通大学 | Bimodal iterative denoising anomaly detection method and terminal based on video weak marker |
-
2020
- 2020-09-09 CN CN202010939418.4A patent/CN112200733B/en active Active
-
2021
- 2021-06-28 JP JP2021107136A patent/JP7171087B2/en active Active
- 2021-07-09 LU LU500415A patent/LU500415B1/en active IP Right Grant
Non-Patent Citations (5)
| Title |
|---|
| FRANCESCA PISTILLI ET AL: "Learning Graph-Convolutional Representations for Point Cloud Denoising", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 6 July 2020 (2020-07-06), XP081716626 * |
| MARTIN SIMONOVSKYNIKOS KOMODAKIS: "Dynamic edge-conditioned filters in convolutional neural networks on graphs", 2017 IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION (CVPR, 2017, pages 29 - 38, XP033249337, DOI: 10.1109/CVPR.2017.11 |
| WANG YUE YUEWANG@CSAIL MIT EDU ET AL: "Dynamic Graph CNN for Learning on Point Clouds", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 38, no. 5, 10 October 2019 (2019-10-10), pages 1 - 12, XP058479123, ISSN: 0730-0301, DOI: 10.1145/3326362 * |
| WEI MINGQIANG ET AL: "Tensor Voting Guided Mesh Denoising", IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 14, no. 2, April 2017 (2017-04-01), pages 931 - 945, XP011644969, ISSN: 1545-5955, [retrieved on 20170405], DOI: 10.1109/TASE.2016.2553449 * |
| YOUYI ZHENGHONGBO FUOSCAR KIN-CHUNG AUCHIEW-LAN TAI: "Filtrage normal bilatéral pour le débruitage du maillage", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 17, no. 10, 2011, pages 1521 - 1530 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197000A (en) * | 2023-11-06 | 2023-12-08 | 武汉中观自动化科技有限公司 | Quick grid denoising method and device and electronic equipment |
| CN117197000B (en) * | 2023-11-06 | 2024-03-19 | 武汉中观自动化科技有限公司 | Quick grid denoising method and device and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200733B (en) | 2022-06-21 |
| CN112200733A (en) | 2021-01-08 |
| JP2022045893A (en) | 2022-03-22 |
| JP7171087B2 (en) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| LU500415B1 (en) | Grid denoising method based on graphical convolution network | |
| Pistilli et al. | Learning graph-convolutional representations for point cloud denoising | |
| Liu et al. | Learning converged propagations with deep prior ensemble for image enhancement | |
| US20200184327A1 (en) | Automated generation of machine learning models | |
| CN113240683B (en) | Attention mechanism-based lightweight semantic segmentation model construction method | |
| Fan et al. | Neural sparse representation for image restoration | |
| Huang et al. | Neural kernel surface reconstruction | |
| CN113362250A (en) | Image denoising method and system based on dual-tree quaternary wavelet and deep learning | |
| CN112801906A (en) | Cyclic iterative image denoising method based on cyclic neural network | |
| CN112329801A (en) | Convolutional neural network non-local information construction method | |
| Zhao et al. | Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring | |
| Ukwuoma et al. | Image inpainting and classification agent training based on reinforcement learning and generative models with attention mechanism | |
| Lai et al. | Mixed attention network for hyperspectral image denoising | |
| Pahariya et al. | Computational Intelligence Hybrids Applied to Software Cost Estimation | |
| CN112967210B (en) | Unmanned aerial vehicle image denoising method based on full convolution twin network | |
| Jung et al. | Extension of convolutional neural network with general image processing kernels | |
| WO2024060839A1 (en) | Object operation method and apparatus, computer device, and computer storage medium | |
| Wang et al. | Mixed distortion image enhancement method based on joint of deep residuals learning and reinforcement learning | |
| Legrand et al. | Filtered quadrics for high‐speed geometry smoothing and clustering | |
| Li et al. | FA-GAN: a feature attention GAN with fusion discriminator for non-homogeneous dehazing | |
| Jiao et al. | Laplacian denoising autoencoder | |
| CN113688783A (en) | Face feature extraction method, low-resolution face recognition method and device | |
| CN111079930A (en) | Method and device for determining quality parameters of data set and electronic equipment | |
| Li et al. | Denoisingnet: An efficient convolutional neural network for image denoising | |
| CN111915621B (en) | Defect image segmentation method fusing deep neural network and CV model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Effective date: 20220309 |