LU500415B1 - Procédé de débruitage de la grille basé sur un réseau de convolution graphique - Google Patents
Procédé de débruitage de la grille basé sur un réseau de convolution graphique Download PDFInfo
- Publication number
- LU500415B1 LU500415B1 LU500415A LU500415A LU500415B1 LU 500415 B1 LU500415 B1 LU 500415B1 LU 500415 A LU500415 A LU 500415A LU 500415 A LU500415 A LU 500415A LU 500415 B1 LU500415 B1 LU 500415B1
- Authority
- LU
- Luxembourg
- Prior art keywords
- graphical
- convolution
- grid
- normal
- network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 7
- 230000009977 dual effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 108091028140 FREP Proteins 0.000 description 1
- 101000862627 Homo sapiens eIF-2-alpha kinase activator GCN1 Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 102100030495 eIF-2-alpha kinase activator GCN1 Human genes 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
La présente invention fournit un procédé de débruitage de la grille basé sur un réseau de convolution graphique, qui explore la structure de grille triangulaire lui-même, et introduit une représentation graphique, puis introduit l'opération de convolution graphique dans l'espace dual triangulaire. La présente invention montre une telle forme de représentation graphique qui peut naturellement capturer des caractéristiques géométriques et en même temps est légère à la fois pour la phase d'apprentissage et la phase d'inférence. Afin de favoriser un apprentissage efficace des caractéristiques, ce réseau utilise à la fois des convolutions de bord statique et dynamique, ce qui permet d'apprendre des informations à partir des relations potentielles entre la structure de grille explicite et les adjacents non connectés. Afin de mieux estimer la fonction de bruit inconnu, la présente invention introduit un exemple d'optimisation en cascade d'une pluralité de GCN pour déduire progressivement la normale sans bruit d'une face. La présente invention obtient les meilleurs résultats à partir d'une pluralité d'ensembles de données de bruit, y compris des modèles CAD contenant des caractéristiques claires et des modèles de balayage d'origine de bruit réel capturé par différents dispositifs.
Description
BL-5260 Procédé de débruitage de la grille basé sur un réseau de convolution 0500815 graphique
DOMAINE TECHNIQUE L'invention appartient au domaine de l'infographie, en particulier un procédé de débruitage de la grille basé sur un réseau de convolution graphique
CONTEXTE TECHNIQUE En raison que la position du sommet ou la normale surfacique est essentiellement un signal 3D, la tâche de débruitage sur la surface de grille est similaire à une image 2D. Par conséquent, la technologie de débruitage de la grille est fortement inspirée de la technologie de débruitage de l'image, et divers filtres passe-bas et caractéristiques-gardant ont été introduits pour effectuer un débruitage de la grille. Le filtre bilatéral est l'un des filtres les plus largement utilisés, mais les procédés basés sur les filtres présentent un inconvénient commun, soit qu’une fois gravement endommagées par le bruit, les caractéristiques (en particulier les caractéristiques faibles) sont difficiles à récupérer par ces procédés. Un autre procédé est basé sur un procédé optimisé de débruitage de la grille. Cependant, il n'est applicable qu'aux grilles qui répondent aux hypothèses, et ne peut pas résumer les modes de bruit pour les grilles présentant des caractéristiques géométriques différentes. En revanche, les procédés basés sur l'apprentissage ne proposent pas d’hypothèses spécifiques sur les caractéristiques essentielles ou les modes de bruit et ont été appliquées avec succès au débruitage de l'image. Cependant, contrairement aux images, les grilles 3D sont irrégulières en général, et les convolutions basées sur image ne peuvent pas être appliquées directement. Afin de résoudre ce problème, nous proposons un nouveau procédé pour entrer des données du bloc de grilles irrégulière directement dans un réseau de convolution graphique. En représentant graphiquement le graphe géométrique de la surface locale via l’opérations de convolution graphique, notre réseau peut mieux capturer les caractéristiques géométriques inhérentes d’un modèle source sous bruit que les autres procédés existants. Des réseaux de convolution graphique (GCN) ont été introduits pour traiter les structures non euclidiennes. Les premiers travaux du GCN nécessitent une structure de graphe statique et ne peuvent donc pas être étendus à une grille avec une topologie variable. Les dernières recherches sur la convolution graphique dynamique montrent que les bords variables peuvent être plus performantes. Notre procédé utilise une structure de graphe statique dans le bloc et une 1
BL-5260 structure de graphe dynamique construite pendant la convolution pour apprendre efficacement LUS00415 les caractéristiques géométriques du bloc. En outre, il existe d'autres opérations de convolution développées pour les grilles, qui sont principalement utilisées pour comprendre des objets entiers ou de grandes scènes, et nécessitent des structures de réseau très profondes. Le travail de débruitage accorde plus d'attention aux blocs locaux et introduit la convolution dans un espace dual de la surface de grille.
DIVULGATION DE L’INVENTION La présente invention propose un procédé de débruitage de la grille basé sur un réseau GCN, qui utilise un graphe rotatif et invariant pour représenter dans un espace dual de la face de grille, réalisant ainsi un apprentissage efficace des caractéristiques par convolution graphique.
De plus, les opérations de convolution graphique statique et dynamique dans l'architecture de la présente invention sont connectées en série pour apprendre des caractéristiques de structure explicites efficaces et des caractéristiques implicites potentielles entre des nœuds adjacents.
La présente invention peut être réalisée par une solution technique suivante : Un procédé de débruitage de la grille basé sur un réseau de convolution graphique est proposé, comprenant les étapes suivantes : Étape 1 : Générer un bloc local pour chaque face d’une grille de bruit et pivoter et aligner les blocs locaux par l'algorithme de vote de tenseur.
Étape 2 : Convertir les blocs locaux alignés à l'étape 1 en un graphe pour représenter, entrer-le dans un réseau neuronal de convolution graphique entraîné, prévoir la normale sans bruit, puis mettre à jour du sommet du modèle de grille en fonction de la normale prévue pour obtenir un modèle débruité. Où la structure du réseau neuronal de convolution graphique est composée d’EdgeConv statique de la couche Le, d’EdgeConv dynamique de la couche La et d’une couche entièrement connectée (FC) de la couche Li.
De plus, l’étape 1 est mise en œuvre à travers les sous-étapes suivantes : (1.1) Pour une face sélectionnée f, délimiter une sphère d’enveloppe à un rapport fixe de l'aire de sa zone et considérer toutes les faces contenues dans la sphère d’enveloppe comme faces du bloc p.
(1.2) Définir le tenseur de vote f; pour toutes les faces T; du bloc et obtenir des valeurs caractéristiques et des vecteurs caractéristiques unitaires.
(1.3) Construire une matrice rotative Ri en fonction des vecteurs caractéristiques obtenus à l’étape 1.2, et multiplier le centre de masse et la normale de chaque facette de p par R;"pour 2
BL-5260 générer de nouvelles données de bloc p. LU500415 De plus, l’étape 2 est mise en œuvre a travers les sous-étapes suivantes : (2.1) Effectuer une convolution de bord statique sur l’itération de l'image d’entrée par EdgeConv statique pour obtenir des caractéristiques de faces adjacentes.
(2.2) Effectuer une convolution de bord dynamique sur l’itération du résultat obtenu à l’étape
2.1 pour obtenir une face caractéristique la plus adjacente dans l’espace caractéristique.
(2.3) Après la convolution graphique, connecter les caractéristiques apprises ensemble, de sorte que la couche entièrement connectée résume les caractéristiques.
(2.4) Sélectionner les caractéristiques les plus importantes par mise en pool de symétrie, de sorte de prévoir finalement la normale.
De plus, l'ensemble de données d’entrainement du réseau neuronal de convolution graphique est construit comme suit : Obtenir trois valeurs caractéristiques M1, À, et A3 en appliquant l'algorithme de vote de tenseur à chaque face du modèle sans bruit dans l'ensemble de données. Diviser les faces de tous les modèles de toutes les données en deux groupes, soit un groupe de « face » et un groupe de « bord » en fonction des valeurs caractéristiques, collecter les données de bloc et construire un ensemble de données d’entraînement.
De plus, entraîner une pluralité de réseaux neuronaux de convolution graphique en cascade pour prévoir la normale sans bruit, pour entraîner, construire un modèle débruité en fonction de la normale prévue par le réseau neuronal de convolution graphique de l’étage précédent et générer nouvelles données pour entraîner le réseau neuronal de convolution graphique de l’étage suivant jusqu'à ce que la perte du réseau en cascade ne diminue plus.
De plus, pour le dernier étage du réseau neuronal de convolution graphique, effectuer une optimisation itérative sur le composant normal par un filtre bilatéral sur la grille, mettre à jour le sommet à chaque itération, et obtenir enfin un modèle de grille débruité.
Les contributions exceptionnelles de la présente invention sont : La présente invention propose un GCN-Denoiser, un procédé de débruitage de la grille gardant les caractéristiques basé sur un réseau de convolution graphique (GCN). Différente des procédés de débruitage de la grille précédents basés sur l'apprentissage de caractéristiques de construction artificielle ou basés sur l'apprentissage sur le voxel pour l'apprentissage des caractéristiques, la présente invention explore la structure de grille triangulaire lui-même, et introduit une représentation graphique, puis introduit l'opération de convolution graphique dans l’espace dual triangulaire. La présente invention montre une telle forme de représentation graphique qui peut naturellement capturer des caractéristiques géométriques et en même temps 3
BL-5260 est légère à la fois pour la phase d'apprentissage et la phase d'inférence. Afin de favoriser un LUS00415 apprentissage efficace des caractéristiques, ce réseau utilise à la fois des convolutions de bord statique et dynamique, ce qui permet d'apprendre des informations à partir des relations potentielles entre la structure de grille explicite et les adjacents non connectés. Afin de mieux estimer la fonction de bruit inconnu, la présente invention introduit un exemple d'optimisation en cascade d'une pluralité de GCN pour déduire progressivement la normale sans bruit d’une face. La présente invention obtient les meilleurs résultats à partir d’une pluralité d’ensembles de données de bruit, y compris des modèles CAD contenant des caractéristiques claires et des modèles de balayage d'origine de bruit réel capturé par différents dispositifs. Le procédé selon la présente invention atteint le meilleur résultat à l’heure actuelle tout en maintenant un bon équilibre entre l’effet et l’efficacité.
DESCRIPTION DES FIGURES La figure 1 est un schéma du processus de débruitage de réseau selon la présente invention. La figure 2 est une vue structurale du réseau GCN selon la présente invention. La figure 3 est une vue de l'effet de débruitage du réseau selon la présente invention.
EXPOSE DÉTAILLE DE MODE DE RÉALISATION En raison que le bruit a une composition complexe de la surface du modèle de grille, il est généralement estimé de manière locale. La présente invention a pour but de prévoir la normale sans bruit d'origine pour chaque face f dans un champ dual triangulaire de la grille par le bloc p sous bruit dans une certaine plage, et de reconstruire un modèle sans bruit, qui comprend les étapes suivantes : Étape 1 : Générer un bloc local pour chaque face d’une grille de bruit et pivoter et aligner les blocs locaux par l'algorithme de vote de tenseur. Étape 2 : Convertir les blocs locaux alignés à l'étape 1 en un graphe pour représenter, entrer-le dans un réseau neuronal de convolution graphique entraîné, prévoir la normale sans bruit, puis mettre à jour du sommet du modèle de grille en fonction de la normale prévue pour obtenir un modèle débruité. La structure du réseau neuronal de convolution graphique est composée d’EdgeConv de la couche Le, d’EdgeConv de la couche La et d’une couche entièrement connectée (FC) de la couche Li. La figure 1 montre un processus de débruitage d’une pluralité de réseaux neuronaux de convolution graphique en cascade selon la présente invention. La présente invention peut être décrite en plus détaillé ci-après via un exemple de réalisation : 4
BL-5260 Pour une grille de bruit, définir d'abord une grille triangulaire d'entrée comme M = {V, F}, où LUS00415 V = {vi}1 N'définit tous les sommets, et F = {fi}: Ÿ définit toutes les faces.
Nyet Nr sont respectivement le nombre de sommets et le nombre de faces.
Pour chaque face fi de F, générer ses données pi du bloc local.
L'ensemble de tous les blocs de M est défini comme P = {pi} 1. De même, la normale de la face fi est noté ni, son centre de masse est noté ci, et son aire est notée ai.
Ou, le bloc pi signifie toutes les facettes (y compris fi) contenues dans la sphère avec un rayon r au centre de masse ci de la facette fi, soit pi doit satisfaire : VO 3 Hue—all <r Î; Epi viel; Des blocs avec les mêmes propriétés dans des positions différentes causeront des problèmes au réseau neuronal, car il est difficile d'apprendre les transformations spatiales pour les méthodes d'apprentissage profond.
Afin de résoudre ce problème, la présente invention utilise la théorie du vote de tenseur pour aligner clairement les faces dans un système de coordonnées commun, c'est-à-dire définir le tenseur de vote T; pour toutes les faces f; du bloc et obtenir des valeurs caractéristiques et des vecteurs caractéristiques unitaires, qui comprend les étapes suivantes : Convertir tout d’abord pi en l'origine [0, 0, 0], puis mettre-le à l'échelle dans la boîte d’enveloppe unitaire.
La définition du tenseur de vote T; pour la face fi est la suivante : T; = > pining 7 frep Où uj=(a;/ am)exp(-|| c;-ci || /0), avec 6 est un paramètre et est défini dans le présent exemple de réalisation à 1/3, am est l’aire du triangle le plus grand dans pi, et nj © est le composant normal de vote de fj : nj'= 2(n; wi)w; —nj, où w; = normalize { [(ci-ci)<ni]<(cj -ci)}. En raison que Ti est une matrice semi-définie positive, elle peut être exprimée comme : T; = Aree’ + Aneserl + Aseges Où M>A2>A3 sont ses valeurs caractéristiques, €1, € et es sont les vecteurs caractéristiques unitaires correspondants, qui forment un ensemble de bases orthogonales.
Ensuite, construire une matrice rotative Ri = [e1, €, es], et multiplier le centre de masse et la normale de chaque facette pi par Ri"! pour générer des nouvelles données de bloc p.
Ensuite, établir une structure graphique pour chaque bloc généré pour l'adapter à notre réseau de convolution graphique ultérieur.
Créer un graphe non orienté G = (Q, E, ®), où un nœud qi € Q sur le graphe est créé pour chaque face f du bloc p, et un bord e = (qi, qj) € E est crée si
BL-5260 le face fi et fj sont adjacents. ® représente les caractéristiques de nœud, y compris un ensemble LUS00415 d'attributs de nœud.
Pour chaque qiE€ ®, correspondant à la face fi, ¢'=(Ci, Ni, ai, di). Ci et fii signifient le centre de masse et la normale de la face fi alignés. di est le nombre de faces adjacentes dans un champ adjacent d’un anneau de fi, ce qui permet de distinguer les faces limites.
Comme montrée la figure 2, le réseau GCN selon la présente invention est composé d’une pluralité de couches de convolution. (Martin Simonovsky and Nikos Komodakis. 2017. Dynamic edge-conditioned filters in convolutional neural networks on graphs.
In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 29-38). Dans chaque couche, similaire au réseau de convolution classique, le GCN selon la présente invention va résumer et mettre à jour les caractéristiques des nœuds adjacents de chaque nœud, ce qui est également appelé opération de convolution.
Bien qu’il existe une certaine connectivité faciale pour chaque graphe, leur structure est assez différente en termes de bloc.
Les diverses structures seront traitées par la stratégie ECC (Edge-Conditioned Convolution) au cours de la convolution.
Définir G; #(Q,, E;, ®;) comme la couche / dans la convolution graphique et ¢' est G/ le vecteur caractéristique du nœud i dans G/. Mettre à jour les caractéristiques de nœud de la manière suivante :
Oh = LE PC Ici, ¥ est un ensemble de caractéristiques, he! = Lineare! (FF - Fi). Chaque couche de convolution graphique du réseau présente.
En raison que le mappage du graphe géométrique à la connectivité n'est pas une fonction biunivoque, seule la structure du graphe d'origine qui est utilisée peut entraîner la perte de certaines informations au cours de la convolution.
Afin d'enrichir le champ réceptif du nœud graphique, la présente invention permet en outre une connexion de nœuds graphiques non adjacents au cours de la convolution.
Telle conversion graphique est appelée EdgeConv dynamique.
Dans cette solution, les voisins de chaque nœud sont calculés de manière dynamique par KNN (K = 8 dans la mise en œuvre du présent exemple de réalisation) en fonction de la distance euclidienne du nœud.
La structure du système de réseau selon la présente invention est composée d’EdgeConv statique de la couche Le, d’EdgeConv dynamique de la couche La et d’une couche entièrement connectée (FC) de la couche Li.
Après la convolution graphique de chaque couche, connecter les caractéristiques apprises pour pooler.
Dans le présent exemple de réalisation, le pool moyen et le pool maximum sont tous utilisés comme fonctions symétriques, qui peuvent sélectionner
6
BL-5260 les caractéristiques les plus importantes.
Enfin, la couche FC revient au vecteur 3D, soit la LUS00415 normale prévue par la présente invention.
À l'exception de la dernière couche FC, chaque couche dans la structure du système selon la présente invention a une fonction de normalisation de traitement par lots et d'activation LeakyReLU.
Comme solution de préférence, la normale sans bruit revient progressivement par les GCN en cascade (GCN1, ..., GCNx). Tous les GCN dans l'optimisation en cascade ont la même architecture, mais ont différents EdgeConv statique, EdgeConv dynamique et le nombre de couches FC.
Dans le présent exemple de réalisation, pour le premier GCN, on définit Le = 3, Ld = 3 et LI = 4, et pour les GCN restants, et on définit Le = 2, Ld = 2 et L1 = 3. Mettre à jour la position du sommet après chaque mise à jour de prévision de la normale, selon le procédé de la présente invention, la mise à jour du sommet peut être définie comme la formule suivante, où ©’; est le champ du sommet, qui contient ses sommets adjacents et le champ du sommet contient les faces correspondantes des sommets adjacents. vit =o + Sie 2 2 nln] - @f = vf) HE, egyedf; k représente le nombre d'itérations de la mise à jour du sommet et l'exposant g représente la normale cible, à la mise à jour GCN de l’étage précédent x-1, il s’agit la valeur prévue de sortie du réseau, et à la mise à jour du dernier étage, il s’agit la normale optimisée ; et eij représente le bord entre deux sommets de la face.
Dans l'étape d'apprentissage hors ligne, on effectue un débruitage sur la grille de bruit dans l'ensemble d'apprentissage à travers la sortie de GCN,, puis génère de nouvelles données à partir de ces grilles mises à jour pour entraîner le GCN, +1 suivant.
Lorsque l'erreur du réseau sur l'ensemble de validation ne diminue plus, le GCN en cascade peut être arrêté.
La fonction de perte est le MSE entre la sortie du réseau et la valeur standard, soit RU.
Ici, ny est la normale de la grille réelle sans bruit de la face fi, et R est la matrice rotative correspondante mentionnée ci-dessus.
Comme solution de préférence, pour chaque modèle 3D, des bruites de divers niveaux et types seront générés pour l'entraînement.
Obtenir trois valeurs caractéristiques Ai, À, et À; en appliquant l'algorithme de vote de tenseur à chaque face du modèle sans bruit dans l'ensemble de données.
Pour chaque modèle, chaque face est divisée en quatre groupes : { fi pa < 0.01 A M3 < 0.001} est une surface plane, { fi [My > 0.01 A M3 < 0.1} est une surface latérale, { fi IE > 0.1} est une surface angulaire et les autres sont des surfaces de transition.
En raison que le nombre des surfaces latérales et le nombre des surfaces angulaires sont moins que ceux 7
BL-5260 de deux autres types, elles sont divisées encore en deux groupes : les surfaces non LUS00415 caractéristiques composées des surfaces planes et des surfaces de transition, et les surfaces caractéristiques composées des surfaces latérales et des surfaces angulaires.
Collecter les blocs de manière régulière dans les deux groupes en tant que données d'entraînement.
Cette stratégie est applicable à l’entraînement de tous GCN.
Comme solution de préférence, pour la normale prévue d’une grille de bruit d’entrée donnée, afin d'éviter une discontinuité entre les faces adjacentes provoquée par un traitement local, un filtre bilatéral (Youyi Zheng, Hongbo Fu, Oscar Kin-Chung Au, et Chiew-Lan Tai 2011. Filtrage normal bilatéral pour le débruitage du maillage.
IEFE Transactions on Visualization and Computer Graphics 17, 10 (2011), 1521-1530.) peut être utilisé pour ajuster de manière précise la normale prévue par GCN : alt = normalize( > a; Ws (Hey ~ er DWe Qi =A DA field L’itération de cette opération peut étre m itérations, mais elle n'est appliquée qu'a la sortie de la normale du dernier GCN en cascade.
Ou, n!"*! est la normale obtenue à la fin de m + 1 optimisations itératives, et n]* est la normale calculée à partir de la face après la mise a jour du sommet en fonction de la normale obtenue a la fin de m itérations.
Qi; est un ensemble de fi adjacents, et Ws et W, sont les fonctions gaussiennes avec noyaux Gs et or.
Les figures 1 et 3 montrent respectivement les résultats de débruitage des modèles de balayage d'origine de bruit réel capturé par différents dispositifs et des modèles CAD contenant des caractéristiques claires, la gauche étant le modèle de bruit d'entrée, le milieu étant les résultats et la droite étant la valeur réelle sans bruit d'origine.
Comme montrées les figures, le procédé selon la présente invention atteint les meilleurs résultats de débruitage tout en maintenant un bon équilibre entre l’effet et l’efficacité. 8
Claims (6)
1. Procédé de débruitage de la grille basé sur un réseau de convolution graphique, caractérisé en ce qu’il comprend les étapes suivantes : Étape 1 : Générer un bloc local pour chaque face d’une grille de bruit et pivoter et aligner les blocs locaux par l'algorithme de vote de tenseur. Étape 2 : Convertir les blocs locaux alignés à l'étape 1 en un graphe pour représenter, entrer-le dans un réseau neuronal de convolution graphique entraîné, prévoir la normale sans bruit, puis mettre à jour du sommet du modèle de grille en fonction de la normale prévue pour obtenir un modèle débruité. Où la structure du réseau neuronal de convolution graphique est composée d’EdgeConv statique de la couche Le, d’EdgeConv dynamique de la couche La et d’une couche entièrement connectée (FC) de la couche Li.
2. Procédé de débruitage de la grille basé sur un réseau de convolution graphique selon la revendication 1, caractérisé en ce que, l’étape 1 est mise en œuvre à travers les sous-étapes suivantes : (1.1) Pour une face sélectionnée f, délimiter une sphère d’enveloppe à un rapport fixe de l'aire de sa zone et considérer toutes les faces contenues dans la sphère d’enveloppe comme faces du bloc p. (1.2) Définir le tenseur de vote f; pour toutes les faces T; du bloc et obtenir des valeurs caractéristiques et des vecteurs caractéristiques unitaires. (1.3) Construire une matrice rotative Ri en fonction des vecteurs caractéristiques obtenus à l’étape 1.2, et multiplier le centre de masse et la normale de chaque facette de p par R;"pour générer de nouvelles données de bloc p.
3. Procédé de débruitage de la grille basé sur un réseau de convolution graphique selon la revendication 1, caractérisé en ce que, l’étape 2 est mise en œuvre à travers les sous-étapes suivantes : (2.1) Effectuer une convolution de bord statique sur l’itération de l'image d’entrée par EdgeConv statique pour obtenir des caractéristiques de faces adjacentes. (2.2) Effectuer une convolution de bord dynamique sur l’itération du résultat obtenu à l’étape
2.1 pour obtenir une face caractéristique la plus adjacente dans l’espace caractéristique. (2.3) Après la convolution graphique, connecter les caractéristiques apprises ensemble, de sorte que la couche entièrement connectée résume les caractéristiques. (2.4) Sélectionner les caractéristiques les plus importantes par mise en pool de symétrie, de sorte de prévoir finalement la normale.
9
BL-5260
4. Procédé de débruitage de la grille basé sur un réseau de convolution graphique selon la LU500415 revendication 1, caractérisé en ce que, l'ensemble de données d’entrainement du réseau neuronal de convolution graphique est construit comme suit : Obtenir trois valeurs caractéristiques M1, À, et A3 en appliquant l'algorithme de vote de tenseur à chaque face du modèle sans bruit dans l'ensemble de données. Diviser les faces de tous les modèles de toutes les données en deux groupes, soit un groupe de « face » et un groupe de « bord » en fonction des valeurs caractéristiques, collecter les données de bloc et construire un ensemble de données d’entraînement.
5. Procédé de débruitage de la grille basé sur un réseau de convolution graphique selon la revendication 1, caractérisé en ce que, entraîner une pluralité de réseaux neuronaux de convolution graphique en cascade pour prévoir la normale sans bruit, pour entraîner, construire un modèle débruité en fonction de la normale prévue par le réseau neuronal de convolution graphique de l’étage précédent et générer nouvelles données pour entraîner le réseau neuronal de convolution graphique de l’étage suivant jusqu'à ce que la perte du réseau en cascade ne diminue plus.
6. Procédé de débruitage de la grille basé sur un réseau de convolution graphique selon la revendication 1, caractérisé en ce que, pour le dernier étage du réseau neuronal de convolution graphique, effectuer une optimisation itérative sur le composant normal par un filtre bilatéral sur la grille, mettre à jour le sommet à chaque itération, et obtenir enfin un modèle de grille débruité.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010939418.4A CN112200733B (zh) | 2020-09-09 | 2020-09-09 | 一种基于图卷积网络的网格去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| LU500415B1 true LU500415B1 (fr) | 2022-03-09 |
Family
ID=74005804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| LU500415A LU500415B1 (fr) | 2020-09-09 | 2021-07-09 | Procédé de débruitage de la grille basé sur un réseau de convolution graphique |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7171087B2 (fr) |
| CN (1) | CN112200733B (fr) |
| LU (1) | LU500415B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197000A (zh) * | 2023-11-06 | 2023-12-08 | 武汉中观自动化科技有限公司 | 一种快速网格去噪方法、装置及电子设备 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011516A (zh) * | 2021-03-30 | 2021-06-22 | 华南理工大学 | 基于图拓扑的三维网格模型分类方法、装置和存储介质 |
| CN117315194B (zh) * | 2023-09-27 | 2024-05-28 | 南京航空航天大学 | 面向大型飞机外形的三角网格表征学习方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10726525B2 (en) | 2017-09-26 | 2020-07-28 | Samsung Electronics Co., Ltd. | Image denoising neural network architecture and method of training the same |
| US20190318227A1 (en) * | 2018-04-13 | 2019-10-17 | Fabula Al Limited | Recommendation system and method for estimating the elements of a multi-dimensional tensor on geometric domains from partial observations |
| CN109658348A (zh) | 2018-11-16 | 2019-04-19 | 天津大学 | 基于深度学习的联合噪声估计和图像去噪方法 |
| EP3674983A1 (fr) | 2018-12-29 | 2020-07-01 | Dassault Systèmes | Apprentissage machine pour inférence d'objet modélisé 3d |
| CN111626102B (zh) * | 2020-04-13 | 2022-04-26 | 上海交通大学 | 基于视频弱标记的双模态迭代去噪异常检测方法及终端 |
-
2020
- 2020-09-09 CN CN202010939418.4A patent/CN112200733B/zh active Active
-
2021
- 2021-06-28 JP JP2021107136A patent/JP7171087B2/ja active Active
- 2021-07-09 LU LU500415A patent/LU500415B1/fr active IP Right Grant
Non-Patent Citations (5)
| Title |
|---|
| FRANCESCA PISTILLI ET AL: "Learning Graph-Convolutional Representations for Point Cloud Denoising", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 6 July 2020 (2020-07-06), XP081716626 * |
| MARTIN SIMONOVSKYNIKOS KOMODAKIS: "Dynamic edge-conditioned filters in convolutional neural networks on graphs", 2017 IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION (CVPR, 2017, pages 29 - 38, XP033249337, DOI: 10.1109/CVPR.2017.11 |
| WANG YUE YUEWANG@CSAIL MIT EDU ET AL: "Dynamic Graph CNN for Learning on Point Clouds", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 38, no. 5, 10 October 2019 (2019-10-10), pages 1 - 12, XP058479123, ISSN: 0730-0301, DOI: 10.1145/3326362 * |
| WEI MINGQIANG ET AL: "Tensor Voting Guided Mesh Denoising", IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 14, no. 2, April 2017 (2017-04-01), pages 931 - 945, XP011644969, ISSN: 1545-5955, [retrieved on 20170405], DOI: 10.1109/TASE.2016.2553449 * |
| YOUYI ZHENGHONGBO FUOSCAR KIN-CHUNG AUCHIEW-LAN TAI: "Filtrage normal bilatéral pour le débruitage du maillage", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 17, no. 10, 2011, pages 1521 - 1530 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197000A (zh) * | 2023-11-06 | 2023-12-08 | 武汉中观自动化科技有限公司 | 一种快速网格去噪方法、装置及电子设备 |
| CN117197000B (zh) * | 2023-11-06 | 2024-03-19 | 武汉中观自动化科技有限公司 | 一种快速网格去噪方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200733B (zh) | 2022-06-21 |
| JP2022045893A (ja) | 2022-03-22 |
| CN112200733A (zh) | 2021-01-08 |
| JP7171087B2 (ja) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| LU500415B1 (fr) | Procédé de débruitage de la grille basé sur un réseau de convolution graphique | |
| Pistilli et al. | Learning graph-convolutional representations for point cloud denoising | |
| US20200184327A1 (en) | Automated generation of machine learning models | |
| CN113362250B (zh) | 一种基于双树四元小波与深度学习的图像去噪方法及系统 | |
| CN112329801B (zh) | 一种卷积神经网络非局部信息构建方法 | |
| CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
| Fan et al. | Neural sparse representation for image restoration | |
| Huang et al. | Neural kernel surface reconstruction | |
| CN112801906A (zh) | 基于循环神经网络的循环迭代图像去噪方法 | |
| Zhao et al. | Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring | |
| Suganuma et al. | Designing convolutional neural network architectures using cartesian genetic programming | |
| CN112967210B (zh) | 一种基于全卷积孪生网络的无人机图像去噪方法 | |
| Jung et al. | Extension of convolutional neural network with general image processing kernels | |
| Zhuang et al. | Is normalization indispensable for multi-domain federated learning? | |
| WO2024060839A1 (fr) | Procédé et appareil de fonctionnement d'objet, dispositif informatique et support de stockage informatique | |
| Zhao et al. | NormalNet: Learning-based normal filtering for mesh denoising | |
| Wang et al. | Mixed distortion image enhancement method based on joint of deep residuals learning and reinforcement learning | |
| Legrand et al. | Filtered quadrics for high‐speed geometry smoothing and clustering | |
| Jiao et al. | Laplacian denoising autoencoder | |
| CN113688783A (zh) | 人脸特征提取方法、低分辨率人脸识别方法及设备 | |
| Zhao et al. | Curvature‐driven Multi‐stream Network for Feature‐preserving Mesh Denoising | |
| CN111915621B (zh) | 一种融合深度神经网络与cv模型的污损图像分割方法 | |
| Fracastoro et al. | Graph Neural Networks for Image Processing | |
| Paul et al. | Futuristic flask with convolutional neural network for removing Gaussian noise from digital images | |
| Cheng et al. | EDPANs: Enhanced dual path attention networks for single image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Effective date: 20220309 |