LU500682B1 - Procédé de synthèse de carte de profondeur basé sur l'apprentissage de comparaison différentielle - Google Patents
Procédé de synthèse de carte de profondeur basé sur l'apprentissage de comparaison différentielle Download PDFInfo
- Publication number
- LU500682B1 LU500682B1 LU500682A LU500682A LU500682B1 LU 500682 B1 LU500682 B1 LU 500682B1 LU 500682 A LU500682 A LU 500682A LU 500682 A LU500682 A LU 500682A LU 500682 B1 LU500682 B1 LU 500682B1
- Authority
- LU
- Luxembourg
- Prior art keywords
- depth map
- depth
- synthetic
- map
- neural network
- Prior art date
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000000429 assembly Methods 0.000 claims 1
- 230000000712 assembly Effects 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 6
- 230000002787 reinforcement Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
La présente invention propose un procédé de synthèse de carte de profondeur basé sur l'apprentissage de comparaison différentielle, qui adopte une stratégie basée sur l'apprentissage de comparaison différentielle, ce qui permet de limiter efficacement la déformation géométrique formée au cours de la génération de carte de profondeur par un réseau neuronal de convolution de profondeur, rendant ainsi la carte de profondeur sans bruit obtenue par le rendu présentant les caractéristiques des résultats numérisés réels, tout en conservant la structure géométrique d'origine. Les cartes de profondeur synthétiques obtenues selon la présente invention obtiennent les meilleurs résultats dans les tâches tels que le renforcement de carte de profondeur, le segmentation sémantique et l'estimation d'affichage normal de carte sur l'ensemble de données numérisées réelles à l'aide l'ensemble de données rendues.
Description
BL-5301 LU500682
DESCRIPTION Procédé de synthèse de carte de profondeur basé sur l'apprentissage de comparaison différentielle
DOMAINE TECHNIQUE La présente invention concerne le domaine de vision informatique et de l'infographie, en particulier concerne un procédéde synthèse de carte de profondeur basé sur l'apprentissage de comparaison différentielle.
CONTEXTE TECHNIQUE Avec le développement de la technologie graphique et les demandes sur le marché, il existe déjà de nombreux ensembles de données de modèle tridimensionnelle à source ouverte, y compris ceux de grandes scènes extérieures et intérieures. À l'aide des ensembles de données de modèle tridimensionnelle, on peut facilement obtenir des ensembles de données adaptés aux tâches visuelles via le rendu ou d'autres procédés, telles que générer un ensemble de données pour la segmentation sémantique à l’aide des étiquettes de catégorie fournies avec le modèle tridimensionnelle. Pour les données tridimensionnelle numérisées réelles, il convient tout d’abord de reconstruite une scène tridimensionnelle à l'aide d'algorithmes, ce qui n'est pas assez robuste ; ensuite, il convient de marquer manuellement pour les étiquettes telles que les catégories d'articles. Dans ce contexte, de nombreuses procédés commencent à viser à appliquer efficacement des ensembles de données de modèle tridimensionnelle à tâches visuelles ; cependant, en raison de la différence inévitable entre les ensembles de données rendus et les ensembles de données réels, les procédés performants pour les ensembles de données rendus ne peuvent pas être directement utilisés pour les ensembles de données réels. Par conséquent, la conversion de domaine entre l’ensemble de données rendues et l’ensemble de données réelles sera nécessaire. Les travaux qui convertissent les domaines d’image en couleurs à l’aide des ensembles de données non appariés ont été largement utilisés dans le domaine de l'art numérique, cependant, il n'existe actuellement aucun procédé efficace pour la conversion d’image de profondeur. Les procédés utilisés avec succès pour 1
BL-5301 LU500682 les images en couleurs, qui ne tiennent pas en compte de la structure géométrique de l’image de profondeur, provoqueront une grave distorsion géométrique lorsqu’il sont directement utilisés pour les images de profondeur.
Le concept d'apprentissage de comparaison a démontré sa capacité dans diverses procédés d'apprentissage et d'expression auto-supervisé.
En raison d’absence de données correspondantes entre les ensembles de données rendus et les ensembles de données réels, les avantages du procédé d'apprentissage de comparaison seront favorables dans ce cas.
DIVULGATION DE L’INVENTION La présente invention propose un procédé de synthèse de carte de profondeur avec une rétention géométrique élevée, qui peut rendre la carte de profondeur sans bruit obtenue par le rendu présentant les caractéristiques des résultats numérisés réels, tout en conservant la structure géométrique d'origine.
De plus, les cartes de profondeur synthétiques obtenues selon la présente invention obtiennent les meilleurs résultats dans les tâches tels que le renforcement de carte de profondeur, le segmentation sémantique et l'estimation d’affichage normal de carte sur l'ensemble de données numérisées réelles à l’aide l’ensemble de données rendues.
La présente invention peut être réalisée par une solution technique suivante : Un procédé de synthèse de carte de profondeur réelle basé sur l'apprentissage de comparaison différentielle, en prenant un réseau neuronal de convolution de profondeur G comme support de mappage d'ensemble de données, mappe et synthétise une carte de profondeur synthétisée par le rendu et sa carte en couleurs correspondante en une carte de profondeur synthétique présentant les caractéristiques de carte de profondeur numérisée réelle ; le réseau neuronal de convolution de profondeur entraîné G étant entraîné et obtenu selon les étapes suivantes : étape 1 : sélectionner un ensemble de données synthétiques D* = {(d°,1°)} obtenu par le rendu et un ensemble de données numérisées réelles D” = {(d",1")}, où d et I représentent respectivement une carte de profondeur et une carte en couleurs correspondante ; étape 2 : saisir les deux ensembles de données obtenus à l'étape 1 dans un réseau neuronal de convolution de profondeur G et construire un discriminateur pour entraîner le réseau neuronal de convolution de 2
BL-5301 LU500682 profondeur G, l’entraînement comprenant : discriminer par le discriminateur la carte de profondeur synthétique d’ synthétisée à partir du mappage de l'ensemble de données synthétiques et la carte de profondeur d” dans l'ensemble de données numérisées réelles, et effectuer un entraînement dans le but de réduire l’écart entre les deux distributions de données par la méthode de réseau neuronal accusatoire génératif ; extraire respectivement par la partie de codeur du réseau neuronal de convolution de profondeur G les caractéristiques de la carte de profondeur d*° de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d”, calculer la différence en soustrayant deux par deux en fonction de la position, effectuer un entraînement dans le but de réduire par l’apprentissage de comparaison l’écart mutuel à la même différence de position entre les caractéristiques de la carte de profondeur d* de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d”. Effectuer un entraînement dans le but de réduire le mappage invalide généré par le réseau neuronal de convolution de profondeur G à la carte de profondeur d” dans l'ensemble de données numérisées réelles.
L'ensemble de données synthétiques rendu est obtenu en rendant un ensemble de données de modèle tridimensionnel à source ouverte, et l'ensemble de données numérisées réelles est obtenu en collectant par un équipement tel qu'un scanner.
Selon la présente invention, le réseau neuronal de convolution de profondeur G entraîné peut être utilisé pour convertir une image de profondeur rendue en une image de profondeur présentant des caractéristiques numérisées réelles, de sorte de remplacer la carte de profondeur numérisée réelle dans les tâches de prévision, telles que le renforcement de carte de profondeur, la segmentation sémantique et l’affichage normal de carte.
De plus, le réseau neuronal de convolution de profondeur G présente une structure réseau ResNet, UNet, etc.
De plus, pour discriminer par le discriminateur la carte de profondeur synthétique d” synthétisée à partir du mappage de l'ensemble de données synthétiques et la carte de profondeur d” dans l'ensemble de données numérisées réelles, et effectuer un entraînement dans le but de réduire l’écart entre les deux distributions de données, en particulier, la fonction objectif utilisée est :
3
BL-5301 LU500682 Lady = Ear-pr log D(d") + E gs_ps log(1 — D(d')) où, D() représente la sortie du discriminateur ; de plus, l’étape d’extraire respectivement par la partie de codeur du réseau neuronal de convolution de profondeur G les caractéristiques de la carte de profondeur d* de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d”, calculer la différence en soustrayant deux par deux en fonction de la position, effectuer un entraînement dans le but de réduire l’écart mutuel à la même différence de position entre les caractéristiques de la carte de profondeur d* de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d” comprend : (a) extraire respectivement par la partie de codeur du réseau neuronal de convolution de profondeur G les caractéristiques de la carte de profondeur d* de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d”, et prélever respectivement la carte de caractéristiques de la couche N. (b) prélever au hasard des blocs de zone de la carte de caractéristiques prélevée de chaque couche et calculer la différence en soustrayant deux par deux, de sorte d’obtenir deux ensembles de différence correspondant respectivement à la carte de profondeur d° de l'ensemble de données synthétiques et à la carte de profondeur synthétique d”. (c) sélectionner une couple de combinaisons positives et une couple de combinaisons négatives des deux ensembles différentiels obtenus à l'étape (b) et effectuer un entraînement dans le but de maximiser l’écart entre le couple de combinaisons positives et le couple de combinaisons négatives.
De plus, à l'étape (c), en particulier, le couple de combinaisons positives et le couple de combinaisons négatives sont : couple de combinaisons positives : (VF! = fil — fi Nf =f - ff), couple de combinaisons négatives : (vf! = fl — fi Vik = fl fl), j*k ou, fi représente le bloc de zone de la carte de caractéristiques de la couche 1 extraite de la carte de profondeur synthétique d’, f! représente le bloc de zone de la carte de caractéristiques de la couche 1 extraite de la carte de profondeur d° de l’ensemble de données synthétiques, et i,j, k représentent 4
BL-5301 LU500682 différentes positions spatiales de la carte des caractéristiques.
Pour effectuer un entraînement dans le but de maximiser l’écart entre le couple de combinaisons positives et le couple de combinaisons négatives, la fonction objectif utilisée est : exp (VF! FLT) bac a YY og — PTI, SG exp(Vfil fk) + Ex exp (VfL Vfk/T) où, T représente le poids et E est une fonction énergétique.
De plus, pour effectuer un entraînement dans le but de réduire le mappage invalide généré par le réseau neuronal de convolution de profondeur G à la carte de profondeur d” dans l'ensemble de données numérisées réelles, en particulier, la fonction objectif utilisée est : Liar = Ear-or|lb($(d")) —d" [ly ou, ®() représente la sortie de la partie de codeur du réseau neuronal de convolution de profondeur G, W() représente la sortie de la partie de décodeur du réseau neuronal de convolution de profondeur G, et || [|1 représentent chacun une fonction de régularisation.
Les effets avantageux de la présente invention sont : la présente invention propose un procédé de synthèse de carte de profondeur avec une rétention géométrique élevée ; le procédé de la présente invention, qui est différent des procédés existants de synthèse d’image en couleurs utilisés dans la synthèse de carte de profondeur provoquant une distorsion géométrique, peut rendre la carte de profondeur sans bruit obtenue par le rendu présentant les caractéristiques des résultats numérisés réels, tout en conservant la structure géométrique d'origine.
Le procédé de la présente invention est de type bout en bout dans le processus d'entraînement du réseau neuronal et n'a pas besoin d'être réalisé en étapes.
De plus, le procédé de la présente invention peut utiliser les données collectées par divers dispositifs comme données d'entraînement pour synthétiser des cartes de profondeur répondant à différentes exigences, sans modification sur d'entraînement.
Selon la présente invention, une fois la carte de profondeur présentant les caractéristiques des résultats numérisés réels synthétisée, les données peuvent être utilisées dans les tâches de prévision, telles que le renforcement de carte de profondeur numérisée réelle, la segmentation sémantique et l’affichage normal de carte avec les meilleurs résultats jusqu'à présent.
BL-5301 LU500682
DESCRIPTION DES FIGURES FIG.1 est un schéma de l'apprentissage de comparaison différentielle selon la présente invention. FIG. 2 est une vue de l'effet de la carte de profondeur synthétique selon la présente invention.
EXPOSE DETAILLE DE MODE DE REALISATION La présente invention peut être décrite en plus détaillé ci-après en référant l’exemple de réalisation et les figures. Un ensemble de données numérisées réelles D” = {(d”,1")} est obtenu, et un ensemble de données synthétiques D* = {(d°,1*)} est obtenu en rendant un ensemble de données de modèle tridimensionnel à source ouverte, où, d € R"X" est une carte de profondeur, I € R'XX3 et sa image en couleurs correspondante, et H x W représente la taille de pixel de la carte. Ces deux ensembles de données contiennent chacun des images de profondeur et des images en couleurs alignées et correspondantes l’un à l’autre, mais il n'y a aucune correspondance entre les ensembles de données D° et D”. La présente invention a pour but de réaliser le mappage entre ces deux ensembles de données, en particulier le mappage de conversion unidirectionnelle de caractéristiques de l'ensemble de données synthétiques D* à l'ensemble de données synthétiques D”. Selon la présente invention, c’est un réseau neuronal de convolution de profondeur G, qui est utilisé pour réaliser le mappage de conversion de caractéristiques, qui se compose d'un sous-réseau de codeur ¢ et d'un sous-réseau de décodeur w en série. Le résultat de synthèse obtenu par l'ensemble de données synthétiques d° est alors la carte de profondeur synthétique d’, où d7 = G(d5,1°) = p(H(d5), I). Tout d'abord, pour que la carte de profondeur synthétique d” présente les caractéristiques de la carte de profondeur numérisée réelle d”, la présente invention adopte une stratégie accusatoire génératif pour entraîner le réseau neuronal de convolution de profondeur G, c'est-à-dire utiliser un réseau neuronal discriminateur D pour minimiser l’écart de domaine entre le résultat généré et les données réelles. La fonction objectif utilisée est : Lady = Ear-pr log D(d") + E gs_ps log(1 — D(d')) E représente la fonction énergétique, étant donné que le but est de réduire la distance entre les deux domaines de données, il ne peut pas garantir la cohérence entre l'entrée et la sortie, ni garantir que la 6
BL-5301 LU500682 sortie peut maintenir la structure géométrique de l'entrée.
La présente invention adopte une nouvelle stratégie d'apprentissage de comparaison différentielle.
La stratégie d'apprentissage de comparaison différentielle de la présente invention consiste à sélectionner les résultats générés, synthétiser les blocs de la carte de profondeur d” et de la carte de profondeur rendue d'entrée d°, calculer la différence et comparer, de sorte de limiter les changements.
Tout d'abord, selon la présente invention, à la première étape : extraire respectivement par le réseau générateur, soit le sous-réseau de codeur ¢ du réseau neuronal de convolution de profondeur G les cartes de caractéristiques de d” et df, sélectionner la carte de caractéristiques de la couche N, et marquer comme f! = d'(d5), f* = p'(d7),l € N, où, | représente la couche | de la carte de caractéristiques.
Puis, marquer f; comme bloc de pixels de la carte des caractéristiques f‘ à la position i ; parmi les cartes des caractéristiques f' et f ! sélectionner au hasard selon le présent procédé une pluralité de couples de blocs comme couples de combinaisons positives et couples de combinaisons négatives, les couples de combinaisons positives et négatives satisfaisant la relation suivante : couple de combinaisons positives (VF = fil — fi Nf =f - ff), couple de combinaisons négatives (VfL =fl— f} Nik = fl fl), j*k ou, L, j, k représentent différentes positions spatiales de la carte des caractéristiques.
Selon la présente invention, la cohérence géométrique entre la carte de profondeur synthétique d’ et la carte de profondeur rendue d'entrée d* sera obtenue en réduisant l’écart entre les blocs différentiels de zone dans la carte de profondeur synthétique d” et la carte de profondeur rendue d'entrée d=. À cette étape, selon la présente invention, les couples de combinaisons positives et négatives sélectionnées au hasard sont utilisés pour calculer l’écart d'information différentielle de d” et d°, et le but d’entraîner le réseau est de minimiser cet écart : eu et Luce (VIL USE fh) = 7 log —— PO VIG/D J exp( Vf} VfL) + Yr exp(VfL VfL /T) ou, T représente le poids ; pour touts les couples de combinaisons positives et négatives sélectionnés au hasard, la fonction objectif générale est : 7
BL-5301 LU500682 Lac = Bass) > Luce (Vi Uk, (Vie) 1 ij de plus, étant donné que le décalage global ne peut pas être contrôlé par la cohérence différentielle de bloc local ci-dessus, selon la présente invention, le but d’entraîner le réseau est de réduire le mappage invalide généré par le réseau neuronal de convolution de profondeur G à la carte de profondeur numérisée réelle d” : Liar = Ear-pr|lb($(d")) — dls où, || ||1 représentent chacun la fonction de régularisation.
En résumé, pour entraîner le réseau neuronal de mappage de caractéristiques G, la fonction objectif générale de la présente invention est : L = Ladv + alge + BLiat où, a, ß sont chacun le poids.
Dans le présent exemple de réalisation, le réseau neuronal de convolution de profondeur G présente une structure générale de réseau Resnet, le réseau neuronal discriminateur D est formé par un réseau neuronal de convolution multicouche en définissant a = 1.5 et f = 1.0, et le réseau neuronal de convolution de profondeur G entraîné enfin présente très bons résultats dans les essais.
Enfin, l'effet montré sur FIG.2 peut être synthétisé ; comparé avec l'entrée à gauche, l’image de profondeur synthétique selon la présente invention ne présente aucune déformation géométrique, présente les caractéristiques de carte de profondeur numérisée réelle et peut être directement appliquée à tâches de prévision, telles que la segmentation sémantique et l’affichage normal de carte.
Évidement, l’exemple de réalisation ci-dessus n’est que illutratif pour expliquer, mais non limitatifs.
Toutes variations et améliorations qui sont réalisées par l’homme de l’art en respectant le cadre de la description ci-dessus doivent être possibles.
Il n'est pas nécessaire ni possible de lister tous les modes de réalisation manière exhaustive.
Les changements ou modifications évidents qui en découlent sont toujours dans la portée de protection de la présente invention. 8
Claims (6)
1. Procédé de synthèse de carte de profondeur basé sur l’apprentissage de comparaison différentielle, caractérisé en ce qu’il prend un réseau neuronal de convolution de profondeur G comme support de mappage d'ensemble de données, mappe et synthétise une carte de profondeur synthétisée par le rendu et la carte en couleurs correspondante en une carte de profondeur synthétique présentant les caractéristiques de carte de profondeur numérisée réelle ; le réseau neuronal de convolution de profondeur entraîné G étant entraîné et obtenu selon les étapes suivantes : étape 1 : sélectionner un ensemble de données synthétiques D* = {(d°,1*)} obtenu par le rendu et un ensemble de données numérisées réelles D” = {(d",1")}, où d et I représentent respectivement une carte de profondeur et une carte en couleurs correspondante ; étape 2 : saisir les deux ensembles de données obtenus à l'étape 1 dans un réseau neuronal de convolution de profondeur G et construire un discriminateur pour entraîner le réseau neuronal de convolution de profondeur G, l’entraînement comprenant : discriminer par le discriminateur la carte de profondeur synthétique d” synthétisée à partir du mappage de l'ensemble de données synthétiques et la carte de profondeur d” dans l'ensemble de données numérisées réelles, et effectuer un entraînement dans le but de réduire l’écart entre les deux distributions de données par la méthode de réseau neuronal accusatoire génératif ; extraire respectivement par la partie de codeur du réseau neuronal de convolution de profondeur G les caractéristiques de la carte de profondeur d* de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d’, calculer la différence en soustrayant deux par deux en fonction de la position, effectuer un entraînement dans le but de réduire par l’apprentissage de comparaison l’écart mutuel à la même différence de position entre les caractéristiques de la carte de profondeur d* de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante ar, et effectuer un entrainement dans le but de réduire le mappage invalide généré par le réseau neuronal de convolution de profondeur G a la carte de profondeur d” dans l'ensemble de données numérisées réelles.
9
BL-5301 LU500682
2. Procédé de synthèse de carte de profondeur basé sur l’apprentissage de comparaison différentielle selon la revendication 1, caractérisé en ce que, le réseau neuronal de convolution de profondeur G présente une structure réseau ResNet, UNet, etc.
3. Procédé de synthèse de carte de profondeur basé sur l’apprentissage de comparaison différentielle selon la revendication 1, caractérisé en ce que, pour discriminer par le discriminateur la carte de profondeur synthétique d” synthétisée à partir du mappage de l'ensemble de données synthétiques et la carte de profondeur d” dans l'ensemble de données numérisées réelles, et effectuer un entraînement dans le but de réduire l’écart entre les deux distributions de données, en particulier, la fonction objectif utilisée est : Laav = Ear-pr log D(d") + E g5_ps log(1 — D(d")) où, D () représente la sortie du discriminateur.
4. Procédé de synthèse de carte de profondeur basé sur l’apprentissage de comparaison différentielle selon la revendication 1, caractérisé en ce que, l’étape d’extraire respectivement par la partie de codeur du réseau neuronal de convolution de profondeur G les caractéristiques de la carte de profondeur d° de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d”, calculer la différence en soustrayant deux par deux en fonction de la position, effectuer un entraînement dans le but de réduire l’écart mutuel à la même différence de position entre les caractéristiques de la carte de profondeur d° de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d’ comprend : (a) extraire respectivement par la partie de codeur du réseau neuronal de convolution de profondeur G les caractéristiques de la carte de profondeur d* de l'ensemble de données synthétiques et de sa carte de profondeur synthétique correspondante d”, et prélever respectivement la carte de caractéristiques de la couche N ; (b) prélever au hasard des blocs de zone de la carte de caractéristiques prélevée de chaque couche et calculer la différence en soustrayant deux par deux, de sorte d’obtenir deux ensembles de différence correspondant respectivement à la carte de profondeur d°de l'ensemble de données synthétiques et à la carte de profondeur synthétique d” ; (c) sélectionner une couple de combinaisons positives et une couple de combinaisons négatives des deux
BL-5301 LU500682 ensembles différentiels obtenus à l'étape (b) et effectuer un entraînement dans le but de maximiser l’écart entre le couple de combinaisons positives et le couple de combinaisons négatives.
5. Procédé de synthèse de carte de profondeur basé sur l’apprentissage de comparaison différentielle selon la revendication 1, caractérisé en ce qu’à l'étape (c), en particulier, le couple de combinaisons positives et le couple de combinaisons négatives sont : couple de combinaisons positives (VfL = fil fi , VF; =f'- fi). couple de combinaisons négatives :(Vf} = fl — fl ,Vfk= ft — £1), j*k ou, fl représente le bloc de zone de la carte de caractéristiques de la couche 1 extraite de la carte de profondeur synthétique d”, f! représente le bloc de zone de la carte de caractéristiques de la couche | extraite de la carte de profondeur d* de l’ensemble de données synthétiques, et i,j, k représentent différentes positions spatiales de la carte des caractéristiques ; pour effectuer un entraînement dans le but de maximiser l’écart entre le couple de combinaisons positives et le couple de combinaisons négatives, la fonction objectif utilisée est : "5 exp(Vf! Vf) + Er exp (VfL Vfii/T) ou, T représente le poids et E est une fonction énergétique.
6. Procédé de synthèse de carte de profondeur basé sur l’apprentissage de comparaison différentielle selon la revendication 1, caractérisé en ce que, pour effectuer un entraînement dans le but de réduire le mappage invalide généré par le réseau neuronal de convolution de profondeur G à la carte de profondeur d” dans l'ensemble de données numérisées réelles, en particulier, la fonction objectif utilisée est : Liar = Ear-or|lb($(d")) —d" [ly ou, ®() représente la sortie de la partie de codeur du réseau neuronal de convolution de profondeur G, W() représente la sortie de la partie de décodeur du réseau neuronal de convolution de profondeur G, et || [|1 représentent chacun une fonction de régularisation.
11
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658919.XA CN113450295B (zh) | 2021-06-15 | 2021-06-15 | 一种基于差分对比学习的深度图合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| LU500682B1 true LU500682B1 (fr) | 2022-11-16 |
Family
ID=77811545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| LU500682A LU500682B1 (fr) | 2021-06-15 | 2021-09-23 | Procédé de synthèse de carte de profondeur basé sur l'apprentissage de comparaison différentielle |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7218959B2 (fr) |
| CN (1) | CN113450295B (fr) |
| LU (1) | LU500682B1 (fr) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359363B (zh) * | 2022-01-11 | 2024-06-18 | 浙江大学 | 一种基于深度学习的视频一致性深度估计方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200167161A1 (en) * | 2017-08-08 | 2020-05-28 | Siemens Aktiengesellschaft | Synthetic depth image generation from cad data using generative adversarial neural networks for enhancement |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108475330B (zh) * | 2015-11-09 | 2022-04-08 | 港大科桥有限公司 | 用于有伪像感知的视图合成的辅助数据 |
| EP3343502B1 (fr) | 2016-12-28 | 2019-02-20 | Dassault Systèmes | Bruit de capteur de profondeur |
| CN109960860A (zh) * | 2019-03-13 | 2019-07-02 | 华北电力大学 | 基于差分进化极限学习机的电力系统暂态稳定评估方法 |
| CN110555434B (zh) * | 2019-09-03 | 2022-03-29 | 浙江科技学院 | 一种局部对比和全局指导的立体图像视觉显著性检测方法 |
| CN112598775B (zh) * | 2020-12-21 | 2021-10-29 | 广东工业大学 | 一种基于对比学习的多视图生成方法 |
| CN112862858A (zh) * | 2021-01-14 | 2021-05-28 | 浙江大学 | 一种基于场景运动信息的多目标跟踪方法 |
-
2021
- 2021-06-15 CN CN202110658919.XA patent/CN113450295B/zh active Active
- 2021-09-16 JP JP2021151513A patent/JP7218959B2/ja active Active
- 2021-09-23 LU LU500682A patent/LU500682B1/fr active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200167161A1 (en) * | 2017-08-08 | 2020-05-28 | Siemens Aktiengesellschaft | Synthetic depth image generation from cad data using generative adversarial neural networks for enhancement |
Non-Patent Citations (3)
| Title |
|---|
| BLANC-BEYNE THIBAULT ET AL: "Unsupervised Human Pose Estimation on Depth Images", 23 August 2020, COMPUTER VISION - ECCV 2020 : 16TH EUROPEAN CONFERENCE, GLASGOW, UK, AUGUST 23-28, 2020 : PROCEEDINGS; [LECTURE NOTES IN COMPUTER SCIENCE ; ISSN 0302-9743], PAGE(S) 358 - 373, ISBN: 978-3-030-58594-5, XP047577790 * |
| GU XIAO ET AL: "Coupled Real-Synthetic Domain Adaptation for Real-World Deep Depth Enhancement", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 29, 23 April 2020 (2020-04-23), USA, pages 1 - 1, XP055882843, ISSN: 1057-7149, DOI: 10.1109/TIP.2020.2988574 * |
| TAESUNG PARK ET AL: "Contrastive Learning for Unpaired Image-to-Image Translation", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 18 August 2020 (2020-08-18), XP081742000 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113450295A (zh) | 2021-09-28 |
| CN113450295B (zh) | 2022-11-15 |
| JP2022191122A (ja) | 2022-12-27 |
| JP7218959B2 (ja) | 2023-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754438B (zh) | 基于多分支门控融合的水下图像复原模型及其复原方法 | |
| CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
| CN113989129A (zh) | 基于门控和上下文注意力机制的图像修复方法 | |
| LU500682B1 (fr) | Procédé de synthèse de carte de profondeur basé sur l'apprentissage de comparaison différentielle | |
| CN111028235A (zh) | 一种利用特征融合增强边缘和细节信息的图像分割方法 | |
| WO2023066173A1 (fr) | Procédé et appareil de traitement d'image, support de stockage et dispositif électronique | |
| CN111724400A (zh) | 视频自动抠像方法及系统 | |
| CN112990031A (zh) | 一种基于改进孪生网络用于检测篡改人脸视频和图像的方法 | |
| CN113052764A (zh) | 一种基于残差连接的视频序列超分重建方法 | |
| JP2001282214A (ja) | 低精細度スクリーン上にディジタル画像を表示する方法及び装置 | |
| CN113076947A (zh) | 一种交叉引导融合的rgb-t图像显著性检测系统 | |
| CN116612211A (zh) | 一种基于gan和3d系数重建的人脸图像身份合成方法 | |
| CN113628129B (zh) | 一种基于半监督学习的边缘注意力对单幅图像阴影去除方法 | |
| EP3633544A1 (fr) | Procede d'association d'elements d'interet visibles dans une video | |
| EP3633545A1 (fr) | Procedes d'apprentissage de parametres d'un reseau de neurones a convolution, de detection d'elements d'interet visibles dans une image et d'association d'elements d'interet visibles dans une image | |
| CN112132922A (zh) | 一种将在线课堂中的图像和视频卡通化的方法 | |
| Gao et al. | Diving into darkness: A dual-modulated framework for high-fidelity super-resolution in ultra-dark environments | |
| CN116258627A (zh) | 一种极端退化人脸图像超分辨率恢复系统和方法 | |
| CN113920171B (zh) | 基于特征级和决策级融合的双模态目标跟踪方法 | |
| CN115273089A (zh) | 一种基于条件生成对抗网络的光学字符复原方法 | |
| CN110766797B (zh) | 一种基于gan的三维地图修复方法 | |
| CN113947512A (zh) | 一种大容量可控无载体图像隐写方法 | |
| Parihar et al. | UndarkGAN: Low-light Image Enhancement with Cycle-consistent Adversarial Networks | |
| Liu et al. | Underwater image enhancement with the low-rank nonnegative matrix factorization method | |
| Dharwadkar et al. | Survey on Techniques in Improving Quality of Underwater Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Effective date: 20221116 |