WO2024046638A1 - Segmentierung eines digitalen bildes mittels kaskadierter neuronaler netze - Google Patents

Segmentierung eines digitalen bildes mittels kaskadierter neuronaler netze Download PDF

Info

Publication number
WO2024046638A1
WO2024046638A1 PCT/EP2023/069261 EP2023069261W WO2024046638A1 WO 2024046638 A1 WO2024046638 A1 WO 2024046638A1 EP 2023069261 W EP2023069261 W EP 2023069261W WO 2024046638 A1 WO2024046638 A1 WO 2024046638A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
resolution digital
low
neural network
area
Prior art date
Application number
PCT/EP2023/069261
Other languages
English (en)
French (fr)
Inventor
Christoph Begau
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2024046638A1 publication Critical patent/WO2024046638A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Definitions

  • the present invention is based on the desire to achieve such a segmentation in an efficient, automated manner, with high resolution but with manageable effort.
  • the core idea of the invention is the clever combination of cascaded neural networks.
  • the independent claims of this application therefore relate to a corresponding training method and an associated inference method.
  • the training takes place according to a method according to the independent claim 1 and the determination of high-resolution segmentations takes place according to a method according to the independent claim 7.
  • the subclaims indicate advantageous further developments.
  • the method according to the invention and its developments also have the advantage of being particularly robust, i.e. not being disturbed by small image errors, for example.
  • the method according to the invention and its developments also have the advantage of being flexibly adaptable to different types of images.
  • FIG. 1 and FIG. 2 An exemplary embodiment is illustrated in the figures and provides that a third high-resolution digital segmentation HRS3 is created in a third digital image HRP3 using the following method steps (see in particular FIG. 1 and FIG. 2):
  • Step 2 SI2 For example, the computer receives a third low-resolution copy LRC3 of the third high-resolution digital image HRP3.
  • Step 3 SI3 Using a trained neural auxiliary network NNH T , for example a neural network of type ll-Net (see: Ronneberger O, Fischer P, Brox T (2015). "Ll-Net: Convolutional Networks for Biomedical Image Segmentation”; https ://arxiv.org/abs/1505.04597), starting from the third low-resolution copy LRC3 of the third high-resolution digital image HRP3, a third low-resolution digital segmentation LRS3, which has at least a flat extent of a first area FP1 and a second area FP2 and in particular one third area SZ in the third low-resolution copy LRC3 of the third high-resolution digital image HRP3 represented as low-resolution segments, determined by the computer.
  • the trained neural auxiliary network NNH T can be a convolutional network, whose receptive field has a size that is identical to the size of the low-resolution digital images.
  • Step 4 SI4 Using a trained neural main network NNM T , for example a neural network of the convolutional network type, starting from the third high-resolution digital image HRP3 and starting from the third low-resolution digital segmentation LRS3, which has at least a flat extent of a first area FP1 and a second area FP2 and in particular a third area SZ in the third low-resolution copy LRC3 of the high-resolution digital image represented as low-resolution segments, a third high-resolution digital segmentation HRS3 in the third high-resolution digital image, which has at least a flat extent of a first area FP1 and a second area FP2 and in particular a third area SZ in the high-resolution digital image represented as segments in high resolution, determined by the computer.
  • NNM T for example a neural network of the convolutional network type
  • the trained main neural network NNM T can be a convolutional network whose receptive field is smaller than the receptive field of the auxiliary neural network.
  • the trained main neural network NNM T can have the function of an upsampler, which refines the results of the trained auxiliary neural network NNH T , i.e. the third low-resolution digital segmentation LRS3.
  • a second neural network NN2 can have been trained in such a way that a trained second neural network NN2 T , in particular the trained neural auxiliary network NNH T already mentioned above, results, for example by means of the following method steps (see Figure 3):
  • Step 5 STH1 On a computer, for example the computer already mentioned above or on another computer, for example 100 data sets of the second type DS2 are provided, each data set of the second type DS2 containing a second low-resolution digital image LRP2 and a second low-resolution digital segmentation LRS2 of the second low-resolution digital image LRP2, which represents at least a flat extent of a first area FP1 and a second area FP2 and in particular a third area SZ in the second low-resolution digital image LRP2 as low-resolution segments.
  • an individual image is assigned to each data set of the second type DS2.
  • the origin of the second low-resolution digital segmentation LRS2 of the second low-resolution digital image LRP2, which is used here to train the second neural network, can be generated manually, for example.
  • Step 6 STH2 The second neural network NN2 is trained on the computer with the second low-resolution digital images LRP2 as input data and the second low-resolution digital segmentations LRS2 as target output data, so that a trained second neural network NN2 T is created.
  • a second cost function is determined based on the data sets of the second type DS2 and that the value of the second cost function is subsequently minimized by optimizing parameters of the second neural network NN2.
  • transfer learning methods can be used.
  • a first neural network NN1 can have been trained in such a way that a trained first neural network NN1 T , in particular the trained main neural network NNM T already mentioned above, results, for example by means of the following method steps (see Figure 4):
  • Step 7 STM1 500 data sets of the first type DS1 are provided on a computer, for example one of the computers already mentioned above or on another computer, with each data set of the first type having a first high-resolution digital image HRP1 and one assigned to the first high-resolution digital image first high-resolution digital segmentation HRS1, which has at least one areal extent of a first area FP1 and a second area FP2 and in particular a third area SZ in the high-resolution digital image HRP1 as high-resolution segments, and further has a first low-resolution digital segmentation LRS1, which at least a flat extent of the first area FP1 and the second area FP2 and in particular the third area SZ is represented as low-resolution segments in the first high-resolution digital image HRP1.
  • a computer for example one of the computers already mentioned above or on another computer, with each data set of the first type having a first high-resolution digital image HRP1 and one assigned to the first high-resolution digital image first high-resolution digital
  • the origin of the first low-resolution digital segmentations LRS1, which is used here to train the first neural network NN1, can on the one hand be manual generation, for example.
  • they can also be completely or partially trained by the second neuronal system described above
  • Network NN2 T have been generated, or have been generated by a large number of such trained second neural network NN2 T ; each based on first low-resolution copies LRC1 of the high-resolution digital images HRP1.
  • the origin of the high-resolution digital segmentations HRS1, which are used here to train the first neural network NN1, can, for example, be manual generation.
  • Step 8 The first neural network NN1 is trained on the computer with the first high-resolution images HRP1 and additionally with the first low-resolution digital segmentations LRS1 as input data of the first neural network NN1 and the first high-resolution segmentations HRS1 as target output data of the first neural network NN1, so that a trained first neural network NN1 T is created.
  • a first cost function is determined based on the data sets of the first type DS1 and that the value of the first cost function is subsequently minimized by optimizing parameters of the first neural network NN1.
  • the images show cross sections of cohesive connections, in particular cross sections of weld seams.
  • HRP1 high-resolution digital images of cross sections through a first cohesive connection; in particular high-resolution digital images of cross sections through a first weld seam;
  • HRS1 high-resolution digital segmentations of the cross section through the first cohesive connections; in particular high-resolution digital segmentations of the Cross section through the first weld seams;
  • the first area FP1 a first joining partner
  • the second area FP2 a second joining partner
  • connection zone that is mandatory in the case of a cohesive connection; in particular a melting zone that is necessarily present in the case of a weld seam;
  • LRS1 low-resolution digital segmentations of a cross-section through the first cohesive connection; in particular low-resolution digital segmentations of a cross section through the first weld seam:
  • the second low-resolution digital images LRP2 low-resolution digital images of a cross section through a second cohesive connection; in particular low-resolution digital images of a cross section through a second weld seam;
  • the second low-resolution digital segmentations LRS2 low-resolution digital segmentations of a cross section through the second cohesive connection; in particular low-resolution digital segmentations of a cross section through the second weld seam;
  • LRC1 low-resolution copies of the high-resolution digital images of the cross section through the first cohesive connection; in particular, low-resolution copies of the high-resolution digital images of the cross-section through the first weld;
  • HRS3 high-resolution digital segmentations of the cross section through the third cohesive connections; in particular high-resolution digital segmentations of the cross section through the third weld seams;
  • HRP3 high-resolution digital images of cross sections through a first cohesive connection; in particular high-resolution digital images of cross sections through a first weld seam;
  • the third low-resolution digital segmentations LRS3 low-resolution digital segmentations of a cross section through the third cohesive connection; in particular low-resolution digital segmentations of a cross section through the third weld seam;
  • the third low-resolution copy LRC3 low-resolution copies of the high-resolution digital images of the cross section through the third cohesive connection; especially low-resolution copies of the high-resolution ones digital images of the cross section through the third weld seam.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Bestimmung einer dritten hochaufgelösten digitalen Segmentierung (HRS3) in einem dritten hochaufgelösten digitalen Bild (HRP3) mittels folgender Verfahrensschritte: - Empfangen eines dritten hochaufgelösten digitalen Bildes (HRP3) - Bereitstellen einer dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3); - Bestimmung einer dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) als Segmente niedrigaufgelöst repräsentiert, ausgehend von der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) und mittels eines trainierten neuronalen Hilfsnetzes (NNHT). - Bestimmung der dritten hochaufgelösten digitalen Segmentierung (HRS3) in dem dritten hochaufgelösten digitalen Bild (HRP3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem dritten hochaufgelösten digitalen Bild (HRP3) als Segmente hochaufgelöst repräsentiert, ausgehend von dem dritten hochaufgelösten digitalen Bild (HRP3) und ausgehend von der dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes als Segmente niedrigaufgelöst repräsentiert, mittels eines trainierten neuronalen Hauptnetzes (NNMT).

Description

Beschreibung
Titel
Figure imgf000003_0001
Bildes mittels kaskadierter neuronaler Netze
Stand der Technik
Es ist grundsätzlich bekannt, in digitalen Bildern Segmentierungen vorzunehmen, beispielsweise manuell.
Offenbarung der Erfindung
Die vorliegende Erfindung beruht auf dem Wunsch, eine derartige Segmentierung in effizienter Weise, automatisiert, zwar hochauflösend aber doch mit überschaubarem Aufwand zu erhalten.
Der Kerngedanke der Erfindung besteht in der geschickten Kombination kaskadierter neuronaler Netze. Die unabhängigen Ansprüche dieser Anmeldung betreffen daher ein entsprechendes Trainingsverfahren und ein zugehöriges Inferenzverfahren.
Genauer ist erfindungsgemäß vorgesehen, dass das Training gemäß einem Verfahren nach dem unabhängigen Anspruch 1 und die Bestimmung von hochaufgelösten Segmentierungen gemäß einem Verfahren nach dem nebengeordneten Anspruch 7 erfolgt. Die Unteransprüche geben vorteilhafte Weiterbildungen an.
Das erfindungsgemäße Verfahren und seine Weiterbildungen haben ferner den Vorteil, besonders robust zu sein, also beispielsweise nicht durch kleine Bildfehler gestört zu werden. Das erfindungsgemäße Verfahren und seine Weiterbildungen haben ferner den Vorteil, flexibel auf verschiedenartige Bilder adaptierbar zu sein.
Ferner stellen sie eine hinreichend hohe Bildauflösung bereit, beispielsweise um in der hochaufgelösten Segmentierung genaue Vermessungen durchführen zu können.
Ausführbeispiel
Ein Ausführbeispiel ist in den Figuren illustriert und sieht vor, dass eine dritte hochaufgelöste digitale Segmentierung HRS3 in einem dritten digitalen Bild HRP3 mittels folgender Verfahrensschritte erstellt wird (siehe insbesondere Figur 1 und Figur 2):
Schritt 1 SI1: Beispielsweise ein Computer empfängt ein drittes hochaufgelöstes digitales Bild HRP3, beispielsweise ein Bild mit der Auflösung n*m, wobei n=m=1024. Dann
Schritt 2 SI2: Beispielsweise empfängt der Computer eine dritte niedrigaufgelöste Kopie LRC3 des dritten hochaufgelösten digitalen Bildes HRP3. Alternativ wäre es auch möglich, dass eine Berechnung der dritten niedrigaufgelöste Kopie LRC3 des dritten hochaufgelösten digitalen Bildes HRP3 durch den Computer erfolgt und somit nachfolgend bereitsteht. Es handelt sich beispielsweise um eine Kopie mit der Auflösung n‘*m‘, wobei n‘=m‘=128. Dann
Schritt 3 SI3: Mittels eines trainierten neuronalen Hilfsnetzes NNHT, beispielsweise einem neuronalen Netz vom Typ ll-Net (siehe: Ronneberger O, Fischer P, Brox T (2015). "Ll-Net: Convolutional Networks for Biomedical Image Segmentation"; https://arxiv.org/abs/1505.04597), wird ausgehend von der dritten niedrigaufgelösten Kopie LRC3 des dritten hochaufgelösten digitalen Bildes HRP3 eine dritte niedrigaufgelöste digitale Segmentierung LRS3, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in der dritten niedrigaufgelösten Kopie LRC3 des dritten hochaufgelösten digitalen Bildes HRP3 als Segmente niedrigaufgelöst repräsentiert, durch den Computer bestimmt. Das trainierte neuronale Hilfsnetzes NNHT kann ein Faltungsnetz sein, dessen receptive field eine Größe hat, die mit der Größe der niedrigaufgelösten digitalen Bilder identisch ist. Dann
Schritt 4 SI4: Mittels eines trainierten neuronalen Hauptnetzes NNMT, beispielsweise einem neuronalen Netzes vom Typ Faltungsnetz, wird ausgehend von dem dritten hochaufgelösten digitalen Bild HRP3 und ausgehend von der dritten niedrigaufgelösten digitalen Segmentierung LRS3, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in der dritten niedrigaufgelösten Kopie LRC3 des hochaufgelösten digitalen Bildes als Segmente niedrigaufgelöst repräsentiert, eine dritten hochaufgelöste digitale Segmentierung HRS3 in dem dritten hochaufgelösten digitalen Bild, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in dem hochaufgelösten digitalen Bild als Segmente hochaufgelöst repräsentiert, durch den Computer bestimmt.
Das trainierte neuronale Hauptnetz NNMT kann ein Faltungsnetz sein, dessen receptive field kleiner ist als das receptive field des neuronalen Hilfsnetzes. Das trainierte neuronale Hauptnetz NNMT kann die Funktion eines Upsamplers haben, welches die Ergebnisse des trainierte neuronale Hilfsnetzes NNHT, also die dritte niedrigaufgelöste digitale Segmentierung LRS3, verfeinert.
Dabei kann ein zweites neuronales Netz NN2 so trainiert worden sein, dass ein trainiertes zweites neuronales Netz NN2T, insbesondere das oben bereits erwähnte trainierte neuronale Hilfsnetz NNHT, resultiert, und zwar beispielsweise mittels folgender Verfahrensschritte (siehe Figur 3):
Schritt 5 STH1: Auf einem Computer, beispielsweise dem ober bereits erwähntem Computer oder auf einem anderen Computer, werden beispielsweise 100 Datensätze zweiter Art DS2 bereitgestellt, wobei jeder Datensatz zweiter Art DS2 ein zweites niedrigaufgelöstes digitales Bild LRP2 enthält und eine zweite niedrigaufgelöste digitale Segmentierung LRS2 des zweiten niedrigaufgelösten digitalen Bilds LRP2 enthält, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in dem zweiten niedrigaufgelösten digitalen Bild LRP2 als Segmente niedrigaufgelöst repräsentiert. Es versteht sich dabei, dass jedem Datensatz zweiter Art DS2 ein individuelles Bild zugeordnet ist. Die Herkunft der zweiten niedrigaufgelösten digitalen Segmentierung LRS2 des zweiten niedrigaufgelösten digitalen Bildes LRP2, die hier dem Training des zweiten neuronalen Netzes dient, kann beispielsweise händische Erzeugung sein.
Schritt 6 STH2: Auf dem Computer erfolgt ein Trainieren des zweiten neuronalen Netzes NN2 mit den zweiten niedrig aufgelösten digitalen Bildern LRP2 als Eingangsdaten und den zweiten niedrig aufgelösten digitalen Segmentierungen LRS2 als Sollausgangsdaten, sodass ein trainiertes zweites neuronales Netz NN2T entsteht. Hierzu kann vorgesehen sein, dass auf Basis der Datensätze zweiter Art DS2 eine zweite Kostenfunktion bestimmt wird und dass nachfolgend der Wert der zweiten Kostenfunktion minimiert wird, indem Parameter des zweiten neuronalen Netzes NN2 optimiert werden. Es können beispielsweise Methoden des Transfer-Learnings verwendet werden.
Dabei kann ein erstes neuronales Netz NN1 so trainiert worden sein, dass ein trainiertes erstes neuronales Netz NN1T, insbesondere das oben bereits erwähnte trainierte neuronale Hauptnetz NNMT, resultiert, und zwar beispielsweise mittels folgender Verfahrensschritte (siehe Figur 4):
Schritt 7 STM1: Auf einem Computer, beispielsweise einem der oben bereits erwähnten Computern oder auf einem anderen Computer, werden beispielsweise 500 Datensätze erster Art DS1 bereitgestellt, wobei jeder Datensatz erster Art ein erstes hochaufgelöstes digitales Bild HRP1 aufweist und eine dem ersten hochaufgelösten digitalen Bild zugeordnete erste hochaufgelöste digitale Segmentierung HRS1, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in dem hochaufgelösten digitalen Bild HRP1 als Segmente hochaufgelöst repräsentiert, aufweist und ferner eine erste niedrigaufgelöste digitale Segmentierung LRS1 aufweist, welche zumindest eine flächige Erstreckung des ersten Bereichs FP1 und des zweiten Bereichs FP2 und insbesondere des dritten Bereichs SZ in dem ersten hochaufgelösten digitalen Bild HRP1 als Segmente niedrigaufgelöst repräsentiert. Es versteht sich dabei, dass jedem Datensatz erster Art DS1 eine individuelles Bild zugeordnet ist. Die Herkunft der ersten niedrigaufgelösten digitalen Segmentierungen LRS1, die hier dem Training des ersten neuronalen Netzes NN1 dient, kann einerseits beispielsweise händische Erzeugung sein. Andererseits können sie aber auch allesamt oder teilweise durch das zuvor beschriebene trainierte zweite neuronale Netz NN2T erzeugt worden sein, bzw. durch eine Vielzahl derartiger trainierte zweite neuronale Netz NN2T erzeugt worden sein; und zwar jeweils ausgehend von ersten niedrigaufgelösten Kopien LRC1 der hochaufgelösten digitalen Bilder HRP1.
Die Herkunft der hochaufgelösten digitalen Segmentierungen HRS1, die hier dem Training des ersten neuronalen Netzes NN1 dienen, kann beispielsweise händische Erzeugung sein.
Schritt 8, STM2: Auf dem Computer erfolgt ein Trainieren des ersten neuronalen Netzes NN1 mit den ersten hochaufgelösten Bildern HRP1 und zusätzlich mit den ersten niedrigaufgelösten digitalen Segmentierungen LRS1 als Eingangsdaten des ersten neuronalen Netzes NN1 und den ersten hochaufgelösten Segmentierungen HRS1 als Sollausgangsdaten des ersten neuronalen Netzes NN1 , sodass ein trainiertes erstes neuronales Netz NN1T entsteht. Hierzu kann vorgesehen sein, dass auf Basis der Datensätze erster Art DS1 eine erste Kostenfunktion bestimmt wird und dass nachfolgend der Wert der ersten Kostenfunktion minimiert wird, indem Parameter des ersten neuronalen Netzes NN1 optimiert werden.
Im Rahmen der Anmeldung soll durch die Verwendung der an die Zahlen eins, zwei und drei angelehneten Bezeichnungen „erster/ersten; zweiter/zweiten; dritter/dritten“ lediglich die Unterscheidbarkeit von ihrer Funktion nach verschiedenen Objekten bewirkt werden. Dies soll aber nicht so verstanden werden, dass beispielsweise die Existenz eines mit „dritter/dritten“ bezeichneten Objekts die Existenz weiterer Objekte, die dann mit „zweiter/zweiten; erster/ersten“ zu bezeichnen wären, notwendig voraussetzt.
In einer konkreten Anwendung zeigen die Bilder Querschliffe von stoffschlüssigen Verbindungen, insbesondere Querschliffe von Schweißnähten. Dann sind:
- die ersten hochaufgelösten digitalen Bilder HRP1 : hochaufgelöste digitale Bilder von Querschliffen durch eine erste stoffschlüssige Verbindung; insbesondere hochaufgelöste digitale Bilder von Querschliffen durch eine erste Schweißnaht;
- die ersten hochaufgelösten digitalen Segmentierungen HRS1 : hochaufgelöste digitale Segmentierungen des Querschliffs durch die ersten stoffschlüssigen Verbindungen; insbesondere hochaufgelöste digitale Segmentierungen des Querschliffs durch die ersten Schweißnähte;
- der erste Bereich FP1: ein erster Fügepartner;
- der zweite Bereich FP2: ein zweiter Fügepartner;
- der optional vorhandene dritte Bereich SZ: eine im Fall einer stoffschlüssigen Verbindung zwingend vorhandene Verbindungszone; insbesondere eine im Fall einer Schweißnaht zwingend vorhandenen Schmelzzone;
- die ersten niedrigaufgelösten digitalen Segmentierungen LRS1: niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die erste stoffschlüssige Verbindung; insbesondere niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die erste Schweißnaht:
- die zweiten niedrigaufgelösten digitalen Bilder LRP2: niedrigaufgelöste digitale Bilder eines Querschliffs durch eine zweite stoffschlüssige Verbindung; insbesondere niedrigaufgelöste digitale Bilder eines Querschliffs durch eine zweite Schweißnaht;
- die zweiten niedrigaufgelösten digitalen Segmentierungen LRS2: niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die zweite stoffschlüssige Verbindung; insbesondere niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die zweite Schweißnaht;
- die ersten niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder LRC1 : niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder des Querschliffs durch die erste stoffschlüssige Verbindung; insbesondere niedrigaufgelöste Kopien der hochaufgelösten digitalen Bilder des Querschliffs durch die erste Schweißnaht;
- die dritten hochaufgelösten digitalen Segmentierungen HRS3: hochaufgelöste digitale Segmentierungen des Querschliffs durch die dritten stoffschlüssigen Verbindungen; insbesondere hochaufgelöste digitale Segmentierungen des Querschliffs durch die dritten Schweißnähte;
- die dritten hochaufgelösten digitales Bilder HRP3: hochaufgelöste digitale Bilder von Querschliffen durch eine erste stoffschlüssige Verbindung; insbesondere hochaufgelöste digitale Bilder von Querschliffen durch eine erste Schweißnaht;
- die dritten niedrigaufgelösten digitalen Segmentierungen LRS3: niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die dritte stoffschlüssige Verbindung; insbesondere niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die dritte Schweißnaht; und
- die dritten niedrigaufgelösten Kopie LRC3: niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder des Querschliffs durch die dritte stoffschlüssige Verbindung; insbesondere niedrigaufgelöste Kopien der hochaufgelösten digitalen Bilder des Querschliffs durch die dritte Schweißnaht.

Claims

Ansprüche
1. Verfahren zum Trainieren eines ersten neuronalen Netzes (NN1), das einer hochaufgelösten Segmentierung in digitalen Bildern dient, mittels folgender Schritte:
- Bereitstellen von Datensätzen erster Art (DS1), wobei jeder Datensatz erster Art (DS1) zumindest folgendes enthält: a) ein erstes hochaufgelöstes digitales Bild (HRP1), b) eine dem ersten hochaufgelösten digitalen Bild (HRP1) zugeordnete erste hochaufgelöste digitale Segmentierung (HRS1), welche zumindest eine flächige Erstreckung eines ersten Bereichs (FP1) und eines zweiten Bereichs (FP2) und insbesondere eines dritten Bereichs (SZ) in dem ersten hochaufgelösten digitalen Bild (HRP1) als Segmente hochaufgelöst repräsentiert, c) eine erste niedrigaufgelöste digitale Segmentierung (LRS1), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem ersten hochaufgelösten digitalen Bild (HRP1) als Segmente niedrigaufgelöst repräsentiert;
- Trainieren des ersten neuronalen Netzes (NN1) mit den ersten hochaufgelösten Bildern (HRP1) und zusätzlich mit den ersten niedrigaufgelösten digitalen Segmentierungen (LRS1) als Eingangsdaten des ersten neuronalen Netzes (NN1) und den ersten hochaufgelösten Segmentierungen (HRS1) als Sollausgangsdaten des ersten neuronalen Netzes (NN1), sodass ein trainiertes erstes neuronales Netz (NN1T) entsteht.
2. Verfahren nach Anspruch 1 , wobei das Trainieren des ersten neuronalen Netzes (NN1) vorsieht, dass auf Basis der Datensätze erster Art (DS1) eine erste Kostenfunktion bestimmt wird und dass nachfolgend der Wert der ersten Kostenfunktion minimiert wird, indem Parameter des ersten neuronalen Netzes (NN1) optimiert werden.
3. Verfahren nach Anspruch 1 oder 2, wobei die erste niedrigaufgelöste digitale Segmentierung (LRS1), welche zumindest die flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem ersten hochaufgelösten digitalen Bild (HRP1) als Segmente niedrigaufgelöst repräsentiert, für jeden Datensatz erster Art (DS1) bereitgestellt wird, indem das Verfahren zusätzlich folgende Schritte enthält:
- Bereitstellen von Datensätzen zweiter Art (DS2), wobei jeder Datensatz zweiter Art (DS2) folgendes enthält: d) ein zweites niedrigaufgelöstes digitales Bild (LRP2), e) eine zweite niedrigaufgelöste digitale Segmentierung (LRS2), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem zweiten niedrigaufgelösten digitalen Bild (LRP2) als Segmente niedrigaufgelöst repräsentiert;
- Trainieren eines zweiten neuronalen Netzes (NN2) mit den zweiten niedrig aufgelösten digitalen Bildern (LRP2) als Eingangsdaten und den zweiten niedrig aufgelösten digitalen Segmentierungen (LRS2) als Sollausgangsdaten, sodass ein trainiertes zweites neuronales Netz (NN2T) entsteht;
- Bereitstellen von ersten niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder (LRC1)
- Mit dem trainierten zweiten neuronalen Netz (NN2T) und ausgehend von den ersten niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder (LRC1): Bestimmung der ersten niedrigaufgelösten digitalen Segmentierungen (LRS1), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in den ersten hochaufgelösten digitalen Bildern (HRP1) als Segmente niedrigaufgelöst repräsentiert. Verfahren nach Anspruch 3, wobei das Trainieren des zweiten neuronalen Netzes (NN2) vorsieht, dass auf Basis der Datensätze zweiter Art (DS2) eine zweite Kostenfunktion bestimmt wird und dass nachfolgend der Wert der zweiten Kostenfunktion minimiert wird, indem Parameter des zweiten neuronalen Netzes (NN2) optimiert werden. Verfahren nach einem der vorangehenden Ansprüche, wobei die Datensätze erster Art (DS1) in ihrer Gesamtheit erste hochaufgelöste digitale Bilder von Objekten (HRP1) umfassen, die untereinander nicht gleichartig sind. Verfahren nach einem der vorangehenden Ansprüche, wobei die zweiten niedrigaufgelösten digitalen Bilder (LRP2) die ersten niedrigaufgelösten Kopien der ersten hochaufgelösten digitalen Bilder (LRC1) umfassen. Verfahren zur Bestimmung einer dritten hochaufgelösten digitalen Segmentierung (HRS3) in einem dritten hochaufgelösten digitalen Bild (HRP3) mittels folgender Verfahrensschritte:
- Empfangen eines dritten hochaufgelösten digitalen Bildes (HRP3)
- Bereitstellen einer dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3);
- Bestimmung einer dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) als Segmente niedrigaufgelöst repräsentiert, ausgehend von der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) und mittels eines trainierten neuronalen Hilfsnetzes (NNHT).
- Bestimmung der dritten hochaufgelösten digitalen Segmentierung (HRS3) in dem dritten hochaufgelösten digitalen Bild (HRP3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem dritten hochaufgelösten digitalen Bild (HRP3) als Segmente hochaufgelöst repräsentiert, ausgehend von dem dritten hochaufgelösten digitalen Bild (HRP3) und ausgehend von der dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes als Segmente niedrigaufgelöst repräsentiert, mittels eines trainierten neuronalen Hauptnetzes (NNMT). Verfahren nach Anspruch 7, wobei das trainierte neuronale Hauptnetz (NNMT) trainiert ist, entsprechend dem ersten neuronalen Netz (NN1) gemäß einem der Ansprüche 1 bis 6. Verfahren nach Anspruch 7 oder 8, wobei das trainierte neuronale Hilfsnetz (NNHT) trainiert ist, entsprechend dem zweiten neuronalen Netz (NN2) gemäß einem der Ansprüche 1 bis 6. Verfahren nach einem der vorangehenden Ansprüche, wobei die hochaufgelösten digitalen Bilder (HRP1 , HRP3) und/oder die hochaufgelösten digitalen Segmentierungen (HRS1 , HRS3) durch n*m Pixel gegeben sind; und wobei die niedrigaufgelösten digitalen Bilder (LRP2, LRC1 , LRC3) bzw. die niedrigaufgelösten digitalen Segmentierungen (LRS1 , LRS2, LRS3) durch n‘*m‘ Pixel gegeben sind und wobei eine der Beziehungen aus {a), b)} gilt oder beide der Beziehungen aus {a), b)} gelten: a): n/n‘ > 4, b): m/m‘ > 4; z.B. n=m=1024 und n -m -128. Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite neuronale Netz (NN2, NN2T) bzw. das neuronale Hilfsnetz (NNHT) und das erste neuronale Netz (NN1 , NN1T) bzw. das neuronale Hauptnetz (NNMT) Faltungsnetze sind und wobei Größe des receptive fields des zweiten neuronalen Netzes (NN2, NN2T) bzw. des neuronalen Hilfsnetzes (NNHT) größer ist als die Größe des receptive fields des ersten neuronalen Netzes (NN1 , NN1T) bzw. des neuronale Hauptnetzes (NNMT). Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite neuronale Netz (NN2, NN2T) bzw. des neuronalen Hilfsnetz (NNHT) ein neuronales Netz vom Typ ll-Net ist.
PCT/EP2023/069261 2022-08-31 2023-07-12 Segmentierung eines digitalen bildes mittels kaskadierter neuronaler netze WO2024046638A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022209009.8 2022-08-31
DE102022209009.8A DE102022209009A1 (de) 2022-08-31 2022-08-31 Segmentierung eines digitalen Bildes mittels kaskadierter neuronaler Netze

Publications (1)

Publication Number Publication Date
WO2024046638A1 true WO2024046638A1 (de) 2024-03-07

Family

ID=87245713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/069261 WO2024046638A1 (de) 2022-08-31 2023-07-12 Segmentierung eines digitalen bildes mittels kaskadierter neuronaler netze

Country Status (2)

Country Link
DE (1) DE102022209009A1 (de)
WO (1) WO2024046638A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066794A1 (en) * 2017-09-27 2019-04-04 Google Llc END-TO-END NETWORK MODEL FOR HIGH-RESOLUTION IMAGE SEGMENTATION
WO2022073100A1 (en) * 2020-10-07 2022-04-14 Afx Medical Inc. Systems and methods for segmenting 3d images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066794A1 (en) * 2017-09-27 2019-04-04 Google Llc END-TO-END NETWORK MODEL FOR HIGH-RESOLUTION IMAGE SEGMENTATION
WO2022073100A1 (en) * 2020-10-07 2022-04-14 Afx Medical Inc. Systems and methods for segmenting 3d images

Also Published As

Publication number Publication date
DE102022209009A1 (de) 2024-02-29

Similar Documents

Publication Publication Date Title
DE2909153C2 (de) Einrichtung zur digitalen Analyse von Bild- oder Zeichenmustern
DE3224319C2 (de) Verfahren und Einrichtung zum Bestimmen der Art der Schwärzungsgradpegelverteilung einer Bildfläche
DE102011113546B4 (de) Korrektur fehlerhafter pixel in digitalen farbbildern
DE112011102647T5 (de) Verfahren zur Herstellung von super-auflösenden Bildern und nicht-linearer Filter zu dessen Implementierung
DE69220264T2 (de) Einrichtung zum Beurteilen des Farbtyps eines Dokuments
DE112008003337T5 (de) Eigenschaftsanalysegerät
EP3970113A1 (de) Bestimmung eines verschleissgrades eines werkzeugs
DE102018214198A1 (de) System zum Bewerten eines Bildes, Betriebsassistenzverfahren und Steuereinheit für eine Arbeitsvorrichtung sowie Arbeitsvorrichtung
DE102007040070A1 (de) Bilddichteumwandlungsverfahren, Bildverbesserungsverarbeitungseinrichtung und dafür geeignetes Programm
DE10327949A1 (de) Verfahren und Vorrichtung zum Ansprechen auf Schwellenereignisse von Heterogenen Meßquellen
DE112021000371T5 (de) Digitale bildbearbeitung
DE2125230B2 (de) Verfahren und Schaltungsanordnung zur modifizierenden Verarbeitung digitaler Informationssignalfolgen
DE3505793A1 (de) Objektidentifikationsverfahren
DE10017551C2 (de) Verfahren zur zyklischen, interaktiven Bildanalyse sowie Computersystem und Computerprogramm zur Ausführung des Verfahrens
DE3905234C2 (de)
DE60224125T2 (de) Signalverarbeitungsgerät, Signalverarbeitungsverfahren des Geräts, Operationsprozessprogramm des Verfahrens und Speichermedium zum Speichern des Programms
WO2024046638A1 (de) Segmentierung eines digitalen bildes mittels kaskadierter neuronaler netze
EP0897247A2 (de) Verfahren zur Berechnung von Bewegungsvektoren
DE69721913T2 (de) Filterverfahren und dazugehöriges filtersystem
WO2024046621A1 (de) SEGMENTIERUNG EINES SCHLIFFBILDS EINER SCHWEIßNAHT MITTELS KÜNSTLICHER INTELLIGENZ
DE102006047436A1 (de) Verfahren und System zum automatischen Aufbereiten von Druckdaten für einen Druckvorgang
DE112017007165T5 (de) Bildverarbeitungsvorrichtung und abbildungsvorrichtung
DE10327576A1 (de) Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
EP3518180B1 (de) Verfahren zur erstellung einer bildstapel-datenstruktur
EP0937345A1 (de) Verfahren und anordnung zum multiplexen einer vielzahl digitaler datenströme zu einem digitalen gesamtdatenstrom sowie verfahren und anordnung zum demultiplexen eines digitalen gesamtdatenstroms zu einer vielzahl digitaler datenströme

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23741043

Country of ref document: EP

Kind code of ref document: A1