WO2025119577A1 - System zum identifizieren von thermischen defekten an objekten, verfahren zum identifizieren von thermischen defekten an objekten und computerlesbares speichermedium - Google Patents

System zum identifizieren von thermischen defekten an objekten, verfahren zum identifizieren von thermischen defekten an objekten und computerlesbares speichermedium Download PDF

Info

Publication number
WO2025119577A1
WO2025119577A1 PCT/EP2024/081506 EP2024081506W WO2025119577A1 WO 2025119577 A1 WO2025119577 A1 WO 2025119577A1 EP 2024081506 W EP2024081506 W EP 2024081506W WO 2025119577 A1 WO2025119577 A1 WO 2025119577A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
defect
rgb
designed
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2024/081506
Other languages
English (en)
French (fr)
Inventor
Kevin Patrick Mahovic
Maksim Kolbyshev
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Original Assignee
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saint Gobain Glass France SAS, Compagnie de Saint Gobain SA filed Critical Saint Gobain Glass France SAS
Publication of WO2025119577A1 publication Critical patent/WO2025119577A1/de
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to a system for identifying thermal defects on objects, a method for identifying thermal defects on objects and a corresponding computer-readable storage medium.
  • thermographic methods It is known to record the thermal state of objects using thermographic methods. This involves recording the intensity of infrared radiation emitted by an object and interpreting it as a measure of its temperature dissipation.
  • manual evaluation of the recorded infrared radiation is time-consuming, especially when additional properties of the object need to be taken into account.
  • FR 3 074 596 B1 discloses a method for characterizing test objects using spectral images, in particular infrared images, and a corresponding device.
  • a volume of pixel values is formed by capturing a plurality of spectral images.
  • Input data containing an observed parameter as a function of the plurality of spectral images is extracted from the volume of pixel values.
  • a neural network is trained to extract a feature to be classified.
  • the extracted feature is classified into one of several classes.
  • FR 3 113 530 B1 also concerns the classification of objects, particularly with regard to mechanical or thermal properties, using artificial neural networks (ANNs).
  • ANNs artificial neural networks
  • a method is proposed in which a first ANN is trained based on a database of general measurement or model data. Furthermore, a second ANN, parameterized by the trained first ANN, is trained based on specific measurements performed on an object to be classified. The actual classification of the acquired measurement data is then performed exclusively using the second ANN.
  • the object of the present invention is to optimize the thermal properties of objects, in particular buildings and building elements.
  • one object of the present invention is to provide an improved system and a corresponding method for this purpose.
  • the problem is solved by a system for identifying thermal defects on objects according to claim 1.
  • a mobile terminal configured to generate an infrared image and a color image of an object
  • an evaluation server comprising the following units:
  • an object determination unit configured to generate object information based at least on the color image and/or the infrared image
  • a defect determination unit configured to generate defect information, in particular position, type and/or characteristic value of a thermal defect, based at least on the infrared image and the object information;
  • an action determination unit configured to determine actions based on the defect information and/or the object information.
  • a thermal defect of an object can be understood in particular as a thermal bridge, i.e., an area or component of the object that conducts heat better than an adjacent area of the object.
  • the object can be any physical object that may have a thermal defect, such as buildings, building elements (windows, doors, facades), vehicles, machines, and pipelines.
  • One idea of the present invention is to use a mobile terminal to detect the thermal state of the object on the basis of two images of the object with different frequency spectrum, namely a color image and an infrared image.
  • An infrared image can be understood as a recording of infrared radiation, i.e., in the spectral range from 780 nm to 1 mm.
  • a color image can be understood as a recording of visible light radiation, i.e., in the spectral range from approximately 380 nm to 780 nm.
  • An infrared camera (IR camera) or a color camera (RGB camera) is understood below to be an image sensor or image sensor array designed to capture infrared radiation or visible light.
  • An image sensor or image sensor array that can capture both visible light and infrared radiation is referred to as an RGB-IR camera.
  • the individual advantages of both image types can be combined.
  • Object detection is usually reliably possible using a color image.
  • the infrared image provides information about the heat radiated by the object, which can be used to identify thermal defects.
  • infrared images are typically more robust against insufficient or disruptive lighting conditions. The infrared image can therefore also be used optionally for object detection.
  • the color image and the infrared image correspond to each other in the sense that they were recorded at essentially the same time and from the same position.
  • this is not necessary for the present invention. not absolutely necessary as long as both images show (at least partially) the same object.
  • the system according to the invention is designed to generate object information based at least on the color image, the infrared image, or both images.
  • the object information can, in particular, indicate the type of object, i.e., for example, that it is a window of a building.
  • the system according to the invention is designed to generate defect information based on the infrared image and the generated object information.
  • the defect information can, for example, include the following information:
  • a characteristic value of the thermal defect in particular absolute temperature and/or temperature difference to an environment of the thermal defect.
  • the system according to the invention is designed to determine measures based on the generated defect information and/or the generated object information.
  • the measures can, in particular, be measures suitable for remedying the thermal effect on the object, for example, thermal insulation materials and/or structural measures. Taking the defect information and/or object information into account offers the advantage that only those measures are determined that are suitable, for example, with regard to the size and nature of the thermal defect.
  • the system according to the invention captures various pieces of information about the object, which are then linked by the evaluation server to identify thermal defects on an object and determine suitable countermeasures.
  • thermal defects can be detected with minimal effort and high precision.
  • the mobile terminal has an RGB camera and is connected to an external infrared camera and/or RGB-IR camera.
  • the RGB camera usually integrated in mobile devices (smartphones, tablet computers, etc.) can be used to create the color image, while an external infrared camera and/or an RGB-IR camera is used to create the RGB image.
  • the functionality of the mobile device can be extended in a particularly simple manner by an IR camera, while maintaining the compact unit of the device.
  • the object determination unit and/or the defect determination unit each comprise an artificial neural network.
  • the object determination unit may comprise a first neural network configured to generate the object information based on a color image, on an infrared image, or on a pair of color image and associated infrared image.
  • the defect determination unit may comprise a second neural network configured to generate the defect information based on the infrared image and the generated object information.
  • the first and/or second neural network can, in particular, be a convolutional neural network (CNN). This allows for a high quality and reliability of the classification performed.
  • CNN convolutional neural network
  • the defect determination unit may be configured to generate the defect information further based on meta-information.
  • the meta-information may specify at least one of the following variables with respect to the object:
  • the ll value is a thermal transmittance coefficient (or thermal insulation value) that describes a measure of the heat transfer of a building element (house wall, door, window, etc.) due to a temperature difference.
  • Metadata about the building materials used in the object e.g., their materials and/or thermal properties, can be provided by the user as additional information.
  • the defect information unit can then be configured to calculate an ll value based on the additional information.
  • the meta-information may in particular relate to the state of the object at the time the infrared image and/or the color image were taken.
  • thermographic methods offer the advantage of being able to verify whether permissible conditions existed at the time the images were taken. For example, some thermographic methods only produce meaningful results if the outside temperature in the vicinity of a building is not significantly higher than 10°C and the interior of the building is heated. Furthermore, thermographic methods generally prefer to take images at relatively low brightness (e.g., less than 1500 lux) to prevent building elements from heating up due to solar radiation. This prevents incorrect assessment of the object due to impermissible measurement conditions.
  • relatively low brightness e.g., less than 1500 lux
  • the additional information can also be incorporated into the assessment of thermal defects, i.e., the generation of defect information.
  • a GPS position of the building can provide information about typical climatic conditions (especially temperature, wind, and weather conditions), a U-value about the transmission heat losses, etc.
  • typical climatic conditions especially temperature, wind, and weather conditions
  • U-value about the transmission heat losses
  • the mobile terminal is designed to detect a temperature by means of a temperature sensor that is connected to the mobile terminal, in particular wirelessly, and to provide the temperature to the evaluation server.
  • the mobile device can be configured to establish a connection to an external, Bluetooth-enabled temperature sensor via an integrated Bluetooth interface.
  • a wireless connection can also be established via Wi-Fi, NFC, ZigBee, or Z-Wave. This allows the functionality of the mobile device to be easily expanded, and the measured temperature can be provided to the analysis server as metadata.
  • the mobile terminal has a GPS sensor and is designed to provide a GPS location to the evaluation server.
  • a GPS location of the object can be recorded and provided to the evaluation server as meta information, which can improve the identification of the thermal defect.
  • the mobile device can be designed to capture one or more of the other meta-information via integrated sensors (e.g. brightness sensor), external sensors or through manual data entry.
  • integrated sensors e.g. brightness sensor
  • the mobile terminal is designed to retrieve at least some of the meta information from a smart home controller associated with the object, in particular a building, and to provide it to the evaluation server.
  • Smart home controls of buildings are networked with a variety of sensors (e.g. temperature sensors, humidity sensors, etc.), which can also provide at least some of the above-mentioned meta-information.
  • sensors e.g. temperature sensors, humidity sensors, etc.
  • the classification of thermal defects can also be improved by taking the additional information into account.
  • the object determination unit and/or the defect determination unit is designed to generate the object information and/or the defect information based on a plurality of infrared images and/or a plurality of color images.
  • the multiple infrared images or the multiple color images can, in particular, each comprise an external view of the object and an internal view of the object.
  • the external view and the internal view show at least partially the same area of the object, for example, a window of a building from the inside and outside.
  • the system according to the invention can also be designed to create a new color image based on a plurality of similar images, for example a plurality of external views as color or infrared images, by averaging or combining, on the basis of which the object determination and/or the defect determination is carried out.
  • the object is further achieved by a method for identifying thermal defects in objects.
  • the method can be carried out, in particular, by a system as described above.
  • the method may comprise the following steps: a) capturing an infrared image and a color image of an object; b) determining object information based at least on the color image and/or the infrared image; c) determining defect information, in particular the type, position, size and/or characteristic value of a thermal defect, based at least on the infrared image and the object information; d) Determining actions based on the defect information and/or the object information.
  • step a) can be carried out by a corresponding software component, in particular an application (app) on a mobile device and steps b) to c) can be carried out on an evaluation server.
  • step a) comprises capturing a plurality of infrared images and/or a plurality of color images, in particular as an external view of the object and an internal view of the object.
  • Step b) and/or step c) are performed based on the plurality of infrared images and/or the plurality of color images.
  • the defect information is further generated based on meta-information that indicates at least one of the following variables with respect to the object:
  • the object is achieved by a computer-readable storage medium.
  • the computer-readable storage medium contains instructions that cause at least one processor to implement a method as described above when the instructions are executed by the at least one processor.
  • Figure 1 shows an IR image of a building with thermal defects
  • Figure 2 shows the structure of the system according to the invention according to a first embodiment
  • FIG. 3 shows the components of the mobile terminal according to the first
  • Figure 4 shows the data processing of the evaluation server according to the first embodiment.
  • Figure 1 shows an infrared image of a building.
  • the intensity of the detected infrared radiation is represented in color, with the scale shown ranging from dark blue (approximately -3°C) to pink (8°C).
  • the infrared image IR shows that the right half of the building has a comparatively low temperature compared to the left half, meaning that it hardly emits any heat to the outside. This may be due, for example, to subsequently installed thermal insulation in the exterior facade of the right half of the building.
  • Areas D1 and D2 of the infrared image IR show that the respective windows on the ground floor have a significantly higher temperature than their immediate surroundings. Thus, high heat loss (i.e., a thermal defect) occurs in these areas D1, D2.
  • Figure 2 shows schematically the structure of the system according to the invention according to a first embodiment.
  • the system comprises the mobile terminal 100, in this embodiment a smartphone, and the evaluation server 200.
  • the mobile terminal 100 and the evaluation server 200 are communicatively connected via the communication interface 250 of the evaluation server 200 and an integrated mobile radio communication interface of the mobile terminal 100.
  • the mobile terminal 100 is configured to send an infrared image IR, a color image RGB, and metadata M1 to the evaluation server 200.
  • the mobile terminal 100 is configured to receive the measures M determined by the evaluation server 200.
  • the evaluation server 200 has an object determination unit 210, a defect determination unit 220, and a measure determination unit 230, each of which can receive and process the data received from the communication interface 250. At least the measures determined by the measure determination unit 230 can in turn be provided to the communication interface 250, which is configured to transmit them to the mobile terminal 100.
  • FIG. 3 shows the components of the mobile terminal 100 according to the embodiment of Figure 2.
  • the smartphone or mobile terminal 100 has a mobile radio communication interface 120 so that a bidirectional data transmission can be carried out between the mobile terminal 100 and the evaluation server. Furthermore, the mobile terminal 100 has a color image camera 111 arranged on the rear of the device, which is designed to generate color images of objects.
  • the mobile terminal 100 is connected to the external IR camera 110 via a USB-C port (not shown), with the IR camera 110 being mounted underneath the mobile terminal 100.
  • the IR camera 110 may, for example, have one or more of the following properties:
  • Image resolution 640 x 480 pixels
  • the mobile terminal 100 has a Bluetooth interface 130 for wireless communication with devices in the surrounding area.
  • the mobile terminal 100 is connected to an external temperature sensor 150 via the Bluetooth interface 130, so that the mobile terminal 100 can receive a temperature value from the external temperature sensor 150 and provide it to the evaluation server as meta information.
  • the mobile terminal 100 has a software component (smartphone app) with a graphical user interface, which is configured to generate color images and infrared images, query additional metadata if necessary, and send them to the evaluation server.
  • the measures generated and transmitted by the evaluation server can also be displayed in the software component.
  • Figure 4 shows the data generated or processed by the various components of the evaluation server 200.
  • the object determination unit 210 is configured to generate associated object information O1 based on the IR image IR and the color image RGB of an object.
  • the object information O1 may include the following information: Object type: building window;
  • the above-described classification of the object for generating the object information Ol is carried out by the artificial neural network 211 of the object determination unit 210.
  • the defect determination unit 220 is configured to generate associated defect information Ol based on the IR image IR, the above-described object information Ol, and meta information Ml.
  • the defect information DI may include the following information:
  • Defect type construction-related thermal bridge
  • the above-described identification and classification of the thermal defect for generating the defect information DI is carried out by the artificial neural network 221 of the object determination unit 220.
  • the measure determination unit 230 is designed to determine measures M on the basis of the object information Ol described above and the defect information DI and to provide corresponding information.
  • the measure determination unit 230 has a computing unit 231 and a measure database 232.
  • the measures M are determined by querying the measure database 232 based on the object information O1 and the defect information D1.
  • the meta information M1 can also be used to determine the measures M.
  • measures M e.g. materials for thermal insulation
  • measures M can be determined that are suitable for the specific thermal defect (according to defect information DI) and the specific object (according to object information Ol).
  • system or method according to the invention is by no means limited to identifying a single thermal defect on the basis of an infrared image, but is generally designed to identify one or more thermal defects on the object under investigation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

Die Erfindung betrifft ein System zum Identifizieren von thermischen Defekten an Objekten, ein Verfahren zum Identifizieren von thermischen Defekten an Objekten und computerlesbares Speichermedium. Insbesondere betrifft die Erfindung ein System zum Identifizieren von thermischen Defekten an Objekten, welches das Folgende aufweist: - ein mobiles Endgerät (100), das dazu ausgebildet ist, ein Infrarotbild (IR) und ein Farbbild (RGB) eines Objekts (O) zu erzeugen; - einen Auswertungsserver (200), der die folgenden Einheiten aufweist: - eine Objektbestimmungseinheit (210), die dazu ausgebildet ist, Objektinformationen (OI) zumindest basierend auf dem Farbbild (RGB) und/oder dem Infrarotbild (IR) zu erzeugen; - eine Defektbestimmungseinheit (220), die dazu ausgebildet ist, Defektinformationen (DI), insbesondere Art, Position, Größe und/oder Kennwert eines thermischen Defekts, basierend zumindest auf dem Infrarotbild (IR) und den Objektinformationen (OI) zu erzeugen; - eine Maßnahmenbestimmungseinheit (230), die dazu ausgebildet ist, Maßnahmen (M) basierend auf den Defektinformationen (DI) und/oder den Objektinformationen (OI) zu ermitteln. Dabei sind das mobile Endgerät (100) und der Auswertungsserver (200) kommunikativ verbunden, insbesondere zur Übertragung des Infrarotbildes (IR), des Farbbildes (RGB) und/oder der Maßnahmen (M).

Description

System zum Identifizieren von thermischen Defekten an Objekten, Verfahren zum Identifizieren von thermischen Defekten an Objekten und computerlesbares Speichermedium
Die Erfindung betrifft ein System zum Identifizieren von thermischen Defekten an Objekten, ein Verfahren zum Identifizieren von thermischen Defekten an Objekten und ein entsprechendes computerlesbares Speichermedium.
Insbesondere aus Kosten- und Energieeffizienzgründen ist es in vielen Situationen wünschenswert, ein Objekt möglichst gut gegen Wärmeverluste an die Umgebung zu isolieren. Beispielsweise sind im Bereich des Gebäudebaus eine Vielzahl unterschiedlicher Materialien und Techniken zur Wärmeisolierung bekannt, mit denen verhindert werden soll, dass Wärme aus dem Gebäudeinneren an die Umgebung abgegeben wird. Das Auskühlen von Gebäudebereichen kann zudem zu erhöhter Luftfeuchtigkeit, Schimmelbildung und damit zu einer Beschädigung der Bausubstanz führen.
Es ist bekannt, den thermischen Zustand von Objekten mittels thermografischer Verfahren zu erfassen. Hierbei wird die Intensität von Infrarotstrahlung, die von einem Objekt ausgeht, erfasst und als Maß für dessen Temperaturabgabe aufgefasst. Eine manuelle Auswertung der erfassten Infrarotstrahlung ist jedoch aufwändig, insbesondere dann, wenn zusätzliche Eigenschaften des Objekts berücksichtigt werden sollen.
Aus der FR 3 074 596 B1 ist ein Verfahren zur Charakterisierung von Prüfobjekten unter Verwendung von Spektralbildern, insbesondere Infrarotbildern, sowie eine entsprechende Vorrichtung bekannt. Bei dem dort beschriebenen Verfahren wird durch Erfassen einer Vielzahl von Spektralbildern ein Volumen von Pixelwerten gebildet. Aus dem Volumen von Pixelwerten werden Eingabedaten extrahiert, die einen beobachteten Parameter als Funktion über die Vielzahl von Spektralbildern beinhalten. Basierend auf den Eingabedaten wird ein neuronales Netz trainiert, um ein zu klassifizierendes Merkmal zu extrahieren. Schließlich wird eine Klassifikation des extrahierten Merkmals in eine von mehreren Klassen vorge- nommen. Auch die FR 3 113 530 B1 betrifft die Klassifizierung von Objekten, insbesondere im Hinblick auf mechanische oder thermische Eigenschaften, unter Verwendung künstlicher neuronaler Netze (KNNs). Hierzu wird ein Verfahren vorgeschlagen, bei dem ein erstes KNN auf der Grundlage einer Datenbank mit allgemeinen Mess- oder Modelldaten trainiert wird. Darüber hinaus wird ein zweites KNN, das durch das trainierte erste KNN parametrisiert wurde, auf der Grundlage von spezifischen Messungen trainiert, die an einem zu klassifizierenden Objekt durchgeführt wurden. Die eigentliche Klassifizierung der erfassten Messdaten wird anschließend ausschließlich unter Verwendung des zweiten KNN durchgeführt.
Die Aufgabe der vorliegenden Erfindung besteht darin, die thermischen Eigenschaften von Objekten, insbesondere von Gebäuden und Gebäudeelementen, zu optimieren. Insbesondere besteht eine Aufgabe der vorliegenden Erfindung darin, ein verbessertes System und ein entsprechendes Verfahren hierzu anzugeben.
Die Lösung der Aufgabe erfolgt durch ein System zum Identifizieren von thermischen Defekten an Objekten gemäß Anspruch 1.
Insbesondere erfolgt die Lösung der Aufgabe durch ein System zum Identifizieren von thermischen Defekten an Objekten, welches das Folgende aufweist:
- ein mobiles Endgerät, das dazu ausgebildet ist, ein Infrarotbild und ein Farbbild eines Objekts zu erzeugen;
- einen Auswertungsserver, der die folgenden Einheiten aufweist:
- eine Objektbestimmungseinheit, die dazu ausgebildet ist, Objektinformationen zumindest basierend auf dem Farbbild und/oder dem Infrarotbild zu erzeugen;
- eine Defektbestimmungseinheit, die dazu ausgebildet ist, Defektinformationen, insbesondere Position, Art und/oder Kennwert eines thermischen Defekts, basierend zumindest auf dem Infrarotbild und den Objektinformationen zu erzeugen;
- eine Maßnahmenbestimmungseinheit, die dazu ausgebildet ist, Maßnahmen basierend auf den Defektinformationen und/oder den Objektinformationen zu ermitteln.
Dabei sind das mobile Endgerät und der Auswertungsserver kommunikativ verbunden sind, insbesondere zur Übertragung des Infrarotbildes, des Farbbildes und/oder der Maßnahmen. Unter einem thermischen Defekt eines Objekts kann im Kontext der vorliegenden Anmeldung insbesondere eine Wärmebrücke verstanden werden, d.h. ein Bereich oder Bauteil des Objekts, der bzw. das Wärme besser leitet als ein angrenzender Bereich des Objekts. Bei dem Objekt kann es sich um jedes dingliche Objekt handeln, das einen thermischen Defekt aufweisen kann, wie beispielsweise Gebäude, Gebäudeelemente (Fenster, Türen, Fassaden), Fahrzeuge, Maschinen, und Rohrleitungen.
Ein Gedanke der vorliegenden Erfindung besteht darin, mittels eines mobilen Endgerätes den thermischen Zustand des Objekts auf der Grundlage von zwei Bildern des Objekts mit unterschiedlichem Frequenzspektrum zu erfassen, nämlich einem Farbbild und einem Infrarotbild.
Unter einem Infrarotbild (IR-Bild) kann eine Aufnahme von Infrarotstrahlung, d.h. im Spektralbereich von 780 nm bis 1 mm, verstanden werden. Unter einem Farbbild kann eine Aufnahme der Strahlung des sichtbaren Lichts, d.h. im Spektralbereich von ca. 380 nm bis 780 nm, verstanden werden. Unter einer Infrarot-Kamera (IR-Kamera) bzw. einer Farbbild-Kamera (RGB-Kamera) wird im Folgenden ein Bildsensor oder Bildsensorarray verstanden, der dazu ausgebildet ist, Infrarotstrahlung bzw. sichtbares Licht zu erfassen. Ein Bildsensor bzw. Bildsensorarray, der sowohl sichtbares Licht als auch Infrarotstrahlung erfassen kann, wird als RGB-IR-Kamera bezeichnet.
Durch die Aufnahme eines Farbbildes und eines Infrarotbildes können individuelle Vorteile beider Bildtypen kombiniert werden. So ist eine Erkennung des Objekts in der Regel zuverlässig mittels eines Farbbildes möglich. Das Infrarotbild hingegen liefert Informationen über die von dem Objekt abgestrahlte Wärme, womit thermische Defekte identifiziert werden können. Gleichzeitig sind Infrarotbilder typischerweise robuster gegenüber mangelnden oder störenden Belichtungsverhältnissen. Das Infrarotbild kann somit optional auch zur Objekterkennung verwendet werden.
Vorzugsweise korrespondieren das Farbbild und das Infrarotbild in dem Sinne zueinander, dass sie im Wesentlichen zum selben Zeitpunkt und von derselben Position aus aufgenommen worden sind. Dies ist für die vorliegende Erfindung aber nicht zwingend erforderlich, solange beide Bilder (zumindest teilweise) das gleiche Objekt zeigen.
Das erfindungsgemäße System ist dabei dazu ausgebildet, zumindest basierend auf dem Farbbild, dem Infrarotbild oder beiden Bildern Objektinformationen zu erzeugen. Die Objektinformationen können insbesondere die Art des Objekts angeben, d.h. beispielsweise angeben, dass es sich um ein Fenster eines Gebäudes handelt.
Ferner ist das erfindungsgemäße System dazu ausgebildet, basierend auf dem Infrarotbild und den erzeugten Objektinformationen, Defektinformationen zu erzeugen. Die Defektinformationen können beispielsweise die folgenden Informationen angeben:
- die Art des thermischen Defekts;
- die Position des thermischen Defekts, insbesondere als relative Position in Bezug das Objekt; und
- einen Kennwert des thermischen Defekts, insbesondere absolute Temperatur und/oder Temperaturdifferenz zu einer Umgebung des thermischen Defekts.
Schließlich ist das erfindungsgemäße System dazu ausgebildet, basierend auf den erzeugten Defektinformationen und/oder den erzeugten Objektinformationen Maßnahmen zu bestimmen. Bei den Maßnahmen kann es sich insbesondere um solche Maßnahmen handeln, die dazu geeignet sind, den thermischen Effekt an dem Objekt zu heilen, beispielsweise Materialien zur Wärmeisolierung und/oder konstruktive Maßnahmen. Die Berücksichtigung der Defektinformationen und/oder Objektinformationen bietet dabei den Vorteil, dass nur solche Maßnahmen ermittelt werden, die beispielsweise hinsichtlich Größe und Beschaffenheit des thermischen Defekts geeignet sind.
Auf diese Weise nimmt das erfindungsgemäße System eine Erfassung unterschiedlicher Informationen über das Objekt vor, die von dem Auswertungsserver miteinander verknüpft werden, um thermische Defekte an einem Objekt zu identifizieren und geeignete Gegenmaßnahmen zu ermitteln. Somit können thermische Defekte mit geringem Aufwand und hoher Präzision erfasst werden. In einer Ausführungsform weist das mobile Endgerät eine RGB-Kamera auf und ist mit einer externen Infrarot-Kamera und/oder RGB-IR-Kamera verbunden.
Auf diese Weise kann die in mobilen Endgeräten (Smartphones, Tablet-Computer, etc.) üblicherweise integrierte RGB-Kamera zum Erstellen des Farbbildes verwendet werden, während zum Erstellen des RGB-Bildes eine externe Infrarot-Kamera und/oder eine RGB-IR-Kamera eingesetzt wird.
Somit kann die Funktionalität des mobilen Endgeräts auf besonders einfache Weise um eine IR-Kamera erweitert werden, wobei die Kompakteinheit der Vorrichtung erhalten werden kann.
In einer weiteren Ausführungsform weisen die Objektbestimmungseinheit und/oder die Defektbestimmungseinheit jeweils ein künstliches neuronales Netz auf.
Insbesondere kann die Objektbestimmungseinheit ein erstes neuronales Netz aufweisen, das dazu ausgebildet ist, basierend auf einem Farbbild, auf einem Infrarotbild, oder auf einem Paar aus Farbbild und zugehörigem Infrarotbild, die Objektinformationen zu erzeugen.
Insbesondere kann die Defektbestimmungseinheit ein zweites neuronales Netz aufweisen, das dazu ausgebildet ist, basierend auf dem Infrarotbild und den erzeugten Objektinformationen die Defektinformationen zu erzeugen.
Bei dem ersten und/oder dem zweiten neuronalen Netz kann es sich insbesondere um ein faltendes neuronales Netzwerk (engl. convolutional neural network, CNN) handeln. Dies erlaubt eine hohe Güte und Zuverlässigkeit der vorgenommenen Klassifizierung.
In einer weiteren Ausführungsform kann die Defektbestimmungseinheit dazu ausgebildet sein, die Defektinformationen ferner basierend auf Metainformationen zu erzeugen. Die Metainformationen können mindestens eine der folgenden Größen in Bezug auf das Objekt angeben:
- eine Innentemperatur;
- eine Außentemperatur; - eine GPS-Position;
- ein Helligkeitswert; und
- einen Konstruktionsparameter, insbesondere ll-Wert.
Bei dem ll-Wert handelt es sich um einen Wärmedurchgangskoeffizienten (bzw. Wärmedämmwert), der ein Maß für den Wärmedurchgang eines Gebäudeelements (Hauswand, Tür, Fenster, etc.) aufgrund einer Temperaturdifferenz beschreibt.
Ferner können Metainformationen zu am Objekt verwendeten Baustoffen, z.B. deren Materialien und/oder thermischen Eigenschaften, als zusätzliche Informationen von Nutzer bereitgestellt werden. Die Defektinformationseinheit kann dann dazu ausgebildet sein, einen ll-Wert auf der Grundlage der zusätzlichen Informationen zu berechnen.
Die Metainformationen können sich insbesondere auf den Zustand des Objekts zum Zeitpunkt der Aufnahme des Infrarotbildes und/oder des Farbbildes beziehen.
Die Berücksichtigung der Metainformationen bietet einerseits den Vorteil, dass geprüft werden kann, ob zum Zeitpunkt der Aufnahme der Bilder zulässige Bedingungen vorgelegen haben. Beispielsweise liefern einige thermografische Verfahren nur aussagekräftige Ergebnisse, wenn die Außentemperatur in der Umgebung eines Gebäudes nicht wesentlich höher als 10° C beträgt, und die Innenräume des Gebäudes beheizt sind. Ferner wird bei thermografischen Verfahren in der Regel bevorzugt, die Bilder bei vergleichsweise geringer Helligkeit (z.B. weniger als 1500 Lux) aufzunehmen, um zu verhindern, dass Gebäudeelemente durch Sonneneinstrahlung aufgeheizt sind. Somit kann eine fehlerhafte Bewertung des Objekts aufgrund unzulässiger Messbedingungen verhindert werden.
Andererseits können die zusätzlichen Informationen auch in die Bewertung der thermischen Defekte, d.h. dem Erzeugen der Defektinformationen, einfließen. Beispielsweise kann eine GPS-Position des Gebäudes Aufschluss über typische Klimabedingungen (insbesondere Temperatur-, Wind-, und Witterungsverhältnisse) geben, ein U-Wert über die Transmissionswärmeverluste, etc. Somit kann die Präzision der Identifizierung bzw. Bewertung der thermischen Defekte erhöht werden.
In einer weiteren Ausführungsform ist das mobile Endgerät dazu ausgebildet, eine Temperatur mittels eines Temperatursensors zu erfassen, der mit dem mobilen Endgerät verbunden ist, insbesondere drahtlos, und die Temperatur dem Auswertungsserver bereitzustellen.
Insbesondere kann das mobile Endgerät dazu ausgebildet sein, über eine integrierte Bluetooth-Schnittstelle eine Verbindung zu einem externen, Bluetooth-fähigen Temperatursensor aufzubauen. Anstelle einer Bluetooth-Verbindung kann auch eine drahtlose Verbindung über WiFi, NFC, ZigBee oder Z-Wave erfolgen. Auf diese Weise kann die Funktionalität des mobilen Endgeräts auf einfache Weise erweitert werden, und die erfasste Temperatur kann als Metainformation dem Auswertungsserver bereitgestellt werden.
In einer weiteren Ausführungsform weist das mobile Endgerät einen GPS-Sensor auf und ist dazu ausgebildet, einen GPS-Standort dem Auswertungsserver bereitzustellen.
Auf diese Weise kann ein GPS-Standort des Objekts erfasst werden, der dem Auswertungsserver als Metainformation bereitgestellt wird, wodurch die Identifizierung des thermischen Defekts verbessert werden kann.
Ebenso kann das mobile Endgerät dazu ausgebildet sein, einzelne oder mehrere der anderen genannten Metainformationen über integrierte Sensoren (z.B. Helligkeitssensor), externe Sensoren oder durch manuelle Dateneingabe zu erfassen.
In einer weiteren Ausführungsform ist das mobile Endgerät dazu ausgebildet, zumindest einige der Metainformationen von einer Smarthome-Steuerung abzurufen, die mit dem Objekt, insbesondere einem Gebäude, assoziiert ist, und dem Auswertungsserver bereitzustellen.
Smarthome-Steuerungen von Gebäuden sind mit einer Vielzahl von Sensoren vernetzt (beispielsweise Temperatorsensoren, Luftfeuchtigkeitssensoren, etc.), die ebenfalls zumindest einige der oben genannten Metainformationen bereitstellen können. Auch gemäß dieser Ausführungsform kann die Klassifizierung der thermischen Defekte durch das Berücksichtigen der zusätzlichen Informationen verbessert werden.
In einer weiteren Ausführungsform ist die Objektbestimmungseinheit und/oder die Defektbestimmungseinheit dazu ausgebildet ist, die Objektinformationen und/oder die Defektinformationen basierend auf mehreren Infrarotbildern und/oder mehreren Farbbildern zu erzeugen.
Die mehreren Infrarotbilder bzw. die mehreren Farbbilder können insbesondere jeweils eine Außenansicht des Objekts und eine Innenansicht des Objekts umfassen. Vorzugsweise zeigen dabei die Außenansicht und die Innenansicht zumindest teilweise einen selben Bereich des Objekts, beispielsweise ein Fenster eines Gebäudes von innen und von außen. Durch die Kombination mehrerer Bilder können thermische Defekte, beispielsweise Wärmebrücken, präziser identifiziert werden.
Auch kann das erfindungsgemäße System dazu ausgebildet sein, basierend auf mehreren zueinander ähnlichen Bildern, beispielsweise mehreren Außenansichten als Färb- oder Infrarotbildern, durch Mitteln bzw. Kombinieren ein neues Farbbild zu erstellen, auf dessen Grundlage die Objektbestimmung und/oder die Defektbestimmung ausgeführt wird.
Die Aufgabe wird ferner gelöst durch ein Verfahren zum Identifizieren von thermischen Defekten an Objekten. Das Verfahren kann insbesondere durch ein System wie vorstehend beschrieben ausgeführt werden.
Insbesondere kann das Verfahren die folgenden Schritte umfassen: a) Erfassen eines Infrarotbildes und eines Farbbildes von einem Objekt; b) Bestimmen von Objektinformationen zumindest basierend auf dem Farbbild und/oder dem Infrarotbild; c) Bestimmen von Defektinformationen, insbesondere Art, Position, Größe und/oder Kennwert eines thermischen Defekts, basierend zumindest auf dem Infrarotbild und den Objektinformationen; d) Bestimmen von Maßnahmen basierend auf den Defektinformationen und/oder den Objektinformationen.
Insbesondere können Schritt a) durch eine entsprechende Softwarekomponente, insbesondere eine Applikation (App) auf einem mobilen Endgerät ausgeführt werden und die Schritte b) bis c) auf einem Auswertungsserver ausgeführt werden.
In einer Ausführungsform des Verfahrens umfasst Schritt a) das Erfassen von mehreren Infrarotbildern und/oder mehreren Farbbildern, insbesondere als Außenansicht des Objekts und Innenansicht des Objekts. Dabei erfolgt Schritt b) und/oder Schritt c) basierend auf den mehreren Infrarotbildern und/oder den mehreren Farbbildern.
In einer weiteren Ausführungsform des Verfahrens werden die Defektinformationen ferner basierend auf Metainformationen erzeugt, die mindestens eine der folgenden Größen in Bezug auf das Objekt angeben:
- eine Innentemperatur;
- eine Außentemperatur;
- eine GPS-Position;
- ein Helligkeitswert; und
- einem Konstruktionsparameter, insbesondere ll-Wert.
Hinsichtlich des Verfahrens zum Identifizieren von thermischen Defekten an Objekten sowie dessen Ausführungsformen ergeben sich ähnliche technische Vorteile und Wirkungen, wie sie in Verbindung mit dem erfindungsgemäßen System beschrieben worden sind.
Ferner wird die Aufgabe durch ein computerlesbares Speichermedium gelöst. Das computerlesbare Speichermedium enthält Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren wie vorstehend beschrieben zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
Hinsichtlich des computerlesbaren Speichermediums ergeben sich ähnliche technische Vorteile und Wirkungen, wie sie in Verbindung mit dem erfindungsgemäßen System beschrieben worden sind. An dieser Stelle sei darauf hingewiesen, dass die Merkmale und die damit jeweils erzielbaren Vorteile, die in Bezug auf das erfindungsgemäße System beschrieben worden sind, auf die erfindungsgemäßen Verfahren anwendbar bzw. übertragbar sind und umgekehrt. Konkret können die Komponenten des Systems im Kontext der vorliegenden Beschreibung der Erfindung dazu ausgebildet sein, die erfindungsgemäßen Verfahrensschritte durchzuführen. Ebenso sind die Funktionen der oben beschriebenen Komponenten des erfindungsgemäßen Systems als Verfahrensschritte der erfindungsgemäßen Verfahren anwendbar.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen beschrieben, die anhand der Figuren näher erläutert werden. Hierbei zeigen:
Figur 1 ein IR-Bild eines Gebäudes mit thermischen Defekten;
Figur 2 den Aufbau des erfindungsgemäßen Systems gemäß einem ersten Ausführungsbeispiel;
Figur 3 die Komponenten des mobilen Endgeräts gemäß dem ersten
Ausführungsbeispiel; und
Figur 4 die Datenverarbeitung des Auswertungsservers gemäß dem ersten Ausführungsbeispiel.
In der nachfolgenden Figurenbeschreibung werden für gleiche bzw. gleich wirkende Teile gleiche Bezugszeichen verwendet.
In Figur 1 ist ein Infrarotbild IR eines Gebäudes abgebildet. Auf dem Infrarotbild IR ist die Intensität der erfassten Infrarotstrahlung farblich wiedergegeben, wobei die abgebildete Skala von dunkelblau (ca. -3° C) bis rosa (8° C) reicht.
Das Infrarotbild IR zeigt, dass die rechte Hälfte des Gebäudes eine im Vergleich zur linken Hälfte des Gebäudes vergleichsweise geringe Temperatur aufweist, d.h. kaum Wärme nach außen abgibt. Dies kann beispielsweise auf eine nachträglich verbaute Wärmedämmung in der Außenfassade der rechten Gebäudehälfte zurückzuführen sein. Die Bereiche D1 und D2 des Infrarotbildes IR zeigen, dass die jeweiligen Fenster im Erdgeschoss eine deutlich höhere Temperatur als ihre unmittelbare Umgebung aufweisen. Somit tritt in diesen Bereichen D1 , D2 ein hoher Wärmeverlust (d.h. ein thermischer Defekt) auf.
Figur 2 zeigt schematisch den Aufbau des erfindungsgemäßen Systems gemäß einem ersten Ausführungsbeispiel.
Das System umfasst das mobile Endgerät 100, in diesem Ausführungsbeispiel ein Smartphone, sowie den Auswertungsserver 200. Das mobile Endgerät 100 und der Auswertungsserver 200 sind über die Kommunikationsschnittstelle 250 des Auswertungsservers 200 sowie eine integrierte Mobilfunk-Kommunikationsschnittstelle des mobilen Endgeräts 100 kommunikativ verbunden. Insbesondere ist das mobile Endgerät 100 dazu ausgebildet, ein Infrarotbild I R, ein Farbbild RGB und Metainformationen Ml an den Auswertungsserver 200 zu senden. Ferner ist das mobile Endgerät 100 dazu ausgebildet, die vom Auswertungsserver 200 ermittelten Maßnahmen M zu empfangen.
Der Auswertungsserver 200 weist neben der Kommunikationsschnittstelle 250 eine Objektbestimmungseinheit 210, eine Defektbestimmungseinheit 220 und eine Maßnahmenbestimmungseinheit 230 auf, welche jeweils die Daten empfangen und verarbeiten können, die von der Kommunikationsschnittstelle 250 empfangen worden sind. Zumindest die von der Maßnahmenbestimmungseinheit 230 bestimmten Maßnahmen können wiederum der Kommunikationsschnittstelle 250 bereitgestellt werden, die dazu ausgebildet ist, diese an das mobile Endgerät 100 zu übertragen.
Die Komponenten des mobilen Endgeräts 100 sowie des Auswertungsservers 200 bzw. deren Funktionalität werden nachfolgend anhand der Figuren 3 und 4 näher beschrieben.
Figur 3 zeigt die Komponenten des mobilen Endgeräts 100 gemäß dem Ausführungsbeispiel der Figur 2.
Das Smartphone bzw. mobile Endgerät 100 weist eine Mobilfunk-Kommunikationsschnittstelle 120 auf, sodass eine bidirektionale Datenübertragung zwischen dem mobilen Endgerät 100 und dem Auswertungsserver durchgeführt werden kann. Ferner weist das mobile Endgerät 100 eine an der Geräterückseite angeordnete Farbbild-Kamera 111 auf, die dazu ausgebildet ist, Farbbilder von Objekten zu erzeugen.
Darüber hinaus ist das mobile Endgerät 100 über einen (nicht dargestellten) USB- C-Anschluss mit der externen IR-Kamera 110 verbunden, wobei die IR-Ka- mera 110 unterhalb des mobilen Endgeräts 100 angebracht ist. Die IR-Ka- mera 110 kann beispielsweise eine oder mehrere der folgenden Eigenschaften besitzen:
Bildauflösung: 640 x 480 Pixel;
IR-Spektrum: 8 - 14 pm (entspricht Temperaturbereich -15 bis +600 °C);
- Abmessungen: 34x26x15 mm;
Gewicht: 19g.
Weiterhin weist das mobile Endgerät 100 eine Bluetooth-Schnittstelle 130 zur drahtlosen Kommunikation mit Geräten in der Umgebung auf.
Über die Bluetooth-Schnittstelle 130 ist das mobile Endgerät 100 mit einem externen Temperatursensor 150 verbunden, sodass das mobile Endgerät 100 einen Temperaturwert von dem externen Temperatursensor 150 empfangen und als Metainformation dem Auswertungsserver bereitstellen kann.
Das mobile Endgerät 100 weist eine Softwarekomponente (Smartphone-App) mit grafischer Benutzeroberfläche auf, welche dazu eingerichtet ist, Farbbilder und Infrarotbilder zu erzeugen, ggf. weitere Metadaten abzufragen, und an den Auswertungsserver zu senden. Die vom Auswertungsserver erzeugten und übertragenen Maßnahmen können ebenfalls in der Softwarekomponente angezeigt werden.
Figur 4 zeigt die durch die verschiedenen Komponenten des Auswertungsservers 200 erzeugten bzw. verarbeiteten Daten.
Die Objektbestimmungseinheit 210 ist dazu ausgebildet, auf der Grundlage des I R-Bilds IR und des Farbbilds RGB eines Objekts zugehörige Objektinformationen Ol zu erzeugen. Beispielsweise können die Objektinformationen Ol die folgenden Informationen umfassen: Objekttyp: Gebäudefenster;
Größe: 1 ,23 m x 1 ,48 m.
Die oben beschriebene Klassifizierung des Objekts zum Erzeugen der Objektinformationen Ol wird dabei durch das künstliche neuronale Netz 211 der Objektbestimmungseinheit 210 durchgeführt.
Die Defektbestimmungseinheit 220 ist dazu ausgebildet, auf der Grundlage des IR-Bilds IR, der vorstehend beschriebenen Objektinformationen Ol sowie Metainformationen Ml zugehörige Defektinformationen Ol zu erzeugen. Beispielsweise können die Defektinformationen DI die folgenden Informationen umfassen:
Defekttyp: konstruktionsbedingte Wärmebrücke;
Temperaturdifferenz: 5° C.
Die oben beschriebene Identifizierung und Klassifizierung des thermischen Defekts zum Erzeugen der Defektinformationen DI wird dabei durch das künstliche neuronale Netz 221 der Objektbestimmungseinheit 220 durchgeführt.
Die Maßnahmenbestimmungseinheit 230 ist dazu ausgebildet, auf der Grundlage der vorstehend beschrieben Objektinformationen Ol sowie der Defektinformationen DI Maßnahmen M zu ermitteln und entsprechende Informationen bereitstellen.
Hierzu weist die Maßnahmenbestimmungseinheit 230 eine Recheneinheit 231 sowie eine Maßnahmen-Datenbank 232 auf. Dabei erfolgt das Ermitteln der Maßnahmen M durch eine Abfrage an die Maßnahmen-Datenbank 232 anhand der Objektinformationen Ol und der Defektinformationen DI. Optional können zusätzlich auch die Metainformationen Ml verwendet werden, um die Maßnahmen M zu ermitteln.
Auf diese Weise können Maßnahmen M (z.B. Materialien zur Wärmedämmung) ermittelt werden, die für den konkreten thermischen Defekt (gemäß Defektinformationen DI) und das konkrete Objekt (gemäß Objektinformationen Ol) geeignet sind. An dieser Stelle sei darauf hingewiesen, dass alle oben beschriebenen Teile jeweils für sich - auch ohne im jeweiligen Zusammenhang zusätzlich beschriebene Merkmale, selbst wenn diese nicht explizit als optionale Merkmale im jeweiligen Zusammenhang individuell kenntlich gemacht worden sind, z. B. durch Verwendung von: insbesondere, vorzugsweise, beispielsweise, z. B., ggf. , runden Klammern, etc. - und in Kombination oder jeglicher Unterkombination als eigenständige Ausgestaltungen bzw. Weiterbildungen der Erfindung, wie sie insbesondere in der Beschreibungseinleitung sowie den Ansprüchen definiert ist, anzusehen sind. Abweichungen hiervon sind möglich. Konkret sei darauf hingewiesen, dass das Wort insbesondere oder runde Klammern keine im jeweiligen Kontext zwingende Merkmale kennzeichnen.
Es versteht sich von selbst, dass das erfindungsgemäße System bzw. Verfahren keinesfalls darauf beschränkt ist, einen einzigen thermischen Defekt auf der Grundlage von einem Infrarotbild zu identifizieren, sondern allgemein dazu ausgebildet ist, einen oder mehrere thermische Defekte an dem untersuchten Objekt zu identifizieren.
Darüber hinaus ist denkbar, zumindest einige der erfindungsgemäß erfassten und erzeugten Informationen, insbesondere die Objektinformationen und die Defektinformationen, im Kontext einer Erstellung von Energiezertifikaten oder -berichten zu verwenden.
Bezugszeichenliste
100 mobiles Endgerät
110 Infrarot-Kamera
111 Farbbild-Kamera
120 Mobilfunk-Schnittstelle
130 Bluetooth-Schnittstelle
150 Temperatursensor
200 Auswertungsserver
210 Objektbestimmungseinheit
211 künstliches neuronales Netz (der Objektbestimmungseinheit)
220 Defektbestimmungseinheit
221 künstliches neuronales Netz (der Defektbestimmungseinheit)
231 Recheneinheit
232 Maßnahmen-Datenbank
D1 , D2 thermische Defekte
DI Defektinformationen
Ol Objektinformationen
M Maßnahmen
Ml Metainformationen
IR Infrarotbild
RGB Farbbild

Claims

Patentansprüche
1. System zum Identifizieren von thermischen Defekten an Objekten, welches das Folgende aufweist:
- ein mobiles Endgerät (100), das dazu ausgebildet ist, ein Infrarotbild (IR) und ein Farbbild (RGB) eines Objekts (O) zu erzeugen;
- einen Auswertungsserver (200), der die folgenden Einheiten aufweist:
- eine Objektbestimmungseinheit (210), die dazu ausgebildet ist, Objektinformationen (Ol) zumindest basierend auf dem Farbbild (RGB) und/oder dem Infrarotbild (IR) zu erzeugen;
- eine Defektbestimmungseinheit (220), die dazu ausgebildet ist, Defektinformationen (DI), insbesondere Art, Position, Größe und/oder Kennwert eines thermischen Defekts, basierend zumindest auf dem Infrarotbild (IR) und den Objektinformationen (Ol) zu erzeugen;
- eine Maßnahmenbestimmungseinheit (230), die dazu ausgebildet ist, Maßnahmen (M) basierend auf den Defektinformationen (DI) und/oder den Objektinformationen (Ol) zu ermitteln, wobei das mobile Endgerät (100) und der Auswertungsserver (200) kommunikativ verbunden sind, insbesondere zur Übertragung des Infrarotbildes (IR), des Farbbildes (RGB) und/oder der Maßnahmen (M).
2. System nach Anspruch 1 , wobei die Objektbestimmungseinheit (210) ein erstes neuronales Netz (211) aufweist, das dazu ausgebildet ist, die Objektinformationen (Ol) basierend auf dem Farbbild (RGB) und/oder dem Infrarotbild (IR) zu erzeugen.
3. System nach Anspruch 1 oder Anspruch 2, insbesondere nach Anspruch 2, wobei die Defektbestimmungseinheit (220) ein zweites neuronales Netz (221) aufweist, das dazu ausgebildet ist, die Defektinformationen (DI) basierend auf dem Infrarotbild (IR) und den Objektinformationen (Ol) zu erzeugen.
4. System nach einem der vorhergehenden Ansprüche, wobei die Objektinformationen (01) eine Art des Objekts (O) angeben, insbesondere Gebäude, Gebäudeelement, Fahrzeug, Maschine, Rohrleitung.
5. System nach einem der vorhergehenden Ansprüche, wobei die Defektinformationen (DI) mindestens eines von Art, Position, Größe und/oder Kennwert des thermischen Defekts angeben.
6. System nach einem der vorherigen Ansprüche, wobei das mobile Endgerät (100) eine RGB-Kamera aufweist und mit einer externen Infrarot-Kamera (110) und/oder RGB-IR-Kamera verbunden ist.
7. System nach einem der vorherigen Ansprüche, wobei die Objektbestimmungseinheit (210) und/oder die Defektbestimmungseinheit (220) jeweils ein faltendes neuronales Netzwerk aufweist.
8. System nach einem der vorherigen Ansprüche, wobei die Defektbestimmungseinheit (220) dazu ausgebildet ist, die Defektinformationen (DI) ferner basierend auf Metainformationen (Ml) zu erzeugen, wobei die Metainformationen (Ml) mindestens eine der folgenden Größen in Bezug auf das Objekt (O) angeben:
- eine Innentemperatur;
- eine Außentemperatur;
- eine GPS-Position;
- ein Helligkeitswert; und
- einen Konstruktionsparameter, insbesondere ll-Wert.
9. System nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 8, wobei das mobile Endgerät (100) dazu ausgebildet ist, eine Temperatur mittels eines Temperatursensors zu erfassen, der mit dem mobilen Endgerät (100) verbunden ist, insbesondere drahtlos, und die Temperatur dem Auswertungsserver (200) bereitzustellen.
10. System nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 8 oder 9, wobei das mobile Endgerät (100) einen GPS-Sensor (130) aufweist und dazu ausgebildet ist, einen GPS-Standort dem Auswertungsserver (200) bereitzustellen.
11 . System nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 8, wobei das mobile Endgerät (100) dazu ausgebildet ist, zumindest einige der Metainformationen (Ml) von einer Smarthome-Steuerung, die mit dem Objekt (O) assoziiert ist, abzurufen und dem Auswertungsserver (200) bereitzustellen.
12. System nach einem der vorherigen Ansprüche, wobei die Objektbestimmungseinheit (210) und/oder die Defektbestimmungseinheit (220) dazu ausgebildet ist, die Objektinformationen (Ol) und/oder die Defektinformationen (DI) basierend auf mehreren Infrarotbildern (IR) und/oder mehreren Farbbilder (RGB) zu erzeugen.
13. System nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 12, wobei die mehreren Infrarotbilder (IR) und/oder die mehreren Farbbilder (RGB) eine Außenansicht des Objekts (O) und eine Innenansicht des Objekts (O) umfassen, die vorzugsweise zumindest teilweise einen selben Bereich des Objekts (O) zeigen.
14. System nach einem der vorherigen Ansprüche, insbesondere nach einem der Ansprüche 12 oder 13, wobei das System dazu ausgebildet ist, basierend auf mehreren zueinander ähnlichen Bildern, beispielsweise mehreren Außenansichten als Farbbildern (RGB) oder Infrarotbildern (IR), durch Mitteln bzw. Kombinieren ein neues Farbbild (RGB) zu erstellen, auf dessen Grundlage die Objektbestimmung und/oder die Defektbestimmung ausgeführt wird.
15. Verfahren zum Identifizieren von thermischen Defekten an Objekten, insbesondere in einem System gemäß der vorhergehenden Ansprüche, wobei das Verfahren die folgenden Schritte umfasst: a) Erfassen eines Infrarotbildes (IR) und eines Farbbildes (RGB) von einem Objekt (O); b) Bestimmen von Objektinformationen (Ol) zumindest basierend auf dem Farbbild (RGB) und/oder dem Infrarotbild (IR); c) Bestimmen von Defektinformationen (DI), insbesondere Art, Position, Größe und/oder Kennwert eines thermischen Defekts, basierend zumindest auf dem Infrarotbild (RGB) und den Objektinformationen (Ol); d) Bestimmen von Maßnahmen (M) basierend auf den Defektinformationen (DI) und/oder den Objektinformationen (Ol).
16. Verfahren nach Anspruch 15, wobei das Bestimmen der Objektinformationen (Ol) unter Verwendung eines ersten neuronalen Netzes (211) erfolgt.
17. Verfahren nach Anspruch 15 oder Anspruch 16, insbesondere nach Anspruch 16, wobei das Bestimmen der Defektinformationen (DI) unter Verwendung eines zweiten neuronalen Netzes (212) erfolgt.
18. Verfahren nach einem der Ansprüche 15-17, wobei die Objektinformationen (Ol) eine Art des Objekts angeben, insbesondere Gebäude, Gebäudeelement, Fahrzeug, Maschine, Rohrleitung.
19. Verfahren nach einem der Ansprüche 15-18, wobei die Defektinformationen (DI) mindestens eines von Art, Position, Größe und/oder Kennwert des thermischen Defekts angeben.
20. Verfahren nach einem der Ansprüche 15-19, wobei Schritt a) das Erfassen von mehreren Infrarotbildern (IR) und/oder mehreren RGB-Bildern (RGB) umfasst, insbesondere als Außenansicht des Objekts (O) und Innenansicht des Objekts (O); und wobei Schritt b) und/oder Schritt c) basierend auf den mehreren Infrarotbildern (IR) und/oder den mehreren Farbbildern (RGB) erfolgt.
21. Verfahren nach einem der Ansprüche 15-20, wobei die Defektinformationen (DI) ferner basierend auf Metainformationen (Ml) erzeugt werden, die mindestens eine der folgenden Größen in Bezug auf das Objekt (O) angeben:
- eine Innentemperatur;
- eine Außentemperatur;
- eine GPS-Position;
- einen Helligkeitswert; und
- einem Konstruktionsparameter, insbesondere ll-Wert.
22. Computerlesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der Ansprüche 15-21 zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
PCT/EP2024/081506 2023-12-07 2024-11-07 System zum identifizieren von thermischen defekten an objekten, verfahren zum identifizieren von thermischen defekten an objekten und computerlesbares speichermedium Pending WO2025119577A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023134337.8 2023-12-07
DE102023134337.8A DE102023134337B3 (de) 2023-12-07 2023-12-07 System zum Identifizieren von thermischen Defekten an Objekten, Verfahren zum Identifizieren von thermischen Defekten an Objekten und computerlesbares Speichermedium

Publications (1)

Publication Number Publication Date
WO2025119577A1 true WO2025119577A1 (de) 2025-06-12

Family

ID=93455704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/081506 Pending WO2025119577A1 (de) 2023-12-07 2024-11-07 System zum identifizieren von thermischen defekten an objekten, verfahren zum identifizieren von thermischen defekten an objekten und computerlesbares speichermedium

Country Status (2)

Country Link
DE (1) DE102023134337B3 (de)
WO (1) WO2025119577A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL304338B2 (en) * 2023-07-09 2025-11-01 Barel Y V Engineering Tech Ltd System and method for automated inspection and maintenance of building facades

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6988026B2 (en) * 1995-06-07 2006-01-17 Automotive Technologies International Inc. Wireless and powerless sensor and interrogator
FR3074596B1 (fr) 2017-12-01 2019-12-06 Universite De Reims Champagne Ardenne Procede de caracterisation d'echantillons utilisant des reseaux de neurones
CN115346107A (zh) * 2021-05-14 2022-11-15 开利公司 用于运输制冷中的容器状况确定的系统和方法
FR3113530B1 (fr) 2020-08-19 2023-01-06 Commissariat Energie Atomique Procédé de caractérisation d’une pièce par contrôle non destructif

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6988026B2 (en) * 1995-06-07 2006-01-17 Automotive Technologies International Inc. Wireless and powerless sensor and interrogator
FR3074596B1 (fr) 2017-12-01 2019-12-06 Universite De Reims Champagne Ardenne Procede de caracterisation d'echantillons utilisant des reseaux de neurones
FR3113530B1 (fr) 2020-08-19 2023-01-06 Commissariat Energie Atomique Procédé de caractérisation d’une pièce par contrôle non destructif
CN115346107A (zh) * 2021-05-14 2022-11-15 开利公司 用于运输制冷中的容器状况确定的系统和方法

Also Published As

Publication number Publication date
DE102023134337B3 (de) 2025-03-27

Similar Documents

Publication Publication Date Title
EP3058556B1 (de) Verfahren und vorrichtung zur automatisierten waldbrandfrüherkennung mittels optischer detektion von rauchwolken
DE102008063973B4 (de) Verfahren und ein System zum Überwachen der Temperatur der Oberfläche eines Flugzeugs
EP4046595B1 (de) Verfahren zur festlegung einer zahnfarbe
EP4072808B1 (de) Computergestütztes verfahren und einrichtung zur prüfung einer sichtbetonqualität
EP2677460B1 (de) Verfahren zur Bestimmung der Länge einer Warteschlange
WO2025119577A1 (de) System zum identifizieren von thermischen defekten an objekten, verfahren zum identifizieren von thermischen defekten an objekten und computerlesbares speichermedium
DE102014226020A1 (de) Verfahren und Vorrichtung zur Kalibrierung mindestens einer mobilen Sensoreinrichtung
EP3862833A1 (de) Verfahren zum verifizieren eines qualitätssicherungssystems
EP3742136A1 (de) Verfahren und vorrichtung zum erzeugen eines dreidimensionalen thermogramms
WO2015071258A1 (de) Anwesenheitsdetektion eines objektes in einer aufzugskabine
EP3055847B1 (de) Raucherkennungsvorrichtung, verfahren zur detektion von mindestens einem rauchdetektionsmerkmal sowie computerprogramm
DE112021007848T5 (de) Infrarotbilderfassungsvorrichtung und Verfahren zum Erzeugen von Daten eines festen Rauschmusters
EP4163742B1 (de) Verfahren zur prüfung einer zutrittseinrichtung mithilfe eines mobilen endgeräts und entsprechendes system
DE102013107597A1 (de) Vermessungsverfahren für gebäudeöffnungen und gebäudeabschlussherstellverfahren sowie vorrichtungen zur durchführung derselben
DE102021211068A1 (de) Vorrichtung, Verfahren und System zum Analysieren von mindestens einem Textil, und Spektrometer
DE112020007355T5 (de) Infrarotbild-verarbeitungseinrichtung und infrarotbild-verarbeitungsverfahren
EP1377813A1 (de) Verfahren und vorrichtung zur qualitätsprüfung bzw. zur optischen charakterisierung von milch
EP4202850A1 (de) Verfahren zur erfassung eines schadens an einem fahrzeug
EP2695146B1 (de) Verfahren zur prüfung von wertdokumenten
EP3483513B1 (de) Verfahren zum betreiben einer heizungsanlage und heizungsanlage
DE112020006725T5 (de) Bildverarbeitungseinrichtung, bildsensor und verfahren zur steuerung der bildverarbeitungseinrichtung
DE102018207002A1 (de) Verfahren und Vorrichtung zur Bestimmung der Dichtheit von Gebäuden
EP4080159B1 (de) Verfahren zum bestimmen von längen eines profilzylinders
DE102011106814A1 (de) Verfahren zur Bildanalyse und/oder Bildbearbeitung eines IR-Bildes und Wärmebildkamera-Set
EP2645331A1 (de) Verfahren zur Verifizierung der Ausrichtung eines Verkehrsüberwachungsgerätes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24804527

Country of ref document: EP

Kind code of ref document: A1