WO2019020791A1 - Computerimplementiertes verfahren und vorrichtung zum automatischen generieren von gekennzeichneten bilddaten und analysevorrichtung zum überprüfen eines bauteils - Google Patents

Computerimplementiertes verfahren und vorrichtung zum automatischen generieren von gekennzeichneten bilddaten und analysevorrichtung zum überprüfen eines bauteils Download PDF

Info

Publication number
WO2019020791A1
WO2019020791A1 PCT/EP2018/070416 EP2018070416W WO2019020791A1 WO 2019020791 A1 WO2019020791 A1 WO 2019020791A1 EP 2018070416 W EP2018070416 W EP 2018070416W WO 2019020791 A1 WO2019020791 A1 WO 2019020791A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
image data
visual representation
database
data
Prior art date
Application number
PCT/EP2018/070416
Other languages
English (en)
French (fr)
Inventor
Felix Buggenthin
Ulli Waltinger
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to US16/633,652 priority Critical patent/US11501030B2/en
Priority to EP18753089.4A priority patent/EP3635680A1/de
Publication of WO2019020791A1 publication Critical patent/WO2019020791A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M15/00—Testing of engines
    • G01M15/14—Testing gas-turbine engines or jet-propulsion engines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32186—Teaching inspection data, pictures and criteria and apply them for inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • a computer implemented method and apparatus for automatic ⁇ tables generate marked image data and analysis of a component for checking sevorraum
  • the present invention relates to a computer-implemented method and to a device for automatically generating tagged image data of components, and to an analysis device for checking a component.
  • the data processing in this case requires just at applicatio ⁇ gen artificial intelligence a comprehensive database.
  • large amounts of manually acquired image data have hitherto been required for this purpose.
  • these real image data In order to train an artificial intelligence system with these image data, however, these real image data must be marked accordingly.
  • relevant areas must be identified in the image data and each area must then be assigned one or more properties.
  • a component such as a mechanical shaft or a turbine blade
  • several photographs are created.
  • a component can be photographed, for example, of several un ⁇ ter Kunststoff perspectives.
  • a component or possibly also several identical or similar components in different operating states, aging stages or with various types of damage can be recorded photographically. Then each of these photographs must be manually evaluated to identify the component in the corresponding image and, if necessary the component and characteristics like aging state possible damage, etc. zuzuwei ⁇ sen.
  • Basis for data processing in complex technical systems can be used.
  • the present invention discloses a computer-implemented method for generating tagged image data with the features of patent claim 1, an apparatus for automatically generating tagged image data with the features of patent claim 9 and an analysis device for inspecting a component with the features of patent claim 10 ,
  • a computer-implemented method for generating tagged image data of components includes the steps of providing design data for a component and providing specifications for possible surface properties of the component. Furthermore, the method comprises a step for calculating a visual representation of the component. The visual representation is calculated using the provided design data and the provided specifications for the surface properties of the component. Finally, the method includes a step of automatically assigning predetermined labels to the computed visual representation of the component.
  • a device for automatically generating tagged image data of components.
  • the device comprises a first database, a second database and a Schmda ⁇ tengenerator.
  • the first database is designed to To provide design data for a component.
  • the second database is designed to provide specifications for possible surface properties of the component.
  • the image data generator is designed to calculate a visual representation of the component. Specifically, the visual representation is calculated using the design data provided by the first database and the surface potential specifications provided by the second database. Furthermore, the image data generator is designed to automatically assign predetermined markings to the calculated visual representation of the component.
  • An analysis device for checking a component with a device according to the invention for generating marked image data a reference image data memory and an evaluation device.
  • the reference image data memory is configured to store the tagged image data generated by the apparatus for automatically generating tagged image data.
  • the evaluation device is designed to receive a camera image of a component to be checked and to compare the received camera image with the marked visual representations stored in the reference image data memory.
  • the present invention is based on the finding that the diagnosis of complex industrial plants of a database with a large number of identified image data is of great importance. Further, the present invention is based on the recognition that the Clearel- len such a data base for complex industrial An lay ⁇ and particularly identifying individual elements in the image data represents a major challenge to the con- can not be realized in a conventional manner, and in particular even with the use of human labor.
  • the present invention is therefore based on the idea to provide a solution with which it is completely automatically possible to generate labeled image data for components of industrial plants and to prepare them for further use in a digital environment.
  • the present invention initially provides, not to obtain the image data of components in industrial plants in a conventional manner by photographing real components, but to calculate this image data digitally. Since components of modern systems are usually already constructed in a digital environment anyway, digital design data is also available for such components. Based on this digital design data, a three-dimensional model of the component can be easily calculated. Ins ⁇ particular it is possible to calculate a model of the component based on the existing design data. For example, convention ionel ⁇ le CAD data or any other design data can this be used as design data.
  • the design data also provide information about the materials used in the component for which a visual representation is to be calculated.
  • an arbitrary modification Impress ⁇ tr foundedung, aging, damage, etc. may already be simulated and included in the calculation of visual representation in the calculation of the visual representation of the component.
  • different different states of the component can also be simulated. For example, can be defi ned ⁇ which characterize the visual representation of the component in a predetermined state respectively different properties of a surface for various Alterungsstu- fen.
  • a corrosion example ⁇ rusting or the like an increasing roughening or abrading a portion of the component, the Bil ⁇ extension of cracks, especially of micro-cracks or the like, stretching, compressing or bending as a portion of the Component, a change due to heat or any other change in the surface properties of the component simulated and included in the generated visual representation.
  • This allows for loading Sonder efficient, multi-layered and detailed Ge ⁇ ner ist visual representations of the part.
  • each ⁇ the underlying conditions, particularly the respective specifications of the surface properties are known for each calculated visual display part, these known properties may also be assigned directly to the respective calculated visual representation.
  • image area in the visual representation corresponds to which part of the component and which surface properties of the respective calculation are based.
  • a corresponding identification with the underlying parameters can be very precisely assigned to each individual part of a component in the visual representation.
  • image data of components can be produced while identifiers are assigned in these image data and individual areas meeting the underlying specifications for generating the image data very quickly, herebygüns ⁇ tig and efficiently in this way.
  • image data of components which correspond to a component with a particularly high and optionally critical stress it is also possible to calculate image data which correspond to a component after a stress in a dangerous operating state, without the building part in such a dangerous operating condition to Operator Op ⁇ ben. Furthermore, image data can be obtained from perspectives in this way, which are not possible under real conditions or only with great effort.
  • second database storage unit can be, for example, in a knowledge base (ger .: Knowledge Base), which can be ge ⁇ uses for other applications, such as an automatic diagnosis of a component.
  • a knowledge base (ger .: Knowledge Base)
  • ge ⁇ uses for other applications, such as an automatic diagnosis of a component.
  • the provided surface properties specifications include characteristic textures, particularly for predetermined areas of a surface of the component.
  • characteristic textures may correspond to various stages of corrosion, such as rusting or other oxidation.
  • different textures may also include different gradations of scratching a particular area of the component, different stages of abrading or grinding on a component, different stages of formation of cracks, in particular, for example, microcracks or the like, various stages of thermal action of heat or cold on the component, a deformation of a sectionberei ⁇ Ches on the component, in particular bending, stretching, upsetting or the like, a wave formation at a portion of the surface and any other physical or chemical action an area of the component.
  • the characteristic textures particular properties such as wear, aging, a predetermined load, a pollution or a potential failure probability of the component speci fied ⁇ can. This information can be taken into account in the automatic assignment of the given identifier to serve as a reference for the diagnosis of image data of real components.
  • the visual representation of the component is calculated from a given perspective and / or along a predetermined observation path.
  • a movement path for example, a flight of a virtual drone along a flight path for the observation of a component can be specified. This enables a particularly flexible, universal generation of image data from almost any angle and perspective.
  • the design data underlying the computed visual representation includes CAD data or manufacturing data for manufacturing the component.
  • The- Such design data are already available for almost all components due to the modern production technology. Therefore, the visual representations of the component can be particularly easily calculated without further, possibly complex intermediate steps.
  • the computation of the visual representations of the component can be generated, for example, on the basis of algorithms and / or graphics units such as those already used, for example, for calculating images in computer games or other optical simulations.
  • a three-dimensional model can be calculated from the design data at first, on the basis of the visual representation of the component is generated ⁇ riert.
  • the visual representation may correspond to a saudi ⁇ dimensional image.
  • the automatic assignment of the predetermined markings to the calculated visual representations of the component comprises a multi-level hierarchical characterization, in particular of at least a part of the component.
  • the automatic assignment of the predetermined identifications to the computed visual representations of the component comprises at least one diagnosis for a predetermined error, an indication of a possible damage, a prognosis for a probability of failure and / or a repair recommendation.
  • the predetermined indicia may also include any other parameters, properties, or values suitable for characterizing features of a portion of the component in the visual representation.
  • the computer-implemented method for generating the image data comprises a step of storing the visual representation of the component together with the assigned identifiers in a database, and a step of comparing an image of a camera to diagnosti ⁇ ornamental component with the stored visual display.
  • the comparison of the calculated and marked image data with real image data can not only comprise a direct pairwise comparison of image data. Rather, a more complex analysis of the image data may be performed based on the calculated tagged image data. For this purpose, methods based on artificial intelligence and neural networks or the like can be used.
  • the evaluation device of the analysis device for checking a component is designed to identify a match between at least a part of the camera image and a part of a calculated visual representation of a component.
  • the evaluation device can be designed to output markings that correspond in the visual representation of the identified part of the component in the marked image data. Such markings can be used to diagnose a component to be tested in order to establish a rapid, reliable and efficient diagnosis of the component. Based on such a diagnosis a ra ⁇ specific, timely and cost-effective maintenance and repair of the component can be executed.
  • the analysis device comprises a control device.
  • the control device can be designed to generate one or more control commands depending on the result of the comparison between the camera image and the marked image data.
  • the generated control commands can then be output.
  • These control commands may be, for example, a Shutdown command act to shut down a system with the corresponding component in a dangerous situation.
  • the control command can also include a command to transfer a system into a predetermined operating state, which, based on the analysis of the component, enables a safe continued operation, at least for a predetermined period of time.
  • the control command may also include a repair recommendation for the maintenance of the component to be diagnosed.
  • the control command can also be used to cause an automatic order of required spare parts for maintenance or repair of the component.
  • any additional control commands are possible on the basis of previous Ana ⁇ analysis.
  • the analysis device comprises an interface.
  • This interface can be designed to receive at least one camera image of the component to be checked.
  • This interface can play as acting accession to a wired interface which is coupled directly or via a data bus or the like with ei ⁇ ner or more cameras.
  • it can also be a radio interface which receives image data from one or more cameras via a wireless transmission. For example, there is also a reception from
  • the evaluation device of the analysis device is designed to carry out the comparison between the camera image and the stored marked visual representations based on artificial intelligence.
  • a so-called Convolutional Neural Network can be implemented in the analysis device.
  • CNN for example about "folding neural network", it is a
  • feedforward artificial neural network This is a concept inspired by biological processes in the field of machine learning.
  • FIG. 1 shows a schematic representation of an analysis device for checking a component with a device for the automatic generation of image data according to an embodiment
  • Fig. 2 a schematic representation of marked
  • FIG. 3 is a flowchart underlying a computer-implemented method for generating tagged image data according to one embodiment.
  • the analysis device may, for example, a Apparatus 10 for automatically generating tagged image data.
  • This apparatus 10 for automatically generating tagged image data comprises a first database 11 in which design data for one or more components is provided.
  • Design data may be, for example, CAD data or any other design data for a part. Since the construction of components in recent years increasingly digital systems are used, the design data of these components are usually already in digital form. This design data of the component can be used as a basis for the generation of ge ⁇ marked image data. For this purpose, the corresponding design data in the first database 11 can be stored and provided. Furthermore, specifications for possible surface properties of components can be provided in a second database 12. These specifications of surface properties can characterize different material properties of a component. For example, in the second database 12
  • Textures for different material states or surface states of a component can be specified. For example, textures for different gradations ei ⁇ ner corrosion specified on a material surface advertising to. For example, different degrees of gradation of the
  • Rostens an iron surface and the corresponding textures of the respective surface are specified. Further, wear by abrading a material surface and the textures corresponding thereto in the second database 12 may also be specified. Also, other characteristics such as forming grooves or grooves due to rubbing of two material surfaces on each other can be specified. Further, thermal or thermal exposure to a material may also result in a characteristic optical change which may also be specified in the second database 12. For example, contact by strong heat ⁇ exposure to a metal called tarnish on, from which shows the maximum temperature effect. Corresponding colors or textures can be specified in the second database 12 for the corresponding surfaces of a component.
  • Further characteristic features specified in the second database 12 are, for example, soiling, in particular also soiling, which may be the result of improper use of the component, the formation of cracks, in particular microcracks, during normal operation or overstressing of the component, characteristic deformations,
  • 13 positions can be specified in a third database, from the perspective of which a visual representation of a component is to be calculated.
  • individual positions can for example be specified, a visual representation be from their perspective ⁇ expects to be, or is it more complex motion ⁇ paths, such as lines, curves, polygons or similarity ⁇ royal possible along which a virtual camera be ⁇ moves.
  • ⁇ paths such as lines, curves, polygons or similarity ⁇ royal possible along which a virtual camera be ⁇ moves.
  • virtual flights of a drone or the like can be simulated, which moves along a component or around a component.
  • ⁇ sondere can be defined in this way also prospects which are not or only with great effort possible to a component when installed under real conditions.
  • the first database 11, the second database 12 and the third database 13 are described herein as a single, separate databanks ⁇ ken, it is also possible to store and provide the data of two or all three databases in a gene Exammen storage means.
  • a component is considered in each case.
  • the term "a component" is not to be understood as a single individual component. Much more can be understood as a component and complex machine arrangements of any number of individual parts.
  • the visual representation of the component to be generated can also include the representation of a complete machine or a subassembly of a machine.
  • a drive shaft including bearings or any other composite of several machine parts or components can be understood.
  • an image data generator 20 can calculate a visual representation of the component.
  • a dreidimensiona ⁇ les model of the component can be calculated, for example, from the design data first.
  • the surface of this three-dimensional model can be determined according to the specifications for the surface properties. In this way it is possible, for example, to include certain stresses, damage, wear or the like in the calculation of the visual representation of the component.
  • the component can be simulated in almost any state and a visual representation based on it can be generated. In particular, visual representations of the component are possible, which are due to over ⁇ claims, possibly in dangerous Radio- states.
  • a corresponding parameterization can also be assigned to the individual regions in the image data. For example, on a predetermined area of the component calculates an optical representation, which is on a high heattechnischzure ⁇ ren, the corresponding area in the calculated visual representation can be characterized accordingly, ie
  • this portion of the component the designation of the part, the name of the corresponding portion in the component, the use ⁇ te material in this portion of the component, and the further underlying the effect of heat are assigned in this partial area of the corresponding partial area of the image.
  • the assignment of markings to subareas of the calculated visual representation can be based on a multi-level hierarchical structure. In principle, any other types of assignment of labels to subregions in the image data are also possible. In principle, a common characteristic or marking can also be assigned to a plurality of subregions of the component in the visual representation.
  • the generated image data with the identifiers in a reference image data memory 30 can be stored.
  • the storage of the image data, in particular the assignment of the marking to subregions in the image data, can take place in any structure.
  • any databases with a 1: n structure or even an m: n structure can be used to assign labels to the image data.
  • the tagged image data stored in the reference image data memory 30 may be used, for example, to train an analysis system 40. In this
  • Analysis system 40 may be any system which, based on provided marked image data, an evaluation, in particular an evaluation from image data of real components.
  • a system may be, for example, an artificial intelligence system.
  • neural networks may also be trained based on the provided computed image data to enable analysis of real device image data.
  • the evaluation device 40 can be provided with a real image of a component.
  • This real image of the component can be recorded, for example, by means of a camera 50.
  • the camera 50 can be coupled with ⁇ means of a wired connection to the evaluation device 40th
  • cable-free communication paths between the camera 50 and the evaluation device 40 are also possible.
  • one or optionally also more cameras 50 may be installed that detects a component or a system with egg ⁇ NEM or more components visually. The image data acquired thereby can be provided to the evaluation device 40, which then makes a comparison or a comparison
  • image data can also be acquired from a component at predetermined intervals, for example during maintenance or the like, in particular when a system is at a standstill, and these data are provided to the evaluation device 40. Also in this case, the evaluation device 40 based on the marked image data stored in the reference image data memory 30.
  • Image data in the reference image data memory 30 perform a diagnosis in order to make the most accurate possible statement about the aktuel ⁇ len state of the component, which has been optically detected by the camera 50.
  • the analysis can be, for example, a comparison of the acquired image data of the real component with the image data stored in the reference image data memory 30 act.
  • any further gegebe ⁇ appropriate, more complex analyzes on basis of data stored in the Refe ⁇ ence image data memory 30 image data are possible.
  • the current state of the component to be checked can then be determined.
  • a forecast of the further development of the component and in assess ⁇ Zung over the still expected remaining life of the component is optionally also possible.
  • the component is damaged, such as cracks or the like, which detek- based on the data stored in the Re ference ⁇ image data memory 30 image data may be advantage, such a damage can be diagnosed. If necessary, then an order process for a required spare parts initi ⁇ ated can be automatic. Furthermore, further repair measures can be triggered in order to achieve a rapid repair of the component to be diagnosed. In this way, the availability of the component and the associated entire technical system can be increased.
  • FIG. 2 shows a schematic representation of automatically generated image data with corresponding identifications, as they are based on an embodiment.
  • the representation of the building ⁇ part comprises a component A, which consists of two sub-elements Aa and Ab.
  • the specification of the component can ⁇ on the design data it ⁇ follow when, for example, based here.
  • On the basis of this design data a three-dimensional model can first be calculated.
  • the subelement Ab can furthermore be subdivided, for example, into two subparts Abi and Ab2.
  • a special stress can be assumed.
  • This particular stress can, for example, lead to a change in the surface and a correspondingly modified result in the texture of the visual presentation.
  • this is represented by marking Abl-x. Since the respective framework conditions are known in the gene ⁇ ration of the visual representation of the component A by the design data and the characteristic properties of the surface properties of the component, in each case a corresponding marking can be assigned in corresponding sub-areas of the visual representation.
  • image data can then be stored, for example, in the previously described reference image data memory 30 and used as training or reference data for a subsequent analysis of similar components.
  • FIG. 3 shows a schematic representation of a sequence diagram on which a computer-implemented method for generating tagged image data of components is based.
  • Step S1 design data for a part is provided. Furthermore, speci ⁇ fications for possible surface properties of a component are provided in step S2.
  • Darue about ⁇ may optionally contain one or more items for possible perspectives for the image data to be calculated are specified addition.
  • step S3 then a calculation of awill ⁇ len representation of the component takes place. The component is calculated using the provided design data and the provided surface properties specifications. Furthermore, the calculation of the visual representation for the specified perspectives can be carried out.
  • the specified perspectives may be one or more predefined points in the space or optionally also a trajectory of a virtual camera.
  • step S4 an automatic assignment of pre-determined agreed markings of the calculated visual representation of the component.
  • the automatic assignment of Distinguishing ⁇ voltage are measured on the basis of parameters that defines taken as a basis of loading ⁇ statement of visual representation in step S3.
  • the embodiments that have already been described above in connection with the device also apply to the method for generating the marked image data.
  • the present invention relates to an auto matic ⁇ generating marked image data.
  • the marked image data can be used in modern industrial plants for the monitoring and diagnosis of components, plant components up to entire industrial plants.
  • the marked image data serve as reference or training basis for the evaluation of image data of real plant components.
  • the present invention relates to automatic generation of tagged image data.
  • a visual representation of the component is calculated on the basis of already existing design data for a component, wherein the surface properties of the visual representation of the component can be varied based on predetermined characteristic properties. Since the calculation of such visual representations both the component itself, and the underlying characteristic surface properties are known, this information can be used to identify the corresponding parts in the visual representation to allow automatic identification of the calculated visual representation. In this way, image data can be automatically generated and in the same without the need for a ma ⁇ Nuelles intervention is required. This makes it possible to produce marked image data on a large scale with a high quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

Die vorliegende Erfindung betrifft ein automatisches Generieren von gekennzeichneten Bilddaten. Hierzu wird auf Grundlage von bereits vorliegenden Konstruktionsdaten für ein Bauteil eine visuelle Darstellung des Bauteils berechnet, wobei die Oberflächeneigenschaften der visuellen Darstellung des Bauteils basierend auf vorgegebenen charakteristischen Eigenschaften variiert werden können. Da bei der Berechnung solcher visuellen Darstellungen sowohl das Bauteil selbst, als auch die zugrundeliegenden charakteristischen Oberflächeneigenschaften bekannt sind, können diese Informationen zur Kennzeichnung der entsprechenden Teile in der visuellen Darstellung genutzt werden, um eine automatische Kennzeichnung der berechneten visuellen Darstellung zu ermöglichen.

Description

Beschreibung
Computerimplementiertes Verfahren und Vorrichtung zum automa¬ tischen Generieren von gekennzeichneten Bilddaten und Analy- sevorrichtung zum Überprüfen eines Bauteils
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren sowie eine Vorrichtung zum automatischen Generieren von gekennzeichneten Bilddaten von Bauteilen, sowie eine Analysevorrichtung zum Überprüfen eines Bauteils.
Stand der Technik
Die zunehmende Digitalisierung führt insbesondere im indust- riellen Umfeld aktuell zu einschneidenden Veränderungen. So existieren bereits offene Betriebssystemlösungen, welche Verbindung zwischen Maschinen und physischen Infrastrukturen zur digitalen Welt ermöglichen. Ein Beispiel hierfür ist Siemens MindSphere, welches als cloudbasiertes Betriebssystem für das sogenannte Internet der Dinge eine Plattform bereitstellt, um industrielle Daten zu analysieren, um beispielsweise mittels künstlicher Intelligenz zahlreiche bahnbrechende Anwendungen zu realisieren. So können beispielsweise mittels einer opti¬ schen Analyse effizient fehlerhafte Bauteile identifiziert werden und daraufhin alle nötigen Schritte für einen Repara- turprozess eingeleitet werden.
Die Datenverarbeitung hierbei erfordert gerade bei Anwendun¬ gen zur künstlichen Intelligenz eine umfangreiche Datenbasis. Hierzu werden bisher zu Trainingszwecken große Mengen an manuell erfassten Bilddaten benötigt. Um ein System der künstlichen Intelligenz mit diesen Bilddaten anlernen zu können, müssen diese realen Bilddaten jedoch entsprechend gekennzeichnet werden. Während dieses Kennzeichnungsprozess müssen in den Bilddaten jeweils relevante Bereiche identifiziert werden und jedem Bereich muss daraufhin eine oder mehrere Eigenschaften zugewiesen werden. Beispielsweise können von einem Bauteil, wie zum Beispiel einer mechanischen Welle oder einer Turbinenschaufel, mehrere Fotografien erstellt werden. Insbesondere kann ein Bauteil beispielsweise von mehreren un¬ terschiedlichen Perspektiven fotografiert werden. Darüber hinaus kann auch ein Bauteil oder gegebenenfalls auch mehrere gleiche oder ähnliche Bauteile in unterschiedlichen Betriebs- zuständen, Alterungsstufen oder mit verschiedenartigen Beschädigungen fotografisch erfasst werden. Daraufhin muss jede einzelne dieser Fotografien manuell ausgewertet werden, um in dem entsprechenden Bild das Bauteil zu kennzeichnen und gege- benenfalls dem Bauteil auch charakteristische Eigenschaften wie Alterungszustand, mögliche Beschädigungen, etc. zuzuwei¬ sen .
Im Rahmen der Komplexität moderner Industrieanlagen und der damit anfallenden gewaltigen Menge an Daten, ist es bereits gegenwärtig nicht mehr möglich die Erfassung der Bilder und die darüber hinaus erforderliche Kennzeichnung der gewonnenen Bilddaten manuell durchzuführen. Selbst teilautomatische An¬ sätze, welche einen Benutzer bei der Kennzeichnung der Bild- daten unterstützen, stoßen aufgrund der gewaltigen Bilddatenmenge und der Komplexität der in diesen Bilddaten dargestell¬ ten Systeme sehr rasch an ihre Grenzen. Darüber hinaus ist es durch die zuvor beschriebene Erfassung von Bilddaten und die nachgeschaltete Kennzeichnung nur möglich Bilddaten von be- reits vorliegenden realen Systemen und den dabei aufgetretenen Beschädigungen oder Verschleißerscheinungen zu erfassen. Weiterhin ist es auch erforderlich, zur Erfassung von Bilddaten der realen Bauteile die entsprechenden Bauteile jeweils soweit freizulegen, dass die Bauteile fotografiert werden können. Soll folglich der Verschleiß eines Bauteils über die Betriebszeit fotografisch dokumentiert werden, so muss in re¬ gelmäßigen Abständen das entsprechende Bauteil ausgebaut, fo¬ tografiert und anschließend wieder eingebaut werden. Auch dies erfordert gerade in komplexen technischen Systemen einen nicht zu bewältigenden Aufwand.
Es besteht daher ein Bedarf zur automatischen Generierung von gekennzeichneten Bilddaten. Insbesondere besteht ein Bedarf zur Generierung von gekennzeichneten Bilddaten, die als
Grundlage zur Datenverarbeitung in komplexen technischen Anlagen herangezogen werden können. Darüber hinaus besteht ein Bedarf zur Analyse von Bauteilen auf Grundlage von derart ge- kennzeichneten Bilddaten.
Offenbarung der Erfindung
Die vorliegende Erfindung offenbart ein computerimplementier- tes Verfahren zum Generieren von gekennzeichneten Bilddaten mit den Merkmalen des Patentanspruchs 1, eine Vorrichtung zum automatischen Generieren von gekennzeichneten Bilddaten mit den Merkmalen des Patentanspruchs 9 und eine Analysevorrichtung zum Überprüfen eines Bauteils mit den Merkmalen des Pa- tentanspruchs 10.
Demgemäß ist vorgesehen:
Ein computerimplementiertes Verfahren zum Generieren von ge- kennzeichneten Bilddaten von Bauteilen. Das Verfahren umfasst die Schritte des Bereitstellens von Konstruktionsdaten für ein Bauteil und des Bereitstellens von Spezifikationen für mögliche Oberflächeneigenschaften des Bauteils. Ferner umfasst das Verfahren einen Schritt zum Berechnen einer visuel- len Darstellung des Bauteils. Die visuelle Darstellung wird dabei unter Verwendung der bereitgestellten Konstruktionsdaten und der bereitgestellten Spezifikationen für die Oberflächeneigenschaften des Bauteils berechnet. Schließlich umfasst das Verfahren einen Schritt zum automatischen Zuweisen von vorbestimmten Kennzeichnungen zu der berechneten visuellen Darstellung des Bauteils.
Weiterhin ist vorgesehen: Eine Vorrichtung zum automatischen Generieren von gekennzeichneten Bilddaten von Bauteilen. Die Vorrichtung umfasst eine erste Datenbank, eine zweite Datenbank und einen Bildda¬ tengenerator. Die erste Datenbank ist dazu ausgelegt, Konstruktionsdaten für ein Bauteil bereitzustellen. Die zweite Datenbank ist dazu ausgelegt, Spezifikationen für mögliche Oberflächeneigenschaften des Bauteils bereitzustellen. Der Bilddatengenerator ist dazu ausgelegt, eine visuelle Darstel- lung des Bauteils zu berechnen. Die visuelle Darstellung wird insbesondere unter Verwendung der durch die erste Datenbank bereitgestellten Konstruktionsdaten und der durch die zweite Datenbank bereitgestellten Spezifikationen für mögliche Oberflächeneigenschaften berechnet. Weiterhin ist der Bilddaten- generator dazu ausgelegt, der berechneten visuellen Darstellung des Bauteils automatisch vorbestimmte Kennzeichnungen zuzuordnen .
Schließlich ist vorgesehen:
Eine Analysevorrichtung zum Überprüfung eines Bauteils mit einer erfindungsgemäßen Vorrichtung zum Generieren von gekennzeichneten Bilddaten, einem Referenzbilddatenspeicher und einer Auswerteeinrichtung. Der Referenzbilddatenspeicher ist dazu ausgelegt, die durch die Vorrichtung zum automatischen Generieren von gekennzeichneten Bilddaten erzeugten gekennzeichneten Bilddaten abzuspeichern. Die Auswerteeinrichtung ist dazu ausgelegt, ein Kamerabild eines zu überprüfenden Bauteils zu empfangen und das empfangene Kamerabild mit den in dem Referenzbilddatenspeicher abgespeicherten gekennzeichneten visuellen Darstellungen zu vergleichen.
Vorteile der Erfindung Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass für die Diagnostik von komplexen industriellen Anlagen einer Datenbasis mit einer Vielzahl von gekennzeichneten Bilddaten eine große Bedeutung zukommt. Ferner liegt der vorliegenden Erfindung die Erkenntnis zugrunde, dass das Erstel- len einer derartigen Datenbasis für komplexe industrielle An¬ lagen und insbesondere das Kennzeichnen einzelner Elemente in Bilddaten eine große Herausforderung darstellt, die auf kon- ventionelle Weise und insbesondere auch unter Einsatz von menschlicher Arbeitsleistung nicht zu realisieren ist.
Der vorliegenden Erfindung liegt daher die Idee zugrunde, ei- ne Lösung zu schaffen, mit welcher es vollständig automatisch möglich ist, gekennzeichnete Bilddaten für Bauteile industrieller Anlagen zu generieren und diese für eine Weiterverwendung in einem digitalen Umfeld aufzubereiten. Hierzu sieht die vorliegende Erfindung zunächst vor, die Bilddaten von Bauteilen in industriellen Anlagen nicht auf konventionelle Weise durch Fotografieren von realen Bauteilen zu gewinnen, sondern diese Bilddaten digital zu berechnen. Da Bauteile von modernen Anlagen in der Regel ohnehin bereits in einem digitalen Umfeld konstruiert werden, liegen für derartige Bautei- le auch digitale Konstruktionsdaten vor. Auf Basis dieser digitalen Konstruktionsdaten kann damit auf einfache Weise ein dreidimensionales Modell des Bauteils berechnet werden. Ins¬ besondere ist es dabei möglich, ein Modell des Bauteils auf Basis der vorliegenden Konstruktionsdaten zu berechnen. Als Konstruktionsdaten können hierzu beispielsweise konventionel¬ le CAD-Daten oder beliebige andere Konstruktionsdaten herangezogen werden.
In der Regel geben dabei bereits die Konstruktionsdaten auch Aufschluss über die verwendeten Materialien des Bauteils, für das eine visuelle Darstellung berechnet werden soll. Darüber hinaus können bei der Berechnung der visuellen Darstellung des Bauteils auch bereits ein beliebige Modifikation, Beein¬ trächtigung, Alterung, Beschädigung, etc. simuliert und mit in die Berechnung der visuellen Darstellung einbezogen werden. So können beispielsweise durch die Spezifikation verschiedener Oberflächeneigenschaften für das Bauteil auch verschiedene unterschiedliche Zustände des Bauteils simuliert werden. Beispielsweise können für verschiedene Alterungsstu- fen jeweils verschiedene Eigenschaften einer Oberfläche defi¬ niert werden, welche die visuelle Darstellung des jeweiligen Bauteils in einem vorgegebenen Zustand charakterisieren. Auf diese Weise kann zum Beispiel eine Korrosion, beispiels¬ weise ein Rosten oder ähnliches, ein zunehmendes Aufrauen oder auch Abschleifen eines Bereichs des Bauteils, die Bil¬ dung von Rissen, insbesondere von Mikrorissen oder ähnlichem, ein Dehnen, Stauchen oder Verbiegen eines Bereichs des Bauteils, eine Veränderung aufgrund von Hitzeeinwirkung oder eine beliebige andere Veränderung der Oberflächeneigenschaften des Bauteils simuliert und in die zu generierende visuelle Darstellung mit einbezogen werden. Dies ermöglicht eine be- sonders effiziente, vielschichtige und auch detailgetreue Ge¬ nerierung von visuellen Darstellungen des Bauteils.
Da für jede einzelne berechnete visuelle Darstellung des Bau¬ teils jeweils die zugrundeliegenden Rahmenbedingungen, insbesondere die jeweiligen Spezifikationen der Oberflächeneigenschaften bekannt sind, können diese bekannten Eigenschaften auch unmittelbar der jeweils berechneten visuellen Darstellung zugeordnet werden. Dabei ist insbesondere auch bekannt, welcher Bildbereich in der visuellen Darstellung welchem Teil des Bauteils entspricht und welche Oberflächeneigenschaften der jeweiligen Berechnung zugrunde gelegen sind. Hierdurch kann sehr präzise jedem einzelnen Teil eines Bauteils in der visuellen Darstellung eine korrespondierende Kennzeichnung mit den zugrundeliegenden Parametern zugeordnet werden.
Als Resultat können auf diese Weise sehr schnell, kostengüns¬ tig und effizient Bilddaten von Bauteilen erzeugt werden und dabei in diesen Bilddaten auch einzelnen Teilbereichen Kennzeichnungen zugewiesen werden, welche den zugrundeliegenden Spezifikationen für die Generierung der Bilddaten entsprechen .
Auf diese Weise ist es auch gefahrlos möglich, Bilddaten von Bauteilen zu erhalten, welche einem Bauteil bei einer beson- ders hohen und gegebenenfalls kritischen Beanspruchung entsprechen. Insbesondere können auch Bilddaten berechnet werden, welche einem Bauteil bei nach einer Beanspruchung in einem gefährlichen Betriebszustand entsprechen, ohne das Bau- teil in einem solchen gefährlichen Betriebszustand zu betrei¬ ben. Ferner können auf diese Weise auch Bilddaten aus Perspektiven gewonnen werden, die unter realen Bedingungen nicht oder nur unter hohem Aufwand möglich sind.
In der Summe ist auf diese Weise eine schnelle, kostengünsti¬ ge, flexible und zuverlässige Generierung von Bilddaten von Bauteilen bei gleichzeitiger Kennzeichnung der Bilddaten möglich.
Bei den voraufgegangenen und der nachfolgenden Ausführungen ist insbesondere zwischen der ersten Datenbank zur Speicherung der Konstruktionsdaten und der zweiten Datenbank zur Speicherung der gekennzeichneten Bilddaten unterschieden. Auch wenn hierfür grundsätzlich unterschiedliche Datenbanken oder unterschiedliche Speichervorrichtungen/Speichermedien eingesetzt werden können, so ist es darüber hinaus auch mög¬ lich, sämtliche Daten in einer gemeinsamen Datenbank, insbesondere einer gemeinsamen Speichervorrichtung/einen gemeinsa- men Speichermedium abzuspeichern und bereitzustellen.
Bei der hier als zweite Datenbank bezeichnete Speichereinheit kann es sich in beispielsweise um eine Wissensbasis (engl.: Knowledge Base) handeln, welche für weitere Anwendungen, wie zum Beispiel eine automatische Diagnose eines Bauteils ge¬ nutzt werden kann.
Gemäß einer Ausführungsform umfassen die bereitgestellten Spezifikationen für die Oberflächeneigenschaften charakteris- tische Texturen, insbesondere für vorbestimmte Bereiche einer Oberfläche des Bauteils. Derartige charakteristische Texturen können beispielsweise verschiedene Stufen einer Korrosion, wie zum Beispiel Rosten oder einer anderen Oxidation entsprechen. Ferner können verschiedene Texturen auch verschiedenen Abstufungen eines Verkratzens eines bestimmten Bereiches des Bauteils, verschiedenen Stufen des Ab- oder Einschleifens an einem Bauteil, verschiedenen Stufen der Bildung von Rissen, insbesondere beispielsweise von Mikrorissen oder ähnlichem, verschiedenen Stufen einer thermischen Einwirkung von Hitze oder Kälte an dem Bauteil, einer Verformung eines Teilberei¬ ches an dem Bauteil, insbesondere ein Verbiegen, Dehnen, Stauchen oder ähnliches, einer Wellenbildung an einem Bereich der Oberfläche sowie eine beliebige andere physikalische oder auch chemische Einwirkung an einem Bereich des Bauteils umfassen. Auf diese Weise können zahlreiche unterschiedliche Beeinträchtigungen, wie Verschleiß, Alterung, Überbeanspruchung oder ähnliches, an dem Bauteil einfach, kostengünstig und auch gefahrlos simuliert werden, um daraus eine geeignete optische Darstellung des Bauteils zu gewinnen. Dabei können die jeweils zugrundeliegenden Spezifikationen und die damit verbundenen Texturen unmittelbar automatisch dem entsprechenden Bereich in der generierten visuellen Darstellung zugewie- sen werden, um eine entsprechende Kennzeichnung in den gewonnenen Bilddaten zu erhalten.
Gemäß einer Ausführungsform können die charakteristischen Texturen insbesondere Eigenschaften wie Verschleiß, Alterung, eine vorgegebenen Belastung, eine Verschmutzung oder auch eine potentiellen Ausfallwahrscheinlichkeit des Bauteils spezi¬ fizieren. Diese Informationen können bei dem automatischen Zuweisen der vorgegebenen Kennzeichnung berücksichtige werden, um als Referenz zur Diagnose von Bilddaten realer Bau- teile zu dienen.
Gemäß einer Ausführungsform erfolgt das Berechnen der visuellen Darstellung des Bauteils aus einer vorgegebenen Perspektive und/oder entlang eines vorgegebenen Beobachtungspfades. Insbesondere können als Bewegungspfad beispielsweise ein Flug einer virtuellen Drohne entlang eines Flugpfades zur Beobachtung eines Bauteils vorgegeben werden. Dies ermöglicht eine besonders flexible, universelle Generierung von Bilddaten aus nahezu beliebigen Blickwinkeln und Perspektiven.
Gemäß einer Ausführungsform umfassen die für die berechnete visuelle Darstellung zugrundliegenden Konstruktionsdaten CAD- Daten oder Fertigungsdaten zur Herstellung des Bauteils. Der- artige Konstruktionsdaten liegen aufgrund der modernen Fertigungstechnik bereits für nahezu alle Bauteile vor. Daher können die visuellen Darstellungen des Bauteils ohne weitere, gegebenenfalls komplexe Zwischenschritte besonders einfach berechnet werden. Die Berechnung der visuellen Darstellungen des Bauteils können dabei beispielsweise auf Grundlage von Algorithmen und/oder Graphikeinheiten erzeugt werden, wie sie zum Beispiel bereits für die Berechnung von Bildern bei Computerspielen oder anderweitigen optischen Simulationen einge- setzt werden. Insbesondere kann aus den Konstruktionsdaten zunächst ein dreidimensionales Modell berechnet werden, auf dessen Grundlage die visuelle Darstellung des Bauteils gene¬ riert wird. Die Visuelle Darstellung kann dabei einem zweidi¬ mensionalen Bild entsprechen.
Gemäß einer Ausführungsform umfasst das automatische Zuweisen der vorbestimmten Kennzeichnungen zu den berechneten visuellen Darstellungen des Bauteils eine mehrstufige hierarchische Charakterisierung, insbesondere mindestens eines Teils des Bauteils. Durch eine mehrstufige hierarchische Charakterisie¬ rung können die einzelnen Eigenschaften des Bauteils in den berechneten visuellen Darstellungen besonders effizient und präzise spezifiziert werden. Gemäß einer Ausführungsform umfasst das automatische Zuweisen der vorbestimmten Kennzeichnungen zu den berechneten visuellen Darstellungen des Bauteils mindestens eine Diagnose für einen vorgegebenen Fehler, eine Angabe zu einer möglichen Beschädigung, eine Prognose für eine Ausfallwahrscheinlichkeit und/oder eine Reparaturempfehlung. Darüber hinaus können die vorbestimmten Kennzeichnungen auch beliebige weitere Parameter, Eigenschaften oder Werte umfassen, die zur Charakterisierung von Eigenschaften eines Teils des Bauteils in der visuellen Darstellung geeignet sind.
Gemäß einer Ausführungsform umfasst das computerimplementierte Verfahren zum Generieren der Bilddaten einen Schritt zum Speichern der visuellen Darstellung des Bauteils zusammen mit den zugewiesenen Kennzeichnungen in einer Datenbank und einen Schritt zum Vergleichen eines Kamerabilds eines zu diagnosti¬ zierenden Bauteils mit der gespeicherten visuellen Darstellung. Auf diese Weise kann durch Abgleich eines Kamerabilds von einem realen Bauteil mit den generierten Bilddaten auf einfache Weise das Bauteil charakterisiert und insbesondere aus den zugewiesenen Kennzeichnungen auch eine Aussage über den aktuellen Zustand des Bauteils getroffen werden. Hierbei kann der Vergleich der berechneten und gekennzeichneten Bild- daten mit realen Bilddaten nicht nur einen direkten paarweisen Vergleich von Bilddaten umfassen. Vielmehr kann auch eine komplexere Analyse der Bilddaten auf Basis der berechneten gekennzeichneten Bilddaten ausgeführt werden. Hierzu können Verfahren auf Grundlage von künstlicher Intelligenz sowie neuronalen Netzwerken oder Ähnlichem eingesetzt werden.
Gemäß einer Ausführungsform ist die Auswerteeinrichtung der Analysevorrichtung zum Überprüfen eines Bauteils dazu ausgelegt, eine Übereinstimmung zwischen mindestens einem Teil des Kamerabilds und einem Teil einer berechneten visuellen Darstellung eines Bauteils zu identifizieren. In diesem Fall kann die Auswerteeinrichtung dazu ausgelegt sein, Kennzeichnungen auszugeben, die in der visuellen Darstellung des identifizierten Teils des Bauteils in den gekennzeichneten Bild- daten entspricht. Derartige Kennzeichnungen können zur Diagnose eines zu überprüfenden Bauteils genutzt werden, um eine rasche, zuverlässige und effiziente Diagnose des Bauteils zu erstellen. Basierend auf einer solchen Diagnose kann eine ra¬ sche, zeitnahe und kostengünstige Wartung oder Reparatur des Bauteils ausgeführt werden.
Gemäß einer Ausführungsform umfasst die Analysevorrichtung eine Steuereinrichtung. Die Steuereinrichtung kann dazu ausgelegt sein, in Abhängigkeit von dem Ergebnis des Vergleichs zwischen dem Kamerabild und den gekennzeichneten Bilddaten einen oder mehrere Steuerbefehle zu generieren. Die generierten Steuerbefehle können daraufhin ausgegeben werden. Bei diesen Steuerbefehlen kann es sich beispielsweise um einen Abschaltbefehl handeln, um bei einer Gefahrensituation eine Anlage mit dem entsprechenden Bauteil abzuschalten. Darüber hinaus kann der Steuerbefehl auch einen Befehl umfassen, um eine Anlage in einen vorbestimmten Betriebszustand zu über- führen, welcher basierend auf der Analyse des Bauteils einen gefahrlosen Weiterbetrieb, zumindest für einen vorgegebenen Zeitraum ermöglicht. Darüber hinaus kann der Steuerbefehl auch eine Reparaturempfehlung zur Wartung des zu diagnostizierenden Bauteils umfassen. Ferner kann der Steuerbefehl auch dazu genutzt werden, um eine automatische Bestellung von erforderlichen Ersatzteilen zur Wartung oder Reparatur des Bauteils zu veranlassen. Selbstverständlich sind auch beliebige weitere Steuerbefehle auf Basis der vorangegangenen Ana¬ lyse möglich.
Gemäß einer Ausführungsform umfasst die Analyseeinrichtung eine Schnittstelle. Diese Schnittstelle kann dazu ausgelegt sein, mindestens ein Kamerabild des zu überprüfenden Bauteils zu empfangen. Bei dieser Schnittstelle kann es sich bei- spielsweise um eine kabelgebundene Schnittstelle handeln, welche direkt oder über einen Datenbus oder ähnliches mit ei¬ ner oder mehreren Kameras gekoppelt ist. Darüber hinaus kann es sich auch um eine Funkschnittstelle handeln, welche über eine kabellose Übertragung Bilddaten von einer oder mehreren Kameras empfängt. Beispielsweise ist auch ein Empfang von
Bilddaten von einem Mobiltelefon, einem Tablet-Computer oder einem beliebigen anderen mobilen oder portablen System mit einer Bilderfassungseinrichtung möglich. Gemäß einer Ausführungsform der Analysevorrichtung ist die Auswerteeinrichtung der Analysevorrichtung dazu ausgelegt, den Vergleich zwischen dem Kamerabild und den abgespeicherten gekennzeichneten visuellen Darstellungen auf Basis von künstlicher Intelligenz auszuführen. Insbesondere kann in der Ana- lysevorrichtung ein sogenanntes Convolutional Neural Network (CNN) implementiert sein. Bei einem CNN, zu Deutsch etwa „faltendes neurales Netzwerk", handelt es sich um ein
feedforward künstliches neuronales Netz. Dabei handelt sich um ein von biologischen Prozessen inspiriertes Konzept im Be reich des maschinellen Lernens.
Die obigen Ausgestaltungen und Weiterbildungen lassen sich, soweit sinnvoll, beliebig miteinander kombinieren. Weitere Ausgestaltungen, Weiterbildungen und Implementierungen der vorliegenden Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich den Ausführungsbeispielen beschriebenen Merkmalen der Erfindung. Insbesondere wird der Fachmann auch Einzelaspekte als Verbes serungen oder Ergänzungen zu den jeweiligen Grundformen der vorliegenden Erfindung hinzufügen.
Kurze Beschreibung der Zeichnungen
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Dabei zeigen:
Fig. 1: eine schematische Darstellung einer Analysevorrichtung zur Überprüfung eines Bauteils mit einer Vorrichtung zum automatischen Generieren von Bilddaten gemäß einer Ausführungsform;
Fig. 2: eine schematische Darstellung von gekennzeichneten
Bilddaten, wie sie einer Ausführungsform zugrunde liegen; und
Fig. 3: ein Ablaufdiagramm, wie es einem computerimplementierten Verfahren zum Generieren von gekennzeichneten Bilddaten gemäß einer Ausführungsform zugrunde liegt .
Beschreibung von Ausführungsformen
Fig. 1 zeigt eine schematische Darstellung einer Analysevorrichtung zum Überprüfen eines Bauteils gemäß einer Ausführungsform. Die Analysevorrichtung kann beispielsweise eine Vorrichtung 10 zum automatischen Generieren von gekennzeichneten Bilddaten umfassen. Diese Vorrichtung 10 zum automatischen Generieren von gekennzeichneten Bilddaten umfasst eine erste Datenbank 11, in welcher Konstruktionsdaten für ein oder mehrere Bauteile bereitgestellt werden. Bei diesen
Konstruktionsdaten kann es sich beispielsweise um CAD-Daten oder um beliebige andere Konstruktionsdaten für ein Bauteil handeln. Da für die Konstruktion von Bauteilen in jüngster Zeit zunehmend digitale Systeme zum Einsatz kommen, liegen auch die Konstruktionsdaten dieser Bauteile in der Regel bereits in digitaler Form vor. Diese Konstruktionsdaten des Bauteils können als Ausgangsbasis für das Generieren von ge¬ kennzeichneten Bilddaten genutzt werden. Hierzu können die entsprechenden Konstruktionsdaten in der ersten Datenbank 11 abgespeichert und bereitgestellt werden. Weiterhin können in einer zweiten Datenbank 12 Spezifikationen für mögliche Oberflächeneigenschaften von Bauteilen bereitgestellt werden. Diese Spezifikationen von Oberflächeneigenschaften können verschiedene Materialeigenschaften eines Bauteils charakteri- sieren. Beispielsweise können in der zweiten Datenbank 12
Texturen für unterschiedliche Materialzustände oder Oberflä- chenzustände eines Bauteils spezifiziert werden. So können beispielsweise Texturen für unterschiedliche Abstufungen ei¬ ner Korrosion an einer Materialoberfläche spezifiziert wer- den. Zum Beispiel können verschieden starke Abstufungen des
Rostens einer Eisenoberfläche und die dazu korrespondierenden Texturen der jeweiligen Oberfläche spezifiziert werden. Ferner kann auch ein Verschleiß durch Abschleifen einer Materialoberfläche und die damit korrespondierenden Texturen in der zweiten Datenbank 12 spezifiziert werden. Auch weitere charakteristische Eigenschaften wie das Bilden von Rillen oder Riefen aufgrund von Reiben von zwei Materialflächen aufeinander kann spezifiziert wird. Ferner kann gegebenenfalls auch eine thermische Einwirkung durch Kälte oder Hitze an einem Material zu einer charakteristischen optischen Veränderung führen, welche ebenfalls in der zweiten Datenbank 12 spezifiziert werden kann. Beispielsweise treten durch starke Wärme¬ einwirkung an einem Metall sogenannte Anlauffarben auf, aus welchen sich die maximale Temperatureinwirkung ablesen lässt. Entsprechende Farben bzw. Texturen können in der zweiten Datenbank 12 für die entsprechenden Oberflächen eines Bauteils spezifiziert werden. Weitere charakteristische Eigenschaften, die in der zweiten Datenbank 12 spezifiziert werden, sind zum Beispiel Verschmutzungen, insbesondere auch Verschmutzungen, die gegebenenfalls durch eine unsachgemäße Verwendung des Bauteils entstehen, die Bildung von Rissen, insbesondere von Mikrorissen, während des normalen Betriebs oder einer Überbe- anspruchung des Bauteils, charakteristische Verformungen,
Dehnungen oder Stauchungen eines Teils des Bauteils und damit verbundenen Veränderungen der Oberfläche eines Teils des Bau¬ teils, aber auch Änderungen einer Materialstärke und damit verbundenen Änderungen in dem optischen Erscheinungsbild des Bauteils sowie beliebige andere charakteristische optisch wahrnehmbare Veränderungen an der Oberfläche des Bauteils.
Ferner können beispielsweise in einer dritten Datenbank 13 Positionen spezifiziert werden, aus deren Perspektive eine visuelle Darstellung eines Bauteils berechnet werden soll. Dabei können beispielsweise einzelne Positionen spezifiziert werden, aus deren Perspektive eine visuelle Darstellung be¬ rechnet werden soll, oder es sind auch komplexere Bewegungs¬ pfade, wie zum Beispiel Linien, Kurven, Polygonzüge oder ähn¬ liches möglich, entlang derer sich eine virtuelle Kamera be¬ wegt. Auf diese Weise können beispielsweise virtuelle Flüge einer Drohne oder ähnlichem simuliert werden, die sich entlang eines Bauteils oder um ein Bauteil herum bewegt. Insbe¬ sondere können auf diese Weise auch Perspektiven vorgegeben werden, welche an einem Bauteil in eingebautem Zustand unter realen Bedingungen nicht oder nur unter großem Aufwand möglich sind.
Auch wenn die erste Datenbank 11, die zweite Datenbank 12 und die dritte Datenbank 13 hier als einzelne, separate Datenban¬ ken beschrieben sind, so ist es auch möglich, die Daten von zwei oder allen drei Datenbanken in einer geneinsamen Speichereinrichtung abzuspeichern und bereitzustellen. Im Vorausgegangenen, wie im Folgenden wird jeweils ein Bauteil betrachtet. Dabei ist der Ausdruck "ein Bauteil" nicht als ein einzelnes individuelles Bauteil zu verstehen. Viel¬ mehr können als Bauteil auch komplexe Maschinenanordnungen aus einer beliebigen Anzahl von Einzelteilen verstanden werden. So kann die zu generierende visuelle Darstellung des Bauteils auch die Darstellung einer kompletten Maschine oder eines Teilaggregats einer Maschine umfassen. Im Fall eines Kraftwerks kann beispielsweise als Bauteil auch eine komplet- te Turbine, eine Antriebswelle einschließlich Lager oder ein beliebiger anderer Verbund aus mehreren Maschinenteilen oder Bauelementen verstanden werden.
Auf Grundlage der in den Datenbanken 11 bis 13 bereitgestell- ten Informationen kann ein Bilddatengenerator 20 eine visuelle Darstellung des Bauteils berechnen. Hierzu kann zum Beispiel aus den Konstruktionsdaten zunächst ein dreidimensiona¬ les Modell des Bauteils berechnet werden. In einem weiteren Schritt kann die Oberfläche dieses dreidimensionalen Modells gemäß den Spezifikationen für die Oberflächeneigenschaften bestimmt werden. Auf diese Weise ist es zum Beispiel möglich, bestimmte Beanspruchungen, Beschädigungen, einen Verschleiß oder ähnliches mit in die Berechnung der visuellen Darstellung des Bauteils einzubeziehen . Basierend auf den zugrunde- liegenden Daten kann auf diese Weise das Bauteil in nahezu jedem beliebigen Zustand simuliert und eine darauf aufbauende visuelle Darstellung generiert werden. Insbesondere sind auch visuelle Darstellungen des Bauteils möglich, welche auf Über¬ beanspruchungen gegebenenfalls in gefährlichen Betriebszu- ständen zurückzuführen sind. Somit können derartige Bilddaten gefahrenlos gewonnen werden, ohne dass das Bauteil tatsäch¬ lich in einen solchen gefährlichen oder zumindest kritischen Betriebszustand gebracht werden muss. Da die der Berechnung der Bilddaten zugrundeliegenden Informationen vollständig bekannt sind, kann auch den einzelnen Bereichen in den Bilddaten jeweils eine entsprechende Para- metrisierung zugeordnet werden. Wird beispielsweise an einem vorgegebenen Bereich des Bauteils eine optische Darstellung berechnet, welche auf eine hohe Hitzeeinwirkung zurückzufüh¬ ren ist, so kann der entsprechende Bereich in der berechneten visuellen Darstellung entsprechend charakterisiert, d.h.
parametrisiert werden. Zum Beispiel kann diesem Teilbereich des Bauteils die Bezeichnung des Bauteils, die Bezeichnung des entsprechenden Teilbereichs in dem Bauteil, das verwende¬ te Material in diesem Teilbereich des Bauteils, sowie die weiterhin zugrundeliegende Hitzeeinwirkung in diesem Teilbe- reich dem entsprechenden Teilbereich des Bildes zugeordnet werden. Wie diesem vorausgegangenen Beispiel bereits zu entnehmen ist, kann die Zuordnung von Kennzeichnungen in Teilbereichen der berechneten visuellen Darstellung auf einer mehrstufigen hierarchischen Struktur beruhen. Grundsätzlich sind darüber hinaus auch beliebige andere Arten der Zuordnung von Kennzeichnungen zu Teilbereichen in den Bilddaten möglich. Auch kann grundsätzlich mehreren Teilbereichen des Bauteils in der visuellen Darstellung eine gemeinsamen Eigenschaft oder Kennzeichnung zugewiesen werden.
Nachdem Bilddaten mit einer visuellen Darstellung eines Bauteils unter Verwendung der Daten aus den Datenbanken 11 bis 13 berechnet worden sind und diese mit geeigneten Kennzeich¬ nungen versehen worden sind, können die generierten Bilddaten mit den Kennzeichnungen in einem Referenzbilddatenspeicher 30 abgespeichert werden. Die Abspeicherung der Bilddaten, insbesondere die Zuordnung der Kennzeichnung zu Teilbereichen in den Bilddaten, kann dabei in einer beliebigen Struktur erfolgen. Insbesondere können dabei beliebige Datenbanken mit ei- ner l:n-Struktur oder auch einer m:n-Struktur zur Zuordnung von Kennzeichnungen zu den Bilddaten genutzt werden.
Die in dem Referenzbilddatenspeicher 30 gespeicherten gekennzeichneten Bilddaten können beispielsweise dazu verwendet werden, um ein Analysesystem 40 zu trainieren. Bei diesem
Analysesystem 40 kann es sich um ein beliebiges System handeln, welches auf Grundlage von bereitgestellten gekennzeichneten Bilddaten eine Auswertung, insbesondere eine Auswertung von Bilddaten realer Bauteile, durchführen kann. Bei einem solchen System kann es sich beispielsweise um ein System auf Grundlage von künstlicher Intelligenz handeln. Zum Beispiel können auch neuronale Netzwerke auf Grundlage der bereitge- stellten berechneten Bilddaten trainiert werden, um eine Analyse von Bilddaten von realen Bauteilen zu ermöglichen.
Für die Überprüfung eines Bauteils kann der Auswerteeinrichtung 40 ein reales Bild eines Bauteils bereitgestellt werden. Dieses reale Bild des Bauteils kann beispielsweise mittels einer Kamera 50 aufgezeichnet werden. Die Kamera 50 kann mit¬ tels einer kabelgebundenen Verbindung mit der Auswerteeinrichtung 40 gekoppelt werden. Darüber hinaus sind auch kabel¬ lose Kommunikationswege zwischen der Kamera 50 und der Aus- Werteeinrichtung 40 möglich. Zum Beispiel können in einer Maschinenhalle eine oder gegebenenfalls auch mehrere Kameras 50 installiert sein, welche ein Bauteil oder eine Anlage mit ei¬ nem oder mehreren Bauteilen optisch erfasst. Die dabei er- fassten Bilddaten können der Auswerteeinrichtung 40 bereitge- stellt werden, welche daraufhin einen Vergleich oder eine
Auswertung auf Grundlage der in dem Referenzbilddatenspeicher 30 abgespeicherten gekennzeichneten Bilddaten durchführt. Auf diese Weise kann während des Betriebs einer Anlage kontinu¬ ierlich eine Überwachung und eine frühzeitige Fehlerdetektion ausgeführt werden. Darüber hinaus können auch zu vorgegebenen Intervallen, beispielsweise während einer Wartung oder ähnlichem, insbesondere bei Stillstand einer Anlage Bilddaten von einem Bauteil erfasst werden und diese der Auswerteeinrichtung 40 bereitgestellt werden. Auch in diesem Fall kann die Auswerteeinrichtung 40 auf Grundlage der gekennzeichneten
Bilddaten in dem Referenzbilddatenspeicher 30 eine Diagnose ausführen, um eine möglichst präzise Aussage über den aktuel¬ len Zustand des Bauteils zu treffen, welches von der Kamera 50 optisch erfasst worden ist.
Bei der Analyse kann es sich beispielsweise um einen Ver¬ gleich der erfassten Bilddaten des realen Bauteils mit den im dem Referenzbilddatenspeicher 30 abgespeicherten Bilddaten handeln. Darüber hinaus sind auch beliebige weitere, gegebe¬ nenfalls komplexere Analysen auf Grundlagen der in dem Refe¬ renzbilddatenspeicher 30 abgespeicherten Bilddaten möglich. Auf Basis der Analyse in der Auswerteeinrichtung 40 kann daraufhin der aktuelle Zustand des zu überprüfenden Bauteils bestimmt werden. Ferner ist gegebenenfalls auch eine Prognose über die weitere Entwicklung des Bauteils und eine Abschät¬ zung über die noch zu erwartende verbleibende Restlebensdauer des Bauteils möglich.
Sollte das Bauteil Beschädigungen, wie zum Beispiel Risse oder ähnliches aufweisen, welche auf Grundlage der in dem Re¬ ferenzbilddatenspeicher 30 abgespeicherten Bilddaten detek- tiert werden können, so kann eine solche Beschädigung diagnostiziert werden. Gegebenenfalls kann daraufhin automatisch ein Bestellvorgang für ein erforderliches Ersatzteil initi¬ iert werden. Ferner können auch weitere Reparaturmaßnahmen angestoßen werden, um eine rasche Wiederinstandsetzung des zu diagnostizierenden Bauteils zu erreichen. Auf diese Weise kann die Verfügbarkeit des Bauteils und der damit verbundenen gesamten technischen Anlage gesteigert werden.
Fig. 2 zeigt eine schematische Darstellung von automatisch generierten Bilddaten mit korrespondierenden Kennzeichnungen, wie sie einer Ausführungsform zugrunde liegen. Bei dem in Fig. 2 dargestellten Bild handelt es sich um eine stark vereinfachte schematische Darstellung. Die Darstellung des Bau¬ teils umfasst ein Bauteil A, welches aus zwei Teilelementen Aa und Ab besteht. Die Spezifikation des Bauteils kann hier¬ bei beispielsweise basierend auf den Konstruktionsdaten er¬ folgen. Auf Basis dieser Konstruktionsdaten kann zunächst ein dreidimensionales Modell berechnet werden. Das Teilelement Ab kann weiterhin beispielsweise in zwei Teilstücke Abi und Ab2 unterteilt sein. Weiterhin kann beispielsweise an dem Teil¬ element Abi eine besondere Beanspruchung angenommen werden. Diese besondere Beanspruchung kann beispielsweise zu einer Veränderung der Oberfläche und einer entsprechend modifizier- ten Textur der visuellen Darstellung führen. In Fig. 2 ist dies durch Kennzeichnung Abl-x dargestellt. Da bei der Gene¬ rierung der visuellen Darstellung des Bauteils A durch die Konstruktionsdaten und die charakteristischen Eigenschaften für die Oberflächeneigenschaften des Bauteils die jeweiligen Rahmenbedingungen bekannt sind, kann in entsprechenden Teilbereichen der visuellen Darstellung jeweils eine entsprechende Kennzeichnung zugeordnet werden. Derartig gekennzeichnete Bilddaten können daraufhin beispielsweise in dem zuvor be- schriebenen Referenzbilddatenspeicher 30 abgelegt werden und als Trainings- oder Referenzdaten für eine spätere Analyse von ähnlichen Bauteilen genutzt werden.
Fig. 3 zeigt eine schematische Darstellung eines Ablaufdiag- ramms, wie es einem computerimplementierten Verfahren zur Generierung von gekennzeichneten Bilddaten von Bauteilen zugrunde liegt. Schritt Sl werden Konstruktionsdaten für ein Bauteil bereitgestellt. Weiterhin werden in Schritt S2 Spezi¬ fikationen für mögliche Oberflächeneigenschaften eines Bau- teils bereitgestellt. In einem weiteren Schritt können darü¬ ber hinaus gegebenenfalls ein oder mehrere Positionen für mögliche Perspektiven für die zu berechnenden Bilddaten spezifiziert werden. In Schritt S3 erfolgt daraufhin eine Berechnung einer visuel¬ len Darstellung des Bauteils. Die Berechnung des Bauteils erfolgt dabei unter Verwendung der bereitgestellten Konstruktionsdaten und der bereitgestellten Spezifikationen für die Oberflächeneigenschaften. Ferner kann die Berechnung der vi- suellen Darstellung für die spezifizierten Perspektiven ausgeführt werden. Bei den spezifizierten Perspektiven kann es dabei um einen oder mehrere vorgegebene Punkte im Raum oder gegebenenfalls auch um eine Bewegungsbahn einer virtuellen Kamera handeln.
Nachdem die visuelle Darstellung des Bauteils auf Grundlage der beschriebenen Rahmenbedingungen berechnet worden ist, erfolgt in Schritt S4 ein automatisches Zuweisen von vorbe- stimmten Kennzeichnungen der berechneten visuellen Darstellung des Bauteils. Das automatische Zuweisen der Kennzeich¬ nung erfolgt dabei auf Grundlage der Parameter, die der Be¬ rechnung der visuellen Darstellung in Schritt S3 zugrunde ge- legt sind. Darüber hinaus gelten für das Verfahren zum Generieren der gekennzeichneten Bilddaten auch die Ausführungen, welche bereits zuvor in Zusammenhang mit der Vorrichtung beschrieben worden sind. Zusammenfassend betrifft die vorliegende Erfindung ein auto¬ matisches Generieren von gekennzeichneten Bilddaten. Die gekennzeichneten Bilddaten können bei modernen industriellen Anlagen zur Überwachung und Diagnose von Bauteilen, Anlagenkomponenten bis hin zu ganzen industriellen Anlagen genutzt werden. Die gekennzeichneten Bilddaten dienen dabei als Referenz oder Trainingsgrundlage für die Auswertung von Bilddaten realer Anlagenkomponenten.
Die vorliegende Erfindung betrifft insbesondere ein automati- sches Generieren von gekennzeichneten Bilddaten. Hierzu wird auf Grundlage von bereits vorliegenden Konstruktionsdaten für ein Bauteil eine visuelle Darstellung des Bauteils berechnet, wobei die Oberflächeneigenschaften der visuellen Darstellung des Bauteils basierend auf vorgegebenen charakteristischen Eigenschaften variiert werden können. Da bei der Berechnung solcher visuellen Darstellungen sowohl das Bauteil selbst, als auch die zugrundeliegenden charakteristischen Oberflächeneigenschaften bekannt sind, können diese Informationen zur Kennzeichnung der entsprechenden Teile in der visuellen Darstellung genutzt werden, um eine automatische Kennzeichnung der berechneten visuellen Darstellung zu ermöglichen. Auf diese Weise können Bilddaten automatisch generiert und gleichzeitig gekennzeichnet werden, ohne dass hierzu ein ma¬ nuelles Eingreifen erforderlich ist. Dies ermöglicht das Er- stellen von gekennzeichneten Bilddaten in einem großen Umfang mit einer hohen Qualität.

Claims

Patentansprüche
1. Computerimplementiertes Verfahren zum Generieren von ge¬ kennzeichneten Bilddaten von Bauteilen, mit den Schritten:
Bereitstellen (Sl) von Konstruktionsdaten für ein Bauteil;
Bereitstellen (S2) von Spezifikationen für mögliche Oberflächeneigenschaften des Bauteils;
Berechnen (S3) einer visuellen Darstellung des Bauteils unter Verwendung der bereitgestellten Konstruktionsdaten und der bereitgestellten Spezifikationen für die Ober- flächeneigenschaften des Bauteils; und
Automatisches Zuweisen (S4) vorbestimmter Kennzeichnungen zu der berechneten visuellen Darstellung des Bauteils.
2. Verfahren nach Anspruch 1, wobei die bereitgestellten Spezifikationen charakteristische Texturen für vorbestimmte Be¬ reiche der Oberfläche des Bauteils umfassen.
3. Verfahren nach Anspruch 2, wobei die charakteristische
Texturen Eigenschaften wie Verschleiß, Alterung, Belastung, Verschmutzung und/oder potentielle Ausfallwahrscheinlichkeit des Bauteils umfassen.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei der
Schritt (S3) zum Berechnen der visuellen Darstellung des Bauteils die visuelle Darstellung aus einer vorgegebenen Perspektive und/oder entlang eines vorgegebenen Bewegungspfades berechnet .
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Konstruktionsdaten CAD-Daten oder Fertigungsdaten zur Herstellung des Bauteils umfassen.
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei das au¬ tomatische Zuweisen (S4) der vorbestimmten Kennzeichnungen der berechneten visuellen Darstellung des Bauteils eine mehrstufige hierarchische Charakterisierung mindestens eines Teils des Bauteils umfasst.
7. Verfahren nach einem der Ansprüche 1 bis 6, wobei das au¬ tomatische Zuweisen (S4) der vorbestimmten Kennzeichnungen zu der berechneten visuellen Darstellung des Bauteils eine Diag- nose für einen vorgegebenen Fehler, eine mögliche Beschädi¬ gung, eine Prognose für eine Ausfallwahrscheinlichkeit und/oder eine Reparaturempfehlung umfasst.
8. Verfahren nach einem der Ansprüche 1 bis 7, mit einem Schritt zum Speichern der visuellen Darstellung des Bauteils zusammen mit der zugewiesenen Kennzeichnung in einer Datenbank, und einem Schritt zum Vergleichen eines Kamerabildes eines zu diagnostizieren den Bauteils mit der abgespeicherten visuellen Darstellung.
9. Vorrichtung (10) zum automatischen Generieren von gekennzeichneten Bilddaten von Bauteilen, mit: einer ersten Datenbank (11), die dazu ausgelegt ist, Konstruktionsdaten für ein Bauteil bereitzustellen; einer zweiten Datenbank (12), die dazu ausgelegt ist, Spezifikationen für mögliche Oberflächeneigenschaften des Bauteils bereitzustellen; einem Bilddatengenerator (20), der dazu ausgelegt ist, eine visuelle Darstellung des Bauteils unter Verwendung der durch die erste Datenbank (11) bereitgestellten Konstruktionsdaten und der durch die zweite Datenbank (12) bereitgestellten Spezifikationen für mögliche Oberflächeneigenschaften zu berechnen, und der berechneten visuellen Darstellung des Bauteils automatisch vorbestimmte Kennzeichnungen zuzuordnen.
10. Analysevorrichtung zum Überprüfung eines Bauteils, mit: einer Vorrichtung (10) zum Generieren von gekennzeichneten Bilddaten nach Anspruch 9, einem Referenzbilddatenspeicher (30), der dazu ausgelegt ist, die gekennzeichneten visuellen Darstellungen abzuspeichern; einer Auswerteeinrichtung (40), die dazu ausgelegt ist, ein Kamerabild eines zu überprüfenden Bauteils zu emp¬ fangen und das empfangene Kamerabild mit den in dem Re¬ ferenzbilddatenspeicher (30) abgespeicherten gekennzeichneten visuellen Darstellungen zu vergleichen.
11. Analysevorrichtung nach Anspruch 10, wobei bei die Auswerteeinrichtung (40) dazu ausgelegt ist, eine Übereinstimmung mindestens eines Teils des Kamerabild mit einem Teil der visuellen Darstellungen zu identifizieren und eine Kennzeich- nung auszugeben, die in der visuellen Darstellung der identifizierten Übereinstimmung zugeordnet worden ist.
12. Analysevorrichtung nach Anspruch 10 oder 11, mit einer Steuereinrichtung, die dazu ausgelegt ist, in Abhängigkeit von dem Ergebnis des Vergleichs mit den gekennzeichneten visuellen Darstellungen Steuerbefehle zu generieren und die generierten Steuerbefehle auszugeben.
13. Analysevorrichtung nach Anspruch 10 bis 12, wobei die Auswerteeinrichtung (40) dazu ausgelegt ist, den Vergleich zwischen dem Kamerabild und den abgespeicherten gekennzeichneten visuellen Darstellungen auf Basis von künstlicher Intelligenz, insbesondere auf Basis eines Convolutional Neural Network, auszuführen.
14. Regelvorrichtung nach einem der Ansprüche 10 bis 13, wobei die Analyseeinrichtung (40) eine Schnittstelle umfasst, die dazu ausgelegt ist mindestens ein Kamerabild des zu über¬ prüfenden Bauteils zu empfangen.
PCT/EP2018/070416 2017-07-28 2018-07-27 Computerimplementiertes verfahren und vorrichtung zum automatischen generieren von gekennzeichneten bilddaten und analysevorrichtung zum überprüfen eines bauteils WO2019020791A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/633,652 US11501030B2 (en) 2017-07-28 2018-07-27 Computer-implemented method and apparatus for automatically generating identified image data and analysis apparatus for checking a component
EP18753089.4A EP3635680A1 (de) 2017-07-28 2018-07-27 Computerimplementiertes verfahren und vorrichtung zum automatischen generieren von gekennzeichneten bilddaten und analysevorrichtung zum überprüfen eines bauteils

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017213060.1 2017-07-28
DE102017213060.1A DE102017213060A1 (de) 2017-07-28 2017-07-28 Computerimplementiertes Verfahren und Vorrichtung zum automatischen Generieren von gekennzeichneten Bilddaten und Analysevorrichtung zum Überprüfen eines Bauteils

Publications (1)

Publication Number Publication Date
WO2019020791A1 true WO2019020791A1 (de) 2019-01-31

Family

ID=63168376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/070416 WO2019020791A1 (de) 2017-07-28 2018-07-27 Computerimplementiertes verfahren und vorrichtung zum automatischen generieren von gekennzeichneten bilddaten und analysevorrichtung zum überprüfen eines bauteils

Country Status (4)

Country Link
US (1) US11501030B2 (de)
EP (1) EP3635680A1 (de)
DE (1) DE102017213060A1 (de)
WO (1) WO2019020791A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3916636A1 (de) * 2020-05-27 2021-12-01 Siemens Aktiengesellschaft Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210187728A1 (en) * 2018-06-19 2021-06-24 Bae Systems Plc Workbench system
US12117974B2 (en) 2020-05-29 2024-10-15 Constellation Energy Generation, Llc Methods and systems for construct identification and analysis
DE102020131607A1 (de) 2020-11-30 2022-06-02 Schaeffler Technologies AG & Co. KG Verfahren zum Bereitstellen eines Trainingsdatensatzes, Verfahren zum Betrieb einer selbstlernenden Bauteildefekt-Erkennungseinrichtung und Selbstlernende Bauteildefekt-Erkennungseinrichtung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279790A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Defect classification using cad-based context attributes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969973A (en) * 1994-11-09 1999-10-19 Amada Company, Ltd. Intelligent system for generating and executing a sheet metal bending plan
US9031317B2 (en) * 2012-09-18 2015-05-12 Seiko Epson Corporation Method and apparatus for improved training of object detecting system
CN106663229A (zh) * 2014-07-07 2017-05-10 西门子公司 用于确定用于制造产品的最优制造替代方案的方法和设备
EP3045992B1 (de) * 2015-01-14 2020-10-14 Hexagon Technology Center GmbH Kompensation von Fehlern in einem Herstellungsprozess
CN105989210B (zh) * 2015-02-27 2019-04-09 中芯国际集成电路制造(上海)有限公司 定制化虚拟图案填充方法
US20180173824A1 (en) * 2015-06-12 2018-06-21 Siemens Aktiengesellschaft A method and apparatus for performing a model-based failure analysis of a complex industrial system
US10459430B2 (en) * 2015-09-11 2019-10-29 Xerox Corporation Method and system for variable data printing in a 3D print system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279790A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Defect classification using cad-based context attributes

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3916636A1 (de) * 2020-05-27 2021-12-01 Siemens Aktiengesellschaft Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen
WO2021239476A1 (de) * 2020-05-27 2021-12-02 Siemens Aktiengesellschaft Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen
US11756189B2 (en) 2020-05-27 2023-09-12 Siemens Aktiengesellschaft Method and systems for providing synthetic labeled training datasets and applications thereof

Also Published As

Publication number Publication date
US20200167510A1 (en) 2020-05-28
DE102017213060A1 (de) 2019-01-31
EP3635680A1 (de) 2020-04-15
US11501030B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
WO2019020791A1 (de) Computerimplementiertes verfahren und vorrichtung zum automatischen generieren von gekennzeichneten bilddaten und analysevorrichtung zum überprüfen eines bauteils
DE102017108169B4 (de) Produktionssystem, das einen Bestimmungswert einer Variablen in Bezug auf eine Produktabweichung festlegt
DE102012219187B4 (de) System zur binären Klassifikation von interessierenden Elementen in einem reproduzierbaren Prozess
DE102018129425B4 (de) System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
EP3671632B1 (de) Bildbasierte wartungsvorhersage und detektion von fehlbedienungen
DE102018128158A1 (de) Vorrichtung zur inspektion des erscheinungsbilds
DE102021114967A1 (de) Werkstückinspektions- und fehlererkennungssystem, das die anzahl der fehlerbilder für das training angibt
EP3768902A1 (de) Verfahren und vorrichtung zum warten und/oder reparieren einer baumaschine
DE102019113830A1 (de) Informationsverarbeitungsverfahren, Informationsverarbeitungsgerät und Programm
EP3767403B1 (de) Machine-learning gestützte form- und oberflächenmessung zur produktionsüberwachung
EP4072808B1 (de) Computergestütztes verfahren und einrichtung zur prüfung einer sichtbetonqualität
DE102019120696A1 (de) Vorrichtung und Verfahren zur Reifenprüfung
WO2022167022A1 (de) Verfahren zum prüfen eines bauteils einer strömungsmaschine
DE102021105695A1 (de) System und verfahren zur bewertung der unversehrtheit von punktschweissungen
EP3904827A1 (de) Dynamische routenplanung einer drohnenbasierten überprüfung von streckeneinrichtungen einer strecke
DE102018112910B4 (de) Herstellungsverfahren für eine Antriebseinrichtung und Prüfeinrichtung
EP3627568B1 (de) Verfahren zur verarbeitung von abbildungen von halbleiterstrukturen, sowie zur prozesscharakterisierung und prozessoptimierung mittels semantischer datenkompression
Pechenin et al. Neural network model of machine parts classification by optical scanning results
DE102020213694A1 (de) Automatisierte Bewertung von verwendeten Schrauben
DE102020204983A1 (de) System zum Bereitstellen von trainierten KI-Modellen für verschiedene Anwendungen
DE102018128640A1 (de) Vorrichtung zur Einschätzung einer Rauscherzeugungsursache
DE112021005038T5 (de) Modellerzeugungsvorrichtung für die sichtprüfung und sichtprüfungsvorrichtung
DE102018109816B3 (de) Verfahren zur Gewinnung mindestens eines signifikanten Merkmals in einer Serie von Bauteilen gleichen Typs und Verfahren zur Klassifikation eines Bauteils eienr solchen Serie
DE112021005018T5 (de) Modellerstellungsvorrichtung für sichtprüfung und sichtprüfgerät
DE112022005358T5 (de) System zum Trainieren eines Deep-Learning-Algorithmus und zugehöriges Verfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18753089

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018753089

Country of ref document: EP

Effective date: 20200107

NENP Non-entry into the national phase

Ref country code: DE