WO2022248171A1 - Verfahren zur qualitätssicherung eines systems - Google Patents

Verfahren zur qualitätssicherung eines systems Download PDF

Info

Publication number
WO2022248171A1
WO2022248171A1 PCT/EP2022/061830 EP2022061830W WO2022248171A1 WO 2022248171 A1 WO2022248171 A1 WO 2022248171A1 EP 2022061830 W EP2022061830 W EP 2022061830W WO 2022248171 A1 WO2022248171 A1 WO 2022248171A1
Authority
WO
WIPO (PCT)
Prior art keywords
examples
quality
input space
determined
procedure
Prior art date
Application number
PCT/EP2022/061830
Other languages
English (en)
French (fr)
Inventor
Thomas Waschulzik
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102021207613.0A external-priority patent/DE102021207613A1/de
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to EP22726752.3A priority Critical patent/EP4323862A1/de
Publication of WO2022248171A1 publication Critical patent/WO2022248171A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/10—Requirements analysis; Specification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the invention relates to a method for quality assurance of a system which has an example-based subsystem.
  • Example-based systems such as artificial neural networks, are known in principle. These are generally used in areas where a direct algorithmic solution does not exist or cannot be adequately created using conventional software methods. Using example-based systems, it is possible to create and train a task based on a number of examples. The learned task can be applied to a number of other examples.
  • this object is achieved by a method for quality assurance of a system which has an example-based subsystem.
  • the example-based subsystem is based on collected examples, which form an example set, created and trained.
  • the quality assurance of the system is based on a procedural model, which represents a plan for the procedure for the quality assurance of the system.
  • the quality assurance of the example-based subsystem is based on a quality assessment, which is determined on the basis of the example quantity.
  • the invention is based on the knowledge that example-based subsystems, such as neural networks, are often viewed as black boxes.
  • example-based subsystems such as neural networks
  • the internal information processing is not analyzed and the generation of a comprehensible model is not necessary.
  • the subsystem is not verified by an inspection. This leads to reservations when using example-based subsystems in tasks with high criticality.
  • the invention is also based on the knowledge that when recording examples for creating and training the example-based subsystem, it is often unknown how many examples have to be recorded in which areas of the input space in order to create a suitable knowledge base.
  • a further essential finding of the invention is that the use of example-based subsystems for safety-related applications is desirable and is currently being promoted with great success. Since the quality assurance of the created system cannot be guaranteed satisfactorily, some of these systems cannot be approved for use.
  • the solution according to the invention solves these problems by quality assurance of the system using a process model that represents a plan for the procedure for quality assurance of the system, and quality assurance of the example-based subsystem using a quality assessment, which is based on the example set is determined, takes place.
  • the quality assurance of the system based on the process model is carried out by the quality assurance of the example-based sub-system based on the quality assessment appropriately supplemented in such a way that the system can be used for safety-related applications.
  • the quality assessment is used to ensure the quality of the example-based part of the overall system.
  • the example-based subsystem is preferably intended for use in a safety-related function of the system.
  • safety-related function to mean a function of a system which is safety-relevant, i.e. the behavior of which has an influence on the safety of the environment around the system.
  • safety is to be understood in the sense of so-called safety .
  • safety is the goal of protecting the environment of a system from dangers that emanate from the system.
  • security is to protect the system from dangers that come from the environment of the system go out, referred to as "security”.
  • the respective example of the example set includes an input value which is in an input space.
  • the local environment of an example in the input space is used for a decision about the application of the example-based subsystem or the control of the development process.
  • the local environment is preferably the area surrounding the example in the input space, which has a predetermined distance, for example, which is smaller than a defined distance value.
  • a weighting for the application of a plurality of example-based subsystems is made depending on the density of the examples in a local environment of the input space of an example.
  • several subsystems (knowledge bases) are combined with one another in a suitable manner by weighting.
  • the following example is intended to illustrate this idea:
  • a first example-based subsystem is used to recognize objects using image information from an infrared camera.
  • a second example-based subsystem is used to recognize objects based on image information from a camera in the visible range.
  • the example is represented by a specific characteristic of a feature vector.
  • a single entry of the feature vector is an example feature, which represents a property of an example.
  • modularization is possible in which a subset of the features of an example is used to create one of the plurality of example-based subsystems (knowledge bases).
  • a further subset of the features is used, for example, to create a further subsystem of the plurality of example-based subsystems.
  • a first subset of the features can come from the infrared camera and a second subset of the features can come from the camera in the visible range.
  • the features of the second subset are used to create the subsystem.
  • a combination of the first and second subsets is used to create the further subsystem.
  • the decision is made about the selection of the application of an example-based subsystem from a plurality of alternative example-based subsystems.
  • the selection of the application of an example-based subsystem from a plurality of example-based subsystems is preferably to be understood as a special case of weighting:
  • this selected subsystem receives a weight of 1 and the non-selected subsystem receives a weight of 0.
  • the decision is made that an example-based subsystem is not used if the number of examples that are present in the local environment of the example is less than a predetermined value.
  • an instance-based subsystem is applied when the number of instances that are local to the instance is greater than a given value.
  • a process parameter which represents the trustworthiness of the competence of the example-based subsystem, is set depending on the local environment of the example.
  • the respective example includes an output value that is in an output space.
  • a local complexity assessment is determined for the respective environmental area, which represents a complexity of a task of the example-based system defined by the examples of the environmental area.
  • the local complexity rating is determined by the relative position of the examples of the surrounding area to each other in the input space and output space.
  • the person skilled in the art understands the phrase "relative position of the examples of the surrounding area to each other in the input space and output space" to mean that the complexity assessment is defined based on the consideration of the similarity of the distances of the examples in the input space to the distances in the output space.
  • the tasks - Setting up the example-based system has a comparatively small complexity if the distances in the input space (apart from the scaling) roughly correspond to the distances in the output space.
  • the complexity assessment corresponds, for example, to the quality indicators described in section 4 (QUEEN quality indicators) of WASCHULZIK. These quality indicators can be defined and used for the representation or coding of the features (cf. section 4.5 of WASCHULZIK).
  • the process parameter which represents the trustworthiness of the competence of the example-based subsystem, is preferably determined not only as a function of the local environment of the example, but also as a function of the local complexity assessment. For example, a high level of competence of the example-based subsystem can be assumed if the local environment of the example includes a large number of examples and the local complexity is low at the same time.
  • a complexity distribution is determined using a histogram representation of the complexity assessment.
  • the value range of the complexity assessments for the histogram representation is preferably binned (ie divided into areas).
  • the complexity distribution is determined over k nearest neighbors of an example in the input space. This is a way of determining how complexity is distributed for the local environment of an example.
  • the characteristic of the complexity in the local environment of the example is determined and, so to speak, a fingerprint of the local environment of the example is determined with regard to complexity. If the number of examples in the area under consideration is increased (ie examples are added), the result can be that the area under consideration in the input space is automatically adjusted.
  • complexity is reduced in the local environment of the examples.
  • One reason for this is that - if it is a functional connection - then more examples will be found in the environment in the input space that have a similar output.
  • the "binned" values are plotted on the y-axis and the representation of increasing k (the k-nearest neighbors) is plotted on the x-axis.
  • the number of values of the complexity assessment is stored for the calculated histogram field (complexity assessment binned, k). More preferably, an item of identification information (for example a number) that describes the example in whose environment the complexity distribution was determined is also stored.
  • the decision is made that an example-based subsystem is not used because the complexity assessment in the local environment of the input space for the required quality of the application of the example-based subsystem is greater than a specified value.
  • the weighting for the use of a set of sample sets is made depending on the local complexity in the local environment of the input space.
  • the decision is based on a specific number of nearest neighbors to an example, the number of examples that are at a defined normalized distance from the example under consideration, and/or a quality indicator in one subspace of the input space, which is determined for a relevant subset of the subspaces of the input space.
  • Relevant subspaces of the input space can be, for example, all subspaces of the input space defined by a criterion, or all subspaces for which a sufficient number of examples is available or which are relevant for the application based on other criteria.
  • Examples of a criterion are given below: - There are fewer than m examples at a smaller distance than z to the example under consideration. - The mean distance of the next m examples is smaller than z. - The complexity of the mapping described by the m nearest neighbors is greater than w. - The complexity of the examples lying at a normalized distance smaller than d is smaller than the value r of the quality indicator Q. The normalization of the distance can be determined on the basis of the examples recorded so far (see eg the calculation of the normalized distance in QI 2 ).
  • a special feature is the determination of the local complexity on the basis of the quality indicators defined in WASCHULZIK.
  • determining the quality assessment includes: distributing representatives in the input space and assigning a number of examples of the example set to the respective representative.
  • the examples associated with the representative lie in a surrounding area of the input space that surrounds the representative.
  • a local quality assessment for the surrounding area is determined as the quality assessment.
  • example data sets are determined within the surrounding areas that are assigned to the representatives.
  • the local quality ratings are calculated for each of these sample data sets.
  • the representative is preferably a proxy example.
  • the distribution is preferably an equal distribution.
  • a grid becomes an arrangement selected from the representative examples.
  • the grid can be set individually for each dimension of the input space.
  • a criterion for defining the grid for example in the case of quantitative variables, can be a model of target properties of the example distribution in the input space, which is provided on the basis of the requirements for the example-based system.
  • the grid can have a hierarchical structure, for example in order to depict hierarchical coding.
  • one or more proxy examples are distributed in each hypercube in the input space of the grid.
  • the representative is a center of a cluster, which is determined using a cluster method.
  • the cluster method is preferably used to determine the position and to determine the extent of the respective cluster in the input space. More preferably, the cluster method is carried out taking into account output values of the examples that are in an output space.
  • the clusters can be determined based on property requirements of the example-based system or based on a subset of example data. In the application of the example-based system, for example, a number of examples can be recorded in an early phase, which are selected on the basis of knowledge to meet the requirements. This distribution of sample data is then quality assured. In a subsequent project phase, further examples can be recorded with the same distribution.
  • each example of the quality-assured set of examples represents a representative for the following phase of recording the examples. This ensures that an additional quality-assured set of examples is recorded for each initial example.
  • the position of the representative can be determined by the cluster center, for example.
  • a hierarchical cluster method can be used, in which per cluster and one representative is inserted per hierarchical level and in which each example per hierarchical level is assigned to a cluster and consequently to a representative.
  • the number of examples available for the calculation of the quality assessment is then assigned to the clusters and consequently to the representative using a specified metric. For an example that cannot be assigned to a cluster, a new cluster with one representative is preferably created. Alternatively, this example, together with other examples that could not be assigned to a cluster, is recorded separately by a quality assessment.
  • the examples are not assigned to a representative in full, but only to a predetermined extent. This can result, for example, from the fact that a cluster algorithm is used that provides a partial assignment of the examples to the example data sets (for example, a percentage assignment to a number of surrounding areas, with the sum of the shares being 1).
  • the quality assessment is preferably determined based on the number of examples assigned to the respective representative or based on other characteristics. This is particularly advantageous if the specific examples are no longer used in the further course.
  • the specific examples or a reference to the examples are stored in the representative (transformation of the example data set into a structure oriented to the topography of the input space). This is advantageous if the specific examples are required later.
  • the representatives can be stored using balanced trees, such as B-trees (https://de.wikipedia.org/wiki/B-Baum) or R-trees (https://de.wikipedia. org/wiki/R-Baum) or Generalized Search Trees (https://en.wikipedia.org/wiki/GiST).
  • B-trees https://de.wikipedia.org/wiki/B-Baum
  • R-trees https://de.wikipedia. org/wiki/R-Baum
  • Generalized Search Trees https://en.wikipedia.org/wiki/GiST.
  • the storage space required for the processing is further preferably reduced in that the representatives are only stored if there is at least one example in the respective surrounding area.
  • the density of the representatives is dynamically increased until a homogeneous complexity is reached and a sufficient number of examples are in the vicinity of the representatives.
  • the quality assessment includes a statistical means which is based on the local environment and/or using the representative of the type described above, to which the example under consideration is assigned according to its position in the input space.
  • a histogram of the number of examples assigned to a representative is created as a statistical mean.
  • a statistical measure in particular a mean value, median, minimum, maximum and/or quantile of the number of examples assigned to a representative, is determined as the statistical mean.
  • the integrated quality indicator QI 2 according to section 4.6 of WASCHULZIK is used as a quality indicator for the representations, which can be defined as follows on the basis of formula 4.21: where according to formula 4.18 of WASCHULZIK: the normalized distance of the represented inputs (NRE) and is the Normalized Range of Represented Expenditure (NRA).
  • NRE normalized distance of the represented inputs
  • NDA Normalized Range of Represented Expenditure
  • x is the pair (x 1 ,x 2 ,) consisting of the two examples x 1 and x 2 .
  • x 1 and x 2 are examples from the example set P .
  • BAG is a multiset (called multiset or bag in English) as defined in specification 21.5 on page 27 of the WASCHULZIK Annex.
  • the QAG task is defined in Definition 3.1 on page 23 by WASCHULZIK and is referred to there as the QUEEN task.
  • d RE (x) is an abbreviation for the distance in the input space d re (vep x1 , vep x2 ) and d RA (x) is an abbreviation for the distance in the output space dra (vap x1 , vap x2 ).
  • the definition of the distance between the representation of two examples according to WASCHULZIK is based on the Euclidean norm. So the distance in the input space is defined as (see Formula 4.3 by WASCHULZIK):
  • an aggregated complexity rating is determined by aggregating the local complexity ratings.
  • the aggregated complexity assessment has the advantage that a developer of the example-based system can easily carry out his quality assurance.
  • a histogram of the complexity in the different surrounding areas of the input space is created as an aggregated complexity assessment.
  • the value range of the complexity assessments is binned (ie divided into areas).
  • This histogram is preferably combined with information about the number of examples, for example also in a histogram about the number of examples assigned to the representative. More preferably, information about the representatives is stored in the histogram so that it can be accessed in the case of detailed analyses.
  • the aggregated complexity assessment is used to identify surrounding areas whose complexity assessment falls below a predefined complexity threshold value.
  • the task of the example-based system is implemented by an algorithmic solution. This is particularly advantageous for applications with high quality requirements, for example with safety-related functions.
  • a search is preferably also made for data collection artefacts which result in a connection between input and output that are given by special circumstances of the data collection, but none represent a context that can be used in practice (as known, for example, from the so-called Kluger-Hans effect: https://de.wikipedia.org/wiki/Kluger_Hans).
  • the examples are analyzed to determine whether, for example, problems have arisen in collecting and recording the examples.
  • the complexity assessment is based on a comparison of the examples of the set of examples with one another and a quantity classification of the examples compared with one another.
  • P is the sample set and P 2 is the set of sample pairs that can be formed from P.
  • d RE (x) is the distance between the examples X 1 , X 2 in the input space
  • d RA (x) is the distance between the examples X 1 , X 2 in the output space.
  • Two examples have similar input feature values when the input space distance d RE (x) is less than the given input delta ⁇ in .
  • Two examples have similar output feature values when the output space distance d RA (x) is less than the predetermined output delta ⁇ out .
  • the input space is divided up hierarchically on the basis of the quality assessment.
  • a hierarchical mapping of the input space is preferably achieved by the hierarchical division of the input space.
  • the hierarchy is more preferably from the Representation or coding of the input feature and/or derived from the analysis of the complexity of the task.
  • a new hierarchy level is introduced by adding a new subdivision with a higher resolution in the representative's area.
  • the procedure can be iterated by adding a further hierarchical level in the high-resolution area with renewed local complexity. This allows the resolution to be dynamically adapted to the respective task.
  • the example-based system is provided for use in a safety-related function, the safety-related function being an object detection based on sensor data, in which the object is detected using the example-based system will include .
  • the object recognition is used in the automated operation of a vehicle, in particular a track-bound vehicle, a motor vehicle, an airplane, a watercraft and/or a spacecraft.
  • Object recognition during automated operation of a vehicle is a particularly expedient implementation of a safety-related function.
  • the object recognition is required to z. B. to recognize obstacles on the road or to analyze traffic situations with regard to the right of way for road users.
  • the motor vehicle is, for example, a motor vehicle, e.g. B. a passenger car (PKW), a truck (LKW) or a tracked vehicle.
  • the watercraft is, for example, a ship or submarine.
  • the vehicle can be manned or unmanned.
  • An example of an area of application is the autonomous or automated driving of a rail vehicle.
  • object recognition systems are used to analyze scenes that are digitized with sensors. This scene analysis is necessary to e.g. B. to recognize obstacles on the road or to analyze traffic situations with regard to the right of way of road users.
  • Systems based on the use of examples, with which parameters of the pattern recognition system are trained, are currently being used particularly successfully for recognizing the objects. Examples are neural networks, e.g. B. with deep learning algorithms.
  • the example-based system is intended for use in a safety-related function, with the safety-related function including a classification based on sensor data from organisms.
  • the tissue classification of animal or human tissue is a particularly expedient embodiment of a safety-oriented function in the field of medical image processing.
  • the organisms include, for example, Archaea (protobacteria), Bacteria (true bacteria) and Eukarya (nucleated) or from tissue of Protista (also Protoctista, founder), Plantae (plants), Fungi (mushrooms, chitinous fungi) and Ani - malia (animals).
  • the example-based system comprises a system with supervised learning, a system that is constructed using statistical methods, preferably an artificial neural network with one or more layers of neurons that are not input neurons or are output neurons and are trained with backpropagation, in particular a convolutional neural network, in particular a single-shot multi-box detector network.
  • the one or more layers of neurons that are not input neurons or output neurons are often referred to professionally as “hidden” neurons.
  • the training of neural networks with many levels of hidden neurons is also often professionally referred to as deep- Learning.
  • a special type of deep learning networks for pattern recognition are the so-called Convolutional Neural Networks (CNNs).
  • CNNs Convolutional Neural Networks
  • SSD networks Single Shot MultiBox Detector networks.
  • Single Shot MultiBox Detector to be a method for object recognition using the deep learning approach, which is based on a convolutional neural network and is described in: Liu, Wei (October 2016).
  • SSD Single-shot multibox detector. Europe Conference on Computer Vision. Lecture Notes in Computer Science. 9905. pp. 21-37. arXiv:1512.02325
  • the procedure for the quality assurance of the system takes place in accordance with the procedure for the V-model for carrying out a development process.
  • the procedure model is the V model for carrying out a development process.
  • V-model for carrying out a development process means the V-model described at https://de.wikipedia.org/wiki/V-Modell.
  • the activities of the procedure mapped onto the V-model i.e. the quality assurance described above is applied to the different steps of the V-model.
  • the example-based part of the system is defined in a first step of the procedure. In other words: It is determined which elements of the system are designed as an example-based subsystem.
  • subtasks of the system can be meaningfully processed using an example-based system, such as an artificial neural network.
  • the collection of the examples is specified in a further step of the procedure.
  • safety requirements and a safe state of the system are defined in a further step of the procedure.
  • the safe state is preferably defined based on requirements that must be met in order for the system to be classified as being in the safe state.
  • This further step is preferably to be assigned to the step of "system requirements analysis” (cf. https://de.wikipedia.org/wiki/V-Modell) or English “Specification of System Requirements", which is part of the procedure the V model.
  • the quality assurance for the examples is preferably defined in such a way that the quality assessment to be used, which should be the basis for the quality assurance of the example-based subsystem, is selected or determined automatically.
  • the quality assessment described above which represents the coverage of the input space by examples, is used for the initial quality assurance (for example as mapping of the input space).
  • the complexity assessment described above can also be used as a quality assessment for quality assurance.
  • a modularization of the overall task to be solved by the subsystem a transformation of the examples, a representation of the examples, a coding of the examples and a network structure of an artificial neural network of the example-based subsystem fixed.
  • the modularization of the overall task to be solved by the subsystem is preferably to be understood as meaning that the overall task that is to be solved by the example-based subsystem is divided into subtasks.
  • the division into sub-tasks is modular, i.e. there is a possible composition of the sub-tasks that represents the overall task.
  • the modularization of the sub-tasks means, for example, that the artificial neural networks of the example-based sub-system are divided into sub-networks.
  • subtasks can be solved or processed via a symbolic or conventional implementation, while other subtasks are solved or processed via an artificial neural network.
  • HQPN Hierarchical QUEEN Perceptron Network
  • the representations are, for example, geographic representations such as GPS coordinates, postcodes, etc.
  • the modules are, for example, sub-networks of an artificial neural network.
  • This further step should preferably be assigned to the "Software Draft” step (cf. https://de.wikipedia.org/wiki/V-Modell) or English “Design and Implementation", which is part of the procedure for the V -Model done.
  • This further step is preferably to be assigned to the step of creating the system (English: "manufacture"), which takes place as part of the procedure for the V-model.
  • a secure area of the input space is determined using the quality assessment and the artificial neural network is used exclusively in the secure area.
  • an area of the input space is selected as a secured area in which a sufficient number of examples has been recorded or in which the complexity assessment in terms of the security requirements is comparatively small.
  • the modules are integrated taking into account knowledge about a secured area, the knowledge being gained on the basis of the quality assessment.
  • This further step is preferably to be assigned to the "system integration” step (cf. https://de.wikipedia.org/wiki/V-Modell) or "Integration" in English, which takes place as part of the procedure for the V-model.
  • the knowledge about the local security of the information in the example set is taken into account.
  • the trail of an example is followed by monitoring the neurons of the artificial neural network excited by the example.
  • the monitoring of the excited neurons takes place, for example, on the basis of an assignment of the one to be processed example to a part of the input space.
  • the neurons that are excited when the example is presented can be monitored.
  • the trace of the example can be followed through to the output via the connections between the neurons.
  • the example-based subsystem is validated using a set of validation examples that includes independent validation examples.
  • independent validation examples to mean a set of examples that is independent of previously recorded examples.
  • This further step should preferably be assigned to the “system validation” step, which takes place as part of the procedure for the V model.
  • a trained example-based subsystem is preferably validated using a validation example set. Accordingly, the training example set forms a first example set, which includes a plurality of examples, and the validation example set forms a second example set, which includes a plurality of examples.
  • a first quality assessment is preferably determined for the first example sentence and a second quality assessment is preferably determined for the second example sentence. The first quality assessment and the second quality assessment are preferably compared with one another.
  • a third example sentence is formed from the first and second example sentence and a third quality assessment is determined for the third example sentence. Furthermore, the first quality assessment, the second quality assessment and the third quality assessment are compared. The third example sentence represents, so to speak, the union of the first and second example sentences.
  • An example of the application of the third example sentence is a constellation in which the second example sentence (namely the validation example set) is collected given knowledge that one has gained from the first example sentence (training example set).
  • Application examples which are recorded when using the example-based subsystem, are assigned to a second example sentence and a first quality assessment, which is determined using the first example sentence, and a second quality assessment, which is determined using the second example sentence, are compared with one another .
  • the further step of the procedure takes place, for example, in a loop in development or in the step of "operation, maintenance and performance monitoring".
  • the examples recorded within the framework of the application of the system are collected in a set of examples (application examples).
  • This sample set is compared to the sample set (build samples) used to build the system.
  • the comparison of the complexity assessment of the application examples with the complexity assessment of the creation examples can be carried out over a period of operation and a drift in the complexity assessment can be identified.
  • Creation examples which are recorded for the creation of the example-based subsystem, are assigned to a first example sentence, further examples, which are generated by the example-based subsystem using input values distributed in the input space, are assigned to a second example sentence, and a first quality assessment, which is determined using the first example sentence, and a second quality assessment, which is determined using the second example sentence, are compared with one another.
  • the training example set or a subset thereof forms a first example sentence, which comprises a plurality of examples.
  • a first quality score is determined for the first sample sentence.
  • a second example set is determined through the application of the trained example-based subsystem (e.g., the neural network). For this purpose, input values (measuring points) can be randomly or systematically distributed in the input space.
  • An output vector is determined for each input vector by the example-based subsystem.
  • the second example sentence is formed on the basis of these examples generated by the example-based subsystem.
  • a second quality rating is then determined for this second sample sentence.
  • the first and second sample sentences are compared based on the first and second quality scores.
  • a third example sentence which forms the union of the first and second example sentence, is formed from the first and second example sentence and a third quality assessment is determined for the third example sentence. Furthermore, the first quality assessment, the second quality assessment and the third quality assessment are compared. For example, if there are areas in space where there is increased local complexity (based on the third quality assessment) in the union set, it can be concluded that the example-based subsystem is poorly generalized. These areas are identified and action is taken to resolve the issue. This can be done, for example, by changing the parameters of the neural network used (e.g. correcting the number of degrees of freedom in the poor-quality area of the input space), by recording further examples, by changing the training parameters or by Insertion of regularization terms can be achieved.
  • the parameters of the neural network used e.g. correcting the number of degrees of freedom in the poor-quality area of the input space
  • the invention also relates to a computer program, comprising instructions which, when the program is executed by a computing unit, cause the computing unit to carry out the method of the type described above.
  • the invention also relates to a computer-readable storage medium, comprising instructions which, when executed by a computing unit, cause the computing unit to carry out the method of the type described above.
  • FIG. 1 shows a schematic of the sequence of an exemplary embodiment of a method according to the invention
  • Figure 2 shows a schematic of the structure of an example-based system with unsupervised learning
  • FIG. 3 shows a schematic of the structure of an example-based system with monitored learning according to the exemplary embodiment of the method according to the invention
  • FIG. 4 shows schematically the course of a procedure for quality assurance of a system according to an exemplary embodiment of the method according to the invention
  • FIG. 5 shows a schematic of a two-dimensional input space according to the exemplary embodiment of the method according to the invention
  • FIG. 6 shows a schematic side view of a track-bound vehicle located on a route
  • FIG. 7 a hierarchical division of the input space
  • FIG. 8 schematically shows a further example of a two-dimensional input space according to a further exemplary embodiment of the method according to the invention
  • FIG. 9 two axis diagrams which represent the application of the complexity assessment to a first synthetic function
  • FIG. 10 two axis diagrams which represent the application of the complexity evaluation to a second synthetic function
  • FIG. 11 shows two axis diagrams which represent the application of the complexity evaluation to a third synthetic function.
  • Figure 1 shows a schematic flow chart showing the sequence of an embodiment of an inventive Procedure for quality assurance of a system.
  • FIG. 6 shows an exemplary embodiment of a system in the form of a track-bound vehicle 40.
  • the system has an example-based subsystem 46.
  • the method can be applied to example-based subsystems with supervised and unsupervised learning.
  • supervised learning the goal is to learn a function that maps data x (as input values) to a label y.
  • An example of supervised learning is classification, where, for example, image data x is assigned to a class y (e.g.
  • unsupervised learning the goal is to learn a structure of data x (without using a label y).
  • An example of unsupervised learning is clustering, in which groups within the data are to be found that show similarities in a certain metric.
  • Further examples of unsupervised learning are dimensionality reduction or the learning of features (so-called feature learning or representation learning), etc.
  • FIGS. 2 and 3 show exemplary embodiments of example-based subsystems 1.
  • FIG. 2 shows schematically the structure of an exemplary embodiment of an example-based subsystem 1, which is designed as an autoencoder.
  • Autoencoders are a type of artificial neural networks 2 that can be used to efficiently encode data and learn this ability in an unsupervised manner.
  • the autoencoder maps the input values x onto a feature vector Z.
  • FIG. 3 schematically shows the structure of an exemplary embodiment of an example-based subsystem 1 with supervised learning, which is designed as a multi-layer perceptron.
  • Further examples of subsystems with supervised learning can be a recurrent neural network, a convolutional neural network or, in particular, a so-called single-shot multi-box detector network.
  • the example-based subsystem 1 is formed by an artificial neural network 2 which has a layer 4 of input neurons 5 and a layer 6 of output neurons 7 .
  • the artificial neural network 2 shown in FIG. 3 has several layers 8 of neurons 9 that are not input neurons 5 or output neurons 7 .
  • the example-based subsystem and the method according to the invention are implemented using one or more computer programs.
  • the computer program includes instructions which, when the program is executed by a computing unit, cause the computing unit to carry out the method according to the exemplary embodiment shown in FIG.
  • the computer program is stored on a computer-readable storage medium.
  • the example-based subsystem is used in a safety-related function of a system.
  • the behavior of the function therefore influences the safety of the system's environment.
  • An example of a safety-related function is object recognition based on image recognition, in which the object is recognized using the example-based subsystem 1 (with supervised learning).
  • Object recognition is used, for example, in automated operation of a vehicle, in particular a track-bound vehicle 40 shown in FIG. 6, a motor vehicle, an airplane, a watercraft or a spacecraft.
  • Another example of a safety-related function is a classification based on sensor data from organisms, e.g. B. from Archaea (protobacteria), Bacteria (true bacteria) and Eukarya (nucleated) or from tissue of Protista (also Protoctista, founder), Plantae (plants),
  • Fungi (mushrooms, chitin fungi) and Animalia (animals), safe control of industrial plants, classification of chemical substances, classification of vehicle signatures or control in the field of industrial automation.
  • the exemplary embodiment of the method according to the invention is described below using a track-bound vehicle 40 as the system on which the quality assurance is to be carried out.
  • the method according to the invention can of course be applied to alternative systems, such as a system consisting of a fleet of track-bound vehicles and an environment of the fleet (infrastructure).
  • the quality assurance of the example-based subsystem 46 takes place according to the method according to the invention using a procedure model, which represents a plan for the procedure for the quality assurance of the system.
  • the procedure model used is the V-model 301 shown in FIG. Model described V model.
  • the example-based part of the system 1 is defined according to a first step of the procedure.
  • it is determined which elements of the track-bound vehicle 40 shown in FIG. 6 are designed or implemented as an example-based subsystem 46 .
  • an element of object recognition is implemented as an example-based subsystem 46 .
  • the collection of the examples is specified. For example, it is specified how many examples are to be collected, how the examples are to be collected, which features are to be characterized, which examples are divided into a training data set and/or a test data set.
  • the validation for example, is specified.
  • the respective example has an input value 12, which is in an input space, and an output value 14, which is in an output space.
  • object recognition (as one of several possible examples of a safety-related function with supervised learning) for automated operation of the track-bound vehicle 40 shown in FIG images.
  • the camera unit 42 is aligned in the direction of travel 41 in such a way that a spatial region 43 lying ahead in the direction of travel 41 is captured by the camera unit.
  • the track-bound vehicle 40 drives with the camera unit 42 in the direction of travel 41 along a route 44.
  • scenes that are relevant for the creation and training of the example-based system 1 for object recognition are simulated.
  • cardboard figures, crash test dummies or actors 45 are used to represent people on route 44 who are to be recognized by means of example-based system 1 to be created and trained.
  • scenes can be recreated using what is known as virtual reality.
  • safety requirements and a safe state of the system are defined.
  • the safe state is defined based on requirements that must be met in order for the System can be classified as being in the safe state.
  • step DD the quality assurance for the examples is defined, the examples are collected and an initial quality assurance of the examples is carried out.
  • This further step is to be assigned to the step of "system requirements analysis” (cf. https://de.wikipedia.org/wiki/V-Modell) or English "Specification of System Requirements", which is part of the procedure for the V model takes place.
  • the quality assessment to be used which should form the basis for the quality assurance of the example-based subsystem 46, can be selected by a user or determined automatically.
  • a quality assessment which represents the coverage of the input space by examples, is used for the initial quality assurance.
  • the complexity assessment described above is used as a quality assessment for quality assurance.
  • a quality assessment which represents a coverage of the input space by examples of the example set.
  • representatives are distributed in the input space in a method step C1.
  • FIG. 5 shows a two-dimensional input space 20 as an example. In the actual application of the method according to the invention, the input space and output space will often have a higher dimensionality.
  • the examples 22 of the example set are shown as crosshairs 23 in FIG.
  • the representatives 24 are evenly distributed and are shown as crossing points 25 of the grid 26 shown.
  • a number of examples 29 of the set of examples is assigned to a respective representative 28 .
  • the examples 29 assigned to the representative 28 lie in a surrounding area 30 of the input space 20 which surrounds the respective representative 28 .
  • the surrounding area 30 is shown as an example in FIG. 3 as a dotted area.
  • a local quality assessment for the surrounding area 30 is determined as a quality assessment in a method step C3.
  • neighboring areas 32-36 are determined in the input space, whose respective representatives are assigned a number of examples that falls below a predetermined quality threshold value.
  • these surrounding areas 32-36 are shown as areas with diagonal stripes.
  • the surrounding areas 32-36 are areas in which there is no example.
  • a context region 38 is determined within the input space 20, which consists of the neighboring surrounding regions 32-36, whose representatives are each assigned a number of examples that falls below a predetermined quality threshold value. This determines the position and size of areas of the input space 20 in which too few examples have been recorded. In other words: partial areas of the input space 20 are identified in which the example values do not provide an adequate basis for a safety-critical application.
  • Corrective action can be taken on the basis of the identification:
  • a method step D further examples are recorded in a respective surrounding area if the quality assessment determined for the respective surrounding area is less than a predefined quality threshold value.
  • a local complexity assessment is determined for the respective surrounding area, which represents a complexity of a task of the example-based system defined by the examples of the surrounding area.
  • the local complexity evaluation is determined according to a method step E1 by the relative position of the examples of the surrounding area to one another in the input space 20 and the output space. That is, the complexity score is defined based on considering the similarity of the distances of the examples in the input space 20 to the distances in the output space.
  • the task of the example-based system has a comparatively low level of complexity if the distances in the input space 20 (apart from the scaling) roughly correspond to the distances in the output space.
  • the complexity assessment is used to determine areas in which a comparatively high number of examples must be recorded due to the high complexity of the task of the example-based system. For example, in areas of the input space 20 in which there is a higher level of complexity, the density of the representatives is dynamically increased until a homogeneous level of complexity is reached.
  • a new hierarchical level can be introduced (as described by way of example in relation to FIG. 7 below).
  • the complexity assessment corresponds to the quality indicators described in section 4 (QUEEN quality indicators) of WASCHULZIK. These quality indicators can be defined and used both for the representation and for the coding of the characteristics (cf. section 4.5 of WASCHULZIK). An example of this quality indicator for the representations is the integrated quality indicator QI 2 according to section 4.6 of WASCHULZIK.
  • an aggregated complexity rating is determined by aggregating the local complexity rating: for example, a histogram of the complexity in the is used as the aggregated complexity rating different environmental areas of the input space.
  • the range of values of the complexity assessments is binned (ie subdivided into ranges). Only the number of surrounding areas with the corresponding complexity are included in the bins if the positions of the surrounding areas are no longer required.
  • This histogram is combined with information about the number of examples, for example also in a histogram about the number of examples assigned to the representative. More preferably, information about the representatives is stored in the histogram so that it can be accessed for detailed analyses.
  • the complexity assessment can be used in a method step F to determine whether an appropriate number of examples have been recorded in all areas. If an area is identified in which too many low-complexity examples have been captured, examples can be removed from that area. This reduction in the number of examples reduces the memory requirement and the costs for the calculations, e.g. for the quality assurance measures based on the sample data set. If an area is identified in which too few examples have been recorded (e.g. because the complexity is comparatively high), further examples may have to be recorded in this area. The latter case often occurs in the areas in which a new hierarchical level has been introduced (as is described below in relation to FIG. 7, for example). After further examples have been recorded, a quality assurance loop (according to process steps C to E) is run through until all desired quality requirements are met.
  • a method step G On the basis of the aggregated complexity assessment, in a method step G, surrounding areas are identified whose complexity assessment falls below a predetermined complexity threshold value.
  • the task of the example-based system is carried out in the determined environmental areas implemented in a method step H by means of an algorithmic solution if the functioning of the system (ie semantic relationships) is known for the surrounding area.
  • the task of the system is therefore implemented as a conventional algorithm (instead of as an example-based system).
  • the statistical system is also created or the structure of the neural network is defined and the neural network is trained.
  • loops may be provided in the development. For example, the case is conceivable in which, on the basis of the initially identified features, no solution can be found with which the desired quality requirements can be met. In this case, it may be necessary to return to a previous step and determine suitable characteristics. On this basis, examples to be recorded are redefined and the procedure is run through again. Further loops can be provided between the individual steps, for example in order to record additional examples if the recorded examples are not sufficient to achieve the desired quality requirements.
  • FIG. 7 shows an example of a hierarchical division of an input space 120, through which a hierarchical mapping of the input space is achieved.
  • the collected samples 122 of the sample set are shown as stars 123 and circles 125 in FIG.
  • the stars 123 and circles 125 are examples of different object classes (i.e. have a different position in the output space).
  • a new hierarchy level 126 can also be introduced in areas where there is a high degree of complexity.
  • the new hierarchy level 126 is introduced, for example, by creating a new subdivision 132 in area 130 with a higher resolution 134 is added.
  • the procedure can be iterated by adding a further hierarchical level in the high-resolution area with renewed local complexity.
  • FIG. 8 shows an exemplary embodiment of an input space 220 in which the representatives each have a center of a cluster, which is determined using a cluster method. form.
  • the examples 222 of the example set are shown as crosshairs 223 in FIG.
  • FIG. 8 shows four clusters 230, 232, 234 and 236, each of which includes several examples. These examples are shown within a dashed boundary line, which does not represent an actual boundary of a cluster, but was drawn in for illustration purposes only.
  • the clusters 230, 232, 234 and 236 each have an associated cluster center 240, 242, 244 and 246 (shown in a plus shape).
  • the cluster centers 240, 242, 244, 246 are each located centrally within the cluster and are assigned to a cluster independently of the boundaries of the grid of the input space.
  • the clusters according to FIG. 8 have the advantage that they represent the topology of the data in a particularly suitable manner.
  • the grid according to FIG. 5 has the advantage that the areas that are not covered are mapped more suitably.
  • the coverage of the input space (according to method step C) can be calculated via the grid and the complexity assessment (according to method step E) can be calculated not only via the grid but also via the cluster center.
  • Which approach is more suitable can also depend on the method of the neural network. If the coding neurons can move in the input space, then the cluster approach is preferably chosen or the cluster centers are equated with the positions of the coding neurons in the input space.
  • FIGS. 9 to 11 each show a histogram of the distribution of the complexity assessment over k-nearest neighbors of a preselected example for a synthetic function.
  • the example is, for example, a proxy example or a center of a cluster (as described above).
  • the example can also be an example selected from the area surrounding a representative, which was selected for a more in-depth investigation with regard to the complexity of the task.
  • Figure 9 shows Figures 4.1 on the left and Figure 4.4 on the right by WASCHULZIK.
  • Figure 10 shows Figure 4.17 on the left and Figure 4.20 on the right by WASCHULZIK.
  • the axis diagram in Figure 9 on the right is scaled in such a way that 40 stands for the value 1.
  • Figure 11 shows Figure 4.41 on the left and Figure 4.44 on the right by WASCHULZIK.
  • the axis diagram in FIG. 11 is scaled in such a way that 40 stands for the value 1.
  • the person skilled in the art can easily, quickly and reliably identify the areas in which the complexity is particularly low or high without any prior knowledge of how the examples are distributed in the input space.
  • This identification of the areas with high or low complexity can be done independently of the dimension of the input and output space, since the distance between the k-nearest neighbors can be determined in spaces of any dimensionality.
  • the person skilled in the art can also use the size of the connection areas to identify the representatives from the histograms, in which e.g. B. very few examples are included.
  • the position in the input space can then be determined via the representative, in which further examples must be recorded.
  • Two types of quality assessments were explained above using FIGS. 5 and 7 to 11 as examples. These quality assessments can be used as part of the procedure in the V-model 301.
  • the quality assessments described above can be used in the initial quality assurance of examples 22 according to method step DD. However, they can also be used in further steps in the procedure according to the V-model 301.
  • the loops described above can be used to iteratively collect examples: For example, the above-mentioned collected examples for the initial quality assessment form a first example set. Another data set is recorded in a further measurement campaign.
  • the detection of the second example sentence can be modified based on findings from the first example sentence.
  • a first quality score is determined (as described above).
  • a second quality rating is determined for the second sample sentence. These two quality ratings can be compared. It can be determined whether the modified recording has the expected influence on the second quality assessment.
  • the first and second example sentence can be combined to form a third example sentence (merging set) and a third quality assessment can be determined using the third example sentence. If this union does not meet the expected quality requirements, this indicates possible problems with the modified recording. These problems can be analyzed and eliminated using the methods described above.
  • a modularization of the overall task to be solved by the subsystem 46, a transformation of the examples 22, a representation of the examples, a coding of the examples and a network structure of an artificial neural network of the example-based subsystem 46 are specified.
  • the overall task to be solved by the subsystem 46 is modularized, the task that is to be solved by the example-based subsystem 46 is divided into subtasks.
  • the division into sub-tasks is modular, ie there is a possible composition of the sub-tasks that represents the overall task.
  • the modularization of the sub-tasks has the result, for example, that the artificial neural networks of the sub-system 46 based on the example are divided into sub-networks.
  • subtasks can be solved or processed via a symbolic or conventional (algorithmic) implementation, while other subtasks are solved or processed via an artificial neural network.
  • HQPN Hierarchical QUEEN Perceptron Network
  • step FF of the procedure modules generated during the modularization, which are sub-networks of the artificial neural network, the transformations of the examples 22, the representation of the examples 22, the coding of the examples 22 and the artificial neural network are implemented.
  • the modules are, for example, sub-networks of an artificial neural network.
  • This further procedural step FF is to be assigned to the "Software Draft” step (cf. https://de.wikipedia.org/wiki/V-Modell) or "Design and Implementation" in English, which is part of the procedure for V -Model 301 is carried out.
  • step GG of the procedure the transformation of the examples 22, the representation of the examples 22, the coding of the examples 22 and the training and testing of the artificial neural network are carried out.
  • This further method step GG is to be assigned to the step of creating the system (English: Manufacture"), which is carried out as part of the procedure for the V-model 301.
  • a secured area of the input space 20 is determined on the basis of the quality assessment and the artificial neural network is used exclusively in the secured area according to a method step GG1.
  • an area of the input space 12 is selected as a secure area in which a sufficient number of examples has been recorded or in which the complexity assessment in terms of the security requirements is comparatively small.
  • step HH Taking into account knowledge about a secured area, the modules are integrated in a procedural step HH, the knowledge being gained on the basis of the quality assessment.
  • This further process step HH is preferably the step "system integration" (cf. https://de.wikipedia.org/wiki/V-Modell) or English "Integration" to be assigned, which is part of the procedure in which V-model 301 takes place.
  • system integration cf. https://de.wikipedia.org/wiki/V-Modell
  • English "Integration” to be assigned, which is part of the procedure in which V-model 301 takes place.
  • the modules are linked to form an overall (partial) system.
  • the knowledge about the local security of the information in the example set is taken into account during the integration.
  • a method step HH1 the track of an example is followed by monitoring the neurons of the artificial neural network excited by example 22.
  • This ensures that statements can be made with sufficient certainty for the processing of an example 22 in the modules.
  • the monitoring of Excited neurons takes place, for example, on the basis of an assignment of the example 22 to be processed to a part of the input space.
  • the neurons that are excited when example 22 is presented can be monitored.
  • the trace of example 22 can be followed up to output y via the connections between the neurons.
  • the example-based subsystem is validated using a set of validation examples, which includes independent validation examples.
  • the independent validation samples form a sample set that is independent of the samples used to build the system so far.
  • the cross-validation approach https://en.wikipedia.org/wiki/Cross-validation_ (statistics)
  • similar approaches can also be used.
  • it is checked whether the example-based system has achieved the quality required for the validation (cross-validation).
  • This further method step JJ is to be assigned to the "system validation" step, which is carried out as part of the procedure for the V-model 301.
  • the trained example-based subsystem is validated using a validation example set.
  • the training example set or a subset thereof forms a first example sentence, which comprises a plurality of examples.
  • a first quality score is determined for the first sample sentence.
  • a second example sentence is determined by the application of the trained example-based subsystem (eg the neural network). For this purpose, input values (measuring points) can be randomly or systematically distributed in the input space.
  • An output vector is determined for each input vector by the example-based subsystem.
  • the second example sentence is formed on the basis of these examples generated by the example-based subsystem.
  • a second quality rating is then determined for this second sample sentence.
  • the first and second sample sentences are compared using the first and second quality scores.
  • a third example sentence which forms the union of the first and second example sentence, is formed from the first and second example sentence and a third quality assessment is determined for the third example sentence. Furthermore, the first quality assessment, the second quality assessment and the third quality assessment are compared.
  • step KK of the procedure the system is operated, maintained and the performance is monitored.

Abstract

Die Erfindung betrifft ein Verfahren zur Qualitätssicherung eines Systems, welches ein beispielbasiertes Teilsystem aufweist. Zur Verbesserung der Qualitätssicherung des Systems wird bei dem Verfahren das beispielbasierte Teilsystem (46) anhand von erhobenen Beispielen (22), welche eine Beispielmenge bilden, erstellt und trainiert. Die Qualitätssicherung des Systems (1, 40) erfolgt anhand eines Vorgehensmodells (301) zur Durchführung eines Entwicklungsprozesses, welches einen Plan für das Vorgehen bei der Qualitätssicherung des Systems (1, 40) repräsentiert. Die Qualitätssicherung des beispielbasierten Teilsystems (46) erfolgt anhand einer Qualitätsbewertung, welche anhand der Beispielmenge (22) ermittelt wird.

Description

Beschreibung
Verfahren zur Qualitätssicherung eines Systems
Die Erfindung betrifft ein Verfahren zur Qualitätssicherung eines Systems, welches ein beispielbasiertes Teilsystem auf- weist.
Systeme, die für sicherheitsgerichtete Anwendungen eingesetzt werden, sind grundsätzlich bekannt. Diese Systeme können bei- spielbasierte Teilsysteme aufweisen.
Beispielbasierte Systeme, wie künstliche neuronale Netze, sind grundsätzlich bekannt. Diese werden in der Regel in Be- reichen eingesetzt, in denen eine direkte algorithmische Lö- sung nicht existiert oder mit konventionellen Softwaremetho- den nicht adäquat erstellt werden kann. Mittels beispielba- sierter Systeme ist es möglich, eine Aufgabenstellung auf der Basis einer Menge von Beispielen zu erstellen und zu trainie- ren. Die gelernte Aufgabenstellung kann auf eine Menge von weiteren Beispielen angewandt werden.
In der Dissertation „Qualitätsgesicherte effiziente Entwick- lung vorwärtsgerichteter künstlicher Neuronaler Netze mit überwachtem Lernen (QUEEN) " von Thomas Waschulzik wird die Entwicklung vorwärtsgerichteter künstlicher neuronaler Netze mit überwachtem Lernen beschrieben (im Folgenden:
WASCHULZIK) .
Vor diesem Hintergrund ist es Aufgabe der Erfindung, die Qua- litätssicherung eines Systems, welches ein beispielbasiertes Teilsystem aufweist, zu verbessern.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Qualitätssicherung eines Systems, welches ein beispielbasier- tes Teilsystem aufweist, gelöst. Bei dem erfindungsgemäßen Verfahren wird das beispielbasierte Teilsystem anhand von er- hobenen Beispielen, welche eine Beispielmenge bilden, erstellt und trainiert. Die Qualitätssicherung des Systems erfolgt anhand eines Vorgehensmodells, welches einen Plan für das Vorgehen bei der Qualitätssicherung des Systems repräsen- tiert. Die Qualitätssicherung des beispielbasierten Teilsys- tems erfolgt anhand einer Qualitätsbewertung, welche anhand der Beispielmenge ermittelt wird.
Die Erfindung beruht einerseits auf der Erkenntnis, dass bei- spielbasierte Teilsysteme, wie neuronale Netze, häufig als Blackbox betrachtet werden. Hierbei wird die interne Informa- tionsverarbeitung nicht analysiert und die Erzeugung eines verständlichen Modells entfällt. Zudem wird das Teilsystem nicht durch eine Inspektion verifiziert. Dies führt zu Vorbe- halten beim Einsatz beispielbasierter Teilsysteme in Aufga- benstellungen mit hoher Kritikalität.
Die Erfindung beruht zudem auf der Erkenntnis, dass bei der Erfassung von Beispielen zur Erstellung und zum Training des beispielbasierten Teilsystems häufig unbekannt ist, wie viele Beispiele in welchen Bereichen des Eingaberaums erfasst wer- den müssen, um eine geeignete Wissensbasis zu erstellen.
Eine weitere wesentliche Erkenntnis der Erfindung ist, dass der Einsatz beispielbasierter Teilsysteme für sicherheitsge- richtete Anwendungen wünschenswert und derzeit mit großem Er- folg vorangetrieben wird. Da die Qualitätssicherung des er- stellten Systems nicht zufriedenstellend gewährleistet ist, können diese Systeme für die Anwendung zum Teil nicht zuge- lassen werden.
Die erfindungsgemäße Lösung behebt diese Probleme, indem die Qualitätssicherung des Systems anhand eines Vorgehensmodells erfolgt, welches einen Plan für das Vorgehen bei der Quali- tätssicherung des Systems repräsentiert, und die Qualitätssi- cherung des beispielbasierten Teilsystems anhand einer Quali- tätsbewertung, welche anhand der Beispielmenge ermittelt wird, erfolgt. Die Qualitätssicherung des Systems anhand des Vorgehensmodell wird durch die Qualitätssicherung des beispielbasierten Teilsystems anhand der Qualitätsbewertung zweckmäßig derart ergänzt, dass das System für sicherheitsge- richtete Anwendungen eingesetzt werden kann. Mit anderen Wor- ten: Die Qualitätsbewertung wird genutzt, um den beispielba- sierten Anteil des Gesamtsystems qualitätszusichern.
Vorzugsweise ist das beispielbasierte Teilsystem für den Ein- satz in einer sicherheitsgerichteten Funktion des Systems vorgesehen. Der Fachmann versteht unter dem Begriff „sicher- heitsgerichtete Funktion" eine Funktion eines Systems, welche sicherheitsrelevant ist, d. h. deren Verhalten Einfluss auf die Sicherheit der Umgebung des Systems hat. Dabei ist der Begriff „Sicherheit" im Sinne der sogenannten Safety zu ver- stehen. Als „Safety" wird im fachmännischen Sprachgebrauch das Ziel bezeichnet, die Umwelt eines Systems vor Gefahren zu schützen, die von dem System ausgehen. Im Unterschied dazu wird im fachmännischen Sprachgebrauch das Ziel, das System vor Gefahren zu schützen, die von der Umwelt des Systems aus- gehen, als „Security" bezeichnet.
Gemäß einer bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens umfasst das jeweilige Beispiel der Beispielmenge einen Eingabewert, welcher in einem Eingaberaum liegt. Die lokale Umgebung eines Beispiels im Eingaberaum wird für eine Entscheidung über die Anwendung des beispielbasierten Teil- system oder die Steuerung des Entwicklungsprozesses verwen- det.
Die lokale Umgebung ist vorzugsweise der Umgebungsbereich des Beispiels im Eingaberaum, welcher einen vorgegebenen Abstand zum Beispiel aufweist, der kleiner als ein definierter Ab- standwert ist.
Bei einer bevorzugten Weiterbildung der Ausführungsform wird eine Gewichtung für die Anwendung einer Mehrzahl von bei- spielbasierten Teilsystemen abhängig von der Dichte der Bei- spiele in einer lokalen Umgebung des Eingaberaums eines Bei- spiels getroffen. Auf diese Weise werden mehrere Teilsysteme (Wissensbasen) in geeigneter Weise durch Gewichtung miteinander kombiniert. Das folgende Beispiel soll diesen Gedanken illustrieren: Ein ers- tes beispielbasiertes Teilsystem dient zur Erkennung von Ob- jekten anhand von Bildinformationen von einer Infrarotkamera. Ein zweites beispielbasiertes Teilsystem dient zur Erkennung von Objekten anhand von Bildinformationen von einer Kamera im sichtbaren Bereich. Diese beiden Teilsysteme können derart miteinander kombiniert werden, dass bei Nacht das erste Teil- system eine größere Wichtung als das zweite Teilsystem er- hält. Hierbei ist zu berücksichtigen, dass ein Beispiel meh- rere Merkmale aufweist. Das Beispiel wird durch eine konkrete Ausprägung eines Merkmalsvektors repräsentiert. Ein einzelner Eintrag des Merkmalsvektors ist ein Beispielsmerkmal, welches eine Eigenschaft eines Beispiels repräsentiert. Bei der Er- stellung von beispielbasierten Teilsystemen (Wissensbasen) ist demnach eine Modularisierung möglich, bei welcher eine Teilmenge der Merkmale eines Beispiels für die Erstellung ei- nes der Mehrzahl von beispielbasierten Teilsystemen (Wissens- basen) verwendet wird. Eine weitere Teilmenge der Merkmale wird beispielsweise für die Erstellung eines weiteren Teil- systems der Mehrzahl von beispielbasierten Teilsystemen ver- wendet. Mit Blick auf das oben illustrierte Beispiel (Erken- nung von Objekten anhand von Bildinformationen) kann bei- spielweise eine erste Teilmenge der Merkmale aus der Infra- rotkamera und eine zweite Teilmenge der Merkmale aus der Ka- mera im sichtbaren Bereich stammen. Am Tag werden die Merk- male der zweiten Teilmenge für die Erstellung des Teilsystems verwendet. Bei Nacht wird eine Kombination der ersten und zweiten Teilmenge für die Erstellung des weiteren Teilsystems verwendet .
Bei einer weiteren bevorzugten Weiterbildung der Ausführungs- form wird die Entscheidung über die Auswahl der Anwendung ei- nes beispielbasierten Teilsystems aus einer Mehrzahl von al- ternativen beispielbasierten Teilsystemen getroffen. Die Auswahl der Anwendung eines beispielbasierten Teilsystems aus einer Mehrzahl von beispielbasierten Teilsystemen ist vorzugsweise als Spezialfall der Gewichtung zu verstehen:
Wenn von zwei Teilsystemen eines ausgewählt wird, erhält die- ses ausgewählte Teilsystem die Gewichtung 1 und das nicht- ausgewählte Teilsystem die Gewichtung 0.
Nach einer weiteren bevorzugten Weiterbildung der Ausfüh- rungsform wird die Entscheidung getroffen, dass ein beispiel- basiertes Teilsystem nicht angewendet wird, wenn die Anzahl an Beispielen, die in der lokalen Umgebung des Beispiels vor- handen sind, kleiner als ein vorgegebener Wert ist. Mit ande- ren Worten: Ein beispielbasiertes Teilsystem wird angewendet, wenn die Anzahl an Beispielen, die in der lokalen Umgebung des Beispiels liegen, größer als ein vorgegebener Wert ist.
Gemäß einer weiteren bevorzugten Weiterbildung der Ausfüh- rungsform wird ein Prozessparameter, welcher die Vertrauens- würdigkeit der Kompetenz des beispielbasierten Teilsystems repräsentiert, in Abhängigkeit von der lokalen Umgebung des Beispiels gesetzt.
Auf diese Weise wird eine Bewertung der Vertrauenswürdigkeit der Ausgabe des beispielbasierten Teilsystems ermöglicht. Beispielsweise ist von einer großen Kompetenz des beispielba- sierten Teilsystems auszugehen, wenn die lokale Umgebung des Beispiels eine große Anzahl an Beispielen umfasst.
Nach einer besonders bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens umfasst das jeweilige Beispiel einen Ausgabewert, der in einem Ausgaberaum liegt. Für den jeweili- gen Umgebungsbereich wird eine lokale Komplexitätsbewertung ermittelt, welche eine durch die Beispiele des Umgebungsbe- reichs definierte Komplexität einer Aufgabenstellung des bei- spielbasierten Systems repräsentiert. Die lokale Komplexi- tätsbewertung wird durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum und Ausgaberaum bestimmt . Der Fachmann versteht die Formulierung „relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum und Ausgaberaum" vorzugsweise dahingehend, dass die Komplexitäts- bewertung basierend auf der Betrachtung der Ähnlichkeit der Abstände der Beispiele im Eingaberaum zu den Abständen im Ausgaberaum definiert ist. Beispielsweise weist die Aufgaben- stellung des beispielbasierten Systems eine vergleichsweise kleine Komplexität auf, wenn die Abstände im Eingaberaum (ab- gesehen von der Skalierung) etwa den Abständen im Ausgaberaum entsprechen .
Daraus ergibt sich der Vorteil, dass Beispiele effektiv er- fasst werden können. Denn anhand der Komplexitätsbewertung sind Bereiche bekannt, in denen aufgrund hoher Komplexität der Aufgabenstellung des beispielbasierten Systems eine ver- gleichsweise hohe Anzahl von Beispielen erfasst werden müs- sen.
Die Komplexitätsbewertung entspricht beispielsweise den in Abschnitt 4 (QUEEN-Qualitätsindikatoren) von WASCHULZIK be- schriebenen Qualitätsindikatoren. Diese Qualitätsindikatoren können sowohl für die Repräsentation oder Kodierung der Merk- male definiert und angewendet werden (vgl. Abschnitt 4.5 von WASCHULZIK) .
Der Prozessparameter, welcher die Vertrauenswürdigkeit der Kompetenz des beispielbasierten Teilsystems repräsentiert, wird vorzugsweise nicht nur in Abhängigkeit von der lokalen Umgebung des Beispiels, sondern auch in Abhängigkeit der lo- kalen Komplexitätsbewertung bestimmt. Beispielsweise ist von einer großen Kompetenz des beispielbasierten Teilsystems aus- zugehen, wenn die lokale Umgebung des Beispiels eine große Anzahl an Beispielen umfasst und die lokale Komplexität gleichzeitig klein ist.
Dadurch, dass unterschiedliche beispielbasierte Teilsysteme unterschiedliche Merkmale für das Lernen einer Abbildung verwenden, können sich für unterschiedliche beispielbasierte Teilsysteme entsprechend unterschiedliche Dimensionen des Eingaberaums und damit auch unterschiedliche Komplexitäten in der lokalen Umgebung des Eingaberaums ergeben.
Nach einer weiteren bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens wird eine Komplexitätsverteilung mit- tels einer Histogrammdarstellung der Komplexitätsbewertung ermittelt.
Vorzugsweise wird der Wertebereich der Komplexitätsbewertun- gen für die Histogrammdarstellung gebinnt (d. h. in Bereiche unterteilt) .
Bei einer bevorzugten Weiterbildung wird die Komplexitätsver- teilung über k nächste Nachbarn eines Beispiels im Eingabe- raum ermittelt. Auf diese Weise wird für die lokale Umgebung eines Beispiels ermittelt, wie die Komplexität verteilt ist. Insbesondere wird die Charakteristik der Komplexität in der lokalen Umgebung des Beispiels ermittelt und sozusagen ein Fingerabdruck der lokalen Umgebung des Beispiels hinsichtlich der Komplexität ermittelt. Wird die Anzahl der Beispiele in dem betrachteten Bereich erhöht (d.h. werden Beispiele hinzu- gefügt), kann sich der Effekt ergeben, dass sich automatisch eine Anpassung des betrachteten Bereichs im Eingaberaum ergibt. Durch die Erhöhung der verfügbaren Anzahl der Bei- spiele in einem kritischen Bereich des Eingaberaums wird in der lokalen Umgebung der Beispiele die Komplexität reduziert. Ein Grund dafür ist, dass - wenn es sich um einen funktiona- len Zusammenhang handelt - dann mehr Beispiele in der Umge- bung im Eingaberaum gefunden werden, die eine ähnlichen Aus- gabe aufweisen. Bei einer Klassifikationsaufgabe, bei der mehrere Bereiche in unterschiedliche Klassen eingeteilt wer- den, können dadurch die Grenzen zwischen den Klassen klarer definiert werden. Sinkt die lokale Komplexität trotz der Er- höhung der Anzahl an Beispielen nicht, hat man einen Bereich gefunden, in dem die verwendeten Merkmale eine Separierung der Klassen nicht ermöglicht. Dadurch erhält man einen Hinweis darauf, dass man nach geeigneteren Merkmalen für die Trennung der Klassen suchen muss oder die Aufgabe in einem anderen Teilsystem lösen muss. Insofern wird die Entscheidung über die Erfassung weiterer Beispiele übergreifend über alle Teilsysteme getroffen.
Beispielsweise werden die „gebinnten" Werte auf der y-Achse aufgetragen und die Darstellung des größer werdenden k (der k-nächsten Nachbarn) auf der x-Achse eingetragen.
Um erforderliche Rechenkapazität bei der Ermittlung der Kom- plexitätsverteilung zu verringern, wird die Schrittweite der Werte von k > 1 gewählt. Beispielsweise wird bei einer Schrittweite von 5 für die Werte von k=5, 10, 15, 20, etc. eine Verteilung der Komplexitätsbewertung ermittelt. Weiter vorzugsweise wird die Schrittweite von k ausschließlich in Bereichen von besonderem Interesse klein gewählt. So wird die Verteilung der Komplexitätsbewertung beispielsweise zunächst mit einer vergleichsweise großen Schrittweite von k berech- net, um dann in einem Bereich von besonderem Interesse mit einer kleinen Schrittweite von k berechnet zu werden.
Weiter vorzugsweise wird für das berechnete Histogrammfeld (Komplexitätsbewertung gebinnt, k) die Anzahl der Werte der Komplexitätsbewertung gespeichert. Weiter vorzugsweise wird auch eine Identifikationsinformation (beispielsweise eine Nummer), die das Beispiel, in dessen Umgebung die Komplexi- tätsverteilung ermittelt wurde, gespeichert.
Nach einer bevorzugten Weiterbildung der Ausführungsform wird die Entscheidung getroffen, dass ein beispielbasiertes Teil- system nicht angewendet wird, weil die Komplexitätsbewertung in der lokalen Umgebung des Eingaberaums für die geforderte Qualität der Anwendung des beispielbasierten Teilsystems grö- ßer als ein vorgegebener Wert ist.
Vorzugsweise wird bei der Entscheidung, ein beispielbasiertes Teilsystem nicht anzuwenden, entweder ein anderes Teilsystem -ngewendet oder durch das Gesamtsystem ein sicherer Zustand eingenommen .
Bei einer weiteren bevorzugten Weiterbildung der Ausführungs- form wird die Gewichtung für die Anwendung einer Menge von Beispielmengen abhängig von der lokalen Komplexität in der lokalen Umgebung des Eingaberaums getroffen.
Bei einer weiteren bevorzugten Weiterbildung wird die Ent- scheidung anhand einer bestimmten Anzahl an nächsten Nachbarn zu einem Beispiel, der Anzahl der Beispiele, die sich in ei- ner definierten normierten Entfernung zu dem betrachteten Beispiel befinden, und/oder eines Qualitätsindikators in ei- nem Teilraum des Eingaberaumes, welcher für eine relevante Untermenge der Teilräume des Eingaberaums bestimmt wird, ge- troffen.
Vorzugsweise werden die vorstehend beschriebenen Kriterien für die Entscheidung sinnfällig miteinander kombiniert.
Relevante Teilräume des Eingaberaums können beispielsweise sämtliche über ein Kriterium definierte Unterräume des Einga- beraums sein, oder sämtliche Teilräume, für die eine ausrei- chende Anzahl an Beispielen verfügbar ist oder die auf Grund von anderen Kriterien für die Anwendung relevant sind.
Im Folgenden werden Beispiele für ein Kriterium genannt: - Es befinden sich weniger als m Beispiele in einer gerin- geren Entfernung als z zu dem betrachteten Beispiel. - Die mittlere Entfernung der nächsten m Beispiele ist ge- ringer als z. - Die Komplexität der durch die m nächsten Nachbaren be- schriebene Abbildung ist größer als w. - Die Komplexität der in einen normierten Abstand kleiner d liegenden Beispiele ist kleiner als der Wert r des Quali- tätsindikators Q. Die Normierung der Entfernung kann auf der Basis der bisher erfassten Beispiele bestimmt werden (siehe z.B. die Berech- nung des Normierten Abstandes in QI2).
Eine besondere Ausprägung ist die Bestimmung der lokalen Kom- plexität auf der Basis der in WASCHULZIK definierten Quali- tätsindikatoren .
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfasst das Ermitteln der Qualitätsbewertung: Ver- teilen von Repräsentanten im Eingaberaum und Zuordnen einer Anzahl von Beispielen der Beispielmenge zu dem jeweiligen Re- präsentanten. Die dem Repräsentanten zugeordneten Beispiele liegen in einem Umgebungsbereich des Eingaberaums, welcher den Repräsentanten umgibt. Als Qualitätsbewertung wird eine lokale Qualitätsbewertung für den Umgebungsbereich ermittelt.
Durch die Zuordnung der Beispiele aus der Beispielmenge zu den Repräsentanten werden Beispieldatenmengen innerhalb der Umgebungsbereiche bestimmt, die den Repräsentanten zugeordnet sind. Für diese Beispieldatenmengen werden jeweils die loka- len Qualitätsbewertungen berechnet.
Die Unterteilung der Beispielmenge in mehrere Umgebungsberei- che bringt die Vorteile mit sich, die sich aus dem Ansatz des Teile-und-Herrsche-Verfahrens , welches aus der Informatik be- kannt ist, ergeben. So kann sich beispielsweise ein Entwick- ler des beispielbasierten Systems oder ein Computerprogramm zur Qualitätssicherung auf diejenigen Teile des Eingaberaums konzentrieren, in denen bestimmte Qualitätskriterien durch die ermittelte Qualitätsbewertung nicht erfüllt sind. In die- sen Teilen kann die Qualität entsprechend überprüft und gege- benenfalls verbessert werden. Dadurch wird der Aufwand bei der Bewertung der Gesamtbeispielmenge erheblich reduziert.
Der Repräsentant ist vorzugsweise ein Stellvertreterbeispiel. Das Verteilen ist vorzugsweise ein Gleichverteilen. Dabei wird beispielsweise im Eingaberaum ein Raster zur Anordnung der Stellvertreterbeispiele gewählt. Das Raster kann für jede Dimension des Eingaberaums einzeln festgelegt werden. Ein Kriterium für die Festlegung des Rasters, beispielsweise bei quantitativen Variablen, kann ein Modell über Soll-Eigen- schaften der Beispielverteilung im Eingaberaum sein, welches auf der Basis der Anforderungen an das beispielbasierte Sys- tem gestellt wird. Das Raster kann hierarchisch aufgebaut sein, um beispielsweise hierarchische Kodierungen abzubilden. Bei der Anwendung eines Rasters zur Anordnung der Stellver- treterbeispiele wird in jedem Hyperkubus im Eingaberaum des Rasters ein oder mehrere Stellvertreterbeispiele verteilt.
Bei einem hierarchischen Aufbau des Rasters wird pro Hierar- chieebene ein Stellvertreterbeispiel verteilt.
Alternativ ist der Repräsentant ein Zentrum eines Clusters, welches mittels eines Clusterverfahrens bestimmt wird. Das Clusterverfahren wird vorzugsweise zur Bestimmung der Posi- tion und zur Bestimmung der Ausdehnung des jeweiligen Clus- ters im Eingaberaum verwendet. Weiter vorzugsweise wird das Clusterverfahren unter Berücksichtigung von Ausgabewerten der Beispiele, die in einem Ausgaberaum liegen, durchgeführt. Die Cluster können auf der Basis von Anforderungen an Eigenschaf- ten des beispielbasierten Systems festgelegt werden oder auf der Basis einer Teilmenge von Beispieldaten. In der Anwendung des beispielbasierten Systems kann beispielsweise in einer frühen Phase eine Menge von Beispielen erfasst werden, welche aufgrund von Kenntnissen zur Erfüllung der Anforderungen aus- gewählt werden. Diese Verteilung der Beispieldaten wird dann qualitätsgesichert. In einer folgenden Projektphase können weitere Beispiele mit der gleichen Verteilung erfasst werden. In diesem Fall stellt jedes Beispiel der qualitätsgesicherten Beispielmenge einen Repräsentanten für die folgende Phase der Erfassung der Beispiele dar. Dadurch wird sichergestellt, dass zu jedem initialen Beispiel eine zusätzliche qualitäts- gesicherte Menge von Beispielen erfasst wird. Die Position des Repräsentanten kann beispielsweise durch das Clusterzent- rum festgelegt sein. Alternativ kann ein hierarchisches Clus- terverfahren verwendet werden, bei welchem pro Cluster und pro Hierarchieebene ein Repräsentant eingefügt wird und bei welchem jedes Beispiel pro Hierarchieebene einem Cluster und folglich einem Repräsentanten zugeordnet wird. Die Menge der Beispiele, welche für die Berechnung der Qualitätsbewertung zur Verfügung steht, wird anschließend über eine vorgegebene Metrik den Clustern und folglich dem Repräsentanten zugeord- net. Für ein Beispiel, das keinem Cluster zugeordnet werden kann, wird vorzugsweise ein neues Cluster mit einem Repräsen- tanten erstellt. Alternativ wird dieses Beispiel zusammen mit weiteren Beispielen, welche keinem Cluster zugeordnet werden konnten, separat durch eine Qualitätsbewertung erfasst.
Weiter vorzugsweise werden die Beispiele einem Repräsentanten nicht vollständig, sondern nur zu einem vorgegebenen Anteil zugeordnet. Dies kann sich beispielsweise dadurch ergeben, dass ein Clusteralgorithmus verwendet wird, der eine teil- weise Zuordnung der Beispiele zu den Beispieldatenmengen lie- fert (beispielsweise eine prozentuale Zuordnung zu mehreren Umgebungsbereichen, wobei die Summe der Anteile 1 ergibt).
Bei der Ermittlung der Qualitätsbewertungen auf Basis dieser teilweisen Zuordnung wird das jeweilige Beispiel entsprechend dem zugehörigen Anteil berücksichtigt.
Vorzugsweise wird die Qualitätsbewertung anhand der Anzahl der dem jeweiligen Repräsentanten zugeordneten Beispiele oder anhand von anderen Merkmalen ermittelt. Dies ist besonders vorteilhaft, wenn die konkreten Beispiele im weiteren Verlauf nicht mehr verwendet werden. Alternativ oder zusätzlich wer- den die konkreten Beispiele oder ein Verweis auf die Bei- spiele im Repräsentanten (Transformation der Beispieldaten- menge in eine an der Topografie des Eingaberaums orientierten Struktur) gespeichert. Dies ist vorteilhaft, wenn die konkre- ten Beispiele im weiteren Verlauf benötigt werden.
Die Organisation, Verarbeitung und Speicherung einer großen Menge der vorstehend beschriebenen Repräsentanten stellt häu- fig eine Herausforderung dar, was vorhandene Speicherkapazi- täten und Rechenkapazitäten angeht. Eine beispielhafte Implementierung zur Speicherung der Repräsentanten beschreibt die Veröffentlichung „AN IMPLEMENTATION OF A MULTIDIMENSIONAL DYNAMIC RANGE TREE BASED ON AN AVL TREE" von Michael G. La- moureux (TR95-100, November 1995) (abrufbar unter: https ://www.cs.unb.ca/tech-reports/documents/TR95_l00.pdf). Der Zugriff auf die Repräsentanten erfolgt dabei mit einer Komplexität der Ordnung O(Log(N)), wobei N die Anzahl der Re- präsentanten ist.
Alternativ kann die Speicherung der Repräsentanten über aus- balancierte Bäume, wie B-Bäume (https://de.wikipe- dia.org/wiki/B-Baum) oder R-Bäume (https://de.wikipe- dia.org/wiki/R-Baum) oder Generalized-Search-Trees (https://en.wikipedia.org/wiki/GiST), implementiert werden.
Der für die Verarbeitung erforderliche Speicherplatz wird weiter vorzugsweise dadurch reduziert, dass die Repräsentan- ten lediglich dann gespeichert werden, wenn in dem jeweiligen Umgebungsbereich wenigstens ein Beispiel liegt. Wenn die Ab- deckung des Eingaberaums ermittelt wird, werden die Umge- bungsbereiche, in denen kein Repräsentant erstellt wurde, als „kein Beispiel vorhanden" bewertet. Dennoch kann ein Histo- gramm über die Anzahl der Beispiele pro Repräsentanten er- stellt werden, da die Anzahl der Umgebungsbereiche, in denen kein Beispiel erfasst wurde, mit geringem Aufwand bestimmt werden kann (Summe der zu erwartenden Repräsentanten - er- stellte Repräsentanten = Anzahl der Felder ohne erfasste Bei- spiele) .
Vorzugsweise wird in Bereichen des Eingaberaums, in denen eine höhere Komplexität vorhanden ist, dynamisch die Dichte der Repräsentanten erhöht, bis eine homogene Komplexität er- reicht ist und eine ausreichende Menge an Beispielen in der Umgebung der Repräsentanten liegen.
Gemäß einer weiteren bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens umfasst die Qualitätsbewertung ein statistisches Mittel, welches anhand der lokalen Umgebung und/oder anhand des Repräsentanten der vorstehend beschriebe- nen Art, dem das betrachtete Beispiel entsprechend seiner Po- sition im Eingaberaum zugeordnet wird.
Auf diese Weise können auf Basis der Informationen, die den Repräsentanten zugeordnet sind, Qualitätsbewertungen, bei- spielsweise mit Mitteln der deskriptiven Statistik (wie be- schrieben in einem der folgenden Lehrbücher: „Statistik: Der Weg zur Datenanalyse" (Springer-Lehrbuch) Taschenbuch - 15. September 2016 von Ludwig Fahrmeir (Autor), Christian Heumann (Autor), Rita Künstler (Autor), Iris Pigeot (Autor), Gerhard Tutz (Autor); „Statistik für Dummies" Taschenbuch - 4. Dezem- ber 2019 von Deborah J. Rumsey (Autor), Beate Majetschak (Übersetzer), Reinhard Engel (Übersetzer); „Arbeitsbuch zur deskriptiven und induktiven Statistik" (Springer-Lehrbuch) Taschenbuch - 27. Februar 2009 von Helge Toutenburg (Autor), Michael Schomaker (Mitwirkender), Malte Wißmann (Mitwirken- der), Christian Heumann (Mitwirkender)), definiert werden.
Bei einer bevorzugten Weiterbildung wird als statistisches Mittel ein Histogramm über die Anzahl der einem Repräsentan- ten zugeordneten Beispiele erstellt.
Dadurch wird eine besonders einfache und intuitive Möglich- keit zur Auswertung und Darstellung der Abdeckung des Einga- beraums erzielt.
Der Fachmann versteht die Formulierung „über die Anzahl der einem Repräsentanten zugeordneten Beispiele" vorzugsweise da- hingehend, dass die Werte der Anzahl der einem Repräsentanten zugeordneten Beispiele für die Erstellung des Histogramms ge- binnt (d.h. in Bereiche unterteilt) werden.
Gemäß einer weiteren bevorzugten Weiterbildung wird als sta- tistisches Mittel ein statistisches Maß, insbesondere ein Mittelwert, Median, Minimum, Maximum und/oder Quantile der Anzahl der einem Repräsentanten zugeordneten Beispiele, er- mittelt . Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird als Qualitätsindikator für die Repräsentatio- nen der integrierte Qualitätsindikator QI2 gemäß Abschnitt 4.6 von WASCHULZIK verwendet, welcher auf der Basis von For- mel 4.21 wie folgt definiert sein kann:
Figure imgf000017_0001
wobei gemäß Formel 4.18 von WASCHULZIK:
Figure imgf000017_0002
der normierte Abstand der repräsentierten Eingaben (NRE) und
Figure imgf000017_0003
der normierte Abstand der repräsentierten Ausgaben (NRA) ist. Dabei ist x das Paar (x1,x2,) bestehend aus den zwei Beispielen x1 und x2 . x1 und x2 sind Beispiele aus der Beispielmenge P . P
{p1,p1, ... ,P |p|} ist die Menge der Elemente von BAG P , wobei |P2| die Anzahl der Elemente des BAG P ist. Bei BAG handelt es sich um eine Multimenge (in Englisch multiset oder bag ge- nannt), wie sie in Spezifikation 21.5 auf Seite 27 des An- hangs von WASCHULZIK definiert ist. Die Aufgabenstellung QAG ist in Definition 3.1 auf Seite 23 von WASCHULZIK definiert und wird dort als QUEEN-Aufgabenstellung bezeichnet. dRE(x) ist eine Abkürzung für den Abstand im Eingaberaum dre(vepx1, vepx2) und dRA(x) ist eine Abkürzung für den Abstand im Ausgaberaum dra(vapx1, vapx2).
Die Definition des Abstands zwischen der Repräsentation von zwei Beispielen gemäß WASCHULZIK basiert beispielsweise auf der Euklidischen Norm. So wird der Abstand im Eingaberaum de- finiert als (siehe Formel 4.3 von WASCHULZIK):
Figure imgf000018_0001
Der Fachmann versteht die Formulierung „auf der Basis der folgenden Definition" bzw. „auf der Basis von Formel 4.21 wie folgt definiert sein kann" vorzugsweise dahingehend, dass auch Modifikationen und eine Funktion des Qualitätsindikators F(QI2) von dem Gedanken dieser Definition umfasst sind.
Weiter vorzugsweise wird eine aggregierte Komplexitätsbewer- tung durch Aggregation der lokalen Komplexitätsbewertungen ermittelt .
Die aggregierte Komplexitätsbewertung hat den Vorteil, dass ein Entwickler des beispielbasierten Systems seine Qualitäts- sicherung einfach durchführen kann.
Beispielsweise wird als aggregierte Komplexitätsbewertung ein Histogramm über die Komplexität in den unterschiedlichen Um- gebungsbereichen des Eingaberaums erstellt. Dazu wird der Wertebereich der Komplexitätsbewertungen gebinnt (d. h. in Bereiche unterteilt). In die Bins wird vorzugsweise aus- schließlich die Anzahl der Umgebungsbereiche mit entsprechender Komplexität gefasst, wenn die Positionen der Umgebungsbereiche nicht mehr benötigt werden. Vorzugsweise wird dieses Histogramm mit Informationen über die Anzahl der Beispiele zusammengefasst, beispielsweise ebenfalls in einem Histogramm über die Anzahl der dem Repräsentanten zugeordne- ten Beispiele. Weiter vorzugsweise sind im Histogramm Infor- mationen über die Repräsentanten hinterlegt, damit bei De- tailanalysen auf diese zurückgegriffen werden kann.
Gemäß einer weiteren bevorzugten Weiterbildung werden anhand der aggregierten Komplexitätsbewertung Umgebungsbereiche identifiziert, deren Komplexitätsbewertung einen vorgegebenen Komplexitätsschwellwert unterschreitet. In den ermittelten Umgebungsbereichen wird die Aufgabenstellung des beispielba- sierten Systems durch eine algorithmische Lösung implemen- tiert. Dies ist besonders vorteilhaft für Anwendungen mit ho- hen Qualitätsanforderungen, beispielsweise bei sicherheitsge- richteten Funktionen.
Diese bevorzugte Weiterbildung basiert auf der Erkenntnis, dass die exakte Funktionsweise des Systems (d. h. semantische Zusammenhänge) für Bereiche mit geringer Komplexität der Auf- gabenstellung häufig bekannt ist. In diesem Fall kann die Aufgabenstellung als konventioneller Algorithmus implemen- tiert werden (anstatt als beispielbasiertes System). Dies ist besonders vorteilhaft, da eine ausreichende Sicherheit der sicherheitsgerichteten Funktion im Rahmen eines Zulassungs- verfahrens für die einfache algorithmische Lösung in der Re- gel einfacher nachweisbar ist.
Es ergibt sich durch diese Weiterbildung zudem der Vorteil, dass in den Bereichen geringer Komplexität keine weiteren Beispiele erfasst werden müssen.
Vorzugsweise wird bei der Suche nach einfachen Bereichen auch nach Datenerhebungsartefakten gesucht, welche einen Zusammen- hang zwischen Eingabe und Ausgabe ergeben, die durch spezi- elle Umstände der Datenerhebung gegeben sind, jedoch keinen in der Praxis verwendbaren Zusammenhang darstellen (wie bei- spielsweise von dem sogenannten Kluger-Hans-Effekt bekannt: https://de.wikipedia.org/wiki/Kluger_Hans). In Bereichen mit besonders hoher Komplexität werden die Beispiele dahingehend analysiert, ob zum Beispiel Probleme bei der Erhebung und Er- fassung der Beispiele aufgetreten sind.
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens basierte die Komplexitätsbewertung auf einem Vergleich der Beispiele der Beispielmenge un- tereinander und einer Mengeneinteilung der miteinander verglichenen Bei- spiele.
Die miteinander verglichenen Beispiele werden in Mengen ein- geteilt :
Figure imgf000020_0001
wobei P die Beispielmenge und P2 die Menge an Beispielpaaren, welche aus P gebildet werden können, sind.
Dabei sind dRE(x) der Abstand der Beispiele X1, X2 im Eingabe- raum und dRA(x) der Abstand der Beispiele X1, X2 im Ausgabe- raum. Zwei Beispiele weisen ähnliche Eingabemerkmalswerte auf, wenn der Eingaberaumabstand dRE(x) kleiner als das vor- gegebene Eingabedelta δin ist. Zwei Beispiele weisen ähnliche Ausgabemerkmalswerte auf, wenn der Ausgaberaumabstand dRA(x) kleiner als das vorgegebene Ausgabedelta δout ist.
Nach einer weiteren bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens wird der Eingaberaum anhand der Qua- litätsbewertung hierarchisch aufgeteilt.
Vorzugsweise wird durch die hierarchische Aufteilung des Ein- gaberaums eine hierarchische Kartierung des Eingaberaums er- zielt. Die Hierarchie wird weiter vorzugsweise aus der Repräsentation oder Kodierung des Eingabemerkmals und/oder aus der Analyse der Komplexität der Aufgabenstellung abgelei- tet.
Anhand der Einführung einer zusätzlichen Hierarchie in der Analyse des Eingaberaums kann in den Bereichen, in denen eine hohe Komplexität vorhanden ist, entweder dynamisch die Dichte der Repräsentanten erhöht (bis eine homogene Komplexität er- reicht ist) oder eine neue Hierarchieebene eingeführt werden. Die Einführung einer neuen Hierarchieebene erfolgt, indem in dem Bereich des Repräsentanten eine neue Unterteilung mit ei- ner höheren Auflösung hinzugefügt wird. Das Vorgehen kann i- teriert werden, indem in dem hochaufgelösten Bereich bei er- neut erhöhter lokaler Komplexität eine weitere Hierarchie- stufe hinzugefügt wird. Dadurch kann die Auflösung dynamisch an die jeweilige Aufgabenstellung angepasst werden.
Gemäß einer weiteren bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgese- hen, wobei die sicherheitsgerichtete Funktion eine Objekter- kennung auf Basis von Sensordaten, bei welcher das Objekt un- ter Verwendung des beispielbasierten Systems erkannt wird, umfasst .
Bei einer bevorzugten Weiterbildung wird die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs, insbeson- dere eines spurgebundenen Fahrzeugs, eines Kraftfahrzeugs, eines Flugzeugs, eines Wasserfahrzeugs und/oder eines Raum- fahrzeugs, verwendet.
Die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs ist eine besonders zweckmäßige Ausführung einer si- cherheitsgerichteten Funktion. Die Objekterkennung ist dabei erforderlich, um z. B. Hindernisse auf dem Fahrweg zu erken- nen oder Verkehrssituationen hinsichtlich der Vorfahrt von Verkehrsteilnehmern zu analysieren. Das Kraftfahrzeug ist beispielsweise ein Kraftwagen, z. B. ein Personenkraftwagen (PKW), ein Lastkraftwagen (LKW) oder ein Kettenfahrzeug.
Das Wasserfahrzeug ist beispielsweise ein Schiff oder U-Boot.
Das Fahrzeug kann bemannt oder unbemannt sein.
Ein Beispiel für einen Anwendungsbereich ist das autonome oder automatisierte Fahren eines Schienenfahrzeugs. Zur Lö- sung der Aufgabenstellungen werden Objekterkennungssysteme eingesetzt, um Szenen zu analysieren, die mit Sensoren digi- talisiert werden. Diese Szeneanalyse ist erforderlich, um z. B. Hindernisse auf dem Fahrweg zu erkennen oder Verkehrssitu- ationen hinsichtlich der Vorfahrt von Verkehrsteilnehmern zu analysieren. Für die Erkennung der Objekte werden zurzeit be- sonders erfolgreich Systeme eingesetzt, die auf der Nutzung von Beispielen basieren, mit denen Parameter des Mustererken- nungssystems trainiert werden. Beispiele dafür sind neuronale Netze, z. B. mit Deep-Learning-Algorithmen.
Gemäß einer weiteren bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgese- hen, wobei die sicherheitsgerichtete Funktion eine Klassifi- kation auf der Basis von Sensordaten von Organismen umfasst.
Die Gewebeklassifikation tierischen oder menschlichen Gewebes ist eine besonders zweckmäßige Ausführung einer sicherheits- gerichteten Funktion im Bereich der medizinischen Bildverar- beitung. Die Organismen umfassen beispielsweise Archaea (Ur- bakterien), Bacteria (Echte Bakterien) und Eukarya (Kernhal- tige) oder von Gewebe von Protista (auch Protoctista, Begrün- der), Plantae (Pflanzen), Fungi (Pilze, Chitinpilze) und Ani- malia (Tiere).
Weitere Anwendungsgebiete sind die sichere Steuerung von In- dustrieanlagen (z. B. Synthese in der Chemie, die Steuerung von Produktionsprozessen, z. B. Walzwerke), eine Klassifika- tion von chemischen Substanzen (z. B. Umweltgifte, Kampf- stoffe), eine Klassifikation von Signaturen von Fahrzeugen (z. B. Radar oder Ultraschallsignaturen) und/oder eine Steue- rung im Bereich der Industrieautomatisierung (z. B. Produk- tion von Maschinen).
Nach einer weiteren bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens umfasst das beispielbasierte System ein System mit überwachtem Lernen, ein System, das mit den Methoden der Statistik aufgebaut ist, vorzugsweise ein künstliches neuronales Netz mit einer oder mehreren Schichten von Neuronen, die nicht Eingabe- neuron oder Ausgabeneuron sind und mit Backpropagation trainiert werden, insbesondere ein Convolutional Neural Network, insbesondere ein Single-Shot-MultiBox-Detector-Netz.
Der Einsatz von künstlichen Neuronalen Netzen ermöglicht häu- fig eine Verbesserung der Klassifikations- oder Approximati- onsleistung .
Die eine Schicht oder mehreren Schichten von Neuronen, die nicht Eingabeneuronen oder Ausgabeneuronen sind, werden fach- männisch häufig als verdeckte oder „hidden" Neuronen bezeich- net. Das Training von neuronalen Netzen mit vielen Ebenen an verdeckten Neuronen wird fachmännisch häufig auch als Deep- Learning bezeichnet. Ein spezieller Typ von Deep-Learning- Netzwerken für die Mustererkennung sind die sogenannten Con- volutional Neuronal Networks (CNNs). Ein Spezialfall der CNNs sind die sogenannten SSD-Netze (Single Shot MultiBox Detec- tor-Netze) . Der Fachmann versteht unter dem Begriff „Single Shot MultiBox Detector" ein Verfahren zur Objekterkennung nach dem Deep-Learning-Ansatz, welches auf einem Convolutio- nal Neural Netzwork basiert und beschrieben ist in: Liu, Wei (October 2016). SSD: Single shot multibox detector. European Conference on Computer Vision. Lecture Notes in Computer Sci- ence. 9905. pp. 21-37. arXiv:1512.02325
Nach einer weiteren bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens erfolgt das Vorgehen bei der Quali- tätssicherung des Systems entsprechend dem Vorgehen bei dem V-Modell zur Durchführung eines Entwicklungsprozesses.
Mit anderen Worten: Das Vorgehensmodell ist gemäß dieser Aus- führungsform das V-Modell zur Durchführung eines Entwick- lungsprozesses .
Unter dem Begriff „V-Modell zur Durchführung eines Entwick- lungsprozesses" versteht der Fachmann vorzugsweise das unter https://de.wikipedia.org/wiki/V-Modell beschrieben V-Modell. Gemäß der Ausführungsform werden die Aktivitäten des Vorge- hens auf das V-Modell abgebildet. D.h. die vorstehend be- schriebene Qualitätssicherung wird bei den unterschiedlichen Schritten des V-Modells angewendet.
Bei einer bevorzugten Weiterbildung wird in einem ersten Schritt des Vorgehens der beispielbasierte Anteil des Systems festgelegt. Mit anderen Worten: Es wird festgelegt, welche Elemente des Systems als beispielbasiertes Teilsystem ausge- führt sind.
Vorzugsweise wird dabei berücksichtigt, welche Teilaufgaben des Systems sich mittels eines beispielbasierten Systems, wie einem künstlichen neuronalen Netz, sinnvoll bearbeiten las- sen.
Gemäß einer weiteren bevorzugten Weiterbildung wird in einem weiteren Schritt des Vorgehens die Erhebung der Beispiele spezifiziert .
Beispielsweise wird spezifiziert, wie viele Beispiele erhoben werden sollen, welche Merkmale charakterisiert werden sollen, welche Beispiele auf dem Trainingsdatensatz und/oder den Testdatensatz aufgeteilt werden. Zudem wird beispielsweise die Validierung spezifiziert.
Nach einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens Sicherheitsanforderungen und ein sicherer Zustand des Systems definiert.
Vorzugsweise wird der sichere Zustand anhand von Anforderun- gen definiert, die erfüllt sein müssen, damit das System als in dem sicheren Zustand befindlich eingestuft werden kann.
Bei einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens
- die Qualitätssicherung für die Beispiele definiert,
- die Beispiele erhoben und
- eine initiale Qualitätssicherung der Beispiele durchge- führt.
Dieser weitere Schritt ist vorzugsweise dem Schritt der „Sys- temanforderungsanalyse" (vgl. https://de.wikipe- dia.org/wiki/V-Modell ) oder Englisch „Specification of System Requirements" zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
Vorzugsweise wird die Qualitätssicherung für die Beispiele derart definiert, dass die anzuwendende Qualitätsbewertung, welche Grundlage für die Qualitätssicherung des beispielba- sierten Teilsystems sein soll, ausgewählt oder automatisiert ermittelt wird.
Beispielsweise wird für die initiale Qualitätssicherung die oben beschriebene Qualitätsbewertung, welche die Abdeckung des Eingaberaums durch Beispiele repräsentiert, für die Qua- litätssicherung angewendet (beispielsweise als Kartierung des Eingaberaums) . Alternativ und/oder zusätzlich kann auch oben beschriebene Komplexitätsbewertung als Qualitätsbewertung für die Qualitätssicherung angewendet werden. Nach einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens eine Modularisierung der durch das Teilsystem zu lösen- den Gesamtaufgabe, eine Transformation der Beispiele, eine Repräsentation der Beispiele, eine Kodierung der Beispiele und eine Netzwerkstruktur eines künstlichen neuronalen Net- zes des beispielbasierten Teilsystems festgelegt.
Unter der Modularisierung der durch das Teilsystem zu lösen- den Gesamtaufgabe ist vorzugsweise zu verstehen, dass die Ge- samtaufgabe, die von dem beispielbasierten Teilsystem gelöst werden soll, in Teilaufgaben aufgeteilt wird. Die Aufteilung in Teilaufgaben erfolgt dabei modular, d.h. es gibt eine mög- liche Zusammensetzung der Teilaufgaben, die die Gesamtaufgabe repräsentiert .
Für die Festlegung der Netzwerkstrukturen, hat die Modulari- sierung der Teilaufgaben beispielsweise zur Folge, dass die künstlichen neuronalen Netze des beispielbasierten Teilsys- tems in Teilnetze aufgeteilt werden. Alternativ oder zusätz- lich können Teilaufgaben über eine symbolische bzw. konventi- onelle Implementierung gelöst bzw. bearbeitet werden, während andere Teilaufgaben über ein künstliches neuronales Netz ge- löst bzw. bearbeitet werden.
Beispiele für Teilnetze sind in Abschnitt 3.9 („Hierarchi- sches QUEEN Perzeptronen-Netz (HQPN) ") von WASCHULZIK be- schrieben. So kann eine Teilaufgabe durch ein Teilnetz eines HQPNs oder durch ein Teilnetz, welches ein HQPN ist und pa- rallel zu weiteren HQPNs in der Netzwerkstruktur angeordnet ist, gelöst werden.
Die Repräsentation sind beispielsweise geographische Reprä- sentationen, wie GPS-Koordinaten, Postleitzahlen, etc. Nachdem in diesem Schritt des Vorgehens die Modularisierung, die Transformation, die Repräsentation, die Kodierung und die Netzwerkstruktur festgelegt sind, kann in einer Iteration nochmals die Qualitätssicherung für die Beispiele angepasst, weitere oder andere Beispiele erhoben werden und eine initi- ale Qualitätssicherung der Beispiele angepasst werden bzw. erneut durchgeführt werden.
Bei einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens
- Module, welche bei der Modularisierung erzeugt werden und Teilnetze des künstlichen neuronalen Netzes sind,
- die Transformation der Beispiele,
- die Repräsentation der Beispiele,
- die Kodierung der Beispiele und
- das künstliche neuronale Netz implementiert .
Die Module sind beispielsweise Teilnetze eines künstlichen neuronalen Netzes.
Dieser weitere Schritt ist vorzugsweise dem Schritt „Soft- ware-Entwurf" (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Design and Implementation" zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
Gemäß einer weiteren bevorzugten Weiterbildung werden in ei- nem weiteren Schritt des Vorgehens
- die Transformation der Beispiele,
- die Repräsentation der Beispiele,
- die Kodierung der Beispiele und
- das Training und der Test des künstlichen neuronalen Netzes durchgeführt.
Dieser weitere Schritt ist vorzugsweise dem Schritt der Er- stellung des Systems (Englisch: „Manufacture") zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt. Nach einer besonders bevorzugten Weiterbildung wird ein abge- sicherter Bereich des Eingaberaums anhand der Qualitätsbewer- tung ermittelt und das künstliche neuronale Netz ausschließ- lich in dem abgesicherten Bereich angewendet.
Beispielsweise wird als abgesicherter Bereich ein Bereich des Eingaberaums gewählt, in dem eine ausreichende Beispielmenge erfasst wurde oder in dem die Komplexitätsbewertung im Sinne der Sicherheitsanforderungen vergleichsweise klein ist.
Nach einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens die Module unter Berücksichti- gung einer Kenntnis über einen abgesicherten Bereich inte- griert, wobei die Kenntnis anhand der Qualitätsbewertung ge- wonnen wird.
Dieser weitere Schritt ist vorzugsweise dem Schritt „System- Integration" (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Integration" zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
Der Fachmann versteht unter dem Begriff „integriert" vorzugs- weise eine Verknüpfung der Module zu einem Gesamtsystem.
Bei der Integration wird das Wissen über die lokale Sicher- heit der Information in der Beispielmenge berücksichtigt.
Bei einer weiteren bevorzugten Weiterbildung wird die Spur eines Beispiels verfolgt, indem die durch das Beispiel ange- regten Neuronen des künstlichen neuronalen Netzes überwacht werden.
Auf diese Weise wird sichergestellt, dass für die Bearbeitung eines Beispiels in den Modulen Aussagen mit ausreichender Si- cherheit getroffen werden könne.
Die Überwachung der angeregten Neuronen erfolgt beispiels- weise auf der Basis einer Zuordnung des zu bearbeitenden Beispiels zu einem Teil des Eingaberaums. Anhand der Kenntnis darüber, welchem Teil des Eingaberaums das Beispiel zuzuord- nen ist, können diejenigen Neuronen, die angeregt werden, wenn das Beispiel vorliegt, überwacht werden. Über die Ver- bindungen der Neuronen untereinander ist die Verfolgung der Spur des Beispiels bis zur Ausgabe möglich.
Bei einer weiteren bevorzugten Weiterbildung wird das bei- spielbasierte Teilsystem anhand einer Validierungsbeispiel- menge, die unabhängige Validierungsbeispiele umfasst, vali- diert.
Der Fachmann versteht unter dem Begriff „unabhängige Validie- rungsbeispiele" vorzugsweise eine Beispielmenge, die unabhän- gig von bisher erfassten Beispielen ist.
Dieser weitere Schritt ist vorzugsweise dem Schritt „System- validierung" oder Englisch „System Validation" zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
Vorzugsweise wird ein trainiertes beispielbasiertes Teilsys- tem mittels einer Validierungsbeispielmenge validiert. Dem- nach bildet die Trainingsbeispielmenge einen ersten Beispiel- satz, welcher eine Mehrzahl von Beispielen umfasst, und die Validierungsbeispielmenge einen zweiten Beispielsatz, welcher eine Mehrzahl von Beispielen umfasst. Für den ersten Bei- spielsatz wird vorzugsweise eine erste Qualitätsbewertung und für den zweiten Beispielsatz wird vorzugsweise eine zweite Qualitätsbewertung ermittelt. Die erste Qualitätsbewertung und zweite Qualitätsbewertung werden vorzugsweise miteinander verglichen .
Weiter wird beispielsweise ein dritter Bespielsatz aus dem ersten und zweiten Beispielsatz gebildet und eine dritte Qua- litätsbewertung für den dritten Beispielsatz ermittelt. Fer- ner werden die erste Qualitätsbewertung, die zweite Quali- tätsbewertung und die dritte Qualitätsbewertung verglichen. Der dritte Beispielsatz stellt sozusagen die Vereinigungs- menge des ersten und zweiten Beispielsatzes dar.
Ein Beispiel für die Anwendung des dritten Beispielsatzes ist eine Konstellation, bei welcher der zweite Beispielsatz (näm- lich die Validierungsbeispielmenge) bei Vorliegen von Kennt- nissen, die man anhand des ersten Beispielsatzes (Trainings- beispielmenge) gewonnen hat, erhoben wird.
Gemäß einer weiteren bevorzugten Ausführungsform des Verfah- rens werden in einem weiteren Schritt des Vorgehens
Erstellungsbeispiele, welche für die Erstellung des bei- spielbasierten Teilsystems erfasst werden, einem ersten Beispielsatz zugeordnet,
Anwendungsbeispiele, welche bei der Anwendung des bei- spielbasierten Teilsystems erfasst werden, einem zweiten Beispielsatz zugeordnet und eine ersten Qualitätsbewertung, welche anhand des ersten Beispielsatzes ermittelt wird, und eine zweite Qualitäts- bewertung, welche anhand des zweiten Beispielsatzes er- mittelt wird, miteinander verglichen.
Der weitere Schritt des Vorgehens findet beispielsweise bei einer Schleife in der Entwicklung oder bei dem Schritt des „Betriebs, Wartung und Performance-Überwachung" (Englisch: „Operation, Maintenance and Performance Monitoring") statt. Dabei werden die im Rahmen der Anwendung des Systems erfass- ten Beispiele eine Beispielmenge (Anwendungsbeispiele) gesam- melt. Diese Beispielmenge wird mit der Beispielmenge (Erstel- lungsbeispiele) verglichen, die für die Erstellung des Sys- tems verwendet wurde. Insbesondere der Vergleich der Komple- xitätsbewertung der Anwendungsbeispiele mit der Komplexitäts- bewertung der Erstellungsbeispiele kann über einen Zeitraum des Betriebs hinweg durchgeführt und eine Drift der Komplexi- tätsbewertung erkannt werden.
Gemäß einer weiteren bevorzugten Ausführungsform des Verfah- rens, bei welchem das jeweilige Beispiel der Beispielmenge einen Eingabewert, welcher in einem Eingaberaum liegt, um- fasst, werden in einem weiteren Schritt des Vorgehens
Erstellungsbeispiele, welche für die Erstellung des bei- spielbasierten Teilsystems erfasst werden, einem ersten Beispielsatz zugeordnet, weitere Beispiele, welche anhand von im Eingaberaum ver- teilten Eingabewerten durch das beispielbasierte Teilsys- tem erzeugt werden, einem zweiten Beispielsatz zugeordnet und eine ersten Qualitätsbewertung, welche anhand des ersten Beispielsatzes ermittelt wird, und eine zweite Qualitäts- bewertung, welche anhand des zweiten Beispielsatzes er- mittelt wird, miteinander verglichen.
Demnach bildet die Trainingsbeispielmenge oder eine Unter- menge davon einen ersten Beispielsatz, welcher eine Mehrzahl von Beispielen umfasst. Für den ersten Beispielsatz wird eine ersten Qualitätsbewertung ermittelt. Ein zweiter Beispielsatz wird durch die Anwendung des trainierten beispielbasierten Teilsystems (z.B. des neuronalen Netzes) bestimmt. Dazu kön- nen Eingabewerte (Messpunkte) im Eingaberaum zufällig oder systematisch verteilt werden. Zu jedem Eingabevektor wird durch das beispielbasierte Teilsystem ein Ausgabevektor be- stimmt. Auf Basis dieser durch das beispielbasierte Teilsys- tem erzeugten Beispiele wird der zweite Beispielsatz gebil- det. Für diesen zweiten Beispielsatz wird dann eine zweite Qualitätsbewertungen ermittelt. Der erste und zweite Bei- spielsatz werden anhand der ersten und zweiten Qualitätsbe- wertung verglichen.
Weiter wird beispielsweise ein dritter Bespielsatz, welcher die Vereinigungsmenge des ersten und zweiten Beispielsatzes bildet, aus dem ersten und zweiten Beispielsatz gebildet und eine dritte Qualitätsbewertung für den dritten Beispielsatz ermittelt. Ferner werden die erste Qualitätsbewertung, die zweite Qualitätsbewertung und die dritte Qualitätsbewertung verglichen . Zeigen sich beispielsweise Bereiche im Raum, wo eine erhöhte lokale Komplexität (anhand der dritten Qualitätsbewertung) in der Vereinigungsmenge auftritt, kann auf eine schlechte Gene- ralisierung des beispielbasierten Teilsystems geschlossen werden. Diese Bereiche werden identifiziert und es werden Maßnahmen ergriffen, um das Problem zu beheben. Das kann bei- spielsweise durch Änderungen von Parametern des verwendeten Neuronalen Netzes (z. B. Korrektur der Anzahl der Freiheits- grade in dem Bereich des Eingaberaumes mit der schlechten Qualität), durch Erfassung weiterer Beispiele, durch die Ver- änderung der Trainingsparameter oder durch Einfügung von Re- gularisierungstermen erreicht werden.
Die Erfindung betrifft ferner ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Re- cheneinheit diese veranlassen, das Verfahren der vorstehend beschriebenen Art durchzuführen.
Die Erfindung betrifft ferner ein computerlesbares Speicher- medium, umfassend Befehle, die bei der Ausführung durch eine Recheneinheit diese veranlassen, das Verfahren der vorstehend beschriebenen Art durchzuführen.
Zu Vorteilen, Ausführungsformen und Ausführungsdetails der Merkmale des erfindungsgemäßen Computerprogramms und compu- terlesbaren Speichermediums kann auf die obige Beschreibung zu den entsprechenden Merkmalen des erfindungsgemäßen Verfah- rens verwiesen werden.
Ein Ausführungsbeispiel der Erfindung wird anhand der Zeich- nungen erläutert. Es zeigen:
Figur 1 schematisch den Ablauf eines Ausführungs- beispiels eines erfindungsgemäßen Verfah- rens, Figur 2 schematisch den Aufbau eines beispielba- sierten Systems mit unüberwachtem Lernen,
Figur 3 schematisch den Aufbau eines beispielba- sierten Systems mit überwachtem Lernen gemäß dem Ausführungsbeispiel des erfin- dungsgemäßen Verfahrens,
Figur 4 schematisch den Ablauf eines Vorgehens bei der Qualitätssicherung eines Systems gemäß einem Ausführungsbeispiel des er- findungsgemäßen Verfahrens,
Figur 5 schematisch einen zweidimensionalen Ein- gaberaum gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
Figur 6 eine schematische Seitenansicht eines sich auf eine Fahrstrecke befindenden spurgebundenen Fahrzeugs,
Figur 7 eine hierarchische Aufteilung des Einga- beraums,
Figur 8 schematisch ein weiteres Beispiel eines zweidimensionalen Eingaberaums gemäß ei- nem weiteren Ausführungsbeispiel des er- findungsgemäßen Verfahrens,
Figur 9 zwei Achsendiagramme, welche die Anwen- dung der Komplexitätsbewertung auf eine erste synthetische Funktion repräsentie- ren,
Figur 10 zwei Achsendiagramme, welche die Anwen- dung der Komplexitätsbewertung auf eine zweite synthetische Funktion repräsentie- ren, und
Figur 11 zwei Achsendiagramme, welche die Anwen- dung der Komplexitätsbewertung auf eine dritte synthetische Funktion repräsentie- ren.
Figur 1 zeigt ein schematisches Ablaufdiagramm, welches den Ablauf eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Qualitätssicherung eines Systems repräsen- tiert.
Figur 6 zeigt ein Ausführungsbeispiel eines Systems in Form eines spurgebundenen Fahrzeugs 40. Das System weist ein bei- spielbasiertes Teilsystem 46 auf.
Das Verfahren kann grundsätzlich auf beispielbasierte Teil- systeme mit überwachtem und unüberwachtem Lernen angewandt werden.
Bei überwachtem Lernen ist es Ziel, eine Funktion zu lernen, die Daten x (als Eingabewerte) auf ein Label y abbildet. Ein Beispiel von überwachtem Lernen ist die Klassifizierung, bei der beispielsweise Bilddaten x auf eine Klasse y (z. B.
Katze) abgebildet wird. Weitere Beispiele von überwachtem Lernen sind Regression, Objekterkennung, Bildbeschriftung etc.
Bei unüberwachtem Lernen ist es Ziel, eine Struktur von Daten x zu lernen (ohne ein Label y zu verwenden). Ein Beispiel von unüberwachtem Lernen ist Clustering, bei dem Gruppen inner- halb der Daten aufgefunden werden sollen, die in einer be- stimmten Metrik Ähnlichkeiten aufweisen. Weitere Beispiele von unüberwachtem Lernen sind Dimensionalitätsreduktion oder das Lernen von Merkmalen (sog. feature learning oder re- presentation learning), etc.
Die Figuren 2 und 3 zeigen Ausführungsbeispiele von beispiel- basierten Teilsystemen 1. Figur 2 zeigt schematisch den Auf- bau eines Ausführungsbeispiels eines beispielbasierten Teil- systems 1, welches als Autoencoder ausgeführt ist. Autoen- coder sind eine Art von künstlichen neuronalen Netzen 2, die zur effizienten Datenkodierung eingesetzt werden können und diese Fähigkeit in unüberwachter Weise lernen. Der Autoen- coder bildet die Eingabewerte x auf einen Merkmalsvektor Z ab. Figur 3 zeigt schematisch den Aufbau eines Ausführungsbei- spiels eines beispielbasierten Teilsystems 1 mit überwachtem Lernen, welches als mehrlagiges Perzeptron ausgeführt ist. Weitere Beispiele von Teilsystemen mit überwachtem Lernen können ein rekurrentes neuronales Netz, ein Convolutional Neural Network oder insbesondere ein sogenanntes Single-Shot- MultiBox-Detector-Netz sein.
Das beispielbasierte Teilsystem 1 wird von einem künstlichen neuronalen Netz 2 gebildet, welches eine Schicht 4 von Einga- beneuronen 5 und eine Schicht 6 von Ausgabeneuronen 7 auf- weist.
Das in Figur 3 gezeigte künstliche neuronale Netz 2 weist mehrere Schichten 8 von Neuronen 9 auf, die nicht Eingabeneu- ronen 5 oder Ausgabeneuronen 7 sind.
Das beispielbasierte Teilsystem sowie das erfindungsgemäße Verfahren werden mittels eines oder mehrerer Computerpro- gramme implementiert. Das Computerprogramm umfasst Befehle, die bei Ausführung des Programms durch eine Recheneinheit diese veranlassen, das erfindungsgemäße Verfahren gemäß dem in Figur 1 gezeigten Ausführungsbeispiel durchzuführen. Das Computerprogramm ist auf einem computerlesbaren Speicherme- dium gespeichert.
Das beispielbasierte Teilsystem wird in einer sicherheitsge- richteten Funktion eines Systems eingesetzt. Das Verhalten der Funktion hat demnach Einfluss auf die Safety der Umgebung des Systems. Ein Beispiel für eine sicherheitsgerichtete Funktion ist eine Objekterkennung auf Basis einer Bilderken- nung, bei welcher das Objekt unter Verwendung des beispielba- sierten Teilsystems 1 erkannt wird (bei überwachtem Lernen). Die Objekterkennung wird beispielsweise bei einem automati- sierten Betrieb eines Fahrzeugs, insbesondere eines in Figur 6 gezeigten spurgebundenen Fahrzeugs 40, eines Kraftfahr- zeugs, eines Flugzeugs, eines Wasserfahrzeugs oder eines Raumfahrzeugs, verwendet. Ein weiteres Beispiel für eine sicherheitsgerichtete Funktion ist eine Klassifikation auf der Basis von Sensordaten von Or- ganismen z. B. von Archaea (Urbakterien), Bacteria (Echte Bakterien) und Eukarya (Kernhaltige) oder von Gewebe von Pro- tista (auch Protoctista, Begründer), Plantae (Pflanzen),
Fungi (Pilze, Chitinpilze) und Animalia (Tiere), eine sichere Steuerung von Industrieanlagen, eine Klassifikation von che- mischen Substanzen, eine Klassifikation von Signaturen von Fahrzeugen oder eine Steuerung im Bereich der Industrieauto- matisierung .
Im Folgenden wird das Ausführungsbeispiel des erfindungsgemä- ßen Verfahrens anhand eines spurgebundenen Fahrzeugs 40 als System, an dem die Qualitätssicherung durchgeführt werden soll, beschrieben. Das erfindungsgemäße Verfahren ist jedoch selbstverständlich auf alternative Systeme, wie beispiels- weise ein System bestehend aus einer Flotte von spurgebunde- nen Fahrzeugen und einer Umgebung der Flotte (Infrastruktur) anwendbar.
Die Qualitätssicherung des beispielbasierten Teilsystems 46 erfolgt gemäß dem erfindungsgemäßen Verfahren anhand eines Vorgehensmodells, welches einen Plan für das Vorgehen bei der Qualitätssicherung des Systems repräsentiert. Das verwendete Vorgehensmodell ist das in Figur 4 gezeigte V-Modell 301. Un- ter dem Begriff „V-Modell zur Durchführung eines Entwick- lungsprozesses" versteht der Fachmann vorzugsweise das unter https://de.wikipedia.org/wiki/V-Modell beschrieben V-Modell.
In einem Verfahrensschritt AA wird gemäß einem ersten Schritt des Vorgehens der beispielbasierte Anteil des Systems 1 fest- gelegt. Insbesondere wird festgelegt, welche Elemente des in Figur 6 gezeigten spurgebundenen Fahrzeugs 40 als beispielba- siertes Teilsystem 46 ausgeführt bzw. realisiert sind. So wird beispielsweise ein Element der Objekterkennung als bei- spielbasiertes Teilsystem 46 ausgeführt. In einem weiteren Verfahrensschritt BB des Vorgehens wird die Erhebung der Beispiele spezifiziert. Beispielsweise wird spe- zifiziert, wie viele Beispiele erhoben werden sollen, auf welche Art und Weise die Beispiele erhoben werden sollen, welche Merkmale charakterisiert werden sollen, welche Bei- spiele auf einen Trainingsdatensatz und/oder einen Testdaten- satz aufgeteilt werden. Zudem wird beispielsweise die Vali- dierung spezifiziert.
Die erhobenen Beispiele bilden eine Beispielmenge. Das jewei- lige Beispiel weist einen Eingabewert 12, welcher in einem Eingaberaum liegt, und einen Ausgabewert 14, welcher in einem Ausgaberaum liegt, auf. Bei der Objekterkennung (als eines von mehreren möglichen Beispielen einer sicherheitsgerichte- ten Funktion bei überwachtem Lernen) für einen automatisier- ten Betrieb des in Figur 6 gezeigten spurgebundenen Fahrzeugs 40 werden die Beispiele erhoben, indem das spurgebundene Fahrzeug 40 mit einer Kameraeinheit 42 zur Erfassung von Bil- dern versehen wird. Die Kameraeinheit 42 ist derart in Fahrt- richtung 41 ausgerichtet, dass ein in Fahrtrichtung 41 vo- rausliegender räumlicher Bereich 43 von der Kameraeinheit er- fasst wird. Das spurgebundene Fahrzeug 40 fährt mit der Kame- raeinheit 42 in Fahrtrichtung 41 entlang einer Fahrtstrecke 44. Zur Erfassung der Beispiele werden Szenen, die für die Erstellung und das Training des beispielbasierten Systems 1 zur Objekterkennung relevant sind, nachgestellt. So werden beispielsweise Pappfiguren, Crashtest-Dummies oder Schauspie- ler 45 eingesetzt, um Personen auf der Fahrtstrecke 44 darzu- stellen, die mittels des zu erstellenden und zu trainierenden beispielbasierten Systems 1 erkannt werden sollen. Alternativ können Szenen mittels einer sogenannten Virtual Reality nach- gestellt werden.
Bei einem weiteren Verfahrensschritt CC des Vorgehens werden Sicherheitsanforderungen und ein sicherer Zustand des Systems definiert. Insbesondere wird der sichere Zustand anhand von Anforderungen definiert, die erfüllt sein müssen, damit das System als in dem sicheren Zustand befindlich eingestuft wer- den kann.
Gemäß einem weiteren Verfahrensschritt DD wird die Qualitäts- sicherung für die Beispiele definiert, die Beispiele erhoben und eine initiale Qualitätssicherung der Beispiele durchge- führt. Dieser weitere Schritt ist dem Schritt der „Systeman- forderungsanalyse" (vgl. https://de.wikipedia.org/wiki/V-Mo- dell) oder Englisch „Specification of System Requirements" zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt. Die anzuwendende Qualitätsbewertung, welche Grund- lage für die Qualitätssicherung des beispielbasierten Teil- systems 46 sein soll, kann durch einen Benutzer ausgewählt oder automatisiert ermittelt werden.
Beispielsweise wird für die initiale Qualitätssicherung eine Qualitätsbewertung, welche die Abdeckung des Eingaberaums durch Beispiele repräsentiert, für die Qualitätssicherung an- gewendet. Alternativ und/oder zusätzlich wird die oben be- schriebene Komplexitätsbewertung als Qualitätsbewertung für die Qualitätssicherung angewendet.
Im Folgenden werden diese beiden Arten der Qualitätsbewertung anhand der Figuren 5 und 7 bis 11 beispielhaft erläutert:
In einem Verfahrensschritt C wird eine Qualitätsbewertung, welche eine Abdeckung des Eingaberaums durch Beispiele der Beispielmenge repräsentiert, ermittelt. Bei dem Ermitteln C der Qualitätsbewertung werden in einem Verfahrensschritt C1 Repräsentanten im Eingaberaum verteilt. Figur 5 zeigt als Beispiel einen zweidimensionalen Eingaberaum 20. In der tat- sächlichen Anwendung des erfindungsgemäßen Verfahrens werden der Eingaberaum und Ausgaberaum häufig eine höhere Dimensio- nalität aufweisen. Die Beispiele 22 der Beispielmenge sind als Fadenkreuze 23 in Figur 5 dargestellt. Die Repräsentanten 24 werden gleichverteilt und sind als Kreuzpunkte 25 des ge- zeigten Gitters 26 dargestellt. In einem Verfahrensschritt C2 wird einem jeweiligen Repräsen- tanten 28 eine Anzahl von Beispielen 29 der Beispielmenge zu- geordnet. Die dem Repräsentanten 28 zugeordneten Beispiele 29 liegen in einem Umgebungsbereich 30 des Eingaberaums 20, wel- cher den jeweiligen Repräsentanten 28 umgibt. Der Umgebungs- bereich 30 ist beispielhaft in Figur 3 als gepunktete Fläche dargestellt. Als Qualitätsbewertung wird dabei in einem Ver- fahrensschritt C3 eine lokale Qualitätsbewertung für den Um- gebungsbereich 30 ermittelt.
In einem Verfahrensschritt C4 werden im Eingaberaum bei- spielsweise benachbarte Umgebungsbereiche 32-36 ermittelt, deren jeweiligem Repräsentanten eine Anzahl von Beispielen zugeordnet ist, die einen vorgegebenen Qualitätsschwellwert unterschreitet. In Figur 5 sind diese Umgebungsbereiche 32-36 als Flächen mit diagonalen Streifen dargestellt. Es handelt sich in dem in Figur 5 gezeigte Beispiel bei den Umgebungsbe- reichen 32-36 um Bereiche, in denen kein Beispiel liegt. Zu- dem wird in einem Verfahrensschritt C5 ein Zusammenhangsge- biet 38 innerhalb des Eingaberaums 20 ermittelt, welches aus den benachbarten Umgebungsbereichen 32-36 besteht, deren Re- präsentanten jeweils eine Anzahl von Beispielen zugeordnet ist, die einen vorgegebenen Qualitätsschwellwert unterschrei- tet. Dadurch wird die Lage und Größe von Bereichen des Einga- beraums 20 ermittelt, in denen zu wenige Beispiele erfasst wurden. Mit anderen Worten: Es werden Teilbereiche des Einga- beraums 20 identifiziert, in denen die Beispielswerte keine ausreichende Basis für einen sicherheitskritischen Anwendung bereitstellen .
Anhand der Identifizierung kann korrigierend eingegriffen werden: Dazu werden beispielsweise in einem Verfahrensschritt D in einem jeweiligen Umgebungsbereich weitere Beispiele er- fasst, wenn die für den jeweiligen Umgebungsbereich ermit- telte Qualitätsbewertung kleiner als ein vorgegebener Quali- tätsschwellwert ist. In einem Verfahrensschritt E wird für den jeweiligen Umge- bungsbereich eine lokale Komplexitätsbewertung ermittelt, welche eine durch die Beispiele des Umgebungsbereichs defi- nierte Komplexität einer Aufgabenstellung des beispielbasier- ten Systems repräsentiert. Dabei wird die lokale Komplexi- tätsbewertung gemäß einem Verfahrensschritt El durch die re- lative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum 20 und dem Ausgaberaum bestimmt. Das heißt die Komplexitätsbewertung ist basierend auf der Betrachtung der Ähnlichkeit der Abstände der Beispiele im Eingaberaum 20 zu den Abständen im Ausgaberaum definiert. Beispielsweise weist die Aufgabenstellung des beispielbasierten Systems eine ver- gleichsweise geringe Komplexität auf, wenn die Abstände im Eingaberaum 20 (abgesehen von der Skalierung) etwa den Ab- ständen im Ausgaberaum entsprechen. Anhand der Komplexitäts- bewertung werden Bereiche ermittelt, in denen aufgrund hoher Komplexität der Aufgabenstellung des beispielbasierten Sys- tems eine vergleichsweise hohe Anzahl von Beispielen erfasst werden müssen. Beispielsweise wird in Bereichen des Eingabe- raums 20, in denen eine höhere Komplexität vorhanden ist, dy- namisch die Dichte der Repräsentanten erhöht, bis eine homo- gene Komplexität erreicht ist. Alternativ kann eine neue Hie- rarchieebene eingeführt werden (wie es beispielhaft in Bezug auf Figur 7 unten beschrieben ist).
Die Komplexitätsbewertung entspricht den in Abschnitt 4 (QUEEN-Qualitätsindikatoren) von WASCHULZIK beschriebenen Qualitätsindikatoren. Diese Qualitätsindikatoren können so- wohl für die Repräsentation oder Kodierung der Merkmale defi- niert und angewendet werden (vgl. Abschnitt 4.5 von WASCHULZIK) . Ein Beispiel für diesen Qualitätsindikator für die Repräsentationen ist der integrierte Qualitätsindikator QI2 gemäß Abschnitt 4.6 von WASCHULZIK.
In einem Verfahrensschritt E2 wird eine aggregierte Komplexi- tätsbewertung durch Aggregation der lokalen Komplexitätsbe- wertung ermittelt: Beispielsweise wird als aggregierte Kom- plexitätsbewertung ein Histogramm über die Komplexität in den unterschiedlichen Umgebungsbereichen des Eingaberaums er- stellt. Dazu wird der Wertebereich der Komplexitätsbewertun- gen gebinnt (d.h. in Bereiche unterteilt). In die Bins werden ausschließlich die Anzahl der Umgebungsbereiche mit entspre- chender Komplexität gefasst, sofern die Positionen der Umge- bungsbereiche nicht mehr benötigt werden. Dieses Histogramm wird mit Informationen über die Anzahl der Beispiele zusam- mengefasst, beispielsweise ebenfalls in einem Histogramm über die Anzahl der dem Repräsentanten zugeordneten Beispiele. Weiter vorzugsweise sind im Histogramm Informationen über die Repräsentanten hinterlegt, damit bei Detailanalysen auf diese zurückgegriffen werden kann.
Anhand der Komplexitätsbewertung kann in einem Verfahrens- schritt F erfasst werden, ob in sämtlichen Bereichen eine an- gemessene Anzahl an Beispielen erfasst wurden. Wird ein Be- reich identifiziert, in dem zu viele Beispiele bei niedriger Komplexität erfasst wurden, können Beispiele aus diesem Be- reich entfernt werden. Diese Reduktion der Beispiele redu- ziert den Speicherplatzbedarf und die Kosten für die Berech- nungen z.B. für die qualitätssichernden Maßnahmen auf der Ba- sis der Beispieldatenmenge. Wird ein Bereich identifiziert, in dem zu wenige Beispiele erfasst wurden (z.B. da die Kom- plexität vergleichsweise hoch ist), müssen ggfs, weitere Bei- spiele in diesem Bereich erfasst werden. Der letztgenannte Fall tritt häufig in den Bereichen auf, in denen eine neue Hierarchieebene eingeführt wurde (wie es beispielhaft in Be- zug auf Figur 7 unten beschrieben ist). Nach der Erfassung weiterer Beispiele, wird eine Schleife zur Qualitätssicherung (gemäß den Verfahrensschritten C bis E) so lange durchlaufen, bis sämtliche gewünschten Qualitätsanforderungen erfüllt sind.
Anhand der aggregierten Komplexitätsbewertung werden in einem Verfahrensschritt G Umgebungsbereiche identifiziert, deren Komplexitätsbewertung einen vorgegebenen Komplexitätsschwell- wert unterschreitet. In den ermittelten Umgebungsbereichen wird die Aufgabenstellung des beispielbasierten Systems gemäß einem Verfahrensschritt H durch eine algorithmische Lösung implementiert, wenn die Funktionsweise des Systems (d.h. se- mantische Zusammenhänge) für den Umgebungsbereich bekannt ist. Die Aufgabenstellung des Systems wird demnach als kon- ventioneller Algorithmus implementiert (anstatt als beispiel- basiertes System). Für die Bereiche des Eingaberaumes, für die ein statistisches System oder ein neuronales Netz einge- setzt werden soll, wird in Schritt H ebenfalls das statisti- sche System erstellt oder die Struktur des neuronalen Netzes festgelegt und das neuronale Netz trainiert.
Bei dem vorstehend beschrieben Verfahren können Schleifen in der Entwicklung vorgesehen sein. Beispielsweise ist der Fall denkbar, bei dem auf Basis der zunächst identifizierten Merk- male keine Lösung gefunden werden kann, mit der die gewünsch- ten Qualitätsanforderungen erfüllt werden können. In diesem Fall ist es gegebenenfalls erforderlich, zu einem vorangegan- genen Schritt zurückzukehren und geeignete Merkmale zu be- stimmen. Auf dieser Basis werden Beispiele, die zu erfassen sind, erneut definiert und das Verfahren wird erneut durch- laufen. Zwischen den einzelnen Schritten können weitere Schleifen vorgesehen sein, beispielsweise um zusätzliche Bei- spiele zu erfassen, falls die erfassten Beispiele nicht aus- reichen, um die gewünschten Qualitätsanforderungen zu errei- chen.
Figur 7 zeigt bespielhaft eine hierarchische Aufteilung eines Eingaberaums 120, durch die eine hierarchische Kartierung des Eingaberaums erzielt wird. Die erhobenen Beispiele 122 der Beispielmenge sind als Sterne 123 und Kreise 125 in Figur 7 dargestellt. Die Sterne 123 und Kreise 125 sind Beispiele un- terschiedlicher Objektklassen (d.h. haben eine unterschiedli- che Position im Ausgaberaum).
In den Bereichen, in denen eine hohe Komplexität vorhanden ist, kann zusätzlich eine neue Hierarchieebene 126 eingeführt werden. Die neue Hierarchieebene 126 wird beispielsweise ein- geführt, indem in dem Bereich 130 eine neue Unterteilung 132 mit einer höheren Auflösung 134 hinzugefügt wird. Das Vorge- hen kann iteriert werden, indem in dem hochaufgelösten Be- reich bei erneut erhöhter lokaler Komplexität eine weitere Hierarchiestufe hinzugefügt wird.
Alternativ zu dem in Bezug auf Figur 5 beschriebenen Ausfüh- rungsbeispiel, wonach Repräsentanten im Eingaberaum gleich- verteilt werden, zeigt Figur 8 ein Ausführungsbeispiel eines Eingaberaums 220, bei dem die Repräsentanten jeweils ein Zentrum eines Clusters, welches mittels eines Clusterverfah- rens bestimmt wird, bilden. Die Beispiele 222 der Beispiel- menge sind in Figur 8 als Fadenkreuze 223 dargestellt.
Figur 8 zeigt beispielhaft vier Cluster 230, 232, 234 und 236, die jeweils mehrere Beispiele umfassen. Diese Beispiele liegen in der Darstellung innerhalb einer gestrichelten Grenzlinie, die jedoch keine tatsächliche Begrenzung eines Clusters repräsentiert, sondern lediglich zur Illustration eingezeichnet wurde. Die Cluster 230, 232, 234 und 236 weisen jeweils ein zugehöriges Clusterzentrum 240, 242, 244 und 246 (plusförmig dargestellt) auf. Die Clusterzentren 240, 242, 244, 246 liegen jeweils mittig innerhalb des Clusters und werden unabhängig von den Grenzen des Gitters des Eingabe- raums einem Cluster zugeordnet.
Die Cluster gemäß Figur 8 haben den Vorteil, dass sie die To- pologie der Daten besonders geeignet repräsentieren. Das Git- ter gemäß Figur 5 hat den Vorteil, dass die nicht abgedeckten Bereiche geeigneter abbildet werden. Beispielsweise kann die Abdeckung des Eingaberaums (gemäß dem Verfahrensschritt C) über das Gitter berechnet werden und die Komplexitätsbewer- tung (gemäß dem Verfahrensschritt E) neben dem Gitter auch über das Clusterzentrum berechnet werden. Welcher Ansatz ge- eigneter ist, kann auch von dem Verfahren des Neuronalen Net- zes abhängen. Wenn sich die Kodierungsneurone im Eingebraum bewegen können, dann wird vorzugsweise der Clusteransatz ge- wählt oder die Clusterzentren mit den Positionen der Kodie- rungsneurone im Eingaberaum gleichsetzt. Um ein Verständnis über die Eigenschaften und das Verhalten der in WASCHULZIK beschriebenen Qualitätsindikatoren als Bei- spiele einer Komplexitätsbewertung zu erhalten, ist es hilf- reich, diese auf synthetische Funktionen (z. B. y=x) anzuwen- den. Daraus kann geschlossen werden, wie diese Qualitätsindi- katoren Anwendung bei beispielbasierten Systemen finden kön- nen.
Die Figuren 9 bis 11 zeigen jeweils für eine synthetische Funktion ein Histogramm der Verteilung der Komplexitätsbewer- tung über k-nächste Nachbarn eines vorausgewählten Beispiels. Das Beispiel ist beispielsweise ein Stellvertreterbeispiel oder ein Zentrum eines Clusters (wie oben beschrieben). Das Beispiel kann zudem ein aus dem Umgebungsbereich eines Reprä- sentanten ausgewähltes Beispiel sein, welches für eine tie- fergehende Untersuchung hinsichtlich der Komplexität der Auf- gabenstellung ausgewählt wurde.
Figur 9 zeigt links die Abbildungen 4.1 und rechts die Abbil- dung 4.4 von WASCHULZIK. Als synthetische Funktion ist in Fi- gur 9 links y=x als Achsendiagramm dargestellt (die Einträge im Achsendiagramm sind als „+" gezeigt). Das Achsendiagramm rechts zeigt ein Histogramm SHLQ2 von QI2 über die k-nächsten Nachbarn eines Beispiels für die Funktion y=x. Es zeigt sich, dass für beliebige lokale Umgebungen k eines Beispiels das gezeigte Histogramm SHLQ2 den Wert Null hat.
Figur 10 zeigt links die Abbildung 4.17 und rechts die Abbil- dung 4.20 von WASCHULZIK. Als synthetische Funktion ist in Figur 10 links y=ru(seed,300)*300 als Achsendiagramm darge- stellt. Es handelt sich um eine gleichverteilte Zufallsvari- able mit Werten zwischen 0 und 300. Das Achsendiagramm rechts zeigt das Histogramm SHLQ2 von QL2 über die k-nächsten Nach- barn eines Beispiels für die Funktion y=ru(seed,300)*300. Das Achsendiagramm in Figur 9 rechts ist derart skaliert, dass 40 für den Wert 1 steht. Figur 11 zeigt links die Abbildung 4.41 und rechts die Abbil- dung 4.44 von WASCHULZIK. Als synthetische Funktion ist in Figur 11 links y=sin (8*pi*x/300)+br (seed,300) als Achsendia- gramm dargestellt. Es handelt sich um eine Sinusfunktion, die in den Bereichen 0 < x ≤ 50 sowie 100 < x d 200 ein stochas- tisches Rauschen hat. Das Achsendiagramm rechts zeigt das Histogramm SHLQ2 von QI2 über die k-nächsten Nachbarn eines Beispiels für die Funktion y=sin (8*pi*x/300)+br (seed,300).
Das Achsendiagramm in Figur 11 ist derart skaliert, dass 40 für den Wert 1 steht. Der Fachmann erkennt auf dieser Dar- stellung, dass es mehrere k-Nachbarschaften bis zur Größe ca. 45 gibt, in denen der Wert von QI2 fast 0 ist (zu erkennen an der dunkelgrauen Schattierung der Bins mit kleiner Nummer aufgetragen an der V-Achse) und damit eine fast lineare Ab- bildung des Eingabe- und Ausgaberaums vorliegt. Analysiert der Fachmann nun durch das Auslesen der Information in dem Histogramm, in der Umgebung welcher Beispiele die niedrige Komplexität vorhanden ist, so erhält er das Beispiel mit x=75 in dessen Nachbarschaft k=45 die Komplexität sehr gering ist. Gleiches gilt für x=225 oder x=275 für k=45. So kann der Fachmann ohne ein Vorwissen darüber, wie die Beispiele im Eingaberaum verteilt sind, einfach, schnell und sicher die Bereiche identifizieren, in denen die Komplexität besonders niedrig oder hoch ist. Durch das Auslesen der Bins mit den hohen Werten auch bei großen Umgebungen kann er Bereiche mit hoher Komplexität identifizieren (z. B. Bin-Nummer 80 bei K=20). Diese Identifikation der Bereiche mit hoher oder nied- riger Komplexität kann unabhängig von der Dimension des Ein- gabe- und Ausgaberaumes erfolgen, da der Abstand der k-nächs- ten Nachbarn in Räumen beliebiger Dimensionalität bestimmt werden kann. Über das gleichartige Vorgehen kann der Fachmann auch aus den Histogrammen über die Größe der Zusammenhangsbe- reiche die Repräsentanten identifizieren, in denen z. B. sehr wenige Beispiele enthalten sind. Über den Repräsentanten kann dann die Position im Eingaberaum bestimmt werden, in denen weitere Beispiele erfasst werden müssen. Vorstehend wurden zwei Arten von Qualitätsbewertungen anhand der Figuren 5 und 7 bis 11 beispielhaft erläutert. Diese Qua- litätsbewertungen können im Rahmen des Vorgehens im V-Modell 301 angewendet werden. Beispielsweise können die vorstehend beschriebenen Qualitätsbewertungen bei der initialen Quali- tätssicherung der Beispiele 22 gemäß dem Verfahrensschritt DD angewendet werden. Sie können aber ebenso an weiteren Schrit- ten bei dem Vorgehens gemäß dem V-Modell 301 genutzt werden.
Die vorstehend beschriebenen Schleifen können genutzt werden, um iterativ Beispiele zu erfassen: Beispielsweise bilden die vorstehend genannten erfassten Beispiele für die initiale Qualitätsbewertung einen ersten Beispielsatz. In einer wei- tere Messkampagne wird ein weiterer Datensatz erfasst. Bei- spielsweise kann die Erfassung des zweiten Beispielsatzes aufgrund von Erkenntnissen aus dem ersten Beispielsatz modi- fiziert werden. Für den ersten Beispielsatz wird eine erste Qualitätsbewertung ermittelt (wie oben beschrieben). Analog dazu wird für den zweiten Beispielsatz eine zweite Qualitäts- bewertung ermittelt. Diese beiden Qualitätsbewertungen können verglichen werden. Dabei kann festgestellt werden, ob die mo- difizierte Erfassung den erwarteten Einfluss auf die zweite Qualitätsbewertung hat. Zudem kann der erste und zweite Bei- spielsatz zu einem dritten Beispielsatz (Vereinigungsmenge) zusammengefasst werden und eine dritte Qualitätsbewertung an- hand des dritten Beispielsatzes ermittelt werden. Erfüllt diese Vereinigungsmenge nicht die erwarteten Qualitätsanfor- derungen, lässt dies auf mögliche Probleme bei der modifi- zierten Erfassung schließen. Mit den oben beschriebenen Me- thoden können diese Probleme analysiert und behoben werden.
Nach einem weiteren Verfahrensschritt EE des Vorgehens werden eine Modularisierung der durch das Teilsystem 46 zu lösenden Gesamtaufgabe, eine Transformation der Beispiele 22, eine Re- präsentation der Beispiele, eine Kodierung der Beispiele und eine Netzwerkstruktur eines künstlichen neuronalen Netzes des beispielbasierten Teilsystems 46 festgelegt. Bei der Modularisierung der durch das Teilsystem 46 zu lösen- den Gesamtaufgabe wird die Aufgabe, die von dem beispielba- sierten Teilsystem 46 gelöst werden soll, in Teilaufgaben aufgeteilt. Die Aufteilung in Teilaufgaben erfolgt dabei mo- dular, d.h. es gibt eine mögliche Zusammensetzung der Teil- aufgaben, die die Gesamtaufgabe repräsentiert.
Für die Festlegung der Netzwerkstrukturen, hat die Modulari- sierung der Teilaufgaben beispielsweise zur Folge, dass die künstlichen neuronalen Netze des beispielbasierten Teilsys- tems 46 in Teilnetze aufgeteilt werden. Alternativ oder zu- sätzlich können Teilaufgaben über eine symbolische bzw. kon- ventionelle (algorithmische) Implementierung gelöst bzw. be- arbeitet werden, während andere Teilaufgaben über ein künst- liches neuronales Netz gelöst bzw. bearbeitet werden.
Beispiele für Teilnetze sind in Abschnitt 3.9 („Hierarchi- sches QUEEN Perzeptronen-Netz (HQPN) ") von WASCHULZIK be- schrieben. So kann eine Teilaufgabe durch ein Teilnetz eines HQPNs oder durch ein Teilnetz, welches ein HQPN ist und pa- rallel zu weiteren HQPNs in der Netzwerkstruktur angeordnet ist, gelöst werden.
Bei einem weiteren Verfahrensschritt FF des Vorgehens werden bei der Modularisierung erzeugte Module, welche Teilnetze des künstlichen neuronalen Netzes sind, die Transformationen der Beispiele 22, die Repräsentation der Beispiele 22, die Kodie- rung der Beispiele 22 und das künstliche neuronale Netz im- plementiert.
Die Module sind beispielsweise Teilnetze eines künstlichen neuronalen Netzes.
Dieser weitere Verfahrensschritt FF ist dem Schritt „Soft- ware-Entwurf" (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Design and Implementation" zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell 301 durchgeführt wird. Bei einem weiteren Verfahrensschritt GG des Vorgehens werden die Transformation der Beispiele 22, die Repräsentation der Beispiele 22, die Kodierung der Beispiele 22 und das Training und der Test des künstlichen neuronalen Netzes durchgeführt.
Dieser weitere Verfahrensschritt GG ist dem Schritt der Er- stellung des Systems (Englisch: Manufacture") zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell 301 durchge- führt wird.
Dabei wird ein abgesicherter Bereich des Eingaberaums 20 an- hand der Qualitätsbewertung ermittelt und das künstliche neu- ronale Netz gemäß einem Verfahrensschritt GG1 ausschließlich in dem abgesicherten Bereich angewendet. Beispielsweise wird als abgesicherter Bereich ein Bereich des Eingaberaums 12 ge- wählt, in dem eine ausreichende Beispielmenge erfasst wurde oder in dem die Komplexitätsbewertung im Sinne der Sicher- heitsanforderungen vergleichsweise klein ist.
Unter Berücksichtigung einer Kenntnis über einen abgesicher- ten Bereich werden die Module in einem Verfahrensschritt HH integriert, wobei die Kenntnis anhand der Qualitätsbewertung gewonnen wird. Dieser weitere Verfahrensschritt HH ist vor- zugsweise dem Schritt „System-Integration" (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „In- tegration" zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell 301 erfolgt. Die Module werden bei der Integra- tion miteinander zu einem Gesamt(teil)System verknüpft. Bei der Integration wird das Wissen über die lokale Sicherheit der Information in der Beispielmenge berücksichtigt.
Dabei wird in einem Verfahrensschritt HH1 die Spur eines Bei- spiels verfolgt, indem die durch das Beispiel 22 angeregten Neuronen des künstlichen neuronalen Netzes überwacht werden. Auf diese Weise wird sichergestellt, dass für die Bearbeitung eines Beispiels 22 in den Modulen Aussagen mit ausreichender Sicherheit getroffen werden können. Die Überwachung der angeregten Neuronen erfolgt beispielsweise auf der Basis ei- ner Zuordnung des zu bearbeitenden Beispiels 22 zu einem Teil des Eingaberaums. Anhand der Kenntnis darüber, welchem Teil des Eingaberaums das Beispiel zuzuordnen ist, können diejeni- gen Neuronen, die angeregt werden, wenn das Beispiel 22 vor- liegt, überwacht werden. Über die Verbindungen der Neuronen untereinander ist die Verfolgung der Spur des Beispiels 22 bis zur Ausgabe y möglich.
Bei einem weiteren Verfahrensschritt JJ des Vorgehens wird das beispielbasierte Teilsystem anhand einer Validierungsbei- spielmenge, die unabhängige Validierungsbeispiele umfasst, validiert. Die unabhängigen Validierungsbeispiele bilden eine Beispielmenge, die unabhängig von den bisher zur Erstellung des Systems verwendeten Beispielen ist. Alternative kann bei- spielsweise auch der Ansatz der Kreuzvalidierung (https://en.wikipedia.org/wiki/Cross-validation_ (statistics)) oder ähnliche Ansätze verwendet werden. Auf der Basis der Er- gebnisse der Kreuzvalidierung wird überprüft, ob das Bei- spielbasierte System die für die Validierung (Kreuzvalidie- rung) erforderliche Qualität erreicht hat.
Dieser weitere Verfahrensschritt JJ ist dem Schritt „System- validierung" oder Englisch „System Validation" zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell 301 durchge- führt wird.
Insbesondere wird das trainierte beispielbasierte Teilsystem mittels einer Validierungsbeispielmenge validiert. Demnach bildet die Trainingsbeispielmenge oder eine Untermenge davon einen ersten Beispielsatz, welcher eine Mehrzahl von Beispie- len umfasst. Für den ersten Beispielsatz wird eine ersten Qualitätsbewertung ermittelt. Ein zweiter Beispielsatz wird durch die Anwendung des trainierten beispielbasierten Teil- systems (z.B. des neuronalen Netzes) bestimmt. Dazu können Eingabewerte (Messpunkte) im Eingaberaum zufällig oder syste- matisch verteilt werden. Zu jedem Eingabevektor wird durch das beispielbasierte Teilsystem ein Ausgabevektor bestimmt. Auf Basis dieser durch das beispielbasierte Teilsystem er- zeugten Beispiele wird der zweite Beispielsatz gebildet. Für diesen zweiten Beispielsatz wird dann eine zweite Qualitäts- bewertungen ermittelt. Der erste und zweite Beispielsatz wer- den anhand der ersten und zweiten Qualitätsbewertung vergli- chen.
Weiter wird beispielsweise ein dritter Bespielsatz, welcher die Vereinigungsmenge des ersten und zweiten Beispielsatzes bildet, aus dem ersten und zweiten Beispielsatz gebildet und eine dritte Qualitätsbewertung für den dritten Beispielsatz ermittelt. Ferner werden die erste Qualitätsbewertung, die zweite Qualitätsbewertung und die dritte Qualitätsbewertung verglichen .
Zeigen sich beispielsweise Bereiche im Raum, wo eine erhöhte lokale Komplexität (anhand der dritten Qualitätsbewertung) in der Vereinigungsmenge auftritt, kann auf eine schlechte Gene- ralisierung des beispielbasierten Teilsystems geschlossen werden. Diese Bereiche werden identifiziert und es werden Maßnahmen ergriffen, um das Problem zu beheben. Das kann bei- spielsweise durch Änderungen von Parametern des verwendeten Neuronalen Netzes (z. B. Korrektur der Anzahl der Freiheits- grade in dem Bereich des Eingaberaumes mit der schlechten Qualität), durch Erfassung weiterer Beispiele, durch die Ver- änderung der Trainingsparameter oder durch Einfügung von Re- gularisierungstermen erreicht werden.
In einem weiteren Verfahrensschritt KK des Vorgehens wird das System betrieben, gewartet und die Performance überwacht.
Obwohl die Erfindung im Detail durch das bevorzugte Ausfüh- rungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele einge- schränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen .

Claims

Patentansprüche
1. Verfahren zur Qualitätssicherung eines Systems (1, 40), welches ein beispielbasiertes Teilsystem (46) aufweist, bei welchem das beispielbasierte Teilsystem (46) anhand von erhobenen Beispielen (22), welche eine Beispielmenge bilden, er- stellt und trainiert wird, die Qualitätssicherung des Systems (1, 40) anhand eines Vorgehensmodells (301) zur Durchführung eines Entwick- lungsprozesses erfolgt, welches einen Plan für das Vorge- hen bei der Qualitätssicherung des Systems (1, 40) reprä- sentiert, und die Qualitätssicherung des beispielbasierten Teilsystems (46) anhand einer Qualitätsbewertung, welche anhand der Beispielmenge (22) ermittelt wird, erfolgt.
2. Verfahren nach Anspruch 1, bei welchem das jeweilige Beispiel (22) der Beispielmenge einen Ein- gabewert (12), welcher in einem Eingaberaum (20) liegt, umfasst und die lokale Umgebung eines Beispiels (22) im Eingaberaum für eine Entscheidung über die Anwendung des beispielba- sierten Teilsystems oder für die Steuerung des Entwick- lungsprozesses verwendet wird.
3. Verfahren nach Anspruch 2, bei welchem eine Gewichtung für die Anwendung einer Mehrzahl von bei- spielbasierten Teilsystemen abhängig von der Dichte der Bei- spiele in einer lokalen Umgebung des Eingaberaums eines Bei- spiels getroffen wird.
4. Verfahren nach Anspruch 3, bei welchem die Entscheidung über die Auswahl der Anwendung eines bei- spielbasierten Teilsystems aus einer Mehrzahl von alternati- ven beispielbasierten Teilsystemen getroffen wird.
5. Verfahren nach Anspruch 4, bei welchem die Entscheidung getroffen wird, dass ein beispielbasiertes Teilsystem nicht angewendet wird, wenn die Anzahl an Beispie- len, die in der lokalen Umgebung des Beispiels vorhanden sind, kleiner als ein vorgegebener Wert ist.
6. Verfahren nach wenigstens einem der Ansprüche 2 bis 5, bei welchem ein Prozessparameter, welcher die Vertrauenswürdigkeit der Kompetenz des beispielbasierten Teilsystems repräsentiert, in Abhängigkeit von der lokalen Umgebung des Beispiels gesetzt wird.
7. Verfahren nach wenigstens einem der vorhergehenden Ansprü- che 1 bis 6, bei welchem das jeweilige Beispiel einen Ausgabewert, der in einem Ausgaberaum liegt, umfasst, für den jeweiligen Umgebungsbereich eine lokale Komplexi- tätsbewertung bestimmt wird (E), welche eine durch die Beispiele des Umgebungsbereichs definierte Komplexität einer Aufgabenstellung des beispielbasierten Systems (1) repräsentiert, und die lokale Komplexitätsbewertung durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Einga- beraum (20) und Ausgaberaum bestimmt wird (El).
8. Verfahren nach Anspruch 7, bei welchem die Entscheidung getroffen wird, dass ein beispielbasiertes Teilsystem nicht angewendet wird, weil die Komplexitätsbewertung in der lokalen Umgebung des Eingabe- raums für die geforderte Qualität der Anwendung des beispiel- basierten Teilsystems größer als ein vorgegebener Wert ist.
9. Verfahren nach Anspruch 7 oder 8, bei welchem die Gewichtung für die Anwendung einer Menge von Beispielmen- gen abhängig von der lokalen Komplexität in der lokalen Umge- bung des Eingaberaums getroffen wird.
10. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 2 bis 9, bei welchem die Entscheidung anhand einer bestimmten Anzahl an nächsten Nachbarn zu einem Beispiel, der Anzahl der Beispiele, die sich in einer definierten normierten Entfernung zu dem betrachteten Beispiel befin- den, und/oder eines Qualitätsindikators in einem Teilraum des Eingabe- raumes, welcher für eine relevante Untermenge der Teil- räume des Eingaberaums bestimmt wird, getroffen wird.
11. Verfahren nach wenigstens einem der vorhergehenden An- sprüche, wobei das Ermitteln (C) der Qualitätsbewertung umfasst:
Verteilen (CI) von Repräsentanten (24, 28) im Eingaberaum (20) und
Zuordnen (C2) einer Anzahl von Beispielen (29) der Bei- spielmenge zu dem jeweiligen Repräsentanten (28), wobei die dem Repräsentanten (28) zugeordneten Beispiele (29) in einem Umgebungsbereich (30) des Eingaberaums (20), welcher den Repräsentanten (28) umgibt, liegen und wobei als Qualitätsbewertung eine lokale Qualitätsbewertung für den Umgebungsbereich (30) ermittelt wird (C3). }2. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 1 bis 11, wobei die Qualitätsbewertung ein statistisches Mittel, wel- ches anhand der lokalen Umgebung bestimmt und/oder aus dem Repräsentanten nach Anspruch 11 ermittelt wird, dem das betrachtete Beispiel entsprechend seiner Position im Eingaberaum zugeordnet wird, umfasst .
13. Verfahren nach Anspruch 12, wobei als statistisches Mittel ein statistisches Maß, insbe- sondere ein Mittelwert, Median, Minimum und/oder Quantile der Anzahl ermittelt wird.
14. Verfahren nach wenigstens einem der Ansprüche 7 bis 13, wobei die Komplexitätsbewertung ein integrierter Qualitätsin- dikator QI2 ist, wobei der Qualitätsindikator auf der Basis der folgenden Definition bestimmt wird: wobei:
Figure imgf000054_0001
Figure imgf000054_0002
der normierte Abstand der repräsentierten Eingaben und
Figure imgf000054_0003
der normierte Abstand der repräsentierten Ausgaben ist, wobei x das Paar (x1,x2,) bestehend aus den zwei Beispie- len x1 und x2 ist, wobei x1 und x2 Beispiele aus der Beispielmenge P sind, wobei P={p1,p1, ... ,P |p| die Menge der Elemente der Multi- menge BAG P und wobei |P2|die Anzahl der Elemente der Multimenge BAG P ist.
15. Verfahren nach wenigstens einem der Ansprüche 7 bis 14, bei welchem die Komplexitätsbewertung auf einem Vergleich der Beispiele der Beispielmenge un- tereinander und einer Mengeneinteilung der miteinander verglichenen Bei- spiele basiert, wobei die miteinander verglichenen Beispiele eingeteilt wer- den in die Mengen:
Figure imgf000055_0001
wobei P die Beispielmenge und P2 die Menge an Beispielpaaren, welche aus P gebildet werden können, sind, wobei dRE(x) der Abstand der Beispiele X1 , X2 im Eingaberaum und dRA(x) der Abstand der Beispiele X1 , X2 im Ausgaberaum ist, wobei zwei Beispiele ähnliche Eingabemerkmalswerte aufweisen, wenn der Eingaberaumabstand dRE(x) kleiner als das vorgege- bene Eingabedelta δin ist und wobei zwei Beispiele ähnliche Ausgabemerkmalswerte aufweisen, wenn der Ausgaberaumabstand dRA(x) kleiner als das vorgegebene Ausga- bedelta δout ist.
16. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 1 bis 15, bei welchem das Vorgehen bei der Qualitätssicherung des Systems entspre- chend dem Vorgehen bei dem V-Modell (301) zur Durchführung eines Entwicklungsprozesses erfolgt.
17. Verfahren nach Anspruch 16, bei welchem in einem ersten Schritt des Vorgehens der beispielbasierte Anteil des Systems festgelegt wird (AA).
18. Verfahren nach Anspruch 16 oder 17, bei welchem in einem weiteren Schritt des Vorgehens bei der Qualitätssi- cherung die Erhebung der Beispiele spezifiziert (BB).
19. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 16 bis 18, bei welchem in einem weiteren Schritt des Vorgehens Sicherheitsanforde- rungen und ein sicherer Zustand des Systems definiert werden (CC).
20. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 16 bis 19, bei welchem in einem weiteren Schritt (DD) des Vorgehens
- die Qualitätssicherung für die Beispiele definiert wird,
- die Beispiele erhoben werden und
- eine initiale Qualitätssicherung der Beispiele durchgeführt wird.
21. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 16 bis 20, bei welchem in einem weiteren Schritt des Vorgehens eine Modularisierung der durch das Teilsystem (46) zu lö- senden Gesamtaufgabe, eine Transformation der Beispiele (22), eine Repräsentation der Beispiele (22), eine Kodierung der Beispiele (22) und eine Netzwerkstrukturen eines künstlichen neuronalen Net- zes des beispielbasierten Teilsystems (46) festgelegt werden (EE).
22. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 16 bis 21, bei welchem in einem weiteren Schritt des Vorgehens bei der Modularisierung erzeugte Module, welche Teilnetze des künstlichen neuronalen Netzes sind, die Transformationen der Beispiele (22), die Repräsentation der Beispiele (22), der Kodierung der Beispiele (22) und das künstliche neuronale Netz implementiert werden (FF).
23. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 16 bis 22, bei welchem in einem weiteren Schritt des Vorgehens die Transformation der Beispiele (22), die Repräsentationen der Beispiele (22), die Kodierung der Beispiele und das Training und der Test des künstlichen neuronalen Net- zes durchgeführt werden. (GG)
24. Verfahren nach Anspruch 2 und Anspruch 23, bei welchem ein abgesicherter Bereich des Eingaberaums (20) anhand der Qualitätsbewertung ermittelt wird und das künstliche neuronale Netz ausschließlich in dem abge- sicherten Bereich angewendet wird (GG1).
25. Verfahren nach Anspruch 22 und 24, bei welchem in einem weiteren Schritt des Vorgehens die Module unter Berücksichtigung einer Kenntnis über einen abgesicherten Bereich integriert werden (HH), wobei die Kenntnis anhand der Qualitätsbewertung gewonnen wird.
26. Verfahren nach Anspruch 25, bei welchem die Spur eines Beispiels verfolgt wird (HH1), indem die durch das Beispiel angeregten Neuronen des künstlichen neuronalen Netzes überwacht werden. 27. Verfahren nach Anspruch 25 oder 26, bei welchem das beispielbasierte Teilsystem anhand einer Validierungsbei- spielmenge, die unabhängigen Validierungsbeispiele umfasst, validiert wird (JJ).
28. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 16 bis 27, bei welchem in einem weiteren Schritt des Vorgehens
Erstellungsbeispiele, welche für die Erstellung des bei- spielbasierten Teilsystems erfasst werden, einem ersten Beispielsatz zugeordnet werden,
Anwendungsbeispiele, welche bei der Anwendung des bei- spielbasierten Teilsystems erfasst werden, einem zweiten Beispielsatz zugeordnet werden und eine ersten Qualitätsbewertung, welche anhand des ersten Beispielsatzes ermittelt wird, und eine zweite Qualitäts- bewertung, welche anhand des zweiten Beispielsatzes er- mittelt wird, werden miteinander verglichen.
29. Verfahren nach wenigstens einem der vorhergehenden An- sprüche 16 bis 28, bei welchem das jeweilige Beispiel der Beispielmenge einen Eingabewert, welcher in einem Eingaberaum liegt, umfasst, wobei bei dem Verfahren in einem weiteren Schritt des Vorgehens
Trainingsbeispiele, welche für das Training des beispiel- basierten Teilsystems verwendet werden, einem ersten Bei- spielsatz zugeordnet werden, weitere Beispiele, welche anhand von im Eingaberaum ver- teilten Eingabewerten durch das beispielbasierte Teilsys- tem erzeugt werden, einem zweiten Beispielsatz zugeordnet werden und eine ersten Qualitätsbewertung, welche anhand des ersten Beispielsatzes ermittelt wird, und eine zweite Qualitäts- bewertung, welche anhand des zweiten Beispielsatzes er- mittelt wird, werden miteinander verglichen.
30. Computerprogramm, umfassend Befehle, die bei der Ausfüh- rung des Programms durch eine Recheneinheit diese veranlas- sen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 29 durchzuführen.
31. Computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch eine Recheneinheit diese veranlas- sen, dass Verfahren nach wenigstens einem der Ansprüche 1 bis 29 durchzuführen.
PCT/EP2022/061830 2021-05-26 2022-05-03 Verfahren zur qualitätssicherung eines systems WO2022248171A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22726752.3A EP4323862A1 (de) 2021-05-26 2022-05-03 Verfahren zur qualitätssicherung eines systems

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102021205339.4 2021-05-26
DE102021205339 2021-05-26
DE102021207613.0A DE102021207613A1 (de) 2021-05-26 2021-07-16 Verfahren zur Qualitätssicherung eines Systems
DE102021207613.0 2021-07-16

Publications (1)

Publication Number Publication Date
WO2022248171A1 true WO2022248171A1 (de) 2022-12-01

Family

ID=81854767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/061830 WO2022248171A1 (de) 2021-05-26 2022-05-03 Verfahren zur qualitätssicherung eines systems

Country Status (2)

Country Link
EP (1) EP4323862A1 (de)
WO (1) WO2022248171A1 (de)

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
"Conference on Computer Vision. Lecture Notes in Computer Science", ARXIV:1512.02325, vol. 9905, pages 21 - 37
"Cost-Sensitive Machine Learning", 19 December 2011, CRC PRESS, ISBN: 978-1-4398-3928-7, article BALAJI KRISHNAPURAM ET AL: "Algorithms for Active Learning", pages: 3 - 30, XP055751628, DOI: 10.1201/b11423 *
LIUWEI: "Single Shot MultiBox Detector", VERFAHREN ZUR OBJEKTERKENNUNG NACH DEM DEEP-LEARNING-ANSATZ, WELCHES AUF EINEM CONVOLUTIONAL NEURAL NETZWORK BASIERT UND BESCHRIEBEN, October 2016 (2016-10-01)
POTH ALEXANDER ET AL: "Quality Assurance for Machine Learning - an approach to function and system safeguarding", 2020 IEEE 20TH INTERNATIONAL CONFERENCE ON SOFTWARE QUALITY, RELIABILITY AND SECURITY (QRS), IEEE, 11 December 2020 (2020-12-11), pages 22 - 29, XP033870040, DOI: 10.1109/QRS51102.2020.00016 *
VON DEBORAH J. RUMSEYBEATE MAJETSCHAKREINHARD ENGEL, STATISTIK FÜR DUMMIES, 4 December 2019 (2019-12-04)
VON HELGE TOUTENBURGMICHAEL SCHOMAKERMALTE WISSMANNCHRISTIAN HEUMANN: "Arbeitsbuch zur deskriptiven und induktiven Statistik", 27 February 2009, SPRINGER-LEHRBUCH
VON LUDWIG FAHRMEIRCHRISTIAN HEUMANNRITA KÜNSTLERIRIS PIGEOTGERHARD TUTZ: "Statistik: Der Weg zur Datenanalyse", 15 September 2016, SPRINGER-LEHRBUCH
VON MICHAEL G. LAMOUREUX, AN IMPLEMENTATION OF A MULTIDIMENSIONAL DYNAMIC RANGE TREE BASED ON AN AVL TREE, November 1995 (1995-11-01), Retrieved from the Internet <URL:https:Ilwww.cs.unb.caltech-epotsldocumentsITR95100.pdf>
WASCHULZIK T ET AL: "Quality assured efficient engineering of feedforward neural networks with supervised learning (QUEEN) evaluated with the "pima indians diabetes database"", NEURAL NETWORKS, 2000. IJCNN 2000, PROCEEDINGS OF THE IEEE-INNS-ENNS I NTERNATIONAL JOINT CONFERENCE ON 24-27 JULY 2000, PISCATAWAY, NJ, USA,IEEE, vol. 4, 24 July 2000 (2000-07-24), pages 97 - 102, XP010506415, ISBN: 978-0-7695-0619-7 *

Also Published As

Publication number Publication date
EP4323862A1 (de) 2024-02-21

Similar Documents

Publication Publication Date Title
WO2019068291A1 (de) - prüfen eines neuronalen netzes -
DE102019114577A1 (de) Systeme, vorrichtungen und verfahren für eingebettete codierungen von kontextbezogenen informationen unter verwendung eines neuronalen netzwerks mit vektorraummodellierung
DE102019209462A1 (de) Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
DE102021207613A1 (de) Verfahren zur Qualitätssicherung eines Systems
EP3557487A1 (de) Generieren von validierungsdaten mit generativen kontradiktorischen netzwerken
DE112020005663T5 (de) Objekterkennung mit training aus mehreren datensätzen
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE112020003343T5 (de) System und verfahren mit einem robusten tiefen generativen modell
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
EP4323862A1 (de) Verfahren zur qualitätssicherung eines systems
WO2022069182A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
EP4049186A1 (de) Verfahren zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE102020203828A1 (de) Verfahren zum Erkennen einer Umgebung eines Fahrzeugs
DE102020203135A1 (de) Verfahren zur Qualitätssicherung eines beispielbasierten Systems
WO2021239795A1 (de) Verfahren zum generieren eines trainierten neuronalen faltungs-netzwerks mit invarianter integrationsschicht zum klassifizieren von objekten
DE102020127051A1 (de) Verfahren zur Bestimmung von sicherheitskritischen Ausgabewerten mittels einer Datenanalyseeinrichtung für eine technische Entität
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
DE102020202305A1 (de) Verfahren zum Erkennen einer Umgebung eines Fahrzeugs und Verfahren zum Trainieren eines Fusionsalgorithmus für ein Fahrzeugsystem
DE102020203047A1 (de) Effiziente gleichzeitige Inferenzberechnung für mehrere neuronale Netzwerke
DE102021214552A1 (de) Verfahren zum Evaluieren eines trainierten tiefen neuronalen Netz
DE102021208722A1 (de) Konfigurieren eines neuronalen Netzwerks auf äquivariantes oder invariantes Verhalten
DE102021210566A1 (de) Quantitative Bewertung der Unsicherheit von Aussagen eines Klassifikators anhand von Messdaten und mehreren Verarbeitungsprodukten derselben
DE102022107820A1 (de) Verfahren und Prozessorschaltung zum Überprüfen einer Plausibilität eines Detektionsergebnisses einer Objekterkennung in einem künstlichen neuronalen Netzwerk sowie Kraftfahrzeug
DE102020209900A1 (de) Verfahren und Analysiereinrichtung zum Verarbeiten von Umfeldsensordaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22726752

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022726752

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022726752

Country of ref document: EP

Effective date: 20231115

NENP Non-entry into the national phase

Ref country code: DE