WO2006005663A2 - Verfahren zur dynamischen informationsselektion mit einem neuronalen netz und neuronales netz zur dynamischen informationsselektion - Google Patents

Verfahren zur dynamischen informationsselektion mit einem neuronalen netz und neuronales netz zur dynamischen informationsselektion Download PDF

Info

Publication number
WO2006005663A2
WO2006005663A2 PCT/EP2005/052802 EP2005052802W WO2006005663A2 WO 2006005663 A2 WO2006005663 A2 WO 2006005663A2 EP 2005052802 W EP2005052802 W EP 2005052802W WO 2006005663 A2 WO2006005663 A2 WO 2006005663A2
Authority
WO
WIPO (PCT)
Prior art keywords
input
category
pools
pool
neural network
Prior art date
Application number
PCT/EP2005/052802
Other languages
English (en)
French (fr)
Other versions
WO2006005663A3 (de
Inventor
Rita Almeida
Gustavo Deco
Martin Stetter
Miruna Szabo
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2006005663A2 publication Critical patent/WO2006005663A2/de
Publication of WO2006005663A3 publication Critical patent/WO2006005663A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the invention relates to the dynamic selection of information.
  • Data processing systems in particular intelligent agents or systems for evaluating data, receive input information.
  • the system must prepare and output the input information according to specific criteria or derive and execute an action from the input information.
  • the preparation of the input information with regard to a task to be solved is of particular importance here.
  • numerous classification methods exist for assigning input information to specific classes. The goal here is to obtain a representation of the input information which is as optimal as possible for the task to be solved.
  • a feature is understood to be a specific property of the input information.
  • expression is meant whether, to what extent or in what way a particular feature is given in the input information. In this case, the expression can only indicate the presence or absence of a feature, but the expression can also describe any intermediate stages.
  • a feature could indicate, for example, whether information was clipped or not during the digitization of an acoustic speech signal.
  • a feature could specify a gray scale distribution of pixels of an image. The Ausgar ⁇ tion here z. For each of 256 gray levels, how often it occurs.
  • a classification of the extracted features is carried out. If edges are extracted as features in an image, then in a second step it can be classified whether the edges belong, for example, to the image of a face or a building.
  • the disadvantage here is that most methods can not decide for themselves which features are important for the later classification and which are unimportant. Such a distinction of features with regard to a task to be solved must then be done by hand and given to the system in some form.
  • methods are also known which can select features in a targeted manner. However, the extraction of the characteristics or their characteristics remains unaffected.
  • a neural network which allows a selective representation of the expression of features of input information as a function of an attention filter.
  • a feature here is the location of an object, which occurs in the forms left and right; another feature is the type of object which occurs in the expressions "target object” and "other object”.
  • the representation of the characteristics of these features is selectively influenced by an attention filter.
  • the neural network dynamic information selection method provides an input area of the neural network to which input information is supplied. Furthermore, the occurrences of features of the input information are represented in the input area of the neural network. In addition, several categories are stored in the neural network. The neural network now classifies the characteristics of the features by including at least one category recognizes the category. The at least one recognized category, on the other hand, exerts a selectively optimizing influence on the representation of the characteristics of the features.
  • the inventive method is used to optimize the representation of the input information for a task to be solved.
  • the neural network contains exciting pulsed neurons. These form category pools, with each category being assigned at least one category pool.
  • the categories of pools compete with one another.
  • an active category pool can prevail in the competition.
  • the neural network contains inhibiting pulsed neurons.
  • the inhibitory pulsed neurons form at least one inhibitory pool.
  • exciting pulsed neurons form input pools.
  • the input pools in turn form groups which each represent a feature of the input information.
  • the activity of the input pools of a group represents an expression of the respective feature.
  • at least one category pool influences at least one input pool.
  • at least one input pool influences at least one category pool.
  • the input pools cooperate with each other.
  • the neural network includes circuits which are formed by Hebbian learning.
  • the neural network for dynamic information selection has an input area to which input information can be supplied. Furthermore, a representation of the input information can be stored in the input area. In addition, the neural network has a category area in which categories can be stored. The category area is reconnected to the input area.
  • the category area contains exciting pulsed neurons.
  • the category area has several category pools, each of which consists of exciting pulsed neurons. The category pools are reconnected to the input area recurrently.
  • the neural network contains inhibitory pulsed neurons. Furthermore, the neuronal network contains an inhibiting pool, which consists of the inhibitory pulsed neurons. The inhibiting pool is interconnected with the category pools.
  • the input area on input pools which consist of exciting ge pulsed neurons.
  • the input pools can be activated by supplying input information with specific features.
  • groups of input pools each represent a feature of an input information.
  • an expression of the relevant feature can be represented.
  • the category pools are reconnected to the input pools recurrently.
  • the input pools are interconnected so that a cooperation between them is possible.
  • the category pools are interconnected so that they can compete with each other.
  • the input area has an inhibiting pool, which is switched on with the input pools.
  • the input area has a non-specific pool, which is interconnected with other pools of the input area.
  • a first module has the category area and a second module has the input area.
  • the invention can be seen in that the representation of the characteristics of the input information is carried out dynamically.
  • Dynamic means here that the representation of the expression of the features enters into an interaction.
  • the partner of the interaction is the categorization or classification of the input information.
  • Categorization or classification means that, depending on the characteristics of the input information, a category or class is identified which best describes the input information.
  • the neural network forms a hypothesis on how the input information is to be interpreted by recognizing a suitable category or class, ie, selecting or activating it. Subsequently, the input information is reinterpreted in the light of the current hypothesis (category / class), paying special attention to the characteristics characteristic of the hypothesis.
  • the current hypothesis indicates which features are of particular importance, ie characteristic for the current category / class.
  • the expression of the relevant features is thereby adapted, for example by differentiation or amplification in comparison to the expression of uncharacteristic features.
  • a dynamic information selection takes place.
  • the representation of the features of the input information takes place by recognizing and taking into account their meaning.
  • the invention provides a completely novel method for optimizing the evaluation of input information. It allows an automatic hypothesis formation over the input information, which in an interaction allows the selective adaptation of the resolution of certain features.
  • the hypothesis ie the current category / class, can be changed at any time if appropriate input information is available.
  • Figure 1 shows the structure of a pool
  • FIG. 2 shows an embodiment of the neural network.
  • FIG. 1 shows the structure of a pool 100.
  • the pool contains a number of artificial neurons 101.
  • Artificial neurons 101 partially or completely model a specific artificial neuron 101. type of neuron known from biology. Modeling can be carried out by an electronic circuit or a mathematical model, which is calculated by a data processing system.
  • the artificial neurons 101 are connected to one another via connections 102.
  • the compounds 102 correspond to the synapses of biological neurons. The strength of the connections 102 is described by a weight w.
  • Neurons 101 which are to be strongly co-activated, i. whose activity is to strongly correlate are linked via compounds 102 which have a greater weight w than compounds 102 between neurons 101 whose activity is not intended to correlate. Since the activity of all neurons 101 in the pool 100 is to correlate with each other, their connections 102 are given above average weight w. This clearly indicates that the neurons 101 in the pool 100 form a team, ie work together.
  • An above-average weight w of a connection 102 is greater than the average weight of other connections 102.
  • a below-average weight w is smaller than the average weight of other connections 102.
  • the average weight of the connections 102 in a neural network can vary depending on location, type and Function of the participating neurons assume different values.
  • the neurons 101 of the pool 100 not only share the above-average weight w of their connections 102, but generally also receive the same external inputs. This means that the weights of the connections 102 of the neurons 101 to a particular neuron outside the pool 100 always have the same strength.
  • the described pool 100, the neurons 101 and the described connections 102 within the pool 100 represent an ideal case. In practice, the weightings The connections 102 also turn out differently. The same applies to the connections to the outside. In particular, there can also be full networking, ie, each neuron 101 is connected to every other neuron 101 of the same pool 100 or another pool.
  • FIG. 2 shows a neural network 1.
  • the neural network 1 represents a specific embodiment. Further developments of the embodiment shown in FIG. 2 by adding or omitting elements are desirable and will be addressed and explained at the appropriate place.
  • Figure 2 shows a neural network 1 with a number of pools.
  • the neural network 1 is subdivided into an input area 6 and a category area 5.
  • Input information 6 is supplied to the input area 6.
  • preprocessing of the input information already takes place within the neural network 1 or outside, so that input pools 110, 120 of the input area 6 can be selectively activated if in each case a specific characteristic of a specific feature of a zu ⁇ guided input information 2 is present.
  • An input pool 111 is z. B. activated when a first feature of the input information 2 is present in a first form.
  • An input pool 112 could be activated if the first feature of the input information 2 would occur in a second form. This is not the case in FIG. 2 for the input information 2.
  • an input pool 121 is activated, since a second feature of the input information 2 is present in a first expression.
  • An input pool 122 would be activated if the second feature of the input information 2 occurred in a second form. Both the input pool 121 and the input pool 122 could be activated if the second feature of the input information 2 would occur, for example, in a third embodiment. It continues also possible that there is only a single input pool 120, z. Example, the input pool 121, which is the more akti ⁇ fourth, the stronger the second feature of the input information 2 is pronounced. The same applies analogously to all other input pools.
  • the neural network 1 can also contain further input pools 110, eg. As an input pool 113, an input pool 114, etc. The same applies to the input pools 120.
  • the other input pools 110, 120 can then more
  • a group 21 of input pools 110 can represent the expression of a first feature.
  • a group 22 includes the input pools 120, which may also contain other input pools 123, 124 and so on.
  • the input pools 120 of group 22 are associated with a second feature.
  • the input area 6 can contain a further group 23 which contains input pools 130, in particular input pools 131, 132,... This group 23 or the input pools 130 then represent the expression of a third feature of the input information
  • the neural network can contain further input pools 140, 150,... or groups 24, 25,..., which are then assigned to further features of the input information.
  • an input pool 110, 120,... can represent a specific expression variant, but different input pools 110, 120,... Can also be activated to represent an expression in different or the same degree.
  • the activation of the input pools 110, 120,..., Which are each assigned to a characteristic is to be understood as the current representation of the characteristic of the feature.
  • a feature can also only be represented by a single input pool 110, 120,. If a certain feature is in a certain form, the corresponding input pools, eg. B. the input pool 111 in Figure 2, activated. This can be done in such a way that the neurons 101 of the respective input pool are jointly activated via their inputs from the outside.
  • the weights of the connections between the neurons of different input channels 110, 120 etc. are pronounced on average or above average. This means that the input pools 110, 120, ... can support each other according to the principle of cooperation. Suitable weights for the connections between different input pools 110, 120, ... can be determined in the experiment. An analogous procedure in another application can be found in the document [1].
  • the input pools 110, 120,... can assist one another by connections of average or above average weight.
  • the support or cooperation can take place within the groups 21, 22, ..., but also across the groups.
  • the input area 6 also has a non-specific pool 80.
  • the non-specific pool 80 is independent of the input information. It is linked to the input pools 110, 120,... Via connections whose weight is selected so that the non-specific pool 80 can balance the activity of the neurons in the input area 6. Optimal values such as the weights are again determinable in the experiment.
  • the input area 6 has an inhibiting pool 60, which is formed from inhibitory neurons. All other pools of the input area 6, on the other hand, are formed by exciting neurons, preferably exciting pulsed neurons.
  • the inhibiting pool 60 exerts a global inhibition on the input pools 110, 120,... As well as the non-specific pool 80.
  • the category area 5 contains a number of category pools 10.
  • a category pool 11 and a category pool 12 are shown. However, any number of category pools 13, 14 etc. are possible. These are integrated into the neural network 1 analogously to the illustrated category pools 11 and 12.
  • the category pools 10 are in competition with each other. This means that the weights of the connections between the neurons of different category pools 10 are selected below average.
  • a global escapement which in this case is exerted by an inhibiting pool 50, may implement competition between the category pools 10.
  • the category pools 10 and a non-specific pool 70 can in turn be formed from excitatory pulsed neurons, whereas the inhibitory pool 50 can be formed from inhibitory pulsed neurons.
  • each exciting neuron can be networked with every other exciting neuron Beyond the input area 6 and the category area 5.
  • the inhibiting neurons of the inhibiting pool 50 are only networked with the excitatory neurons of the category area 5 and with themselves.
  • the inhibitory neurons of the inhibitory pool 60 are only networked with the excitatory neurons of the input area 6 as well as with themselves.
  • the input area 6 and the cache area 5 can be combined, however, other areas with different or the same functionalities can also be added and freely networked with the available pools.
  • memory functionalities, context knowledge and decision processes could be incorporated into the neural network 1.
  • the classification of the input information from the category layer 5 could be read out and serve as a basis for further processing steps.
  • the activity of individual or all input pools 110, 120, ... could be read out and used as a basis for further processing steps.
  • the respective active category pool 10 represents a category which assigns the neural network 1 to a supplied input information 2.
  • the assignment represents a classification of the input information.
  • the neural network 1 recognizes a category in the characteristics of the characteristics.
  • FIG. 2 shows the case that the input pools 110 in the group 21 are of importance for the selection of the correct category. Therefore, there is an above-average weighted connection between the input pools 110 and the category pools 10. The weight of this above-average connection is denoted by W 1.
  • FIG. 2 shows the case that the supplied input information 2 contains a first feature in a first form, whereby the input pool 111 is activated. Since the latter supports the category pool 11 with an above-average connection (with weight w 1), the category pool wins
  • the category pool 11 now supports the via a recurrent connection with above-average weight W 1 ⁇
  • Input pool 111 which additionally increases its activity.
  • the category pool 11 brakes the input pool 112 via a connection with a below-average weight WJ_, which - if activated - would represent a second expression of the first feature.
  • the braking is based on lack of support. Since the input pool 112 is less supported by the category pool 11 in comparison to other input pools 110, 120,..., Its activity drops due to the global inhibition by the inhibiting pool 60.
  • the active category pool 11 has thus selectively strengthened the separation capability of the input pools 110.
  • the input pools 120 represent the expression of a second feature, which is not relevant to the selection of the correct category here, they are associated with the category pools 10 only via connections with average weight w o . Illustratively, this means that no interaction takes place between the category pools 10 and the input pools 120. Thus, only the relevant input pools 110 are selectively affected.
  • the input pool 112 could be activated if there is a second expression of the first feature. In this case, the input pool 112 would support the category pool 12 via an above-average connection with the weight w 1, whereby it can win in the competition with the category pool 11.
  • the category pool 12 would, for its part, support the input pool 112 via a recurrent, above-average connection with the weight w 1 and brake the input pool 111 via a connection with below-average weight W 1. In this way, a selective increase in the separation capacity of the input pools 110 would again be achieved.
  • the category pools 11 and 12 could also be interconnected with further input pools 130, 140, etc., either via average connections with a weight w o or with weights as compared to the input pools 110
  • the category layer 5 further category pools 10, z. B. a category pool 13, which can be connected in an analogous manner with the input pools 110, 120, ..., the groupings 21, 22, ... may also contain each additional input pools.
  • the neural network 1 can be expanded for any number of categories, features and characteristics.
  • W 0 ⁇ can be at 0.2, w o at 0.1 and W j at zero, but these values are only an example.
  • the weighting of the connections between the category area 5 and the input area 6 with weights W ( j, Wi and w o shown in FIG. 2 represents only one example.
  • the weight w o represents an average weight of the connections of the Category area 5 with the input area 6, whereby ei ⁇ ne interaction between the affected pools is absent.
  • Wd is an above-average weight
  • W ⁇ is a lower average weight compared to the average weight w o .
  • the weight of a connection of an input pool 110, 120,... With a category pool 10 does not have to be the same in both directions. This applies in particular to compounds with an above-average or below average weight.
  • the weight of the connection from the input pool 111 to the category pool 11 may be 0.2, for example, and 0.3 in the opposite direction.
  • the weights can also vary here as long as the interaction between the input area 6 and the category area 5 according to the invention is ensured.
  • the neural network 1 can be used for robot control.
  • the input information is z. B. tothermuf ⁇ took the robot. From the camera image, an object shape is extracted as the first feature and an object color is extracted as a second feature.
  • the robot now has the task of detecting and grasping a screw between other objects.
  • the category pool 11 in FIG. 2 now represents the object category "screw", the category pool 12 the object category "other object”. Since both the screws and the other objects are of different colors in a random manner, the second feature color, the expression of which is represented by the input pools 120, can not be classified contribute. Therefore, the connections have the input pools
  • the input pool 111 can be activated if there is an oblong shape.
  • the input pool 112 could be activated in non-oblong shapes.
  • the input pool 111 is now connected to the category pool 11 with an above-average weight w 1.
  • the input pool 12 is connected to the category pool 12 with an above-average weight W 1 .
  • the neural network 1 can have further input pools 130, which are assigned to the feature "object size".
  • An input pool 131 which would be activated for small objects, could also support the category pool 11 via a connection with above-average weight W 1 .
  • the neural network 1 has clearly formed the hypothesis that the robot has a screw in front of it. In the light of this hypothesis, the forms of the characteristic
  • Characteristics shape: oblong instead of non-oblong, size: small rather than large
  • the neural network 1 has selectively optimized its representation, ie, the activities of the input pools 110, 120, and 130, in accordance with the task ("find screw") and the current hypothesis ("screw in the field").
  • the neural network 1 can be used for financial data analysis. In this case, stock prices of shares can serve as input information.
  • the first feature is the volatility of a stock price.
  • the input pool 111 would thus be activated with high volatility, the input pool 112 with medium volatility and an input pool 113 with low volatility.
  • the Kurstendenz of the last day could be used.
  • the input pool 121 would be activated at a fallen stock price, the input pool 122 at an increased stock price.
  • the third characteristic could be the market turnover of the last day for the respective share.
  • An input pool 131 would be activated at low revenue, an input pool 132 at high revenue. In this scenario, the category pools could be 10 different
  • the category pool 11 could stand for an upward channel, the category pool 12 for a downlink channel, and a category pool 13 for a triangular formation.
  • the category pools 10 can now be switched with the input pools 110, 120 and 130 so that the volatility and the tendency of the last day contribute to the selection of the right category, but not the stock exchange turnover.
  • the category pool 12 could be activated, which represents a falling channel. This in turn could suppress characteristic features (recurring share price, low volatility) via recurrent connections with above-average weighting W ⁇ j and suppress the other characteristics of the same characteristics via connections with below-average weights
  • the pools are based on the biology of the human brain.
  • large and homogeneous populations of neurons that receive a similar external input are mutually coupled and are likely to be clustered together.
  • men act as one unit, populations (pools).
  • These pools can provide a more robust processing and coding unit because their instantaneous population average response, as opposed to the time average of a relatively stochastic neuron in a large time window, is better suited to the analysis of fast changes in the real world - fits.
  • the artificial pools of the neural network 1 of the respective layer can contain artificial, exciting pulsed neurons. Exciting pulsed neurons are activated by pulses of other exciting pulsed neurons and send out even pulses to other neurons.
  • the activity of a pool of pulsed neurons can be modeled using a mean-field approximation.
  • the activity of the neurons can be described by mathematical models. Further information on the mathematical modeling of pools in the development of neural networks as well as different mathematical models for pulsed neurons, as used in the exemplary embodiments are u. a. from the writings [1], [2] and [3] known.
  • the neural network 1 is excited by at least one non-specific pool 70 or 80, which consists of exciting pulsed neurons. stands. The latter receives no specific inputs from one of the layers and contributes with spontaneous pulses to the formation of realistic pulse distributions.
  • the neural network 1 can be embodied as an attractor-recurrent autoassociative neural network. Such networks are described in the cited documents.
  • the synaptic strengths between the neurons of the neural network 1 are executed as if they had been formed by Hebbian learning.
  • the interplay between the areas corresponds to the multi-area interconnection in the human brain.
  • the neural network 1 can also have further regions or layers. These additional layers can map the functions of certain brain areas. In this way, the functionality of the neural network 1 can be considerably expanded. It is conceivable z. For example, the filtering of input information by modeling a selective attention, as well as the imple- mentation of work or long-term memory functions.
  • the further layers can be constructed in the manner described and interact with one another, or else implement other known methods.
  • the neural network 1 can be designed as a neurodynamic network, in particular in the form of a neurodynamic network of pulsed neurons. This may include the use of known neural networks (artificial neural networks), Multilagenper- ceptrons f SOMs (self organizing maps), etc. to include with.
  • the pulsed neurons can z. B. as so-called spiked or as so-called pulse-coding neurons.
  • Intelligent agents which use the method according to the invention or the neural network can be used for neurocognitive process control, in particular for technical processes, for neurocognitive driver assistance and for neurocognitive robot control.
  • the invention enables a technical system to have a human-like, flexible perception, which is shaped and driven by hypothesis formation.
  • Perception is represented by the activities of the input pools 110, 120, ....
  • the hypothesis formation is based on a classification of the input information.
  • the classification is based on the activation of a category pool.
  • An intelligent agent which implements the method according to the invention or the neural network according to the invention can be used in an extremely versatile manner. So is suitable an agent with flexible, human-like perception also as a character in training simulations or computer games.
  • the invention is based on the principle of influenced competition and the influenced cooperation (Biased Competition and Cooperation).
  • the neural network 1 thereby achieves high dynamics and selectivity in the representation of the individual features of the input information.
  • the neural network 1 directly depicts the neurodynamic processes in the human brain, it is of direct biological relevance. This is based on the exact simulation of the biological processes in the brain.
  • the pulsed neurons may be implemented as integrate-and-fire neurons.
  • the human perception is directly modeled by the involved neuronal processes.
  • the neural network and method according to the invention can be used as a model for clinical trial results. By comparing the results, hypotheses about the functioning of the brain can be checked immediately.
  • Suitable values for the weights of the compounds may deviate from the stated values and can be determined or optimized in the experiment. The general procedure for this is described in the document [1].
  • Features can also be linked dynamically to feature groups or categories. One feature may thus favor the repre- sentation of another feature. This can be implemented by pools that are interconnected with average to above-average weights and thus mutually support each other. For example, In this way, several input pools 110, 120... can be activated simultaneously in the input area 6 and thus several properties of an input information can be represented simultaneously, since the input pools 110, 120,.
  • input pools 111, 112, 113 and 114 may each represent a gray level on a four-level scale from black to white.
  • the feature of these input pools 110 would then be the gray value distribution of an image. Since almost all gray values usually occur in an image, it is obvious that all input pools 110 are activated at the same time. This is supported by the cooperation between the input pools 110. Depending on the proportion of gray values in the viewed image, however, the activations of the input pools 110 may differ from one another. The influence of the category pools 10 may further differentiate the activities of the input pools 110. If the neural network I z. If, for example, a black object is detected, the input pool 110, which represents the gray value in black, is replaced by an active category pool 10. supports, whereby its activity sets itself apart from the other input pools 110.
  • An area e.g. the input area 6 or the category area 5 can be implemented as a layer, but it can also comprise several layers or be structured differently.
  • the category area 5 may be implemented so that it can recognize several categories at the same time. This can be implemented by a plurality of simultaneously activatable category pools 10. Thus, the category area 5 can allow, for example by cooperation, that several category pools 10 are activated at the same time.
  • the category area 5 can also be organized in multiple layers, whereby category pools 10 compete with each other in each layer, with only one active category pool 10 being able to prevail in each layer. In a first layer, a category pool 10, which represents a particular object, could prevail. In a second layer, a category pool 10 could be established, which represents that the input information is harmless. In a third layer, a category area 10 could be activated, which represents that the input information is valuable. Each of these layers or their contained category pools 10 could interact with the input area 6 in the manner described.
  • Additional layers can be implemented according to the principle of influenced competition and biased competition and cooperation: Through the connection between layers, a layer can direct the competition process in one or more other layers. This process can be recurrent, so that successively and dynamically an ever better matching of different feature spaces of the different layers arises with each other through this mutual steering process.
  • every representation contains, because they only a partial aspect the environment, inevitably ambiguities.
  • Influenced competition represents a mechanism by which the various layers can resolve ambiguities in the respective other feature spaces by the information of their particular feature space.
  • Each representation evolves before the context of all other representations. Cooperation can then bind different characteristics to groupings, that is, relate them to one another.
  • Dynamic data from technical systems can be fed into the neural network 1 as input information after pre-processing, if necessary for dimensional reduction.
  • This can extract various features (eg independent components or nonparametric feature vectors analogous to self-organizing feature maps) in one or more input regions 6, some of which may also be equipped with a persistent activity (working memory function).
  • Optimization of the neural network 1 can be done by biologically motivated learning rules (eg Hebb rule or spike time dependent plasticity), with which cost functions for evaluating how well an input information is represented can also be set up.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Die Erfindung sieht einen Eingabebereich eines neuronalen Netzes vor, dem Eingabeinformationen zugeführt werden. Weiterhin werden die Eingabeinformationen in dem Eingabebereich des neuronalen Netzes als Ausprägungen von Merkmalen repräsentiert. Zusätzlich weist das neuronale Netz einen Kategoriebereich auf, in dem Kategorien speicherbar sind. Der Kategoriebereich ist hierbei rekurrent mit dem Eingabebereich verschaltet. Das neuronale Netz klassifiziert nun die Ausprägungen der Merkmale, indem es mindestens eine Kategorie erkennt. Die mindestens eine erkannte Kategorie übt ihrerseits einen selektiv optimierenden Einfluss auf die Repräsentation der Ausprägungen der Merkmale aus.

Description

Beschreibung
Verfahren zur dynamischen Informationsselektion mit einem neuronalen Netz und neuronales Netz zur dynamischen Informa- tionsselektion
Die Erfindung betrifft die dynamische Selektion von Informa¬ tionen. Systeme der Datenverarbeitung, insbesondere intelli¬ gente Agenten oder Systeme zur Auswertung von Daten, erhalten Eingabeinformationen. Hierzu muss das System die Eingabein¬ formationen nach bestimmten Kriterien aufbereiten und ausge¬ ben oder aus den Eingabeinformationen eine Handlung ableiten und ausführen. Der Aufbereitung der Eingabeinformationen im Hinblick auf eine zu lösende Aufgabe kommt hierbei besondere Bedeutung zu. So existieren zahlreiche Klassifikationsverfah¬ ren, um Eingabeinformationen bestimmten Klassen zuzuordnen. Ziel ist es hierbei, eine für die zu lösende Aufgabe mög¬ lichst optimale Repräsentation der Eingabeinformationen zu gewinnen.
Zur Aufbereitung der Eingabeinformationen sind zahlreiche ma¬ thematische Klassifikationsverfahren bekannt. Hierbei werden aus den Eingabeinformationen zunächst Merkmale extrahiert, welche jeweils in einer bestimmten Ausprägung vorkommen kön- nen. Als Merkmal wird eine bestimmte Eigenschaft der Eingabe¬ informationen verstanden. Unter Ausprägung wird verstanden, ob, in welchem Umfang oder auf welche Art ein bestimmtes Merkmal in den Eingabeinformationen gegeben ist. Die Ausprä¬ gung kann hierbei lediglich das Vorhandensein oder das Nicht- Vorhandensein eines Merkmals angeben, die Ausprägung kann a- ber auch beliebige Zwischenstufen beschreiben. Im Bereich der Sprachverarbeitung könnte ein Merkmal beispielsweise angeben, ob bei der Digitalisierung eines akustischen Sprachsignals Informationen abgeschnitten wurden (Clipping) oder nicht. Im Bereich der Bildverarbeitung könnte ein Merkmal eine Grau¬ wertverteilung von Pixeln eines Bildes angeben. Die Ausprä¬ gung kann hierbei z. B. für jede von 256 Graustufen angeben, wie häufig sie vorkommt. Weitere Merkmale könnten die Laut¬ stärke eines Sprachsignals, die Volatilität eines Aktienkur¬ ses, die Geschwindigkeit eines Fahrzeugs, die Unebenheit ei¬ ner Oberfläche, sowie die Strukturen eines Röntgenbildes sein. Die angegebenen Beispiele zeigen, dass die Extraktion von Merkmalen in unterschiedlichsten Bereichen der Datenver¬ arbeitung zum Einsatz kommt.
Im Rahmen der bekannten mathematischen Verfahren wird nach Extraktion unterschiedlicher Merkmale der Eingabeinformatio¬ nen eine Klassifikation der extrahierten Merkmale vorgenom¬ men. Werden als Merkmale Kanten in einem Bild extrahiert, so kann in einem zweiten Schritt klassifiziert werden, ob die Kanten beispielsweise zu der Abbildung eines Gesichts oder eines Gebäudes gehören. Nachteilig wirkt sich hierbei aus, dass die meisten Verfahren nicht selbst entscheiden können, welche Merkmale für die spätere Klassifikation wichtig und welche unwichtig sind. Eine solche Unterscheidung von Merkma¬ len im Hinblick auf eine zu lösende Aufgabe muss dann von Hand erfolgen und dem System in irgendeiner Form vorgegeben werden. Bekannt sind schließlich auch Verfahren, die Merkmale gezielt auswählen können. Die Extraktion der Merkmale bzw. ihre Ausprägung bleibt hiervon jedoch unberührt.
Aus der Schrift [1] ist ein neuronales Netz bekannt, welches eine selektive Repräsentation der Ausprägung von Merkmalen von Eingabeinformationen in Abhängigkeit eines Aufmerksam¬ keitsfilters erlaubt. Ein Merkmal ist hierbei der Ort eines Objektes, welcher in den Ausprägungen links und rechts vor- kommt; ein anderes Merkmal ist die Art des Objektes, welche in den Ausprägungen "Zielobjekt" und "anderes Objekt" vor¬ kommt. Die Repräsentation der Ausprägungen dieser Merkmale wird durch einen Aufmerksamkeitsfilter selektiv beeinflusst.
Durch die Repräsentation der Ausprägungen der Merkmale wird es möglich, bestimmte Merkmale bzw. ihre Ausprägung zu ver¬ stärken, zu filtern, auszublenden, zu differenzieren, zu be- tonen, zu gewichten und zu bewerten. Dies erfolgt, indem die einzelnen Ausprägungen der Merkmale in der Repräsentation ge¬ wichtet werden. Wenn zum Beispiel ein Merkmal "Grauwert" nur in den Ausprägungen "Schwarz" und "Weiß" vorkommt, so kann eine tief-schwarze Eingabeinformation dadurch repräsentiert werden, dass der Ausprägung "Schwarz" ein besonders hohes Ge¬ wicht im Vergleich zu anderen Merkmalen verliehen wird. In der Schrift [1] wird ein solches großes Gewicht einer Ausprä¬ gung durch einen Pool von Neuronen mit hoher Aktivität reprä- sentiert.
Nachteilig wirkt sich jedoch auch hier wieder aus, dass der Aufmerksamkeitsfilter, d. h. die Information über die Bedeu¬ tung der einzelnen Merkmale, von Hand von außen zugeführt werden muss. Eine dynamische Repräsentation der Ausprägungen der Merkmale bei automatischer Erkennung und Berücksichtigung ihrer Bedeutung ist also auch hier nicht möglich.
Es stellt sich somit die Aufgabe, ein Verfahren bzw. ein Sys- tem zur dynamischen Informationsselektion anzugeben, bei wel¬ chem Ausprägungen von Merkmalen von Eingabeinformationen mit automatischer Erkennung und Berücksichtigung ihrer Bedeutung dynamisch repräsentiert werden.
Diese Aufgabe wird durch den unabhängigen Verfahrensanspruch 1 sowie das neuronale Netz nach dem unabhängigen Patentan¬ spruch 9 gelöst. Bevorzugte Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Das Verfahren zur dynamischen Informationsselektion mit einem neuronalen Netz sieht einen Eingabebereich des neuronalen Netzes vor, dem Eingabeinformationen zugeführt werden. Wei¬ terhin werden die Ausprägungen von Merkmalen der Eingabein¬ formationen in dem Eingabebereich des neuronalen Netzes rep- räsentiert. Außerdem sind in dem neuronalen Netz mehrere Ka¬ tegorien gespeichert. Das neuronale Netz klassifiziert nun die Ausprägungen der Merkmale, indem es mindestens eine Kate- gorie erkennt. Die mindestens eine erkannte Kategorie übt ih¬ rerseits einen selektiv optimierenden Einfluss auf die Reprä¬ sentation der Ausprägungen der Merkmale aus.
Vorzugsweise wird das erfindungsgemäße Verfahren eingesetzt, um die Repräsentation der Eingabeinformationen für eine zu lösende Aufgabe zu optimieren.
Gemäß einer Ausführungsform der Erfindung enthält das neuro- nale Netz erregende gepulste Neuronen. Diese bilden Katego¬ riepools, wobei jeder Kategorie mindestens ein Kategoriepool zugeordnet ist.
Gemäß einer Weiterbildung der Erfindung konkurrieren die Ka- tegoriepools miteinander. Hierbei kann sich ein aktiver Kate¬ goriepool in der Konkurrenz durchsetzen.
In einer Weiterbildung der Erfindung enthält das neuronale Netz hemmende gepulste Neuronen. Die hemmenden gepulsten Neu- ronen bilden mindestens einen hemmenden Pool. Der hemmende
Pool wiederum übt eine globale Hemmung auf die Kategoriepools aus.
In einer besonderen Ausführungsform der Erfindung bilden er- regende gepulste Neuronen Eingabepools. Die Eingabepools wie¬ derum bilden Gruppen, welche jeweils ein Merkmal der Eingabe¬ informationen repräsentieren. Hierbei repräsentiert die Akti¬ vität der Eingabepools einer Gruppe eine Ausprägung des betreffenden Merkmals. Weiterhin beeinflusst mindestens ein Kategoriepool mindestens einen Eingabepool. Umgekehrt beein¬ flusst mindestens ein Eingabepool mindestens einen Kategorie¬ pool.
In einer Weiterbildung der Erfindung kooperieren die Eingabe- pools miteinander. Gemäß einer Ausführungsform enthält das neuronale Netz Ver¬ schaltungen, welche durch Hebb'sches Lernen ausgebildet wer¬ den.
Das neuronale Netz zur dynamischen Informationsselektion weist einen Eingabebereich auf, dem Eingabeinformationen zu¬ führbar sind. Weiterhin ist in dem Eingabebereich eine Reprä¬ sentation der Eingabeinformationen speicherbar. Zusätzlich weist das neuronale Netz einen Kategoriebereich auf, in dem Kategorien speicherbar sind. Der Kategoriebereich ist hierbei rekurrent mit dem Eingabebereich verschaltet.
In einer Weiterbildung der Erfindung enthält der Kategoriebe¬ reich erregende gepulste Neuronen. Außerdem weist der Katego- riebereich mehrere Kategoriepools auf, welche jeweils aus er¬ regenden gepulsten Neuronen bestehen. Die Kategoriepools sind mit dem Eingabebereich rekurrent verschaltet.
In einer besonderen Ausführungsform enthält das neuronale Netz hemmende gepulste Neuronen. Weiterhin enthält das neuro¬ nale Netz einen hemmenden Pool, welcher aus den hemmenden ge¬ pulsten Neuronen besteht. Der hemmende Pool ist hierbei mit den Kategoriepools verschaltet.
In einer besonderen Weiterbildung der Erfindung weist der Eingabebereich Eingabepools auf, welche aus erregenden ge¬ pulsten Neuronen bestehen. Die Eingabepools sind durch Zufuhr von Eingabeinformationen mit bestimmten Merkmalen aktivier¬ bar. Weiterhin ist durch Gruppen von Eingabepools jeweils ein Merkmal einer Eingabeinformation repräsentierbar. Insbesonde¬ re ist durch die Aktivität der Eingabepools einer Gruppe eine Ausprägung des betreffenden Merkmals repräsentierbar. Weiter¬ hin sind die Kategoriepools mit den Eingabepools rekurrent verschaltet. In einer Weiterbildung der Erfindung sind die Eingabepools so miteinander verschaltet, dass eine Kooperation zwischen ihnen möglich ist.
In einer anderen Weiterbildung sind die Kategoriepools so miteinander verschaltet, dass sie miteinander in Konkurrenz treten können.
In einer besonderen Ausführungsform weist der Eingabebereich einen hemmenden Pool auf, welcher mit den Eingabepools ver¬ schaltet ist.
In einer anderen Ausführungsform weist der Eingabebereich ei¬ nen nicht-spezifischen Pool auf, welcher mit anderen Pools des Eingabebereichs verschaltet ist.
Gemäß einer weiteren Ausführungsform weist ein erstes Modul den Kategoriebereich und ein zweites Modul den Eingabebereich auf.
Anschaulich gesehen kann die Erfindung darin gesehen werden, dass die Repräsentation der Ausprägung der Merkmale der Ein¬ gabeinformationen dynamisch erfolgt. Dynamisch bedeutet hier¬ bei, dass die Repräsentation der Ausprägung der Merkmale in eine Wechselwirkung eintritt. Der Partner der Wechselwirkung ist die Kategorisierung bzw. Klassifikation der Eingabeinfor¬ mationen. Kategorisierung bzw. Klassifikation bedeutet hier¬ bei, dass je nach Ausprägung der Merkmale der Eingabeinforma¬ tionen eine Kategorie bzw. Klasse erkannt wird, welche die Eingabeinformationen am besten beschreibt. Die dynamische
Wechselwirkung zwischen Klassifikation und Merkmalsrepräsen¬ tation wirkt jedoch auch auf die Ausprägung der Merkmale zu¬ rück. Dies bedeutet, dass die erkannte Kategorie bzw. Klasse einen selektiv verstärkenden bzw. differenzierenden Einfluss auf die Repräsentation der Ausprägungen der Merkmale ausübt, welche für diese Kategorie bzw. Klasse charakteristisch sind. Anschaulich gesehen kann davon gesprochen werden, dass das neuronale Netz eine Hypothese bildet, wie die Eingabeinforma¬ tionen zu interpretieren sind, indem es eine passende Katego¬ rie bzw. Klasse erkennt, also wählt bzw. aktiviert. Anschlie- ßend werden die Eingabeinformationen im Licht der aktuellen Hypothese (Kategorie / Klasse) neu interpretiert, wobei den für die Hypothese charakteristischen Eigenschaften besonderes Augenmerk geschenkt wird. Die aktuelle Hypothese (Kategorie / Klasse) gibt hierbei an, welche Merkmale von besonderer Be- deutung, d. h. charakteristisch für die aktuelle Kategorie / Klasse sind. Konkret wird dadurch die Ausprägung der betref¬ fenden Merkmale angepasst, z.B. durch Differenzierung oder Verstärkung im Vergleich zu der Ausprägung uncharakteristi¬ scher Merkmale. Dadurch findet eine dynamische Informations- Selektion statt. Die Repräsentation der Merkmale der Eingabe¬ informationen erfolgt unter Erkennung und Berücksichtigung ihrer Bedeutung.
Die Erfindung stellt ein völlig neuartiges Verfahren zur Op- timierung der Auswertung von Eingabeinformationen bereit. Sie erlaubt eine automatische Hypothesenbildung über den Eingabe¬ informationen, welche in einer Wechselwirkung die selektive Anpassung der Auflösung bestimmter Merkmale erlaubt. Die Hypothese, also die aktuelle Kategorie / Klasse, kann jeder- zeit geändert werden, wenn entsprechende Eingabeinformationen vorliegen.
Im Folgenden wird die Erfindung anhand von Ausführungsbei- spielen näher erläutert, die in den Figuren schematisch dar- gestellt sind. Im Einzelnen zeigt:
Figur 1 den Aufbau eines Pools;
Figur 2 eine Ausführungsform des neuronalen Netzes.
Figur 1 zeigt den Aufbau eines Pools 100. Der Pool beinhaltet eine Anzahl künstlicher Neuronen 101. Künstliche Neuronen 101 modellieren teilweise oder vollständig jeweils einen bestimm- ten Typ eines aus der Biologie bekannten Neurons. Die Model¬ lierung kann durch eine elektronische Schaltung oder ein ma¬ thematisches Modell erfolgen, welches durch eine Datenverar¬ beitungsanlage berechnet wird.
Die künstlichen Neuronen 101 sind über Verbindungen 102 mit¬ einander vernetzt. Die Verbindungen 102 entsprechen den Sy¬ napsen biologischer Neurone. Die Stärke der Verbindungen 102 wird durch ein Gewicht w beschrieben. Neuronen 101, welche stark koaktiviert sein sollen, d.h. deren Aktivität stark korrelieren soll, werden über Verbindungen 102 verknüpft, welche ein größeres Gewicht w haben als Verbindungen 102 zwi¬ schen Neuronen 101, deren Aktivität nicht korrelieren soll. Da die Aktivität aller Neuronen 101 in dem Pool 100 miteinan- der korrelieren soll, erhalten ihre Verbindungen 102 ein ü- berdurchschnittliches Gewicht w. Dies bedeutet anschaulich, dass die Neuronen 101 in dem Pool 100 ein Team bilden, also zusammenarbeiten.
Ein überdurchschnittliches Gewicht w einer Verbindung 102 ist größer als das durchschnittliche Gewicht anderer Verbindungen 102. Ein unterdurchschnittliches Gewicht w ist kleiner als das durchschnittliche Gewicht anderer Verbindungen 102. Das durchschnittliche Gewicht der Verbindungen 102 in einem neu- ronalen Netz kann je nach Lage, Art und Funktion der betei¬ ligten Neuronen unterschiedliche Werte annehmen.
Die Neuronen 101 des Pools 100 teilen jedoch nicht nur das überdurchschnittliche Gewicht w ihrer Verbindungen 102, son- dern erhalten in der Regel auch die gleichen Eingaben von au¬ ßen. Dies bedeutet, dass die Gewichte der Verbindungen 102 der Neuronen 101 zu einem bestimmten Neuron außerhalb des Pools 100 immer gleich stark ausfallen.
Der beschriebene Pool 100, die Neuronen 101 sowie die be¬ schriebenen Verbindungen 102 innerhalb des Pools 100 stellen einen Idealfall dar. In der Praxis können die Gewichtungen der Verbindungen 102 auch anders ausfallen. Gleiches gilt für die Verbindungen nach außen. Insbesondere kann auch eine Vollvernetzung vorliegen, d. h., dass jedes Neuron 101 mit jedem anderen Neuron 101 desselben Pools 100 oder eines ande- ren Pools verbunden ist.
Figur 2 zeigt ein neuronales Netz 1. Das neuronale Netz 1 stellt eine spezielle Ausführungsform dar. Weiterbildungen der in Figur 2 gezeigten Ausführungsform durch Hinzunahme o- der Fortlassung von Elementen sind wünschenswert und werden an gegebener Stelle jeweils angesprochen und erläutert.
Figur 2 zeigt ein neuronales Netz 1 mit einer Anzahl von Pools. Das neuronale Netz 1 ist gegliedert in einen Eingabe- bereich 6 sowie einen Kategoriebereich 5. Dem Eingabebereich 6 werden Eingabeinformationen zugeführt. Hierbei kann davon ausgegangen werden, dass innerhalb des neuronalen Netzes 1 oder außerhalb bereits eine Vorverarbeitung der Eingabeinfor¬ mationen stattfindet, so dass Eingabepools 110, 120 des Ein- gabebereichs 6 gezielt aktiviert werden können, wenn jeweils eine bestimmte Ausprägung eines bestimmten Merkmals einer zu¬ geführten Eingabeinformation 2 vorliegt. Ein Eingabepool 111 wird z. B. aktiviert, wenn ein erstes Merkmal der Eingabein¬ formation 2 in einer ersten Ausprägung vorliegt. Ein Eingabe- pool 112 könnte aktiviert werden, wenn das erste Merkmal der Eingabeinformation 2 in einer zweiten Ausprägung vorkommen würde. Dies ist in Figur 2 für die Eingabeinformation 2 nicht der Fall.
Analog dazu wird ein Eingabepool 121 aktiviert, da ein zwei¬ tes Merkmal der Eingabeinformation 2 in einer ersten Ausprä¬ gung vorliegt. Ein Eingabepool 122 würde aktiviert werden, wenn das zweite Merkmal der Eingabeinformation 2 in einer zweiten Ausprägung vorkommen würde. Es könnten auch sowohl der Eingabepool 121 als auch der Eingabepool 122 aktiviert werden, wenn das zweite Merkmal der Eingabeinformation 2 z.B. in einer dritten Ausprägung vorkommen würde. Weiterhin ist es auch möglich, dass es nur einen einzigen Eingabepool 120 gibt, z. B. den Eingabepool 121, welcher umso stärker akti¬ viert wird, je stärker das zweite Merkmal der Eingabeinforma¬ tion 2 ausgeprägt ist. Gleiches gilt analog für alle anderen Eingabepools.
Im Gegensatz zu Figur 2 kann das neuronale Netz 1 auch weite¬ re Eingabepools 110 enthalten, z. B. einen Eingabepool 113, einen Eingabepool 114 usw. Gleiches gilt für die Eingabepools 120. Die weiteren Eingabepools 110, 120 können dann weitere
Ausprägungen des jeweiligen Merkmals darstellen, z. B. weite¬ re Abstufungen. Eine Gruppe 21 von Eingabepools 110 kann hierbei die Ausprägung eines ersten Merkmals repräsentieren. Eine Gruppe 22 umfasst dagegen die Eingabepools 120, welche ebenfalls weitere Eingabepools 123, 124 usw. enthalten kann. Die Eingabepools 120 der Gruppe 22 sind einem zweiten Merkmal zugeordnet. In gleicher Weise kann der Eingabebereich 6 eine weitere Gruppe 23 enthalten, welche Eingabepools 130 enthält, im Einzelnen Eingabepools 131, 132, ... Diese Gruppe 23 bzw. die Eingabepools 130 stellen dann die Ausprägung eines drit¬ ten Merkmals der Eingabeinformationen dar. Weiterhin kann das neuronale Netz weitere Eingabepools 140, 150, ... bzw. Gruppen 24, 25, ... enthalten, welche dann weiteren Merkmalen der Eingabeinformation zugeordnet sind.
Allgemein gesprochen kann jeweils ein Eingabepool 110, 120, ... eine bestimmte Ausprägungsvariante repräsentieren, es können aber auch unterschiedliche Eingabepools 110, 120, ... in unterschiedlichem oder gleichem Maß zur Repräsentation ei- ner Ausprägung aktiviert werden. Insbesondere ist die Akti¬ vierung der Eingabepools 110, 120, ..., welche jeweils einem Merkmal zugeordnet sind, als die aktuelle Repräsentation der Ausprägung des Merkmals zu verstehen. Weiterhin kann ein Merkmal auch nur durch einen einzigen Eingabepool 110, 120, ... repräsentiert werden. Wenn ein bestimmtes Merkmal in einer bestimmten Ausprägung vorliegt, werden die entsprechenden Eingabepools, z. B. der Eingabepool 111 in Figur 2, aktiviert. Dies kann so erfolgen, dass die Neuronen 101 des jeweiligen Eingabepools über ihre Eingänge von außen gemeinsam aktiviert werden.
Gemäß einer Ausführungsform der Erfindung sind die Gewichte der Verbindungen zwischen den Neuronen unterschiedlicher Ein¬ gabepools 110, 120 etc. durchschnittlich oder überdurch- schnittlich stark ausgeprägt. Dies bedeutet, dass sich die Eingabepools 110, 120, ... gegenseitig nach dem Prinzip der Kooperation unterstützen können. Geeignete Gewichte für die Verbindungen zwischen unterschiedlichen Eingabepools 110, 120, ... sind im Experiment ermittelbar. Ein analoges Vorge- hen in einem anderen Anwendungsfall ist der Schrift [1] zu entnehmen.
Gemäß einer Ausführungsform der Erfindung können sich die Eingabepools 110, 120, ... wie in Figur 2 mit Pfeilen gezeigt, gegenseitig durch Verbindungen mit durchschnittlichen oder überdurchschnittlichem Gewicht unterstützen. Die Unterstüt¬ zung bzw. Kooperation kann innerhalb der Gruppen 21, 22,... erfolgen, aber auch über die Gruppen hinweg.
Anders als in Figur 2 ist es auch möglich, dass sich einzelne Eingabepools 110, 120, ... oder Gruppen 21, 22, ... nicht ge¬ genseitig unterstützen, was bedeutet, dass die Gewichte ihrer Verbindungen unterdurchschnittlich sind. Weiterhin ist es auch möglich, dass die Eingabepools 110, 120, ... bzw. die Gruppen 21, 22, ... miteinander in Konkurrenz treten, d. h. dass die Gewichte der Verbindungen ebenfalls unterdurch¬ schnittlich stark ausgeführt sind. In dem in Figur 2 gezeig¬ ten Ausführungsbeispiel wird jedoch davon ausgegangen, dass alle Eingabepools 110, 120, ... miteinander kooperieren, d. h., dass ihre Neuronen teilweise oder vollständig mit durch¬ schnittlichem oder überdurchschnittlichem Gewicht verbunden sind. Der Eingabereich 6 weist weiterhin einen nicht-spezifischen Pool 80 auf. Der nicht-spezifische Pool 80 ist unabhängig von den Eingabeinformationen. Er ist mit den Eingabepools 110, 120, ... über Verbindungen verknüpft, deren Gewicht so ge¬ wählt wird, dass der nicht-spezifische Pool 80 die Aktivität der Neuronen im Eingabebereich 6 ausbalancieren kann. Optima¬ le Werte wie die Gewichte sind wiederum im Experiment ermit¬ telbar.
Weiterhin weist der Eingabebereich 6 einen hemmenden Pool 60 auf, welcher aus hemmenden Neuronen gebildet wird. Alle ande¬ ren Pools des Eingabebereichs 6 werden dagegen durch erregen¬ de Neuronen, vorzugsweise erregende gepulste Neuronen gebil- det. Der hemmende Pool 60 übt eine globale Hemmung auf die Eingabepools 110, 120, ... sowie den nicht-spezifischen Pool 80 aus.
Der Kategoriebereich 5 enthält eine Anzahl von Kategoriepools 10. In Figur 2 sind ein Kategoriepool 11 und ein Kategorie¬ pool 12 gezeigt. Es sind jedoch beliebig viele Kategoriepools 13, 14 etc. möglich. Diese werden analog zu den gezeigten Ka¬ tegoriepools 11 und 12 in das neuronale Netz 1 eingebunden. Die Kategoriepools 10 stehen miteinander in Konkurrenz. Dies bedeutet, dass die Gewichte der Verbindungen zwischen den Neuronen unterschiedlicher Kategoriepools 10 unterdurch¬ schnittlich hoch gewählt werden. Da sich die Kategoriepools 10 somit nicht gegenseitig unterstützen, kann eine globale Hemmung, welche in diesem Fall durch einen hemmenden Pool 50 ausgeübt wird, die Konkurrenz zwischen den Kategoriepools 10 implementieren. Die Kategoriepools 10 sowie ein nicht¬ spezifischer Pool 70 können wiederum aus erregenden gepulsten Neuronen gebildet werden, wogegen der hemmende Pool 50 aus hemmenden gepulsten Neuronen gebildet werden kann.
Bei der in Figur 2 gezeigten Ausführungsform kann jedes erre¬ gende Neuron mit jedem anderen erregenden Neuron vernetzt sein - auch über den Eingabebereich 6 und den Kategoriebe¬ reich 5 hinweg. Gemäß dieser Ausführungsform sind die hemmen¬ den Neuronen des hemmenden Pools 50 nur mit den erregenden Neuronen des Kategoriebereichs 5 sowie mit sich selbst ver- netzt. Weiterhin sind die hemmenden Neuronen des hemmenden Pools 60 nur mit den erregenden Neuronen des Eingabebereichs 6 sowie mit sich selbst vernetzt.
Es ist auch denkbar, die nicht-spezifischen Pools 70 und 80 bzw. die hemmenden Pools 50 und 60 jeweils zusammenzufassen oder weitere nicht-spezifische Pools oder hemmende Pools hin¬ zuzufügen. Weiterhin können der Eingabebereich 6 und der Ka¬ tegoriebereich 5 zusammengefasst werden, es können jedoch auch weitere Bereiche mit anderen oder den gleichen Funktio- nalitäten hinzugefügt und frei mit den vorhanden Pools ver¬ netzt werden. Auf diese Weise ließen sich zum Beispiel Ge¬ dächtnisfunktionalitäten, Kontextwissen und Entscheidungspro¬ zesse in das neuronale Netz 1 einbinden. Z.B. könnte die Klassifikation der Eingabeinformationen aus der Kategorie- schicht 5 ausgelesen werden und als Grundlage für weitere Verarbeitungsschritte dienen. Ebenso könnte die Aktivität einzelner oder aller Eingabepools 110, 120, ... ausgelesen werden und als Grundlage für weitere Verarbeitungsschritte herangezogen werden.
Ein wesentlicher Aspekt der Erfindung liegt nun im Wechsel¬ spiel zwischen dem Kategoriebereich 5 und dem Eingabebereich 6. Von besonderer Bedeutung sind hierbei die Gewichte W0;, Wj_ und wo der Verbindungen zwischen den Neuronen der Kategorie- pools 10 und den Neuronen der Eingabepools 110, 120,... Der jeweils aktive Kategoriepool 10 repräsentiert eine Kategorie, welche das neuronale Netz 1 einer zugeführten Eingabeinforma¬ tion 2 zuordnet. Die Zuordnung stellt eine Klassifikation der Eingabeinformationen dar. Anschaulich erkennt das neuronale Netz 1 in den Ausprägungen der Merkmale eine Kategorie. Hier¬ bei kann davon ausgegangen werden, dass bestimmte Merkmale der zugeführten Eingabeinformation 2 für die Wahl der richti- gen Kategorie von Bedeutung sind, und andere dagegen nicht. In Figur 2 ist der Fall gezeigt, dass die Eingabepools 110 in der Gruppe 21 für die Wahl der richtigen Kategorie von Bedeu¬ tung sind. Darum existiert eine überdurchschnittlich gewich- tete Verbindung zwischen den Eingabepools 110 und den Katego¬ riepools 10. Das Gewicht dieser überdurchschnittlich starken Verbindung ist mit W^ bezeichnet.
Figur 2 zeigt den Fall, dass die zugeführte Eingabeinformati- on 2 ein erstes Merkmal in einer ersten Ausprägung enthält, wodurch der Eingabepool 111 aktiviert wird. Da dieser den Ka¬ tegoriepool 11 mit einer überdurchschnittlich starken Verbin¬ dung (mit Gewicht w^) unterstützt, gewinnt der Kategoriepool
11 in der Konkurrenz gegenüber dem Kategoriepool 12. Der Ka- tegoriepool 11 unterstützt nun über eine rekurrente Verbin¬ dung mit überdurchschnittlichem Gewicht W1^ seinerseits den
Eingabepool 111, wodurch dessen Aktivität zusätzlich steigt.
Weiterhin bremst der Kategoriepool 11 über eine Verbindung mit einem unterdurchschnittlichen Gewicht WJ_ den Eingabepool 112, welcher - sofern aktiviert - eine zweite Ausprägung des ersten Merkmals repräsentieren würde. Die Bremsung beruht auf fehlender Unterstützung. Da der Eingabepool 112 im Vergleich zu anderen Eingabepools 110, 120, ... weniger durch den Kate¬ goriepool 11 unterstützt wird, fällt seine Aktivität aufgrund der globalen Hemmung durch den hemmenden Pool 60 ab. Der ak¬ tive Kategoriepool 11 hat somit selektiv das Trennvermögen der Eingabepools 110 verstärkt.
Da die Eingabepools 120 Ausprägung eines zweiten Merkmals repräsentieren, welches für die Wahl der richtigen Kategorie hier nicht von Bedeutung ist, sind sie mit den Kategoriepools 10 nur über Verbindungen mit durchschnittlichem Gewicht wo verbunden. Anschaulich bedeutet dies, dass zwischen den Kate¬ goriepools 10 und den Eingabepools 120 keine Wechselwirkung stattfindet. Somit werden nur die relevanten Eingabepools 110 selektiv beeinflusst. Bei einer anderen zugeführten Eingabeinformation könnte der Eingabepool 112 aktiviert werden, wenn eine zweite Ausprägung des ersten Merkmals vorliegt. In diesem Fall würde der Einga¬ bepool 112 über eine überdurchschnittlich starke Verbindung mit dem Gewicht w,^ den Kategoriepool 12 unterstützen, wodurch dieser in der Konkurrenz gegenüber dem Kategoriepool 11 ge¬ winnen kann. In diesem Fall würde der Kategoriepool 12 sei¬ nerseits über eine rekurrente, überdurchschnittlich starke Verbindung mit dem Gewicht w^ den Eingabepool 112 unterstüt- zen und den Eingabepool 111 über eine Verbindung mit unter¬ durchschnittlichem Gewicht W^ bremsen. Auf diese Weise würde erneut eine selektive Steigerung des Trennvermögens der Ein¬ gabepools 110 erreicht.
In analoger Weise könnten die Kategoriepools 11 und 12 auch mit weiteren Eingabepools 130, 140 etc. verschaltet sein, entweder über durchschnittliche Verbindungen mit einem Ge¬ wicht wo oder mit Gewichen wie gegenüber den Eingabepools 110
(W^ und W^) . Weiterhin kann die Kategorieschicht 5 weitere Kategoriepools 10, z. B. einen Kategoriepool 13 enthalten, welcher in analoger Weise mit den Eingabepools 110, 120, ... verschaltet sein kann, wobei die Gruppierungen 21, 22, ... auch jeweils weitere Eingabepools enthalten können. Auf diese Weise ist das neuronale Netz 1 für beliebig viele Kategorien, Merkmale und Ausprägungen erweiterbar.
Optimale Werte für W(J, w-j_, sowie wo sind im Experiment ermit¬ telbar. Ein analoges Vorgehen zur Ermittlung der Werte in ei¬ nem anderen Anwendungsfall ist der Schrift [1] zu entnehmen. Bei der in Figur 2 gezeigten Ausführungsform kann W0^ bei 0,2, wo bei 0,1 und Wj bei Null liegen. Diese Werte stellen jedoch nur ein Beispiel dar.
Die in Figur 2 gezeigte Gewichtung der Verbindungen zwischen dem Kategoriebereich 5 und dem Eingabebereich 6 mit Gewichten W(j, Wi und wo stellt lediglich ein Beispiel dar. Das Gewicht wo stellt ein durchschnittliches Gewicht der Verbindungen des Kategoriebereichs 5 mit dem Eingabebereich 6 dar, wodurch ei¬ ne Wechselwirkung zwischen den betroffenen Pools ausbleibt. Wd ist ein überdurchschnittliches Gewicht, W^ ist ein unter¬ durchschnittliches Gewicht im Vergleich zu dem durchschnitt- liehen Gewicht wo. Das Gewicht einer Verbindung eines Einga¬ bepools 110, 120, ... mit einem Kategoriepool 10 muss nicht in beiden Richtungen gleich hoch sein. Dies gilt insbesondere für Verbindungen mit überdurchschnittlichem oder unterdurch¬ schnittlichem Gewicht. Wenn das durchschnittliche Gewicht zum Beispiel bei 0,1 liegt, so kann das Gewicht der Verbindung von dem Eingabepool 111 zu dem Kategoriepool 11 zum Beispiel 0,2 und in umgekehrter Richtung 0,3 betragen. Gleiches gilt für andere Verbindungen. Die Verbindungen zwischen einem Ka¬ tegoriepool 10 und Eingabepools 110, 120, ..., welche zu un- terschiedlichen Merkmalen gehören, die für den Kategoriepool
10 charakteristisch ist, müssen auch nicht mit homogenen Ge¬ wichten W1^ oder WJ_ ausgeführt sein. Die Gewichte können auch hier variieren, so lange die erfindungsgemäße Wechselwirkung zwischen dem Eingabebereich 6 und dem Kategoriebereich 5 ge- währleistet ist.
Alle Gewichte können so gewählt werden, als ob sie durch Hebb'sches Lernen entstanden wären.
Gemäß einer Ausführungsform der Erfindung kann das neuronale Netz 1 zur Robotersteuerung eingesetzt werden. Bei den Einga¬ beinformationen handelt es sich hierbei z. B. um Kameraauf¬ nahmen des Roboters. Aus dem Kamerabild wird als erstes Merk¬ mal eine Objektform und als zweites Merkmal eine Objektfärbe extrahiert. Der Roboter hat nun die Aufgabe, eine Schraube zwischen anderen Objekten zu erkennen und zu ergreifen. Der Kategoriepool 11 in Figur 2 repräsentiert nun die Objektkate¬ gorie "Schraube", der Kategoriepool 12 die Objektkategorie "anderes Objekt". Da sowohl die Schrauben als auch die ande- ren Objekte in zufälliger Weise verschiedenfarbig sind, kann das zweite Merkmal Farbe, dessen Ausprägung durch die Einga¬ bepools 120 repräsentiert wird, nicht zur Klassifizierung beitragen. Deshalb haben die Verbindungen der Eingabepools
120 mit den Kategoriepools 10 nur ein durchschnittliches Ge¬ wicht wo. Das erste Merkmal, die Form, erweist sich jedoch als hilfreich zur Kategoriebestimmung. So kann der Eingabe- pool 111 aktiviert werden, wenn eine längliche Form vorliegt. Der Eingabepool 112 könnte bei nicht-länglichen Formen akti¬ viert werden. Der Eingabepool 111 ist nun mit einem über¬ durchschnittlichen Gewicht w^ mit dem Kategoriepool 11 ver¬ bunden. Weiterhin ist der Eingabepool 12 mit einem überdurch- schnittlichen Gewicht W1^ mit dem Kategoriepool 12 verbunden.
Anschaulich bedeutet dies, dass längliche Objekte als Schrau¬ ben und nicht-längliche Objekte als andere Objekte erkannt werden.
Weiterhin kann das neuronale Netz 1 in dieser Ausführungsform weitere Eingabepools 130 aufweisen, welche dem Merkmal "Ob¬ jektgröße" zugeordnet sind. Ein Eingabepool 131, welcher für kleine Objekte aktiviert würde, könnte ebenfalls über eine Verbindung mit überdurchschnittlichem Gewicht W1^ den Katego- riepool 11 unterstützen.
Sobald der Kategoriepool 11 in der Konkurrenz gewinnt, hat das neuronale Netz 1 anschaulich die Hypothese gebildet, dass der Roboter eine Schraube vor sich hat. Im Licht dieser Hypo- these werden nun die Ausprägungen der charakteristischen
Merkmale (Form: länglich statt nicht-länglich, Größe: klein statt groß) selektiv gegenüber den unbedeutenden Merkmalen (Farbe) verstärkt. Dies bedeutet, dass durch den aktiven Ka¬ tegoriepool 11 der Eingabepool 111 und der Eingabepool 131 verstärkt werden, wogegen der Eingabepool 112 und ein Einga¬ bepool 132 (welcher z. B. große Objekte repräsentiert) ge¬ bremst werden. Auf diese Weise hat das neuronale Netz 1 in Übereinstimmung mit der Aufgabenstellung ("Schraube finden") und der aktuellen Hypothese ("Schraube im Blickfeld") seine Repräsentation, d. h. die Aktivitäten der Eingabepools 110, 120, und 130 selektiv optimiert. In einem anderen Ausführungsbeispiel kann das neuronale Netz 1 zur Finanzdatenanalyse eingesetzt werden. Als Eingabeinfor¬ mationen können hierbei Kursverläufe von Aktien dienen. Als erstes Merkmal kann nun die Volatilität eines Aktienkurses herangezogen werden. Der Eingabepool 111 würde demnach bei hoher Volatilität aktiviert, der Eingabepool 112 bei mittle¬ rer Volatilität und ein Eingabepool 113 bei geringer Volati¬ lität. Als zweites Merkmal könnte die Kurstendenz des letzten Tages herangezogen werden. Der Eingabepool 121 würde bei ei- nem gefallenen Aktienkurs aktiviert, der Eingabepool 122 bei einem gestiegenen Aktienkurs. Als drittes Merkmal könnte der Börsenumsatz des letzten Tages für die jeweilige Aktie heran¬ gezogen werden. Ein Eingabepool 131 würde bei geringem Umsatz aktiviert, ein Eingabepool 132 bei großem Umsatz. In diesem Szenario könnten die Kategoriepools 10 unterschiedliche
Chart-Formationen repräsentieren. Der Kategoriepool 11 könnte für einen aufwärts gerichteten Kanal stehen, der Kategorie¬ pool 12 für einen abwärts gerichteten Kanal und ein Katego¬ riepool 13 für eine Dreiecksformation. Die Kategoriepools 10 können nun so mit den Eingabepools 110, 120 und 130 verschal¬ tet werden, dass zwar die Volatilität und die Tendenz des letzten Tages zur Auswahl der richtigen Kategorie beitragen, nicht aber der Börsenumsatz. Auf diese Weise könnte zum Bei¬ spiel der Kategoriepool 12 aktiviert werden, welcher einen fallenden Kanal repräsentiert. Dieser könnte wiederum über rekurrente Verbindungen mit überdurchschnittlich starken Ge¬ wichten Wζj charakteristische Ausprägungen der Merkmale beto¬ nen (fallender Aktienkurs, geringe Volatilität) und über Ver¬ bindungen mit unterdurchschnittlich starken Gewichten vr± die anderen Ausprägungen der gleichen Merkmale unterdrücken
(steigender Aktienkurs, starke und mittlere Volatilität) , in¬ dem die entsprechenden Eingabepools nicht unterstützt werden.
Die Pools sind an der Biologie des menschlichen Gehirns ange- lehnt. Im menschlichen Gehirn bilden große und homogene Popu¬ lationen von Neuronen, die eine ähnliche externe Eingabe emp¬ fangen, gegenseitig verkoppelt sind und wahrscheinlich zusam- men als eine Einheit fungieren, Populationen (Pools) . Diese Pools können eine robustere Verarbeitungs- und Codierungsein¬ heit bilden, weil ihre momentane Populations-Mittelwert- Anwort, im Gegensatz zum zeitlichen Mittel eines relativ sto- chastischen Neurons in einem großen Zeitfenster, besser an die Analyse von schnellen Wechseln in der realen Welt ange- passt ist.
Die künstlichen Pools des neuronalen Netzes 1 der jeweiligen Schicht können künstliche, erregende gepulste Neuronen ent¬ halten. Erregende gepulste Neuronen werden durch Pulse ande¬ rer erregender gepulster Neuronen aktiviert und senden selbst Pulse an weitere Neuronen aus. Die Aktivität eines Pools von gepulsten Neuronen kann unter Verwendung einer Mean-Field- Näherung modelliert werden.
Die Aktivität der Neuronen kann durch mathematische Modelle beschrieben werden. Weitere Informationen zu der mathemati¬ schen Modellierung von Pools bei der Entwicklung neuronaler Netze sowie unterschiedliche mathematische Modelle für ge¬ pulste Neuronen, wie sie im Rahmen der Ausführungsbeispiele zum Einsatz kommen, sind u. a. aus den Schriften [1], [2] und [3] bekannt.
Anstelle der neuronalen Modelle kann auch jedes andere äqui¬ valente mathematische Modell bzw. eine andere Schaltungsart zum Einsatz kommen, sofern diese die gleiche Dynamik abbil¬ det. Entscheidend für die Erfindung ist das Wechselspiel zwi¬ schen der Repräsentation der Eingabeinformationen, welche z. B. durch die jeweilige Aktivität der Eingabepools 110, 120,... gegeben sein kann, mit der Klassifikation der Eingabeinforma¬ tionen bzw. der Repräsentation, welche z. B. durch die Akti¬ vierung der Kategoriepools 10 gegeben sein kann.
Gemäß einer Ausführungsform der Erfindung wird das neuronale Netz 1 durch mindestens einen nicht-spezifischen Pool 70 bzw. 80 angeregt, welcher aus erregenden gepulsten Neuronen be- steht. Dieser erhält keine spezifischen Eingaben von einer der Schichten und trägt mit spontanen Pulsen zur Ausbildung realistischer Pulsverteilungen bei.
Das neuronale Netz 1 kann als Attraktor-rekurrentes autoasso¬ ziatives neuronales Netz ausgeführt sein. Solche Netze sind in den genannten Schriften beschrieben.
Gemäß einer Ausführungsform wird angenommen, dass die synap- tischen Stärken zwischen den Neuronen des neuronalen Netzes 1, also die Gewichte ihrer Verbindungen so ausgeführt sind, als ob sie durch Hebb'sches Lernen ausgebildet worden seien. Dies bedeutet, dass die synaptische Stärke zwischen Neuronen, welche eine korrelierte Aktivität haben, stärker ist als zwi- sehen unkorrelierten Neuronen. Dementsprechend können die sy¬ naptischen Stärken zwischen den erregenden gepulsten Neuronen innerhalb eines der erregenden Pools mit einem starken Ge¬ wicht von z. B. w = 2 ausgeführt sein. Die hemmenden Neuronen in dem hemmenden Pool 50 oder 60 können mit einem Gewicht von w = l miteinander verbunden sein, welches zu einem nicht- oszillierenden Verhalten beiträgt. Die hemmenden Neuronen können außerdem mit allen erregenden Neuronen des jeweiligen Bereichs oder des gesamten neuronalen Netzes 1 mit dem glei¬ chen Gewicht w = 1 verbunden sein.
Das Wechselspiel zwischen den Bereichen entspricht der multi- arealen Verschaltung im menschlichen Gehirn. Das neuronale Netz 1 kann auch weitere Bereiche oder Schichten aufweisen. Diese weiteren Schichten können die Funktionen bestimmter Ge- hirnareale abbilden. Auf diese Weise kann die Funktionalität des neuronalen Netzes 1 erheblich erweitert werden. Denkbar ist z. B. die Filterung von Eingabeinformationen durch Model¬ lierung einer selektiven Aufmerksamkeit, sowie die Implemen¬ tation von Arbeits- oder Langzeit-Gedächtnisfunktionen. Die weiteren Schichten können in beschriebener Weise aufgebaut sein und miteinander wechselwirken, oder auch andere bekannte Verfahren implementieren. Das neuronale Netz 1 kann als neurodynamisch.es Netz ausge¬ führt sein, insbesondere in der Form eines neurodynamisehen Netzes gepulster Neuronen. Dies kann die Verwendung bekannter neuronaler Netze (artificial neural networks) , Multilagenper- ceptronsf SOMs (seif organizing maps) etc. mit einschließen. Die gepulsten Neurone können z. B. als so genannte spikende oder auch als so genannte pulscodierende Neurone ausgebildet sein.
Weitere Hinweise zur Implementation der Bereiche, Pools, der Verbindungen und Neuronen sowie deren Wechselspiel finden sich in den genannten Schriften. Die Dynamik der jeweiligen Neuronen, Pools und Bereiche kann durch eines oder mehrere Konzepte der folgenden Gruppe implementiert werden: Mean-
Field-Ansatz, Integrate-and-Fire-Ansatz, Ansatz für pulsco¬ dierende Neurone, Multikompartiment-Ansatz und Hodgkin- Huxley-Ansatz. Hierzu wird auf die genannten Schriften ver¬ wiesen.
Intelligente Agenten, welche das erfindungsgemäße Verfahren bzw. das neuronale Netz einsetzen, können zur neurokognitiven Prozess-Steuerung, insbesondere für technische Vorgänge, zur neurokognitiven Fahrerassistenz sowie zur neurokognitiven Ro- botersteuerung eingesetzt werden.
Anschaulich gesehen ermöglicht die Erfindung einem techni¬ schen System eine menschähnliche, flexible Wahrnehmung, wel¬ che durch Hypothesenbildung geformt und angetrieben wird. Die Wahrnehmung wird durch die Aktivitäten der Eingabepools 110, 120, ... repräsentiert. Die Hypothesenbildung beruht auf einer Klassifikation der Eingabeinformationen. Die Klassifikation beruht auf der Aktivierung eines Kategoriepools.
Ein intelligenter Agent, welcher das erfindungsgemäße Verfah¬ ren bzw. das erfindungsgemäße neuronale Netz implementiert, ist in äußerst vielseitiger Weise einsetzbar. So eignet sich ein Agent mit flexibler, menschähnlicher Wahrnehmung auch als Spielfigur bei Trainingssimulationen oder Computerspielen.
Die Erfindung beruht auf dem Prinzip des beeinflussten Wett- bewerbs und der beeinflussten Kooperation (Biased Competition and Cooperation) . Das neuronale Netz 1 erreicht dadurch eine hohe Dynamik und Selektivität bei der Repräsentation der ein¬ zelnen Merkmale der Eingabeinformationen.
Da das neuronale Netz 1 unmittelbar die neurodynamisehen Pro¬ zesse im menschlichen Gehirn abbildet, ist es von direkter biologischer Relevanz. Dies beruht auf der genauen Simulation der biologischen Prozesse im Gehirn. Beispielsweise können die gepulsten Neuronen als Integrieren-und-Feuern-Neuronen (integrate and fire) implementiert werden. Es kann von neuro- kognitiver Modellierung gesprochen werden, d. h. die mensch¬ liche Wahrnehmung wird unmittelbar durch die beteiligten neu¬ ronalen Prozesse modelliert.
Hieraus ergibt sich eine Anzahl an medizinisch-klinischen An¬ wendungen. So kann das erfindungsgemäße neuronale Netz und Verfahren als Modell für klinische Versuchsergebnisse heran¬ gezogen werden. Durch den Vergleich der Ergebnisse können Hypothesen über die Funktionsweise des Gehirns unmittelbar überprüft werden.
Geeignete Werte für die Gewichte der Verbindungen können von den genannten Werten abweichen und sind im Experiment ermit¬ telbar bzw. optimierbar. Das generelle Vorgehen hierzu ist in der Schrift [1] beschrieben.
Die in den Figuren gezeigten Ausführungsformen sind aus¬ schließlich als mögliche Beispiele angeführt.
Zusätzliche und bestehende Bereiche oder Schichten können so¬ wohl nach dem Prinzip der Konkurrenz als auch nach dem Prin¬ zip der Kooperation organisiert sein. Konkurrenz: Innerhalb einer Schicht treten bestimmte Merkmale oder Merkmalgruppen miteinander in Konkurrenz um Repräsenta¬ tion. Das erzeugt als emergenten Prozess eine Gewichtungskar- te (salicency map) , so dass bestimmte Merkmale intensiver repräsentiert werden als andere. Man erhält eine kontextab¬ hängige InformationsSelektion. Dies wird z.B. durch den Ein- fluss der Kategoriepools 10 auf die Eingabepools 110, 120, ... implementiert.
Kooperation: Merkmale können auch dynamisch zu Merkmalgruppen oder Kategorien gebunden werden. Ein Merkmal kann so die Rep¬ räsentation eines anderen Merkmale begünstigen. Dies kann durch Pools implementiert werden, die mit durchschnittlichen bis überdurchschnittlichen Gewichten untereinander verbunden sind und sich somit gegenseitig unterstützen. Z.B. können so in dem Eingabebereich 6 mehrere Eingabepools 110, 120 ... gleichzeitig aktiviert sein und dadurch mehrere Eigenschaften einer Eingabeinformation gleichzeitig repräsentiert werden, da sich die Eingabepools 110, 120, ... gegenseitig unterstüt¬ zen.
So können Eingabepools 111, 112, 113 und 114 jeweils eine Graustufe auf einer vierstufigen Skala von schwarz bis weiß repräsentieren. Das Merkmal dieser Eingabepools 110 wäre dann die Grauwertverteilung eines Bildes. Da in einem Bild in der Regel nahezu alle Grauwerte vorkommen, ist es nahe liegend, dass alle Eingabepools 110 gleichzeitig aktiviert sind. Dies wird durch die Kooperation zwischen den Eingabepools 110 un- terstützt. Je nach Anteil der Grauwerte im betrachteten Bild, können die Aktivierungen der Eingabepools 110 jedoch vonein¬ ander abweichen. Der Einfluss der Kategoriepools 10 kann die Aktivitäten der Eingabepools 110 weiter differenzieren. Wenn das neuronale Netz I z. B. einen schwarzen Gegenstand er- kennt, so wird der Eingabepool 110, der den Grauwert schwarz repräsentiert durch einen aktiven Kategoriepool 10 unter- stützt, wodurch sich seine Aktivität von den anderen Eingabe¬ pools 110 abhebt.
Ein Bereich, z.B. der Eingabebereich 6 oder der Kategoriebe- reich 5, kann als Schicht ausgeführt sein, er kann aber auch mehrere Schichten umfassen oder anders strukturiert sein.
So kann der Kategoriebereich 5 zum Beispiel so ausgeführt sein, dass er mehrere Kategorien gleichzeitig erkennen kann. Dies kann durch mehrere gleichzeitig aktivierbare Kategorie¬ pools 10 implementiert werden. So kann der Kategoriebereich 5 zum Beispiel durch Kooperation erlauben, dass mehrere Katego¬ riepools 10 gleichzeitig aktiviert sind. Der Kategoriebereich 5 kann aber auch in mehreren Schichten organisiert sein, wo- bei in jeder Schicht Kategoriepools 10 miteinander in Konkur¬ renz treten, wobei sich in jeder Schicht nur ein aktiver Ka¬ tegoriepool 10 durchsetzen kann. In einer ersten Schicht könnte sich ein Kategoriepool 10 durchsetzen, welcher ein be¬ stimmtes Objekt repräsentiert. In einer zweiten Schicht könn- te sich ein Kategoriepool 10 durchsetzen, welcher repräsen¬ tiert, dass die Eingabeinformation ungefährlich ist. In einer dritten Schicht könnte ein Kategoriebereich 10 aktiviert sein, welcher repräsentiert, dass die Eingabeinformation wertvoll ist. Jede dieser Schichten bzw. ihre enthaltenen Ka- tegoriepools 10 könnten in der beschriebenen Weise mit dem Eingabebereich 6 wechselwirken.
Zusätzliche Schichten können nach dem Prinzip des beeinfluss- ten Wettbewerbs und der beeinflussten Kooperation (biased Competition and Cooperation) implementiert werden: Durch die Verbindung zwischen Schichten kann eine Schicht jeweils den Kompetitionsvorgang in einer oder mehreren anderen Schichten lenken. Dieser Vorgang kann rekurrent sein, so dass durch diesen wechselseitigen Lenkvorgang sukzessive und dynamisch ein immer besserer Abgleich von verschiedenen Merkmal-Räumen der verschiedenen Schichten miteinander entsteht. Insbesonde¬ re enthält jede Repräsentation, weil sie nur einen Teilaspekt der Umgebung abdeckt, zwangsläufig Mehrdeutigkeiten. Beein- flusster Wettbewerb stellt einen Mechanismus dar, durch den die verschiedenen Schichten durch die Information ihres spe¬ ziellen Merkmalraums Mehrdeutigkeiten in den jeweils anderen Merkmal-Räumen auflösen können. Jede Repräsentation entwi¬ ckelt sich vor dem Kontext aller anderen Repräsentationen. Kooperation kann dann verschiedene Merkmale zu Gruppierungen binden, das heißt zueinander in Beziehung setzen.
Das Herstellen von Beziehungen kann in dynamischer Weise ge¬ schehen für (a) gegenwärtige Merkmale untereinander,
(b) gegenwärtige Merkmale mit anderen Merkmalräumen,
(c) gegenwärtige Merkmale mit vergangenen Werten andere Merk¬ male und Merkmalräume, und (d) dem Gesamtzustand mit zukünf- tigen, aber erwarteten Merkmalen. Insbesondere das Miteinbe¬ ziehen der Vergangenheit kann dem kausalen Charakter der Sig¬ nale Rechnung tragen.
Dynamische Daten aus technischen Systemen können nach Vorver- arbeitung ggf. zur Dimensionsreduktion als Eingabeinformatio¬ nen in das neuronale Netz 1 eingespeist werden. Dieses kann verschiedene Merkmale extrahieren (z.B. Independent Compo- nents oder nichtparametrische Merkmalvektoren analog zu selbstorganisierenden Merkmalskarten) in einem oder mehreren Eingabebereichen 6, von denen manche auch mit einer per¬ sistenten Aktivität (Arbeitsgedächtnis-Funktion) ausgestattet sein können. Optimierung des neuronalen Netzes 1 kann durch biologisch motivierte Lernregeln (z.B. Hebb-Regel oder spike time dependent plasticity) geschehen, mit denen sich auch Kostenfunktionen zur Bewertung dessen, wie gut eine Eingabe¬ information repräsentiert wird, aufstellen lassen. Zitierte Literatur
[1] Szabo, M., Almeida, R., Deco, G. und Stetter, M. (2004): "Cooperation and biased competition model can explain atten- tional filtering in the prefrontal cortex", Eur. J. Neuro- sci., Vol. 9, S. 1669-1677.
[2] Brunei, N. und Wang, X. J. (2001) : "Effects of neuro- modulation in a cortical network model of object working mem- ory dominated by recurrent inhibition", Comput. Neurosci. 11: 63-85.
[3] Koch, C. und Segev, I (Hrsg.) (2001) : "Methods in Neu¬ ronal Modeling: From Synapses to Networks", MIT Press, Cam- bridge, MA, Kapitel 1-5.

Claims

Patentansprüche
1. Verfahren zur dynamischen Informationsselektion mit einem neuronalen Netz (1) , - wobei einem Eingabebereich (6) des neuronalen Netzes (1) Eingabeinformationen zugeführt werden;
- wobei Ausprägungen von Merkmalen der Eingabeinformationen in dem Eingabebereich (6) des neuronalen Netzes (1) reprä¬ sentiert werden; - wobei in dem neuronalen Netz (1) mehrere Kategorien gespei¬ chert sind;
- wobei das neuronale Netz (1) die Ausprägungen der Merkmale klassifiziert, indem es mindestens eine Kategorie erkennt;
- wobei mindestens eine erkannte Kategorie einen selektiv op- timierenden Einfluss auf die Repräsentation der Ausprägun¬ gen der Merkmale ausübt.
2. Verfahren nach Anspruch 1, bei dem die Repräsentation der Eingabeinformationen für eine zu lösende Aufgabe optimiert wird.
3. Verfahren nach einem der vorangegangenen Ansprüche,
- bei dem das neuronale Netz (1) erregende gepulste Neuronen enthält, - bei dem die erregenden gepulsten Neuronen Kategoriepools (10) bilden, wobei jeder Kategorie mindestens ein Katego¬ riepool (10) zugeordnet ist.
4. Verfahren nach Anspruch 3, - bei dem die Kategoriepools (10) miteinander konkurrieren,
- bei dem sich ein aktiver Kategoriepool (10) in der Konkur¬ renz durchsetzt.
5. Verfahren nach Anspruch 3,
- bei dem das neuronale Netz (1) hemmende gepulste Neuronen enthält, - bei dem die hemmenden gepulsten Neuronen mindestens einen hemmenden Pool (50) bilden,
- bei dem der hemmende Pool (50) eine globale Hemmung auf die Kategoriepools (10) ausübt.
6. Verfahren nach Anspruch 3,
- bei welchem erregende gepulste Neuronen Eingabepools (110, 120, ...) bilden,
- bei dem die Eingabepools (110, 120, ...) Gruppen (21, 22, ...) bilden, welche jeweils ein Merkmal der Eingabeinforma¬ tionen repräsentieren,
- bei dem die Aktivität der Eingabepools (110, 120, ...) ei¬ ner Gruppe (21, 22, ...) eine Ausprägung des betreffenden Merkmals repräsentiert, - bei dem mindestens ein Kategoriepool (10) mindestens einen Eingabepool (110, 120, ...) beeinflusst,
- bei dem mindestens ein Eingabepool (110, 120, ...) mindes¬ tens einen Kategoriepool (10) beeinflusst.
7. Verfahren nach Anspruch 6, bei dem die Eingabepools (110, 120, ...) miteinander koope¬ rieren.
8. Verfahren nach Anspruch 1, bei dem das neuronale Netz (1) Verschaltungen enthält, welche durch Hebb'sches Lernen ausgebildet werden.
9. Neuronales Netz (1) zur dynamischen Informationsselektion,
- mit einem Eingabebereich (6) , dem Eingabeinformationen zu- führbar sind und in dem eine Repräsentation der Eingabein¬ formationen speicherbar ist,
- mit einem Kategoriebereich (5) , in dem Kategorien speicher¬ bar sind, wobei der Kategoriebereich (5) rekurrent mit dem Eingabebereich (6) verschaltet ist.
10. Neuronales Netz (1) nach Anspruch 9, - bei dem der Kategoriebereich (5) erregende gepulste Neuro¬ nen enthält,
- bei dem der Kategoriebereich (5) mehrere Kategoriepools
(10) enthält, welche jeweils aus erregenden gepulsten Neu- ronen bestehen,
- bei dem die Kategoriepools (10) mit dem Eingabebereich (6) rekurrent verschaltet sind.
11. Neuronales Netz (1) nach Anspruch 9, - bei dem das neuronale Netz (1) hemmende, gepulste Neuronen enthält,
- bei dem das neuronale Netz (1) einen hemmenden Pool (50) enthält, welcher aus den hemmenden gepulsten Neuronen be¬ steht, - bei dem der hemmende Pool (50) mit den Kategoriepools (10) verschaltet ist.
12. Neuronales Netz (1) nach Anspruch 9,
- bei dem der Eingabebereich (6) Eingabepools (110, 120, ...) aufweist, welche aus erregenden gepulsten Neuronen beste¬ hen,
- bei dem die Eingabepools (110, 120, ...) durch Zufuhr von Eingabeinformationen mit bestimmten Merkmalen aktivierbar sind, - bei dem durch Gruppen (21, 22, ...) von Eingabepools (110, 120, ...) jeweils ein Merkmal einer Eingabeinformation rep¬ räsentierbar ist,
- bei dem durch die Aktivität der Eingabepools (110, 120, ...) einer Gruppe (21, 22, ...) eine Ausprägung des betref- fenden Merkmals repräsentierbar ist,
- bei dem die Kategoriepools (10) mit den Eingabepools (110, 120, ...) rekurrent verschaltet sind.
13. Neuronales Netz (1) nach Anspruch 12, bei dem die Eingabepools (110, 120, ...) so miteinander ver¬ schaltet sind, dass eine Kooperation zwischen ihnen möglich ist.
14. Neuronales Netz (1) nach Anspruch 10, bei dem die Kategoriepools (10) so miteinander verschaltet sind, dass sie miteinander in Konkurrenz treten können.
15. Neuronales Netz (1) nach Anspruch 9, bei dem der Eingabebereich (6) einen hemmenden Pool (60) auf¬ weist, welcher mit den Eingabepools (110, 120, ....) verschal¬ tet ist.
16. Neuronales Netz (1) nach Anspruch 9, bei dem der Eingabebereich (6) einen nicht-spezifischen Pool (80) aufweist, welcher mit anderen Pools des Eingabebereichs (6) verschaltet ist.
17. Neuronales Netz (1) nach Anspruch 9, bei dem ein erstes Modul den Kategoriebereich (5) und ein zweites Modul den Eingabebereich (6) aufweist.
PCT/EP2005/052802 2004-07-09 2005-06-16 Verfahren zur dynamischen informationsselektion mit einem neuronalen netz und neuronales netz zur dynamischen informationsselektion WO2006005663A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004033390.4 2004-07-09
DE102004033390 2004-07-09

Publications (2)

Publication Number Publication Date
WO2006005663A2 true WO2006005663A2 (de) 2006-01-19
WO2006005663A3 WO2006005663A3 (de) 2007-09-27

Family

ID=35448073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/052802 WO2006005663A2 (de) 2004-07-09 2005-06-16 Verfahren zur dynamischen informationsselektion mit einem neuronalen netz und neuronales netz zur dynamischen informationsselektion

Country Status (1)

Country Link
WO (1) WO2006005663A2 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179596A (en) * 1991-07-05 1993-01-12 Booz, Allen & Hamilton, Inc. Analog pattern categorization system having dual weighted connectivity between nodes
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
US6356884B1 (en) * 1994-10-13 2002-03-12 Stephen L. Thaler Device system for the autonomous generation of useful information
US6601049B1 (en) * 1996-05-02 2003-07-29 David L. Cooper Self-adjusting multi-layer neural network architectures and methods therefor
US6601052B1 (en) * 1999-06-16 2003-07-29 Korea Advanced Institute Of Science And Technology Selective attention method using neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
US5179596A (en) * 1991-07-05 1993-01-12 Booz, Allen & Hamilton, Inc. Analog pattern categorization system having dual weighted connectivity between nodes
US6356884B1 (en) * 1994-10-13 2002-03-12 Stephen L. Thaler Device system for the autonomous generation of useful information
US6601049B1 (en) * 1996-05-02 2003-07-29 David L. Cooper Self-adjusting multi-layer neural network architectures and methods therefor
US6601052B1 (en) * 1999-06-16 2003-07-29 Korea Advanced Institute Of Science And Technology Selective attention method using neural network

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRADSKI G ET AL: "STORE WORKING MEMORY NETWORKS FOR STORAGE AND RECALL OF ARBITRARY TEMPORAL SEQUENCES" BIOLOGICAL CYBERNETICS, SPRINGER VERLAG, HEIDELBERG, DE, vol. 71, no. 6, January 1994 (1994-01), pages 469-480, XP000477378 ISSN: 0340-1200 *
KOERNER E ET AL: "A Cortical-type Modular Neural Network for Hypothetical Reasoning - II. The role of cortico-cortical loop" NEURAL NETWORKS, ELSEVIER SCIENCE PUBLISHERS, BARKING, GB, vol. 10, no. 5, July 1997 (1997-07), pages 791-814, XP004097273 ISSN: 0893-6080 *
SZABO MIRUNA ET AL: "COORPERATION AND BIASED COMPETITION MODEL CAN EXPLAIN ATTENTIANAL FILTERING IN THE PREFRONTAL CORTEX" EUROPEAN JOURNAL OF NEUROSCIENCE, OXFORD UNIVERSITY PRESS, GB, vol. 19, no. 6, April 2004 (2004-04), pages 1969-1977, XP008069137 ISSN: 0953-816X cited in the application *

Also Published As

Publication number Publication date
WO2006005663A3 (de) 2007-09-27

Similar Documents

Publication Publication Date Title
EP2368216A1 (de) Verfahren und einrichtung zur analyse von umgebungsobjekten und/oder umgebungsszenen, wie zur objekt- und szenenklassensegmentierung
WO2007036465A2 (de) Verfahren zum rechnergestützten lernen eines neuronalen netzes und neuronales netz
DE102019209644A1 (de) Verfahren zum Trainieren eines neuronalen Netzes
DE69131020T2 (de) Gerät geeignet zur objekt-hintergrund-abtrennung
DE10162927A1 (de) Auswerten von mittels funktionaler Magnet-Resonanz-Tomographie gewonnenen Bildern des Gehirns
AT521647A1 (de) Verfahren und System zur Datenaufbereitung, zum Trainieren eines künstlichen neuronalen Netzes und zum Analysieren von Sensordaten
EP3931760A1 (de) Training neuronaler netzwerke für effizientes implementieren auf hardware
DE19703964C1 (de) Verfahren zur Transformation einer zur Nachbildung eines technischen Prozesses dienenden Fuzzy-Logik in ein neuronales Netz
Beuth Visual attention in primates and for machines-neuronal mechanisms
WO2006005663A2 (de) Verfahren zur dynamischen informationsselektion mit einem neuronalen netz und neuronales netz zur dynamischen informationsselektion
WO2020200500A1 (de) Fahrsystem und verfahren zum auswahlen einer handlungsoption für ein automatisiertes kraftfahrzeug
EP1359539A2 (de) Neurodynamisches Modell der Verarbeitung visueller Informationen
WO2006005665A2 (de) Verfahren zur reaktion auf kontextänderungen mit einem neuronalen netz und neuronales netz zur reaktion auf kontextänderungen
DE10048308B4 (de) Verfahren und Vorrichtung zum Klassifizieren von Objekten aus als Pixelmuster vorliegenden eingangsseitigen Bilddaten
WO2021180470A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
WO2006005669A2 (de) System zur informationsextraktion und/oder informationsbewertung
DE4225885C2 (de) Korrelationsermittlungsverfahren und Verknüpfungsstruktur-Schätzverfahren für Neuronen
DE102005045120A1 (de) Vorrichtung und Verfahren zur dynamischen Informationsselektion mit Hilfe eines neuronalen Netzes
EP1194882B1 (de) Mustersuche
WO2003053231A2 (de) Erstellen eines interessenprofils einer person mit hilfe einer neurokognitiven einheit
DE102020209900A1 (de) Verfahren und Analysiereinrichtung zum Verarbeiten von Umfeldsensordaten
DE69023034T2 (de) Datenverarbeitungssystem.
DE102022204712A1 (de) Training von Machine Learning-Modellen mit dynamischer Auswahl generischer Merkmalsextraktionsblöcke
DE102005046946B3 (de) Vorrichtung zur rechnergestützten Ermittlung von Assoziationen zwischen Informationen auf der Basis eines neuronalen Netzes
DE202022105585U1 (de) Ein System zur Entwicklung eines einheitlichen neuronalen Faltungsnetzmodells für die intelligente Entscheidungsfindung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase