WO2001086359A2 - Fuzzy-steuerung mit reinforcement-lernverfahren - Google Patents

Fuzzy-steuerung mit reinforcement-lernverfahren Download PDF

Info

Publication number
WO2001086359A2
WO2001086359A2 PCT/DE2001/001653 DE0101653W WO0186359A2 WO 2001086359 A2 WO2001086359 A2 WO 2001086359A2 DE 0101653 W DE0101653 W DE 0101653W WO 0186359 A2 WO0186359 A2 WO 0186359A2
Authority
WO
WIPO (PCT)
Prior art keywords
state
space
fuzzy
technical system
action
Prior art date
Application number
PCT/DE2001/001653
Other languages
English (en)
French (fr)
Other versions
WO2001086359A3 (de
Inventor
Martin Appl
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2001086359A2 publication Critical patent/WO2001086359A2/de
Publication of WO2001086359A3 publication Critical patent/WO2001086359A3/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/081—Plural intersections under common control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/0275—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using fuzzy logic only

Definitions

  • the invention relates to a method and a fuzzy control device for determining a control strategy for a technical system as well as a computer-readable storage medium and a computer program element.
  • the reinforcement learning process is carried out according to the principle of so-called "prioritized sweeping".
  • fuzzy partitions are known by means of a fuzzy C means clustering method.
  • the invention is therefore based on the problem of a control strategy for a technical system
  • Control device for the computer-aided determination of a control strategy for a technical system solved by the computer-readable storage medium and by a computer program element with the features according to the independent patent claims.
  • the technical system is described with a continuous state space and a continuous or discretized action space.
  • the state space has states that the technical system can basically assume.
  • the action space has actions that are carried out in order to generate a state transition from a previous state of the state space to a subsequent state of the state space.
  • a model of the technical system is determined and grouped into fuzzy partitions by forming fuzzy membership functions to the fuzzy partitions, with which at least the state space is described.
  • the state transition is evaluated in such a way that an optimization with regard to the evaluations leads to an optimal control strategy.
  • a reinforcement learning process is carried out at least for the state space, whereby a control strategy, i.e. one action per state, it is determined for each state of the state space and an evaluation of all state-action pairs is carried out.
  • the technical system is controlled taking into account the control strategy by means of control variables that are selected or formed depending on the control strategy, for example.
  • the individual partitions are also referred to below as clusters.
  • control strategy determined with regard to the gain as an optimization variable within the reinforcement learning process is significantly improved compared to the prior art.
  • the number of partitions required to approximate the technical system, in particular the centers of a partition used to describe the partitions, are also considerably reduced.
  • the Q function can be calculated more quickly as part of the reinforcement learning process with greater accuracy.
  • a Q value For each state of the state space and the corresponding actions of the action space, a Q value can be used as
  • Control strategy i.e. the evaluation of the execution of the action is determined in the state.
  • linear terms can be used in the conclusions of the fuzzy rules of the fuzzy system, which is formed in accordance with the reinforcement learning method which approximates the Q function.
  • control strategy can be ascertained quickly and precisely, which reproduces the model very precisely.
  • the reinforcement learning process is carried out by in particular such actions, i.e. experiments are carried out that meet a specified criterion.
  • the criterion can be an expected information gain about the conditional state transition probabilities within the reinforcement learning process.
  • a future profit can be estimated from an information gain.
  • only or essentially only those actions can be selected and carried out which are better than a predefinable minimum information gain with regard to the directly or indirectly expected information gain.
  • the invention can advantageously be used in general for controlling a traffic system as a technical system, in particular for controlling, i.e. to select a frame signal plan for controlling traffic lights within a transport network.
  • a frame signal plan can be selected on the basis of the control strategy and corresponding control signals can be transmitted to traffic lights of a traffic network based on the selected frame signal plan, which traffic lights according to the selected one
  • An information gain can be determined for each fuzzy partition in the state space and in the action space, which resulted from earlier explanations of actions belonging to this corresponding fuzzy partition into the corresponding states.
  • counters are provided with which the number of executions of
  • the values assigned to the counters are changed when a new one is determined
  • the state transition probabilities can be determined as part of the reinforcement learning process depending on the counters.
  • fuzzy partitions are formed at the beginning of the method, in that, in an iterative method, starting from a predetermined quantity of output partition subsets, these are divided into several fuzzy partition subsets or merged from several fuzzy partitions. Partition subsets into a fuzzy partition subset, depending on the determined training data.
  • the fuzzy partitions can be formed in accordance with the fuzzy C means clustering method.
  • the system description is discretized by means of fuzzy partitions and correspondingly with fuzzy membership functions and in the discretized model using reinforcement functions.
  • a fuzzy control device has a processor which is set up in such a way that the method steps described above can be carried out.
  • a program is stored in a computer-readable storage medium and, when executed, has the method steps of the method described above. Furthermore, a computer program element, when executed by a Processor also the process steps of the method described above.
  • the invention can be implemented both as a computer program, ie in software, and by means of a special electronic circuit, ie in hardware.
  • FIG 1 is a flowchart in which the individual
  • Figure 2 is a sketch of a transport network, based on the
  • FIG. 3 shows a sketch of a central control computer which is coupled to individual sensors in the traffic network
  • Figures 4a to 4d a plurality of signal images according to different frame signal plans for different intersections of the traffic network of Figure 2;
  • Figure 5 is a sketch of a frame signal
  • FIG. 6 shows fuzzy partitions and their membership functions
  • FIGS 7a and 7b representations of different clusters.
  • FIG. 2 shows a traffic network 200, on the basis of which the training and the selection of a traffic-dependent selection are based below a frame signal plan is explained from a plurality of stored frame signal plans.
  • the traffic network 200 has a first road 201 that leads from a residential area 202 to a commercial area 203.
  • the residential area 202 is located in the west of a city 204 and the commercial area 203 is in the east of the city 204.
  • a second street 205 leads from a first shopping area 206 located in the north of the city 204 to a second shopping area 207 with a leisure center, which is located in the south of the city 204.
  • the first street 201 and the second street 205 cross each other at a first intersection 208.
  • the traffic network 200 has a third road 209, which extends from the first road 201 from a second intersection 210 to a third intersection 211, which is located on the second road 205.
  • the third street 209 therefore represents a diagonal connection from the first street 201 to the second street 205, the second intersection 210 being west of the first intersection 208, that is to say the second intersection 210 is closer to the residential area 202 than to the commercial area 203rd
  • a fourth street 212 leads from the third intersection 211 to a fourth intersection 213, the fourth intersection 213 on the first street 201 lying east of the first intersection 208, that is closer to the commercial area 203 than to the residential area 202.
  • traffic lights are provided for each direction that a vehicle can travel on the road, which control the flow of traffic at the respective intersection 208, 210, 211, 213.
  • the traffic lights are controlled by a central control unit described below.
  • sensors 215 are provided on the streets, with which the number of vehicles passing the sensor or traveling over the sensor can be detected.
  • Such a sensor 215 can be, for example, a conductor loop which is introduced into the respective road or else a light barrier or an ultrasonic sensor, with which a vehicle can pass the respective sensor in a predetermined direction for which the sensor 215 is intended ,
  • sensor 215 Every time a vehicle passes sensor 215, sensor 215 transmits a detection signal to a central computer 301 described below.
  • a counter can also be provided in the sensor 215, the counter being incremented for a predetermined period of time for each vehicle passing the sensor 215, and after the predetermined period of time has elapsed, the counter reading is transmitted to the central control computer 301 and the counter is then changed to preset counter status reset.
  • a main traffic direction occurs from the residential area 202 to the first shopping area 206 and the second shopping area 207, the flow of traffic corresponding to a shopping traffic of the residents of the city 204.
  • the main traffic between the residential area 202 and the leisure center is recorded in the second shopping area 207.
  • sensors 215 detect sensor occupancy B, which is defined as the time in which sensor 215 is occupied in relation to the time period during which occupancy is detected.
  • the sensor assignment B can be, for example, by means of an induction loop
  • Sensor 215 can be determined.
  • the traffic density p can be measured.
  • the occupancy B which is usually similar to the traffic density p, is thus obtained on a sensor 215 in accordance with the following regulation:
  • tb is the time during which the sensor is occupied, ie during which a vehicle is above the sensor
  • T is the time period during which the number m of vehicles is determined.
  • the average occupancy B of the sensor 215 is determined on each sensor 215 for a time period t of 15 minutes, and then the average occupancy B determined according to regulation (1) is transmitted to the central control computer 301 described below.
  • FIG. 3 shows the central control computer 301, which is coupled to the sensors 215, for example via a radio connection or a wired connection 302.
  • the control computer 301 has an input / output interface 303 as well as a central processor unit 304 and a memory 305, which are each coupled to one another via a computer bus 306.
  • a computer mouse 308 is coupled to the control computer 301 via a cable or an infrared radio link.
  • a screen 310 is coupled to the input / output interface 303 via a second connection 309.
  • a keyboard 312 is coupled to the input / output interface 303 via a third connection 311.
  • a plurality of frame signal plans 313 are stored in the memory 305 of the control computer 301.
  • the plurality of frame signal plans 313 is shown in the following table, with AI, A2, B1, B2, B3, Cl, C2, D1, D2, D3 signal images for the first intersection 208 (B1, B2, B3), the second Intersection 210 (AI, A2), the third intersection 211 (Dl, D2, D3) and the fourth intersection 213 (Cl, C2), as shown in FIG.
  • three frame signal plans RSP1, RSP2, RSP3 are stored in the memory 305, as shown in the following table:
  • a frame signal plan has a number of so-called
  • Frame signals which each determine a traffic flow, in which time restrictions which states of the light signals acting on this traffic flow are permitted at the traffic lights 214.
  • a period of a light signal 501 of the frame signal 500 has a request area 502 and an extension area 503.
  • local optimization can be carried out with regard to the goals mentioned below, in particular an optimization of the traffic flow, for example by extending green phases or giving priority to local public transport.
  • green phases of the traffic light 214 can be initiated, which must be ended within the extension area 504.
  • the arrows show the travel directions of the vehicles at the respective intersection that are permissible during the duration, that is to say the validity of the respective signal image.
  • the first frame signal plan RSP1 indicates that a first signal image 401 shown in FIG. A has a validity period that is twice as long due to the number 60 compared to the second signal image 402 (assigned value number 30).
  • Frame signal plan RSP3 the first signal image 401 and the second signal image 402 each have the same validity period (both signal images 401, 402 are assigned the same number of values 45).
  • the first frame signal plan RSP1 specifies for the first intersection 208 in a third signal image 403, fourth signal image 404 and fifth signal image 405 shown in FIG. B that the third signal image 403 has twice as long validity per period as the fourth signal image 404 and that fifth signal image 405 is not formed at all because of the traffic light switching of traffic light 214 at the first intersection 208 (value number third signal image 403: 60, value number fourth signal image 404: 30, value number fifth signal image 405: 0).
  • the third signal image 403 and the fourth signal image 404 are weighted equally and the fifth signal image 405 is not formed due to the traffic light control (value number third signal image 403: 45, value number fourth signal image 404: 45, value number fifth signal image 405: 0) ,
  • the fifth signal image 405 is weighted considerably more than the third signal image 403 and the fourth signal image 404 (value number third signal image 403: 20, value number fourth signal image 404: 20, value number) due to the traffic light switching of traffic lights 214 at the first intersection 208 fifth signal pattern 405: 50).
  • Frame signal plan RSP1 the traffic light circuit of the traffic lights 214 in such a way that the sixth signal image 406 shown in FIG. 4c is weighted half as much, that is to say that it is only half the validity period compared to the eighth signal image 408.
  • the seventh signal image 407 is not generated at all in accordance with the first frame signal plan RSP1 (value number sixth signal image 406: 30, value number seventh signal image 407: 0, value number eighth signal image 408: 60).
  • Signal image 406 and the eighth signal image 408 weighted equally (number of values sixth signal image 406: 45, number of values seventh Signal image 407: 0, value number eighth signal image 408: 45) and according to the third frame signal plan RSP3, the seventh signal image 407 is weighted considerably more than the sixth signal image 406 and the eighth signal image 408 (value number sixth signal image 406: 15, value number seventh signal image 407: 65 , Number of values eighth signal pattern 408: 10).
  • the ninth signal image 409 shown in FIG. 4d is weighted twice as much, i.e. it has a validity period twice as long as the tenth signal image 410 (value number ninth signal image 409: 60, value number tenth signal pattern 410: 30).
  • Frame signal plan RSP3 the two signal patterns 409, 410 each have the same period of validity per period (number of values ninth signal pattern 409: 45, number of values tenth signal pattern 410: 45).
  • the first frame signal plan RSP1 represents a traffic light switching of the traffic lights 214 in the traffic network 200 which is optimized with respect to rush hour traffic.
  • the second frame signal plan RSP2 weights all connections in the traffic network largely uniformly, so that a good connection, that is to say a good traffic flow, is also possible between the first shopping area and the second shopping area 207 with regard to the respective requirements.
  • the third frame signal plan RSP3 is optimized with regard to the traffic between the residential area 202 and the second shopping area 207 located to the south, that is to say the traffic flow between the residential area 202 and the second shopping area 207 is preferred.
  • a maximum profit which according to this exemplary embodiment is the sum of the squared average relative traffic densities per route 1,
  • the gain g of the reinforcement learning method described below for determining the optimized control strategy that is to say the control strategy, which is formed by the appropriate selection of the traffic densities p determined for the average occupancies B be approximated in connection with the reinforcement learning process
  • optimized selection of the frame signal plan RSP1, RSP2, RSP3 according to the following regulation:
  • the control computer 301 thus clearly has to learn a strategy that minimizes the sum of the profits g.
  • the basic idea of regulation (2) can be seen in the fact that the average traffic density in the traffic network 200 is to be minimized by the selection of the frame signal plans, with the quadrature of the terms with respect to the individual ones Routes 1, a homogeneous network state with average traffic densities on all routes 1 is rated better than a state with very low traffic densities on some routes 1 with congestion on other routes 1.
  • the relative vehicle densities averaged over a period of 90 seconds in each case which are formed in accordance with the following regulation, are determined at the points in the traffic network where sensors 215 are present:
  • this is symbolically represented by representations of individual traffic density profiles 216, 217, 218.
  • the action space can be both continuous and discreet.
  • the technical system exhibits a continuous
  • the technical system has a continuous action space A of dimension d or a discrete space U.
  • Conditional probability density functions p (y, x, a) describe the probability of a transition from a state x to a state y when action a is carried out.
  • a gain g (x, a, y) is described when an action a is carried out in the predecessor state x if the technical system changes to a successor state y due to the control due to action a.
  • the state space is f ⁇ zy partitions with fuzzy membership functions j ⁇ .
  • Y _ w grouped, for which the following applies:
  • the fuzzy partitions are with
  • action space A is also in fuzzy partitions with membership functions for which applies:
  • a fuzzy C-means can be used to form the fuzzy partitions of the state space X Clustering as described in [2] can be performed.
  • the relative traffic density is grouped in an interval from "0 'to" 1 "into four partitions 601, 602, 603, 604, each of which over a predetermined interval
  • Membership functions 605, 606, 607, 608 are assigned.
  • a first fuzzy membership function 605 describes a very low traffic density "very small”
  • a second fuzzy membership function 606 describes a low traffic density
  • a third fuzzy membership function 607 a high traffic density "high” and a fourth fuzzy membership function 608 a very high traffic density "very high”.
  • the fuzzy centers and limits of the individual fuzzy membership functions and fuzzy partitions shown in FIG. 6 can alternatively be determined according to the following procedure.
  • the fuzzy clusters are clustered in the state transition space T on the basis of the observed state transitions during a learning phase using training data which are determined from a technical system, for example by measurement or also by simulation of the technical system according to this Embodiment with the determined traffic densities as training data.
  • clustering is carried out in state space X using the observed states during the learning phase described above.
  • fuzzy clustering that is to say the formation of the fuzzy partitions with the associated fuzzy membership functions, results directly in the fuzzy partitions of the state space which are used in the reinforcement learning method described below and the control strategy resulting therefrom.
  • the clusters in the state transition space serve as a compact description of the observed state transitions from which the model ,. that is, the conditional state transition probabilities as described above and the gains g as described below can be determined.
  • the clusters in the state transition space are used to determine optionally described splitting and clustering described below during the formation of the fuzzy partitions as part of the incremental method.
  • the splitting or merging of a fuzzy cluster is described with reference to FIGS. 7a and 7b.
  • splitting the middle cluster 701 would enable an improved differentiation of these classes in the state transitions.
  • splitting the middle cluster 701 each time would improve the learning process and the fuzzy set of fuzzy partitions formed by the learning process.
  • a corresponding procedure can be achieved in accordance with an optional extension of the procedure by merging individual fuzzy partitions, that is to say from clusters, an essentially analogous method when merging
  • the procedure chosen is compared to dividing the partitions.
  • the clustering of the state space X in fuzzy partitions is used to describe a Q function described below in connection with a reinforcement learning method.
  • the clusters are created in an incremental manner.
  • Each cluster c. is characterized for the respective iteration k by the respective cluster center, a counter value for counting the number of states, the cluster c ⁇ based on the previous
  • Scaling matrix is called, by which the size of the respective cluster is determined.
  • Cluster c K- is given by the following rule:
  • a division of a cluster into two clusters with respect to dimension d results in a reduction in the size of the respective cluster in the respective dimension d.
  • the maximum distance d max can be specified by the user and usually depends on the initialization Diagonal matrix AK
  • the step size of the respective shift step is determined by the fuzzy membership function according to the following rule:
  • a fuzzification value m in regulation (24) with the value 2 is used.
  • the aim of the clustering of the state transition space T described below is to generate a compact description of the observed state transitions during the learning phase.
  • a cluster c T.'u in the state transition space T is characterized by its cluster centers z. ' ⁇ , which result according to the following rule:
  • M. ' ⁇ Denotes a counter with which the number of
  • State transitions can be specified that are assigned to this respective cluster. With a scaling matrix AT u and with an index u for the respective action that generated the respective state transition, which state transition is assigned to the respective cluster.
  • the scaling matrix A T ⁇ u has three mutually independent diagonal matrices, where a first diagonal matrix B T ⁇ u the respective previous state, a second diagonal matrix C T ⁇ u one
  • the resolution of the clustering in the state transition space T should be selected depending on the resolution of the clustering in the state space K. It is assumed that cX, a cluster m the state space
  • X is which cluster of component x T ⁇ u of cluster ⁇
  • Embodiment has proven to be advantageous to make the size of the cluster c T- 'u m in the direction X' half as large as the size of the cluster c X, and
  • the first diagonal matrix is obtained in this way and the second diagonal matrix C T ⁇ u of the cluster cT-'u according to
  • the scaling matrices Av,, Av ff depend on the number
  • the third diagonal matrix b - r _ ⁇ is chosen to be constant, for example according to the following rule:
  • a distance measure dist [z, et '] is determined in accordance with the following rule:
  • the maximum state transition distance d T ma ⁇ can, but need not, have the same value as the maximum distance d X ma ⁇ with respect to the state space X.
  • each state transition in state transition space T is explicitly stored in the memory of control computer 301.
  • State transition space T exist, both of which have a high membership value to the cluster that is split is to have, and their centers have a clear distance from one another with respect to the direction X "xSR.
  • a cluster c X- e CX k is thus divided in the direction of dimension d during an iteration k if the value v di 1 kl c i / ' of FIG. 9 is formed according to the following rule:
  • u c . d, j , l, kl ci / - diff "x9 ⁇ c , u c T, u clltt kl c j ' C l
  • a predefinable threshold value v mln for at least one pair vvoonn CClluusstteerrnn ccj-j ''' uu ,, ee CC TT '' UU and one action ue U exceeds, which means that:
  • Vd 1, ..., d K , d ⁇ d 0 , (55)
  • Vd 1, .., d K , d ⁇ d 0 , (59]
  • the counters of the new clusters are set to the same value as the counter of the original
  • the fuzzy partitioning of the state space X can in principle be selected as precisely as desired if each division of a cluster leads to a more precise internal model description.
  • creating clusters can be limited in two ways.
  • a maximum number of divisions that can be applied to a cluster can be specified.
  • the threshold value v with which the division of the clusters is controlled can be increased in accordance with the number of existing clusters.
  • the average profit for executing the action can be approximated by the state c X and a state transition to the state cN X according to the following rule:
  • fuzzy clusters can also be used independently of the reinforcement learning method described below in connection with the selection of frame signal plans, generally in connection with the control of a technical system.
  • a cluster of a state space or a state transition space is divided into at least two or more clusters if it is evident from the clustered state transitions that by dividing different groups of state transitions, for example different successor states and / or different profits are generated that can be distinguished from one another.
  • model-based reinforcement learning is to carry out a maximum likelihood estimate of the model of the system to be controlled at the beginning of the learning process and the optimized control strategy, i.e. the optimized control by selecting control variables (indirectly) based on the previously determined model description to train.
  • a maximum likelihood estimate of the model of the technical system is made on the basis of discrete counters with which the number of actions carried out and the resulting state transitions and on the basis of variables for the observed gains.
  • the counters and variables are explained in more detail below.
  • a u referred to an iteration k.
  • the counters NV 1, U ,, K and M1, U,. ,, K are then used to calculate the average conditional probabilities based on this
  • r-. denotes the average profit that is obtained if, in the predecessor state Xj_, due to the execution of the action A u, the successor state Xj is assumed in the state space X.
  • An estimate of the respective profit rV. that is an estimated profit f. ⁇ , is determined according to the following update rule:
  • Q (x, a) denotes the true, continuous Q value in the context of the reinforcement learning process, which is formed according to the following rule:
  • the continuous Q values Q (X, a) are approximated by a so-called Takagi-Sugeno-fuzzy system, as described in [3], with linear terms in the consequences of the fuzzy rules in accordance with the following regulation:
  • rule (79) can be written as the following rule:
  • the terms Q. can be determined by determining the fixed point solution of the
  • [3] describes a special implementation of the procedure described above for the recursive solution of the so-called Bellmann equation (78).
  • the basic idea of the approach known from [3] is to prioritize the recursive update of the Q values according to the change in the Q values as they result from the update.
  • Update mechanism can also be used for the approach provided in accordance with this exemplary embodiment of the invention using fuzzy partitions as part of the reinforcement learning method.
  • Equation (78) determined.
  • the associated partial derivatives Q.1 and Q. ⁇ can be determined by averaging and partial derivatives of the gain function and the conditional state transition probabilities.
  • the partial derivatives Q ⁇ are formed according to the following rule:
  • the gain function g can be adjusted by adjusting the parameters fV. .
  • step size ⁇ j_ u j, k is selected depending on the degree of belonging of an observed state transition to a cluster center and is reduced over time.
  • the average conditional probabilities j _ j (u) can be estimated according to regulation (71).
  • the average partial derivatives can be approximated according to the following rules:
  • N 1.U 'de notes a counter with which the number of
  • Execution of an action A u is counted in a fuzzy state that arises when state Xj_ is shifted along dimension 1 by a predeterminable value ⁇ .
  • - ⁇ denotes another counter with which the number of state transitions from that by ⁇ along the Dimension 1 shifted state Xj_ is counted to a successor state Xj due to action A u .
  • N ⁇ 'de notes a counter with which the
  • Dimension 1 arises by a negative value - ⁇ and M. 'denotes another counter with which the number of state transitions into state Xj from this state is specified on the basis of action A u .
  • Piui k + 1 and Piui k + 1 determine according to the following regulations:
  • the optimal control strategy that is to say the optimal selection of a frame signal plan based on the determined, measured relative traffic density at the respective sensors 215, generally formulated as an optimal control strategy ⁇ : X-A, is achieved in that the action a is selected in the respective state x , that is, for example, according to the exemplary embodiment that frame signal plan is selected that promises a profit according to regulation (79) that is maximum, that is to say the following applies:
  • the method described above can be further improved in accordance with the embodiment of the invention described below.
  • a model-based exploration strategy is provided.
  • the immediate information gain which results from a single execution of the action A u in the state Xj_, is referred to as aj_ u .
  • An estimated A-value ⁇ _ u is then derived, which denotes the expected immediate information gain that results from future executions of action A u in state X__.
  • Immediate information gain can be measured by the amount of knowledge the learning system obtains about the state transition probabilities between the fuzzy partitions based on observing a state transition.
  • the change in the probabilities is scaled with an upper limit, which is formed according to ⁇ ⁇ (x k ) ⁇ A (a k ), in order to make the measure of the immediate information gain independent of the position of (x k , a k ) within the respective fuzzy partition.
  • the immediate attractiveness is described as a quotient of the weighted sum of the immediate information gains and the sum of the weights, that is, the immediate attractiveness ⁇ results according to the following rule:
  • a total attractiveness ⁇ j_ u of a state-action pair (X j _, A u ) is determined recursively according to the following rule:
  • ⁇ iu # + ⁇ : ⁇ iU / k + 1 + ⁇ Pi ⁇ k + l ⁇ J / + l '( 118 )
  • u: arg max ⁇ NA ⁇ u (x k )
  • Vj 1, ..., N (ii) Calculate the immediate information gain resulting from the state transition:
  • a first step data about the technical system, in the case of a traffic network 200, the respective traffic density at a sensor point is determined by means of a sensor (step 101).
  • fuzzy partitions of the state space and / or the action space are determined (step 102).
  • a reinforcement learning process is carried out using the determined data on the technical system and using the determined fuzzy partitions (step 103).
  • step 104 is determined in the manner described above in accordance with the reinforcement learning method an optimal control strategy ⁇ that is, it is determined, an optimum output value is specified with the selecting which frame signal value for each iteration (step 104 ).
  • step 105 the optimal frame signal plan determined according to the reinforcement learning method is selected, read out and dependent on the frame signal plan the traffic lights 214 are controlled at the respective intersections, i.e. generally the technical system to be controlled, taking into account the selected optimized control strategy and the selected frame signal plan (step 106).

Abstract

Zum Ermitteln einer Steuerungsstrategie eines technischen Systems werden die Systembeschreibung mittels Fuzzy-Partitionen und entsprechend mit Fuzzy-Zugehörigkeitsfunktionen diskretisiert und in dem diskretisierten Modell wird unter Verwenden von Reinforcement-Lernens die Steuerungsstrategie zum Steuern des technischen Systems ermittelt.

Description

Beschreibung
Verfahren und Fuzzy-Steuervorrichtung zum rechnergestützten Ermitteln einer SteuerungsStrategie für ein technisches System, Computerlesbares Speichermedium und Computerprogramm- Element
Die Erfindung betrifft ein Verfahren und eine Fuzzy- Steuervorrichtung zum Ermitteln einer Steuerungsstrategie für ein technisches System sowie ein Computerlesbares Speichermedium und ein Computerprogramm-Element.
Ein solches Verfahren und eine solche Fuzzy-Steuervorrichtung sind aus [1] und [3] bekannt.
Bei dem aus [3] bekannten Verfahren wird ein zu beschreibendes und zu steuerndes technisches System, welches ursprünglich mit einem kontinuierlichen Zustandsraum und einem kontinuierlichen Aktionsrau beschrieben wird, diskretisiert.
Auf der Basis des diskretisierten Zustandsraums und des diskretisierten Aktionsraums wird das Reinforcement- Lernverfahren gemäß dem Prinzip des sogenannten „Prioritized Sweeping durchgeführt.
Diese bekannte Vorgehensweise hat insbesondere den Nachteil, dass entweder eine sehr feine Partitionierung des kontinuierlichen Raums erforderlich ist, woraus sich eine große Komplexität des zu lösenden diskreten Problems mit dem daraus resultierenden sehr großen Rechenzeitbedarf und dem damit ferner verbundenen erheblichen Speicherplatzbedarf im Rahmen der Steuerung eines technischen Systems -ergibt.
Ist die Partitionierung jedoch gröber, so wird die
Approximation des zu steuernden technischen Systems sehr ungenau. Dies führt zu einer suboptimalen, das heißt zu einer relativ schlechten Steuerstrategie, die gemäß dem Reinforce ent-Lernen ermittelt wird.
Um die erreichbare Approximationsgenauigkeit zu verbessern, ist es aus [4] bekannt, eine Interpolationsstrategie zu verwenden, was grundsätzlich dem Einsatz eines sogenannten, in [1] beschriebenen Takagi-Sugeno-Systems mit konstanten Konsequenzen in den Regeln entspricht.
Bei dem aus [4] bekannten Verfahren wird jedoch zum Training der Werte in den Zentren des Interpolationsschemas eine harte Partitionierung des Zustandsraums und des Aktionsraums durchgeführt, weshalb sich wieder die oben zuvor dargestellten Nachteile ergeben.
Weiterhin ist es aus [2] bekannt, Fuzzy-Partitionen mittels eines Fuzzy-C-Means-Clustering-Verfahrens bekannt.
Somit liegt der Erfindung das Problem zugrunde, eine Steuerungsstrategie für ein technisches System unter
Verwendung eines Reinforce ent-Lernverfahrens anzugeben, bei dem gegenüber dem aus [3] bekannten Verfahren eine verbesserte Steuerungsstrategie ermittelt wird.
Das Problem wird durch das Verfahren, die Fuzzy-
Steuerungsvorrichtung zum rechnergestützten Ermitteln einer Steuerungsstrategie für ein technisches System, durch das Computerlesbare Speichermedium und durch ein Computerprogramm-Element mit den Merkmalen gemäß den unabhängigen Patentansprüchen gelöst.
Bei einem Verfahren zum rechnergestützten Verfahren Ermitteln einer Steuerungsstrategie für ein technisches System wird das technische System mit einem kontinuierlichen Zustandsraum und einem kontinuierlichen oder diskretisierten Aktionsraum beschrieben. Der Zustandsraum weist Zustände auf, die das technische System grundsätzlich annehmen kann. Ferner weist der Aktionsraum Aktionen auf, die ausgeführt werden, um einen Zustandsübergang von einem Vorgängerzustand des Zustandsraum in einen Nachfolgezustand des Zustandsraums zu erzeugen. Mit Trainingsdaten, die das technische System beschreiben, wird ein Modell des technischen Systems ermittelt und in Fuzzy- Partitionen gruppiert, indem Fuzzy-Zugehörigkeitsfunktionen zu den Fuzzy-Partitionen gebildet werden, mit denen zumindest der Zustandsraum beschrieben wird.
Es erfolgt eine Bewertung des Zustandsübergangs derart, dass eine Optimierung hinsichtlich der Bewertungen zu einer optimalen Steuerungsstrategie führt.
Unter Verwendung der Fuzzy-Zugehörigkeitsfunktionen wird ein Reinforcement-Lernverfahren zumindest für den Zustandsraum durchgeführt, wodurch jeweils eine Steuerungsstrategie, d.h. jeweils eine Aktion pro Zustand, ermittelt wird für jeden Zustand des Zustandsraums und eine Bewertung aller Zustands- Aktions-Paare durchgeführt wird. Das technische System wird unter Berücksichtigung der Steuerungsstrategie mittels Steuergrößen, die beispielsweise abhängig von der Steuerungsstrategie ausgewählt bzw. gebildet werden, gesteuert.
Die einzelnen Partitionen werden im weiteren auch als Cluster bezeichnet.
Durch die Erfindung wird insbesondere erreicht, dass die Approximationsgenauigkeit und damit das Ermitteln der Steuerungsgrößen erheblich beschleunigt, das heißt mit verringertem Rechenzeitbedarf durchführbar wird.
Ferner wird die ermittelte Steuerungsstrategie hinsichtlich des Gewinns als Optimierungsgroße innerhalb des Reinforcement-Lernverfahrens erheblich gegenüber dem Stand der Technik verbessert. Auch werden die Anzahl der zur Approximation des technischen Systems erforderlichen Partitionen, insbesondere die zur Beschreibung der Partitionen verwendeten Zentren einer Partition erheblich verringert.
Aufgrund der Verringerung der benötigten Anzahl an Partitions-Zentren wird eine schnellere Berechnung der Q- Funktion im Rahmen des Reinforcement-Lernverfahrens bei höherer Genauigkeit ermöglicht.
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Für jeden Zustand des Zustandsraums und die entsprechenden Aktionen des Aktionsraums kann jeweils ein Q-Wert als
Steuerungssträtegie, d.h. der Bewertung der Ausführung der Aktion in dem Zustand ermittelt wird.
Ferner können in den Konklusionen der Fuzzy-Regeln des Fuzzy- Systems, welches gemäß dem Reinforcement-Lernverfahrens gebildet wird, welches die Q-Funktion approximiert, lineare Terme verwendet werden.
Auf diese' Weise wird ein schnell und dennoch exaktes Ermitteln der Steuerungsstrategie möglich, das das Modell sehr genau wiedergibt.
Gemäß einer weiteren Ausgestaltung der Erfindung wird das Reinforcement-Lernverfahren durchgeführt, indem insbesondere solche Aktionen, d.h. solche Experimente ausgeführt werden, die ein vorgegebenes Kriterium erfüllen.
Auf diese Weise wird eine optimierte Auswahl von Aktionen, d.h. Experimenten möglich, wodurch die benötigte Anzahl von Experimenten minimiert wird und somit das Lernen beschleunigt ' wird. Das Kriterium kann ein zu erwartender Informationsgewinn über die bedingten Zustandsübergangs-Wahrscheinlichkeiten innerhalb des Reinforcement-Lernverfahrens sein.
Aus einem Informationsgewinn kann jeweils ein zukünftiger Gewinn geschätzt werden. Es können insbesondere nur oder im wesentlichen nur die Aktionen ausgewählt und durchgeführt, die hinsichtlich des unmittelbar oder mittelbar zu erwartenden Informationsgewinn besser sind als ein vorgebbarer Mindest-Informationsgewinn.
Die Erfindung kann vorteilhaft eingesetzt werden allgemein zur Steuerung eines Verkehrssystems als technisches System, insbesondere zur Steuerung, d.h. zur Auswahl eines Rahmensignalplans zur Steuerung von Ampeln innerhalb eines Verkehrsnetzes. Somit kann beispielsweise aufgrund der Steuerungsstrategie ein Rahmensignalplan ausgewählt werden und aufgrund des ausgewählten Rahmensignalplans können entsprechende Steuersignale an Ampeln eines Verkehrsnetzes übermittelt werden, die die Ampeln gemäß dem ausgewählten
Rahmensignalplan ansteuern.
Für jede Fuzzy-Partition im Zustandsraum und in dem Aktionsraum kann ein Informationsgewinn ermittelt werden, der aus früheren Ausführungen von zu dieser entsprechenden Fuzzy- Partition gehörenden Aktionen in die entsprechenden Zustände resultierte.
Gemäß einer weiteren Ausgestaltung der Erfindung sind Zähler vorgesehen, mit denen die Anzahl von Ausführungen von
Aktionen in einem Zustand des technischen Systems und die Anzahl von Zustandsübergängen von einem Anfangszustand, d.h. einen Vorgängerzustand in einen Nachfolgezustand aufgrund der Aktion bis zu der Iteration angegeben wird. Die den Zählern zugeordneten Werte werden bei Ermitteln eines neuen
Zustandsübergangs abhängig von dem Grad der Zugehörigkeit der Zustände bzw. der Zustandsübergänge zu den jeweiligen Fuzzy- Clustern aktualisiert.
Die Zustandsübergangs-Wahrscheinlichkeiten können im Rahmen des Reinforcement-Lernverfahrens abhängig von den Zählern ermittelt werden.
Ferner werden gemäß einer weiteren Weiterbildung der Erfindung zu Beginn des Verfahrens Fuzzy-Partitionen gebildet, indem in einem iterativen Verfahren ausgehend von einer vorgegebenen Menge von Ausgangs-Partitions-Untermengen diese aufgeteilt werden in mehrere Fuzzy-Partitions- Untermengen oder zusammengeführt werden aus mehreren Fuzzy- Partitions-Untermengen in eine Fuzzy-Partitions-Untermenge, abhängig von den ermittelten Trainingsdaten.
Zu Beginn des Verfahrens können alternativ die Fuzzy- Partitionen gemäß dem Fuzzy-C-Means-Clustering-Verfahren gebildet werden.
Anschaulich kann die Erfindung darin gesehen werden, dass zur Steuerung eines technischen Systems die Systembeschreibung mittels Fuzzy-Partitionen und entsprechend mit Fuzzy- Zugehörigkeitsfunktionen diskretisiert werden und in dem diskretisierten Modell unter Verwenden von Reinforcement-
Lernens eine Steuerungsstrategie zum Steuern des technischen Systems ermittelt wird.
Eine Fuzzy-Steuervorrichtung weist einen Prozessor auf, der derart eingerichtet ist, dass die oben beschriebenen Verfahrensschritte durchführbar sind.
In einem Computerlesbaren Speichermedium ist ein Programm gespeichert, das bei dessen Ausführung die Verfahrensschritte des oben beschriebenen Verfahrens aufweist. Ferner weist ein Computerprogramm-Element bei dessen Ausführung durch einen Prozessor ebenfalls die Verfahrensschritte des oben beschriebenen Verfahrens auf.
Die Erfindung kann sowohl als Computerprogramm, also in Software, als auch mittels einer speziellen elektronischen Schaltung, also in Hardware, realisiert werden.
Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt und werden im weiteren näher erläutert.
Es zeigen
Figur 1 ein Ablaufdiagramm, in dem die einzelnen
Verfahrensschritte des Verfahrens gemäß einem Ausführungsbeispiel der Erfindung dargestellt sind;
Figur 2 eine Skizze eines Verkehrsnetzes, anhand dem ein
Ausführungsbeispiel der Erfindung dargestellt wird;
Figur 3 eine Skizze eines zentralen Steuerrechners, der mit einzelnen Sensoren in dem Verkehrsnetz gekoppelt ist;
Figuren 4a bis 4d eine Vielzahl von Signalbildern gemäß unterschiedlichen Rahmensignalplänen für verschiedene Kreuzungen des Verkehrsnetzes aus Figur 2;
Figur 5 eine Skizze eines Rahmensignals;
Figur 6 eine Darstellung von Fuzzy-Partitionen und deren Zugehörigkeitsfunktionen;
Figuren 7a und 7b Darstellungen von unterschiedlichen Clustern.
Fig.2 zeigt ein Verkehrsnetz 200, anhand dessen im folgenden das Training und die Auswahl einer verkehrsabhängigen Auswahl eines Rahmensignalplans aus einer Vielzahl gespeicherter Rahmensignalpläne erläutert wird.
Das Verkehrsnetz 200 weist eine erste Straße 201 auf, die von einem Wohngebiet 202 zu einem Gewerbegebiet 203 führt. Das Wohngebiet 202 befindet sich im Westen einer Stadt 204 und das Gewerbegebiet 203 liegt im Osten der Stadt 204.
Eine zweite Straße 205 führt von einem sich im Norden der Stadt 204 befindenden ersten Einkaufsgebiet 206 zu einem zweiten Einkaufsgebiet 207 mit Freizeitzentrum, welches im Süden der Stadt 204 liegt.
Die erste Straße 201 und die zweite Straße 205 kreuzen einander an einer ersten Kreuzung 208.
Weiterhin weist das Verkehrsnetz 200 eine dritte Straße 209 auf, die sich von der ersten Straße 201 aus von einer zweiten Kreuzung 210 bis zu einer dritten Kreuzung 211, die sich an der zweiten Straße 205 befindet, erstreckt. Anschaulich stellt somit die dritte Straße 209 eine Diagonalverbindung von der ersten Straße 201 zu der zweiten Straße 205 dar, wobei die zweite Kreuzung 210 westlich von der ersten Kreuzung 208 liegt, das heißt die zweite Kreuzung 210 liegt näher an dem Wohngebiet 202 als an dem Gewerbegebiet 203.
Weiterhin führt eine vierte Straße 212 von der dritten Kreuzung 211 zu einer vierten Kreuzung 213, wobei die vierte Kreuzung 213 auf der ersten Straße 201 östlich von der ersten Kreuzung 208 liegt, das heißt näher an dem Gewerbegebiet 203 als an dem Wohngebiet 202.
An jeder Kreuzung sind für jede Richtung, die ein Fahrzeug auf der Straße fahren kann, Ampeln vorgesehen, die den Verkehrsfluss an der jeweiligen Kreuzung 208, 210, 211, 213, steuern. Die Ampeln werden von einer im Weiteren beschriebenen zentralen Steuereinheit gesteuert.
Ferner sind auf den Straßen Sensoren 215 vorgesehen, mit dem die Anzahl der an dem Sensor vorbeifahrenden oder über den Sensor fahrenden Fahrzeuge erfasst werden können.
Ein solcher Sensor 215 kann beispielsweise eine Leiterschleife sein, die in die jeweilige Straße eingebracht ist oder auch eine Lichtschranke oder ein Ultraschallsensor, mit denen jeweils das Vorbeifahren eines Fahrzeugs an dem jeweiligen Sensor in einer vorgegebenen Richtung, für die der Sensor 215 vorgesehen ist, sein.
Jedes Mal, wenn ein Fahrzeug den Sensor 215 passiert, wird von dem Sensor 215 ein Erfassungssignal an einen im weiteren beschriebenen zentralen Rechner 301 übertragen.
Alternativ kann in dem Sensor 215 auch ein Zähler vorgesehen sein, der für eine vorgegebene Zeitdauer für jedes den Sensor 215 passierende Fahrzeug den Zähler inkrementiert wird und nach Ablauf der vorgegebenen Zeitdauer wird der Zählerstand an den zentralen Steuerrechner 301 übermittelt und anschließend wird der Zähler auf einen vorgegebenen Zählerstand zurückgesetzt.
In der Stadt 204 ergeben sich zu unterschiedlichen Tageszeiten unterschiedliche Anforderungen an die Schaltung, d.h. die Steuerung der Ampeln 214, da unterschiedliche Arten von Verkehrsströmen und unterschiedliche Hauptbelastungen zu unterschiedlichen Tageszeiten innerhalb des Verkehrsnetzes 200 auftreten.
So kommt es an einem Morgen eines Tages, das heißt im wesentlichen in einer Zeit von 6.00 Uhr bis 9.30 Uhr, vornehmlich zu Berufsverkehr, der vom Wohngebiet 202 in das Gewerbegebiet 203, das erste Einkaufsgebiet 206 und das zweite Einkaufsgebiet 207 führt.
Vormittags, das heißt im wesentlichen in einer Zeit von 9.30 Uhr bis 12.00 Uhr eines Tages kommt es zu einer Hauptverkehrsrichtung gerichtet von dem Wohngebiet 202 zu dem ersten Einkaufsgebiet 206 und dem zweiten Einkaufsgebiet 207, wobei der Verkehrsfluss einem Einkaufsverkehr der Bewohner der Stadt 204 entspricht.
Nachmittags, das heißt im wesentlichen in einer Zeit von 12.00 Uhr bis 16.00 Uhr, kommt es neben dem Einkaufsverkehr wiederum zu Berufsverkehr, hauptsächlich von dem Gewerbegebiet 203 gerichtet zu dem Wohngebiet 202.
Abends, das heißt im wesentlichen in einer Zeit von 16.00 Uhr bis 21.00 Uhr, ist der hauptsächliche Verkehr zwischen dem Wohngebiet 202 und dem Freizeitzentrum in dem zweiten Einkaufsgebiet 207 zu verzeichnen.
Gemäß diesem Ausführungsbeispiel wird von den Sensoren 215 die Sensorbelegung B, die definiert ist als Zeit, in der der Sensor 215 belegt ist im Verhältnis zu der Zeitdauer, während der die Belegung erfasst wird, erfasst. Die Sensorbelegung B kann beispielsweise mittels einer Induktionsschleife als
Sensor 215 ermittelt werden. Alternativ, beispielsweise bei einem Erfassen einer Verkehrskenngröße mittels eines visuellen Sensors, kann die Verkehrsdichte p gemessen werden. Die Belegung B, die zumeist ähnlich ist der Verkehrsdichte p ergibt sich somit jeweils an einem Sensor 215 gemäß folgender Vorschrift:
B = _th_ « p = Anzahl Fahrzeug.-_e, (1) t Streckenlänge
wobei mit • tb die Zeit bezeichnet wird, während der der Sensor belegt ist, d.h. während der sich ein Fahrzeug über dem Sensor befindet, und
• t die Zeitdauer bezeichnet wird, während der die Anzahl m der Fahrzeuge ermittelt wird.
Gemäß diesem Ausführungsbeispiel wird jeweils an jedem Sensor 215 für eine Zeitdauer t von 15 Minuten die mittlere Belegung B des Sensors 215 ermittelt und anschließend wird die gemäß Vorschrift (1) ermittelte mittlere Belegung B an den im weiteren beschriebenen zentralen Steuerrechner 301 übermittelt.
Fig.3 zeigt den zentralen Steuerrechner 301, der mit den Sensoren 215 beispielsweise über eine Funkverbindung oder eine leitungsgebundene Verbindung 302 gekoppelt ist.
Der Steuerrechner 301 weist eine Eingangs-/Ausgangs- Schnittstelle 303 sowie eine zentrale Prozessoreinheit 304 und einen Speicher 305 auf, die jeweils über einen Computerbus 306 miteinander gekoppelt sind.
Ferner ist über die Eingangs-/Ausgangs-Schnittstelle 303 über eine erste Verbindung 307, z.B. über ein Kabel oder eine Infrarot-Funkverbindung eine Computermaus 308 mit dem Steuerrechner 301 gekoppelt.
Über eine zweite Verbindung 309 ist ein Bildschirm 310 mit der Eingangs-/Ausgangs-Schnittstelle 303 gekoppelt.
Ferner ist mit der Eingangs-/Ausgangs-Schnittstelle 303 eine Tastatur 312 über eine dritte Verbindung 311 gekoppelt.
Gemäß diesem Ausführungsbeispiel ist in dem Speicher 305 des Steuerrechners 301 eine Vielzahl von Rahmensignalplänen 313 gespeichert. Die Vielzahl der Rahmensignalpläne 313 ist in der folgenden Tabelle dargestellt, wobei mit AI, A2, Bl, B2, B3, Cl, C2, Dl, D2, D3 jeweils Signalbilder für die erste Kreuzung 208 (Bl, B2, B3), die zweite Kreuzung 210 (AI, A2) , die dritte Kreuzung 211 (Dl, D2, D3) sowie die vierte Kreuzung 213 (Cl, C2) , wie sie in Fig. dargestellt sind, bezeichnet werden.
Gemäß dem Ausführungsbeispiel sind drei Rahmensignalpläne RSP1, RSP2, RSP3 in dem Speicher 305 gespeichert, wie in der folgenden Tabelle dargestellt:
Figure imgf000013_0001
Ein Rahmensignalplan weist eine Menge sogenannter
Rahmensignale auf, die jeweils einen Verkehrsstrom bestimmen, in welchen zeitlichen Beschränkungen welche Zustände der auf diesen Verkehrsstrom wirkenden Lichtsignale an den Ampeln 214 erlaubt sind.
Ein Beispiel-Rahmensignal ist in Fig.5 dargestellt. Eine Periode eines Lichtsignals 501 des Rahmensignals 500 weist einen Anforderungsbereich 502 und einen Verlängerungsbereich 503 auf.
Innerhalb dieses zeitlichen Rahmens kann eine lokale Optimierung hinsichtlich der im weiteren genannten Ziele, insbesondere einer Optimierung des VerkehrsStroms, durchgeführt werden, beispielsweise durch Ausdehnung von Grünphasen oder eine Bevorrechtigung des öffentlichen Nahverkehrs . Innerhalb des Anforderungsbereichs 502 können insbesondere bei anstehendem Verkehr, das heißt bei an der Ampel 214 stehenden oder sich einer jeweiligen Ampel 214 nähernden Fahrzeugen, Grünphasen der Ampel 214 eingeleitet werden, die innerhalb des Verlängerungsbereichs 504 beendet werden müssen.
In den Fig. a bis Fig.4d sind durch die Pfeile jeweils die während der Dauer, das heißt der Gültigkeit des jeweiligen Signalbildes zulässigen Fahrrichtungen der Fahrzeuge an der jeweiligen Kreuzung dargestellt.
Die Zahlen in der oben dargestellten Tabelle zu einem jeweiligen Signalbild, wie es in den Fig.4a bis Fig.4d dargestellt ist, entsprechen der Dauer der Gültigkeit des jeweiligen Signalbildes pro Periode des jeweiligen Rahmensignalplans .
So gibt beispielsweise der erste Rahmensignalplan RSP1 an, dass ein in Fig. a dargestelltes erstes Signalbild 401 aufgrund der Zahl 60 verglichen mit dem zweiten Signalbild 402 (zugeordnete Wertezahl 30) eine doppelt so lange Gültigkeitsdauer aufweist.
Gemäß dem zweiten Rahmensignalplan RSP2 und dem dritten
Rahmensignalplan RSP3, haben das erste Signalbild 401 und das zweite Signalbild 402 jeweils die gleiche Gültigkeitsdauer (jeweils beiden Signalbildern 401, 402 ist die gleiche Wertezahl 45 zugeordnet) .
Anschaulich bedeutet dies, dass an der zweiten Kreuzung 205 aufgrund der Ampelschaltung die Ampeln 214 derart geschaltet sind, dass der in dem ersten Signalbild 401 bzw.- dem zweiten Signalbild 402 dargestellte Verkehrsstrom jeweils in gleicher Gewichtung möglich ist. Der erste Rahmensignalplan RSP1 gibt für die erste Kreuzung 208 in einem in Fig. b dargestellten dritten Signalbild 403, vierten Signalbild 404 und fünften Signalbild 405 vor, dass das dritte Signalbild 403 doppelt so lange Gültigkeit pro Periode hat wie das vierte Signalbild 404 und dass das fünfte Signalbild 405 aufgrund der Ampelschaltung der Ampel 214 an der ersten Kreuzung 208 gar nicht gebildet wird (Wertezahl drittes Signalbild 403: 60, Wertezahl viertes Signalbild 404: 30, Wertezahl fünftes Signalbild 405: 0) .
Gemäß dem zweiten Rahmensignalplan RSP2 sind das dritte Signalbild 403 und das vierte Signalbild 404 gleich gewichtet und das fünfte Signalbild 405 wird aufgrund der Ampelsteuerung nicht gebildet (Wertezahl drittes Signalbild 403: 45, Wertezahl viertes Signalbild 404: 45, Wertezahl fünftes Signalbild 405: 0) .
Gemäß dem dritten Rahmensignalplan RSP3 ist das fünfte Signalbild 405 durch die AmpelSchaltung der Ampeln 214 an der ersten Kreuzung 208 erheblich stärker gewichtet als das dritte Signalbild 403 und das vierte Signalbild 404 (Wertezahl drittes Signalbild 403: 20, Wertezahl viertes Signalbild 404: 20, Wertezahl fünftes Signalbild 405: 50).
An der dritten Kreuzung 211 erfolgt gemäß dem ersten
Rahmensignalplan RSP1 die Ampelschaltung der Ampeln 214 derart, dass das in Fig.4c dargestellte sechste Signalbild 406 halb so stark gewichtet wird, das heißt eine verglichen mit dem achten Signalbild 408 nur eine halbe Gültigkeitsdauer aufweist. Das siebte Signalbild 407 wird gemäß dem ersten Rahmensignalplan RSP1 überhaupt nicht erzeugt (Wertezahl sechstes Signalbild 406: 30, Wertezahl siebtes Signalbild 407: 0, Wertezahl achtes Signalbild 408: 60).
Gemäß dem zweiten Rahmensignalplan RSP2 sind das sechste
Signalbild 406 und das achte Signalbild 408 gleich gewichtet (Wertezahl sechstes Signalbild 406: 45, Wertezahl siebtes Signalbild 407: 0, Wertezahl achtes Signalbild 408: 45) und gemäß dem dritten Rahmensignalplan RSP3 ist das siebte Signalbild 407 erheblich stärker gewichtet als das sechste Signalbild 406 und das achte Signalbild 408 (Wertezahl sechstes Signalbild 406: 15, Wertezahl siebtes Signalbild 407: 65, Wertezahl achtes Signalbild 408: 10).
An der vierten Kreuzung 213 wird gemäß dem ersten Rahmensignalplan RSP1 das in Fig.4d dargestellte neunte Signalbild 409 doppelt so stark gewichtet, das heißt es weist eine doppelt so lange Gültigkeitsdauer auf, als das zehnte Signalbild 410 (Wertezahl neuntes Signalbild 409: 60, Wertezahl zehntes Signalbild 410: 30).
Gemäß dem zweiten Rahmensignalplan RSP2 und dem dritten
Rahmensignalplan RSP3 weisen die beiden Signalbilder 409, 410 jeweils eine gleiche Gültigkeitsdauer pro Periode auf (Wertezahl neuntes Signalbild 409: 45, Wertezahl zehntes Signalbild 410: 45) .
Wie aus der oben dargestellten Tabelle ersichtlich ist, stellt der erste Rahmensignalplan RSP1 eine hinsichtlich des Berufsverkehrs optimierte Ampelschaltung der Ampeln 214 in dem Verkehrsnetz 200 dar.
Der zweite Rahmensignalplan RSP2 gewichtet alle Verbindungen in dem Verkehrsnetz weitgehend gleichmäßig, so dass auch zwischen dem ersten Einkaufsgebiet und dem zweiten Einkaufsgebiet 207 eine gute Verbindung, das heißt ein guter Verkehrsfluss hinsichtlich der jeweiligen Anforderungen möglich ist.
Der dritte Rahmensignalplan RSP3 ist hinsichtlich des Verkehrs zwischen dem Wohngebiet 202 und dem südlich gelegenen zweiten Einkaufsgebiet 207 optimiert, das heißt es bevorzugt den Verkehrsfluss zwischen dem Wohngebiet 202 und dem zweiten Einkaufsgebiet 207. Von dem zentralen Steuerrechner 301 wird gemäß dem im weiteren beschriebenen Reinforcement-Lernverfahren unter Verwendung von Fuzzy-Zugehörigkeitsfunktionen und Fuzzy- Partitionen eine optimierte Auswahl der Rahmensignalpläne zum Gewährleisten eines maximalen Gewinns, der gemäß diesem Ausführungsbeispiel als Summe der quadrierten mittleren relativen Verkehrsdichten pro Strecke 1, beispielsweise vor einer Kreuzung, verwendet wird, das heißt der Gewinn g des im weiteren beschriebenen Reinforcement-Lernverfahrens zur Ermittlung der optimierten Kontrollstrategie, das heißt Steuerungsstrategie, die gebildet wird durch die entsprechende Auswahl des für die ermittelten Verkehrsdichten p, die mit den mittleren Belegungen B angenähert werden, im Zusammenhang mit dem Reinforcement-Lernverfahren optimierte Auswahl des Rahmensignalplans RSP1, RSP2, RSP3 gemäß folgender Vorschrift:
Figure imgf000017_0001
wobei mit
• Pl,max die maximal mögliche Verkehrsdichte und mit
• p-j_ die mittlere Verkehrsdichte an der Strecke 1 am Ende einer Periode von 15 Minuten
bezeichnet wird.
Anschaulich hat der Steuerrechner 301 somit eine Strategie zu lernen, die die Summe der Gewinne g minimiert.
Die Grundidee der Vorschrift (2) kann darin gesehen werden, dass durch die Auswahl der Rahmensignalpläne die mittlere Verkehrsdichte in dem Verkehrsnetz 200 minimiert werden soll, wobei durch die Quadratur der Terme bezüglich der einzelnen Strecken 1 ein homogener Netzzustand mit mittleren Verkehrsdichten an allen Strecken 1 besser bewertet wird, als ein Zustand mit sehr geringen Verkehrsdichten an einigen Strecken 1 bei gleichzeitigen Staus an anderen Strecken 1.
Bei den im weiteren beschriebenen Ausführungsbeispielen sind für alle Lernverfahren, die über einen Zeitraum von jeweils 90 Sekunden gemittelten relativen Fahrzeugdichten, die gemäß folgender Vorschrift gebildet werden an den Stellen des Verkehrsnetzes, an denen Sensoren 215 vorhanden sind, ermittelt:
Prel = • (3)
Pmax
In Fig.2 ist dies jeweils durch Darstellungen von einzelnen Verkehrsdichtenverläufen 216, 217, 218 symbolisch dargestellt.
Die relativen Verkehrsdichten werden nichtlinear gemäß folgender Vorschrift:
Prel
Figure imgf000018_0001
verzerrt, so dass sich im Bereich kleiner Verkehrsdichten grundsätzlich eine höhere Auflösung ergibt als im Bereich hoher Verkehrsdichten.
Im weiteren wird eine Modell-Beschreibung des Verkehrsnetzes 200 und dessen Steuerung als technisches System in allgemeiner Form als endlicher Zustandsautomat mit einer Menge kontinuierlicher Zustände und kontinuierlicher Aktionen, aufgrund derer ein Zustandsübergang von einem Vorgängerzustand in einen Nachfolgezustand ausgelöst wird, beschrieben. Der Aktionsraum kann sowohl kontinuierlich als auch diskret sein.
Allgemein wird das zu steuernde technische System erfindungsgemäß unter Verwendung folgender Komponenten beschrieben:
Das technische System weist einen kontinuierlichen
Zustandsraum X der Dimension d auf.
Ferner weist das technische System einen kontinuierlichen Aktionsraum A der Dimension d auf oder einen diskreten Raum U.
Mit bedingten Wahrscheinlichkeitsdichtefunktionen p(y, x, a) wird die Wahrscheinlichkeit für einen Übergang von einem Zustand x in einen Zustand y bei Ausführung der Aktion a beschrieben.
Mit einem Gewinn g(x, a, y) im Sinne eines Reinforcement- Lernens wird ein Gewinn g(x, a, y) beschrieben bei Ausführung einer Aktion a in dem Vorgängerzustand x, wenn das technische System aufgrund der Steuerung in einen Nachfolgezustand y aufgrund der Aktion a übergeht.
Der Zustandsraum ist in Fuzzy-Partitionen mit Fuzzy- Zugehörigkeitsfunktionen jμ. Y _ w gruppiert, für die gilt:
Figure imgf000019_0001
Die Fuzzy-Partitionen werden mit
{Xi)i=l,...,N (6) bezeichnet und weisen jeweils ein Fuzzy-Zentrum auf, das mit
Figure imgf000020_0001
bezeichnet wird.
Ferner ist auch der Aktionsraum A in Fuzzy-Partitionen mit Zugehörigkeitsfunktionen
Figure imgf000020_0002
für die gilt:
Figure imgf000020_0003
u=l
Die Fuzzy-Partitionen des' Aktionsraums A werden mit
{Au}u=l,...,NÄ ' ^
bezeichnet und weisen jeweils Fuzzy-Zentren
feuLi,...,NA <10)
auf.
Erfindungsgemäß sind unterschiedliche Möglichkeiten zum Bilden der Fuzzy-Partitionen des Zustandsraums vorgesehen.
Es werden somit Fuzzy-Partitionen
e c (11)
gebildet.
Gemäß einer Alternative kann zur Bildung der Fuzzy- Partitionen des Zustandsraums X ein Fuzzy-C-Means- Clustering, wie es in [2] beschrieben ist, durchgeführt werden.
Gemäß einer weiteren Alternative ist es vorgesehen, die Fuzzy-Partitionen auf eine Weise zu bilden, wie sie in Fig.6 dargestellt ist.
Die relative Verkehrsdichte ist in einem Intervall von „0' bis „l" in vier Partitionen 601, 602, 603, 604 gruppiert, denen jeweils über einen vorgegebenen Intervall
Zugehörigkeitsfunktionen 605, 606, 607, 608 zugeordnet sind.
Eine erste Fuzzy-Zugehörigkeitsfunktion 605 beschreibt eine sehr geringe Verkehrsdichte "very small", eine zweite Fuzzy- Zugehörigkeitsfunktion 606 eine geringe Verkehrsdichte
"small", eine dritte Fuzzy-Zugehörigkeitsfunktion 607 eine hohe Verkehrsdichte "high" und eine vierte Fuzzy- Zugehörigkeitsfunktion 608 eine sehr hohe Verkehrsdichte "very high" .
Die in Fig.6 dargestellten Fuzzy-Zentren und Grenzen der einzelnen Fuzzy-Zugehörigkeitsfunktionen und Fuzzy- Partitionen können alternativ gemäß folgender Vorgehensweise bestimmt werden.
Zustandsübergänge des oben dargestellten technischen Systems (xk, Ufc, X]_+ir g ) können durch Vektoren (x^, Xjζ+i ςf ) i-n einem Zustandsübergangs-Raum T := ' x K' x 31 beschrieben werden, wobei ' und tt" den gleichen Zustandsraum X bezeichnen.
Im weiteren wird ein Clustering der Fuzzy-Cluster durchgeführt in dem Zustandsübergangs-Raum T aufgrund der beobachteten Zustandsübergänge während einer Lernphase unter Verwendung von Trainingsdaten, die aus einem technischen System ermittelt werden, beispielsweise durch Messung oder auch durch Simulation des technischen Systems, gemäß diesem Ausführungsbeispiel mit den ermittelten Verkehrsdichten als Trainingsdaten.
Für jede Aktion u e U werden separate Cluster, das heißt Fuzzy-Partitionen, verwendet.
Ferner wird ein Clustering in dem Zustandsraum X durchgeführt unter Verwendung der beobachteten Zustände während der oben beschriebenen Lernphase.
Es ist anzumerken, dass gemäß dem im weiteren beschriebenen Verfahren das Clustern der Zustände und der Zustandsübergänge inkrementell durchgeführt wird, so dass keine Zustandsübergänge explizit gespeichert werden müssen,, wie dies gemäß dem Fuzzy-C-Means-Clustering, das jedoch ohne weiteres gemäß einer weiteren Alternative durchgeführt werden kann, erforderlich wäre.
Ergebnis des Fuzzy-Clusterings, das heißt des Bildens der Fuzzy-Partitionen mit den zugehörigen Fuzzy- Zugehörigkeitsfunktionen sind unmittelbar die Fuzzy- Partitionen des Zustandsraums , die in dem im weiteren beschriebenen Reinforcement-Lernverfahrens und der sich daraus ergebenden Steuerungsstrategie verwendet werden.
Die Cluster in dem Zustandsübergangs-Raum dienen als kompakte Beschreibung der beobachteten Zustandsübergänge, aus dem das Modell,. das heißt die bedingten Zustandsübergangswahrscheinlichkeiten, wie sie oben beschrieben worden sind, und die Gewinne g, wie im weiteren beschrieben, ermittelt werden können.
Außerdem werden die Cluster in dem Zustandsübergangs-Raum verwendet zum Bestimmen von im weiteren beschriebenen optional vorgesehenem Aufspalten und Vereinigen von Clustern während des Bildens der Fuzzy-Partitionen im Rahmen des inkrementellen Verfahrens . Das Aufspalten bzw. Vereinigen von einem Fuzzy-Cluster wird anhand der Fig.7a und Fig.7b beschrieben.
Gemäß der in Fig.7a beschriebenen Situation wird angenommen, dass ein Zustandsübergang von einem Zustand
xj = 4.3 (12)
in einen Zustand
~T ϊl 2.8. (13)
und von ferner von einem Zustand
x = 5.8 (14)
in einen Zustand
f2 - ι (15)
mit einem identischen Gewinn von
Figure imgf000023_0001
beobachtet wird.
Das mittlere Cluster 701 der drei in Fig.7a dargestellten Cluster 701, 702, 703 würde es bei dessen Aufspalten ermöglichen, im Rahmen des Lernens zwischen diesen zwei
Klassen von Zustandsübergängen in dem diskretisierten Modell zu unterscheiden. In dem in Fig.7b dargestellten Beispiel, bei dem alle Zustandsübergänge in einem Bereich des mittleren Clusters 701 beginnen und in einem ähnlichen Endzustand
g * y » 5.2 (17)
enden, wobei jedoch zwei unterschiedliche Klassen von Gewinnen
Figure imgf000024_0001
und
L2 = 0.5 (19)
in der Trainingsphase beobachtet werden, würde eine Aufspaltung des mittleren Clusters 701 eine verbesserte Unterscheidung dieser Klassen in den Zustandsübergängen ermöglichen.
Somit ist ersichtlich, dass in den in Fig.7a und in Fig.7b dargestellten Fällen jedes Mal ein Aufspalten des mittleren Clusters 701 eine Verbesserung des Lernverfahrens und des durch das Lernverfahren gebildeten Fuzzy-Sets von Fuzzy- Partitionen erzielen würde.
Eine entsprechende Vorgehensweise kann gemäß einer optionalen Erweiterung der Vorgehensweise durch Vereinigen von einzelnen Fuzzy-Partitionen, das heißt von Clustern, erreicht werden, wobei beim Vereinigen grundsätzlich eine analoge
Vorgehensweise gewählt wird verglichen mit dem Aufteilen der Partitionen.
Im weiteren werden die einzelnen Abschnitte des Verfahrens zum Bilden der Fuzzy-Partitionen, das heißt das Clustering des Zustandsraums X und in dem Zustandsübergangs-Raum T, das Erhöhen der Genauigkeit der Cluster in dem Zustandsraum aufgrund der Cluster in T und schließlich das Ableiten des diskretisierten Modells aus den geclusterten Zustandsübergängen beschrieben.
Das Clustern des Zustandsraums X in Fuzzy-Partitionen wird verwendet zum Beschreiben einer im weiteren beschriebenen Q- Funktion im Zusammenhang mit einem Reinforcement- Lernverfahren.
Die Cluster werden auf inkrementelle Weise erzeugt.
Jedes Cluster c. wird zu der jeweiligen Iteration k gekennzeichnet durch das jeweilige Cluster-Zentrum ,
Figure imgf000025_0001
einen Zählerwert zum Zählen der Anzahl der Zustände,
Figure imgf000025_0002
die dem Cluster c^ aufgrund der vorangegangenen
Verfahrensschritte, das heißt Iterationen, zugeordnet worden sind und einer Diagonalmatrix , die im weiteren auch als
Figure imgf000025_0003
Skalierungsmatrix bezeichnet wird, durch die die Größe des jeweiligen Clusters bestimmt wird.
Im weiteren wird die Gesamtheit aller Cluster in dem Zustandsraum zu einer Iteration k bezeichnet mit Cj .
Ein Abstand dist^l , c^ j \ eines Zustands x e tt zu einem
Cluster c K- ist gegeben durch folgende Vorschrift:
Figure imgf000025_0004
Aufgrund der gemäß diesem Ausführungsbeispiel, allgemein nicht erforderlichen, vorgesehenen Diagonalform der Skalierungsmatrix A k sind alle Cluster in allen Dimensionen symmetrisch. Jedoch kann die Skalierung der Dimensionen variiert werden.
Zu Beginn des Verfahrens werden alle Cluster mit der gleichen Skalierungsmatrix A -K initialisiert.
Wie im weiteren noch näher erläutert wird, wird aufgrund eines Aufteilens eines Clusters in zwei Cluster hinsichtlich einer Dimension d eine Reduzierung der Größe des jeweiligen Clusters in der jeweiligen Dimension d erreicht.
Wird während der Lernphase ein neuer Zustand x^ ermittelt, so wird der Abstand des neu ermittelten Zustands x^ zu allen existierenden Clustern bestimmt.
Wenn kein Cluster c- existiert, zu dem der Abstand distj , c- I des neuen Zustands x_k kleiner ist als ein vorgegebener maximaler Abstand dmaχ so wird ein neues Cluster c , mit einem neuen Zentrum
Figure imgf000026_0001
und einem auf den Wert „0* initialisierten neuen Zähler
M^k := 0 (22!
und einer neuen Skalierungsmatrix
i',k := ^ (23)
erzeugt.
Der maximale Abstand dmax kann von dem Benutzer vorgegeben werden und hängt üblicherweise ab von der Initialisierungs- Diagonalmatrix A.K
1I,,,K_ und der gewünschten Größe der initialisierten Cluster.
Das Cluster cV^ e c u dem der neue Zustand x^ den
'iθ geringsten Abstand aufweist, wird in einem weiteren Schritt in Richtung des neu ermittelten Zustands X]_ innerhalb des Zustandsraums X verschoben.
Die Schrittgröße des jeweiligen Verschiebeschritts wird bestimmt durch die Fuzzy-Zugehörigkeitsfunktion gemäß folgender Vorschrift:
Figure imgf000027_0001
des neuen Zustands xv in dem Cluster c. und der Anzahl von
-κ 10
Zuständen, die zuvor dem Cluster c. zugeordnet worden sind,
10 w bezeichnet mit M. , , womit sich ein neuer Zählerwert iQ' und ein neues , aktualisiertes Zentrum des
Figure imgf000027_0002
Figure imgf000027_0003
jeweils ausgewählten Clusters c .«. ergeben gemäß folgenden Vorschriften:
Figure imgf000027_0004
Diese alternative Vorgehensweise kann anschaulich als eine inkrementelle Variante des in [2] beschriebenen Fuzzy-C- Means-Clustering-Verfahrens angesehen werden.
Gemäß diesem Ausführungsbeispiel wird ein Fuzzifizierungswert m in Vorschrift (24) mit dem Wert 2 verwendet.
In einer alternativen Vorgehensweise ist es möglich, an
Stelle lediglich des ausgewählten Zentrums x ~X. , . die Zentren aller Cluster in Richtung des neu ermittelten Zustands k zu verschieben.
Ziel des im weiteren beschriebenen Clusterings des Zustandsübergangs-Raums T ist es, eine kompakte Beschreibung der beobachteten Zustandsübergänge während der Lernphase zu erzeugen.
Wie im weiteren beschrieben wird, wird diese Beschreibung eingesetzt, um sinnvolle Aufteilungen von Clustern in dem Zustandsraum X und zum Abschätzen der durchschnittlichen
Zustandsübergangs-Wahrscheinlichkeiten, die oben beschrieben worden sind, abzuschätzen sowie zum Abschätzen der Gewinne g verwendet .
Ein Cluster c T.'u in dem Zustandsübergangs-Raum T ist gekennzeichnet durch seine Cluster-Zentren z.'^, die sich gemäß folgender Vorschrift ergeben:
Figure imgf000028_0001
Mit M.'^ wird ein Zähler bezeichnet, mit dem die Anzahl der
Zustandsübergänge angegeben werden, die diesem jeweiligen Cluster zugeordnet sind. Mit einer Skalierungsmatrix AT u und mit einem Index u für die jeweilige Aktion, die den jeweiligen Zustandsübergang erzeugt hat, welcher Zustandsübergang dem jeweiligen Cluster zugeordnet ist.
Die Gesamtheit der Cluster der Zustandsübergänge zu einer Aktion u e U wird mit C- T,/u bezeichnet.
Die Skalierungsmatrix A TΛu weist drei voneinander unabhängige Diagonalmatrizen auf, wobei
Figure imgf000029_0001
eine erste Diagonalmatrix B TΛu den jeweiligen Vorgängerzustand, eine zweite Diagonalmatrix C TΛu einen
Nachfolgezustand und eine dritte Diagonalmatrix den
Figure imgf000029_0002
Gewinn, der durch den Zustandsübergang erzeugt wird, beschreiben.
Es ergibt sich somit für die Skalierungsmatrix ATV1 folgende
Vorschrift:
Figure imgf000029_0003
Um zu ermitteln, ob ein Aufteilen eines Clusters in zwei Cluster entlang einer Dimension d in dem Zustandsraum X sinnvoll ist, sollte die Auflösung der Clusterung in dem Zustandsübergangs-Raum T in Abhängigkeit der Auflösung der Clusterung in dem Zustandsraum K gewählt werden. Es wird angenommen, dass cX, ein Cluster m dem Zustandsraum
X ist, welches Cluster der Komponente x TΛu des Cluster- κ
Zentrums des Clusters c T-'u am nächsten ist und das mit cX. »
3 0 das Cluster bezeichnet wird, welches der Komponente
Figure imgf000030_0001
nächsten liegt.
Gemäß der heuristischen Vorgehensweise in diesem
Ausführungsbeispiel hat es sich als vorteilhaft herausgestellt, die Größe des Clusters c T- 'u m der Richtung X' halb so groß zu machen wie die Größe des Clusters c X, und
10 die Größe des Clusters c -f in Richtung X" so groß zu wählen wie die Größe des Clusters c X, .
10
Auf diese Weise ergeben sich die erste Diagonalmatrix
Figure imgf000030_0002
und die zweite Diagonalmatrix C TΛu des Clusters cT-'u gemäß
3r κ J folgenden Vorschriften:
Figure imgf000030_0003
wobei mit A-i. ,θ, und A-ι.„0,,k die Skalierungsmatrizen des Clusters c X, bzw. cX. „ bezeichnet werden.
!0 10
Die Skalierungsmatrizen Av, , Avff , hängen von der Anzahl
10^ 0'-^ der Aufteilungen der Cluster c X, und cX.„ bis zu der 0 10
Iteration k ab. Die dritte Diagonalmatrix b - r_^ wird konstant gewählt, beispielsweise gemäß folgender Vorschrift:
Figure imgf000031_0001
wenn Gewinne mit einem Abstand b unterschieden werden sollen.
Auf der Basis der oben dargestellten Skalierungsmatrizen Ai'ι7 wird ein Abstandsmaß dist [ z, et' ] ermittelt gemäß folgender Vorschrift:
.T dist^z, <%") - \{, - %_ ) 'k U(z - ij») . ,32,
Wird ein neuer Zustandsübergang (x^, Uk> ≥k+l' 9k) ermittelt, so wird geprüft, ob zumindest ein Cluster
T,uv --,T,uv , „_v cj e c (33)
existiert, zu dem der Vektor
Figure imgf000031_0002
einen Abstand aufweist, der kleiner ist als ein vorgegebener
T maximaler Zustandsübergangs-Abstand dmax .
Ist dies nicht der Fall, so wird ein neues Cluster c .,'^kk mj_t einem Cluster-Zentrum
^',kk := -k' <35)
einem mit dem Wert „0λ initialisierten neuen Zähler M^/ := 0, (36)
und einer neuen Skalierungsmatrix A. k j_n der Gesamtheit
3 aller Cluster gebildet.
Der maximale Zustandsübergangs-Abstand d Tmaχ kann, muss jedoch nicht, den gleichen Wert aufweisen wie der maximale Abstand d Xmaχ hinsichtlich des Zustandsraums X .
Je kleiner der maximale Zustandsübergangs-Abstand d Tmaχ gewählt wird, um so feiner wird der Zustandsübergangs-Raum T geclustert.
Für
max → 0 (37)
wird jeder Zustandsübergang in dem Zustandsübergangs-Raum T explizit in dem Speicher des Steuerrechners 301 gespeichert.
T ill T ill
In einem weiteren Schritt werden alle Cluster c - ' k e c ' k
J κ in Richtung des Vektors _zk gemäß ihrer jeweiligen Zugehörigkeit, die sich gemäß folgender Vorschrift ergibt:
Figure imgf000032_0001
verschoben und der Zähler des jeweiligen Clusters wird erhöht, so dass sich aktualisierte Werte des Zählers und des jeweiligen Cluster-Zentrums z gemäß folgenden
Vorschriften ergeben:
Figure imgf000033_0001
τ'uk(
,T,uk , „T,uk , μj,k W (_ ~T,uk k+l *" %k + T,uk (,-k 2j,k J- (4Ü} Mj,k+1
Anschaulich ist das Aufteilen eines Clusters c X. e CXk m
Dimension d in dem Zustandsraum X sinnvoll, wenn es eine detailliertere Modellierung der Zustandsübergangs- Wahrscheinlichkeiten oder der Gewinne ermöglicht.
Dies ist der Fall, wenn zwei Cluster c T.'u und cTΛu m' dem
Zustandsübergangs-Raum T existieren, die beide einen hohen Zugehörigkeitswert zu dem Cluster, das aufgeteilt
Figure imgf000033_0002
werden soll, aufweist und deren Zentren einen deutlichen Abstand zueinander hinsichtlich der Richtung X"xSR aufweisen.
Somit wird ein Cluster c X- e CXk in Richtung der Dimension d während einer Iteration k aufgeteilt, wenn der Wert vd i 1 klci /' der 9emäß folgender Vorschrift gebildet wird:
u c .= d,j,l,klci / - diff "x9ϊ c ,u cT,u
Figure imgf000033_0003
cllttk lcj 'Cl
(41)
einen vorgebbaren Schwellenwert vmln für mindestens ein Paar vvoonn CClluusstteerrnn ccj-j'''uu,,
Figure imgf000033_0004
ee CCTT''UU uunndd eeiine Aktion u e U überschreitet, das heißt, dass gilt:
Figure imgf000034_0001
In der Vorschrift ( 41 ) zeigt die Sigmoid-Funktion
d deercKd,'+kfi x≥lT,'ku' c cKi l J - •- (43)
Figure imgf000034_0002
an, ob (x 'k) größer ist als
Figure imgf000034_0003
Entsprechend zeigt die Vorschrift
Figure imgf000034_0004
an, ob I
Figure imgf000034_0005
Mit der Funktion
diff, X"x<Kf rT,u ,T,u ,45)
Figure imgf000034_0006
wird angezeigt, ob die Cluster c?'u und c?'u einen deutlichen Abstand zueinander in Richtung der Dimension X"x9? aufweisen, wobei der Abstand dist [c;r/U,c?'u] gegeben ist gemäß folgender Vorschrift: dist X"x9t T,u T,u
.ci ,ci := dist X"( ,T,u ,T,u '1 + dist 5Hf c T.,U ,c Tλ,U
(46)
Mit dem Abstand
dist Xff ,u τ,u
Figure imgf000035_0001
(47)
in dem Zustandsraum und dem Abstand distjV I c_j'u,cj'u j
Figure imgf000035_0002
in dem Raum der Gewinne, die durch die Zustandsübergänge generiert werden.
Gemäß dem Ausführungsbeispiel hat es sich als vorteilhaft herausgestellt, die einzelnen Parameter gemäß folgender Vorschriften zu wählen:
γdec = 0.125 • d£ax, (49)
σdec = 0ι025. d X ma ' (50)
diff _ dτ Y ~ αmax ' (51)
„σdiff _= n0.2 r, • d,Tmax (52) Ist das Kriterium gemäß (41) durch das Cluster c-. und der
X Dimension dn erfüllt, so wird das Cluster c. durch zwei
U 10 neue Cluster C X, und
Figure imgf000036_0001
ersetzt.
Die Dimension dn der Cluster-Zentren der Cluster c X, und cX
werden jeweils in entgegengesetzte Richtungen bezüglich der Dimension dg um den halben Radius
imax
Figure imgf000036_0002
θ k dodo
Figure imgf000036_0003
X des Clusters c. verschoben, wobei die anderen Dimensionen 0
X des ursprünglichen Clusters c. auch bei den neuen Clustern
10 c X, und cXΛ unverändert erhalten bleiben.
Es ergeben sich somit für die neuen Cluster C X, und cX.„
1 1 folgende Aktualisierungsvorschriften :
Figure imgf000036_0004
Vd = 1, ... , dK, d ≠ d0 , ( 55)
Figure imgf000036_0005
Figure imgf000036_0006
kjd <" Vd = 1, ... , d , d ≠ d0 / ( 57 )
Figure imgf000036_0007
Die Größe der neuen Cluster cXΛ und cXΛ m Richtung der
Dimension do wird halbiert, das heißt es ergeben sich hinsichtlich der Größe, das heißt der Skalierungsmatrix der neuen Cluster c X und cX. * folgende
Aktualisierungsvorschriften:
Figure imgf000037_0001
Vd = 1, ..,dK, d ≠ d0, (59]
Figure imgf000037_0002
Figure imgf000037_0003
Die Zähler der neuen Cluster
Figure imgf000037_0004
werden auf den gleichen Wert gesetzt, den der Zähler des ursprünglichen
Clusters c X. aufgewiesen hat.
10
Es ergeben sich somit folgende Aktualisierungsvorschriften für die Zähler der neuen Cluster c X, und cX :
Mi',k ^ Miθ,k< <6 >
Figure imgf000037_0005
so dass die neuen Cluster sich an neu ermittelte Zustände xk in gleicher Geschwindigkeit anpassen wie es das ursprüngliche Cluster c X. getan hätte. Aufgrund der Anpassung der Größe der einzelnen Cluster in dem Zustandsübergangs-Raum T an die Größe der benachbarten Cluster in dem Zustandsraum X führt ein Aufteilen der Cluster in dem Zustandsraum X auch zu einer höheren Auflösung der Clusterung in dem Zustandsübergangs-Raum T.
Dies kann zu weiteren Aufteilungen der Cluster führen.
Somit kann die Fuzzy-Partitionierung des Zustandsraums X grundsätzlich beliebig genau gewählt werden, wenn jede Aufteilung eines Clusters zu einer genaueren internen Modellbeschreibung führt.
Jedoch kann das Erzeugen von Clustern auf zwei Wegen beschränkt werden.
Zum einen kann eine maximale Anzahl von Aufteilungen, die auf ein Cluster angewendet werden darf, vorgegeben werden.
Weiterhin kann der Schwellenwert v , mit dem das Aufteilen der Cluster gesteuert wird, entsprechend der Anzahl existierender Cluster erhöht werden.
Wie im weiteren noch detailliert erläutert wird, kann auf der Grundlage der ermittelten Cluster c?'u e Ck'u und der dem jeweiligen Cluster c-]_'u zugeordneten Zähler M^'k, mit dem die Anzahl der Zustandsübergänge, die diesem jeweiligen Cluster zugeordnet sind, ermittelt werden.
Mit
Figure imgf000038_0001
kann abgeschätzt werden, wie oft die Aktion a durchgeführt worden ist in dem Zustand und wie oft der Zustandsübergang beobachtet worden ist, der durch das Cluster c|'u beschrieben wird.
Somit wird durch den Quotienten qi,l,k(u)/ der gemäß folgender Vorschrift gebildet wird:
Figure imgf000039_0001
die Wahrscheinlichkeit abgeschätzt, dass das Ausführen der Aktion u m dem Zustand c X. in einem Zustandsübergang, der durch das Cluster c T u beschrieben wird, resultiert.
Deshalb kann die durchschnittliche Wahrscheinlichkeit Pi,j,k(u) eines Zustandsübergangs von einem Vorgängerzustand c X. in einen Nachfolgezustand cX_. durch eine angenäherte
Wahrscheinlichkeit Pi,j,k(u)/ gebildet gemäß folgender Vorschrift:
,U
Pi,j,k(u) := qi,l,k(u) - -1/k. (66)
T,u rT,u cl €Ck
abgeschätzt werden.
Entsprechend kann der durchschnittliche Gewinn für das Ausführen der Aktion u m dem Zustand c X und einem Zustandsübergang zu dem Zustand cN X angenähert werden gemäß folgender Vorschrift:
Figure imgf000040_0001
Es ist in diesem Zusammenhang anzumerken, dass das oben beschriebene Verfahren zum Bilden von Fuzzy-Clustern auch unabhängig von dem im weiteren beschriebenen Reinforcement- Lernverfahren im Zusammenhang mit der Auswahl von Rahmensignalplänen, allgemein im Zusammenhang mit der Steuerung eines technischen Systems, eingesetzt werden kann.
Anschaulich kann das oben beschriebene Vorgehen darin gesehen werden, dass ein Cluster eines Zustandsraums oder eines Zustandsübergangs-Raums in mindestens zwei oder mehr Cluster aufgeteilt wird, wenn aus den geclusterten Zustandsübergängen ersichtlich ist, dass durch das Aufteilen verschiedener Gruppen von Zustandsübergängen, beispielsweise unterschiedliche Nachfolgezustände und/oder unterschiedliche Gewinne erzeugt werden, die voneinander unterschieden werden können.
Anschaulich kann diese Vorgehensweise somit als eine Art Mittelweg zwischen einer expliziten Speicherung aller Zustandsübergänge und dem bloßen Zählen von Zustandsübergänge zwischen gegebenen Partitionen des Zustandsraums angesehen werden.
Auf diese Weise werden die Vorteile einer expliziten Speicherung, nämlich eine sehr gute Partitionierung des Zustandsraums und dem Zählen von Zustandsübergängen, das heißt eine sehr kompakte Repräsentation eines Modells des technischen Systems, gemäß der oben beschriebenen Vorgehensweise vereint werden.
Es ist darauf hinzuweisen, dass die auf die oben beschriebene Weise ermittelte Partitionierung gegenüber einer ebenfalls alternativ möglichen festgelegten, d.h. manuellen Partitionierung der Fuzzy-Partitionen das Reinforcement- Lernen, wie es im weiteren beschrieben wird, erheblich beschleunigt.
Unter Verwendung von ermittelten Trainingsdaten sowie der auf die oben beschriebene Weise ermittelten Fuzzy-Partitionen, das heißt den Fuzzy-Clustern, wird ein im weiteren beschriebenes Reinforcement-Lernverfahren durchgeführt.
Zur Erleichterung des Verständnisses wird im weiteren ein kurzer Überblick über Grundlagen des Reinforcement-Lernens gegeben.
Die Grundidee des modellbasierten Reinforcement-Lernens ist es, zu Beginn des Lernverfahrens eine Maximum-Likelihood- Schätzung des Modells des zu steuernden Systems durchzuführen und die optimierte Kontrollstrategie, das heißt das optimierte Steuern durch Auswahl von Steuergrößen (indirekt) basierend auf der zuvor ermittelten Modellbeschreibung zu trainieren.
Diese zwei Phasen können einander überlappen, das heißt zuvor trainierte Strategien können von der zu Beginn ermittelten Modellbeschreibung abgeleitet werden, basierend auf beobachteten Zustandsübergängen während einer Lernphase und die Information für eine zukünftige Ableitung der Steuerstrategie, das heißt der Auswahl der Steuergrößen kann mittels dieser Kontrollstrategien gewonnen werden.
Bei einem diskreten indirekten Reinforcement-Lernverfahrens erfolgt eine Maximum-Likelihood-Schätzung des Modells des technischen Systems auf der Grundlage von diskreten Zählern, mit denen die Anzahl ausgeführter Aktionen und der sich daraus ergebenden Zustandsübergänge und auf der Grundlage von Variablen für die beobachteten Gewinne. Die Zähler und Variablen werden im weiteren näher erläutert.
Mit N?,u,k und <u,j,k' i = 1/-/ X, u = 1,...,NA, j = 1, ... , N X , k e N, werden Zähler bezeichnet, mit denen die Anzahl durchgeführter Fuzzy-Aktionen Au in einem Fuzzy-
Zustand Xj_ und die Anzahl von Zustandsübergängen von einem
Zustand Xj_ in einen Nachfolgezustand Xj aufgrund der Aktion
Au bis zu einer Iteration k bezeichnet.
Wird ein Zustandsübergang (x , ak, ≥k+l' 9k) beobachtet, xk e , x +]_ G X, ak e A, g e SR, werden die Zähler N k und MV1/u,j•,.K gemäß dem Grad der Zugehörigkeit zu den entsprechenden Cluster-Zentren gemäß folgender Vorschriften erhöht:
N?,u,k + 1 <- N?,u,k (68)
Mι,uj,k+1 <" Mi,uj,k +
Figure imgf000042_0001
(69)
Anschließend werden die Zähler NV 1,U,,K und M1,U, .,,K verwendet, um darauf basierend die durchschnittlichen bedingten Wahrscheinlichkeiten
Figure imgf000042_0002
für einen Zustandsübergang von einem Zustand Xi in einen
Nachfolgezustand Xj aufgrund der Aktion Au geschätzt gemäß folgender Vorschrift:
Figure imgf000042_0003
Im weiteren wird mit r- . der durchschnittliche Gewinn bezeichnet, den man erhält, wenn in dem Vorgängerzustand Xj_ aufgrund des Ausführens der Aktion Au der Nachfolgezustand Xj in dem Zustandsraum X eingenommen wird.
Der Gewinn r -i-- LA J• ergibt sich somit gemäß folgender Vorschrift:
Figure imgf000043_0001
Eine Schätzung des jeweiligen Gewinns rV . , das heißt ein geschätzter Gewinn f. ■ , wird gemäß folgender Aktualisierungsvorschrift ermittelt :
ri.uj,k+l r- ri°uj,k + μi fxk^Sik jH k+i)
Figure imgf000043_0002
Mit
i = 1, N •X u = 1, , NA , j = 1, N X ( 74 )
bei Beobachten eines Zustandsübergangs (xk, ak, x.k+1' 9k)/ x e X , xk+1 e X , ak e A , g e 9? .
Für dieses diskrete Modell
^ιj,k+l(u)' *iu,k+l) (75)
kann eine optimale Steuerungsstrategie gemäß dem Reinforcement-Lernverfahren ermittelt werden. Mit Q(x, a) wird der wahre, kontinuierliche Q-Wert im Rahmen des Reinforcement-Lernverfahrens bezeichnet, der gebildet wird gemäß folgender Vorschrift:
Q(x, a) = (76)
Figure imgf000044_0001
Auf der Grundlage des wahren, kontinuierlichen Q-Werts Q(x, a) ergibt sich ein geschätzter Q-Wert Q^ der durchschnittlichen Q-Werte gemäß folgender Vorschrift:
1 „μ«Ji(x)μ .Au(a)Q(x,a)dadx x e Xa e A
-xu (77)
I J „μ«Λ{x)μiAu(§)dadx x e Xa e A
der sich ergibt aus der Fixpunkt-Lösung des folgenden Gleichungssystems :
δυ°iu,k+l Qjv,k+i)
Figure imgf000044_0002
(78)
Die kontinuierlichen Q-Werte Q(X, a) werden gemäß diesem Ausführungsbeispiel durch ein sogenanntes Takagi-Sugeno- Fuzzy-System, wie es in [3] beschrieben ist, mit linearen Termen in den Konsequenzen der Fuzzy-Regeln angenähert gemäß folgender Vorschrift:
if x is Xj_ and a is Au
then Q(x, a) = QV1U + Qii(ai kι,l)
Figure imgf000044_0003
(79)
Figure imgf000045_0001
wobei gilt:
Figure imgf000045_0002
und
Figure imgf000045_0003
Aufgrund der Orthogonalität der Fuzzy- Zugehörigkeitsfunktionen kann Vorschrift (79) geschrieben werden als folgende Vorschrift:
N^ NA ,X Q(x, a) = ,X, Λι Q°ιu + ∑Qii(ι - χι,ι) (83; i=lu=l 1=1
Figure imgf000045_0004
Die Terme Q. können durch Ermitteln der Fixpunkt-Lösung der
Gleichungssysteme (78) mit den Abschätzungen p . der durchschnittlichen bedingten Zustandsübergangswahrscheinlichkeiten gemäß Vorschrift (70) und Schätzwerten f J._ LtJ. der durchschnittlichen Gewinne gemäß
Vorschrift (72) ermittelt werden.
Für den diskreten Fall ist in [3] eine spezielle Implementierung der oben beschriebenen Vorgehensweise zur rekursiven Lösung der sogenannten Bellmann-Gleichung (78) beschrieben. Die Grundidee des aus [3] bekannten Ansatzes ist es, das rekursive Aktualisieren der Q-Werte entsprechend der Änderung der Q-Werte zu priorisieren, wie sie aus der Aktualisierung resultieren.
Aufgrund dieser Vorgehensweise wird die Geschwindigkeit der Konvergenz der Fixpunkt-Lösung deutlich erhöht verglichen mit einer Aktualisierung gemäß einer festen Reihenfolge.
Da außerdem die Interpretation der Variablen p..(u) und J f ■ k+1 der Bellmann-Gleichung (78) in dem diskreten Fall gleich ist, kann dieser vorteilhafte
Aktualisierungsmechanismus auch für den gemäß diesem Ausführungsbeispiel der Erfindung vorgesehenen Ansatz unter Verwendung von Fuzzy-Partitionen im Rahmen des Reinforcement- Lernverfahrens eingesetzt werden.
Die konstante Terme Q 1.U werden durch Lösen der Bellmann-
Gleichung (78) ermittelt.
Die zugehörigen partiellen Ableitungen Q.1 und Q.^ können durch Bilden von Durchschnittswerten und partiellen Ableitungen der Gewinnfunktion und der bedingten Zustandsübergangs-Wahrscheinlichkeiten ermittelt werden.
Die partiellen Ableitungen Q^ werden gemäß folgender Vorschrift gebildet:
Figure imgf000046_0001
+
Figure imgf000047_0001
( 85 )
mit den Abkürzungen :
Figure imgf000047_0002
die in dem vorangegangenen Schritt verwendet worden sind.
Das Ersetzen des Integrals durch die Summe lokaler Integrale gemäß den Vorschriften (86) und (87) und den Durchschnittswerten (88), (89) ist in dem Sinne konsistent, dass mit Erhöhen der Genauigkeit der Partitionierung des Zustandsraums diese immer besser werden.
In analoger Weise kann gezeigt werden, dass gilt:
Figure imgf000048_0001
(90)
mit
2 )
Figure imgf000048_0002
Der durchschnittliche lokale Gewinn r. ,L.J; und die
durchschnittlichen lokalen Ableitungen r• ~ ■ und r. -j-. der Gewinnfunktion g kann durch Anpassen der Parameter fV . ,
Λ. U.J f• -}■ . , f• 1. und fr1. der folgenden linearen Funktion abgeschätzt werden abhängig von den Gewinnen in der näheren Umgebung der Cluster-Zentren (XJ_, au, x- , gemäß folgender
Vorschrift:
f(x, a, y) :=
*°uj + " Xj,l)
Figure imgf000048_0003
( 93 ) Diese Anpassung kann erfolgen mittels eines bekannten Gradientenabstiegs unter Berücksichtigung einer Fehlerfunktion E, die sich ergibt gemäß folgender Vorschrift:
E := - (gk - f(xk, ak, κk+1ψ (94)
bei Beobachten eines Zustandsüberganges (xk, ak, x.k+1' 9k) •
Somit ergeben sich gemäß diesem Ausführungsbeispiel folgende Aktualisierungsvorschriften:
fiuj,k + l <" £iuj,k +
Figure imgf000049_0001
- r( k, ak, k + 1)), (95)
f*uj,k+l <~ f3j,k + ^iuj, (xk,l - Xi,l ? - r(xk, ak,xk+1)), (96)
*iuj,k+l *"
Figure imgf000049_0002
- äU/ι g - r(xk, ak, xk+1)),
(97)
f iXu1j.,k+l <~
Figure imgf000049_0003
- xj,lfck - r(xk' ak Xk+l))'
(98)
wobei eine mögliche Wahl für die Schrittgröße ηιuj k innerhalb der Aktualisierung gegeben sein kann gemäß folgender Vorschrift:
ι( k)μu( k) j (χk+ι) riiuj,k = Λ ' (99)
M iyιiuj,k+l
so dass die Schrittgröße ηj_uj,k jeweils abhängig von dem Grad der Zugehörigkeit eines beobachteten Zustandsübergangs zu einem Cluster-Zentrum gewählt wird und mit fortlaufender Zeit verringert wird. Die durchschnittlichen bedingten Wahrscheinlichkeiten j_j(u) können gemäß Vorschrift (71) geschätzt werden.
Die durchschnittlichen partiellen Ableitungen
Figure imgf000050_0001
können gemäß folgenden Vorschriften approximiert werden:
iuj
Figure imgf000050_0002
( 100 )
>a iuιj. «
Figure imgf000050_0003
( 101 )
wobei mit e? ein Vektor der Dimension d mit Vektorkomponenten e? X/ X ■ = δj_χbezeichnet wird .
Mit N 1.U' wird ein Zähler bezeichnet, mit dem die Anzahl von
Ausführungen einer Aktion Au in einem Fuzzy-Zustand gezählt wird, der entsteht, indem Zustand Xj_ entlang der Dimension 1 um einen vorgebbaren Wert ε verschoben wird.
Mit -^ wird ein weiterer Zähler bezeichnet, mit dem die Anzahl von Zustandsübergängen von dem um ε entlang der Dimension 1 verschobenen Zustand Xj_ zu einem Nachfolgezustand Xj aufgrund der Aktion Au gezählt wird.
Zusätzlich wird mit N^' ein Zähler bezeichnet, mit dem die
Anzahl durchgeführter Aktionen Au in dem Zustand angegeben wird, der durch Verschieben von dem Zustand Xj_ entlang der
Dimension 1 um einen negativen Wert -ε entsteht und mit M. ' wird ein weiterer Zähler bezeichnet, mit dem die Anzahl von Zustandsübergängen in den Zustand Xj von diesem Zustand aufgrund der Aktion Au angegeben wird.
Bei Ermitteln eines Zustandsübergangs (xk, ak, xk4.^, gk) werden
X 1 — die einzelnen Zähler NX3-'+ , MX1- " , NX]-'~ ' Miuj ^emäß folgenden Aktualisierungsvorschriften aktualisiert ;
fek) ' ( 102 )
Figure imgf000051_0001
Figure imgf000051_0002
IμSfek i fek+i)' ( 103 )
N wXiu,'"k+l <-
Figure imgf000051_0003
Mϊu,'k + 1 <" MS,'k + μ? xk ( 105 )
Figure imgf000051_0004
Entsp crechend werden Zähler N1.U/ * • Nii'" - md MSj" für den Aktionsraum gemäß folgenden
Aktualisierungsvorschriften aktualisiert :
( 106)
Figure imgf000051_0005
μ
Figure imgf000052_0001
?fe.+l). ( 107 )
Niu,'k+1 <~ N ιauι,k + ( 108 )
Figure imgf000052_0002
A X
«?iiuj,kk++ι1 <- M-iiuϊj7,k + »± fa. £ ak+εe μ J.fa+l) (109]
Anschließend werden die lokalen partiellen Ableitungen
Piui k+1 und Piui k+1 ermittelt gemäß folgenden Vorschriften:
Figure imgf000052_0003
Mit den geschätzten Wahrscheinlichkeiten pN ■ . ,, , p ~.] x_. , ,n
und und
Figure imgf000052_0004
P ,iaülj und der Schätzungen f Äi0uj,k+1,
Figure imgf000052_0005
für die Gewinne ri.uj. , ri.u■ und ri.uj . kann nunmehr die jeweilig ^e lokale partielle Ableitung Q^ und Qa^ gemäß den
Vorschriften (85) und (90) ermittelt werden.
Zusammenfassend kann das Reinforcement-Lernverfahren in Form eines Pseudo-Codes beschrieben werden wie folgt:
1. Initialisierung:
for i = 1, ...,N , u =.1, ...,NA do (a) NVU «- 0 xi, +
(b) N: <- 0, N xi /
1U iu <- 0, 1 = 1, ... , d X aι,+ A
(c) N: iu <- 0/ N IaU <- 0, 1 = 1/ ... , d
Figure imgf000053_0001
(e) MX IUχJ'+ <- °' MSj" <- 0, j = 1/ A = 1, ..., d X
Figure imgf000053_0002
xι,+
(h) r- . iuj ^ °'*iu <- o, j = 1/ A = 1, ..., d X
..., d A
<- o, j = 1/
Figure imgf000053_0003
..,Λι = 1,
(j) PQueue - empty (k) Beobachte Ausgangszustand XQ od
2. Hauptprogramm:
for k = 0, 1, 2, ... do
(a) Wähle Fuzzy-Aktion U in dem aktuellen Zustand Xk entsprechend der Explorationsstrategie aus (z.B. Boltzmann-Exploration/F-ISE-Exploration) . Wähle kontinuierliche Aktion a_k aus der Menge der Zustände, die zu Au, Zugehörigkeit ≠ 0 haben.
(b) Führe Aktion ak aus und beobachte Nachfolgezustand Xk+l und gk = g(xk, ak, xk+ι)
(c) for i = 1, ... , N TX , j = 1, ... , N TX do (i) Zählen der Zustandsübergänge
Figure imgf000053_0004
(B) N jXVχ;'+ ' <- N j *l;/+ ιuk ιuk μJk(ak)/Vl = l,...,d X
Figure imgf000053_0005
Figure imgf000053_0006
(D) N VI = 1, A
Figure imgf000054_0001
Figure imgf000054_0002
VI = 1, ..., d X
Figure imgf000054_0003
VI = 1, ..., d X
(I)
Figure imgf000054_0004
VI = ι, ... , d A
Figure imgf000054_0005
VI = 1, ... , d _A'
(ii) Schätzen der Zustandsübergangs-Wahrscheinlichkeiten
Figure imgf000054_0006
(iii) Schätzen der partiellen Ableitungen der Zustandsübergangs-Wahrscheinlichkeiten
Figure imgf000054_0007
(iv) Berechnen der Abweichung von dem erwarteten lokalen Gewinn l -χj,l)
Figure imgf000055_0001
(v) Aktualisieren der Schätzungen für den durchschnittlichen Gewinn und die durchschnittlichen
Abweichungen
Figure imgf000055_0002
VI = 1, ...,d
VI = 1, A
Figure imgf000055_0003
VI = 1, ...,d X od
(d) for i = 1, ... , N TX do
(i) Berechnen der Priorität des Sicherns für (i, uk) :
Figure imgf000055_0004
(ii) if P > Φk then füge (i, uk) zu PQueue mit Priorität P hinzu fi od (e) while PQueue ≠ e pty do (i) (i, u) <- first(PQueue)
N*
(ü) Qiu <" ∑ P°j(u *iuj + α max v=ι NA Qjv ] j=l "'" y
( iii ) for alle Vorgänger ( 1, w) von i , d. h . alle Paare
( 1, w) mit M°wi > 0 do
Figure imgf000056_0001
(B) if P > Φk then füge (1, w) zu PQueue mit Priorität P hinzu fi od (e) Schätzen der Ableitungen der Q-Werte
(i ) QX1
(ü) Q?J
Figure imgf000056_0002
Die optimale Steuerungsstrategie, das heißt die optimale Auswahl eines Rahmensignalplans aufgrund der ermittelten, gemessenen relativen Verkehrsdichte an den jeweiligen Sensoren 215, allgemein formuliert als optimale Kontrollstrategie μ : X - A, wird dadurch erreicht, dass in dem jeweiligen Zustand x die Aktion a ausgewählt wird, das heißt beispielsweise gemäß dem Ausführungsbeispiel derjenige Rahmensignalplan ausgewählt wird, der einen Gewinn gemäß Vorschrift (79) verspricht, der maximal ist, das heißt bei dem gilt:
arg max Q(X, a) . (112) aeA
Das oben beschriebene Verfahren kann weiterhin gemäß der im weiteren beschriebenen Ausgestaltung der Erfindung weiter verbessert werden. Um die Anzahl der benötigten Trainingsschritte im Rahmen des Reinforcement-Lernverfahrens zu verringern ist es nützlich, gezielt den erwarteten Gewinn im Sinne eines Informationsgehalts der Trainingsdaten über das technische System zu nutzen, das heißt in anderen Worten, in jedem Zustand diejenige Aktion auszuführen, durch entweder ein großer unmittelbarer, das heißt sofortiger Gewinn an Information erwartet werden kann oder durch die ein Bereich in dem Zustandsraum erreicht wird, in dem hohe Gewinne an Information erwartet werden können.
Gemäß diesem Ausführungsbeispiel wird eine modellbasierte Explorationsstrategie vorgesehen.
Die im weiteren beschriebenen Vorgehensweise basiert auf A-
Werten Aj_u, i = 1, ... , N X , u = 1, ... , NA , mit denen die
"Attraktivität" des Ausführens der jeweiligen Fuzzy-Aktion Au in dem Zustand Xj_ bezeichnet wird.
Das Ausführen einer Aktion in einem Zustand des Zustandsraums X führt dann mit einer großen Wahrscheinlichkeit zu einem hohen Informationsgewinn, wenn ein großer sofortiger Gewinn an Information erwartet werden kann aufgrund der Ausführung der Aktion Au, oder dann, wenn das zu steuernde technische
System aufgrund der Aktion in Zustände übergeht, in denen ein großer Informationsgewinn erwartet werden kann.
Somit ist die Relation zwischen den A-Werten Aj_u sehr ähnlich der der Q-Werte im Zusammenhang mit dem Q-Lernverfahren.
Im folgenden wird mit äj_u der sofortige Informationsgewinn bezeichnet, der aus einer einzigen Ausführung der Aktion Au in dem Zustand Xj_ resultiert.
Anschließend wird ein geschätzter A-Wert Ä_u abgeleitet, mit dem der erwartete sofortige Informationsgewinn bezeichnet wird, der resultiert aus zukünftigen Ausführungen der Aktion Au in dem Zustand X__ .
Schließlich wird eine Gesamt-Attraktivität A_u auf der Grundlage der Ä_u in rekursiver Weise ermittelt.
Der sofortige Informationsgewinn kann durch die Menge an Wissen gemessen werden, die das lernende System über die Zustandsübergangs-Wahrscheinlichkeiten zwischen den Fuzzy- Partitionen aufgrund einer Beobachtung eines Zustandsübergangs erhält.
Eine maximale Änderung
|ρ°j,k+1(u) - pV/k(u)j (113)
Figure imgf000058_0001
in den Zustandsübergangs-Wahrscheinlichkeiten von einem Zustand X und einer Aktion Au, die aufgrund eines beobachteten Zustandsübergangs (xk, ak, x_k+l' 9k) resultieren, ist gegeben durch die Zugehörigkeit von (xk, ak) zu den einzelnen Fuzzy-Partitionen, bezeichnet durch:
μifek Sfek)- (114)
Auf diese Weise wird die Änderung der Wahrscheinlichkeiten mit einer oberen Grenze, die gebildet wird gemäß μ^(xk)μA(ak) skaliert, um das Maß des sofortigen Informationsgewinns unabhängig zu machen von der Position von (xk, ak) innerhalb der jeweiligen Fuzzy-Partition.
Somit ergibt sich für die Aktualisierung des sofortigen Informationsgewinns von einer Iteration k zu der nächsten Iteration k+1:
Figure imgf000059_0001
(115)
Aus den gemäß Vorschrift (115) ermittelten sofortigen Informationsgewinnen aufgrund Durchführen der Aktion Au in dem Zustand Xj_ ist es möglich, Schlussfolgerungen hinsichtlich zu erwartender zukünftiger Informationsgewinne zu ziehen.
Es hat sich als vorteilhaft herausgestellt, eine gewichtete Summe aller vorangegangenen ermittelten sofortigen Informationsgewinne zu berechnen.
Der Einfluss eines Informationsgewinns für einen Zustand Xj und einer Aktion Au auf die sofortige "Attraktivität" sollte durch die Zugehörigkeit des entsprechenden Zustandsübergangs in die jeweilige Fuzzy-Partitionen beschränkt werden.
Dies kann dadurch erreicht werden, dass vorangegangene Informationsgewinne entsprechend der Summe der Grade der
Zugehörigkeiten nachfolgender Beobachtungen gewichtet werden:
Figure imgf000059_0002
n=0
Im folgenden Algorithmus wird die sofortige Attraktivität beschrieben als ein Quotient der gewichteten Summe der sofortigen Informationsgewinne und der Summe der Gewichte, das heißt die sofortige Attraktivität Ä ergibt sich gemäß folgender Vorschrift:
Ä?
Ä = -=^. (117)
Aiu
Eine totale Attraktivität Äj_u eines Zustand-Aktions-Paars (Xj_, Au) wird auf rekursive Weise gemäß folgender Vorschrift ermittelt:
Äiu# +ι := ÄiU/k+1 + ∑ Pi^k+l^^J/ +l ' (118)
X
mit dem räumlichen Dämpfungsfaktor λ e [0;1] und der Attraktivität Äj der Partitions-Untermenge Xj , gegeben gemäß folgender Vorschrift:
Figure imgf000060_0001
Zusammenfassend kann die Explorationsstrategie durch folgende, in einem Pseudo-Code dargestellte Vorgehensweise beschrieben werden:
1. Initialisierung:
(a) NVU <- 0, i = 1, ...,NX,u = 1, ...,NA (b) M9uj <- 0, i = 1, ... , N , u = 1, ... , NA, j = 1, ... , N
(c) Initialisiere die Komponenten der unmittelbaren
Attraktivität derart, als ob in jeder vorangegangenen Iteration der maximale unmittelbare Informationsgewinn mit maximalem Zugehörigkeitsgrad erreicht worden wäre: (i) AiS? - --__ , i,- =- !1, ..., NXl\ „u _= 11, ..., ,NτA
IU <
1 -η (ii) Äiu < -_ _—η ,i = 1, ...,NK, u = 1, ...,NA
Somit ist jedes Zustands-Aktions-Paar (X , Au) mit der maximalen unmittelbaren Attraktivität Äj_u = 1 initialisiert.
(d) Initialisiere totale Attraktivität
(e) Bestimme Ausgangszustand XQ
2. Hauptprogramm
for k = 0, 1, 2, ... do
(a) Sei AUk die Partitions-Untermenge (Fuzzy-Aktion) des
Aktionsraums, bei der die Attraktivität Äu(x ) im aktuellen Zustand xk maximiert ist, wobei die Attraktivität Äu(xk) gegeben sei durch if x is Xj_ then Äu(x) = Ä_u
D.h. es gilt: u := arg max^^ NA Äu(xk)
Zufälliges Auswählen einer Aktion ak, aus |a|a e A Λ μ k(a}θ} aus AU]c
(b) Ausführen Aktion ak und Beobachten des Nachfolgezustands x_k+l und des Gewinns g(xk, ak, xk4.]_)
(c) Ausführen einer Iteration eines beliebigen Reinforcement- Lernverfahrens, beispielsweise des oben beschriebenen F- PS-Lernverfahrens oder des F-Q-Lernverfahrens
(d) for i = 1, ... , N^ do
(i) Zählen der Zustandsübergänge:
Figure imgf000061_0001
Vj = 1, ... , N (ii) Berechnen des unmittelbaren Informationsgewinns resultierend aus dem Zustandsübergang:
Figure imgf000062_0001
(iii Erneutes Berechnen der unmittelbaren Attraktivität
Figure imgf000062_0002
μ xx
(B) A w 1 + η rfa : A u) ω A. w uk ιuk
! iv) Erneutes Schätzen der Zustandsubergangs- Wahrschemlichkeiten :
M .0"
-0 !UkD
PΪl(uk) <" V = I, ...,Nx!
Figure imgf000062_0003
lu od
(e) for i = 1, ... , N ,χ" do
( ) Berechnen der Priorität des Sicherns für (Xi, AUk j:
Figure imgf000062_0004
(ii) if P > Φ then fuge (l, uk) zu PQueue mit Priorität P hinzu fi [f) hile PQueue ≠ empty do (i) ( ,u) - first (PQueue)
(n)Äiu 4- Äiu + Ä-jv -Älιnuk
Figure imgf000062_0005
(in) for alle Vorganger (1, w) von i, d.h. alle (1, w)
Figure imgf000062_0006
Figure imgf000063_0001
(B) if P > Φk then füge (1, w) zu PQueue mit Priorität P hinzu fi od od od
Zusammenfassend wird das oben beschriebene Verfahren noch einmal anhand Fig.l erläutert.
In einem ersten Schritt werden Daten über das technische System, bei einem Verkehrsnetz 200 die jeweilige Verkehrsdichte an einem Sensorpunkt mittels eines Sensors, ermittelt (Schritt 101) .
In einem weiteren Schritt werden Fuzzy-Partitionen des Zustandsraums und/oder des Aktionsraums ermittelt (Schritt 102) .
In einem weiteren Schritt wird ein Reinforcement- Lernverfahren durchgeführt unter Verwendung der ermittelten Daten über das technische System sowie unter Verwendung der ermittelten Fuzzy-Partitionen (Schritt 103) .
In einem weiteren Schritt (Schritt 104) wird auf die oben beschriebene Weise gemäß dem Reinforcement-Lernverfahren eine optimale Steuerungsstrategie ermittelt,^ das heißt es wird ein optimaler Ausgangswert ermittelt, mit dem angegeben wird, welcher Rahmensignalwert für die jeweilige Iteration auszuwählen ist (Schritt 104) .
Wie in Fig.l weiter dargestellt ist, wird in einem weiteren Schritt (Schritt 105) der gemäß dem Reinforcement- Lernverfahren ermittelte optimale Rahmensignalplan ausgewählt, ausgelesen und abhängig von dem Rahmensignalplan werden die Ampeln 214 an den jeweiligen Kreuzungen, das heißt allgemein das technische System, das gesteuert werden soll, unter Berücksichtigung der ausgewählten optimierten Steuerungsstrategie und dem ausgewählten Rahmensignalplan, gesteuert (Schritt 106) .
Es ist darauf hinzuweisen, dass die oben beschriebene Erfindung nicht auf die Steuerung von Ampeln in einem Verkehrsnetz beschränkt ist, sondern dass sich die Fuzzy- Partitionierung eines kontinuierlichen Zustandsraums und/oder eines kontinuierlichen Aktionsraums für ein beliebiges technisches System eignet, das mit einem kontinuierlichen Zustandsraum und/oder kontinuierlichen Aktionsraum beschrieben wird und mittels eines Reinforcement- Lernverfahrens gesteuert werden soll.
In diesem Dokument sind folgende Veröffentlichungen zitiert:
[1] H. Takagi und M. Sugeno, Fuzzy Identification of Systems and its Application to Modelling and Control, IEEE Transactions on Systems, Man and Cybernetics, Vol. 15, S. 116 - 132, 1985
[2] J. C. Bezdek, Pattern Recognition with Fuzzy Objective
Function Algorithms, Plenum Press, New York, ISBN 0-306- 40671-3, 1981
[3] A. Moore und C. Atkeson, Efficient Memory Based
Reinforcement-Learning: Efficient Computation with Prioritized Sweaping, Information Processing, Vol. 5, S. 263 - 270, 1992
[4] S. Davies, Multi Dimensional Triangulation and
Interpolation for Reinforcement-Learning, Advances in Neural Information Processing Systems, NIPS'9, S. 1005 - 1011, 1996

Claims

Patentansprüche
1. Verfahren zum rechnergestützten Ermitteln einer Steuerungsstrategie für ein technisches System, • bei dem das technische System mit einem kontinuierlichen Zustandsraum und einem Aktionsraum beschrieben wird,
• bei dem der Zustandsraum Zustände aufweist, die das technische System annehmen kann,
• bei dem der Aktionsraum Aktionen aufweist, die ausgeführt werden, um einen Zustandsübergang von einem Vorgängerzustand des Zustandsraum in einen Nachfolgezustand des Zustandsraums zu erzeugen,
• bei dem eine Bewertung des Zustandsübergangs erfolgt,
• bei dem mit Trainingsdaten, die das technische System beschreiben, ein Modell des technischen Systems ermittelt wird, indem Fuzzy-Zugehörigkeitsfunktionen gebildet werden, mit denen zumindest der Zustandsraum beschrieben wird und
• bei dem unter Verwenden der Fuzzy- Zugehörigkeitsfunktionen ein Reinforcement-Lernverfahren durchgeführt wird, wodurch für jeden Zustand des Zustandsraums eine Steuerungsstrategie ermittelt wird, wodurch die jeweils optimalen Aktionen des Aktionsraums gelernt werden.
2. Verfahren nach Anspruch 1, bei dem für jeden Zustand des Zustandsraums und die entsprechenden Aktionen des Aktionsraums jeweils ein Q-Wert als Steuerungsstrategie ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2, bei dem in den Konklusionen der Fuzzy-Regeln des Fuzzy- Systems, welches gemäß dem Reinforcement-Lernverfahrens gebildet wird, lineare Terme eingesetzt werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem das Reinforcement-Lernverfahren durchgeführt wird, indem während des Trainings solche Aktionen ausgewählt werden, die ein vorgegebenes Kriterium erfüllen.
5. Verfahren nach Anspruch 4, bei dem das Kriterium ein Informationsgewinn über die bedingten Zustandsübergangs-Wahrscheinlichkeiten innerhalb des Reinforcement-Lernverfahrens ist.
6. Verfahren nach einem der Ansprüche 1 bis 5,
• bei dem aufgrund der Steuerungsstrategie ein Rahmensignalplan ausgewählt wird, und
• bei dem aufgrund des ausgewählten Rahmensignalplans Steuersignale an Ampeln eines Verkehrsnetzes übermittelt werden.
7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem für jede Fuzzy-Partition im Zustandsraum und Aktionsraum ein Informationsgewinn ermittelt wird, der aus früheren Ausführungen von zu dieser entsprechenden Fuzzy- Partition gehörenden Aktionen in die entsprechenden Zustände resultiert hat.
8. Verfahren nach Anspruch 7, bei dem aus einem Informationsgewinn jeweils ein zukünftiger Gewinn geschätzt wird.
9. Verfahren nach einem der Ansprüchen 1 bis 8,
• bei dem Zähler vorgesehen sind, mit denen die Anzahl von Ausführungen von Aktionen in einem Zustand des technischen Systems und die Anzahl von Zustandsübergängen von einem Anfangszustand in einen Nachfolgezustand aufgrund der Aktion bis zu der aktuellen Iteration angegeben wird, vorgesehen sind, • bei dem die den Zählern zugeordneten Werte bei Ermitteln eines neuen Zustandsübergangs abhängig von dem Grad der Zugehörigkeit der Zustände bzw. der Zustandsübergänge zu den jeweiligen Fuzzy-Clustern aktualisiert werden.
10. Verfahren nach Anspruch 9, bei dem die Zustandsübergangs-Wahrscheinlichkeiten innerhalb des Reinforcement-Lernverfahrens abhängig von den Zählern ermittelt werden.
11. Verfahren nach einem der Ansprüche 1 bis 10, bei dem zu Beginn des Verfahrens Fuzzy-Partitionen gebildet werden, indem in einem iterativen Verfahren ausgehend von einer vorgegebenen Menge von Ausgangs-Partitions-Untermengen diese aufgeteilt werden in mehrere Fuzzy-Partitions- Untermengen oder zusammengeführt werden aus mehreren Fuzzy- Partitions-Untermengen in eine Fuzzy-Partition, abhängig von den ermittelten Trainingsdaten.
12. Verfahren nach einem der Ansprüche 1 bis 10, bei dem zu Beginn des Verfahrens die Fuzzy-Partitionen gemäß dem Fuzzy-C-Means-Clustering-Verfahren gebildet werden.
13. Fuzzy-Steuervorrichtung zum Ermitteln einer Steuerungsstrategie für ein technisches System, mit einem Prozessor, der derart eingerichtet ist, dass folgende Schritte durchführbar sind:
• das technische System wird mit einem kontinuierlichen Zustandsraum und einem Aktionsraum beschrieben,
• der Zustandsraum weist Zustände auf, die das technische System annehmen kann, • der Aktionsraum weist Aktionen auf, die ausgeführt werden, um einen Zustandsübergang von einem Vorgängerzustand des Zustandsraum in einen Nachfolgezustand des Zustandsraums zu erzeugen,
• es erfolgt eine Bewertung des Zustandsübergangs, • mit Trainingsdaten, die das technische System beschreiben, wird ein Modell des technischen Systems ermittelt, indem Fuzzy-Zugehörigkeitsfunktionen gebildet werden, mit denen zumindest der Zustandsraum beschrieben wird und
• unter Verwenden der Fuzzy-Zugehörigkeitsfunktionen wird ein Reinforcement-Lernverfahren durchgeführt, wodurch für jeden Zustand des Zustandsraums eine
Steuerungsstrategie ermittelt wird, wodurch die jeweils optimalen Aktionen des Aktionsraums gelernt werden.
14. Computerlesbares Speichermedium, in dem ein Computerprogramm zum Ermitteln einer Steuerungsstrategie für ein technisches System, das, wenn es von einem Prozessor ausgeführt wird, folgende Verfahrensschritte aufweist:
• das technische System wird mit einem kontinuierlichen Zustandsraum und einem Aktionsraum beschrieben, • der Zustandsraum weist Zustände auf, die das technische System annehmen kann,
• der Aktionsraum weist Aktionen auf, die ausgeführt werden, um einen Zustandsübergang von einem Vorgängerzustand des Zustandsraum in einen Nachfolgezustand des Zustandsraums zu erzeugen,
• es erfolgt eine Bewertung des Zustandsübergangs,
• mit Trainingsdaten, die das technische System beschreiben, wird ein Modell des technischen Systems ermittelt, indem Fuzzy-Zugehörigkeitsfunktionen gebildet werden, mit denen zumindest der Zustandsraum beschrieben wird und
• unter Verwenden der Fuzzy-Zugehörigkeitsfunktionen wird ein Reinforcement-Lernverfahren durchgeführt, wodurch für jeden Zustand des Zustandsraums eine Steuerungsstrategie ermittelt wird, wodurch die jeweils optimalen Aktionen des Aktionsraums gelernt werden.
' 15. Computerprogramm-Element zum Ermitteln einer Steuerungsstrategie für ein technisches System, das, wenn es von einem Prozessor ausgeführt wird, folgende Verfahrensschritte aufweist: • das technische System wird mit einem kontinuierlichen Zustandsraum und einem Aktionsraum beschrieben,
• der Zustandsraum weist Zustände auf, die das technische System annehmen kann, • der Aktionsraum weist Aktionen auf, die ausgeführt werden, um einen Zustandsübergang von einem Vorgängerzustand des Zustandsraum in einen Nachfolgezustand des Zustandsraums zu erzeugen,
• es erfolgt eine Bewertung des Zustandsübergangs, • mit Trainingsdaten, die das technische System beschreiben, wird ein Modell des technischen Systems ermittelt, indem Fuzzy-Zugehörigkeitsfunktionen gebildet werden, mit denen zumindest der Zustandsraum beschrieben wird und • unter Verwenden der Fuzzy-Zugehörigkeitsfunktionen wird ein Reinforcement-Lernverfahren durchgeführt, wodurch für jeden Zustand des Zustandsraums eine Steuerungsstrategie ermittelt wird, wodurch die jeweils optimalen Aktionen des Aktionsraums gelernt werden.
PCT/DE2001/001653 2000-05-05 2001-05-02 Fuzzy-steuerung mit reinforcement-lernverfahren WO2001086359A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE2000121929 DE10021929A1 (de) 2000-05-05 2000-05-05 Verfahren und Fuzzy-Steuervorrichtung zum rechnergestützten Ermitteln einer Steuerungsstrategie für ein technisches System, Computerlesbares Speichermedium und Computerprogramm-Element
DE10021929.2 2000-05-05

Publications (2)

Publication Number Publication Date
WO2001086359A2 true WO2001086359A2 (de) 2001-11-15
WO2001086359A3 WO2001086359A3 (de) 2002-06-06

Family

ID=7640906

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2001/001653 WO2001086359A2 (de) 2000-05-05 2001-05-02 Fuzzy-steuerung mit reinforcement-lernverfahren

Country Status (2)

Country Link
DE (1) DE10021929A1 (de)
WO (1) WO2001086359A2 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011033042A1 (en) * 2009-09-16 2011-03-24 Road Safety Management Ltd Traffic signal control system and method
EP2386987A1 (de) * 2010-04-20 2011-11-16 Alcatel Lucent Verfahren zum bestärkenden Lernen, entsprechendes Computerprogrammprodukt und Datenspeichervorrichtung dafür
AT510248A1 (de) * 2010-07-29 2012-02-15 Andreas Dr Kuhn Verfahren zur verkehrsregelung eines strassenzuges

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT500832B1 (de) * 2004-10-13 2007-06-15 Rudolf Dr Stricker Verfahren und einrichtung zur regelung von verkehrsströmen
DE102007017259B4 (de) * 2007-04-12 2009-04-09 Siemens Ag Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
DE102011075337A1 (de) * 2011-05-05 2012-11-08 Siemens Ag Verfahren und Vorrichtung zur Ansteuerung einer Anlage
CN105632198A (zh) * 2016-01-26 2016-06-01 新誉集团有限公司 基于模糊控制的城市区域道路交通协调控制方法及系统
EP3623881A1 (de) * 2018-09-17 2020-03-18 Siemens Aktiengesellschaft Computerimplementiertes verfahren zum abschätzen eines technischen verhaltens einer vorrichtung
CN109975800B (zh) * 2019-04-01 2020-12-29 中国电子科技集团公司信息科学研究院 组网雷达资源管控方法及装置、计算机可读存储介质
DE102021200804A1 (de) 2021-01-29 2022-08-04 Yunex Gmbh Verfahren zur Ansteuerung von Anzeigequerschnitten

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4436339A1 (de) * 1994-10-11 1996-04-18 Ifu Gmbh Verfahren zur verkehrsadaptiven Steuerung einer Verkehrsampelanlage
WO1997034274A1 (de) * 1996-03-12 1997-09-18 Siemens Aktiengesellschaft Verkehrsabhängige steuerung von verkehrs-lichtsignalanlagen mit hilfe von fuzzy-logik
WO2001018767A1 (de) * 1999-09-02 2001-03-15 Siemens Aktiengesellschaft Steuerungsvorrichtung für eine verkehrsampelkreuzung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4436339A1 (de) * 1994-10-11 1996-04-18 Ifu Gmbh Verfahren zur verkehrsadaptiven Steuerung einer Verkehrsampelanlage
WO1997034274A1 (de) * 1996-03-12 1997-09-18 Siemens Aktiengesellschaft Verkehrsabhängige steuerung von verkehrs-lichtsignalanlagen mit hilfe von fuzzy-logik
WO2001018767A1 (de) * 1999-09-02 2001-03-15 Siemens Aktiengesellschaft Steuerungsvorrichtung für eine verkehrsampelkreuzung

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
APPL M ET AL: "FUZZY Q-LEARNING IN NONSTATIONARY ENVIRONMENTS" , EUROPEAN CONGRESS ON INTELLIGENT TECHNIQUES AND SOFT COMPUTING PROCEEDINGS, XX, XX, PAGE(S) 284 XP001000981 das ganze Dokument *
BERENJI ET AL: "Clustering in product space for fuzzy inference" , PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS. SAN FRANCISCO, MAR. 28 - APR. 1, 1993, NEW YORK, IEEE, US, VOL. VOL. 2 CONF. 2, PAGE(S) 1402-1407 XP010103946 ISBN: 0-7803-0614-7 Zusammenfassung *
BERENJI ET AL: "Competition and collaboration among fuzzy reinforcement learning agents" , FUZZY SYSTEMS PROCEEDINGS, 1998. IEEE WORLD CONGRESS ON COMPUTATIONAL INTELLIGENCE., THE 1998 IEEE INTERNATIONAL CONFERENCE ON ANCHORAGE, AK, USA 4-9 MAY 1998, NEW YORK, NY, USA,IEEE, US, PAGE(S) 622-627 XP010287575 ISBN: 0-7803-4863-X Zusammenfassung *
BERENJI ET AL: "Fuzzy Q-learning for generalization of reinforcement learning" , FUZZY SYSTEMS, 1996., PROCEEDINGS OF THE FIFTH IEEE INTERNATIONAL CONFERENCE ON NEW ORLEANS, LA, USA 8-11 SEPT. 1996, NEW YORK, NY, USA,IEEE, US, PAGE(S) 2208-2214 XP010195919 ISBN: 0-7803-3645-3 das ganze Dokument *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011033042A1 (en) * 2009-09-16 2011-03-24 Road Safety Management Ltd Traffic signal control system and method
US8928493B2 (en) 2009-09-16 2015-01-06 Road Safety Management Ltd. Traffic signal control system and method
AU2010297287B2 (en) * 2009-09-16 2015-03-19 Road Safety Management Ltd Traffic signal control system and method
EP2386987A1 (de) * 2010-04-20 2011-11-16 Alcatel Lucent Verfahren zum bestärkenden Lernen, entsprechendes Computerprogrammprodukt und Datenspeichervorrichtung dafür
AT510248A1 (de) * 2010-07-29 2012-02-15 Andreas Dr Kuhn Verfahren zur verkehrsregelung eines strassenzuges
AT510248B1 (de) * 2010-07-29 2023-01-15 Dr Kuhn Andreas Verfahren zur verkehrsregelung eines strassenzuges

Also Published As

Publication number Publication date
WO2001086359A3 (de) 2002-06-06
DE10021929A1 (de) 2001-11-15

Similar Documents

Publication Publication Date Title
DE102021133415A1 (de) Sicheres und skalierbares modell für kultursensitives fahren durch automatisierte fahrzeuge
DE10022812A1 (de) Verfahren zur Verkehrslagebestimmung auf Basis von Meldefahrzeugdaten für ein Verkehrsnetz mit verkehrsgeregelten Netzknoten
DE102006057552A1 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE202017007599U1 (de) Systeme zum Erzeugen von erwarteten Fahrgeschwindigkeiten
DE102014203312A1 (de) Automatische Straßenneigungskartierung
WO2001086359A2 (de) Fuzzy-steuerung mit reinforcement-lernverfahren
DE102019118366A1 (de) Verfahren sowie Steuergerät für ein System zum Steuern eines Kraftfahrzeugs
DE102020001541A1 (de) Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne
DE19858477B4 (de) Verfahren zum Ermitteln von Verkehrsinformationen
DE102022003079A1 (de) Verfahren zu einer automatisierten Generierung von Daten für rasterkartenbasierte Prädiktionsansätze
DE102012202463A1 (de) Verfahren zu einem Modellaufbau für eine Reisezeitendatenbank
WO2001086610A1 (de) Verfahren und vorrichtung zum ermitteln einer optimierten auswahl eines rahmensignalplans aus einer menge mehrerer rahmensignalpläne für ein verkehrssystem
DE102016220561A1 (de) Verfahren zur Ermittlung von Fahrrouten für Landfahrzeuge
EP1057156B1 (de) Verkehrslageerfassung mit fuzzy-klassifikation und mehrdimensionaler morphologischer datenfilterung und dynamischer domänenbildung
DE102019201930A1 (de) Verfahren zum Erzeugen eines Umfeldmodells
DE19941854A1 (de) Steuerungsvorrichtung für eine Verkehrsampelkreuzung
DE102022134876A1 (de) STRAßENKARTENERSTELLSYSTEM UND VERFAHREN ZUR NUTZUNG
DE102021006166A1 (de) Verfahren zum Datentransfer zwischen zwei digitalen Straßenkarten
DE19752605A1 (de) Verfahren und Anordnung zur rechnergestützten Ermittlung einer in Meßdaten enthaltenen Struktur unter Verwendung von Fuzzy Clustering
EP3937151A1 (de) Vorrichtung und verfahren zur steuerung eines verkehrsflusses in einem verkehrsnetz durch einen optimalen signalphasenplan
Güßefeldt Zur Modellierung von räumlichen Kaufkraftströmen in unvollkommenen Märkten
DE102010064063B4 (de) Verfahren und Vorrichtung zur rechnergestützten Prognose eine Fahrtdauer eines Fahrzeugs auf einer Route aus einem oder mehreren Routensegmenten
EP1803108B1 (de) Verfahren und einrichtung zur regelung von verkehrsströmen
DE102020204321A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem für ein Fahrzeug
DE19905284A1 (de) Verkehrslageerfassung mit Fuzzy-Klassifikation und mehrdimensionaler morphologischer Datenfilterung und dynamischer Domänenbildung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
AK Designated states

Kind code of ref document: A3

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP