WO2019208639A1 - 最適化装置、最適化方法、及びプログラム - Google Patents

最適化装置、最適化方法、及びプログラム Download PDF

Info

Publication number
WO2019208639A1
WO2019208639A1 PCT/JP2019/017450 JP2019017450W WO2019208639A1 WO 2019208639 A1 WO2019208639 A1 WO 2019208639A1 JP 2019017450 W JP2019017450 W JP 2019017450W WO 2019208639 A1 WO2019208639 A1 WO 2019208639A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
unit
search point
optimization
parameter
Prior art date
Application number
PCT/JP2019/017450
Other languages
English (en)
French (fr)
Inventor
恭太 堤田
秀剛 伊藤
達史 松林
浩之 戸田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/050,773 priority Critical patent/US20210241123A1/en
Publication of WO2019208639A1 publication Critical patent/WO2019208639A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Definitions

  • the present invention relates to an optimization device, an optimization method, and a program, and more particularly, to an optimization device, an optimization method, and a program for optimizing machine learning and simulation parameters.
  • Non-Patent Document 1 a technique for reproducing urban traffic by moving a large amount of cars on a simulation.
  • the performance of machine learning varies depending on its hyper parameters.
  • the output varies depending on the parameters.
  • hyper parameters or parameters are collectively referred to as parameters.
  • the memory capacity required for computation may be insufficient, and calculation may not be performed.
  • Non-Patent Document 3 a new search point is obtained by a calculation that replaces parameters of known data points based on a certain rule called crossover or mutation. For this reason, a calculation time for obtaining a search point is not so much required, but a good search point is often not obtained as compared with Bayesian optimization or the like, and the search efficiency is poor.
  • the present invention has been made in view of the above points, and an object thereof is to provide an optimization device, an optimization method, and a program that can optimize parameters with a small number of evaluations.
  • the optimization device is an optimization device that optimizes a parameter used when calculating evaluation data as an input, and uses the parameter serving as a search point and the evaluation data, It is obtained by repeating an evaluation unit that calculates an evaluation value that is an index for evaluating the calculation result, an optimization unit that optimizes the parameter, a process performed by the evaluation unit, and a process performed by the optimization unit. And an output unit that outputs optimized parameters, wherein the optimization unit is calculated using the parameters used by the evaluation unit for calculation and the parameters used for the calculation by the evaluation unit as search points.
  • a search point candidate generation unit that generates a plurality of search point candidates that are parameters that are search point candidates, and each of the plurality of search point candidates generated by the search point candidate generation unit is stored in the evaluation data storage unit.
  • a search point determination unit that determines whether or not to use the plurality of stored data points as a search point.
  • the optimization method according to the present invention is an optimization method used in an optimization device that optimizes parameters used when calculating evaluation data as input, wherein the evaluation unit serves as a search point.
  • a step of calculating an evaluation value that is an index for evaluating the result of the calculation, an optimization unit optimizing the parameter, and an output unit include the evaluation
  • the step of outputting the optimized parameter obtained by repeating the process by the optimization unit and the process by the optimization unit and the step of optimization by the optimization unit includes the evaluation data storage unit, A plurality of data points consisting of a set of a parameter used for calculation by the evaluation unit and the evaluation value calculated using the parameter used for the calculation by the evaluation unit as a search point.
  • a search point candidate generation unit generates a plurality of search point candidates that are parameters to be search point candidates based on the plurality of parameters used for the calculation stored in the evaluation data storage unit.
  • Step and a search point determination unit using the plurality of data points stored in the evaluation data storage unit for each of the plurality of search point candidates generated by the search point candidate generation unit. Determining whether the candidate is a search point.
  • the evaluation unit calculates an evaluation value that is an index for evaluating the result of the calculation, using the parameter serving as the search point and the evaluation data,
  • the optimization unit optimizes the parameter, and the output unit outputs the optimized parameter obtained by repeating the processing by the evaluation unit and the processing by the optimization unit.
  • the processing by the optimization unit includes a plurality of sets of evaluation data storage units each including a set of parameters used by the evaluation unit for calculation and evaluation values calculated by the evaluation unit using the parameters used for the calculation as search points.
  • the data point is stored, and the search point candidate generation unit generates a plurality of search point candidates that are parameters to be search point candidates based on the parameters used for the plurality of calculations stored in the evaluation data storage unit, Whether the search point determination unit uses the plurality of data points stored in the evaluation data storage unit as the search point for each of the plurality of search point candidates generated by the search point candidate generation unit. Determine whether.
  • the evaluation unit calculates the parameters used for the calculation and the evaluation unit.
  • the optimization unit of the optimization apparatus further includes an evaluation environment acquisition unit that acquires information about the evaluation environment, and the evaluation data storage unit converts each of the plurality of data points into the evaluation environment.
  • the information can be stored in association with the information about the evaluation environment acquired by the acquisition unit.
  • the step of optimizing by the optimization unit of the optimization method according to the present invention further includes a step of an evaluation environment acquisition unit acquiring information about the evaluation environment, and the step of storing the evaluation data storage unit includes: Each of the plurality of data points can be stored in association with information about the evaluation environment acquired by the evaluation environment acquisition unit.
  • the search point determination unit of the optimization device uses the plurality of data points stored in the evaluation data storage unit and information on the plurality of evaluation environments, and the parameter and the evaluation environment.
  • the parameter of the search point candidate and the evaluation are used using a discriminator learned to determine whether or not the evaluation value is a good evaluation value.
  • the search point candidate can be set as a search point.
  • the step of optimizing by the optimization unit of the optimization method according to the present invention further includes a step of an evaluation environment acquisition unit acquiring information about the evaluation environment, and the step of storing the evaluation data storage unit includes: Each of the plurality of data points can be stored in association with information about the evaluation environment acquired by the evaluation environment acquisition unit.
  • the search point candidate generation unit of the optimization device performs sampling from the domain of each element of the parameter, or each of the plurality of data points stored in the evaluation data storage unit By using a genetic algorithm for the parameter, the plurality of search point candidates can be generated.
  • the program according to the present invention is a program for causing each of the optimization devices to function.
  • parameters can be optimized with a small number of evaluations.
  • the traffic condition acquired by the control device is used as the evaluation environment, the evaluation value is calculated using the traffic simulation as the evaluation means, and the optimization device that optimizes the signal parameter s is used.
  • the optimization device that optimizes the signal parameter s is used.
  • traffic signal control is performed by a control device.
  • traffic signal control a plan for switching the signal light color is created in one cycle, and signal control is performed according to the repetition of the plan.
  • This plan is uniquely determined by specifying the signal parameter s.
  • the process of optimizing the signal parameter s is performed by the optimization apparatus according to the present embodiment.
  • FIG. 1 is a block diagram showing a configuration of a traffic signal control system 1 according to an embodiment of the present invention.
  • the traffic signal control system 1 includes an optimization device 10, a control device 50, and a plurality of traffic signal devices (not shown).
  • the optimization apparatus 10 is configured by a computer including a CPU, a RAM, and a ROM that stores a program for executing an optimization processing routine to be described later. It is configured.
  • the optimization apparatus 10 includes an optimization unit 100, an evaluation data storage unit 200, an evaluation unit 300, and an output unit 400. .
  • the optimization unit 100 optimizes the signal parameter s.
  • the optimization unit 100 includes an evaluation environment acquisition unit 110, a search point candidate generation unit 120, a search point determination unit 130, an evaluation data storage unit 140, and a learning unit 150. .
  • the evaluation environment acquisition unit 110 acquires information about the evaluation environment.
  • the evaluation environment acquisition unit 110 acquires, from the output unit 520 of the control device 50, evaluation environment information ⁇ that represents a traffic state such as a road congestion state as a vector.
  • evaluation environment information ⁇ acquired at the t-th time is expressed as evaluation environment information ⁇ t .
  • the evaluation environment acquisition unit 110 passes the acquired evaluation environment information ⁇ t to the evaluation data storage unit 140.
  • Evaluation data storage unit 140 is composed of a set of signal parameters s t the evaluation unit 300 is used in the calculation, the calculated evaluation value l t signal parameters s t used in the calculation as the search point by the evaluation unit 300
  • Each of the plurality of data points is stored in association with information related to the evaluation environment information ⁇ t acquired by the evaluation environment acquisition unit 110.
  • the evaluation data storage unit 140 includes the evaluation environment information ⁇ t acquired at the evaluation times t and t of the evaluation unit 300, and the signal used by the evaluation unit 300 for the calculation at the t time.
  • the signal parameter s t which is a vector representing the parameter and the evaluation value l t which is the evaluation value calculated by the evaluation unit 300 at the t-th time are stored in association with each other.
  • the evaluation data storage unit 140 is not limited to the case where it is realized by only one table as shown in FIG. 2, but may be realized by a plurality of tables.
  • the evaluation environment column of the table may be omitted.
  • Search point candidate generating unit 120 based on the signal parameters s t used for a plurality of calculation stored in the evaluation data storage unit 140, generates a plurality of search point candidates is the candidate to become the signal parameters of the search points.
  • the search point candidate generating unit 120 first acquires a plurality of signal parameters s t from the evaluation data storage unit 140.
  • the search point candidate generating unit 120 based on a plurality of signal parameters s t, the variance range of each element of the signal parameters to perform sampling or evaluation data storage unit of a plurality of data points stored in 140 by using a genetic algorithm for each signal parameter s t, j-number of the search point candidates (e.g., 200) for generating a signal parameter s of.
  • a value is randomly sampled from the executable region S of the signal parameter s and used. A method is available.
  • each element of a signal parameter s is four-dimensional, east-west blue display, yellow display, north-south blue display, yellow display, the east-west blue display range is 10 to 200 seconds, yellow display change If the zone is 4 seconds (fixed value), the north-south display range is 10 to 200 seconds, and the yellow display range is 4 seconds (fixed value), then (50, 4, 70, 4) and (150 , 4, 33, 4) by sampling signal parameters such as search point candidates.
  • the selection used in the genetic algorithm, crossover, by operating the mutation to generate the search point candidates be able to.
  • the search point candidate generation unit 120 passes the generated j search point candidates to the search point determination unit 130.
  • the search point determination unit 130 uses each discriminator c learned to determine whether or not a good evaluation value is obtained by using a combination of the signal parameter and the evaluation environment information as an input, and each of the j search point candidates. When it is determined that a good evaluation value is obtained when a combination of the signal parameter of the search point candidate and information on the evaluation environment acquired by the evaluation environment acquisition unit 110 is input to the discriminator c, the search point candidate is selected. Let it be a search point.
  • the search point determination unit 130 learns to determine whether each of the j search point candidates is a good evaluation value. Is input with the evaluation environment information ⁇ connected to the signal parameter s of the search point candidate.
  • an r-dimensional vector representing the evaluation environment information ⁇ Updated to the signal parameter s Is a signal parameter that is input to the discriminator c Used as In this case, w learned by the discriminator c is a d + r-dimensional vector.
  • the discriminator c receives the signal parameter s and outputs ⁇ 1, 1 ⁇ . When the output is 1, the discriminator c determines that the evaluation value is good.
  • the search point determination unit 130 randomly extracts k search signal candidates from the search point candidate signal parameter s for which the output of the discriminator c is 1, and sets it as k search points.
  • the search point determination unit 130 passes k search points to the evaluation unit 300.
  • the evaluation data storage unit 200 stores evaluation data that is data necessary for performing a traffic simulation.
  • the evaluation data may be any data as long as it is necessary for the traffic simulation.
  • the shape of the road, the speed limit of each road, the number of vehicles, the entry time of each vehicle into the traffic simulation section, The route of those vehicles, the start time and end time of traffic simulation, etc. can be used.
  • the evaluation unit 300 calculates an evaluation value l, which is an index for evaluating the calculation result, using the signal parameter s as a search point and the evaluation data.
  • the evaluation unit 300 acquires the evaluation data from the evaluation data storage unit 200, and calculates an evaluation value l corresponding to the signal parameter s of the search point by simulation. After the number of the evaluation unit 300 calculates an evaluation value l is assumed to be t th, the evaluation unit 300 calculates an evaluation value l t corresponding to the signal parameters s t of search points by simulation.
  • the evaluation unit 300 stores the set of the signal parameter st and the evaluation value l t of the search point in the evaluation data storage unit 140 as a data point.
  • the evaluation unit 300 performs the above process for each of the k search points.
  • the evaluation unit 300 executes evaluation of k search points output from the search point determination unit 130 in parallel with the specified parallel number to obtain an evaluation value l. good.
  • the evaluation unit 300 determines whether or not the number t of simulations exceeds the maximum number (for example, 1000 times) of repeating a predetermined simulation. If t exceeds the maximum number of times, the output unit 400 is instructed to output an optimal signal parameter.
  • t is updated by adding k, which is the number of search points output by the search point determination unit 130, and the optimization unit 100 is instructed to perform the process again.
  • the output unit 400 outputs an optimized signal parameter s * obtained by repeating the process performed by the evaluation unit 300 and the process performed by the optimization unit 100.
  • the output unit 400 when the output unit 400 is instructed to output the optimum signal parameter s * from the evaluation unit 300, the output parameter 400 stored in the evaluation data storage unit 140 is the signal parameter s t that has been subjected to traffic simulation so far. , And an evaluation value l t is obtained.
  • the output unit 400 passes the signal parameter s that minimizes the evaluation value l t to the input unit 500 of the control device 50 as the optimized signal parameter s * .
  • the learning unit 150 uses a plurality of data points stored in the evaluation data storage unit 140 and information on the plurality of evaluation environment information ⁇ t to input a discriminator c that receives a combination of the signal parameter and the evaluation environment information. learn.
  • the learning unit 150 receives all evaluation environment information and data points from the evaluation data storage unit 140.
  • the learning unit 150 labels the signal parameter s of each data point according to the evaluation value in order to create the data set D that the classifier c learns. Is granted.
  • 1 is assigned to the upper 50% of the signal parameters having a good evaluation value l t and ⁇ 1 is assigned to the lower 50%.
  • This ratio is not limited to 50%, and if sufficient data for learning of the discriminator c is collected, it may be freely determined such that the upper 10% and the lower 20%. Further, it may be changed while the optimization process is repeated.
  • w is a weight learned by the linear discriminator
  • ⁇ is a predetermined threshold value. For example, 0 is used as ⁇ .
  • i is a variable that takes a value not less than 1 and not more than the number of data points (t).
  • the learning unit 150 sets the learned weight as w * and uses the discriminator. Get.
  • the learning unit 150 uses the learned discriminator To the search point determination unit 130.
  • the learning of the discriminator c is not limited to the above-described method, and a machine learning method such as SVM (Support Vector Machine), DNN (Deep Neural Network), or GBDT (Gradient Boosting Decision Tree) can be used.
  • SVM Small Vector Machine
  • DNN Deep Neural Network
  • GBDT Gdient Boosting Decision Tree
  • the control device 50 is configured by a computer having a CPU and a RAM, and is functionally configured as follows.
  • control device 50 includes an input unit 500 and a control unit 510.
  • the input unit 500 receives an input of the optimized signal parameter s * from the output unit 400. In addition, the input unit 500 receives an input with the traffic situation in an area including a plurality of traffic signals as the evaluation environment information ⁇ .
  • the input unit 500 passes the received optimized signal parameter s * and evaluation environment information ⁇ to the control unit 510.
  • Control unit 510 controls a plurality of traffic signals using evaluation environment information ⁇ and optimized signal parameter s * .
  • control unit 510 instructs each of the plurality of traffic signals to switch, maintain, or blink the signal lamp color based on the optimized signal parameter s * .
  • control unit 510 passes the evaluation environment information ⁇ representing the traffic situation after giving an instruction to each of the plurality of traffic signals to the output unit 520.
  • the output unit 520 passes the evaluation environment information ⁇ to the evaluation environment acquisition unit 110 of the optimization device 10.
  • FIG. 3 is a flowchart showing an optimization processing routine according to the embodiment of the present invention.
  • step S100 the evaluation unit 300 acquires evaluation data from the evaluation data storage unit 200.
  • step S120 the evaluation environment acquisition unit 110 acquires evaluation environment information ⁇ , which is information related to the evaluation environment, from the output unit 520 of the control device 50.
  • step S130 the search point candidate generating unit 120 obtains a plurality of signal parameters s t from the evaluation data storage unit 140.
  • step S140 the search point candidate generating unit 120, based on the acquired signal parameters s t by in step S130, it generates a j-number of the search point candidates is the candidate to become the signal parameters of the search points.
  • step S150 the search point determination unit 130 uses the discriminator c learned to determine whether or not the combination of the signal parameter and the evaluation environment information is a good evaluation value, and uses j discriminators c. For each point candidate, it is determined whether or not a good evaluation value is obtained when a combination of the signal parameter of the search point candidate and the information regarding the evaluation environment acquired by the evaluation environment acquisition unit 110 is input to the discriminator c.
  • step S160 the search point determination unit 130 randomly extracts k search point candidates determined to be good evaluation values and sets them as k search points.
  • step S170 the evaluation unit 300 selects the first search point among the k search points.
  • step S180 the evaluation unit 300 calculates an evaluation value l, which is an index for evaluating the calculation result, using the signal parameter s serving as the selected search point and the evaluation data.
  • step S190 the evaluation unit 300 stores the set of the signal parameter s and the evaluation value l of the selected search point in the evaluation data storage unit 140 as a data point.
  • step S200 the evaluation unit 300 determines whether or not the above processing has been performed for all search points.
  • step S210 the evaluation unit 300 selects the next search point and returns to step S180.
  • step S220 the learning unit 150 stores information on the plurality of data points and the plurality of evaluation environment information ⁇ t stored in the evaluation data storage unit 140. Are used to learn the discriminator c.
  • step S230 the evaluation unit 300 determines whether or not the number t of simulations exceeds the maximum number of times of repeating a predetermined simulation.
  • step S240 If t does not exceed the maximum number of times (NO in step S230), in step S240, t + k is substituted for t, and the processing in steps S120 to S220 is repeated.
  • step S250 the output unit 400 outputs the optimized signal parameter s * .
  • FIG. 4 is a diagram showing the relationship between the number of searches and the loss time when the optimization apparatus 10 according to the embodiment of the present invention is used.
  • the search can be made approximately 10,000 times more efficient than the genetic algorithm (GA), and (2) the number of evaluations is 1000 to 10 times. It worked even when there were many times such as 10,000 times, and the result that the index was improved was able to be obtained.
  • GA genetic algorithm
  • evaluation is performed for each of a plurality of search point candidates that are parameters that are candidates for a search point generated based on parameters used for a plurality of calculations. Whether or not a search point candidate is used as a search point using a plurality of data points consisting of a combination of parameters used by the unit for calculation and evaluation values calculated using the parameters used for calculation by the evaluation unit as search points By determining this, it is possible to optimize the parameters with a small number of evaluations.
  • the learning of the discriminator c has been described as a configuration performed in the optimization process by the optimization unit 100.
  • the configuration is not limited to this example, and the data in the evaluation data storage unit 140 is stored. And may be implemented as a batch process.
  • the processing time of the optimization unit 100 can be shortened.
  • the present invention is not limited to this.
  • the present invention can be applied to crowd guidance using a guide.
  • a human flow simulation may be selected as the evaluation, and the placement location of the guide and the guidance method may be selected as the parameters.
  • the present invention can be applied to optimization of hyperparameters of machine learning.
  • learning of a machine learning model may be selected as an evaluation, and a hyper parameter may be selected as a parameter.
  • the program is installed in advance.
  • the program is installed in a computer used as an optimization device that is provided by being stored in a computer-readable recording medium. Or can be distributed via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

少ない評価回数で、パラメータの最適化を行うことができるようにする。　探索点判定部１３０が、探索点候補生成部１２０が複数の計算に用いたパラメータに基づいて生成した、探索点の候補となるパラメータである複数の探索点候補の各々について、評価部３００が計算に用いたパラメータと、評価部３００により計算に用いたパラメータを探索点として計算された評価値との組からなる複数のデータ点を用いて、探索点候補を探索点とするか否かを判定する。

Description

最適化装置、最適化方法、及びプログラム
　本発明は、最適化装置、最適化方法、及びプログラムに係り、特に機械学習やシミュレーションのパラメータを最適化するための最適化装置、最適化方法、及びプログラムに関する。
　近年、機械学習やシミュレーションの重要性が増してきている。機械学習やシミュレーションを用いた技術の例として、シミュレーション上で車を大量に動かし、都市交通を再現する技術がある（非特許文献１）。機械学習はそのハイパーパラメータによって性能が変動する。また、シミュレーションもそのパラメータによって出力が変動する。ここで、ハイパーパラメータないしパラメータをまとめてパラメータと表記する。
　パラメータを、適切な値に最適化する必要がある。最適化は、あらかじめ指定された指標が最良となるように行われ、パラメータについての評価値の計算（以下、評価と呼ぶ）と、新たな評価の候補となるパラメータ（以下、探索点）を得る探索点の生成を、繰り返し実施することによって行われる。こうした手順の最適化に用いられる手法には、ベイズ最適化（非特許文献２）や遺伝的アルゴリズム（非特許文献３）がある。
　最適化すべきパラメータ項目が多く、高次元のパラメータを最適化する場合がある。一般に、パラメータの次元数に対して指数的に必要な評価回数が増加するため、最適化が進むに連れて、パラメータと評価値のペアからなるデータ（以下、データ点）が多量に蓄積されることがある。
Krajzewicz, D., Brockfeld, E., Mikat, J., Ringel, J., Rossel, C., Tuchscheerer, W., Wagner, P., and Wosler, R.: Simulation of modern Traffic Lights Control Systems using the open source Traffic Simulation SUMO, Proceedings of the 3rd Industrial Simulation Conference 2005, pp. 299-302. Shahriari, B., Swersky, K.,Wang, Z., Adams, R. P. and Freitas, de N.: Taking the human out of the loop: A review of bayesian optimization, Proceedings of the IEEE, Vol. 104, No. 1, 2016, pp. 148-175. Papageorgiou, M., Diakaki, C., Dinopoulou, V., Kotsialos, A. and Wang, Y.: Review of road traffic control strategies, Proceedings of the IEEE, Vol. 91, No. 12, 2003, pp. 2043-2067.
　しかし、非特許文献２の技術で用いられるベイズ最適化の計算では、利用可能なデータ点が多量にある場合、探索点を得る計算量がデータ点の数の３乗のオーダーであるため、計算時間が著しく増加し、現実的な時間に処理が完了しなくなる、という問題があった。
　また、利用される計算機の構成や処理能力によっては演算に必要なメモリ容量が不足し、計算が行えなくなることがあった。
　また、非特許文献３の遺伝的アルゴリズムの計算では、既知のデータ点のパラメータを、交叉や突然変異と呼ばれる一定のルールに基づいて置換える計算によって新たな探索点を得る。そのため、探索点を得るための計算時間はあまり必要としないが、ベイズ最適化等と比べて良い探索点が得られないことが多く、探索効率が悪い、という問題があった。
　本発明は上記の点に鑑みてなされたものであり、少ない評価回数で、パラメータの最適化を行うことができる最適化装置、最適化方法、及びプログラムを提供することを目的とする。
　本発明に係る最適化装置は、評価用データを入力として計算するときに用いられるパラメータを最適化する最適化装置であって、探索点となる前記パラメータと、前記評価用データとを用いて、前記計算の結果を評価する指標である評価値を計算する評価部と、前記パラメータを最適化する最適化部と、前記評価部による処理と、前記最適化部による処理とを繰り返すことにより得られる、最適化されたパラメータを出力する出力部と、を含み、前記最適化部は、前記評価部が計算に用いたパラメータと、前記評価部により前記計算に用いたパラメータを探索点として計算された前記評価値との組からなる複数のデータ点を格納する評価データ記憶部と、前記評価データ記憶部に格納された複数の前記計算に用いたパラメータに基づいて、探索点の候補となるパラメータである複数の探索点候補を生成する探索点候補生成部と、前記探索点候補生成部により生成された前記複数の探索点候補の各々について、前記評価データ記憶部に格納された前記複数のデータ点を用いて、前記探索点候補を探索点とするか否かを判定する探索点判定部と、を備えて構成される。
　また、本発明に係る最適化方法は、評価用データを入力として計算するときに用いられるパラメータを最適化する最適化装置に用いられる最適化方法であって、評価部が、探索点となる前記パラメータと、前記評価用データとを用いて、前記計算の結果を評価する指標である評価値を計算するステップと、最適化部が、前記パラメータを最適化するステップと、出力部が、前記評価部による処理と、前記最適化部による処理とを繰り返すことにより得られる、最適化されたパラメータを出力するステップと、を含み、前記最適化部が最適化するステップは、評価データ記憶部が、前記評価部が計算に用いたパラメータと、前記評価部により前記計算に用いたパラメータを探索点として計算された前記評価値との組からなる複数のデータ点を格納するステップと、探索点候補生成部が、前記評価データ記憶部に格納された複数の前記計算に用いたパラメータに基づいて、探索点の候補となるパラメータである複数の探索点候補を生成するステップと、探索点判定部が、前記探索点候補生成部により生成された前記複数の探索点候補の各々について、前記評価データ記憶部に格納された前記複数のデータ点を用いて、前記探索点候補を探索点とするか否かを判定するステップと、を含む。
　本発明に係る最適化装置及び最適化方法によれば、評価部が、探索点となるパラメータと、評価用データとを用いて、計算の結果を評価する指標である評価値を計算し、最適化部が、パラメータを最適化し、出力部が、評価部による処理と、最適化部による処理とを繰り返すことにより得られる、最適化されたパラメータを出力する。
　そして、最適化部による処理は、評価データ記憶部が、評価部が計算に用いたパラメータと、評価部により当該計算に用いたパラメータを探索点として計算された評価値との組からなる複数のデータ点を格納し、探索点候補生成部が、評価データ記憶部に格納された複数の計算に用いたパラメータに基づいて、探索点の候補となるパラメータである複数の探索点候補を生成し、探索点判定部が、探索点候補生成部により生成された複数の探索点候補の各々について、評価データ記憶部に格納された複数のデータ点を用いて、探索点候補を探索点とするか否かを判定する。
　このように、複数の計算に用いたパラメータに基づいて生成した、探索点の候補となるパラメータである複数の探索点候補の各々について、評価部が計算に用いたパラメータと、評価部により計算に用いたパラメータを探索点として計算された評価値との組からなる複数のデータ点を用いて、探索点候補を探索点とするか否かを判定することにより、少ない評価回数で、パラメータの最適化を行うことができる。
　また、本発明に係る最適化装置の前記最適化部は、評価環境に関する情報を取得する評価環境取得部を更に含み、前記評価データ記憶部は、前記複数のデータ点の各々を、前記評価環境取得部が取得した前記評価環境に関する情報と対応付けて格納することができる。
　また、本発明に係る最適化方法の前記最適化部が最適化するステップは、評価環境取得部が、評価環境に関する情報を取得するステップを更に含み、前記評価データ記憶部が格納するステップは、前記複数のデータ点の各々を、前記評価環境取得部が取得した前記評価環境に関する情報と対応付けて格納することができる。
　また、本発明に係る最適化装置の前記探索点判定部は、前記評価データ記憶部に格納された前記複数のデータ点と前記複数の評価環境に関する情報とを用いて、前記パラメータと前記評価環境に関する情報との組み合わせを入力として、良い評価値となるか否かを判別するように学習された判別器を用いて、前記複数の探索点候補の各々について、前記探索点候補のパラメータと前記評価環境取得部が取得した前記評価環境に関する情報との組み合わせを前記判別器に入力したときに良い評価値となると判別された場合に、前記探索点候補を探索点とすることができる。
　また、本発明に係る最適化方法の前記最適化部が最適化するステップは、評価環境取得部が、評価環境に関する情報を取得するステップを更に含み、前記評価データ記憶部が格納するステップは、前記複数のデータ点の各々を、前記評価環境取得部が取得した前記評価環境に関する情報と対応付けて格納することができる。
　また、本発明に係る最適化装置の前記探索点候補生成部は、前記パラメータの各要素の変域からサンプリングを行うこと、又は前記評価データ記憶部に格納された前記複数のデータ点の各々のパラメータに対して遺伝的アルゴリズムを用いることにより、前記複数の探索点候補を生成することができる。
　本発明に係るプログラムは、上記の最適化装置の各部として機能させるためのプログラムである。
　本発明の最適化装置、最適化方法、およびプログラムによれば、少ない評価回数で、パラメータの最適化を行うことができる。
本発明の実施の形態に係る交通信号制御システムの構成を示すブロック図である。 本発明の実施の形態に係る評価データ記憶部に格納される情報の例を示すイメージ図である。 本発明の実施の形態に係る最適化装置における最適化処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る最適化装置を用いた場合の探索回数と、損失時間との関係を表す図である。
　以下、本発明の実施の形態について図面を用いて説明する。
＜本発明の実施の形態に係る交通信号制御システムの構成＞
　　本実施形態では、交通信号制御において、評価環境として管制装置が取得する交通状況を用い、評価の手段として交通シミュレーションを用いて評価値を計算し、信号パラメータｓを最適化する最適化装置に本発明を適用した場合について説明する。
　本実施形態では、交通信号制御は、管制装置により行われる。交通信号制御では、信号灯色を切り替えるプランを１周期作成し、そのプランの繰り返しに従って、信号制御を行う。このプランは、信号パラメータｓを指定することで、一意に決定される。この信号パラメータｓを最適化する処理を、本実施形態に係る最適化装置にて行う。
　図１は、本発明の実施の形態に係る交通信号制御システム１の構成を示すブロック図である。
　本実施形態に係る交通信号制御システム１は、最適化装置１０と、管制装置５０と、複数の交通信号機（図示しない）で構成される。
＜＜本発明の実施の形態に係る最適化装置１０の構成＞＞
　本実施形態に係る最適化装置１０は、ＣＰＵと、ＲＡＭと、後述する最適化処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
　図１に示すように、本発明の実施の形態に係る最適化装置１０は、最適化部１００と、評価用データ記憶部２００と、評価部３００と、出力部４００とを備えて構成される。
　最適化部１００は、信号パラメータｓを最適化する。
　具体的には、最適化部１００は、評価環境取得部１１０と、探索点候補生成部１２０と、探索点判定部１３０と、評価データ記憶部１４０と、学習部１５０とを備えて構成される。
　評価環境取得部１１０は、評価環境に関する情報を取得する。
　具体的には、評価環境取得部１１０は、管制装置５０の出力部５２０から、道路の混雑状況等の交通状況をベクトルで表した評価環境情報θを取得する。ここで、ｔ回目に取得した評価環境情報θを、評価環境情報θｔと表す。
　そして、評価環境取得部１１０は、取得した評価環境情報θｔを、評価データ記憶部１４０に渡す。
　評価データ記憶部１４０は、評価部３００が計算に用いた信号パラメータｓｔと、評価部３００により当該計算に用いた信号パラメータｓｔを探索点として計算された評価値ｌｔとの組からなる複数のデータ点の各々を、評価環境取得部１１０が取得した評価環境情報θｔに関する情報と対応付けて格納する。
　具体的には、評価データ記憶部１４０は、図２に示すように、評価部３００の評価回数ｔ、ｔ回目に取得した評価環境情報θｔ、ｔ回目に評価部３００が計算に用いた信号パラメータを表すベクトルである信号パラメータｓｔ、及びｔ回目に評価部３００が計算した評価値である評価値ｌｔを紐付けて格納する。
　ここで、評価データ記憶部１４０は、図２のように１つのテーブルでのみ実現する場合に限定されず、複数のテーブルにより実現されても良い。また、単一の評価環境情報θについて信号パラメータｓの最適化を行う場合には、当該テーブルの評価環境の列は無くても良い。
　探索点候補生成部１２０は、評価データ記憶部１４０に格納された複数の計算に用いた信号パラメータｓｔに基づいて、探索点の候補となる信号パラメータである複数の探索点候補を生成する。
　具体的には、探索点候補生成部１２０は、まず、評価データ記憶部１４０から複数の信号パラメータｓｔを取得する。
　次に、探索点候補生成部１２０は、複数の信号パラメータｓｔに基づいて、信号パラメータの各要素の変域からサンプリングを行うこと、又は評価データ記憶部１４０に格納された複数のデータ点の各々の信号パラメータｓｔに対して遺伝的アルゴリズムを用いることにより、探索点候補となるｊ個（例えば、２００個）の信号パラメータｓを生成する。
　例えば、１回目の最適化処理の場合など、評価データ記憶部１４０に蓄積された信号パラメータが無い場合は、信号パラメータｓの実行可能領域Ｓから、値をランダムに一様分布からサンプリングして用いる方法が利用できる。
　ある信号パラメータｓの各要素が、東西方向の青表示、黄色表示、南北方向の青表示、黄色表示の４次元の場合、東西方向の青表示の変域が１０～２００秒、黄色表示の変域が４秒（固定値）、南北方向の表示の変域が１０～２００秒、黄色表示の変域が４秒（固定値）であれば、（５０，４，７０，４）や（１５０，４，３３，４）といった信号パラメータをサンプリングすることにより、探索点候補を生成する。
　また、評価データ記憶部１４０に格納された複数の信号パラメータｓｔが十分に多くある場合には、遺伝的アルゴリズムで使われる選択、交叉、変異の操作を行うことにより、探索点候補の生成することができる。
　そして、探索点候補生成部１２０は、生成したｊ個の探索点候補を、探索点判定部１３０に渡す。
　探索点判定部１３０は、信号パラメータと評価環境情報との組み合わせを入力として良い評価値となるか否かを判別するように学習された判別器ｃを用いて、ｊ個の探索点候補の各々について、当該探索点候補の信号パラメータと評価環境取得部１１０が取得した評価環境に関する情報との組み合わせを判別器ｃに入力したときに良い評価値となると判別された場合に、当該探索点候補を探索点とする。
　具体的には、探索点判定部１３０は、ｊ個の探索点候補の各々について、良い評価値となるか否かを判別するように学習された判別器
Figure JPOXMLDOC01-appb-I000001

 
に当該探索点候補の信号パラメータｓに評価環境情報θを連結したものを入力する。
　例えば、評価環境情報θを表すｒ次元のベクトル
Figure JPOXMLDOC01-appb-I000002

 
を、信号パラメータｓに連結して更新し、
Figure JPOXMLDOC01-appb-I000003

 
を判別器ｃの入力となる信号パラメータ
Figure JPOXMLDOC01-appb-I000004

 
として用いる。その場合の判別器ｃが学習するｗはｄ＋ｒ次元のベクトルとなる。
　判別器ｃは、信号パラメータｓを入力とし、｛－1，１｝を出力し、出力が１の場合に、良い評価値となると判別する。
　次に、探索点判定部１３０は、判別器ｃの出力が１となる探索点候補の信号パラメータｓのうち、ランダムにｋ個抽出して、ｋ個の探索点とする。
　そして、探索点判定部１３０は、ｋ個の探索点を、評価部３００に渡す。
　評価用データ記憶部２００は、交通シミュレーションを行うために必要なデータである評価用データを記憶する。
　ここで、評価用データは、交通シミュレーションを行うために必要なデータであれば何でもよく、例えば、道路の形状、各道路の制限速度、車両の台数、各車両の交通シミュレーション区間への進入時間、それらの車両のルート、交通シミュレーションの開始時間や終了時間等を用いることができる。
　評価部３００は、探索点となる信号パラメータｓと、評価用データとを用いて、計算の結果を評価する指標である評価値ｌを計算する。
　具体的には、評価部３００は、評価用データ記憶部２００から評価用データを取得し、シミュレーションによって探索点の信号パラメータｓに対応する評価値ｌを計算する。当該評価部３００が評価値ｌを計算する回数がｔ回目であるとすると、評価部３００は、シミュレーションによって探索点の信号パラメータｓｔに対応する評価値ｌｔを計算する。
　そして、評価部３００は、当該探索点の信号パラメータｓｔと評価値ｌｔとの組をデータ点として、評価データ記憶部１４０に格納する。
　評価部３００は、上記の処理をｋ個の探索点の各々について行う。
　また、評価部３００は、シミュレーションが並列に実行できる場合、探索点判定部１３０の出力するｋ個の探索点の評価を、指定した並列数で並列化して実行して評価値ｌを得ても良い。
　次に、評価部３００は、シミュレーションを行った回数ｔが、予め定めたシミュレーションを繰り返す最大回数（例えば、１０００回）を超えているか否かを判定する。ｔが最大回数を、超えている場合には、出力部４００に、最適な信号パラメータを出力するように命じる。
　一方、超えていない場合には、ｔに探索点判定部１３０が出力した探索点の数であるｋを加えて更新し、最適化部１００に、再度処理を行うように命令する。
　出力部４００は、評価部３００による処理と、最適化部１００による処理とを繰り返すことにより得られる、最適化された信号パラメータｓ＊を出力する。
　具体的には、出力部４００は、評価部３００から最適な信号パラメータｓ＊を出力するように命じられると、評価データ記憶部１４０に記憶されている今まで交通シミュレーションを行った信号パラメータｓｔ、及び評価値ｌｔを取得する。
　そして、出力部４００は、評価値ｌｔが最小となる信号パラメータｓを、最適化された信号パラメータｓ＊として、管制装置５０の入力部５００に渡す。
＜＜判別器ｃの学習＞＞
　ここで、学習部１５０による判別器ｃの学習について説明する。
　学習部１５０は、評価データ記憶部１４０に格納された複数のデータ点と複数の評価環境情報θｔに関する情報とを用いて、信号パラメータと評価環境情報との組み合わせを入力とする判別器ｃを学習する。
　まず、学習部１５０は、評価データ記憶部１４０から全ての評価環境情報とデータ点を受け取る。
　次に、学習部１５０は、判別器ｃが学習するデータセットＤを作るため、各データ点の信号パラメータｓに評価値に応じてラベル
Figure JPOXMLDOC01-appb-I000005

 
を付与する。
　例えば、ラベルｈは、評価値ｌｔの良い信号パラメータ上位５０％に１を付与し、下位５０％に－１を付与する。この割合は５０％に限らず判別器ｃの学習に十分なデータが集まれば、それぞれ上位１０％と下位２０％程度にする等自由に定めて良い。また、最適化処理の繰り返し中に変化させても良い。
　ｄ＋ｒ次元の正の実数パラメータからなる信号パラメータ
Figure JPOXMLDOC01-appb-I000006

 
について、｛－１，１｝を出力する判別器ｃを、線形判別器とすると、下記式（１）のように表すことができる。
Figure JPOXMLDOC01-appb-M000007
 
　ここで、ｗは線形判別器の学習する重みであり、τはあらかじめ決められた閾値である。例えば、τとして０が用いられる。
　そして、判別器ｃの出力と付与されたラベルｈについて、下記式（２）の誤差関数Ｅ（ｗ）が小さくなるように重みｗを学習する。
Figure JPOXMLDOC01-appb-M000008
 
　ここで、ｉは、１以上データ点の数（ｔ個）以下の値を取る変数である。
　重みｗの学習に確率的勾配降下法を用いる場合、学習率を表すη（０＜η＜１）を用いて、下記式（３）のように更新する。
Figure JPOXMLDOC01-appb-M000009
 
　重みｗの更新回数が決められた上限に達するか、誤差関数Ｅ（ｗ）の値が決められた値より小さくなったら学習を終了する。
　そして、学習部１５０は、学習された重みをｗ＊として、判別器
Figure JPOXMLDOC01-appb-I000010

 
を得る。学習部１５０は、学習された判別器
Figure JPOXMLDOC01-appb-I000011

 
を、探索点判定部１３０に渡す。
　なお、判別器ｃの学習は上記の手法に限定されず、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）や、ＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＧＢＤＴ（Ｇｒａｄｉｅｎｔ　Ｂｏｏｓｔｉｎｇ　Ｄｅｃｉｓｉｏｎ　Ｔｒｅｅ）等の機械学習手法を用いることができる。
　また、評価環境情報θを表すｒ次元のベクトル
Figure JPOXMLDOC01-appb-I000012

 
を、信号パラメータｓに連結して更新し、
Figure JPOXMLDOC01-appb-I000013

 
を判別器ｃの入力となる信号パラメータ
Figure JPOXMLDOC01-appb-I000014

 
として用いるため、混雑状況などの評価環境を考慮することができ、探索初期にもよい信号パラメータを得ることができ、探索を効率化することができる。
＜＜本発明の実施の形態に係る管制装置５０の構成＞＞
　管制装置５０は、ＣＰＵと、ＲＡＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
　図１に示すように、本発明の実施の形態に係る管制装置５０は、入力部５００と、制御部５１０とを備えて構成される。
　入力部５００は、出力部４００から最適化された信号パラメータｓ＊の入力を受け付ける。また、入力部５００は、複数の交通信号機を含むエリアの交通状況を評価環境情報θとして、入力を受け付ける。
　そして、入力部５００は、受け付けた最適化された信号パラメータｓ＊及び評価環境情報θを、制御部５１０に渡す。
　制御部５１０は、評価環境情報θと、最適化された信号パラメータｓ＊とを用いて、複数の交通信号機を制御する。
　具体的には、制御部５１０は、複数の交通信号機の各々に対し、最適化された信号パラメータｓ＊に基づいて、信号灯色を切り替える、維持する、点滅させる等の命令を行う。
　また、制御部５１０は、複数の交通信号機の各々に対して命令を行った後の交通状況を表す評価環境情報θを、出力部５２０に渡す。
　出力部５２０は、評価環境情報θを、最適化装置１０の評価環境取得部１１０に渡す。
＜本発明の実施の形態に係る最適化装置の作用＞
　図３は、本発明の実施の形態に係る最適化処理ルーチンを示すフローチャートである。
　評価環境取得部１１０に評価環境情報θが入力されると、最適化置１０において、図３に示す最適化処理ルーチンが実行される。
　まず、ステップＳ１００において、評価部３００は、評価用データ記憶部２００から評価用データを取得する。
　次に、ステップＳ１１０において、ｔ＝１とする。
　ステップＳ１２０において、評価環境取得部１１０は、管制装置５０の出力部５２０から、評価環境に関する情報である評価環境情報θを取得する。
　ステップＳ１３０において、探索点候補生成部１２０は、評価データ記憶部１４０から複数の信号パラメータｓｔを取得する。
　ステップＳ１４０において、探索点候補生成部１２０は、上記ステップＳ１３０により取得した信号パラメータｓｔに基づいて、探索点の候補となる信号パラメータであるｊ個の探索点候補を生成する。
　ステップＳ１５０において、探索点判定部１３０は、信号パラメータと評価環境情報との組み合わせを入力として良い評価値となるか否かを判別するように学習された判別器ｃを用いて、ｊ個の探索点候補の各々について、当該探索点候補の信号パラメータと評価環境取得部１１０が取得した評価環境に関する情報との組み合わせを判別器ｃに入力したときに良い評価値となるか否かを判別する。
　ステップＳ１６０において、探索点判定部１３０は、良い評価値となると判別された探索点候補のうち、ランダムにｋ個抽出して、ｋ個の探索点とする。
　ステップＳ１７０において、評価部３００は、ｋ個の探索点のうち、１番目の探索点を選択する。
　ステップＳ１８０において、評価部３００は、選択された探索点となる信号パラメータｓと、評価用データとを用いて、計算の結果を評価する指標である評価値ｌを計算する。
　ステップＳ１９０において、評価部３００は、選択された探索点の信号パラメータｓと評価値ｌとの組をデータ点として、評価データ記憶部１４０に格納する。
　ステップＳ２００において、評価部３００は、全ての探索点について、上記処理を行ったか否かを判定する。
　全ての探索点について処理を行っていない場合（ステップＳ２００のＮＯ）、ステップＳ２１０において、評価部３００は、次の探索点を選択し、ステップＳ１８０に戻る。
　全ての探索点について処理を行っている場合（ステップＳ２００のＹＥＳ）、ステップＳ２２０において、学習部１５０は、評価データ記憶部１４０に格納された複数のデータ点と複数の評価環境情報θｔに関する情報とを用いて、判別器ｃを学習する。
　ステップＳ２３０において、評価部３００は、シミュレーションを行った回数ｔが、予め定めたシミュレーションを繰り返す最大回数を超えているか否かを判定する。
　ｔが最大回数を超えていない場合（ステップＳ２３０のＮＯ）、ステップＳ２４０において、ｔにｔ＋ｋを代入して、ステップＳ１２０～ステップＳ２２０の処理を繰り返す。
　一方、ｔが最大回数を超えている場合（ステップＳ２３０のＹＥＳ）、ステップＳ２５０において、出力部４００は、最適化された信号パラメータｓ＊を出力する。
＜本発明の実施の形態に係る最適化装置の実験結果＞
　次に、本実施形態に係る最適化装置１０を適用して行った実験結果について説明する。
　ルクセンブルク市の交通渋滞緩和タスクで、１９９交差点、約１５００次元の信号パラメータを最適化する実験を行った（参考文献１）。
［参考文献１］Codeca, L., Frank, R., Faye, S., & Engel, T., "Luxembourg SUMO Traffic (LuST) Scenario: Traffic Demand Evaluation", IEEE Intelligent Transportation Systems Magazine, 9(2), 2017, p.p.52-63.
　また、非特許文献３の遺伝的アルゴリズム（ＧＡ）を用いた場合の結果を比較対象とした。
　図４は、本発明の実施の形態に係る最適化装置１０を用いた場合の探索回数と、損失時間との関係を表す図である。
　図４に示すように、本実施形態の手法を用いると、（１）遺伝的アルゴリズム（ＧＡ）と比べて約１万倍探索を効率化することができ、（２）評価回数が１０００～１０万回など多い場合にも動作し、指標が改善されるという結果を得ることができた。
　以上説明したように、本実施形態に係る最適化装置によれば、複数の計算に用いたパラメータに基づいて生成した、探索点の候補となるパラメータである複数の探索点候補の各々について、評価部が計算に用いたパラメータと、評価部により計算に用いたパラメータを探索点として計算された評価値との組からなる複数のデータ点を用いて、探索点候補を探索点とするか否かを判定することにより、少ない評価回数で、パラメータの最適化を行うことができる。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　上述の実施形態では、判別器ｃの学習は、最適化部１００による最適化処理の中で行われる構成として説明したが、この例に限定されるものではなく、評価データ記憶部１４０のデータを用いてバッチ処理として実施されても良い。
　例えば、判別器ｃの学習に時間がかかる場合、最適化部１００の処理と並行して学習させ、学習が完了したところで探索点判定部１３０のモデルとして更新することや、最適化部１００の処理が行われていない間にバッチ処理として学習させたものを用いることにより、最適化部１００の処理時間を短縮することができる。
　また、本実施形態では、評価として交通シミュレーションを、パラメータとして信号パラメータを選択した場合について説明したが、これに限定されるものではない。例えば、他の実施形態として、誘導員を用いた群衆の誘導にも適用することができる。この場合は、評価として人流シミュレーションを、パラメータとして誘導員の配置場所及び誘導方法を選択すればよい。
　また、他の実施形態として、機械学習のハイパーパラメータの最適化にも適用することができる。この場合には、評価として機械学習モデルの学習を、パラメータとしてハイパーパラメータを選択すればよい。
　また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供する、最適化装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることも可能である。
１ 交通信号制御システム
１０ 最適化装置
５０ 管制装置
１００ 最適化部
１１０ 評価環境取得部
１２０ 探索点候補生成部
１３０ 探索点判定部
１４０ 評価データ記憶部
１５０ 学習部
２００ 評価用データ記憶部
３００ 評価部
４００ 出力部
５００ 入力部
５１０ 制御部
５２０ 出力部

Claims (8)

  1. 　評価用データを入力として計算するときに用いられるパラメータを最適化する最適化装置であって、
    　探索点となる前記パラメータと、前記評価用データとを用いて、前記計算の結果を評価する指標である評価値を計算する評価部と、
    　前記パラメータを最適化する最適化部と、
    　前記評価部による処理と、前記最適化部による処理とを繰り返すことにより得られる、最適化されたパラメータを出力する出力部と、
    　を含み、
    　前記最適化部は、
    　前記評価部が計算に用いたパラメータと、前記評価部により前記計算に用いたパラメータを探索点として計算された前記評価値との組からなる複数のデータ点を格納する評価データ記憶部と、
    　前記評価データ記憶部に格納された複数の前記計算に用いたパラメータに基づいて、探索点の候補となるパラメータである複数の探索点候補を生成する探索点候補生成部と、
    　前記探索点候補生成部により生成された前記複数の探索点候補の各々について、前記評価データ記憶部に格納された前記複数のデータ点を用いて、前記探索点候補を探索点とするか否かを判定する探索点判定部と、
    　を含む最適化装置。
  2. 　前記最適化部は、
    　評価環境に関する情報を取得する評価環境取得部
    　を更に含み、
    　前記評価データ記憶部は、前記複数のデータ点の各々を、前記評価環境取得部が取得した前記評価環境に関する情報と対応付けて格納する
    　請求項１記載の最適化装置。
  3. 　前記探索点判定部は、
    　前記評価データ記憶部に格納された前記複数のデータ点と前記複数の評価環境に関する情報とを用いて、前記パラメータと前記評価環境に関する情報との組み合わせを入力として、良い評価値となるか否かを判別するように学習された判別器を用いて、前記複数の探索点候補の各々について、前記探索点候補のパラメータと前記評価環境取得部が取得した前記評価環境に関する情報との組み合わせを前記判別器に入力したときに良い評価値となると判別された場合に、前記探索点候補を探索点とする
    　請求項２記載の最適化装置。
  4. 　前記探索点候補生成部は、
    　前記パラメータの各要素の変域からサンプリングを行うこと、又は前記評価データ記憶部に格納された前記複数のデータ点の各々のパラメータに対して遺伝的アルゴリズムを用いることにより、前記複数の探索点候補を生成する
    　請求項１乃至３の何れか１項記載の最適化装置。
  5. 　評価用データを入力として計算するときに用いられるパラメータを最適化する最適化装置に用いられる最適化方法であって、
    　評価部が、探索点となる前記パラメータと、前記評価用データとを用いて、前記計算の結果を評価する指標である評価値を計算するステップと、
    　最適化部が、前記パラメータを最適化するステップと、
    　出力部が、前記評価部による処理と、前記最適化部による処理とを繰り返すことにより得られる、最適化されたパラメータを出力するステップと、
    　を含み、
    　前記最適化部が最適化するステップは、
    　評価データ記憶部が、前記評価部が計算に用いたパラメータと、前記評価部により前記計算に用いたパラメータを探索点として計算された前記評価値との組からなる複数のデータ点を格納するステップと、
    　探索点候補生成部が、前記評価データ記憶部に格納された複数の前記計算に用いたパラメータに基づいて、探索点の候補となるパラメータである複数の探索点候補を生成するステップと、
    　探索点判定部が、前記探索点候補生成部により生成された前記複数の探索点候補の各々について、前記評価データ記憶部に格納された前記複数のデータ点を用いて、前記探索点候補を探索点とするか否かを判定するステップと、
    　を含む最適化方法。
  6. 　前記最適化部が最適化するステップは、
    　評価環境取得部が、評価環境に関する情報を取得するステップ
    　を更に含み、
    　前記評価データ記憶部が格納するステップは、前記複数のデータ点の各々を、前記評価環境取得部が取得した前記評価環境に関する情報と対応付けて格納する
    　請求項５記載の最適化方法。
  7. 　前記探索点判定部が判定するステップは、
    　前記評価データ記憶部に格納された前記複数のデータ点と前記複数の評価環境に関する情報とを用いて、前記パラメータと前記評価環境に関する情報との組み合わせを入力として、良い評価値となるか否かを判別するように学習された判別器を用いて、前記複数の探索点候補の各々について、前記探索点候補のパラメータと前記評価環境取得部が取得した前記評価環境に関する情報との組み合わせを前記判別器に入力したときに良い評価値となると判別された場合に、前記探索点候補を探索点とする
    　請求項６記載の最適化方法。
  8. 　コンピュータを、請求項１乃至４の何れか１項記載の最適化装置の各部として機能させるためのプログラム。
PCT/JP2019/017450 2018-04-27 2019-04-24 最適化装置、最適化方法、及びプログラム WO2019208639A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/050,773 US20210241123A1 (en) 2018-04-27 2019-04-24 Optimization device, optimization method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018087589A JP7059781B2 (ja) 2018-04-27 2018-04-27 最適化装置、最適化方法、及びプログラム
JP2018-087589 2018-04-27

Publications (1)

Publication Number Publication Date
WO2019208639A1 true WO2019208639A1 (ja) 2019-10-31

Family

ID=68295192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017450 WO2019208639A1 (ja) 2018-04-27 2019-04-24 最適化装置、最適化方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210241123A1 (ja)
JP (1) JP7059781B2 (ja)
WO (1) WO2019208639A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123270A (ja) * 2019-01-31 2020-08-13 株式会社日立製作所 演算装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI753329B (zh) * 2019-12-06 2022-01-21 財團法人工業技術研究院 具風險評估之最佳取樣參數搜尋系統、方法與圖案化使用者介面
CN113886989B (zh) * 2021-10-08 2024-03-29 长江大学 一种基于机器学习的石油钻井的参数优化方法及系统
CN117594242B (zh) * 2024-01-19 2024-04-09 浙江大学 人体疲劳度评估优化方法、装置、设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157112A (ja) * 2016-03-03 2017-09-07 三菱日立パワーシステムズ株式会社 制御パラメータ自動調整装置、制御パラメータ自動調整方法、及び制御パラメータ自動調整装置ネットワーク

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3399421B2 (ja) * 1999-11-05 2003-04-21 住友電気工業株式会社 交通信号制御装置
JP2003016582A (ja) * 2001-07-03 2003-01-17 Matsushita Electric Ind Co Ltd 信号制御装置および方法
US7398257B2 (en) * 2003-12-24 2008-07-08 Yamaha Hatsudoki Kabushiki Kaisha Multiobjective optimization apparatus, multiobjective optimization method and multiobjective optimization program
JP4857214B2 (ja) * 2007-07-27 2012-01-18 パナソニック株式会社 交通信号制御パラメータ設計装置及び交通信号制御パラメータ生成方法
EP2187369A3 (en) * 2008-06-04 2012-03-28 Roads and Traffic Authority of New South Wales Traffic signals control system
JP5565289B2 (ja) * 2010-12-08 2014-08-06 富士通株式会社 探索プログラム、探索方法及び探索処理装置
EP3158547B1 (en) * 2014-06-17 2020-10-07 King Abdullah University Of Science And Technology System and method for traffic signal timing estimation
JP5954750B2 (ja) * 2014-06-30 2016-07-20 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 情報処理装置、情報処理方法、及びプログラム
US20180096595A1 (en) * 2016-10-04 2018-04-05 Street Simplified, LLC Traffic Control Systems and Methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157112A (ja) * 2016-03-03 2017-09-07 三菱日立パワーシステムズ株式会社 制御パラメータ自動調整装置、制御パラメータ自動調整方法、及び制御パラメータ自動調整装置ネットワーク

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
I GEDE PASEK SUTA WIJAYA ET AL.: "Fitness Evaluation of Multi-Element Genetic Algorithm for Traffic Signal Parameters Optimization", PROCEEDINGS OF ICSIIT 2012 ( INTERNATIONAL CONFERENCE ON SOFT COMPUTING, INTELLIGENT SYSTEM AND INFORMATION TECHNOLOGY 2012, 25 May 2012 (2012-05-25), pages 58 - 64, XP055646414, ISBN: 978-602-97124-1-4 *
MALLAWAARACHCHI, V.: "Introduction to Genetic Algorithms - Including Example Code", 8 July 2017 (2017-07-08), pages 1 - 7, XP055646392, Retrieved from the Internet <URL:https://towardsdatascience.com/introduction-to-genetic-algorithms-including-example-code-e396e98d8bf3> *
MUTOH, A ET AL.: "An Efficient Genetic Algorithm using Prenatal Selection", IPSJ SIG NOTES, vol. 2002, no. 89, 20 September 2002 (2002-09-20), pages 13 - 16, ISSN: 0919-6072 *
NISHIHARA, T. ET AL.: "Upgrading System to lelieve Traffic Congestion using Traffic Signal Control", IEICE TECHNICAL REPORT, vol. 112, no. 318, 19 November 2012 (2012-11-19), pages 51 - 56, XP055646442, ISSN: 0913-5685 *
YANG YU ET AL.: "Derivative-Free Optimization via Classification", PROCEEDINGS OF THE THIRTIETH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI-16), 2 March 2016 (2016-03-02), pages 2286 - 2292, XP055646402 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123270A (ja) * 2019-01-31 2020-08-13 株式会社日立製作所 演算装置
JP7059214B2 (ja) 2019-01-31 2022-04-25 株式会社日立製作所 演算装置

Also Published As

Publication number Publication date
US20210241123A1 (en) 2021-08-05
JP2019192160A (ja) 2019-10-31
JP7059781B2 (ja) 2022-04-26

Similar Documents

Publication Publication Date Title
WO2019208639A1 (ja) 最適化装置、最適化方法、及びプログラム
Li et al. Optimizing traffic signal settings in smart cities
Choy et al. Neural networks for continuous online learning and control
CN109102124B (zh) 基于分解的动态多目标多路径诱导方法、系统及存储介质
Koh et al. Reinforcement learning for vehicle route optimization in SUMO
Chu et al. Large-scale traffic grid signal control with regional reinforcement learning
Anagnostopoulos et al. Efficient location prediction in mobile cellular networks
Pal et al. Path length prediction in MANET under AODV routing: Comparative analysis of ARIMA and MLP model
Chohan et al. Robust trajectory planning of autonomous vehicles at intersections with communication impairments
JP4857214B2 (ja) 交通信号制御パラメータ設計装置及び交通信号制御パラメータ生成方法
Samra et al. A linear time and space algorithm for optimal traffic-signal duration at an intersection
WO2020162205A1 (ja) 最適化装置、方法、及びプログラム
KR102059902B1 (ko) 교통 속도 추정 방법 및 시스템
Jamal et al. Adaptive maneuver planning for autonomous vehicles using behavior tree on apollo platform
Soleimany et al. Hierarchical federated learning model for traffic light management in future smart
JP2019082934A (ja) 最適化装置、交通信号制御システム、パラメータ探索装置、最適化方法、及びプログラム
CN114415690A (zh) 一种多智能体路径规划方法、导航服务器及可读存储介质
Tung et al. Novel traffic signal timing adjustment strategy based on genetic algorithm
Yusof et al. Short term traffic forecasting based on hybrid of firefly algorithm and least squares support vector machine
JP7006566B2 (ja) 最適化装置、誘導システム、最適化方法、及びプログラム
de Almeida et al. Multiagent Reinforcement Learning for Traffic Signal Control: a k-Nearest Neighbors Based Approach.
Padmasiri et al. Genetic programming tuned fuzzy controlled traffic light system
Hanif Travelling salesmen problem solution with ant-colony optimization tabu search algorithm
Saeed et al. Domain-aware multiagent reinforcement learning in navigation
KR20200126212A (ko) 인터커넥션 네트워크(Interconnection network) 기반의 다중 노드 클러스터로 구성된 고성능 컴퓨팅 환경에서 유저 리퀘스트 처리율 최대화/인트라통신 지연시간 최소화를 달성하기 위한 딥러닝 기반의 동적 라우팅 기법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19794052

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19794052

Country of ref document: EP

Kind code of ref document: A1