WO2021130915A1 - 学習装置、学習方法および学習プログラム - Google Patents

学習装置、学習方法および学習プログラム Download PDF

Info

Publication number
WO2021130915A1
WO2021130915A1 PCT/JP2019/050881 JP2019050881W WO2021130915A1 WO 2021130915 A1 WO2021130915 A1 WO 2021130915A1 JP 2019050881 W JP2019050881 W JP 2019050881W WO 2021130915 A1 WO2021130915 A1 WO 2021130915A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
algorithm
model
factorized
expert model
Prior art date
Application number
PCT/JP2019/050881
Other languages
English (en)
French (fr)
Inventor
江藤　力
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/783,070 priority Critical patent/US20230040914A1/en
Priority to JP2021566647A priority patent/JP7327512B2/ja
Priority to PCT/JP2019/050881 priority patent/WO2021130915A1/ja
Publication of WO2021130915A1 publication Critical patent/WO2021130915A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to a learning device, a learning method, and a learning program for learning a hierarchical mixed expert model.
  • Inverse reinforcement learning is known as one of the methods for formulating mathematical optimization problems. Inverse reinforcement learning is a method of learning an objective function (reward function) that evaluates behavior for each state based on the history of decision making made by an expert.
  • objective function forward function
  • Non-Patent Document 1 describes a compartmentalized sparse linear regression model in which a prediction model can be selected depending on the case.
  • the compartmentalized sparse linear regression model described in Non-Patent Document 1 is a kind of hierarchical mixed expert model (HME: Hierarchical Mixtures of Experts), and has components (reward function, prediction model) in leaf nodes and other nodes. It is represented by a tree structure to which nodes called gate functions are assigned.
  • HME Hierarchical Mixed expert model
  • Patent Document 1 does not assume the use of a hierarchical mixed expert model. Further, the method described in Non-Patent Document 1 does not describe a learning method in consideration of reverse reinforcement learning. Therefore, even if the reverse reinforcement learning described in Patent Document 1 and the hierarchical mixed expert model learning described in Non-Patent Document 1 are combined, a learning result with sufficient accuracy may not be obtained.
  • an object of the present invention is to provide a learning device, a learning method, and a learning program that can improve the estimation accuracy of a model when learning a hierarchical mixed expert model by reverse reinforcement learning.
  • the learning device includes an input unit that accepts input of a subject's decision-making history, a learning unit that learns a hierarchical mixed expert model by reverse reinforcement learning based on the decision-making history, and a learned hierarchical mixture. It is equipped with an output unit that outputs an expert model, and when the learning unit learns a hierarchical mixed expert model using an EM algorithm and the learning result using the EM algorithm satisfies a predetermined condition, the hierarchical mixed expert It is characterized by learning the model by factorized near Bayesian inference.
  • the learning method accepts the input of the decision-making history of the subject, learns the hierarchical mixed expert model by reverse reinforcement learning based on the decision-making history, outputs the learned hierarchical mixed expert model, and outputs the learned hierarchical mixed expert model.
  • a hierarchical mixed expert model is learned using an EM algorithm, and when the learning result using the EM algorithm satisfies a predetermined condition, the hierarchical mixed expert model is learned by factorized apocalyptic Bayesian inference. It is characterized by.
  • the learning program has an input process for receiving input of a subject's decision-making history on a computer, a learning process for learning a hierarchical mixed expert model by inverse reinforcement learning based on the decision-making history, and learning.
  • the hierarchical mixed expert model is trained using the EM algorithm in the learning process, and the learning result using the EM algorithm satisfies a predetermined condition, the hierarchy is used. It is characterized by training a type-mixed expert model by factorized near-bayes inference.
  • the estimation accuracy of the model can be improved.
  • Reverse reinforcement learning is a learning method that estimates the reward function of an expert by updating the reward function so that the decision-making history is closer to that of the expert.
  • reverse reinforcement learning usually, the decision-making history of an expert, a simulator or an actual machine that shows the state when actually operated, and a state transition (prediction) model that shows the transition destination predicted according to the state are used. Learning takes place.
  • the initial value of the reward function is set, and the decision-making simulation using this reward function is performed.
  • a decision-making simulation based on reinforcement learning an optimization calculation is performed to determine a policy using a state transition model, a reward function, and a simulator, and the intention is as a history of states and actions output based on the policy.
  • the decision history is determined.
  • Optimal control may be executed as this decision-making simulation.
  • the reward function is updated so as to reduce the difference between the decision-making history based on this reward function and the decision-making history of the expert.
  • a decision-making simulation is performed using this reward function, the decision-making history is determined, and the reward function is updated in the same manner.
  • the reward function of the expert is estimated so as to eliminate the difference between the objective function and the decision-making of the expert.
  • Patent Document 1 a model-free inverse reinforcement learning method capable of estimating a reward function without using a state transition model has been proposed.
  • the decision-making history acquired under various circumstances can be said to be data including various intentions of experts.
  • the driving data of the driver includes the driving data of the driver having different characteristics and the driving data in different situations of the driving scene. It is very costly to classify and train these driving data according to various situations and characteristics, so it is preferable to estimate a model in which the reward function to be applied can be selected according to the conditions.
  • a learning method that combines the above-mentioned model-free reverse reinforcement learning and hierarchical mixed expert model learning can be considered.
  • the expert's decision-making history is divided into cases, and the learning of the reward function and branching rule in each case is alternately repeated until the expert's decision-making history can be accurately reproduced.
  • the reward function in the case can be estimated.
  • the factorized information criterion is known as a criterion for evaluating a so-called singular model that makes predictions while switching between a plurality of models.
  • the factorized information criterion is a criterion for measuring the goodness of a model that guides a search. By finding a model that maximizes this factorized information criterion, it becomes possible to estimate an appropriate model.
  • FAB Vectorized Asymptotic Bayesian inference
  • E step the variational probability of hidden variables
  • M step the branching condition and reward function
  • Relative entropy inverse reinforcement learning is a method in which the reward function can be learned model-free by using sampling from the decision-making history by a random policy. Relative entropy inverse reinforcement learning uses focused sampling based on a random strategy.
  • the estimation accuracy of the model can be improved by learning the hierarchical mixed expert model by model-free reverse reinforcement learning.
  • factorized asymptotic Bayesian inference it is assumed that the value of the factorized information criterion is improved in each process.
  • the factorized information criterion may not improve due to the effect of approximation by priority sampling. In this case, it is not always possible to improve the estimation degree of the model.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of the learning device according to the present invention.
  • the learning device 100 of the present embodiment includes a storage unit 10, an input unit 20, a learning unit 30, and an output unit 40.
  • the learning device 100 is a device that performs reverse reinforcement learning that estimates a reward (function) from the behavior of a target person, and is a device that learns a hierarchical mixed expert model.
  • An example of a target person is an expert in the field.
  • Equation 1 r (s, a) represents the reward obtained by the action taken for the state. Further, ⁇ is a parameter optimized by inverse reinforcement learning, f ⁇ is a feature amount of decision-making history (that is, a feature amount of traffic), and f s, a is a feature amount for individual decision-making. ..
  • Equation 2 aims to find the distribution P ( ⁇ ) that maximizes the entropy
  • Equation 3 aims to find the distribution P ( ⁇ ) that minimizes the relative entropy.
  • Q ( ⁇ ) is a baseline distribution.
  • Equation 4 the probability distribution in the relative entropy inverse reinforcement learning using the above equation 3 is expressed by the following equation 5.
  • Equation 5 shown above is used to perform model-free reverse reinforcement learning.
  • the reward function can be learned model-free by sampling from the decision-making history by a random measure using Equation 5.
  • the baseline policy ⁇ b ( ⁇ ) and the baseline distribution Q ( ⁇ ) can be defined as follows.
  • the set of trajectories sampled in (a t s t) and D samp, second term within the brackets of formula 6 shown above have the formula shown in Equation 7 below Can be converted to.
  • Equation 7 ⁇ s (a t
  • the weighting coefficient vector ⁇ of the reward function can be updated without using the state transition model D ( ⁇ ).
  • the storage unit 10 stores information necessary for the learning device 100 to perform various processes.
  • the storage unit 10 may store various parameters used for processing by the learning unit 30, which will be described later. Further, the storage unit 10 may store the decision-making history of the target person received by the input unit 20 described later.
  • the storage unit 10 is realized by, for example, a magnetic disk or the like.
  • the input unit 20 accepts the input of the decision-making history (trajectory) of the target person. For example, when learning for the purpose of automatic driving, the input unit 20 may accept input of a large amount of driving history data based on a complicated intention of the driver as a decision-making history.
  • the learning unit 30 learns a hierarchical mixed expert model by reverse reinforcement learning based on the received decision-making history.
  • the learning unit 30 of the present embodiment learns the hierarchical mixing expert model using the EM (expectation? Maximization) algorithm, and when the learning result using the EM algorithm satisfies a predetermined condition, the hierarchical mixing expert The model is trained by factorized near Bayesian inference.
  • relative entropy inverse reinforcement learning is a method of learning a reward function without using a state transition model (that is, model-free) by using sampling from a decision-making history by a random policy.
  • FIG. 2 is an explanatory diagram illustrating an outline of a hierarchical mixed expert model.
  • the model shown in FIG. 2A is an example of a hierarchical mixed expert model, in which the branch probability is calculated at each gate for the input data f ⁇ ⁇ R D showing the state and observation information, and the state and observation information.
  • the reward function corresponding to the leaf with the highest probability of reaching is selected according to.
  • Equation 9 the gantry can be defined as in Equation 9 shown below.
  • Equation 9 g i ⁇ a [0, 1]
  • U is a step function
  • gamma i is an index to the dimension of f ⁇ ⁇ R D
  • t i ⁇ R is an arbitrary value Represent.
  • ⁇ g (f ⁇ , i, j): ⁇ (g (f ⁇ , ⁇ i ), i, j) is the probability of the i-th gate function, and the j-th gate with respect to f ⁇ .
  • the probability that a function will be selected is ⁇ i ⁇ ⁇ j ⁇ g (i, j) (f ⁇ ).
  • ⁇ (a, i, j) 1-a.
  • Equation 11 the hidden variable corresponding to the j-th path (that is, the hidden variable indicating that the j-th reward function is selected).
  • ⁇ j is defined as in Equation 11 shown below.
  • the i-th node has a binary variable z i ⁇ ⁇ 0,1 ⁇ .
  • the probability of z i is given by Equation 12 shown below.
  • Equation 13 the perfect likelihood function of the HME model is defined as in Equation 13 below.
  • the expected value is calculated by the equation 17 illustrated below, and in the branch condition and reward function update (M step), the following The parameter update process is performed by the equations 18 and 19 shown in.
  • the learning unit 30 first learns the model based on the EM algorithm, and when the monotonous increase of the log-likelihood is confirmed, it thinks that the approximation accuracy of the priority sampling has improved, and learns to FAB inference. Switch the method. That is, the learning unit 30 determines the monotonous increase of the log-likelihood as a predetermined condition.
  • the learning unit 30 includes a first learning unit 31 and a second learning unit 32.
  • the first learning unit 31 learns the model using the EM algorithm for HME and calculates the log-likelihood. Specifically, the first learning unit 31 updates the parameter ⁇ based on the input decision-making history, and performs learning so as to maximize the log-likelihood of the decision-making history.
  • the underlined part in the above equation 17 is an equation representing the regularization effect of FAB inference, and the equations excluding this term correspond to the update equation in the E step of the normal EM algorithm for HME. Therefore, the first learning unit 31 uses an equation obtained by removing the equation expressing the regularization effect of the FAB inference from the equation used when updating the variational probability of the hidden variable used in the FAB inference, and uses the equation by the EM algorithm. You may study.
  • the first learning unit 31 may learn the model by the EM algorithm based on this update equation.
  • the learning method using the EM algorithm for HME is widely known, and a specific description thereof will be omitted here.
  • the second learning unit 32 determines whether or not the log-likelihood at the time of learning performed by the first learning unit 31 is monotonically increasing. Then, when it is determined that the log-likelihood is monotonically increasing, the second learning unit 32 switches the learning method from the EM algorithm to FAB inference, and performs learning by FAB inference.
  • the second learning unit 32 determines that the log-likelihood is monotonically increasing, the variation of the hidden variable is performed using the above equation 17 so as to maximize the factorized information criterion. The probability is updated, and the model parameters (branch condition and reward function parameters) are updated using the above equations 18 and 19.
  • the second learning unit 32 may execute the FAB inference by the method described in Non-Patent Document 1, for example.
  • the output unit 40 outputs the learned hierarchical mixed expert model. Specifically, the output unit 40 outputs a model (HME model) that maximizes the factorized information criterion.
  • FIG. 3 is an explanatory diagram showing an example of an output HME model.
  • the HME model illustrated in FIG. 3 is a model in which one reward function is selected according to the state / observation information. In the example shown in FIG. 3, it is shown that the input state / observation information satisfies the condition 1 and the sparse linear reward function 2 is selected without satisfying the condition 2.
  • the input unit 20, the learning unit 30 (more specifically, the first learning unit 31 and the second learning unit 32), and the output unit 40 are computer processors (for example, a CPU (Central)) that operate according to a program (learning program). It is realized by ProcessingUnit) and GPU (GraphicsProcessingUnit).
  • CPU Central
  • GPU GraphicsProcessingUnit
  • the program is stored in the storage unit 10 included in the learning device 100, the processor reads the program, and according to the program, the input unit 20 and the learning unit 30 (more specifically, the first learning unit 31 and the second learning unit 31). 32) and may operate as the output unit 40.
  • the function of the learning device 100 may be provided in the SaaS (Software as a Service) format.
  • the input unit 20, the learning unit 30 (more specifically, the first learning unit 31 and the second learning unit 32), and the output unit 40 may be realized by dedicated hardware, respectively. Further, a part or all of each component of each device may be realized by a general-purpose or dedicated circuit (circuitry), a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program.
  • each component of the learning device 100 when a part or all of each component of the learning device 100 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributed. It may be arranged.
  • the information processing device, the circuit, and the like may be realized as a form in which each of the client-server system, the cloud computing system, and the like is connected via a communication network.
  • FIG. 4 is an explanatory diagram showing an operation example of the learning device 100 of the present embodiment.
  • the learning unit 30 initializes the hidden variable and the variational posterior probability (step S11).
  • the input unit 20 accepts the input of the decision-making history of the target person (step S12).
  • the learning unit 30 (first learning unit 31) learns the HME model using the EM algorithm and calculates the log-likelihood of the decision-making history (step S13).
  • the learning unit 30 (second learning unit 32) determines whether or not the log-likelihood is monotonically increasing (step S14). When it is determined that the log-likelihood does not increase monotonically (No in step S14), the process of step S13 is repeated.
  • step S14 when it is determined that the log-likelihood is monotonically increasing (Yes in step S14), the learning unit 30 (second learning unit 32) switches the learning method by the EM algorithm to factorized near Bayesian inference (step). S15). Then, the learning unit 30 (second learning unit 32) learns the HME model by the switched asymptotic Bayesian inference using the approximate value of the lower limit of the factorized information criterion (step S16).
  • the input unit 20 receives the input of the decision-making history of the target person, and the learning unit 30 learns the HME model by reverse reinforcement learning based on the decision-making history, and the output unit. 40 outputs the trained HME model. Then, at the time of the above learning, the learning unit 30 learns the HME model using the EM algorithm, and when the learning result using the EM algorithm satisfies a predetermined condition, the learning unit 30 learns the HME model by FAB inference. More specifically, when the first learning unit 31 learns the HME model using the EM algorithm, calculates the log-likelihood of the decision-making history, and determines that the log-likelihood is monotonically increasing. The second learning unit 32 switches the learning method by the EM algorithm to FAB inference, and learns the HME model by the FAB inference using the approximate value of the lower limit of the factorized information amount standard.
  • FIG. 5 is a block diagram showing an outline of the learning device according to the present invention.
  • the learning device 80 learns a hierarchical mixed expert model by reverse reinforcement learning based on an input unit 81 (for example, an input unit 20) that receives input of a decision-making history of a target person and a decision-making history.
  • a unit 82 for example, a learning unit 30
  • an output unit 83 for example, an output unit 40
  • the learning unit 82 learns the hierarchical mixed expert model by using the EM algorithm, and when the learning result using the EM algorithm satisfies a predetermined condition, the learning unit 82 learns the hierarchical mixed expert model by factorized near Bayesian inference. ..
  • the learning unit 82 has a first learning unit (for example, the first learning unit 31) that learns a hierarchical mixed expert model using an EM algorithm and calculates the log-likelihood of the decision-making history.
  • the learning method by the EM algorithm is switched to factorized near Bayesian inference, and the hierarchical mixed expert model is factorized using the approximate value of the lower limit of the factorized information amount standard.
  • It may include a second learning unit (for example, the second learning unit 32) that learns by near Bayesian inference.
  • the first learning unit may repeat the learning of the hierarchical mixed expert model by the EM algorithm until it is determined that the log-likelihood is monotonically increasing.
  • the first learning part regularizes the factorized near Bayesian inference from the equation used when updating the variational probability of the hidden variable used in the factorized near Bayesian inference (for example, equations 17 to 19 shown above).
  • the model may be trained by the EM algorithm using an equation excluding the term expressing the effect (for example, the underlined portion of equations 17 to 19 shown above).
  • FIG. 6 is a schematic block diagram showing a configuration of a computer according to at least one embodiment.
  • the computer 1000 includes a processor 1001, a main storage device 1002, an auxiliary storage device 1003, and an interface 1004.
  • the above-mentioned learning device 80 is mounted on the computer 1000.
  • the operation of each processing unit described above is stored in the auxiliary storage device 1003 in the form of a program (learning program).
  • the processor 1001 reads a program from the auxiliary storage device 1003, deploys it to the main storage device 1002, and executes the above processing according to the program.
  • the auxiliary storage device 1003 is an example of a non-temporary tangible medium.
  • non-temporary tangible media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disc Read-only memory), DVD-ROMs (Read-only memory), which are connected via interface 1004. Examples include semiconductor memory.
  • the program may be for realizing a part of the above-mentioned functions. Further, the program may be a so-called difference file (difference program) that realizes the above-mentioned function in combination with another program already stored in the auxiliary storage device 1003.
  • difference file difference program
  • Storage unit 20 Input unit 30 Learning unit 31 First learning unit 32 Second learning unit 40 Output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

入力部８１は、対象者の意思決定履歴の入力を受け付ける。学習部８２は、意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習する。出力部８３は、学習された階層型混合エキスパートモデルを出力する。学習部８３は、ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習し、そのＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習する。

Description

学習装置、学習方法および学習プログラム
　本発明は、階層型混合エキスパートモデルを学習する学習装置、学習方法および学習プログラムに関する。
　近年、様々な業務における最適な意思決定を自動で定式化し、機械化する技術がより重要視されている。一般に、最適な意思決定を行うためには、最適化対象を数理最適化問題として定式化し、その問題を解くことで、最適な行動を決定する。その際、数理最適化問題の定式化がポイントになるが、人手でこの定式化を行うことは難しい。そこで、この定式化を簡素にすることで、技術をさらに発展させる試みが行われている。
　数理最適化問題を定式化する方法の一つとして、逆強化学習が知られている。逆強化学習は、熟練者が行った意思決定の履歴に基づいて、状態ごとに行動を評価する目的関数（報酬関数）を学習する方法である。
　なお、熟練者が想定する意図は複雑であり、状況に応じて様々に変化する。そのため、複数の意図を単純にモデル化した場合、報酬関数も複雑化するため、推定された報酬関数から熟練者の意図を判断することは難しい。そこで、複雑な意図を複数のシンプルな意図の組合せという、人間にとって解釈可能な形で表現された報酬関数として学習する方法が求められている。
　人間にとって解釈可能な形式での学習方法に関し、非特許文献１には、場合に応じた予測モデルを選択可能な区分疎線形回帰モデルについて記載されている。非特許文献１に記載された区分疎線形回帰モデルは、階層型混合エキスパートモデル（ＨＭＥ：Hierarchical Mixtures of Experts）の一種であり、葉ノードにコンポーネント（報酬関数、予測モデル）、それ以外のノードに門関数と呼ばれるノードを割り当てた木構造で表される。
国際公開第２０１７／１５９１２６号
Riki Eto, Ryohei Fujimakiy, Satoshi Morinaga, Hiroshi Tamano, "Fully-Automatic Bayesian Piecewise Sparse Linear Models", AISTATS, pp.238-246, 2014.
　特許文献１に記載されたシステムでは、階層型混合エキスパートモデルを用いることを想定していない。また、非特許文献１に記載された方法では、逆強化学習を考慮した学習方法については記載されていない。そのため、特許文献１に記載の逆強化学習と、非特許文献１に記載の階層型混合エキスパートモデル学習とを組み合わせても、十分な精度の学習結果を得られない場合がある。
　そこで、本発明は、逆強化学習によって階層型混合エキスパートモデルを学習する際に、モデルの推定精度を向上できる学習装置、学習方法および学習プログラムを提供することを目的とする。
　本発明による学習装置は、対象者の意思決定履歴の入力を受け付ける入力部と、意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習する学習部と、学習された階層型混合エキスパートモデルを出力する出力部とを備え、学習部が、ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習し、そのＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習することを特徴とする。
　本発明による学習方法は、対象者の意思決定履歴の入力を受け付け、意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習し、学習された階層型混合エキスパートモデルを出力し、学習の際、ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習し、そのＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習することを特徴とする。
　本発明による学習プログラムは、コンピュータに、対象者の意思決定履歴の入力を受け付ける入力処理、意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習する学習処理、および、学習された階層型混合エキスパートモデルを出力する出力処理を実行させ、学習処理で、ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習させ、そのＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習させることを特徴とする。
　本発明によれば、逆強化学習によって階層型混合エキスパートモデルを学習する際に、モデルの推定精度を向上できる。
本発明による学習装置の一実施形態の構成例を示すブロック図である。 階層型混合エキスパートモデルの概要を説明する説明図である。 階層型混合エキスパートモデルの例を示す説明図である。 学習装置の動作例を示す説明図である。 本発明による学習装置の概要を示すブロック図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。本発明では、逆強化学習によって階層型混合エキスパートモデルを学習する状況を想定する。
　逆強化学習は、意思決定の履歴を熟練者のものへ近づけるように報酬関数を更新していくことで、熟練者の報酬関数を推定する学習方法である。逆強化学習では、通常、熟練者の意思決定履歴、実際に動作させた場合の状態を表わすシミュレータもしくは実機、および、状態に応じて予測される遷移先を表わす状態遷移（予測）モデルを用いて学習が行われる。
　より詳細には、まず、報酬関数の初期値が設定され、この報酬関数を用いた意思決定シミュレーションが行われる。具体的には、強化学習に基づく意思決定シミュレーションとして、状態遷移モデルと報酬関数とシミュレータを用いて方策を決定する最適化計算が行われ、方策に基づき出力される状態と行動の履歴として、意思決定履歴が決定される。なお、この意思決定シミュレーションとしては、最適制御を実行してもよい。この報酬関数に基づく意思決定履歴と、熟練者の意思決定履歴との差を小さくするように報酬関数が更新される。そして、この報酬関数を用いて意思決定シミュレーションを行い、意思決定履歴を決定し、同様に報酬関数を更新する。上記処理を繰り返すことにより、目的関数と熟練者の意思決定との差をなくすように熟練者の報酬関数が推定される。
　ただし、状態遷移モデルの精緻化は、一般に困難である。そこで、例えば、特許文献１に記載されているように、状態遷移モデルを用いずに報酬関数を推定可能なモデルフリー逆強化学習の方法が提案されている。
　一方、様々な状況下で取得される意思決定履歴は、熟練者の様々な意図を含むデータと言える。例えば、ドライバの走行データの中には、特徴の異なるドライバの走行データや、運転シーンの異なる状況での走行データが含まれる。これらの走行データを様々な状況や特徴で分類して学習させようとすると、非常にコストがかかってしまうため、条件に応じて適用する報酬関数を選択可能なモデルを推定することが好ましい。
　このような推定方法として、上述するモデルフリー逆強化学習と、階層型混合エキスパートモデル学習とを組み合わせた学習方法が考えられる。この学習方法により、熟練者の意思決定履歴を場合分けし、各場合の報酬関数および分岐ルールの学習を、熟練者の意思決定履歴を精度よく再現できるまで交互に繰り返すことで、分岐条件および各場合における報酬関数を推定できる。
　さらに、複数のモデルを切り替えながら予測をする、いわゆる特異モデルを評価する基準として、因子化情報量基準が知られている。因子化情報量基準は、探索の指針となるモデルの良さを測る基準である。この因子化情報量基準を最大化するモデルを見つけ出すことにより、適切なモデルを推定することが可能になる。
　因子化情報量基準を最大化するモデルを見つける探索アルゴリズムとして、因子化漸近ベイズ推論（ＦＡＢ（Factorized Asymptotic Bayesian）推論）が挙げられる。因子化漸近ベイズ推論では、因子化情報量基準を最大化するパラメータ及びモデルを、隠れ変数の変分確率を更新する処理（以下、Ｅステップと記す。）と、分岐条件および報酬関数を更新する処理（以下、Ｍステップと記す。）を繰り返し実行することで、因子化情報量基準を最大化する。
　また、モデルフリー逆強化学習の方法として、相対エントロピー逆強化学習が挙げられる。相対エントロピー逆強化学習は、ランダム方策による意思決定履歴からのサンプリングを用いることで、報酬関数をモデルフリーに学習できる方法である。相対エントロピー逆強化学習は、ランダム方策に基づく重点サンプリングを用いる。
　モデルフリー逆強化学習によって階層型混合エキスパートモデルを学習することで、モデルの推定精度を向上できることが想定できる。ただし、重点サンプリングによる近似を用いて、因子化情報量基準を更新する際、考慮すべき点が存在する。因子化漸近ベイズ推論では、各処理において因子化情報量基準の値が改善されることを想定する。しかし、重点サンプリングによる近似の影響で、因子化情報量基準が改善しない可能性がある。この場合、必ずしもモデルの推定程度を向上できるとは限らない。
　そのため、状態遷移モデルを用いないモデルフリー逆強化学習によって階層型混合エキスパートモデルを学習する際に、重点サンプリングによる近似を用いる場合であっても、モデルの推定精度を向上できることが望ましい。そこで、本実施形態では、モデルフリー逆強化学習によって階層型混合エキスパートモデルを学習する際に、重点サンプリングによる近似を用いる場合であっても、モデルの推定精度を向上できる構成を中心に説明する。
　図１は、本発明による学習装置の一実施形態の構成例を示すブロック図である。本実施形態の学習装置１００は、記憶部１０と、入力部２０と、学習部３０と、出力部４０とを備えている。
　学習装置１００は、対象者の行動から報酬（関数）を推定する逆強化学習を行う装置であり、階層型混合エキスパートモデルを学習する装置である。対象者の例として、その分野のエキスパート（熟練者）が挙げられる。また、本実施形態の学習装置１００が行う逆強化学習の一つとして、状態遷移モデルを用いずに（すなわち、モデルフリーに）報酬関数を学習する相対エントロピー逆強化学習が挙げられる。
　ここで、上述するモデルフリー逆強化学習について説明する。逆強化学習では、Feature Matchingに基づく履歴（状態ｓに対する行動ａの履歴）の確率モデルを導入することが一般的である。今、意思決定履歴（トラジェクトリとも言う。）をτ＝ｓ１ａ１，…，ｓＨａＨとしたとき、報酬関数ｒ（τ）は、以下に示す式１で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　式１において、ｒ（ｓ，ａ）は、状態に対してとった行動により得られる報酬を表わす。また、θは、逆強化学習により最適化するパラメータであり、ｆτは、意思決定履歴の特徴量（すなわち、トラジェクトリの特徴量）、ｆｓ，ａは、個々の意思決定に対する特徴量である。
　ここで、熟練者のトラジェクトリの集合をＤＥとしたとき、逆強化学習では、Feature Matchingを表わす制約条件
Figure JPOXMLDOC01-appb-M000002
 　を満たすように、以下の式２または式３を満たすＰ（τ）を求めることが目的とされる。具体的には、式２では、エントロピーが最大になる分布Ｐ（τ）を求めることを目的とし、式３では、相対エントロピーが最小になる分布Ｐ（τ）を求めることを目的とする。なお、Ｑ（τ）は、ベースライン分布である。
Figure JPOXMLDOC01-appb-M000003
　ラグランジュの未定乗数法より、θを未定乗数とした場合、上記に示す式２を用いた最大エントロピー逆強化学習での確率分布は、以下の式４で表される。また、上記に示す式３を用いた相対エントロピー逆強化学習での確率分布は、以下の式５で表される。
Figure JPOXMLDOC01-appb-M000004
　モデルフリー逆強化学習を行うためには、上記に示す式５が用いられる。具体的には、式５を用いて、ランダム方策による意思決定履歴からのサンプリングを行うことで、報酬関数をモデルフリーで学習できる。以下、上述する状態遷移モデルを用いずに、報酬関数を学習する方法を説明する。今、状態遷移モデルをＤ（τ）、ベースライン方策をπｂ（τ）としたとき、ベースライン分布Ｑ（τ）は、状態遷移モデルとベースライン方策との積で表される。すなわち、Ｑ（τ）＝Ｄ（τ）πｂ（τ）である。なお、ベースライン方策πｂ（τ）およびベースライン分布Ｑ（τ）は、以下のように定義できる。
Figure JPOXMLDOC01-appb-M000005
　このとき、最尤推定に基づく報酬関数の重みベクトルθの第ｋ成分の更新式は、以下の式６で表される。
Figure JPOXMLDOC01-appb-M000006
　重点サンプリングを行う場合、サンプリング方策πｓ（ａｔ｜ｓｔ）でサンプリングしたトラジェクトリの集合をＤｓａｍｐとすると、上記に示す式６のカッコ内の第二項は、以下の式７に示す式に変換できる。
Figure JPOXMLDOC01-appb-M000007
　そして、πｓ（ａｔ｜ｓｔ）とπｂ（ａｔ｜ｓｔ）のいずれも一様分布であるとすると、上記の式７は、以下の式８に示す式に変換できる。
Figure JPOXMLDOC01-appb-M000008
　上記処理の結果、式６および式８に示すように、状態遷移モデルＤ（τ）を用いずに、報酬関数の重み係数ベクトルθを更新することができる。
　記憶部１０は、学習装置１００が各種処理を行うために必要な情報を記憶する。記憶部１０は、後述する学習部３０が処理に用いる各種パラメータを記憶してもよい。また、記憶部１０は、後述する入力部２０が受け付けた対象者の意思決定履歴を記憶してもよい。記憶部１０は、例えば、磁気ディスク等により実現される。
　入力部２０は、対象者の意思決定履歴（トラジェクトリ）の入力を受け付ける。例えば、自動運転を目的とした学習を行う場合、入力部２０は、ドライバの複雑な意図に基づく大量の運転履歴データの入力を意思決定履歴として受け付けてもよい。具体的には、意思決定履歴は、時刻ｔでの状態ｓｔと、時刻ｔでの行動ａｔとの組み合わせの時系列データ｛ｓｔ，ａｔ｝ｔ＝１ Ｈとして表される。
　学習部３０は、受け付けた意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習する。特に、本実施形態の学習部３０は、ＥＭ（expectation?maximization）アルゴリズムを用いて階層型混合エキスパートモデルを学習し、ＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習する。
　以下、学習部３０による具体的な学習方法の一例として、ランダム方策に基づく重点サンプリングを用いた相対エントロピー逆強化学習により階層型混合エキスパートモデルを学習する方法を説明する。上述するように、相対エントロピー逆強化学習は、ランダム方策による意思決定履歴からのサンプリングを用いて、状態遷移モデルを用いずに（すなわち、モデルフリーで）報酬関数を学習する方法である。
　図２は、階層型混合エキスパートモデルの概要を説明する説明図である。図２（ａ）に示すモデルは、階層型混合エキスパートモデルの一例であり、状態および観測情報を示す入力データｆτ∈ＲＤに対して、各門で分岐確率が算出され、状態および観測情報に応じて最もたどりつく確率の高い葉に対応する報酬関数が選択される。
　例えば、図２（ｂ）に例示するベルヌーイ型の門関数が用いられる場合、門関数は、以下に示す式９のように定義できる。式９において、ｇｉ∈［０，１］であり、Ｕはステップ関数、γｉは、ｆτ∈ＲＤの次元に対するインデックス、Ｄはｆτの次元、ｔｉ∈Ｒは任意の値を表わす。例えば、図２（ｂ）に示すように、ｆτ,γｉ＜ｔｉであればｇ（ｆτ，αｉ）＝ｇｉであり、それ以外では、ｇ（ｆτ，αｉ）＝１－ｇｉになる。
Figure JPOXMLDOC01-appb-M000009
　式９に示す門関数を利用すると、ＨＭＥモデルは、以下の式１０に示す確率モデルとして表される。式１０において、τ∈｛１，－１｝は報酬関数、θ＝（φ１，…，φＥ）はモデルのパラメータ、Ｅは報酬関数の数を表わす。なお、εｊ（ｊ＝１，…，Ｅ）は、最上位の門関数とｊ番目の報酬関数を結ぶパス上に存在する門関数（最上位の門関数を含む）のインデックス集合である。
Figure JPOXMLDOC01-appb-M000010
　また、ψｇ（ｆτ，ｉ，ｊ）：＝ψ（ｇ（ｆτ，αｉ），ｉ，ｊ）は、ｉ番目の門関数の確率であり、ｆτに対してｊ番目の門関数が選択される確率は、Πｉ∈εｊψｇ （ｉ，ｊ）（ｆτ）になる。これは、式１０における波下線部に対応する。なお、ψ（ａ，ｉ，ｊ）は、ｊ番目の報酬関数がｉ番目の門関数の左部分木にある場合にψ（ａ，ｉ，ｊ）＝ａになり、右部分木にある場合にψ（ａ，ｉ，ｊ）＝１－ａになる。
　次に、ｊ番目のパスに対応する隠れ変数（すなわち、ｊ番目の報酬関数が選択されることを表わす隠れ変数）をζｊとする。ζｊは、以下に示す式１１のように定義される。また、ｉ番目のノードは、バイナリ変数ｚi∈｛０，１}を有する。ｚi＝１はデータが左側の分岐から生成され、ｚi＝０はその逆であることを示す。このとき、ｚｉの確率は、以下に示す式１２で与えられる。
Figure JPOXMLDOC01-appb-M000011
　このとき、ＨＭＥモデルの完全尤度関数は、以下の式１３のように定義される。
Figure JPOXMLDOC01-appb-M000012
　ここで、因子化情報量基準の下限の近似値を用いることで、ＦＡＢ推論を実行することが可能である。具体的には、ｑｊ Ｎを、ζｊ Ｎの変分確率とすると、因子化情報量基準の下限は、以下の式１４で表される。
Figure JPOXMLDOC01-appb-M000013
　そして、重点サンプリングによる因子化情報量基準の近似値は、以下に示す式１５および式１６を用いて算出される。
Figure JPOXMLDOC01-appb-M000014
　また、ＦＡＢ推論において、隠れ変数の変分確率の更新処理（Ｅステップ）では、以下に例示する式１７により期待値の計算が行われ、分岐条件や報酬関数の更新（Ｍステップ）では、以下に示す式１８および式１９によりパラメータの更新処理が行われる。
Figure JPOXMLDOC01-appb-M000015
　一方、上述するように、重点サンプリングによる近似の影響で、因子化情報量基準が単調増加しない恐れがある。そこで、学習部３０は、まずは、ＥＭアルゴリズムに基づいてモデルの学習を行い、対数尤度の単調増加性が確認された段階で、重点サンプリングの近似精度が向上したと考えて、ＦＡＢ推論へ学習方法を切り替える。すなわち、学習部３０は、対数尤度の単調増加性を所定の条件として判断する。
　学習部３０は、第一学習部３１と、第二学習部３２とを含む。
　第一学習部３１は、ＨＭＥに対するＥＭアルゴリズムを用いてモデルの学習を行い、対数尤度を算出する。具体的には、第一学習部３１は、入力された意思決定履歴に基づいてパラメータθを更新し、意思決定履歴の対数尤度を最大化するように学習を行う。
　ここで、上記の式１７における波下線部は、ＦＡＢ推論の正則化効果を表わす式であり、この項を除いた式は、ＨＭＥに対する通常のＥＭアルゴリズムのＥステップにおける更新式に一致する。そのため、第一学習部３１は、ＦＡＢ推論で用いられる隠れ変数の変分確率の更新時に用いられる式から、当該ＦＡＢ推論の正則化効果を表わす式を除いた式を用いて、ＥＭアルゴリズムによるモデルの学習を行ってもよい。
　また、同様に、上記の式１８および式１９において破線部を除くと、除かれた式は、ＨＭＥに対する通常のアルゴリズムのＭステップにおける更新式に一致する。第一学習部３１は、この更新式に基づいてＥＭアルゴリズムによるモデルの学習を行ってもよい。なお、ＨＭＥに対するＥＭアルゴリズムを用いた学習方法は広く知られており、ここでは具体的な説明は省略する。
　第二学習部３２は、第一学習部３１が行う学習時の対数尤度が単調増加しているか否かを判断する。そして、対数尤度が単調増加していると判断した場合、第二学習部３２は、ＥＭアルゴリズムからＦＡＢ推論へ学習方法を切り替え、ＦＡＢ推論による学習を行う。
　具体的には、第二学習部３２は、対数尤度が単調増加していると判断した場合、因子化情報量基準を最大化するように、上記の式１７を用いて隠れ変数の変分確率を更新し、上記の式１８および式１９を用いてモデルのパラメータ（分岐条件や報酬関数のパラメータ）を更新する。第二学習部３２は、例えば、非特許文献１に記載された方法でＦＡＢ推論を実行してもよい。
　出力部４０は、学習された階層型混合エキスパートモデルを出力する。具体的には、出力部４０は、因子化情報量基準を最大にするモデル（ＨＭＥモデル）を出力する。図３は、出力されるＨＭＥモデルの例を示す説明図である。図３に例示するＨＭＥモデルは、状態・観測情報に応じて報酬関数を１つ選択するモデルである。図３に示す例では、入力される状態・観測情報が条件１を満たし、条件２を満たさずに、スパースな線形報酬関数２が選択されたことを示す。
　入力部２０と、学習部３０（より詳しくは、第一学習部３１と第二学習部３２）と、出力部４０とは、プログラム（学習プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。
　例えば、プログラムは、学習装置１００が備える記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部２０、学習部３０（より詳しくは、第一学習部３１と第二学習部３２）および出力部４０として動作してもよい。また、学習装置１００の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
　入力部２０と、学習部３０（より詳しくは、第一学習部３１と第二学習部３２）と、出力部４０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
　また、学習装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本実施形態の学習装置１００の動作を説明する。図４は、本実施形態の学習装置１００の動作例を示す説明図である。学習部３０は、隠れ変数および変分事後確率の初期化を行う（ステップＳ１１）。入力部２０は、対象者の意思決定履歴の入力を受け付ける（ステップＳ１２）。学習部３０（第一学習部３１）は、ＥＭアルゴリズムを用いてＨＭＥモデルを学習し、意思決定履歴の対数尤度を算出する（ステップＳ１３）。学習部３０（第二学習部３２）は、対数尤度が単調増加しているか否か判断する（ステップＳ１４）。対数尤度が単調増加していないと判断された場合（ステップＳ１４におけるＮｏ）、ステップＳ１３の処理を繰り返す。
　一方、対数尤度が単調増加していると判断された場合（ステップＳ１４におけるＹｅｓ）、学習部３０（第二学習部３２）は、ＥＭアルゴリズムによる学習方法を因子化漸近ベイズ推論に切り替える（ステップＳ１５）。そして、学習部３０（第二学習部３２）は、因子化情報量基準の下限の近似値を用いて、切り替えた因子化漸近ベイズ推論によりＨＭＥモデルを学習する（ステップＳ１６）。
　以上のように、本実施形態では、入力部２０が、対象者の意思決定履歴の入力を受け付け、学習部３０が、意思決定履歴に基づいて、逆強化学習によりＨＭＥモデルを学習し、出力部４０が、学習されたＨＭＥモデルを出力する。そして、上記学習の際、学習部３０が、ＥＭアルゴリズムを用いてＨＭＥモデルを学習し、そのＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、ＨＭＥモデルをＦＡＢ推論により学習する。より具体的には、第一学習部３１が、ＥＭアルゴリズムを用いてＨＭＥモデルを学習して、意思決定履歴の対数尤度を算出し、対数尤度が単調増加していると判断した場合、第二学習部３２が、ＥＭアルゴリズムによる学習方法をＦＡＢ推論に切り替え、因子化情報量基準の下限の近似値を用いてＨＭＥモデルをそのＦＡＢ推論により学習する。
　よって、逆強化学習によって階層型混合エキスパートモデルを学習する際に、モデルの推定精度を向上できる。
　次に、本発明の概要を説明する。図５は、本発明による学習装置の概要を示すブロック図である。本発明による学習装置８０は、対象者の意思決定履歴の入力を受け付ける入力部８１（例えば、入力部２０）と、意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習する学習部８２（例えば、学習部３０）と、学習された階層型混合エキスパートモデルを出力する出力部８３（例えば、出力部４０）とを備えている。
　学習部８２は、ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習し、そのＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習する。
　そのような構成により、逆強化学習によって階層型混合エキスパートモデルを学習する際に、モデルの推定精度を向上できる。
　具体的には、学習部８２は、ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習して、意思決定履歴の対数尤度を算出する第一学習部（例えば、第一学習部３１）と、対数尤度が単調増加していると判断した場合、ＥＭアルゴリズムによる学習方法を因子化漸近ベイズ推論に切り替え、因子化情報量基準の下限の近似値を用いて階層型混合エキスパートモデルをその因子化漸近ベイズ推論により学習する第二学習部（例えば、第二学習部３２）とを含んでいてもよい。
　そして、第一学習部は、対数尤度が単調増加していると判断されるまで、ＥＭアルゴリズムによる階層型混合エキスパートモデルの学習を繰り返してもよい。
　また、第一学習部は、因子化漸近ベイズ推論で用いられる隠れ変数の変分確率の更新時に用いられる式（例えば、上記に示す式１７～１９）から、その因子化漸近ベイズ推論の正則化効果を表わす項（例えば、上記に示す式１７～１９の波下線部）を除いた式を用いて、ＥＭアルゴリズムによるモデルの学習を行ってもよい。
　図６は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。
　上述の学習装置８０は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（学習プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
　なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。
　また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　１０　記憶部
　２０　入力部
　３０　学習部
　３１　第一学習部
　３２　第二学習部
　４０　出力部

Claims (8)

  1. 　対象者の意思決定履歴の入力を受け付ける入力部と、
    　前記意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習する学習部と、
    　学習された前記階層型混合エキスパートモデルを出力する出力部とを備え、
    　前記学習部は、ＥＭアルゴリズムを用いて前記階層型混合エキスパートモデルを学習し、当該ＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、前記階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習する
    　ことを特徴とする学習装置。
  2. 　学習部は、
    　ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習して、意思決定履歴の対数尤度を算出する第一学習部と、
    　前記対数尤度が単調増加していると判断した場合、前記ＥＭアルゴリズムによる学習方法を因子化漸近ベイズ推論に切り替え、因子化情報量基準の下限の近似値を用いて階層型混合エキスパートモデルを当該因子化漸近ベイズ推論により学習する第二学習部とを含む
    　請求項１記載の学習装置。
  3. 　第一学習部は、対数尤度が単調増加していると判断されるまで、ＥＭアルゴリズムによる階層型混合エキスパートモデルの学習を繰り返す
    　請求項２記載の学習装置。
  4. 　第一学習部は、因子化漸近ベイズ推論で用いられる隠れ変数の変分確率の更新時に用いられる式から、当該因子化漸近ベイズ推論の正則化効果を表わす項を除いた式を用いて、ＥＭアルゴリズムによるモデルの学習を行う
    　請求項２または請求項３記載の学習装置。
  5. 　対象者の意思決定履歴の入力を受け付け、
    　前記意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習し、
    　学習された前記階層型混合エキスパートモデルを出力し、
    　前記学習の際、
    　ＥＭアルゴリズムを用いて前記階層型混合エキスパートモデルを学習し、当該ＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、前記階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習する
    　ことを特徴とする学習方法。
  6. 　ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習して、意思決定履歴の対数尤度を算出し、
    　前記対数尤度が単調増加していると判断した場合、前記ＥＭアルゴリズムによる学習方法を因子化漸近ベイズ推論に切り替え、因子化情報量基準の下限の近似値を用いて階層型混合エキスパートモデルを当該因子化漸近ベイズ推論により学習する
    　請求項５記載の学習方法。
  7. 　コンピュータに、
    　対象者の意思決定履歴の入力を受け付ける入力処理、
    　前記意思決定履歴に基づいて、逆強化学習により階層型混合エキスパートモデルを学習する学習処理、および、
    　学習された前記階層型混合エキスパートモデルを出力する出力処理を実行させ、
    　前記学習処理で、
    　ＥＭアルゴリズムを用いて前記階層型混合エキスパートモデルを学習させ、当該ＥＭアルゴリズムを用いた学習結果が所定の条件を満たす場合に、前記階層型混合エキスパートモデルを因子化漸近ベイズ推論により学習させる
    　ための学習プログラム。
  8. 　コンピュータに、
    　学習処理で、
    　ＥＭアルゴリズムを用いて階層型混合エキスパートモデルを学習して、意思決定履歴の対数尤度を算出する第一学習処理、および、
    　前記対数尤度が単調増加していると判断した場合、前記ＥＭアルゴリズムによる学習方法を因子化漸近ベイズ推論に切り替え、因子化情報量基準の下限の近似値を用いて階層型混合エキスパートモデルを当該因子化漸近ベイズ推論により学習する第二学習処理を実行させる
    　請求項７記載の学習プログラム。
PCT/JP2019/050881 2019-12-25 2019-12-25 学習装置、学習方法および学習プログラム WO2021130915A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/783,070 US20230040914A1 (en) 2019-12-25 2019-12-25 Learning device, learning method, and learning program
JP2021566647A JP7327512B2 (ja) 2019-12-25 2019-12-25 学習装置、学習方法および学習プログラム
PCT/JP2019/050881 WO2021130915A1 (ja) 2019-12-25 2019-12-25 学習装置、学習方法および学習プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/050881 WO2021130915A1 (ja) 2019-12-25 2019-12-25 学習装置、学習方法および学習プログラム

Publications (1)

Publication Number Publication Date
WO2021130915A1 true WO2021130915A1 (ja) 2021-07-01

Family

ID=76573771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050881 WO2021130915A1 (ja) 2019-12-25 2019-12-25 学習装置、学習方法および学習プログラム

Country Status (3)

Country Link
US (1) US20230040914A1 (ja)
JP (1) JP7327512B2 (ja)
WO (1) WO2021130915A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384311B1 (ja) * 2023-07-03 2023-11-21 富士電機株式会社 運転支援装置、運転支援方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04215171A (ja) * 1990-12-14 1992-08-05 Matsushita Electric Ind Co Ltd 情報処理装置
JPH05298277A (ja) * 1992-04-24 1993-11-12 Hitachi Ltd ニュ−ラルネット学習装置及び学習方法
JP2019040365A (ja) * 2017-08-24 2019-03-14 富士通株式会社 情報処理装置、方法、及びプログラム
WO2019186996A1 (ja) * 2018-03-30 2019-10-03 日本電気株式会社 モデル推定システム、モデル推定方法およびモデル推定プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04215171A (ja) * 1990-12-14 1992-08-05 Matsushita Electric Ind Co Ltd 情報処理装置
JPH05298277A (ja) * 1992-04-24 1993-11-12 Hitachi Ltd ニュ−ラルネット学習装置及び学習方法
JP2019040365A (ja) * 2017-08-24 2019-03-14 富士通株式会社 情報処理装置、方法、及びプログラム
WO2019186996A1 (ja) * 2018-03-30 2019-10-03 日本電気株式会社 モデル推定システム、モデル推定方法およびモデル推定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUJISAKI, RYOHEI ET AL.: "Piecewise Sparse Linear Classification via Factorized Asymptotic Bayesian Inference", ARTIFICIAL INTELLIGENCE, vol. 32, no. 1, 1 January 2017 (2017-01-01), pages 30 - 38, XP055638564 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384311B1 (ja) * 2023-07-03 2023-11-21 富士電機株式会社 運転支援装置、運転支援方法及びプログラム

Also Published As

Publication number Publication date
US20230040914A1 (en) 2023-02-09
JPWO2021130915A1 (ja) 2021-07-01
JP7327512B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
Cheng et al. End-to-end safe reinforcement learning through barrier functions for safety-critical continuous control tasks
Klissarov et al. Learnings options end-to-end for continuous action tasks
WO2017134554A1 (en) Efficient determination of optimized learning settings of neural networks
Stern et al. Collaborative expert portfolio management
Singh et al. Software effort estimation by genetic algorithm tuned parameters of modified constructive cost model for nasa software projects
Biau et al. Sequential quantile prediction of time series
JP7279821B2 (ja) 意図特徴量抽出装置、学習装置、方法およびプログラム
Crawford et al. A hyperheuristic approach for dynamic enumeration strategy selection in constraint satisfaction
US20220176554A1 (en) Method and device for controlling a robot
CN110008332B (zh) 通过强化学习提取主干词的方法及装置
EP3502978A1 (en) Meta-learning system
JP7315007B2 (ja) 学習装置、学習方法および学習プログラム
González et al. Improving the genetic algorithm of SLAVE
WO2021130915A1 (ja) 学習装置、学習方法および学習プログラム
Baert et al. Maximum causal entropy inverse constrained reinforcement learning
US20230252355A1 (en) Systems and methods for knowledge transfer in machine learning
JP7073171B2 (ja) 学習装置、学習方法及びプログラム
JP2019101979A (ja) 強化学習装置
Valentin et al. Bayesian optimal experimental design for simulator models of cognition
WO2021140698A1 (ja) 情報処理装置、方法及びプログラム
JP2022088341A (ja) 機器学習装置及び方法
WO2021229625A1 (ja) 学習装置、学習方法および学習プログラム
KR20230038136A (ko) 가지치기 기반 심층 신경망 경량화에 특화된 지식 증류 방법 및 시스템
Kozat et al. Universal constant rebalanced portfolios with switching
Karasawa et al. Hierarchical stochastic optimization with application to parameter tuning for electronically controlled transmissions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19957690

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021566647

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19957690

Country of ref document: EP

Kind code of ref document: A1