WO2020115904A1 - 学習装置、学習方法、および学習プログラム - Google Patents

学習装置、学習方法、および学習プログラム Download PDF

Info

Publication number
WO2020115904A1
WO2020115904A1 PCT/JP2018/045113 JP2018045113W WO2020115904A1 WO 2020115904 A1 WO2020115904 A1 WO 2020115904A1 JP 2018045113 W JP2018045113 W JP 2018045113W WO 2020115904 A1 WO2020115904 A1 WO 2020115904A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
imitation
reward
policy
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/045113
Other languages
English (en)
French (fr)
Inventor
亮太 比嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US17/296,798 priority Critical patent/US12265893B2/en
Priority to PCT/JP2018/045113 priority patent/WO2020115904A1/ja
Priority to JP2020558788A priority patent/JP7111178B2/ja
Publication of WO2020115904A1 publication Critical patent/WO2020115904A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G06N10/60—Quantum algorithms, e.g. based on quantum optimisation, quantum Fourier or Hadamard transforms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a learning device, a learning method, and a learning program for learning a model applied to a device that performs processing using a specific model.
  • a next-generation computer (hereinafter referred to as a quantum computer) that uses the quantum mechanical principle has been proposed as a device that realizes a large amount of calculation at high speed.
  • a quantum computer is a computer that uses quantum effects to perform calculations, and uses the characteristics of superposition to perform calculations at high speed.
  • the annealing machine is a computer that operates with a method (quantum annealing method) specialized for combinatorial optimization problems, and operates by giving parameters of a calculation model that operates internally.
  • a calculation model is the Ising model, and a device that performs calculation based on such a specific model will be referred to as a specialized device hereinafter.
  • Patent Document 1 describes a method for improving the accuracy and calculation time of automatic image recognition by implementing an association graph and a quantum processor.
  • the image matching problem is formulated as a quadratic unconstrained binary optimization problem, and the formulated problem is mapped to the quantum processor to operate the quantum processor.
  • Specialized devices can process at high speed, but it is necessary to design the objective function in a format that can be solved by the specialized device according to the problem to be solved. Therefore, when using quantum annealing or specialized devices, the analyst needs to express the real-world problem to be solved by a specific physical model (for example, Ising model).
  • a specific physical model for example, Ising model
  • an object of the present invention is to provide a learning device, a learning method, and a learning program capable of directly learning a specific model used in a quantum computer from the acquired data.
  • a learning device is a learning device that learns a model applied to a device that performs processing using a specific model, and includes an input unit that receives a functional input of a reward and imitation learning based on learning data. And the imitation learning unit that learns a policy according to, and the imitation learning unit learns the reward function according to the functional form of the input reward by the imitation learning.
  • a learning method is a learning method for learning a model applied to a device that performs processing using a specific model, in which a computer accepts an input of a functional form of reward, and the computer is based on the learning data. It is characterized in that the computer learns the policy by the imitation learning, and the computer learns the reward function according to the functional form of the input reward by the imitation learning.
  • a learning program is a learning program applied to a computer that learns a model applied to a device that performs processing using a specific model, and the input processing that receives an input of a functional form of reward in the computer, And imitation learning processing for learning a policy by imitation learning based on learning data, and in the imitation learning processing, the reward function according to the functional form of the input reward is learned by the imitation learning. ..
  • a specific model used in a quantum computer can be directly learned from the acquired data.
  • FIG. 1 is a block diagram showing an embodiment of an information processing system including a learning device according to the present invention. It is a flowchart which shows the operation example of a learning device. It is a block diagram which shows the outline of the learning device by this invention. It is a schematic block diagram which shows the structure of the computer which concerns on at least 1 embodiment.
  • FIG. 1 is a block diagram showing an embodiment of an information processing system 1 including a learning device 100 according to the present invention.
  • the information processing system 1 of this embodiment includes a learning device 100 and a device 200.
  • the device 200 is a quantum computer that operates based on a specific model.
  • the case where the device 200 is a quantum annealing machine will be described as an example.
  • the aspect of the device 200 is not limited to the quantum annealing machine.
  • the learning device 100 includes a storage unit 10, an input unit 20, an imitation learning unit 30, and an output unit 40.
  • the learning device 100 learns a specific model for causing the device 200 to perform processing.
  • learning data the state vector
  • an environment having a plurality of possible states hereinafter referred to as a target environment
  • an agent a person capable of performing a plurality of actions in the environment
  • the state vector s may be simply referred to as the state s.
  • an agent is an autonomous vehicle.
  • the target environment is represented as a set of states of the autonomous vehicle and its surroundings (for example, a map of the surroundings, positions and speeds of other vehicles, and road conditions).
  • the action that the agent should take depends on the state of the target environment. In the example of the autonomous vehicle described above, if there is an obstacle ahead, it is necessary to proceed so as to avoid the obstacle. In addition, it is necessary to change the traveling speed of the vehicle according to the condition of the road surface in front and the distance between the vehicle and the vehicle in front.
  • a function that outputs the action that the agent should take according to the state of the target environment is called a policy.
  • the imitation learning unit 30 described below generates a policy by imitation learning. If the policy is learned to be ideal, the policy will output the optimal action that the agent should take according to the state of the target environment.
  • the input unit 20 receives an input of a functional form of reward generated by the imitation learning unit 30 described later.
  • the functional form of the reward is a specific model for causing the device 200 to perform processing.
  • the functional form of the reward is an Ising model.
  • an Ising model will be described as an example of a function form specialized for quantum annealing.
  • the functional form of the reward received by the input unit 20 is not limited to the Ising model.
  • the input unit 20 inputs the binary neural network or the Hubbard model as the functional form of the reward. May be accepted.
  • the imitation learning unit 30 performs imitation learning using data (that is, learning data) in which the state vector s and the action a are associated with each other, and outputs a policy.
  • the policy obtained by imitation learning imitates given learning data.
  • a policy that is a rule for an agent to select an action is represented by ⁇
  • the probability of selecting the action a in the state s under this policy ⁇ is represented by ⁇ (s,a).
  • the method of the imitation learning unit 30 performing imitation learning is arbitrary, and the imitation learning unit 30 may output the policy by performing imitation learning using a general method.
  • the imitation learning unit 30 performs imitation learning and outputs a reward function. Specifically, the imitation learning unit 30 determines a policy in which the reward r(s) obtained by inputting the state vector s into the reward function r is the input of the function. That is, the action a obtained from the policy is defined by Equation 1 exemplified below.
  • the imitation learning unit 30 may formulate the policy as a functional of the reward function. By performing imitation learning using the policy formulated as described above, the imitation learning unit 30 can learn the reward function while learning the policy.
  • the probability of selecting the state s′ from the certain state s and the action a can be expressed as ⁇ (a
  • the relationship of Expression 2 exemplified below can be defined using the reward function r(s,a). It should be noted that the reward function r (s, a), and is sometimes referred to as a r a (s).
  • the imitation learning unit 30 learns the reward function according to the functional form of the input reward by the imitation learning.
  • the functional form of the Ising model input to the quantum annealing machine is represented by the following Equation 4.
  • (s, a) representing the state corresponds to ⁇ in the Ising model
  • the parameter ⁇ corresponds to J ij and h i .
  • the imitation learning unit 30 learns the reward function (specifically, the parameter ⁇ ) based on the functional form of the Ising model shown in Expression 4 above. By learning the reward function using such a function form, the imitation learning unit 30 can generate the reward function of the type required in the quantum annealing machine.
  • the imitation learning unit 30 learns the reward function by imitation learning based on the functional form of the Ising model.
  • the input function form is not limited to the Ising model.
  • the imitation learning unit 30 may learn the reward function by imitation learning based on the functional form of the Hubbard model.
  • the output unit 40 outputs the reward function generated as a result of the learning of the imitation learning unit 30.
  • the generated reward function does not need to be retransformed because it is generated as a model of the type required by the device 200. Therefore, the output unit 40 may directly input (set) the parameter specified by the generated reward function to the device 200.
  • the output unit 40 may also output the evaluation result for the generated reward function.
  • the method of evaluating the reward function is arbitrary.
  • the output unit 40 may output, for example, the closeness between the expert data used for learning (learning data) and the prediction result based on the learned reward function, as the evaluation result for each reward function.
  • the input unit 20, the imitation learning unit 30, and the output unit 40 include a computer processor that operates according to a program (learning program) (for example, CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (field-programmable). gate array))).
  • a program for example, CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (field-programmable). gate array)
  • the program may be stored in the storage unit 10 of the learning device 100, and the processor may read the program and operate as the input unit 20, the imitation learning unit 30, and the output unit 40 according to the program.
  • the function of the learning device 100 may be provided in the SaaS (Software as a Service) format.
  • the input unit 20, the imitation learning unit 30, and the output unit 40 may be realized by dedicated hardware. Further, some or all of the constituent elements of each device may be realized by a general-purpose or dedicated circuit, a processor, or a combination thereof. These may be configured by a single chip, or may be configured by a plurality of chips connected via a bus. Some or all of the components of each device may be realized by a combination of the above-described circuits and the like and a program.
  • the plurality of information processing devices, circuits, etc. may be centrally arranged or distributed. It may be arranged.
  • the information processing device, the circuit, and the like may be realized as a form in which a client server system, a cloud computing system, and the like are connected to each other via a communication network.
  • the storage unit 10 is realized by, for example, a magnetic disk or the like.
  • FIG. 2 is a flowchart showing an operation example of the learning device 100 of this embodiment.
  • the input unit 20 receives a functional input of reward (step S11).
  • the imitation learning unit 30 learns a policy by imitation learning based on the learning data (step S12). Further, the imitation learning unit 30 learns the reward function according to the functional form of the input reward by the imitation learning (step S13).
  • the output unit 40 outputs the reward function generated as a result of learning (step S14).
  • the input unit 20 receives the input of the functional form of the reward
  • the imitation learning unit 30 learns the policy by imitation learning based on the learning data. Further, the imitation learning unit 30 learns the reward function according to the functional form of the input reward by the imitation learning. Therefore, a specific model used in the quantum computer can be learned from the acquired data.
  • the input unit 20 receives the input of the functional form of the reward, and the imitation learning unit 30 learns the reward function according to the functional form of the input reward.
  • the Ising model reward function can be obtained by setting and learning the type of the reward function specialized for quantum annealing (for example, Ising model function form). Therefore, since it is not necessary to reconvert the objective function into the Ising model, it is possible to reduce the cost required for the work as a whole.
  • the imitation learning unit 30 directly learns the reward function according to the model used by the quantum annealing machine from the learning data to maximize the performance of the quantum annealing machine, various users can use the quantum annealing machine.
  • FIG. 3 is a block diagram showing an outline of the learning device according to the present invention.
  • the learning device 80 according to the present invention is a learning device (for example, the learning device 100) that learns a model applied to a device (for example, the device 200) that performs processing using a specific model, and has a functional form of reward (
  • an input unit 81 for example, the input unit 20
  • an imitation learning unit 82 for example, the imitation learning unit 30
  • learns a policy by imitation learning based on learning data Is equipped with.
  • the imitation learning unit 82 learns the reward function according to the functional form of the input reward by the imitation learning.
  • the imitation learning unit 82 may learn the reward function by formulating the policy as a functional of the reward function and performing the imitation learning using the formulated policy.
  • the learning device 80 may be a learning device that learns a model applied to a device that performs quantum annealing based on the Ising model (for example, a quantum annealing machine).
  • the input unit 81 may accept the functional form of the Ising model
  • the imitation learning unit 82 may learn the reward function according to the functional form of the Ising model by imitation learning.
  • the imitation learning unit 82 learns a policy by imitation learning based on learning data in which states and behaviors are associated with each other, and sets spins in the Ising model (for example, ⁇ in Expression 4) as states of the learning data.
  • the reward function may be learned by determining the parameters of the Ising model (for example, J ij and h i in Expression 4) in association with the action.
  • FIG. 4 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • the computer 1000 includes a processor 1001, a main storage device 1002, an auxiliary storage device 1003, and an interface 1004.
  • the above-described learning device 80 is installed in the computer 1000.
  • the operation of each processing unit described above is stored in the auxiliary storage device 1003 in the form of a program (learning program).
  • the processor 1001 reads the program from the auxiliary storage device 1003, expands it in the main storage device 1002, and executes the above processing according to the program.
  • the auxiliary storage device 1003 is an example of a non-transitory tangible medium.
  • Other examples of non-transitory tangible media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disc Read-only memory), DVD-ROMs (Read-only memory), which are connected via the interface 1004.
  • a semiconductor memory etc. are mentioned. Further, when this program is distributed to the computer 1000 via a communication line, the computer 1000 that has received the distribution may expand the program in the main storage device 1002 and execute the above processing.
  • the program may be for realizing some of the functions described above. Further, the program may be a so-called difference file (difference program) that realizes the function described above in combination with another program already stored in the auxiliary storage device 1003.
  • difference file difference program
  • Information Processing System 10 Storage Unit 20 Input Unit 30 Imitation Learning Unit 40 Output Unit 100 Learning Device 200 Device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

学習装置８０は、特定のモデルを用いて処理を行うデバイスに適用されるモデルを学習する学習装置であって、入力部８１と、模倣学習部８２とを備えている。入力部８１は、報酬の関数形の入力を受け付ける。模倣学習部８２は、学習データに基づいて模倣学習により方策を学習する。模倣学習部８２は、模倣学習により、入力された報酬の関数形に応じた報酬関数を学習する。

Description

学習装置、学習方法、および学習プログラム
　本発明は、特定のモデルを用いて処理を行うデバイスに適用されるモデルを学習する学習装置、学習方法、および学習プログラムに関する。
　大量の計算を高速に実現するデバイスとして、量子力学的原理を用いた次世代コンピュータ（以下、量子コンピュータと記す。）が提案されている。量子コンピュータは、量子効果を利用して計算を行うコンピュータであり、重ね合わせの特性を利用して高速に計算を行う。
　量子コンピュータのうち、アニーリングマシンは、組み合わせ最適化問題に特化した方式（量子アニーリング方式）で動作するコンピュータであり、内部で動作する計算モデルのパラメータを与えることで動作する。計算モデルの一例が、イジングモデルであり、このような特定のモデルに基づいて計算を行うデバイスのことを、以下、特化型デバイスと記す。
　例えば、特許文献１には、連合グラフおよび量子プロセッサの実装により自動画像認識の精度および計算時間を向上させる方法が記載されている。特許文献１に記載された方法では、画像マッチング問題を２次無制約２値最適化問題として定式化し、定式化した問題を量子プロセッサにマッピングして解を得られるように量子プロセッサを動作させる。
特表２０１０－５２５４３１号公報
　特化型デバイスは、高速に処理ができる一方、解くべき問題に合わせて、特化型デバイスが解ける形式での目的関数の設計を行う必要がある。そのため、量子アニーリングや特化型デバイスを使用する場合、分析者は、解きたい実社会問題を特定の物理モデル（たとえば、イジングモデル）で表現する必要がある。
　しかし、このような実社会問題を特定のモデルで表現することは容易ではない。そのため、特化型デバイスによる処理が高速であっても、問題のモデル化に多くの時間を要してしまうことから、結果として、多くのコストを要してしまい、効果が出にくいという問題がある。例えば、特許文献１に記載された方法でも、画像認識において、量子プロセッサに最適化問題としてマッピングする式を設計すること自体に、非常にコストがかかってしまうという問題がある。
　一方、近年、実社会の現象を示す多くのデータが取得されており、取得されたこれらのデータは、実社会問題を示す情報群であると言える。そのため、量子コンピュータで用いる特定のモデルを分析者が一から設計するのではなく、実社会の現象を示すデータを利用して特定のモデルを直接生成できることが好ましい。
　そこで、本発明は、取得されたデータから、量子コンピュータで用いられる特定のモデルを直接学習できる学習装置、学習方法、および学習プログラムを提供すること目的とする。
　本発明による学習装置は、特定のモデルを用いて処理を行うデバイスに適用されるモデルを学習する学習装置であって、報酬の関数形の入力を受け付ける入力部と、学習データに基づいて模倣学習により方策を学習する模倣学習部とを備え、模倣学習部が、模倣学習により、入力された報酬の関数形に応じた報酬関数を学習することを特徴とする。
　本発明による学習方法は、特定のモデルを用いて処理を行うデバイスに適用されるモデルを学習する学習方法であって、コンピュータが、報酬の関数形の入力を受け付け、コンピュータが、学習データに基づいて模倣学習により方策を学習し、コンピュータが、模倣学習により、入力された報酬の関数形に応じた報酬関数を学習することを特徴とする。
　本発明による学習プログラムは、特定のモデルを用いて処理を行うデバイスに適用されるモデルを学習するコンピュータに適用される学習プログラムであって、コンピュータに、報酬の関数形の入力を受け付ける入力処理、および、学習データに基づいて模倣学習により方策を学習する模倣学習処理を実行させ、模倣学習処理で、模倣学習により、入力された報酬の関数形に応じた報酬関数を学習させることを特徴とする。
　本発明によれば、取得されたデータから、量子コンピュータで用いられる特定のモデルを直接学習できる。
本発明による学習装置を含む情報処理システムの一実施形態を示すブロック図である。 学習装置の動作例を示すフローチャートである。 本発明による学習装置の概要を示すブロック図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
　図１は、本発明による学習装置１００を含む情報処理システム１の一実施形態を示すブロック図である。本実施形態の情報処理システム１は、学習装置１００と、デバイス２００とを備えている。
　デバイス２００は、特定のモデルに基づいて動作する量子コンピュータである。本実施形態では、デバイス２００が量子アニーリングマシンである場合を例示して説明する。ただし、デバイス２００の態様は、量子アニーリングマシンに限定されない。
　学習装置１００は、記憶部１０と、入力部２０と、模倣学習部３０と、出力部４０とを含む。学習装置１００は、デバイス２００に処理を行わせるための特定のモデルを学習する。
　記憶部１０は、対象環境の状態を表す状態ベクトルｓ＝（ｓ１，ｓ２，…）と、その状態ベクトルで表される状態において行われた行動ａとを対応付けたデータ（以下、学習データと記す。）を記憶する。ここでは、一般的な強化学習で想定するように、取り得る状態が複数ある環境（以下、対象環境と記す。）、および、その環境において複数の行動を行い得る者（以下、エージェントと記す。）を想定する。なお、以下の説明では、状態ベクトルｓのことを、単に状態ｓと記すこともある。
　エージェントの例として、例えば、自動運転車が挙げられる。この場合の対象環境は、自動運転車の状態及びその周囲の状態（例えば、周囲の地図、他車両の位置や速度、及び道路の状態）などの集合として表される。
　エージェントが行うべき行動は、対象環境の状態に応じて異なる。上述の自動運転車の例であれば、前方に障害物があればその障害物を回避するように進行する必要がある。他にも、前方の路面の状態や前方の車両との車間距離などに応じ、車両の走行速度を変更する必要がある。
　対象環境の状態に応じてエージェントが行うべき行動を出力する関数を、方策（ｐｏｌｉｃｙ）と呼ぶ。後述する模倣学習部３０は、模倣学習によって方策の生成を行う。方策が理想的なものに学習されれば、方策は、対象環境の状態に応じ、エージェントが行うべき最適な行動を出力するものになる。
　入力部２０は、後述する模倣学習部３０が生成する報酬の関数形の入力を受け付ける。報酬の関数形とは、デバイス２００に処理を行わせるための特定のモデルであり、例えば、量子アニーリングマシンの場合、報酬の関数形は、イジングモデル（Ising model ）である。本実施形態では、量子アニーリングに特化した関数形として、イジングモデルを例に説明する。ただし、入力部２０が受け付ける報酬の関数形は、イジングモデルに限定されない。
　例えば、特化型デバイスが、バイナリニューラルネットワークの問題やハバードモデル（Hubbard model ）の問題を直接解くようなデバイスの場合、入力部２０は、報酬の関数形として、バイナリニューラルネットワークやハバードモデルの入力を受け付けてもよい。
　模倣学習部３０は、状態ベクトルｓと行動ａとを対応付けたデータ（すなわち、学習データ）を利用して模倣学習を行い、方策を出力する。模倣学習によって得られる方策は、与えられた学習データを模倣するものになる。ここで、エージェントが行動を選択する規則である方策をπと表わし、この方策πのもと、状態ｓにおいて行動ａを選択する確率を、π（ｓ，ａ）と表わす。模倣学習部３０が模倣学習を行う方法は任意であり、模倣学習部３０は、一般的な方法を用いて模倣学習を行うことで方策を出力すればよい。
　さらに、模倣学習部３０は、模倣学習を行い、報酬関数を出力する。具体的には、模倣学習部３０は、状態ベクトルｓを報酬関数ｒに入力することで得られる報酬ｒ（ｓ）を関数の入力とする方策を定める。すなわち、方策から得られる行動ａは、以下に例示する式１で定められる。
　ａ～π（ａ｜ｒ（ｓ））　　（式１）
　すなわち、模倣学習部３０は、方策を報酬関数の汎関数として定式化してもよい。このような定式化をした方策を用いて模倣学習を行うことにより、模倣学習部３０は、方策の学習を行いつつ、報酬関数の学習も行うことが可能になる。
　なお、ある状態ｓおよび行動ａから状態ｓ´を選択する確率は、π（ａ｜ｓ）と表わすことができる。上記に示す式１のように方策を定めた場合、報酬関数ｒ（ｓ，ａ）を用いて、以下に例示する式２の関係を定めることができる。なお、報酬関数ｒ（ｓ，ａ）を、ｒａ（ｓ）と記すこともある。
　π（ａ｜ｓ）:=π（ａ｜ｒ（ｓ，ａ））　　（式２）
　また、方策を選択する確率π（ａ｜ｓ）は、ある状態ｓにおける行動ａにより得られる報酬と関連することから、上記の報酬関数ｒａ（ｓ）を用いて、以下に例示する式３の形式で定義できる。なお、ＺＲは分配関数であり、ＺＲ＝Σａｅｘｐ（ｒａ（ｓ））である。
Figure JPOXMLDOC01-appb-M000001
　本実施形態では、模倣学習部３０は、模倣学習により、入力された報酬の関数形に応じた報酬関数を学習する。例えば、量子アニーリングマシンに入力されるイジングモデルの関数形は、以下に示す式４で表される。式４において、状態を表わす（ｓ，ａ）が、イジングモデルにおけるσに対応し、パラメータθが、Ｊｉｊおよびｈｉに対応する。
Figure JPOXMLDOC01-appb-M000002
　このとき、模倣学習部３０は、上記式４に示すイジングモデルの関数形に基づいて報酬関数（具体的には、パラメータθ）を学習する。このような関数形を用いて報酬関数を学習することで、模倣学習部３０は、量子アニーリングマシンで必要とされる型の報酬関数を生成できる。
　なお、上記説明では、模倣学習部３０が、イジングモデルの関数形に基づいて模倣学習により報酬関数を学習する方法について例示した。ただし、入力される関数形はイジングモデルに限定されない。例えば、ハバードモデルを用いるデバイスが使用される場合、模倣学習部３０は、ハバードモデルの関数形に基づいて、模倣学習により報酬関数を学習してもよい。
　出力部４０は、模倣学習部３０の学習の結果、生成された報酬関数を出力する。生成された報酬関数は、デバイス２００が要求する型のモデルとして生成されるため、再変換する必要がない。そのため、出力部４０は、生成された報酬関数により特定されるパラメータをデバイス２００に直接入力（設定）してもよい。
　また、出力部４０は、生成された報酬関数に対する評価結果を合わせて出力してもよい。報酬関数に対して評価する方法は任意である。出力部４０は、例えば、学習に用いたエキスパートデータ（学習データ）と、学習された報酬関数に基づく予測結果との近さを、報酬関数ごとの評価結果として出力してもよい。
　入力部２０と、模倣学習部３０と、出力部４０とは、プログラム（学習プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array ））によって実現される。
　例えば、プログラムは、学習装置１００の記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部２０、模倣学習部３０および出力部４０として動作してもよい。また、学習装置１００の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
　入力部２０と、模倣学習部３０と、出力部４０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
　また、学習装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　また、記憶部１０は、例えば、磁気ディスク等により実現される。
　次に、本実施形態の学習装置１００の動作を説明する。図２は、本実施形態の学習装置１００の動作例を示すフローチャートである。入力部２０は、報酬の関数形の入力を受け付ける（ステップＳ１１）。模倣学習部３０は、学習データに基づいて模倣学習により方策を学習する（ステップＳ１２）。さらに、模倣学習部３０は、模倣学習により、入力された報酬の関数形に応じた報酬関数を学習する（ステップＳ１３）。出力部４０は、学習の結果、生成された報酬関数を出力する（ステップＳ１４）。
　以上のように、本実施形態では、入力部２０が、報酬の関数形の入力を受け付け、模倣学習部３０が、学習データに基づいて模倣学習により方策を学習する。さらに、模倣学習部３０が、模倣学習により、入力された報酬の関数形に応じた報酬関数を学習する。よって、取得されたデータから、量子コンピュータで用いられる特定のモデルを学習できる。
　例えば、一般的な方法ではエキスパートデータから報酬設計を行おうとした場合、量子コンピュータが必要とする形に実社会問題をモデル化することが困難であった。一方、本実施形態では、入力部２０が報酬の関数形の入力を受け付け、模倣学習部３０が、入力された報酬の関数形に応じた報酬関数を学習する。
　上述の例では、量子アニーリングに特化した報酬関数の型（例えば、イジングモデルの関数形）を設定して学習することにより、イジングモデルの報酬関数を得ることができる。したがって、目的関数をイジングモデルに再変換する必要がなくなるため、全体として作業に要するコストを低減することが可能になる。
　また、模倣学習部３０が、学習データから量子アニーリングマシンが用いるモデルに沿った報酬関数を直接学習することにより、量子アニーリングマシンの性能を最大限引き出せるため、様々なユーザが量子アニーリングマシンを利用できるようになる。
　次に、本発明の概要を説明する。図３は、本発明による学習装置の概要を示すブロック図である。本発明による学習装置８０は、特定のモデルを用いて処理を行うデバイス（例えば、デバイス２００）に適用されるモデルを学習する学習装置（例えば、学習装置１００）であって、報酬の関数形（例えば、イジングモデル、ハバードモデルなど）の入力を受け付ける入力部８１（例えば、入力部２０）と、学習データに基づいて模倣学習により方策を学習する模倣学習部８２（例えば、模倣学習部３０）とを備えている。
　模倣学習部８２は、模倣学習により、入力された報酬の関数形に応じた報酬関数を学習する。
　そのような構成により、取得されたデータから、量子コンピュータで用いられる特定のモデルを直接学習できる。
　具体的には、模倣学習部８２は、報酬関数の汎関数として方策を定式化し、定式化された方策を用いて模倣学習を行うことにより、報酬関数を学習してもよい。
　また、学習装置８０は、イジングモデルに基づいて量子アニーリングを行うデバイス（例えば、量子アニーリングマシン）に適用されるモデルを学習する学習装置であってもよい。このとき、入力部８１は、イジングモデルの関数形を受け付け、模倣学習部８２は、模倣学習により、イジングモデルの関数形に応じた報酬関数を学習してもよい。
　具体的には、模倣学習部８２は、状態と行動とを対応付けた学習データに基づいて模倣学習により方策を学習し、イジングモデルにおけるスピン（例えば、式４におけるσ）を学習データの状態および行動に対応付けて、そのイジングモデルのパラメータ（例えば、式４におけるＪｉｊおよびｈｉ）を決定することにより報酬関数を学習してもよい。
　図４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。
　上述の学習装置８０は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（学習プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
　なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行しても良い。
　また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　１　情報処理システム
　１０　記憶部
　２０　入力部
　３０　模倣学習部
　４０　出力部
　１００　学習装置
　２００　デバイス

Claims (8)

  1. 　特定のモデルを用いて処理を行うデバイスに適用されるモデルを学習する学習装置であって、
    　報酬の関数形の入力を受け付ける入力部と、
    　学習データに基づいて模倣学習により方策を学習する模倣学習部とを備え、
    　前記模倣学習部は、前記模倣学習により、入力された報酬の関数形に応じた報酬関数を学習する
    　ことを特徴とする学習装置。
  2. 　模倣学習部は、報酬関数の汎関数として方策を定式化し、定式化された方策を用いて模倣学習を行うことにより、報酬関数を学習する
    　請求項１記載の学習装置。
  3. 　イジングモデルに基づいて量子アニーリングを行うデバイスに適用されるモデルを学習する学習装置であって、
    　入力部は、イジングモデルの関数形を受け付け、
    　模倣学習部は、模倣学習により、イジングモデルの関数形に応じた報酬関数を学習する
    　請求項１または請求項２記載の学習装置。
  4. 　模倣学習部は、状態と行動とを対応付けた学習データに基づいて模倣学習により方策を学習し、イジングモデルにおけるスピンを前記学習データの状態および行動に対応付けて当該イジングモデルのパラメータを決定することにより報酬関数を学習する
    　請求項３記載の学習装置。
  5. 　特定のモデルを用いて処理を行うデバイスに適用されるモデルを学習する学習方法であって、
    　コンピュータが、報酬の関数形の入力を受け付け、
    　前記コンピュータが、学習データに基づいて模倣学習により方策を学習し、
    　前記コンピュータが、前記模倣学習により、入力された報酬の関数形に応じた報酬関数を学習する
    　ことを特徴とする学習方法。
  6. 　コンピュータが、報酬関数の汎関数として方策を定式化し、定式化された方策を用いて模倣学習を行うことにより、報酬関数を学習する
    　請求項５記載の学習方法。
  7. 　特定のモデルを用いて処理を行うデバイスに適用されるモデルを学習するコンピュータに適用される学習プログラムであって、
    　前記コンピュータに、
    　報酬の関数形の入力を受け付ける入力処理、および、
    　学習データに基づいて模倣学習により方策を学習する模倣学習処理を実行させ、
    　前記模倣学習処理で、前記模倣学習により、入力された報酬の関数形に応じた報酬関数を学習させる
    　ための学習プログラム。
  8. 　コンピュータに、
    　模倣学習処理で、報酬関数の汎関数として方策を定式化させ、定式化された方策を用いて模倣学習を行うことにより、報酬関数を学習させる
    　請求項７記載の学習プログラム。
PCT/JP2018/045113 2018-12-07 2018-12-07 学習装置、学習方法、および学習プログラム Ceased WO2020115904A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/296,798 US12265893B2 (en) 2018-12-07 2018-12-07 Learning device, learning method, and learning program
PCT/JP2018/045113 WO2020115904A1 (ja) 2018-12-07 2018-12-07 学習装置、学習方法、および学習プログラム
JP2020558788A JP7111178B2 (ja) 2018-12-07 2018-12-07 学習装置、学習方法、および学習プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/045113 WO2020115904A1 (ja) 2018-12-07 2018-12-07 学習装置、学習方法、および学習プログラム

Publications (1)

Publication Number Publication Date
WO2020115904A1 true WO2020115904A1 (ja) 2020-06-11

Family

ID=70973476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045113 Ceased WO2020115904A1 (ja) 2018-12-07 2018-12-07 学習装置、学習方法、および学習プログラム

Country Status (3)

Country Link
US (1) US12265893B2 (ja)
JP (1) JP7111178B2 (ja)
WO (1) WO2020115904A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022016279A (ja) * 2020-07-08 2022-01-21 Tdk株式会社 成膜システム、工場システム及びウェハの成膜方法
WO2022137506A1 (ja) * 2020-12-25 2022-06-30 日本電気株式会社 運転評価システム、学習装置、評価結果出力装置、方法およびプログラム
WO2023214582A1 (ja) 2022-05-02 2023-11-09 三菱重工業株式会社 学習装置、学習方法及び学習プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091272A (ja) * 2015-11-11 2017-05-25 日本電信電話株式会社 内部基準推定装置、方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2143044A4 (en) 2007-04-19 2012-08-08 Dwave Sys Inc SYSTEMS, METHODS AND DEVICES FOR AUTOMATIC IMAGE RECOGNITION
DE112017002604T5 (de) 2016-06-21 2019-02-21 Sri International Systeme und Verfahren für das maschinelle Lernen unter Verwendung eines vertrauenswürdigen Modells
US11468334B2 (en) * 2018-06-19 2022-10-11 International Business Machines Corporation Closed loop model-based action learning with model-free inverse reinforcement learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091272A (ja) * 2015-11-11 2017-05-25 日本電信電話株式会社 内部基準推定装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UCHIDA, SHIHORI ET AL.: "Estimationof the change of agent's behavior strategy using state-action history.", IEICE TECHNICAL REPORT., vol. 116, no. 521, 6 March 2017 (2017-03-06), pages 7 - 12, ISSN: 0913-5685 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022016279A (ja) * 2020-07-08 2022-01-21 Tdk株式会社 成膜システム、工場システム及びウェハの成膜方法
JP7633046B2 (ja) 2020-07-08 2025-02-19 Tdk株式会社 成膜システム及びウェハの成膜方法
WO2022137506A1 (ja) * 2020-12-25 2022-06-30 日本電気株式会社 運転評価システム、学習装置、評価結果出力装置、方法およびプログラム
JPWO2022137506A1 (ja) * 2020-12-25 2022-06-30
EP4250272A4 (en) * 2020-12-25 2024-01-17 NEC Corporation Driving assessment system, learning device, assessment result output device, method, and program
JP7552727B2 (ja) 2020-12-25 2024-09-18 日本電気株式会社 運転評価システム、学習装置、評価結果出力装置、方法およびプログラム
WO2023214582A1 (ja) 2022-05-02 2023-11-09 三菱重工業株式会社 学習装置、学習方法及び学習プログラム

Also Published As

Publication number Publication date
US12265893B2 (en) 2025-04-01
JP7111178B2 (ja) 2022-08-02
JPWO2020115904A1 (ja) 2021-09-30
US20210398019A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
US12585275B1 (en) Loss scaling for neural networks
US10902347B2 (en) Rule creation using MDP and inverse reinforcement learning
US11640518B2 (en) Method and apparatus for training a neural network using modality signals of different domains
CN109643383B (zh) 域分离神经网络
US11200357B2 (en) Predicting target characteristic data
CN112633310A (zh) 具有改进的训练鲁棒性地对传感器数据进行分类的方法和系统
JP7502972B2 (ja) プルーニング管理装置、プルーニング管理システム及びプルーニング管理方法
CN112784954A (zh) 确定神经网络的方法和装置
WO2020101948A1 (en) Dynamic precision scaling at epoch granularity in neural networks
CN113591573A (zh) 多任务学习深度网络模型的训练及目标检测方法、装置
CN111899594A (zh) 用于自动驾驶车辆的动态模型的自动化训练数据提取方法
US20160092789A1 (en) Category Oversampling for Imbalanced Machine Learning
CN111210016A (zh) 对包含元素级别操作的神经网络进行剪枝
JP7226696B2 (ja) 機械学習方法、機械学習システム及び非一時的コンピュータ可読記憶媒体
JP7111178B2 (ja) 学習装置、学習方法、および学習プログラム
JP7111177B2 (ja) 学習装置、学習方法、および学習プログラム
JP6992891B2 (ja) 学習装置、情報処理システム、学習方法、および学習プログラム
CN116663650A (zh) 深度学习模型的训练方法、目标对象检测方法及装置
CN116710974A (zh) 在合成数据系统和应用程序中使用域对抗学习的域适应
US20250061360A1 (en) Quantum oracle decomposition for simulating quantum computing systems and applications
US12443678B2 (en) Stepwise uncertainty-aware offline reinforcement learning under constraints
US12275434B2 (en) Autonomous driving evaluation using data analysis
US12536447B2 (en) Feature selection in vertical federated learning
CN118691869A (zh) 对象检测中不平衡数据的实例感知重复因子采样方法
US20190354833A1 (en) Method and system for reducing communication frequency in neural network systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18942196

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558788

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18942196

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17296798

Country of ref document: US