JP6925911B2 - 機械学習装置及び機械学習方法 - Google Patents
機械学習装置及び機械学習方法 Download PDFInfo
- Publication number
- JP6925911B2 JP6925911B2 JP2017165327A JP2017165327A JP6925911B2 JP 6925911 B2 JP6925911 B2 JP 6925911B2 JP 2017165327 A JP2017165327 A JP 2017165327A JP 2017165327 A JP2017165327 A JP 2017165327A JP 6925911 B2 JP6925911 B2 JP 6925911B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- parameter
- numerical value
- evaluation
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/58—Random or pseudo-random number generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
- G06F2207/4818—Threshold devices
- G06F2207/4824—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Feedback Control In General (AREA)
Description
前記活性化状態決定ユニットは、それぞれが管理するパラメータに基づいて該データを処理させる複数のパラメータユニットを有し、
かつ前記複数の各パラメータユニットは、
符号が変化する数値を発生する数値発生器と、
前記パラメータと、前記数値発生器の発生した数値に基づいて、前記データを処理するためのパラメータを作成する数値処理器と、
前記処理したデータを評価システムにて評価した評価値と、前記数値発生器が発生した数値に基づいて、前記パラメータを更新するパラメータ更新ユニットと、を備え、
前記数値発生器は、データ処理ごとに発生させる数値を変化させ、前記各パラメータユニット間で前記数値の符号変化の順番がそれぞれ異なるように数値を発生することを特徴とする機械学習システム、と構成される。
図1は機械学習システムの全体構成を示す図である。機械学習システムは、データ処理システム1000と、学習結果を評価する評価システム2000から構成される。データ処理システム1000は主に機械学習を行うものであり、学習に必要な情報(例えば複数のセンサ情報)をデータ入力として受け取り、学習処理を行って、データを出力する。評価システム2000はデータ処理システム1000の出力情報である学習結果について評価を行う。データ処理システム1000は例えばサーバであり、評価システム2000はデータ処理システム1000とは独立に動作するシステムである。
本発明の好ましい例では、数値発生位相を持つ数値発生器300が持つ性質として、位相が等しい数値発生器300aおよび300bの組が発生させる数列組の相関が高くなり、位相が異なる数値発生器300aおよび300cの組が発生させる数列組の相関が低くなるという特徴を用いている。数値発生器300は正(+1)または負(-1)の数列を発生し、発生周期がTである場合、異なる位相設定から生成される数列Cn, Cmは、以下の式1を満たすとする。
データ処理システム1000は、複数の活性化状態決定ユニット100、評価差分値配信経路200、動作モード配信経路210、パラメータ更新信号配信経路220、入力レジスタ1100、出力レジスタ1200、制御部1300、評価差分計算器1400、現在評価値レジスタ1410、基準評価値レジスタ1420、評価値レジスタ選択器1430、評価システム重みレジスタ1500、および周辺回路から構成される。活性化状態決定ユニット100は人工ニューロンを構成し、ここでは複数の活性化状態決定ユニット100の集合を活性化状態決定ユニット群10ということにする。データ処理システム1000に入力されたデータは入力レジスタ1100に保持され、その入力データが活性化状態決定ユニット群10を通る間に処理が行われて、その処理結果が出力レジスタ1200に格納される。
データ処理システムは、外部からの入力データを受け取る入出力装置3040a、評価システムからの評価を受け取る入出力装置3040b、データ処理システムの計算結果を出力する入出力装置3040c、中央処理装置(CPU)3010、主記憶3020、活性化状態決定ユニット群10が実装される演算加速装置(アクセラレータ)3030から構成される。入出力装置3040は、例えばネットワークインターフェイスカード(NIC)、ホストバスアダプタ(HBA)、ホストチャネルアダプタ(HCA)、等である。なお、入出力装置3040には、データ入力するキーボードやマウス等の入力部と、データを表示する表示部が含まれる。
制御部1300は、データ処理システム1000の動作モードを決定し、他の構成要素の動作を制御する。制御部1300は、動作モードを保持する動作モードレジスタ1310と、学習を行う周期(サイクル)数を保持するチップ長レジスタ1320と、現在のサイクル数を保持するチップカウンタ1330と、評価値を監視して学習の完了を検知する学習完了判定部1340を有する。制御部1300はまた、外部から現在の評価値の値を受け取るポートEと、評価値差分値を受け取るポートΔEと、現在の動作モードを出力するポートMと、パラメータ更新タイミングを出力するポートUを持つ。
学習開始前に、本システムの操作者によってチップ長レジスタの値、学習完了基準(目標評価値および評価値が変動しない場合に打ち切るまでの学習サイクル数)が、事前に制御部に与えられるものとする。
(10000) 動作モードレジスタ1310の値を、推論モードを示す値に設定し、動作モード信号 を出力する。
(10100) チップ長レジスタ1320の値をチップカウンタ1330に設定する。
(10200) 学習完了判断部1340が評価値から学習の完了を判定する。
(10300) データ処理システム1000が、入力レジスタ1100に設定されたデータから出力結果 を生成して、評価システムによる評価が完了するまで待機する。この待機期間中 に、現在の入力データに対してデータ処理システムによって処理を適用した結果 に対する評価値を計算して、基準評価値レジスタ1420に書き込む。
(10400) 動作モードレジスタ1310の値を学習モードに設定し、動作モード信号を出力する。
(10500) データ処理システム1000が、入力レジスタ1100に設定されたデータから出力結果 を生成して、評価システムによる評価が完了するまで待機する。完了するまで手 順(10500)を繰り返す。
(10600) チップカウンタ1330の値を1減算する。
(10700) チップカウンタ1330の値が0である場合には手順(10800)に進む。
0以外の場合には手順(10500)に進む。
(10800) パラメータ更新信号を出力する。手順(10000)に進む。
学習完了判定部1340は、目標評価値レジスタ1341、停滞閾値レジスタ1342、停滞期間限界レジスタ1343、停滞期間カウントレジスタ1344と、周辺回路から構成される。外部から与えられる評価値Eは、目標評価値レジスタ1341と評価値比較器13402に入力され、目標値よりも現在の評価値が大きいまたは小さい場合に正の信号が出力される。評価差分値ΔEの絶対値は停滞閾値レジスタ1342と差分値比較器13401に入力され、評価差分値の絶対値が停滞閾値レジスタ1342の値よりも小さいときに正の信号が出力される。停滞期間カウントレジスタ1344は、評価システムによる評価が完了する毎に差分値比較器13401の出力によって、選択器13404を介してその値が更新される。
(13000) 外部から与えられる評価値の評価値の目標値Edestを目標評価値レジスタ1341に 、評価差分値の閾値ΔEthを停滞閾値レジスタ1342に、停滞期間の限界値Nを停滞 期間限界レジスタ1343に設定する。
停滞期間カウントレジスタ1344を0に設定する
(13100) データ処理システムによる出力生成と評価システムによる評価が完了するまで手 順(13100)を繰り返す。評価が完了したら手順(13200)に進む。
(13200) 現在の評価値Eが目標評価値レジスタ1341に設定された目標値Edestを超えている かの判断において、現在の評価値Eが目標値Edestを超えている場合、学習完了と 判定する。超えていない場合、手順(13200)に進む。ここでの「超えた」とは、 評価値の最小化が目的であれば「小さくなった」ことを意味し、評価値の最大化 が目的であれば「大きくなった」ことを意味する。
(13300) 現在の評価値差分値の絶対値|ΔE|は停滞閾値レジスタ1342より小さいか、の判 断において、現在の評価値差分値の絶対値|ΔE|が閾値ΔEth以下の場合、手順(1 3500)に進む。閾値よりも大きい場合は手順(13400)に進む。
(13400) 停滞期間カウントレジスタ1344の値を0に設定する。手順(13100)に進む。
(13500) 停滞期間カウントレジスタ1344の値を1加算する。
(13600) 停滞期間カウントレジスタ1344の値が停滞期間限界レジスタ1343の値を超えた場 合、学習完了と判定する。超えていない場合、手順(13100)へ進む。
活性化状態決定ユニット100は、1つ以上のパラメータユニット120と、パラメータユニットの出力と活性化状態決定ユニットへの入力の積を計算する乗算器130と、複数の乗算器130の出力を加算する加算器140と、加算器の出力結果に基づいて活性化状態決定ユニットの活性化状態を決定する活性化関数器150から構成される。活性化状態決定ユニット100内の複数のパラメータユニット120には、評価差分値配信経路200、動作モード配信経路210、パラメータ更新信号配信経路220がそれぞれ接続される。
パラメータユニット120は、パラメータレジスタ110、数値発生器300、パラメータ更新ユニット400および周辺機能ブロックから構成される。入力として、評価差分値配信経路200、動作モード配信経路210、パラメータ更新信号配信経路220がパラメータユニット120に接続される。外部へパラメータ値を出力する。数値発生器300の出力は、動作モードによって切り替えが可能な選択器170に入力される。選択器170は、推論モードの時には0を出力し、学習モードの時には数値発生器300が発生させた値を出力する。選択器170からの出力値とパラメータレジスタ110の値は数値処理器例えば加算器180によって加算され、外部に出力される。また、数値発生器300の出力を用いて、評価差分値配信経路200から入力される差分値を、除算器160で除算して推定勾配値を算出し、パラメータ更新ユニット400に入力する。パラメータ更新ユニット400は、推定勾配値と現在のパラメータレジスタ110の値を用いて、パラメータ更新信号配信経路220からの更新信号が到達したときにパラメータレジスタ110の値を更新する。
(11000) 動作モードの判定において、動作モードが学習モードである場合、手順(11100) に進む。動作モードが推論モードである時には、手順(11700)に進む。
(11100) 数値発生器300から値を一つ取り出す。取り出した値を以下ではAとする。
(11200) パラメータレジスタ110の値にAを加算して出力する。
(11300) 現在の入力データと手順(11200)で出力したパラメータを用いて処理を行い、デ ータ処理システムの出力が生成され、それを評価システムが評価して評価値が計 算されるまで待機する。評価値は現在評価値レジスタ1410に入力され、基準評価 値レジスタ1420との差分が評価差分計算器1400によって計算され、評価差分値配 信経路200を通じてパラメータユニットまで配信される。
(11400) 評価差分値配信経路200から配信された値をAで除算し、推定勾配値Bを算出する。
(11500) 推定勾配値Bをパラメータ更新ユニット400に入力する。
(11600) 学習が完了していなければ手順(11000)に進む。学習が完了している場合は動作 を終了する。
(11700) パラメータレジスタ110の値を外部に出力する。手順(11600)に進む。
パラメータ更新ユニット400は、積分レジスタ410、学習係数レジスタ420、チップ長レジスタ430から構成され、外部からパラメータユニット120内部で計算された推定勾配値、パラメータレジスタ110の現在の値、パラメータ更新信号配信経路220からの信号を受け取り、パラメータレジスタ110の値を更新するための信号を出力する。パラメータ更新信号が来ていない期間は、加算器180で推定勾配値の値を積分レジスタ410の値に加算する。パラメータレジスタ110の更新は現在のパラメータレジスタ110の値を用いるように選択器170を設定して、実質的に更新を行わない。パラメータ更新信号が到着した場合、除算器160で、積分レジスタ410の値をチップ長レジスタ430の値で除算し、更に学習係数レジスタ420の値と乗算器190で掛け合わせたものに現在のパラメータレジスタ110の値を加算器180で加算した値を計算する。その加算された値でパラメータレジスタ110の値を更新する。また、積分レジスタの値を0にリセットする。
(12000) データ処理システムによる出力生成と評価システムによる評価が完了していなければ、データ処理システムによる出力生成と評価システムによる評価が完了し、パラメータユニット120に評価差分値が配信され、推定勾配が計算されるまで待機する。推定勾配値が与えられるまで手順(12000)を繰り返す。
(12100) パラメータユニット120内部で計算された推定勾配値を積分レジスタ410の現在値に加算し、積分レジスタ410の値を更新する。
(12200) パラメータ更新信号配信経路220から更新信号が来ている場合は手順(12200)に進む。到着していない場合は手順(12000)に進む。
(12300) 積分レジスタ410の値をチップ長カウンタ430で除算し、推定勾配値を補正する。補正結果に学習係数を掛け合わせてパラメータ更新量を算定する。
(12400) 当該パラメータ更新量と現在のパラメータレジスタ110の値を加算し、計算結果を用いてパラメータレジスタ110の値を更新する。
(12500) 積分レジスタ410の値を0にリセットする。
(12600) 学習が完了している場合にはフローチャートを抜けて動作を停止する。学習が完了していない場合には手順(12000)に進む。
数値発生器300は、疑似雑音源(または疑似乱数源)310と、数値微分用微少数発生器320、数値発生器300の出力に応じて正または負の符号を発生させる選択器170、および選択器170の出力と数値微分用微少数発生器320の積を計算して外部に出力する乗算器190から構成される。数値発生器300は要求に応じて正または負の微少数いずれか一つの数値を発生させて出力する。数値微分用微少数発生器320は数値格納レジスタを用いて、常に定数を発生させるように実装しても良い。
疑似雑音源310は、位相が等しいベクトル同士の相関性が、位相が異なるベクトル同士の相関性よりも高い性質を持つ。換言すれば、位相が異なるベクトル同士を掛け合わせて積分した値が、位相が同じベクトル同士を掛け合わせて積分した値よりも優位に小さい性質を持つ。
設定画面は、データ処理システム1000を構成する計算機3000(図3)の入出力装置3040の1つである表示部に表示される。
設定画面4000は、チップ長設定4010、学習係数設定4020、微分係数設定4030、学習完了閾値設定4040および評価システム重み設定4050の各項目を含む。チップ長設定4010は学習の周期を表す値であり、制御部1300のチップ長レジスタ1320及びパラメータ更新ユニットのチップ長レジスタ430に反映される。学習係数設定4020の値は、パラメータ更新ユニット400の学習係数レジスタ420に反映される。微分係数設定4030の値は、数値発生器300の数値微分用微少数発生器320に反映される。学習完了閾値設定4040は制御部1000の学習完了判定部1340において学習完了を判断するために用いられる。評価システム重み設定4050はデータ処理システム1000の評価値重みレジスタ1500に反映される。
図16は、実施例2に係る数値発生器300の構成を示す。数値発生器300は、発信器330、周波数レジスタ340、チップ長レジスタ350、数値微分用微少数発生器320、および乗算器190から構成される。周波数レジスタ340とチップ長レジスタ350の値に基づいて発信器330は信号を発生させる。乗算器190は、発信器330の出力と数値微分用微少数発生器320を乗算して外部に出力する。
本発明では、数値発生器300が持つ相関性を利用した処理により、位相が同じパラメータユニット120がデータ処理システムの出力に与える影響量を、位相が異なるパラメータユニット120の影響量から分離している。学習モードの開始から終了までを一学習サイクルとしたとき、この位相が異なるパラメータユニットの影響量はランダムノイズとして観測されることが期待できる。一方で、学習サイクル毎にわずかずつパラメータ値を更新している場合には、勾配の変化について変化が緩やかであることが期待できる。
(12301)積分レジスタ410の値をチップ長カウンタ430で除算し、フィルタ回路440に入力する。フィルタ回路の出力に学習係数を掛け合わせてパラメータ更新量を算定する。
上記手順(12300)以外は、実施例1(図12)と同様であるため、説明を省略する。
フィルタ回路440は、1つ以上の遅延素子4401と、遅延素子の出力と掛け合わせるフィルタ係数を保持する複数のフィルタ係数レジスタ4402と、遅延素子4401の出力とそれぞれのフィルタ係数レジスタ4402の係数とを掛け合わせる複数の乗算器4403と、乗算器4403で掛け合わせた値を加算する加算器4404により構成される。加算器4404の出力がフィルタ回路440の出力となる。
(10800) パラメータ更新信号を出力する。手順(10900)に進む。
(10900) 学習完了判定部1340からチップ長増加信号が到着している場合、手順(10910)に 進む。到着していない場合は手順(10000)に進む。
(10910) チップ長レジスタの値を+1加算する。手順(10000)に進む。
学習完了判定部1340は、実施例1の学習完了判定部1340の構成(図6)に対して、チップ加算限界レジスタ1345、チップ加算回数レジスタ1346およびその周辺回路が追加して構成される。実施例1では、一定期間評価値の変化量が閾値を下回ると、学習完了信号が送出されるように更新される。これに対して、実施例4では、変化量が閾値を下回る状況が一定期間発生した場合、チップ長を増加させる信号を送出するとともに、チップ長加算回数レジスタ1346を、加算器13407及び選択器13408を介して「1」加算する。チップ長を増加させても変化量が閾値を下回り続け、比較器13409によりチップ長加算回数レジスタ1346の値がチップ加算限界レジスタ1345を超えたと判断された場合、学習完了信号を生成する。生成された信号は評価値比較器13402からの信号と論理和13405が取られ、外部に出力される。一方、比較器13409においてチップ長を増加させた次のサイクルで評価差分値が閾値を上回った場合、チップ長加算回数レジスタ1346の値は「0」にリセットされる。
(13600) 停滞期間カウントレジスタ1344の値が停滞期間限界レジスタ1343の値を超えた場 合、手順(13700)へ進む。超えていない場合、手順(13720)へ進む。
(13700) チップ長加算信号を送出する。さらにチップ長加算回数レジスタ1346を+1加算す る。
(13710) チップ長加算回数レジスタ1346の値がチップ加算限界レジスタ1345以上となった 場合、動作フローを抜けて学習完了状態に遷移する。限界未満である場合には手 順(13100)に進む。
(13720) チップ長加算回数レジスタ1346の値を「0」にリセットする。
手順(13100)に進む。
10 活性化状態決定ユニット群
110 パラメータレジスタ
120 パラメータユニット
200 評価差分値配信経路
210 動作モード配信経路
220 パラメータ更新信号配信経路
300 数値発生器
310 疑似乱数発生器
320 数値微分用微少数発生器
330 発信器
340 周波数レジスタ
350 チップ長レジスタ
400 パラメータ更新ユニット
410 積分レジスタ
420 学習係数レジスタ
430 チップ長レジスタ
440 フィルタ回路
1000 データ処理システム
1100 入力レジスタ
1200 出力レジスタ
1300 制御部
1310 動作モードレジスタ
1320 チップ長レジスタ
1330 チップカウンタ
1340 学習完了判定部
1341 目標評価値レジスタ
1342 停滞閾値レジスタ
1343 停滞期間限界レジスタ
1344 停滞期間カウントレジスタ
1345 チップ加算限界レジスタ
1346 チップ長加算回数レジスタ
1400 評価差分計算器
1410 現在評価値レジスタ
1420 基準評価値レジスタ
1430 書き込みレジスタ選択器
1500 評価値重みレジスタ
2000 評価システム
3000 計算機システム
3010 中央処理装置
3020 主記憶
3030 演算加速装置
3040 入出力装置
4000 学習条件設定画面
4010 チップ長設定
4020 学習係数設定
4030 微分係数設定
4040 学習完了閾値設定
4050 評価システム重み設定
Claims (9)
- データをパラメータに基づいて変化させてデータを処理して出力する活性化状態決定ユニットを有する機械学習システムであって、
前記活性化状態決定ユニットは、それぞれが管理するパラメータに基づいて該データを処理させる複数のパラメータユニットを有し、
かつ前記複数の各パラメータユニットは、
符号が変化する数値を発生する数値発生器と、
前記パラメータ(変更前のパラメータ)と、前記数値発生器の発生した数値に基づいて、前記データを処理するための、変更したパラメータ(変更後のパラメータ)を作成する数値処理器と、
前記処理したデータを評価システムにて評価した評価値と、前記数値発生器が発生した数値に基づいて、前記パラメータを更新するパラメータ更新ユニットと、を備え、
前記数値発生器は、データ処理ごとに発生させる数値を変化させ、前記各パラメータユニット間で前記数値の符号変化の順番がそれぞれ異なるように数値を発生する
ことを特徴とする機械学習システム。 - 前記数値発生器は、符号が異なる数値を発生させる乱数発生器を含むことを特徴とする請求項1の機械学習システム。
- 前記数値発生器の乱数発生器は、周期的に発生させる数値が変化する疑似乱数発生器であり、
前記疑似乱数発生器は、各パラメータユニット間で、符号変化の順番が異なるように設定されていることを特徴とする請求項1の機械学習システム。 - 前記数値発生器の発生する数値は、その絶対値が一定ではなく、
前記数値処理器は、前記変更前のパラメータに前記数値を加算した値を用い、
前記パラメータ更新ユニットは、前記評価値を前記数値で除算した値を用いる
ことを特徴とする請求項1の機械学習システム。 - 前記数値発生器が発生する数値を固定した状態で、前記変更後のパラメータを作成し、
前記パラメータを更新する場合に、前記数値発生器が発生する数値を更新する
請求項1の機械学習システム。 - 前記機械学習システムは、
前記数値発生器の発生させた数値を用いて前記データ処理を行う学習モードと、前記数値を用いずに前記データ処理を行う推論モードとを動作モードで制御する制御部と、を有し、
前記制御部は、
前記推論モードにて評価システムにて評価した評価値を基準評価値として記憶し、
前記学習モードにて評価システムにて評価した評価値を、前記基準評価値と比較した差分を、前記パラメータを更新するための評価値として前記パラメータユニットに送信する
ことを特徴とする請求項1の機械学習システム。 - 前記学習モードと前記推論モードとを変更する場合には、前記パラメータを更新する
請求項6の機械学習システム。 - 前記活性化状態決定ユニットは人工ニューロンを構成する請求項1記載の機械学習システム。
- データをパラメータに基づいて変化させてデータを処理して出力する活性化状態決定ユニットを有する機械学習システムにおける機械学習方法であって、
前記活性化状態決定ユニットは、それぞれが管理するパラメータに基づいて該データを処理させる複数のパラメータユニットを有し、
かつ前記複数の各パラメータユニットは、
符号が変化する数値を発生する数値発生器と、
前記パラメータ(変更前のパラメータ)と、前記数値発生器の発生した数値に基づいて、前記データを処理するための、変更したパラメータ(変更後のパラメータ)を作成する数値処理器と、
前記処理したデータを評価システムにて評価した評価値と、前記数値発生器が発生した数値に基づいて、前記パラメータを更新するパラメータ更新ユニットと、を備え、
前記数値発生器は、データ処理ごとに発生させる数値を変化させ、前記各パラメータユニット間で前記数値の符号変化の順番がそれぞれ異なるように数値を発生する
ことを特徴とする機械学習方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017165327A JP6925911B2 (ja) | 2017-08-30 | 2017-08-30 | 機械学習装置及び機械学習方法 |
US15/979,711 US20190065946A1 (en) | 2017-08-30 | 2018-05-15 | Machine learning device and machine learning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017165327A JP6925911B2 (ja) | 2017-08-30 | 2017-08-30 | 機械学習装置及び機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019045944A JP2019045944A (ja) | 2019-03-22 |
JP6925911B2 true JP6925911B2 (ja) | 2021-08-25 |
Family
ID=65435233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017165327A Active JP6925911B2 (ja) | 2017-08-30 | 2017-08-30 | 機械学習装置及び機械学習方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190065946A1 (ja) |
JP (1) | JP6925911B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7318646B2 (ja) * | 2018-06-27 | 2023-08-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN110442991B (zh) * | 2019-08-12 | 2021-05-04 | 江南大学 | 一种基于参数化fir模型的动态硫回收软测量建模方法 |
KR20210020387A (ko) | 2019-08-14 | 2021-02-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
JP7487556B2 (ja) * | 2020-05-22 | 2024-05-21 | 富士通株式会社 | モデル生成プログラム、モデル生成装置、及びモデル生成方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2722906B2 (ja) * | 1991-12-27 | 1998-03-09 | ダイキン工業株式会社 | 未知数量推定方法およびその装置 |
JP3178884B2 (ja) * | 1992-03-30 | 2001-06-25 | 株式会社東芝 | ニューラルネットワーク装置 |
US5455891A (en) * | 1993-10-04 | 1995-10-03 | Georgia Tech Research Corporation | System and method for a learning neural network for generating random directions for weight changes |
US7472096B2 (en) * | 2005-07-18 | 2008-12-30 | Microsoft Corporation | Training a learning system with arbitrary cost functions |
US10332028B2 (en) * | 2015-08-25 | 2019-06-25 | Qualcomm Incorporated | Method for improving performance of a trained machine learning model |
-
2017
- 2017-08-30 JP JP2017165327A patent/JP6925911B2/ja active Active
-
2018
- 2018-05-15 US US15/979,711 patent/US20190065946A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20190065946A1 (en) | 2019-02-28 |
JP2019045944A (ja) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6925911B2 (ja) | 機械学習装置及び機械学習方法 | |
EP3446260B1 (en) | Memory-efficient backpropagation through time | |
Wen et al. | Parameter selection for total-variation-based image restoration using discrepancy principle | |
Rajagopal et al. | Dynamical analysis, sliding mode synchronization of a fractional-order memristor Hopfield neural network with parameter uncertainties and its non-fractional-order FPGA implementation | |
WO2017167686A1 (en) | A method and system for scaling resources, and a computer program product | |
TW201729124A (zh) | 類神經網路處理器中之向量運算單元 | |
Osawa et al. | Scalable and practical natural gradient for large-scale deep learning | |
CN111598247A (zh) | 量子吉布斯态生成方法、装置及电子设备 | |
Zhao et al. | A stochastic collocation approach for efficient integrated gear health prognosis | |
CN111598246A (zh) | 量子吉布斯态生成方法、装置及电子设备 | |
Zhang et al. | Extreme multistability in memristive hyper-jerk system and stability mechanism analysis using dimensionality reduction model | |
JP2018528511A (ja) | 生産システムにおける出力効率の最適化 | |
Adyanthaya et al. | Robustness analysis of multiprocessor schedules | |
EP3451240A1 (en) | Apparatus and method for performing auto-learning operation of artificial neural network | |
CN113626734B (zh) | 用户行为引导方法、装置、电子设备及存储介质 | |
CN111694648B (zh) | 一种任务调度方法、装置以及电子设备 | |
JPWO2018135515A1 (ja) | 情報処理装置、ニューラルネットワークの設計方法及びプログラム | |
Chatzinakos et al. | Estimation of the dimension of chaotic dynamical systems using neural networks and robust location estimate | |
JP2022171190A (ja) | 経路検出装置およびプログラム | |
RU2596992C2 (ru) | Способ проектирования многорежимной интеллектуальной системы управления распределенной средой мягких вычислений | |
US20090313204A1 (en) | Sample-based robust inference for decision support system | |
Wang et al. | An efficient bandwidth-adaptive gradient compression algorithm for distributed training of deep neural networks | |
Winacott et al. | Methods for the estimation of the size of lookahead tree state-space | |
Wardhana et al. | Block and booth floating point number multiplication algorithms in FPGA's generalized learning vector quantization implementation | |
Vaziri et al. | HENNC: Hardware Engine for Artificial Neural Network-based Chaotic Oscillators |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6925911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |