JP7208529B2 - 最適化装置及び最適化方法 - Google Patents
最適化装置及び最適化方法 Download PDFInfo
- Publication number
- JP7208529B2 JP7208529B2 JP2019100622A JP2019100622A JP7208529B2 JP 7208529 B2 JP7208529 B2 JP 7208529B2 JP 2019100622 A JP2019100622 A JP 2019100622A JP 2019100622 A JP2019100622 A JP 2019100622A JP 7208529 B2 JP7208529 B2 JP 7208529B2
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- update
- target
- value
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Feedback Control In General (AREA)
Description
以下に示す最適化装置は、最適化問題を変換したイジングモデルの複数のスピンに対応した複数のニューロンのそれぞれの値(以下、ビット値という)の組合せのうち、エネルギーが最小となるときの各ニューロンのビット値の組合せを探索するものである。
図1は、第1の実施の形態の最適化装置の一例を示す図である。
第1の実施の形態の最適化装置10は、ニューロン回路11a1,11a2,…,11an、更新制御回路12を有する。図1の例では、ニューロン回路11a1~11anには、n個のニューロンの何れかを示すidが割当てられている。図1の例では、ニューロン回路11a1にはid=1が割当てられ、ニューロン回路11a2にはid=2が割当てられ、ニューロン回路11anにはid=nが割当てられている。
記憶部11b1は、複数の(n個の)ニューロンのうちの1つである対象ニューロンと結合する結合先ニューロンを示す結合先情報を保持する。また、記憶部11b1は、値が更新される更新対象ニューロンを示す更新対象情報を受け、その更新対象情報と一致する結合先情報を示す信号を出力する。
結合先情報や重み係数は、たとえば、図示しない制御装置が、最適化問題を式(1)のようなエネルギー関数で表されるイジングモデルに変換することで得られる。そして、結合先情報や重み係数は、たとえば、最適化装置10の初期設定処理時に、制御装置から最適化装置10に供給され、記憶部11b1,11c1に書き込まれる。
まず、初期設定処理において、たとえば、図示しない制御装置から供給される結合先情報や重み係数が記憶部11b1~11bn,11c1~11cnに書き込まれる。また、制御装置によって、各ニューロンについてのローカルフィールドの初期値が演算部11d1~11dnに設定され、各ニューロンのビット値の初期値が更新制御回路12の図示しないレジスタに設定される。また、シミュレーテッド・アニーリングが行われる場合、制御装置によって、アニーリング条件(温度パラメータの変化スケジュールや計算の反復回数など)の設定が行われる。
演算部11d1~11dnは、記憶部11c1~11cnが出力した重み係数と、xjとに基づいてローカルフィールドを更新し、エネルギー変化についても更新する。その後、更新されたエネルギー変化と熱ノイズとに基づいたf1~fnの出力や更新対象ニューロンの決定、xjの更新が繰り返される。
図2は、第2の実施の形態の最適化装置の一例を示す図である。
第2の実施の形態の最適化装置20は、ニューロン回路21a1,21a2,…,21an、更新制御回路22、制御回路23を有する。また、最適化装置20は、制御装置25と接続されている。
制御装置25は、ユーザによって入力された最適化問題の情報に基づいて、最適化問題をイジングモデルに変換する(式(1)のエネルギー関数に定式化する)。変換されたイジングモデルの情報は、重み係数とバイアス係数を含む。制御装置25は、重み係数に基づいて、各ニューロンについての結合先のニューロンのidを、結合先情報として最適化装置20に送信する。また、制御装置25は、ローカルフィールドの初期値(たとえば、バイアス係数)や、値が0ではない重み係数、アニーリング条件などについても最適化装置20に送信する。さらに、制御装置25は、最適化装置20から解(各ニューロンのビット値)を受信した場合、解を図示しない表示装置に表示させてもよい。
(ニューロン回路21a1~21anの一例)
図3は、ニューロン回路の一例を示す図である。図3では、ニューロン回路21a1の例を示しているが、他のニューロン回路21a2~21anについても同様の回路により実現される。
CAM30は、id=1のニューロンと結合する結合先ニューロンを示すidを保持する。また、CAM30は、値が更新される更新対象ニューロンを示すidjを受け、idjと一致するidを保持している場合、そのidを示す信号を出力する。CAM30の例については後述する(図4参照)。
演算部32は、ΔE計算部32a、状態遷移判定部32bを有する。
選択回路32a1は、更新対象ニューロン(id=idjのニューロン)のビット値の変化分の演算を実現するものである。更新対象ニューロンのビット値(xj)が、1から0に変化するとき、変化分(Δxj)は-1となり、xjが0から1に変化するとき、Δxjは1となる。選択回路32a1は、更新制御回路22から供給されるxj(更新後の値)が0のときには、-1を選択して出力し、xjが1のときには、1を選択して出力する。
レジスタ32a4は、図示しないクロック信号に同期して、加算器32a3が出力する値(h1)を取り込む。レジスタ32a4は、たとえば、フリップフロップである。なお、レジスタ32a4に格納されるh1の初期値は、全ニューロンのビット値の初期値を0とした場合、バイアス係数(b1)である。
符号反転部32b1は、ΔE1に-1を掛けて符号を反転させる。
選択法則適用部32b4は、シミュレーテッド・アニーリングを行うための選択法則(メトロポリス法またはギブス法)に基づいた値を出力する。
式(3)、(4)で表される許容確率A(ΔE,T)を用いた場合、十分な反復後に定常状態に達したとすると、各状態の占有確率は熱力学における熱平衡状態に対するボルツマン分布にしたがう。そして、高い温度から徐々に下げていくとエネルギーの低い状態の占有確率が増加するため、十分温度が下がるとエネルギーの低い状態が得られるはずである。この様子が材料を焼き鈍したときの状態変化とよく似ているため、この方法はシミュレーテッド・アニーリングと呼ばれるのである。このとき、エネルギーが上がる状態遷移が確率的に起こることは、物理学における熱励起に相当する。
図4は、CAMの一例を示す図である。
CAM30は、入力レジスタ30a、一致判定回路30b1,30b2,30b3,…,30bm、エンコーダ30cを有する。
たとえば、図4の例では、一致判定回路30b2のレジスタに保持されているidが、idjと一致するため、一致判定回路30b2は1を出力している。この場合、エンコーダ30cは、たとえば、“01”を出力する。
図5は、第2の実施の形態の最適化装置の一例の動作の流れを示すフローチャートである。
ニューロン回路21a1~21anのそれぞれは、初回は、初期設定処理によって得られた各ニューロンのビット値やローカルフィールドの初期値などに基づいてエネルギー変化や熱ノイズを計算する。そして、ニューロン回路21a1~21anのそれぞれは、エネルギー変化と熱ノイズに基づいて各ニューロンの更新可否(更新を許容するか否か)を判定する(ステップS12)。ニューロン回路21a1~21anのそれぞれは、2回目以降は、更新された各ニューロンのビット値や、更新されたエネルギー変化に基づいて同様の処理を行う。
(第3の実施の形態)
図6は、第3の実施の形態の最適化装置の一例を示す図である。図6において、図3に示した要素と同じ要素については同一符号が付されている。なお、図6では、図2に示した制御回路23については図示が省略されている。
図7は、第3の実施の形態の最適化装置におけるCAMの一例を示す図である。図7において、図4に示した要素と同じ要素については同一符号が付されている。
図8は、第3の実施の形態の最適化装置における更新制御回路の一例を示す図である。
更新制御回路43は、メモリ43a、id抽出回路43b、加算回路43c、ニューロン選択回路43d、結合ニューロン検出回路43e、id有無検出回路43f、ビット値更新回路43gを有する。
図9は、第3の実施の形態の最適化装置の一例の動作の流れを示すフローチャートである。
以上、実施の形態に基づき、本発明の最適化装置及び最適化方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。
11a1~11an ニューロン回路
11b1~11bn,11c1~11cn 記憶部
11d1~11dn 演算部
12 更新制御回路
Claims (4)
- 最適化問題を変換したイジングモデルの複数のスピンに対応した複数のニューロンのうちの1つである対象ニューロンと結合する結合先ニューロンを示す結合先情報を保持し、値が更新される更新対象ニューロンを示す更新対象情報を受け、前記更新対象情報と一致する前記結合先情報を示す信号を出力する第1の記憶部と、
前記対象ニューロンと前記結合先ニューロンとの間の結合の強さを示す重み係数を保持し、前記第1の記憶部が出力する前記信号が示す前記結合先情報に対応した前記重み係数を出力する第2の記憶部と、
前記第2の記憶部が出力する前記重み係数と、前記更新対象ニューロンの値とを用いて、前記対象ニューロンの値の更新を確率的に許容し、前記対象ニューロンの値の更新を許容したか否かを示す判定結果を出力する演算部と、
をそれぞれが有し、それぞれが異なる前記対象ニューロンについての前記判定結果を出力する複数のニューロン回路と、
前記複数のニューロン回路から出力される複数の前記判定結果に基づいて、前記更新対象ニューロンを決定し、前記更新対象ニューロンの値を更新するとともに、前記更新対象情報を出力する更新制御回路と、
を有する最適化装置。 - 前記第1の記憶部は、前記更新対象情報と一致する前記結合先情報を保持しているか否かを示す一致判定情報を出力し、
前記更新制御回路は、前記複数のニューロン回路のうち、前記更新対象情報と一致する前記結合先情報を保持していないことを示す前記一致判定情報を出力したニューロン回路が、前記対象ニューロンの値の更新を許容したことを示す前記判定結果を出力した場合、前記対象ニューロンを前記更新対象ニューロンの1つとして決定する、
請求項1に記載の最適化装置。 - 前記第1の記憶部は連想メモリである、請求項1または2に記載の最適化装置。
- 複数のニューロン回路のそれぞれが有する第1の記憶部が、最適化問題を変換したイジングモデルの複数のスピンに対応した複数のニューロンのうちの1つであり、前記複数のニューロン回路のそれぞれにおいて異なる対象ニューロンと結合する結合先ニューロンを示す結合先情報を保持し、値が更新される更新対象ニューロンを示す更新対象情報を受け、前記更新対象情報と一致する前記結合先情報を示す信号を出力し、
前記複数のニューロン回路のそれぞれが有する第2の記憶部が、前記対象ニューロンと前記結合先ニューロンとの間の結合の強さを示す重み係数を保持し、前記第1の記憶部が出力する前記信号が示す前記結合先情報に対応した前記重み係数を出力し、
前記複数のニューロン回路のそれぞれが有する演算部が、前記第2の記憶部が出力する前記重み係数と、前記更新対象ニューロンの値とを用いて、前記対象ニューロンの値の更新を確率的に許容し、前記対象ニューロンの値の更新を許容したか否かを示す判定結果を出力し、
更新制御回路が、前記複数のニューロン回路のそれぞれの前記演算部から出力される複数の前記判定結果に基づいて、前記更新対象ニューロンを決定し、前記更新対象ニューロンの値を更新するとともに、前記更新対象情報を出力する、
最適化方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100622A JP7208529B2 (ja) | 2019-05-29 | 2019-05-29 | 最適化装置及び最適化方法 |
US16/874,735 US11526740B2 (en) | 2019-05-29 | 2020-05-15 | Optimization apparatus and optimization method |
EP20175618.6A EP3745319A1 (en) | 2019-05-29 | 2020-05-20 | Optimization apparatus and optimization method |
CN202010448953.XA CN112016667A (zh) | 2019-05-29 | 2020-05-25 | 优化装置和优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100622A JP7208529B2 (ja) | 2019-05-29 | 2019-05-29 | 最適化装置及び最適化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020194442A JP2020194442A (ja) | 2020-12-03 |
JP7208529B2 true JP7208529B2 (ja) | 2023-01-19 |
Family
ID=70779601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019100622A Active JP7208529B2 (ja) | 2019-05-29 | 2019-05-29 | 最適化装置及び最適化方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11526740B2 (ja) |
EP (1) | EP3745319A1 (ja) |
JP (1) | JP7208529B2 (ja) |
CN (1) | CN112016667A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022165250A (ja) | 2021-04-19 | 2022-10-31 | 富士通株式会社 | プログラム、データ処理方法及びデータ処理装置 |
JP2024062514A (ja) | 2022-10-25 | 2024-05-10 | 富士通株式会社 | データ処理装置、データ処理方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017219948A (ja) | 2016-06-06 | 2017-12-14 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
JP2018028908A (ja) | 2016-08-11 | 2018-02-22 | ビバンテ コーポレーション | ゼロ係数スキップ畳み込みニューラルネットワークエンジン |
JP2018041351A (ja) | 2016-09-09 | 2018-03-15 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
JP2018133095A (ja) | 2018-03-15 | 2018-08-23 | ヤフー株式会社 | モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラム、情報配信プログラム、推定装置および推定方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05233586A (ja) * | 1992-02-25 | 1993-09-10 | Mitsubishi Electric Corp | デジタル神経回路およびその駆動方法 |
JP2001331839A (ja) | 2000-05-22 | 2001-11-30 | Glory Ltd | 紙幣識別方法及び装置 |
WO2015073771A2 (en) * | 2013-11-15 | 2015-05-21 | Saffron Technology, Inc. | Methods, systems and computer program products for using a distributed associative memory base to determine data correlations and convergence therein |
CN103646283B (zh) * | 2013-11-21 | 2016-01-13 | 中国民航大学 | 能量可控的连续Hopfield神经网络优化求解方法 |
JP6177993B2 (ja) | 2014-03-04 | 2017-08-09 | 株式会社日立製作所 | 半導体装置および情報処理装置 |
CN106203616A (zh) * | 2015-05-04 | 2016-12-07 | 富士通株式会社 | 神经网络模型训练装置和方法 |
GB2569702A (en) * | 2016-05-09 | 2019-06-26 | 1Qb Inf Tech Inc | Method and system for improving a policy for a stochastic control problem |
JP6468247B2 (ja) | 2016-06-06 | 2019-02-13 | 富士通株式会社 | イジング装置及びイジング装置の制御方法 |
JP6691297B2 (ja) | 2016-07-13 | 2020-04-28 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
JP6465092B2 (ja) * | 2016-10-14 | 2019-02-06 | 富士通株式会社 | 最適化装置及び最適化装置の制御方法 |
-
2019
- 2019-05-29 JP JP2019100622A patent/JP7208529B2/ja active Active
-
2020
- 2020-05-15 US US16/874,735 patent/US11526740B2/en active Active
- 2020-05-20 EP EP20175618.6A patent/EP3745319A1/en not_active Withdrawn
- 2020-05-25 CN CN202010448953.XA patent/CN112016667A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017219948A (ja) | 2016-06-06 | 2017-12-14 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
JP2018028908A (ja) | 2016-08-11 | 2018-02-22 | ビバンテ コーポレーション | ゼロ係数スキップ畳み込みニューラルネットワークエンジン |
JP2018041351A (ja) | 2016-09-09 | 2018-03-15 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
JP2018133095A (ja) | 2018-03-15 | 2018-08-23 | ヤフー株式会社 | モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラム、情報配信プログラム、推定装置および推定方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3745319A1 (en) | 2020-12-02 |
US11526740B2 (en) | 2022-12-13 |
CN112016667A (zh) | 2020-12-01 |
US20200380346A1 (en) | 2020-12-03 |
JP2020194442A (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10762415B2 (en) | Information processing apparatus, Ising unit, and information processing apparatus control method | |
US20200302299A1 (en) | Systems and Methods of Cross Layer Rescaling for Improved Quantization Performance | |
US11222254B2 (en) | Optimized neuron circuit, and architecture and method for executing neural networks | |
CN110245269B (zh) | 获取关系网络图中节点的动态嵌入向量的方法和装置 | |
US20180005114A1 (en) | Information processing apparatus, ising device, and method for controlling information processing apparatus | |
KR102181385B1 (ko) | 신경망에서의 무작위성 생성 | |
JP2020204928A (ja) | 最適化装置および最適化方法 | |
CN113283046B (zh) | 优化装置、优化方法和记录介质 | |
US20220156508A1 (en) | Method For Automatically Designing Efficient Hardware-Aware Neural Networks For Visual Recognition Using Knowledge Distillation | |
JP7068575B2 (ja) | 最適化システム、最適化装置及び最適化システムの制御方法 | |
CN113112013A (zh) | 针对分辨率降低的神经网络的优化量化 | |
CN111078621B (zh) | 优化装置及优化装置的控制方法 | |
JP7137064B2 (ja) | 最適化装置及び最適化装置の制御方法 | |
JP7208529B2 (ja) | 最適化装置及び最適化方法 | |
CN111026544A (zh) | 图网络模型的节点分类方法、装置及终端设备 | |
Prellberg et al. | Lamarckian evolution of convolutional neural networks | |
CN114077805A (zh) | 信息处理系统 | |
JP4310500B2 (ja) | 重要成分優先計算方式ならびに装置 | |
JP7256378B2 (ja) | 最適化システムおよび最適化システムの制御方法 | |
Ruberto et al. | A semantic genetic programming framework based on dynamic targets | |
Naher et al. | Using Machine Learning to Estimate Utilization and Throughput for OpenCL-Based Matrix-Vector Multiplication (MVM) | |
US20190095782A1 (en) | Calculation device for and calculation method of performing convolution | |
WO2021226709A1 (en) | Neural architecture search with imitation learning | |
WO2020194032A1 (en) | Accelerating neuron computations in artificial neural networks by skipping bits | |
US20240111525A1 (en) | Multiplication hardware block with adaptive fidelity control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7208529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |