JP7332193B2 - 因子グラフ上での確率伝搬 - Google Patents
因子グラフ上での確率伝搬 Download PDFInfo
- Publication number
- JP7332193B2 JP7332193B2 JP2021505865A JP2021505865A JP7332193B2 JP 7332193 B2 JP7332193 B2 JP 7332193B2 JP 2021505865 A JP2021505865 A JP 2021505865A JP 2021505865 A JP2021505865 A JP 2021505865A JP 7332193 B2 JP7332193 B2 JP 7332193B2
- Authority
- JP
- Japan
- Prior art keywords
- spike
- signal
- occurrence
- variable
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Error Detection And Correction (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Complex Calculations (AREA)
Description
ここで、xnは、コードワードシンボルbn(n=1~7)に対応する信号サンプルであり、
Claims (26)
- コンピュータが実行する、因子グラフ上でランダム変数の確率分布の伝搬を実施するための方法であって、
前記因子グラフに対応する、変数ノードが因子ノードと相互接続されたスパイキングニューラルネットワークを提供することであって、前記ノードの各々は、そのノードの計算機能を実装するように構成されたニューロンのセットを含む、提供することと、
前記ランダム変数のセットの各々について、その変数の可能な値の確率がスパイク信号におけるスパイクの発生を介してエンコードされる少なくとも1つの前記スパイク信号を生成することと、
ランダム変数の前記セットについての前記スパイク信号をそれぞれの変数ノードにおける前記ニューラルネットワークへの入力として供給することと
を含み、
それにより、前記確率分布は、前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの前記発生を介して伝搬される、方法。 - 前記確率が前記スパイク信号におけるスパイクの発生のレート及び発生の時間の少なくとも1つを介してエンコードされるように、前記スパイク信号の各々を生成することを含む、請求項1に記載の方法。
- 前記ノードの前記ニューロンは、前記確率分布が前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの発生のレート及び発生の時間の少なくとも1つを介して伝搬されるように構成される、請求項2に記載の方法。
- 前記確率が前記スパイク信号におけるスパイクの発生の前記レートを介してエンコードされるように、前記スパイク信号の各々を生成することを含み、前記ノードの前記ニューロンは、前記確率分布が、前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの発生の前記レートを介して伝搬されるように構成される、請求項3に記載の方法。
- 前記ランダム変数はバイナリ変数であり、前記方法は、前記セットのランダム変数の各々について、前記変数のバイナリ値の所定の1つの値の前記確率をエンコードする単一のスパイク信号を生成することを含む、請求項1に記載の方法。
- 前記ランダム変数は多値変数であり、前記方法は、前記セットのランダム変数の各々の可能な値の各々について、前記変数のその値の前記確率をエンコードするスパイク信号を生成することを含む、請求項1に記載の方法。
- コンピュータが実行する、因子グラフ上でそれぞれの信号サンプルに対応するコードワードシンボルの確率分布を伝搬することによって、チャネル出力においてサンプリングされた信号における誤り訂正コードワードを検出するための方法であって、
前記誤り訂正コードのデコードアルゴリズムによって定められる2部因子グラフに対応する、変数ノードが因子ノードと相互接続されたスパイキングニューラルネットワークを提供することであって、前記ノードの各々は、そのノードの計算機能を実装するように構成されたニューロンのセットを含む、提供することと、
コードワードのシンボルに対応する信号サンプルの各々について、そのサンプルの可能な値の確率が、スパイク信号におけるスパイクの発生を介してエンコードされる少なくとも1つの前記スパイク信号を生成することと、
コードワードの前記シンボルに対応する前記スパイク信号をそれぞれの変数ノードにおける前記ニューラルネットワークへの入力として供給することと
を含み、
それにより、前記確率分布は、前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの前記発生を介して伝搬され、前記変数ノードは、伝搬後、前記コードワードについての推定シンボル値を出力する、方法。 - 前記確率が前記スパイク信号におけるスパイクの発生のレート及び発生の時間の少なくとも1つを介してエンコードされるように、前記スパイク信号の各々を生成することを含む、請求項7に記載の方法。
- 前記ノードの前記ニューロンは、前記確率分布が前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの発生の前記レート及び発生の前記時間の少なくとも1つを介して伝搬されるように構成される、請求項8に記載の方法。
- 前記確率が前記スパイク信号におけるスパイクの発生の前記レートを介してエンコードされるように、前記スパイク信号の各々を生成することを含み、前記ノードの前記ニューロンは、前記確率分布が前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの発生の前記レートを介して伝搬されるように構成される、請求項9に記載の方法。
- 前記コードワードシンボルはバイナリシンボルであり、前記方法は、信号サンプルの各々について、バイナリシンボル値の所定の1つの値の前記確率をエンコードする単一のスパイク信号を生成することを含む、請求項7に記載の方法。
- 前記コードワードシンボルは多値シンボルであり、前記方法は、信号サンプルの各々の可能なシンボル値について、前記サンプルについてのそのシンボル値の前記確率をエンコードするスパイク信号を生成することを含む、請求項7に記載の方法。
- 因子グラフ上でランダム変数の確率分布の伝搬を実施するための装置であって、
前記因子グラフに対応する、変数ノードが因子ノードと相互接続されたスパイキングニューラルネットワークであって、前記ノードの各々は、そのノードの計算機能を実装するように構成されたニューロンのセットを含む、スパイキングニューラルネットワークと、
前記ランダム変数のセットの各々について、少なくとも1つのスパイク信号であって、その変数の可能な値の確率は、前記スパイク信号におけるスパイクの発生を介してエンコードされる、スパイク信号を生成するように適合され、かつ、ランダム変数の前記セットについての前記スパイク信号をそれぞれの変数ノードにおける前記ニューラルネットワークへの入力として供給するように適合されたスパイク信号生成器と
を含み、
前記確率分布は、前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの前記発生を介して伝搬される、装置。 - 前記スパイク信号生成器は、前記確率が前記スパイク信号におけるスパイクの発生のレート及び発生の時間の少なくとも1つを介してエンコードされるように、前記スパイク信号の各々を生成するように適合される、請求項13に記載の装置。
- 前記ノードの前記ニューロンは、前記確率分布が前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの発生のレート及び発生の時間の少なくとも1つを介して伝搬されるように構成される、請求項14に記載の装置。
- 前記スパイク信号生成器は、前記確率が前記スパイク信号におけるスパイクの発生の前記レートを介してエンコードされるように、前記スパイク信号の各々を生成するように適合され、前記ノードの前記ニューロンは、前記確率分布が前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの発生の前記レートを介して伝搬されるように構成される、請求項15に記載の装置。
- 前記ランダム変数はバイナリ変数であり、前記スパイク信号生成器は、前記セットのランダム変数の各々について、前記変数のバイナリ値の所定の1つの値の前記確率をエンコードする単一のスパイク信号を生成するように適合される、請求項13に記載の装置。
- 前記ランダム変数は多値変数であり、前記スパイク信号生成器は、前記セットのランダム変数の各々の可能な値の各々について、前記変数のその値の前記確率をエンコードするスパイク信号を生成するように適合される、請求項13に記載の装置。
- 因子グラフ上でそれぞれの信号サンプルに対応するコードワードシンボルの確率分布を伝搬することによって、チャネル出力においてサンプリングされた信号における誤り訂正コードワードを検出するための装置であって、
前記誤り訂正コードのデコードアルゴリズムによって定められる2部因子グラフに対応する、変数ノードが因子ノードと相互接続されたスパイキングニューラルネットワークであって、前記ノードの各々は、そのノードの計算機能を実装するように構成されたニューロンのセットを含む、スパイキングニューラルネットワークと、
コードワードのシンボルに対応する信号サンプルの各々について、そのサンプルの可能な値の確率がスパイク信号におけるスパイクの発生を介してエンコードされる少なくとも1つの前記スパイク信号を生成するように適合されたスパイク信号生成器と
を含み、
前記確率分布は、前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの前記発生を介して伝搬され、前記変数ノードは、伝搬後、前記コードワードについての推定シンボル値を出力するように適合される、装置。 - 変数ノードのニューロンの各々は、多数決関数を実装するように適合される、請求項19に記載の装置。
- 因子ノードの各々は、XOR関数を実装するように構成されたニューロンを含む、請求項19に記載の装置。
- 前記スパイク信号生成器は、前記確率が前記スパイク信号におけるスパイクの発生のレート及び発生の時間の少なくとも1つを介してエンコードされるように、前記スパイク信号の各々を生成するように適合される、請求項19に記載の装置。
- 前記ノードの前記ニューロンは、前記確率分布が前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの発生の前記レート及び発生の前記時間の少なくとも1つを介して伝搬されるように構成される、請求項22に記載の装置。
- 前記スパイク信号生成器は、前記確率が前記スパイク信号におけるスパイクの発生の前記レートを介してエンコードされるように、前記スパイク信号の各々を生成するように適合され、
前記ノードの前記ニューロンは、前記確率分布が前記ニューラルネットワークを通じて伝搬される信号におけるスパイクの発生の前記レートを介して伝搬されるように構成される、請求項23に記載の装置。 - 請求項1から請求項12までのいずれか1項に記載の方法をコンピュータに実行させる、コンピュータプログラム。
- 請求項25に記載のコンピュータプログラムを格納した、コンピュータ可読ストレージ媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/123,940 | 2018-09-06 | ||
US16/123,940 US11200484B2 (en) | 2018-09-06 | 2018-09-06 | Probability propagation over factor graphs |
PCT/IB2019/057472 WO2020049492A1 (en) | 2018-09-06 | 2019-09-05 | Probability propagation over factor graphs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022502727A JP2022502727A (ja) | 2022-01-11 |
JP7332193B2 true JP7332193B2 (ja) | 2023-08-23 |
Family
ID=69719914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505865A Active JP7332193B2 (ja) | 2018-09-06 | 2019-09-05 | 因子グラフ上での確率伝搬 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11200484B2 (ja) |
JP (1) | JP7332193B2 (ja) |
CN (1) | CN112384934B (ja) |
DE (1) | DE112019003167T5 (ja) |
GB (1) | GB2589046A (ja) |
WO (1) | WO2020049492A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102606829B1 (ko) * | 2019-01-09 | 2023-11-27 | 에스케이하이닉스 주식회사 | Ldpc 디코더, 반도체 메모리 시스템 및 그것의 동작 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017513127A (ja) | 2014-03-26 | 2017-05-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成 |
JP2017516192A (ja) | 2014-03-24 | 2017-06-15 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ニューラルネットワークにおける差分符号化 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6857097B2 (en) * | 2001-05-16 | 2005-02-15 | Mitsubishi Electric Research Laboratories, Inc. | Evaluating and optimizing error-correcting codes using a renormalization group transformation |
US7036720B2 (en) * | 2003-06-25 | 2006-05-02 | Centre National De La Recherche Scientifique (Cnrs) | Method and apparatus for resolution of problems using constrained discrete variables |
US20050193320A1 (en) * | 2004-02-09 | 2005-09-01 | President And Fellows Of Harvard College | Methods and apparatus for improving performance of information coding schemes |
WO2006120844A1 (ja) * | 2005-05-13 | 2006-11-16 | Nec Corporation | Ldpc符号化方式によるエンコーダ及びデコーダ |
CA2763134C (en) * | 2009-06-26 | 2021-01-19 | Hypres, Inc. | System and method for controlling combined radio signals |
US8990132B2 (en) | 2010-01-19 | 2015-03-24 | James Ting-Ho Lo | Artificial neural networks based on a low-order model of biological neural networks |
US8825572B2 (en) * | 2011-02-01 | 2014-09-02 | Microsoft Corporation | Program synthesis with existentially and universally quantified belief propagation using probabilistic inference |
US9146546B2 (en) | 2012-06-04 | 2015-09-29 | Brain Corporation | Systems and apparatus for implementing task-specific learning using spiking neurons |
US9111222B2 (en) | 2011-11-09 | 2015-08-18 | Qualcomm Incorporated | Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network |
US9111225B2 (en) | 2012-02-08 | 2015-08-18 | Qualcomm Incorporated | Methods and apparatus for spiking neural computation |
US9367798B2 (en) * | 2012-09-20 | 2016-06-14 | Brain Corporation | Spiking neuron network adaptive control apparatus and methods |
US9189730B1 (en) | 2012-09-20 | 2015-11-17 | Brain Corporation | Modulated stochasticity spiking neuron network controller apparatus and methods |
US8589164B1 (en) * | 2012-10-18 | 2013-11-19 | Google Inc. | Methods and systems for speech recognition processing using search query information |
US9477464B2 (en) * | 2012-11-20 | 2016-10-25 | Genesys Telecommunications Laboratories, Inc. | Distributed aggregation for contact center agent-groups on sliding interval |
US9542643B2 (en) | 2013-05-21 | 2017-01-10 | Qualcomm Incorporated | Efficient hardware implementation of spiking networks |
US20150213356A1 (en) * | 2014-01-24 | 2015-07-30 | Qualcomm Incorporated | Method for converting values into spikes |
US20150269485A1 (en) * | 2014-03-24 | 2015-09-24 | Qualcomm Incorporated | Cold neuron spike timing back-propagation |
US20150278685A1 (en) | 2014-03-31 | 2015-10-01 | Qualcomm Incorporated | Probabilistic representation of large sequences using spiking neural network |
US10311375B2 (en) | 2014-10-16 | 2019-06-04 | Nanyang Technological University | Systems and methods for classifying electrical signals |
CN105095966B (zh) | 2015-07-16 | 2018-08-21 | 北京灵汐科技有限公司 | 人工神经网络和脉冲神经网络的混合计算系统 |
KR102565273B1 (ko) | 2016-01-26 | 2023-08-09 | 삼성전자주식회사 | 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 학습 방법 |
-
2018
- 2018-09-06 US US16/123,940 patent/US11200484B2/en active Active
-
2019
- 2019-09-05 DE DE112019003167.8T patent/DE112019003167T5/de active Pending
- 2019-09-05 CN CN201980045616.1A patent/CN112384934B/zh active Active
- 2019-09-05 JP JP2021505865A patent/JP7332193B2/ja active Active
- 2019-09-05 WO PCT/IB2019/057472 patent/WO2020049492A1/en active Application Filing
- 2019-09-05 GB GB2103947.4A patent/GB2589046A/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017516192A (ja) | 2014-03-24 | 2017-06-15 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ニューラルネットワークにおける差分符号化 |
JP2017513127A (ja) | 2014-03-26 | 2017-05-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成 |
Also Published As
Publication number | Publication date |
---|---|
DE112019003167T5 (de) | 2021-04-01 |
US20200082251A1 (en) | 2020-03-12 |
GB2589046A (en) | 2021-05-19 |
CN112384934B (zh) | 2024-09-24 |
CN112384934A (zh) | 2021-02-19 |
GB202103947D0 (en) | 2021-05-05 |
WO2020049492A1 (en) | 2020-03-12 |
US11200484B2 (en) | 2021-12-14 |
JP2022502727A (ja) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10664745B2 (en) | Resistive processing units and neural network training methods | |
US9715656B1 (en) | Killing asymmetric resistive processing units for neural network training | |
US10839292B2 (en) | Accelerated neural network training using a pipelined resistive processing unit architecture | |
US9779355B1 (en) | Back propagation gates and storage capacitor for neural networks | |
US9646243B1 (en) | Convolutional neural networks using resistive processing unit array | |
US10748064B2 (en) | Deep neural network training with native devices | |
US6009418A (en) | Method and apparatus for neural networking using semantic attractor architecture | |
JP2019502970A (ja) | 抵抗型処理ユニット | |
US11062208B2 (en) | Update management for RPU array | |
US11263516B2 (en) | Neural network based acoustic models for speech recognition by grouping context-dependent targets | |
US11341413B2 (en) | Leveraging class information to initialize a neural network language model | |
JP7357080B2 (ja) | Rpuアレイのためのノイズおよび信号管理 | |
Buddana et al. | Word level LSTM and recurrent neural network for automatic text generation | |
JP7332193B2 (ja) | 因子グラフ上での確率伝搬 | |
JP2023530816A (ja) | アナログ・アクセラレータのドリフト係数の変動を打ち消すためのドリフト正則化 | |
JP2023533847A (ja) | アナログクロスバーアレイの更新のための疎な変更可能なビット長決定論的パルス生成 | |
JP2024514063A (ja) | ディープ・ニューラル・ネットワーク・トレーニング | |
KR20220161468A (ko) | 3 단자 저항성 메모리의 크로스포인트 어레이에서 절반으로 선택된 디바이스들에서 원하지 않는 프로그래밍을 억제하는 기술 | |
KR102714239B1 (ko) | 아날로그 크로스바 어레이들을 업데이트하기 위한 희소 수정가능 비트 길이 결정 펄스 생성 | |
CN116235182A (zh) | 用于神经网络系统的神经装置 | |
Stoica et al. | Tuning Extreme Learning Machines with genetic algorithms | |
Oh et al. | FSPN-based genetically optimized fuzzy polynomial neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210317 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210309 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220222 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7332193 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |