JP5792389B2 - ノイズ制御を介したニューロン発火調節の方法および装置 - Google Patents
ノイズ制御を介したニューロン発火調節の方法および装置 Download PDFInfo
- Publication number
- JP5792389B2 JP5792389B2 JP2014521806A JP2014521806A JP5792389B2 JP 5792389 B2 JP5792389 B2 JP 5792389B2 JP 2014521806 A JP2014521806 A JP 2014521806A JP 2014521806 A JP2014521806 A JP 2014521806A JP 5792389 B2 JP5792389 B2 JP 5792389B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- firing rate
- rate
- level
- firing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Feedback Control In General (AREA)
- Control Of El Displays (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Semiconductor Memories (AREA)
Description
図1は、本開示のいくつかの態様による、複数のレベルのニューロンを含む例示的な神経システム100を示す。神経システム100は、シナプス結合のネットワーク104を介して別のレベルのニューロン106に接続されたあるレベルのニューロン102を備え得る。簡単のために、図1には2レベルのニューロンのみが示されているが、代表的な神経システムには、より多くのレベルのニューロンが存在し得る。
閾値を有する代表的なニューロン(たとえば、図1の神経システム100のニューロン)の入出力反応曲線は、ニューロンの入力における変化が極めて小さい状態で非発火から常に発火に移行し得、したがって、ニューロンの励起可能な入力パターンの範囲が制限される。局部、広域、および全体のノイズ項を導入することによって、ニューロンの反応曲線の傾斜が減少し得る。このことは、より大きい1組の入力スパイクのパターンがニューロンを発火させることに効果的となし得る、すなわち、ニューロンは、ノイズがない状況で、本質的に小さい1組のパターンの代わりに、大きい範囲の入力パターンに反応することが可能になり得る。本開示で提案されるノイズ制御を介したニューロン発火調節は、柔軟性と効率の両方の利点を提供することができる。
本開示のいくつかの態様は、ニューロンが反応する様々なスパイクのパターンのサイズの範囲を増加させるためにシナプスまたは体細胞ノイズ制御を利用することをサポートする。
ニューロンまたはニューロンのネットワークが広範囲にわたるスパイクのパターンのサイズに反応するように、個々のニューロンの反応曲線は、恒常的な発火率の監視およびノイズ制御を使用することによって調整され得る。図5は、本開示のいくつかの態様による、ノイズのフィードバックを介した恒常的な発火率の維持の例示的な制御シーケンス500を示す。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] 電気回路であって、該電気回路は以下を備える、
前記電気回路の1つまたは複数のニューロン回路の発火率を監視するように構成された第1の回路と、
前記発火率を調整するために前記1つまたは複数のニューロン回路の1つまたは複数のシナプス入力に関連付けられたノイズを、前記発火率に基づいて制御するように構成された第2の回路。
[C2] 前記第2の回路が
前記発火率が目標率未満である場合、前記1つまたは複数のシナプス入力に前記ノイズを注入する
ようにも構成されている、C1に記載の電気回路。
[C3] 注入される前記ノイズのレベルが、前記目標率と前記発火率との間の差に基づく、C2に記載の電気回路。
[C4] 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、C2に記載の電気回路。
[C5] 前記第2の回路が
前記発火率が目標率よりも大きい場合、前記1つまたは複数のシナプス入力から前記ノイズを除去する
ようにも構成されている、C1に記載の電気回路。
[C6] 除去される前記ノイズのレベルが、前記発火率と前記目標率との間の差に基づく、C5に記載の電気回路。
[C7] 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、C5に記載の電気回路。
[C8] 前記第1の回路が、直接的な測定を介して前記発火率を監視するようにも構成されている、C1に記載の電気回路。
[C9] 前記第1の回路が
前記電気回路に関連付けられたリソースの消費の間接的な測定を介して前記発火率を監視する
ようにも構成されている、C1に記載の電気回路。
[C10] 前記1つまたは複数のニューロン回路のネットワークにあらかじめ定義されたレベルのバックグラウンドノイズを生成するように構成された第3の回路
をさらに備えるC1に記載の電気回路。
[C11] ニューラルネットワークを実装するための方法であって、該方法は以下を備える、
前記ニューラルネットワークの1つまたは複数のニューロン回路の発火率を監視することと、
前記発火率を調整するために前記1つまたは複数のニューロン回路の1つまたは複数のシナプス入力に関連付けられたノイズを、前記発火率に基づいて制御すること。
[C12] 制御することが、
前記発火率が目標率未満である場合、前記1つまたは複数のシナプス入力に前記ノイズを注入すること
を備える、C11に記載の方法。
[C13] 注入される前記ノイズのレベルが、前記目標率と前記発火率との間の差に基づく、C12に記載の方法。
[C14] 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、C12に記載の方法。
[C15] 制御することが、
前記発火率が目標率よりも大きい場合、前記1つまたは複数のシナプス入力から前記ノイズを除去すること
を備える、C11に記載の方法。
[C16] 除去される前記ノイズのレベルが、前記発火率と前記目標率との間の差に基づく、C15に記載の方法。
[C17] 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、C15に記載の方法。
[C18] 前記発火率が直接的な測定を介して監視される、C11に記載の方法。
[C19] 前記発火率が、前記ニューラルネットワークに関連付けられたリソースの消費の間接的な測定を介して監視される、C11に記載の方法。
[C20] 前記ニューラルネットワークにあらかじめ定義されたレベルのバックグラウンドノイズを生成すること
をさらに備えるC11に記載の方法。
[C21] 装置であって、該装置は以下を備える、
前記装置の1つまたは複数のニューロン回路の発火率を監視するための手段と、
前記発火率を調整するために前記1つまたは複数のニューロン回路の1つまたは複数のシナプス入力に関連付けられたノイズを、前記発火率に基づいて制御するための手段。
[C22] 制御するための前記手段が、
前記発火率が目標率未満である場合、前記1つまたは複数のシナプス入力に前記ノイズを注入するための手段
を備える、C21に記載の装置。
[C23] 注入される前記ノイズのレベルが、前記目標率と前記発火率との間の差に基づく、C22に記載の装置。
[C24] 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、C22に記載の装置。
[C25] 制御するための前記手段が、
前記発火率が目標率よりも大きい場合、前記1つまたは複数のシナプス入力から前記ノイズを除去するための手段
を備える、C21に記載の装置。
[C26] 除去される前記ノイズのレベルが、前記発火率と前記目標率との間の差に基づく、C25に記載の装置。
[C27] 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、C25に記載の装置。
[C28] 前記発火率が直接的な測定を介して監視される、C21に記載の装置。
[C29] 前記発火率が、前記装置に関連付けられたリソースの消費の間接的な測定を介して監視される、C21に記載の装置。
[C30] 前記装置にあらかじめ定義されたレベルのバックグラウンドノイズを生成するための手段
をさらに備えるC21に記載の装置。
Claims (30)
- 電気回路であって、該電気回路は以下を備える、
前記電気回路の1つまたは複数のニューロン回路の発火率を監視するように構成された第1の回路と、
前記発火率を調整するために前記1つまたは複数のニューロン回路の1つまたは複数のシナプス入力に関連付けられたノイズを発火率の目標を維持するように、監視された前記発火率に基づいて制御するように構成された第2の回路。 - 前記第2の回路が
前記発火率が前記目標の率未満である場合、前記1つまたは複数のシナプス入力に前記ノイズを注入する
ようにも構成されている、請求項1に記載の電気回路。 - 注入される前記ノイズのレベルが、前記目標の率と前記発火率との間の差に基づく、請求項2に記載の電気回路。
- 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項2に記載の電気回路。
- 前記第2の回路が
前記発火率が前記目標の率よりも大きい場合、前記1つまたは複数のシナプス入力から前記ノイズを除去する
ようにも構成されている、請求項1に記載の電気回路。 - 除去される前記ノイズのレベルが、前記発火率と前記目標の率との間の差に基づく、請求項5に記載の電気回路。
- 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項5に記載の電気回路。
- 前記第1の回路が、直接的な測定を介して前記発火率を監視するようにも構成されている、請求項1に記載の電気回路。
- 前記第1の回路が
前記電気回路に関連付けられたリソースの消費の間接的な測定を介して前記発火率を監視する
ようにも構成されている、請求項1に記載の電気回路。 - 前記1つまたは複数のニューロン回路のネットワークにあらかじめ定義されたレベルのバックグラウンドノイズを生成するように構成された第3の回路
をさらに備える請求項1に記載の電気回路。 - ニューラルネットワークにおけるノイズを制御するための方法であって、該方法は以下を備える、
前記ニューラルネットワークの1つまたは複数のニューロン回路の発火率を監視することと、
前記発火率を調整するために前記1つまたは複数のニューロン回路の1つまたは複数のシナプス入力に関連付けられたノイズを発火率の目標を維持するように、監視された前記発火率に基づいて制御すること。 - 制御することが、
前記発火率が目標の率未満である場合、前記1つまたは複数のシナプス入力に前記ノイズを注入すること
を備える、請求項11に記載の方法。 - 注入される前記ノイズのレベルが、前記目標の率と前記発火率との間の差に基づく、請求項12に記載の方法。
- 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項12に記載の方法。
- 制御することが、
前記発火率が目標の率よりも大きい場合、前記1つまたは複数のシナプス入力から前記ノイズを除去すること
を備える、請求項11に記載の方法。 - 除去される前記ノイズのレベルが、前記発火率と前記目標の率との間の差に基づく、請求項15に記載の方法。
- 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項15に記載の方法。
- 前記発火率が直接的な測定を介して監視される、請求項11に記載の方法。
- 前記発火率が、前記ニューラルネットワークに関連付けられたリソースの消費の間接的な測定を介して監視される、請求項11に記載の方法。
- 前記ニューラルネットワークにあらかじめ定義されたレベルのバックグラウンドノイズを生成すること
をさらに備える請求項11に記載の方法。 - 装置であって、該装置は以下を備える、
前記装置の1つまたは複数のニューロン回路の発火率を監視するための手段と、
前記発火率を調整するために前記1つまたは複数のニューロン回路の1つまたは複数のシナプス入力に関連付けられたノイズを発火率の目標を維持するように、監視された前記発火率に基づいて制御するための手段。 - 制御するための前記手段が、
前記発火率が前記目標の率未満である場合、前記1つまたは複数のシナプス入力に前記ノイズを注入するための手段
を備える、請求項21に記載の装置。 - 注入される前記ノイズのレベルが、前記目標の率と前記発火率との間の差に基づく、請求項22に記載の装置。
- 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項22に記載の装置。
- 制御するための前記手段が、
前記発火率が前記目標の率よりも大きい場合、前記1つまたは複数のシナプス入力から前記ノイズを除去するための手段
を備える、請求項21に記載の装置。 - 除去される前記ノイズのレベルが、前記発火率と前記目標の率との間の差に基づく、請求項25に記載の装置。
- 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項25に記載の装置。
- 前記発火率が直接的な測定を介して監視される、請求項21に記載の装置。
- 前記発火率が、前記装置に関連付けられたリソースの消費の間接的な測定を介して監視される、請求項21に記載の装置。
- 前記装置にあらかじめ定義されたレベルのバックグラウンドノイズを生成するための手段
をさらに備える請求項21に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/187,939 | 2011-07-21 | ||
US13/187,939 US8706662B2 (en) | 2011-07-21 | 2011-07-21 | Method and apparatus of controlling noise associated with synaptic inputs based on neuronal firing rate |
PCT/US2012/047482 WO2013013096A1 (en) | 2011-07-21 | 2012-07-19 | Method and apparatus of neuronal firing modulation via noise control |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014523593A JP2014523593A (ja) | 2014-09-11 |
JP5792389B2 true JP5792389B2 (ja) | 2015-10-14 |
Family
ID=46604568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014521806A Expired - Fee Related JP5792389B2 (ja) | 2011-07-21 | 2012-07-19 | ノイズ制御を介したニューロン発火調節の方法および装置 |
Country Status (10)
Country | Link |
---|---|
US (1) | US8706662B2 (ja) |
EP (1) | EP2734959B1 (ja) |
JP (1) | JP5792389B2 (ja) |
KR (1) | KR101549800B1 (ja) |
CN (1) | CN103688278B (ja) |
BR (1) | BR112014001271A2 (ja) |
CA (1) | CA2842339A1 (ja) |
RU (1) | RU2014106415A (ja) |
TW (1) | TW201319959A (ja) |
WO (1) | WO2013013096A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9053428B2 (en) | 2011-07-21 | 2015-06-09 | Qualcomm Incorporated | Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation |
US9147155B2 (en) | 2011-08-16 | 2015-09-29 | Qualcomm Incorporated | Method and apparatus for neural temporal coding, learning and recognition |
US9092735B2 (en) | 2011-09-21 | 2015-07-28 | Qualcomm Incorporated | Method and apparatus for structural delay plasticity in spiking neural networks |
US9111224B2 (en) | 2011-10-19 | 2015-08-18 | Qualcomm Incorporated | Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks |
US8909575B2 (en) * | 2012-02-29 | 2014-12-09 | Qualcomm Incorporated | Method and apparatus for modeling neural resource based synaptic placticity |
US9064215B2 (en) | 2012-06-14 | 2015-06-23 | Qualcomm Incorporated | Learning spike timing precision |
US9002760B2 (en) * | 2012-08-23 | 2015-04-07 | Qualcomm Incorporated | Neural system of adaptive behavior |
US9275329B2 (en) * | 2013-08-12 | 2016-03-01 | Qualcomm Incorporated | Behavioral homeostasis in artificial nervous systems using dynamical spiking neuron models |
JP7169094B2 (ja) * | 2017-06-01 | 2022-11-10 | 株式会社東芝 | 画像処理システム及び医用情報処理システム |
US10448137B1 (en) | 2018-06-21 | 2019-10-15 | Bose Corporation | Dual zone discharge of rechargeable batteries |
CN111525921B (zh) * | 2020-05-15 | 2023-09-08 | 矽力杰半导体技术(杭州)有限公司 | 用于神经网络中信号转换的系统和方法 |
CN113095492B (zh) * | 2021-04-14 | 2023-04-18 | 北京大学 | 一种基于生物神经网络的拓扑特征检测方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6873872B2 (en) * | 1999-12-07 | 2005-03-29 | George Mason University | Adaptive electric field modulation of neural systems |
CN1138502C (zh) * | 2000-04-08 | 2004-02-18 | 中国科学院昆明动物研究所 | 猕猴大脑神经元多单位电活动室外记录系统 |
US8718755B2 (en) * | 2002-11-01 | 2014-05-06 | George Mason Intellectual Properties, Inc. | Methods and devices for determining brain state |
AU2003291025A1 (en) * | 2002-11-18 | 2004-06-15 | Advanced Sensor Technologies | Microscopic multi-site sensor array with integrated control and analysis circuitry |
JP4360122B2 (ja) * | 2003-05-26 | 2009-11-11 | 富士ゼロックス株式会社 | キーワード抽出装置 |
US8095209B2 (en) * | 2005-01-06 | 2012-01-10 | Braingate Co., Llc | Biological interface system with gated control signal |
US20090118597A1 (en) * | 2007-11-05 | 2009-05-07 | Mills Perry A | Neural Signal Processing |
US20120117012A1 (en) * | 2010-04-08 | 2012-05-10 | Neurosciences Research Foundation, Inc. | Spike-timing computer modeling of working memory |
-
2011
- 2011-07-21 US US13/187,939 patent/US8706662B2/en active Active
-
2012
- 2012-07-19 CA CA2842339A patent/CA2842339A1/en not_active Abandoned
- 2012-07-19 RU RU2014106415/08A patent/RU2014106415A/ru not_active Application Discontinuation
- 2012-07-19 KR KR1020147004456A patent/KR101549800B1/ko active IP Right Grant
- 2012-07-19 CN CN201280036159.8A patent/CN103688278B/zh active Active
- 2012-07-19 WO PCT/US2012/047482 patent/WO2013013096A1/en active Application Filing
- 2012-07-19 JP JP2014521806A patent/JP5792389B2/ja not_active Expired - Fee Related
- 2012-07-19 BR BR112014001271A patent/BR112014001271A2/pt not_active IP Right Cessation
- 2012-07-19 EP EP12743304.3A patent/EP2734959B1/en active Active
- 2012-07-20 TW TW101126250A patent/TW201319959A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
EP2734959B1 (en) | 2017-11-15 |
WO2013013096A1 (en) | 2013-01-24 |
KR20140039081A (ko) | 2014-03-31 |
US8706662B2 (en) | 2014-04-22 |
BR112014001271A2 (pt) | 2017-02-21 |
CN103688278A (zh) | 2014-03-26 |
CN103688278B (zh) | 2016-11-23 |
KR101549800B1 (ko) | 2015-09-02 |
CA2842339A1 (en) | 2013-01-24 |
US20130024410A1 (en) | 2013-01-24 |
TW201319959A (zh) | 2013-05-16 |
JP2014523593A (ja) | 2014-09-11 |
RU2014106415A (ru) | 2015-08-27 |
EP2734959A1 (en) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5792389B2 (ja) | ノイズ制御を介したニューロン発火調節の方法および装置 | |
JP5680751B2 (ja) | 離散順位シナプス及び確率的なstdpによるデジタル神経処理のための方法及びシステム | |
KR102532658B1 (ko) | 신경 아키텍처 검색 | |
US10339447B2 (en) | Configuring sparse neuronal networks | |
KR102608469B1 (ko) | 자연어 생성 방법 및 장치 | |
JP6130056B2 (ja) | スパイキングネットワークの効率的なハードウェア実装 | |
JP2017526224A (ja) | しきい値ベースの信号コーディングのための非同期パルス変調 | |
JP6133503B2 (ja) | 擬似乱数のプログラム可能な確率分布関数を生成するための方法および装置 | |
KR20140069179A (ko) | 스파이킹 신경망들에서의 구조적 지연 가소성에 대한 방법 및 장치 | |
JP2013534018A5 (ja) | ||
WO2012006465A1 (en) | Methods and systems for cmos implementation of neuron synapse | |
US11615298B2 (en) | STDP with synaptic fatigue for learning of spike-time-coded patterns in the presence of parallel rate-coding | |
JP2017519268A (ja) | スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること | |
JP2017511936A (ja) | 現在の計算リソースへのニューラルネットワーク適応 | |
US20150262054A1 (en) | Analog signal reconstruction and recognition via sub-threshold modulation | |
US9710749B2 (en) | Methods and apparatus for implementing a breakpoint determination unit in an artificial nervous system | |
WO2021018731A1 (en) | Learning and recall in spiking neural networks | |
JP2016536657A (ja) | ニューラルモデルのためのグループタグの実装のための方法および装置 | |
JP6219509B2 (ja) | シナプス遅延を動的に割り当てることおおよび検査すること | |
US9460384B2 (en) | Effecting modulation by global scalar values in a spiking neural network | |
JP6117392B2 (ja) | 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 | |
Zhao et al. | Early anomaly detection by learning and forecasting behavior | |
KR20240078124A (ko) | 스파이킹 뉴럴 네트워크 기반 와이파이 프레임 탐지 장치 및 방법 | |
CN117892078A (zh) | 一种确定预测资源申请的方法、装置、设备及存储介质 | |
US9189371B2 (en) | Dynamic load testing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150805 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5792389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |