JP6906602B2 - 人工ニューロン - Google Patents

人工ニューロン Download PDF

Info

Publication number
JP6906602B2
JP6906602B2 JP2019503773A JP2019503773A JP6906602B2 JP 6906602 B2 JP6906602 B2 JP 6906602B2 JP 2019503773 A JP2019503773 A JP 2019503773A JP 2019503773 A JP2019503773 A JP 2019503773A JP 6906602 B2 JP6906602 B2 JP 6906602B2
Authority
JP
Japan
Prior art keywords
neuron
input
transistor
artificial
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019503773A
Other languages
English (en)
Other versions
JP2019517085A (ja
Inventor
アラン・カピー
フランソワ・ダンヌヴィル
ヴィルジニー・オエル
クリストフ・ロエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Original Assignee
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS filed Critical Centre National de la Recherche Scientifique CNRS
Publication of JP2019517085A publication Critical patent/JP2019517085A/ja
Application granted granted Critical
Publication of JP6906602B2 publication Critical patent/JP6906602B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Metal-Oxide And Bipolar Metal-Oxide Semiconductor Integrated Circuits (AREA)
  • Logic Circuits (AREA)
  • Manipulation Of Pulses (AREA)

Description

本発明の主題は、生体ニューロンのある種の電気特性を再生することが可能な、特に、生体模倣アーキテクチャで使用することができる低エネルギー消費回路である。
「ムーアの法則」の成長と一般的に呼ばれる、40年近い指数関数的成長の後で、データ処理システムの性能レベルは、過剰な散逸電力に起因して飽和し始めている。神経科学における近年の進歩と、ナノデバイスの製造との間の密接なつながりによって、現在のシステムのエネルギー効率を何桁もの大きさで超えるエネルギー効率を有する、根本的に新規のアーキテクチャを設計および製造する可能性が示唆される。これらの生体模倣または神経形態学的アーキテクチャは、現在知られている脳の動作原理を使用する。これらは、人工ニューロンおよびシナプスから構成され、アドレス可能メモリ、分類器、または関数近似などの機能を実行することを可能にする。
ニューロン回路にとって、これらの回路が数千ニューロンから構成されるVLSIニューラルネットワーク中に集積化されることが意図されるとき、可能な限り少ないトランジスタおよび低いエネルギー消費で設計されることがなおさら重要である。
IBMによる「Synapse」チップなど、プロセッサ上で脳をシミュレーションすることに基づいた、生体模倣アーキテクチャのためのソフトウェア手法が提案されている。
パルスの迅速な生成のために正帰還を使用する特許US 6242988 B1、および抵抗性メモリを備える人工ニューロンを実装する特許出願EP 2819068 A2などといった、生体模倣アーキテクチャのためのハードウェア手法も提案されてきた。
N. Qiaoらによる、Frontiers in Neuroscience、volume 9、article 141、2015年の記事に記載されるものなどの、かなり複雑な回路は、CMOS技術を使用してニューロンの挙動を再生し、ほとんどの場合に、「対数領域回路」または「電流ミラー」の概念を使用する。
コンピュータニューロサイエンスの分野における最も評判のよいモデルの中の、1つの生体膜モデルは、Morris-Lecarモデルである。このモデルは、フジツボ(giant barnacle)の筋繊維の電気活性の測定から推論されており、Biophysics Journal、volume 35、1981年の中に公開された記事に記載される。(Hodgkin-Huxleyモデルなど、4つの変数を有する他のより複雑なモデルとは反対に)単に2つの変数に限定される非線形微分方程式の系に基づくにもかかわらず、Morris-Lecarモデルは、生物学に密接に結びつき、様々なパルス変化を再生することを可能にする。このモデルの数学的記載は、筋繊維の膜を通過するイオン電流の実験的観察から示唆された。
R. Behdadらによって、IEEE transactions on neural networks and learning systems、volume 26、2015年に公開された記事に記載されるものなど、Morris-Lecar細胞膜モデルの電気特性を再生するいくつかの知られている回路が存在する。この記事において、Morris-Lecarモデル中で表されるイオン電流は、カルシウムおよびカリウムのものであり、膜通過のオーム損もモデル化される。
ニューロンをモデル化するため、このモデルにおいて、カルシウムをナトリウムで置き換えることが可能である。この事例では、様々なイオンチャネルが開閉し、このことが、ニューロンの電気活性を生成する。たとえば、ニューロンの膜をより負でない電位にするように、ニューロンの膜を脱分極する外部興奮が印可されると、ナトリウム(またはカルシウム)チャネルの迅速に開くことによって、ニューロンの膜電位の迅速な増加が生じ、一方カリウムチャネルをよりゆっくり開くことによって、ニューロンの膜が、負の開回路電圧に再分極する。ニューロンのこうした活性/不活性メカニズムによって、スパイクとも呼ばれるパルスが生成される。
R. Behdadによる記事の主題である回路は、様々なイオン電流に対応するいくつかの部分へと分割され、ここで、各部分は、回路をより複雑にする、個別の能動構成要素、特に相互コンダクタンス演算増幅器を備える。
「Neuromorphic electronic circuits for building autonomous cognitive systems」という題名でChiccaらによって2014年に公開されたIEEEの記事には、ニューラル特性およびシナプス特性をエミュレートする低電力回路についてのアーキテクチャが開示される。
「Spike-time-dependent encoding for neuromorphic processors」という題名で、Zhaoらによって、2015年にJournal on Emerging Technologies in Computing Systemsで公開されたACMの記事は、パルスを使用してデータを符号化するニューロン回路を記載している。
「Building blocks for electronic spiking neural networks」という題名で、Van Schaikによって、2001年にNeural Networks reviewで公開された記事は、生体ニューロン中でパルスを生成するための方法をモデル化する電子回路を紹介している。回路が小さい表面積を有するので、単一チップ上にいくつかのニューラル回路を実装することができる。
現在、完全に満足な様式で以下の制約に対処する、知られているデバイスまたは回路は存在しない。
- 実装するのが非常に簡単で、超大規模集積化のための小さい表面積をもたらすこと
- 速度-電力性能レベルについての広い調整範囲を有すること(いくつかのパラメータは、速度-散逸エネルギーの組合せを、応用例の関数として規定することを可能にする)
- 既存のCMOS産業技術を使用すること
- 非常に小さい消費量にするため、非常に低い電圧(+/-100mVを超えない電源電圧)で動作すること
- 生体と直接インターフェースするのに適合性のある電圧を有すること
- 生体ニューロンのエネルギー効率値より数桁低い大きさである、1fJ/パルス未満の値を有するエネルギー効率を呈することができること
- 興奮電流なしで、安定または発振できること
- パルスの生成、パルスの非減衰伝播、およびシナプスによるニューロン間相互接続を再生できること
- 同じ計算能力でのデバイス数を減らすために、生体中よりも高い周波数で動作できること
- 生体ニューロンのスパイクの、タイムスケールおよび振幅の点で、波形を忠実に再生できること
- 生体ニューロンのスパイクの、周波数応答の典型的な展開を、興奮電流の値の関数として再生できること
US 6242988 B1 EP 2819068 A2
N. Qiaoら、Frontiers in Neuroscience、volume 9、article 141、2015年 Biophysics Journal、volume 35、1981年 R. Behdadら、IEEE transactions on neural networks and learning systems、volume 26、2015年 「Neuromorphic electronic circuits for building autonomous cognitive systems」、Chiccaら、2014年 「Spike-time-dependent encoding for neuromorphic processors」、Zhaoら、2015年、Journal on Emerging Technologies in Computing Systems 「Building blocks for electronic spiking neural networks」、Van Schaik、2001年、Neural Networks review Y. Weiら、The Journal of Neuroscience、2014年8月27日
本発明の目的は、これらの制約の全部または一部に対処することができる人工ニューロンを提案することであり、この目的は、本発明の態様のうちの1つに従った、
- 膜コンデンサと呼ばれるコンデンサと、
- ・膜コンデンサの中点で接続される直列のPMOSおよびNMOSトランジスタに基づくブリッジ、
・前記ブリッジのトランジスタ間で導通/遮断時間差を生成するような、ブリッジのトランジスタのうちの1つのゲートとソース間の、遅延コンデンサと呼ばれる、少なくとも1つのコンデンサ、
・ブリッジのトランジスタに膜コンデンサの電圧の関数として状態を変えさせて、膜コンデンサの電圧が所定の閾値を超えると、パルス回路が少なくとも1つのパルスを、ブリッジのトランジスタのうちの1つによる膜コンデンサの充電、および他方のトランジスタによる放電で生成することを可能にするような、膜コンデンサと前記ブリッジのトランジスタのゲートとの間の少なくとも2つのCMOSインバータ
を備え、パルスの形状が前記時間差に関連する、負帰還パルス回路と
を備える、人工ニューロンによって達成される。
本発明は、所望であれば、使用するトランジスタの数を減らし、したがって、回路によって占有される表面積を制限することができる。本発明に従い、65nmのTSMCの技術を使用して製造した完成した回路の例では、10μm2以下の表面積を占有し、一方、生体ニューロンの体細胞は、ニューロンのタイプに依存して1〜50μmの直径を有する球体と同等であることができ、軸索は、数ミリメートル、さらに数センチメートルの長さとなる場合がある。
本発明は、標準的CMOS技術の閾値より下で動作することが可能なトランジスタを使用することを可能にし、インバータのトランジスタが閾値より下で電圧増幅段として動作する、少なくとも1つのインバータの使用を可能にする。閾値より下でのトランジスタの動作は、トランジスタの弱反転領域またはサブスレッショルド領域におけるゲート制御電圧で指数関数的に変化するドレイン-ソース電流の存在に対応し、ここで、ゲート-ソース電圧は、反転領域が出現(ドレインとソースの間の導通チャネルの生成)する閾値電圧より下である。
本発明によって、膜コンデンサのために、特に、30fF未満の値、特に10fF未満、好ましくは2fFと5fFの間の小さい容量を使用することも可能になる一方、生体膜コンデンサは、およそ百または数百pFの容量を有する。
本発明は、特に、3.5fJ/パルス未満、好ましくは1.1fJ/パルスと3.2fJ/パルスの間、最適には0.5fJ/パルス未満の値を有する、生成パルス毎に低いエネルギーを消費するという利点を有する回路を作ることを可能にし、一方、生体では、生成パルス毎のエネルギーは、一般的に1pJと100pJの間である。本発明に従う人工ニューロンによって消費されるエネルギーは、実際の動作期間に、既存の人工ニューロン回路と比較して1〜2桁の大きさで、減らすことができる。
本発明によって、たとえば、およそ100kHz以上の周波数での、ニューラル回路の比較的速い動作を達成することが可能であり、一方、生体の周波数が数十Hzを超えることはない。
好ましくは、人工ニューロンは、外部シナプス興奮電流と呼ばれる入力を備え、膜コンデンサが、この入力電流を積分する。ブリッジのトランジスタを接続する中点が、人工ニューロンの出力を形成する。
人工ニューロンは、生体ニューロン中の膜リーク電流との類推から、膜コンデンサに並列に搭載されるリーク抵抗器を備えて、膜コンデンサの充放電時間を増やすことができる。このリーク抵抗器は、抵抗器またはダイポールとして動作するトランジスタから構成されてよい。
有利な実施形態によれば、膜コンデンサの充電がブリッジのPMOSトランジスタによって実現され、その放電がNMOSトランジスタによって実現される。この事例では、PMOSトランジスタに接続される遅延容量は、NMOSトランジスタに接続される遅延容量よりも小さく、最適値はゼロである。NMOSトランジスタに接続される遅延容量は、好ましくは、膜容量よりも大きい。この実施形態は、ニューロンの生体動作と同様であり、そこでは、(ブリッジのPMOSトランジスタにより表される類推による)ナトリウム/カルシウムチャネルは、(ブリッジのNMOSトランジスタにより表される類推による)カリウムチャネルよりも速い。
遅延容量は、関連するトランジスタのゲートと電源電圧の対応する端子との間に接続される物理的構成要素、または前記トランジスタのゲートとソースの間に存在する単なる寄生容量のいずれかによって実現することができる。
有利な実施形態によれば、人工ニューロンは、カスケード状に接続される2つのCMOSインバータを備え、第1のインバータの入力が膜コンデンサに接続され、前記インバータの出力が第2のインバータの入力およびトランジスタのうちの1つのゲートに接続され、第2のインバータの出力が他のトランジスタのゲートに接続される。
その各々を2つのトランジスタから構成することができるこれらのインバータの役割は、ブリッジのトランジスタを制御するために使用される信号の電圧を整形して増幅することである。これは、正帰還と呼ぶことができる。
変形形態として、人工ニューロンは、カスケード状に接続される2つのCMOSインバータを備え、第1のインバータの入力が膜コンデンサに接続され、前記インバータの出力が第2のインバータの入力に接続され、第2のインバータの出力が前記ブリッジのトランジスタのうちの1つのゲートに接続され、また第3のCMOSインバータを備え、第3のCMOSインバータの入力が膜コンデンサに接続され、第3のCMOSインバータの出力が前記ブリッジの他のトランジスタのゲートに接続される。
第3のインバータの追加によって、インバータの閾値電圧を独立に調整することにより、ブリッジのトランジスタの制御を独立に最適化することが可能になる。
インバータの電圧利得および閾値電圧を調整すると、人工ニューロンの動作に影響がある。
好ましくは、スパイクを生成するニューロンの閾値電圧は、ブリッジのPMOSトランジスタに給電するインバータの閾値電圧である。使用されるインバータの数は、速度または電力消費目標の関数として規定することができる。
好ましくは、CMOSインバータのうちの少なくとも1つの閾値電圧が、特に、0Vではないが、-50mVと+50mVの間である。
本発明の有利な特徴によれば、人工ニューロンは安定モードで動作し、前記ブリッジのPMOSおよびNMOSトランジスタは、好ましくは、少なくとも2、特に2〜7、たとえば、5〜7の比で、異なるコンダクタンス値を有する。類推によって、安定モードは、脳のニューロンの動作のものに対応する。安定モードでは、パルスを生成することを可能にするために、ニューロンは、非ゼロの外部興奮電流を受け取らなければならず、その値は、安定の程度に依存する。実際に、ブリッジのトランジスタのコンダクタンスの比が高くなると、安定が高くなり、安定を中断するのに必要な興奮電流の最小強度が大きくなる。
本発明の別の有利な特徴によれば、人工ニューロンは、緩和発振器モードで動作し、前記ブリッジのPMOSおよびNMOSトランジスタは、好ましくは、0.5〜3、最適には0.8〜1.2、より最適にはおよそ1の比で、比較的近いコンダクタンス値を有する場合がある。
類推によって、緩和発振器モードは、脊髄または心臓細胞のある種のニューロンの動作のものに対応する。緩和発振器モードでは、ニューロンは、不安定で、外部興奮電流なしにパルスを生成する。そのような事例では、外部シナプス興奮入力は必要でない。
本発明によれば、パルス回路は、電源によって給電され、ここで、Vd>Vsである。差(Vd-Vs)は、好ましくは、各々のインバータが、特に、(Vd-Vs)>=100mV、好ましくは(Vd-Vs)>=120mVであるような電源で、2以上の電圧利得を呈するように設定される。好ましくは、(Vd-Vs)<Vthであり、Vthは、人工ニューロンのすべてのMOSトランジスタの閾値電圧である。電圧間のこの関係によって、ニューロンのすべてのトランジスタが、その任意の動作(安定または緩和発振器)モードについて、またトランジスタの任意のドレイン-ソース電圧について、すなわち、前記のトランジスタが飽和モード(Vds>Vth)であってもなくても、閾値の下で動作することが可能になる。一般的に、電圧Vsは、負であって、-200mVと0mVの間にあり、電圧Vdは正であって、0mVと+200mVの間にある。低エネルギー動作では、負の電圧は、好ましくは-100mVと-50mVの間にあり、正の電圧は、+50mVと+100mVの間にある。生体と適合性のある用途では、負の電圧は、特に-100mVと-70mVの間にあり、正の電圧は、+70mVと+100mVの間にある。スパイクの振幅は、好ましくは、40mVと200mVの間にある。好ましくは、|Vd-Vs|<=400mVである。
本発明は、ニューロンを作るための特定の技術に限定されない。有利な実施形態によれば、前記ブリッジのトランジスタは、バックゲート制御と呼ばれる、基板による制御の能力を使用するFD-SOI技術を使用して作られる。トランジスタの最大電流は、ここで、基板電極に印可される、バックゲート電圧と呼ばれる電圧によって制御される。このバックゲート電圧は、ブリッジのトランジスタの最大電流値を変更することによってスパイクの周波数および平均消費電力を変更し、エネルギー効率(パルス毎のエネルギー消費)がほぼ変更されないことを可能にする。
人工ニューロンは、バーストモードで動作して、膜電位を積分し、この積分から得られる電流を膜コンデンサへと再注入する興奮回路によって、規則的な間隔でパルスのバーストを放出することができる。
バーストモードは、ニューロンが不安定である場合に、外部興奮電流なしに得ることもできる。
人工ニューロンのバーストモードは、パーキンソン病などの神経学的状態を治療するときに有用な脳深部刺激で、特に関心が高い。
人工ニューロンは、確率共鳴を実装することによって動作することができる。確率共鳴現象は、ランダムな信号、特にノイズが有用な信号の伝達を促進する、非線形効果である。この効果は、ノイズ、有用な信号、非線形伝達システム、およびノイズを加えることにより改善される性能測定値について考慮されるタイプに依存して様々な形をとることができる。
この事例では、人工ニューロンは、2つの異なる電流、すなわち、スパイクを作るには不十分な振幅を有する周期的電流とランダムノイズ電流からなる外部興奮を受け取る。
本発明は、本発明の態様のうちの別の1つに従って、上で規定されたような本発明に従う複数の人工ニューロンを備えるニューラルネットワークにも関し、ここでは、プリニューロンおよびポストニューロンと呼ばれる少なくとも2つの人工ニューロンがシナプス回路によって互いに接続される。
好ましくは、シナプス回路は、2つの入力を有し、トランジスタのドレインで直列に接続される2つのトランジスタを備え、前記トランジスタのうちの少なくとも1つはシナプス回路の第1の入力に対応するゲート電位によって制御されるNMOSタイプのものであり、第2のトランジスタのゲートはシナプス回路の第2の入力に対応し、シナプス回路の出力は、ポストニューロンの出力電位に接続されるNMOSトランジスタのソースに対応する。
2つのタイプのシナプス、すなわち興奮性シナプスおよび抑制性シナプスが存在する。
興奮性シナプスは、ポストニューロンによるスパイクの作成を促進し、ポストニューロンの膜を脱分極して、ナトリウムチャネルのものと同様の役割を遂行する。それらの活動は、電源電圧の正の端子に接続されるPMOSトランジスタによってシミュレーションすることができる。
抑制性シナプスは、ポストニューロンによるスパイクの作成を妨げ、ポストニューロンの膜を過分極化して、カリウムチャネルのものと同様の役割を遂行する。それらの活動は、電源電圧の負の端子に接続されるNMOSトランジスタによってシミュレーションすることができる。
シナプス回路は、興奮性シナプスに対応することができ、ここでは、シナプス回路の第2の入力が、入力としてプリニューロンの膜電位を有するインバータの出力に、特に、プリニューロンのブリッジのPMOSトランジスタのゲートに接続される。
シナプス回路は、抑制性シナプスに対応することもでき、ここでは、シナプス回路の第2の入力が、2つのインバータの出力に直列に接続されて、第1のインバータの入力がプリニューロンの膜電位を受けることができる。
シナプス回路の第2の入力は、抑制性シナプスの事例では、プリニューロンのブリッジのNMOSトランジスタのゲートに接続することができる。
本発明は、本発明の態様のうちの別の1つに従って、データ処理方法にも関し、ここでは、例として、画像、動画を処理するため、または顔認証のために、以前に記載したようなニューラルネットワークが使用される。
好ましくは、学習後のニューラルネットワーク内部の情報を保つために、人工ニューロンの固有熱雑音が使用される。
有利な実施形態によれば、複数の非常に高い周波数のスパイクが積分回路の入力に印可され、積分回路の出力が、以前に記載したような興奮性シナプスの第1の入力に接続される。
好ましくは、積分回路はNMOSトランジスタを備え、そのソースは、積分回路の出力に対応するが、コンデンサに接続され、前記トランジスタのゲートおよびドレインは、互いに接続されて、積分回路の入力に対応する。
人工ニューロンを、2つのシナプスによって低い周波数で発振する第2のニューロンに結合することによって、人工ニューロンをバーストモードで動作させることも可能であって、2つのシナプスのうちの一方は、第1のニューロンから第2のニューロンへの興奮性シナプスであり、2つのシナプスのうちの他方は、第2のニューロンから第1のニューロンへの抑制性シナプスである。
好ましくは、第2のニューロンの膜容量および遅延容量は、第1のニューロンのものより少なくとも100倍大きい。
たとえば、第2のニューロンの膜容量および遅延容量は、それぞれ0.1pFおよび1pFであり、第1のニューロンのものは、それぞれ1fFおよび10fFである。
本発明は、本発明の態様のうちの別の1つに従って、例として、生体中の自発運動を生成もしくは再生するため、またはロボット工学のための、本発明に従う少なくとも2つの人工ニューロンおよび以前に記載したような抑制性シナプスを備える人工中央パターン発生器にも関する。生体中の中央パターン発生器は、脊髄中に収容されるニューラルネットワークである。
1つの有利な実施形態によれば、人工中央パターン発生器は、抑制性シナプスによって関連付けられる、バーストモードで動作するプリニューロン、および発振モードで動作するポストニューロンを備える。
別の有利な実施形態によれば、人工中央パターン発生器は、ニューロンの各々がプリニューロンおよびポストニューロンの両方であるように、両方が発振モードまたはバーストモードのいずれかで動作し、2つの抑制性シナプスにより相互に結合される2つの人工ニューロンを備え、2つの抑制性シナプスのシナプス重みは等しい場合も等しくない場合もある。シナプス重みは、シナプス後電位(興奮性シナプス後電位、Excitatory Post Synaptic PotentialのEPSP、または抑制性シナプス後電位、Inhibitory Post Synaptic potentialのIPSP)の振幅と、シナプス前信号、すなわちプリニューロンのスパイクの振幅との間の比であると規定される。
「容量(capacitance)」という用語は、構成要素としてのコンデンサと、ファラッド(F)で測定される物理量としてのコンデンサの電気容量の両方を示す場合がある。
「膜電位(membrane potential)」は、トランジスタのブリッジの中点に接続される膜コンデンサの端子における電位を示す。
本発明は、本発明の非限定の実施形態の以下の記載を、添付図面を参照して読めば、より良好に理解することが可能となる。
本発明の第1の実施形態に従った、人工ニューロンを概略的に示す図である。 本発明の第2の実施形態に従った人工ニューロンの、図1のものと同様の図である。 第2の実施形態に従ったデジタルシミュレーション回路を示す図である。 図3の回路のシミュレーションによって得られる電位および電流の波形を示す図である。 図3の回路のシミュレーションによって得られる電位および電流の波形を示す図である。 生体ニューロンモデルをシミュレーションすることにより得られるイオンチャネルの膜電位および電流の波形を示す図である。 本発明の第3の実施形態に従ったデジタルシミュレーション回路を示す図である。 図5の回路のデジタルシミュレーションにより得られる電位の波形を示す図である。 本発明の第4の実施形態に従った、人工ニューロンを概略的に示す図である。 図7に従った、回路のシミュレーションによって得られる結果を示す図である。 図7に従った、回路のシミュレーションによって得られる結果を示す図である。 図7に従った、回路のシミュレーションによって得られる結果を示す図である。 図7に従った、回路のシミュレーションによって得られる結果を示す図である。 図7に従った、回路のシミュレーションによって得られる結果を示す図である。 図7に従った、回路のシミュレーションによって得られる結果を示す図である。 図7に従った、回路のシミュレーションによって得られる結果を示す図である。 本発明の第5の実施形態に従った、人工ニューロンを概略的に示す図である。 インバータのトランジスタNおよびPの最大ドレイン電流の比の関数としての、閾値の下のインバータの入出力特性を示す図である。 基板による制御の能力を使用する、本発明に従った、ニューロン回路のデジタルシミュレーションによって得られる結果を示す図である。 基板による制御の能力を使用する、本発明に従った、ニューロン回路のデジタルシミュレーションによって得られる結果を示す図である。 確率共鳴現象を強調した人工ニューロンのデジタルシミュレーション回路を示す図である。 確率共鳴の事例における、興奮電流および膜電位の波形を示す図である。 本発明に従った、人工ニューロンを使用するニューラルネットワークの部分を概略的に示す図である。 シナプス回路による、本発明に従った、2つニューロンの相互接続を概略的に示す図である。 興奮性シナプスの事例における、図13の相互接続のデジタルシミュレーション回路を示す図である。 図14の回路のデジタルシミュレーションによって得られる結果を示す図である。 抑制性シナプスの事例における、図14のものと同様のデジタルシミュレーション回路を示す図である。 図16の回路のデジタルシミュレーションによって得られる結果を示す図である。 興奮性シナプスのシナプス重みを維持するためにニューロンの熱雑音を使用する回路を概略的に示す図である。 ノイズ注入がある場合、ない場合の、図18の回路のシミュレーションによって得られるシナプス重み曲線を示す図である。 追加興奮回路によってバーストモードで動作する人工ニューロンを概略的に示す図である。 図20の回路について示す、Spiceデジタルシミュレーション図である。 外部興奮電流がある場合の、ニューロンの出力で得られるパルスのバーストを示す図である。 外部興奮電流がない場合の、ニューロンの出力で得られるパルスのバーストを示す図である。 2つのシナプスによって結合される2つのニューロンから構成され、ニューロンのうちの1つがパルスのバーストを放出することができる、人工ニューロンネットワークを示す図である。 図22cに概略的に示される回路のデジタルシミュレーションによって得られる結果を示す図である。 2つのニューロンおよび抑制性シナプスから構成される人工中央パターン発生器を概略的に示す図である。 図23の回路のデジタルシミュレーションによって得られる結果を示す図である。 2つのニューロンおよび2つの抑制性シナプスから構成される人工中央パターン発生器を概略的に示す図である。 図25に概略的に示される回路のデジタルシミュレーションによって得られる結果を示す図である。 図25に概略的に示される回路のデジタルシミュレーションによって得られる結果を示す図である。
図1は、本発明の第1の実施形態に従った、人工ニューロン1の図を示し、2つのインバータ5と6がカスケード状に接続され、第1のインバータの出力が第2のインバータの入力に接続される。第1のインバータ5の出力がPMOSトランジスタ8のゲートに接続される。第2のインバータの出力がNMOSトランジスタ7のゲートに接続される。
図1では、トランジスタ7および8は、直列に電気的に接続され、電源電圧VsとVdの間のブリッジを形成する。
ブリッジのトランジスタのドレインの接続を規定する中点9は、膜コンデンサCmの端子に接続される。膜コンデンサCmの他の端子は、グランド0Vに接続される。さもなければ、変形形態として、この端子を、VsまたはVdのいずれかに接続することができる。
この例では、Vs=<0、およびVd>=0である。
コンデンサCkが、Vsと、NMOSトランジスタ7のゲートとの間に接続される。さもなければVsに接続されるコンデンサCkの端子は、グランドに接続することができる。
コンデンサCnaが、Vdと、PMOSトランジスタ8のゲートとの間に接続される。さもなければVdに接続されるコンデンサCnaの端子は、グランドに接続することができる。
Iexは、たとえばシナプス(図1に示さず)から発生する外部興奮電流を示す。
膜電位Cmが第1のインバータ5の閾値電圧に到達すると、インバータ5による第1の反転後に、対応する電位がここでPMOSトランジスタ8のゲートに伝達され、容量Cnaにより規定される遅延後に、前記トランジスタを活性化する。こうして、膜コンデンサCmは、PMOSの開の伝導チャネルを介して充電する。この充電は、出力スパイクの立上りエッジに対応する。
第2のインバータ6の閾値電圧に到達すると、対応する電位がNMOSトランジスタ7のゲートに伝達され、容量Ckにより規定される遅延後に、前記トランジスタを活性化する。その遅延は、例では、Ck>Cnaの選択に起因して、PMOSを活性化する遅延よりも長いと考えられる。こうして、充電する時間が経過した後、NMOSの伝導チャネルが開にされると、膜コンデンサCmが放電し始める。この放電は、出力スパイクの立下りエッジに対応する。
この事例における電源電圧VdおよびVsは、生体との類推によって、ナトリウムおよびカリウムのネルンスト電位のそれぞれの均等物である。
ブリッジのPMOSトランジスタ8およびNMOSトランジスタ7は、それぞれ、ナトリウムおよびカリウムチャネルを表す。
遅延容量CnaおよびCkは、上述のMorris-Lecarモデルにより示唆されるように、それぞれナトリウムおよびカリウムチャネルを開にするのに必要な時定数を表す。
一般的に、生体によれば、チャネルKはチャネルNaよりも遅く、このことが、Ck>Cnaをもたらす。さらに、当該の例では、ブリッジのNMOSトランジスタ7のコンダクタンスは、PMOSトランジスタ8のものよりも大きく、このことによって、興奮電流Iexがゼロであるとき、Vsに近い膜の静止電位がもたらされる。
容量Cnaは、図2に示されるように、0と等しくてよい。
図3は、図2の例に従った、Spiceアナログ回路シミュレータで生成されたデジタルシミュレーション回路を示す。
ブリッジのトランジスタ8および7は、それぞれ、図3においてM3およびM6と示されるトランジスタに対応し、0.6μmに等しいゲート幅を有する。
インバータ5は、2つのトランジスタM2およびM5から構成され、そのゲート幅は、0.3μmに等しい。
インバータ6は、2つのトランジスタM1およびM4から構成され、そのゲート幅は、それぞれ0.3μm、0.05μmに等しい。
トランジスタのゲート長は22nmである。負の電源電圧は、-100mVであり、正の電源電圧は、+100mVである。
容量CkおよびCmは、それぞれ、50fFおよび10fFに等しい。
外部興奮電流は一定であり、30pAに等しい。
図4aは、膜電位Vmem、PMOSトランジスタ8のゲートの電圧Vna、およびNMOSトランジスタ7のゲートのVkの波形を示す。
図4bは、膜電位Vmemに加えて、図3の回路のトランジスタ8のドレインの電流Id(M3)およびトランジスタ7のドレインの電流Is(M6)の波形を示す。
膜電位およびイオン電流のこれらの波形は、図4cに示されるような、生体で発生するものと同様である。図4cは、Wei生体ニューロンモデル(Y. Weiら、The Journal of Neuroscience、2014年8月27日)のMatlab(登録商標)デジタル計算ツール上のシミュレーションによって得られる波形を示し、ここで、InaおよびIkは、それぞれ、ナトリウムおよびカリウム電流の曲線を表す。
図4bと図4cの間の、波形の定性的な一致を見ることができる。
Ck<Cnaであり、ブリッジのPMOSトランジスタがNMOSトランジスタよりも導通する変形形態では、膜の静止電位がVdに近く、図1に示された2つのインバータの出力は、第1のインバータの出力がNMOSトランジスタのゲートに接続され、第2のインバータの出力がPMOSトランジスタのゲートに接続されるように変更される。
本発明のこの第3の実施形態に従うSpiceデジタルシミュレーション回路が図5に示される。
図6は、得られる波形を示しており、パルスは、図4aのものに対して反転されることを見ることができる。
図7は、本発明の別の実施形態に従ったニューラル回路を概略的に示しており、生体膜を通るリークとの類推によって、膜コンデンサCmと並列な、リーク抵抗器Rfの存在によって図2のものと異なる。NMOSトランジスタをPMOSトランジスタよりもはるかに導通させるような、ブリッジのトランジスタの好適な設計を通して、このリーク抵抗器を取り除くことも可能である。
この例におけるSpiceデジタルシミュレーションは、STM 28nm FD-SOI構成要素ライブラリを使用して完成した。
この例における電源電圧Vs=-60mVおよびVd=60mVによって、100mVのピークツーピーク振幅を得ることが可能になる。より低い電源電圧でパルスを得ることが可能であるが、100mVのピークツーピーク振幅にはもはや到達しない。
ブリッジのトランジスタのゲート幅が等しい場合、PMOSトランジスタは、NMOSトランジスタのものよりも低いドレイン電流を有する。このため、PMOSトランジスタのゲート幅は、好ましくは、これらの電流値を平衡させるように調整され、たとえば、NMOSトランジスタのゲート幅は80nmに等しく、PMOSトランジスタのものは450nmに等しい。
図8aは、Ck=50fFおよびCm=5fFの場合における膜電位の波形を示す。1msの期間にわたって、20個のピークツーピーク100mV振幅のパルスを見ることができる。
図8bは、Ck=10fFおよびCm=1fFの場合における膜電位の波形を示す。同じシミュレーション期間について、パルスの周波数の増加を見ることができる。
図8cは、時間枠として興奮電流Iexを示し、膜電位Vmemを示す。ニューロンが興奮に対して反応するのを見ることができる。
図8dは、興奮電流Iexの振幅の関数としてのパルスの周波数の変化曲線を示す。
これらの結果は、興奮電流Iexおよび容量CkおよびCmの値が、パルスの周波数に影響を及ぼすことを示し、これらの様々なパラメータが出力パルスを最適化するために使用できるという点で、ニューラル回路のフレキシビリティーを示す。
図8eおよび図8fでは、Ckの値は50fFに設定され、Cmは、2fF〜50fFで変化する。
図8eは、容量Cmの関数としての、膜電位のピークツーピーク振幅の変化曲線Aならびにパルスの周波数の変化曲線Fを示す。容量Cmの値が増加するにつれて、振幅およびパルスの周波数が減少するのが観察される。
図8fは、パルスの周波数の変化曲線Fに加えて、パルス毎のエネルギー効率の発展曲線Rを示す。
パルス毎に消費されるエネルギーは、Cmの変化範囲[2fF, 50fF]において、擬似直線状に、かろうじて(1.1〜3.2fJ/パルス)変化するのを見ることができる。
図8gは、容量Ckの関数としての、パルスの周波数の変化(曲線F)およびパルス毎のエネルギー効率(曲線R)を示しており、容量Cmは、2fFに設定される。
図8fと図8gの曲線は、同じ状況を有する。図8gは、パルスの周波数が容量Ckの小さい値で増加し、エネルギー効率がCkに直接比例するように見えることも示しており、ここで、Cmの値は一定である。
Ck=5fFおよびCm=2fFで、パルス毎0.3fJに等しくなることができる、非常に低いエネルギー効率値を得ることが可能であることがわかる。
図9は、本発明の別の実施形態に従ったニューロンを概略的に示しており、これは、第3のインバータ12の追加によって図2のものと異なっており、第1のインバータ10が、反転後に、ブリッジのPMOSトランジスタ8のゲートに出力電位を伝達し、他の2つのインバータ11および12が、カスケード状に接続されて、出力電位をNMOSトランジスタ7のゲートに伝達する。
インバータ10および11の入力は、ブリッジの中点9および膜コンデンサに接続され、インバータ12の入力は、インバータ11の出力に接続される。
いくつかの近似を行った、対称的な様式(Vs=-Vd)で供給される、閾値より下のインバータの出力電圧Voutは、次式で提供される。
Vout=-Vd tanh[Vin/(nVt)+0.5Ln(In0/Ip0)]
上式で、Vinは、インバータの入力電圧であり、In0/Ip0は、NMOSトランジスタとPMOSトランジスタの最大電流の比であり、Vtは、熱ポテンシャルkBT/q(kBは、ボルツマン定数、Tは温度、qは電子の電荷)であり、nは、1よりも大きい、理想係数である。
Voutの式は、インバータの最大電圧利得が-Vd/(nVt)であり、閾値電圧が(-nVt/2) Ln(In0/Ip0)によって提供されることを示す。
したがって、インバータによって電源電圧で提供される電圧利得を調整することができ、閾値電圧を、NMOSおよびPMOSトランジスタの最大電流を調整することによる(たとえば、トランジスタのゲート幅Wを変えることによる)いくつかのnVtで変えることができる。
図10は、NMOSおよびPMOSトランジスタの最大電流の比の3つの異なる値の関数としての、閾値の下の、インバータの入出力特性を示す。(In0/Ip0)=6(曲線o1)、(In0/Ip0)=1(曲線o2)、および(In0/Ip0)=1/6(曲線o3)。
ブリッジのトランジスタ7および8は、基板電極による制御の能力を使用するFD-SOI技術を使用して作ることができる。この事例では、トランジスタの最大電流は、トランジスタのゲート幅Wによってだけでなく、基板電極によっても制御される。したがって、基板電圧VBBへの作用によって、回路の時間特性(コンデンサの充電時間)、およびエネルギー特性を変えることが可能になる。
図11aおよび図11bは、28nm FD-SOI技術について、閾値の下のトランジスタの最大電流、パルスの周波数、および消費電力への基板電圧の影響を示す。
図11aは、様々な基板電圧値、すなわち、VBB=0(曲線Y1)、VBB=-1V(曲線Y2)、およびVBB=-2V(曲線Y3)についての、閾値の下のNMOSトランジスタの最大電流の変化を示す。これらの変化は、ゲート幅W=1.2μmおよびドレイン-ソース電圧Vds=0.1Vについて、提供される。
図11bは、一定の外部興奮電流におけるkHz単位のパルスの周波数(曲線G)、およびpW単位の全消費電力(曲線H)への基板電圧の効果を示す。
図11cは、確率共鳴現象を示した人工ニューロンのデジタルシミュレーション回路を示す。ニューロン1は、2つの異なる電流源、すなわち、スパイクを作るには不十分な振幅を有する、この事例では正弦曲線の、周期的電流Iex、およびランダムノイズ電流Ibによって興奮する。
図11dは、2つの興奮電流および膜電位Vmemの波形を示す。周期的興奮電流が最大値を通過するとき、加わるノイズはスパイクを生成するのに十分となる。これが、確率共鳴現象である。
図20は、バーストモードで動作する人工ニューロンを示し、ここでは、追加興奮回路60を使用して、膜電位を積分し、この積分からもたらされる興奮電流を膜コンデンサに注入し、こうして、超高速パルス動作と無反応動作との間で継続的に交番する。
Morris-Lecarモデルに従った人工ニューロンのバーストモード動作を得るための、1つの考えられる例は、興奮電流Iexと膜電位Vmemとの間の関係が、以下のタイプの式で決定される場合である。
dIex/dt=ε(V0-Vmem(t-T)
上式で、ε、V0、およびTは、所望の特性に従って規定される定数である。
この式は、誘導性回路の式であり、興奮電流は、膜電位の全体に比例する。
実際に、静止膜電位がVsに近いとき、興奮電流の導関数dIex/dtは正である。興奮電流が増加し、Vmemが発振閾値に到達する。発振は、膜電位の平均値を増加させ、負の電流の導関数dIex/dtおよび興奮電流の減少をもたらし、次いで、興奮電流が閾値より下に落ち、バーストを停止する。
したがって、バーストモード動作の原理は、膜電位がある閾値よりそれぞれ下、またある閾値より上のとき、興奮電流をそれぞれ増加および減少することを含む。
回路が不安定であるときに、定数ε、V0、およびTの関数として、バーストモードを、興奮電流Iexなしに得ることができる。
図20の興奮回路60は、図21のSpiceシミュレーション図に示されるように、フォロワ増幅器、遅延線T、および積分増幅器を備えることができる。この図上の発生源B2は、積分増幅器の出力における電圧Voutに基づいて膜コンデンサへと再注入される電流を得ることを可能にする、相互コンダクタンスに対応する。
図22aは、7pAの外部興奮ステップ電流で生成されるバーストパルスを示す。外部興奮電流なしで得られるこれらのバーストパルスは、図22bに示される。
本発明に従った人工ニューロンの、神経形態学的システムへの統合の例が図12に概略的に示される。ニューラルネットワーク20と呼ばれる、生体模倣データ処理のための完成したシステムでは、人工ニューロン1は、興奮電流Iexを作る樹状突起ツリー50によって入力に接続される。ニューロンは、この電流の関数としてスパイクを生成し、このスパイクは、軸索および樹状突起ツリー51を介して出力シナプス4に伝達される。
図13に概略的に示される、2つのニューロンの相互接続は、シナプス回路4によって行われる。
シナプスが可塑性である(それらの効果は、プリニューロンおよびポストニューロン活性の関数として変わる)とき、それらの可塑性は、シナプス重み(NMOS制御トランジスタ上の「重み」ゲート電位によってモデル化される)によって表される。このシナプス重みは、既知であり、学習シーケンスによって規定される、または添付回路(たとえば、スパイクタイミング依存性可塑性回路)によって生成されると仮定される。
図14は、興奮性シナプス2が2つのニューロン1、1'を関連付けるシミュレーション回路を示す。プリニューロン1は、一定の興奮電流Iexを受け取り、図15に示されるスパイクを周期的に生成する(曲線Vmem1)。この膜電位Vmem1は、シナプス2に作用し、その後、インバータ5によって反転し、PMOSトランジスタM3のゲートでシナプス2の第2の入力e2に接続される。ポストニューロン1'に送出される電流は、この事例では変数であり、NMOSトランジスタM16の「重み」ゲートに印可され、図15に示される電位V1によって制御される。最も高いシナプス重みでは、プリニューロンの各パルスについてポストニューロン1'によってスパイクV1'が生成される(図15の曲線Vmem1')。
図16は、2つのニューロン1、1'を接続する抑制性シナプス3の事例を示す。ポストニューロン1'は、一定電流I2によって興奮し、周期的にパルスを生成する。プリニューロン1は、1msと1.1msの間にある時間期間内でだけ、一定電流I1によって興奮し、5つのスパイクを生成する(図17の曲線Vmem1)。抑制性シナプス3は、この時間期間中、ポストニューロンのスパイクをブロックする(図17の曲線Vmem1')。
図18および図19は、シナプス重みを維持するため回路の入力に注入される、ニューロンの固有熱雑音によって果たされる役割を示す。
考えられる事例は、HF LTP(高周波数長期増強、High-Frequency Long Term Potentiation)の事例であって、複数の非常に高い周波数のスパイクが積分器の入力に印可され、その出力は、シナプス回路の重みの入力に接続される。
図18は、NMOSトランジスタ16およびコンデンサ17を備える積分回路15を示す。積分器の出力は、興奮性シナプス2の「重み」入力に接続される。HFパルスは、最初の2ミリ秒の期間に、プリニューロン1の興奮を維持する一定電流Iexを印可することによって得られる。図18では、Ibは、シナプスノイズ電流を示す。
図19は、ノイズ注入がある場合、ない場合の、シナプス重み(Vweight)の電位を示す。重みの減少によって(緩和によって)表される、パルスが2msで停止するときまで、シナプス重みが増加する(積分により学習する)のを見ることができる。ノイズを加えること(曲線BR)によって、より長く重みの高い値を維持する一方で、緩和現象を減少させることが可能である。曲線SBRは、ノイズがない場合の、シナプス重みの電位を表す。
図22cは、2つのシナプスによって結合される2つのニューロン1、1'から構成されるニューラルネットワークを概略的に示しており、2つのニューロンのうちの一方は、第1のニューロン1から第2のニューロン1'への興奮性シナプス2であり、2つのニューロンのうちの他方は、第2のニューロン1'から第1のニューロン1への抑制性シナプス3である。
バーストモードを得るための別の考えられる例は、異なる発振周波数を有するニューロン1とニューロン1'の間の、このタイプの結合に依拠することである。第1のニューロン1は、第2のニューロン1'よりも高い周波数で発振しなければならないが、たとえば、第2のニューロン1'の膜容量値Cm1'および遅延容量値Ck1'よりも2桁大きさが小さい、膜容量値Cm1および遅延容量値Ck1を有する。
第1のニューロンの入力に印可されるステップ電流が、パルス列を生成する。これらのパルスは、興奮性シナプス2を介して第2のニューロンの入力で興奮性シナプス電流を生成し、こうして、第2のニューロンを脱分極する。
第2のニューロンが脱分極すると、第2のニューロンはパルス列を生成し、抑制性シナプス3を介して、第1のニューロンの入力で抑制性シナプス電流を生成し、こうして第1のニューロンを過分極化して、第1のニューロンのパルスを停止する。
2つのニューロンの様々な発振周波数が与えられれば、パルスバーストに対応する、高周波数発振が第1のニューロンの出力において得られる。
図22dは、1.5pAのステップ電流に続けて得られる、これらのパルスバースト(Vout(1))を示す。パルスは、0.4pAの最小興奮電流で得られることに留意されたい。観察されるパルスの周波数は、電流の振幅とともに増加する。図22dの結果を得るため、ニューロンおよびシナプスの電源電圧は、-0.1Vおよび0.1Vである。インバータのトランジスタのゲート幅は、120nmに等しい。
図23は、2つのニューロンから構成される人工中央パターン発生器21を概略的に示しており、プリニューロン1は、前もってバーストモードに設定され、抑制性シナプス3を介して発振モードに設定されるポストニューロン1'に接続される。
プリニューロン1は、ポストニューロン1'を制御する。実際に、ポストニューロン1'がパルスを放出すると、プリニューロン1は、前記ニューロンが発振するのを防止するように、ポストニューロン1'の入力において抑制性シナプス電流を作る。プリニューロン1の過分極相の(パルスがない)期間では、抑制性シナプス電流が不十分で、ポストニューロン1'は、分離されているかのように正常に発振する。
図24は、プリニューロンの出力(Vn1)およびポストニューロンの出力(Vn1')における波形を示す。
図25は、同一の特性を有し、同じ重みの2つの抑制性シナプス3によって互いに結合され、その結果、互いを相互に抑制する2つのニューロン1、1'から構成される中央パターン発生器21を概略的に示す。2つの事例、すなわち、2つのニューロンのいずれかが発振モードに事前に設定される事例、または2つのニューロンが両方ともバーストモードに事前に設定される事例が起こる。
図26aは、2つのニューロンが発振モードに事前に設定される場合における、2つのニューロン1、1'の出力での波形を示す。150msの最後に、それらの発振が交番する様式で起こることを見ることができる。
図26bは、2つのニューロンがバーストモードに事前に設定される場合における、2つのニューロン1、1'の出力での波形を示す。2つのニューロン1、1'の交番するバーストモード動作をもたらす同期が、約50msの最後に得られることを見ることができる。
本発明は、少なくとも2つの分野で使用することができる。
本発明に従う人工ニューロンは、データ処理、特に画像、動画処理、および顔認識のため、神経模倣システムにおけるビルディングブロックとして使用することができる。この事例では、ニューラル回路の要素は、高速および/または非常に小さい消費電力のために最適化されることになる。
さらに、本発明に従うニューロンは、人工生体ニューロン(インプラント)として、生物医学用途で使用することができる。この事例では、回路の要素は、生体ニューロンのスパイクを忠実に再生するように最適化される。
1 人工ニューロン、プリニューロン
1' ポストニューロン
2 シナプス、興奮性シナプス
3 抑制性シナプス
4 出力シナプス、シナプス回路
5 第1のインバータ、CMOSインバータ
6 第2のインバータ、CMOSインバータ
7 NMOSトランジスタ、ブリッジのトランジスタ
8 PMOSトランジスタ、ブリッジのトランジスタ
9 中点
10 第1のインバータ、CMOSインバータ、第3のCMOSインバータ
11 第1のインバータ、CMOSインバータ
12 第2のインバータ、第3のインバータ、CMOSインバータ
15 積分回路
16 NMOSトランジスタ
17 コンデンサ
20 ニューラルネットワーク
21 人工中央パターン発生器
50 樹状突起ツリー
51 樹状突起ツリー
60 追加興奮回路

Claims (29)

  1. 膜コンデンサ(Cm)と呼ばれるコンデンサと、
    外部シナプス興奮電流(Iex)と呼ばれる入力であって、前記膜コンデンサ(Cm)が、この入力電流を積分する、入力と、
    -200mVと0mVの間にある負の電圧(Vs)で、また0mVと+200mVの間にある正の電圧(Vd)で電源(Vs、Vd)によって提供される負帰還パルス回路であって、
    それらのドレインで、前記膜コンデンサ(Cm)に中点(9)で接続される直列のPMOS(8)およびNMOS(7)トランジスタに基づくブリッジであって、この中点(9)が人工ニューロン(1, 1')の出力を規定する、ブリッジ、
    前記ブリッジの前記トランジスタ(7, 8)のうちの1つのゲートとソース間の、遅延コンデンサ(Cna, Ck)と呼ばれる、2つのコンデンサであって、前記遅延コンデンサは、関連するトランジスタのゲートと電源電圧の対応する端子との間に接続される物理的構成要素、または前記トランジスタのゲートとソースとの間に存在する単なる寄生容量によって提供される、2つのコンデンサと、
    を備える、負帰還パルス回路と、
    カスケード状に接続されるただ2つのCMOSインバータ(5, 6)であって、各々が2つのトランジスタで構成され、第1のインバータ(5)の入力が前記膜コンデンサ(Cm)に接続され、前記第1のインバータの出力が第2のインバータ(6)の入力および前記ブリッジの前記トランジスタ(7, 8)のうちの1つのゲートに接続され、前記第2のインバータ(6)の出力が前記ブリッジの他のトランジスタ(7, 8)のゲートに接続される、ただ2つのCMOSインバータ(5, 6)、または
    ただ3つのCMOSインバータ(10, 11, 12)であって、前記インバータのうちの2つ(11, 12)がカスケード状に接続され、各々が2つのトランジスタで構成され、第1のインバータ(11)の入力が前記膜コンデンサ(Cm)に接続され、前記第1のインバータの出力が第2のインバータ(12)の入力に接続され、前記第2のインバータ(12)の出力が前記ブリッジの前記トランジスタ(7, 8)のうちの1つのゲートに接続され、第3のCMOSインバータ(10)の入力が前記膜コンデンサ(Cm)に接続され、前記第3のCMOSインバータ(10)の出力が前記ブリッジの他のトランジスタ(7, 8)のゲートに接続される、ただ3つのCMOSインバータ(10, 11, 12)と
    を備える、人工ニューロン(1, 1')。
  2. 前記膜コンデンサ(Cm)の充電が前記ブリッジの前記PMOSトランジスタ(8)によって実現され、その放電が前記NMOSトランジスタ(7)によって実現される、請求項1に記載の人工ニューロン(1, 1')。
  3. 前記PMOSトランジスタ(8)に接続される遅延コンデンサ(Cna)が、前記NMOSトランジスタ(7)に接続される遅延コンデンサ(Ck)よりも小さい、請求項1または2に記載の人工ニューロン(1, 1')。
  4. 前記NMOSトランジスタ(7)に接続される前記遅延コンデンサ(Ck)が膜コンデンサ(Cm)よりも大きい、請求項3に記載の人工ニューロン(1, 1')。
  5. 安定モードで動作し、前記ブリッジの前記PMOS(8)および前記NMOS(7)トランジスタが、異なるコンダクタンス値を有する、請求項1から4のいずれか一項に記載の人工ニューロン(1, 1')。
  6. 緩和発振器モードで動作し、前記ブリッジの前記PMOS(8)および前記NMOS(7)トランジスタが、コンダクタンス値を有する、請求項1から4のいずれか一項に記載の人工ニューロン(1, 1')。
  7. 前記負帰還パルス回路が、-100mVと-50mVの間にある負の電圧(Vs)および+50mVと+100mVの間にある正の電圧(Vd)で電源によって供給される、請求項1から6のいずれか一項に記載の人工ニューロン(1, 1')。
  8. 各CMOSインバータの電圧利得が2以上であるように差(Vd-Vs)が設定される、請求項1から7のいずれか一項に記載の人工ニューロン(1, 1')。
  9. 前記CMOSインバータのうちの少なくとも1つの閾値電圧が、0Vとは異なる、請求項1から8のいずれか一項に記載の人工ニューロン(1, 1')。
  10. 前記膜コンデンサ(Cm)と並列なリーク抵抗器(Rf)を備える、請求項1から9のいずれか一項に記載の人工ニューロン(1, 1')。
  11. 前記ブリッジの前記トランジスタ(7)および(8)が、基板による制御の能力を使用するFD-SOI技術を使用して作られ、前記トランジスタ(7, 8)の最大電流が基板電極によって制御されることを可能にする、請求項1から10のいずれか一項に記載の人工ニューロン(1, 1')。
  12. 膜電位を積分し、この積分から得られる電流を前記膜コンデンサへと再注入する追加興奮回路(60)を備え、その追加興奮回路(60)が、入出力として前記ブリッジの前記トランジスタの前記中点(9)を有し、フォロワ増幅器(U2)、遅延線(T1)、積分増幅器(U1)、および前記積分増幅器(U1)の出力電圧に基づいて、前記膜コンデンサへと再注入されるべき電流を得ることを可能にする相互コンダクタンスを備える、請求項1から11のいずれか一項に記載の人工ニューロン(1, 1')。
  13. 2つの異なる電流、すなわち、スパイクを作るには不十分な振幅を有する周期的電流(Iex)とランダムノイズ電流(Ib)からなる外部興奮の受け取りによって、確率共鳴現象を使用する、請求項1から12のいずれか一項に記載の人工ニューロン(1, 1')。
  14. 請求項1から13のいずれか一項で規定されたような、プリニューロン(1)およびポストニューロン(1')と呼ばれ、シナプス回路(4)によって互いに接続される、少なくとも2つの人工ニューロン(1, 1')を備える、ニューラルネットワーク(20)。
  15. 前記シナプス回路(4)が、2つの入力を有し、それらのドレインで直列に接続される2つのトランジスタ(M16, M13)を備え、前記トランジスタのうちの少なくとも1つ(M16)が前記シナプス回路の第1の入力(重み)に対応するゲート電位(V1)によって制御されるNMOSタイプのものであり、第2のトランジスタのゲートが前記シナプス回路の第2の入力(e2)に対応し、前記シナプス回路の出力が前記ポストニューロン(1')の出力電位(Vmem1')に接続される前記NMOSトランジスタ(M16)のソースに対応する、請求項14に記載のニューラルネットワーク(20)。
  16. 前記シナプス回路(4)が、興奮性シナプス(2)に対応し、前記シナプス回路の前記第2の入力(e2)が、入力として前記プリニューロン(1)の膜電位を有するインバータ(5)の前記出力に接続される、請求項15に記載のニューラルネットワーク(20)。
  17. 前記シナプス回路(4)が抑制性シナプス(3)に対応し、前記シナプス回路の前記第2の入力(e2)が、2つのインバータの出力に直列に接続されて、前記第1のインバータの入力が前記プリニューロン(1)の膜電位を受ける、請求項15に記載のニューラルネットワーク(20)。
  18. 前記シナプス回路(4)が抑制性シナプス(3)に対応し、前記シナプス回路の前記第2の入力(e2)が、前記プリニューロンの前記ブリッジの前記NMOSトランジスタ(7)のゲートに接続される、請求項15に記載のニューラルネットワーク(20)。
  19. 高い周波数で発振する第1のニューロン(1)および低い周波数で発振する第2のニューロン(1')を含む2つの人工ニューロン(1, 1')を備え、前記第1のニューロン(1)が、2つのシナプスによって前記第2のニューロン(1')に結合することによって、バーストモードで動作し、前記2つのシナプスのうちの一方が、前記第1のニューロン(1)から前記第2のニューロン(1')への興奮性シナプス(2)であり、前記2つのシナプスのうちの他方が、前記第2のニューロン(1')から前記第1のニューロン(1)への抑制性シナプス(3)である、請求項14から18のいずれか一項に記載のニューラルネットワーク(20)。
  20. 前記第2のニューロンの前記膜コンデンサ(Cm)および前記遅延コンデンサ(Ck, Cna)が、前記第1のニューロンのものより少なくとも100倍大きい、請求項19に記載のニューラルネットワーク(20)。
  21. 請求項14から18のいずれか一項で規定されたニューラルネットワーク(20)を使用して、前記人工ニューロン(1, 1')の固有熱雑音がその入力に注入される、データ処理方法。
  22. 前記人工ニューロン(1, 1')の前記出力における複数の非常に高い周波数のスパイクが積分回路(15)の入力に印可され、前記積分回路(15)の出力が、興奮性シナプス(2)の第1の入力(重み)に接続され、前記興奮性シナプス(2)の第2の入力が前記人工ニューロン(1, 1')に接続される、請求項21に記載の方法。
  23. 前記積分回路(15)がNMOSトランジスタ(16)を備え、前記NMOSトランジスタ(16)のソースが、前記積分回路(15)の出力に対応し、コンデンサ(17)に接続され、前記トランジスタ(16)のゲートおよびドレインが、互いに接続されて、前記積分回路(15)の前記入力に対応する、請求項22に記載の方法。
  24. 請求項1から13のいずれか一項に記載の、プリニューロン(1)およびポストニューロン(1')と呼ばれる、少なくとも2つの人工ニューロン(1, 1')と、請求項17または18で規定されたような抑制性シナプス(3)とを備える、人工中央パターン発生器(21)。
  25. 前記抑制性シナプス(3)が、2つのシナプス入力を有し、それらのドレインで直列に接続される2つのトランジスタ(M16, M13)を備え、前記トランジスタのうちの少なくとも1つ(M16)が第1のシナプス入力(重み)に対応するゲート電位(V1)によって制御されるNMOSタイプのものであり、第2のシナプス入力(e2)に対応する第2のトランジスタのゲートが2つのインバータの出力に直列に接続され、第1のインバータの入力が前記プリニューロン(1)の前記膜電位を受け取り、前記シナプスの出力が、前記ポストニューロン(1')の出力電位(Vmem1')に接続される前記NMOSトランジスタ(M16)のソースに対応する、請求項24に記載の人工中央パターン発生器(21)。
  26. 前記抑制性シナプス(3)が、2つのシナプス入力を有し、それらのドレインで直列に接続される2つのトランジスタ(M16, M13)を備え、前記トランジスタのうちの少なくとも1つが第1のシナプス入力(重み)に対応するゲート電位(V1)によって制御されるNMOSタイプのもの(M16)であり、第2のシナプス入力(e2)に対応する第2のトランジスタのゲートが前記プリニューロン(1)の前記ブリッジの前記NMOSトランジスタ(7)のゲートに接続され、前記NMOSトランジスタ(M16)のソースに対応する前記シナプスの出力が前記ポストニューロン(1')の出力電位(Vmem1')に接続される、請求項24に記載の人工中央パターン発生器(21)。
  27. 抑制性シナプス(3)によって関連付けられる、バーストモードで動作するプリニューロン、および発振モードで動作するポストニューロンを備える、請求項24から26のいずれか一項に記載の人工中央パターン発生器(21)。
  28. 前記ニューロンの各々がプリニューロンおよびポストニューロンの両方であるように、両方が発振モードで動作し、2つの抑制性シナプス(3)により相互に結合される2つの人工ニューロン(1, 1')を備える、請求項24から26のいずれか一項に記載の人工中央パターン発生器(21)。
  29. 前記ニューロンの各々がプリニューロンおよびポストニューロンの両方であるように、両方がバーストモードで動作し、2つの抑制性シナプス(3)により相互に結合される2つの人工ニューロン(1, 1')を備える、請求項24から26のいずれか一項に記載の人工中央パターン発生器(21)。
JP2019503773A 2016-04-11 2017-04-07 人工ニューロン Active JP6906602B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1653175A FR3050050B1 (fr) 2016-04-11 2016-04-11 Neurone artificiel
FR1653175 2016-04-11
PCT/EP2017/058339 WO2017178352A1 (fr) 2016-04-11 2017-04-07 Neurone artificiel

Publications (2)

Publication Number Publication Date
JP2019517085A JP2019517085A (ja) 2019-06-20
JP6906602B2 true JP6906602B2 (ja) 2021-07-21

Family

ID=57113420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019503773A Active JP6906602B2 (ja) 2016-04-11 2017-04-07 人工ニューロン

Country Status (8)

Country Link
US (1) US11580374B2 (ja)
EP (1) EP3443506B1 (ja)
JP (1) JP6906602B2 (ja)
KR (1) KR20180136476A (ja)
CN (1) CN109478249B (ja)
FR (1) FR3050050B1 (ja)
IL (1) IL262329B (ja)
WO (1) WO2017178352A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157805B2 (en) * 2016-11-30 2021-10-26 Japan Science And Technology Agency Neuron circuit, system, and switch circuit
FR3064383B1 (fr) 2017-03-23 2019-11-15 Stmicroelectronics Sa Dispositif integre de neurone artificiel
US11308387B2 (en) * 2017-05-09 2022-04-19 Samsung Electronics Co., Ltd. STDP with synaptic fatigue for learning of spike-time-coded patterns in the presence of parallel rate-coding
FR3072564B1 (fr) * 2017-10-25 2019-10-18 Universite De Lille 1 Sciences Et Technologies Capteur optique
CN108446762A (zh) * 2018-03-30 2018-08-24 广西师范大学 一种基于mos场效应晶体管的模拟脉冲神经元的硬件电路及其应用
FR3081073B1 (fr) 2018-05-14 2021-10-08 Univ Lille Synapse artificielle commutee
KR102246807B1 (ko) * 2018-05-30 2021-04-30 서울대학교산학협력단 인공 시냅스 소자를 포함하는 인공 촉각 신경계 장치
FR3084505B1 (fr) * 2018-07-26 2021-09-10 Thales Sa Reseau de neurones comportant des resonateurs spintroniques
US10490273B1 (en) * 2018-10-15 2019-11-26 International Business Machines Corporation Linearly weight updatable CMOS synaptic array without cell location dependence
CN110232442B (zh) * 2019-07-08 2024-01-19 中国人民解放军陆军工程大学 数模混合神经元电路
KR102499691B1 (ko) * 2019-08-22 2023-02-14 고려대학교 산학협력단 단일 게이트의 피드백 전계효과 전자소자를 이용하는 축적 및 발화 뉴런회로
CN111523658B (zh) * 2020-07-02 2020-12-15 南京优存科技有限公司 双位存储单元及其在存内计算的电路结构
CN112183738B (zh) * 2020-10-09 2022-01-18 中国人民解放军陆军工程大学 一种模拟神经元多种放电模式的演示系统
FR3130043A1 (fr) 2021-12-02 2023-06-09 Université de Lille détecteur de coïncidence pour localiser une source

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4771196A (en) * 1987-08-05 1988-09-13 California Institute Of Technology Electronically variable active analog delay line
US5615305A (en) * 1990-11-08 1997-03-25 Hughes Missile Systems Company Neural processor element
EP0530972B1 (en) * 1991-08-02 1997-11-05 Canon Kabushiki Kaisha Liquid crystal image display unit
JPH05114294A (ja) 1991-10-22 1993-05-07 Mitsubishi Electric Corp シナプス表現回路および半導体神経回路網装置
JP3088821B2 (ja) * 1992-03-18 2000-09-18 沖電気工業株式会社 パワーオンリセット回路
US5355435A (en) * 1992-05-18 1994-10-11 New Mexico State University Technology Transfer Corp. Asynchronous temporal neural processing element
US6242988B1 (en) 1999-09-29 2001-06-05 Lucent Technologies Inc. Spiking neuron circuit
GB0221240D0 (en) * 2002-09-13 2002-10-23 Koninkl Philips Electronics Nv Current source for cryptographic processor
US8712942B2 (en) 2003-03-24 2014-04-29 AEMEA Inc. Active element machine computation
JP4728055B2 (ja) 2005-06-24 2011-07-20 エルピーダメモリ株式会社 人工神経回路
JP2009521276A (ja) * 2005-12-22 2009-06-04 プロテウス バイオメディカル インコーポレイテッド 植え込み型集積回路
CN101364594B (zh) * 2007-08-09 2010-06-02 中国科学院半导体研究所 硅基单电子神经元量子电路
GB0823719D0 (en) * 2008-12-31 2009-02-04 Spd Swiss Prec Diagnostics Gmb A conductive measurement cell
US8653867B1 (en) * 2009-07-16 2014-02-18 Massachusetts Institute Of Technology Pulse modulated neural integrator circuit and associated phase locked loop
US8275728B2 (en) * 2009-11-05 2012-09-25 The United States Of America As Represented By The Secretary Of The Air Force Neuromorphic computer
US8694452B2 (en) * 2010-07-07 2014-04-08 Qualcomm Incorporated Methods and systems for CMOS implementation of neuron synapse
CN102761110B (zh) * 2011-04-26 2015-04-08 温州泓呈祥科技有限公司 供电延迟电路
KR101982141B1 (ko) * 2013-01-04 2019-05-27 한국전자통신연구원 이이피롬 셀 및 이이피롬 장치
KR102230784B1 (ko) * 2013-05-30 2021-03-23 삼성전자주식회사 Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
FR3007867B1 (fr) 2013-06-26 2018-02-09 Commissariat A L'energie Atomique Et Aux Energies Alternatives Neurone artificiel comprenant une memoire resistive
KR20150034900A (ko) * 2013-09-26 2015-04-06 삼성전자주식회사 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로
US9629853B2 (en) * 2014-05-21 2017-04-25 Wisconsin Alumni Research Foundation Uses of ganaxolone
US20160042271A1 (en) * 2014-08-08 2016-02-11 Qualcomm Incorporated Artificial neurons and spiking neurons with asynchronous pulse modulation
US10217046B2 (en) * 2015-06-29 2019-02-26 International Business Machines Corporation Neuromorphic processing devices
CN105426957B (zh) * 2015-11-06 2017-09-29 兰州理工大学 一种电磁辐射下的神经元电活动模拟器

Also Published As

Publication number Publication date
CN109478249B (zh) 2022-04-29
KR20180136476A (ko) 2018-12-24
EP3443506C0 (fr) 2024-02-21
WO2017178352A1 (fr) 2017-10-19
EP3443506B1 (fr) 2024-02-21
FR3050050A1 (fr) 2017-10-13
FR3050050B1 (fr) 2021-10-15
US20190130258A1 (en) 2019-05-02
US11580374B2 (en) 2023-02-14
EP3443506A1 (fr) 2019-02-20
IL262329A (en) 2018-11-29
CN109478249A (zh) 2019-03-15
JP2019517085A (ja) 2019-06-20
IL262329B (en) 2022-02-01

Similar Documents

Publication Publication Date Title
JP6906602B2 (ja) 人工ニューロン
Cruz-Albrecht et al. Energy-efficient neuron, synapse and STDP integrated circuits
Indiveri et al. Neuromorphic silicon neuron circuits
Wu et al. A CMOS spiking neuron for brain-inspired neural networks with resistive synapses and in situ learning
Indiveri et al. A VLSI array of low-power spiking neurons and bistable synapses with spike-timing dependent plasticity
Boi et al. A bidirectional brain-machine interface featuring a neuromorphic hardware decoder
Wijekoon et al. Compact silicon neuron circuit with spiking and bursting behaviour
Bryden et al. Neural control of Caenorhabditis elegans forward locomotion: the role of sensory feedback
Yu et al. Biophysical neural spiking, bursting, and excitability dynamics in reconfigurable analog VLSI
KR20160010477A (ko) 스파이킹 네트워크들의 효율적인 하드웨어 구현
Folowosele et al. Silicon modeling of the Mihalaş–Niebur neuron
Yu et al. Adaptive stochastic resonance in self-organized small-world neuronal networks with time delay
Indiveri et al. A VLSI neuromorphic device for implementing spike-based neural networks
Rachmuth et al. Transistor analogs of emergent iono‐neuronal dynamics
Hsu Dendritic computation and plasticity in neuromorphic circuits
CN112585622A (zh) 开关式人工突触
Alvado et al. Hardware computation of conductance-based neuron models
Savino et al. Nonlinear electronic circuit with neuron like bursting and spiking dynamics
Lee et al. An electronic neuron with input-specific spiking
Kianpour et al. Emulating a central pattern generator (CPG) using CMOS neuron and memristor-based synapse
Ning et al. Artificial neuron with somatic and axonal computation units: Mathematical and neuromorphic models of persistent firing neurons
Standage et al. Differences in the subthreshold dynamics of leaky integrate-and-fire and Hodgkin-Huxley neuron models
Joshi Plasticity in CMOS neuromorphic circuits
Tseng et al. A directionally-selective neuromorphic circuit based on reciprocal synapses in Starburst Amacrine Cells
Wijekoon et al. Analogue cmos circuit implementation of a dopamine modulated synapse

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210629

R150 Certificate of patent or registration of utility model

Ref document number: 6906602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150