JP2624143B2 - ニューラルネットワークを用いた半導体集積回路装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本技術は半導体集積回路装置に関
し、特にニューラルネットワークを用いた半導体集積回
路装置とその学習方法に関する。

【０００２】

【従来の技術】大規模なニューラルネットワーク半導体
集積回路技術で実現する場合、ニューロンの内部状態を
決定するのに、多くのシナプスからの出力値の和をとら
なければならいが、従来のアナログ型回路では、このシ
ナプス出力値の和をアナログ波高値による電流加算によ
り実現していた。

【０００３】しかし、アナログ波高値は、配線抵抗や波
形整形によるアナログ値精度、信頼性の問題から、大規
模なニューラルネットワークを実現するのは難しい。ま
た、従来の完全デジタル型の回路による場合、信号はデ
ジタル処理によるので上記の問題は回避できるが、構成
素子数が非常に多くなるため、多数のシナプスを１チッ
プで実現するのは困難である。

【０００４】図１４は、従来の集積回路の信号システム
形態を説明するための図である。

【０００５】図１４のＤ−Ｄ型は、ニューロン出力値を
パルス密度で、シナプス荷重値をパルス幅で表し、シナ
プス演算をそのパルス密度とパルス幅のＡＮＤ演算をと
ることにより実現、多数のシナプスからの演算結果の和
の処理をそれぞれのシナプスから出力されたパルス密度
のＯＲ演算により実現、ニューロンの内部状態は、パル
ス数をカウントして求める。この方式をもつものとして
は、特開平２−１８１２８４号公報がある。

【０００６】図１４のＡ−Ａ型は、ニューロン出力値を
アナログ電圧値で、シナプス荷重値もアナログ電圧値で
表し、シナプス演算をギルバート演算回路のアナログ波
高値変調で実現、多数のシナプスからの演算結果の和の
処理を電流加算により実現、ニューロンの内部状態は加
算電流の抵抗による電圧降下値を用いる。この方式をも
つものとしては、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｏｌ
２１ Ｎｏ３ ｐ４１−４９、ニューロチップＥＴＡＮ
Ｎ（ＩＪＣＮＮ Ｓｅｓｓｉｏｎｓ．Ｅｌｅｃｔｒｏｎ
ｉｃ Ｎｅｕｒｏｃｏｍｐｕｔｅｒｓ，２−１９１（１
９８９））で発表されている。

【０００７】図１４のＤ−Ａ型は、ニューロン出力値を
パルス密度で、シナプス荷重値をアナログ又はデジタル
の電圧で表し、シナプス演算をニューロン出力値とシナ
プス荷重値を制御ゲート信号とするＭＯＳ．Ｔｒを直列
に接続した回路のアナログ波高値変調、多数のシナプス
からの演算結果の和の処理を電流加算により実現、ニュ
ーロンの内部状態は加算電流の抵抗による電圧降下値を
用いる（特開平２−１８１２８４号公報）。

【０００８】上記のそれぞれの欠点は、Ｄ−Ｄ型は、デ
ジタル回路の構成素子数が多くなる。

【０００９】Ａ−Ａ型は、ニューロンの出入力信号が、
アナログ波高値であるため、配線抵抗、容量等の配線寄
生要素やノイズによるアナログ波形の整形が困難でネッ
トワークの大規模化が難しい。

【００１０】Ｄ−Ａ型は、ニューロンの入力信号が、ア
ナログ波高値であるためネットワークの大規模化が難し
い。

【００１１】

【発明が解決しようとする課題】従来のニューラルネッ
トワークモデルは、ニューロン出力値を、電流値または
電圧値を用いているため、耐雑音性、配線抵抗による信
号減衰等の影響を受ける。また、ニューロン出力値をパ
ルス密度信号にする場合でも、シナプス演算回路をデジ
タル回路によるゲート開閉時間制御方式にした場合で
も、シナプスセルを構成する素子数が多くなり、ＬＳＩ
としてチップ内に構成できるシナプス結合数の大規模化
は望めない。

【００１２】

【課題を解決すうための手段】本発明によれば、複数の
ニューロンセルが各々シナプスセルを介して他のニュー
ロンセルに結合されているニューラルネットワークを用
いた半導体集積回路装置において、前記ニューロンセル
が、各々ＣＲ回路の電圧値で保持されている内部状態値
を有し、各々前記シナプスセルを介して入力されるパル
ス信号を第一の入力線である興奮性パスと第二の入力線
である抑制性パスから受けとり、前記第一及び第二の入
力線からの入力信号に応じ前記ＣＲ回路の内部状態を更
新する前記ＣＲ回路に接続された電荷注入と電荷引き抜
きの回路を有し、パルス幅一定のパルス信号を前記内部
状態値に従い単位時間当たりのパルス数を制御しながら
出力する発振制御回路と発振回路を有し、前記シナプス
セルが、各々ＲＡＭで保持されるシナプス荷重値を有
し、前記シナプス荷重値に従い、各々ニューロンセルか
ら入力される個々のパルスをパルス幅変調するパルス幅
変調回路を有し、各々シナプス荷重値が正の時はニュー
ロンセルの第一の入力線である興奮性パスに前記パルス
幅変調したパルス信号を出力し、シナプス荷重値が負の
時はニューロンセルの第二の入力線である抑制性パス前
記パルス幅変調したパルス信号を出力する興奮、抑制切
替え回路を有することを特徴とするニューラルネットワ
ークを用いた半導体集積回路装置が得られる。

【００１３】

【実施例】本発明のニューラルネットワークを用いた半
導体集積回路装置の信号処理形態は、図１に示すよう
に、基本的に全て２値の信号波形となり、ニューロンセ
ル部では、電圧値で示されるニューロンの内部状態値に
応じてニューロンから出力される単位時間当たりのパル
ス幅一定のパルスの数を制御し、シナプスセルでは、ニ
ューロンセルから出力されるパルス幅一定のパルス列の
個々のパルス幅をシナプス荷重値に応じて変調すること
により、ニューロンから入力された値とシナプス荷重値
との積をとる。

【００１４】各ニューロンの入力に継る、多数のシナプ
ス演算結果の和は、シナプスセル出力のパルス幅変調信
号をワイヤードＯＲすることにより行なう。

【００１５】次に、本発明について回路動作を図面を参
照して説明する。

【００１６】図２は、本発明の第１の実施例のニューロ
チップ内システム構成図である。

【００１７】搭載ニューロン数は，２５６個である。

【００１８】双方向シナプスセル４は、シナプスセルを
２つもち、シナプスセル１セル当たり、４ｂｉｔのカウ
ンタ付きＳＲＡＭセルをシナプス荷重値の保持と修正に
使う。チップ内のシナプスセル部５としては、２５６個
のニューロンセル６のフルコネクションに対して、２５
６Ｋ．ＳＲＡＭが必要となる。

【００１９】その他、学習データと制御アルゴリズム用
の命令プログラムを保持するために、データ８ｂｉｔの
５１２Ｋ．ＳＲＡＭ１０を備える。

【００２０】図３にデジタル多値のニューロン内部状態
データ、シナプス荷重値データフォーマットを示す。

【００２１】ニューロンデータ１３の属性値１４は、対
応するニューロンセル６が入力層、中間層、出力層のど
のグループに属するか、等の情報を示すためのもので、
学習アルゴリズムにより、層間の学習が異なる場合の制
御に役立つ。

【００２２】双方向シナプスセル４の構成を、図４に示
す。

【００２３】双方向のシナプスセル４は、２つのニュー
ロンセル（ＮｉニューロンセルとＮｊニューロンセル）
間を双方向に結合する学習機能を有するシナプスセル
で、演算の向きによって、それぞれ独立したシナプス荷
重値を２つの４ｂｉｔメモリセル＆カウンタ２１に、そ
れぞれ保持し、演算の向きに対して独立した２つのパル
ス幅変調回路２２に４ｂｉｔのシナプス荷重値データを
先の２つの４ｂｉｔメモリ＆カウンタ２１から入力セッ
トし、２つのニューロンセル（ＮｉニューロンセルとＮ
ｊニューロンセル）から出力されるパルス幅一定のパル
ス列Ｎｉ（ｏｕｔ）Ｐｉ１８，Ｎｊ（ｏｕｔ）Ｐｊ１９
を、シナプス荷重値データ２８がセットされたパルス幅
変調回路２２にそれぞれ入力し、入力された個々のパル
ス幅をそれぞれセットされたシナプス荷重値データに応
じて、パルス幅変調回路で変調し、Ｎｉニューロンセル
の出力１８のパルス幅変調後の信号は、Ｎｊニューロン
セルの入力パルスに送られ、Ｎｊニューロンセルの出力
１９のパルス幅変調後の信号は、Ｎｉニューロンの入力
パス２３に送られる。

【００２４】Ｎｉ，Ｎｊニューロンセルの入力パスは、
それぞれ興奮性パスと抑制性パスで構成され、パルス幅
変調時のシナプス荷重値データが正の時は、パルス幅変
調後の信号が興奮性パスに送られ、シナプス荷重値デー
タが負の時は、パルス幅変調後の信号が抑制パスに送ら
れる。

【００２５】シナプス荷重値の初期値のセットは、各メ
モリセル＆カウンタ２１に継るＷＯＲＤ線とＢＩＴ線で
行われ、ＲＡＭのデータ書き込みと同じ手段をとる。従
ってシナプス荷重値データは、ＲＡＭのデータ書き込み
及び読み出しと同じ手段で、書き込みと読み出しを行な
う。

【００２６】学習回路２０は、シナプス荷重値の更新の
時に、２つのニューロンセル（ＮｉニューロンセルとＮ
ｊニューロンセル）のパルス信号をＡＮＤした信号を出
力する。

【００２７】メモリセル＆カウンタ２１回路では、学習
回路２０で、ＮｉニューロンセルとＮｊニューロンセル
の出力パルスをＡＮＤして生成されたパルス信号を、カ
ウンタでカウントし、シナプス荷重値データを更新す
る。

【００２８】図５に、シナプス演算に対する回路図を示
す。

【００２９】ニューロン出力パルス密度信号１８である
ところのシナプス入力を制御信号とするＣＭＯＳゲート
２５と、シナプス荷重値データとなる４ｂｉｔの信号線
２８をそれぞれゲート信号としもつチャネル抵抗比が
１：２：４：８のＰｃｈ及びＮｃｈ．ＭＯＳＴｒ群２
６，２７をＣＯＭＳゲート２５の上下に直列に接続し、
４ｂｉｔ分のシナプス荷重値信号２８に応じて、ＭＯＳ
Ｔｒ群２６，２７のチャネル抵抗を変え、次段のＣＭＯ
Ｓゲート２９に流れ込む過渡的な電流値を変える、これ
により、次段のＣＭＯＳゲート２９のＬｏｗ→Ｈｉｇ
ｈ、またはＨｉｇｈ→Ｌｏｗにスイッチングするゲート
の閾値レベル電位に電圧が上げられるまで充電時間、ま
たは閾値レベル電位以下に電圧が下げられるまでの放電
時間が変わる。よって、入力パルスのパルス幅が、シナ
プス荷重値の４ｂｉｔ分のシナプス荷重値信号２８に従
って変調される。

【００３０】パルス幅変調された信号は、シナプス荷重
値の正負の信号に応じ、ニューロンセルの興奮性及び抑
制性パス２３，２４に送られる。

【００３１】シナプスセルのシナプス荷重値の保持と、
学習回路２０によるシナプス荷重値更新は、メモリとカ
ウンタの複合回路２１としている。

【００３２】ニューロンセルは、図６に示すように、内
部状態値保持回路３０、更新、設定回路３１、発振制御
回路３２、発振回路３により構成されている。

【００３３】内部状態保持回路３０は、４ｂｉｔのメモ
リセルでＷＯＲＤ線とＢＩＴ線により４ｂｉｔで示され
る内部状態値をＲＡＭと同じ手段で、書き込む。

【００３４】内部状態値保持回路３０の４ｂｉｔで示さ
れる内部状態値は、更新・設定回路３１でアナログ電圧
に変換されニューロン内部状態値（アナログ値）３５と
して発振回路に入力される。

【００３５】ニューロンデータ１３の属性値１４で指定
された入力層ニューロンセルのように、ニューロン内部
状態値３５を内部状態値保持回路３０の４ｂｉｔデータ
で設定する場合、ニューロンセルに入力される興奮性パ
スと抑制性パスの信号を発振制御回路３２によって遮断
する。

【００３６】ニューロンセルの内部状態値があらかじめ
決められていないニューロンセルは、興奮性と抑制性の
２つの入力パスから信号を受け、ＣＲ回路で保持されて
いる内部状態値のアナログ電圧値を興奮性パスの信号が
Ｈｉｇｈの期間は増加させ、抑制性パスの信号がＬｏｗ
の期間は低減させるように、更新・設定回路で更新させ
る。

【００３７】発振回路３３は、ニューロン内部状態値
（アナログ値）３５の電圧値に応じて、内部の発振周波
数を変え、発振回路３３から出力されるパルス間隔を変
える。発振回路３３から出力される個々のパルス幅Ｔｓ
は、常に一定となっている。

【００３８】図７にニューロン出力特性を示す。横軸は
ニューロン内部状態値のアナログ電圧値で、右縦軸のＨ
ｉｇｈレベルパルス比率Ｇは単位時間当たりのパルスの
Ｈｉｇｈ状態時間の割合を示している。ニューロン出力
パルス発生頻度は、最大で約２０％になる。

【００３９】ニューロンセルの内部状態値設定回路を、
図８に示す。

【００４０】ニューロンセルの内部状態値３５は、興奮
性パス２３と抑制性パス２４の信号の比率を抵抗と容量
による時間積分でアナログ電圧に変換され設定された
り、内部状態値保持回路３０と発振制御回路３２によ
り、興奮性及び抑制性パスの信号によらず一定の値に設
定できる。

【００４１】学習認識について、説明する。

【００４２】シナプス荷重値の初期値は、各メモリセル
＆カウンタ２１に学習済みのシナプス荷重値を書き込ん
だり、学習済みのシナプス荷重値がなく、これから学習
される場合には、ランダム値を書き込んでおく。

【００４３】シナプス荷重値は、図２に示すように、通
常のＳＲＡＭと同様にデータの読み出し、書き込みが、
Ｒ／Ｗ信号３６に従い行われる。

【００４４】アルゴリズム命令系処理についてプログラ
ム化された、ＬＶＱ（Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ
Ｑｕａｎｔｉｚａｔｉｏｎ）学習制御アルゴリズム
は、図９に示すように、シナプス荷重値ベクトル３７を
入力ベクトル３８に近づけるため、現在のシナプス荷重
値を、右シフト１回で半分にし、２００ｎｓ間に、入力
ベクトルに対応する入力層ニューロン出力（パルス密度
表現）を、カウントＵＰし、シナプス荷重値更新を行な
う。

【００４５】また、シナプス荷重値の更新をするシナプ
スセルは、信号電搬方向（信号の受けて側）のニューロ
ンの内部状態が、閾値を越えて発火しているシナプスセ
ルに対してのみ行われる。

【００４６】これは、前記のシナプス荷重値更新時に学
習回路のＡＮＤ出力信号をカウントＵＰすることで行え
る。

【００４７】ニューロンセルのデータセット、全シナプ
スセルのシフト、カウンタ、ラッチの制御は、ＳＲＡＭ
１０の制御プログラムに従って制御ユニット１２からの
制御信号によって行われる。

【００４８】本方式の学習プロセスを、図１０に示す。

【００４９】実行モードでは、学習データに従いニュー
ロンデータ１３の属性値１４で指定された入力層ニュー
ロンの内部状態値１５をニューロンセルにセットし、属
性値で指定された出力層のニューロンセルの発火分布が
収束するまで動作させる。この動作時間は、約１００ｎ
ｓである。次に、実行過程でできた出力層のニューロン
発火分布に従って前記したシナプス荷重値Ｗ更新を、入
力層ニューロンの内部状態値をセットしたままで行な
う。

【００５０】図１１は、本発明の第２の実施例の双方向
シナプスセルのブロック図である。

【００５１】第一の実施例のニューロチップが双方向の
シナプスセルでセル内にシナプス荷重値保持更新用のメ
モリセルとカウンタの複合回路２１を、信号電搬方向に
対して別々に設けられていたのに対して、第二の実施例
の双方向シナプスセルは、双方向シナプスセルの集積度
を上げられるように、信号電搬方向に対して同じシナプ
ス荷重値を設けることとし、シナプス荷重値保持更新用
のメモリセルとカウンタの複合回路２１を１つにする。
適用学習アルゴリズムは、ボルツマンマシンがある。

【発明の効果】図１３は、本発明のニューラルネットワ
ークを用いた半導体集積回路装置を用い、図１２に示す
Ｗｉｎｎｅｒ ｔａｋｅ ａｌｌネットワークを構成し
て動作認識した波形解析結果である。

【００５２】Ｗｉｎｎｅｒ ｔａｋｅ ａｌｌネットワ
ークは、自分自身には興奮性の結合がされており、他の
ニューロンとは抑制性の結合がされたことを特徴とする
ネットワークのことである。

【００５３】ニューロン内部状態の初期値が最も高いも
のが、最後に他のニューロンの発火を押えて、最終的に
発火し続ける素子がわる。解の収束時間もシナプス演算
をダイナミックに行っているため、１００〜２００ｎｓ
と非常に速い。

【００５４】この収束時間は、ニューロン数を増加した
場合でも、ほとんど変わらない。

【００５５】以上、本技術のパターン認識装置に関す
る、ニューラルネットワークを用いた信号処理技術は、
アナログ回路的発想に基づく、ニューロン及びシナプス
セル内でのパルス密度変調、パルス幅変調処理により、
従来のデジタル入出力型のシナプス回路に比べ構成素子
数が少なくすることができ、シナプス、ニューロンセル
間の信号伝達形態を２値の信号波形にしているため、ニ
ューラルネットワークの半導体集積回路による大規模化
が、アナログ波高値変調を用いたものより、実現の可能
性が高い。

【００５６】また、シナプス演算のパルス幅変調は、信
号のＬｏｗ→Ｈｉｇｈ、Ｈｉｇｈ→Ｌｏｗの時の伝達遅
延の制御によるダイナミックな処理であることから、演
算が非常に速い。

【図面の簡単な説明】

【図１】本発明のシステム形態図

【図２】本発明の第１の実施例のニューロチップ内シス
テム構成を示す図

【図３】ニューロチップ内アドレス空間を示す図

【図４】シナプスセルブロック図

【図５】シナプス演算部回路図

【図６】ニューロンセルブロック図

【図７】ニューロン出力特性を示す図

【図８】ニューロン内部状態値更新・設定回路図

【図９】学習アルゴリズム概要図

【図１０】学習制御プロセスを示す図

【図１１】本発明の第２の実施例のシナプスセルブロッ
ク図

【図１２】Ｗｉｎｎｅｒ ｔａｋｅ ｎｅｔｗｏｒｋを
示す図

【図１３】Ｗｉｎｎｅｒ ｔａｋｅ ａｌｌ ｎｅｔｗ
ｏｒｋによる回路波形回折結果を示す図

【図１４】従来のシステム形態図

【符号の説明】

１ シナプス入力パルス信号 ２ シナプス出力パルス信号 ３ シナプス荷重値多値電位 ４ 双方向シナプスセル ５ 双方向シナプスセルｂｌｏｃｋ（２５６×２５６） ６ ニューロンセル ７ ニューロン属性値格納ｂｌｏｃｋ ８ 列デコーダ＋マルチプレクサ ９ 行デコーダ １０ ５１２Ｋ ＳＲＡＭ １１ 学習データ，アルゴリズム命令系処理ｂｌｏｃｋ １２ 制御ユニット １３ ニューロンデータ １４ 属性値（４ｂｉｔ） １５ 内部状態値（４ｂｉｔ） １６ シナプスデータ １７ シナプス荷重値（４ｂｉｔ） １８ Ｎｉニューロン出力 １９ Ｎｊニューロン出力 ２０ 学習回路 ２１ ４ｂｉｔ メモリセル＆カウンタ ２２ パルス幅変調回路 ２３ Ｎｊ興奮性パス ２４ Ｎｊ抑制性パス ２５ 第１ＣＭＯＳゲート ２６ ＰｃｈＭＯＳＴｒ群 ２７ ＮｃｈＭＯＳＴｒ群 ２８ Ｎシナプス荷重値データ（４ｂｉｔ） ２９ 第２ＣＭＯＳゲート ３０ 内部状態値保持回路 ３１ 更新，設置回路 ３２ 発信制御回路 ３３ 発信回路 ３４ 正負信号 ３５ ニューロン内部状態値（アナログ値） ３６ Ｒ／Ｗ ３７ シナプス荷重値ベクトル ３８ 入力ベクトル ３９ ラッチ ４０ シフト ４１ カウンタ ４４ シナプス入力パルス信号 ４５ シナプス出力パルス信号 ４６ シナプス入力アナログ電位 ４７ シナプス出力アナログ電流 ４８ シナプス入力パルス信号 ４９ シナプス出力アナログ電流 ５０ シナプス荷重値（パルス幅） ５１ シナプス荷重値（ＭＯＳゲートアナログ電位） ５２ ＡＮＤ論理ゲート ５３ ギルバート乗算器 ５４ ＣＭＯＳ＋ＭＯＳ直列回路

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 複数のニューロンセルが各々シナプスセ
   ルを介して他のニューロンセルに結合されているニュー
   ラルネットワークを用いた半導体集積回路装置におい
   て、 前記ニューロンセルが、各々ＣＲ回路の電圧値で保持さ
   れている内部状態値を有し、各々前記シナプスセルを介
   して入力されるパルス信号を第一の入力線である興奮性
   パスと第二の入力線である抑制性パスから受けとり、前
   記第一及び第二の入力線からの入力信号に応じ前記ＣＲ
   回路の内部状態を更新する前記ＣＲ回路に接続された電
   荷注入と電荷引き抜きの回路を有し、パルス幅一定のパ
   ルス信号を前記内部状態値に従い単位時間当たりのパル
   ス数を制御しながら出力する発振制御回路と発振回路を
   有し、 前記シナプスセルが、各々ＲＡＭで保持されるシナプス
   荷重値を有し、前記シナプス荷重値に従い、各々ニュー
   ロンセルから入力される個々のパルスをパルス幅変調す
   るパルス幅変調回路を有し、 各々シナプス荷重値が正の時はニューロンセルの第一の
   入力線である興奮性パスに前記パルス幅変調したパルス
   信号を出力し、シナプス荷重値が負の時はニューロンセ
   ルの第二の入力線である抑制性パス前記パルス幅変調し
   たパルス信号を出力する興奮、抑制切替え回路を有する
   ことを特徴とするニューラルネットワークを用いた半導
   体集積回路装置。
2. 【請求項２】 前記シナプスセルが、入力された前記パ
   ルス幅が一定のパルスの立ち下がりの信号伝達遅延を抑
   制し、×１以下の乗算はパルス幅を狭くし、立ち上がり
   信号の伝達時間を遅らせ、×１以上の乗算はパルス幅を
   広くし、立ち下がり信号の伝達時間を遅らせることによ
   りパルス幅変調を行なうことを特徴とする請求項１に記
   載のニューラルネットワークを用いた半導体集積回路装
   置。
3. 【請求項３】前記シナプスセルが、前記ニューロンセル
   から出力パルスのパルス幅をシナプス荷重値に応じて変
   調するパルス幅変調回路と、シナプス荷重値を保持し更
   新するカウンタ付きのＲＡＭを有し、 シナプス荷重値の更新を前記ニューロンセルの内部状態
   値が閾値を越えてパルスを出力しているニューロンセル
   を出力側に有する前記シナプスセルに対して、シナプス
   セルが有するシナプス荷重値を前記カウンタのｂｉｔ右
   シフト１回により１／２にし、設定した時間内でシナプ
   スセルの入力側のニューロンセルからのパルスをカウン
   トＵＰすることにより、学習機能を有することを特徴と
   する請求項１又は請求項２に記載のニューラルネットワ
   ークを用いた半導体集計回路装置。
4. 【請求項４】 前記ニューロンセルが、各々ニューロン
   セルが有する前記内部状態値を外部から設定、保持する
   ＲＡＭを有し、前記内部状態値の更新を前記興奮性パス
   と前記抑制性パスからの信号に応じて行わず、前記ＲＡ
   Ｍに保持される設定値に固定する発振抑制回路を有する
   ことを特徴とする請求項１及び請求項２又は請求項３に
   記載のニューラルネットワークを用いた半導体集積回路
   装置。