JP6901163B2 - 重み符号固定学習装置 - Google Patents

Description

本発明は、ニューラルネットワーク回路を備えた重み符号固定学習装置の技術分野に属し、より詳細には、脳機能に対応するアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置の技術分野に属する。

近年、人の脳機能に対応したニューラルネットワーク回路を用いた深層学習機能（いわゆるディープラーニング機能）に関連する研究開発が盛んに行われている。このとき、ニューラルネットワーク回路を具体的に実現する場合には、デジタル回路が用いられる場合とアナログ回路が用いられる場合とがある。ここで、前者は処理能力としては高いが大規模なハードウェア構成が必要となると共に消費電力が大きくなるため、例えばデータセンタ等において用いられる。これに対して後者は、処理能力はデジタル回路が用いられる場合より劣るものの、ハードウェア構成としての最小化及び消費電力の低減が期待できるため、例えば上記データセンタ等に接続される端末装置用として利用されることが多い。そして、後者に関する先行技術としては、例えば下記特許文献１に開示されている技術が挙げられる。

この特許文献１には、アナログ回路により構成された（即ちアナログ型の）ニューラルネットワーク回路であって、入力側のニューロンの全てと出力側のニューロンの全てとを、それぞれの重み付けに対応した抵抗値を有する接続部により一対一に接続する、深層学習用のいわゆる全結合（ＦＣ（Full Connection））型ニューラルネットワーク回路が開示されている。この場合の重み付けとは、当該ニューラルネットワーク回路が対応すべき脳機能に対応した重み付けであり、特許文献１に開示されているニューラルネットワーク回路では、各接続部の抵抗値を可変抵抗素子により構成することで当該重み付けに対応させている。このようなＦＣ型ニューラルネットワーク回路は、例えば近傍結合型等の他の形式のニューラルネットワーク回路や、より大規模なニューラルネットワーク回路の一部として活用できるため、それ自体の更なる処理能力の向上と共に、回路規模（占有面積）の縮小化が望まれる。

特開２００９−２８２７８２号公報（第１図、第３図等）

ここで、上記ニューラルネットワーク回路の機能を脳機能により近付けるためには、一般に、上記重み付けとして、正の重み付けに加えて負の重み付けを用いることが必要となる。一方、上記接続部としての抵抗値は、各接続部において一定（即ち抵抗値固定式）である。よって、このような接続部により上記正の重み付けと負の重み付けとを共に実現しようとすると、入力側の一ニューロンに対応する入力データに相当する入力信号を、絶対値が等しい正の入力信号と負の入力信号とに分け、同じ抵抗値を有する二つの抵抗にこれら二つの入力信号を選択的に入力する構成とする必要がある。このとき、上記「選択的に入力する」とは、正の重み付けを実現する場合には正の入力信号のみを入力し、負の重み付けを実現する場合には負の入力信号のみを入力することを意味する。なお、正の重み付けを実現する場合には、結果的に負の入力信号用の抵抗は使用されないことになり、また負の重み付けを実現する場合には、結果的に正の入力信号用の提供は使用されないことになるが、正の重み付けを実現するか負の重み付けを実現するかは、対応させる脳機能によりニューラルネットワーク回路ごとに異なるため、回路としての汎用性を実現するためには、入力側の一のニューロンと出力側の一のニューロンとを接続する一の接続部ごとに上記二つの抵抗を予め造っておく必要がある。そしてこの場合には、当該二つの抵抗により一つの接続部が構成されることから、接続部としての回路規模（占有面積）が結果として二倍となってしまい、当該専有面積の最小化が図れないという問題点があった。

そしてこの問題点は、入力側のニューロンの数と出力側のニューロンの数とを乗じた数だけ接続部が必要となるＦＣ型ニューラルネットワーク回路では、接続部の多数化に伴い、専有面積の増大がより深刻化するという問題点に繋がる。

そこで本発明は、上記の各問題点に鑑みて為されたもので、その課第の一例は、ＦＣ型ニューラルネットワーク回路における接続部の専有面積を大幅に低減することが可能な自己学習型の重み符号固定学習装置を提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、脳機能に対応したアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置において、前記ニューラルネットワーク回路は、入力データに相当する入力信号がそれぞれ入力される複数（ｎ個）の入力部と、出力データに相当する出力信号がそれぞれ入力される複数（ｍ個且つｎ＝ｍの場合を含む）の出力部と、一の前記入力部と一の前記出力部とをそれぞれ接続する（ｎ×ｍ）個の接続部と、により構成されており、前記自己学習の機能は、前記出力データを前記出力部から前記重み符号固定学習装置に再入力した結果として前記入力部から出力されるデータが元の前記入力データと一致するように学習させる機能であり、（ｎ×ｍ）個の前記接続部は、前記脳機能としての正の重み付け係数に対応した抵抗値の抵抗素子である正重み付け抵抗素子により一の前記入力部と一の前記出力部が接続されており且つ当該脳機能としての負の重み付け係数に対応した抵抗値の抵抗素子である負重み付け抵抗素子を含まない前記接続部である正専用接続部と、前記負重み付け抵抗素子により一の前記入力部と一の前記出力部が接続されており且つ前記正重み付け抵抗素子を含まない前記接続部である負専用接続部と、により構成されている。

請求項１に記載の発明によれば、ｎ個の入力部と、ｍ個の出力部と、（ｎ×ｍ）個の接続部と、を備え、出力データを出力部から重み符号固定学習装置に再入力した結果として入力部から出力されるデータが元の入力データと一致するように学習させる自己学習の機能を有し、（ｎ×ｍ）個の接続部が、正重み付け抵抗素子により一の入力部と一の出力部が接続されており且つ負重み付け抵抗素子を含まない正専用接続部と、負重み付け抵抗素子により一の入力部と一の出力部が接続され且つ正重み付け抵抗素子を含まない負専用接続部と、により構成されている。よって、正専用接続部及び負専用接続部から各接続部が構成されているので、ニューラルネットワーク回路における接続部の専有面積を大幅に低減することができる。

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の重み符号固定学習装置において、前記正専用接続部と前記負専用接続部とが同数であるように構成される。

請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、正専用接続部と負専用接続部とが同数であるので、重み符号固定学習装置としての学習能力を向上させつつ、接続部の専有面積を大幅に低減することができる。

上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の重み符号固定学習装置において、前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において一様乱数的に分布しているように構成される。

請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、正専用接続部及び負専用接続部が、（ｎ×ｍ）個の接続部において一様乱数的に分布しているので、従来と同様の学習能力及び汎化能力を共に維持しつつ、接続部の専有面積を大幅に低減することができる。

上記の課題を解決するために、請求項４に記載の発明は、請求項１又は請求項２に記載の重み符号固定学習装置において、前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において規則的に分布しているように構成される。

請求項４に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、正専用接続部及び負専用接続部が、（ｎ×ｍ）個の接続部において規則的に分布しているので、従来と同様の学習能力を維持しつつ、接続部の専有面積を大幅に低減することができる。

本発明によれば、ｎ個の入力部と、ｍ個の出力部と、（ｎ×ｍ）個の接続部と、を備え、出力データを出力部から重み符号固定学習装置に再入力した結果として入力部から出力されるデータが元の入力データと一致するように学習させる自己学習の機能を有し、（ｎ×ｍ）個の接続部が、正重み付け抵抗素子により一の入力部と一の出力部が接続されており且つ負重み付け抵抗素子を含まない正専用接続部と、負重み付け抵抗素子により一の入力部と一の出力部が接続され且つ正重み付け抵抗素子を含まない負専用接続部と、により構成されている。

従って、正専用接続部及び負専用接続部から各接続部が構成されているので、アナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置における接続部の専有面積を大幅に低減することができる。

一つのニューロンをモデル化したユニットを示す図である。 第１実施形態に係るニューラルネットワーク回路を示す図である。 第１実施形態に係るニューラルネットワーク回路の一部等を示す図であり、（ａ）は当該一部を示す図であり、（ｂ）は当該一部をアナログ回路により構成した場合のニューラルネットワーク回路を示す図である。 第２実施形態に係るニューラルネットワーク回路を示す図である。

次に、本発明に係る実施形態について、図面に基づいてそれぞれ説明する。なお以下に説明する各実施形態は、人の脳機能をアナログ型のニューラルネットワーク回路によりモデル化する場合について本発明を適用した場合の実施形態等である。

（Ｉ）第１実施形態
初めに、本発明に係る第１実施形態について、図１乃至図３を用いて説明する。なお、図１は一つのニューロンをモデル化したユニットを示す図であり、図２は第１実施形態に係るニューラルネットワーク回路を示す図であり、図３は当該ニューラルネットワーク回路の一部等を示す図である。

（Ａ）ニューラルネットワークについて
先ず、上記脳機能をモデル化したニューラルネットワークについて、図１を用いて一般的に説明する。

一般に人の脳の中には、多数のニューロン（神経細胞）が存在しているとされている。脳の中で各ニューロンは、多数の他のニューロンからの電気信号を受信し、また更に他の多数のニューロンへ電気信号を送信している。そして脳は、各ニューロン間のこれら電気信号の流れによって、様々な情報処理を行っているとされている。このとき、各ニューロン間における電気信号の送受信は、シナプスと呼ばれる細胞を介して行われる。そして、脳における上記ニューロン間の電気信号の送受信をモデル化してコンピュータ内に脳機能を実現しようとしたものが、ニューラルネットワークである。

より具体的にニューラルネットワークでは図１に例示するように、外部から入力される複数の入力データＩ₁、入力データＩ₂、…、入力データＩ_n（ｎは自然数。以下同様。）のそれぞれに対する乗算処理、加算処理及び活性化関数の適用処理が、一つのユニットとしてのニューロンＮＲを中心として実行され、その結果をそのニューロンＮＲからの出力データＯとすることで、脳機能における一つのニューロンに対する上記電気信号の送受信をモデル化する。なお以下の説明において、上記活性化関数の適用処理を、単に「活性化処理」と称する。このとき一つのニューロンＮＲについて、複数の入力データＩ₁、入力データＩ₂、…、入力データＩ_nそれぞれに対応して予め設定された（つまり既定の）重み付け係数Ｗ₁、重み付け係数Ｗ₂、…、重み付け係数Ｗ_nを当該入力データＩ₁、入力データＩ₂、…、入力データＩ_nに対してそれぞれ乗算することで上記乗算処理が実行される。その後、各入力データＩ₁、入力データＩ₂、…、入力データＩ_nに対する上記乗算処理の結果のそれぞれを加算する上記加算処理が当該ニューロンＮＲについて実行される。そして次に、上記加算処理の結果に既定の活性化関数Ｆを適用する上記活性化処理が実行され、その結果を上記出力データΟとして他の一又は複数のニューロンにＮＲに出力する。上述した一連の乗算処理、加算処理及び活性化処理を数式で表すと、図１に示す式（１）となる。このとき、重み付け係数Ｗ₁、重み付け係数Ｗ₂、…、重み付け係数Ｗ_nを入力データＩ₁、入力データＩ₂、…、入力データＩ_nにそれぞれ乗算する乗算処理が、ニューロンＮＲ間の上記電気信号のやり取りにおける上記シナプスの作用に相当する。

（Ｂ）第１実施形態に係るニューラルネットワーク回路について
次に、図１に例示するニューロンＮＲを複数備えた第１実施形態に係るニューラルネットワーク回路ＳＳについて、図２を用いて説明する。このニューラルネットワーク回路ＳＳが本発明に係る「学習装置」の一例に相当する。

図２に示すように、図１に例示する一つのニューロンＮＲ（一ユニット）が多数集まってシナプスにより互いに接続されることにより、脳全体がニューラルネットワークＮＷとしてモデル化される。なお以下の説明において、入力データＩ₁乃至入力データＩ_nに共通の事項を説明する場合、単に「入力データＩ」と称する。また同様に、出力データＯ₁乃至出力データＯ_nに共通の事項を説明する場合、単に「出力データＯ」と称する。更に同様に、重み付け係数Ｗ₁乃至重み付け係数Ｗ_nに共通の事項を説明する場合、単に「重み付け係数Ｗ」と称する。

一方第１実施形態に係るニューラルネットワーク回路ＳＳは、上記ニューラルネットワークＮＷに加えて、当該ニューラルネットワークＮＷにおける自己学習機能を制御する自己学習制御部Ｃを備える。第１実施形態に係る自己学習制御部Ｃは、ニューラルネットワークＮＷ全体としての出力データＯをその出力側からニューラルネットワークＮＷに再入力した結果としてその入力側から出力されるデータが元の入力データＩと一致するようにニューラルネットワークＮＷを制御して、ニューラルネットワーク回路ＳＳとしての自己学習機能を実行させる。この自己学習制御部Ｃが本発明に係る「制御手段」の一例に相当する。

次に、第１実施形態に係るニューラルネットワーク回路ＳＳの一部の構成を、アナログ型のニューラルネットワーク回路を用いて具体化した構成について、図３を用いて説明する。なお以下の説明では、図３（ａ）に示す七つのニューロンＮＲにより構成されるニューラルネットワーク回路ＳＳの一部を用いて、第１実施形態に係るアナログ型のニューラルネットワーク回路ＳＳの構成を説明する。また図３では、図２に示した自己学習制御部Ｃの記載を省略している。

このとき図３（ａ）においては、入力データＩ₁乃至入力データＩ₄がそれぞれ入力される入力側のニューロンＮＲ_i1乃至ニューロンＮＲ_i4と、出力データＯ₁乃至出力データＯ₃がそれぞれ出力される出力側のニューロンＮＲ_o1乃至ニューロンＮＲ_o3と、が、それぞれ相互に接続されている。即ち、入力側のニューロンＮＲ_i1は出力側のニューロンＮＲ_o1乃至ニューロンＮＲ_o3の全てに接続されており、入力側のニューロンＮＲ_i2も当該ニューロンＮＲ_o1乃至ニューロンＮＲ_o3の全てに接続されており、入力側のニューロンＮＲ_i3も当該ニューロンＮＲ_o1乃至ニューロンＮＲ_o3の全てに接続されており、入力側のニューロンＮＲ_i4も当該ニューロンＮＲ_o1乃至ニューロンＮＲ_o3の全てに接続されている。なお以下の説明において、ニューロンＮＲ_i1乃至ニューロンＮＲ_i4及びニューロンＮＲ_o1乃至ニューロンＮＲ_o3について共通の事項を説明する場合、単に「ニューロンＮＲ」と称する。そして、図３（ａ）においてニューロンＮＲ_i1乃至ニューロンＮＲ_i4とニューロンＮＲ_o1乃至ニューロンＮＲ_o3との間に示されている矢印が、各ニューロンＮＲ間の上記重み付け係数Ｗに対応している。また、ニューロンＮＲ_i1乃至ニューロンＮＲ_i4が本発明に係る「入力部」の一例に相当し、ニューロンＮＲ_o1乃至ニューロンＮＲ_o3が本発明に係る「出力部」の一例に相当する。

そして図３（ｂ）に示すように、第１実施形態に係るニューラルネットワーク回路ＳＳは、ニューロンＮＲ_i1乃至ニューロンＮＲ_i4にそれぞれ接続され且つ入力データＩ₁乃至入力データＩ₄に対応した正電圧が印加される四本の正電圧線Ｌi1+乃至正電圧線Ｌi4+と、ニューロンＮＲ_i1乃至ニューロンＮＲ_i4にそれぞれ接続されて入力データＩ₁乃至入力データＩ₄のそれぞれに対応した負電圧が印加される四本の負電圧線Ｌi1-乃至負電圧線Ｌi4-と、ニューロンＮＲ_o1乃至ニューロンＮＲ_o3にそれぞれ接続された三本の正電圧線Ｌo1+乃至正電圧線Ｌo3+と、ニューロンＮＲ_o1乃至ニューロンＮＲ_o3にそれぞれ接続された三本の負電圧線Ｌo1-乃至負電圧線Ｌo3-と、を備えている。このとき、正電圧線Ｌi1+乃至正電圧線Ｌi4+と、負電圧線Ｌi1-乃至負電圧線Ｌi4-と、正電圧線Ｌo1+乃至正電圧線Ｌo3+と、負電圧線Ｌo1-乃至負電圧線Ｌo3-と、は、例えばフォトリソグラフィ技術により各々別個の層内に形成されている。

そして図３（ｂ）においては、ニューロンＮＲ_i1とニューロンＮＲ_o1とを接続する接続部ＣＮ１１が正電圧線Ｌi1+、負電圧線Ｌi1-、正電圧線Ｌo1+及び負電圧線Ｌo1-により形成され、ニューロンＮＲ_i1とニューロンＮＲ_o2とを接続する接続部ＣＮ１２が正電圧線Ｌi1+、負電圧線Ｌi1-、正電圧線Ｌo2+及び負電圧線Ｌo2-により形成され、ニューロンＮＲ_i1とニューロンＮＲ_o3とを接続する接続部ＣＮ１３が正電圧線Ｌi1+、負電圧線Ｌi1-、正電圧線Ｌo3+及び負電圧線Ｌo3-により形成される。また、ニューロンＮＲ_i2とニューロンＮＲ_o1とを接続する接続部ＣＮ２１が正電圧線Ｌi2+、負電圧線Ｌi2-、正電圧線Ｌo1+及び負電圧線Ｌo1-により形成され、ニューロンＮＲ_i2とニューロンＮＲ_o2とを接続する接続部ＣＮ２２が正電圧線Ｌi2+、負電圧線Ｌi2-、正電圧線Ｌo2+及び負電圧線Ｌo2-により形成され、ニューロンＮＲ_i2とニューロンＮＲ_o3とを接続する接続部ＣＮ２３が正電圧線Ｌi2+、負電圧線Ｌi2-、正電圧線Ｌo3+及び負電圧線Ｌo3-により形成される。また、ニューロンＮＲ_i3とニューロンＮＲ_o1とを接続する接続部ＣＮ３１が正電圧線Ｌi3+、負電圧線Ｌi3-、正電圧線Ｌo1+及び負電圧線Ｌo1-により形成され、ニューロンＮＲ_i3とニューロンＮＲ_o2とを接続する接続部ＣＮ３２が正電圧線Ｌi3+、負電圧線Ｌi3-、正電圧線Ｌo2+及び負電圧線Ｌo2-により形成され、ニューロンＮＲ_i3とニューロンＮＲ_o3とを接続する接続部ＣＮ３３が正電圧線Ｌi3+、負電圧線Ｌi3-、正電圧線Ｌo3+及び負電圧線Ｌo3-により形成される。更に、ニューロンＮＲ_i4とニューロンＮＲ_o1とを接続する接続部ＣＮ４１が正電圧線Ｌi4+、負電圧線Ｌi4-、正電圧線Ｌo1+及び負電圧線Ｌo1-により形成され、ニューロンＮＲ_i4とニューロンＮＲ_o2とを接続する接続部ＣＮ４２が正電圧線Ｌi4+、負電圧線Ｌi4-、正電圧線Ｌo2+及び負電圧線Ｌo2-により形成され、ニューロンＮＲ_i4とニューロンＮＲ_o3とを接続する接続部ＣＮ４３が正電圧線Ｌi4+、負電圧線Ｌi4-、正電圧線Ｌo3+及び負電圧線Ｌo3-により形成される。なお以下の説明において、上記接続部ＣＮ１１乃至上記接続部ＣＮ１３、上記接続部ＣＮ２１乃至上記接続部ＣＮ２３、上記接続部ＣＮ３１乃至上記接続部ＣＮ３３、及び上記接続部ＣＮ４１乃至上記接続部ＣＮ４３に共通する事項を説明する場合、単に「接続部ＣＮ」と称する。そして、各接続部ＣＮのそれぞれにおいては、正電圧線同士（例えば正電圧線Ｌi1+と正電圧線Ｌo1+。以下、同様。）又は負電圧線同士（例えば負電圧線Ｌi1-と負電圧線Ｌo1-。以下、同様）のいずれか一方のみが、それが対応する上記重み付け係数Ｗにそれぞれ対応する抵抗値の抵抗素子により接続される。

そして図３（ｂ）に示す第１実施形態に係るニューラルネットワーク回路ＳＳでは、各接続部ＣＮに含まれる各電圧線のいずれが上記抵抗素子により接続されるかは、正電圧線同士が接続されている接続部ＣＮ１１等の数と負電圧線同士が接続されている接続部ＣＮ１３等の数とが当該ニューラルネットワーク回路ＳＳ全体について同数となり、更に、正電圧線同士が接続された接続部ＣＮ１１等と、負電圧線同士が接続された接続部ＣＮ１３等が、当該ニューラルネットワーク回路ＳＳ全体について一様乱数的に（即ちランダムに）分布するように、予め決定される。これは、本願の発明者らの研究により、各接続部ＣＮ１１等において正電圧線同士又は負電圧線同士のいずれか一方のみを抵抗素子により接続する場合であっても、正電圧線同士が接続されている接続部ＣＮ１１等の数と負電圧線同士が接続されている接続部ＣＮ１１等の数とがニューラルネットワーク回路ＳＳ全体について同数となり、更に、それらがニューラルネットワーク回路ＳＳ全体について一様乱数的に分布していれば、ニューラルネットワーク回路ＳＳ全体の学習機能及び汎化機能において従来と同様の性能が担保されることが発見されたことによる。ここで上記汎化機能とは、未学習の入力データＩを正しく分類する機能をいう。また、正電圧線同士のみが接続されている接続部ＣＮ１１等が本発明に係る「正専用接続部」の一例に相当し、負電圧線同士のみが接続されている接続部ＣＮ１３等が本発明に係る「負専用接続部」の一例に相当する。

ここで、図３（ｂ）に例示する第１実施形態に係るニューラルネットワーク回路ＳＳでは、接続部ＣＮ１１においては正電圧線Ｌi1+と正電圧線Ｌo1+のみが抵抗素子Ｒ１により接続されており、当該抵抗素子Ｒ１の抵抗値がニューロンＮＲ_i1とニューロンＮＲ_o1とを接続する際の上記正の重み付け係数Ｗに対応している。なお、正電圧線Ｌi1+と正電圧線Ｌo1+との抵抗素子Ｒ１による接続の態様は、具体的には、例えば上記特許文献１の第１図又は第３図に記載されている可変抵抗素子を用いた電圧線の接続態様と基本的に同一である（以下の各接続部ＣＮにおいて同様）。また接続部ＣＮ１２においては正電圧線Ｌi1+と正電圧線Ｌo2+のみが抵抗素子Ｒ５により接続されており、当該抵抗素子Ｒ５の抵抗値がニューロンＮＲ_i1とニューロンＮＲ_o2とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ１３においては負電圧線Ｌi1-と負電圧線Ｌo3-のみが抵抗素子Ｒ９により接続されており、当該抵抗素子Ｒ９の抵抗値がニューロンＮＲ_i1とニューロンＮＲ_o3とを接続する際の上記負の重み付け係数Ｗに対応している。更に、接続部ＣＮ２１においては負電圧線Ｌi2-と負電圧線Ｌo1-のみが抵抗素子Ｒ２により接続されており、当該抵抗素子Ｒ２の抵抗値がニューロンＮＲ_i2とニューロンＮＲ_o1とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ２２においては正電圧線Ｌi2+と正電圧線Ｌo2+のみが抵抗素子Ｒ６により接続されており、当該抵抗素子Ｒ６の抵抗値がニューロンＮＲ_i2とニューロンＮＲ_o2とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ２３においては正電圧線Ｌi2+と正電圧線Ｌo3+のみが抵抗素子Ｒ１０により接続されており、当該抵抗素子Ｒ１０の抵抗値がニューロンＮＲ_i2とニューロンＮＲ_o3とを接続する際の上記正の重み付け係数Ｗに対応している。

更にまた、接続部ＣＮ３１においては正電圧線Ｌi3+と正電圧線Ｌo1+のみが抵抗素子Ｒ３により接続されており、当該抵抗素子Ｒ３の抵抗値がニューロンＮＲ_i3とニューロンＮＲ_o1とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ３２においては負電圧線Ｌi3-と負電圧線Ｌo2-のみが抵抗素子Ｒ７により接続されており、当該抵抗素子Ｒ７の抵抗値がニューロンＮＲ_i3とニューロンＮＲ_o2とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ３３においては正電圧線Ｌi3+と正電圧線Ｌo3+のみが抵抗素子Ｒ１１により接続されており、当該抵抗素子Ｒ１１の抵抗値がニューロンＮＲ_i3とニューロンＮＲ_o3とを接続する際の上記正の重み付け係数Ｗに対応している。更に接続部ＣＮ４１においては負電圧線Ｌi4-と負電圧線Ｌo1-のみが抵抗素子Ｒ４により接続されており、当該抵抗素子Ｒ４の抵抗値がニューロンＮＲ_i4とニューロンＮＲ_o1とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ４２においては負電圧線Ｌi4-と負電圧線Ｌo2-のみが抵抗素子Ｒ８により接続されており、当該抵抗素子Ｒ８の抵抗値がニューロンＮＲ_i4とニューロンＮＲ_o2とを接続する際の上記負の重み付け係数Ｗに対応している。最後に接続部ＣＮ４３においては負電圧線Ｌi4-と負電圧線Ｌo3-のみが抵抗素子Ｒ１２により接続されており、当該抵抗素子Ｒ１２の抵抗値がニューロンＮＲ_i4とニューロンＮＲ_o3とを接続する際の上記負の重み付け係数Ｗに対応している。

以上説明したように、第１実施形態に係るニューラルネットワーク回路ＳＳの構成によれば、入力側のニューロンＮＲ_i1乃至ニューロンＮＲ_i4と、出力側のニューロンＮＲ_o1乃至ニューロンＮＲ_o3と、接続部ＣＮと、自己学習制御部Ｃと、を備え、各制御部ＣＮが、正電圧線同士のみが接続されている接続部ＣＮ１１等と負電圧線同士のみが接続されている接続部ＣＮ１３等により構成されている。よって、ニューラルネットワーク回路ＳＳにおける接続部ＣＮの占有面積を大幅に低減することができる。

また、正電圧線同士のみが接続されている接続部ＣＮ１１等の数と負電圧線同士のみが接続されている接続部ＣＮ１３等の数とが同数であるので、ニューラルネットワーク回路ＳＳとしての学習能力を向上させつつ、接続部ＣＮの占有面積を大幅に低減することができる。

更に、正電圧線同士のみが接続されている接続部ＣＮ１１等及び負電圧線同士のみが接続されている接続部ＣＮ１３等が一様乱数的に分布しているので、従来と同様の学習能力及び汎化能力を共に維持しつつ、接続部ＣＮの占有面積を大幅に低減することができる。

（Ｃ）第１実施形態に係るニューラルネットワーク回路の構成による学習効果等について
次に、本願の発明者らの研究による、第１実施形態に係るニューラルネットワーク回路ＳＳの構成による学習効果等について、以下に（ａ）乃至（ｃ）として説明する。
（ａ）本願の発明者らは、第１実施形態に係るニューラルネットワーク回路ＳＳの構成を用いて、入力側のニューロンＮＲを７８４個とし、出力側のニューロンＮＲを２９３個としたニューラルネットワーク回路ＳＳを含む一層のオードエンコーダを製作し、手書き数字の認識に関する実験を行った。この結果、パターンオーバーラップ（即ち、上記オードエンコーダに学習させた数字パターンの復元率）が約９１％（より具体的には９１．４％（入力側のニューロンＮＲを７８４個とし、出力側のニューロンＮＲを２９３個とし、更に３０パーセントの重み付け係数をパーセプトロン学習則でランダムに更新した場合の値））となり、例えば上記特許文献１に記載されている技術を用いた従来法（９１．１％）と変わらない復元率が得られた。
（ｂ）また本願の発明者らは、第１実施形態に係るニューラルネットワーク回路ＳＳの構成を用いて二次元畳み込みオードエンコーダを製作し、同様の実験を行った。この結果、パターンオーバーラップが約９７％（より具体的には９７．０％（入力側のニューロンＮＲ及び出力側のニューロンＮＲを共に７８４個とし、畳み込みストライドを１とし、更に３０パーセントの重み付け係数をパーセプトロン学習則でランダムに更新した場合の値））となり、従来法（９１．４％）を上回る復元率が得られた。
（ｃ）本願の発明者らは更なる多層化の実験を行い、最終的に三層のバックプロパゲーションアルゴリズムを付加して同様の実験を行ったところ、いずれの総数でもパターンオーバーラップが約９１％以上となり、十分な時間をかけて学習を行えば高機能化が期待できることを確認した。

（II）第２実施形態
次に、本発明に係る他の実施形態である第２実施形態について、図４を用いて説明する。なお、図４は第２実施形態に係るニューラルネットワーク回路を示す図である。また図４において、第１実施形態に係るニューラルネットワーク回路ＳＳと同一の構成部材については、同一の部材番号を付して細部の説明を省略する。

図４に示すように、第２実施形態に係るニューラルネットワーク回路ＳＳ１は、入力側のニューロンＮＲ_i1及びニューロンＮＲ_i3にそれぞれ接続されて入力データＩ₁及び入力データＩ₃に対応した正電圧がそれぞれ印加される正電圧線Ｌi1+及び正電圧線Ｌi3+と、入力側のニューロンＮＲ_i2及びニューロンＮＲ_i4にそれぞれ接続されて入力データＩ₂及び入力データＩ₄のそれぞれに対応した負電圧が印加される負電圧線Ｌi2-及び負電圧線Ｌi4-と、出力側のニューロンＮＲ_o1乃至ニューロンＮＲ_o3にそれぞれ接続された電圧線Ｌo1乃至電圧線Ｌo3と、を備えている。このとき、正電圧線Ｌi1+及び正電圧線Ｌi3+と、負電圧線Ｌi2-及び負電圧線Ｌi4-と、電圧線Ｌo1乃至電圧線Ｌo3と、は、例えば上記フォトリソグラフィ技術により各々別個の層内に形成される。

そして、ニューロンＮＲ_i1とニューロンＮＲ_o1とを接続する接続部ＣＮ１１が正電圧線Ｌi1+と電圧線Ｌo1とにより形成され、ニューロンＮＲ_i1とニューロンＮＲ_o2とを接続する接続部ＣＮ１２が正電圧線Ｌi1+と電圧線Ｌo2とにより形成され、ニューロンＮＲ_i1とニューロンＮＲ_o3とを接続する接続部ＣＮ１３が正電圧線Ｌi1+と電圧線Ｌo3とにより形成される。また、ニューロンＮＲ_i2とニューロンＮＲ_o1とを接続する接続部ＣＮ２１が負電圧線Ｌi2-と電圧線Ｌo1により形成され、ニューロンＮＲ_i2とニューロンＮＲ_o2とを接続する接続部ＣＮ２２が負電圧線Ｌi2-と電圧線Ｌo2により形成され、ニューロンＮＲ_i2とニューロンＮＲ_o3とを接続する接続部ＣＮ２３が負電圧線Ｌi2-と電圧線Ｌo3により形成される。また、ニューロンＮＲ_i3とニューロンＮＲ_o1とを接続する接続部ＣＮ３１が正電圧線Ｌi3+と電圧線Ｌo1により形成され、ニューロンＮＲ_i3とニューロンＮＲ_o2とを接続する接続部ＣＮ３２が正電圧線Ｌi3+と電圧線Ｌo2により形成され、ニューロンＮＲ_i3とニューロンＮＲ_o3とを接続する接続部ＣＮ３３が正電圧線Ｌi3+と電圧線Ｌo3により形成される。更に、ニューロンＮＲ_i4とニューロンＮＲ_o1とを接続する接続部ＣＮ４１が負電圧線Ｌi4-と電圧線Ｌo1により形成され、ニューロンＮＲ_i4とニューロンＮＲ_o2とを接続する接続部ＣＮ４２が負電圧線Ｌi4-と電圧線Ｌo2により形成され、ニューロンＮＲ_i4とニューロンＮＲ_o3とを接続する接続部ＣＮ４３が負電圧線Ｌi4-と電圧線Ｌo3により形成される。そして、各接続部ＣＮのそれぞれにおいては、それぞれを構成する電圧線同士が、各接続部ＣＮとしての上記重み付け係数Ｗにそれぞれ対応した抵抗値の抵抗素子により接続される。

そして図４に示す第２実施形態に係るニューラルネットワーク回路ＳＳ１では、正電圧線Ｌi1+及び正電圧線Ｌi3+と電圧線Ｌo1乃至電圧線Ｌo3とが接続されている接続部ＣＮの数と、負電圧線Ｌi2-及び負電圧線Ｌi4-と電圧線Ｌo1乃至電圧線Ｌo3とが接続されている接続部ＣＮの数と、が当該ニューラルネットワーク回路ＳＳ１全体について同数となり、更に、正電圧線Ｌi1+及び正電圧線Ｌi3+と電圧線Ｌo1乃至電圧線Ｌo3とが接続されている接続部ＣＮと、負電圧線Ｌi2-及び負電圧線Ｌi4-と電圧線Ｌo1乃至電圧線Ｌo3とが接続されている接続部ＣＮと、が、当該ニューラルネットワーク回路ＳＳ１全体について規則的に分布するように、予め決定される。これは、本願の発明者らの研究により、各接続部ＣＮにおいて正電圧線と電圧線Ｌo1等同士、又は負電圧線と電圧線Ｌo1等同士のいずれか一方を抵抗素子により接続する場合であっても、正電圧線等と電圧線Ｌo1等同士が接続されている接続部ＣＮ１１等の数と、負電圧線と電圧線Ｌo1等同士が接続されている接続部ＣＮ２１等の数とがニューラルネットワーク回路ＳＳ１全体について同数となり、更に、それらがニューラルネットワーク回路ＳＳ１全体について規則的に分布していれば、ニューラルネットワーク回路ＳＳ１全体の学習機能においては従来と同様の性能が担保されることが発見されたことによる。

ここで、図４に例示する第２実施形態に係るニューラルネットワーク回路ＳＳ１では、接続部ＣＮ１１においては正電圧線Ｌi1+と電圧線Ｌo1が抵抗素子Ｒ２０により接続されており、当該抵抗素子Ｒ２０の抵抗値がニューロンＮＲ_i1とニューロンＮＲ_o1とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ１２においては正電圧線Ｌi1+と電圧線Ｌo2が抵抗素子Ｒ２４により接続されており、当該抵抗素子Ｒ２４の抵抗値がニューロンＮＲ_i1とニューロンＮＲ_o2とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ１３においては正電圧線Ｌi1+と電圧線Ｌo3が抵抗素子Ｒ２８により接続されており、当該抵抗素子Ｒ２８の抵抗値がニューロンＮＲ_i1とニューロンＮＲ_o3とを接続する際の上記正の重み付け係数Ｗに対応している。更に、接続部ＣＮ２１においては負電圧線Ｌi2-と電圧線Ｌo1が抵抗素子Ｒ２１により接続されており、当該抵抗素子Ｒ２１の抵抗値がニューロンＮＲ_i2とニューロンＮＲ_o1とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ２２においては負電圧線Ｌi2-と電圧線Ｌo2が抵抗素子Ｒ２５により接続されており、当該抵抗素子Ｒ２５の抵抗値がニューロンＮＲ_i2とニューロンＮＲ_o2とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ２３においては負電圧線Ｌi2-と電圧線Ｌo3が抵抗素子Ｒ２９により接続されており、当該抵抗素子Ｒ２９の抵抗値がニューロンＮＲ_i2とニューロンＮＲ_o3とを接続する際の上記負の重み付け係数Ｗに対応している。

更にまた、接続部ＣＮ３１においては正電圧線Ｌi3+と電圧線Ｌo1が抵抗素子Ｒ２２により接続されており、当該抵抗素子Ｒ２２の抵抗値がニューロンＮＲ_i3とニューロンＮＲ_o1とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ３２においては正電圧線Ｌi3+と電圧線Ｌo2が抵抗素子Ｒ２６により接続されており、当該抵抗素子Ｒ２６の抵抗値がニューロンＮＲ_i3とニューロンＮＲ_o2とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ３３においては正電圧線Ｌi3+と電圧線Ｌo3が抵抗素子Ｒ３０により接続されており、当該抵抗素子Ｒ３０の抵抗値がニューロンＮＲ_i3とニューロンＮＲ_o3とを接続する際の上記正の重み付け係数Ｗに対応している。更に接続部ＣＮ４１においては負電圧線Ｌi4-と電圧線Ｌo1が抵抗素子Ｒ２３により接続されており、当該抵抗素子Ｒ２３の抵抗値がニューロンＮＲ_i4とニューロンＮＲ_o1とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ４２においては負電圧線Ｌi4-と電圧線Ｌo2が抵抗素子Ｒ２７により接続されており、当該抵抗素子Ｒ２７の抵抗値がニューロンＮＲ_i4とニューロンＮＲ_o2とを接続する際の上記負の重み付け係数Ｗに対応している。最後に接続部ＣＮ４３においては負電圧線Ｌi4-と電圧線Ｌo3が抵抗素子Ｒ３１により接続されており、当該抵抗素子Ｒ３１の抵抗値がニューロンＮＲ_i4とニューロンＮＲ_o3とを接続する際の上記負の重み付け係数Ｗに対応している。

以上説明したように、第２実施形態に係るニューラルネットワーク回路ＳＳ１の構成によれば、入力側のニューロンＮＲ_i1乃至ニューロンＮＲ_i4と、出力側のニューロンＮＲ_o1乃至ニューロンＮＲ_o3と、接続部ＣＮと、自己学習制御部Ｃと、を備え、各制御部ＣＮが、正電圧線が接続されている接続部ＣＮ１１等と負電圧線が接続されている接続部ＣＮ２１等により構成されている。よって、ニューラルネットワーク回路ＳＳ１における接続部ＣＮの占有面積を大幅に低減することができる。

また、正電圧線が接続されている接続部ＣＮ１１等の数と負電圧線が接続されている接続部ＣＮ２１等の数とが同数であるので、ニューラルネットワーク回路ＳＳ１としての学習能力を向上させつつ、接続部ＣＮの占有面積を大幅に低減することができる。

更に、正電圧線が接続されている接続部ＣＮ１１等及び負電圧線が接続されている接続部ＣＮ２１等が規則的に分布しているので、従来と同様の学習能力を維持しつつ、接続部ＣＮの占有面積を大幅に低減することができる。

以上それぞれ説明したように、本発明はニューラルネットワーク回路の分野に利用することが可能であり、特に当該ニューラルネットワーク回路を含む学習装置の分野に適用すれば特に顕著な効果が得られる。

Ｃ 自己学習制御部
ＳＳ、ＳＳ１ ニューラルネットワーク回路
Ｉ₁、Ｉ₂、Ｉ_n 入力データ
ＮＲ、ＮＲ_i1、ＮＲ_i2、ＮＲ_i3、ＮＲ_i4、ＮＲo₁、ＮＲo₂、ＮＲo₃ ニューロン
Ｗ₁、Ｗ₂、Ｗ_n 重み付け係数
Ｏ、Ｏ₁、Ｏ₂、Ｏ₃ 出力データ
ＮＷ ニューラルネットワーク
Ｌi1+、Ｌi2+、Ｌi3+、Ｌi4+、Ｌo1+、Ｌo2+、Ｌo3+ 正電圧線
Ｌi1-、Ｌi2-、Ｌi3-、Ｌi4-、Ｌo1-、Ｌo2-、Ｌo3- 負電圧線
Ｌo1、Ｌo2、Ｌo3 電圧線
ＣＮ１１、ＣＮ１２、ＣＮ１３、ＣＮ２１、ＣＮ２２、ＣＮ２３、ＣＮ３１、ＣＮ３２、ＣＮ３３、ＣＮ４１、ＣＮ４２、ＣＮ４３ 接続部
Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９、Ｒ１０、Ｒ１１、Ｒ１２、Ｒ２０、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ２５、Ｒ２６、Ｒ２７、Ｒ２８、Ｒ２９、Ｒ３０、Ｒ３１ 抵抗素子

Claims (4)

1. 脳機能に対応したアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置において、
   前記ニューラルネットワーク回路は、
   入力データに相当する入力信号がそれぞれ入力される複数（ｎ個）の入力部と、
   出力データに相当する出力信号がそれぞれ入力される複数（ｍ個且つｎ＝ｍの場合を含む）の出力部と、
   一の前記入力部と一の前記出力部とをそれぞれ接続する（ｎ×ｍ）個の接続部と、
   により構成されており、
   前記自己学習の機能は、前記出力データを前記出力部から前記重み符号固定学習装置に再入力した結果として前記入力部から出力されるデータが元の前記入力データと一致するように学習させる機能であり、
   （ｎ×ｍ）個の前記接続部は、前記脳機能としての正の重み付け係数に対応した抵抗値の抵抗素子である正重み付け抵抗素子により一の前記入力部と一の前記出力部が接続されており且つ当該脳機能としての負の重み付け係数に対応した抵抗値の抵抗素子である負重み付け抵抗素子を含まない前記接続部である正専用接続部と、前記負重み付け抵抗素子により一の前記入力部と一の前記出力部が接続されており且つ前記正重み付け抵抗素子を含まない前記接続部である負専用接続部と、により構成されていることを特徴とする重み符号固定学習装置。
2. 請求項１に記載の重み符号固定学習装置において、
   前記正専用接続部と前記負専用接続部とが同数であることを特徴とする重み符号固定学習装置。
3. 請求項１又は２に記載の重み符号固定学習装置において、
   前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において一様乱数的に分布していることを特徴とする重み符号固定学習装置。
4. 請求項１又は請求項２に記載の重み符号固定学習装置において、
   前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において規則的に分布していることを特徴とする重み符号固定学習装置。

Images