JP5034041B2

JP5034041B2 - Data generation circuit and data generation method

Info

Publication number: JP5034041B2
Application number: JP2006198797A
Authority: JP
Inventors: 烈山川; 権田向
Original assignee: Kyushu Institute of Technology NUC
Current assignee: Kyushu Institute of Technology NUC
Priority date: 2006-07-20
Filing date: 2006-07-20
Publication date: 2012-09-26
Anticipated expiration: 2026-07-20
Also published as: JP2008027176A

Description

本発明はデータ生成回路及びデータ生成方法に関し、特に、入力データ及び出力データのペアとその評価値を用いた学習により抽出されたルールのうち、入力データに適合する１又は複数のルールを用いて、該入力データに応じた出力データを生成するデータ生成回路及びデータ生成方法に関する。 The present invention relates to a data generation circuit and a data generation method, and in particular, using one or a plurality of rules that match input data among rules extracted by learning using a pair of input data and output data and their evaluation values. The present invention relates to a data generation circuit and a data generation method for generating output data corresponding to the input data.

データを用いて学習を行う装置及び入力データから出力データを生成する装置は数多く提案されているが、中でも、下記非特許文献１及び特許文献１に開示された自己組織化関係ネットワークは、入力データ及び出力データのペアとその評価値から制御対象を安定に制御するルール（入出力関係）を学習により抽出するとともに、抽出したルールのうち、入力データに適合する１又は複数を選出して、それらを用いて入力データに応じた出力データを生成するものであって、好ましい（評価の高い）入出力関係を学習により容易に獲得でき、活用できることから非常に優位性が高い。
山川烈・堀尾恵一，「自己組織化関係ネットワーク」，電子情報通信学会論文誌，社団法人電子情報通信学会，１９９９年８月１日，ｖｏｌ．Ｅ８２−Ａ，Ｎｏ．８，ｐｐ．１６７４−１６７８特開２０００−１２２９９１号公報 Many devices that perform learning using data and devices that generate output data from input data have been proposed. Among them, the self-organization relational networks disclosed in Non-Patent Document 1 and Patent Document 1 described below are input data. In addition, a rule (input / output relationship) that stably controls the control target is extracted from the pair of output data and its evaluation value by learning, and one or more of the extracted rules that match the input data are selected, and these are selected. Is used to generate output data according to the input data, and a favorable (highly evaluated) input / output relationship can be easily acquired and utilized by learning, which is very advantageous.
Retsu Yamakawa and Keiichi Horio, “Self-Organization Relation Network”, IEICE Transactions, The Institute of Electronics, Information and Communication Engineers, August 1, 1999, vol. E82-A, no. 8, pp. 1674-1678 JP 2000-122991 A

しかしながら、上記自己組織化関係ネットワークは、プログラムにより実現されるものであって、実現にはパーソナルコンピュータを要するので装置の規模が大きいという問題がある。さらに、自己組織化関係ネットワークは学習やデータ生成に膨大な時間を要するという問題がある。特に、入力データに適合する１又は複数のルールを選出する際に、入力データと各ルール（入力データとそれに応じた好ましい出力データのペア）との類似度を演算することになるが、この類似度を演算するためには、通常ルックアップテーブルが必要であり、その実装面積が膨大であるという問題がある。また、入力データから出力データを生成する際に用いる重み付き平均は、類似度と各ルールに対応する出力データとの乗算を伴うため、その演算量が膨大となるという問題がある。 However, the above self-organization related network is realized by a program and requires a personal computer for the realization, so there is a problem that the scale of the apparatus is large. Furthermore, the self-organization related network has a problem that it takes enormous time for learning and data generation. In particular, when selecting one or more rules that match the input data, the similarity between the input data and each rule (a pair of input data and a preferred output data corresponding thereto) is calculated. In order to calculate the degree, a lookup table is usually required, and there is a problem that the mounting area is enormous. In addition, since the weighted average used when generating output data from input data involves multiplication of the similarity and the output data corresponding to each rule, there is a problem that the amount of calculation becomes enormous.

本発明は上記課題に鑑みてなされたものであって、その目的は、自己組織化関係ネットワークをコンパクト且つ高速に実現するためのデータ生成回路及びデータ生成方法を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a data generation circuit and a data generation method for realizing a self-organization related network in a compact and high-speed manner.

上記課題を解決するために、本発明に係るデータ生成回路は、入力データ及び出力データのペアを複数記憶する記憶手段と、前記記憶手段に記憶される前記複数の入力データ及び出力データのペアのうち少なくとも一部について、それらペアに係る入力データと所与の入力データとの各距離に応じた回数だけ、それらペアに係る出力データをそれぞれ右にビットシフトさせる第１のビットシフト手段と、前記第１のビットシフト手段からの出力データの加算値に基づいて、前記所与の入力データに応じた出力データを生成する重み付平均演算手段と、を含むことを特徴とする。 In order to solve the above problems, a data generation circuit according to the present invention includes a storage unit that stores a plurality of pairs of input data and output data, and a plurality of pairs of the input data and output data that are stored in the storage unit. First bit shift means for bit-shifting the output data related to the pair to the right by the number of times corresponding to the distance between the input data related to the pair and the given input data, at least a part of the pair; Weighted average calculating means for generating output data corresponding to the given input data based on an added value of the output data from the first bit shift means.

本発明では、第１のビットシフト手段により、記憶手段に記憶される入力データと前記所与の入力データとの距離が大きいほど、該入力データに対応する出力データが小さくなる。すなわち、記憶手段に記憶される入力データと前記所与の入力データとの距離に応じた回数をｓとすると、出力データｕは、ｕ×２^−ｓとなる。そして、こうしてビットシフトされた出力データを加算することにより、記憶手段に記憶される出力データの重み付平均が得られ、これが前記所与の入力データに応じた出力データとして利用される。本発明によると、ビットシフトという演算量の少ないディジタルデータ処理により、記憶手段により記憶される出力データの重み付平均を得ることができ、自己組織化関係ネットワークをコンパクト且つ高速に実現することができるようになる。 In the present invention, as the distance between the input data stored in the storage means and the given input data is larger by the first bit shift means, the output data corresponding to the input data becomes smaller. That is, when the number of times corresponding to the distance between the input data stored in the storage means and the given input data is s, the output data u is u × 2- ^s . Then, by adding the bit-shifted output data in this manner, a weighted average of the output data stored in the storage means is obtained, and this is used as output data according to the given input data. According to the present invention, a weighted average of output data stored in the storage means can be obtained by digital data processing with a small amount of calculation called bit shift, and a self-organizing relation network can be realized compactly and at high speed. It becomes like this.

本発明の一態様では、前記少なくとも一部の入力データ及び出力データのペアについて、それらペアに係る入力データと前記所与の入力データとの各距離に応じた回数だけ、１を右にビットシフトさせる第２のビットシフト手段をさらに含み、前記重み付き平均演算手段は、前記第１のビットシフト手段からの出力データの加算値及び前記第２のビットシフト手段からの出力データの加算値に基づいて、前記所与の入力データに応じた出力データを生成する。この態様によれば、第２のビットシフト手段からの出力値の加算値で、第１のビットシフト手段からの出力値の加算値を除算することにより、重み係数を正規化することができる。 In one aspect of the present invention, for at least some of the input data and output data pairs, 1 is bit-shifted to the right by the number of times corresponding to each distance between the input data related to the pairs and the given input data. A second bit shift means for causing the weighted average calculation means to be based on an addition value of output data from the first bit shift means and an addition value of output data from the second bit shift means. Thus, output data corresponding to the given input data is generated. According to this aspect, the weighting factor can be normalized by dividing the added value of the output value from the first bit shift means by the added value of the output value from the second bit shift means.

また、本発明の一態様では、前記記憶手段に記憶される前記複数の入力データ及び出力データのペアのそれぞれについて、該ペアに係る入力データと前記所与の入力データとの距離を算出するとともに、算出される距離の上位所定数ビットがすべて零であるか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記少なくとも一部の入力データ及び出力データのペアを選出するセレクタ手段と、をさらに含む。算出される距離の上位所定数ビットがすべて零であるか否かは、記憶手段に記憶される各入力データが前記所与の入力データから所定距離内にあるか否かに対応しており、例えばＮＯＲ（否定論理和演算）回路により容易に判定することができる。この態様によると、前記所与の入力データから所定距離内にある入力データに係るペアだけを重み付平均演算の対象とすることができ、処理をさらに簡略化することができる。 In one aspect of the present invention, for each of the plurality of input data and output data pairs stored in the storage means, the distance between the input data related to the pair and the given input data is calculated. Determining means for determining whether or not the upper predetermined number bits of the calculated distance are all zero, and selecting at least a part of the input data and output data based on the determination result of the determination means And selector means. Whether or not the upper predetermined number bits of the calculated distance are all zero corresponds to whether each input data stored in the storage means is within a predetermined distance from the given input data, For example, it can be easily determined by a NOR (Negative OR operation) circuit. According to this aspect, only a pair related to input data within a predetermined distance from the given input data can be targeted for weighted average calculation, and the processing can be further simplified.

また、本発明の一態様では、学習用の入力データ及び出力データのペア及び該ペアに対する評価値に基づいて、前記記憶手段に記憶される前記複数の入力データ及び出力データのペアを生成する学習手段をさらに含む。こうすれば、学習手段により、好ましい入力データ及び出力データのペアを記憶手段に記憶させることができる。 In one embodiment of the present invention, learning that generates a plurality of pairs of input data and output data stored in the storage means based on a pair of learning input data and output data and an evaluation value for the pair. Means are further included. If it carries out like this, the pair of preferable input data and output data can be memorize | stored in a memory | storage means by a learning means.

また、本発明の一態様では、前記第１のビットシフト手段は、前記記憶手段に記憶される前記入力データ及び出力データのペアと同数のビットシフト回路を含み、各ビットシフト回路は、該ビットシフト回路に対応する前記入力データ及び出力データのペアについて、該ペアに係る入力データと前記所与のデータとの距離に応じた回数だけ、該ペアに係る出力データを右にビットシフトさせる。こうすれば、各ペアに関するビットシフト演算を並列して実行することが可能となり、自己組織化関係ネットワークをさらに高速に実現できる。 Also, in one aspect of the present invention, the first bit shift means includes the same number of bit shift circuits as pairs of the input data and output data stored in the storage means, and each bit shift circuit includes the bit shift circuit. For the pair of input data and output data corresponding to the shift circuit, the output data related to the pair is bit-shifted to the right by the number of times corresponding to the distance between the input data related to the pair and the given data. In this way, it is possible to execute bit shift operations for each pair in parallel, and a self-organizing relation network can be realized at higher speed.

また、本発明に係るデータ生成方法は、記憶手段に記憶される複数の入力データ及び出力データのペアのうち少なくとも一部について、それらペアに係る入力データと所与の入力データとの各距離に応じた回数だけ、それらペアに係る出力データをそれぞれ右にビットシフトさせるステップと、ビットシフト済みの出力データの加算値に基づいて、前記所与の入力データに応じた出力データを生成するステップと、を含むことを特徴とする。 In addition, the data generation method according to the present invention includes, for at least some of a plurality of pairs of input data and output data stored in the storage means, at each distance between input data related to the pair and given input data. A step of bit-shifting the output data related to the pairs to the right by the number of times, and a step of generating output data corresponding to the given input data based on the sum of the bit-shifted output data, , Including.

本発明によると、ビットシフトという演算量の少ないディジタルデータ処理により、記憶手段により記憶される出力データの重み付平均を得ることができ、自己組織化関係ネットワークをコンパクト且つ高速に実現することができるようになる。 According to the present invention, a weighted average of output data stored in the storage means can be obtained by digital data processing with a small amount of calculation called bit shift, and a self-organizing relation network can be realized compactly and at high speed. It becomes like this.

以下、本発明の一実施形態について図面に基づき詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図１は、本発明の一実施形態に係る自己組織化関係ネットワークを示す図である。同図に示すように、自己組織化関係ネットワークは、それぞれｎ個、ｍ個、Ｎ個のユニットが配置された入力層、出力層及び競合層の３層からなるネットワークである。図１では競合層ユニットは競合層上に１次元に配置されているが、２次元の正方格子状、六角格子状、３次元の球状などに配置されてもよい。入力層には入力ベクトル（入力データ）ｘ、出力層には出力ベクトル（出力データ）ｙが関連付けられている。入力層、出力層と競合層は結合重みベクトルｖ_ｊ＝（ｗ_ｊ，ｕ_ｊ）で全結合されている。この結合重みベクトルは、好ましい入力ベクトル及び出力ベクトルのペアを示しており、ｗ_ｊ（以下、「入力部結合重みベクトル」という。）が入力ベクトル、ｕ_ｊ（以下、「出力部結合重みベクトル」という。）が出力ベクトルに対応している。 FIG. 1 is a diagram illustrating a self-organizing relationship network according to an embodiment of the present invention. As shown in the figure, the self-organization relation network is a network composed of three layers of an input layer, an output layer, and a competition layer in which n, m, and N units are arranged. In FIG. 1, the competitive layer units are arranged one-dimensionally on the competitive layer, but may be arranged in a two-dimensional square lattice, a hexagonal lattice, a three-dimensional sphere, or the like. An input vector (input data) x is associated with the input layer, and an output vector (output data) y is associated with the output layer. The input layer, the output layer, and the competitive layer are fully coupled with a coupling weight vector v _j = (w _j , u _j ). This coupling weight vector indicates a preferable pair of an input vector and an output vector, and w _j (hereinafter referred to as “input unit coupling weight vector”) is an input vector, and u _j (hereinafter, “output unit coupling weight vector”). Corresponds to the output vector.

図２は、上記自己組織化関係ネットワークに関連付けられた学習機能付データ生成回路１０のデジタルハードウェアアーキテクチャを示す図である。同図に示すように、自己組織化関係ネットワークのデジタルハードウェアアーキテクチャは、競合層の各ユニットに対応する複数のローカル回路１１と、勝者決定回路１２、重み付き平均演算回路１３、コントローラ１４を含んで構成されている。これらは自己組織化関係ネットワークのデジタルハードウェアアーキテクチャを記述したプログラムを公知のコンパイラを用いて論理回路の組み合わせに変換し、これを公知のField Programmable Gate Array（FPGA）やApplication Specific Integrated Circuit（ASIC）、論理回路ＩＣなどを用いて実装することで実現される。学習機能付データ生成回路１０は、学習モード又は実行モードで動作するものである。 FIG. 2 is a diagram showing a digital hardware architecture of the learning function-added data generation circuit 10 associated with the self-organization relation network. As shown in the figure, the digital hardware architecture of the self-organizing relationship network includes a plurality of local circuits 11 corresponding to each unit of the competitive layer, a winner determination circuit 12, a weighted average arithmetic circuit 13, and a controller 14. It consists of These convert a program that describes the digital hardware architecture of a self-organizing network into a combination of logic circuits using a known compiler, which is converted into a known Field Programmable Gate Array (FPGA) or Application Specific Integrated Circuit (ASIC). This is realized by mounting using a logic circuit IC or the like. The learning function-added data generation circuit 10 operates in a learning mode or an execution mode.

図３は、ローカル回路１１のデジタルハードウェアアーキテクチャを示す図である。同図に示すようにローカル回路１１は、メモリ２１、距離演算回路２２、メンバシップ関数生成回路２３、ビットシフト回路２４，２６、セレクタ回路２５を含んで構成されている。メモリ２１は、結合重みベクトルｖ_ｊを保存する。また、距離演算回路２２は、学習モードにおいて入力ベクトル及び出力ベクトルのペアと結合重みベクトルｖ_ｊとの間の距離を演算する。また、実行モードにおいて入力ベクトルと入力部結合重みベクトルｗ_ｊとの距離を演算する。メンバシップ関数生成回路２３は、距離演算回路２２から出力される距離信号ｄに対して右ビットシフト操作を施して、その結果であるビットシフト回数ｓを出力する。さらに、ビットシフト回数ｓの上位所定数ビットに対するＮＯＲ（否定論理和演算）の結果であるアクティブフラグ（ｆｌａｇ）を出力する。 FIG. 3 is a diagram showing a digital hardware architecture of the local circuit 11. As shown in the figure, the local circuit 11 includes a memory 21, a distance calculation circuit 22, a membership function generation circuit 23, bit shift circuits 24 and 26, and a selector circuit 25. The memory 21 stores the connection weight vector v _j . The distance calculation circuit 22 calculates the distance between the pair of the input vector and output vector and the coupling weight vector v _j in the learning mode. In the execution mode, the distance between the input vector and the input unit coupling weight vector w _j is calculated. The membership function generation circuit 23 performs a right bit shift operation on the distance signal d output from the distance calculation circuit 22 and outputs a bit shift count s as a result. Further, an active flag (flag) that is a result of NOR (negative OR operation) on the upper predetermined number of bits of the number of bit shifts s is output.

ビットシフト回路２６は、固定のディジタル値“１”に対してビットシフト回数ｓだけ右ビットシフト操作を施し、これにより入力ベクトルとメモリ２１に記憶された結合重みベクトルｖ_ｊの成分ｕ_ｊに関する重み係数ｚを生成する。また、ビットシフト回路２４は、メモリ２１から読み出される出力部結合重みベクトルｕ_ｊに対してビットシフト回数ｓだけ右ビットシフト操作を施し、これにより入力ベクトルとメモリ２１に記憶された入力部結合重みベクトルｗ_ｊに関するファジィ類似度（重み係数）ｚに、メモリ２１に記憶された出力部結合重みベクトルｕ_ｊに乗じた値ｚｕ_ｊを生成する。セレクタ回路２５は、メンバシップ関数生成回路２３から出力されるアクティブフラグが１の場合、すなわち入力ベクトルとメモリ２１に記憶された入力部結合重みベクトルｗ_ｊとの距離ｄが所定距離内である場合は、ビットシフト回路２６及びビットシフト回路２４から出力されるｚ及びｚｕを重み付平均演算回路１３に供給する。また、アクティブフラグが０の場合は、ｚ及びｚｕを重み付平均演算回路１３に供給せず、他のローカル回路１１にデータ出力順を明け渡す。 The bit shift circuit 26 performs a right bit shift operation on the fixed digital value “1” by the number of bit shifts s, whereby the weight related to the input vector and the component u _j of the combined weight vector v _j stored in the memory 21. A coefficient z is generated. In addition, the bit shift circuit 24 performs a right bit shift operation on the output unit coupling weight vector u _j read from the memory 21 by the bit shift count s, whereby the input unit and the input unit coupling weight stored in the memory 21 are obtained. A value zu _j is generated by multiplying the fuzzy similarity (weighting coefficient) z related to the vector w _j by the output unit connection weight vector u _j stored in the memory 21. In the selector circuit 25, when the active flag output from the membership function generation circuit 23 is 1, that is, when the distance d between the input vector and the input unit coupling weight vector w _j stored in the memory 21 is within a predetermined distance. Supplies z and zu output from the bit shift circuit 26 and the bit shift circuit 24 to the weighted average arithmetic circuit 13. When the active flag is 0, z and zu are not supplied to the weighted average arithmetic circuit 13 and the data output order is handed over to the other local circuits 11.

なお、本実施形態では、結合重みベクトルｖ_ｊを保存するためのメモリ２１を各ローカル回路１１内に分散的に配置しているが、ローカル回路１１の外部に集中配置する形態や、各ローカル回路１１の外部に個別に配置する形態をとってもよい。 In the present embodiment, the memories 21 for storing the connection weight vectors v _j are distributed in each local circuit 11. However, the memory 21 is arranged in a concentrated manner outside the local circuit 11, or each local circuit. 11 may be arranged individually outside of 11.

まず、学習機能付データ生成回路１０の学習モードにおける動作について説明する。図４は、学習モードにおける動作フロー図である。同図に示すように、学習モードでは、まず、ローカル回路１１のメモリ２１に格納された結合重みベクトルを初期化（Ｓ１００）する。次に、入力信号が回路外部から入力される。学習モードの入力信号は、入力ベクトル及び出力ベクトルのペア及びその評価値で、これを学習ベクトルとする。入力信号は全てのローカル回路１１に同時に入力され、これにより学習ベクトルの提示となる（Ｓ１０１）。学習ベクトルが提示されると、各ローカル回路１１は学習ベクトルとメモリ２１に格納された結合重みベクトルｖ_ｊ間の距離を、距離演算回路２２を用いて演算する。用いる尺度は距離の性質を満たしていれば、例えばマンハッタン距離やマハラノビス距離など、どのようなものでもよい。 First, the operation in the learning mode of the learning function-added data generation circuit 10 will be described. FIG. 4 is an operation flowchart in the learning mode. As shown in the figure, in the learning mode, first, the connection weight vector stored in the memory 21 of the local circuit 11 is initialized (S100). Next, an input signal is input from the outside of the circuit. An input signal in the learning mode is a pair of an input vector and an output vector and an evaluation value thereof, and this is used as a learning vector. The input signal is simultaneously input to all the local circuits 11, thereby presenting a learning vector (S101). When the learning vector is presented, each local circuit 11 calculates the distance between the learning vector and the combined weight vector v _j stored in the memory 21 using the distance calculation circuit 22. As long as the scale used satisfies the property of distance, any scale such as Manhattan distance or Mahalanobis distance may be used.

次に、次式（１）に基づき、演算された距離の中から最も小さな値を持つローカル回路を、勝者決定回路１２を用いて勝者ユニットとして決定する（Ｓ１０２）。ここで、ｉはローカル回路を順序付ける番号、ｃは勝者ユニットの番号、Ｉは学習ベクトル、ｖ_ｉはｉ番目のローカル回路１１に関連付けられた結合重みベクトル、ｔは現在時刻を表すものである。勝者ユニットの番号は制御信号としてコントローラ１４に伝えられ、コントローラ１４は勝者ユニットの番号及び競合層ユニットの配置の定義に基づき、近傍ユニット（競合層において勝者ユニットの近傍に配置されたユニット）を決定する。 Next, based on the following equation (1), the local circuit having the smallest value among the calculated distances is determined as a winner unit using the winner determination circuit 12 (S102). Here, i is representative of the number ordering local circuit, c is the number of the winner unit, I is learning vector, v _i is the coupling weight vector associated with the i-th local circuit 11, t is the current time . The number of the winner unit is transmitted to the controller 14 as a control signal, and the controller 14 determines a neighboring unit (a unit arranged near the winner unit in the competitive layer) based on the definition of the winner unit number and the arrangement of the competitive layer unit. To do.

その後、勝者ユニット及び近傍ユニットに関連付けられたローカル回路１１のメモリ２１を次式（２）に従って更新する（Ｓ１０３）。ここで、αは正の評価値（肯定的評価）の場合における学習係数、βは負の評価値（否定的評価）の場合における学習係数、Ｅは評価値である。このとき、学習係数α、β及び評価値Ｅを２のべき乗で記述すれば、式（２）における乗算は全てビットシフトで演算可能であり、ハードウェアをコンパクト化することができ、また演算時間を削減できる。もちろん、これらを２のべき乗に限定せずに乗算器を用いて式（２）を実現してもよい。また、なお、負の評価値に対して、更新式による結合重みベクトルｖ_ｉの更新を行った際に、更新後の値があらかじめ定義しておいた値域を超える場合、オーバーフローを防ぐために値域の最大もしくは最小値を取るように学習量を制限する。 Thereafter, the memory 21 of the local circuit 11 associated with the winner unit and the neighboring unit is updated according to the following equation (2) (S103). Here, α is a learning coefficient in the case of a positive evaluation value (positive evaluation), β is a learning coefficient in the case of a negative evaluation value (negative evaluation), and E is an evaluation value. At this time, if the learning coefficients α and β and the evaluation value E are described as powers of 2, all the multiplications in the equation (2) can be performed by bit shift, the hardware can be made compact, and the computation time can be reduced. Can be reduced. Of course, these may not be limited to powers of 2, and the expression (2) may be realized using a multiplier. Further still, for negative evaluation value, when performing the updating of the connection weight vectors v _i by updating expressions exceed the range of values of the updated pre-defined, the range to prevent overflow Limit the amount of learning to take the maximum or minimum value.

学習ベクトルが提示される間、もしくは規定回数が終了するまで同様の手順を繰り返す（Ｓ１０１〜Ｓ１０３）。以上の操作によって、学習回路及びデータ生成回路１０は、学習用の入力データ‐出力データ対とその評価値からルール（好ましい入力データ−出力データ対）を抽出し、これを各ローカル回路１１のメモリ２１に獲得する。 The same procedure is repeated while the learning vector is presented or until the specified number of times is completed (S101 to S103). Through the above operation, the learning circuit and the data generation circuit 10 extract the rule (preferred input data-output data pair) from the learning input data-output data pair and its evaluation value, and this is extracted into the memory of each local circuit 11. Get 21.

こうしてメモリ２１に格納されたルールは、必要に応じて回路外部に読み出すことができる。図５は、ルール読み出し処理を示すフロー図である。同図に示すように、外部からローカル回路１１のアドレスを指定すると（Ｓ２００）、ｗｉｒｅｄ−ｏｒもしくはＯＲ論理回路で結合されている、図２に示される結合重みベクトル信号の信号線を通り、指定されたローカル回路１１の結合重みベクトルの内容を出力する（Ｓ２０１）。以上の操作によって、学習機能付データ生成回路１０は、学習モードで抽出されたルールを回路外部へ取り出す。 Thus, the rules stored in the memory 21 can be read out of the circuit as needed. FIG. 5 is a flowchart showing the rule reading process. As shown in the figure, when the address of the local circuit 11 is designated from the outside (S200), the designation is made through the signal line of the coupling weight vector signal shown in FIG. 2 coupled by a wired-or or OR logic circuit. The contents of the connection weight vector of the local circuit 11 thus output are output (S201). Through the above operation, the learning function-added data generation circuit 10 takes out the rules extracted in the learning mode to the outside of the circuit.

次に、学習機能付データ生成回路１０の実行モードにおける動作を説明する。図６は、実行モードにおける動作フロー図である。同図に示すように、実行モードでは、実行用の入力データを入力ベクトルｘとして提示すると（Ｓ３００）、入力ベクトルｘと、全てのローカル回路１１のメモリ２１に格納されている入力部結合重みベクトルｗ_ｉとの間の距離ｄ_ｉを、距離演算回路２２にて、次式（３）を用いて演算する（Ｓ３０１）。 Next, the operation in the execution mode of the learning function-added data generation circuit 10 will be described. FIG. 6 is an operation flowchart in the execution mode. As shown in the figure, in the execution mode, when the input data for execution is presented as the input vector x (S300), the input vector x and the input unit coupling weight vector stored in the memories 21 of all the local circuits 11 are displayed. The distance d _i between w _i is calculated by the distance calculation circuit 22 using the following equation (3) (S301).

距離ｄ_ｉを示す距離信号はメンバシップ関数生成回路２３へと入力され、次式（４）を用いてファジィ類似度ｚが算出される（Ｓ３０２）。 The distance signal indicating the distance d _i is input to the membership function generation circuit 23, and the fuzzy similarity z is calculated using the following equation (4) (S302).

図７は、メンバシップ関数生成回路２３のデジタルハードウェアアーキテクチャを示す図である。同図に示すように、メンバシップ関数生成回路２３は、メモリ３１、ビットシフト回路３２、ＮＯＲゲート３３を含んで構成される。 FIG. 7 is a diagram showing a digital hardware architecture of the membership function generation circuit 23. As shown in the figure, the membership function generation circuit 23 includes a memory 31, a bit shift circuit 32, and a NOR gate 33.

ｓ_ｉはｉ番目のローカル回路１１で算出される上述したビットシフト回数であり、次式（５）で与えられる。ｒはメンバシップ関数の幅を表すパラメタ、ａは演算精度（ビット）を表すパラメタ、ｒ−ｌｏｇ_２ａはビットシフト回数（符号３４）である。幅の広いメンバシップ関数が必要な場合は大きなｒを、幅の狭いメンバシップ関数が必要な場合、小さなｒを設定することで、様々なメンバシップ関数を生成することが出来る。例えばｒ＝４、ａ＝８の場合、メンバシップ関数の幅は１６となり、ｓ_ｉはｄ_ｉを右に１ビットシフトすることで算出することが出来る。ビットシフト回路３２は、距離演算回路２２で得られた距離信号に対して、メモリ３１に格納されたビットシフト回数（ｒ−ｌｏｇ_２ａ）だけ、右ビットシフト操作を行うことでビットシフト回数ｓ_ｉを算出する。 s _i is the above-described number of bit shifts calculated by the i-th local circuit 11, and is given by the following equation (5). r is a parameter representing the width of the membership function, a is a parameter representing the calculation accuracy (bit), and r-log ₂ a is the number of bit shifts (reference numeral 34). Various membership functions can be generated by setting a large r when a wide membership function is required and setting a small r when a narrow membership function is required. For example, when r = 4 and a = 8, the width of the membership function is 16, and s _i can be calculated by shifting d _i to the right by 1 bit. The bit shift circuit 32 performs the right bit shift operation on the distance signal obtained by the distance calculation circuit 22 by the number of bit shifts (r-log ₂ a) stored in the memory 31, thereby performing the bit shift number s. _i is calculated.

図８は、式（４）及び式（５）で生成されるメンバシップ関数の形状の一例（ｒ＝３，ａ＝８の場合）である。メンバシップ関数の出力値であるファジィ類似度ｚが２のべき乗である点が特徴的であり、これによりファジィ類似度ｚを出力部結合重みベクトルｕ_ｊに乗算する演算を、出力ベクトルｕ_ｊをビットシフト回数ｓ_ｉだけ右ビットシフト操作する演算により代替することが可能となる。この結果、ハードウェアをコンパクトにし、かつ演算を高速化することが可能となる。 FIG. 8 shows an example of the shape of the membership function generated by the equations (4) and (5) (when r = 3 and a = 8). A characteristic is that the fuzzy similarity z that is an output value of the membership function is a power of 2, and thus, an operation for multiplying the output unit connection weight vector u _j by the fuzzy similarity z is performed as an output vector u _j . It is possible to substitute the calculation by performing a right bit shift operation by the number of bit shifts s _i . As a result, it is possible to make the hardware compact and to speed up the calculation.

式（４）のｆｌａｇは、アクティブユニットかどうかを示すものである。ｆｌａｇ＝１の場合はアクティブユニットとする。また、０の場合はアクティブユニットではないと判断され、その類似度を０とする。ｆｌａｇの値はメンバシップ関数生成回路２３においてビットシフト回路３２から出力されるビットシフト回数ｓの上位所定数のビットをＮＯＲゲート３３に入力することで得られる。具体的には、距離ｄ_ｉを格納するためのレジスタのビット数をＤとすると、ｓ_ｉの上位Ｄ−ｌｏｇ_２ａビットをＮＯＲゲート３３に入力する。アクティブユニットの場合、ＮＯＲゲート３３の入力３５は全て０になるので、出力として１が得られる。ＮＯＲゲート３３の入力３５に１が１つでも含まれる場合、出力として０が得られる。これは、メンバシップ関数の幅の外（図７の場合はｓ＞８）に入力があるということを意味し、非アクティブなユニットであると判断される。本実施形態では、以上のように、ＮＯＲゲート３３を用いてアクティブユニットの判定を行う点が特徴的である。なお、ｓ_ｉの下位ｌｏｇ_２ａビットはメンバシップ関数生成回路３０から出力される。 The flag in equation (4) indicates whether it is an active unit. When flag = 1, it is an active unit. In the case of 0, it is determined that the unit is not an active unit, and its similarity is set to 0. The value of the flag is obtained by inputting a predetermined number of bits higher than the number of bit shifts s output from the bit shift circuit 32 in the membership function generation circuit 23 to the NOR gate 33. Specifically, assuming that the number of bits of the register for storing the distance d _i is D, the upper D-log ₂ a bits of s _i are input to the NOR gate 33. In the case of an active unit, the inputs 35 of the NOR gate 33 are all 0, so 1 is obtained as an output. When even one 1 is included in the input 35 of the NOR gate 33, 0 is obtained as an output. This means that there is an input outside the width of the membership function (s> 8 in the case of FIG. 7), and it is determined that the unit is an inactive unit. As described above, the present embodiment is characterized in that the active unit is determined using the NOR gate 33. Note that the lower log ₂ a bits of s _i are output from the membership function generation circuit 30.

図３に示すように、ファジィ類似度ｚと結合重みベクトルの出力部ｕとの積ｚｕは、ビットシフト回路２４により演算される。式（４）で、ｚが２の‐ｓ_ｉ乗で表現されているため、ｚｕは、ｕをビットシフト回数ｓ_ｉだけ右ビットシフト操作することで得ることが出来る。したがって、回路規模の大きい乗算器の代わりにビットシフト回路を用いることが出来るため、コンパクトなハードウェア化が可能となる。また、メンバシップ関数生成回路２３から出力されるビットシフト回数ｓ_ｉはビットシフト回路２６にも入力され、ビットシフト回路２６では、ディジタル値１を右にｓ_ｉビットシフトすることでファジィ類似度ｚを演算する。 As shown in FIG. 3, the product zu of the fuzzy similarity z and the output unit u of the coupling weight vector is calculated by the bit shift circuit 24. In Expression (4), since z is expressed as 2 to the power of −s _i , zu can be obtained by performing a right bit shift operation on u by the number of bit shifts s _i . Therefore, since a bit shift circuit can be used instead of a multiplier having a large circuit scale, compact hardware can be realized. The bit shift frequency s _i output from the membership function generation circuit 23 is also input to the bit shift circuit 26, and the bit shift circuit 26 shifts the digital value 1 to the right by s _i bits, thereby fuzzy similarity z. Is calculated.

コントローラ１４は、１番目のローカル回路１１から順に、ｚ及びｚｕの出力命令を送る。命令を受けたローカル回路１１は、セレクタ回路２５にてｆｌａｇの有無を確認し、ｆｌａｇがある場合はｚ及びｚｕを出力し、出力したという信号をコントローラ１４へ返す。ｆｌａｇが無い場合、出力の権利を次のローカル回路１１へ移す。出力の権利を受け取ったローカル回路１１は、出力の命令を受け取ったローカル回路１１と同様の動作を行う。重み付き平均回路１３へ向かうｚ及びｚｕの信号線はｗｉｒｅｄ−ｏｒもしくはＯＲゲートにて接続されている。これにより、出力を行ったローカル回路１１のｚ及びｚｕのみが重み付き平均演算回路１３へ送られる。 The controller 14 sends z and zu output commands in order from the first local circuit 11. Upon receiving the instruction, the local circuit 11 confirms the presence or absence of the flag by the selector circuit 25, outputs z and zu if there is a flag, and returns a signal that it has been output to the controller 14. If there is no flag, the right of output is transferred to the next local circuit 11. The local circuit 11 that has received the output right performs the same operation as the local circuit 11 that has received the output command. The z and zu signal lines toward the weighted average circuit 13 are connected by a wired-or or OR gate. As a result, only z and zu of the local circuit 11 that performed the output are sent to the weighted average arithmetic circuit 13.

図９は、重み付き平均演算回路１３のデジタルハードウェアアーキテクチャを示す図である。同図のように、重み付き平均演算回路１３は、加算器４１、加算器４２、除算器４３を含んで構成される。重み付き平均演算回路１３を用いて、次式（６）により出力信号を生成する（Ｓ３０３）。すなわち、加算器４２により各ローカル回路１１から出力されるファジィ類似度ｚ（重み係数として用いられる。）の合計値Σｚが計算され、加算器４１により各ローカル回路１１から出力される出力結合重みベクトルに重み係数を乗じた値ｚｕの合計値Σｚｕが計算される。そして、除算器４３では、ΣｚｕをΣｚで割った値が算出され、これが出力される。 FIG. 9 is a diagram showing a digital hardware architecture of the weighted average arithmetic circuit 13. As shown in the figure, the weighted average arithmetic circuit 13 includes an adder 41, an adder 42, and a divider 43. Using the weighted average arithmetic circuit 13, an output signal is generated by the following equation (6) (S303). That is, the sum value Σz of the fuzzy similarity z (used as a weighting factor) output from each local circuit 11 is calculated by the adder 42, and the output coupling weight vector output from each local circuit 11 by the adder 41. A total value Σzu of values zu obtained by multiplying by a weight coefficient is calculated. Then, the divider 43 calculates a value obtained by dividing Σzu by Σz, and outputs this value.

式（６）は、アクティブユニットのみを用いて重み付き平均演算を行うことを意味する。
すなわち、同式（６）において、Ｃはアクティブユニットの集合を示しており、非アクティブユニットをスキップし、アクティブユニットのみで、重み付き平均演算を行う点が特徴的である。通常、競合層ユニットの数に比べ、アクティブユニットの数は非常に少ない。したがって、従来の自己組織化関係ネットワークではＮ回の積和演算が必要であったのに対し、本実施形態によりＣ回の積和演算で重み付き平均が実現できるので、大幅な演算量削減が可能となる。 Equation (6) means that a weighted average operation is performed using only active units.
That is, in the equation (6), C represents a set of active units, and is characterized in that a weighted average calculation is performed only with active units by skipping inactive units. Usually, the number of active units is very small compared to the number of competitive layer units. Accordingly, in the conventional self-organization relational network, N times of product-sum operations are required, but according to the present embodiment, weighted average can be realized by C times of product-sum operations, so that the computation amount can be greatly reduced. It becomes possible.

以上の操作によって、学習機能付データ生成回路１０は、入力信号から出力信号を生成する。 Through the above operation, the learning function-added data generation circuit 10 generates an output signal from the input signal.

以上の学習機能付データ生成回路１０によれば、自己組織化マップに関する学習及びデータ生成を高速かつコンパクトに実現可能であり、例えば、ロボットビジョンの処理などのような高速性とデバイスの小型化が要求される応用の実現が可能となる。 According to the data generation circuit 10 with a learning function described above, learning and data generation regarding a self-organizing map can be realized at high speed and compactly. For example, high speed such as robot vision processing and downsizing of a device can be achieved. The required application can be realized.

本発明の実施形態に係る学習機能付データ生成回路によりシミュレートされる自己組織化関係ネットワークを示す概念図である。It is a conceptual diagram which shows the self-organization relation network simulated by the data generation circuit with a learning function which concerns on embodiment of this invention. 本発明の実施形態に係る学習機能付データ生成回路のデジタルハードウェアアーキテクチャを示す図である。It is a figure which shows the digital hardware architecture of the data generation circuit with a learning function which concerns on embodiment of this invention. ローカル回路のデジタルハードウェアアーキテクチャを示す図である。It is a figure which shows the digital hardware architecture of a local circuit. 本発明の実施形態に係る学習機能付データ生成回路の学習モードにおける動作フロー図である。It is an operation | movement flowchart in the learning mode of the data generation circuit with a learning function which concerns on embodiment of this invention. 本発明の実施形態に係る学習機能付データ生成回路のルール取り出し処理を示すフロー図である。It is a flowchart which shows the rule extraction process of the data generation circuit with a learning function which concerns on embodiment of this invention. 本発明の実施形態に係る学習機能付データ生成回路の実行モードにおける動作フロー図である。It is an operation | movement flowchart in the execution mode of the data generation circuit with a learning function which concerns on embodiment of this invention. メンバシップ関数生成回路のデジタルハードウェアアーキテクチャを示す図である。It is a figure which shows the digital hardware architecture of a membership function generation circuit. メンバシップ関数生成回路にて得られるメンバシップ関数の形状を示す図である。It is a figure which shows the shape of the membership function obtained in a membership function generation circuit. 重み付き平均演算回路のデジタルハードウェアアーキテクチャを示す図である。It is a figure which shows the digital hardware architecture of a weighted average arithmetic circuit.

Explanation of symbols

１０学習機能付データ生成回路、１１ローカル回路、１２勝者決定回路、１３重み付き平均演算回路、１４コントローラ、２１メモリ、２２距離演算回路、２３メンバシップ関数生成回路、２４，２６ビットシフト回路、２５セレクタ回路、３１メモリ、３２ビットシフト回路、３３ＮＯＲゲート、４１，４２加算器、４３除算器。 DESCRIPTION OF SYMBOLS 10 Data generation circuit with learning function, 11 Local circuit, 12 Winner determination circuit, 13 Weighted average calculation circuit, 14 Controller, 21 Memory, 22 Distance calculation circuit, 23 Membership function generation circuit, 24, 26 Bit shift circuit, 25 Selector circuit, 31 memory, 32-bit shift circuit, 33 NOR gate, 41, 42 adder, 43 divider.

Claims

Storage means for storing a plurality of pairs of input data and output data;
For at least a part of the plurality of input data and output data pairs stored in the storage means, each distance between the input data related to the pairs and the given input data is bit-shifted to the right by a predetermined number of times. First bit shift means for bit-shifting the output data associated with each pair to the right by the number of times obtained ;
For at least some of the pairs of input data and output data, 1 is set to the right by the number of times obtained by bit shifting the distance between the input data related to the pair and the given input data to the right by a predetermined number of times. Second bit shift means for bit shifting;
A weight for generating output data corresponding to the given input data by dividing the added value of the output data from the first bit shift means by the added value of the output data from the second bit shift means An average calculation means;
A data generation circuit comprising:

The data generation circuit according to claim 1 ,
For each of the plurality of pairs of input data and output data stored in the storage means, the distance between the input data related to the pair and the given input data is calculated, and the upper predetermined number of calculated distances Determining means for determining whether or not all bits are zero;
Selector means for selecting a pair of at least some of the input data and output data based on the determination result of the determination means;
A data generation circuit further comprising:

The data generation circuit according to claim 1 or 2 ,
Learning means for generating a plurality of pairs of input data and output data stored in the storage means based on a pair of learning input data and output data and an evaluation value for the pair;
A data generation circuit characterized by the above.

The data generation circuit according to any one of claims 1 to 3 ,
The first bit shift means includes the same number of bit shift circuits as the number of pairs of input data and output data stored in the storage means, and each bit shift circuit includes the input data and the bit data corresponding to the bit shift circuit. For the output data pair, the output data related to the pair is bit-shifted to the right by the number of times corresponding to the distance between the input data related to the pair and the given data.
A data generation circuit characterized by the above.

Obtained by bit-shifting each distance between the input data related to the pair and the given input data to the right by a predetermined number of times for at least some of the plurality of pairs of input data and output data stored in the storage means A step of bit-shifting the output data related to these pairs to the right by the number of times,
For at least some of the pairs of input data and output data, 1 is set to the right by the number of times obtained by bit shifting the distance between the input data related to the pair and the given input data to the right by a predetermined number of times. A bit shift step;
Generating output data according to the given input data by dividing the sum of the bit-shifted output data by the bit-shifted sum of 1 ;
A data generation method comprising: