JP5011529B2 - Data processing apparatus, data processing method, and program - Google Patents

Data processing apparatus, data processing method, and program Download PDF

Info

Publication number
JP5011529B2
JP5011529B2 JP2006298308A JP2006298308A JP5011529B2 JP 5011529 B2 JP5011529 B2 JP 5011529B2 JP 2006298308 A JP2006298308 A JP 2006298308A JP 2006298308 A JP2006298308 A JP 2006298308A JP 5011529 B2 JP5011529 B2 JP 5011529B2
Authority
JP
Japan
Prior art keywords
reference vector
vector
learning
distance
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006298308A
Other languages
Japanese (ja)
Other versions
JP2008117090A (en
Inventor
烈 山川
崇了 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
Original Assignee
Kyushu Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC filed Critical Kyushu Institute of Technology NUC
Priority to JP2006298308A priority Critical patent/JP5011529B2/en
Publication of JP2008117090A publication Critical patent/JP2008117090A/en
Application granted granted Critical
Publication of JP5011529B2 publication Critical patent/JP5011529B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明はデータ処理装置、データ処理方法及びプログラムに関し、特に学習ベクトルに従って所期のベクトル集合を構築するデータ処理装置、データ処理方法及びプログラムに関する。   The present invention relates to a data processing device, a data processing method, and a program, and more particularly, to a data processing device, a data processing method, and a program for constructing an intended vector set according to learning vectors.

下記特許文献1には自己組織化関係(Self-Organizing Relationship: SOR)ネットワークが開示されている。この自己組織化関係ネットワークは、所定数のニューロンモデルが配置された競合層を備えるもので、肯定的な評価を有する学習ベクトルが入力されると、一部又は全部のニューロンモデルの参照ベクトルが当該学習ベクトルに接近し、逆に否定的な評価を有する学習ベクトルが入力されると、一部又は全部のニューロンモデルの参照ベクトルが当該学習ベクトルから離間するものである。同技術によると、例えば入力データ及び出力データのペアからなる学習ベクトルを、そのペアに対する評価とともに自己組織化関係ネットワークに順次入力することにより、望ましい入出力データ対の集合を参照ベクトル群として構築することなどが可能となる。   Patent Document 1 below discloses a self-organizing relationship (SOR) network. This self-organizing relationship network includes a competitive layer in which a predetermined number of neuron models are arranged. When a learning vector having a positive evaluation is input, the reference vectors of some or all of the neuron models are When a learning vector that approaches the learning vector and has a negative evaluation is inputted, the reference vectors of some or all of the neuron models are separated from the learning vector. According to the technology, for example, a learning vector composed of a pair of input data and output data is sequentially input to a self-organization relation network together with evaluation of the pair, thereby constructing a set of desirable input / output data pairs as a reference vector group. It becomes possible.

しかしながら、上記自己組織化関係ネットワークによると、競合層に配置されるニューロンモデルの数、すなわち参照ベクトルの数は固定であり、入力される学習ベクトルの集合によっては、望ましいデータ集合を参照ベクトル群として適切に構築することが困難な場合がある。   However, according to the self-organization relationship network, the number of neuron models arranged in the competitive layer, that is, the number of reference vectors is fixed, and depending on the set of input learning vectors, a desired data set may be used as a reference vector group. It can be difficult to build properly.

この点、下記非特許文献1に記載されたESOM(Evolving Self-Organizing Map)によると、入力される学習ベクトルによって参照ベクトルの数を増やすことができる。すなわちESOMによると、学習ベクトルが入力されると、その学習ベクトルに近い参照ベクトルが既に存在すれば、従来と同様、該参照ベクトル及びその近傍の参照ベクトルを学習ベクトルに従って更新し、一方、そのような参照ベクトルが存在しなければ、学習ベクトルに一致する参照ベクトルをESOMに新たに追加する。こうして、参照ベクトルの数を必要に応じて増加させ、望ましいデータ集合を好適に構築できるようネットワークを変化させている。
特開2000−122991号公報 「ESOMによるオンラインパターン解析(On-linepattern analysis by evolving self-organizing maps)」,ダ・デン(Da Deng)及びニコラ・カザボフ(NikolaKasabov),ニューロコンピューティング,Vol.51,87−103頁,2003年
In this regard, according to the ESOM (Evolving Self-Organizing Map) described in Non-Patent Document 1 below, the number of reference vectors can be increased by an input learning vector. That is, according to the ESOM, when a learning vector is input, if a reference vector close to the learning vector already exists, the reference vector and the reference vector in the vicinity thereof are updated according to the learning vector as in the prior art. If no reference vector exists, a reference vector that matches the learning vector is newly added to the ESOM. In this way, the number of reference vectors is increased as necessary, and the network is changed so that a desirable data set can be suitably constructed.
JP 2000-122991 A “On-line pattern analysis by evolving self-organizing maps”, Da Deng and Nikola Kasabov, Neurocomputing, Vol. 51, 87-103, 2003

しかしながら、上記非特許文献1には、参照ベクトルの数を減少させる手法について具体的開示が無く、したがって、学習ベクトルに含まれる入力データと出力データとの関係が時間経過により変化した場合など、学習ベクトルの性質が変化した場合であっても、過去の学習ベクトルに基づいて更新された参照ベクトルがそのまま残ってしまうという問題がある。このためESOMによると、参照ベクトル群が現在の学習ベクトルを踏まえた望ましいデータ集合と必ずしも一致しないという不具合を招く。   However, Non-Patent Document 1 does not specifically disclose a method for reducing the number of reference vectors, and therefore learning is performed when the relationship between input data and output data included in a learning vector changes over time. There is a problem that even if the property of the vector changes, the reference vector updated based on the past learning vector remains as it is. Therefore, according to ESOM, there is a problem that the reference vector group does not always coincide with a desired data set based on the current learning vector.

本発明は上記背景に鑑みてなされたものであって、その目的は、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるデータ処理装置、データ処理方法及びプログラムを提供することにある。   The present invention has been made in view of the above background, and the object thereof is to suitably re-use an intended vector set as a reference vector group even when the properties of sequentially input learning vectors change over time. An object of the present invention is to provide a data processing apparatus, a data processing method, and a program that can be constructed.

上記課題を解決するために、本発明に係るデータ処理装置は、1以上の参照ベクトルを記憶する参照ベクトル記憶手段と、順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段と、前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段と、前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段と、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段と、前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段と、を含むことを特徴とする。   In order to solve the above problems, a data processing apparatus according to the present invention includes a reference vector storage unit that stores one or more reference vectors, a learning vector that is sequentially input, and each of the references that is stored in the reference vector storage unit A distance calculating means for calculating a distance to the vector; and a reference vector determined based on the learning vector when the minimum distance calculated by the distance calculating means is larger than a predetermined value in the reference vector storage means. Reference vector adding means for additionally storing, and at least a part of the one or more reference vectors stored in the reference vector storage means when the minimum value of the distance calculated by the distance calculating means is less than or equal to a predetermined value Reference vector updating means for making the learning vector approach or separate according to the evaluation of the learning vector, The activity level is stored in association with each reference vector stored in the reference vector storage means, and the activity level is updated based on the distance between the reference vector and the learning vector and the evaluation of the learning vector. And storing and updating means, and reference vector deleting means for deleting each reference vector from the reference vector storage means in accordance with the degree of activity associated with each reference vector.

また、本発明に係るデータ処理方法は、順次入力される学習ベクトルと、1以上の参照ベクトルを記憶する参照ベクトル記憶手段に記憶される前記各参照ベクトルと、の距離を算出する距離算出ステップと、前記距離算出ステップで算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加ステップと、前記距離算出ステップで算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新ステップと、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、該参照ベクトルの活性度を更新する活性度更新ステップと、前記各参照ベクトルの活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除ステップと、を含むことを特徴とする。   The data processing method according to the present invention includes a distance calculating step of calculating a distance between a learning vector that is sequentially input and each of the reference vectors stored in a reference vector storage unit that stores one or more reference vectors. A reference vector adding step for adding and storing a reference vector determined based on the learning vector in the reference vector storage means when a minimum value of the distance calculated in the distance calculating step is larger than a predetermined value; When the minimum value of the distance calculated in the distance calculating step is less than or equal to a predetermined value, at least a part of the one or more reference vectors stored in the reference vector storage unit is set to the learning vector. A reference vector update step for approaching or separating the reference vector according to the evaluation of the reference vector, and stored in the reference vector storage means Based on the distance between each reference vector and the learning vector and the evaluation with respect to the learning vector, an activity update step for updating the activity of the reference vector, and depending on the activity of each reference vector, each reference And a reference vector deleting step of deleting the vector from the reference vector storage means.

また、本発明に係るプログラムは、1以上の参照ベクトルを記憶する参照ベクトル記憶手段、順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段、前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段、前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段、及び前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段としてコンピュータを機能させるためのプログラムである。このプログラムは、CD−ROMやDVD−ROMなどのコンピュータ読取可能な情報記憶媒体に格納されてよい。   Further, the program according to the present invention includes a reference vector storage unit that stores one or more reference vectors, a distance calculation that calculates a distance between a sequentially input learning vector and each of the reference vectors stored in the reference vector storage unit. Means for adding a reference vector determined on the basis of the learning vector to the reference vector storage means when the minimum distance calculated by the distance calculation means is larger than a predetermined value; When the minimum distance calculated by the distance calculation means is less than or equal to a predetermined value, at least a part of the one or more reference vectors stored in the reference vector storage means is set to the learning vector with respect to the learning vector. Reference vector update means for making them approach or separate in accordance with the evaluation for, stored in the reference vector storage means An activity level is stored in association with each reference vector, and an activity level update unit for updating the activity level based on a distance between the reference vector and the learning vector and an evaluation of the learning vector, and each reference A program for causing a computer to function as reference vector deleting means for deleting each reference vector from the reference vector storage means in accordance with the degree of activity associated with a vector. This program may be stored in a computer-readable information storage medium such as a CD-ROM or a DVD-ROM.

本発明によると、各参照ベクトルに関連づけて活性度を記憶しておく。この活性度は、順次入力される学習ベクトルとの距離及びその学習ベクトルに対する評価に基づいて更新される。例えば、活性度記憶更新手段は、前記参照ベクトルと前記学習ベクトルとの距離が近いほど、前記活性度を大きく変化させてよい。また、活性度記憶更新手段は、前記学習ベクトルに対する評価が肯定的である場合には前記活性度を増加させ、否定的である場合には前記活性度を減少させてよい。本発明では、こうして記憶・更新される活性度に応じて参照ベクトル記憶手段から参照ベクトルを削除するので、現在入力されている学習ベクトルの性質に基づくものではない参照ベクトルが参照ベクトル記憶手段に記憶され続けるという不具合を防止することができる。したがって、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるようになる。   According to the present invention, the activity is stored in association with each reference vector. The degree of activity is updated based on the distance from the learning vector that is sequentially input and the evaluation of the learning vector. For example, the activity storage update unit may change the activity greatly as the distance between the reference vector and the learning vector is shorter. The activity storage update means may increase the activity when the evaluation with respect to the learning vector is positive, and decrease the activity when the evaluation is negative. In the present invention, since the reference vector is deleted from the reference vector storage means according to the activity stored / updated in this way, a reference vector that is not based on the property of the currently input learning vector is stored in the reference vector storage means. It is possible to prevent the problem of being continued. Therefore, even if the properties of the learning vectors input sequentially change with time, the intended vector set can be suitably reconstructed as a reference vector group.

なお、前記参照ベクトル追加手段は、前記距離算出手段により算出される距離の最小値が前記所定値より大きく、且つ前記学習ベクトルに対する評価が所定以上のものである場合に、前記参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させるようにしてよい。   The reference vector adding means refers to the reference vector when the minimum distance calculated by the distance calculating means is larger than the predetermined value and the evaluation with respect to the learning vector is not less than a predetermined value. You may make it add and memorize | store in a vector memory | storage means.

また、前記参照ベクトル記憶手段に記憶される前記参照ベクトルの各対に関連づけて、該対の結合強度を記憶するとともに、該対のそれぞれと前記学習ベクトルとの距離に応じて該結合強度を更新する結合強度記憶更新手段をさらに含んでよい。このとき、結合強度記憶更新手段は、前記各対のそれぞれと前記学習ベクトルとの距離に加えて、さらに前記学習ベクトルに対する評価に応じて前記結合強度を更新してよい。   Further, the coupling strength of the pair is stored in association with each pair of the reference vectors stored in the reference vector storage means, and the coupling strength is updated according to the distance between each of the pair and the learning vector. Further, it is possible to further include a bond strength memory updating means. At this time, in addition to the distance between each of the pairs and the learning vector, the connection strength storage updating unit may further update the connection strength according to the evaluation with respect to the learning vector.

この場合、前記参照ベクトル更新手段は、前記最小値に係る前記参照ベクトルと、前記結合強度に基づいて判断される該参照ベクトルの近傍の参照ベクトルと、を前記学習ベクトルに対して近接させ又は離間させてよい。また、前記参照ベクトル削除手段は、前記参照ベクトルを前記参照ベクトル記憶手段から削除する場合に、該参照ベクトルに係る前記結合強度を併せて削除してよい。   In this case, the reference vector update means makes the reference vector related to the minimum value and a reference vector in the vicinity of the reference vector determined based on the coupling strength close to or separated from the learning vector. You may let me. The reference vector deleting unit may also delete the joint strength associated with the reference vector when deleting the reference vector from the reference vector storage unit.

以下、本発明の一実施形態について図面に基づいて詳細に説明する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

本実施形態に係るデータ処理装置は、公知のコンピュータシステムを中心に構成されたものであり、概念的には、改良された自己組織化関係ネットワークをコンピュータ上で実現するものである。すなわち、本データ処理装置では、1以上の任意数のユニット(ニューロンモデル)が配置される競合層を備えたニューラルネットワークに対し、学習モードにおいて、多数の学習ベクトルを順次入力して、該学習ベクトルの内容を各ユニットの参照ベクトルに反映させる学習処理を実行する。このとき、本実施形態では、学習ベクトル及び参照ベクトルが、入力データの成分及び出力データの成分を有しており、学習ベクトルは、その入力データ及び出力データのペアの評価値とともにニューラルネットワークに入力される。そして、肯定的評価の学習ベクトル、すなわち正の評価値の入力データ及び出力データのペアが入力されると、一部又は全部のユニットの参照ベクトルが該学習ベクトルに接近する。逆に、否定的評価の学習ベクトル、すなわち負の評価値の入力データ及び出力データのペアが入力されると、一部又は全部のユニットの参照ベクトルが該学習ベクトルから離間する。   The data processing apparatus according to the present embodiment is configured around a known computer system, and conceptually implements an improved self-organization relation network on a computer. That is, in this data processing apparatus, in a learning mode, a large number of learning vectors are sequentially input to a neural network having a competitive layer in which an arbitrary number of one or more units (neuron models) are arranged. The learning process for reflecting the contents of the above in the reference vector of each unit is executed. At this time, in this embodiment, the learning vector and the reference vector have an input data component and an output data component, and the learning vector is input to the neural network together with the evaluation value of the input data and output data pair. Is done. When a learning vector for positive evaluation, that is, a pair of input data and output data having a positive evaluation value, is input, reference vectors of some or all of the units approach the learning vector. Conversely, when a learning vector for negative evaluation, that is, a pair of input data and output data having a negative evaluation value, is input, the reference vectors of some or all units are separated from the learning vector.

また、実行モードにおいては、ニューラルネットワークに対して入力データのみが入力され、この入力データと各参照ベクトルの入力データの成分との類似度(例えば距離(ユークリッド距離など)の減少関数)が算出され、この類似度を用いて各参照ベクトルの出力データの成分を重み付き加算することにより出力データを算出している。   In the execution mode, only the input data is input to the neural network, and the similarity (for example, a decreasing function of the distance (Euclidean distance)) between the input data and the input data component of each reference vector is calculated. The output data is calculated by weighted addition of the components of the output data of each reference vector using this similarity.

制御システムに適用する例を挙げれば、入力データは制御対象に関する制御誤差(制御量とその目標値との差)のデータであり、出力データは操作対象に関する操作量のデータであり、評価値は、当該制御誤差の場合に当該操作量を操作対象に適用した場合における制御の良好さを示す値(例えば制御量が収束したか否かを示す値)である。このようにすれば、学習モードでは、参照ベクトル群として、好ましい制御を実現するための制御誤差及び操作量のペア群が獲得されることとなる。また、実行モードでは、任意の制御誤差のデータを入力することで、好ましい制御を実現するための操作量のデータが出力されることとなる。こうして、本実施形態によると、対象システムの好ましい入出力関係を試行錯誤により獲得し、その後、入力データを与えることでそれに対応する好ましい出力データを出力することができる。   In an example applied to a control system, input data is data of a control error (a difference between a controlled variable and its target value) related to a controlled object, output data is data of a manipulated variable related to an operated object, and an evaluation value is In the case of the control error, the value indicates the good control when the operation amount is applied to the operation target (for example, a value indicating whether or not the control amount has converged). In this way, in the learning mode, a control error and manipulated variable pair group for realizing preferable control is acquired as the reference vector group. In the execution mode, by inputting data of an arbitrary control error, operation amount data for realizing preferable control is output. Thus, according to the present embodiment, a preferable input / output relationship of the target system can be obtained by trial and error, and then, by providing input data, it is possible to output preferable output data corresponding thereto.

本データ処理装置は、上記のように自己組織化関係ネットワークをベースとした情報処理を行うものであるが、次の点が特徴的である。すなわち、本データ処理装置は、好ましい入出力関係が変化し、それにより学習データの性質が変化した場合において、競合層上のユニットを追加したり、削除したりする機能を備えている。これにより、好ましい入出力関係が変化した場合であっても、適切にそれを参照ベクトル群として獲得することができる。   This data processing apparatus performs information processing based on the self-organization relation network as described above, and has the following features. That is, this data processing apparatus has a function of adding or deleting a unit on the competitive layer when the preferable input / output relationship changes and the nature of the learning data changes accordingly. Thereby, even if the preferable input / output relationship changes, it can be appropriately acquired as a reference vector group.

さらに、ユニット間の結合の強さ、すなわち結合強度を管理しており、学習モードにおいて、所定値(例えば零)より大きな強度で結ばれるユニットをまとめて更新するようにしている。また、実行モードにおいては、所定値以上の強さで直接又は間接に結ばれるユニットの各部分集合について、入力データと該部分集合に属する各参照ベクトルの入力データの成分との類似度を算出し、この類似度を用いて各参照ベクトルの出力データの成分を重み付き加算することにより出力データを算出している。これにより、入力データに対して好ましい出力データが複数存在する場合であっても、それらを出力することができる。   Further, the strength of coupling between units, that is, the coupling strength is managed, and in the learning mode, the units coupled with a strength larger than a predetermined value (for example, zero) are collectively updated. In the execution mode, for each subset of units that are connected directly or indirectly with a strength of a predetermined value or more, the similarity between the input data and the component of the input data of each reference vector belonging to the subset is calculated. The output data is calculated by weighted addition of the components of the output data of each reference vector using this similarity. Thereby, even when there are a plurality of preferable output data for the input data, they can be output.

図1乃至図3は、本データ処理装置の処理を概念的に示している。これらの図には入力データuの軸及び出力データvの軸を有する参照ベクトル空間が示されており、白丸は参照ベクトルを示しており、破線は零よりも大きい値の結合強度のリンクがユニット間に存在することを示している。また、黒丸は学習ベクトルを示している。学習ベクトルxは、次式(1)に示されるように入力データp及び出力データqを成分とする2次元ベクトルであり、参照ベクトルwは、次式(2)に示されるように入力データu及び出力データvを成分とする2次元ベクトルである。ここでは、初期状態として競合層にN個のユニットが配置され、参照ベクトルwも当初N個存在するものとする。 1 to 3 conceptually show the processing of the data processing apparatus. In these figures, a reference vector space having an axis of input data u and an axis of output data v is shown, a white circle indicates a reference vector, and a broken line indicates a link having a coupling strength value greater than zero. It shows that it exists in between. Black circles indicate learning vectors. The learning vector x is a two-dimensional vector having input data p and output data q as components as shown in the following equation (1), and the reference vector w i is input data as shown in the following equation (2). It is a two-dimensional vector having u i and output data v i as components. Here, it is assumed that N units are arranged in the competitive layer as an initial state, and N reference vectors w i initially exist.

Figure 0005011529
Figure 0005011529

図1に示すように、既に存在する参照ベクトルwから所定距離(受容野半径)ε以内の位置に学習ベクトルxaが入力されると、当該参照ベクトルw及びそのユニットと零よりも大きい値の結合強度で直接結合しているユニットの参照ベクトルw,wが、学習ベクトルxaに近づくように更新される。また、既に存在する参照ベクトルw乃至wから所定距離εより離れた位置に学習ベクトルxbが入力されると、当該学習ベクトルxbの位置に新たに参照ベクトル(不図示)が追加される。 As shown in FIG. 1, when a learning vector xa is input at a position within a predetermined distance (receptive field radius) ε from a reference vector w 1 that already exists, the reference vector w 1 and its unit and a value greater than zero. The reference vectors w 2 and w 3 of the units directly coupled with the coupling strength of are updated so as to approach the learning vector xa. Further, when the learning vector xb is input at a position away from the existing reference vectors w 1 to w 6 by a predetermined distance ε, a reference vector (not shown) is newly added at the position of the learning vector xb.

すなわち、本データ処理装置では、学習ベクトルxが入力されると、次式(3)を満足する参照ベクトルwが既に存在するか否かを調べている。 That is, in this data processing apparatus, when the learning vector x is input, it is checked whether or not the reference vector w i satisfying the following expression (3) already exists.

Figure 0005011529
Figure 0005011529

そして、そのような参照ベクトルwが存在する場合には、次式(4)乃至(7)に従って、参照ベクトルw及びそのユニットと零よりも大きい値の結合強度で直接結合しているユニットの参照ベクトルを更新する。なお、現在入力されている学習ベクトルに対して最も近い参照ベクトルと、次に近い参照ベクトル(第2最近傍の参照ベクトル)との間にリンクが存在しない場合には、リンクを新たに生成して後記の式(9)に従ってその結合強度を決定するとともに、当該第2最近傍の参照ベクトルを更新する。 When such a reference vector w i exists, the unit directly coupled with the reference vector w i and the unit with a coupling strength greater than zero according to the following equations (4) to (7): Update the reference vector of. If no link exists between the reference vector closest to the currently input learning vector and the next closest reference vector (second nearest neighbor reference vector), a new link is generated. Then, the coupling strength is determined according to the following equation (9), and the second nearest neighbor reference vector is updated.

Figure 0005011529
Figure 0005011529

式(5)において、γaとγbはそれぞれ、肯定的評価を持つ学習ベクトルxが入力された場合、否定的評価を持つ学習ベクトルxが入力された場合の学習係数である。σγは、現在入力されている学習ベクトルxから参照ベクトルを離間させる場合に、両ベクトルの距離に応じて更新量を減少させる程度を決定するパラメータである。また、Eは、学習ベクトルに対する評価値であり、肯定的評価である場合には正値となり、否定的評価である場合には負値となる。Ω(b)は式(7)により定義されるものであり、bは学習ベクトルと最も距離(ここではユークリッド距離)が近いユニット(最近傍ユニット)の番号である。s(i,j)は、i番目のユニットとj番目のユニットとの結合強度を示している。すなわちΩ(b)は、最近傍ユニット及び零よりも大きい値の結合強度により最近傍ユニットと結合しているユニット(近傍ユニット)の番号の集合を示している。 In Equation (5), γa and γb are learning coefficients when a learning vector x having a positive evaluation is input and a learning vector x having a negative evaluation is input, respectively. σ γ is a parameter that determines the degree to which the update amount is reduced according to the distance between both vectors when the reference vector is separated from the currently input learning vector x. E is an evaluation value for the learning vector, and is a positive value when the evaluation is positive, and a negative value when the evaluation is negative. Ω (b) is defined by equation (7), and b is the number of the unit (nearest neighbor unit) that is closest to the learning vector (here, Euclidean distance). s (i, j) represents the coupling strength between the i-th unit and the j-th unit. That is, Ω (b) represents a set of numbers of the nearest unit and the unit (neighboring unit) coupled to the nearest unit with a coupling strength having a value greater than zero.

また、aは、式(6)に示すようにi番目のユニットの参照ベクトルwと学習ベクトルxとの距離の減少関数で定義されるものであり、i番目のユニットが学習ベクトルxから影響を受ける程度、すなわち影響度を示している。 Further, a i is defined by a function of decreasing the distance between the reference vector w i of the i-th unit and the learning vector x as shown in Expression (6), and the i-th unit is determined from the learning vector x. The degree of influence, that is, the degree of influence is shown.

そして、i番目のユニットの参照ベクトルwは、式(5)に示されるように、当該i番目のユニットが最近傍ユニット又はその近傍ユニットであれば、上段の式に従って更新され、それ以外であれば更新されない。更新される場合の更新量Δwは、式(5)に示されるように、学習ベクトルxからの影響度a、及び評価値Eに比例している。このため、影響度aが大きいほど、また評価値Eの絶対値が大きいほど、参照ベクトルwが大きく学習ベクトルxに接近又は離反する。そして、正の評価値Eの学習ベクトルxが入力されると、最近傍ユニット及びその近傍ユニットの参照ベクトルwは、学習ベクトルxの位置に向かって参照ベクトル空間において移動する。一方、負の評価値Eの学習ベクトルxが入力されると、最近傍ユニット及びその近傍ユニットの参照ベクトルwは、学習ベクトルxから離れる向きに参照ベクトル空間において移動する。 Then, the reference vector w i of the i-th unit is updated according to the above equation if the i-th unit is the nearest unit or its neighboring unit, as shown in Equation (5). If there is no update. The update amount Δw i in the case of updating is proportional to the influence degree a i from the learning vector x and the evaluation value E, as shown in Expression (5). For this reason, the larger the influence degree a i and the larger the absolute value of the evaluation value E, the larger the reference vector w i approaches or leaves the learning vector x. When a learning vector x having a positive evaluation value E is input, the nearest neighbor unit and the reference vector w i of the neighboring unit move in the reference vector space toward the position of the learning vector x. On the other hand, when a learning vector x having a negative evaluation value E is input, the nearest neighbor unit and the reference vector w i of the neighboring unit move in the reference vector space in a direction away from the learning vector x.

また、学習ベクトルxが入力された場合において、上式(3)を満足する参照ベクトルwが未だ存在せず、且つ入力された学習ベクトルxの評価値Eが予め定められた閾値を上回れば、次式(8)に従って、学習ベクトルと同一の参照ベクトルwN+1を有するN+1番目のユニットを競合層上に新たに発生させる。 Further, when the learning vector x is input, if the reference vector w i that satisfies the above equation (3) does not yet exist and the evaluation value E of the input learning vector x exceeds a predetermined threshold value. Then, according to the following equation (8), the (N + 1) th unit having the same reference vector wN + 1 as the learning vector is newly generated on the competitive layer.

Figure 0005011529
Figure 0005011529

さらに、本データ処理装置では、競合層に配置されたユニットの各ペアについて結合強度s(i,j)を記憶しており、学習ベクトルxが入力され、その最近傍ユニット及びその近傍ユニットについて参照ベクトルwの更新が行われる場合には、それらのユニットについて次式(9)に従って結合強度s(i,j)を更新する。ここで、βは更新量を示すパラメータである。同式(9)に示すように、i番目のユニットとj番目のユニットとの結合強度s(i,j)は、評価値Eが正であれば増加し、負であれば減少する。このとき、学習ベクトルxからの各ユニットの影響度a,aが大きいほど大きく変化する。 Further, in this data processing apparatus, the coupling strength s (i, j) is stored for each pair of units arranged in the competitive layer, the learning vector x is input, and the nearest neighbor unit and its neighboring units are referred to. When the vector w i is updated, the coupling strength s (i, j) is updated for these units according to the following equation (9). Here, β is a parameter indicating the update amount. As shown in the equation (9), the coupling strength s (i, j) between the i-th unit and the j-th unit increases when the evaluation value E is positive, and decreases when it is negative. At this time, the greater the degree of influence a i and a j of each unit from the learning vector x, the greater the change.

Figure 0005011529
Figure 0005011529

また、学習ベクトルxが入力された場合に、その最近傍ユニットが存在しなければ、上述のように新たにユニットを競合層上に追加するとともに、その追加したユニットとその近傍の2つのユニットとの各結合強度を、上式(9)に従って新たに算出する。   Further, when the learning vector x is inputted, if the nearest unit does not exist, a new unit is added to the competitive layer as described above, and the added unit and two neighboring units are Are newly calculated according to the above equation (9).

さらに、本データ処理装置では、各ユニットについて活性度を管理しており、i番目のユニットの活性度Sa(i)は、次式(10)により更新される。なお、活性度Sa(i)の初期値は、適宜設定してよい。   Further, in this data processing apparatus, the activity is managed for each unit, and the activity Sa (i) of the i-th unit is updated by the following equation (10). The initial value of the activity Sa (i) may be set as appropriate.

Figure 0005011529
Figure 0005011529

学習ベクトルxが入力され、その最近傍ユニット及びその近傍ユニットの参照ベクトルwが更新される場合に、それらユニットに関する活性度Sa(i)には、該学習ベクトルxからの影響度a及び評価値Eに比例する量が加算される。このため、正の評価値の学習ベクトルxが近傍に入力されると活性度Sa(i)は上昇し、逆に負の評価値の学習ベクトルxが近傍に入力されると活性度Sa(i)は下降する。本データ処理装置では、i番目のユニットの活性度Sa(i)が所定値未満となると、当該ユニットを競合層から削除する。すなわち、当該ユニットの参照ベクトルw、活性度Sa(i)、当該ユニットに関する結合強度をすべて消去するようにしている。 When the learning vector x is input and the nearest neighbor unit and the reference vector w i of the neighboring unit are updated, the degree of activity a i and the degree of influence a i and An amount proportional to the evaluation value E is added. For this reason, when a learning vector x having a positive evaluation value is input in the vicinity, the activity Sa (i) increases, and conversely, when a learning vector x having a negative evaluation value is input in the vicinity, the activity Sa (i) is increased. ) Goes down. In this data processing device, when the activity Sa (i) of the i-th unit becomes less than a predetermined value, the unit is deleted from the competitive layer. That is, the reference vector w i , the activity Sa (i), and the coupling strength related to the unit are all erased.

以上の学習処理を繰り返すことにより、参照ベクトル群は、図2に示すように、好ましい評価の入力データu及び出力データvの関係を示すものとなる。本データ処理装置では、実行モードにおいて、入力データpが入力されると、次式(11)に従って、当該入力データpと各参照ベクトルwの入力データの成分uとの類似度zを算出し、次式(12)に従って、該類似度zを用いて、参照ベクトルwの出力データの成分vを重み付き加算することにより、入力データpに対応する好ましい出力データqを算出する。ここで、Σは、零よりも大きな値の結合強度s(i,j)により直接又は間接にされたユニットの集合についての和である。図3は、この計算の様子を模式的に示している。 By repeating the learning process described above, the reference vector group shows the relationship between the input data u and the output data v of preferable evaluation, as shown in FIG. In this data processing apparatus, when the input data p is input in the execution mode, the similarity z i between the input data p and the component u i of the input data of each reference vector w i is calculated according to the following equation (11). The preferred output data q corresponding to the input data p is calculated by performing weighted addition of the component v i of the output data of the reference vector w i using the similarity z i according to the following equation (12). To do. Here, Σ is the sum of a set of units that are directly or indirectly made by a coupling strength s (i, j) greater than zero. FIG. 3 schematically shows the state of this calculation.

Figure 0005011529
Figure 0005011529

図4は、本発明の一実施形態に係るデータ処理装置の機能ブロック図である。本データ処理装置は、公知のコンピュータシステムを含んで構成されており、該コンピュータシステムにより、本発明を適用したプログラムを実行することにより、同図に示される機能が実現される。このプログラムは、CD−ROMやDVD−ROMなどのコンピュータ読取可能な情報記憶媒体によりコンピュータにインストールされてもよいし、インターネットなどの通信ネットワークからダウンロードされてもよい。   FIG. 4 is a functional block diagram of a data processing apparatus according to an embodiment of the present invention. The data processing apparatus is configured to include a known computer system, and the functions shown in the figure are realized by executing a program to which the present invention is applied by the computer system. This program may be installed in a computer by a computer-readable information storage medium such as a CD-ROM or a DVD-ROM, or may be downloaded from a communication network such as the Internet.

同図に示すように、データ処理装置は、機能的には学習ベクトル入力部10、距離算出部12、参照ベクトル更新部14、参照ベクトル追加部16、データ出力部18、参照ベクトル・活性度記憶部20、結合強度記憶部22及び参照ベクトル・結合強度削除部24を含んでいる。   As shown in the figure, the data processing device functionally includes a learning vector input unit 10, a distance calculation unit 12, a reference vector update unit 14, a reference vector addition unit 16, a data output unit 18, a reference vector / activity level storage. A unit 20, a coupling strength storage unit 22, and a reference vector / coupling strength deletion unit 24.

まず、参照ベクトル・活性度記憶部20は、競合層に配置された各ユニットの参照ベクトルを記憶するとともに、それらに関連づけて各ユニットの活性度を記憶する。図5は、参照ベクトル・活性度記憶部20の記憶内容を模式的に示しており、同図に示すように、各ユニットの番号iに関連づけて、そのユニットの参照ベクトルwに含まれる入力データu及び出力データv、さらに活性度Sa(i)が記憶される。 First, the reference vector / activity level storage unit 20 stores the reference vector of each unit arranged in the competitive layer, and stores the activity level of each unit in association with the reference vector. FIG. 5 schematically shows the storage contents of the reference vector / activity storage unit 20, and as shown in FIG. 5, the input included in the reference vector w i of the unit in association with the number i of each unit. Data u i, output data v i , and activity Sa (i) are stored.

結合強度記憶部22は、参照ベクトル・活性度記憶部20に記憶される参照ベクトルの各ペアに関連づけて、該ペアの結合強度S(i,j)を記憶するものである。   The coupling strength storage unit 22 stores the coupling strength S (i, j) of the pair in association with each pair of reference vectors stored in the reference vector / activity storage unit 20.

学習ベクトル入力部10は、入力データp及び出力データqからなる多数の学習ベクトルxを順に入力するものである。   The learning vector input unit 10 inputs a large number of learning vectors x composed of input data p and output data q in order.

距離算出部12は、順次入力される学習ベクトルxと参照ベクトル・活性度記憶部20に記憶される各参照ベクトルwとの距離(例えばユークリッド距離)を算出する。そして、その距離の最小値が所定距離ε以下であるか否か、すなわち式(3)を満足するユニットが存在するか否かを判断する。そして、そのようなユニットが存在すれば参照ベクトル更新部14に、存在しなければ参照ベクトル追加部16に処理を指示する。 The distance calculation unit 12 calculates a distance (for example, Euclidean distance) between the learning vector x sequentially input and each reference vector w i stored in the reference vector / activity storage unit 20. Then, it is determined whether or not the minimum value of the distance is equal to or smaller than the predetermined distance ε, that is, whether or not there is a unit that satisfies the expression (3). If such a unit exists, the reference vector update unit 14 is instructed, and if not, the reference vector addition unit 16 is instructed to perform the processing.

参照ベクトル追加部16は、距離算出部12により算出される距離の最小値が所定距離εより大きい場合に、学習ベクトルxに基づいて式(8)により決定される参照ベクトルwN+1を参照ベクトル・活性度記憶部20に追加して記憶させる。さらに、参照ベクトルwN+1に関連づけて、N+1番目のユニットの活性度Sa(N+1)も記憶させる。活性度Sa(N+1)の値は式(10)に従って算出される。 When the minimum value of the distance calculated by the distance calculation unit 12 is larger than the predetermined distance ε, the reference vector adding unit 16 uses the reference vector w N + 1 determined by the equation (8) based on the learning vector x as the reference vector It is additionally stored in the activity storage unit 20. Further, the activity degree Sa (N + 1) of the (N + 1) th unit is also stored in association with the reference vector wN + 1 . The value of the activity Sa (N + 1) is calculated according to the equation (10).

さらに、参照ベクトル追加部16は、追加したN+1番目のユニットと、該ユニットとの距離が最も近いユニット(参照ベクトル間の距離が最も近いユニット)、及び次に近いユニット(参照ベクトル間の距離が次に近いユニット)との結合強度を、式(9)に従って算出し、結合強度記憶部22に記憶させる。   Further, the reference vector adding unit 16 has the added N + 1th unit, the unit closest to the unit (the unit closest to the distance between the reference vectors), and the next closest unit (the distance between the reference vectors is The bond strength with the next closest unit is calculated according to equation (9) and stored in the bond strength storage unit 22.

参照ベクトル更新部14は、距離算出部12により算出される距離の最小値が所定距離ε以下の場合に、参照ベクトル・活性度記憶部20に記憶される参照ベクトルの一部を、式(4)乃至式(7)に従って、学習ベクトルxに対し、評価値Eに応じて接近させたり離間させたりする。まず現在の学習ベクトルxの最近傍の参照ベクトルと第2最近傍の参照ベクトルとの間にリンクが存在しない場合には、リンクを生成する。その後、最近傍ユニット及び近傍ユニットの参照ベクトルを、学習ベクトルxに対して接近させたり離間させたりする。さらに、更新した参照ベクトルwに係るi番目のユニットの活性度Sa(i)を式(10)に従って更新する。このとき、更新した参照ベクトルwと学習ベクトルxとの距離が近いほど、該更新した参照ベクトルwに係るi番目のユニットの活性度sa(i)を大きく変化させる。また、正の評価値Eを有する学習ベクトルxが入力されれば、活性度Sa(i)を増加させ、負の評価値Eを有する学習ベクトルxが入力されれば、活性度Sa(i)を減少させる。 When the minimum distance calculated by the distance calculation unit 12 is equal to or less than the predetermined distance ε, the reference vector update unit 14 converts a part of the reference vector stored in the reference vector / activity storage unit 20 to Equation (4). ) To Equation (7), the learning vector x is moved closer to or away from the learning vector x according to the evaluation value E. First, when there is no link between the nearest reference vector of the current learning vector x and the second nearest neighbor reference vector, a link is generated. Thereafter, the nearest unit and the reference vector of the neighborhood unit are moved closer to or away from the learning vector x. Further, the activity Sa (i) of the i-th unit related to the updated reference vector w i is updated according to the equation (10). At this time, as the distance between the updated reference vector w i and the learning vector x is shorter, the activity sa (i) of the i-th unit related to the updated reference vector w i is greatly changed. Also, if a learning vector x having a positive evaluation value E is input, the activity Sa (i) is increased, and if a learning vector x having a negative evaluation value E is input, the activity Sa (i). Decrease.

さらに、参照ベクトル更新部14は、最近傍ユニットと、該ユニットとリンクが設定されているユニットと、のペアについて、式(9)に従って結合強度s(i,j)を更新する。   Further, the reference vector update unit 14 updates the coupling strength s (i, j) according to the equation (9) for the pair of the nearest unit and the unit for which the unit and the link are set.

参照ベクトル・結合強度削除部24は、参照ベクトルwに関連づけられた活性度Sa(i)が所定の閾値より低い場合に、該参照ベクトルw及びそれに関連づけられた活性度Sa(i)を参照ベクトル・活性度記憶部20から削除する。併せて、削除した参照ベクトルwに係るユニットに係る結合強度を結合強度記憶部22から削除する。 Referring vector coupling strength deleting unit 24, when associated with a reference vector w i activity Sa (i) is lower than a predetermined threshold value, the reference vector w i and the activity Sa to its associated with (i) Delete from the reference vector / activity level storage unit 20. At the same time, the connection strength related to the unit related to the deleted reference vector w i is deleted from the connection strength storage unit 22.

データ出力部18は、専ら実行モードにおいて動作するものであり、入力データpを受付けて、式(11)及び式(12)に基づいて出力データqを算出し、出力するものである。   The data output unit 18 operates exclusively in the execution mode, receives the input data p, calculates the output data q based on the equations (11) and (12), and outputs it.

図6は、本実施形態に係るデータ処理装置の学習処理を示すフロー図である。同図に示すように、学習ベクトルxが入力されると(S101)、競合層にユニットが配置されているか、すなわち参照ベクトル・活性度記憶部20に1以上のレコードが存在するかを判断する(S102)。そして、存在しなければ、学習ベクトルxと同一の参照ベクトルw及び式(10)により算出される活性度Sa(1)を、参照ベクトル・活性度記憶部20に記憶させる(S103)。一方、存在すれば、距離算出部12が、学習ベクトルxの最近傍ユニットを探し出す(S104)。そして、最近傍ユニットの参照ベクトルと学習ベクトルとの距離が所定距離εより大きいか否かを判断する(S105)。そして、所定距離εより大きく、且つ現在の学習ベクトルxの評価値Eが予め定められた閾値を上回れば(S106)、参照ベクトル追加部16が、学習ベクトルxと同一の参照ベクトルwN+1及び式(10)により算出される活性度Sa(N+1)を、参照ベクトル・活性度記憶部20に記憶させる(S107)。さらに、追加したN+1番目のユニットと、該ユニットに近い2つのユニットと、の間の結合強度を算出し、それを結合強度記憶部22に記憶させる(S108)。 FIG. 6 is a flowchart showing learning processing of the data processing apparatus according to the present embodiment. As shown in the figure, when a learning vector x is input (S101), it is determined whether a unit is arranged in the competitive layer, that is, whether one or more records exist in the reference vector / activity storage unit 20. (S102). If it does not exist, the reference vector w 1 identical to the learning vector x and the activity Sa (1) calculated by the equation (10) are stored in the reference vector / activity storage unit 20 (S103). On the other hand, if it exists, the distance calculation unit 12 searches for the nearest unit of the learning vector x (S104). Then, it is determined whether the distance between the reference vector of the nearest unit and the learning vector is greater than a predetermined distance ε (S105). If the evaluation value E of the current learning vector x is greater than the predetermined distance ε and exceeds a predetermined threshold value (S106), the reference vector adding unit 16 uses the same reference vector w N + 1 and expression as the learning vector x. The activity Sa (N + 1) calculated by (10) is stored in the reference vector / activity storage unit 20 (S107). Further, the coupling strength between the added (N + 1) th unit and two units close to the unit is calculated and stored in the coupling strength storage unit 22 (S108).

一方、S105で、学習ベクトルxと、その最近傍ユニットの参照ベクトルとの距離が所定距離ε以下であると判断される場合、参照ベクトル更新部14は、最近傍ユニットとその近傍ユニットについて参照ベクトルを式(4)乃至式(7)に従って更新する。さらに、最近傍ユニットに接続されているリンクの結合強度を式(9)に従って更新する。このとき、最近傍の参照ベクトルと第2最近傍の参照ベクトルとの間にリンクが存在しなければ、リンクを発生させてから、上記更新処理を実行する(S109)。   On the other hand, when it is determined in S105 that the distance between the learning vector x and the reference vector of the nearest neighbor unit is equal to or less than the predetermined distance ε, the reference vector update unit 14 refers to the reference vector for the nearest neighbor unit and the neighborhood unit. Is updated according to the equations (4) to (7). Further, the coupling strength of the link connected to the nearest unit is updated according to the equation (9). At this time, if no link exists between the nearest neighbor reference vector and the second nearest neighbor reference vector, a link is generated, and then the update process is executed (S109).

次に、最近傍ユニットとその近傍ユニットの活性度を式(10)に従って更新する。そして、更新後の活性度がユーザ指定の閾値より低い場合には、それらのユニットに関する参照ベクトル、活性度及び結合強度を参照ベクトル・結合度記憶部20及び結合強度記憶部22から削除する(S110)。   Next, the nearest neighbor unit and the activity of the neighbor unit are updated according to equation (10). If the updated activity level is lower than the user-specified threshold, the reference vectors, activity levels, and coupling strengths for these units are deleted from the reference vector / coupling level storage unit 20 and the coupling strength storage unit 22 (S110). ).

その後、S101乃至S110の処理をユーザ指定の回数だけ繰り返したかを判断する(S111)。そして、繰り返している場合には、結合強度記憶部22に記憶された結合強度のうち、最小のものを削除し、上記繰り返しの回数のカウントをリセットする(S112)。すなわち、学習ベクトルの入力が所定回数行われる毎に、最弱のリンクを削除する。その後、全ての学習データについて学習処理を完了したかを判断し(S113)、完了するまでS101以降の処理を繰り返して実行する。   Thereafter, it is determined whether the processes of S101 to S110 have been repeated as many times as specified by the user (S111). If it has been repeated, the minimum one of the bond strengths stored in the bond strength storage unit 22 is deleted, and the count of the number of repetitions is reset (S112). That is, the weakest link is deleted every time the learning vector is input a predetermined number of times. Thereafter, it is determined whether or not the learning process has been completed for all the learning data (S113), and the processes after S101 are repeatedly executed until the learning process is completed.

以上の実施形態によると、各参照ベクトルに関連づけて活性度が記憶される。この活性度は、学習ベクトルと参照ベクトルとの距離及びその学習ベクトルに対する評価に基づいて更新される。本実施形態では、こうして記憶・更新される活性度に応じて参照ベクトル・活性度記憶部20から参照ベクトル等を削除するので、現在入力されている学習ベクトルの性質に基づくものではない参照ベクトルが参照ベクトル・活性度記憶部20に記憶され続けるという不具合を防止することができる。したがって、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるようになる。   According to the above embodiment, the activity is stored in association with each reference vector. This degree of activity is updated based on the distance between the learning vector and the reference vector and the evaluation with respect to the learning vector. In the present embodiment, reference vectors and the like are deleted from the reference vector / activity storage unit 20 in accordance with the degrees of activity stored / updated in this way, so that reference vectors that are not based on the properties of the currently input learning vectors The problem of being stored in the reference vector / activity level storage unit 20 can be prevented. Therefore, even if the properties of the learning vectors input sequentially change with time, the intended vector set can be suitably reconstructed as a reference vector group.

参照ベクトルの更新を説明する図である。It is a figure explaining the update of a reference vector. 学習済みの参照ベクトル群を示す図である。It is a figure which shows the learned reference vector group. 実行モードにおける処理を説明する図である。It is a figure explaining the process in execution mode. 本実施形態に係るデータ処理装置の機能ブロック図である。It is a functional block diagram of the data processor concerning this embodiment. 参照ベクトル・活性度記憶部の記憶内容を示す図である。It is a figure which shows the memory content of a reference vector and activity memory | storage part. データ処理装置の学習処理を示すフロー図である。It is a flowchart which shows the learning process of a data processor.

符号の説明Explanation of symbols

10 学習ベクトル入力部、12 距離算出部、14 参照ベクトル更新部、16 参照ベクトル追加部、18 データ出力部、20 参照ベクトル・活性度記憶部、22 結合強度記憶部、24 参照ベクトル・結合強度削除部。   DESCRIPTION OF SYMBOLS 10 Learning vector input part, 12 Distance calculation part, 14 Reference vector update part, 16 Reference vector addition part, 18 Data output part, 20 Reference vector and activity memory | storage part, 22 Bond strength memory | storage part, 24 Reference vector and bond strength deletion Department.

Claims (8)

1以上の参照ベクトルを記憶する参照ベクトル記憶手段と、
順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段と、
前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段と、
前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段と、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段と、
前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段と、
を含むことを特徴とするデータ処理装置。
Reference vector storage means for storing one or more reference vectors;
Distance calculating means for calculating the distance between the learning vector sequentially input and each reference vector stored in the reference vector storage means;
Reference vector addition means for adding a reference vector determined based on the learning vector to the reference vector storage means and storing it when the minimum distance calculated by the distance calculation means is larger than a predetermined value;
When the minimum distance calculated by the distance calculation means is less than or equal to a predetermined value, at least a part of the one or more reference vectors stored in the reference vector storage means is set to the learning vector with respect to the learning vector. Reference vector update means for approaching or separating according to the evaluation of
Activity is stored in association with each reference vector stored in the reference vector storage means, and the activity is updated based on a distance between the reference vector and the learning vector and evaluation of the learning vector. Memory update means,
Reference vector deleting means for deleting each reference vector from the reference vector storage means in accordance with the degree of activity associated with each reference vector;
A data processing apparatus comprising:
請求項1に記載のデータ処理装置において、
前記参照ベクトル追加手段は、前記距離算出手段により算出される距離の最小値が前記所定値より大きく、且つ前記学習ベクトルに対する評価が所定以上のものである場合に、前記参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる、
ことを特徴とするデータ処理装置。
The data processing apparatus according to claim 1,
The reference vector adding means stores the reference vector in the reference vector storage when the minimum value of the distance calculated by the distance calculating means is larger than the predetermined value and the evaluation with respect to the learning vector is not less than a predetermined value. Add to the means and remember,
A data processing apparatus.
請求項1又は2に記載のデータ処理装置において、
前記活性度記憶更新手段は、前記参照ベクトルと前記学習ベクトルとの距離が近いほど、前記活性度を大きく変化させる、
ことを特徴とするデータ処理装置。
The data processing apparatus according to claim 1 or 2,
The activity storage update means changes the activity greatly as the distance between the reference vector and the learning vector is shorter.
A data processing apparatus.
請求項1乃至3のいずれかに記載のデータ処理装置において、
前記活性度記憶更新手段は、前記学習ベクトルに対する評価が肯定的である場合には前記活性度を増加させ、否定的である場合には前記活性度を減少させる、
ことを特徴とするデータ処理装置。
The data processing apparatus according to any one of claims 1 to 3,
The activity memory update means increases the activity when the evaluation with respect to the learning vector is positive, and decreases the activity when the evaluation is negative.
A data processing apparatus.
請求項1乃至4のいずれかに記載のデータ処理装置において、
前記参照ベクトル記憶手段に記憶される前記参照ベクトルの各対に関連づけて、該対の結合強度を記憶するとともに、該対のそれぞれと前記学習ベクトルとの距離に応じて該結合強度を更新する結合強度記憶更新手段をさらに含む、
ことを特徴とするデータ処理装置。
The data processing device according to any one of claims 1 to 4,
A coupling that stores the coupling strength of the pair in association with each pair of the reference vectors stored in the reference vector storage means and updates the coupling strength according to the distance between each of the pair and the learning vector. A strength memory updating means;
A data processing apparatus.
請求項5に記載のデータ処理装置において、
前記参照ベクトル更新手段は、前記最小値に係る前記参照ベクトルと、前記結合強度に基づいて判断される該参照ベクトルの近傍の参照ベクトルと、を前記学習ベクトルに対して近接させ又は離間させ、
前記参照ベクトル削除手段は、前記参照ベクトルを前記参照ベクトル記憶手段から削除する場合に、該参照ベクトルに係る前記結合強度を併せて削除する、
ことを特徴とするデータ処理装置。
The data processing apparatus according to claim 5, wherein
The reference vector update means causes the reference vector related to the minimum value and a reference vector in the vicinity of the reference vector determined based on the coupling strength to be close to or separated from the learning vector,
The reference vector deletion means, when deleting the reference vector from the reference vector storage means, deletes the joint strength associated with the reference vector together;
A data processing apparatus.
順次入力される学習ベクトルと、1以上の参照ベクトルを記憶する参照ベクトル記憶手段に記憶される前記各参照ベクトルと、の距離を算出する距離算出ステップと、
前記距離算出ステップで算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加ステップと、
前記距離算出ステップで算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新ステップと、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、該参照ベクトルの活性度を更新する活性度更新ステップと、
前記各参照ベクトルの活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除ステップと、
を含むことを特徴とするデータ処理方法。
A distance calculating step of calculating a distance between the learning vector sequentially input and each of the reference vectors stored in the reference vector storage unit that stores one or more reference vectors;
A reference vector adding step of adding and storing a reference vector determined based on the learning vector in the reference vector storage means when a minimum value of the distance calculated in the distance calculating step is larger than a predetermined value;
When the minimum value of the distance calculated in the distance calculating step is less than or equal to a predetermined value, at least a part of the one or more reference vectors stored in the reference vector storage unit is set to the learning vector. A reference vector update step that approaches or separates depending on the evaluation of
An activity update step of updating the activity of the reference vector based on the distance between each reference vector stored in the reference vector storage means and the learning vector and the evaluation of the learning vector;
A reference vector deleting step of deleting each reference vector from the reference vector storage unit according to the activity of each reference vector;
A data processing method comprising:
1以上の参照ベクトルを記憶する参照ベクトル記憶手段、
順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段、
前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段、
前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段、及び
前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段
としてコンピュータを機能させるためのプログラム。
Reference vector storage means for storing one or more reference vectors;
Distance calculation means for calculating the distance between the learning vector sequentially input and each reference vector stored in the reference vector storage means;
Reference vector addition means for adding a reference vector determined based on the learning vector to the reference vector storage means and storing it when the minimum value of the distance calculated by the distance calculation means is larger than a predetermined value;
When the minimum distance calculated by the distance calculation means is less than or equal to a predetermined value, at least a part of the one or more reference vectors stored in the reference vector storage means is set to the learning vector with respect to the learning vector. Reference vector updating means for approaching or separating according to the evaluation of
Activity is stored in association with each reference vector stored in the reference vector storage means, and the activity is updated based on a distance between the reference vector and the learning vector and evaluation of the learning vector. A program for causing a computer to function as a reference vector deleting unit that deletes each reference vector from the reference vector storage unit according to the degree of activity associated with each reference vector.
JP2006298308A 2006-11-01 2006-11-01 Data processing apparatus, data processing method, and program Active JP5011529B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006298308A JP5011529B2 (en) 2006-11-01 2006-11-01 Data processing apparatus, data processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006298308A JP5011529B2 (en) 2006-11-01 2006-11-01 Data processing apparatus, data processing method, and program

Publications (2)

Publication Number Publication Date
JP2008117090A JP2008117090A (en) 2008-05-22
JP5011529B2 true JP5011529B2 (en) 2012-08-29

Family

ID=39502960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006298308A Active JP5011529B2 (en) 2006-11-01 2006-11-01 Data processing apparatus, data processing method, and program

Country Status (1)

Country Link
JP (1) JP5011529B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4998521B2 (en) 2009-06-19 2012-08-15 株式会社デンソー Learning device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225749A (en) * 1994-02-14 1995-08-22 Nec Corp Data sorting device
JP4267726B2 (en) * 1998-10-15 2009-05-27 烈 山川 Device for determining relationship between operation signal and operation amount in control device, control device, data generation device, input / output characteristic determination device, and correlation evaluation device
JP2001331839A (en) * 2000-05-22 2001-11-30 Glory Ltd Method and device for discriminating paper money

Also Published As

Publication number Publication date
JP2008117090A (en) 2008-05-22

Similar Documents

Publication Publication Date Title
Zhang et al. Dynamic extreme learning machine and its approximation capability
CN110263227B (en) Group partner discovery method and system based on graph neural network
CN110782015A (en) Training method and device for network structure optimizer of neural network and storage medium
CN107578061A (en) Based on the imbalanced data classification issue method for minimizing loss study
CN112101530A (en) Neural network training method, device, equipment and storage medium
Abd-Alsabour A review on evolutionary feature selection
JP2001236337A (en) Predicting device using neural network
CN111079780A (en) Training method of space map convolution network, electronic device and storage medium
CN113825978A (en) Method for defining a path
CN116681104B (en) Model building and realizing method of distributed space diagram neural network
CN113988464A (en) Network link attribute relation prediction method and equipment based on graph neural network
JP6325762B1 (en) Information processing apparatus, information processing method, and information processing program
KR102460485B1 (en) Neural architecture search apparatus and method based on policy vector
CN113341696A (en) Intelligent setting method for attitude control parameters of carrier rocket
JP5011529B2 (en) Data processing apparatus, data processing method, and program
Aran et al. An incremental framework based on cross-validation for estimating the architecture of a multilayer perceptron
CN115630690B (en) Sampling method and related device for quantum neural network structure optimization
CN115238874A (en) Quantization factor searching method and device, computer equipment and storage medium
CN115131646A (en) Deep network model compression method based on discrete coefficient
JP4267726B2 (en) Device for determining relationship between operation signal and operation amount in control device, control device, data generation device, input / output characteristic determination device, and correlation evaluation device
EP3614314A1 (en) Method and apparatus for generating chemical structure using neural network
Várkonyi et al. Extreme Learning Machines with Regularization for the Classification of Gene Expression Data.
JP3310009B2 (en) Neural network system
Mascherini et al. M-GA: A genetic algorithm to search for the best conditional Gaussian Bayesian network
CN113052297B (en) Towing cable attitude calculation method and system based on convolution neural network fusion EKF

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150