JP7489730B2

JP7489730B2 - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP7489730B2
Application number: JP2022572905A
Authority: JP
Inventors: 修長谷川; 洸輔井加田
Original assignee: SOINN INC.
Current assignee: SOINN INC.
Priority date: 2020-12-28
Filing date: 2021-08-31
Publication date: 2024-05-24
Anticipated expiration: 2041-08-31
Also published as: WO2022145087A1; JPWO2022145087A1

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関し、例えば任意のクラスに属する入力ベクトルを順次入力して当該入力ベクトルの入力分布構造を学習する情報処理装置、情報処理方法及びプログラムに関する。

学習中に必要に応じてニューロンを増殖させる学習手法として、自己組織化ニューラルネットワーク（ＳＯＩＮＮ：Self-Organizing Incremental Neural Network）と呼ばれる手法が提案されている（特許文献１）。ＳＯＩＮＮでは、ノード数を自律的に管理することにより非定常的な入力を学習することができ、複雑な分布形状を有するクラスに対しても適切なクラス数及び位相構造を抽出できるなど多くの利点を有する。ＳＯＩＮＮの応用例として、例えばパターン認識においては、ひらがな文字のクラスを学習させた後に、カタカナ文字のクラスなどを追加的に学習させることができる。

このようなＳＯＩＮＮの一例として、Ｅ－ＳＯＩＮＮ（Enhanced SOINN）と称される手法が提案されている。Ｅ－ＳＯＩＮＮでは、学習を随時追加するオンライン追加学習が可能であり、バッチ学習ではなく学習効率が良いという利点を有している。このため、Ｅ－ＳＯＩＮＮでは、学習環境が新しい環境に変化した場合においても追加学習が可能である。また、Ｅ－ＳＯＩＮＮでは、入力データに対するノイズ耐性が高いという利点をも有している。

ところが、Ｅ－ＳＯＩＮＮを含むＳＯＩＮＮにおいては、新たなノードをネットワークに挿入することが困難であることから、入力データの構造を正確に表現し難いという問題や、入力データの入力順序によって学習結果が異なってしまうという問題があった。こうした問題を解決するため、ＬＢ－ＳＯＩＮＮ（Load Balance Self-Organizing Incremental Neural Network）と称される手法が提案された（特許文献２）。ＬＢ－ＳＯＩＮＮは、ネットワークにおけるノードの負荷をノード学習時間として扱い、ノード学習時間が大きなノードを検出し、検出したノードとこれに隣接するノードを接続する辺上に、検出したノードの重みベクトルに基づいて決定された重みベクトルを有する新たなノード生成する。これにより、検出したノードの学習時間の増大を緩和し、かつ、その付近に新たなノードを生成することで、入力データの構造をより正確に学習することができる。

特開２００８－２１７２４６号公報特開２０１４－１６４３９６号公報

しかしながら、上述のＬＢ－ＳＯＩＮＮでは、入力データにノイズが多い場合には、クラスタ間に新たなノードが生成されてしまうことが見出された。図３２に、ＬＢ－ＳＯＩＮＮにおける負荷平衡化による新規ノードの生成を模式的に示す。ＬＢ－ＳＯＩＮＮでは、ニューラルネットワークに含まれるノードのうちで、ノードの学習時間が相対的に大きく、かつ、偏っているノード（被検出ノードと称する）Ｎｍａｘと、そのノードと辺で接続された隣接ノードＮｎｅｉとの間に新たなノードＮｎｅｗを生成する負荷平衡化を行うことで、ネットワーク構造を精度よく学習できる。図３２に示すように、被検出ノードＮｍａｘ及び隣接ノードＮｎｅｉが同じクラスタＣＬに属している場合には、当該クラスタに属するノードの負荷を適切に平衡化できる。

しかし、ＬＢ－ＳＯＩＮＮにおいてノイズが大きな入力データを学習してしまうと、被検出ノードＮｍａｘと隣接ノードＮｎｅｉとが辺で接続されてはいるものの、互いに異なるクラスタに属している場合が有る。図３３に、ＬＢ－ＳＯＩＮＮにおいてノイズが大きなデータを学習した場合での負荷平衡化による新規ノードの生成を模式的に示す。図３３に示すように、例えば、隣接ノードＮｎｅｉがクラスタＣＬ１に属し、被検出ノードＮｍａｘが別のクラスタＣＬ２に属している場合、ＬＢ－ＳＯＩＮＮでの負荷平衡化を行ってしまうと、２つのクラスタ間の境界領域Ｂに、新規ノードＮｎｅｗが生成されてしまう。その結果、本来区別されるべきクラスタＣＬ１とクラスタＣＬ２とが区別できなくなり、入力データの構造を正しく学習できなくなるおそれが有る。

本発明は、上記の事情に鑑みて成されたものであり、入力データの構造をより正確に学習できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一実施の形態にかかる情報処理装置は、入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する情報処理装置において、前記ネットワーク構造に含まれる前記複数のノードから、入力される前記入力ベクトルに最も近い距離に位置するノードを第１勝者ノードとして検出し、２番目に近い距離に位置するノードを第２勝者ノードとして検出する勝者ノード検出部と、前記第１勝者ノードと前記第２勝者ノードとの間を接続する辺の辺学習時間を第１の値だけ増加させる辺学習時間更新部と、所定のタイミングで、前記複数の辺から辺学習時間に基づいて１以上の辺を選択し、選択した前記１以上の辺のそれぞれの上に新たなノードを生成して前記ネットワーク構造に挿入する負荷平衡化部と、を有するものである。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記辺学習時間更新部は、さらに、前記第１勝者ノードと前記第２勝者ノードとの間を接続する前記辺以外の、前記第１勝者ノードに接続する辺の辺学習時間及び前記第２勝者ノードに接続する辺の辺学習時間を前記第１の値よりも小さな第２の値だけ増加させることが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、辺学習時間が相対的に大きい１以上の辺を選択することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、辺学習時間が所定の辺学習時間閾値よりも大きな１以上の辺を選択することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、前記複数の辺から、辺学習時間と辺の長さとに基づいて１以上の辺を選択することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、長さが相対的に大きい１以上の辺を選択することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、長さが所定の値よりも大きな１以上の辺を選択することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、前記選択した１以上の辺において、各辺の一端と接続される第１ノードの勝利回数及び他端と接続される第２ノードの勝利回数に基づいて、前記新たなノードを生成する位置を決定することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、前記選択した１以上の辺において、各辺上の前記第１ノードの勝利回数及び前記第２ノードの勝利回数から算出した重心位置に、前記新たなノードを生成することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、前記選択した１以上の辺を削除し、削除した各辺の一端と接続される第１ノードと前記新たなノードとを接続する第１の辺と、削除した各辺の他端と接続される第２ノードと前記新たなノードとを接続する第２の辺と、を生成して前記ネットワーク構造に挿入することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記負荷平衡化部は、前記削除した各辺の辺学習時間を、前記第１の辺及び前記第２の辺のそれぞれに所定の割合で継承させることが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記第１及び第２の辺のそれぞれは、前記第１ノードの勝利回数及び前記第２ノードの勝利回数のそれぞれを、前記第１ノードの勝利回数及び前記第２ノードの勝利回数の和で除した値で示される割合だけ、前記削除した各辺の辺学習時間を継承することが望ましい。

本発明の一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記情報処理装置は、前記入力ベクトルと前記第１勝者ノードとの間の距離及び前記入力ベクトルと前記第２勝者ノード間との距離に基づいて、ノード挿入を実行するか否かを判定するノード挿入判定部と、前記ノード挿入判定部による判定の結果、前記ノード挿入を実行する場合に、前記入力ベクトルの成分と同一の成分を重みベクトルとして有する挿入ノードを生成し、当該生成した挿入ノードを前記ネットワーク構造に挿入するノード挿入部と、を有することが望ましい。

本発明の一実施の形態にかかる情報処理方法は、入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する情報処理方法であって、勝者ノード検出部が、前記ネットワーク構造に含まれる前記複数のノードから、入力される前記入力ベクトルに最も近い距離に位置するノードを第１勝者ノードとして検出し、２番目に近い距離に位置するノードを第２勝者ノードとして検出し、辺学習時間更新部が、前記第１勝者ノードと前記第２勝者ノードとの間を接続する辺の辺学習時間を所定値だけ増加させ、負荷平衡化部が、所定のタイミングで、前記複数の辺から辺学習時間に基づいて１以上の辺を選択し、選択した前記１以上の辺のそれぞれの上に新たなノードを生成して前記ネットワーク構造に挿入するものである。

本発明の一実施の形態にかかるプログラムは、任意のクラスに属する入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する処理をコンピュータに実行させるプログラムであって、前記ネットワーク構造に含まれる前記複数のノードから、入力される前記入力ベクトルに最も近い距離に位置するノードを第１勝者ノードとして検出し、２番目に近い距離に位置するノードを第２勝者ノードとして検出する処理と、辺学習時間更新部が、前記第１勝者ノードと前記第２勝者ノードとの間を接続する辺の辺学習時間を所定値だけ増加させる処理と、所定のタイミングで、前記複数の辺から辺学習時間に基づいて１以上の辺を選択し、選択した前記１以上の辺のそれぞれの上に新たなノードを生成して前記ネットワーク構造に挿入する処理と、をコンピュータに実行させるものである。

本発明によれば、入力データの構造をより正確に学習できる情報処理装置、情報処理方法及びプログラムを提供することができる。

実施の形態１にかかる情報処理装置を実現するためのシステム構成の一例を示す図である。実施の形態１にかかる情報処理装置の機能構成を模式的に示す図である。実施の形態１にかかる情報処理装置の機能構成を模式的に示す図である。実施の形態１にかかる情報処理装置における学習処理のフローチャートである。学習時間の増加のケースを示す図である。新規ノード挿入位置を示す図である。新規ノード挿入位置を示す図である。辺とノードの勝利回数との関係を示す図である。４つのノードがスター型に接続される例を示す図である。辺の削除を示す図である。辺の生成及び挿入を示す図である。辺学習時間の継承を示す図である。実施の形態１において実験に用いるために生成したデータを示す図である。生成したデータにノイズを与えた入力データを示す図である。特許文献２のＬＢ－ＳＯＩＮＮから負荷平衡化を除いたアルゴリズムによる入力データの学習結果を示す図である。特許文献２のＬＢ－ＳＯＩＮＮによる入力データの学習結果を示す図である。実施の形態１にかかる負荷平衡化を適用した入力データの学習結果を示す図である。実施の形態２において実験に用いるために生成したデータを示す図である。生成したデータにノイズを与えた入力データを示す図である。特許文献２のＬＢ－ＳＯＩＮＮから負荷平衡化を除いたアルゴリズムによる入力データの学習結果を示す図である。特許文献２のＬＢ－ＳＯＩＮＮによる入力データの学習結果を示す図である。実施の形態１にかかる負荷平衡化を適用した入力データの学習結果を示す図である。入力されたベクトルの分布を示す図である。実施の形態１で説明した負荷平衡化を適用後のノード分布を示す図である。実施の形態２にかかる負荷平衡化のイメージを示す図である。図１９の入力ベクトル分布の下で、実施の形態２にかかる負荷平衡化を適用した後のノード分布を示す図である。実施の形態２にかかる負荷平衡化を適用した入力データの学習結果を示す図である。実施の形態３にかかる情報処理装置の構成を模式的に示す図である。実施の形態３にかかる情報処理装置の動作のフローチャートである。実施の形態４にかかる情報処理装置の構成を模式的に示す図である。実施の形態４にかかる情報処理装置の動作のフローチャートである。ＬＢ－ＳＯＩＮＮにおける負荷平衡化による新規ノードの生成を模式的に示す図である。ＬＢ－ＳＯＩＮＮにおいてノイズが大きなデータを学習した場合での負荷平衡化による新規ノードの生成を模式的に示す図である。

以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一要素には同一の符号が付されており、必要に応じて重複説明は省略される。

実施の形態１
図１は、実施の形態１にかかる情報処理装置を実現するためのシステム構成の一例を示す図である。情報処理装置１００は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）などのコンピュータ１０により実現可能である。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。図１に示すように、コンピュータ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３を有し、これらがバス１４を介して相互に接続されている。尚、コンピュータを動作させるためのＯＳソフトなどは、説明を省略するが、この情報処理装置を構築するコンピュータも当然有しているものとする。

バス１４には、入出力インターフェイス１５も接続されている。入出力インターフェイス１５には、例えば、キーボード、マウス、センサなどよりなる入力部１６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部１７、ハードディスクなどより構成される記憶部１８、モデム、ターミナルアダプタなどより構成される通信部１９などが接続されている。

ＣＰＵ１１は、ＲＯＭ１２に記憶されている各種プログラム、又は記憶部１８からＲＡＭ１３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置１００の各部の処理を実行する。ＣＰＵ１１とは別にＧＰＵ（Graphics Processing Unitを設け、ＣＰＵ１１と同様に、ＲＯＭ１２に記憶されている各種プログラム、又は記憶部１８からＲＡＭ１３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置１００の各部の処理を実行してもよい。なお、ＧＰＵは、定型的な処理を並列的に行う用途に適しており、後述するニューラルネットワークにおける処理などに適用することで、ＣＰＵ１１に比べて処理速度を向上させることも可能である。ＲＡＭ１３には又、ＣＰＵ１１及びＧＰＵ２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

通信部１９は、例えば図示しないインターネットを介しての通信処理を行ったり、ＣＰＵ１１から提供されたデータを送信したり、通信相手から受信したデータをＣＰＵ１１、ＲＡＭ１３、記憶部１８に出力したりする。記憶部１８はＣＰＵ１１との間でやり取りし、情報の保存・消去を行う。通信部１９は又、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。

入出力インターフェイス１５はまた、必要に応じてドライブ２０が接続され、例えば、磁気ディスク２０Ａ、光ディスク２０Ｂ、フレキシブルディスク２０Ｃ、又は半導体メモリ２０Ｄなどが適宜装着され、それらから読み出されたコンピュータプログラムが必要に応じて記憶部１８にインストールされる。

続いて、本実施の形態にかかる情報処理装置１００における各処理について説明する。情報処理装置１００は、ｎ（ｎは、１以上の整数）次元ベクトルで記述されるノードが配置される非階層構造のニューラルネットワークが入力される。ニューラルネットワークは、例えばＲＡＭ１３などの記憶部に格納されている。

本実施の形態におけるニューラルネットワークは、入力ベクトルをニューラルネットワークに入力し、入力される入力ベクトルに基づいて、ニューラルネットワークに配置されるノードを自動的に増加させる自己増殖型ニューラルネットワークであり、自己増殖型ニューラルネットワークを用いることで、ノードを自動的に増加させることができる。

本実施の形態におけるニューラルネットワークは、非階層構造を有するものである。非階層構造を採用することで、他の層での学習を開始するタイミングを指定せずに追加学習を実施することができる。すなわち、オンラインでの追加学習を実施することができる。

入力データは、ｎ次元の入力ベクトルとして入力される。例えば、入力ベクトルは一時記憶部（例えばＲＡＭ１３）に格納され、一時記憶部に格納されたニューラルネットワークに対して順次入力される。

なお、以下では、簡略化のため、本実施の形態におけるニューラルネットワークを、単にネットワークとも称する。

以下、実施の形態１にかかる情報処理装置１００が行う負荷平衡化処理について説明する。負荷平衡化処理が行われるネットワークは、複数のノード及びノード間を接続する複数の辺により構成されるニューラルネットワークであり、例えば上述のＥ－ＳＯＩＮＮや、ＬＢ－ＳＯＩＮＮから負荷平衡化処理を除いたアルゴリズムによって作成される。

図２及び３に、実施の形態１にかかる情報処理装置１００の機能構成を模式的に示す。図４に、実施の形態１にかかる情報処理装置１００における処理のフローチャートを示す。ハードウェア上では、ソフトウェアと上記ＣＰＵ１１及びＧＰＵ２１の一方又は両方などのハードウェア資源とが協働して、図２及び３に示す機能構成及び図４に示す各処理が実現される。

情報処理装置１００は、勝者ノード検出部１、辺学習時間更新部２及び負荷平衡化部３を有し、これらが情報処理装置１００の基本的構成要素となる。なお、図３に示した学習処理部４及びクラスタリング部５は、情報処理装置１００に設けられてもよいし、情報処理装置１００とは別個に設けられてもよい。ここでは、学習処理部４及びクラスタリング部５は、情報処理装置１００に設けられるものとしている。

情報処理装置１００には、負荷平衡化処理の対象となる、学習により構築されたネットワークと、新たな入力ベクトルと、が入力される。具体的には、学習処理部４が入力ベクトルを順次学習し、所定のタイミングで、構築されたネットワークと、新たな入力ベクトルと、を情報処理装置１００に渡す。

情報処理装置１００に学習処理部４の結果が入力されると、勝者ノード検出部１は、入力ベクトルとニューラルネットワークのノードとに基づいて第１勝者と第２勝者とを検出する。次いで、辺学習時間更新部２は、第１勝者と第２勝者とを接続する辺の学習時間を所定値だけ増加させる。

入力ベクトルの入力総数が所定の単位数（λ）の整数倍となった場合、負荷平衡化部３は、ニューラルネットワークに含まれる辺のうちで辺学習時間が相対的に大きい辺を検出し、検出した辺上に位置する新たなノードをニューラルネットワークに挿入する。

その後、情報処理装置１００は、全ての入力ベクトルが入力済みとなったかを判定する。全ての入力ベクトルが入力済みでないと判定した場合には、新たな入力ベクトルが学習処理部４に入力され、処理が継続される。全ての入力ベクトルが入力済みと判定した場合には、クラスタリング部５が負荷平衡化後のネットワークのクラスタリング処理を行い、ネットワークを構成するノードが分類され、入力データに対する一連の処理が完了する。

以下、図４を参照して、情報処理装置１００における処理について具体的に説明する。

ステップＳ１
学習処理部４は、勝者ノード検出部１と協働して順次入力される入力ベクトルを学習して、ノードとノード間を接続する辺とによって構成される入力分布構造を示すニューラルネットワークを構成する。学習処理部４は、学習の結果得られたノードと辺とを、逐次、一時記憶部に格納する。

ステップＳ２
勝者ノード検出部１は、一時記憶部に格納された入力ベクトル及びノードを参照し、対象入力ベクトルεに最も距離が近いノードを第１勝者ノードａ１として検出し、対象入力ベクトルεに２番目に近いノードを第２勝者ノードａ２として検出し、その結果を一時記憶部に格納する。勝者ノード検出部１は、検出処理として、例えば、以下の式［１］及び［２］に示す処理を実行し、その結果を一時記憶部に格納する。

ここで、Ｄ（ε，ａ）は、所定の距離尺度を用いて算出される入力ベクトルεとノードａとの間の距離であり、Ａはノードの集合である。なお、ノード間の距離尺度としては、ユークリッド距離、コサイン距離、マンハッタン距離、フラクショナル距離など、任意の距離尺度を適用することができる。一般に、入力データが低次元である場合にユークリッド距離が用いられ、入力データが高次元である場合にコサイン距離、マンハッタン距離及びフラクショナル距離が用いられる。

なお、ここでは、勝者ノード検出部１と学習処理部４とを分けて記載しているが、勝者ノード検出部１は学習処理部４に含まれていてもよい。例えば、特許文献１及び２にかかるＥ－ＳＯＩＮＮやＬＢ－ＳＯＩＮＮによって入力データの学習を行う場合には、入力ベクトルの学習において勝者ノード検出が行われる。この場合には、勝者ノード検出部１は学習処理部４に含まれ、学習処理で行われた勝者ノード検出結果をそのまま利用することができる。

ステップＳ３
辺学習時間更新部２は、第１勝者ノードと第２勝者ノードとを接続する辺（勝利辺とも称する）の学習時間を所定値だけ増加させ、その結果を一時記憶部に格納する。また、辺学習時間更新部２は、勝利辺以外の、第１勝者ノードに接続する辺及び第２勝者ノードに接続する辺の学習時間を増加させ、その結果を一時記憶部に格納してもよい。

なお、勝利辺の寄与を重視するため、勝利辺以外の第１勝者ノードに接続する辺及び第２勝者ノードに接続する辺の学習時間の増加量は、勝利辺の増加量よりも少ないことが望ましい。また、勝利辺以外の第１勝者ノードに接続する辺及び第２勝者ノードに接続する辺の学習時間の増加量は、負の方向つまり減少方向とすることも可能である。図５に、学習時間の増加のケースを示す。図５では、勝者ノードをＷ、勝利辺ＥＷで勝者ノードＷと接続するノードをＮａ、勝利辺ではない辺Ｅで勝者ノードＷと接続するノードをＮｂとする。ケース１及び２は、勝利辺ＥＷの学習時間のみが増加する単純なケースであり、それぞれ学習時間が１及び２だけ増加している。ケース３は、勝利辺ＥＷ及び勝利辺以外の辺Ｅの学習時間が増加するケースであり、それぞれ学習時間が３及び１だけ増加している。ケース４は、勝利辺ＥＷ及び勝利辺以外の辺Ｅの学習時間がそれぞれ異なる方向（正及び負）に変化するケースであり、勝利辺ＥＷの学習時間が１だけ増加し、勝利辺以外の辺Ｅの学習時間が１だけ減少している。すなわち、勝利辺ＥＷの学習時間が勝利辺以外の辺Ｅの学習時間に対して増加すればよいのであって、ケース４のように、勝利辺以外の辺Ｅの学習時間については、減少させてもよいことが理解できる。

ステップＳ４
負荷平衡化部３は、入力数判定部３１、対象辺検出部３２、辺上ノード挿入部３３、対象辺削除部３４及び新規ノード辺接続部３５を有し、ステップＳ４１～Ｓ４５に基づき、負荷平行化を行う。

ステップＳ４１
入力数判定部３１は、入力ベクトルの入力数が所定数に到達したかを判定する。入力ベクトルの入力数が所定数に到達した場合には処理をステップＳ４２に進め、入力ベクトルの入力数が所定数に到達していない場合には処理をステップＳ５へ進める。

本実施の形態では上述の入力数判定をステップＳ４１としてステップＳ４の一部として扱ったが、入力数判定はステップＳ４とは別の処理としてもよい。例えば、後述する実施の形態３及び４においては、入力数判定（図２９のステップＳ２２、図３１のステップＳ７０及びＳ７２）をステップＳ４とは別の処理としており、図２９及び図３１においては、ステップＳ４はステップＳ４２～Ｓ４５を含むものとなっている。

ステップＳ４２
対象辺検出部３２は、一時記憶部に格納された辺の辺学習時間を参照し、辺学習時間が相対的に大きな辺を検出し、その結果を一時記憶部に格納する。以下では、対象辺検出部３２が検出した辺を対象辺と称する。対象辺検出部３２は、例えば、所定の閾値ＴＨ１よりも大きな辺学習時間を有する辺を検出し、その結果を一時記憶部に格納する。閾値ＴＨ１は正の任意の値とすることができ、例えば、一時記憶部に格納された全ての辺の辺学習時間の平均値Ｔ_ＡＶＥに所定の係数ｃを乗じた値（ＴＨ１＝ｃ・Ｔ_ＡＶＥ）としてもよい。なお、閾値ＴＨ１よりも大きな辺学習時間を有する全ての辺を対象辺とすることも可能であるが、その一部のみを対象辺としてもよい。例えば、閾値ＴＨ１よりも大きな辺学習時間を有する辺の中で、辺学習時間が大きいものから順に所定数の辺だけを対象辺としてもよい。

また、ノード及び辺をクラス分類して決定したクラスごとに相対的に大きな辺を検出してもよい。例えば、閾値ＴＨ１をそれぞれのクラスごとに用意して、対象辺を各々のクラスから検出してもよい。なお、クラス分類の方法についてはステップＳ６において後述する。

ステップＳ４３
辺上ノード挿入部３３は、検出された対象辺上の所定の位置の新規ノードを生成してネットワーク挿入し、その結果を一時記憶部に格納する。以下では、新規ノードが挿入される対象辺上の所定の位置を、新規ノード挿入位置と称する。新規ノード挿入位置は、様々な位置としてもよいが、例えば、図６に示す様に、対象辺の中点としてもよい。

上述では、新規ノード挿入位置を辺の中点としたが、対象辺の両端の２つのノードの勝利回数に基づいて新規ノード挿入位置を決定してもよい。以下、具体的に説明する。対象辺の両端のノードをＮ１及びＮ２とし、それぞれの勝利回数をＶＮ１及びＶＮ２、対象辺の長さをＬとする。この場合、対象辺上において、ノードＮ１からＬ（ＶＮ２）／（ＶＮ１＋ＶＮ２）だけ離隔した位置、又は、ノードＮ２からＬ（ＶＮ１）／（ＶＮ１＋ＶＮ２）だけ離隔した位置、すなわち勝利回数に基づいた重心位置が、新規ノード挿入位置となる。例えば、図７に示すように、ノードＮ１の勝利回数が２０、ノードＮ２の勝利回数が８０の場合、ノードＮ１から４／５・Ｌだけ離隔した位置、すなわち、ノードＮ２から１／５・Ｌだけ離隔した位置が新規ノード挿入位置となる。

なお、勝利回数とは、あるノードにおいて、そのノードが勝者に選ばれた回数を意味する値であり、勝者とは例えば、第１勝者である。図８に、辺とノードの勝利回数との関係を示す。辺ＥＡの両端には、ノードＮｉ及びノードＮｊがそれぞれ接続されている。このとき、ノードＮｉの勝利回数ＶＮｉ＿Ａは、辺ＥＡが対象辺になった場合にノードＮｉが勝者になった回数を示す。同様に、ノードＮｊの勝利回数ＶＮｊ＿Ａは、辺ＥＡが対象辺になった場合にノードＮｊが勝者になった回数を示す。このように、ノードの勝利回数は、そのノードに接続される辺のそれぞれに対して保持されるものであって、ノードが複数の辺に接続されている場合には、各辺が対象辺となった場合の勝利回数を保持することとなる。

以下、具体例を示して説明する。図９に、４つのノードがスター型に接続される例を示す。この例では、ノードＮｉが、辺ＥＡ、ＥＢ及びＥＣによって、それぞれノードＮｊ、Ｎｋ及びＮｍと接続されている。この場合、ノードＮｊ、Ｎｋ及びＮｍは、それぞれ、接続する辺ＥＡ、ＥＢ及びＥＣが対象辺となった場合の勝利回数ＶＮｊ＿Ａ、ＶＮｋ＿ＡＢ及びＶＮｍ＿Ｃを保持することとなる。これに対し、中央のノードＮｉには３本の辺ＥＡ、ＥＢ及びＥＣが接続されるので、各辺についての勝利回数ＶＮｉ＿Ａ、ＶＮｉ＿Ｂ及びＶＮｉ＿Ｃを保持することとなる。よって、辺の近傍への入力データに偏りがある場合、例えば、辺ＥＡ近傍の入力データが多く、辺ＥＢ及びＥＣ近傍の入力データが少ない場合、勝利回数ＶＮｉ＿Ａが勝利回数ＶＮｉ＿Ｂ及びＶＮｉ＿Ｃよりも大きな値となるので、こうした入力データの偏りを勝利回数に反映することが可能となる。これにより、入力データの分布に対してより忠実な新規ノードを生成することができる。

しかしながら、これに限らず、使用状況に応じて適宜変更してもよい。例えば、特許文献２に記載されるノード学習時間のように、各ノードに固有の勝利回数を使用してもよい。この場合は、対象辺にかかわらず、同じノードは一つの勝利回数を有するので、処理がよりシンプルになり、処理の負荷を抑制できる。また、勝利回数は第２勝者の回数を考慮してもよいことは言うまでもない。

ステップＳ４４
対象辺削除部３４は、新規ノードの挿入後、図１０に示すように、ノードＮ１とノードＮ２とを接続する対象辺をニューラルネットワークから削除し、その結果を一時記憶部に格納する。例えば、対象辺削除部３４は、一時記憶部に格納される以下の式［３］に示す操作を実行して、その結果を一時記憶部に格納する。ここで、Ｃは辺集合を示し、例えば（Ｎ１，Ｎ２）はノードＮ１とノードＮ２とを接続する辺を示す。

ステップＳ４５
新規ノード辺接続部３５は、図１１に示すように、削除した対象辺によって接続されていた２つのノードＮ１及びＮ２のそれぞれと、挿入された新規ノードＮとの間を接続する２本の辺を生成し、その結果を一時記憶部に格納する。例えば、新規ノード辺接続部３５は、一時記憶部に格納される以下の式［４］に示す操作を実行して、その結果を一時記憶部に格納する。

新規ノードに接続される２本の辺は、削除した対象辺の学習時間を所定のルールの下で引き継いでもよい。例えば、対象辺の学習時間を、新規に挿入した２本の辺の学習時間に均等に分配してもよい。

また、例えば、対象辺の両端の２つのノードの勝利回数に基づいて、対象辺の学習時間を、新規に挿入した２本の辺の学習時間に分配してもよい。上述と同様に、対象辺の両端のノードをＮ１及びＮ２とし、それぞれの勝利回数をＶＮ１及びＶＮ２とする。また、対象辺の学習時間をＳＴとする。この場合、図１２に示すように、ノードＮ１と新規ノードとを結ぶ辺Ｅ１の学習時間をＳＴ・ＶＮ１／（ＶＮ１＋ＶＮ２）とし、ノードＮ２と新規ノードとを結ぶ辺Ｅ２の学習時間をＳＴ・ＶＮ２／（ＶＮ１＋ＶＮ２）としてもよい。例えば、図１０に示すように、ノードＮ１の学習時間が２０、ノードＮ２の勝利回数が８０、対象辺の学習時間が１００の場合、ノードＮ１と新規ノードとを結ぶ辺Ｅ１の学習時間ＳＴ１は２０、ノードＮ２と新規ノードとを結ぶ辺Ｅ２の学習時間ＳＴ２は８０となる。

ステップＳ５
その後、例えばクラスタリング部５は、入力ベクトルの処理が完了したか、すなわち、全ての入力ベクトルが入力済みとなったかを判定する。一時記憶部に格納された与えられた入力ベクトルεの総数が、全入力ベクトルの総数と一致しない場合はステップＳ１に戻り、次の入力ベクトルεを処理する。一方、入力ベクトルεの総数が全入力ベクトルの総数と一致した場合には以下のステップＳ６を実行する。なお、終了判定の方法はこれに限定されず、ユーザーによって終了の指示が与えられるものとしてもよい。

ステップＳ６
クラスタリング部５は、一時記憶部に格納された、処理が完了した負荷平衡化済みのノード及び辺を参照し、クラス分類を行う。ネットワークを構成するノードのクラス分類は、各種のクラス分類手法を適用可能であり、例えば非特許文献２のＬＢ－ＳＯＩＮＮと同様の処理を行ってもよい。

なお、本実施の形態では、ステップＳ５において処理が終了したと判定された場合にステップＳ６のクラス分類を行うものとして説明したが、これは例示に過ぎず、他の任意のタイミングで行ってもよい。例えば、ステップＳ４の負荷平衡化を行った後のタイミングで実行してもよいし、入力ベクトルの入力総数が所定の単位数（λ）とは異なる他の所定の単位数（λ’）の整数倍となった場合に実行するなどしてもよい。負荷平衡化時にノード及び辺がクラス分類されていると、前述したように、クラスごとに負荷平衡化を実行することもできる。

続いて、実施の形態１にかかる情報処理装置１００における負荷平衡化処理の効果について、実験結果を参照して説明する。ここでは、図１３に示すように、２次元の入力ベクトルが円弧状に分布した部分を２つ合わせたデータを生成し、図１４に示すように、生成したデータにノイズを与えたものを入力データとして用いた。

図１５に、特許文献２のＬＢ－ＳＯＩＮＮから負荷平衡化を除いたアルゴリズムによる入力データの学習結果を示す。この場合には、負荷平衡化を行っていないため、２つのクラスタの区別ができていない。

次いで、図１６に、特許文献２のＬＢ－ＳＯＩＮＮによる入力データの学習結果を示す。この場合には、上述した通りノイズの影響のため、ＬＢ－ＳＯＩＮＮの負荷平衡化によって、クラスタ間にノードが生成されて過度に密集してしまい、２つのクラスタの区別ができていない。

次いで、図１７に、実施の形態１にかかる負荷平衡化を適用した入力データの処理結果を示す。この場合には、辺学習時間が相対的に大きい辺に基づいて負荷平衡化を行っているため、学習時間が小さな辺上、すなわちクラスタ間でのノード生成が抑制され、入力ベクトルの分布がより正確に反映されている。また、クラスタ間のノードが抑制されることで、クラスタ内部のノードとクラスタ間のノードとをつなぐ辺の生成も抑制され、その結果、クラスタ間を接続する辺が減少している。すなわち、実施の形態１にかかる情報処理装置１００によれば、入力ベクトルの分布をより正確に表現できることが理解できる。

実施の形態２
実施の形態２にかかる負荷平衡化について説明する。実施の形態１では、辺学習時間が相対的大きな辺上に新規ノードを追加して負荷平衡化を行った。これに対し、本実施の形態では、入力データの分布をより正確に反映するため、辺学習時間及び長さの両方が相対的大きな辺上に新規ノードを追加して負荷平衡化を行う。

以下、実験結果を参照して説明する。ここでは、図１８に示すように、中心部に密集した入力ベクトルと、中心部を囲んで環状に分布した入力ベクトルと、からなるデータを生成し、図１９に示すように、生成したデータにノイズを与えたものを入力データとして用いた。

図２０に、特許文献２のＬＢ－ＳＯＩＮＮから負荷平衡化を除いたアルゴリズムによる入力データの学習結果を示す。この場合には、負荷平衡化を行っていないため、入力ベクトルの密度をノードで表現することができず、中心部及び周囲の環状部の両方において一様にノードが存在してしまい、クラスタ間が多数の辺で接続されてしまっている。その結果、入力ベクトルの分布が正確に表現できていないことが理解できる。

図２１に、特許文献２のＬＢ－ＳＯＩＮＮによる入力データの学習結果を示す。この場合には、中心部のノードの密度が表現はされているものの、過度に密集しすぎてしまい、かつ、ノイズの影響でクラスタ間が多数の辺で接続されてしまい、やはりクラスタが分離できていないことが理解できる。

次いで、図２２に、実施の形態１にかかる負荷平衡化を適用した入力データの処理結果を示す。この場合には、図２２のＬＢ－ＳＯＩＮＮと比較して、中心部のノードの密集が抑制されている。しかし、依然として中心部でのノードの過度の密集が認められる。また、辺学習時間が相対的に大きい辺に基づいて負荷平衡化を行っている。そのため、学習時間が小さな辺上でのノード生成が抑制され、ノードの疎密を表現できている。しかしながら、中心部ではノードが過度に生成されており、そのノードの多さのためにノイズなどによって環状部と中心部とを接続する辺が生成される確率が高くなる。その結果、クラスタ間を接続する辺が１０本程度残存している。

実施の形態１におけるように、辺学習時間が相対的に大きな辺上に新規ノードを追加して負荷平衡化を行うと、新規ノードが生成された辺は削除され、削除された辺よりも短い辺が生成される。また、辺学習時間は入力ベクトルの分布密度が大きな場所で増加しやすいので、入力ベクトルの学習及び付加平衡化処理を進めると、特に入力ベクトルの分布密度が大きな場所において、負荷並行化処理で生成された辺で学習時間が大きくなって、さらなる負荷並行化処理を実行してしまう傾向が有る。すると、負荷平衡化によって、以前に生成された短い辺上にさらに新規ノードが生成され、かつ、さらに短い辺が生成されてしまう。その結果、図２２に示すように、中心部でのノードの密集が生じたものと理解できる。

図２３に、入力されたベクトルの分布を示す。図２３の横軸は、入力ベクトルのいずれかの成分を示している。図２３では、ノイズが大きなデータを想定しており、１つのクラスタ中に、左側の大きなピークで表されたサブクラスタＳＣ１と、右側の小さなピークで表されたサブクラスタＳＣ２とが存在している。このように分布した入力ベクトルを学習して生成されたノード及び辺に、実施の形態１で説明した負荷平衡化を適用すると、最もノード密度が大きいサブクラスタＳＣ１を中心（破線部）として、負荷平衡化が実行される。

図２４に、実施の形態１で説明した負荷平衡化を適用後のノード分布を示す。図２４に示す様に、左側のサブクラスタＳＣ１において負荷平衡化が多数行われた結果、必要以上のノードが生成されてしまい、ノード密度が局所的に大きくなる。その結果、ノード分布に偏りが生じ、又、不必要なノード生成によって処理スピードの低下が生じてしまう。

これに対し、本実施の形態では、辺学習時間だけでなく、辺の長さをも評価することで、過度に短い辺上での新規ノード生成を防止することで、平衡化処理によりノードの密集を緩和する。以下、実施の形態２にかかる負荷平衡化における対象辺検出（ステップＳ４２）について説明する。

対象辺検出部３２は、一時記憶部に格納された辺の辺学習時間を参照し、辺学習時間が相対的に大きな辺を検出し、その結果を一時記憶部に格納する。また、対象辺検出部３２は、一時記憶部に格納された辺学習時間が相対的に大きな辺を参照し、長さが相対的に長い辺を検出する。以下では、対象辺検出部３２が検出した、辺学習時間が相対的に大きく、かつ、長さが相対的に長い辺を対象辺と称する。

対象辺検出部３２は、実施の形態１と同様に、例えば、所定の閾値ＴＨ１よりも大きな辺学習時間を有する辺を検出し、その結果を一時記憶部に格納する。閾値ＴＨ１は正の任意の値とすることができ、例えば、一時記憶部に格納された全ての辺の辺学習時間の平均値Ｔ_ＡＶＥに所定の係数ｃを乗じた値（ＴＨ１＝ｃ・Ｔ_ＡＶＥ）としてもよい。なお、閾値ＴＨ１よりも大きな辺学習時間を有する全ての辺を対象辺とすることも可能であるが、その一部のみを対象辺としてもよい。例えば、閾値ＴＨ１よりも大きな辺学習時間を有する辺の中で、辺学習時間が大きいものから順に所定数だけを対象辺としてもよい。

次いで、対象辺検出部３２は、例えば、所定の閾値ＴＨ１よりも大きな辺学習時間を有する辺から、閾値Ｌ_ＴＨよりも長い辺を検出し、その結果を一時記憶部に格納する。閾値Ｌ_ＴＨは正の任意の値とすることができ、例えば、一時記憶部に格納された全ての辺の長さの平均Ｌ_ＡＶＥに所定の係数ｄを乗じた値（Ｌ_ＴＨ＝ｄ・Ｌ_ＡＶＥ）としてもよい。

また、ノード及び辺をクラス分類して決定したクラスごとに、相対的に大きく、かつ、長さが相対的に長い辺を検出してもよい。例えば、閾値ＴＨ１及び閾値Ｌ_ＴＨをそれぞれのクラスごとに用意して、対象辺を各々のクラスから検出してもよい。

本実施の形態にかかる負荷平衡化の効果について説明する。図２５に、実施の形態２にかかる負荷平衡化のイメージを示す。実施の形態１にかかる負荷平衡化では、負荷平衡化の対象となる辺を検出するにあたり、辺学習時間のみを参照し、辺の長さは参照していない。そのため、図２５に示すように、辺学習時間が閾値よりも大きいが、長さが閾値よりも小さな辺も対象辺として検出されてしまう（図２５の領域Ａ１＋Ａ２）。その結果、対象辺が増加してしまい、新規ノードの過度な密集が生じる。

これに対し、本実施の形態では、負荷平衡化の対象となる辺を検出するにあたり、辺学習時間だけではなく辺の長さも参照しているため、図２５に示すように、辺学習時間が閾値よりも大きく、かつ、長さが閾値よりも大きな辺だけが対象辺として検出される（図２５の領域Ａ１）。その結果、実施の形態１と比べて、短い辺が対象辺として検出されることを防止できる。図２６に、図２０の入力ベクトル分布の下で、実施の形態２にかかる負荷平衡化を適用した後のノード分布を示す。図２７に、実施の形態２にかかる負荷平衡化を適用した入力データの処理結果を示す。図２６に示す様に、短い辺が多く含まれる左側のサブクラスでの負荷平衡化の処理が抑制され、新規ノードの密集を防止できる。

本実施の形態による負荷平衡化を行うことで、図２７に示すように、図２２と比較して、中心部のノードの密集が大幅に抑制され、ノードの密度の偏りが緩和されている。かつ、クラスタ間の辺の数も大幅に減少し、入力データの分布をより正確に学習できることが理解できる。

実施の形態３
実施の形態３では、実施の形態１にかかる負荷平衡化を行う場合の処理の具体例として、特許文献２のＬＢ－ＳＯＩＮＮの負荷平衡化を、実施の形態１にかかる負荷平衡化に置き換えた例について説明する。なお、実施の形態３では、ニューラルネットワークの構成処理だけでなく負荷並行化処理も含めた一連の処理に対して、「学習」という用語を使用する。

図２８に、実施の形態３にかかる情報処理装置３００の構成を模式的に示す。学習処理部４は、入力情報取得部４１、ノード密度更新判定部４２、ノード密度算出部４３、ノード挿入判定部４４、ノード挿入部４５、辺接続判定部４６、辺接続部４７、勝者ノード学習時間算出部４８、重みベクトル更新部４９及び老齢辺削除部５０を有する。クラスタリング部５は、サブクラスタ決定部５１、ノイズノード削除部５２、学習終了判定部５３及びクラス決定部５４を有する。また、情報処理装置３００は、出力情報表示部６を更に有する。

また、本実施の形態では、特許文献２の＜３：新たな距離尺度の組み合わせの枠組み＞で記載されている手法を用いている。具体的には、特許文献２の式１４に示した距離尺度を使用しており、さらに具体的には式１７を使用している。なお、特許文献２で記載されるように、この距離尺度を使用するためには、各距離尺度の正規化のために使用されるノード間の最小距離値及び最大距離値が必要となる。ノード間の最小距離値及び最大距離値はネットワークに新たな入力ベクトルが入力されると変化するため、この点にも考慮する。考慮する方法は後述する。

また、本実施の形態では、特許文献２の＜５：新たなノード密度の定義およびその算出方法＞で記載されている手法を用いている。具体的には、式２３で記載されているノードｉについての隣接ノードからの平均距離のベクトルｄｉ、式２４で記載されているノード密度のポイント値のベクトルｐｉ、式２５で記載されているノードiのノード密度の累積ポイント値のベクトルｓｉ及び式２６で記載されているノード密度ｈｉを用いている。

図２９に、実施の形態３にかかる情報処理装置３００の動作のフローチャートを示す。

ステップＳ１１
入力情報取得部４１は、情報処理装置３００に入力として与えられる情報として、ｎ次元の入力ベクトルを取得し、取得した入力ベクトルを一時記憶部（例えばＲＡＭ１３）に格納し、一時記憶部に格納されたニューラルネットワークに対して順次入力する。具体的には、入力情報取得部４１は、初期化処理として、ノード集合Ａを空集合、辺集合Ｃ⊂Ａ×Ａを空集合としてそれぞれ初期化し、その結果を一時記憶部に格納する。また、準初期化処理として、ノード集合Ａに含まれるノードの個数が１つ以下である場合は、ノード数が２つになるよう入力ベクトルをランダムに取得し、それらに対応するノードをノード集合Ａに加え、その結果を一時記憶部に格納する。次いで、入力処理として、新しい入力ベクトルε∈Ｒ^ｎを入力し、その結果を一時記憶部に格納する。なお、初期化処理は処理を開始した直後のみ一度実行され、その後は実行されない。準初期化処理は、ノード集合Ａに含まれるノードの個数が１つ以下である場合のみ実行され、それ以外の場合には実行されない。例えば、最初の入力ではなく、ノード集合Ａに２つ以上ノードが存在する場合は、入力処理のみが実行される。

ステップＳ１２
ノード密度更新判定部４２は、一時記憶部に格納されたノード、各距離尺度に基づくノード間の最小距離値及び最大距離値について、各距離尺度に基づくノード間の最小距離値及び最大距離値のうちで少なくとも１つの値が変化したか否かを確認し、少なくとも１つの値が変化した場合にはノード密度を更新すると判定し、その結果を一時記憶部に格納する。なお、この処理及びステップＳ１３の処理は、上記で示したように、ノード間の最小距離値および最大距離値がネットワークに新たな入力ベクトルが入力されると変化するため、その点を考慮したものである。

ステップＳ１３
一時記憶部に格納された判定の結果、ノード密度を更新する場合には、ノード密度算出部４３は、一時記憶部に格納されたノード、ノード密度の累積ポイント値のベクトル、ノードの学習時間、各距離尺度に基づくノード間の最小距離値及び最大距離値について、ノード密度の累積ポイント値のベクトル、ノードの学習時間、各距離尺度に基づくノード間の最小距離値及び最大距離値に基づいて、ノード集合Ａに含まれるノードｉ∈Ａのノード密度の累積ポイント値のベクトルｓ_ｉ ^→を再び算出して更新し、更新したノードｉのノード密度の累積ポイント値のベクトルｓ_ｉ ^→を用いてノードｉのノード密度ｈ_ｉを再び算出し、その結果を一時記憶部に格納する。ノード密度算出部４３は、例えば、特許文献２に記載の式（２７）～（３０）及び式（２６）に示す算出処理を実行することによって、ノードｉのノード密度の累積ポイント値のベクトルｓ_ｉ ^→及びノードｉのノード密度ｈ_ｉを再び算出して更新する。

ステップＳ２
ステップＳ１２においてノード密度更新を行わないと判定された場合、及び、ステップＳ１３においてノード密度を算出した後、勝者ノード検出部１は、実施の形態１にかかる情報処理装置１００における場合と同様に、第１勝者ノード及び第２勝者ノードを検出し、その結果を一時記憶部に格納する。

ステップＳ１４
ノード挿入判定部４４は、一時記憶部に格納された対象入力ベクトル、ノード、後述するノードの類似度閾値を参照して、ノード挿入を実行するか否かを判定する。以下、具体的に説明する。

ノード挿入判定部４４は、一時記憶部に格納された第１勝者ノード及び第２勝者ノードを含むノードを参照して、第１勝者ノード又は第２勝者ノードを注目するノードｉとして、類似度閾値Ｔ_ｉを算出する。まず、ノード挿入判定部４４は、ノードｉの隣接ノードが存在するか否かを判定し、その結果を一時記憶部に格納する。

ノード挿入判定部４４は、一時記憶部に格納された判定の結果、ノードｉの隣接ノードｊが存在する場合には、式［５］に示すように、隣接ノードｊのうちでノードｉからの距離が最大であるノードまでの距離を、類似度閾値とＴ_ｉして算出し、その結果を一時記憶部に格納する。ここで、Ｄ（ｉ，ｊ）は、上述の距離尺度を用いて算出されるノードｉとノードｊとの間の距離である。

また、一時記憶部に格納された判定の結果、ノードｉの隣接ノードが存在しない場合には、式［６］に示すように、ノード挿入判定部４４は、ノードｉ以外のノードｊのうちでノードｉからの距離が最小であるノードまでの距離を類似度閾値Ｔ_ｉとして算出し、その結果を一時記憶部に格納する。

ノード挿入判定部４４は、上述したように第１勝者ノードａ_１の類似度閾値Ｔ_ａ１及び第２勝者ノードａ_２の類似度閾値Ｔ_ａ２を算出し、その結果を一時記憶部に格納する。

次いで、ノード挿入判定部４４は、入力ベクトルεと第１勝者ノードａ_１との間の距離Ｄ（ε，ａ_１）が第１勝者ノードａ_１の類似度閾値Ｔ_ａ１より大きい（Ｄ（ε，ａ_１）＞Ｔ_ａ１）、又は、入力ベクトルεと第２勝者ノードａ_２との間の距離Ｄ（ε，ａ_２）が第２勝者ノードａ_２の類似度閾値Ｔ_ａ２より大きい（Ｄ（ε，ａ_２）＞Ｔ_ａ２）場合には、ノード挿入を実行すると判定し、そうでない場合には、ノード挿入を実行しないと判定し、その結果を一時記憶部に格納する。

ステップＳ１５
ステップＳ１４においてノード挿入を行うと判定した場合、ノード挿入部４５は、一時記憶部に格納されたノード挿入判定部４４での判定結果を参照し、ノード挿入を実行すると判定された場合、対象入力ベクトルεが新たにネットワークに追加されるべきノードであるものとして、対象入力ベクトルεの成分と同一の成分を重みベクトルとして有する挿入ノードを生成し、生成した挿入ノードをネットワークに挿入し、その結果を一時記憶部に格納する。その後、処理をステップＳ５へ進める。

ステップＳ１６
ステップＳ１５においてノード挿入を行わないと判定した場合、辺接続判定部４６は、一時記憶部に格納されたノード及びノードのサブクラスタラベルを参照し、ノードのサブクラスタラベルに基づいて第１勝者ノード及び第２勝者ノードが属するサブクラスタをそれぞれ判定し、その結果を一時記憶部に格納する。ここで、ノードのサブクラスタラベルとは、そのノードが属するサブクラスタを示すラベル情報のことをいう。クラスタとは、混合クラスに含まれるノードのうち、辺によって接続されるノードの集合である。サブクラスタは、同一のサブクラスタラベルが付与されたノードからなるクラスタの部分集合である。

一時記憶部に格納された判定の結果、第１勝者ノード及び第２勝者ノードの少なくとも１つがいずれのサブクラスタにも属していない場合、又は、第１勝者ノード及び第２勝者ノードが同一のサブクラスタに属している場合、辺接続判定部４６は、第１勝者ノード及び第２勝者ノード間に辺を接続するものと判定し、その結果を一時記憶部に格納する。

一時記憶部に格納された判定の結果、第１勝者ノード及び第２勝者ノードが互いに異なるサブクラスタに属する場合（例えば、第１勝者ノードがサブクラスタＳＣ１に属し、かつ、第２勝者ノードがサブクラスタＳＣ２に属する場合）、辺接続判定部４６は、第１勝者ノードを含むサブクラスタの平均ノード密度を基準とする第１勝者ノードについてのノード密度の条件（以下の式［７］）、及び、第２勝者ノードを含むサブクラスタの平均ノード密度を基準とする第２勝者ノードについてのノード密度の条件（以下の式［８］）のうちの少なくとも１つを満たすか否かを判定し、その結果を一時記憶部に格納する。

式［７］及び式［８］において、ｈ_ａ１は第１勝者ノードのノード密度を示し、ｈ_ａ２は第２勝者ノードのノード密度を示す。ｍｉｎ（ｈ_ａ１，ｈ_ａ２）は、第１勝者ノードのノード密度ｈ_ａ１及び第２勝者ノードのノード密度ｈ_ａ２のうちで最小のノード密度を示す。ｈ_ＳＣ１は、第１勝者ノードａ_１が属するサブクラスタＳＣ１に含まれるノードのうちで最大のノード密度を有するノードのノード密度を示す。ｈ_ＳＣ２は、第２勝者ノードａ_２が属するサブクラスタＳＣ２に含まれるノードのうちで最大のノード密度を有するノードのノード密度を示す。ｈｍ_ＳＣ１は、サブクラスタＳＣ１に含まれる全ノードの平均ノード密度を示す。ｈｍ_ＳＣ２は、サブクラスタＳＣ２に含まれる全ノードの平均ノード密度を示す。θは、ユーザーによって予め適切な値が決定されて設定されるパラメータを示し、その値は［１，２］の範囲内において定められる。また、θは許容度の要素のパラメータであり、１つのクラスに含まれるサブクラスタ間の差異をどの程度許容するのかを決定するために使用される。θが増加するにつれてこの許容度はより小さくなる。

式［７］に示す第１勝者ノードａ_１についてのノード密度の条件は、第１勝者ノードａ_１のノード密度ｈ_ａ１及び第２勝者ノードａ_２のノード密度ｈ_ａ２のうちの最小のノード密度が、第１勝者ノードａ_１を含むサブクラスタＳＣ１の平均ノード密度ｈｍ_ＳＣ１を基準として、サブクラスタＳＣ１の平均ノード密度ｈｍ_ＳＣ１に対する最大ノード密度ｈ_ＳＣ１の比率に応じて算出する閾値よりも大きいか否かを判定する条件である。また、式［８］に示す第２勝者ノードａ_２についてのノード密度の条件は、第１勝者ノードａ_１のノード密度ｈ_ａ１及び第２勝者ノード_ａ２のノード密度ｈ_ａ２のうちの最小のノード密度が、第２勝者ノードａ_２を含むサブクラスタＳＣ２の平均ノード密度ｈｍ_ＳＣ２を基準として、サブクラスタＳＣ２の平均ノード密度ｈｍ_ＳＣ２に対する最大ノード密度ｈ_ＳＣ２の比率に応じて算出する閾値よりも大きいか否かを判定する条件である。

辺接続判定部４６は、式［７］及び式［８］の少なくとも１つを満たす場合、第１勝者ノード及び第２勝者ノード間に辺を接続するものと判定し、そうでない場合、第１勝者ノード及び第２勝者ノード間に辺を接続しないと判定し、その結果を一時記憶部に格納する。辺を接続しないと判定した場合、辺接続部４７は、第１勝者ノード及び第２勝者ノード間に辺を接続せず（第１勝者ノード及び第２勝者ノード間に辺が存在する場合には辺を削除して）、その結果を一時記憶部に格納して、処理をステップＳ２０へ進める。

ステップＳ１７
一時記憶部に格納されたステップＳ１６での判定の結果、辺を接続すると判定した場合、辺接続部４７は、第１勝者ノード及び第２勝者ノード間に辺を接続し、その結果を一時記憶部に格納する。また、すでに第１勝者ノードと第２勝者ノードとの間に辺が存在している場合には、その辺を維持する。また、辺接続部４７は、上記処理で接続すると判断された辺について、その辺の年齢を０に設定し、その結果を一時記憶部に格納する。

ステップＳ１８
ノード密度算出部４３は、一時記憶部に格納されたノード、各距離尺度に基づくノード間の最小距離値及び最大距離値、隣接ノードからのノードの平均距離のベクトル、ノードのノード密度のポイント値のベクトル、ノード密度の累積ポイント値のベクトル、ノード密度について、第１勝者ノードａ_１をノードｉとして、各距離尺度に基づく隣接ノードからのノードｉの距離と、各距離尺度に基づくノード間の最小距離値及び最大距離値と、に基づいてノードｉについての隣接ノードからの平均距離のベクトルｄ_ｉ ^→を算出し、当該算出した隣接ノードからの平均距離のベクトルｄ_ｉ ^→に基づいて第１勝者ノードａ_１のノード密度のポイント値のベクトルｐ_ｉ ^→を算出し、当該算出した第１勝者ノードａ_１のノード密度のポイント値のベクトルｐ_ｉ ^→に基づいてノード密度の累積ポイント値のベクトルｓ_ｉ ^→を算出し、当該算出した第１勝者ノードａ_１のノード密度の累積ポイント値のベクトルｓ_ｉ ^→に基づいて第１勝者ノードａ_１のノード密度ｈ_ｉを算出し、その結果を一時記憶部に格納する。ノード密度算出部４３は、例えば、一時記憶部に格納される、特許文献２に記載の式（２４）～（２６）に示す算出処理を実行することによって、ノードｉのノード密度の累積ポイント値のベクトルｓ_ｉ ^→及びノードｉのノード密度ｈ_ｉを算出する。

ステップＳ１９
勝者ノード学習時間算出部４８は、一時記憶部に格納された第１勝者ノードａ_１の学習時間Ｍ_ａ１を所定の値増加し、その結果を一時記憶部に格納する。勝者ノード学習時間算出部４８は、例えば、Ｍ_ａ１（ｔ＋１）＝Ｍ_ａ１（ｔ）＋１という処理を実行することによって、第１勝者ノードａ_１の学習時間Ｍ_ａ１を１増加し、その結果を一時記憶部に格納する。

ステップＳ２０
重みベクトル更新部４９は、一時記憶部に格納されたノード及びノードの重みベクトルについて、第１勝者ノードａ_１及びその隣接ノードの重みベクトルをそれぞれ入力ベクトルεに更に近づけるように更新し、その結果を一時記憶部に格納する。重みベクトル更新部４９は、例えば特許文献２に記載の式（３３）及び式（３４）を用いて、第１勝者ノードａ_１の重みベクトルＷ_ａ１についての更新量ΔＷ_ａ１及び第１勝者ノードａ_１の隣接ノードｊの重みベクトルＷ_ｓ１についての更新量ΔＷ_ｊを学習時間Ｍ_ａ１に基づいて算出し、更新量ΔＷ_ａ１を第１勝者ノードａ_１の重みベクトルＷ_ａ１に加算し、更新量ΔＷ_ｊを隣接ノードｊの重みベクトルＷ_ｓ１に加算して、この結果を一時記憶部に格納する。

ステップＳ２１
老齢辺削除部５０は、一時記憶部に格納されたノード、ノード間の辺、辺の年齢について、第１勝者ノードと直接的に接続される全ての辺の年齢を所定の値増加し、その結果を一時記憶部に格納する。また、老齢辺削除部５０は、一時記憶部に格納された辺について、予め設定され一時記憶部に格納された所定の閾値を超えた年齢を有する辺を削除し、その結果を一時記憶部に格納する。

ステップＳ３
辺学習時間更新部２は、実施の形態１と同様に、辺学習時間更新を行う。辺学習時間更新の詳細については、実施の形態１と同様であるので、説明を省略する。ただし、勝利辺が存在しない場合は、辺学習時間の更新は行わない。

ステップＳ２２
入力数判定部３１は、実施の形態１にかかる情報処理装置１００におけるステップＳ４１同様に、一時記憶部に格納された与えられた入力ベクトルの総数について、与えられた入力ベクトルの総数が予め設定され一時記憶部に格納された所定の単位数の倍数であるか否かを判定し、その結果を一時記憶部に格納する。そして、入力ベクトルの入力数が所定の単位数の倍数である場合には処理をステップＳ４へ進め、入力ベクトルの入力数が所定の単位数の倍数でない場合には処理をステップＳ５へ進める。

ステップＳ４
その後の負荷平衡化については、実施の形態１と同様であるので、説明を省略する。ただし、ステップＳ４１に対応する処理は上記のステップＳ２２で実行しているため、ここで実行するのはステップＳ４２～Ｓ４５の処理である。

ステップＳ５１
負荷平衡化の後、サブクラスタ決定部５１は、一時記憶部に格納されたノード、ノード間の辺、ノードのサブクラスタラベル、ノード密度、ボロノイ領域について、局所的に最大のノード密度を有するノードを頂点として、当該頂点に対してそれぞれ異なるサブクラスタラベルを付与し、当該サブクラスタラベルが付与されなかった全てのノードに対してノード密度が最大の隣接ノードと同一のサブクラスタラベルを付与し、頂点のうちでノード密度が所定の閾値よりも大きな頂点を基準としてボロノイ領域を生成し、当該生成したボロノイ領域において、基準とした頂点を含むサブクラスタと基準とした頂点とは異なる他の頂点を含むサブクラスタとが重複領域を有し、かつ、当該重複領域に位置するノードの平均ノード密度の条件を満たす場合に、基準とした頂点を含むサブクラスタのサブクラスタラベルを、他の頂点を含むサブクラスタのサブクラスタラベルとして付与し、その結果を一時記憶部に格納する。サブクラスタ決定部５１による処理は、例えば、特許文献２においてステップＳ２０１～Ｓ２０５及びＳ３０１～Ｓ３０５と同様の処理を行うことで、サブクラスタを決定することができる。

ステップＳ５２
ノイズノード削除部５２は、一時記憶部に格納されたノード集合Ａに含まれる全てのノードａについて、ノイズノードと見なしたノードを削除し、その結果を一時記憶部に格納する。ノイズノード削除部５２は、一時記憶部に格納されたノード、ノード間の辺、隣接ノードの個数、ノード密度について、例えば、特許文献２におけるステップＳ６０１～Ｓ６０４に示す処理を実行し、注目するノードａの隣接ノードの個数及びノード密度に基づいて、注目するノードを削除し、その結果を一時記憶部に格納できる。

ステップＳ５
学習終了判定部５３は、実施の形態１にかかる情報処理装置１００におけるステップＳ５と同様に、情報処理装置３００による学習処理を終了するか否かを判定する。終了でないと判定した場合はステップＳ１１に戻り、次の入力ベクトルεを処理する。一方、終了と判定した場合にはステップＳ５３へ進む。

ステップＳ５３
クラス決定部５４は、一時記憶部に格納されたノード、ノード間の辺、ノードのクラスについて、ノード間に生成された辺に基づいて、ノードの属するクラスを決定し、その結果を一時記憶部に格納する。クラス決定部５４は、例えば、特許文献２におけるステップＳ７０１～Ｓ７０４と同様の処理を行うことで、クラス決定を行ってもよい。

その後、出力情報表示部６は、一時記憶部に格納されたノード及びノードのクラスについて、ノードの属するクラスのクラス数、及び各クラスのプロトタイプベクトルを出力してもよい。以上の処理を終了した後、学習を停止する。

以上説明したように、本実施の形態によれば、実施の形態１にかかる負荷平衡化を適用して、入力ベクトルの構造を正確に学習することができる。

以上説明したように、なお、本実施の形態において、実施の形態１にかかる負荷平衡化に換えて、実施の形態２にかかる負荷平衡化を適用してもよいことは、言うまでもない。

また、図２９のフローチャートで示した処理（ステップ）の順序は例示であり、処理（ステップ）の順序は適宜変更してもよい。

実施の形態４
実施の形態３では、実施の形態１にかかる負荷平衡化を行う場合の処理の具体例として、特許文献２のＬＢ－ＳＯＩＮＮの負荷平衡化を、実施の形態１にかかる負荷平衡化に置き換えた例について説明した。これに対し、実施の形態４では、実施の形態１にかかる負荷平衡化を行う場合の処理の別の具体例について説明する。なお、実施の形態４ではニューラルネットワークの構成処理だけでなく負荷並行化処理も含めた一連の処理に対して、「学習」という用語を使用する。

図３０に、実施の形態４にかかる情報処理装置４００の構成を模式的に示す。情報処理装置４００は、実施の形態３にかかる情報処理装置３００の学習処理部４を学習処理部７に置換し、クラスタリング部５をクラスタリング部８に置換した構成を有する。

学習処理部７は、学習処理部４の一部の構成要素を含み、具体的には、入力情報取得部４１、ノード挿入判定部４４、ノード挿入部４５、辺接続部４７、勝者ノード学習時間算出部４８、重みベクトル更新部４９及び老齢辺削除部５０を有する。

クラスタリング部８は、クラスタリング部５の一部の構成要素を含み、具体的には、ノイズノード削除部５２、学習終了判定部５３及びクラス決定部５４を有する。

以下、情報処理装置４００の動作について説明する。図３１に、実施の形態４にかかる情報処理装置４００の動作のフローチャートを示す。

ステップＳ１１
ステップＳ１１については、実施の形態３（図２９）と同様であるので、説明を省略する。

ステップＳ２
ステップＳ１１で入力される入力ベクトルに基づいて、勝者ノード検出部１は、実施の形態１にかかる情報処理装置１００における場合（図４）と同様に、第１勝者ノード及び第２勝者ノードを検出し、その結果を一時記憶部に格納する。

ステップＳ１４
ステップＳ１４については、実施の形態３（図２９）と同様であるので、説明を省略する。なお、ノードを挿入しないと判定した場合には、ステップＳ１７へ進む。

ステップＳ１５
実施の形態３（図２９）と同様に、ステップＳ１４においてノードを挿入すると判定した場合、ノードを挿入する。実施の形態３と違う点は、ステップＳ１７に進む点である。

ステップＳ１７
ステップＳ１４においてノードを挿入しないと判定した場合又はステップＳ１５の後、すなわちノード挿入判定であるステップＳ１４での判定結果に関わらず、辺接続部４７は、実施の形態３（図２９）と同様に辺接続を行う。具体的には、辺接続部４７は、第１勝者ノードと第２勝者ノードとの間に辺を接続し、その結果を一時記憶部に格納する。また、すでに第１勝者ノードと第２勝者ノードとの間に辺が存在している場合には、その辺を維持する。また、辺接続部４７は、接続した辺又は維持された辺について、その辺の年齢を０に設定し、その結果を一時記憶部に格納する。

ステップＳ１９～Ｓ２１、Ｓ３
ステップＳ１９～Ｓ２１、Ｓ３は、実施の形態３（図２９）と同様であるので、説明を省略する

ステップＳ７０
入力数判定部３１は、実施の形態１にかかる情報処理装置１００におけるステップＳ４１（図４）と同様に、一時記憶部に格納された与えられた入力ベクトルの総数について、与えられた入力ベクトルの総数が予め設定され一時記憶部に格納された所定の単位数の倍数であるか否かを判定し、その結果を一時記憶部に格納する。なお、本実施の形態では、所定の単位数を２つ有しており、ステップＳ７０で使用される所定の単位数を第１の単位数（λ１）とする。また、本実施の形態では第１の単位数（λ１）は固定値としたが、これに限らず、例えば、入力ベクトルの入力数に応じて、適宜、第１の単位数（λ１）を変更してもよい。

このような処理を実行することで、クラスを正確に捉えつつ、不必要な処理を実行せずに済む場合がある。これは以下のような理由による。ステップＳ７０は次のステップＳ７１で行われるクラス決定の実行回数を規定するものである。入力数が少ない時には未だクラスが安定していない場合が多いので、λ１を小さくしておくとクラスを正確に捉えられる。一方、入力数が多くなるとクラスが安定してくる場合が多いので、λ１が大きいと不必要な処理を少なくすることができる。

ステップＳ７１
入力ベクトルの入力総数が第１の単位数（λ１）の整数倍となった場合、実施の形態３（図２９）のステップＳ５３と同様に、クラス決定を行う。処理の詳細については、ステップＳ５３と同様であるので、説明を省略する。

ステップＳ７２
ステップＳ７０で入力ベクトルの入力数が第１の単位λ１以外の場合又はステップＳ７１の後、すなわちステップＳ７０での判定結果にかかわらず、ステップＳ７２の入力数判定処理を行う。入力数判定部３１は、実施の形態１にかかる情報処理装置１００におけるステップＳ４１（図４）と同様に、一時記憶部に格納された与えられた入力ベクトルの総数について、与えられた入力ベクトルの総数が予め設定され一時記憶部に格納された所定の単位数の倍数であるか否かを判定し、その結果を一時記憶部に格納する。なお、ステップＳ７１で使用される所定の単位数を第２の単位数（λ２）とする。また、本実施の形態では第２の単位数（λ２）は固定値としたが、これに限らず、例えば、入力ベクトルの入力数に応じて、適宜、その後の処理の頻度を入力数に応じて調整できるようにしてもよい。

ステップＳ４
入力ベクトルの入力総数が第２の単位数（λ２）の整数倍となった場合、対象辺検出部３２は、ステップＳ７１で分類されたクラスに基づいて、クラスごとに閾値ＴＨ１をそれぞれ用意して対象辺を各々のクラスから検出する。閾値ＴＨ１は正の任意の値とすることができ、例えば、一時記憶部に格納された該当クラスの辺の辺学習時間の平均値Ｔ_ＡＶＥに所定の係数ｃを乗じた値（ＴＨ１＝ｃ・Ｔ_ＡＶＥ）としてもよい。その他の処理は、実施の形態３（図２９）と同様であるので、説明を省略する。

ステップＳ５２
ノイズノード削除部５２は、実施の形態３（図２９）と同様に、一時記憶部に格納されたノード集合Ａに含まれる全てのノードａについて、ノイズノードと見なしたノードを削除し、その結果を一時記憶部に格納する。ノイズノード削除部５２は、例えば、注目するノードａの隣接ノード、辺の個数に基づいて、注目するノードを削除し、その結果を一時記憶部に格納できる。本実施の形態では辺の個数が０となったノードを削除したが、もちろんこれに限らない。本実施の形態では、ステップＳ４及びステップＳ５２において、同じ第２の所定の単位数（λ２）に基づいて処理を行う例について説明したが、これは例示に過ぎない。ステップＳ４は第２の所定の単位数（λ２）に基づいて処理を行い、ステップＳ５２は第３の所定の単位数（λ３）に基づいて処理を行ってもよい。異なる単位数に基づいて処理を行う場合には、パラメータが増えてより自由度が増すため、ユーザーの調整時間は増すものの、より正確に入力データを表現できる場合が想定し得る。

ステップＳ５
学習終了判定部５３は、実施の形態１にかかる情報処理装置１００におけるステップＳ５（図４）と同様に、情報処理装置４００による学習処理を終了するか否かを判定する。学習が終了しないと判定した場合は、処理をステップＳ１１に戻す。

ステップＳ５３
ステップＳ５３は、実施の形態３（図２９）と同様であるので、説明を省略する。

なお、本実施の形態においても、実施の形態１にかかる負荷平衡化に換えて、実施の形態２にかかる負荷平衡化を適用してもよいことは、言うまでもない。また本実施の形態の処理は一例に過ぎず、適宜ステップの処理及び順番は変更してよい。

その他の実施の形態
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、距離尺度についてであるが、オンライン追加学習を行う場合ではサンプルデータを事前に得ることができないので、事前に入力ベクトルの次元数を分析してどの距離尺度が有効であるかを決定することができない。このため、特許文献２において式（１４）を用いて説明されているように、異なる距離尺度を組み合わせて２つのノード間の距離を表す新たな距離尺度を導入してもよい。例えば、特許文献２において式（１４）～（１６）を用いて導出された式（１７）で示されるように、ユークリッド距離とコサイン距離とを組み合わせた新たな距離尺度を用いてもよい。

また、距離尺度に関して、ユークリッド距離にコサイン距離を組合せる場合を例に説明したが、これに限定されず、他の距離尺度（例えば、コサイン距離、マンハッタン距離、フラクショナル距離）を組合せるものとしてもよい。さらに、高次元空間における有効な距離尺度に限定されず、学習しようとする問題に応じた他の距離尺度を組合せるものとしてもよい。

上述の実施の形態において、２つの値の大小判定について説明したが、これは例示に過ぎず、２つの値の大小判定において２つの値が等しい場合については、必要に応じて取り扱ってもよい。すなわち、第１の値が第２の値以上であるか又は第２の値よりも小さいかの判定と、第１の値が第２の値よりも大きいか又は第２の値以下であるかの判定とについては、必要に応じていずれを採用してもよい。第１の値が第２の値以下であるか又は第２の値よりも大きいかの判定と、第１の値が第２の値よりも小さいか又は第２の値以上であるかの判定については、いずれを採用してもよい。換言すれば、２つの値の大小判定を行って２つの判定結果を得る場合、２つの値が等しい場合については、必要に応じて２つの判定結果のいずれに含めてもよい。

上述の実施の形態では、本発明を主にハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙｃｏｍｐｕｔｅｒｒｅａｄａｂｌｅｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅｓｔｏｒａｇｅｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（ＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙｃｏｍｐｕｔｅｒｒｅａｄａｂｌｅｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０２０年１２月２８日に出願された日本出願特願２０２０－２１８７１４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１勝者ノード検出部
２辺学習時間更新部
３負荷平衡化部
４、７学習処理部
５、８クラスタリング部
６出力情報表示部
１０コンピュータ
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４バス
１５入出力インターフェイス
１６入力部
１７出力部
１８記憶部
１９通信部
２０ドライブ
２０Ａ磁気ディスク
２０Ｂ光ディスク
２０Ｃフレキシブルディスク
２０Ｄ半導体メモリ
３１入力数判定部
３２対象辺検出部
３３辺上ノード挿入部
３４対象辺削除部
３５新規ノード辺接続部
４１入力情報取得部
４２ノード密度更新判定部
４３ノード密度算出部
４４ノード挿入判定部
４５ノード挿入部
４６辺接続判定部
４７辺接続部
４８勝者ノード学習時間算出部
４９重みベクトル更新部
５０老齢辺削除部
５１サブクラスタ決定部
５２ノイズノード削除部
５３学習終了判定部
５４クラス決定部
１００、３００、４００情報処理装置

Claims

入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるニューラルネットワーク構造として学習する情報処理装置において、
前記ニューラルネットワーク構造に含まれる前記複数のノードから、入力される前記入力ベクトルに最も近い距離に位置するノードを第１勝者ノードとして検出し、２番目に近い距離に位置するノードを第２勝者ノードとして検出する勝者ノード検出部と、
前記第１勝者ノードと前記第２勝者ノードとの間を接続する辺の辺学習時間を第１の値だけ増加させる辺学習時間更新部と、
所定のタイミングで、前記複数の辺から辺学習時間に基づいて１以上の辺を選択し、選択した前記１以上の辺のそれぞれの上に新たなノードを生成して前記ニューラルネットワーク構造に挿入する負荷平衡化部と、を備える、
情報処理装置。
前記辺学習時間更新部は、さらに、前記第１勝者ノードと前記第２勝者ノードとの間を接続する前記辺以外の、前記第１勝者ノードに接続する辺の辺学習時間及び前記第２勝者ノードに接続する辺の辺学習時間を前記第１の値よりも小さな第２の値だけ増加させる、
請求項１に記載の情報処理装置。
前記負荷平衡化部は、辺学習時間が相対的に大きい１以上の辺を選択する、
請求項１又は２に記載の情報処理装置。
前記負荷平衡化部は、辺学習時間が所定の辺学習時間閾値よりも大きな１以上の辺を選択する、
請求項３に記載の情報処理装置。
前記負荷平衡化部は、前記複数の辺から、辺学習時間と辺の長さとに基づいて１以上の辺を選択する、
請求項１乃至４のいずれか一項に記載の情報処理装置。
前記負荷平衡化部は、長さが相対的に大きい１以上の辺を選択する、
請求項５に記載の情報処理装置。
前記負荷平衡化部は、長さが所定の値よりも大きな１以上の辺を選択する、
請求項６に記載の情報処理装置。
前記負荷平衡化部は、前記選択した１以上の辺において、各辺の一端と接続される第１ノードの勝利回数及び他端と接続される第２ノードの勝利回数に基づいて、前記新たなノードを生成する位置を決定する、
請求項１乃至７のいずれか一項に記載の情報処理装置。
前記負荷平衡化部は、前記選択した１以上の辺において、各辺上の前記第１ノードの勝利回数及び前記第２ノードの勝利回数から算出した重心位置に、前記新たなノードを生成する、
請求項８に記載の情報処理装置。
前記負荷平衡化部は、
前記選択した１以上の辺を削除し、
削除した各辺の一端と接続される第１ノードと前記新たなノードとを接続する第１の辺と、削除した各辺の他端と接続される第２ノードと前記新たなノードとを接続する第２の辺と、を生成して前記ニューラルネットワーク構造に挿入する、
請求項１乃至９のいずれか一項に記載の情報処理装置。
前記負荷平衡化部は、前記削除した各辺の辺学習時間を、前記第１の辺及び前記第２の辺のそれぞれに所定の割合で継承させる、
請求項１０に記載の情報処理装置。
前記第１及び第２の辺のそれぞれは、前記第１ノードの勝利回数及び前記第２ノードの勝利回数のそれぞれを、前記第１ノードの勝利回数及び前記第２ノードの勝利回数の和で除した値で示される割合だけ、前記削除した各辺の辺学習時間を継承する、
請求項１１に記載の情報処理装置。
前記情報処理装置は、
前記入力ベクトルと前記第１勝者ノードとの間の距離及び前記入力ベクトルと前記第２勝者ノード間との距離に基づいて、ノード挿入を実行するか否かを判定するノード挿入判定部と、
前記ノード挿入判定部による判定の結果、前記ノード挿入を実行する場合に、前記入力ベクトルの成分と同一の成分を重みベクトルとして有する挿入ノードを生成し、当該生成した挿入ノードを前記ニューラルネットワーク構造に挿入するノード挿入部と、を備える、
請求項１乃至１２のいずれか一項に記載の情報処理装置。
入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるニューラルネットワーク構造として学習する情報処理方法であって、
勝者ノード検出部が、前記ニューラルネットワーク構造に含まれる前記複数のノードから、入力される前記入力ベクトルに最も近い距離に位置するノードを第１勝者ノードとして検出し、２番目に近い距離に位置するノードを第２勝者ノードとして検出し、
辺学習時間更新部が、前記第１勝者ノードと前記第２勝者ノードとの間を接続する辺の辺学習時間を所定値だけ増加させ、
負荷平衡化部が、所定のタイミングで、前記複数の辺から辺学習時間に基づいて１以上の辺を選択し、選択した前記１以上の辺のそれぞれの上に新たなノードを生成して前記ニューラルネットワーク構造に挿入する、
情報処理方法。
入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるニューラルネットワーク構造として学習する処理をコンピュータに実行させるプログラムであって、
前記ニューラルネットワーク構造に含まれる前記複数のノードから、入力される前記入力ベクトルに最も近い距離に位置するノードを第１勝者ノードとして検出し、２番目に近い距離に位置するノードを第２勝者ノードとして検出する処理と、
辺学習時間更新部が、前記第１勝者ノードと前記第２勝者ノードとの間を接続する辺の辺学習時間を所定値だけ増加させる処理と、
所定のタイミングで、前記複数の辺から辺学習時間に基づいて１以上の辺を選択し、選択した前記１以上の辺のそれぞれの上に新たなノードを生成して前記ニューラルネットワーク構造に挿入する処理と、をコンピュータに実行させる、
プログラム。