JP3583484B2 - Information processing equipment - Google Patents

Description

＜更新＞

ここで、｜Ｘ−ｍ_ｉ ｜はＸとｍ_ｉ のユークリッド距離、Ｃはその距離が最も小さかった素子（勝利素子）、Ｎ_ｃ はその勝利素子Ｃのマップ層ＭＬでの近傍、α（ｔ）は正の定数、ｔは時刻を示す。更新を繰り返しながら、Ｎ_ｃ とα（ｔ）の大きさは徐々に小さくする。また、α（ｔ）は勝利素子Ｃから離れるに従い、小さくなるように選ぶこともできる。
【００２０】
以上のアルゴリズムでは、＜類似性マッチング＞でユークリッド距離を用いているので、Ｘもｍ_ｉ も規格化する必要がない。本発明のように、＜類似性マッチング＞で内積演算を用いる場合、ＳＯＭアルゴリズムの＜類似性マッチング＞と＜更新＞の具体的な表式は次のようになる。
【００２１】
＜類似性マッチング＞

＜更新＞

ここで、Ｘは規格化してあるとする。ｍ_ｉ も更新後に規格化してある。
【００２２】
入力ベクトルＸの集合からランダムにＸを選んで逐次入力し、重みベクトルｍ_ｉ の更新を繰り返すことにより、入力ベクトルＸの分布を反映する重みベクトルｍ_ｉ （１≦ｉ≦ｋ）が生成する。すなわち、重みベクトルｍ_ｉ （１≦ｉ≦ｋ）が入力ベクトルの分布のプロトタイプになっている。そして、ある素子の重みベクトルを入力ベクトルに近付けるように更新するとき、マップ上のその素子の近傍の素子も同様に更新するので、マップ上で隣接する素子同志は、それぞれ入力ベクトルの空間上でも近いベクトルに対応するようになる。したがって、ＳＯＭアルゴリズムは、入力データ空間の位相を反映したプロトタイプの集合を作成することができる。ＳＯＭアルゴリズムには、次のような特長がある。
【００２３】
Ｂ−１）重みベクトルｍ_ｉ （１≦ｉ≦ｋ）の初期状態によらずに、適正なマップが作成できる。
Ｂ−２）入力ベクトルＸの入力順によらずに、適正なマップが作成できる。
【００２４】
Ｂ−３）マップが１次元か２次元であるので、入力データの位相を視覚的に見ることができる。
Ｂ−４）＜類似性マッチング＞と＜更新＞と言う単純な操作の繰り返しなので、アルゴリズムが簡単である。
【００２５】
以上、ＳＯＭについて説明した。このＳＯＭにおいて、前記のｆ（Ｄ）の取り方を変えてＸ”を用いた内積演算を行う。そして、ｆ（Ｄ）の取り方による入力データの位相保存状況の優劣を比較する。
【００２６】
ＳＯＭにおいて、素子は１０×１０個の２次元格子状の配列、入力データは、正方形内に一様に分布する２次元ベクトル群Ｘ＝（ｘ，ｙ），｛０≦ｘ≦１，０≦ｙ≦１｝とする。入力データの位相をより良く保存しているかどうかは、正方形内の２次元ベクトル群Ｘ＝（ｘ，ｙ）を、そのデータが対応する素子毎に区別して表示し、各領域の形を調べることによって行う。なお、データが対応する素子毎に区別しやすいように、２次元格子状で隣接する素子を白と黒に分けて表示してある。
【００２７】
通常、ＳＯＭでは、Ｘ＝（ｘ，ｙ）をそのまま入力し、競合学習の距離基準としてユークリッド距離を用いる。その場合の結果を図９（ａ）、（ｂ）に示す。図９（ｂ）は、各素子の重みベクトルを隣接する素子同志結んだ図、図９（ａ）は、その素子が対応する領域を示す図（以後は、領域図と呼ぶ。）である。正方形内の２次元ベクトル群Ｘを２次元格子状に分けているので、このように各領域は小正方形格子が規則正しく並んだ構造を持つ。Ｘ＝（ｘ，ｙ）をそのまま入力し、競合学習の距離基準としてユークリッド距離を用いれば、最も良く入力データの位相を保存できる。この結果を標準結果と呼ぶことにする。Ｘ”を入力して、内積演算で競合学習を行う場合は、この標準結果に近い程、入力データの位相をより良く保存していると言えることになる。
【００２８】
そこで、前記したａ）ｆ（Ｄ）＝Ｄ，ｂ）ｆ（Ｄ）＝１／Ｄの場合につき、内積演算のＳＯＭを行った。その領域図をそれぞれ図１０（ａ）、（ｂ）に示す。図１０（ｂ）では領域が格子状に広がっているのに対し、図１０（ａ）では領域が乱れ、特に左上の原点近くで放射状に分布している。したがって、明らかに（ｂ）の場合の方がより良く入力データの位相を保存していると言える。なお、分布が放射状になるのは、Ｘ＝（ｘ，ｙ）の角度依存性が強いことを示している。この理由は、前述の図６について説明したように、２次元平面では近いはずの原点付近のＡ_１ 、Ｂ_１ が３次元空間では相対的に離れてしまい、角度の情報がノルムの情報より強調されるためと解釈できる。
【００２９】
補足実験として、大きさ情報を用いず、Ｘ＝（ｘ，ｙ）を規格化しただけで入力し、内積演算のＳＯＭを行った。このときの領域図を図１０（ｃ）に示す。前記の〔発明が解決しようとする課題〕で述べたように、規格化によって入力データのノルム情報は失われる。したがって、全領域が角度情報のみに依存した放射状の分布となり、素子のノルムに関する識別能力は失われてしまう。前述の図１０（ａ）の場合、図１０（ｂ）に比べて領域は乱れているが、ノルムに関する識別能力は残っていることが、図１０（ｃ）と比較すると分かる。
【００３０】
さて、ａ）ｆ（Ｄ）＝Ｄ，ｂ）ｆ（Ｄ）＝１／Ｄの場合では、ｂ）の方がより良く入力データの位相を保存していると言えたが、さらに良く入力データの位相を保存するためには、どのようなｆ（Ｄ）を選べばよいかを調べる。換言すれば、どのようなｆ（Ｄ）を選べば、Ｘ＝（ｘ，ｙ）をそのまま入力し、競合学習の距離基準としてユークリッド距離を用いた場合と同じ結果を得ることができるかを調べる。なお、完全に入力データの位相が保存できるかどうかは、ＳＯＭ自体の持つ問題である。本発明の説明において、最も良く入力データの位相を保存することは、競合学習の距離基準としてユークリッド距離を用いた場合と同じ結果を得ることに相当し、完全に入力データの位相を保存することではないことに注意する。このことに留意した上で、Ｘ＝（ｘ，ｙ）をそのまま入力し、ユークリッド距離を用いた場合と同じ結果を得るための条件を求める。
【００３１】
再び図５における４点Ａ_１ 、Ｂ_１ 、Ａ_２ 、Ｂ_２ を考える。ユークリッド距離を用いた場合と同じ結果を得るためには、２次元平面における線分の比が３次元空間においても保存されなければならない。この条件を式で表す。
【００３２】
まず、４点Ａ_１ 、Ｂ_１ 、Ａ_２ 、Ｂ_２ の座標、及び、ノルムＤ_１ 、Ｄ_２ はそれぞれ（８）式のようになる。
Ａ_１ ＝（ｒ_１ ｃｏｓθ_Ａ ，ｒ_１ ｓｉｎθ_Ａ ），
Ａ_２ ＝（ｒ_２ ｃｏｓθ_Ａ ，ｒ_２ ｓｉｎθ_Ａ ），
Ｂ_１ ＝（ｒ_１ ｃｏｓθ_Ｂ ，ｒ_１ ｓｉｎθ_Ｂ ），
Ｂ_２ ＝（ｒ_２ ｃｏｓθ_Ｂ ，ｒ_２ ｓｉｎθ_Ｂ ），
Ｄ_１ ＝ｒ_１ ，Ｄ_２ ＝ｒ_２ ・・・（８）
これらの座標が前記の入力ベクトルＸ＝（ｘ，ｙ）に相当する。このベクトルを規格化し、さらに、ノルムを示す成分を加えたＸ’＝（ｘ／Ｄ，ｙ／Ｄ，ｆ（Ｄ））は（９）式のようになる。
【００３３】
Ａ_１ ’＝（ ｃｏｓθ_Ａ ， ｓｉｎθ_Ａ ，ｆ（Ｄ_１ ）），
Ａ_２ ’＝（ ｃｏｓθ_Ａ ， ｓｉｎθ_Ａ ，ｆ（Ｄ_２ ）），
Ｂ_１ ’＝（ ｃｏｓθ_Ｂ ， ｓｉｎθ_Ｂ ，ｆ（Ｄ_１ ）），
Ｂ_２ ’＝（ ｃｏｓθ_Ｂ ， ｓｉｎθ_Ｂ ，ｆ（Ｄ_２ ）） ・・・（９）
これを規格化したＸ”は（１０）式のようになる。
【００３４】

３次元空間のｘ^２ ＋ｙ^２ ＋ｚ^２ ＝１面上での弧Ａ_１ ，Ｂ_１ 間の長さと、弧Ａ_２ ，Ｂ_２ 間の長さは、それぞれ（１１）、（１２）式で与えられる（弧は、〈Ａ_１ Ｂ_１ 〉のように表す。）。ここで、Ａ_１ 、Ｂ_１ 、Ａ_２ 、Ｂ_２ の位置ベクトルを考えることとする（ベクトルは、Ａ _１ のように表す。）。
【００３５】

２次元平面における線分Ａ_１ Ｂ_１ と線分Ａ_２ Ｂ_２ の長さの比は（１３）式で与えられる。
【００３６】
｜Ａ_１ −Ｂ_１ ｜：｜Ａ_２ −Ｂ_２ ｜＝ｒ_１ ：ｒ_２ ＝Ｄ_１ ：Ｄ_２ ・・（１３）
（１４）式のように、線分Ａ_１ Ｂ_１ と線分Ａ_２ Ｂ_２ の長さの比が、〈Ａ_１ ”Ｂ_１ ”〉と〈Ａ_２ ”Ｂ_２ ”〉の長さの比と等しいとき、（１４）式に示す条件が成立する。
【００３７】
｜Ａ_１ −Ｂ_１ ｜／｜Ａ_２ −Ｂ_２ ｜＝〈Ａ_１ ”Ｂ_１ ”〉／〈Ａ_２ ”Ｂ_２ ”〉・・・（１４）
（１４）式に（１１）、（１２）、（１３）式を代入すると、（１５）式のようになる。
【００３８】

（１５）式は、比例定数ｋ（ｋ≠０）を用いて（１６）式のように書ける。
【００３９】
ｋＤ_ｉ ＝ ｃｏｓ^−１［｛ ｃｏｓΔθ＋ｆ（Ｄ_ｉ ）^２ ｝／｛１＋ｆ（Ｄ_ｉ ）^２ ｝］（ｉ＝１，２）・・・（１６）
これをｆ（Ｄ_ｉ ）に関して解くと、（１７）式のようになる。
【００４０】
ｆ（Ｄ_ｉ ）＝｛（ ｃｏｓｋＤ_ｉ − ｃｏｓΔθ）／（１− ｃｏｓｋＤ_ｉ ）｝^１／２ （ｉ＝１，２）・・・（１７）
ここで、諸量の定義及び根号内が正であるために、次の制限条件（１８）式がある。
【００４１】
ｃｏｓｋＤ_ｉ − ｃｏｓΔθ＞０，０＜ｋＤ_ｉ ＜π／２ （＝１，２）・・・（１８）
式（１７）、（１８）の意味は以下のようになる。２次元平面でΔθをなすある２点を上述のような規則で３次元空間に変換するとき、（１７）式のようなｆ（Ｄ）の式を用いれば、２次元平面のそのような２点間の線分同志の比は、対応する３次元空間のｘ^２ ＋ｙ^２ ＋ｚ^２ ＝１面上の点間の長さの比と等しい。
【００４２】
（１８）式によれば、ある比例定数ｋを決めると、Ｄ_ｉ はｋ及びΔθで決まる量より大きくならないことが分かる。これを定性的に説明する。
Ｄ_ｉ が大きくなると、２次元平面では２点間の距離はいくらでも大きくなるが、対応する３次元空間のｘ^２ ＋ｙ^２ ＋ｚ^２ ＝１面上の裾野の点間の長さは、裾野の幅より大きくなれない。よって、Ｄ_ｉ が大きくなると、条件を満たすのが難しくなるのである。
【００４３】
ｆ（Ｄ_ｉ ）を（１７）式のように選んだ場合の効果を調べるため、前述のような内積演算のＳＯＭを行った。ｆ（Ｄ_ｉ ）のパラメータは、（１８）式を満たすように、ｋ＝０．３，Δθ＝π／３と選んだ。（１８）式はあるΔθにおける式である。競合学習では、様々な入力ベクトルがあるので、Δθはそれに応じて様々な値をとるが、実際にシミュレーションする際は、（１８）式が満たされるように、Ｄ_ｉ の最大値を考慮してｋ及びΔθを予め適当に決めておくことになる。領域図の結果を見れば分かるが、ｋ及びΔθを固定しておいて問題はない。
【００４４】
（１７）式を用いた場合の領域図を図１１に示す。図１１によれば、図９（ａ）と同様に、小正方形格子が規則正しく並んだ構造を持っている。これは、ｆ（Ｄ）＝１／Ｄを選んだ場合より良く整列している。このことは、縦横の小領域数が１０個であることからも分かる。
【００４５】
したがって、この実験より、（１７）式で与えられるｆ（Ｄ_ｉ ）を用いれば、Ｘ＝（ｘ，ｙ）をそのまま入力し、競合学習の距離基準としてユークリッド距離を用いた場合と同じ結果を得ることが可能であり、最も良く入力データの位相を保存する写像を実現できることが分かる。
【００４６】
次に、（１４）、（１５）式について補足する。（１４）、（１５）式は、厳密な条件であるが、両辺の分母分子の大小関係を保存するのみであれば、ｆ（Ｄ）がＤに関して減少する関数であればよいことが、関数の性質を考慮すると分かる。つまり、ｆ（Ｄ）＝Ｄとｆ（Ｄ）＝１／Ｄを比較して、ｆ（Ｄ）＝１／Ｄの方の結果が良かったのは、ｆ（Ｄ）＝１／ＤはＤに関して減少関数であったからと言える。
【００４７】
もちろん、関数は、ｆ（Ｄ）＝１／Ｄに限定されるものではない。位相を良く保存するために、Ｄに関して任意の減少関数を選んでよい。また、Ｄに関して減少関数以外の関数を取ったときでも、位相の保存はし難くなるが、ノルム情報を失わないある程度の学習は可能であることは、前述した通りである。
【００４８】
以上、距離基準として内積演算を用い、入力データのノルム情報を失わない競合学習ができるためには、どのようなアルゴリズムにすればよいかを理論的に説明した。簡単にまとめると、以下のようになる。
Ｃ−１）内積演算を距離基準とする競合学習において、２次元ベクトルＸ＝（ｘ，ｙ）を入力とするとき、（１）〜（３）式のような変換を行い、Ｘ”を入力とすれば、内積演算のための規格化によってノルムの情報を失うことがない。
【００４９】
Ｘ＝（ｘ，ｙ）、Ｄ＝（ｘ^２ ＋ｙ^２ ）^１／２ ・・・（１）
Ｘ’＝（ｘ／Ｄ，ｙ／Ｄ，ｆ（Ｄ）） ・・・（２）
Ｘ”＝Ｘ’／｜Ｘ’｜ ・・・（３）
Ｃ−２）ｆ（Ｄ）は、様々な関数を用いることができるが、Ｄに関して増加関数と減少関数では、減少関数の方が位相を良く保存できる。例えば、ｆ（Ｄ）＝Ｄとｆ（Ｄ）＝１／Ｄでは、後者の方が良い。
【００５０】
Ｃ−３）ｆ（Ｄ）を（１７）’式のようにすれば、さらに位相を良く保存できる。
ｆ（Ｄ）＝｛（ ｃｏｓｋＤ− ｃｏｓΔθ）／（１− ｃｏｓｋＤ）｝^１／２ ・・・（１７）’
なお、（１７）’式では、一般的に記述するため、Ｄ_ｉ のｉを削除した。
【００５１】
以上の議論及びまとめでは、図に示すのが容易なため、入力として２次元ベクトルＸ＝（ｘ，ｙ）を取り扱ってきたが、ｎ次元ベクトルＸ＝（ｘ_１ ，ｘ_２ ・・・，ｘ_ｎ ）、（ｎ＝１，２，３・・・）の場合でも全く同様に成り立つ。このとき（１）、（２）、（３）式は、以下の式になる。
【００５２】
Ｘ＝（ｘ_１ ，ｘ_２ ・・，ｘ_ｎ ），Ｄ＝（ｘ_１ ^２ ＋ｘ_２ ^２ ＋・・ｘ_ｎ ^２ ）^１／２ ・・・（１９）
Ｘ’＝（ｘ_１ ／Ｄ，ｘ_２ ／Ｄ，・・，ｘ_ｎ ／Ｄ，ｆ（Ｄ））・・（２０）
Ｘ”＝Ｘ’／｜Ｘ’｜ ・・・（２１）
また、（８）式において、ｎ次元空間の４点Ａ_１ 、Ｂ_１ 、Ａ_２ 、Ｂ_２ の座標及びノルムＤ_１ 、Ｄ_２ を、（２２）式のように、方向余弦を用いて表せば、（１７）式と全く同じ式が導ける。
【００５３】
Ａ_１ ＝（ｒ_１ｃｏｓθ_Ａ１，ｒ_１ｃｏｓθ_Ａ２，・・，ｒ_１ｃｏｓθ_Ａｎ），
Ａ_２ ＝（ｒ_２ｃｏｓθ_Ａ１，ｒ_２ｃｏｓθ_Ａ２，・・，ｒ_２ｃｏｓθ_Ａｎ），
Ｂ_１ ＝（ｒ_１ｃｏｓθ_Ｂ１，ｒ_１ｃｏｓθ_Ｂ２，・・，ｒ_１ｃｏｓθ_Ｂｎ），
Ｂ_２ ＝（ｒ_２ｃｏｓθ_Ｂ１，ｒ_２ｃｏｓθ_Ｂ２，・・，ｒ_２ｃｏｓθ_Ｂｎ），
Ｄ_１ ＝ｒ_１ ，Ｄ_２ ＝ｒ ・・・（２２）
ここで、（ ｃｏｓθ_Ａ１， ｃｏｓθ_Ａ２，・・， ｃｏｓθ_Ａｎ）はＡ_１ 及びＡ_２ の方向余弦、（ ｃｏｓθ_Ｂ１， ｃｏｓθ_Ｂ２，・・， ｃｏｓθ_Ｂｎ）はＢ_１ 及びＢ_２ の方向余弦を示す。ｎ次元の場合は、（１７）式のΔθは、この２つの方向余弦のなす角に相当する。ｎ次元ベクトルの場合でｎを２と選べば、これまでの２次元ベクトルの議論と一致することが分かる。
以上のことから、前記の議論及びまとめは、２次元ベクトルに限定されず、多次元ベクトルに拡張できることは明らかである。
【００５４】
最後に、ｎ次元ベクトルの場合としてまとめておく。
Ｄ−１）内積演算を距離基準とする競合学習において、ｎ次元ベクトルＸ（ｎ＝１，２，３，・・）を入力とするとき、（１９）〜（２１）式のような変換を行い、Ｘ”を入力とすれば、内積演算のための規格化によってノルムの情報を失うことがない。
【００５５】
Ｘ＝（ｘ_１ ，ｘ_２ ・・，ｘ_ｎ ），Ｄ＝（ｘ_１ ^２ ＋ｘ_２ ^２ ＋・・ｘ_ｎ ^２ ）^１／２ ・・・（１９）
Ｘ’＝（ｘ_１ ／Ｄ，ｘ_２ ／Ｄ，・・，ｘ_ｎ ／Ｄ，ｆ（Ｄ））・・（２０）
Ｘ”＝Ｘ’／｜Ｘ’｜ ・・・（２１）
Ｄ−２）ｆ（Ｄ）は、様々な関数を用いることができるが、Ｄに関して増加関数と減少関数を比較すると、減少関数の方が位相を良く保存できる。例えば、ｆ（Ｄ）＝Ｄとｆ（Ｄ）＝１／Ｄでは、後者の方が良い。
【００５６】
Ｄ−３）ｆ（Ｄ）を（１７）’式のようにすれば、さらに位相を良く保存できる。
ｆ（Ｄ）＝｛（ ｃｏｓｋＤ− ｃｏｓΔθ）／（１− ｃｏｓｋＤ）｝^１／２ ・・・（１７）’
以上、距離基準として内積演算を用い、入力データのノルム情報を失わない競合学習ができるためには、どのようなアルゴリズムにすればよいかを理論的に説明し、まとめた。
以上の議論をふまえた本発明は、以下のような情報処理装置である。
【００５７】
〔１〕入力ベクトルを重みベクトル群の各ベクトルと内積をとることによって重みベクトル群の何れかのベクトルへ対応させる情報処理装置において、内積をとる前に入力ベクトルのノルムに関する情報を抽出して該入力ベクトルの成分に付加するノルム抽出・付加手段を有することを特徴とする情報処理装置。
【００５８】
〔２〕前記の内積をとる前に前記のノルムに関する情報を付加した入力ベクトルを正規化する入力ベクトル正規化手段を有する上記〔１〕記載の情報処理装置。
〔３〕前記の内積をとる前に前記重みベクトル群の各ベクトルを正規化する重みベクトル正規化手段を有する上記〔１〕記載の情報処理装置。
【００５９】
〔４〕前記の正規化を電気信号により行うようにした上記〔２〕又は〔３〕記載の情報処理装置。
【００６０】
〔５〕前記の正規化を光学的に行うようにした上記〔２〕又は〔３〕記載の情報処理装置。
【００６１】
上記の本発明の情報処理装置は、次のＡ−１）、Ａ−２）の条件を満たす。
【００６２】
Ａ−１）距離基準として、ハードウエア化に適した内積演算を用いる。
【００６３】
Ａ−２）入力データのノルム情報を失わない競合学習ができる。
【００６４】
【実施例】
以下に、本発明の情報処理装置の好適な第１、第２実施例について説明する。その説明に先立って、これらの実施例で用いる光学的な内積演算装置の原理を
説明する。
【００６５】
簡単のため、内積をとるベクトルを４次元（２×２）とし、入力ベクトルＸ（ｘ_１ ，ｘ_２ ，ｘ_３ ，ｘ_４ ）と、９個の重みベクトル群ｍ_ｉ （ｍ_ｉ１，ｍ_ｉ２，ｍ_ｉ３，ｍ_ｉ４）（ｉ＝１〜９；３×３）の全てと内積をとるものとする。まず、図１２は、第１実施例に用いられる内積演算光学系（Ｔａｉｗｅｉ ｅｔ ａｌ．，”Ｓｅｌｆ−ｏｒｇａｎｉｚｉｎｇ ｏｐｔｉｃａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ”，Ｏｐｔ．Ｅｎｇ．，ＶＯＬ．２９，Ｎｏ．９，ｐｐ．１１０７−１１１３，１９９０．）の原理を示す図であり、２つの液晶テレビ１０１、１０２が用いられ、第２液晶テレビ１０１には２×２のＸの成分（ｘ_１ ，ｘ_２ ，ｘ_３ ，ｘ_４ ）が図のような順で表示される。また、第１液晶テレビ１０２には２×２のサブマトリックスｍ_ｉ が３×３に配置され、各サブマトリックスｍ_ｉ にｍ_ｉ の成分（ｍ_ｉ１，ｍ_ｉ２，ｍ_ｉ３，ｍ_ｉ４）図のような順で表示される。Ｘとｍ_ｉ のベクトル成分の表示の配置順は、一方が他方の倒立像の関係にある。光学系は、光軸方向に配置された、第１液晶テレビ１０２と、第１液晶テレビ１０２の３×３のサブマトリックスｍ_ｉ 配置に対応した３×３個のレンズＬ_ｉ からなるレンズアレー１０５と、第２液晶テレビ１０１と、結像レンズ１０６と、第１液晶テレビ１０２の３×３のサブマトリックスｍ_ｉ 配置及びレンズアレー１０５の３×３のレンズＬ_ｉ 配置に対応した３×３個の受光領域を有するＣＣＤカメラ１０７とからなる。
【００６６】
そして、第１液晶テレビ１０２の２×２に領域分けされてｍ_ｉ の成分（ｍ_ｉ１，ｍ_ｉ２，ｍ_ｉ３，ｍ_ｉ４）が表示されている１個のサブマトリックスｍ_ｉ の像が、レンズアレー１０５の対応する位置のレンズＬ_ｉ によって、ベクトルの成分同士を対応させながら、第２液晶テレビ１０１上に結像されるように光学配置されており、さらに、第２液晶テレビ１０１は結像レンズ１０６の入射瞳位置に配置され、結像レンズ１０６は、レンズアレー１０５の３×３の各レンズＬ_ｉ の瞳をＣＣＤカメラ１０７の３×３個の受光領域上に結像するような光学配置になっている。
【００６７】
したがって、ＣＣＤカメラ１０７のｉ番目（ｉ＝１〜９）の受光領域には、レンズアレー１０５の対応する位置のレンズＬ_ｉ を通った全光量が入射する。このレンズＬ_ｉ を通った全光量とは、図の光路からも明らかなように、第１液晶テレビ１０２の２×２のサブマトリックスｍ_ｉ の成分（ｍ_ｉ１，ｍ_ｉ２，ｍ_ｉ３，ｍ_ｉ４）と第２液晶テレビ１０１の２×２のＸの成分（ｘ_１ ，ｘ_２ ，ｘ_３ ，ｘ_４ ）とを対応する成分同士を重ね合わせて（数学的には掛算）加え合わせたものであり、内積に他ならない。したがって、ＣＣＤカメラ１０７の図示の１〜９の受光領域には、それぞれＸ・ｍ_１ 〜Ｘ・ｍ_９ が得られる。
【００６８】
次に、図１３は、第２実施例に用いられる内積演算光学系（Ｊ．Ｄｕｖｉｌｌｉｅｒ ｅｔ ａｌ．，”Ａｌｌ−ｏｐｔｉｃａｌ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ａ ｓｅｌｆ−ｏｒｇａｎｉｚｉｎｇ ｍａｐ”，Ａｐｐｌ．Ｏｐｔ．Ｖｏｌ．３３，ｐｐ．２５８−２６６，１９９０． ）の原理を示す図であり、内積をとるための２つの空間変調器２７ａと２０７ａを用い、内積は別の空間変調器２１０ａ上に得られるものである。この場合は、空間変調器２７ａと２０７ａは重ね合わされ、空間変調器２７ａ側から照射される平行光で読み出される。空間変調器２７ａには、図１２の場合と同様、２×２のＸの成分（ｘ_１ ，ｘ_２ ，ｘ_３ ，ｘ_４ ）が図のような順で表示される。また、空間変調器２０７ａには、９つのベクトルｍ_１ 〜ｍ_９ の各成分がまとめられてそれぞれ１つの３×３のサブマトリックスＭ_１ 〜Ｍ_４ を構成するように表示される。すなわち、図示のように、サブマトリックスＭ_ｉ には、各ベクトルｍ_１ 〜ｍ_９ のｉ番目の成分が３×３のマトリックスに配置されるように表示される。そして、空間変調器２７ａと２０７ａを重ね合わせた場合、空間変調器２７ａの成分ｘ_１ 〜ｘ_４ の領域がそれぞれが空間変調器２０７ａのサブマトリックスＭ_１ 〜Ｍ_４ の領域に対応するように両空間変調器２７ａと２０７ａが構成されている。光学系は、光軸方向に配置された、空間変調器２７ａと、空間変調器２０７ａと、空間変調器２７ａの２×２のマトリックス配置、及び、空間変調器２０７ａのサブマトリックスＭ_１ 〜Ｍ_４ 配置に対応した２×２個のレンズＬ_ｉ からなるレンズアレー２０８と、結像レンズ２０９と、空間変調器２１０ａとからなり、レンズＬ_ｉ の前側焦点位置に空間変調器２０７ａが、その後側焦点位置に結像レンズ２０９が、結像レンズ２０９の後側焦点位置に空間変調器２１０ａが位置している。そして、空間変調器２０７ａの各サブマトリックスＭ_ｉ が空間変調器２１０ａの全体領域に拡大結像されるように、レンズＬ_ｉ と結像レンズ２０９の焦点距離の比が定められている。
【００６９】
したがって、空間変調器２１０ａ上には、空間変調器２７ａと２０７ａを重ね合わせて、Ｘの成分ｘ_ｉ と対応するサブマトリックスＭ_ｉ が重畳され（掛算され）、それらのサブマトリックスＭ_ｉ がレンズアレー２０８の作用で同じ位置に重ね合って結像される。そのため、空間変調器２１０ａのサブマトリックスＭ_ｉ のｊ番目（ｊ＝１〜９）の成分ｍ_ｊｉが対応する位置には、全てのサブマトリックスＭ_１ 〜Ｍ_４ のｊ番目の成分（ｍ_ｊ１，ｍ_ｊ２，ｍ_ｊ３，ｍ_ｊ４）とＸの対応する成分（ｘ_１ ，ｘ_２ ，ｘ_３ ，ｘ_４ ）を掛けて足し合わせたもの、すなわち、内積が入射する。したがって、空間変調器２１０ａの図示の１〜９の域には、それぞれＸ・ｍ_１ 〜Ｘ・ｍ_９ が得られる。
【００７０】
以上、以下に説明する第１、第２実施例で用いる内積演算光学系を４次元ベクトルを例にあげて説明してきたが、それ以上又は以下の次元数のベクトルの場合にも容易に対応できることは、光学系の構成から明らかである。
【００７１】
なお、本発明において、内積をとるベクトルの少なくとも１つの成分に、その他の成分からなるベクトルのノルム情報をあてがう。例えば、前記の４次元ベクトルの場合は、ｘ_４ を（ｘ_１ ，ｘ_２ ，ｘ_３ ）からなるベクトルのノルム情報にする。
以下、図１４〜図１８に基づいて本発明の好適な実施例を説明する。
【００７２】
〔第１実施例〕
本実施例の情報処理装置は、図１４にその構成を示すように、処理を行うためのデータを取得するための入力ベクトル取得手段１と、この入力されたベクトルから前記したＤ−２）あるいはＤ−３）に述べたノルム情報を発生させ、さらに発生させたこのノルム情報を入力ベクトルに付加し、Ｄ−１）の条件に従って正規化するための入力ベクトル加工手段２と、このノルム情報の付加され加工されたベクトルを入力して処理を行う競合学習手段３とを有するものである。
【００７３】
本実施例では、情報処理装置の競合学習手段３として、前記したＴａｉｗｅｉＬｕ等の装置を改良して用いている。まず、図１４を参照にして、Ｔａｉｗｅｉ Ｌｕ等の装置と共通の部分の説明をする。競合学習手段３では、８×８画素からなる入力ベクトルを第２液晶テレビ１０１に表示し、１つの重みベクトルに対応する８×８画素のサブマトリックスが８×８個あるメモリーマトリックス（６４×６４）を第１液晶テレビ１０２に表示し、この第１液晶テレビ１０２の背後からキセノンランプ１０３の光をディフューザー１０４を介して照射する。メモリーマトリクスには、前述したような素子の重みベクトルの集合が記憶できるようになっている。照射された第１液晶テレビ１０２上のメモリーマトリックス上の情報は、８×８個のレンズアレー１０５により、各重みベクトルに対応するサブマトリックスが全て第２液晶テレビ１０１上に重ねて結像され、入力ベクトルに重畳されるようになっている。さらに、この入力ベクトルが重畳されたサブマトリックスの情報は、結像レンズ１０６によりＣＣＤカメラ１０７の８×８個の領域にそれぞれ入射するようになっており、この一連の操作により、入力ベクトルとメモリーマトリックスの内積演算が各領域で行われたことになる（図１２参照）。
【００７４】
さらに、このＣＣＤカメラ１０７で得られた内積演算の結果をコンピュータ内に取り込み、コンピュータ内でソフトウエアで実現されているマトリックスの更新手段１０８で、競合学習に必要なメモリーマトリックスの更新量を決定し、更新するようになっている。また、第１液晶テレビ１０２、第２液晶テレビ１０１の表示もコンピュータからの制御により行っている。
以上が、本発明の情報処理装置の競合学習手段において、Ｔａｉｗｅｉ Ｌｕ等の装置と共通の部分である。
【００７５】
本実施例においては、この情報処理装置が濃淡画像を処理するものとする。この場合、入力ベクトル取得手段１は、ＣＣＤ等の撮像素子とフレームメモリにより処理すべき画像をコンピュータ内に取り込み、これを所定の入力ベクトル（本実施例の場合は、８×８−１（＝６３）成分）に展開する（マイナスした１個は、付加するノルム情報に割り当てる。）。展開の仕方は、フレームメモリ上のフレーム領域を８×８の領域に分割し、その領域毎に平均の明るさを計算し、各成分の値とすればよい。この際、画像の右下の領域に対応する成分は無視し、この部分に付加するノルム情報を割り当てる。なお、本実施例の場合、この展開はコンピュータ内のソフトウエアで実現している。
【００７６】
次に、入力ベクトル加工手段２は、Ｄ−１）からＤ−３）のように、展開されたベクトルを加工するものであるが、まず、展開された６３個のベクトルからＤ−１）の（１９）式に従ってＤを計算する。次に、Ｄ−３）の（１７）’式に従ってこのＤからｆ（Ｄ）を計算し、６４個目のベクトル成分として、Ｄ−１）の（２０）式に従ってこのｆ（Ｄ）を付加すると共に、Ｄを用いて他の６３個のベクトルの正規化を行う。（２０）式のｆ（Ｄ）は、コンピュータ内のソフトウエア制御により、容易にＤ−２）あるいはＤ−３）のように選ぶこともできる。最後に、Ｄ−１）の（２１）式に従って、再度正規化を行い入力ベクトルの加工を終了するものである。以上の入力ベクトル加工手段２も、本実施例の場合、コンピュータ内のソフトウエアで実現している。なお、この入力ベクトル加工手段２により加工された入力ベクトルは、競合学習手段３中のマトリックスの更新手段１０８及び第２液晶テレビ１０１に送られ、競合学習手段による処理が進む。
【００７７】
そして、上記メモリーマトリックスの更新は、マトリックス更新手段１０８においてＣＣＤカメラ１０７から得られる出力ベクトルの中の最大のものを見つけ、この成分の近傍のメモリーマトリックスを更新することにより行われる。更新則は、

であり、ここで、α（ｔ）は学習スピードを示す係数であり、Ｎ_ｃ （ｔ）は更新範囲を示し、この更新範囲は時間経過（更新が進むに連れて）と共に小さくして行き、最終的には上記の最大成分だけにする。以上のメモリーマトリックスの更新もコンピュータ内のソフトウエアで実現している。
【００７８】
以上の構成により、本実施例の情報処理装置が、装置内に内積演算部分を持つ競合学習手段を含んでいても、ノルム情報の失われない処理が行えることは、前述の説明により明らかである。
【００７９】
なお、この情報処理装置において、入力ベクトル取得手段１は、ベクトルとして画像を想定したためＣＣＤ等の撮像素子を用いたが、他の手段でももちろんよい。例えば音声の場合は、マイクロフォンとＡＤ変換器を用いればよいし、濃度であれば、濃度センサー、流量であれば流量センサー等、何を用いてもよく、基本的には、欲しい情報をセンサーにより取得し、そのセンサーで得られた情報をコンピュータ内に取り込めればよい。
【００８０】
また、扱えるベクトル数も、８×８−１の６３個に限るわけではなく、空間光変調器での画素数やレンズアレーのレンズ数等を増減させれば、調節できることも明らかである。
【００８１】
〔第２実施例〕
本実施例の情報処理装置も、図１５にその構成を示すように、第１実施例と同様、処理を行うためのデータを取得するための入力ベクトル取得手段１と、この入力されたベクトルからＤ−２）あるいはＤ−３）にあげたノルム情報を発生させ、さらに発生させたこのノルム情報を入力ベクトルに付加し、Ｄ−１）のように正規化するための入力ベクトル加工手段２と、このノルム情報の付加され加工されたベクトルを入力して処理を行う競合学習手段３とを有するものであり、その違いは、入力ベクトル加工手段２と競合学習手段３の大部分を光学系で構成している点である。
【００８２】
さらに具体的には、本実施例の情報処理装置は、図１５に示すように、入力ベクトル取得手段１と、この入力ベクトル取得手段１により取得されたＤ−１）の（１９）式に対応したデータの総和を検出するための第１のベクトル成分総和検出手段２１と、得られたベクトル成分の総和から、Ｄ−１）の（２０）式に対応させてデータの正規化を行うための第１の正規化手段２２と、得られたベクトル成分の総和から、Ｄ−２）及びＤ−３）の（１７）’式に対応させて入力ベクトルのノルム情報を発生させるノルム情報発生手段２３と、この正規化された入力ベクトルにＤ−１）の（２０）式に対応させてノルム情報を付加するノルム情報付加手段２４と、このノルム情報の付加された入力ベクトル成分の総和を検出するための第２のベクトル成分総和検出手段２５と、得られたベクトル成分の総和からＤ−１）の（２１）式に対応させてデータの正規化を行うための第２の正規化手段２６と、以上のデータ加工結果を表示するための加工結果表示手段２７とから構成される入力ベクトル加工手段２と、この加工され表示されたデータを入力して処理するための競合学習手段３とにより構成し、本発明の目的を達成しようと言うものである。
【００８３】
図１６には、上記の中、入力ベクトル取得手段１及び入力ベクトル加工手段２の部分の光学系を具体的に示してある。なお、本実施例でも、濃淡画像の処理をまず想定している。入力ベクトル取得手段１では、撮像装置１１（具体的には、例えばズームレンズの付いたＣＣＤカメラ）で処理すべきベクトルである画像を取得し、この信号をドライバー１２により空間光変調器１３（本実施例の場合は、例えば透過型で電子アドレス型の液晶空間光変調器）に表示する。表示された処理すべき画像は、略平行な光束２０で読み出され、入力ベクトル加工手段２に送られる。入力ベクトル加工手段２では、まず、ビームスプリッタ２１ａ、集光レンズ２１ｂ、ディテクタ２１ｃからなる第１のベクトル成分総和検出手段２１により、この処理すべきベクトルである画像の総和が取られる。具体的には、入力された画像情報をビームスプリッタ２１ａで分岐し、集光レンズ２１ｂで集光し、ディテクタ２１ｃでその総和Ｄとして光量を検出し、電気信号に変換する。この検出された総和Ｄの電気信号は、第１の正規化手段２２である光量調整フィルタ２２ａのドライバー２２ｂに送られ、ここを通過する光量が一定になるように、つまり正規化されるように調節がなされる。具体的には、印加電圧によって通過する光量を変化させることのできる液晶シャッターを光量調整フィルタ２２ａとして用い、検出された総和Ｄの電気信号によってドライバー２２ｂで液晶シャッターに印加する電圧を制御することにより、ここを通過する光量を一定にする。さらに、検出された総和Ｄの電気信号は、ノルム情報発生手段２３である割算器により、ｆ（Ｄ）の選び方の例としてＤ−２）で述べた１／Ｄの情報に変換される。
【００８４】
この変換されたノルム情報である１／Ｄの信号は、ノルム情報付加手段２４の発光素子２４ａを駆動するドライバー２４ｂに送られ、１／Ｄに比例した光量を発光素子２４ａで発生させる。ノルム情報付加手段２４では、さらに、空間光変調器１３に表示された入力ベクトルを空間光変調器２４ｃ（本実施例の場合は、例えば反射型で光アドレス型の液晶空間光変調器）に結像させるための結像レンズ２４ｄ、及び、この空間光変調器２４ｃを駆動するためのドライバー２４ｅとで構成されている。この構成により、入力ベクトルの正規化されたものが空間光変調器２４ｃに表示される。この空間光変調器２４ｃでは、図１７（ａ）に正面図、（ｂ）に側面図を示すように、８×８の領域が設定されており、その中の１か所の領域（図では、右下隅の領域）に発光素子２４ａとして、本実施例で用いている発光ダイオードＬＤとそれからの光を集光するレンズＣＬで１／Ｄに比例した光量が照射されるようになっており、結果として、８×８−１の６３個の領域に正規化された入力ベクトルが、残りの１個の領域に１／Ｄに比例したノルム情報が表示されるようになっている。
【００８５】
この表示された入力ベクトル情報は、ビームスプリッタ２８ａで系内に導かれた略平行な光束２８で読み出され、第２のベクトル成分総和検出手段２５に送られその総和が検出され、さらに、この総和情報を基に第２の正規化手段２６により正規化が行われる。この第２のベクトル成分総和検出手段２５と第２の正規化手段２６は、それぞれ第１のベクトル成分総和検出手段２１と第１の正規化手段２２と同一要素である、ビームスプリッタ２５ａ、集光レンズ２５ｂ、ディテクタ２５ｃ、及び、液晶シャッターである光量調整フィルタ２６ａ、ドライバー２６ｂで構成してある。
【００８６】
加工結果表示手段２７では、空間光変調器２４ｃに表示されたベクトルを、空間光変調器２７ａとして本実施例の場合用いた反射型で光アドレス型の液晶空間光変調器に結像させるための結像レンズ２７ｂ、及び、この空間光変調器２７ａを駆動するためのドライバー２７ｃで構成されている。この構成により、８×８−１の６３個の領域に正規化された入力ベクトルと、残りの１個の領域に１／Ｄに比例したノルム情報が表示された情報であって、さらに正規化された結果が空間光変調器２７ａに表示される。
【００８７】
本実施例では、情報処理装置の競合学習手段３として、前記のＪ．Ｄｕｖｉｌｌｉｅｒ等の装置を改良して用いている。次に、図１８を参照にして、Ｄｕｖｉｌｌｉｅｒ等の装置と略共通の部分の説明をする。図１８の切断面Ａ−Ａ’、Ｂ−Ｂ’、Ｃ−Ｃ’内の部分は、図１６に示した光学系が対応する。
【００８８】
まず、内積演算のフェーズでは、レーザー２００からの光束は、ミラー２０１を介してビームエキスパンダ２０２に入射され、略平行な光束２０３となる。この光束は、ビームスプリッタ２０４、２２３、２２４を介して、空間光変調器２７ａの位置に表示された８×８要素の入力情報（図１６参照）を系内に入力し、さらに、結像レンズ２０５及び２０６によりこの入力情報を、専用のドライバー２０７ｂで制御される空間光変調器２０７ａ（本実施例の場合、例えば透過型で光書込型の液晶空間光変調器）に表示されている８×８要素のメモリーマトリックスの情報に重畳させた上で読み出すものである（Ｊ．Ｄｕｖｉｌｌｉｅｒ等の装置は、入力情報を透過で読み出しているが、本実施例は入力情報は空間光変調器２７ａから反射で読み出しているので、この部分の構成は一部変更されている。）。この入力情報にメモリーマトリックスの情報が重畳した情報は、さらに８×８個のレンズアレー２０８と結像レンズ２０９を通過し、専用のドライバー２１０ｂで制御される空間光変調器２１０ａ（本実施例の場合、例えば透過型で光書込型の二値の液晶空間光変調器）上でさらに重ね合わさる。この一連の操作により、入力情報とメモリーマトリックスの内積演算結果がこの空間光変調器２１０ａ上に閾値操作されて記憶されたことになる（図１３参照）。
【００８９】
次に、メモリーマトリックスの更新のフェーズでは、上記内積演算のフェーズで空間光変調器２１０ａ上に記憶された内積演算結果が、略平行な光束２０３の中、ビームスプリッタ２０４を通過し、さらにミラー２１１及び２１２、ビームスプリッタ２１３を介して系内に導かれた略平行な光束２１４により読み出される。この読み出された情報は、さらに、ミラー２１５、２１６、２１７、ビームスプリッタ２２３、２２４、レンズ２１８、２１９、２２０、２２１、及び、Ｄａｍｍａｎｎ型のグレーティング２２２を介することにより、８×８に多重複製され、再び空間光変調器２７ａの位置に表示されている８×８要素の入力情報を読み出す。この操作によりメモリーマトリックスの更新量が決定されるが、この更新情報を結像レンズ２０５及び２０６により空間光変調器２０７ａ上に結像させ、さらに、ドライバー２０７ｂを制御し印加電圧を変化させることにより加算もしくは減算の形でメモリーマトリックスの更新が行われる。
【００９０】
ここで、メモリーマトリックスの更新に関しては、内積演算の出力ベクトルｙを空間光変調器２０７ａでスレシュホールドして二値化したものをＹとして、このＹをレンズ２１８〜２２１とＤａｍｍａｎｎ型グレーティング２２２とで倍率を縮小して元の大きさに戻すと共に、入力ベクトルと同じ８×８個に複製して、入力ベクトルに重ねる。これがメモリーマトリックスの更新量ΔＭ_ｉ となる。この更新則は、
Ｍ_ｉ （ｔ＋１）＝Ｍ_ｉ （ｔ）＋ａ（ｔ）ＮＯ｛ΔＭ_ｉ （ｔ）｝
ΔＭ_ｉ ＝Ｘ（Ｄ_ｉ Ｙ） ・・・（２４）
ここで、ａ（ｔ）は（２３）式のα（ｔ）と同様の学習スピードを示す係数、ＮＯは更新範囲を示す関数で、（２３）式のＮ_ｃ と同様の役目を担う。また、Ｄ_ｉ はＹのサブマトリックスを８×８に複製することを表す。この更新は、すでに記憶されている空間光変調器２０７ａ上のメモリーマトリックス情報Ｍ_ｉ （ｔ）に上記で決まったΔＭ_ｉ だけ加算もしくは減算することにより変更を加えることで行われる。このときの空間光変調器２０７ａの動作は、グレースケール動作とし、駆動電圧の符号を変化させればよい。また、駆動電圧の大きさを変化させれば、ＮＯつまり更新範囲や学習スピードを変化させることができる。これは、ドライバー２０７ｂをコンピュータ等で制御して行う。
【００９１】
なお、上記で、内積演算のフェーズとメモリーマトリックスの更新のフェーズでは、系が共通に使用されている部分があるので、シャッター２２５、２２６、２２７、２３１により、もちろん情報が干渉することを防止している。すなわち、内積演算のフェーズでは、シャッター２２５をオープンにし、シャッター２２６、２２７、２３１をクローズに、メモリーマトリックスの更新のフェーズでは、シャッター２２５と２３１をクローズにし、シャッター２２６と２２７をオープンにしている。
以上が、本実施例の競合学習手段３においてＪ．Ｄｕｖｉｌｌｉｅｒ等の装置と略共通の部分である。
【００９２】
本実施例で、先行例と異なる点は、図１５及び図１６を用いて先に説明したように、入力ベクトル取得手段１及び入力ベクトル加工手段２をこの競合学習手段３に新たに加えた点である。本実施例では、図１６に示した入力ベクトル取得手段１及び入力ベクトル加工手段２を、図中の切断面Ａ−Ａ’、Ｂ−Ｂ’及びＣ−Ｃ’が、図１８中の対応する部分に一致するように設置してある。この際、略平行な光束２０３の中ビームスプリッタ２０４を通過し、さらにビームスプリッタ２３４を介して入力ベクトル取得手段１及び入力ベクトル加工手段２の系内に入射させたものを略平行な光束２０とし、また、略平行な光束２０３の中のビームスプリッタ２０４で反射させたものを、ビームスプリッタ２２８を介して同系内に入力させて略平行な光束２８とした。さらに、本実施例では、内積演算結果とメモリーマトリックスも正規化するために、図中に示すように、第３のベクトル成分総和検出手段２２９及び第３の正規化手段２３０を挿入してある。この第３のベクトル成分総和検出手段２２９と第３の正規化手段２３０は、それぞれ第１のベクトル成分総和検出手段２１と第１の正規化手段２２（図１６）と同一要素である、ビームスプリッタ２２９ａ、集光レンズ２２９ｂ、ディテクタ２２９ｃ、及び、液晶シャッターである光量調整フィルタ２３０ａ、ドライバー２３０ｂで構成してある。この構成により、内積演算のフェーズでは内積演算結果が正規化される。一方、メモリーマトリックスの更新のフェーズでは、メモリーマトリックスの更新後、シャッター２２７をクローズにし、シャッター２２５と２３１をオープンにし、略平行な光束２０３の中のビームスプリッタ２２３を透過してきたものを、さらにミラー２３２及びビームスプリッタ２３３を介して空間光変調器２０７ａに入射させ、更新されたメモリーマトリックスの情報を読み出して正規化するものである。競合学習のアルゴリズムとしては内積演算結果の正規化は必要ないので、第３のベクトル成分総和検出手段２２９と第３の正規化手段２３０は、内積演算のフェーズでは省略してもよい。しかしながら、内積演算結果を正規化することにより、信号量の発散、飽和に伴うハードウエアの調整の問題を防ぐことができる。
【００９３】
この実施例中では、透過型や反射型、及び、電子アドレス型や光アドレス型の液晶空間光変調器を用いたが、これらは上記実施例にあげた組み合わせに限られるものではなく、様々な組み合わせが考えられることは言うまでもない。
【００９４】
以上であげた正規化手段において、その目的は、数学的に厳密にはベクトルのノルムを１にすることである。しかしながら、ハードウエア上においてノルムに応じて光量を厳密に一定にするのではなく大まかに調節するようにしても、厳密な正規化と同様な効果を得ることができる。したがって、本発明中の正規化の定義は広く、ノルムの大きさによってベクトル成分の大きさを調節することを意味するものとする。また、Ｄ−２）、Ｄ−３）のような厳密な変換式をハードウエア上で実現する場合、諸装置の特性を変えることにより近似的にその作用を得るようにしてもよい。
【００９５】
また、以上では、１つの入力に対し１つのノルム情報を与えたが、複数個の情報を与えてもよい。つまり、追加する次元は１次元に限らず、多数次元としてもよい。
【００９６】
以上の構成により、本発明の情報処理装置が、装置内に内積演算部分を持つ競合学習手段を含んでいても、ノルム情報の失われない処理が行えることは前述の説明より明らかである。
【００９７】
なお、この情報処理装置においても、入力ベクトル取得手段は第１実施例と同様、撮像素子に限定されるわけではなく、マイクロフォンや濃度センサー、流量センサー等、どんなセンサーを用いてもよい。また、扱えるベクトル数も第１実施例と同様に調節できることも明らかである。
【００９８】
以上、本発明の情報処理装置をその原理と実施例に基づいて説明してきたが、本発明はこれら実施例に限定されず種々の変形が可能である。
【００９９】
【発明の効果】
以上の説明から明らかなように、本発明の情報処理装置によると、以下の条件を満たす情報処理装置を提供することができる。
Ａ−１）距離基準として、ハードウエア化に適した内積演算を用いる競合学習を行う。
Ａ−２）入力データのノルム情報を失わない競合学習ができる。
【図面の簡単な説明】
【図１】規格化しない場合の内積演算による勝利ベクトルの決定過程を示す図である。
【図２】規格化した場合の内積演算による勝利ベクトルの決定過程を示す図である。
【図３】２次元一様分布ベクトルデータを示す図である。
【図４】２次元一様分布ベクトルデータを規格化した場合の分布を示す図である。
【図５】本発明の情報処理装置に入力する２次元平面上の４点を示す図である。
【図６】ノルムを示す成分としてＤを選んだ場合の３次元空間における４点の位置を示す図である。
【図７】ノルムを示す成分として１／Ｄを選んだ場合の３次元空間における４点の位置を示す図である。
【図８】自己組織化特徴マップの構造を示す図である。
【図９】競合学習の距離基準にユークリッド距離を用いた場合の領域図と隣接する素子の重みベクトル同志を結んだ図である。
【図１０】ノルムを示す成分としてＤ、１／Ｄを選んだ場合及び選ばなかった場合の領域図である。
【図１１】ノルムを示す成分として理論的なものを選んだ場合の領域図である。
【図１２】本発明の第１実施例に用いる内積演算光学系の原理を示す図である。
【図１３】本発明の第２実施例に用いる内積演算光学系の原理を示す図である。
【図１４】本発明の第１実施例の構成の概略を示す図である。
【図１５】本発明の第２実施例の構成の概略を示す図である。
【図１６】本発明の第２実施例の具体的な構成を示す図である。
【図１７】第２実施例に用いるノルム情報を付加する空間光変調器の正面図と側面図である。
【図１８】本発明の第２実施例の競合学習手段の構成を示す図である。
【符号の説明】
１…入力ベクトル取得手段
２…入力ベクトル加工手段
３…競合学習手段
１１…撮像装置
１２…ドライバー
１３…空間光変調器
２０…光束
２１…第１のベクトル成分総和検出手段
２１ａ…ビームスプリッタ
２１ｂ…集光レンズ
２１ｃ…ディテクタ
２２…第１の正規化手段
２２ａ…光量調整フィルタ
２２ｂ…ドライバー
２３…ノルム情報発生手段
２４…ノルム情報付加手段
２４ａ…発光素子
２４ｂ…ドライバー
２４ｃ…空間光変調器
２４ｄ…結像レンズ
２４ｅ…ドライバー
２５…第２のベクトル成分総和検出手段
２５ａ…ビームスプリッタ
２５ｂ…集光レンズ
２５ｃ…ディテクタ
２６…第２の正規化手段
２６ａ…光量調整フィルタ
２６ｂ…ドライバー
２７…加工結果表示手段
２７ａ…空間光変調器
２７ｂ…結像レンズ
２７ｃ…ドライバー
２８ａ…ビームスプリッタ
２８…光束
１０１…第２液晶テレビ
１０２…第１液晶テレビ
１０３…キセノンランプ
１０４…ディフューザー
１０５…レンズアレー
１０６…結像レンズ
１０７…ＣＣＤカメラ
１０８…マトリックス更新手段
２００…レーザー
２０１…ミラー
２０２…ビームエキスパンダ
２０３…光束
２０４、２２３、２２４…ビームスプリッタ
２０５、２０６…結像レンズ
２０７ａ…空間光変調器
２０７ｂ…ドライバー
２０８…レンズアレー
２０９…結像レンズ
２１０ａ…空間光変調器
２１０ｂ…ドライバー
２１１、２１２…ミラー
２１３…ビームスプリッタ
２１４…光束
２１５、２１６、２１７…ミラー
２１８、２１９、２２０、２２１…レンズ
２２２…Ｄａｍｍａｎｎ型グレーティング
２２３…ビームスプリッタ
２２５、２２６、２２７、２３１…シャッター
２２８…ビームスプリッタ
２２９…第３のベクトル成分総和検出手段
２２９ａ…ビームスプリッタ
２２９ｂ…集光レンズ
２２９ｃ…ディテクタ
２３０…第３の正規化手段
２３０ａ…光量調整フィルタ
２３０ｂ…ドライバー
２３２…ミラー
２３３…ビームスプリッタ
２３４…ビームスプリッタ
ＬＤ…発光ダイオード
ＣＬ…レンズ[0001]
[Industrial applications]
The present invention relates to an information processing apparatus, and in particular, determines a processing element that satisfies a certain distance criterion by using an inner product operation, and performs some operation on the winning element and the element determined by the winning element to perform phase preservation. The present invention relates to an information processing apparatus that performs competitive learning for mapping and pattern recognition.
[0002]
[Prior art]
A competitive learning algorithm that determines a winning element that satisfies a certain distance criterion, and performs phase-preserving mapping and pattern recognition by performing an operation on the winning element and an element determined by the winning element is well known. (T. Kohonen, "Self-Organization and Associative Memory, Third Edition, Springer-Verlag, Berlin, 1989.).
[0003]
Each of these algorithms uses a distance criterion such as a Euclidean distance, a Manhattan distance, or an inner product, and has a competitive process of selecting a winning element satisfying the criterion for a certain input. When creating a program and executing the algorithm on a normal computer, any distance reference can be easily used. Therefore, the Euclidean distance, which is generally reported to have good performance, is often used as a distance criterion.
[0004]
However, when calculating the Euclidean distance on hardware, a difference circuit, a square circuit, and a summation circuit are required, which makes it difficult to realize. For this reason, the inner product distance reference is often used. In particular, when realized using optics, the inner product operation is most easily realized due to the parallelism of light. Some information processing devices that perform competitive learning with inner product calculation using optics have been reported (Taiwei et al., “Self-organizing optical neural network for unsupervised learning”, Opt. Eng., Vol. 29, No. 29). J. Duvillier et al., "All-optical implementation of a self-organizing map", Appl. Opt. Vol. 33, No. 2, 1994.).
[0005]
[Problems to be solved by the invention]
When competing for a winning element using the inner product operation, it is necessary to standardize the data. This will be described with reference to FIG. The input data is a two-dimensional vector X, and the weight vector of the element group that is a candidate for competition is a two-dimensional vector m._i(I indicates an element number). As shown in FIG. 1, a two-dimensional vector X is input, and m is used as a weight vector of the candidate.₁, M₂Suppose there was. When the Euclidean distance is used, since the closest one between the vectors is the winning element, d₁<D₂Than m₁Is the winning element. On the other hand, when the inner product operation is used, the one with the largest inner product value corresponds to the most similar to the input vector, and is a winning element. The inner product value is m in FIG._iOrthogonal projection D of X_iAnd the norm of X. Therefore, D_iBy comparing the magnitudes of, the magnitude of the inner product can be compared. In this case, m₂Is the winning element. In competitive learning, the similarity in the Euclidean distance between the input data and the weight vector and the similarity in the Manhattan distance and the like are compared, and the element having the most similar weight vector is selected. However, when the inner product operation is used as described above, the weight vector having a larger norm has a larger inner product value even if the Euclidean distance is far, and the weight vector is likely to be a winner. That is, the similarity in the inner product operation depends on the norm of the vector, not on the magnitude of the Euclidean distance. Therefore, effective competitive learning cannot be performed.
[0006]
Therefore, in order to perform effective competitive learning by the inner product operation, the input data and the weight data must be standardized. At this time, as shown in FIG.₁<D₂, D₁> D₂And using either the Euclidean distance or the inner product operation,₁Is the winning element. Therefore, effective competitive learning can be performed even by using the inner product operation.
[0007]
However, by performing the above-described normalization, norm information of input data is lost. That is, for example, when there is a uniform distribution of two-dimensional vector data as shown in FIG. 3, if normalization is performed, a point on a unit radius curve as shown in FIG. 4 is input. That is, all points in the direction connecting the origin O and the data point become one point on the curve, the norm information of the input data is lost, and only the direction information remains. In the case of competitive learning only in the direction of vector data, the norm information of the data may be lost, but in the case of competitive learning that also considers the norm of the vector, the norm information cannot be lost.
[0008]
Summarizing the above problems, the conditions required for the information processing apparatus of the present invention are as follows.
A-1) Competitive learning using an inner product operation suitable for hardware implementation is performed as a distance reference.
A-2) Competitive learning can be performed without losing norm information of input data.
[0009]
The present invention has been made in view of the above situation, and an object of the present invention is to use an inner product operation that satisfies the above conditions A-1) and A-2) and is suitable for hardware implementation as a distance reference. An object of the present invention is to provide an information processing apparatus capable of performing competitive learning and performing competitive learning without losing norm information of input data.
[0010]
[Means for Solving the Problems]
The information processing apparatus of the present invention that achieves the above object is an information processing apparatus in which an input vector is obtained by taking an inner product with each vector of a weight vector group to correspond to any vector of the weight vector group. It has a norm extracting / adding means for extracting information relating to the norm of the vector and adding it to the components of the input vector.
[0011]
In this case, it is desirable to have an input vector normalizing means for normalizing the input vector to which the information regarding the norm is added before taking the above inner product. Further, it is desirable to have weight vector group normalizing means for normalizing each vector of the weight vector group before taking the above inner product. These normalizations may be performed by an electric signal or may be performed optically.
[0012]
[Action]
Hereinafter, the reason and operation of the above configuration will be described.
Using an inner product operation as a distance criterion (A-1)), what kind of algorithm should be used in order to perform competitive learning without losing norm information of input data (A-2)) is theoretically determined. This will be described with reference to FIGS.
[0013]
As described above, when determining the similarity using the inner product operation, it is necessary to normalize the data. At this time, since the vector is divided by the norm to obtain a unit vector, the original norm information has been conventionally lost. In order not to lose the original norm information, the present invention considers adding a component indicating the norm to one component of the input vector. For example, assume that the input data is a two-dimensional vector X = (x, y). The norm is D = (x²+ Y²)^1/2It is. If this is standardized, X / | X | = (x / D, y / D). This is the input vector conventionally used to determine the similarity using the inner product operation. X ′ = (x / D, y / D, f (D)) is created by adding a component indicating the norm to this vector. Next, X 'is normalized to create X "= X' / | X '|, which is used as input data instead of X.
[0014]
That is,
X = (x, y), D = (x²+ Y²)^1/2                ... (1)
X '= (x / D, y / D, f (D)) (2)
X "= X '/ | X' | (3)
Since X ″ has been normalized, it is possible to determine the similarity using the inner product operation. In addition, since the vector component of X ″ includes the norm information D, even if it is normalized, the input vector Not only the direction information but also the norm information. Therefore, if X ″ is used as input data instead of X = (x, y), it is possible to perform competitive learning without losing norm information of the input data even if an inner product operation is used as a distance reference.
[0015]
The correspondence between a two-dimensional vector of input data and a three-dimensional vector obtained by adding a component indicating a norm to the vector is examined for various f (D). First, as a simple case, a) f (D) = D, b) f (D) = 1 / D are selected, and each point A of X on the two-dimensional plane shown in FIG.₁, B₁, A₂, B₂6 and 7 show what is converted to each point of X ″ on the three-dimensional space. In each case of FIGS. 6 and 7, there is a one-to-one correspondence. And point A₁, B₁, A₂, B₂There is no such thing as a twist that would break the order. However, the phase of the input data is better preserved in the case of b). The reason will be described below.
[0016]
On the two-dimensional plane shown in FIG.₁And B₁Distance of A₂And B₂Comparing the distances, A₁And B₁Is closer. When the converted points are compared in a three-dimensional space, FIG.₁And B₁Point A corresponding to₁", B₁"A₂And B₂Point A corresponding to₂", B₂7, the opposite is true in FIG. 7. Therefore, in FIG. 7, the relative perspective relationship on the two-dimensional plane can be reflected, and the phase of the input data can be better preserved. It is.
[0017]
An experimental example will be described in order to further clarify whether the phase of the input data is better preserved. As an example of competitive learning, a self-organizing feature map (T. Kohonen, "Self-Organization and Associative Memory, Third Edition, Springer-Verlag, Berlin, 1989., hereinafter referred to as a SOM) is used as a phase preservation image. The SOM will be briefly described below.
[0018]
As shown in FIG. 8, the SOM includes a layer of a two-dimensionally arranged element group (hereinafter, referred to as a map layer ML) and an input layer IP for inputting data. Although the map layer ML shows elements arranged in two dimensions in FIG. 8, elements arranged in one dimension may be used. The input layer IP is connected to all elements of the map layer ML, and input data can be provided to all elements of the map layer ML. The input data may be a scalar or a vector, but is generally referred to as a vector X (n-dimensional) here. All elements i of the map layer ML (i is an order on the map and the total number of elements is k) are all weight vectors m_i(N-dimensional). The SOM algorithm is based on an input vector X and a weight vector m of each element._i<Similarity matching> that determines a weight vector to be updated based on the similarity with_iIs brought closer to the input vector X. The weight vector m reflecting the distribution of the input vector X is obtained by repeating the action of both._i(1 ≦ i ≦ k) is generated. Specific expressions of <similarity matching> and <update> are shown below.
[0019]
<Similarity matching>

<Update>

Where | X-m_i| Is X and m_iE is the Euclidean distance, C is the element whose distance is the smallest (winning element), N_cDenotes a neighborhood of the winning element C in the map layer ML, α (t) denotes a positive constant, and t denotes time. While repeating the update, N_cAnd the magnitude of α (t) are gradually reduced. Further, α (t) can be selected so as to become smaller as the distance from the winning element C increases.
[0020]
In the above algorithm, since the Euclidean distance is used in <similarity matching>, X is also m_iNeed not be standardized. When the inner product operation is used in <similarity matching> as in the present invention, specific expressions of <similarity matching> and <update> of the SOM algorithm are as follows.
[0021]
<Similarity matching>

<Update>

Here, it is assumed that X has been standardized. m_iHas also been standardized after the update.
[0022]
X is randomly selected from a set of input vectors X and sequentially input, and a weight vector m_iWeight vector m reflecting the distribution of the input vector X by repeating the update of_i(1 ≦ i ≦ k) is generated. That is, the weight vector m_i(1 ≦ i ≦ k) is a prototype of the distribution of the input vector. Then, when updating the weight vector of a certain element so as to approach the input vector, the elements in the vicinity of the element on the map are also updated in the same manner. It will correspond to a close vector. Therefore, the SOM algorithm can create a set of prototypes that reflect the topology of the input data space. The SOM algorithm has the following features.
[0023]
B-1) Weight vector m_iAn appropriate map can be created regardless of the initial state of (1 ≦ i ≦ k).
B-2) An appropriate map can be created regardless of the input order of the input vector X.
[0024]
B-3) Since the map is one-dimensional or two-dimensional, the phase of the input data can be visually checked.
B-4) Since the simple operations of <similarity matching> and <update> are repeated, the algorithm is simple.
[0025]
The SOM has been described above. In this SOM, the inner product operation using X ″ is performed by changing the above-mentioned way of f (D). Then, the degree of the phase preservation state of the input data by the way of f (D) is compared.
[0026]
In the SOM, an element is an array of 10 × 10 two-dimensional lattices, and input data is a group of two-dimensional vectors X = (x, y) uniformly distributed in a square, {0 ≦ x ≦ 1, 0 ≦ Let y ≦ 1ｙ. Whether the phase of the input data is better preserved is determined by displaying the two-dimensional vector group X = (x, y) in the square for each element corresponding to the data and examining the shape of each area. Done by Note that adjacent elements are displayed in white and black in a two-dimensional lattice so that data can be easily distinguished for each corresponding element.
[0027]
Normally, in SOM, X = (x, y) is directly input, and the Euclidean distance is used as a distance reference for competitive learning. The results in that case are shown in FIGS. 9 (a) and 9 (b). FIG. 9B is a diagram in which the weight vector of each element is connected to adjacent elements, and FIG. 9A is a diagram showing a region corresponding to the element (hereinafter, referred to as a region diagram). Since the two-dimensional vector group X in the square is divided into a two-dimensional lattice, each region has a structure in which small square lattices are regularly arranged. If X = (x, y) is input as it is and the Euclidean distance is used as a distance reference for competitive learning, the phase of the input data can be best preserved. Let us call this result the standard result. When X "is input and competitive learning is performed by inner product calculation, it can be said that the closer to the standard result, the better the phase of the input data is stored.
[0028]
Therefore, the SOM of the inner product operation was performed for the cases of a) f (D) = D and b) f (D) = 1 / D. The area diagrams are shown in FIGS. 10 (a) and (b), respectively. In FIG. 10B, the regions are spread in a lattice shape, whereas in FIG. 10A, the regions are disturbed, and are distributed radially especially near the origin at the upper left. Therefore, it can be said that the case (b) clearly preserves the phase of the input data better. The radial distribution indicates that the angle dependence of X = (x, y) is strong. The reason for this is that, as described above with reference to FIG. 6, A near the origin, which should be close on the two-dimensional plane,₁, B₁Can be interpreted as being relatively separated in the three-dimensional space, and the angle information is emphasized more than the norm information.
[0029]
As a supplementary experiment, SOM of inner product calculation was performed by inputting only X = (x, y) normalized without using size information. FIG. 10C shows a region diagram at this time. As described in [Problems to be Solved by the Invention], norm information of input data is lost by normalization. Therefore, the entire area has a radial distribution depending only on the angle information, and the discriminating ability regarding the norm of the element is lost. In the case of FIG. 10A described above, it can be seen from the comparison with FIG. 10C that the region is more disordered than in FIG. 10B, but the discrimination ability regarding the norm remains.
[0030]
By the way, in the case of a) f (D) = D, b) f (D) = 1 / D, it can be said that b) preserves the phase of the input data better. In order to preserve the phase of, what kind of f (D) should be selected is examined. In other words, what kind of f (D) is selected, X = (x, y) is input as it is, and the same result as in the case where the Euclidean distance is used as the distance criterion for competitive learning can be obtained. . It is a problem of the SOM itself whether the phase of the input data can be completely preserved. In the description of the present invention, to best preserve the phase of the input data is equivalent to obtaining the same result as when using the Euclidean distance as the distance criterion for competitive learning, and to completely preserve the phase of the input data. Note that it is not. With this in mind, X = (x, y) is input as it is, and a condition for obtaining the same result as when the Euclidean distance is used is determined.
[0031]
Again, four points A in FIG.₁, B₁, A₂, B₂think of. In order to obtain the same result as when using the Euclidean distance, the ratio of line segments in a two-dimensional plane must be preserved in a three-dimensional space. This condition is expressed by an equation.
[0032]
First, 4 points A₁, B₁, A₂, B₂And the norm D₁, D₂Are as shown in equation (8).
A₁= (R₁  cos θ_A, R₁  sin θ_A),
A₂= (R₂  cos θ_A, R₂  sin θ_A),
B₁= (R₁  cos θ_B, R₁  sin θ_B),
B₂= (R₂  cos θ_B, R₂  sin θ_B),
D₁= R₁, D₂= R₂                                ... (8)
These coordinates correspond to the input vector X = (x, y). X ′ = (x / D, y / D, f (D)) obtained by normalizing this vector and further adding a component indicating the norm is represented by the following equation (9).
[0033]
A₁’= (Cos θ_A, Sin θ_A, F (D₁)),
A₂’= (Cos θ_A, Sin θ_A, F (D₂)),
B₁’= (Cos θ_B, Sin θ_B, F (D₁)),
B₂’= (Cos θ_B, Sin θ_B, F (D₂)) ・ ・ ・ (9)
X ″ obtained by standardizing this is as shown in equation (10).
[0034]

X in three-dimensional space²+ Y²+ Z²= Arc A on one surface₁, B₁Length between and arc A₂, B₂The length between them is given by equations (11) and (12), respectively (the arc is <A₁B₁>. ). Where A₁, B₁, A₂, B₂Let's consider the position vector ofA ₁ It expresses like. ).
[0035]

Line segment A in two-dimensional plane₁B₁And line segment A₂B₂The length ratio is given by equation (13).
[0036]
｜ A₁-B₁|: | A₂-B₂| = R₁: R₂= D₁: D₂  ・ ・ (13)
As shown in equation (14), line segment A₁B₁And line segment A₂B₂Is <A₁"B₁"> And <A₂"B₂When the length ratio is equal to “>”, the condition shown in Expression (14) is satisfied.
[0037]
｜ A₁-B₁| / | A₂-B₂| = <A₁"B₁"> / <A₂"B₂"> ... (14)
Substituting equations (11), (12), and (13) into equation (14) yields equation (15).
[0038]

Equation (15) can be written as equation (16) using a proportional constant k (k ≠ 0).
[0039]
kD_i= Cos^-1[｛Cos Δθ + f (D_i)²｝ / ｛1 + f (D_i)²｝] (I = 1, 2) (16)
This is called f (D_i) Yields equation (17).
[0040]
f (D_i) = ｛(CoskD_i−cosΔθ) / (1−coskD_i)｝^1/2(I = 1, 2) (17)
Here, since the definitions of various quantities and the inside of the radical are positive, there is the following restriction condition (18).
[0041]
coskD_i−cosΔθ> 0,0 <kD_i<Π / 2 (= 1, 2) (18)
Equations (17) and (18) have the following meanings. When a certain point forming Δθ on a two-dimensional plane is converted into a three-dimensional space by the above-described rule, using an expression of f (D) such as an expression (17), such a two-dimensional point on the two-dimensional plane is obtained. The ratio of line segments between points is x in the corresponding three-dimensional space.²+ Y²+ Z²= Equal to the ratio of the lengths between points on one surface.
[0042]
According to equation (18), when a certain proportionality constant k is determined, D_iIs not greater than the amount determined by k and Δθ. This will be described qualitatively.
D_iIncreases, the distance between the two points in the two-dimensional plane increases arbitrarily, but x in the corresponding three-dimensional space²+ Y²+ Z²= The length between the points of the base on one side cannot be greater than the width of the base. Therefore, D_iIt becomes difficult to satisfy the condition as the value of becomes larger.
[0043]
f (D_i) Was selected as shown in equation (17), the SOM of the inner product operation as described above was performed. f (D_i) Were selected as k = 0.3 and Δθ = π / 3 so as to satisfy the expression (18). Equation (18) is an equation at a certain Δθ. In competitive learning, since there are various input vectors, Δθ takes various values in accordance with the input vectors. However, in actual simulation, Dθ is set so that equation (18) is satisfied._iK and Δθ are appropriately determined in advance in consideration of the maximum value of. As can be seen from the results of the region diagram, there is no problem if k and Δθ are fixed.
[0044]
FIG. 11 shows a region diagram in the case of using the expression (17). According to FIG. 11, as in FIG. 9A, the small square lattice has a regular arrangement. This is better aligned than if f (D) = 1 / D was chosen. This can be understood from the fact that the number of vertical and horizontal small areas is ten.
[0045]
Therefore, from this experiment, f (D_i), It is possible to input X = (x, y) as it is and obtain the same result as when the Euclidean distance is used as a distance reference for competitive learning, and a mapping that best preserves the phase of input data Can be realized.
[0046]
Next, the expressions (14) and (15) will be supplemented. Equations (14) and (15) are strict conditions. However, if only the magnitude relation between the denominator and the denominator on both sides is preserved, it is sufficient if f (D) is a function that decreases with respect to D. It can be understood by considering the properties of That is, comparing f (D) = D and f (D) = 1 / D, the better result for f (D) = 1 / D is that f (D) = 1 / D is equal to D Can be said to be a decreasing function.
[0047]
Of course, the function is not limited to f (D) = 1 / D. In order to preserve the phase better, any decreasing function with respect to D may be chosen. As described above, even when a function other than the decreasing function is used for D, it is difficult to preserve the phase, but it is possible to perform learning to some extent without losing norm information.
[0048]
In the above, what algorithm should be used in order to perform competitive learning without losing norm information of input data using inner product calculation as a distance criterion has been theoretically described. Briefly, it is as follows.
C-1) In competitive learning using the inner product operation as a distance reference, when a two-dimensional vector X = (x, y) is input, the conversion as in equations (1) to (3) is performed, and X ″ is input. Then, norm information is not lost due to normalization for the inner product operation.
[0049]
X = (x, y), D = (x²+ Y²)^1/2                ... (1)
X '= (x / D, y / D, f (D)) (2)
X "= X '/ | X' | (3)
C-2) For f (D), various functions can be used, but for the increasing function and the decreasing function for D, the decreasing function can better preserve the phase. For example, when f (D) = D and f (D) = 1 / D, the latter is better.
[0050]
C-3) If f (D) is given by the expression (17) ', the phase can be preserved even better.
f (D) = {(coskD-cosΔθ) / (1-coskD)}^1/2... (17) '
In the expression (17) ', since it is generally described, D_iI was deleted.
[0051]
In the above discussion and summary, the two-dimensional vector X = (x, y) has been treated as an input because it is easy to show in the figure, but the n-dimensional vector X = (x₁, X₂..., x_n) And (n = 1, 2, 3,...). At this time, the expressions (1), (2) and (3) are as follows.
[0052]
X = (x₁, X₂.., x_n), D = (x₁ ²+ X₂ ²+ X_n ²)^1/2... (19)
X '= (x₁/ D, x₂/D,...,x_n/ D, f (D)) · · (20)
X "= X '/ | X' | (21)
Also, in equation (8), four points A in the n-dimensional space₁, B₁, A₂, B₂Coordinates and norm D₁, D₂Is expressed using the direction cosine as shown in Expression (22), the same expression as Expression (17) can be obtained.
[0053]
A₁= (R₁cos θ_A1, R₁cos θ_A2, ..., r₁cos θ_An),
A₂= (R₂cos θ_A1, R₂cos θ_A2, ..., r₂cos θ_An),
B₁= (R₁cos θ_B1, R₁cos θ_B2, ..., r₁cos θ_Bn),
B₂= (R₂cos θ_B1, R₂cos θ_B2, ..., r₂cos θ_Bn),
D₁= R₁, D₂= R (22)
Where (cos θ_A1, Cosθ_A2, ..., cosθ_An) Is A₁And A₂Direction cosine, (cosθ_B1, Cosθ_B2, ..., cosθ_Bn) Is B₁And B₂Indicates the direction cosine of. In the case of n dimensions, Δθ in equation (17) corresponds to the angle between these two direction cosine. If n is set to 2 in the case of an n-dimensional vector, it can be seen that this is consistent with the discussion of the two-dimensional vector so far.
From the above, it is clear that the above discussion and summary is not limited to two-dimensional vectors, but can be extended to multi-dimensional vectors.
[0054]
Finally, the case of an n-dimensional vector is summarized.
D-1) In competitive learning using the inner product operation as a distance reference, when an n-dimensional vector X (n = 1, 2, 3,...) Is input, conversion as in equations (19) to (21) is performed. If X "is input, norm information is not lost due to normalization for the inner product operation.
[0055]
X = (x₁, X₂.., x_n), D = (x₁ ²+ X₂ ²+ X_n ²)^1/2... (19)
X '= (x₁/ D, x₂/D,...,x_n/ D, f (D)) · · (20)
X "= X '/ | X' | (21)
D-2) Various functions can be used for f (D), but when the increasing function and the decreasing function are compared with respect to D, the decreasing function can better preserve the phase. For example, when f (D) = D and f (D) = 1 / D, the latter is better.
[0056]
D-3) If f (D) is given by the expression (17) ', the phase can be preserved even better.
f (D) = {(coskD-cosΔθ) / (1-coskD)}^1/2... (17) '
In the above, what algorithm should be used to perform competitive learning without losing norm information of input data using inner product operation as a distance criterion has been theoretically explained and summarized.
The present invention based on the above discussion is the following information processing apparatus.
[0057]
[1] In an information processing apparatus that associates an input vector with any vector of a weight vector group by taking an inner product with each vector of a weight vector group, information about the norm of the input vector is extracted before taking the inner product. An information processing apparatus comprising a norm extracting / adding means for adding to a component of an input vector.
[0058]
[2] The information processing apparatus according to [1], further comprising input vector normalizing means for normalizing an input vector to which the information regarding the norm is added before taking the inner product.
[3] The information processing apparatus according to [1], further comprising weight vector normalizing means for normalizing each vector of the weight vector group before taking the inner product.
[0059]
[4] The information processing apparatus according to the above [2] or [3], wherein the normalization is performed by an electric signal.
[0060]
[5] The information processing apparatus according to the above [2] or [3], wherein the normalization is performed optically.
[0061]
The information processing apparatus of the present invention satisfies the following conditions A-1) and A-2).
[0062]
A-1) As a distance reference, an inner product operation suitable for hardware implementation is used.
[0063]
A-2) Competitive learning can be performed without losing norm information of input data.
[0064]
【Example】
Hereinafter, first and second preferred embodiments of the information processing apparatus of the present invention will be described. Prior to the description, the principle of the optical inner product calculation device used in these embodiments will be described.
explain.
[0065]
For simplicity, the vector for taking the inner product is assumed to be four-dimensional (2 × 2) and the input vector X (x₁, X₂, X₃, X₄) And nine weight vector groups m_i(M_i1, M_i2, M_i3, M_i4) (I = 1 to 9; 3 × 3). First, FIG. 12 shows an inner product operation optical system (Taiwei et al., "Self-organizing optical neural network for unsupervised learning", Opt. Eng., Vol. 29, No. 9, No. 9; 1107-1113, 1990.), wherein two liquid crystal televisions 101 and 102 are used, and a 2 × 2 X component (x₁, X₂, X₃, X₄) Are displayed in the order shown in the figure. The first liquid crystal television 102 has a 2 × 2 sub-matrix m._iAre arranged in 3 × 3, and each submatrix m_iTo m_iComponent (m_i1, M_i2, M_i3, M_i4) They are displayed in the order shown in the figure. X and m_iIn the display order of the vector components, one is in a relationship of the inverted image of the other. The optical system includes a first liquid crystal television 102 and a 3 × 3 sub-matrix m of the first liquid crystal television 102, which are arranged in the optical axis direction._i3 × 3 lenses L corresponding to the arrangement_i, A second liquid crystal television 101, an imaging lens 106, and a 3 × 3 sub-matrix m of the first liquid crystal television 102_iArrangement and 3 × 3 lens L of lens array 105_iAnd a CCD camera 107 having 3 × 3 light receiving areas corresponding to the arrangement.
[0066]
Then, the area is divided into 2 × 2 areas of the first liquid crystal television 102 and m_iComponent (m_i1, M_i2, M_i3, M_i4) Is displayed in one submatrix m_iIs the lens L at the corresponding position of the lens array 105._iAre arranged so that an image is formed on the second liquid crystal television 101 while the components of the vector correspond to each other, and further, the second liquid crystal television 101 is disposed at the entrance pupil position of the imaging lens 106, The imaging lens 106 is a 3 × 3 lens L of the lens array 105._iThe optical arrangement is such that the pupil is imaged on the 3 × 3 light receiving areas of the CCD camera 107.
[0067]
Accordingly, the i-th (i = 1 to 9) light receiving area of the CCD camera 107 has a lens L at a corresponding position of the lens array 105._iThe total amount of light passing through is incident. This lens L_iThe total amount of light passed through is the 2 × 2 sub-matrix m of the first liquid crystal television 102, as is clear from the optical path in the figure._iComponent (m_i1, M_i2, M_i3, M_i4) And the 2 × 2 X component (x₁, X₂, X₃, X₄) And the corresponding components are superimposed (multiplied mathematically) and added, and this is nothing but an inner product. Therefore, the light receiving areas 1 to 9 of the CCD camera 107 shown in FIG.₁~ Xm₉Is obtained.
[0068]
Next, Fig. 13 shows an inner product operation optical system (J. Duviller et al., "All-optical implemen- tation of a self-organizing map", Appl. Opt. Vol. 33, pp. 258) used in the second embodiment. -266, 1990.), using two spatial modulators 27a and 207a for taking the inner product, the inner product being obtained on another spatial modulator 210a. In this case, the spatial modulators 27a and 207a are superimposed and read with parallel light emitted from the spatial modulator 27a side. The spatial modulator 27a has a 2 × 2 X component (x₁, X₂, X₃, X₄) Are displayed in the order shown in the figure. Also, the spatial modulator 207a has nine vectors m₁~ M₉Are combined into one 3 × 3 submatrix M₁~ M₄Is displayed. That is, as shown in FIG._iContains each vector m₁~ M₉Are displayed such that the i-th component of is arranged in a 3 × 3 matrix. When the spatial modulators 27a and 207a are superimposed, the component x of the spatial modulator 27a₁~ X₄Are each a sub-matrix M of the spatial modulator 207a.₁~ M₄The two spatial modulators 27a and 207a are configured to correspond to the region of. The optical system includes a spatial modulator 27a, a spatial modulator 207a, a 2 × 2 matrix arrangement of the spatial modulator 27a, and a sub-matrix M of the spatial modulator 207a arranged in the optical axis direction.₁~ M₄2 × 2 lenses L corresponding to the arrangement_iA lens array 208 comprising an imaging lens 209 and a spatial modulator 210a._iThe spatial modulator 207a is located at the front focal position, the imaging lens 209 is located at the rear focal position, and the spatial modulator 210a is located at the rear focal position of the imaging lens 209. Then, each sub-matrix M of the spatial modulator 207a_iIs enlarged so as to form an enlarged image on the entire area of the spatial modulator 210a._iAnd the focal length ratio of the imaging lens 209 are determined.
[0069]
Therefore, on the spatial modulator 210a, the spatial modulators 27a and 207a are superimposed, and the X component x_iAnd the corresponding submatrix M_iAre superimposed (multiplied) and their sub-matrices M_iAre superimposed and imaged at the same position by the action of the lens array 208. Therefore, the sub-matrix M of the spatial modulator 210a_iJ-th (j = 1 to 9) component m of_jiCorrespond to all sub-matrices M₁~ M₄J-th component (m_j1, M_j2, M_j3, M_j4) And the corresponding component of X (x₁, X₂, X₃, X₄) Is added, ie, the inner product is incident. Therefore, X · m is provided in each of the illustrated areas 1 to 9 of the spatial modulator 210a.₁~ Xm₉Is obtained.
[0070]
As described above, the inner product operation optical system used in the first and second embodiments described below has been described using a four-dimensional vector as an example. Is clear from the configuration of the optical system.
[0071]
In the present invention, the norm information of a vector composed of other components is applied to at least one component of a vector that takes an inner product. For example, in the case of the four-dimensional vector, x₄To (x₁, X₂, X₃) Is used as the norm information of the vector.
Hereinafter, a preferred embodiment of the present invention will be described with reference to FIGS.
[0072]
[First embodiment]
As shown in FIG. 14, the information processing apparatus according to the present embodiment includes an input vector obtaining unit 1 for obtaining data for performing processing, and the above-described D-2) or D-2) based on the input vector. Input vector processing means 2 for generating the norm information described in D-3), adding the generated norm information to the input vector, and normalizing according to the condition of D-1); And a competitive learning means 3 for inputting and processing the added and processed vector.
[0073]
In the present embodiment, a device such as TaiweiLu described above is improved and used as the competition learning means 3 of the information processing device. First, with reference to FIG. 14, a description will be given of a portion common to an apparatus such as Taiwei Lu. The competitive learning means 3 displays an input vector composed of 8 × 8 pixels on the second liquid crystal television 101, and has a memory matrix (64 × 64) having 8 × 8 sub-matrices of 8 × 8 pixels corresponding to one weight vector. ) Is displayed on the first liquid crystal television 102, and the light of the xenon lamp 103 is irradiated from behind the first liquid crystal television 102 via the diffuser 104. The memory matrix can store a set of element weight vectors as described above. The illuminated information on the memory matrix on the first liquid crystal television 102 is imaged by the 8 × 8 lens array 105 such that all the sub-matrices corresponding to the respective weight vectors are superimposed on the second liquid crystal television 101, It is designed to be superimposed on the input vector. Further, the information of the sub-matrix on which the input vector is superimposed is incident on the 8.times.8 area of the CCD camera 107 by the imaging lens 106, and the input vector and the memory This means that the inner product operation of the matrix has been performed in each region (see FIG. 12).
[0074]
Further, the result of the inner product operation obtained by the CCD camera 107 is taken into the computer, and the updating amount of the memory matrix necessary for competitive learning is determined by the matrix updating means 108 implemented by software in the computer. , To be updated. The display on the first liquid crystal television 102 and the second liquid crystal television 101 is also controlled by a computer.
The above is the common part of the competitive learning means of the information processing apparatus of the present invention with the apparatus such as Taiwei Lu.
[0075]
In this embodiment, it is assumed that this information processing apparatus processes a grayscale image. In this case, the input vector acquiring means 1 fetches an image to be processed by an image pickup device such as a CCD and a frame memory into a computer, and inputs the image into a predetermined input vector (in this embodiment, 8 × 8−1 (= 63) component) (a minus one is assigned to norm information to be added). The way of development may be to divide the frame area on the frame memory into 8 × 8 areas, calculate the average brightness for each area, and use it as the value of each component. At this time, the component corresponding to the lower right region of the image is ignored, and norm information to be added to this portion is assigned. In the case of the present embodiment, this development is realized by software in a computer.
[0076]
Next, the input vector processing means 2 processes the expanded vector as in D-1) to D-3). First, the input vector processing means 2 calculates the D-1) of 63 expanded vectors. D is calculated according to the equation (19). Next, f (D) is calculated from this D according to the equation (17) ′ of D-3), and this f (D) is added as the 64th vector component according to the equation (20) of D-1). At the same time, D is used to normalize the other 63 vectors. F (D) in equation (20) can be easily selected as D-2) or D-3) by software control in the computer. Finally, normalization is performed again according to the equation (21) of D-1), and the processing of the input vector is completed. In the case of the present embodiment, the input vector processing means 2 is also realized by software in a computer. The input vector processed by the input vector processing means 2 is sent to the matrix updating means 108 in the competition learning means 3 and the second liquid crystal television 101, and the processing by the competition learning means proceeds.
[0077]
The updating of the memory matrix is performed by finding the largest one of the output vectors obtained from the CCD camera 107 by the matrix updating means 108 and updating the memory matrix near this component. The update rule is

Where α (t) is a coefficient indicating the learning speed, and N_c(T) indicates an update range, and this update range is reduced as time elapses (as the update progresses), and finally, only the maximum component is set. Updating of the above memory matrix is also realized by software in the computer.
[0078]
It is apparent from the above description that the information processing apparatus according to the present embodiment can perform processing without losing norm information even if the information processing apparatus of the present embodiment includes a competition learning unit having an inner product operation part in the apparatus. .
[0079]
In this information processing apparatus, the input vector obtaining means 1 uses an image sensor such as a CCD because an image is assumed as a vector, but other means may be used. For example, in the case of voice, a microphone and an AD converter may be used, a density sensor may be used for density, and a flow rate sensor may be used for flow rate. What is necessary is just to acquire and acquire the information obtained by the sensor into the computer.
[0080]
It is also apparent that the number of vectors that can be handled is not limited to 63 (8 × 8−1), but can be adjusted by increasing or decreasing the number of pixels in the spatial light modulator or the number of lenses in the lens array.
[0081]
[Second embodiment]
As shown in FIG. 15, the information processing apparatus according to the present embodiment also includes, as in the first embodiment, an input vector acquiring unit 1 for acquiring data for performing processing, and an Input vector processing means 2 for generating the norm information given in D-2) or D-3), adding the generated norm information to the input vector, and normalizing as in D-1) And a competitive learning means 3 for inputting and processing the processed vector to which the norm information is added. The difference is that most of the input vector processing means 2 and the competitive learning means 3 are implemented by an optical system. It is a point that constitutes.
[0082]
More specifically, as shown in FIG. 15, the information processing apparatus according to the present embodiment corresponds to the input vector acquiring unit 1 and the expression (19) of D-1) acquired by the input vector acquiring unit 1. A first vector component sum detecting means 21 for detecting the sum of the obtained data, and a normalizing means for normalizing the data from the sum of the obtained vector components in correspondence with the equation (20) of D-1). A first normalizing means 22, and a norm information generating means 23 for generating norm information of the input vector from the sum of the obtained vector components in accordance with the equations (17) 'of D-2) and D-3). And norm information adding means 24 for adding norm information to the normalized input vector in accordance with equation (20) of D-1), and detecting the sum of the input vector components to which the norm information has been added. Second vector for Component sum detection means 25, second normalization means 26 for normalizing data in accordance with the equation (21) of D-1) from the sum of the obtained vector components, and the above data processing results The present invention comprises an input vector processing means 2 comprising processing result display means 27 for displaying the data and competitive learning means 3 for inputting and processing the processed and displayed data. Is to achieve.
[0083]
FIG. 16 specifically shows an optical system of the input vector obtaining means 1 and the input vector processing means 2 in the above. In this embodiment, too, processing of a grayscale image is assumed first. The input vector acquiring means 1 acquires an image which is a vector to be processed by an imaging device 11 (specifically, for example, a CCD camera with a zoom lens), and outputs the signal to a spatial light modulator 13 In the case of the embodiment, the image is displayed on, for example, a transmission type and electronic address type liquid crystal spatial light modulator. The displayed image to be processed is read out by the substantially parallel light flux 20 and sent to the input vector processing means 2. In the input vector processing unit 2, first, the first vector component total detection unit 21 including the beam splitter 21a, the condenser lens 21b, and the detector 21c obtains the sum of the image which is the vector to be processed. Specifically, the input image information is branched by the beam splitter 21a, collected by the condenser lens 21b, detected by the detector 21c as the sum D, and converted into an electric signal. The detected electric signal of the sum D is sent to the driver 22b of the light amount adjusting filter 22a, which is the first normalizing means 22, so that the amount of light passing therethrough is constant, that is, normalized. Adjustments are made. Specifically, a liquid crystal shutter capable of changing the amount of light passing therethrough by an applied voltage is used as a light amount adjustment filter 22a, and a driver 22b controls a voltage applied to the liquid crystal shutter by an electric signal of the detected sum D. , The light amount passing therethrough is made constant. Further, the detected electric signal of the sum D is converted by the divider as the norm information generating means 23 into 1 / D information described in D-2) as an example of how to select f (D).
[0084]
The 1 / D signal as the converted norm information is sent to the driver 24b for driving the light emitting element 24a of the norm information adding means 24, and the light emitting element 24a generates a light amount proportional to 1 / D. The norm information addition means 24 further connects the input vector displayed on the spatial light modulator 13 to a spatial light modulator 24c (in the case of the present embodiment, for example, a reflective and light-addressed liquid crystal spatial light modulator). It comprises an imaging lens 24d for forming an image and a driver 24e for driving the spatial light modulator 24c. With this configuration, the normalized input vector is displayed on the spatial light modulator 24c. In the spatial light modulator 24c, an 8 × 8 area is set as shown in a front view in FIG. 17A and a side view in FIG. 17B. , Lower right corner area) as the light emitting element 24a, the light emitting diode LD used in this embodiment and the lens CL for condensing light from the light emitting diode LD are irradiated with a light amount proportional to 1 / D. As a result, the input vector normalized to 63 8 × 8-1 areas is displayed, and norm information proportional to 1 / D is displayed in the remaining one area.
[0085]
The displayed input vector information is read out by the substantially parallel light flux 28 guided into the system by the beam splitter 28a, sent to the second vector component sum detection means 25, and the sum thereof is detected. Normalization is performed by the second normalization means 26 based on the sum information. The second vector component sum detecting means 25 and the second normalizing means 26 are the same elements as the first vector component sum detecting means 21 and the first normalizing means 22, respectively. It comprises a lens 25b, a detector 25c, a light amount adjustment filter 26a as a liquid crystal shutter, and a driver 26b.
[0086]
In the processing result display means 27, the vector displayed on the spatial light modulator 24c is formed as an image on the reflective and light-addressed liquid crystal spatial light modulator used in the present embodiment as the spatial light modulator 27a. It comprises an imaging lens 27b and a driver 27c for driving the spatial light modulator 27a. According to this configuration, the input vector normalized to 63 areas of 8 × 8-1 and the information in which the norm information proportional to 1 / D is displayed in the remaining one area, are further normalized. The result is displayed on the spatial light modulator 27a.
[0087]
In the present embodiment, the above-mentioned J.P. An improved device such as Duviller is used. Next, with reference to FIG. 18, a description will be given of a portion substantially common to the device such as Duviller. The portions within the cut planes A-A ', B-B', and C-C 'in FIG. 18 correspond to the optical system shown in FIG.
[0088]
First, in the inner product calculation phase, the light beam from the laser 200 is incident on the beam expander 202 via the mirror 201, and becomes a substantially parallel light beam 203. This light beam inputs the 8 × 8 element input information (see FIG. 16) displayed at the position of the spatial light modulator 27a into the system via the beam splitters 204, 223, and 224, and further forms an image forming lens. The input information is displayed by 205 and 206 on a spatial light modulator 207a controlled by a dedicated driver 207b (in this embodiment, for example, a transmissive and optically-written liquid crystal spatial light modulator). The information is read out after being superimposed on the information of the memory matrix of × 8 elements (the device such as J. Duviller reads out the input information by transmission, but in the present embodiment, the input information is read from the spatial light modulator 27a. Since the reading is performed by reflection, the configuration of this part is partially changed.) The information obtained by superimposing the information of the memory matrix on the input information further passes through the 8 × 8 lens array 208 and the imaging lens 209, and is controlled by the dedicated driver 210b. In this case, for example, they are further overlapped on a transmissive optical writing binary liquid crystal spatial light modulator). By this series of operations, the inner product operation result of the input information and the memory matrix is stored in the spatial light modulator 210a by performing the threshold operation (see FIG. 13).
[0089]
Next, in the phase of updating the memory matrix, the inner product calculation result stored on the spatial light modulator 210a in the inner product calculation phase passes through the beam splitter 204 in the substantially parallel light beam 203, and further passes through the mirror 211. And 212, and are read out by the substantially parallel light flux 214 guided into the system via the beam splitter 213. The read information is further multiplexed to 8 × 8 by passing through mirrors 215, 216, 217, beam splitters 223, 224, lenses 218, 219, 220, 221 and a Dammann type grating 222. Then, the input information of the 8 × 8 element displayed at the position of the spatial light modulator 27a is read again. The update amount of the memory matrix is determined by this operation. This update information is imaged on the spatial light modulator 207a by the imaging lenses 205 and 206, and the driver 207b is controlled to change the applied voltage. The memory matrix is updated in the form of addition or subtraction.
[0090]
Here, regarding the update of the memory matrix, the output vector y of the inner product operation is thresholded by the spatial light modulator 207a and binarized, and this Y is used by the lenses 218 to 221 and the Dammann type grating 222. The magnification is reduced to return to the original size, and the same 8 × 8 as the input vector is duplicated and superimposed on the input vector. This is the memory matrix update amount ΔM_iIt becomes. This updating rule is:
M_i(T + 1) = M_i(T) + a (t) NO ｛ΔM_i(T)｝
ΔM_i= X (D_iY) (24)
Here, a (t) is a coefficient indicating the learning speed similar to α (t) in equation (23), NO is a function indicating the update range, and N (N) in equation (23)_cPlays the same role as. Also, D_iRepresents that the sub-matrix of Y is copied to 8 × 8. This update is based on the previously stored memory matrix information M on the spatial light modulator 207a._iΔM determined above in (t)_iThis is done by adding or subtracting only to make a change. The operation of the spatial light modulator 207a at this time may be a grayscale operation, and the sign of the drive voltage may be changed. Further, if the magnitude of the drive voltage is changed, NO, that is, the update range and the learning speed can be changed. This is performed by controlling the driver 207b with a computer or the like.
[0091]
In the above, in the phase of the inner product calculation and the phase of the memory matrix update, since there is a part where the system is commonly used, the shutters 225, 226, 227, and 231 prevent the information from interfering. ing. That is, in the inner product calculation phase, the shutter 225 is opened and the shutters 226, 227, and 231 are closed, and in the memory matrix update phase, the shutters 225 and 231 are closed and the shutters 226 and 227 are open.
The above is the description of the J.I. This is a part that is substantially common to a device such as Duviller.
[0092]
The present embodiment is different from the preceding example in that an input vector acquiring unit 1 and an input vector processing unit 2 are newly added to the competitive learning unit 3 as described above with reference to FIGS. It is. In the present embodiment, the input vector obtaining means 1 and the input vector processing means 2 shown in FIG. 16 correspond to the cut planes AA ′, BB ′, and CC ′ shown in FIG. It is set to match the part. At this time, the substantially parallel light flux 203 which passes through the middle beam splitter 204 of the substantially parallel light flux 203 and further enters the system of the input vector acquisition means 1 and the input vector processing means 2 via the beam splitter 234 is referred to as a substantially parallel light flux 20. The beam reflected by the beam splitter 204 in the substantially parallel light beam 203 is input into the same system via the beam splitter 228 to form a substantially parallel light beam 28. Further, in this embodiment, a third vector component sum detecting means 229 and a third normalizing means 230 are inserted as shown in the figure to normalize the inner product calculation result and the memory matrix. The third vector component sum detection means 229 and the third normalization means 230 are the same elements as the first vector component sum detection means 21 and the first normalization means 22 (FIG. 16), respectively. 229a, a condenser lens 229b, a detector 229c, a light amount adjustment filter 230a as a liquid crystal shutter, and a driver 230b. With this configuration, the inner product calculation result is normalized in the inner product calculation phase. On the other hand, in the memory matrix update phase, after updating the memory matrix, the shutter 227 is closed, the shutters 225 and 231 are opened, and the light transmitted through the beam splitter 223 in the substantially parallel light flux 203 is further mirrored. The light is input to the spatial light modulator 207a via the beam splitter 232 and the beam splitter 233, and the updated information of the memory matrix is read and normalized. Since the algorithm for competitive learning does not require normalization of the inner product operation result, the third vector component sum detecting means 229 and the third normalizing means 230 may be omitted in the inner product operation phase. However, by normalizing the inner product operation result, it is possible to prevent a problem of hardware adjustment due to divergence and saturation of the signal amount.
[0093]
In this embodiment, a transmissive type, a reflective type, and an electronic address type or an optical address type liquid crystal spatial light modulator are used. However, these are not limited to the combinations described in the above embodiments, and various Needless to say, combinations are possible.
[0094]
The purpose of the above-described normalization means is to mathematically strictly set the norm of the vector to 1. However, the same effect as strict normalization can be obtained even if the light amount is roughly adjusted instead of being strictly fixed according to the norm on hardware. Therefore, the definition of normalization in the present invention is broad and means that the magnitude of the vector component is adjusted according to the magnitude of the norm. When strict conversion formulas such as D-2) and D-3) are realized on hardware, the function may be approximately obtained by changing the characteristics of various devices.
[0095]
In the above description, one piece of norm information is given to one input, but a plurality of pieces of information may be given. That is, the dimension to be added is not limited to one dimension, and may be multiple dimensions.
[0096]
It is apparent from the above description that the information processing apparatus of the present invention can perform processing without losing norm information, even if the information processing apparatus of the present invention includes a competition learning unit having an inner product operation part in the apparatus.
[0097]
In this information processing apparatus as well, the input vector acquiring means is not limited to the image sensor as in the first embodiment, and any sensor such as a microphone, a density sensor, a flow rate sensor, etc. may be used. It is also clear that the number of vectors that can be handled can be adjusted in the same manner as in the first embodiment.
[0098]
Although the information processing apparatus of the present invention has been described based on the principle and the embodiments, the present invention is not limited to these embodiments, and various modifications are possible.
[0099]
【The invention's effect】
As is clear from the above description, according to the information processing apparatus of the present invention, an information processing apparatus satisfying the following conditions can be provided.
A-1) Competitive learning using an inner product operation suitable for hardware implementation is performed as a distance reference.
A-2) Competitive learning can be performed without losing norm information of input data.
[Brief description of the drawings]
FIG. 1 is a diagram showing a process of determining a victory vector by an inner product operation when normalization is not performed.
FIG. 2 is a diagram showing a process of determining a victory vector by an inner product operation when standardization is performed.
FIG. 3 is a diagram showing two-dimensional uniform distribution vector data.
FIG. 4 is a diagram showing a distribution when two-dimensional uniform distribution vector data is normalized.
FIG. 5 is a diagram showing four points on a two-dimensional plane input to the information processing apparatus of the present invention.
FIG. 6 is a diagram illustrating positions of four points in a three-dimensional space when D is selected as a component indicating a norm.
FIG. 7 is a diagram illustrating positions of four points in a three-dimensional space when 1 / D is selected as a component indicating a norm.
FIG. 8 is a diagram showing the structure of a self-organizing feature map.
FIG. 9 is a diagram in which a region diagram when a Euclidean distance is used as a distance reference for competitive learning and a weight vector of adjacent elements are connected.
FIG. 10 is a region diagram when D and 1 / D are selected as components indicating a norm, and when D and 1 / D are not selected.
FIG. 11 is a region diagram when a theoretical component is selected as a component indicating a norm.
FIG. 12 is a diagram showing the principle of an inner product operation optical system used in the first embodiment of the present invention.
FIG. 13 is a diagram showing the principle of an inner product operation optical system used in a second embodiment of the present invention.
FIG. 14 is a diagram schematically showing the configuration of a first embodiment of the present invention.
FIG. 15 is a diagram schematically showing the configuration of a second embodiment of the present invention.
FIG. 16 is a diagram showing a specific configuration of a second embodiment of the present invention.
17A and 17B are a front view and a side view of a spatial light modulator for adding norm information used in the second embodiment.
FIG. 18 is a diagram showing a configuration of a competitive learning unit according to a second embodiment of the present invention.
[Explanation of symbols]
1. Input vector acquisition means
2. Input vector processing means
3. Competitive learning means
11 ... Imaging device
12 ... Driver
13 ... Spatial light modulator
20 ... luminous flux
21. First vector component sum detecting means
21a ... Beam splitter
21b ... Condensing lens
21c ... Detector
22... First normalization means
22a: Light amount adjustment filter
22b: Driver
23 ... Norm information generating means
24 ... Norm information adding means
24a: Light emitting element
24b: Driver
24c spatial light modulator
24d ... imaging lens
24e: Driver
25... Second vector component sum detecting means
25a ... Beam splitter
25b: Condensing lens
25c ... Detector
26. Second normalization means
26a: Light intensity adjustment filter
26b: Driver
27 ... Processing result display means
27a ... Spatial light modulator
27b ... imaging lens
27c: Driver
28a ... Beam splitter
28 ... luminous flux
101 ... Second LCD TV
102 ... First LCD TV
103 ... Xenon lamp
104 ... diffuser
105 ... Lens array
106 ... imaging lens
107 ... CCD camera
108 ... Matrix updating means
200 ... Laser
201 ... Mirror
202: Beam expander
203 ... luminous flux
204, 223, 224 ... Beam splitter
205, 206 ... imaging lens
207a ... Spatial light modulator
207b: Driver
208 ... Lens array
209 ... imaging lens
210a ... Spatial light modulator
210b ... Driver
211, 212 ... Mirror
213 ... Beam splitter
214 luminous flux
215, 216, 217 ... Mirror
218, 219, 220, 221 ... lens
222: Dammann type grating
223 ... Beam splitter
225, 226, 227, 231 ... shutter
228… Beam splitter
229: third vector component sum detecting means
229a ... Beam splitter
229b… Condenser lens
229c ... Detector
230... Third normalization means
230a: Light intensity adjustment filter
230b: Driver
232 ... Mirror
233 ... Beam splitter
234 ... Beam splitter
LD: Light emitting diode
CL ... Lens

Claims (5)

In an information processing apparatus that associates an input vector with any of the weight vector groups by taking an inner product with each vector of the weight vector group, information about the norm of the input vector is extracted before taking the inner product, and An information processing apparatus comprising a norm extracting / adding means for adding to a component. 2. The information processing apparatus according to claim 1, further comprising an input vector normalizing unit that normalizes an input vector to which information regarding the norm is added before taking the inner product. 2. The information processing apparatus according to claim 1, further comprising weight vector group normalizing means for normalizing each vector of the weight vector group before taking the inner product. 4. The information processing apparatus according to claim 2, wherein the normalization is performed by an electric signal. 4. The information processing apparatus according to claim 2, wherein the normalization is performed optically.

Images