JPH1063635A - 多次元入力データ特徴選択装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、パターン処理の分野において多次
元の入力ベクトルからいくつかの特徴量を選択する特徴
選択技術に関し、特徴量毎に現在の入力状態と過去の入
力状態とのマッチングを最大化することにより、互いに
相関の大きい特徴量の組み合わせを選択できるようにす
る。 【解決手段】 複数の参照データを保持する参照データ
保持部１０と、次元毎に設定された重み係数を保持する
重み係数保持部１１と、参照データと多次元の入力デー
タとの間の距離を重み係数を用いて重み付けした荷重距
離を計算する荷重距離計算部１２と、小さい荷重距離に
対応する参照データをマッチデータとして選択するマッ
チデータ選択部１３と、マッチデータと入力データとの
非荷重距離を計算する非荷重距離計算部１４と、非荷重
距離に基づいて、重み係数保持部１１の重み係数を変更
する重み係数変更部１５とをそなえて構成される。

Description

【発明の詳細な説明】

【０００１】（目次） 発明の属する技術分野 従来の技術（図１１〜図１３） 発明が解決しようとする課題 課題を解決するための手段 発明の実施の形態（図１〜図１０） 発明の効果

【０００２】

【発明の属する技術分野】本発明は、パターン認識，ニ
ューラルネットワーク，事例ベースド推論などの分野に
おける特徴量の評価選択のための技術（多次元の入力ベ
クトルからいくつかの特徴量を選択する特徴選択技術）
に関し、特に、知的エージェントの認識システム内にお
ける複数の処理モジュール間の接続構造を決定する場合
に用いて好適の多次元入力データ特徴選択装置に関す
る。

【０００３】内部に複数の処理モジュールをもつ大規模
認識システムのモジュール間では、外界入力の情報構造
に適合した情報交換を行なう必要がある。システムが柔
軟な適応能力を持つには、処理モジュール毎だけでな
く、その間の接続構造もダイナミックに変化させなけれ
ばならない。接続構造の学習を行なう手掛かりとして
は、外界入力の部分独立性を利用する方法が有望であ
り、これは局所毎には関連の強い特徴量の選択となる。
しかし、従来このような視野に立つ特徴選択の研究はあ
まり進められていない。

【０００４】そこで、本発明では、現入力状態と過去の
入力状態とにマッチングできる機会に対応するマッチア
ビリティ（Matchability）という尺度を特徴量毎に導入
し、これを最大化する方向で関連の強い特徴量を選択す
る手法を提案する。

【０００５】

【従来の技術】図１１は、一般的な知的エージェントの
構成を示すブロック図であり、この図１１に示す知的エ
ージェント５０は、認識システム５１，行動生成部５２
及び評価部５３をそなえて構成されている。但し、図１
１中の“○”は各種情報（例えば、画像，音声等）に対
応する処理モジュールを表している。

【０００６】ここで、認識システム５１は、環境から入
力される複数の情報について何れの情報をどのように使
うかを認識するもので、現在の情報の入力状態にマッチ
ングする過去の情報の入力状態の検索を行なうようにな
っており、また、情報の入力頻度を増す毎に学習するよ
うになっている。なお、認識システム５１においては、
情報が入力されると、目的とする行動に応じてそれぞれ
認識が行なわれるようになっており、図１１に示すよう
に、矢印の方向に進むにつれて認識度のレベルが高くな
り、認識が困難となる。

【０００７】また、行動生成部５２は、認識システム５
１から得られる目的とする行動に応じた情報（認識結
果）及び評価部５３からの評価に基づいて、環境に対す
る行動を生成するものであり、評価部５３は、認識シス
テム５１から行動生成部５２に入力された情報について
過去の入力状態に関連づけられた行動やその行動の帰結
に対する評価を行なうものである。

【０００８】このような構成により、知的エージェント
５０による行動決定は以下のように行なわれる。つま
り、環境から複数の情報が入力されると、認識システム
５１において現在の情報の入力状態にマッチングする過
去の情報の入力状態が検索されるとともに、評価部５３
において過去の入力状態に関連づけられた行動やその行
動の帰結に対する評価が行なわれたのち、認識システム
５１による認識結果及び評価部５３の評価に基づき、行
動生成部５２において知的エージェント５０の環境に対
する行動が生成される。

【０００９】ところで、認識システム５１は、上述した
ように、環境から得た情報を行動に役立てやすい表現に
変換する役割を持っている。そのため、知的エージェン
ト５０全体が柔軟な適応能力をそなえるには、処理を実
行している段階での処理能力と、その処理能力を獲得す
るまでの学習機能との両方が必要となる。また、実世界
（環境）からの膨大な入力情報全体を一気に取り扱うこ
とは現実的な速度では不可能であるため、認識システム
５１では、部分処理空間に専門化した多数の処理モジュ
ール（図１１参照）を用意し、それらの処理モジュール
が入力の情報構造を反映して接続した内部構造を必要と
していると考えられている。即ち、認識システム５１の
適応能力は、処理モジュール毎と処理モジュール間の接
続構造との両方での適応能力に依存するといえる。

【００１０】しかし、これまでは処理モジュール毎の学
習に関する研究が多い。それ故、モジュール毎の接続の
学習が可能となれば、これまで以上に柔軟性の高い適応
能力を実現できる可能性がある。そこで、本発明では、
処理モジュール間の接続構造の学習を目的とした特徴選
択の提案を行なう。なぜなら、接続構造の決定は各処理
モジュールから見れば特徴量の選択だからである。特徴
量の評価選択に関しては、これまでにもパターン認識，
ニューラルネットワーク，事例ベースド推論などの分野
で研究が行なわれている。

【００１１】特徴を選択する尺度としては、タスクを限
定する“教師有り学習”の枠組みの中で認識率や誤り確
率などを利用するのが最も直接的でわかりやすい。事例
ベースド推論の研究においては、この枠組みの中で有効
性を表現するような重み係数を導入して特徴量の評価を
行なっている。例えば、図１２に示ように、“教師有り
学習”を行なう多次元入力データ特徴選択装置１Ａで
は、入力信号Ｉ(t) に重み係数Ｗ(t) を加重して出力す
る重み係数保持装置２と、この重み係数保持装置２から
出力される入力信号を変換させる変換装置３とがそなえ
られており、変換装置３から得られた出力の精度の向上
や誤り確率を減少させるように、重み係数保持装置２に
保持される重み係数Ｗ(t)を変化させることにより、特
徴量の組み合わせを選択するようになっている。

【００１２】このとき、事例ベースド推論（事例に基づ
いた推論）の分野では重み係数Ｗ(t) を連続的に変化さ
せるほか、パターン認識の分野では重み係数Ｗ(t) を
０，１で離散的に変化させることにより、好ましい出力
を得ることのできる特徴量の組み合わせが選択される。
ただし、Ｉ(t) ＝｛Ｉ_i (t) ｝_, Ｗ(t) ＝｛Ｗ_i (t) ｝
であり、ｔは時刻、ｉは１〜ｍの自然数、ｍは入力デー
タ（入力信号）Ｉ(t) の次元数である。

【００１３】図１２に示す多次元入力データ特徴選択装
置１Ａは、出力における正解が分かっている“教師有り
学習”であるため、教師がいない環境で自律的に学習す
る“教師無し学習”ではない。そこで、例えば、図１３
に示すような多次元入力データ特徴選択装置１Ｂも提案
されている。この多次元入力データ特徴選択装置１Ｂ
は、変換装置３に代えて主成分分析装置４を用いたもの
で、この主成分分析装置４を用いることにより、多次元
特徴量の中で最も重要な次元が選択されるようになって
いる。

【００１４】なお、多次元入力データ特徴選択装置１Ａ
及び１Ｂのいずれにおいても、情報量を大きくするため
に、できるだけ独立性が高く相互に独立な振る舞いをす
る特徴量の組み合わせが選択される。

【００１５】

【発明が解決しようとする課題】本発明では、タスクを
限定せずに一般的な目的に用いる認識システムを考え、
入力情報だけを利用して自己組織的に構造を獲得する
“教師無し学習”の枠組みに注目している。パターン認
識におけるこの種の研究では、情報量基準等を用いて小
さな次元の中に有用な情報を表現する手法、即ち、出力
のコンパクトネス（Compactness ）を追及する手法が多
数提案されている。さらに、上記の２つの手法はしばし
ば組み合わされ、パターン認識の分野を初めとし、特に
ニューラルネットワークの分野における枝刈り等はこれ
に類するケースが多い。また、多変量解析などの特徴抽
出技術においても、“教師無し学習”では、出力のコン
パクトネスを追及することが多い。

【００１６】しかしながら、上述のように認識システム
の処理モジュール間の接続構造を決定する場合に必要と
なる特徴選択技術において、関連の深い相互に相関の大
きい特徴量の組み合わせを選択する必要があるので、従
来技術のように互いに相関の小さい特徴量を選択する特
徴選択技術、即ち、コンパクトネスを追及する特徴量選
択の手法は、その性質上そぐわないという課題がある。

【００１７】つまり、認識システムの接続構造の学習に
際し、各処理モジュールでは、環境からの入力情報内に
含まれる“相関の空間的な局所性”及び“相関の時間的
な局所性”を利用し、特定の状況下で強い相関を持つ部
分特徴量を選択すべきであるが、コンパクトネスを追及
する特徴量選択の手法は、独立性が高く相互に相関の弱
い特徴量を選択し、時間的にも異なった状況から情報を
取り込む性質を持つため、認識システム内部の接続構造
の学習には不適切である。

【００１８】ここで、“相関の空間的な局所性”とは、
特徴量空間内の高い相関が、多くの場合、その部分特徴
量に現れるという性質であり、“相関の時間的な局所
性”とは、部分特徴量空間内の高い相関が、定常的では
なく、特定の状況でのみ現れるという性質である。本発
明は、このような課題に鑑み創案されたもので、特徴量
毎に現在の入力状態と過去の入力状態とのマッチングを
最大化することにより、互いに相関の大きい特徴量の組
み合わせを選択できるようにした多次元入力データ特徴
選択装置を提供することを目的とする。

【００１９】

【課題を解決するための手段】このため、本発明の多次
元入力データ特徴選択装置は、複数の参照データを保持
する参照データ保持部と、次元毎に設定された重み係数
を保持する重み係数保持部と、該参照データ保持部に保
持されている該参照データと多次元の入力データとの間
の距離を該重み係数保持部に保持された上記次元毎の重
み係数を用いて重み付けした荷重距離を計算する荷重距
離計算部と、該荷重距離計算部で計算された荷重距離の
うち小さい荷重距離に対応する参照データをマッチデー
タとして選択するマッチデータ選択部と、該マッチデー
タ選択部で選択されたマッチデータと該入力データとの
非荷重距離を計算する非荷重距離計算部と、該非荷重距
離計算部で計算された非荷重距離に基づいて、該非荷重
距離が小さい次元に対応する重み係数を増加させる一
方、該非荷重距離が大きい次元に対応する重み係数を減
少させるよう、該重み係数保持部の重み係数を変更する
重み係数変更部とをそなえて構成されたことを特徴とし
ている（請求項１）。

【００２０】なお、該荷重距離計算部を、（１）式によ
る計算を施すように構成し、該非荷重距離計算部を、
（２）式による計算を施すように構成し、且つ、該重み
係数変更部を、（３）式による計算を施すことにより該
非荷重距離の要素が小さいほど該重み係数を大きくする
重み係数変更情報を求めるとともに、（４）式による計
算を施すことにより該重み係数変更情報について正規化
処理を施した重み係数正規化情報を求めるように構成し
てもよい（請求項２）。

【００２１】 Ｄ^P (t) ＝Σ_i ｛Ｗ_i (t) Δ^P _i (t) ｝ ・・・（１） ｄ^P (t) ＝Σ_i ｛Δ^P _i (t) ｝ ・・・（２） ここで、Δ^P _i (t) ＝｜Ｉ_i (t) −Ｒ^P _i ｜ Ｗ_i ⁽¹⁾ (t) ＝Ｗ_i (t) 〔ｄ^Pmatch／（ｋΔ^Pmatch _i (t) ＋ ｄ^Pmatch）〕 ・・・（３） Ｗ_i ⁽²⁾ (t) ＝Ｗ_i ⁽¹⁾ (t) ／Σ_i Ｗ_i ⁽¹⁾ (t) ・・・（４） 但し、 ｔ ：時刻 ｉ ：特徴量の次元（ｉ＝１〜ｍの自然数：
ｍは特徴量の全次元数） Σ_i ：ｉについて総和を示す演算子 Ｗ_i (t) ：次元ｉの特徴量についての重み係数 Ｗ_i ⁽¹⁾ (t) ：次元ｉの特徴量についての重み係数変
更情報 Ｗ_i ⁽²⁾ (t) ：次元ｉの特徴量についての重み係数正
規化情報 Ｒ^P _i ：参照データの次元ｉの値 Ｐ ：参照データを特定する数値（Ｐ＝１〜
ｎの自然数：ｎは参照データの総数） Ｉ_i (t) ：入力データの次元ｉの値 Ｄ^P (t) ：荷重距離 ｄ^P (t) ：非荷重距離 Ｐ_match ：Ｄ^P (t) が最小になるＰの値 ｋ ：学習定数 また、該荷重距離計算部を、上記（１）式による計算を
施すように構成し、該非荷重距離計算部を、下記
（２）′式によるユークリッド距離計算を施すように構
成し、且つ、該重み係数変更部を、上記（３）式による
計算を施すことにより該非荷重距離の要素が小さいほど
該重み係数を大きくする重み係数変更情報を求めるとと
もに、上記（４）式による計算を施すことにより該重み
係数変更情報について正規化処理を施した重み係数正規
化情報を求めるように構成してもよい（請求項３）。

【００２２】 ｄ^P (t) ＝ 〔Σ_i ｛Δ^P _i (t) ｝² 〕^1/2 ・・・（２）′ ここで、Δ^P _i (t) ＝｜Ｉ_i (t) −Ｒ^P _i ｜ 上記（１）〜（４）式や（２）′式を用いる場合、該重
み係数変更部を、（５Ａ），（５Ｂ），（６Ａ），（６
Ｂ）式による計算を施すことにより該重み係数について
の平均化処理を施して更新重み係数を求め、該重み係数
保持部の重み係数を該更新重み係数に変更するように構
成してもよい（請求項４）。

【００２３】 Ｗ_i ⁽³⁾ (t）＝ Ｗ_i ⁽²⁾ (t) −α｛Ｗ_i ⁽²⁾ (t) ｝² （Ｗ_i ⁽²⁾ (t) ＞Ｗ^thのとき） ・・・（５Ａ） Ｗ_i ⁽³⁾ (t）＝βＷ_i ⁽²⁾ (t） （Ｗ_i ⁽²⁾ (t) ≦Ｗ^thのとき） ・・・（５Ｂ） Ｗ_i (t＋1)＝ Ｗ_i ⁽³⁾ (t）／Σ_i Ｗ_i ⁽³⁾ (t) （Ｗ_i ⁽²⁾ (t) ＞Ｗ^thのとき） ・・・（６Ａ） Ｗ_i (t＋1)＝ Ｗ_i ⁽³⁾ (t） （Ｗ_i ⁽²⁾ (t) ≦Ｗ^thのとき） ・・・（６Ｂ） 但し、 α，β，Ｗ^th：定数，０＜α＜１，β＞
１，０＜Ｗ^th＜１ Ｗ^th ：重み係数の境界値 Ｗ_i (t＋1) ：次元ｉの特徴量についての更新重み係数

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１は本発明の一実施形態にかか
る多次元入力データ特徴選択装置の構成を示すブロック
図で、この図１に示す多次元入力データ特徴選択装置２
０は、参照データ保持部１０，重み係数保持部１１，荷
重距離計算部１２，マッチデータ選択部１３，非荷重距
離計算部１４，重み計算変更部１５，参照データ追加部
１６及び参照データ削除部１７をそなえて構成されてい
る。

【００２５】ここで、参照データ保持部１０は、ｎ個
（ｎ≦ｎ_max ）の参照データ（例えば、行動に関する多
次元の情報）Ｒ^P ＝｛Ｒ^P _i ｝を保持するものである。
なお、Ｐは参照データを特定するための数値で、Ｐは１
〜ｎの自然数である。また、ｉは特徴量（入力データＩ
(t) や参照データＲ^P ）の次元で１〜ｍの自然数であ
り、ｍは特徴量の全次元数である。

【００２６】重み係数保持部１１は、次元毎に設定され
た重み係数Ｗ_i (t) を保持するものであり、荷重距離計
算部１２は、参照データ保持部１０に保持されている参
照データＲ^P と多次元の入力データＩ(t) との間の距離
Δ^P _i (t) ＝｜Ｉ_i (t) −Ｒ ^P _i ｜を、重み係数保持部
１１に保持された次元毎の重み係数Ｗ_i (t) を用いて重
み付けした荷重距離Ｄ^P (t) を（１）式によって計算す
るものである。

【００２７】また、マッチデータ選択部１３は、荷重距
離計算部１２で計算された荷重距離Ｄ^P (t) のうち最も
小さい荷重距離Ｄ^P (t) に対応する参照データＲ^P をマ
ッチデータＲ^Pmatchとして選択するものであり、Ｐ
_match (t) は下記（ａ）式のように表される。さらに、
非荷重距離計算部１４は、マッチデータ選択部１３で選
択されたマッチデータＲ^Pmatchと入力データＩ(t) との
非荷重距離ｄ^P (t) を（２）式によって計算するもので
ある。

【００２８】 Ｄ^P (t) ＝Σ_i ｛Ｗ_i (t) Δ^P _i (t) ｝ ・・・（１） ｄ^P (t) ＝Σ_i ｛Δ^P _i (t) ｝ ・・・（２） ここで、Δ^P _i (t) ＝｜Ｉ_i (t) −Ｒ^P _i ｜ ｔ ： 時刻 Σ_i ：ｉについて総和を示す演算子 Ｐ_match (t) ＝Ｐ（min Ｄ^P (t) ） ・・・（ａ） なお、非荷重距離計算部１４におけるマッチデータ選択
部１３で選択されたマッチデータＲ^Pmatchと入力データ
Ｉ(t) との非荷重距離ｄ^P (t) の計算は、（２）′式に
示すようなユークリッド距離に置き換えてもよい。

【００２９】 ｄ^P (t) ＝ 〔Σ_i ｛Δ^P _i (t) ｝² 〕^1/2 ・・・（２）′ 一方、重み係数変更部１５は、非荷重距離計算部１４で
計算された非荷重距離ｄ^Pmatch(t) 及び非荷重距離ベク
トルΔ^Pmatch(t) ＝｛Δ^Pmatch _i (t) ｝に基づいて、非
荷重距離ｄ^Pmatch(t) の要素Δ^Pmatch _i (t) が小さい次
元に対応する重み係数Ｗ_i (t) を増加させる一方、非荷
重距離ｄ^Pmatch(t) の要素Δ^Pmatch _i (t) が大きい次元
に対応する重み係数Ｗ_i (t) を減少させるよう、下記
（３），（４），（５Ａ），（５Ｂ），（６Ａ），（６
Ｂ）式を用いて次の時刻ｔ＋１で使用する更新重み係数
Ｗ(t＋1)＝｛Ｗ_i (t＋1)｝を求め、重み係数保持部１１
の重み係数Ｗ(t) を更新重み情報Ｗ(t＋1)に変更するも
のである。

【００３０】つまり、重み係数変更部１５は、まず
（３）式による計算を施すことにより、非荷重距離ｄ
^Pmatch(t) の要素である局所距離Δ^Pmatch _i (t) が小さ
いほど重み係数Ｗ(t＋1)を大きくする学習規則で重み係
数変更情報Ｗ_i ⁽¹⁾ (t) を求めた後、（４）式による計
算を施すことにより、その重み係数変更情報Ｗ
_i ⁽¹⁾ (t) について正規化処理を施した重み係数正規化
情報Ｗ_i ⁽²⁾ (t) を求めるようになっている。

【００３１】 Ｗ_i ⁽¹⁾ (t) ＝Ｗ_i (t) 〔ｄ^Pmatch／（ｋΔ^Pmatch _i (t) ＋ ｄ^Pmatch）〕 （ｋ：学習定数） ・・・（３） Ｗ_i ⁽²⁾ (t) ＝Ｗ_i ⁽¹⁾ (t) ／Σ_i Ｗ_i ⁽¹⁾ (t) ・・・（４） さらに、重み係数変更部１５は、（３）式及び（４）式
による演算結果を用いて（５Ａ），（５Ｂ）式及び（６
Ａ），（６Ｂ）式による計算を施すことにより、重み係
数Ｗ(t) についての平均化処理を施して更新重み係数Ｗ
_i (t) を求めるようになっている。即ち、本実施形態の
重み係数変更部１５においては、重み係数Ｗ_i (t) の境
界値Ｗ^thを設定し、（５Ａ），（５Ｂ）式及び（６
Ａ），（６Ｂ）式により全体的なバランスを調整するこ
とで、ある程度大きな重み係数Ｗ_i (t) 同士が平均化さ
れるとともに、小さな重み係数Ｗ_i (t) に復活の機会が
与えられ、最終的に更新された重み係数Ｗ_i (t＋1)が得
られるようになっている。

【００３２】 Ｗ_i ⁽³⁾ (t）＝ Ｗ_i ⁽²⁾ (t) −α｛Ｗ_i ⁽²⁾ (t) ｝² （Ｗ_i ⁽²⁾ (t) ＞Ｗ^thのとき） ・・・（５Ａ） Ｗ_i ⁽³⁾ (t）＝βＷ_i ⁽²⁾ (t） （Ｗ_i ⁽²⁾ (t) ≦Ｗ^thのとき） ・・・（５Ｂ） Ｗ_i (t＋1)＝ Ｗ_i ⁽³⁾ (t）／Σ_i Ｗ_i ⁽³⁾ (t) （Ｗ_i ⁽²⁾ (t) ＞Ｗ^thのとき） ・・・（６Ａ） Ｗ_i (t＋1)＝ Ｗ_i ⁽³⁾ (t） （Ｗ_i ⁽²⁾ (t) ≦Ｗ^thのとき） ・・・（６Ｂ） 但し、α，β，Ｗ^thは定数で、０＜α＜１，β＞１，０
＜Ｗ^th＜１である。

【００３３】また、参照データ追加部１６は、参照デー
タ保持部１０に保持されている参照データＲ^P と多次元
の入力データＩ(t) とを比較して、入力データＩ(t) と
参照データＲ^P とが所定の基準より異なっている場合に
は、この入力データＩ(t) を新たな参照データＲ^P とし
て参照データ保持部１０に保持させるものである。さら
に、本実施形態の参照データ追加部１６は、参照データ
保持部１０に保持されている参照データＲ^P の数ｎが所
定値ｎ_max 以下の場合には、新たな参照データＲ^P を参
照データ保持部１０に追加させる機能も有している。

【００３４】換言すれば、本実施形態の多次元入力デー
タ特徴選択装置２０では、新たに得られた入力データＩ
(t) が、参照データ保持部１０に保持されている参照デ
ータＲ^P の何れともかなり異なり、且つ、参照データの
スロットに余裕がある場合、その入力データＩ(t) が新
たな参照データとして参照データ保持部１０に追加され
るようになっている。

【００３５】つまり、（７）式に示すように、マッチし
たデータＲ^Pmatch(t) と入力データＩ(t) との荷重距離
Ｄ^Pmatch(t) があるしきい値θ（θ＞０）よりも大きけ
れば、入力データＩ(t) が新たな参照データとして参照
データ保持部１０に追加されるようになっているのであ
る。 if（Ｄ^Pmatch(t) ＞θ and Ｐ≠ｎ_max ） AddingＩ(t)to Ｒ^P ・・・（７） また、参照データ削除部１７は、参照データ保持部１０
に保持されている参照データＲ^P のうち利用頻度が所定
値以下で保持後所定時間経過している参照データＲ^P を
参照データ保持部１０から削除するもので、例えば、追
加されてから１０時刻過ぎても一度も利用されない参照
データＲ^P と、追加されてから３０時刻経過しても一度
しか利用されない参照データＲ^P を削除するようになっ
ている。なお、１時刻は、例えば、システムの１制御周
期（１τ）に対応するものである。

【００３６】さらに、本実施形態の参照データ削除部１
７は、参照データ保持部１０に保持されている参照デー
タのうち、重み係数Ｗ(t) の変化に伴って相互に類似し
ているとみなされた参照データＲ^P ，Ｒ^P ′について
は、少なくとも１つの参照データＲ^P を除いて残りの参
照データＲ^P ′を参照データ保持部１０から削除する機
能も有している。なお、本実施形態では、（８）式及び
（９）式に示すように、削除される参照データＲ^P ，Ｒ
^P ′間の距離Ｄ^PP′のしきい値は、データ追加時と同じ
値θを利用する。

【００３７】 Ｄ^PP' ＝Σ_i ｛Ｗ_i (t) Δ^PP' _i ｝ ・・・（８） ここで、Δ^PP' _i ＝｜Ｒ^P _i −Ｒ^P' _i ｜ if（Ｄ^PP′＜θ） Deleting Ｒ^P ′ ・・・（９） 上述の構成により、本発明の一実施形態にかかる多次元
入力データ特徴選択装置２０では、図１に示すように、
時刻ｔにおいてｍ次元の入力データＩ(t) が与えられる
と、荷重距離計算部１２において、参照データ保持部１
０に保持されているｎ個の参照データＲ^P と入力データ
Ｉ(t) との間の距離Δ^P _i (t) を重み係数保持部１１に
保持された次元毎の重み係数Ｗ_i (t) を用いて重み付け
した荷重距離Ｄ^P (t) が上記の（１）式を用いて計算さ
れる。

【００３８】また、マッチデータ選択部１３において、
荷重距離計算部１２で計算された荷重距離Ｄ^P (t) のう
ち最も小さい荷重距離Ｄ^P (t) に対応する参照データＲ
^P がマッチデータＲ^Pmatchとして選択される。即ち、ｎ
個の参照データＲ^P の中から入力データＩ(t) に最も近
い参照データＲ^Pmatchが選択される。続いて、非荷重距
離計算部１４において、マッチデータ選択部１３で選択
されたマッチデータＲ^Pmatchと入力データＩ(t) との非
荷重距離ｄ^P (t) が上記の（２）式を用いて計算され
る。

【００３９】このとき、非荷重距離計算部１４におい
て、計算されるマッチデータ選択部１３で選択されたマ
ッチデータＲ^Pmatchと入力データＩ(t) との非荷重距離
ｄ^P (t) は、上記の（２）′式のようなユークリッド距
離に置き換えてもよい。さらに、重み係数変更部１５に
おいて、非荷重距離計算部１４で計算された非荷重距離
ｄ^Pmatch(t) 及び非荷重距離ベクトルΔ^Pmatch(t) ＝
｛Δ^Pmatch _i (t)｝に基づいて、上記の（３）式に示す
ような計算が施され、非荷重距離ｄ^Pmatch(t) の要素Δ
^Pmatch _i (t) が小さい次元に対応する重み係数Ｗ_i (t)
は増加される一方、非荷重距離ｄ^Pmatch _i (t) の要素Δ
^Pmatch _i (t) が大きい次元に対応する重み係数Ｗ_i (t)
は減少され、さらに、（４）〜（６）式の計算に基づい
て重み係数保持部１１の重み係数Ｗ_i (t) が新たな更新
重み係数Ｗ_i (t＋1)に変更される。

【００４０】即ち、後述するマッチングチャンス（Matc
hing Chance ）を増加させるための重み係数Ｗ(t) の学
習則は、局所距離Δ^Pmatch _i (t) が小さいほど重み係数
Ｗ_i(t) が大きくなる学習規則であり、上記の（３）式
に示すようにマッチングしたデータＲ^Pmatchと入力デー
タＩ(t) との非荷重距離ｄ^Pmatch(t) を利用して重み係
数変更情報Ｗ_i ⁽¹⁾ (t) が求められ、その後、上記の
（４）式に示すように、正規化（規格化）処理が行なわ
れる。（３）式の効果により、マッチング精度が向上
し、誤差の少ない特徴量の重み係数Ｗ_i (t) が相対的に
大きくなる。

【００４１】また、重み係数変更部１５において、上述
の（５Ａ），（５Ｂ）式及び（６Ａ），（６Ｂ）式に示
す学習則に基づき、ある程度大きな重み係数Ｗ_i (t) 同
士が平均化され、小さな重み係数Ｗ_i (t) に復活の機会
が与えられる。さらに、本実施形態では、上記（７）式
に基づいて、参照データ保持部１０に保持されている参
照データＲ^P と多次元の入力データＩ(t) とを比較した
とき、入力データＩ(t) と参照データＲ^P とが所定の基
準より異なっており、且つ、参照データ保持部１０に保
持されている参照データＲ^P の数ｎが所定値ｎ_max 以下
の場合には、参照データ追加部１６により、上記の入力
データＩ(t) が新たな参照データＲ^P として参照データ
保持部１０に追加される。

【００４２】また、参照データ保持部１０に保持されて
いる参照データＲ^P のうち利用頻度が所定値以下で保持
後所定時間経過している場合は、参照データ削除部１７
により、参照データ保持部１０からその参照データＲ^P
を削除するほか、上記（８）式及び（９）式に基づい
て、参照データ保持部１０に保持されている参照データ
のうち重み係数Ｗ(t) の変化に伴って相互に類似してい
るとみなされた参照データＲ^P ，Ｒ^P ′が存在する場合
は、少なくとも１つの参照データＲ^P を除いて残りの参
照データＲ^P ′が参照データ保持部１０から削除され
る。

【００４３】ところで、上述した本実施形態の多次元入
力データ特徴選択装置２０は、コンパクトネスを指向す
る特徴選択の機能を補い得る、複数の処理モジュール
（図１１参照）の専門化を前提としたマッチアビリティ
（Matchability）を指向するもので、以下に、マッチア
ビリティとその最大化の意義（必要性）について説明す
る。

【００４４】ここでは、認識の定義として計算機科学に
おいて比較的一般的である「一度認めたものを、もう一
度認めること」と考えている。つまり、認識とは、ある
入力を外部の観測者が解釈するのではなく、既に経験し
た入力と同一、または、類似、または、それらの組み合
わせとして解釈することである。図１１にも示したよう
に、認識システム５１は行動生成部５２を含む知的エー
ジェント５０の一部であるから、認識の目的は、行動の
決定に役立つ情報の抽出だと考えられる。行動決定の過
程では、まず現在の入力状態にマッチングする過去の入
力状態を探索し（本実施形態における参照データＲ
^Pmatchの抽出）、それに関連づけられた行動や、その行
動の帰結に対する評価に基づいて行動を選択する。

【００４５】そこで、認識の定義と行動決定過程から考
慮すると、行動に有用な認識とは、出力表現がコンパク
トであると同時に多くの機会をマッチングできることが
望まれる。従って、認識システム５１における処理モジ
ュール間の接続構造の獲得においても、下記の２つの観
点、コンパクティビティ（Compactivity）とマッチ
アビリティとを考慮すべきである。

【００４６】コンパクティビティ：コンパクティビテ
ィを指向する研究では、通常、入力特徴量空間は予め与
えられたものとして、出力におけるコンパクトネスを追
及している。ここでは、情報圧縮や目立つ特徴を強調す
ることを技術的なテーマとしている。一方、コンパクト
にする処理の視点に立つと、入力部分において冗長な情
報を持つ方（Redundancy of Input ）が都合がよい。

【００４７】マッチアビリティ：マッチアビリティ指
向では、認識システム５１が過去において外界から得ら
れた有限の経験を、将来の入力にマッチできる可能性を
大きくすることを目的とする。即ち、マッチアビリティ
とは、システムが入力に対してどれだけ多くのマッチン
グを生み出すことができるかという指標である。このマ
ッチアビリティを増大させるには、具体的には２つの方
向がある。１つは、局所的、且つ、時間的には相関の高
い部分特徴量を選択することにより、マッチングチャン
スを増大させるものであり、もう１つは、大局的、且
つ、空間的には多様な反応性を持つ処理モジュールを並
列に動作させることによりマッチングの多様性（Matchi
ng Variety）を増大させるものである。

【００４８】認識システム５１の処理モジュール間の接
続構造の学習には、相補的な上記２つの尺度（コンパク
ティビティとマッチアビリティ）が重要であるが、現状
では出力のコンパクトネス（Compactness of Output)を
評価の指標とする特徴選択／抽出が主流である。そこ
で、本実施形態の多次元入力データ特徴選択装置２０で
は、前述のごとく、（１）〜（４），（５Ａ），（５
Ｂ），（６Ａ），（６Ｂ）式を用いることにより、マッ
チアビリティ指向の特徴選択のアルゴリズムを実現して
いる。

【００４９】即ち、本実施形態における特徴選択のアル
ゴリズムは、各処理モジュールにおけるマッチングチャ
ンス（＝局所的なマッチアビリティ）を増加させる学習
則であり、本実施形態では、特徴量毎に与えられる重み
係数Ｗ(t) を変化させることで選択を行なうようになっ
ているのである。ここで、上述した本実施形態の多次元
入力データ特徴選択装置２０の機能について実証する具
体例（シュミレーション）とその結果を報告する。シミ
ュレーションでは、１０通りの入力系列を並列に動作す
る８つの処理モジュールに与えることによって、特徴量
毎の重み係数Ｗ_i (t) の変化を調べている。 （１）実験条件 入力系列は、時刻１から５００まで継続する１０次元の
特徴量ベクトル（ｘ₁〜ｘ₁₀）で表されている。図２
（ａ）に示すように、２クラス・フェーズにおいては、
この特徴量ベクトルはそれぞれ独立なスカラー変数に従
属する２つの部分特徴量ベクトル（Class Ａ，Class
Ｂ）に分割できる。これら２つの部分にそれぞれ対応す
る２つの独立変数（隠れ変数） j_max ^A ， j_max ^B を、
“rand(min,max) ”を［min,max ］間の一様乱数とし
て、（１０Ａ），（１０Ｂ）式のようにそれぞれ定義す
る。

【００５０】 j_max ^A ＝rand（0.0,4.0) ・・・（１０Ａ） j_max ^B ＝rand（0.0,6.0) ・・・（１０Ｂ） “Class Ａ”は変数 j_max ^A によって制御される４次元
特徴量Ｉ_j (t)(j ＝1,2,3,4)で、“Class Ｂ”は、変数
j_max ^B によって制御される６次元特徴量Ｉ_j(t)(j ＝
5,6,7,8,9,10) で、それぞれ０．１以下の雑音を含んで
おり、以下に示す（１１Ａ），（１１Ｂ）式のように表
される。

【００５１】 Ｉ_j (t) ＝｜j _max ^A −j ＋１｜＋rand（0.0,1.0) (j＝1,2,3,4) ・・・（１１Ａ） Ｉ_j (t) ＝｜j _max ^B −j ＋５｜＋rand（0.0,1.0) (j ＝5,6,7,8,9,10) ・・・（１１Ｂ） 一方、図２（ｂ）に示すように、ランダム・フェーズで
は各特徴量Ｉ_i （ｉ＝１〜１０）は各々独立な一様乱数
に従っており、以下に示す（１２）式のように表わされ
る。

【００５２】 Ｉ_i (t) ＝rand（0.0,1.0) ・・・（１２） 次に、各処理モジュールのパラメータｎ_max ，θ，ｋ，
Ｗ^th，α，βを図３のように設定し、さらに初期状態で
は、参照データを保持せず、重み係数Ｗ_i (O)は、（１
３）式のごとく乱数により各次元毎に独立に決定した
後、（１４）式により規格化される。

【００５３】 Ｗ_i (O) ＝10^{-(1+rand(0.0,2.0))} ・・・（１３） Ｗ_i (O) ＝Ｗ_i (O) ／Σ_i Ｗ_i (O) ・・・（１４） （２）実験結果 〔２−１〕２クラス・フェーズの入力系列について 異なる初期化を行なったいずれの入力系列においても１
００から２００時刻経過後には、図４及び図５に示すよ
うに、各処理モジュールの重み係数Ｗ_i はいずれかのク
ラスの特徴量を選択した。また、図６に示すように、１
０通りのいずれのケースにおいても“Class Ｂ”に専門
化するモジュールが多いことから、冗長性の高い特徴量
に対して専門化が起こりやすい傾向があるといえる（Cl
ass Ａ：Class Ｂ＝１４：６６）。なお、図４，図５及
び後述する図７，図８，図１０に示すグラフ中における
数値１〜１０はｉの値であり、例えば“５”を付された
ラインは重み係数Ｗ₅ に対応するものであることを示し
ている。

【００５４】〔２−２〕２つのフェーズを混合した入力
系列について 初めの８時刻はランダム・フェーズとし、引き続く８時
刻を２クラス・フェーズとし、以下このサイクルを５０
０時刻まで繰り返す入力系列を与えて同様の実験を行な
った。ランダム・フェーズを含めたことで入力情報に時
間的な局在性があるにも関わらず、今回の実験の範囲で
は、図７及び図８に示すように、多くの場合にクラス毎
の部分特徴量が選択された。

【００５５】つまり、ランダム・フェーズにおいても、
図９に示すように、２クラス・フェーズの入力系列と同
様に、“Class Ｂ”に専門化するモジュールが多いこと
から、同様に冗長性の高い特徴量に対して専門化が起こ
りやすい傾向があるといえる。なお、図９では、専門化
が多少不十分でもどちらかのクラスに分類しうる場合は
それぞれのクラスに分類したが、それでもなお判断でき
なかったものについては、“Obscure ”に分類した（Cl
ass Ａ：Class Ｂ：Obscure ＝１４：５６：１０）。

【００５６】また、これらの２つのフェーズを混合した
入力系列においては、例えば図１０に示すように、学習
を５００時刻以降まで行なっても専門化が不十分な場合
もあった。これは、特にその一部のケースで見られた現
象として、ほぼ選択されたクラスと相関の強い重み係数
の値が、平均化のしきい値Ｗ^thよりも小さい領域に落ち
込み、その値がなかなか大きくならないために生じるも
ので、図１０においては、５００時刻経過後にも、いず
れのクラスにも専門化しなかった。

【００５７】次に、本実施形態における特徴抽出のアル
ゴリズムについて、さらに説明する。 〔１〕コンパクティビティの最大化と重み係数の平均化
について 本実施形態においてはマッチアビリティの最大化につい
て述べているが、実際の特徴選択のアルゴリズムはコン
パクティビティとマッチアビリティの両尺度のバランス
の上に成り立っている。つまり、（５Ａ），（５Ｂ）式
による重み係数の平均化は選択する特徴量の数を増加さ
せ、コンパクティビティの最大化に必要な入力空間の冗
長性（Redundancy of Input ）を増加させる。これに対
して、（３）式による特徴量毎の重み係数Ｗ_i (t) の選
択減衰はマッチングチャンスを増加させる。

【００５８】従って、コンパクティビティとマッチアビ
リティの両尺度をバランスよく用いることにより、でき
るだけ少ない参照データで記述することが可能となり、
且つ、記述量を減らすことによりノードを増やすことが
できる。つまり、このことは、選択された特徴量によっ
て張られる超空間中の参照データの存在領域を相対的に
小さくすることであり、選択された部分特徴空間に対し
て特徴抽出処理を施すことで効果的に圧縮を行なうこと
ができる。

【００５９】もし、上記の２つの尺度を融合した適当な
評価量を定義することができるならば、直感的には各処
理モジュールの専門化は、選択する特徴量と保持する参
照データなどを組み合わせた空間においての評価量に関
するローカルミニマムへの引込みになると考えられる。
従って、上述のシミュレーションの結果において冗長性
の高い特徴量（特徴量の数が多いクラス）に対して専門
化しやすいのは、冗長度が高いほど引込み領域が大きい
ためであると考えられる。

【００６０】〔２〕処理モジュールの専門化のバランス
について 上述したマッチングチャンスに対応してマッチング多様
性（ Matching Variety ）の観点からは、多様な専門化
が行なわれることが望ましいが、各処理モジュールを専
門化した状態はローカルな安定状態であり、その発生確
率においても本質的に偏りがある。そこで、本実施形態
のごとく各処理モジュール毎にマッチングチャンスを考
慮した学習則においては、モジュール間で相互作用を行
なうグローバルな機構を導入することにより、多様性に
富んだ専門化を実現することができる。

【００６１】〔３〕認識システムの作成に向けた特徴抽
出装置との結合について 上述したように、本実施形態におけるマッチアビリティ
を指向する特徴選択手法は、コンパクティビティ指向の
特徴抽出手法に対して相補的な技術であるため、認識シ
ステムを構築する際には、両方の技術を融合することが
不可欠であると考えられる。

【００６２】まず、マッチアビリティ指向の本実施形態
の多次元入力データ特徴選択装置２０によって選ばれた
相関の高い部分的な特徴量をコンパクティビティ指向の
特徴抽出装置に入力することにより圧縮した表現を生成
する結合処理モジュールが作成され、さらにそれらを接
続してネットワーク構造が作成される。なお、自律的に
認識システムを構築するための方法としては、必要に応
じて結合処理モジュールをインクリメンタルに追加する
ことや、予め大きく作ったネットワークを枝刈りして小
さくすることなどが考えられる。

【００６３】〔４〕入力情報構造に時間的な局在性への
対応について 混合入力系列に対するシミュレーションでは、入力情報
に相関の時間的な局在性があるにも関わらず、上述した
ように、特徴量の選択をある程度行なうことができた。
しかし、より複雑な時間的な局在性を持つ入力系列に対
しては、重み係数の学習が不安定になると予測されるた
め、参照データの評価や取捨選択等を行なうことにより
対応できる。

【００６４】このように、本発明の一実施形態における
多次元入力データ特徴選択装置２０によれば、外部から
入力データＩ(t) が与えられると、参照データＲ^P との
距離Δ^P _i (t) に重み付けされた荷重距離Ｄ^P (t) が計
算されたのち、荷重距離Ｄ^P(t) の最も小さい距離のデ
ータ（マッチデータ）Ｒ^Pmactch が選択され、そのマッ
チデータＲ^Pmactch に基づいて入力データＩ(t) と参照
データＲ^P との距離Δ ^P _i (t) に重み付けする重み係数
Ｗ_i (t) を変更することができるので、相互に相関の大
きな特徴量を選択することができ、知的エージェントや
認識装置などの複数の処理モジュールを内部にもつ知的
システムにおいて、各処理モジュール毎に関連の深い情
報を収集することで、そのシステム全体の接続構造の自
律的獲得を容易に実現でき、ひいては柔軟な適応能力を
もつ知的システムの実現やその設計負担の低減に寄与す
るという利点がある。

【００６５】また、重み係数変更部１５が（５Ａ），
（５Ｂ），（６Ａ），（６Ｂ）式による計算を施すこと
により、重み係数についての平均化処理を施すことがで
きるので、非荷重距離ｄ^Pmatch(t) の要素Δ
^Pmatch _i (t) が小さいほど重み係数Ｗ_i (t) を大きくす
ることができるとともに、小さな重み係数Ｗ_i (t) に対
しては復活の機会を与えることができるので、重み係数
Ｗ_i (t) の全体的なバランスを調整することができ、本
装置のマッチング精度が大幅に向上する。

【００６６】さらに、参照データ追加部１６が、参照デ
ータ保持部１０に保持されている参照データＲ^P と多次
元の入力データＩ(t) とを比較して、入力データＩ(t)
と参照データＲ^P とが所定の基準より異なっている場合
には、この入力データＩ(t)を新たな参照データＲ^P と
して参照データ保持部１０に保持させることができるの
で、常に一定の基準をもつ最新の参照データＲ^P が保持
され、本実施形態の多次元入力データ特徴選択装置２０
を適用される知的システムの適応能力の柔軟性をより向
上させることができる。

【００６７】また、参照データ追加部１６が、参照デー
タ保持部１０に保持されている参照データＲ^P の数ｎが
所定値ｎ_max 以下の場合に、新たな参照データを参照デ
ータ保持部１０に保持させることができるので、常に一
定量以下の参照データＲ^P が保持しておくことができ
る。さらに、参照データ削除部１７が、参照データ保持
部１０に保持されている参照データのうち利用頻度が所
定値以下で保持後所定時間経過している参照データを参
照データ保持部１０から削除することができるので、長
期に亘って利用されない参照データが削除され、常に現
在の入力に近い参照データが保持されることになり、参
照データ保持部１０を有効に利用でき、本実施形態の多
次元入力データ特徴選択装置２０を適用される知的シス
テムの適応能力の柔軟性の向上に寄与することができ
る。

【００６８】また、参照データ削除部１７が、参照デー
タ保持部１０に保持されている参照データのうち相互に
類似している参照データＲ^P ，Ｒ^P ′については、少な
くとも１つの参照データＲ^P を除いて残りの参照データ
Ｒ^P ′を参照データ保持部１０から削除することができ
るので、必要のないデータの増大を防ぐことができ、参
照データ保持部１０を有効に利用でき、本実施形態の多
次元入力データ特徴選択装置２０を適用される知的シス
テムの適応能力の柔軟性のさらなる向上に寄与すること
ができる。

【００６９】なお、マッチアビリティ指向では局在的に
は冗長な特徴量を収集することができるので、一部の特
徴量が隠蔽された場合にも対応することができ、情報統
合技術へ応用することができる。そして、入力特徴量に
行動情報を含めることで、関連の強い認識行動関係の抽
出に応用することも可能である。また、脳やニューラル
ネットワーク等の研究に関しても，マッチアビリティの
最大化を盛り込んだモデルを作ることにより成果が得ら
れる可能性がある。

【００７０】また、本発明の多次元入力データ特徴選択
装置を用いて、特徴抽出技術との融合や処理モジュール
の専門化におけるグローバルなバランスによる多様性の
確保、さらには、相関の時間的な局在性に対応するため
の拡張等を行なうことも可能である。

【００７１】

【発明の効果】以上詳述したように、本発明の多次元入
力データ特徴選択装置によれば、外部から入力データが
与えられると、参照データとの距離に重み付けされた荷
重距離が計算されたのち、荷重距離の小さい距離のデー
タ（マッチデータ）が選択され、そのマッチデータに基
づいて入力データと参照データとの距離に重み付けする
重み係数を変更することができるので、相互に相関の大
きな特徴量を選択することができ、知的システムにおけ
る接続構造の自律的獲得を容易に実現でき、ひいては柔
軟な適応能力をもつ知的システムの実現やその設計負担
の低減に寄与する。

【００７２】また、重み係数変更部が重み係数について
の平均化処理を施すことができるので、非荷重距離の要
素が小さいほど重み係数を大きくすることができるとと
もに、小さな重み係数に対しては復活の機会を与えるこ
とができるので、重み係数の全体的なバランスを調整す
ることができ、マッチング精度の向上を図ることができ
る（以上、請求項１〜４）。

【図面の簡単な説明】

【図１】本発明の一実施形態にかかる多次元入力データ
特徴選択装置の構成を示すブロック図である。

【図２】（ａ），（ｂ）はそれぞれ本発明の一実施形態
にかかるシミュレーションに用いられた処理モジュール
の入力系列を説明するための図である。

【図３】本発明の一実施形態にかかるシミュレーション
に用いられた処理モジュールのパラメータを示す図であ
る。

【図４】本発明の一実施形態にかかる２クラス入力系列
の“Class Ｂ”に専門化した処理モジュールにおける重
み係数の減衰を示すグラフである。

【図５】本発明の一実施形態にかかる２クラス入力系列
の“Class Ａ”に専門化した処理モジュールにおける重
み係数の減衰を示すグラフである。

【図６】本発明の一実施形態にかかる初期値の異なる入
力系列毎のそれぞれのクラスに専門化した処理モジュー
ルの数及び総和を示す図である。

【図７】本発明の一実施形態にかかる混合入力系列の
“Class Ｂ”に専門化した処理モジュールにおける重み
係数の減衰を示すグラフである。

【図８】本発明の一実施形態にかかる混合入力系列の
“Class Ａ”に専門化した処理モジュールにおける重み
係数の減衰を示すグラフである。

【図９】本発明の一実施形態にかかる初期値の異なる入
力系列毎のそれぞれのクラスに専門化した処理モジュー
ルの数及び総和を示す図である。

【図１０】本発明の一実施形態にかかる混合入力系列に
おいて専門化しなかった処理モジュールにおける重み係
数の減衰を示すグラフである。

【図１１】一般的な知的エージェントの構成を示す図で
ある。

【図１２】“教師有り学習”を行なう多次元入力データ
特徴選択装置の構成を示すブロック図である。

【図１３】“教師無し学習”を行なう多次元入力データ
特徴選択装置の構成を示すブロック図である。

【符号の説明】

１Ａ，１Ｂ 多次元入力データ特徴選択装置 ２ 重み係数保持装置 ３ 変換装置 ４ 主成分分析装置 １０ 参照データ保持部 １１ 重み係数保持部 １２ 荷重距離計算部 １３ マッチデータ選択部 １４ 非荷重距離計算部 １５ 重み係数変更部 １６ 参照データ追加部 １７ 参照データ削除部 ２０ 多次元入力データ特徴選択装置 ５０ 知的エージェント ５１ 認識システム ５２ 行動生成部 ５３ 評価部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数の参照データを保持する参照データ
   保持部と、 次元毎に設定された重み係数を保持する重み係数保持部
   と、 該参照データ保持部に保持されている該参照データと多
   次元の入力データとの間の距離を該重み係数保持部に保
   持された上記次元毎の重み係数を用いて重み付けした荷
   重距離を計算する荷重距離計算部と、 該荷重距離計算部で計算された荷重距離のうち小さい荷
   重距離に対応する参照データをマッチデータとして選択
   するマッチデータ選択部と、 該マッチデータ選択部で選択されたマッチデータと該入
   力データとの非荷重距離を計算する非荷重距離計算部
   と、 該非荷重距離計算部で計算された非荷重距離に基づい
   て、該非荷重距離が小さい次元に対応する重み係数を増
   加させる一方、該非荷重距離が大きい次元に対応する重
   み係数を減少させるよう、該重み係数保持部の重み係数
   を変更する重み係数変更部とをそなえて構成されたこと
   を特徴とする、多次元入力データ特徴選択装置。
2. 【請求項２】 該荷重距離計算部が、（１）式による計
   算を施すように構成され、 該非荷重距離計算部が、（２）式による計算を施すよう
   に構成され、 且つ、該重み係数変更部が、（３）式による計算を施す
   ことにより該非荷重距離の要素が小さいほど該重み係数
   を大きくする重み係数変更情報を求めるとともに、
   （４）式による計算を施すことにより該重み係数変更情
   報について正規化処理を施した重み係数正規化情報を求
   めるように構成されていることを特徴とする請求項１記
   載の多次元入力データ特徴選択装置。 Ｄ^P (t) ＝Σ_i ｛Ｗ_i (t) Δ^P _i (t) ｝ ・・・（１） ｄ^P (t) ＝Σ_i ｛Δ^P _i (t) ｝ ・・・（２） ここで、Δ^P _i (t) ＝｜Ｉ_i (t) −Ｒ^P _i ｜ Ｗ_i ⁽¹⁾ (t) ＝Ｗ_i (t) 〔ｄ^Pmatch／（ｋΔ^Pmatch _i (t) ＋ ｄ^Pmatch）〕 ・・・（３） Ｗ_i ⁽²⁾ (t) ＝Ｗ_i ⁽¹⁾ (t) ／Σ_i Ｗ_i ⁽¹⁾ (t) ・・・（４） 但し、 ｔ ：時刻 ｉ ：特徴量の次元（ｉ＝１〜ｍの自然数：
   ｍは特徴量の全次元数） Σ_i ：ｉについて総和を示す演算子 Ｗ_i (t) ：次元ｉの特徴量についての重み係数 Ｗ_i ⁽¹⁾ (t) ：次元ｉの特徴量についての重み係数変
   更情報 Ｗ_i ⁽²⁾ (t) ：次元ｉの特徴量についての重み係数正
   規化情報 Ｒ^P _i ：参照データの次元ｉの値 Ｐ ：参照データを特定する数値（Ｐ＝１〜
   ｎの自然数：ｎは参照データの総数） Ｉ_i (t) ：入力データの次元ｉの値 Ｄ^P (t) ：荷重距離 ｄ^P (t) ：非荷重距離 Ｐ_match ：Ｄ^P (t) が最小になるＰの値 ｋ ：学習定数
3. 【請求項３】 該荷重距離計算部が、（１）式による計
   算を施すように構成され、 該非荷重距離計算部が、（２）′式によるユークリッド
   距離計算を施すように構成され、 且つ、該重み係数変更部が、（３）式による計算を施す
   ことにより該非荷重距離の要素が小さいほど該重み係数
   を大きくする重み係数変更情報を求めるとともに、
   （４）式による計算を施すことにより該重み係数変更情
   報について正規化処理を施した重み係数正規化情報を求
   めるように構成されていることを特徴とする請求項１記
   載の多次元入力データ特徴選択装置。 Ｄ^P (t) ＝Σ_i ｛Ｗ_i (t) Δ^P _i (t) ｝ ・・・（１） ｄ^P (t) ＝ 〔Σ_i ｛Δ^P _i (t) ｝² 〕^1/2 ・・・（２）′ ここで、Δ^P _i (t) ＝｜Ｉ_i (t) −Ｒ^P _i ｜ Ｗ_i ⁽¹⁾ (t) ＝Ｗ_i (t) 〔ｄ^Pmatch／（ｋΔ^Pmatch _i (t) ＋ ｄ^Pmatch）〕 ・・・（３） Ｗ_i ⁽²⁾ (t) ＝Ｗ_i ⁽¹⁾ (t) ／Σ_i Ｗ_i ⁽¹⁾ (t) ・・・（４） 但し、 ｔ ：時刻 ｉ ：特徴量の次元（ｉ＝１〜ｍの自然数：
   ｍは特徴量の全次元数） Σ_i ：ｉについて総和を示す演算子 Ｗ_i (t) ：次元ｉの特徴量についての重み係数 Ｗ_i ⁽¹⁾ (t) ：次元ｉの特徴量についての重み係数変
   更情報 Ｗ_i ⁽²⁾ (t) ：次元ｉの特徴量についての重み係数正
   規化情報 Ｒ^P _i ：参照データの次元ｉの値 Ｐ ：参照データを特定する数値（Ｐ＝１〜
   ｎの自然数：ｎは参照データの総数） Ｉ_i (t) ：入力データの次元ｉの値 Ｄ^P (t) ：荷重距離 ｄ^P (t) ：非荷重距離 Ｐ_match ：Ｄ^P (t) が最小になるＰの値 ｋ ：学習定数
4. 【請求項４】 該重み係数変更部が、（５Ａ），（５
   Ｂ），（６Ａ），（６Ｂ）式による計算を施すことによ
   り該重み係数についての平均化処理を施して更新重み係
   数を求め、該重み係数保持部の重み係数を該更新重み係
   数に変更するように構成されていることを特徴とする請
   求項２または請求項３に記載の多次元入力データ特徴選
   択装置。 Ｗ_i ⁽³⁾ (t）＝ Ｗ_i ⁽²⁾ (t) −α｛Ｗ_i ⁽²⁾ (t) ｝² （Ｗ_i ⁽²⁾ (t) ＞Ｗ^thのとき） ・・・（５Ａ） Ｗ_i ⁽³⁾ (t）＝βＷ_i ⁽²⁾ (t） （Ｗ_i ⁽²⁾ (t) ≦Ｗ^thのとき） ・・・（５Ｂ） Ｗ_i (t＋1)＝ Ｗ_i ⁽³⁾ (t）／Σ_i Ｗ_i ⁽³⁾ (t) （Ｗ_i ⁽²⁾ (t) ＞Ｗ^thのとき） ・・・（６Ａ） Ｗ_i (t＋1)＝ Ｗ_i ⁽³⁾ (t） （Ｗ_i ⁽²⁾ (t) ≦Ｗ^thのとき） ・・・（６Ｂ） 但し、 α，β，Ｗ^th：定数，０＜α＜１，β＞
   １，０＜Ｗ^th＜１ Ｗ^th ：重み係数の境界値 Ｗ_i (t＋1) ：次元ｉの特徴量についての更新重み係数