JP3621786B2 - 多次元入力データ特徴選択装置 - Google Patents
多次元入力データ特徴選択装置 Download PDFInfo
- Publication number
- JP3621786B2 JP3621786B2 JP22238596A JP22238596A JP3621786B2 JP 3621786 B2 JP3621786 B2 JP 3621786B2 JP 22238596 A JP22238596 A JP 22238596A JP 22238596 A JP22238596 A JP 22238596A JP 3621786 B2 JP3621786 B2 JP 3621786B2
- Authority
- JP
- Japan
- Prior art keywords
- weighting factor
- reference data
- unit
- load distance
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
（目次）
発明の属する技術分野
従来の技術（図１１〜図１３）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態（図１〜図１０）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、パターン認識，ニューラルネットワーク，事例ベースド推論などの分野における特徴量の評価選択のための技術（多次元の入力ベクトルからいくつかの特徴量を選択する特徴選択技術）に関し、特に、知的エージェントの認識システム内における複数の処理モジュール間の接続構造を決定する場合に用いて好適の多次元入力データ特徴選択装置に関する。
【０００３】
内部に複数の処理モジュールをもつ大規模認識システムのモジュール間では、外界入力の情報構造に適合した情報交換を行なう必要がある。システムが柔軟な適応能力を持つには、処理モジュール毎だけでなく、その間の接続構造もダイナミックに変化させなければならない。接続構造の学習を行なう手掛かりとしては、外界入力の部分独立性を利用する方法が有望であり、これは局所毎には関連の強い特徴量の選択となる。しかし、従来このような視野に立つ特徴選択の研究はあまり進められていない。
【０００４】
そこで、本発明では、現入力状態と過去の入力状態とにマッチングできる機会に対応するマッチアビリティ（Ｍａｔｃｈａｂｉｌｉｔｙ）という尺度を特徴量毎に導入し、これを最大化する方向で関連の強い特徴量を選択する手法を提案する。
【０００５】
【従来の技術】
図１１は、一般的な知的エージェントの構成を示すブロック図であり、この図１１に示す知的エージェント５０は、認識システム５１，行動生成部５２及び評価部５３をそなえて構成されている。但し、図１１中の“○”は各種情報（例えば、画像，音声等）に対応する処理モジュールを表している。
【０００６】
ここで、認識システム５１は、環境から入力される複数の情報について何れの情報をどのように使うかを認識するもので、現在の情報の入力状態にマッチングする過去の情報の入力状態の検索を行なうようになっており、また、情報の入力頻度を増す毎に学習するようになっている。
なお、認識システム５１においては、情報が入力されると、目的とする行動に応じてそれぞれ認識が行なわれるようになっており、図１１に示すように、矢印の方向に進むにつれて認識度のレベルが高くなり、認識が困難となる。
【０００７】
また、行動生成部５２は、認識システム５１から得られる目的とする行動に応じた情報（認識結果）及び評価部５３からの評価に基づいて、環境に対する行動を生成するものであり、評価部５３は、認識システム５１から行動生成部５２に入力された情報について過去の入力状態に関連づけられた行動やその行動の帰結に対する評価を行なうものである。
【０００８】
このような構成により、知的エージェント５０による行動決定は以下のように行なわれる。つまり、環境から複数の情報が入力されると、認識システム５１において現在の情報の入力状態にマッチングする過去の情報の入力状態が検索されるとともに、評価部５３において過去の入力状態に関連づけられた行動やその行動の帰結に対する評価が行なわれたのち、認識システム５１による認識結果及び評価部５３の評価に基づき、行動生成部５２において知的エージェント５０の環境に対する行動が生成される。
【０００９】
ところで、認識システム５１は、上述したように、環境から得た情報を行動に役立てやすい表現に変換する役割を持っている。そのため、知的エージェント５０全体が柔軟な適応能力をそなえるには、処理を実行している段階での処理能力と、その処理能力を獲得するまでの学習機能との両方が必要となる。
また、実世界（環境）からの膨大な入力情報全体を一気に取り扱うことは現実的な速度では不可能であるため、認識システム５１では、部分処理空間に専門化した多数の処理モジュール（図１１参照）を用意し、それらの処理モジュールが入力の情報構造を反映して接続した内部構造を必要としていると考えられている。即ち、認識システム５１の適応能力は、処理モジュール毎と処理モジュール間の接続構造との両方での適応能力に依存するといえる。
【００１０】
しかし、これまでは処理モジュール毎の学習に関する研究が多い。それ故、モジュール毎の接続の学習が可能となれば、これまで以上に柔軟性の高い適応能力を実現できる可能性がある。
そこで、本発明では、処理モジュール間の接続構造の学習を目的とした特徴選択の提案を行なう。なぜなら、接続構造の決定は各処理モジュールから見れば特徴量の選択だからである。特徴量の評価選択に関しては、これまでにもパターン認識，ニューラルネットワーク，事例ベースド推論などの分野で研究が行なわれている。
【００１１】
特徴を選択する尺度としては、タスクを限定する“教師有り学習”の枠組みの中で認識率や誤り確率などを利用するのが最も直接的でわかりやすい。事例ベースド推論の研究においては、この枠組みの中で有効性を表現するような重み係数を導入して特徴量の評価を行なっている。
例えば、図１２に示ように、“教師有り学習”を行なう多次元入力データ特徴選択装置１Ａでは、入力信号Ｉ（ｔ） に重み係数Ｗ（ｔ） を加重して出力する重み係数保持装置２と、この重み係数保持装置２から出力される入力信号を変換させる変換装置３とがそなえられており、変換装置３から得られた出力の精度の向上や誤り確率を減少させるように、重み係数保持装置２に保持される重み係数Ｗ（ｔ） を変化させることにより、特徴量の組み合わせを選択するようになっている。
【００１２】
このとき、事例ベースド推論（事例に基づいた推論）の分野では重み係数Ｗ（ｔ） を連続的に変化させるほか、パターン認識の分野では重み係数Ｗ（ｔ） を０，１で離散的に変化させることにより、好ましい出力を得ることのできる特徴量の組み合わせが選択される。
ただし、Ｉ（ｔ） ＝｛Ｉｉ （ｔ） ｝， Ｗ（ｔ） ＝｛Ｗｉ （ｔ） ｝であり、ｔは時刻、ｉは１〜ｍの自然数、ｍは入力データ（入力信号）Ｉ（ｔ） の次元数である。
【００１３】
図１２に示す多次元入力データ特徴選択装置１Ａは、出力における正解が分かっている“教師有り学習”であるため、教師がいない環境で自律的に学習する“教師無し学習”ではない。そこで、例えば、図１３に示すような多次元入力データ特徴選択装置１Ｂも提案されている。この多次元入力データ特徴選択装置１Ｂは、変換装置３に代えて主成分分析装置４を用いたもので、この主成分分析装置４を用いることにより、多次元特徴量の中で最も重要な次元が選択されるようになっている。
【００１４】
なお、多次元入力データ特徴選択装置１Ａ及び１Ｂのいずれにおいても、情報量を大きくするために、できるだけ独立性が高く相互に独立な振る舞いをする特徴量の組み合わせが選択される。
【００１５】
【発明が解決しようとする課題】
本発明では、タスクを限定せずに一般的な目的に用いる認識システムを考え、入力情報だけを利用して自己組織的に構造を獲得する“教師無し学習”の枠組みに注目している。パターン認識におけるこの種の研究では、情報量基準等を用いて小さな次元の中に有用な情報を表現する手法、即ち、出力のコンパクトネス（Ｃｏｍｐａｃｔｎｅｓｓ ）を追及する手法が多数提案されている。さらに、上記の２つの手法はしばしば組み合わされ、パターン認識の分野を初めとし、特にニューラルネットワークの分野における枝刈り等はこれに類するケースが多い。また、多変量解析などの特徴抽出技術においても、“教師無し学習”では、出力のコンパクトネスを追及することが多い。
【００１６】
しかしながら、上述のように認識システムの処理モジュール間の接続構造を決定する場合に必要となる特徴選択技術において、関連の深い相互に相関の大きい特徴量の組み合わせを選択する必要があるので、従来技術のように互いに相関の小さい特徴量を選択する特徴選択技術、即ち、コンパクトネスを追及する特徴量選択の手法は、その性質上そぐわないという課題がある。
【００１７】
つまり、認識システムの接続構造の学習に際し、各処理モジュールでは、環境からの入力情報内に含まれる“相関の空間的な局所性”及び“相関の時間的な局所性”を利用し、特定の状況下で強い相関を持つ部分特徴量を選択すべきであるが、コンパクトネスを追及する特徴量選択の手法は、独立性が高く相互に相関の弱い特徴量を選択し、時間的にも異なった状況から情報を取り込む性質を持つため、認識システム内部の接続構造の学習には不適切である。
【００１８】
ここで、“相関の空間的な局所性”とは、特徴量空間内の高い相関が、多くの場合、その部分特徴量に現れるという性質であり、“相関の時間的な局所性”とは、部分特徴量空間内の高い相関が、定常的ではなく、特定の状況でのみ現れるという性質である。
本発明は、このような課題に鑑み創案されたもので、特徴量毎に現在の入力状態と過去の入力状態とのマッチングを最大化することにより、互いに相関の大きい特徴量の組み合わせを選択できるようにした多次元入力データ特徴選択装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
このため、本発明の多次元入力データ特徴選択装置は、複数の参照データを保持する参照データ保持部と、次元毎に設定された重み係数を保持する重み係数保持部と、該参照データ保持部に保持されている該参照データと多次元の入力データとの間の距離に該重み係数保持部に保持された上記次元毎の重み係数を用いて重み付けした荷重距離を計算する荷重距離計算部と、該荷重距離計算部で計算された荷重距離のうち最も小さい荷重距離に対応する参照データをマッチデータとして選択するマッチデータ選択部と、該マッチデータ選択部で選択されたマッチデータと該入力データとの距離であって、該重み係数を用いて重み付けがなされていない、非荷重距離を計算する非荷重距離計算部と、該非荷重距離計算部で計算された非荷重距離に基づいて、該非荷重距離が小さい次元に対応する重み係数を増加させる一方、該非荷重距離が大きい次元に対応する重み係数を減少させるよう、該重み係数保持部の重み係数を変更する重み係数変更部とをそなえて構成されたことを特徴としている（請求項１）。
【００２０】
なお、該荷重距離計算部を、（１）式による計算を施すように構成し、該非荷重距離計算部を、（２）式による計算を施すように構成し、且つ、該重み係数変更部を、（３）式による計算を施すことにより該非荷重距離の要素が小さいほど該重み係数を大きくする重み係数変更情報を求めるとともに、（４）式による計算を施すことにより該重み係数変更情報について正規化処理を施した重み係数正規化情報を求めるように構成してもよい（請求項２）。
【００２１】
また、該荷重距離計算部を、上記（１）式による計算を施すように構成し、該非荷重距離計算部を、下記（２）′式によるユークリッド距離計算を施すように構成し、且つ、該重み係数変更部を、上記（３）式による計算を施すことにより該非荷重距離の要素が小さいほど該重み係数を大きくする重み係数変更情報を求めるとともに、上記（４）式による計算を施すことにより該重み係数変更情報について正規化処理を施した重み係数正規化情報を求めるように構成してもよい（請求項３）。
【００２２】
ｄＰ （ｔ） ＝ 〔Σｉ ｛ΔＰ ｉ （ｔ） ｝２ 〕１／２ ・・・（２）′
ここで、ΔＰ ｉ （ｔ） ＝｜Ｉｉ （ｔ） −ＲＰ ｉ ｜
上記（１）〜（４）式や（２）′式を用いる場合、該重み係数変更部を、（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式による計算を施すことにより該重み係数についての平均化処理を施して更新重み係数を求め、該重み係数保持部の重み係数を該更新重み係数に変更するように構成してもよい（請求項４）。
【００２３】
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は本発明の一実施形態にかかる多次元入力データ特徴選択装置の構成を示すブロック図で、この図１に示す多次元入力データ特徴選択装置２０は、参照データ保持部１０，重み係数保持部１１，荷重距離計算部１２，マッチデータ選択部１３，非荷重距離計算部１４，重み計算変更部１５，参照データ追加部１６及び参照データ削除部１７をそなえて構成されている。
【００２５】
ここで、参照データ保持部１０は、ｎ個（ｎ≦ｎｍａｘ ）の参照データ（例えば、行動に関する多次元の情報）ＲＰ ＝｛ＲＰ ｉ ｝を保持するものである。なお、Ｐは参照データを特定するための数値で、Ｐは１〜ｎの自然数である。また、ｉは特徴量（入力データＩ（ｔ） や参照データＲＰ ）の次元で１〜ｍの自然数であり、ｍは特徴量の全次元数である。
【００２６】
重み係数保持部１１は、次元毎に設定された重み係数Ｗｉ （ｔ） を保持するものであり、荷重距離計算部１２は、参照データ保持部１０に保持されている参照データＲＰ と多次元の入力データＩ(t) との間の距離ΔＰ ｉ （ｔ） ＝｜Ｉｉ （ｔ） −ＲＰ ｉ ｜に、重み係数保持部１１に保持された次元毎の重み係数Ｗｉ （ｔ） を用いて重み付けした荷重距離ＤＰ （ｔ） を（１）式によって計算するものである。
【００２７】
また、マッチデータ選択部１３は、荷重距離計算部１２で計算された荷重距離ＤＰ （ｔ） のうち最も小さい荷重距離ＤＰ （ｔ） に対応する参照データＲＰ をマッチデータＲＰｍａｔｃｈとして選択するものであり、Ｐｍａｔｃｈ （ｔ） は下記（ａ）式のように表される。
さらに、非荷重距離計算部１４は、マッチデータ選択部１３で選択されたマッチデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰ （ｔ） を（２）式によって計算するものである。
【００２８】
ＤＰ （ｔ） ＝Σｉ ｛Ｗｉ （ｔ） ΔＰ ｉ （ｔ） ｝ ・・・（１）
ｄＰ （ｔ） ＝Σｉ ｛ΔＰ ｉ （ｔ） ｝ ・・・（２）
ここで、ΔＰ ｉ （ｔ） ＝｜Ｉｉ （ｔ） −ＲＰ ｉ ｜
ｔ ： 時刻
Σｉ ：ｉについて総和を示す演算子
Ｐｍａｔｃｈ （ｔ） ＝Ｐ（ｍｉｎ ＤＰ （ｔ） ） ・・・（ａ）
なお、非荷重距離計算部１４におけるマッチデータ選択部１３で選択されたマッチデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰ （ｔ） の計算は、（２）′式に示すようなユークリッド距離に置き換えてもよい。
【００２９】
ｄＰ （ｔ） ＝ 〔Σｉ ｛ΔＰ ｉ （ｔ） ｝２ 〕１／２ ・・・（２）′
一方、重み係数変更部１５は、非荷重距離計算部１４で計算された非荷重距離ｄＰｍａｔｃｈ（ｔ） 及び非荷重距離ベクトルΔＰｍａｔｃｈ（ｔ） ＝｛ΔＰｍａｔｃｈ ｉ （ｔ） ｝に基づいて、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が小さい次元に対応する重み係数Ｗｉ （ｔ） を増加させる一方、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が大きい次元に対応する重み係数Ｗｉ （ｔ） を減少させるよう、下記（３），（４），（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式を用いて次の時刻ｔ＋１で使用する更新重み係数Ｗ（ｔ＋１）＝｛Ｗｉ （ｔ＋１）｝を求め、重み係数保持部１１の重み係数Ｗ（ｔ） を更新重み情報Ｗ（ｔ＋１）に変更するものである。
【００３０】
つまり、重み係数変更部１５は、まず（３）式による計算を施すことにより、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素である局所距離ΔＰｍａｔｃｈ ｉ （ｔ） が小さいほど重み係数Ｗ（ｔ＋１）を大きくする学習規則で重み係数変更情報Ｗｉ （１） （ｔ） を求めた後、（４）式による計算を施すことにより、その重み係数変更情報Ｗｉ （１） （ｔ） について正規化処理を施した重み係数正規化情報Ｗｉ （２） （ｔ） を求めるようになっている。
【００３１】
さらに、重み係数変更部１５は、（３）式及び（４）式による演算結果を用いて（５Ａ），（５Ｂ）式及び（６Ａ），（６Ｂ）式による計算を施すことにより、重み係数Ｗ（ｔ） についての平均化処理を施して更新重み係数Ｗｉ （ｔ） を求めるようになっている。即ち、本実施形態の重み係数変更部１５においては、重み係数Ｗｉ （ｔ） の境界値Ｗｔｈを設定し、（５Ａ），（５Ｂ）式及び（６Ａ），（６Ｂ）式により全体的なバランスを調整することで、ある程度大きな重み係数Ｗｉ （ｔ） 同士が平均化されるとともに、小さな重み係数Ｗｉ （ｔ） に復活の機会が与えられ、最終的に更新された重み係数Ｗｉ （ｔ＋１）が得られるようになっている。
【００３２】
但し、α，β，Ｗｔｈは定数で、０＜α＜１，β＞１，０＜Ｗｔｈ＜１である。
【００３３】
また、参照データ追加部１６は、参照データ保持部１０に保持されている参照データＲＰ と多次元の入力データＩ（ｔ） とを比較して、入力データＩ（ｔ） と参照データＲＰ とが所定の基準より異なっている場合には、この入力データＩ（ｔ） を新たな参照データＲＰ として参照データ保持部１０に保持させるものである。
さらに、本実施形態の参照データ追加部１６は、参照データ保持部１０に保持されている参照データＲＰ の数ｎが所定値ｎｍａｘ 以下の場合には、新たな参照データＲＰ を参照データ保持部１０に追加させる機能も有している。
【００３４】
換言すれば、本実施形態の多次元入力データ特徴選択装置２０では、新たに得られた入力データＩ（ｔ） が、参照データ保持部１０に保持されている参照データＲＰ の何れともかなり異なり、且つ、参照データのスロットに余裕がある場合、その入力データＩ（ｔ） が新たな参照データとして参照データ保持部１０に追加されるようになっている。
【００３５】
つまり、（７）式に示すように、マッチしたデータＲＰｍａｔｃｈ（ｔ） と入力データＩ（ｔ） との荷重距離ＤＰｍａｔｃｈ（ｔ） があるしきい値θ（θ＞０）よりも大きければ、入力データＩ（ｔ） が新たな参照データとして参照データ保持部１０に追加されるようになっているのである。
また、参照データ削除部１７は、参照データ保持部１０に保持されている参照データＲＰ のうち利用頻度が所定値以下で保持後所定時間経過している参照データＲＰ を参照データ保持部１０から削除するもので、例えば、追加されてから１０時刻過ぎても一度も利用されない参照データＲＰ と、追加されてから３０時刻経過しても一度しか利用されない参照データＲＰ を削除するようになっている。なお、１時刻は、例えば、システムの１制御周期（１τ）に対応するものである。
【００３６】
さらに、本実施形態の参照データ削除部１７は、参照データ保持部１０に保持されている参照データのうち、重み係数Ｗ（ｔ） の変化に伴って相互に類似しているとみなされた参照データＲＰ ，ＲＰ ′については、少なくとも１つの参照データＲＰ を除いて残りの参照データＲＰ ′を参照データ保持部１０から削除する機能も有している。なお、本実施形態では、（８）式及び（９）式に示すように、削除される参照データＲＰ ，ＲＰ ′間の距離ＤＰＰ′のしきい値は、データ追加時と同じ値θを利用する。
【００３７】
ＤＰＰ’ ＝Σｉ ｛Ｗｉ （ｔ） ΔＰＰ’ ｉ ｝ ・・・（８）
ここで、ΔＰＰ’ ｉ ＝｜ＲＰ ｉ −ＲＰ’ ｉ ｜
ｉｆ（ＤＰＰ′＜θ） Ｄｅｌｅｔｉｎｇ ＲＰ ′ ・・・（９）
上述の構成により、本発明の一実施形態にかかる多次元入力データ特徴選択装置２０では、図１に示すように、時刻ｔにおいてｍ次元の入力データＩ（ｔ） が与えられると、荷重距離計算部１２において、参照データ保持部１０に保持されているｎ個の参照データＲＰ と入力データＩ（ｔ） との間の距離ΔＰ ｉ （ｔ） を重み係数保持部１１に保持された次元毎の重み係数Ｗｉ （ｔ） を用いて重み付けした荷重距離ＤＰ （ｔ） が上記の（１）式を用いて計算される。
【００３８】
また、マッチデータ選択部１３において、荷重距離計算部１２で計算された荷重距離ＤＰ （ｔ） のうち最も小さい荷重距離ＤＰ （ｔ） に対応する参照データＲＰ がマッチデータＲＰｍａｔｃｈとして選択される。即ち、ｎ個の参照データＲＰ の中から入力データＩ（ｔ） に最も近い参照データＲＰｍａｔｃｈが選択される。
続いて、非荷重距離計算部１４において、マッチデータ選択部１３で選択されたマッチデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰ （ｔ） が上記の（２）式を用いて計算される。
【００３９】
このとき、非荷重距離計算部１４において、計算されるマッチデータ選択部１３で選択されたマッチデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰ （ｔ） は、上記の（２）′式のようなユークリッド距離に置き換えてもよい。
さらに、重み係数変更部１５において、非荷重距離計算部１４で計算された非荷重距離ｄＰｍａｔｃｈ（ｔ） 及び非荷重距離ベクトルΔＰｍａｔｃｈ（ｔ） ＝｛ΔＰｍａｔｃｈ ｉ （ｔ） ｝に基づいて、上記の（３）式に示すような計算が施され、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が小さい次元に対応する重み係数Ｗｉ （ｔ） は増加される一方、非荷重距離ｄＰｍａｔｃｈ ｉ （ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が大きい次元に対応する重み係数Ｗｉ （ｔ） は減少され、さらに、（４）〜（６）式の計算に基づいて重み係数保持部１１の重み係数Ｗｉ （ｔ） が新たな更新重み係数Ｗｉ （ｔ＋１）に変更される。
【００４０】
即ち、後述するマッチングチャンス（Ｍａｔｃｈｉｎｇ Ｃｈａｎｃｅ ）を増加させるための重み係数Ｗ（ｔ） の学習則は、局所距離ΔＰｍａｔｃｈ ｉ （ｔ） が小さいほど重み係数Ｗｉ （ｔ） が大きくなる学習規則であり、上記の（３）式に示すようにマッチングしたデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰｍａｔｃｈ（ｔ） を利用して重み係数変更情報Ｗｉ （１） （ｔ） が求められ、その後、上記の（４）式に示すように、正規化（規格化）処理が行なわれる。（３）式の効果により、マッチング精度が向上し、誤差の少ない特徴量の重み係数Ｗｉ （ｔ） が相対的に大きくなる。
【００４１】
また、重み係数変更部１５において、上述の（５Ａ），（５Ｂ）式及び（６Ａ），（６Ｂ）式に示す学習則に基づき、ある程度大きな重み係数Ｗｉ （ｔ） 同士が平均化され、小さな重み係数Ｗｉ （ｔ） に復活の機会が与えられる。
さらに、本実施形態では、上記（７）式に基づいて、参照データ保持部１０に保持されている参照データＲＰ と多次元の入力データＩ（ｔ） とを比較したとき、入力データＩ（ｔ） と参照データＲＰ とが所定の基準より異なっており、且つ、参照データ保持部１０に保持されている参照データＲＰ の数ｎが所定値ｎｍａｘ 以下の場合には、参照データ追加部１６により、上記の入力データＩ（ｔ） が新たな参照データＲＰ として参照データ保持部１０に追加される。
【００４２】
また、参照データ保持部１０に保持されている参照データＲＰ のうち利用頻度が所定値以下で保持後所定時間経過している場合は、参照データ削除部１７により、参照データ保持部１０からその参照データＲＰ を削除するほか、上記（８）式及び（９）式に基づいて、参照データ保持部１０に保持されている参照データのうち重み係数Ｗ（ｔ） の変化に伴って相互に類似しているとみなされた参照データＲＰ ，ＲＰ ′が存在する場合は、少なくとも１つの参照データＲＰ を除いて残りの参照データＲＰ ′が参照データ保持部１０から削除される。
【００４３】
ところで、上述した本実施形態の多次元入力データ特徴選択装置２０は、コンパクトネスを指向する特徴選択の機能を補い得る、複数の処理モジュール（図１１参照）の専門化を前提としたマッチアビリティ（Ｍａｔｃｈａｂｉｌｉｔｙ）を指向するもので、以下に、マッチアビリティとその最大化の意義（必要性）について説明する。
【００４４】
ここでは、認識の定義として計算機科学において比較的一般的である「一度認めたものを、もう一度認めること」と考えている。つまり、認識とは、ある入力を外部の観測者が解釈するのではなく、既に経験した入力と同一、または、類似、または、それらの組み合わせとして解釈することである。
図１１にも示したように、認識システム５１は行動生成部５２を含む知的エージェント５０の一部であるから、認識の目的は、行動の決定に役立つ情報の抽出だと考えられる。行動決定の過程では、まず現在の入力状態にマッチングする過去の入力状態を探索し（本実施形態における参照データＲＰｍａｔｃｈの抽出）、それに関連づけられた行動や、その行動の帰結に対する評価に基づいて行動を選択する。
【００４５】
そこで、認識の定義と行動決定過程から考慮すると、行動に有用な認識とは、出力表現がコンパクトであると同時に多くの機会をマッチングできることが望まれる。従って、認識システム５１における処理モジュール間の接続構造の獲得においても、下記の２つの観点、▲１▼コンパクティビティ（Ｃｏｍｐａｃｔｉｖｉｔｙ）と▲２▼マッチアビリティとを考慮すべきである。
【００４６】
▲１▼コンパクティビティ：コンパクティビティを指向する研究では、通常、入力特徴量空間は予め与えられたものとして、出力におけるコンパクトネスを追及している。ここでは、情報圧縮や目立つ特徴を強調することを技術的なテーマとしている。一方、コンパクトにする処理の視点に立つと、入力部分において冗長な情報を持つ方（Ｒｅｄｕｎｄａｎｃｙ ｏｆ Ｉｎｐｕｔ ）が都合がよい。
【００４７】
▲２▼マッチアビリティ：マッチアビリティ指向では、認識システム５１が過去において外界から得られた有限の経験を、将来の入力にマッチできる可能性を大きくすることを目的とする。即ち、マッチアビリティとは、システムが入力に対してどれだけ多くのマッチングを生み出すことができるかという指標である。このマッチアビリティを増大させるには、具体的には２つの方向がある。１つは、局所的、且つ、時間的には相関の高い部分特徴量を選択することにより、マッチングチャンスを増大させるものであり、もう１つは、大局的、且つ、空間的には多様な反応性を持つ処理モジュールを並列に動作させることによりマッチングの多様性（Ｍａｔｃｈｉｎｇ Ｖａｒｉｅｔｙ）を増大させるものである。
【００４８】
認識システム５１の処理モジュール間の接続構造の学習には、相補的な上記２つの尺度（コンパクティビティとマッチアビリティ）が重要であるが、現状では出力のコンパクトネス（Ｃｏｍｐａｃｔｎｅｓｓ ｏｆ Ｏｕｔｐｕｔ）を評価の指標とする特徴選択／抽出が主流である。そこで、本実施形態の多次元入力データ特徴選択装置２０では、前述のごとく、（１）〜（４），（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式を用いることにより、マッチアビリティ指向の特徴選択のアルゴリズムを実現している。
【００４９】
即ち、本実施形態における特徴選択のアルゴリズムは、各処理モジュールにおけるマッチングチャンス（＝局所的なマッチアビリティ）を増加させる学習則であり、本実施形態では、特徴量毎に与えられる重み係数Ｗ（ｔ） を変化させることで選択を行なうようになっているのである。
ここで、上述した本実施形態の多次元入力データ特徴選択装置２０の機能について実証する具体例（シュミレーション）とその結果を報告する。シミュレーションでは、１０通りの入力系列を並列に動作する８つの処理モジュールに与えることによって、特徴量毎の重み係数Ｗｉ （ｔ） の変化を調べている。
（１）実験条件
入力系列は、時刻１から５００まで継続する１０次元の特徴量ベクトル（ｘ１ 〜ｘ１０）で表されている。図２（ａ）に示すように、２クラス・フェーズにおいては、この特徴量ベクトルはそれぞれ独立なスカラー変数に従属する２つの部分特徴量ベクトル（Ｃｌａｓｓ Ａ，Ｃｌａｓｓ Ｂ）に分割できる。これら２つの部分にそれぞれ対応する２つの独立変数（隠れ変数） ｊｍａｘ Ａ ， ｊｍａｘ Ｂ を、“ｒａｎｄ（ｍｉｎ，ｍａｘ） ”を［ｍｉｎ，ｍａｘ ］間の一様乱数として、（１０Ａ），（１０Ｂ）式のようにそれぞれ定義する。
【００５０】
ｊｍａｘ Ａ ＝ｒａｎｄ（０．０，４．０） ・・・（１０Ａ）
ｊｍａｘ Ｂ ＝ｒａｎｄ（０．０，６．０） ・・・（１０Ｂ）
“Ｃｌａｓｓ Ａ”は変数 ｊｍａｘ Ａ によって制御される４次元特徴量Ｉｊ （ｔ）（ｊ ＝１，２，３，４）で、“Ｃｌａｓｓ Ｂ”は、変数 ｊｍａｘ Ｂ によって制御される６次元特徴量Ｉｊ （ｔ）（ｊ ＝５，６，７，８，９，１０） で、それぞれ０．１以下の雑音を含んでおり、以下に示す（１１Ａ），（１１Ｂ）式のように表される。
【００５１】
一方、図２（ｂ）に示すように、ランダム・フェーズでは各特徴量Ｉｉ （ｉ＝１〜１０）は各々独立な一様乱数に従っており、以下に示す（１２）式のように表わされる。
【００５２】
Ｉｉ （ｔ） ＝ｒａｎｄ（０．０，１．０） ・・・（１２）
次に、各処理モジュールのパラメータｎｍａｘ ，θ，ｋ，Ｗｔｈ，α，βを図３のように設定し、さらに初期状態では、参照データを保持せず、重み係数Ｗｉ （Ｏ） は、（１３）式のごとく乱数により各次元毎に独立に決定した後、（１４）式により規格化される。
【００５３】
Ｗｉ （Ｏ） ＝１０−（１＋ｒａｎｄ（０．０，２．０）） ・・・（１３）
Ｗｉ （Ｏ） ＝Ｗｉ （Ｏ） ／Σｉ Ｗｉ （Ｏ） ・・・（１４）
（２）実験結果
〔２−１〕２クラス・フェーズの入力系列について
異なる初期化を行なったいずれの入力系列においても１００から２００時刻経過後には、図４及び図５に示すように、各処理モジュールの重み係数Ｗｉ はいずれかのクラスの特徴量を選択した。また、図６に示すように、１０通りのいずれのケースにおいても“Ｃｌａｓｓ Ｂ”に専門化するモジュールが多いことから、冗長性の高い特徴量に対して専門化が起こりやすい傾向があるといえる（Ｃｌａｓｓ Ａ：Ｃｌａｓｓ Ｂ＝１４：６６）。なお、図４，図５及び後述する図７，図８，図１０に示すグラフ中における数値１〜１０はｉの値であり、例えば“５”を付されたラインは重み係数Ｗ５ に対応するものであることを示している。
【００５４】
〔２−２〕２つのフェーズを混合した入力系列について
初めの８時刻はランダム・フェーズとし、引き続く８時刻を２クラス・フェーズとし、以下このサイクルを５００時刻まで繰り返す入力系列を与えて同様の実験を行なった。ランダム・フェーズを含めたことで入力情報に時間的な局在性があるにも関わらず、今回の実験の範囲では、図７及び図８に示すように、多くの場合にクラス毎の部分特徴量が選択された。
【００５５】
つまり、ランダム・フェーズにおいても、図９に示すように、２クラス・フェーズの入力系列と同様に、“Ｃｌａｓｓ Ｂ”に専門化するモジュールが多いことから、同様に冗長性の高い特徴量に対して専門化が起こりやすい傾向があるといえる。
なお、図９では、専門化が多少不十分でもどちらかのクラスに分類しうる場合はそれぞれのクラスに分類したが、それでもなお判断できなかったものについては、“Ｏｂｓｃｕｒｅ ”に分類した（Ｃｌａｓｓ Ａ：Ｃｌａｓｓ Ｂ：Ｏｂｓｃｕｒｅ ＝１４：５６：１０）。
【００５６】
また、これらの２つのフェーズを混合した入力系列においては、例えば図１０に示すように、学習を５００時刻以降まで行なっても専門化が不十分な場合もあった。これは、特にその一部のケースで見られた現象として、ほぼ選択されたクラスと相関の強い重み係数の値が、平均化のしきい値Ｗｔｈよりも小さい領域に落ち込み、その値がなかなか大きくならないために生じるもので、図１０においては、５００時刻経過後にも、いずれのクラスにも専門化しなかった。
【００５７】
次に、本実施形態における特徴抽出のアルゴリズムについて、さらに説明する。
〔１〕コンパクティビティの最大化と重み係数の平均化について
本実施形態においてはマッチアビリティの最大化について述べているが、実際の特徴選択のアルゴリズムはコンパクティビティとマッチアビリティの両尺度のバランスの上に成り立っている。つまり、（５Ａ），（５Ｂ）式による重み係数の平均化は選択する特徴量の数を増加させ、コンパクティビティの最大化に必要な入力空間の冗長性（Ｒｅｄｕｎｄａｎｃｙ ｏｆ Ｉｎｐｕｔ ）を増加させる。これに対して、（３）式による特徴量毎の重み係数Ｗｉ （ｔ） の選択減衰はマッチングチャンスを増加させる。
【００５８】
従って、コンパクティビティとマッチアビリティの両尺度をバランスよく用いることにより、できるだけ少ない参照データで記述することが可能となり、且つ、記述量を減らすことによりノードを増やすことができる。つまり、このことは、選択された特徴量によって張られる超空間中の参照データの存在領域を相対的に小さくすることであり、選択された部分特徴空間に対して特徴抽出処理を施すことで効果的に圧縮を行なうことができる。
【００５９】
もし、上記の２つの尺度を融合した適当な評価量を定義することができるならば、直感的には各処理モジュールの専門化は、選択する特徴量と保持する参照データなどを組み合わせた空間においての評価量に関するローカルミニマムへの引込みになると考えられる。従って、上述のシミュレーションの結果において冗長性の高い特徴量（特徴量の数が多いクラス）に対して専門化しやすいのは、冗長度が高いほど引込み領域が大きいためであると考えられる。
【００６０】
〔２〕処理モジュールの専門化のバランスについて
上述したマッチングチャンスに対応してマッチング多様性（ Ｍａｔｃｈｉｎｇ Ｖａｒｉｅｔｙ ）の観点からは、多様な専門化が行なわれることが望ましいが、各処理モジュールを専門化した状態はローカルな安定状態であり、その発生確率においても本質的に偏りがある。そこで、本実施形態のごとく各処理モジュール毎にマッチングチャンスを考慮した学習則においては、モジュール間で相互作用を行なうグローバルな機構を導入することにより、多様性に富んだ専門化を実現することができる。
【００６１】
〔３〕認識システムの作成に向けた特徴抽出装置との結合について
上述したように、本実施形態におけるマッチアビリティを指向する特徴選択手法は、コンパクティビティ指向の特徴抽出手法に対して相補的な技術であるため、認識システムを構築する際には、両方の技術を融合することが不可欠であると考えられる。
【００６２】
まず、マッチアビリティ指向の本実施形態の多次元入力データ特徴選択装置２０によって選ばれた相関の高い部分的な特徴量をコンパクティビティ指向の特徴抽出装置に入力することにより圧縮した表現を生成する結合処理モジュールが作成され、さらにそれらを接続してネットワーク構造が作成される。なお、自律的に認識システムを構築するための方法としては、必要に応じて結合処理モジュールをインクリメンタルに追加することや、予め大きく作ったネットワークを枝刈りして小さくすることなどが考えられる。
【００６３】
〔４〕入力情報構造に時間的な局在性への対応について
混合入力系列に対するシミュレーションでは、入力情報に相関の時間的な局在性があるにも関わらず、上述したように、特徴量の選択をある程度行なうことができた。しかし、より複雑な時間的な局在性を持つ入力系列に対しては、重み係数の学習が不安定になると予測されるため、参照データの評価や取捨選択等を行なうことにより対応できる。
【００６４】
このように、本発明の一実施形態における多次元入力データ特徴選択装置２０によれば、外部から入力データＩ（ｔ） が与えられると、参照データＲＰ との距離ΔＰ ｉ （ｔ） に重み付けされた荷重距離ＤＰ （ｔ） が計算されたのち、荷重距離ＤＰ （ｔ） の最も小さい距離のデータ（マッチデータ）ＲＰｍａｃｔｃｈ が選択され、そのマッチデータＲＰｍａｃｔｃｈ に基づいて入力データＩ（ｔ） と参照データＲＰ との距離ΔＰ ｉ （ｔ） に重み付けする重み係数Ｗｉ （ｔ） を変更することができるので、相互に相関の大きな特徴量を選択することができ、知的エージェントや認識装置などの複数の処理モジュールを内部にもつ知的システムにおいて、各処理モジュール毎に関連の深い情報を収集することで、そのシステム全体の接続構造の自律的獲得を容易に実現でき、ひいては柔軟な適応能力をもつ知的システムの実現やその設計負担の低減に寄与するという利点がある。
【００６５】
また、重み係数変更部１５が（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式による計算を施すことにより、重み係数についての平均化処理を施すことができるので、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が小さいほど重み係数Ｗｉ （ｔ） を大きくすることができるとともに、小さな重み係数Ｗｉ （ｔ） に対しては復活の機会を与えることができるので、重み係数Ｗｉ （ｔ） の全体的なバランスを調整することができ、本装置のマッチング精度が大幅に向上する。
【００６６】
さらに、参照データ追加部１６が、参照データ保持部１０に保持されている参照データＲＰ と多次元の入力データＩ（ｔ） とを比較して、入力データＩ（ｔ） と参照データＲＰ とが所定の基準より異なっている場合には、この入力データＩ（ｔ） を新たな参照データＲＰ として参照データ保持部１０に保持させることができるので、常に一定の基準をもつ最新の参照データＲＰ が保持され、本実施形態の多次元入力データ特徴選択装置２０を適用される知的システムの適応能力の柔軟性をより向上させることができる。
【００６７】
また、参照データ追加部１６が、参照データ保持部１０に保持されている参照データＲＰ の数ｎが所定値ｎｍａｘ 以下の場合に、新たな参照データを参照データ保持部１０に保持させることができるので、常に一定量以下の参照データＲＰ が保持しておくことができる。
さらに、参照データ削除部１７が、参照データ保持部１０に保持されている参照データのうち利用頻度が所定値以下で保持後所定時間経過している参照データを参照データ保持部１０から削除することができるので、長期に亘って利用されない参照データが削除され、常に現在の入力に近い参照データが保持されることになり、参照データ保持部１０を有効に利用でき、本実施形態の多次元入力データ特徴選択装置２０を適用される知的システムの適応能力の柔軟性の向上に寄与することができる。
【００６８】
また、参照データ削除部１７が、参照データ保持部１０に保持されている参照データのうち相互に類似している参照データＲＰ ，ＲＰ ′については、少なくとも１つの参照データＲＰ を除いて残りの参照データＲＰ ′を参照データ保持部１０から削除することができるので、必要のないデータの増大を防ぐことができ、参照データ保持部１０を有効に利用でき、本実施形態の多次元入力データ特徴選択装置２０を適用される知的システムの適応能力の柔軟性のさらなる向上に寄与することができる。
【００６９】
なお、マッチアビリティ指向では局在的には冗長な特徴量を収集することができるので、一部の特徴量が隠蔽された場合にも対応することができ、情報統合技術へ応用することができる。
そして、入力特徴量に行動情報を含めることで、関連の強い認識行動関係の抽出に応用することも可能である。また、脳やニューラルネットワーク等の研究に関しても，マッチアビリティの最大化を盛り込んだモデルを作ることにより成果が得られる可能性がある。
【００７０】
また、本発明の多次元入力データ特徴選択装置を用いて、特徴抽出技術との融合や処理モジュールの専門化におけるグローバルなバランスによる多様性の確保、さらには、相関の時間的な局在性に対応するための拡張等を行なうことも可能である。
【００７１】
【発明の効果】
以上詳述したように、本発明の多次元入力データ特徴選択装置によれば、外部から入力データが与えられると、参照データとの距離に重み付けされた荷重距離が計算されたのち、荷重距離の最も小さい距離のデータ（マッチデータ）が選択され、そのマッチデータに基づいて入力データと参照データとの距離に重み付けする重み係数を変更することができるので、相互に相関の大きな特徴量を選択することができ、知的システムにおける接続構造の自律的獲得を容易に実現でき、ひいては柔軟な適応能力をもつ知的システムの実現やその設計負担の低減に寄与する。
【００７２】
また、重み係数変更部が重み係数についての平均化処理を施すことができるので、非荷重距離の要素が小さいほど重み係数を大きくすることができるとともに、小さな重み係数に対しては復活の機会を与えることができるので、重み係数の全体的なバランスを調整することができ、マッチング精度の向上を図ることができる（以上、請求項１〜４）。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる多次元入力データ特徴選択装置の構成を示すブロック図である。
【図２】（ａ），（ｂ）はそれぞれ本発明の一実施形態にかかるシミュレーションに用いられた処理モジュールの入力系列を説明するための図である。
【図３】本発明の一実施形態にかかるシミュレーションに用いられた処理モジュールのパラメータを示す図である。
【図４】本発明の一実施形態にかかる２クラス入力系列の“Ｃｌａｓｓ Ｂ”に専門化した処理モジュールにおける重み係数の減衰を示すグラフである。
【図５】本発明の一実施形態にかかる２クラス入力系列の“Ｃｌａｓｓ Ａ”に専門化した処理モジュールにおける重み係数の減衰を示すグラフである。
【図６】本発明の一実施形態にかかる初期値の異なる入力系列毎のそれぞれのクラスに専門化した処理モジュールの数及び総和を示す図である。
【図７】本発明の一実施形態にかかる混合入力系列の“Ｃｌａｓｓ Ｂ”に専門化した処理モジュールにおける重み係数の減衰を示すグラフである。
【図８】本発明の一実施形態にかかる混合入力系列の“Ｃｌａｓｓ Ａ”に専門化した処理モジュールにおける重み係数の減衰を示すグラフである。
【図９】本発明の一実施形態にかかる初期値の異なる入力系列毎のそれぞれのクラスに専門化した処理モジュールの数及び総和を示す図である。
【図１０】本発明の一実施形態にかかる混合入力系列において専門化しなかった処理モジュールにおける重み係数の減衰を示すグラフである。
【図１１】一般的な知的エージェントの構成を示す図である。
【図１２】“教師有り学習”を行なう多次元入力データ特徴選択装置の構成を示すブロック図である。
【図１３】“教師無し学習”を行なう多次元入力データ特徴選択装置の構成を示すブロック図である。
【符号の説明】
１Ａ，１Ｂ 多次元入力データ特徴選択装置
２ 重み係数保持装置
３ 変換装置
４ 主成分分析装置
１０ 参照データ保持部
１１ 重み係数保持部
１２ 荷重距離計算部
１３ マッチデータ選択部
１４ 非荷重距離計算部
１５ 重み係数変更部
１６ 参照データ追加部
１７ 参照データ削除部
２０ 多次元入力データ特徴選択装置
５０ 知的エージェント
５１ 認識システム
５２ 行動生成部
５３ 評価部
（目次）
発明の属する技術分野
従来の技術（図１１〜図１３）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態（図１〜図１０）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、パターン認識，ニューラルネットワーク，事例ベースド推論などの分野における特徴量の評価選択のための技術（多次元の入力ベクトルからいくつかの特徴量を選択する特徴選択技術）に関し、特に、知的エージェントの認識システム内における複数の処理モジュール間の接続構造を決定する場合に用いて好適の多次元入力データ特徴選択装置に関する。
【０００３】
内部に複数の処理モジュールをもつ大規模認識システムのモジュール間では、外界入力の情報構造に適合した情報交換を行なう必要がある。システムが柔軟な適応能力を持つには、処理モジュール毎だけでなく、その間の接続構造もダイナミックに変化させなければならない。接続構造の学習を行なう手掛かりとしては、外界入力の部分独立性を利用する方法が有望であり、これは局所毎には関連の強い特徴量の選択となる。しかし、従来このような視野に立つ特徴選択の研究はあまり進められていない。
【０００４】
そこで、本発明では、現入力状態と過去の入力状態とにマッチングできる機会に対応するマッチアビリティ（Ｍａｔｃｈａｂｉｌｉｔｙ）という尺度を特徴量毎に導入し、これを最大化する方向で関連の強い特徴量を選択する手法を提案する。
【０００５】
【従来の技術】
図１１は、一般的な知的エージェントの構成を示すブロック図であり、この図１１に示す知的エージェント５０は、認識システム５１，行動生成部５２及び評価部５３をそなえて構成されている。但し、図１１中の“○”は各種情報（例えば、画像，音声等）に対応する処理モジュールを表している。
【０００６】
ここで、認識システム５１は、環境から入力される複数の情報について何れの情報をどのように使うかを認識するもので、現在の情報の入力状態にマッチングする過去の情報の入力状態の検索を行なうようになっており、また、情報の入力頻度を増す毎に学習するようになっている。
なお、認識システム５１においては、情報が入力されると、目的とする行動に応じてそれぞれ認識が行なわれるようになっており、図１１に示すように、矢印の方向に進むにつれて認識度のレベルが高くなり、認識が困難となる。
【０００７】
また、行動生成部５２は、認識システム５１から得られる目的とする行動に応じた情報（認識結果）及び評価部５３からの評価に基づいて、環境に対する行動を生成するものであり、評価部５３は、認識システム５１から行動生成部５２に入力された情報について過去の入力状態に関連づけられた行動やその行動の帰結に対する評価を行なうものである。
【０００８】
このような構成により、知的エージェント５０による行動決定は以下のように行なわれる。つまり、環境から複数の情報が入力されると、認識システム５１において現在の情報の入力状態にマッチングする過去の情報の入力状態が検索されるとともに、評価部５３において過去の入力状態に関連づけられた行動やその行動の帰結に対する評価が行なわれたのち、認識システム５１による認識結果及び評価部５３の評価に基づき、行動生成部５２において知的エージェント５０の環境に対する行動が生成される。
【０００９】
ところで、認識システム５１は、上述したように、環境から得た情報を行動に役立てやすい表現に変換する役割を持っている。そのため、知的エージェント５０全体が柔軟な適応能力をそなえるには、処理を実行している段階での処理能力と、その処理能力を獲得するまでの学習機能との両方が必要となる。
また、実世界（環境）からの膨大な入力情報全体を一気に取り扱うことは現実的な速度では不可能であるため、認識システム５１では、部分処理空間に専門化した多数の処理モジュール（図１１参照）を用意し、それらの処理モジュールが入力の情報構造を反映して接続した内部構造を必要としていると考えられている。即ち、認識システム５１の適応能力は、処理モジュール毎と処理モジュール間の接続構造との両方での適応能力に依存するといえる。
【００１０】
しかし、これまでは処理モジュール毎の学習に関する研究が多い。それ故、モジュール毎の接続の学習が可能となれば、これまで以上に柔軟性の高い適応能力を実現できる可能性がある。
そこで、本発明では、処理モジュール間の接続構造の学習を目的とした特徴選択の提案を行なう。なぜなら、接続構造の決定は各処理モジュールから見れば特徴量の選択だからである。特徴量の評価選択に関しては、これまでにもパターン認識，ニューラルネットワーク，事例ベースド推論などの分野で研究が行なわれている。
【００１１】
特徴を選択する尺度としては、タスクを限定する“教師有り学習”の枠組みの中で認識率や誤り確率などを利用するのが最も直接的でわかりやすい。事例ベースド推論の研究においては、この枠組みの中で有効性を表現するような重み係数を導入して特徴量の評価を行なっている。
例えば、図１２に示ように、“教師有り学習”を行なう多次元入力データ特徴選択装置１Ａでは、入力信号Ｉ（ｔ） に重み係数Ｗ（ｔ） を加重して出力する重み係数保持装置２と、この重み係数保持装置２から出力される入力信号を変換させる変換装置３とがそなえられており、変換装置３から得られた出力の精度の向上や誤り確率を減少させるように、重み係数保持装置２に保持される重み係数Ｗ（ｔ） を変化させることにより、特徴量の組み合わせを選択するようになっている。
【００１２】
このとき、事例ベースド推論（事例に基づいた推論）の分野では重み係数Ｗ（ｔ） を連続的に変化させるほか、パターン認識の分野では重み係数Ｗ（ｔ） を０，１で離散的に変化させることにより、好ましい出力を得ることのできる特徴量の組み合わせが選択される。
ただし、Ｉ（ｔ） ＝｛Ｉｉ （ｔ） ｝， Ｗ（ｔ） ＝｛Ｗｉ （ｔ） ｝であり、ｔは時刻、ｉは１〜ｍの自然数、ｍは入力データ（入力信号）Ｉ（ｔ） の次元数である。
【００１３】
図１２に示す多次元入力データ特徴選択装置１Ａは、出力における正解が分かっている“教師有り学習”であるため、教師がいない環境で自律的に学習する“教師無し学習”ではない。そこで、例えば、図１３に示すような多次元入力データ特徴選択装置１Ｂも提案されている。この多次元入力データ特徴選択装置１Ｂは、変換装置３に代えて主成分分析装置４を用いたもので、この主成分分析装置４を用いることにより、多次元特徴量の中で最も重要な次元が選択されるようになっている。
【００１４】
なお、多次元入力データ特徴選択装置１Ａ及び１Ｂのいずれにおいても、情報量を大きくするために、できるだけ独立性が高く相互に独立な振る舞いをする特徴量の組み合わせが選択される。
【００１５】
【発明が解決しようとする課題】
本発明では、タスクを限定せずに一般的な目的に用いる認識システムを考え、入力情報だけを利用して自己組織的に構造を獲得する“教師無し学習”の枠組みに注目している。パターン認識におけるこの種の研究では、情報量基準等を用いて小さな次元の中に有用な情報を表現する手法、即ち、出力のコンパクトネス（Ｃｏｍｐａｃｔｎｅｓｓ ）を追及する手法が多数提案されている。さらに、上記の２つの手法はしばしば組み合わされ、パターン認識の分野を初めとし、特にニューラルネットワークの分野における枝刈り等はこれに類するケースが多い。また、多変量解析などの特徴抽出技術においても、“教師無し学習”では、出力のコンパクトネスを追及することが多い。
【００１６】
しかしながら、上述のように認識システムの処理モジュール間の接続構造を決定する場合に必要となる特徴選択技術において、関連の深い相互に相関の大きい特徴量の組み合わせを選択する必要があるので、従来技術のように互いに相関の小さい特徴量を選択する特徴選択技術、即ち、コンパクトネスを追及する特徴量選択の手法は、その性質上そぐわないという課題がある。
【００１７】
つまり、認識システムの接続構造の学習に際し、各処理モジュールでは、環境からの入力情報内に含まれる“相関の空間的な局所性”及び“相関の時間的な局所性”を利用し、特定の状況下で強い相関を持つ部分特徴量を選択すべきであるが、コンパクトネスを追及する特徴量選択の手法は、独立性が高く相互に相関の弱い特徴量を選択し、時間的にも異なった状況から情報を取り込む性質を持つため、認識システム内部の接続構造の学習には不適切である。
【００１８】
ここで、“相関の空間的な局所性”とは、特徴量空間内の高い相関が、多くの場合、その部分特徴量に現れるという性質であり、“相関の時間的な局所性”とは、部分特徴量空間内の高い相関が、定常的ではなく、特定の状況でのみ現れるという性質である。
本発明は、このような課題に鑑み創案されたもので、特徴量毎に現在の入力状態と過去の入力状態とのマッチングを最大化することにより、互いに相関の大きい特徴量の組み合わせを選択できるようにした多次元入力データ特徴選択装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
このため、本発明の多次元入力データ特徴選択装置は、複数の参照データを保持する参照データ保持部と、次元毎に設定された重み係数を保持する重み係数保持部と、該参照データ保持部に保持されている該参照データと多次元の入力データとの間の距離に該重み係数保持部に保持された上記次元毎の重み係数を用いて重み付けした荷重距離を計算する荷重距離計算部と、該荷重距離計算部で計算された荷重距離のうち最も小さい荷重距離に対応する参照データをマッチデータとして選択するマッチデータ選択部と、該マッチデータ選択部で選択されたマッチデータと該入力データとの距離であって、該重み係数を用いて重み付けがなされていない、非荷重距離を計算する非荷重距離計算部と、該非荷重距離計算部で計算された非荷重距離に基づいて、該非荷重距離が小さい次元に対応する重み係数を増加させる一方、該非荷重距離が大きい次元に対応する重み係数を減少させるよう、該重み係数保持部の重み係数を変更する重み係数変更部とをそなえて構成されたことを特徴としている（請求項１）。
【００２０】
なお、該荷重距離計算部を、（１）式による計算を施すように構成し、該非荷重距離計算部を、（２）式による計算を施すように構成し、且つ、該重み係数変更部を、（３）式による計算を施すことにより該非荷重距離の要素が小さいほど該重み係数を大きくする重み係数変更情報を求めるとともに、（４）式による計算を施すことにより該重み係数変更情報について正規化処理を施した重み係数正規化情報を求めるように構成してもよい（請求項２）。
【００２１】
【００２２】
ｄＰ （ｔ） ＝ 〔Σｉ ｛ΔＰ ｉ （ｔ） ｝２ 〕１／２ ・・・（２）′
ここで、ΔＰ ｉ （ｔ） ＝｜Ｉｉ （ｔ） −ＲＰ ｉ ｜
上記（１）〜（４）式や（２）′式を用いる場合、該重み係数変更部を、（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式による計算を施すことにより該重み係数についての平均化処理を施して更新重み係数を求め、該重み係数保持部の重み係数を該更新重み係数に変更するように構成してもよい（請求項４）。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は本発明の一実施形態にかかる多次元入力データ特徴選択装置の構成を示すブロック図で、この図１に示す多次元入力データ特徴選択装置２０は、参照データ保持部１０，重み係数保持部１１，荷重距離計算部１２，マッチデータ選択部１３，非荷重距離計算部１４，重み計算変更部１５，参照データ追加部１６及び参照データ削除部１７をそなえて構成されている。
【００２５】
ここで、参照データ保持部１０は、ｎ個（ｎ≦ｎｍａｘ ）の参照データ（例えば、行動に関する多次元の情報）ＲＰ ＝｛ＲＰ ｉ ｝を保持するものである。なお、Ｐは参照データを特定するための数値で、Ｐは１〜ｎの自然数である。また、ｉは特徴量（入力データＩ（ｔ） や参照データＲＰ ）の次元で１〜ｍの自然数であり、ｍは特徴量の全次元数である。
【００２６】
重み係数保持部１１は、次元毎に設定された重み係数Ｗｉ （ｔ） を保持するものであり、荷重距離計算部１２は、参照データ保持部１０に保持されている参照データＲＰ と多次元の入力データＩ(t) との間の距離ΔＰ ｉ （ｔ） ＝｜Ｉｉ （ｔ） −ＲＰ ｉ ｜に、重み係数保持部１１に保持された次元毎の重み係数Ｗｉ （ｔ） を用いて重み付けした荷重距離ＤＰ （ｔ） を（１）式によって計算するものである。
【００２７】
また、マッチデータ選択部１３は、荷重距離計算部１２で計算された荷重距離ＤＰ （ｔ） のうち最も小さい荷重距離ＤＰ （ｔ） に対応する参照データＲＰ をマッチデータＲＰｍａｔｃｈとして選択するものであり、Ｐｍａｔｃｈ （ｔ） は下記（ａ）式のように表される。
さらに、非荷重距離計算部１４は、マッチデータ選択部１３で選択されたマッチデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰ （ｔ） を（２）式によって計算するものである。
【００２８】
ＤＰ （ｔ） ＝Σｉ ｛Ｗｉ （ｔ） ΔＰ ｉ （ｔ） ｝ ・・・（１）
ｄＰ （ｔ） ＝Σｉ ｛ΔＰ ｉ （ｔ） ｝ ・・・（２）
ここで、ΔＰ ｉ （ｔ） ＝｜Ｉｉ （ｔ） −ＲＰ ｉ ｜
ｔ ： 時刻
Σｉ ：ｉについて総和を示す演算子
Ｐｍａｔｃｈ （ｔ） ＝Ｐ（ｍｉｎ ＤＰ （ｔ） ） ・・・（ａ）
なお、非荷重距離計算部１４におけるマッチデータ選択部１３で選択されたマッチデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰ （ｔ） の計算は、（２）′式に示すようなユークリッド距離に置き換えてもよい。
【００２９】
ｄＰ （ｔ） ＝ 〔Σｉ ｛ΔＰ ｉ （ｔ） ｝２ 〕１／２ ・・・（２）′
一方、重み係数変更部１５は、非荷重距離計算部１４で計算された非荷重距離ｄＰｍａｔｃｈ（ｔ） 及び非荷重距離ベクトルΔＰｍａｔｃｈ（ｔ） ＝｛ΔＰｍａｔｃｈ ｉ （ｔ） ｝に基づいて、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が小さい次元に対応する重み係数Ｗｉ （ｔ） を増加させる一方、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が大きい次元に対応する重み係数Ｗｉ （ｔ） を減少させるよう、下記（３），（４），（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式を用いて次の時刻ｔ＋１で使用する更新重み係数Ｗ（ｔ＋１）＝｛Ｗｉ （ｔ＋１）｝を求め、重み係数保持部１１の重み係数Ｗ（ｔ） を更新重み情報Ｗ（ｔ＋１）に変更するものである。
【００３０】
つまり、重み係数変更部１５は、まず（３）式による計算を施すことにより、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素である局所距離ΔＰｍａｔｃｈ ｉ （ｔ） が小さいほど重み係数Ｗ（ｔ＋１）を大きくする学習規則で重み係数変更情報Ｗｉ （１） （ｔ） を求めた後、（４）式による計算を施すことにより、その重み係数変更情報Ｗｉ （１） （ｔ） について正規化処理を施した重み係数正規化情報Ｗｉ （２） （ｔ） を求めるようになっている。
【００３１】
【００３２】
【００３３】
また、参照データ追加部１６は、参照データ保持部１０に保持されている参照データＲＰ と多次元の入力データＩ（ｔ） とを比較して、入力データＩ（ｔ） と参照データＲＰ とが所定の基準より異なっている場合には、この入力データＩ（ｔ） を新たな参照データＲＰ として参照データ保持部１０に保持させるものである。
さらに、本実施形態の参照データ追加部１６は、参照データ保持部１０に保持されている参照データＲＰ の数ｎが所定値ｎｍａｘ 以下の場合には、新たな参照データＲＰ を参照データ保持部１０に追加させる機能も有している。
【００３４】
換言すれば、本実施形態の多次元入力データ特徴選択装置２０では、新たに得られた入力データＩ（ｔ） が、参照データ保持部１０に保持されている参照データＲＰ の何れともかなり異なり、且つ、参照データのスロットに余裕がある場合、その入力データＩ（ｔ） が新たな参照データとして参照データ保持部１０に追加されるようになっている。
【００３５】
つまり、（７）式に示すように、マッチしたデータＲＰｍａｔｃｈ（ｔ） と入力データＩ（ｔ） との荷重距離ＤＰｍａｔｃｈ（ｔ） があるしきい値θ（θ＞０）よりも大きければ、入力データＩ（ｔ） が新たな参照データとして参照データ保持部１０に追加されるようになっているのである。
【００３６】
さらに、本実施形態の参照データ削除部１７は、参照データ保持部１０に保持されている参照データのうち、重み係数Ｗ（ｔ） の変化に伴って相互に類似しているとみなされた参照データＲＰ ，ＲＰ ′については、少なくとも１つの参照データＲＰ を除いて残りの参照データＲＰ ′を参照データ保持部１０から削除する機能も有している。なお、本実施形態では、（８）式及び（９）式に示すように、削除される参照データＲＰ ，ＲＰ ′間の距離ＤＰＰ′のしきい値は、データ追加時と同じ値θを利用する。
【００３７】
ＤＰＰ’ ＝Σｉ ｛Ｗｉ （ｔ） ΔＰＰ’ ｉ ｝ ・・・（８）
ここで、ΔＰＰ’ ｉ ＝｜ＲＰ ｉ −ＲＰ’ ｉ ｜
ｉｆ（ＤＰＰ′＜θ） Ｄｅｌｅｔｉｎｇ ＲＰ ′ ・・・（９）
上述の構成により、本発明の一実施形態にかかる多次元入力データ特徴選択装置２０では、図１に示すように、時刻ｔにおいてｍ次元の入力データＩ（ｔ） が与えられると、荷重距離計算部１２において、参照データ保持部１０に保持されているｎ個の参照データＲＰ と入力データＩ（ｔ） との間の距離ΔＰ ｉ （ｔ） を重み係数保持部１１に保持された次元毎の重み係数Ｗｉ （ｔ） を用いて重み付けした荷重距離ＤＰ （ｔ） が上記の（１）式を用いて計算される。
【００３８】
また、マッチデータ選択部１３において、荷重距離計算部１２で計算された荷重距離ＤＰ （ｔ） のうち最も小さい荷重距離ＤＰ （ｔ） に対応する参照データＲＰ がマッチデータＲＰｍａｔｃｈとして選択される。即ち、ｎ個の参照データＲＰ の中から入力データＩ（ｔ） に最も近い参照データＲＰｍａｔｃｈが選択される。
続いて、非荷重距離計算部１４において、マッチデータ選択部１３で選択されたマッチデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰ （ｔ） が上記の（２）式を用いて計算される。
【００３９】
このとき、非荷重距離計算部１４において、計算されるマッチデータ選択部１３で選択されたマッチデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰ （ｔ） は、上記の（２）′式のようなユークリッド距離に置き換えてもよい。
さらに、重み係数変更部１５において、非荷重距離計算部１４で計算された非荷重距離ｄＰｍａｔｃｈ（ｔ） 及び非荷重距離ベクトルΔＰｍａｔｃｈ（ｔ） ＝｛ΔＰｍａｔｃｈ ｉ （ｔ） ｝に基づいて、上記の（３）式に示すような計算が施され、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が小さい次元に対応する重み係数Ｗｉ （ｔ） は増加される一方、非荷重距離ｄＰｍａｔｃｈ ｉ （ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が大きい次元に対応する重み係数Ｗｉ （ｔ） は減少され、さらに、（４）〜（６）式の計算に基づいて重み係数保持部１１の重み係数Ｗｉ （ｔ） が新たな更新重み係数Ｗｉ （ｔ＋１）に変更される。
【００４０】
即ち、後述するマッチングチャンス（Ｍａｔｃｈｉｎｇ Ｃｈａｎｃｅ ）を増加させるための重み係数Ｗ（ｔ） の学習則は、局所距離ΔＰｍａｔｃｈ ｉ （ｔ） が小さいほど重み係数Ｗｉ （ｔ） が大きくなる学習規則であり、上記の（３）式に示すようにマッチングしたデータＲＰｍａｔｃｈと入力データＩ（ｔ） との非荷重距離ｄＰｍａｔｃｈ（ｔ） を利用して重み係数変更情報Ｗｉ （１） （ｔ） が求められ、その後、上記の（４）式に示すように、正規化（規格化）処理が行なわれる。（３）式の効果により、マッチング精度が向上し、誤差の少ない特徴量の重み係数Ｗｉ （ｔ） が相対的に大きくなる。
【００４１】
また、重み係数変更部１５において、上述の（５Ａ），（５Ｂ）式及び（６Ａ），（６Ｂ）式に示す学習則に基づき、ある程度大きな重み係数Ｗｉ （ｔ） 同士が平均化され、小さな重み係数Ｗｉ （ｔ） に復活の機会が与えられる。
さらに、本実施形態では、上記（７）式に基づいて、参照データ保持部１０に保持されている参照データＲＰ と多次元の入力データＩ（ｔ） とを比較したとき、入力データＩ（ｔ） と参照データＲＰ とが所定の基準より異なっており、且つ、参照データ保持部１０に保持されている参照データＲＰ の数ｎが所定値ｎｍａｘ 以下の場合には、参照データ追加部１６により、上記の入力データＩ（ｔ） が新たな参照データＲＰ として参照データ保持部１０に追加される。
【００４２】
また、参照データ保持部１０に保持されている参照データＲＰ のうち利用頻度が所定値以下で保持後所定時間経過している場合は、参照データ削除部１７により、参照データ保持部１０からその参照データＲＰ を削除するほか、上記（８）式及び（９）式に基づいて、参照データ保持部１０に保持されている参照データのうち重み係数Ｗ（ｔ） の変化に伴って相互に類似しているとみなされた参照データＲＰ ，ＲＰ ′が存在する場合は、少なくとも１つの参照データＲＰ を除いて残りの参照データＲＰ ′が参照データ保持部１０から削除される。
【００４３】
ところで、上述した本実施形態の多次元入力データ特徴選択装置２０は、コンパクトネスを指向する特徴選択の機能を補い得る、複数の処理モジュール（図１１参照）の専門化を前提としたマッチアビリティ（Ｍａｔｃｈａｂｉｌｉｔｙ）を指向するもので、以下に、マッチアビリティとその最大化の意義（必要性）について説明する。
【００４４】
ここでは、認識の定義として計算機科学において比較的一般的である「一度認めたものを、もう一度認めること」と考えている。つまり、認識とは、ある入力を外部の観測者が解釈するのではなく、既に経験した入力と同一、または、類似、または、それらの組み合わせとして解釈することである。
図１１にも示したように、認識システム５１は行動生成部５２を含む知的エージェント５０の一部であるから、認識の目的は、行動の決定に役立つ情報の抽出だと考えられる。行動決定の過程では、まず現在の入力状態にマッチングする過去の入力状態を探索し（本実施形態における参照データＲＰｍａｔｃｈの抽出）、それに関連づけられた行動や、その行動の帰結に対する評価に基づいて行動を選択する。
【００４５】
そこで、認識の定義と行動決定過程から考慮すると、行動に有用な認識とは、出力表現がコンパクトであると同時に多くの機会をマッチングできることが望まれる。従って、認識システム５１における処理モジュール間の接続構造の獲得においても、下記の２つの観点、▲１▼コンパクティビティ（Ｃｏｍｐａｃｔｉｖｉｔｙ）と▲２▼マッチアビリティとを考慮すべきである。
【００４６】
▲１▼コンパクティビティ：コンパクティビティを指向する研究では、通常、入力特徴量空間は予め与えられたものとして、出力におけるコンパクトネスを追及している。ここでは、情報圧縮や目立つ特徴を強調することを技術的なテーマとしている。一方、コンパクトにする処理の視点に立つと、入力部分において冗長な情報を持つ方（Ｒｅｄｕｎｄａｎｃｙ ｏｆ Ｉｎｐｕｔ ）が都合がよい。
【００４７】
▲２▼マッチアビリティ：マッチアビリティ指向では、認識システム５１が過去において外界から得られた有限の経験を、将来の入力にマッチできる可能性を大きくすることを目的とする。即ち、マッチアビリティとは、システムが入力に対してどれだけ多くのマッチングを生み出すことができるかという指標である。このマッチアビリティを増大させるには、具体的には２つの方向がある。１つは、局所的、且つ、時間的には相関の高い部分特徴量を選択することにより、マッチングチャンスを増大させるものであり、もう１つは、大局的、且つ、空間的には多様な反応性を持つ処理モジュールを並列に動作させることによりマッチングの多様性（Ｍａｔｃｈｉｎｇ Ｖａｒｉｅｔｙ）を増大させるものである。
【００４８】
認識システム５１の処理モジュール間の接続構造の学習には、相補的な上記２つの尺度（コンパクティビティとマッチアビリティ）が重要であるが、現状では出力のコンパクトネス（Ｃｏｍｐａｃｔｎｅｓｓ ｏｆ Ｏｕｔｐｕｔ）を評価の指標とする特徴選択／抽出が主流である。そこで、本実施形態の多次元入力データ特徴選択装置２０では、前述のごとく、（１）〜（４），（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式を用いることにより、マッチアビリティ指向の特徴選択のアルゴリズムを実現している。
【００４９】
即ち、本実施形態における特徴選択のアルゴリズムは、各処理モジュールにおけるマッチングチャンス（＝局所的なマッチアビリティ）を増加させる学習則であり、本実施形態では、特徴量毎に与えられる重み係数Ｗ（ｔ） を変化させることで選択を行なうようになっているのである。
ここで、上述した本実施形態の多次元入力データ特徴選択装置２０の機能について実証する具体例（シュミレーション）とその結果を報告する。シミュレーションでは、１０通りの入力系列を並列に動作する８つの処理モジュールに与えることによって、特徴量毎の重み係数Ｗｉ （ｔ） の変化を調べている。
（１）実験条件
入力系列は、時刻１から５００まで継続する１０次元の特徴量ベクトル（ｘ１ 〜ｘ１０）で表されている。図２（ａ）に示すように、２クラス・フェーズにおいては、この特徴量ベクトルはそれぞれ独立なスカラー変数に従属する２つの部分特徴量ベクトル（Ｃｌａｓｓ Ａ，Ｃｌａｓｓ Ｂ）に分割できる。これら２つの部分にそれぞれ対応する２つの独立変数（隠れ変数） ｊｍａｘ Ａ ， ｊｍａｘ Ｂ を、“ｒａｎｄ（ｍｉｎ，ｍａｘ） ”を［ｍｉｎ，ｍａｘ ］間の一様乱数として、（１０Ａ），（１０Ｂ）式のようにそれぞれ定義する。
【００５０】
ｊｍａｘ Ａ ＝ｒａｎｄ（０．０，４．０） ・・・（１０Ａ）
ｊｍａｘ Ｂ ＝ｒａｎｄ（０．０，６．０） ・・・（１０Ｂ）
“Ｃｌａｓｓ Ａ”は変数 ｊｍａｘ Ａ によって制御される４次元特徴量Ｉｊ （ｔ）（ｊ ＝１，２，３，４）で、“Ｃｌａｓｓ Ｂ”は、変数 ｊｍａｘ Ｂ によって制御される６次元特徴量Ｉｊ （ｔ）（ｊ ＝５，６，７，８，９，１０） で、それぞれ０．１以下の雑音を含んでおり、以下に示す（１１Ａ），（１１Ｂ）式のように表される。
【００５１】
【００５２】
Ｉｉ （ｔ） ＝ｒａｎｄ（０．０，１．０） ・・・（１２）
次に、各処理モジュールのパラメータｎｍａｘ ，θ，ｋ，Ｗｔｈ，α，βを図３のように設定し、さらに初期状態では、参照データを保持せず、重み係数Ｗｉ （Ｏ） は、（１３）式のごとく乱数により各次元毎に独立に決定した後、（１４）式により規格化される。
【００５３】
Ｗｉ （Ｏ） ＝１０−（１＋ｒａｎｄ（０．０，２．０）） ・・・（１３）
Ｗｉ （Ｏ） ＝Ｗｉ （Ｏ） ／Σｉ Ｗｉ （Ｏ） ・・・（１４）
（２）実験結果
〔２−１〕２クラス・フェーズの入力系列について
異なる初期化を行なったいずれの入力系列においても１００から２００時刻経過後には、図４及び図５に示すように、各処理モジュールの重み係数Ｗｉ はいずれかのクラスの特徴量を選択した。また、図６に示すように、１０通りのいずれのケースにおいても“Ｃｌａｓｓ Ｂ”に専門化するモジュールが多いことから、冗長性の高い特徴量に対して専門化が起こりやすい傾向があるといえる（Ｃｌａｓｓ Ａ：Ｃｌａｓｓ Ｂ＝１４：６６）。なお、図４，図５及び後述する図７，図８，図１０に示すグラフ中における数値１〜１０はｉの値であり、例えば“５”を付されたラインは重み係数Ｗ５ に対応するものであることを示している。
【００５４】
〔２−２〕２つのフェーズを混合した入力系列について
初めの８時刻はランダム・フェーズとし、引き続く８時刻を２クラス・フェーズとし、以下このサイクルを５００時刻まで繰り返す入力系列を与えて同様の実験を行なった。ランダム・フェーズを含めたことで入力情報に時間的な局在性があるにも関わらず、今回の実験の範囲では、図７及び図８に示すように、多くの場合にクラス毎の部分特徴量が選択された。
【００５５】
つまり、ランダム・フェーズにおいても、図９に示すように、２クラス・フェーズの入力系列と同様に、“Ｃｌａｓｓ Ｂ”に専門化するモジュールが多いことから、同様に冗長性の高い特徴量に対して専門化が起こりやすい傾向があるといえる。
なお、図９では、専門化が多少不十分でもどちらかのクラスに分類しうる場合はそれぞれのクラスに分類したが、それでもなお判断できなかったものについては、“Ｏｂｓｃｕｒｅ ”に分類した（Ｃｌａｓｓ Ａ：Ｃｌａｓｓ Ｂ：Ｏｂｓｃｕｒｅ ＝１４：５６：１０）。
【００５６】
また、これらの２つのフェーズを混合した入力系列においては、例えば図１０に示すように、学習を５００時刻以降まで行なっても専門化が不十分な場合もあった。これは、特にその一部のケースで見られた現象として、ほぼ選択されたクラスと相関の強い重み係数の値が、平均化のしきい値Ｗｔｈよりも小さい領域に落ち込み、その値がなかなか大きくならないために生じるもので、図１０においては、５００時刻経過後にも、いずれのクラスにも専門化しなかった。
【００５７】
次に、本実施形態における特徴抽出のアルゴリズムについて、さらに説明する。
〔１〕コンパクティビティの最大化と重み係数の平均化について
本実施形態においてはマッチアビリティの最大化について述べているが、実際の特徴選択のアルゴリズムはコンパクティビティとマッチアビリティの両尺度のバランスの上に成り立っている。つまり、（５Ａ），（５Ｂ）式による重み係数の平均化は選択する特徴量の数を増加させ、コンパクティビティの最大化に必要な入力空間の冗長性（Ｒｅｄｕｎｄａｎｃｙ ｏｆ Ｉｎｐｕｔ ）を増加させる。これに対して、（３）式による特徴量毎の重み係数Ｗｉ （ｔ） の選択減衰はマッチングチャンスを増加させる。
【００５８】
従って、コンパクティビティとマッチアビリティの両尺度をバランスよく用いることにより、できるだけ少ない参照データで記述することが可能となり、且つ、記述量を減らすことによりノードを増やすことができる。つまり、このことは、選択された特徴量によって張られる超空間中の参照データの存在領域を相対的に小さくすることであり、選択された部分特徴空間に対して特徴抽出処理を施すことで効果的に圧縮を行なうことができる。
【００５９】
もし、上記の２つの尺度を融合した適当な評価量を定義することができるならば、直感的には各処理モジュールの専門化は、選択する特徴量と保持する参照データなどを組み合わせた空間においての評価量に関するローカルミニマムへの引込みになると考えられる。従って、上述のシミュレーションの結果において冗長性の高い特徴量（特徴量の数が多いクラス）に対して専門化しやすいのは、冗長度が高いほど引込み領域が大きいためであると考えられる。
【００６０】
〔２〕処理モジュールの専門化のバランスについて
上述したマッチングチャンスに対応してマッチング多様性（ Ｍａｔｃｈｉｎｇ Ｖａｒｉｅｔｙ ）の観点からは、多様な専門化が行なわれることが望ましいが、各処理モジュールを専門化した状態はローカルな安定状態であり、その発生確率においても本質的に偏りがある。そこで、本実施形態のごとく各処理モジュール毎にマッチングチャンスを考慮した学習則においては、モジュール間で相互作用を行なうグローバルな機構を導入することにより、多様性に富んだ専門化を実現することができる。
【００６１】
〔３〕認識システムの作成に向けた特徴抽出装置との結合について
上述したように、本実施形態におけるマッチアビリティを指向する特徴選択手法は、コンパクティビティ指向の特徴抽出手法に対して相補的な技術であるため、認識システムを構築する際には、両方の技術を融合することが不可欠であると考えられる。
【００６２】
まず、マッチアビリティ指向の本実施形態の多次元入力データ特徴選択装置２０によって選ばれた相関の高い部分的な特徴量をコンパクティビティ指向の特徴抽出装置に入力することにより圧縮した表現を生成する結合処理モジュールが作成され、さらにそれらを接続してネットワーク構造が作成される。なお、自律的に認識システムを構築するための方法としては、必要に応じて結合処理モジュールをインクリメンタルに追加することや、予め大きく作ったネットワークを枝刈りして小さくすることなどが考えられる。
【００６３】
〔４〕入力情報構造に時間的な局在性への対応について
混合入力系列に対するシミュレーションでは、入力情報に相関の時間的な局在性があるにも関わらず、上述したように、特徴量の選択をある程度行なうことができた。しかし、より複雑な時間的な局在性を持つ入力系列に対しては、重み係数の学習が不安定になると予測されるため、参照データの評価や取捨選択等を行なうことにより対応できる。
【００６４】
このように、本発明の一実施形態における多次元入力データ特徴選択装置２０によれば、外部から入力データＩ（ｔ） が与えられると、参照データＲＰ との距離ΔＰ ｉ （ｔ） に重み付けされた荷重距離ＤＰ （ｔ） が計算されたのち、荷重距離ＤＰ （ｔ） の最も小さい距離のデータ（マッチデータ）ＲＰｍａｃｔｃｈ が選択され、そのマッチデータＲＰｍａｃｔｃｈ に基づいて入力データＩ（ｔ） と参照データＲＰ との距離ΔＰ ｉ （ｔ） に重み付けする重み係数Ｗｉ （ｔ） を変更することができるので、相互に相関の大きな特徴量を選択することができ、知的エージェントや認識装置などの複数の処理モジュールを内部にもつ知的システムにおいて、各処理モジュール毎に関連の深い情報を収集することで、そのシステム全体の接続構造の自律的獲得を容易に実現でき、ひいては柔軟な適応能力をもつ知的システムの実現やその設計負担の低減に寄与するという利点がある。
【００６５】
また、重み係数変更部１５が（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式による計算を施すことにより、重み係数についての平均化処理を施すことができるので、非荷重距離ｄＰｍａｔｃｈ（ｔ） の要素ΔＰｍａｔｃｈ ｉ （ｔ） が小さいほど重み係数Ｗｉ （ｔ） を大きくすることができるとともに、小さな重み係数Ｗｉ （ｔ） に対しては復活の機会を与えることができるので、重み係数Ｗｉ （ｔ） の全体的なバランスを調整することができ、本装置のマッチング精度が大幅に向上する。
【００６６】
さらに、参照データ追加部１６が、参照データ保持部１０に保持されている参照データＲＰ と多次元の入力データＩ（ｔ） とを比較して、入力データＩ（ｔ） と参照データＲＰ とが所定の基準より異なっている場合には、この入力データＩ（ｔ） を新たな参照データＲＰ として参照データ保持部１０に保持させることができるので、常に一定の基準をもつ最新の参照データＲＰ が保持され、本実施形態の多次元入力データ特徴選択装置２０を適用される知的システムの適応能力の柔軟性をより向上させることができる。
【００６７】
また、参照データ追加部１６が、参照データ保持部１０に保持されている参照データＲＰ の数ｎが所定値ｎｍａｘ 以下の場合に、新たな参照データを参照データ保持部１０に保持させることができるので、常に一定量以下の参照データＲＰ が保持しておくことができる。
さらに、参照データ削除部１７が、参照データ保持部１０に保持されている参照データのうち利用頻度が所定値以下で保持後所定時間経過している参照データを参照データ保持部１０から削除することができるので、長期に亘って利用されない参照データが削除され、常に現在の入力に近い参照データが保持されることになり、参照データ保持部１０を有効に利用でき、本実施形態の多次元入力データ特徴選択装置２０を適用される知的システムの適応能力の柔軟性の向上に寄与することができる。
【００６８】
また、参照データ削除部１７が、参照データ保持部１０に保持されている参照データのうち相互に類似している参照データＲＰ ，ＲＰ ′については、少なくとも１つの参照データＲＰ を除いて残りの参照データＲＰ ′を参照データ保持部１０から削除することができるので、必要のないデータの増大を防ぐことができ、参照データ保持部１０を有効に利用でき、本実施形態の多次元入力データ特徴選択装置２０を適用される知的システムの適応能力の柔軟性のさらなる向上に寄与することができる。
【００６９】
なお、マッチアビリティ指向では局在的には冗長な特徴量を収集することができるので、一部の特徴量が隠蔽された場合にも対応することができ、情報統合技術へ応用することができる。
そして、入力特徴量に行動情報を含めることで、関連の強い認識行動関係の抽出に応用することも可能である。また、脳やニューラルネットワーク等の研究に関しても，マッチアビリティの最大化を盛り込んだモデルを作ることにより成果が得られる可能性がある。
【００７０】
また、本発明の多次元入力データ特徴選択装置を用いて、特徴抽出技術との融合や処理モジュールの専門化におけるグローバルなバランスによる多様性の確保、さらには、相関の時間的な局在性に対応するための拡張等を行なうことも可能である。
【００７１】
【発明の効果】
以上詳述したように、本発明の多次元入力データ特徴選択装置によれば、外部から入力データが与えられると、参照データとの距離に重み付けされた荷重距離が計算されたのち、荷重距離の最も小さい距離のデータ（マッチデータ）が選択され、そのマッチデータに基づいて入力データと参照データとの距離に重み付けする重み係数を変更することができるので、相互に相関の大きな特徴量を選択することができ、知的システムにおける接続構造の自律的獲得を容易に実現でき、ひいては柔軟な適応能力をもつ知的システムの実現やその設計負担の低減に寄与する。
【００７２】
また、重み係数変更部が重み係数についての平均化処理を施すことができるので、非荷重距離の要素が小さいほど重み係数を大きくすることができるとともに、小さな重み係数に対しては復活の機会を与えることができるので、重み係数の全体的なバランスを調整することができ、マッチング精度の向上を図ることができる（以上、請求項１〜４）。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる多次元入力データ特徴選択装置の構成を示すブロック図である。
【図２】（ａ），（ｂ）はそれぞれ本発明の一実施形態にかかるシミュレーションに用いられた処理モジュールの入力系列を説明するための図である。
【図３】本発明の一実施形態にかかるシミュレーションに用いられた処理モジュールのパラメータを示す図である。
【図４】本発明の一実施形態にかかる２クラス入力系列の“Ｃｌａｓｓ Ｂ”に専門化した処理モジュールにおける重み係数の減衰を示すグラフである。
【図５】本発明の一実施形態にかかる２クラス入力系列の“Ｃｌａｓｓ Ａ”に専門化した処理モジュールにおける重み係数の減衰を示すグラフである。
【図６】本発明の一実施形態にかかる初期値の異なる入力系列毎のそれぞれのクラスに専門化した処理モジュールの数及び総和を示す図である。
【図７】本発明の一実施形態にかかる混合入力系列の“Ｃｌａｓｓ Ｂ”に専門化した処理モジュールにおける重み係数の減衰を示すグラフである。
【図８】本発明の一実施形態にかかる混合入力系列の“Ｃｌａｓｓ Ａ”に専門化した処理モジュールにおける重み係数の減衰を示すグラフである。
【図９】本発明の一実施形態にかかる初期値の異なる入力系列毎のそれぞれのクラスに専門化した処理モジュールの数及び総和を示す図である。
【図１０】本発明の一実施形態にかかる混合入力系列において専門化しなかった処理モジュールにおける重み係数の減衰を示すグラフである。
【図１１】一般的な知的エージェントの構成を示す図である。
【図１２】“教師有り学習”を行なう多次元入力データ特徴選択装置の構成を示すブロック図である。
【図１３】“教師無し学習”を行なう多次元入力データ特徴選択装置の構成を示すブロック図である。
【符号の説明】
１Ａ，１Ｂ 多次元入力データ特徴選択装置
２ 重み係数保持装置
３ 変換装置
４ 主成分分析装置
１０ 参照データ保持部
１１ 重み係数保持部
１２ 荷重距離計算部
１３ マッチデータ選択部
１４ 非荷重距離計算部
１５ 重み係数変更部
１６ 参照データ追加部
１７ 参照データ削除部
２０ 多次元入力データ特徴選択装置
５０ 知的エージェント
５１ 認識システム
５２ 行動生成部
５３ 評価部
Claims (4)
- 複数の参照データを保持する参照データ保持部と、
次元毎に設定された重み係数を保持する重み係数保持部と、
該参照データ保持部に保持されている該参照データと多次元の入力データとの間の距離に該重み係数保持部に保持された上記次元毎の重み係数を用いて重み付けした荷重距離を計算する荷重距離計算部と、
該荷重距離計算部で計算された荷重距離のうち最も小さい荷重距離に対応する参照データをマッチデータとして選択するマッチデータ選択部と、
該マッチデータ選択部で選択されたマッチデータと該入力データとの距離であって、該重み係数を用いて重み付けがなされていない、非荷重距離を計算する非荷重距離計算部と、
該非荷重距離計算部で計算された非荷重距離に基づいて、該非荷重距離が小さい次元に対応する重み係数を増加させる一方、該非荷重距離が大きい次元に対応する重み係数を減少させるよう、該重み係数保持部の重み係数を変更する重み係数変更部とをそなえて構成されたことを
特徴とする、多次元入力データ特徴選択装置。 - 該荷重距離計算部が、（１）式による計算を施すように構成され、
該非荷重距離計算部が、（２）式による計算を施すように構成され、
且つ、該重み係数変更部が、（３）式による計算を施すことにより該非荷重距離の要素が小さいほど該重み係数を大きくする重み係数変更情報を求めるとともに、（４）式による計算を施すことにより該重み係数変更情報について正規化処理を施した重み係数正規化情報を求めるように構成されていることを特徴とする請求項１記載の多次元入力データ特徴選択装置。
- 該荷重距離計算部が、（１）式による計算を施すように構成され、
該非荷重距離計算部が、（２）′式によるユークリッド距離計算を施すように構成され、
且つ、該重み係数変更部が、（３）式による計算を施すことにより該非荷重距離の要素が小さいほど該重み係数を大きくする重み係数変更情報を求めるとともに、（４）式による計算を施すことにより該重み係数変更情報について正規化処理を施した重み係数正規化情報を求めるように構成されていることを特徴とする請求項１記載の多次元入力データ特徴選択装置。
- 該重み係数変更部が、（５Ａ），（５Ｂ），（６Ａ），（６Ｂ）式による計算を施すことにより該重み係数についての平均化処理を施して更新重み係数を求め、該重み係数保持部の重み係数を該更新重み係数に変更するように構成されていることを特徴とする請求項２または請求項３に記載の多次元入力データ特徴選択装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22238596A JP3621786B2 (ja) | 1996-08-23 | 1996-08-23 | 多次元入力データ特徴選択装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22238596A JP3621786B2 (ja) | 1996-08-23 | 1996-08-23 | 多次元入力データ特徴選択装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1063635A JPH1063635A (ja) | 1998-03-06 |
| JP3621786B2 true JP3621786B2 (ja) | 2005-02-16 |
Family
ID=16781538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22238596A Expired - Lifetime JP3621786B2 (ja) | 1996-08-23 | 1996-08-23 | 多次元入力データ特徴選択装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3621786B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7318646B2 (ja) * | 2018-06-27 | 2023-08-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN111904400B (zh) * | 2020-07-17 | 2022-06-03 | 三峡大学 | 电子腕带 |
| WO2023175662A1 (ja) | 2022-03-14 | 2023-09-21 | 富士通株式会社 | 訓練データ生成プログラム，訓練データ生成方法および情報処理装置 |
| CN117035044B (zh) * | 2023-10-08 | 2024-01-12 | 安徽农业大学 | 基于输出激活映射的过滤器剪枝方法、图像分类系统及边缘设备 |
-
1996
- 1996-08-23 JP JP22238596A patent/JP3621786B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1063635A (ja) | 1998-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Facial expression recognition using constructive feedforward neural networks | |
| Zainuddin et al. | A review of crossover methods and problem representation of genetic algorithm in recent engineering applications | |
| CN111461322A (zh) | 一种深度神经网络模型压缩方法 | |
| Guo et al. | Adaptive orthogonal projection for batch and online continual learning | |
| WO2014203042A1 (en) | Method for pseudo-recurrent processing of data using a feedforward neural network architecture | |
| Naik et al. | A novel FLANN with a hybrid PSO and GA based gradient descent learning for classification | |
| Ochoa et al. | Differential evolution using fuzzy logic and a comparative study with other metaheuristics | |
| JP3621786B2 (ja) | 多次元入力データ特徴選択装置 | |
| CN109711543A (zh) | 一种可重构的深度置信网络实现系统 | |
| Shen et al. | Learning to prune in training via dynamic channel propagation | |
| Clark et al. | Higher-order probabilistic perceptrons as Bayesian inference engines | |
| Gál et al. | Modified bacterial memetic algorithm used for fuzzy rule base extraction | |
| Bernard et al. | Inferring stochastic L-systems using a hybrid greedy algorithm | |
| Sigurdsson et al. | On comparison of adaptive regularization methods | |
| Zhao et al. | Particle swarm algorithm for classification rules generation | |
| Sun et al. | MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks | |
| Yu et al. | Learning Uncertainty for Unknown Domains with Zero-Target-Assumption | |
| Sehnke et al. | Baseline-free sampling in parameter exploring policy gradients: Super symmetric pgpe | |
| Tinós et al. | Use of the q-Gaussian function in radial basis function networks | |
| Han et al. | A compensatory neurofuzzy system with online constructing and parameter learning | |
| CN116910481B (zh) | 一种基于遗传算法的船舶任务系统装载弹量优化方法 | |
| Taqi | Improved Three-Term Conjugate Gradient Algorithm for Training Neural Network | |
| Welling et al. | Approximate Contrastive Free Energies for Learning in Undirected Graphical Models | |
| Obradovic et al. | Evolutionary design of application tailored neural networks | |
| Yamakawa | Matchability-oriented feature selection for recognition structure learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041119 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |