JPH06274633A - 特徴検出器生成装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 ２次元画像データの分類に有効な特徴検出器
を効率よく自動生成する装置および方法を提供する。 【構成】 特徴検出器の生成に用いる事例から重複しあ
るいは冗長である特徴ベクトルを除去する前処理部１１
と、前処理の済んだ特徴ベクトルに基づいて特徴検出器
に対応する超球を生成する超球生成部１２とを設ける。
超球生成部１２には、超球生成の種を作るための超球初
期化手段２３と、特徴ベクトルを用いて超球を拡張する
ための超球拡張手段２４と、生成した超球が有効な特徴
検出器となっているかを判定するための超球判定手段２
５とを設ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データ分類用の特
徴検出器の自動的に生成する装置および方法に関し、特
に、２次元画像データの局所的な特徴によってこの２次
元画像データの分類を行なう際に使用される特徴検出器
を自動的に生成する装置および方法に関する。

【０００２】

【従来の技術】２次元画像データを対象としたパタン認
識は、大別して、認識対象の画像データ（源データ）か
ら局所的な特徴を抽出するフェーズと、抽出した特徴に
基づいて分類を行なうフェーズとの２つのフェーズによ
って実行される。したがって、パタン認識においては、
源データからどのような特徴を抽出するかはきわめて重
要な事項であり、パタン認識の基本的な能力は、特徴抽
出によって決定される。源データから局所的な特徴を抽
出するために使用されるものを特徴抽出器という。特徴
抽出器は、源データの部分集合（局所データ）が入力さ
れたとき、所定の特徴が局所データ内にあるかどうかに
応じて、定められた値を出力するように構成されてい
る。

【０００３】ところで、パタン認識を行う場合、その対
象となる画像の性質、品位などは千差万別である。した
がって、同じような特徴、例えば線分を抽出する特徴検
出器であっても、画像の性質や品位に応じ、分類のため
に最適なものが異なることとなる。このため、従来は、
パタン認識の各問題に対応させて特徴検出器を作り込む
方法や、比較的汎用の特徴検出器の集合を用いてパタン
認識を行なう方法などが採用されている。しかし、前者
の方法では、一般には人手によって特徴検出器を作成す
ることになるので作成者に対する負荷が大きくなるとい
う問題点がある。また後者の方法では、使用する特徴検
出器の集合が認識に有効な集合でないことがあって認識
能力が低下することが予想される。したがって、認識に
有効な特徴検出器を源データから自動生成する方法が検
討されている。

【０００４】ニューラルネットを用いて分類に有効な特
徴検出器を自動生成する方法として、ネオコグニトロン
（Fukushima, K.;"Neocognitron: A Hierarchical Neur
al Network Capable of Visual Pattern Recognition",
Neural Networks, Vol. 1,No. 2, 1988, pp.119-13
0.）やバックプロパゲーション（Rumelhart, D. E., Hi
nton, G. E. and Williams, R. J.;"A Learning Intern
al Representations byError Propagation", Rumelhar
t, D. E. and MaClelland, J. L. eds., Parallel Dist
ributed Processing, MIT Press, Cambridge, Mass., 1
986.）などの方法が提案されている。ネオコグニトロン
は、局所的な特徴検出フェーズとボケ変換とを多段に繰
り返し、いわゆる教師なし学習を行なうものである。一
方、バックプロパゲーションは、目的関数との自乗誤差
を減らすように多層ネットワークの結合値を再帰的に学
習するものである。

【０００５】

【発明が解決しようとする課題】しかし、ニューラルネ
ットを用いたこれらの従来の方法は、以下の２つの点で
効率的でない。第１には、比較的小規模な問題でも比較
的多くのニューロンおよび事例の繰り返し提示学習が必
要となり、中規模な問題への適用すらかなりの計算量が
必要となることである。第２には、問題の規模が大きく
なった場合に重複した特徴や分類に不必要な特徴が多数
現れるが、それらの特徴を単純に入力事例として扱って
いるので学習が大変非効率となることである。

【０００６】本発明の目的は、２次元画像データの分類
に有効な特徴検出器を効率よく自動生成する装置および
方法を提供することにある。

【０００７】

【課題を解決するための手段】本発明の特徴検出器生成
装置は、２次元画像データからの特徴抽出に使用される
特徴検出器を自動生成する特徴検出器生成装置におい
て、前記２次元データは複数の要素の並びとして表現さ
れ、前記２次元画像データの部分データであって所定の
数の要素からなるものを特徴ベクトルとし、前記特徴検
出器の生成に用いる事例を特徴ベクトルとして格納する
第１の記憶手段と、前記第１の記憶手段から特徴ベクト
ルを順次読出し、重複しあるいは冗長である特徴ベクト
ルを除去する前処理手段と、前処理の済んだ前記特徴ベ
クトルに基づいて特徴検出器に対応する超球を生成する
超球生成手段と、生成された超球を格納する第２の記憶
手段とを有する。

【０００８】本発明の特徴検出器生成方法は、２次元画
像データからの特徴抽出に使用される特徴検出器を自動
生成する特徴検出器生成方法において、前記２次元デー
タは複数の要素の並びとして表現され、前記２次元画像
データの部分データであって所定の数の要素からなるも
のを特徴ベクトルとし、入力した前記特徴ベクトルから
重複しあるいは冗長なものを除去する前処理工程と、特
徴検出器として使用される超球を生成するために前記超
球の種を初期化する超球初期化工程と、前記前処理工程
を行なったのちの特徴ベクトルに基づいて前記超球を拡
張する超球拡張工程と、生成された超球が有効な特徴検
出器となっているかを判定する超球判定工程とを有す
る。

【０００９】

【作用】画像を局所的に観察すれば、一般に、同じパタ
ンの繰り返しが多数現われる。本発明では、予め前処理
として重複（冗長）している情報を除去するので、効率
よく特徴検出器を生成できる。また、実際に特徴検出器
を使用する場合、検出対象の画像に現われる特徴は、典
型的な特徴を中心として若干変形していることが想定さ
れる。本発明では、特徴検出器として典型的な特徴から
の"距離"に応じて反応する超球を用いるので、特徴の若
干の変形などにうまく対応でき、有効に事例の分類を行
なう特徴検出器を生成することができる。本発明におけ
る超球の拡張は、従来のニューラルネットを用いたもの
におけるニューロンの学習に相当するものである。

【００１０】以下、本発明についてさらに詳しく説明す
る。

【００１１】本発明が対象とする入力事例は、既に既に
正負に分類された２次元の画像データの集合である。こ
こで正の事例とは、特徴検出器が抽出すべき特徴に対応
する事例であり、負の事例とはこの特徴検出器が抽出し
てはならない特徴に対応する事例である。例えば、アル
ファベット｛Ａ，Ｂ，Ｃ｝を対象として、Ａに関する特
徴検出器を生成したい場合には、｛Ａ｝が正の事例、
｛Ｂ，Ｃ｝が負の事例となる。各事例は、Ｎ×Ｎの行列
で表現され、各行列の成分は"０"または"１"の２値をと
るものとする。なお、正の事例の数は１つとは限らな
い。

【００１２】本発明において、特徴検出器は超球として
表現される。ここで超球とは、内部データとして、重心
（Ｇ;Gravity）と呼ばれるＫ×Ｋ次元のベクトルと半径
（Ｒ;Radius）と呼ばれるスカラー量を保持し、Ｋ×Ｋ
次元の入力ベクトルＸが与えられれば、以下の規則で出
力が決定されるもののことである。

【００１３】

【数１】 ただし、｜Ｇ−Ｘ｜は２つのベクトルＧ,Ｘ間の適当に
定義された距離を表わす。なお本発明では、計算処理負
荷を軽減するため、距離として、両ベクトルＧ,Ｘの各
成分ごとの差の絶対値の和を用いることとする。なお、
以下では、入力値となるＫ×Ｋ次元の局所ベクトルを
「特徴ベクトル」と呼ぶ。

【００１４】次に、本発明によって生成する特徴検出器
を用いた分類について、図１を説明する。図１は分類ア
ーキテクチャを説明する図である。

【００１５】本発明によって生成した特徴検出器を用い
て分類を行なう場合、図１に示すように、同じ情報を持
つ超球９１を、上下、左右にそれぞれ１ドットずつずら
して、Ｎ×Ｎの要素９３からなる画像９０の全域を完全
に覆うように配置する。すなわち、画像において、Ｋ×
Ｋ次元（図では３×３次元）の任意の特徴ベクトル９２
を選択すれば、それに対応して１つの超球９１が決まる
ようにする。

【００１６】そして、各超球９１にそれぞれ対応する特
徴ベクトル９２を入力し、そのときの各超球９１の出力
値を計算する。少なくとも１つのニューロン（超球）が
１（オン）となるか、すべてのニューロンが０（オフ）
となるかにより、事例の分類を行なう。なお、このモデ
ルを用いれば、事例に描かれた対象（オブジェクト）の
平行移動に関して不変な分類を行なうことが可能であ
る。なぜなら、各超球９１はそれぞれ任意のＫ×Ｋ次元
の特徴ベクトル９２に対応するように配置しているの
で、特徴の位置が移動したとしても分類には影響を与え
ないからである。

【００１７】本発明の特徴検出器生成装置では、前処理
手段において、重複しあるいは冗長なものを除いた特徴
ベクトルを正および負の特徴ベクトルごとに記憶するよ
うにするとよい。そして、超球生成手段には、超球生成
のための種を生成する超球初期化手段と、正の特徴ベク
トルを順次読み出してその正の特徴ベクトルが超球に含
まれかつ超球が負の特徴ベクトルを含まないように超球
の拡張を行なう超球拡張手段と、結果として生成した超
球が有効な超球となっているかを判定する超球判定手段
とを設けるようにするとよい。

【００１８】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。図２は本発明の一実施例の特徴検出器生成
装置の構成を示すブロック図であり、図３は図２の特徴
検出器生成装置の動作を説明するフローチャートであ
る。

【００１９】この特徴検出器生成装置は、特徴検出器の
生成に用いる入力事例を格納したスタック１３、重複し
たまたは冗長な特徴ベクトルを除去するための前処理部
１１、前処理の済んだ特徴ベクトルのうち負の特徴ベク
トルを格納するスタック１４、前処理の済んだ特徴ベク
トルのうち正の特徴ベクトルを格納するスタック１５、
特徴検出器に対応する超球の生成を行なう超球生成部１
２、結果として生成した超球を格納するためのスタック
１６によって構成されている。スタック１３には、入力
事例が特徴ベクトルの形式で格納されている。

【００２０】前処理部１１には、負および正の特徴格納
除去手段２１,２２が設けられている。負の特徴格納除
去手段２１は、負の事例を対象として重複または冗長な
ものを除去し、残った特徴ベクトルをスタック１４に格
納するためのものである。この場合、重複や冗長なもの
を検出するため、負の特徴格納除去手段２１はスタック
１４を随時参照する。スタック１４には、負の特徴ベク
トルからなる１つの集合Ｎが形成される。正の特徴格納
除去手段２２は、正の事例を対象として重複または冗長
なものを除去し、残った特徴ベクトルをスタック１５に
格納するためのものである。正の特徴格納除去手段２２
は、重複や冗長なものを検出するためにスタック１５を
随時参照するとともに、スタック１４とスタック１５と
に同じ特徴ベクトルが含まれるべきではないので、スタ
ック１４も参照して重複する正の事例があればその事例
をスタック１５に格納しないようにする。スタック１５
には、正の特徴ベクトルの集合が、正の事例ごとに格納
される。

【００２１】超球生成部１２には、超球生成の種を作る
ための超球初期化手段２３と、特徴ベクトルを用いて超
球を拡張するための超球拡張手段２４と、生成した超球
が有効な特徴検出器となっているかを判定するための超
球判定手段２５とが設けられている。

【００２２】次に、本実施例の動作について説明する。

【００２３】まず、前処理部１１において、スタック１
３から入力事例を読出し、重複しまたは冗長な特徴ベク
トルを除去する（ステップ３１）。前処理部１１では、
まず、すべての負の事例を対象として、重複する特徴ベ
クトルを除去して、負の特徴ベクトルからなる１つの集
合Ｎを作成し、この集合をスタック１４に格納する（ス
テップ４１）。次いで、各正の事例に対して、集合Ｎに
含まれるか、または、重複しあるいは冗長な特徴ベクト
ルを除去して、特徴べクトルの集合Ｐ(i)を作成し、ス
タック１５に格納する（ステップ４２）。この集合Ｐ
(i)は、それぞれ正の事例に対応している。

【００２４】次に、超球生成部１２において、超球の生
成を行なう（ステップ３２）。超球の生成を行なう場
合、ユーザが設定した回数だけ以下のステップ４３〜４
５の処理を繰り返す。ここで、操り返し処理を行なうの
は、正の事例における特徴は１つとは限らず、より良い
特徴検出器の生成が目的となるからである。

【００２５】まず、超球初期化手段２３により、スタッ
ク１５からランダムに正の事例を選択し、それを超球の
重心Ｇとし、半径Ｒを０とし、各集合Ｐ(i)をランダム
にシャッフルする（ステップ４３）。ここで、事例をシ
ャッフルするのは、類似した特徴検出器の生成を避ける
ためである。また、この生成された超球を超球の種とい
う。

【００２６】次いで、超球拡張手段２４によって、超球
の拡張を行なうために、各正の特徴ベクトルに対して以
下の処理を繰り返す（ステップ４４）。ここで、超球の
拡張を行うのは、特徴検出器をより一般的なものにする
ためである。まず、各集合Ｐ(i)から順番に特徴ベクト
ルＶを選択する（ステップ５１）。ただし、一巡するま
で同じ集合Ｐ(i)からの選択はしない。次いで、特徴ベ
クトルＶを加えた超球に加えた場合の重心Ｇを計算し、
その重心Ｇが含まれる最小の半径Ｒを求めて超球を拡張
する（ステップ５２）。ここで、ステップ５２で生成し
た超球が集合Ｎの要素を特徴とする場合、直前の超球拡
張処理を取り消すようにする（ステップ５３）。

【００２７】最終的に生成された超球に対して、超球判
定手段２５によって、有効な超球であるかどうかの判定
を行なう（ステップ４５）。この判定は、結果である超
球が、すべてのＰ(i)の要素を少なくとも１つの特徴と
して有するかどうかをテストすることによって行なわれ
る。このテストに成功した場合には、その超球が、１つ
の特徴抽出器としてスタック１６に出力される。

【００２８】次に、本実施例を実際の問題に適用した例
について説明する。まず、図４を用いてＴ−Ｃ問題ヘ適
用した結果を説明する。

【００２９】Ｔ−Ｃ問題は、文字"Ｔ","Ｃ"のそれぞれ
を９０度単位で回転させた４種、合計８種の事例から構
成され、事例から２つの文字の回転に不変な特徴検出器
を発見する問題である。図４(a)は入力事例を示してお
り、"ClLASS T"および"CLASSC"は、それぞれ文字"Ｔ","
Ｃ"に対する入力事例である。このような入力事例を対
象として、本実施例の装置によって３×３次元の超球で
表わされる特徴検出器を生成したところ、実際に２種の
特微検出器６１,６２が生成された。図４(b)は生成され
た２種の特徴検出器６１,６２とそれぞれの特徴検出器
６１,６２に反応した特徴ベクトル６３,６４を示す。こ
こで、図示左側の第１の特徴検出器６１はまさにＴ字検
出器であり、図示右側の第２の特徴検出器６２はＴ字の
縦棒部分の検出器である。ちなみに、バックプロバゲー
ションを用いた場合にも、同様の特徴検出器を発見でき
ることが報告されている。しかし、それには数万回もの
事例の提示を行う多量の計算が必要である。一方、本発
明を用いれば、２種の特徴検出器を発見するのに、換算
すれば、わずか数十回の事例提示で計算できたことにな
る。

【００３０】図５および図６はボンガルド問題ヘの適用
結果を説明する図である。ボンガルド間題とは、図形に
基づいた分類間題であり、各図に示すように、対象（オ
ブジェクト）が描かれた１２個の事例（ボックス）７１
から構成され、直線７２で隔てられた左側の６個の事例
７１はクラス１に属し、残りの右側６個の事例７１はは
クラス２に属している。問題は、これらのボックスから
２つのクラスに対する識別概念を発見することである。

【００３１】図５はボンガルド問題のうちＢＰ３問題に
対する結果を示しており、いくつかの特徴検出器を発見
できた。これらの特徴検出器のうち、より多くの特徴ベ
クトルに反応するのは、図に示す２つの特徴検出器７
３,７４であった。これらの特徴検出器７３,７４は、対
角線検出器と言えるものであり、白い図形と黒い図形を
識別するには、まさに妥当な検出器と言える。

【００３２】図６はボンガルド問題のうちＢＰ３０問題
に対する結果を示しており、図に示す特徴検出器７５を
発見することができた。この特徴検出器７５は、交点検
出器に近いものであるが少し歪んだものである。歪んで
いることの理由の１つは、描かれた図形の交点が複雑で
あるからだと考えられる。

【００３３】なお、上述した各ボンガルド問題におい
て、パーソナルコンピュータを用いた実験でも、数秒の
計算時間でこれらの特徴検出器を発見できた。

【００３４】以上、本発明の実施例について説明した
が、本発明の特徴検出器生成装置および方法は、一般の
文字認識や物体認識のためにも適用することが可能であ
る。

【００３５】

【発明の効果】以上説明したように本発明は、２次元画
像データに対して局所的な特徴の存在の有無を調べるこ
とによる分類を行なう際に使用される特徴検出器を生成
する場合に、重複しあるいは冗長な情報を前処理によっ
て除去し、さらにニューロンの学習を超球の拡張に置き
換えることにより、事例の分類に有効な特徴検出器を効
率よく自動生成できるようになるという効果がある。

【図面の簡単な説明】

【図１】分類アーキテクチャを説明する模式図である。

【図２】本発明の一実施例の特徴検出器生成装置の構成
を示す模式図である。

【図３】図１の装置の動作を示すフローチャートであ
る。

【図４】Ｔ−Ｃ問題への適用結果を示す図である。

【図５】ボンガルド問題（ＢＰ３問題）への適用結果を
示す図である。

【図６】ボンガルド問題（ＢＰ３０問題）への適用結果
を示す図である。

【符号の説明】

１１ 前処理部 １２ 超球生成部 １３〜１６ スタック ２１ 負の特徴格納除去手段 ２２ 正の特徴格納除去手段 ２３ 超球初期化手段 ２４ 超球拡張手段 ２５ 超球判定手段 ３１,３２,４１〜４５,５１〜５３ ステップ ６１,６２,７３〜７５ 特徴検出器 ６３,６４ 特徴ベクトル ７１ 事例 ９０ 画像 ９１ 超球 ９２ 特徴ベクトル ９３ 要素

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ２次元画像データからの特徴抽出に使用
   される特徴検出器を自動生成する特徴検出器生成装置に
   おいて、 前記２次元データは複数の要素の並びとして表現され、
   前記２次元画像データの部分データであって所定の数の
   要素からなるものを特徴ベクトルとし、 前記特徴検出器の生成に用いる事例を特徴ベクトルとし
   て格納する第１の記憶手段と、 前記第１の記憶手段から特徴ベクトルを順次読出し、重
   複しあるいは冗長である特徴ベクトルを除去する前処理
   手段と、 前処理の済んだ前記特徴ベクトルに基づいて特徴検出器
   に対応する超球を生成する超球生成手段と、 生成された超球を格納する第２の記憶手段とを有するこ
   とを特徴とする特徴検出器生成装置。
2. 【請求項２】 請求項１に記載の特徴検出器生成装置で
   あって、 前記前処理手段が、負の特徴ベクトルを記憶する第３の
   記憶手段と、重複しあるいは冗長である特徴ベクトルを
   除いた負の特徴ベクトルを前記第３の記憶手段に格納す
   る手段と、正の特徴ベクトルを記憶する第４の記憶手段
   と、重複しあるいは冗長である特徴ベクトルを除いた正
   の特徴ベクトルを前記第４の記憶手段に格納する手段と
   からなり、 前記超球生成手段が、超球生成のための種を生成する超
   球初期化手段と、前記第３の記憶手段から正の特徴ベク
   トルを順次読み出して該正の特徴ベクトルが超球に含ま
   れかつ前記超球が前記第４の記憶手段に含まれる負の特
   徴ベクトルを含まないように前記超球の拡張を行なう超
   球拡張手段と、結果として生成した超球が有効な超球と
   なっているかを判定する超球判定手段とからなる、特徴
   検出器生成装置。
3. 【請求項３】 ２次元画像データからの特徴抽出に使用
   される特徴検出器を自動生成する特徴検出器生成方法に
   おいて、 前記２次元データは複数の要素の並びとして表現され、
   前記２次元画像データの部分データであって所定の数の
   要素からなるものを特徴ベクトルとし、 入力した前記特徴ベクトルから重複しあるいは冗長なも
   のを除去する前処理工程と、 特徴検出器として使用される超球を生成するために前記
   超球の種を初期化する超球初期化工程と、 前記前処理工程を行なったのちの特徴ベクトルに基づい
   て前記超球を拡張する超球拡張工程と、 生成された超球が有効な特徴検出器となっているかを判
   定する超球判定工程とを有することを特徴とする特徴検
   出器生成方法。