JPH09282466A - パターン認識方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 未学習の多様な変形パターンに対しても、柔
軟、かつ効率よく認識可能とする。 【解決手段】 圧縮・復元ニューラルネット５は、複数
のニューラルネットから構成され、認識カテゴリ（物
体）ごとに各カテゴリに属する複数のパターンを用いて
学習する。比較・候補選択器６は、形成した各圧縮・復
元ニューラルネット５が出力する生成パターン（復元画
像）と入力パターン（サンプル画像）との間の距離に基
づいて認識カテゴリの候補を選択する。整合処理器７
は、圧縮・復元ニューラルネット５が出力する生成パタ
ーンと入力パターンとの整合を行なう大局的整合又は局
所的整合を行ない、未学習の変形パターンの入力に対し
て、候補選択及び大局的整合又は局所的整合を反復する
ことによってパターンの識別を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はパターン認識方法
に関し、たとえば、物体認識，顔認識，画像認識，文字
認識および音声認識などを必要とする分野に利用できる
ようなパターン認識方法に関する。

【０００２】

【従来の技術】従来より、パターン認識方法として、多
層ニューラルネットを用いて入力に各種パターン，出力
に認識カテゴリを示す（１，０）などの離散値を与えて
学習させ、パターンの識別を行なう方法が用いられてき
た。しかし、この認識方法では、複数の認識候補への可
能性を連続値で表現できないため、柔軟な認識ができな
い。そのため、中間層の次元を圧縮した多層ニューラル
ネットを認識カテゴリごとに用意し、各カテゴリに属す
る複数のパターンを与えて恒等写像を学習させ、新規の
入力パターンと各ニューラルネットの出力パターンとの
距離を各カテゴリの認識スコアとする特定カテゴリデー
タフィルタによる認識方法が特公平５−８５９１９号公
報で提案されている。

【０００３】一方、ニューラルネットを用いずに、認識
カテゴリごとに単数または複数の基準パターンを記憶し
ておき、照合時に入力パターンまたは基準パターンに変
換を加え、両者を動的に整合する弾性ネットワーク法な
どの動的認識方法が提案されている。

【０００４】

【発明が解決しようとする課題】前述の特定カテゴリデ
ータフィルタによる認識方法では、学習に用いたパター
ンまたはそれらに類似したパターンのみが認識可能であ
り、未学習の多様な変形パターンを認識できないという
問題がある。たとえば、物体や文字の画像認識の場合、
認識対象となる入力パターンは一般に位置ずれ，画像内
回転，大きさ変化，歪みなど、学習パターンに対して千
差万別の変形を受けている可能性があり、このような未
学習の変形パターンを特定カテゴリフィルタに入力する
と、出力の復元パターンは入力パターンと一般に大きく
異なり、両者の距離に基づいてパターンの識別を行なう
ことは極めて困難となる。また、膨大な量の変形パター
ンを事前に用意して学習しておくことも事実上不可能で
ある。

【０００５】次に、前述の動的にパターンを照合する認
識方法は、未学習の変形パターンに対しても柔軟に認識
できるが、この方法では入力パターンが記憶パターンと
同等の情報を保存している場合にのみ有効となる。それ
ゆえに、認識カテゴリが互いに極めて異なる多様なパタ
ーンを含む場合、同カテゴリに属する多数のパターンを
記憶しておく必要があるとともに、入力パターンと多数
の記憶パターンとの動的照合を順次行なう必要があり、
膨大な計算量が必要となるという問題がある。たとえ
ば、３次元物体画像や顔画像の認識の場合、物体の姿勢
またはカメラの視点が変化すれば、撮像された物体また
は顔の射影画像が大きく変化する。したがって、たとえ
ば記憶された正面画像に対して入力の背面画像を動的に
照合することは一般に不可能であり、射影画像に関する
多量の記憶と、各射影画像に対する逐次的な動的手法に
よる多大な計算量が必要となる。

【０００６】したがって、上述の問題により、従来の手
法で未学習の多様な変形パターンを認識する場合、一般
に多量の記憶コストまたは計算コストを必要とし、柔軟
かつ効率よく多様なパターンを認識することが極めて困
難であるという欠点がある。

【０００７】それゆえに、この発明の主たる目的は、前
述のような個々の問題点を一括して解決することが可能
であって、学習に用いたパターンのみならず未学習の多
様な変形パターンに対しても柔軟かつ効率よく認識可能
なパターン認識方法を提供することである。

【０００８】

【課題を解決するための手段】請求項１に係る発明はニ
ューラルネットを用いたパターン認識方法であって、入
力パターンの圧縮と復元を行なう圧縮・復元ネットを認
識カテゴリごとに各カテゴリに属する複数のパターンを
用いて学習で形成する第１のステップと、第１のステッ
プで形成した各圧縮・復元ネットが出力する生成パター
ンと入力パターンとの間の距離に基づいて、認識カテゴ
リの候補を選択する第２のステップと、第１のステップ
で圧縮・復元ネットが出力する生成パターンと入力パタ
ーンとを大局的または局所的に整合する第３のステップ
と、未学習の変形パターンの入力に対して、第２のステ
ップにおける候補選択と第３のステップにおける大局的
または局所的整合を反復してパターンの識別を行なう第
４のステップとを含む。

【０００９】請求項２に係る発明では、請求項１の第３
のステップにおける大局的整合は、重心位置およびモー
メントなどのパターンの全体的特徴を表わす代表値を入
力パターンと圧縮・復元ネットからの生成パターンにお
いて算出し、両者が一致するように入力パターンの全体
的変換を行ない、変換パターンを再び圧縮・復元ネット
に入力して生成パターンを再度算出し、パターン変換と
パターン生成とを反復し、入力パターンと生成パターン
との距離が予め定めた設定値以下になれば、その候補を
認識カテゴリと判定することによって、未学習の変形パ
ターンの認識を行なう。

【００１０】請求項３に係る発明では、請求項１の第３
のステップにおける局所的整合は、入力パターンの局所
的変形を滑らかさの拘束条件で許容し、入力パターンと
生成パターンの誤差の総和と入力パターンの変形量との
和が最小になるように、入力パターンの変換および圧縮
・復元ネットからのパターン生成を行ない、パターン変
換とパターン生成を反復し、入力パターンと生成パター
ンとの距離が予め定めた設定値以下になれば、その候補
を認識カテゴリと判定することによって、未学習の変形
パターンの認識を行なう。

【００１１】

【発明の実施の形態】図１はこの発明の一実施形態を示
すブロック図である。この実施形態においては、特に、
３次元物体の認識について、カメラの視点または物体の
姿勢によらず物体画像を識別し、かつ未学習の多様な変
形画像をも識別する認識問題について説明する。

【００１２】図１において、ＣＣＤカメラ１は物体を鉛
直軸回りに回転させて、１°間隔で３６０枚の画像を撮
像するものである。ＣＣＤカメラ１の画像出力はＡ／Ｄ
変換器２に与えられてデジタル信号に変換される。ＣＣ
Ｄカメラ１で撮像された原画像は５１２×４８０画素を
有し、各画素はＡ／Ｄ変換器２によって２５６階調の白
黒濃淡値のデジタル信号に変換される。このデジタル信
号は平滑化フィルタ３に与えられて平滑化処理が施され
た後、グリッドサンプラ４に与えられてグリッド上で画
像濃淡値がサンプリングされ、学習に使用するサンプル
画像が作成される。このサンプル画像は、０．４〜１．
６の濃淡値を持つように正規化される。このサンプル値
は圧縮・復元ニューラルネット５に与えられて画像の圧
縮・復元が行なわれる。

【００１３】この圧縮・復元ニューラルネット５は各物
体に対応する複数のニューラルネットから構成される。
比較・候補選択器６はグリッドサンプラ４で作成された
画像とその画像を入力とする圧縮・復元ニューラルネッ
ト５からの復元画像を比較することにより、物体の候補
を選択する。整合処理器７は比較・候補選択器６で選択
された物体候補の復元画像とサンプル画像の整合を行な
う。まず、圧縮・復元ニューラルネット５の学習方法と
学習結果について説明する。

【００１４】図２は圧縮・復元ニューラルネット５を構
成する各ニューラルネットを示す図である。この５層ニ
ューラルネットは第１層〜第３層までの画像圧縮部と第
３層〜第５層までの画像復元部を有する。第３層のユニ
ット数は画像情報の持つ自由度を表わす。サンプル画像
は鉛直軸回りの回転により作成されるため、この場合の
自由度数は１であるが、回転により生じる周期性を表現
する必要があり、ここでは２個のユニットを使用する。
この発明においては、各ニューラルネットは、特定の物
体の画像のみを圧縮・復元するような恒等写像を学習す
るが、これは入力画像と復元画像の差を小さくする条件
のもとで行なわれる誤差逆伝播法（バックプロパゲーシ
ョン）により実現される。

【００１５】図３は図１に示したＣＣＤカメラ１で撮像
された３種類の物体画像を示す図であり、上段から順に
物体Ａ，Ｂ，Ｃを撮像した例を示し、それぞれの物体の
正面を０°としたときの６０°，１２０°，１８０°の
視点方向から撮像した画像に対応している。これら３種
類の物体画像は異なる圧縮・復元ニューラルネット５で
学習される。

【００１６】図４は物体Ｂを学習したニューラルネット
が行なう画像の圧縮・復元特性を示す図である。この図
４に示したサンプル画像の大きさは３２×３０画素であ
る。上段はニューラルネットに入力した画像を示すが、
これらは学習に使用した画像と同一のものである。ま
た、下段は上段に対応するネットワークの出力（復元画
像）であり、入力画像は良好に復元されている。

【００１７】図５は物体Ｂを学習したニューラルネット
５の圧縮・復元特性を明示するため、入力画像と復元画
像の誤差を視点方向に関してプロットしたグラフであ
る。実線は学習に使用した物体Ｂの全画像に対する復元
誤差を示す。他の２種類の点線は物体Ａ，Ｃの全画像に
関する復元誤差をそれぞれの物体ごとにプロットしてあ
る。この図５より、物体Ｂを学習したニューラルネット
は物体Ｂの画像のみ良好に復元するため、復元誤差を比
較することにより物体Ｂと他の物体との識別が可能とな
る。

【００１８】図６は物体Ｂを学習したニューラルネット
５に対して、学習した物体Ｂの全画像を入力した際に得
られる、ニューラルネット第３層の表現を示す。このグ
ラフの横軸と縦軸はそれぞれ第１，第２ユニットの出力
を示す。第３層では物体に対する視点方向が周期的に表
現されている。

【００１９】次に、未学習の画像を認識する方法および
認識結果について説明する。学習に使用した画像がカメ
ラ視野のほぼ中央で撮影されているのに対して、未学習
画像は視野において位置ずれが存在したり、回転や歪み
などの状態変化を有する画像を示す。ここでは、学習用
画像，未学習画像ともに１６×１５グリッドで濃淡値を
抽出した。

【００２０】図７は図１のブロック図をより具体的に表
現したものであって、未学習の画像から物体を認識する
ための手法を示す概念図である。図７において、原画像
に対して平滑化フィルタ３で平滑化処理を施した後、グ
リッドサンプラ４により各グリッド点で濃淡値を抽出し
てサンプル画像を作成する。サンプル画像は学習終了後
の圧縮・復元ニューラルネット５に入力されて画像情報
を視点方向にまで圧縮した後、再び画像を復元して出力
される。学習に使用した物体画像が入力されるならば、
その物体を学習したニューラルネットが最も良好に画像
を復元する。したがって、復元誤差が最小となるニュー
ラルネットを比較・候補選択器６が選択することで物体
の認識が可能となる。しかし、対象が未学習画像の場合
には、最小の復元誤差をもたらすニューラルネットが必
ずしも正しい物体を示すとは限らない。

【００２１】この場合、選択されたニューラルネットの
復元画像を参照情報とし、入力画像との差異を小さくす
るように整合処理器７による整合を入力画像に対して行
なう。具体的には、図７の全グリッドを移動させた後、
グリッドサンプラ４で再び平滑化画像から濃淡値を抽出
する。この再サンプル画像は再び圧縮・復元ニューラル
ネット５に入力されて圧縮・復元が行なわれる。これら
一連の操作（図１における４→５→６→７）は繰返し行
なわれ、ニューラルネットの復元誤差が予め定めた設定
値以下になった時点で、その物体候補を最終的な認識結
果とする。この発明においては、大局的整合と局所的整
合の２種類の整合手法が用いられる。

【００２２】大局的整合は、図７における濃淡値を抽出
する各グリッド点の位置関係（距離）を固定し、並行移
動や回転変換を行なう操作である。

【００２３】図８は全体的特徴を表わす代表値として画
像の重心位置を使用した場合の大局的整合において、候
補選択と整合処理の推移を示す図である。この図８は位
置ずれのある物体Ｂの画像を認識する過程を示してい
る。左２列は物体Ｂの正面画像を示し、右２列は３０°
の視点方向の画像について処理の推移を示す。また、上
段から順に繰返して行なわれる画像変換の１ないし３回
目および最終回（正面画像は１７回目、３０°画像は６
回目）に対応している。

【００２４】各段において、左図は圧縮・復元ニューラ
ルネット５への入力画像を表わし、右図は物体候補とし
て選択された圧縮・復元ニューラルネット５による復元
画像を示す。学習に使用した画像を右下方向に並行移動
して作成した未学習画像に関して、図８の上段から下段
に向けて認識過程が進行する。整合の初期状態では復元
誤差を最小にする圧縮・復元ニューラルネット５が必ず
しも正しい物体に対応しないが、変換された画像（整合
画像）を圧縮・復元ニューラルネット５に再入力して候
補選択と整合処理を数回〜１０回程度繰返して行なうこ
とにより、画像は視野の中心に移動すると同時に、物体
Ｂを学習したニューラルネット５が選択されるようにな
る。すなわち、物体Ｂとして正しく認識される。

【００２５】局所的整合は図７に示した各グリッド点が
それぞれ最適な位置に移動することで実現される。この
場合はグリッド点間の距離を必ずしも保存されない。こ
の移動は物体候補として選択された圧縮・復元ニューラ
ルネット５に関して、入力画像と復元画像との差異を小
さくする条件下で行なわれるが、平滑化画像上では同一
濃淡値を持つ画素は複数存在する。したがって、この変
換方法は、一意の解を解くために、グリッドの歪みを滑
らかにする拘束条件を付加したコスト関数を再急降下法
で最小にすることにより実現される。次式にコスト関数
を示す。

【００２６】

【数１】 上述の式において、Ｉは再サンプル画像，Ｒは復元画
像，（ｄｘ_i,j,ｄｙ_i,j ）はグリッド（ｉ，ｊ）におけ
る移動ベクトルの推定値である。

【００２７】図９はこの手法を用いて画像変換を行なっ
た例を示す。左図は学習に使用した正面画像に変形を加
えたものであり、未学習画像である。上段から順に２０
°回転した画像，横方向に歪みのある画像，縦方向に歪
みのある画像，拡大した画像，縮小した画像である。右
図は左図の未学習画像に対して施された局所的整合の最
終状態を示している。１０回程度の反復で学習時の状態
がほぼ再現できている。すなわち、入出力誤差を最小と
する物体Ｂのニューラルネットが正しく選択されて認識
が行なわれる。

【００２８】以上の実施形態が示すように、圧縮・復元
ニューラルネット５による射影像の生成と入力画像の変
換を反復的に進行させることにより、３次元物体の認識
に必要な計算量を大幅に減少させることができる。

【００２９】

【発明の効果】以上のように、この発明によれば、既学
習の圧縮・復元ネットによるパターン生成と大局的整合
または局所的整合を繰返すことにより、従来、多数の記
憶パターンに対する逐次的整合に要した膨大な計算時間
を回避し、未学習の多様な変形パターンに対しても効率
よく認識することが可能となる。

【図面の簡単な説明】

【図１】この発明の一実施形態を示すブロック図であ
る。

【図２】図１に示した５層ニューラルネットを示す図で
ある。

【図３】図１に示したＣＣＤカメラで撮像された３種類
の物体画像を示す図である。

【図４】学習に使用した物体Ｂの画像、およびそれらの
画像に関する物体Ｂを学習したニューラルネットによる
復元画像を示す図である。

【図５】物体Ｂを学習したニューラルネットに対して、
すべての物体画像を入力して得られる画像の復元誤差を
プロットして示した図である。

【図６】物体Ｂを学習したニューラルネットに対して、
物体Ｂの全画像を入力した際に得られる第３層の表現を
示す図である。

【図７】未学習の画像から物体を認識するための手法を
示す概念図である。

【図８】大局的整合を用いて位置ずれのある物体Ｂの画
像を認識する過程を示す図である。

【図９】局所的整合を用いて未学習の物体Ｂの画像を認
識した結果を示す図である。

【符号の説明】

１ ＣＣＤカメラ ２ Ａ／Ｄ変換器 ３ 平滑化フィルタ ４ グリッドサンプラ ５ 圧縮・復元ニューラルネット ６ 比較・候補選択器 ７ 整合処理器

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ニューラルネットを用いたパターン認識
   方法であって、 入力パターンの圧縮と復元を行なう圧縮・復元ネット
   を、認識カテゴリごとに各カテゴリに属する複数のパタ
   ーンを用いて学習で形成する第１のステップ、 前記第１のステップで形成した各圧縮・復元ネットが出
   力する生成パターンと前記入力パターンとの間の距離に
   基づいて、認識カテゴリの候補を選択する第２のステッ
   プ、 前記第１のステップで圧縮・復元ネットが出力する生成
   パターンと前記入力パターンとを大局的または局所的に
   整合する第３のステップ、および未学習の変形パターン
   の入力に対して、前記第２のステップにおける候補選択
   と前記第３のステップにおける大局的または局所的整合
   を反復してパターンの識別を行なう第４のステップを備
   えた、パターン認識方法。
2. 【請求項２】 前記第３のステップにおける大局的整合
   は、重心位置およびモーメントなどのパターンの全体的
   特徴を表わす代表値を入力パターンと圧縮・復元ネット
   からの生成パターンにおいて算出し、両者が一致するよ
   うに前記入力パターンの全体的変換を行ない、変換パタ
   ーンを再び前記圧縮・復元ネットに入力して生成パター
   ンを再度算出し、前記パターン変換と前記パターン生成
   とを反復し、前記入力パターンと前記生成パターンとの
   距離が予め定めた設定値以下になれば、その候補を認識
   カテゴリと判定することによって、前記未学習の変形パ
   ターンの認識を行なうことを特徴とする、請求項１のパ
   ターン認識方法。
3. 【請求項３】 前記第３のステップにおける局所的整合
   は、前記入力パターンの局所的変形を滑らかさの拘束条
   件で許容し、前記入力パターンと前記生成パターンの誤
   差の総和と前記入力パターンの変形量との和が最小にな
   るように、前記入力パターンの変換および圧縮・復元ネ
   ットからのパターン生成を行ない、前記パターン変換と
   前記パターン生成とを反復し、前記入力パターンと前記
   生成パターンとの距離が予め定めた設定値以下になれ
   ば、その候補を認識カテゴリと判定することによって、
   前記未学習の変形パターンの認識を行なうことを特徴と
   する、請求項１のパターン認識方法。