JP3668657B2 - パタン認識装置およびその方法、パタン登録装置およびその方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はパタンを学習して認識する技術に係り、特に複数のグループに属する１乃至複数カテゴリの辞書を駆使して被認識パタンが各グループにおいて属するカテゴリを決定出力するパタン認識装置およびその方法と、被学習パタンを前述の複数のグループに属する辞書に対して一括して学習登録可能なパタン登録装置およびその方法に関する。
【０００２】
【従来の技術】
（基本説明）
何らかのパタンを認識するシステムにおいては、認識すべきカテゴリに属するサンプルパタンを用いて当該カテゴリを認識するための辞書情報を事前に構築しておくのが一般的である。そして実際の認識に際しては、入力されるカテゴリ未知のパタンが前記事前に構築された辞書情報（すなわち前記サンプルパタン）のうちのどれとどれだけ似ているかを評価し、所定の基準を超えて最も高い評価を得た辞書情報が代表するカテゴリを前記未知パタンのカテゴリであると認定する。例えば、代表的な手法である部分空間法を用いたパタン認識では、多数のサンプルパタンの相関行列を主成分分析して得られる部分空間を辞書情報として用い、図３に示すように、未知パタンを入力し（パタン入力処理Ｓ１０１）、該辞書たる部分空間に未知パタンを射影した長さを類似度として計算し（パタン照合処理：ステップＳ１０２）、所定しきい値以上の類似度を獲得した辞書カテゴリを類似度の高い順にソート（並べ替え）して（有力候補抽出処理：ステップＳ１０３）、最も上位に位置する辞書カテゴリを未知パタンのカテゴリとして認定出力する（認識結果出力処理：ステップＳ１０４）ことでパタン認識が行なわれる。
（パタン認識における問題点）
このとき、例えば、入力される顔パタンが誰の顔であるかを認識するというように、パタン認識システムが入力未知パタンの属するカテゴリを１つに決すればよいという場合には、上記の一連の処理（ステップＳ１０１〜Ｓ１０３）を経ることで目的通りの機能を実現することができた。しかしながら、例えば、入力される顔パタンが誰の顔であり、どんな表情の顔であり、そしてどちらを向いた顔であるかを同時に認識しなければならない場合、上記の枠組みでは目的が達成できない。ここで例示した「人物」、「表情」、「向き」のような区分をここではカテゴリの「グループ」と呼ぶことにする。各グループは１乃至複数のカテゴリを擁しており、例えば図４に例示するように、人物グループ２０１はＡさん２０２、Ｂさん２０３、Ｃさん２０４という人物別の複数の辞書カテゴリを、表情グループ２１１は平常顔２１２、笑顔２１３、泣き顔２１４という表情別の複数の辞書カテゴリを、そして向きグループ２２１は正面２２２、右向き２２３、左向き２２４という顔向き別の複数の辞書カテゴリを擁していることになる。
【０００３】
問題は入力された未知パタンが例えばカテゴリ２０２〜２０４と２１２〜２１４と２２１〜２２４の９カテゴリのいずれであるかを決定することではなく、各グループ別に見て各々どれに該当するのかを決定することである。図３の構成によるパタン認識処理においては、上記９カテゴリの辞書を用意したとしてもこの問題を解決できない。例えば図５に例示するように、辞書が図中（ａ）に示すカテゴリを擁しており、Ａさんの左向きの笑顔パタンが入力されたとする。パタン照合処理Ｓ１０２と有力候補抽出処理Ｓ１０３の結果、例えば図中（ｂ）に示すような順位で候補情報が得られたとする。このとき、実際に欲しい認識結果は図中（ｃ）に示す通り、笑顔（１位候補）、Ａさん（２位候補）、左向き（５位候補）であるにも関わらず、図３の構成による認識結果出力処理Ｓ１０４では１位の笑顔しか出力されない。特に２位から５位の間には２つの不必要なノイズが混ざっており、単純に上位Ｎ位（グループが３つなら３位）までの候補を求めても正しい認識結果が得られない。これは上述したグループの概念が欠けているからである。
（パタン登録における問題点）
既に述べた通り、パタン認識処理はサンプルパタン（教示パタン）により生成された辞書情報と入力未知パタンとを照合して行われるが、前述のパタン認識処理におけるグループ概念の欠如がもたらす問題が辞書構築時にも問題となる。
【０００４】
従来、サンプルパタンのカテゴリは１回の教示につき１つであり、同一サンプルパタンが複数のカテゴリに属する場合には、該パタンと同種の教示パタンを複数回繰り返して教示する必要があった。例えば、Ａさんの顔、笑顔、左向きの顔という３つのカテゴリにＡさんが自分の顔を登録しようとする場合を考える。このとき、Ａさんの顔をＡさんの顔だとシステムにわからせるために、Ａさんは様々な顔向きや表情の顔をシステムに入力してＡさんを他の人と区別するための人物辞書（人物グループに属する）を構築しなければならない。さらに、Ａさんの顔を含めた様々な人物の様々な顔向きの笑顔を検出する笑顔辞書（表情グループに属する）にはＡさんの笑顔を顔向きをいろいろ変えながら教示しなければならない。そして、様々な人物の様々な表情の左向きの顔を検出するための左向き顔辞書（顔向きグループに属する）には、いろいろな表情で左向きの顔を教示する必要がある。このとき、Ａさんの左向きの笑顔は上記３つの辞書に共通に登録されるべきサンプルパタンであるが、通常は上述したように個別に向きを変えたり表情を作ったりしつつ教示しなければならない。
【０００５】
このとき、Ａさんの人物辞書、人物不定の笑顔辞書、人物不定の左向き顔辞書の３つの辞書に対してＡさんの左向きの笑顔を同時に登録できれば、例えば左向きの泣き顔、右向きの笑顔、無表情の正面顔などの様々なバリエーションの顔を次々と重複なく教示することで、自動的かつ効率的に人物辞書と表情辞書と顔向き辞書を学習構築させられるはずである。しかしながら、従来のシステムにはそのための手段がなく、必要なカテゴリ辞書にパタンを登録する間、何回も重複して同じような顔を教示しなければならず、そのため、顔を作る手間と教示時間が容認できないほどの負担となっていた。
【０００６】
また、上述したような従来のパタン登録においては、同じような表情や顔向きを何回も繰り返す必要があることが祟って、どのようなパタンを登録したか、すなわちどのようなパタンをこれから登録しなければならないかという点に関して、利用者の混乱を招きやすいという問題点も指摘できた。
【０００７】
【発明が解決しようとする課題】
本発明は上記の問題点に鑑みて為されたものであり、その第１の目的とするところは、グループ概念を導入してグループ別に見た最も有力なカテゴリ（それが前述した有力候補リストの下位に埋もれていても）を抽出して認識結果として出力可能なパタン認識装置およびその方法を提供することである。
【０００８】
また、本発明の第２の目的は、グループを跨いだ複数のカテゴリに属するサンプルパタンを、それが対応する複数の辞書に一括して登録可能な手段を提供し、教示時間を削減し、教示に際しての利用者の負担と混乱を軽減するパタン登録装置およびパタン登録方法を提供することである。
【０００９】
【課題を解決するための手段】
上記の第１の目的を達成するために、本発明のパタン認識装置は、認識すべき人の顔パタンを入力する手段と、該入力パタンを予めグループ化されたカテゴリ毎に用意された辞書情報と照合して前記グループ毎に類似度を計算する手段と、該照合結果から前記各グループに属する最高類似度を獲得するカテゴリをそれぞれ抽出する手段と、該抽出されたカテゴリを前記グループ毎の識別結果として出力する手段とを具備し、前記各カテゴリは、人物の識別のためのカテゴリ群、顔の表情の識別のためのカテゴリ群あるいは顔の向きの識別のためのカテゴリ群にグループ分けされていることを特徴とするものである。
【００１０】
また、上記の第１の目的を達成するために、本発明のパタン認識方法は、認識すべき人の顔パタンを入力する工程と、該入力パタンを予めグループ化されたカテゴリ毎に用意された辞書情報と照合して前記グループ毎に類似度を計算する工程と、該照合結果から前記各グループに属する最高類似度を獲得するカテゴリをそれぞれ抽出する工程と、該抽出されたカテゴリを前記グループ毎の識別結果として出力する工程とを具備し、前記各カテゴリは、人物の識別のためのカテゴリ群、顔の表情の識別のためのカテゴリ群あるいは顔の向きの識別のためのカテゴリ群にグループ分けされていることを特徴とするものである。
【００１１】
また、上記第２の目的を達成するために、本発明のパタン認識装置は、登録すべき教示パタンを入力する手段と、該教示パタンを学習すべき辞書のカテゴリをグループ毎に各１つ選択する手段と、該選択された辞書の情報に前記教示パタンの情報を加えて辞書を更新もしくは新規に生成する手段とを具備し、前記各カテゴリは、人物の識別のためのカテゴリ群、顔の表情の識別のためのカテゴリ群あるいは顔の向きの識別のためのカテゴリ群にグループ分けされていることを特徴とするものである。
【００１２】
また、上記第２の目的を達成するために、本発明のパタン認識方法は、登録すべき教示パタンを入力する工程と、該教示パタンを学習すべき辞書のカテゴリをグループ毎に各１つ選択する工程と、該選択された辞書の情報に前記教示パタンの情報を加えて辞書を更新もしくは新規に生成する工程とを具備し、前記各カテゴリは、人物の識別のためのカテゴリ群、顔の表情の識別のためのカテゴリ群あるいは顔の向きの識別のためのカテゴリ群にグループ分けされていることを特徴とするものである。
【００１３】
【発明の実施の形態】
以下、本発明に係るパタン認識装置およびその方法、ならびに、パタン登録装置とその方法の実施例を図面にしたがって説明する。
（パタン認識装置）
図１は本発明に係るパタン認識装置の１実施例の機能ブロック構成を示した図である。本実施例装置は、パタン入力部１と、パタン照合部２と、有力候補抽出部３と、グループ別最有力候補抽出部４と、認識結果出力部５と、辞書記憶部６とから成る。
【００１４】
また、図２は本実施例装置の処理構成を示した図である。本装置の処理は、パタン入力処理Ｓ１と、パタン照合処理Ｓ２と、有力候補抽出処理Ｓ３と、グループ別最有力候補抽出処理Ｓ４と、認識結果出力処理Ｓ５とから成る。
【００１５】
パタン入力部１（ステップＳ１）は認識すべき未知パタンを取得し、パタン照合部２（ステップＳ２）は各カテゴリの辞書（辞書記憶部６に記憶されている）と該未知パタンとを照合して両者の類似度を計算し、照合された辞書カテゴリ名とその類似度を組にした候補情報を生成出力する。この候補情報を生成するための類似度計算の方法については、部分空間法や相互部分空間法のように、従来より様々な提案が為されているのでここでは詳細には触れない。
【００１６】
有力候補抽出部３（ステップＳ３）は、パタン照合部２による各候補情報のうち、獲得した類似度が所定しきい値以上である候補情報のカテゴリ名とその類似度とを有力候補として抽出し、該有力候補を獲得類似度の高い順に並べ替えた一覧を有力候補リスト情報に編集する。なお、上記ステップ２〜ステップ３の処理は所定の辞書全てとの照合が終わるまで繰り返し実行される。
【００１７】
図３に例示した従来のパタン認識処理では、上記ステップＳ３までで生成される有力候補リスト情報の最上位に位置する、すなわち前記所定しきい値以上でかつ最も高い類似度を獲得した辞書カテゴリを前記未知パタンの属するカテゴリであると認定して当該カテゴリ名を出力していた。また、その認定に不安がある場合を考慮した従来のパタン認識処理においても、この有力候補リスト情報の上位Ｎ位までのカテゴリ名を出力していた。しかしながら、このような処理では図５を用いて説明したように、グループ別に見た未知パタンの属すべきカテゴリ全てを正しく出力することができない。そこで、本発明においては、次のグループ別最有力候補抽出部４が有効に機能する。
【００１８】
本発明の特徴であるグループ別最有力候補抽出部４（ステップＳ４）は、有力候補カテゴリ名に埋め込まれているグループ名を照会することで、有力候補抽出部３による有力候補リスト情報に含まれるカテゴリ名から有力候補リスト情報に現れる各グループに属する最も上位の（すなわち、最も高い類似度を獲得した）カテゴリ名を当該グループの最有力候補として検索し、グループ毎の前記最有力候補のカテゴリ名をグループ別最有力カテゴリ名情報として出力する。
【００１９】
なお、カテゴリ名へのグループ名の埋め込みは、例えばＡさんを認識するための人物グループであれば、カテゴリ名を「Ｐｅｒｓｏｎ＿Ａ」というように「＿」で区切られる前半部分「Ｐｅｒｓｏｎ」を人物グループ名とし、後半部分「Ａ」を人物名とすることで達成される。同様に表情グループであれば「ＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎ＿Ｈａｐｐｙ」、顔向きグループであれば「ＦａｃｅＤｉｒｅｃｔｉｏｎ＿Ｌｅｆｔ」とする。あるいは、カテゴリ名にそのような制限を設けず、そのかわりどのカテゴリがどのグループに属するかという情報（グループテーブル情報）を別途（例えば辞書記憶部６などに）用意し、これを参照するようにしてもよい。
【００２０】
認識結果出力部５（ステップＳ５）は、以上のようにして得られたグループ別最有力カテゴリ名情報を所定の全てのグループについてまとめて最有力カテゴリ名リスト情報として出力する。
【００２１】
このようにすることで、例えば顔パタン認識における人物の別、表情の別、顔向きの別（その他にも、性別、年齢帯、発話中か否か、発話内容など）のような複数の認識結果を効率よく得ることができるようになる。
（パタン登録装置）
次に、図６に発明に係るパタン登録装置の１実施例の機能ブロック構成を示す。本実施例装置は、教示パタン入力部１１と、辞書更新部１２と、対話部１３と、辞書読み出し部１４と、辞書書き込み部１５と、辞書記憶部１６とから成る。
【００２２】
また、図７に本実施例装置の処理構成を示す。本装置の処理は、辞書登録指令受理処理Ｓ１１と、カテゴリリスト読み出し処理Ｓ１２と、カテゴリリスト提示処理Ｓ１３と、選択操作受理処理Ｓ１４と、選択リスト呈示処理Ｓ１５と、選択終了受理処理Ｓ１６と、教示パタン収集処理Ｓ１７と、対象辞書情報読み出し処理Ｓ１８と、対象辞書更新処理Ｓ１９と、対象辞書書き込み処理Ｓ２０とから成る。
【００２３】
また、本装置における前記対話部１３が利用者に呈示する画面の例を図８に示す。 対話部１３は最初に利用者１７による辞書登録指令を受理する（ステップＳ１１）。指令を受けると対話部１３は辞書読み出し部１４を通じて辞書記憶部１６に格納される保有辞書のカテゴリ名のリストを取得し（ステップＳ１２）、これを自身が具備する表示手段に表示する（ステップＳ１３）。
【００２４】
呈示される画面は図８に例示される通り、保有する辞書のグループ別のパネル３１、３２、３３、および、利用者により新たに定義可能な新規グループのパネル３４をフレーム２１に表示する。フレーム２１にはこの他にも教示パタンの収集開始を指示するための登録開始ボタン２２と、登録作業の中断を指示するためのキャンセルボタン２３が表示される。利用者はこの２つのボタン２２と２３を用いて登録作業の開始や中断を指示できる（ステップＳ１６）。
【００２５】
グループパネル３１、３２、３３、３４には各々該当するグループ名が４１、４２、４３、４４に表示され、特に新規グループのグループ名表示部分４４は、利用者によってグループ名を与えることが可能になっている。また、各グループパネルには各々当該グループに属するカテゴリの一覧を表示できる領域５１、５２、５３、５４があり、例示するようにＡさんや平常顔などのカテゴリ名が表示されており、利用者によって選択可能になっている。特に利用者により新たにカテゴリを定義可能な「新規」の選択肢では、利用者によるカテゴリ名の入力が可能である。なお、以上の名称の書き換えや選択の操作は対話部１３が具備するマウスとキーボードによって可能となっている（ステップＳ１４）。選択されたり変更されたカテゴリやグループ名は即座に表示に反映される（ステップＳ１５）。
【００２６】
利用者による一連の選択が終了して登録開始ボタン２２が押されると、教示パタン入力部１１によって教示パタンの収集が開始される（ステップＳ１７）。所定枚数の教示パタンが収集されると、対話部１３から選択されたカテゴリのリストが辞書読み出し部１４に送られ、辞書読み出し部１４はこのリストに記載されるカテゴリの辞書情報を辞書記憶部１６から読み出して、辞書更新部１２に受け渡す（ステップＳ１８）。
【００２７】
辞書更新部１２は教示パタン入力部１１が収集した教示パタンと、辞書読み出し部１４により転送されてきた辞書情報とを融合させて、当該カテゴリの更新された新しい辞書情報を生成する（ステップＳ１９）。更新された辞書情報は辞書書き込み部１５を経由して再び辞書記憶部１６に格納される（ステップＳ２０）。なお、利用者により新規グループや新規カテゴリが選択された場合には、それに対応する既存辞書情報は存在しないので、教示パタンのみから新たに生成することになる。
【００２８】
辞書更新部１２において、教示パタンを辞書情報に加えて新たな辞書情報を生成する手法については、平均学習部分空間法などの手法が提案されている。例えば、パタン照合方式として部分空間法を用いる場合、教示パタン入力部１１により収集された所定枚数の教示パタンからその相関行列（便宜上、教示相関行列と呼ぶ）を生成し、これを各辞書の生成時に利用された相関行列（便宜上、辞書相関行列と呼ぶ）と加え合わせて新たな辞書相関行列を作り、さらにこれを主成分分析して教示パタンを学習した新たな辞書部分空間を得ることができる。
【００２９】
このようにすることで、利用者は複数のグループを跨ぐカテゴリに対して、教示パタンの学習を行うことが可能となりる。また、辞書登録指令受理後（ステップＳ１１）、更新されたカテゴリ名を領域５１〜５４に表示する際に、対話部１３がその輝度を低めに表示するなどの変化を与えることにより、利用者に登録済みのバリエーションを把握させやすくできる。
（変形実施例）
なお、本発明に係るパタン認識装置およびその方法と、パタン登録装置およびその方法は上記の例に限定されず、その趣旨を逸脱しない限り様々に組み合わせたり変形したりして実施することが可能である。
【００３０】
例えば、グループ別のパタン認識結果を正しく得られるように、グループ毎の認識処理系を用意した図９に例示する構成が考えられる。この図において、未知パタンを入力するパタン入力処理（ステップＳ３０１）以降、当該未知パタンを認識する処理は、一般的な従来例として図３に例示したパタン照合処理（図３のステップＳ１０２）〜認識結果出力処理（図３のステップＳ１０４）をグループ別に専用の処理ラインに分割し、これらを並列に実装したものである（図中のステップＳ３０２、Ｓ３１２、Ｓ３２２〜ステップＳ３０４、Ｓ３１４、Ｓ３２４）。各ラインの認識結果を最後にまとめて出力することで、グループ別に見た入力パタンのカテゴリを同時に得ることができる。この構成は各グループの認識処理系を個別に調整し易いという特長を持つ反面、処理ラインが多重化することで構成規模が大きくなるという短所も存在する。なお、この構成が例えば音声認識処理系と画像認識処理系を並列に持つ従来の装置あるいは方法と異なる点は、従来例が音声認識処理系と画像認識処理系が各々個別のパタン入力処理を持たなければならないのに対し、本構成におけるパタン入力処理は並列した全ての認識処理系で共通に処理されるべきパタンを入力することであり、前述した本発明の特徴であるグループの概念が暗黙のうちに埋め込まれているのである。
【００３１】
また、例えば、上記パタン認識装置とパタン登録装置で共通する機能ブロックを共有させ、両装置を同一の装置に組み込むことも可能である。
【００３２】
また、図１０に示すように、本発明に係るパタン認識方法やパタン登録方法を表現する情報（例えばプログラム）を記録媒体６１に記録し、該記録した情報を該記録媒体６１を経由して装置６２に適用したり、さらに通信回線６３を経由して装置６４に適用することも可能である。
【００３３】
【発明の効果】
本発明によれば、グループ別に見た最も有力なカテゴリ（それが前述した有力候補リストの下位に埋もれていても）を抽出して認識結果として出力可能とすることで、同一未知入力が属する複数の異なるカテゴリを同時にかつ少ない構成の追加で可能ならしめる。
【００３４】
また、本発明によれば、グループを跨いだ複数のカテゴリに属するサンプルパタンを、それが対応する複数の辞書に一括して登録可能とすることで、サンプルパタンのバリエーションを教示する際の重複を無くし、もって教示時間を削減し、教示に際しての教示者の負担と混乱を軽減する。
【図面の簡単な説明】
【図１】本発明に係るパタン認識装置の１実施例の機能ブロック構成を示した図。
【図２】本発明に係るパタン認識装置の１実施例における処理構成を示した図。
【図３】従来のパタン認識装置における処理構成を示した図。
【図４】顔パタン認識における辞書カテゴリのグループ構成の例を示した図。
【図５】従来のパタン認識における問題点を示した図。
【図６】本発明に係るパタン登録装置の１実施例の機能ブロック構成を示した図。
【図７】本発明に係るパタン登録装置の１実施例における処理構成を示した図。
【図８】本発明に係るパタン登録装置の画面構成例を示した図。
【図９】本発明に係るパタン認識装置の別の処理構成を示した図。
【図１０】本発明を記録媒体に実施した形態を説明した図。
【符号の説明】
１ パタン入力部
２ パタン照合部
３ 有力候補抽出部
４ グループ別最有力候補抽出部
５ 認識結果出力部

Claims (4)

1. 認識すべき人の顔パタンを入力する手段と、該入力パタンを予めグループ化されたカテゴリ毎に用意された辞書情報と照合して前記グループ毎に類似度を計算する手段と、該照合結果から前記各グループに属する最高類似度を獲得するカテゴリをそれぞれ抽出する手段と、該抽出されたカテゴリを前記グループ毎の識別結果として出力する手段とを具備し、前記各カテゴリは、人物の識別のためのカテゴリ群、顔の表情の識別のためのカテゴリ群あるいは顔の向きの識別のためのカテゴリ群にグループ分けされていることを特徴とするパタン認識装置。
2. 認識すべき人の顔パタンを入力する工程と、該入力パタンを予めグループ化されたカテゴリ毎に用意された辞書情報と照合して前記グループ毎に類似度を計算する工程と、該照合結果から前記各グループに属する最高類似度を獲得するカテゴリをそれぞれ抽出する工程と、該抽出されたカテゴリを前記グループ毎の識別結果として出力する工程とを具備し、前記各カテゴリは、人物の識別のためのカテゴリ群、顔の表情の識別のためのカテゴリ群あるいは顔の向きの識別のためのカテゴリ群にグループ分けされていることを特徴とするパタン認識方法。
3. 登録すべき教示パタンを入力する手段と、該教示パタンを学習すべき辞書のカテゴリをグループ毎に各１つ選択する手段と、該選択された辞書の情報に前記教示パタンの情報を加えて辞書を更新もしくは新規に生成する手段とを具備し、前記各カテゴリは、人物の識別のためのカテゴリ群、顔の表情の識別のためのカテゴリ群あるいは顔の向きの識別のためのカテゴリ群にグループ分けされていることを特徴とするパタン登録装置。
4. 登録すべき教示パタンを入力する工程と、該教示パタンを学習すべき辞書のカテゴリをグループ毎に各１つ選択する工程と、該選択された辞書の情報に前記教示パタンの情報を加えて辞書を更新もしくは新規に生成する工程とを具備し、前記各カテゴリは、人物の識別のためのカテゴリ群、顔の表情の識別のためのカテゴリ群あるいは顔の向きの識別のためのカテゴリ群にグループ分けされていることを特徴とするパタン登録方法。

Images