JP6622124B2

JP6622124B2 - 算出装置及び認識装置

Info

Publication number: JP6622124B2
Application number: JP2016054440A
Authority: JP
Inventors: 智行柴田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2016-03-17
Filing date: 2016-03-17
Publication date: 2019-12-18
Anticipated expiration: 2036-03-17
Also published as: US20170270351A1; US11443552B2; JP2017167968A

Description

本発明の実施形態は、算出装置及び認識装置に関する。

従来から、パターン認識などを行うために、登録パターンと入力パターンとの類似性を表す類似度を算出する技術が知られている。

このような技術において、例えば、顔認識を行う際に、入力パターンである顔画像に写る顔に付帯された眼鏡などの付帯品や画質などの変動要因の影響で、登録パターンである顔画像との類似度が変動し、誤認識されてしまうことを防止するため、入力パターンと登録パターンとの類似度に加え、入力パターンに劣化処理を施した劣化パターンと登録パターンとの類似度も算出し、両類似度を統合する技術がある。

再表２０１３−０８８７０７号公報

しかしながら、上述したような従来技術では、入力パターンと登録パターンとの類似度が想定よりも高くなる場合には対応できるが、入力パターンと登録パターンとの類似度が想定よりも低くなる場合には対応できない。また、上述したような従来技術では、劣化処理用のアルゴリズムの開発が必要であり、コストを要する。

本発明が解決しようとする課題は、コストを抑えつつ類似度の算出精度を高めることができる算出装置及び認識装置を提供することである。

実施形態の算出装置は、登録部と、第１算出部と、受付部と、第２算出部と、を備える。登録部は、複数の登録パターンを登録する。第１算出部は、前記登録パターン間の近傍度合いを算出する。受付部は、入力パターンを受け付ける。第２算出部は、前記複数の登録パターンのうちの第１登録パターンと前記入力パターンとの第１類似度を算出するとともに、前記複数の登録パターンのうちの前記第１登録パターンと近傍関係にある１以上の第２登録パターンそれぞれと前記入力パターンとの第２類似度を算出し、前記第１類似度と前記１以上の第２類似度とを統合した統合類似度を算出する。

第１実施形態の認識装置の構成例を示す図。第１実施形態の第１類似度及び第２類似度の例を示す説明図。第１実施形態の処理例を示すフローチャート。変形例１の第１類似度、第２類似度、及び近傍度合いの例を示す説明図。第２実施形態の認識装置の構成例を示す図。第２実施形態の第１類似度、第２類似度、及び第３類似度の例を示す説明図。第２実施形態の処理例を示すフローチャート。変形例２の第１類似度、第２類似度、第３類似度、及び近傍度合いの例を示す説明図。変形例３の第１類似度及び第２類似度の例を示す説明図。変形例４の第１類似度、第２類似度、及び近傍度合いの例を示す説明図。変形例５の第１類似度、第２類似度、及び第３類似度の例を示す説明図。変形例６の第１類似度、第２類似度、第３類似度、及び近傍度合いの例を示す説明図。各実施形態及び各変形例の認識装置のハードウェア構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の認識装置１０１の構成の一例を示す図である。図１に示すように、認識装置１０１は、登録部１１１と、第１算出部１１３と、受付部１１５と、第２算出部１１７と、認識部１１９と、出力部１２１と、を備える。

登録部１１１、第１算出部１１３、受付部１１５、第２算出部１１７、認識部１１９、及び出力部１２１は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

登録部１１１は、複数の登録パターンを登録する。例えば、登録部１１１は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶部（図示省略）に複数の登録パターンを登録する。

登録パターンとしては、例えば、対象を撮像した画像から抽出した当該対象の特徴量と、当該対象が属するカテゴリと、の組などが挙げられるが、これに限定されるものではない。

対象としては、例えば、物体、顔、及び文字などが挙げられるが、これらに限定されるものではない。特徴量は、例えば、任意の次元数のベクトルである。なお、画像から特徴量をどのように抽出してもよいが、例えば、Dalal N, Triggs B (2005) Histograms of oriented gradients for human detection. In: Computer Vision and Pattern Recognition, IEEE Computer Society Conference on. Volume vol. 1, pp. 886−893.に開示されているHistograms of Oriented Gradientsにより抽出してもよい。また、部分空間の基底は、複数本のベクトルの主成分ベクトルで表現されるため、登録パターン（特徴量）が部分空間法で表現される部分空間の基底でもよい。

第１算出部１１３は、登録部１１１により登録された登録パターン間の近傍度合いを算出する。第１実施形態では、近傍度合いは、距離尺度における近い順序に基づき定義される。なお、距離尺度は、類似度と距離とに大別できるが、どちらであってもよい。

例えば、距離尺度が類似度の場合、第１算出部１１３は、近傍度合いを正規化相互相関などで算出すればよい。この場合、近傍度合いは、１に近いほど近傍であることを表し、０に近いほど近傍でないことを表す。なお、登録パターンが部分空間の場合、部分空間の間の類似度は、例えば、相互部分空間法により求めることができ、正準角と呼ばれる角度で定義できる。なお、Ｎ次元の部分空間の間の正準角はＮ個定義でき、最大値などが用いられる。

また例えば、距離尺度が距離の場合、Ｌ２ノルム、Ｌ１ノルム、Ｌ０ノルム、及びＬ∞ノルムなどがあり、第１算出部１１３は、それぞれ定義に基づき、近傍度合いを（距離）を算出できる。

なお、登録パターンｘ_ｉと近傍関係にある登録パターンは、Ｎ_ｋ（ｘ_ｉ）＝ｘ_ｊで表され、ｊ番目の登録パターンｘ_ｊが登録パターンｘ_ｉのｋ番目の近傍パターンであることが表わされる。ｋは予め定められた固定値（例えば、ｋ＝１０）であり、登録パターンｘ_ｉと近傍関係にある登録パターンは、最大ｋ個保有される。

受付部１１５は、入力パターンを受け付ける。入力パターンとしては、例えば、対象を撮像した画像から抽出した当該対象の特徴量が挙げられるが、これに限定されるものではない。

第２算出部１１７は、登録部１１１により登録された登録パターン毎に、当該登録パターンである第１登録パターンと受付部１１５により受け付けられた入力パターンとの第１類似度を算出するとともに、登録部１１１により登録された複数の登録パターンのうちの第１登録パターンと近傍関係（ｋ近傍の関係）にある１以上の第２登録パターンそれぞれと入力パターンとの第２類似度を算出し、第１類似度と１以上の第２類似度とを統合した統合類似度を算出する。なお、登録部１１１により登録された全ての登録パターンについて、統合類似度を算出する必要はなく、登録部１１１により登録された特定の１以上の登録パターンについて、統合類似度を算出してもよい。

ここで、前述のように、特徴量がベクトルの場合、第１類似度及び第２類似度は、正規化相互相関により算出してもよいし、距離尺度により算出した距離の逆数として算出してもよい。また、前述のように、特徴量が部分空間の基底の場合、第１類似度及び第２類似度は、相互部分空間法により算出してもよい。

また統合類似度は、例えば、各類似度（第１類似度、第２類似度）の重み付け和とすることができる。なお、重みは、予め統計的に学習して算出した固定値を用いればよい。

図２は、第１実施形態の第１類似度及び第２類似度の一例を示す説明図である。図２に示す例では、パターン２０１が第１登録パターン（以下、「第１登録パターン２０１」と称する）である。また、パターン１５１が入力パターン（以下、「入力パターン１５１」と称する）である。また、パターン２１１〜２１４が、第１登録パターン２０１と近傍関係にある１以上の第２登録パターン（以下、「第２登録パターン２１１〜２１４」と称する）である。つまり、図２に示す例では、ｋ＝４であり、第２登録パターン２１１〜２１４は、第１登録パターン２０１との近傍度合いが上位４番目までのパターンである。

この場合、第２算出部１１７は、第１類似度として、第１登録パターン２０１と入力パターン１５１との類似度１６１を算出する。また第２算出部１１７は、１以上の第２類似度として、第２登録パターン２１１と入力パターン１５１との類似度１７１、第２登録パターン２１２と入力パターン１５１との類似度１７２、第２登録パターン２１３と入力パターン１５１との類似度１７３、及び第２登録パターン２１４と入力パターン１５１との類似度１７４を算出する。そして第２算出部１１７は、類似度１６１、類似度１７１、類似度１７２、類似度１７３、及び類似度１７４を統合して統合類似度を算出する。

認識部１１９は、第２算出部１１７により算出された複数の統合類似度に基づいて、受付部１１５により受け付けられた入力パターンを認識する。

例えば認識部１１９は、複数の統合類似度のうちの類似度が最も高い統合類似度が算出された第１登録パターンに基づいて入力パターンを認識する。この場合、認識部１１９は、例えば、入力パターンが、類似度が最も高い統合類似度が算出された第１登録パターンのカテゴリに属すると認識する。

また例えば認識部１１９は、複数の統合類似度のうちの類似度が閾値以上の統合類似度が算出された１以上の第１登録パターンに基づいて入力パターンを認識する。この場合、認識部１１９は、例えば、入力パターンが、類似度が閾値以上の統合類似度が算出された１以上の第１登録パターンのそれぞれのカテゴリに属する確率を算出する。

出力部１２１は、認識部１１９の認識結果などを出力する。例えば、出力部１２１は、入力パターンが属するカテゴリ、当該カテゴリに属する確率、及びカテゴリの決定（認識）に用いられた統合類似度の少なくともいずれかなどを出力する。

図３は、第１実施形態の処理の手順の流れの一例を示すフローチャートである。

まず、登録部１１１は、複数の登録パターンを登録する（ステップＳ１０１）。

続いて、第１算出部１１３は、登録部１１１により登録された登録パターン間の近傍度合いを算出する（ステップＳ１０３）。

続いて、受付部１１５は、入力パターンを受け付ける（ステップＳ１０５）。

続いて、第２算出部１１７は、登録部１１１により登録された登録パターンのうち第１登録パターンに未設定の登録パターンを第１登録パターンに設定する（ステップＳ１０７）。

続いて、第２算出部１１７は、第１登録パターンと入力パターンとの第１類似度を算出する（ステップＳ１０９）。

続いて、第２算出部１１７は、登録部１１１により登録された複数の登録パターンのうちの第１登録パターンと近傍関係にある１以上の第２登録パターンそれぞれと入力パターンとの第２類似度を算出する（ステップＳ１１１）。

続いて、第２算出部１１７は、算出した第１類似度と１以上の第２類似度とを統合して統合類似度を算出する（ステップＳ１１３）。

以降、登録部１１１により登録された複数の登録パターン内に、第１登録パターンに未設定の登録パターンが無くなるまで、ステップＳ１０７〜ステップＳ１１３の処理が繰り返される（ステップＳ１１５でＹｅｓ）。

続いて、第１登録パターンに未設定の登録パターンが無くなると（ステップＳ１１５でＮｏ）、認識部１１９は、第２算出部１１７により算出された複数の統合類似度に基づいて、受付部１１５により受け付けられた入力パターンを認識する（ステップＳ１１７）。

続いて、出力部１２１は、認識部１１９の認識結果などを出力する（ステップＳ１１９）。

以上のように第１実施形態によれば、第１登録パターンと入力パターンとの第１類似度だけでなく、第１登録パターンと近傍関係にある１以上の第２登録パターンそれぞれと入力パターンとの第２類似度を用いて、第１登録パターンと入力パターンとの類似性を求めるため、コストを抑えつつ類似度の算出精度を高めることができる。具体的には、正解分布と不正解分布が離れる効果がある。

特に第１実施形態によれば、第１登録パターンと入力パターンとの第１類似度が想定よりも高くなる場合だけでなく、第１類似度が想定よりも低くなる場合であっても、第１登録パターンと入力パターンとの類似性の算出精度を高めることができる。

（変形例１）
上記第１実施形態において、統合類似度に、１以上の第２登録パターンそれぞれと第１登録パターンとの近傍度合いを含めるようにしてもよい。この場合、第２算出部１１７は、第１類似度と、１以上の第２類似度と、１以上の第２登録パターンそれぞれと第１登録パターンとの近傍度合いと、を統合して、統合類似度を算出すればよい。

図４は、変形例１の第１類似度、第２類似度、及び近傍度合いの一例を示す説明図である。図４に示す例では、第２算出部１１７は、図２に示す例で説明した類似度１６１、類似度１７１、類似度１７２、類似度１７３、及び類似度１７４に加え、第２登録パターン２１１と第１登録パターン２０１との近傍度合い２２１、第２登録パターン２１２と第１登録パターン２０１との近傍度合い２２２、第２登録パターン２１３と第１登録パターン２０１との近傍度合い２２３、及び第２登録パターン２１４と第１登録パターン２０１との近傍度合い２２４を統合して統合類似度を算出する。

（第２実施形態）
第２実施形態では、入力パターンと第１登録パターンとが入れ替わっても同様の統合類似度を算出する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図５は、第２実施形態の認識装置５０１の構成の一例を示す図である。図５に示すように、認識装置５０１は、第１算出部５１３及び第２算出部５１７が第１実施形態と相違する。

第１算出部５１３は、登録部１１１により登録された複数の登録パターンそれぞれと受付部１１５により受け付けられた入力パターンとの近傍度合いを更に算出する。なお、近傍度合いの算出手法は、第１実施形態で説明した登録パターン間の近傍度合いの算出手法と同様である。

第２算出部５１７は、登録部１１１により登録された複数の登録パターンのうちの入力パターンと近傍関係にある１以上の第３登録パターンそれぞれと第１登録パターンとの第３類似度を更に算出し、第１類似度と、１以上の第２類似度と、１以上の第３類似度と、を統合して、統合類似度を算出する。なお、第１類似度の算出手法、第２類似度の算出手法、及び統合類似度の算出手法は、第１実施形態と同様である。

図６は、第２実施形態の第１類似度、第２類似度、及び第３類似度の一例を示す説明図である。図６に示す例において、第１登録パターン２０１、入力パターン１５１、第２登録パターン２１１〜２１４、類似度１６１、類似度１７１、類似度１７２、類似度１７３、及び類似度１７４については、図２と同様である。

なお図６に示す例では、パターン６１１〜６１４が、入力パターン１５１と近傍関係にある１以上の第３登録パターン（以下、「第３登録パターン６１１〜６１４」と称する）である。つまり、図６に示す例でも、ｋ＝４であり、第３登録パターン６１１〜６１４は、入力パターン１５１との近傍度合いが上位４番目までのパターンである。

この場合、第２算出部５１７は、１以上の第３類似度として、第３登録パターン６１１と第１登録パターン２０１との類似度６２１、第３登録パターン６１２と第１登録パターン２０１との類似度６２２、第３登録パターン６１３と第１登録パターン２０１との類似度６２３、及び第３登録パターン６１４と第１登録パターン２０１との類似度６２４を更に算出する。そして第２算出部５１７は、類似度１６１、類似度１７１、類似度１７２、類似度１７３、類似度１７４、類似度６２１、類似度６２２、類似度６２３、及び類似度６２４を統合して統合類似度を算出する。

図７は、第２実施形態の処理の手順の流れの一例を示すフローチャートである。

まず、ステップＳ２０１〜Ｓ２０５までの処理は、図３に示すフローチャートのステップＳ１０１〜Ｓ１０５までの処理と同様である。

続いて、第１算出部５１３は、登録部１１１により登録された複数の登録パターンそれぞれと受付部１１５により受け付けられた入力パターンとの近傍度合いを算出する（ステップＳ２０６）。

続いて、ステップＳ２０７〜Ｓ２１１までの処理は、図３に示すフローチャートのステップＳ１０７〜Ｓ１１１までの処理と同様である。

続いて、第２算出部５１７は、登録部１１１により登録された複数の登録パターンのうちの入力パターンと近傍関係にある１以上の第３登録パターンそれぞれと第１登録パターンとの第３類似度を算出する（ステップＳ２１２）。

続いて、第２算出部５１７は、算出した第１類似度と１以上の第２類似度と１以上の第３類似度とを統合して統合類似度を算出する（ステップＳ２１３）。

以降の、ステップＳ２１５〜Ｓ２１９までの処理は、図３に示すフローチャートのステップＳ１１５〜Ｓ１１９までの処理と同様である。

以上のように第２実施形態においても第１実施形態と同様の効果を奏する。特に第２実施形態によれば、入力パターンと近傍関係にある１以上の第３登録パターンそれぞれと第１登録パターンとの第３類似度を統合類似度に含めているため、入力パターンと第１登録パターンとが入れ替わっても同様の統合類似度を算出できる。このため、１：１型の認識を実現する際に、入力パターンと第１登録パターンとが入れ替わっても同様の統合類似度を算出できる。

（変形例２）
上記第２実施形態において、統合類似度に、１以上の第２登録パターンそれぞれと第１登録パターンとの近傍度合いと、１以上の第３登録パターンそれぞれと入力パターンとの近傍度合いと、を含めるようにしてもよい。この場合、第２算出部５１７は、第１類似度と、１以上の第２類似度と、１以上の第３類似度と、１以上の第２登録パターンそれぞれと第１登録パターンとの近傍度合いと、１以上の第３登録パターンそれぞれと入力パターンとの近傍度合いと、を統合して、統合類似度を算出すればよい。

図８は、変形例２の第１類似度、第２類似度、第３類似度、及び近傍度合いの一例を示す説明図である。図８に示す例では、第２算出部５１７は、図６に示す例で説明した類似度１６１、類似度１７１、類似度１７２、類似度１７３、類似度１７４、類似度６２１、類似度６２２、類似度６２３、及び類似度６２４に加え、第２登録パターン２１１と第１登録パターン２０１との近傍度合い２２１、第２登録パターン２１２と第１登録パターン２０１との近傍度合い２２２、第２登録パターン２１３と第１登録パターン２０１との近傍度合い２２３、第２登録パターン２１４と第１登録パターン２０１との近傍度合い２２４、第３登録パターン６１１と入力パターン１５１との近傍度合い６３１、第３登録パターン６１２と入力パターン１５１との近傍度合い６３２、第３登録パターン６１３と入力パターン１５１との近傍度合い６３３、及び第３登録パターン６１４と入力パターン１５１との近傍度合い６３４を統合して統合類似度を算出する。

（変形例３）
上記第１実施形態において、登録パターンの数が足りない場合、参照パターンを使用するようにしてもよい。なお、参照パターンとは、登録パターンを補足するために予め用意されているパターンであり、例えば、対象を撮像した画像から抽出した当該対象の特徴量が挙げられるが、これに限定されるものではない。

この場合、第１算出部５１３は、複数の参照パターンを設定し、複数の登録パターンそれぞれと複数の参照パターンそれぞれとの近傍度合いを更に算出する。なお、近傍度合いの算出手法は、第１実施形態で説明した登録パターン間の近傍度合いの算出手法と同様である。

また、第２算出部５１７は、１以上の第２類似度として、複数の登録パターン及び複数の参照パターンのうちの第１登録パターンと近傍関係にある１以上の第２登録パターン及び第１参照パターンそれぞれと入力パターンとの類似度を算出する。

図９は、変形例３の第１類似度及び第２類似度の一例を示す説明図である。図９に示す例において、第１登録パターン２０１、入力パターン１５１、及び類似度１６１については、図２と同様である。

なお図９に示す例では、パターン３１１〜３１４が、第１登録パターン２０１と近傍関係にある１以上の第１参照パターン（以下、「第１参照パターン３１１〜３１４」と称する）である。つまり、図９に示す例では、ｋ＝４であり、第１参照パターン３１１〜３１４は、第１登録パターン２０１との近傍度合いが上位４番目までのパターンである。なお図９に示す例では、第１登録パターン２０１と近傍関係にある第２登録パターンは存在しない。

この場合、第２算出部５１７は、１以上の第２類似度として、第１参照パターン３１１と入力パターン１５１との類似度１８１、第１参照パターン３１２と入力パターン１５１との類似度１８２、第１参照パターン３１３と入力パターン１５１との類似度１８３、及び第１参照パターン３１４と入力パターン１５１との類似度１８４を算出する。そして第２算出部５１７は、類似度１６１、類似度１８１、類似度１８２、類似度１８３、及び類似度１８４を統合して統合類似度を算出する。

以上のように変形例３においても第１実施形態と同様の効果を奏する。特に変形例３によれば、登録パターンの数が足りない場合であっても対応できる。

（変形例４）
上記変形例３において、統合類似度に、１以上の第２登録パターンそれぞれと第１登録パターンとの近傍度合いを含めるようにしてもよい。この場合、第２算出部１１７は、第１類似度と、１以上の第２類似度と、１以上の第２登録パターン及び第１参照パターンそれぞれと第１登録パターンとの近傍度合いと、を統合して、統合類似度を算出すればよい。

図１０は、変形例４の第１類似度、第２類似度、及び近傍度合いの一例を示す説明図である。図１０に示す例では、第２算出部５１７は、図９に示す例で説明した類似度１６１、類似度１８１、類似度１８２、類似度１８３、及び類似度１８４に加え、第１参照パターン３１１と第１登録パターン２０１との近傍度合い３２１、第２登録パターン３１２と第１登録パターン２０１との近傍度合い３２２、第２登録パターン３１３と第１登録パターン２０１との近傍度合い３２３、及び第２登録パターン３１４と第１登録パターン２０１との近傍度合い３２４を統合して統合類似度を算出する。

（変形例５）
上記第２実施形態においても、登録パターンの数が足りない場合、参照パターンを使用するようにしてもよい。

この場合、第１算出部５１３は、複数の参照パターンを設定し、複数の登録パターンそれぞれと複数の参照パターンそれぞれとの近傍度合い、及び複数の参照パターンそれぞれと入力パターンとの近傍度合いを更に算出する。なお、近傍度合いの算出手法は、第１実施形態で説明した登録パターン間の近傍度合いの算出手法と同様である。

また、第２算出部５１７は、１以上の第２類似度として、複数の登録パターン及び複数の参照パターンのうちの第１登録パターンと近傍関係にある１以上の第２登録パターン及び第１参照パターンそれぞれと入力パターンとの類似度を算出する。また、第２算出部５１７は、１以上の第３類似度として、複数の登録パターン及び複数の参照パターンのうちの入力パターンと近傍関係にある１以上の第３登録パターン及び第２参照パターンそれぞれと第１登録パターンとの類似度を算出する。

図１１は、変形例５の第１類似度、第２類似度、及び第３類似度の一例を示す説明図である。図１１に示す例において、第１登録パターン２０１、入力パターン１５１、及び類似度１６１については、図６と同様である。

なお図１１に示す例では、パターン３１１〜３１４が、第１登録パターン２０１と近傍関係にある１以上の第１参照パターン（以下、「第１参照パターン３１１〜３１４」と称する）である。また、パターン７１１〜７１４が、入力パターン１５１と近傍関係にある１以上の第２参照パターン（以下、「第２参照パターン７１１〜７１４」と称する）である。つまり、図１１に示す例では、ｋ＝４であり、第１参照パターン３１１〜３１４は、第１登録パターン２０１との近傍度合いが上位４番目までのパターンであり、第２参照パターン７１１〜７１４は、入力パターン１５１との近傍度合いが上位４番目までのパターンである。なお図１１に示す例では、第１登録パターン２０１と近傍関係にある第２登録パターン、及び入力パターン１５１と近傍関係にある第３登録パターンは存在しない。

この場合、第２算出部５１７は、１以上の第２類似度として、第１参照パターン３１１と入力パターン１５１との類似度１８１、第１参照パターン３１２と入力パターン１５１との類似度１８２、第１参照パターン３１３と入力パターン１５１との類似度１８３、及び第１参照パターン３１４と入力パターン１５１との類似度１８４を算出する。また第２算出部５１７は、１以上の第３類似度として、第３参照パターン７１１と第１登録パターン２０１との類似度７２１、第３参照パターン７１２と第１登録パターン２０１との類似度７２２、第３参照パターン７１３と第１登録パターン２０１との類似度７２３、及び第３参照パターン７１４と第１登録パターン２０１との類似度７２４を算出する。そして第２算出部５１７は、類似度１６１、類似度１８１、類似度１８２、類似度１８３、類似度１８４、類似度７２１、類似度７２２、類似度７２３、及び類似度７２４を統合して統合類似度を算出する。

以上のように変形例５においても第２実施形態と同様の効果を奏する。特に変形例５によれば、登録パターンの数が足りない場合であっても対応できる。

（変形例６）
上記変形例５において、統合類似度に、１以上の第２登録パターン及び第１参照パターンそれぞれと第１登録パターンとの近傍度合いと、１以上の第３登録パターン及び第２参照パターンそれぞれと入力パターンとの近傍度合いと、を含めるようにしてもよい。この場合、第２算出部５１７は、第１類似度と、１以上の第２類似度と、１以上の第３類似度と、１以上の第２登録パターン及び第１参照パターンそれぞれと第１登録パターンとの近傍度合いと、１以上の第３登録パターン及び第２参照パターンそれぞれと入力パターンとの近傍度合いと、を統合して、統合類似度を算出すればよい。

図１２は、変形例６の第１類似度、第２類似度、第３類似度、及び近傍度合いの一例を示す説明図である。図１２に示す例では、第２算出部５１７は、図１１に示す例で説明した類似度１６１、類似度１８１、類似度１８２、類似度１８３、類似度１８４、類似度７２１、類似度７２２、類似度７２３、及び類似度７２４に加え、第１参照パターン３１１と第１登録パターン２０１との近傍度合い３２１、第１参照パターン３１２と第１登録パターン２０１との近傍度合い３２２、第１参照パターン３１３と第１登録パターン２０１との近傍度合い３２３、第１参照パターン３１４と第１登録パターン２０１との近傍度合い３２４、第２参照パターン７１１と入力パターン１５１との近傍度合い７３１、第２参照パターン７１２と入力パターン１５１との近傍度合い７３２、第２参照パターン７１３と入力パターン１５１との近傍度合い７３３、及び第２参照パターン７１４と入力パターン１５１との近傍度合い７３４を統合して統合類似度を算出する。

（適用例）
上記第１〜２実施形態、及び変形例１〜６で説明した認識装置は、顔認識、物体認識、及び文字認識などに有用である。

顔認識（顔照合）の場合、登録パターン、入力パターン、及び参照パターンなどの各パターンの特徴量は、以下のように生成される。

まず、処理対象となる画像中から、顔検出技術により顔が検出される。顔検出はどのような方法を用いても構わないが、例えば、三田、「顔検出に適した共起に基づくJoint Harr-like特徴」、電子情報通信学会論文誌、J89-D、8、2006、p.1791-1801で述べられている方法を用いて検出することができる。

次に、検出した顔領域から、顔の部位を特徴点として画像中の顔部位の座標が検出される。顔特徴点の検出はどのような方法を用いても構わないが、例えば、湯浅，武口，小坂谷，山口，「静止画顔認証のための自動顔特徴点抽出」，信学技報PRMU2006-222,pp.5-10,2007.）で述べられている方法を用いて検出することができる。

次に、検出した特徴点座標を用いて顔の向きおよび大きさを三次元的に正規化した顔パターンが生成される。例えば、特許第４６５３６０６号公報で述べられている方法を用いて正規化パターンを生成することができる。

最後に、正規化した顔パターンから、特徴量が抽出される。特徴抽出はどのような方法を用いても構わないが、例えば、特許第４４５９１３７号公報で述べられている方法を用いて、特徴量を抽出することができる。

なお、顔認識（顔照合）には、複数登録した顔画像（登録パターン）と照合用の顔画像（入力パターン）を比較し一致する顔があるかどうかを検索する１：Ｎ型の顔照合と、２枚の顔画像が本人であるか他人であるかを判定する１：１型の顔照合とがある。

１：Ｎ型の顔照合は、参照用の顔画像（参照パターン）を用いる必要がないため、上記第１〜２実施形態、及び変形例１〜２の認識装置で行われる。

ここで、第１登録パターンとなる顔画像の特徴量をｄ次元のベクトルｘ_ｔ、入力パターンとなる顔画像の特徴量をｄ次元のベクトルｘ_ｑ、第２登録パターンとなる顔画像の特徴量をｄ次元のベクトルｒ_ｔ，ｋ、第３登録パターンとなる顔画像の特徴量をｄ次元のベクトルｒ_ｑ，ｋとする。

この場合、第１実施形態の認識装置での統合類似度は、ｘ_ｔとｘ_ｑとの類似度（第１類似度）、及びｘ_ｑとｒ_ｔ，ｋとのｋ個の類似度（第２類似度）を統合したものとなり、第２実施形態の認識装置での統合類似度は、ｘ_ｔとｘ_ｑとの類似度（第１類似度）、ｘ_ｑとｒ_ｔ，ｋとのｋ個の類似度（第２類似度）、及びｘ_ｔとｒ_ｑ，ｋとのｋ個の類似度（第３類似度）を統合したものとなる。

一方、１：１型の顔照合は、参照用の顔画像（参照パターン）を用いる必要があるため、上記変形例３〜６の認識装置で行われる。

ここで、第１登録パターンとなる顔画像の特徴量をｄ次元のベクトルｘ_ｔ、入力パターンとなる顔画像の特徴量をｄ次元のベクトルｘ_ｑ、第１参照パターンとなる顔画像の特徴量をｄ次元のベクトルｖ_ｔ，ｋ、第２参照パターンとなる顔画像の特徴量をｄ次元のベクトルｖ_ｑ，ｋとする。

この場合、変形例３の認識装置での統合類似度は、ｘ_ｔとｘ_ｑとの類似度（第１類似度）、及びｘ_ｑとｖ_ｔ，ｋとのｋ個の類似度（第２類似度）を統合したものとなり、変形例５の認識装置での統合類似度は、ｘ_ｔとｘ_ｑとの類似度（第１類似度）、ｘ_ｑとｖ_ｔ，ｋとのｋ個の類似度（第２類似度）、及びｘ_ｔとｖ_ｑ，ｋとのｋ個の類似度（第３類似度）を統合したものとなる。

また、物体認識の場合、登録パターン、入力パターン、及び参照パターンなどの各パターンの特徴量は、以下のように生成される。

まず、処理対象となる画像中から、物体検出技術により物体が検出される。物体検出はどのような方法を用いても構わないが、例えば、Ming-Ming Cheng, Ziming Zhang, Wen-Yan Lin, Philip H. S. Torr,「BING: Binarized Normed Gradients for Objectness Estimation at 300fps」, IEEE International Conference on Computer Vision and Pattern Recognition (IEEE CVPR), 2014, 2386-2393で述べられている方法を用いて検出することができる。

次に、検出した物体領域から、特徴量が抽出される。特徴抽出はどのような方法を用いても構わないが、例えば、Dalal N, Triggs B (2005) Histograms of oriented gradients for human detection. In: Computer Vision and Pattern Recognition, IEEE Computer Society Conference on. Volume vol. 1, pp. 886−893.で述べられている方法を用いて、特徴量を抽出することができる。

なお、物体認識には、静止画１枚から特徴量（登録パターン）を抽出して認識を行う場合と、動画像から複数の特徴量（登録パターン）を抽出して認識を行う場合とがある。

静止画１枚から抽出した特徴量を用いる場合、各カテゴリの特徴量はベクトル１本であり、１：Ｎ型の顔認証と同様の処理により、類似度を算出できる。

一方、動画像から抽出した複数の特徴量を用いる場合、１カテゴリの特徴量集合から部分空間を算出し、相互部分空間法により類似度を算出してもよいし、全ての特徴量を用いて、k近傍を計算する際に、同じカテゴリの特徴量を複数選択しないようにする制約を設けることで、同様に計算することができる。

また、１文字として切り出された文字画像がどの文字コードに対応するかを判定する文字認識の場合、登録パターン、入力パターン、及び参照パターンなどの各パターンの特徴量は、以下のように生成される。

この場合、処理対象となる文字画像中から、特徴量が抽出される。特徴抽出はどのような方法を用いても構わないが、例えば、Kawamura, A. et al. “Online recognition of freely handwritten Japanese characters using directional feature densities”. Proceedings of 11^th International Conference on Pattern Recognition (ICPR1992). The Hague, The Netherlands, 1992-08, IAPR. 1992, p.183 - 186.で述べられている方法を用いて、特徴量を抽出することができる。

なお、一般的に登録する文字コードは複数存在するので、上記した物体認識と同様に各文字コードとの類似度を算出することができる。

（ハードウェア構成）
図１３は、各実施形態及び各変形例の認識装置のハードウェア構成の一例を示す図である。図１３に示すように、各実施形態及び各変形例の認識装置は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの主記憶装置９０２と、ＨＤＤやＳＳＤなどの補助記憶装置９０３と、ディスプレイなどの表示装置９０４と、キーボードやマウスなどの入力装置９０５と、通信インタフェースなどの通信装置９０６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

各実施形態及び各変形例の認識装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、各実施形態及び各変形例の認識装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、各実施形態及び各変形例の認識装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、各実施形態及び各変形例の認識装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

各実施形態及び各変形例の認識装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＲＯＭやＨＤＤなどからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

本発明は、上記各実施形態及び各変形例の認識装置そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態及び変形例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、上記実施形態及び変形例に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせても良い。

例えば、実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、上記各実施形態及び各変形例の認識装置によれば、コストを抑えつつ類似度の算出精度を高めることができる。

１０１、５０１認識装置
１１１登録部
１１３、５１３第１算出部
１１５受付部
１１７、５１７第２算出部
１１９認識部
１２１出力部
９０１制御装置
９０２主記憶装置
９０３補助記憶装置
９０４表示装置
９０５入力装置
９０６通信装置

Claims

複数の登録パターンを登録する登録部と、
前記登録パターン間の近傍度合いを算出する第１算出部と、
入力パターンを受け付ける受付部と、
前記複数の登録パターンのうちの第１登録パターンと前記入力パターンとの第１類似度を算出するとともに、前記複数の登録パターンのうちの前記第１登録パターンと近傍関係にある１以上の第２登録パターンそれぞれと前記入力パターンとの第２類似度を算出し、前記第１類似度と前記１以上の第２類似度とを統合した統合類似度を算出する第２算出部と、
を備える算出装置。
前記第２算出部は、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第２登録パターンそれぞれと前記第１登録パターンとの近傍度合いと、を統合して、前記統合類似度を算出する請求項１に記載の算出装置。
前記第１算出部は、前記複数の登録パターンそれぞれと前記入力パターンとの近傍度合いを更に算出し、
前記第２算出部は、前記複数の登録パターンのうちの前記入力パターンと近傍関係にある１以上の第３登録パターンそれぞれと前記第１登録パターンとの第３類似度を更に算出し、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第３類似度と、を統合して、前記統合類似度を算出する請求項１に記載の算出装置。
前記第２算出部は、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第３類似度と、前記１以上の第２登録パターンそれぞれと前記第１登録パターンとの近傍度合いと、前記１以上の第３登録パターンそれぞれと前記入力パターンとの近傍度合いと、を統合して、前記統合類似度を算出する請求項３に記載の算出装置。
前記第１算出部は、複数の参照パターンを設定し、前記複数の登録パターンそれぞれと前記複数の参照パターンそれぞれとの近傍度合いを更に算出し、
前記第２算出部は、前記１以上の第２類似度として、前記複数の登録パターン及び前記複数の参照パターンのうちの前記第１登録パターンと近傍関係にある１以上の第２登録パターン及び第１参照パターンそれぞれと前記入力パターンとの類似度を算出する請求項１に記載の算出装置。
前記第２算出部は、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第２登録パターン及び第１参照パターンそれぞれと前記第１登録パターンとの近傍度合いと、を統合して、前記統合類似度を算出する請求項５に記載の算出装置。
前記第１算出部は、前記複数の登録パターンそれぞれと前記入力パターンとの近傍度合い、及び前記複数の参照パターンそれぞれと前記入力パターンとの近傍度合いを更に算出し、
前記第２算出部は、前記複数の登録パターン及び前記複数の参照パターンのうちの前記入力パターンと近傍関係にある１以上の第３登録パターン及び第２参照パターンそれぞれと前記第１登録パターンとの第３類似度を更に算出し、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第３類似度と、を統合して、前記統合類似度を算出する請求項５に記載の算出装置。
前記第２算出部は、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第３類似度と、前記１以上の第２登録パターン及び第１参照パターンそれぞれと前記第１登録パターンとの近傍度合いと、前記１以上の第３登録パターン及び第２参照パターンそれぞれと前記入力パターンとの近傍度合いと、を統合して、前記統合類似度を算出する請求項７に記載の算出装置。
複数の登録パターンを登録する登録部と、
前記登録パターン間の近傍度合いを算出する第１算出部と、
入力パターンを受け付ける受付部と、
前記登録パターン毎に、当該登録パターンである第１登録パターンと前記入力パターンとの第１類似度を算出するとともに、前記複数の登録パターンのうちの前記第１登録パターンと近傍関係にある１以上の第２登録パターンそれぞれと前記入力パターンとの第２類似度を算出し、前記第１類似度と前記１以上の第２類似度とを統合した統合類似度を算出する第２算出部と、
前記複数の統合類似度に基づいて、前記入力パターンを認識する認識部と、
を備える認識装置。
前記第２算出部は、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第２登録パターンそれぞれと前記第１登録パターンとの近傍度合いと、を統合して、前記統合類似度を算出する請求項９に記載の認識装置。
前記第１算出部は、前記複数の登録パターンそれぞれと前記入力パターンとの近傍度合いを更に算出し、
前記第２算出部は、前記複数の登録パターンのうちの前記入力パターンと近傍関係にある１以上の第３登録パターンそれぞれと前記第１登録パターンとの第３類似度を更に算出し、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第３類似度と、を統合して、前記統合類似度を算出する請求項９に記載の認識装置。
前記第２算出部は、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第３類似度と、前記１以上の第２登録パターンそれぞれと前記第１登録パターンとの近傍度合いと、前記１以上の第３登録パターンそれぞれと前記入力パターンとの近傍度合いと、を統合して、前記統合類似度を算出する請求項１１に記載の認識装置。
前記第１算出部は、複数の参照パターンを設定し、前記複数の登録パターンそれぞれと前記複数の参照パターンそれぞれとの近傍度合いを更に算出し、
前記第２算出部は、前記１以上の第２類似度として、前記複数の登録パターン及び前記複数の参照パターンのうちの前記第１登録パターンと近傍関係にある１以上の第２登録パターン及び第１参照パターンそれぞれと前記入力パターンとの類似度を算出する請求項９に記載の認識装置。
前記第２算出部は、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第２登録パターン及び第１参照パターンそれぞれと前記第１登録パターンとの近傍度合いと、を統合して、前記統合類似度を算出する請求項１３に記載の認識装置。
前記第１算出部は、前記複数の登録パターンそれぞれと前記入力パターンとの近傍度合い、及び前記複数の参照パターンそれぞれと前記入力パターンとの近傍度合いを更に算出し、
前記第２算出部は、前記複数の登録パターン及び前記複数の参照パターンのうちの前記入力パターンと近傍関係にある１以上の第３登録パターン及び第２参照パターンそれぞれと前記第１登録パターンとの第３類似度を更に算出し、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第３類似度と、を統合して、前記統合類似度を算出する請求項１３に記載の認識装置。
前記第２算出部は、前記第１類似度と、前記１以上の第２類似度と、前記１以上の第３類似度と、前記１以上の第２登録パターン及び第１参照パターンそれぞれと前記第１登録パターンとの近傍度合いと、前記１以上の第３登録パターン及び第２参照パターンそれぞれと前記入力パターンとの近傍度合いと、を統合して、前記統合類似度を算出する請求項１５に記載の認識装置。
前記認識部は、前記複数の統合類似度のうちの類似度が最も高い統合類似度が算出された第１登録パターンに基づいて前記入力パターンを認識する請求項９に記載の認識装置。
前記認識部は、前記複数の統合類似度のうちの類似度が閾値以上の統合類似度が算出された１以上の第１登録パターンに基づいて前記入力パターンを認識する請求項９に記載の認識装置。