JP6268960B2 - 画像認識装置及び画像認識装置に対するデータ登録方法 - Google Patents

Description

本発明は、画像認識装置に関し、特に、画像認識装置に対して認識対象の特徴量データを登録するための技術に関する。

画像認識とは、画像から特徴量データを抽出し、そのデータをデータベースに予め登録されている既知オブジェクトの特徴量データと照合することで、画像中の被写体の識別（同定）を行う技術である。画像認識は、例えば、バイオメトリクス画像による本人認証や個人識別、侵入者や不審物を検出する監視システム、生産ライン等におけるワーク検査、交通インフラにおける通行人や通行車両の識別など、多種多様な分野に適用されている。

画像認識では、カメラで撮影した画像を使用するため、その時々の撮影条件（オブジェクトの状態（顔の場合は、向き、表情、装身具の有無、化粧、髪型など）や照明状態など）によって、抽出される特徴量にバラツキがでることは避けられない。そこで、撮影条件の違いに対するロバスト性を高め、認識精度を向上するための方策として、同じオブジェクトについて異なる画像から抽出した複数の特徴量データを登録しておくという方法が一般に採られる。言い換えると、データベースに登録する特徴量データのバリエーション（バラツキ）を高めることが、画像認識の精度を向上するためには望ましい。

とはいえ、登録する特徴量データの数を単純に増やせばよいというものではない。データベースの記憶容量やプログラムの制約により、データベースに対し（或いは、個々のオブジェクトに対し）登録できる特徴量データの数には限界があるからである。すなわち、限られたデータ数の中で、より高精度な画像認識ができるように、登録する特徴量データの最適化を行うことが実用上重要とされる。

特徴量データの登録や更新に関わる先行技術として、例えば、特許文献１、２が挙げられる。特許文献１では、登録候補のデータと既に登録されているデータとの総当たりの比較を行い、優先順位の高いものを新たな登録データとしてデータベースに保存するというアイデアが開示されている。また、特許文献２には、登録候補のデータと既に登録されているデータの比較を行い、既に登録されているデータに対する類似度が高すぎも低すぎもしない登録候補の画像のみをユーザに提示することで、ユーザによる登録候補の取捨選択を簡単化するというアイデアが開示されている。しかしながら、特許文献１には、優先順位の決定方法が具体的に開示されておらず、登録すべき特徴量データの選定やデータベースの更新をどのように実現すればよいか不明である。また特許文献２の方法は、ユーザの操作や判断を支援することが目的であり、データベースの自動更新の具体的な方法を提示するものではない。

特開２００２−２５９９８０号公報 特開２０１２−２４２８９１号公報

本発明は、上記実情に鑑みてなされたものであり、良好な認識精度が得られるように、データベースに登録する特徴量データを自動で好適化するための技術を提供することを目的とする。

上記目的を達成するために本発明では、同じ登録オブジェクトに対して登録される特徴量データのバリエーション（バラツキ）が可及的に大きくなるように、特徴量データの登録、破棄、入れ替えなどを自動で判断する構成を採用する。

具体的には、本発明に係る画像認識装置は、画像から被写体の特徴量データを抽出する抽出部と、一つの登録オブジェクトに対し異なる画像から抽出された複数の特徴量データを登録可能なデータベースと、前記抽出部で抽出された特徴量データを、前記データベースに登録されている前記登録オブジェクトの特徴量データと照合することにより、前記被写体が前記登録オブジェクトであるか否かを識別する照合部と、を備え、さらに、データ登録のための機能として、新たな登録用画像を用いて、所定の条件に従って、前記データベースに、前記登録オブジェクトの特徴量データの追加を行う登録部を備える。前記所定の条件は、前記登録用画像から抽出された特徴量データである新規データが、前記データベースに既に登録されている前記登録オブジェクトの特徴量データである既登録データと類似する場合には、前記新規データの追加を行わないこと、を内容とする第一の条件を含むことを特徴とする。

本発明では、登録用画像が与えられたときに無条件に新規データをデータベースに追加するのではなく、第一の条件に従って、新規データが既登録データに類似するかどうかを評価し、もし新規データが既登録データに類似していれば当該新規データの追加を行わない。したがって、同じような特徴量データ（認識精度の向上にほとんど寄与しないデータ）がデータベースに登録されることを自動で抑制できる。これにより、無駄なデータの蓄積が抑制されるため、限られたデータベース容量の有効利用が可能となる。また、ユーザ（データを登録する者）が特段意識しなくても、特徴量データのバリエーションが増すため、良好な認識精度が得られるデータベースの構築が簡単にできる。

既登録データに類似する新規データは一切追加しない構成でもよいが、一定の例外を設けてもよい。例えば、前記所定の条件が、さらに、前記登録オブジェクトの既登録データの数が前記データベースに登録可能な上限に達していない場合には、前記新規データを前記データベースに追加すること、を内容とする第二の条件を含んでおり、前記第二の条件が前記第一の条件に優先するようにしてもよい。かかる例外（第二の条件）を設定することで、たとえ新規データが既登録データに類似する場合であっても、新規データのデータベースへの登録が行われる。特徴量データの数が少ないよりも多い方が認識精度の向上が期待できるので、登録数が少ない段階では、特徴量データのバリエーションよりも数を増やすことを優先するのである。このような制御により、初期段階における認識精度の向上を図ることができる。

前記登録オブジェクトの既登録データの数が前記データベースに登録可能な上限に達している場合であって、かつ、前記新規データを前記データベースに追加する場合には、前記登録部は、前記登録オブジェクトの複数の既登録データのうちのいずれかを前記新規データと入れ替えるとよい。このように、既登録データに類似していない最新の特徴量データを加入することで、認識精度をより高めるようにデータベースの自動メンテナンスを図ることができる。

新規データをどの既登録データと入れ替えるかは、次のように決定することができる。例えば、前記登録部は、前記複数の既登録データのそれぞれについて前記新規データとの類似度を求め、前記新規データとの類似度が最も高い既登録データを、前記新規データに入れ替えるとよい。このようにデータの入れ替えを行うことにより、特徴量データのバリエーションを維持又は増すようにデータベースを更新することができる。

さらに、前記登録部は、前記類似度が最も高い二つの既登録データのうちの古い方を前記新規データと入れ替えることが好ましい。古いデータを破棄し、新しいデータに入れ替えることで、認識精度をより高めることができる。

前記新規データがいずれの既登録データとも、前記新規データが前記登録オブジェクトとは異なるオブジェクトの特徴量データであると評価されるほどに、類似していない場合には、前記登録部は、前記新規データの追加を行わないことが好ましい。これにより、登録オブジェクトでないオブジェクトの特徴量データが誤って登録されてしまうことを防止でき、認識精度の低下を抑制することができる。

ここで、新規データと既登録データのあいだの類似の評価にはいかなるアルゴリズムを採用してもよい。例えば、前記登録部は、前記新規データと前記既登録データのあいだの類似を、前記新規データと前記既登録データのあいだの特徴量空間上での距離の近さにより評価してもよい。この方法は、二つの特徴量データの直接比較により類似を判断するので、計算コストを少なくできるという利点がある。既登録データの数が多い場合にはこの方法が好適である。

或いは、複数の既登録データが存在する場合において、前記登録部は、前記新規データとある既登録データのあいだの類似を、この既登録データと他の既登録データとの特徴量空間上での距離と、前記新規データと前記他の既登録データとの特徴量空間上での距離の相関の強さにより評価してもよい。なお、「他の既登録データ」が複数存在する場合は、各々の既登録データとの距離を考慮するとよい。ここで、「この既登録データと他の既登録データとの特徴量空間上での距離」は、現在登録されている特徴量データ群のバリエーション（バラツキ）に相当し、「前記新規データと前記他の既登録データとの特徴量空間上での距離」は、既登録データの一つを新規データに入れ替えた場合の特徴量データ群のバリエーション（バラツキ）に相当する。したがって、両者の相関の強さを評価することにより、既登録データと入れ替えた場合に特徴量データ群のバリエーションに変化を与えるかどうかという観点で、既登録データと新規データのあいだの類似を判定することができる。この方法は、上記の直接比較よりも計算コストが増加するが、新規データの追加登録の要否をより正確に判断できるという利点がある。

本発明において、「オブジェクト」とは、画像認識の対象物をいう。画像特徴量による認識が可能でありさえすれば、どのようなものも本発明の「オブジェクト」になり得る。一例を挙げると、人や動物の個体認識の場合には、バイオメトリクス情報と呼ばれる、顔、眼底、瞳、指紋、掌紋、耳、上半身、全身などがオブジェクトになり得るし、一般物体認識の場合には、物体やその一部などがオブジェクトになり得る。「登録オブジェクト」とは、データベースに特徴量データが登録されているオブジェクト（つまり、当該装置が認識可能なオブジェクト）をいう。データベースに登録可能な登録オブジェクトの数は一つでもよいし複数でもよい。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する画像認識装置、または、画像認識装置に対して特徴量データの登録を行う登録装置、または、画像認識装置を備えた電子機器として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む画像認識方法、または、画像認識装置に対するデータ登録方法、または、かかる方法を画像認識装置（コンピュータ）に実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもでき
る。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、良好な認識精度が得られるように、データベースに登録する特徴量データを自動で好適化することができる。

本発明の実施形態に係る顔照合システムの機能構成を模式的に示す図。 特徴量データベースのデータ構造を模式的に示す図。 顔照合処理の流れを示すフローチャート。 第１実施形態のデータ登録処理の流れを示すフローチャート。 第１実施形態のデータ登録処理における登録要否判定を説明するための図。 第２実施形態のデータ登録処理の流れを示すフローチャート。 第３実施形態のデータ登録処理における登録要否判定を説明するための図。

以下、図面を参照して本発明の好適な実施の形態について説明する。以下の実施形態では、画像認識により人の顔を識別する顔照合システムに本発明を適用した例を説明する。

＜第１実施形態＞
（システム構成）
図１は、本発明の第１実施形態に係る顔照合システム（画像認識装置）の機能構成を模式的に示す図である。顔照合システム１は、顔画像を用いて照合対象者の本人認証又は個人識別を行う装置である。本人認証とは、照合対象者が本人であるか否かを確かめる処理（一対一の照合）であり、個人識別とは、照合対象者がデータベースに登録されている登録者のうちの誰であるかを同定する処理（一対多の照合）である。これらの顔照合技術は、例えば、電子機器（コンピュータ、スマートフォン、タブレット端末を含む）におけるセキュリティ装置、侵入者検知を行う監視システム、入退室管理やドアの錠制御を行うゲートシステムなどの様々な用途に応用可能である。

顔照合システム１は、図１に示すように、画像取得部１０、顔検出部１１、特徴量抽出部１２、特徴量データベース１３、顔照合部１４、登録部１５などの機能要素を備えている。顔照合システム１は、例えば、プロセッサ（ＣＰＵ）、メモリ、補助記憶装置、入力装置、表示装置、カメラなどのハードウエア資源を備えたコンピュータシステムにより構成でき、図１に示す各機能要素は、プロセッサがプログラムを実行し、補助記憶装置、入力装置、表示装置、カメラなどを適宜制御することで実現されるものである。ただし、これらの機能要素の全部又は一部を専用のチップ（ロジック回路）で構成しても構わない。また、一つのコンピュータではなく、複数のコンピュータの組み合わせ又はクラウドコンピューティングにより顔照合システム１を構成することもできる。

画像取得部１０は、カメラから画像データを取り込む機能である。顔検出部１１は、画像から顔を検出し、顔の位置や大きさ等を特定する機能である。ここで検出された顔部分の画像を顔画像とよぶ。顔検出処理には既存のどのような技術が適用されてもよい。例えば、輪郭や顔の器官（目、鼻、口など）に基づくモデルフィッティングによって顔を検出する方法、肌の色や濃淡の分布に基づき顔を検出する方法などがある。

特徴量抽出部１２は、顔画像から特徴量データを抽出する機能である。特徴量にはどのような種類のものを用いてもよい。例えば、顔の中に設定した特徴点（目、鼻、口の中心や端点など）の位置関係、特徴点近傍の濃淡値やその周期性・方向性、色分布などを特徴
量として採用できる。特徴量の個数は期待する認識精度に応じて任意に設定できるが、一般的には、一つの顔から数十から数百個の特徴量が抽出される。このように抽出された特徴量の組（特徴量データ又は特徴量ベクトルと呼ぶ）は、画像に写っている顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によって特徴量データに有意な差がでる。

特徴量データベース１３は、顔照合システム１により認識可能な顔（以下、登録顔と呼ぶ）の情報を記憶するデータベースであり、アルバムデータや辞書データと呼ばれることもある。図２に示すように、特徴量データベース１３には、登録顔の情報として、登録に用いた顔画像のデータ、その顔画像から抽出した特徴量データ、登録日時などが格納される。顔の向き、表情、髪型、化粧、撮影時期（年齢）、照明状態などが違うと、同じ人（顔）であっても特徴量データにバラツキが生じる（このバラツキは、異なる人同士の特徴量データの差に比べると十分小さい）。したがって、特徴量データベース１３には、同じ登録顔に対し、撮影条件や撮影時期などが異なる複数の特徴量データを登録できるようにしている。図２は、一つの登録顔に対して登録された複数の特徴量データの例を示している。なお、個人識別を行う場合には、認識対象となる複数の登録顔のそれぞれについて図２のようなデータベースが保持される。

顔照合部１４は、特徴量データを比較することにより同じ顔かどうかを評価する機能である。また、登録部１５は、所定の条件に従って特徴量データベース１３に対し特徴量データを登録する機能である。これらの機能の詳細については、顔照合処理およびデータ登録処理のフローとともに説明する。

（顔照合処理）
図３は、顔照合システム１の顔照合処理の流れを示すフローチャートである。

まず、画像取得部１０が、照合対象者の画像をカメラから取り込む（ステップＳ３０）。取り込まれた画像は、必要に応じて、ユーザによる確認のために表示装置に表示される。次に、顔検出部１１が、画像から顔部分を検出する（ステップＳ３１）。もし顔が検出されなければ（ステップＳ３２：ＮＯ）、画像の取り込みからやり直す。顔が検出された場合は（ステップＳ３２：ＹＥＳ）、特徴量抽出部１２が、検出された顔部分の画像から特徴量データの抽出を行う（ステップＳ３３）。

続いて、顔照合部１４が、ステップＳ３３で抽出された照合対象者の特徴量データを、特徴量データベース１３に登録されている登録顔の特徴量データと照合することで、照合対象者の識別を行う（ステップＳ３４）。具体的には、顔照合部１４は、照合対象者の特徴量データと登録顔の特徴量データのあいだの特徴量空間上での距離の近さを表す指標（スコアと呼ぶ）を計算し、そのスコアが所定の閾値よりも大きい（距離が近い）か否かにより同一顔の判定を行う。本実施形態では、０〜１０００の値域に規格化したスコアを用い、スコアが６００以上であれば、照合対象者の顔が登録顔と同じであるとみなす。なお、一つの登録顔に複数の特徴量データが登録されている場合には、それぞれの特徴量データのスコアを求め、それらの代表スコア（最大値など）や合成スコア（加重平均など）を用いて同一顔の判定を行えばよい。最後に、顔照合部１４が照合結果を出力し、処理を終了する（ステップＳ３５）。

（データ登録処理）
次に、図４と図５を参照して、新たな特徴量データを顔照合システム１に登録する処理について説明する。図４は、データ登録処理の流れを示すフローチャートであり、図５は、データ登録処理における登録要否判定を説明するための図である。

以下、特徴量データベース１３に既に登録されている登録顔Ａに対し、新たな特徴量データの追加を行う例を挙げる。ここでは、説明の便宜のため、一つの登録顔に対して登録可能な特徴量データの数（上限）を５個と仮定するが、現実のシステムでは十数個から数十個の特徴量データを登録可能なものもある。

まず、画像取得部１０が、新規の登録用画像をカメラから取り込む（ステップＳ４０）。取り込まれた画像は、必要に応じて、ユーザによる確認のために表示装置に表示される。次に、顔検出部１１が、画像から顔部分を検出する（ステップＳ４１）。もし顔が検出されなければ（ステップＳ４２：ＮＯ）、画像の取り込みからやり直す。顔が検出された場合は（ステップＳ４２：ＹＥＳ）、特徴量抽出部１２が、検出された顔部分の画像から特徴量データの抽出を行う（ステップＳ４３）。以下、登録用画像から抽出された特徴量データを新規データと呼ぶ。ここまでの処理は顔照合処理のステップＳ３０〜Ｓ３３と実質的に同じである。

次に、登録部１５が、新規データをどの登録顔に追加するかを特定する（ステップＳ４４）。例えば、特徴量データベース１３に登録されている登録顔Ａ，Ｂ，Ｃ・・・を表示装置にリスト表示し、それらの候補の中から新規データの追加先となる顔をユーザに選択させればよい。ここでは登録顔Ａが指定されたと仮定する。なお、ステップＳ４４の処理はステップＳ４０の前に行ってもよいし、特徴量データベース１３に登録されている登録顔が一つだけの場合や自動で追加先を判断できる場合は省略してもよい。

次に、顔照合部１４を利用して、新規データと、特徴量データベース１３に登録されている登録顔Ａの特徴量データ（既登録データと呼ぶ）それぞれのスコアを算出する（ステップＳ４５）。このスコアは、顔照合処理にて同一顔の判定に用いたのと同じ指標である。図５の上段は、与えられた新規データＤＮと、登録顔Ａの既登録データＤ１〜Ｄ５を示し、図５の下段は、新規データＤＮと各既登録データＤ１〜Ｄ５とのスコアの算出例を示している。スコアが大きいほど特徴量データの類似度が高いことを表している。

続いて、登録部１５は、ステップＳ４５で算出されたスコアが下限閾値ＴＬを上回っているかを確認する（ステップＳ４６）。この下限閾値ＴＬは、例えば、撮影条件の違いによるスコアのバラツキを実験等で求め、そのバラツキの範囲の最小値よりも十分小さな値に設定される（本実施形態ではＴＬ＝２００とした）。登録部１５は、すべてのスコアが下限閾値ＴＬ以下である場合は（ステップＳ４６：ＮＯ）、新規データＤＮが登録顔Ａでない他人の顔の特徴量データであるとみなし、新規データＤＮの追加を行わない（ステップＳ４７）。これにより、他人の顔の特徴量データが誤って登録されてしまうことを防止でき、認識精度の低下を抑制することができる。

次に、登録部１５は、新規データＤＮの追加の要否を判断する。まず、登録部１５は、新規データＤＮが、登録顔Ａの既登録データＤ１〜Ｄ５と類似しているか否か調べる（ステップＳ４８）。具体的には、ステップＳ４５で算出したスコアが上限閾値ＴＨ以上である場合に、新規データと当該既登録データとが類似しているとみなす。上限閾値ＴＨは、例えば、撮影条件の違いによるスコアのバラツキを実験等で求め、その平均や分散などに基づいて設定すればよい（上限閾値ＴＨを下げるほど、特徴量データのバリエーションを高める効果がある）。

もし新規データＤＮが既登録データＤ１〜Ｄ５のいずれかと類似する場合には（ステップＳ４８：ＹＥＳ）、登録部１５は、この新規データＤＮは不要と判断し、新規データＤＮの追加を行わない（ステップＳ４９）。例えば、図５の例において、上限閾値ＴＨが８５０に設定されていた場合には、新規データＤＮと既登録データＤ２のあいだのスコアが上限閾値ＴＨを超えているため、新規データＤＮの追加は行われないことになる。

一方、新規データＤＮがどの既登録データＤ１〜Ｄ５とも類似しない場合（例えば、図５の例において、上限閾値ＴＨが９５０に設定されていた場合）、登録部１５は、新規データＤＮを特徴量データベース１３に追加する（ステップＳ５２）。このとき、登録部１５は、既登録データの数が上限に達しているか否かを確認し（ステップＳ５０）、上限に達していた場合には、新規データＤＮとのスコア（類似度）が最も高い既登録データ（図５の例ではＤ２）を削除して（ステップＳ５１）、それの代わりに新規データＤＮを登録する（ステップＳ５２）。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、登録用画像が与えられたときに無条件に新規データを特徴量データベース１３に追加するのではなく、所定の条件に従って新規データを登録するか否かを判断する。具体的には、図４のステップＳ４８に示すように、新規データが既登録データに類似するかどうかを評価し、もし新規データが既登録データのいずれかに類似していれば当該新規データの追加を行わない（第一の条件）。したがって、同じような特徴量データ（認識精度の向上にほとんど寄与しないデータ）が特徴量データベース１３に登録されることを自動で抑制できる。これにより、無駄なデータの蓄積が抑制されるため、限られたデータベース容量の有効利用が可能となる。また、互いに類似しない特徴量データのみが登録されるので、ユーザ（データを登録する者）が特段意識しなくても、特徴量データのバリエーションが増し、良好な認識精度が得られるデータベースの構築が簡単にできる。

また、既登録データの数が上限に達していた場合は、（新規データを破棄するのではなく）既登録データのうちの一つを新規データに入れ替える。このように、既登録データに類似していない最新の特徴量データを加入することで、特徴量データベース１３を最新の状態に自動メンテナンスでき、認識精度の向上を図ることができる。しかもこのときに、新規データとの類似度が最も高い既登録データを新規データに入れ替えるので、特徴量データのバリエーションを維持又は増すようにデータベースを更新することができる。

また、本実施形態では、新規データと既登録データのあいだの類似を評価する指標として、顔照合処理で用いるスコアを利用している。この方法は、二つの特徴量データの直接比較により類似を判断するので、計算コストを少なくできるという利点がある。また、顔照合処理のプログラムモジュールを流用できるので、開発コストの削減と、システム構成の簡易化を図ることができるという利点もある。

＜第２実施形態＞
第１実施形態では、既登録データに類似する新規データは一切追加しない構成であったが、第２実施形態では、既登録データの数が上限に達するまでは、既登録データに類似する新規データであっても追加登録する構成とする。特徴量データの数が少ないよりも多い方が認識精度の向上が期待できるからである。それ以外の構成は第１実施形態と同様であるため、以下、第２実施形態の特徴部分のみ説明する。

図６は、第２実施形態に係る顔照合システムのデータ登録処理の流れを示すフローチャートである。ステップＳ４０〜Ｓ４７の処理は、第１実施形態の処理とまったく同じである。

次に、登録部１５は、登録顔Ａの既登録データの数が上限に達しているか否かを確認する（ステップＳ６０）。上限に達していなければ、登録部１５は、新規データＤＮを特徴量データベース１３に登録する（ステップＳ５２）。すなわち、類似する新規データＤＮは追加登録しないという第一の条件（ステップＳ４８）よりも、既登録データの数が上限
に満たない場合は新規データＤＮを追加登録するという第二の条件（ステップＳ６０）を優先するのである。これにより、新規データＤＮが既登録データに類似するか否かにかかわらず、新規データＤＮが特徴量データベース１３へ追加登録される。

既登録データの数が上限に達していた場合には、第１実施形態と同様に新規データＤＮと既登録データの類似を調べ（ステップＳ４８）、類似する新規データＤＮの追加は行わず（ステップＳ４９）、類似しない新規データＤＮだけを既登録データの一つと入れ替える（ステップＳ５１、Ｓ５２）。

以上述べた本実施形態の構成によっても、第１実施形態と同様の作用効果を得ることができる。加えて、本実施形態では、登録数が少ない（上限に満たない）段階では、特徴量データのバリエーションよりも特徴量データの登録数を増やすことを優先するので、初期段階における認識精度の向上を図ることができる。

＜第３実施形態＞
第１実施形態では、新規データと既登録データの類似をそれらのあいだのスコアにより評価したが、第２実施形態では、新規データと既登録データの類似を他の既登録データに対するスコアの相関（類似性）を評価することで判断する。

基本的な構成及び処理は第１実施形態又は第２実施形態のものと同様であるが、図４又は図６のフローにおけるステップＳ４５（スコア計算）、ステップＳ４８（新規データと既登録データの類似判定）、ステップＳ５１（入れ替える既登録データの選定）の３つの処理が異なる。以下、図７を参照して、これらの３つの処理の内容を説明する。

ステップＳ４５では、顔照合部１４を利用して、新規データと既登録データのすべての組み合わせについてスコアを算出する。このスコアは、顔照合処理にて同一顔の判定に用いたのと同じ指標である。図７の上段は、６個のデータＤＮ，Ｄ１〜Ｄ５のすべての組み合わせのスコアの算出例を示している。なお、データＤＮ，Ｄ１〜Ｄ５は図５の上段に示したものと同じである。

ステップＳ４６、Ｓ４７では、第１及び第２実施形態と同様、新規データＤＮと既登録データＤ１〜Ｄ５のあいだのスコア（図７の上段の一行目のスコア）が下限閾値ＴＬより大きいかどうかをチェックすることで、他人の顔の特徴量データが誤登録されるのを防ぐ。

ステップＳ４８では、登録部１５が、新規データＤＮの追加の要否を判断する。このとき、前述のように、新規データと既登録データの類似を他の既登録データに対するスコアの相関により判断する。例えば、新規データＤＮと既登録データＤ１の類似を評価する際には、図７の下段に示すように、新規データＤＮと他の既登録データＤ２〜Ｄ５のあいだのスコアと、既登録データＤ１と他の既登録データＤ２〜Ｄ５のあいだのスコアに注目する。登録部１５では、この二つのスコア（スコア群）の相関を求め、相関が所定の基準よりも強い（スコアの分布が似ている）場合に、新規データＤＮと既登録データＤ１とが類似していると判断する。この類似判断を、新規データと既登録データのすべての組み合わせについて繰り返し、既登録データＤ１〜Ｄ５の中に類似するもの（相関の強いもの）があるか否かを調べる。

相関の強さはどのような方法で評価してもよい。例えば、二つのスコア群の相関係数を計算し、相関係数が所定値よりも大きいときに類似と判断することができる。或いは、データＤａとＤｂのあいだのスコアをＳ（Ｄａ，Ｄｂ）と表記したときに、同じ既登録データＤｉに対するスコアの差Ｓ（ＤＮ，Ｄｉ）−Ｓ（Ｄ１，Ｄｉ）を各既登録データＤｉ（
ｉ＝２〜５）について計算し、差の分散が所定値よりも小さいときに類似と判断することもできる。或いは、その差の絶対値の和や二乗和が所定値よりも小さいときに類似と判断してもよい。ここで挙げた以外にも、どのような評価方法を採用してもよい。

ステップＳ５１では、登録部１５が、新規データＤＮと入れ替える既登録データを選定する。第１実施形態では、新規データＤＮとの類似度が最も高い既登録データを新規データＤＮと入れ替えたが、本実施形態では、既登録データ同士の類似度をすべての組み合わせについて求め、類似度が最も高い二つの既登録データのうちの一方を新規データＤＮと入れ替える。ステップＳ５１で評価する類似度は、スコアそのものでもよいし、ステップＳ４８で用いた指標（つまり、他の既登録データに対するスコアの相関）でもよい。例えば、スコアを類似度の指標として用いた場合、図７の上段の例では、最もスコアの大きい既登録データＤ１とＤ５の組が入れ替えの対象に選ばれる。このとき、既登録データＤ１とＤ５のいずれと入れ替えてもよいが、好ましくは、二つの既登録データのうちの古い方（登録日時が早い方）であるＤ１を新規データＤＮと入れ替えるとよい。顔などのバイオメトリクス情報は加齢や体格の変化などにより変わるため、特徴量データの信頼性は時間とともに低下する可能性がある。したがって、より古いデータを破棄し、新しいデータに入れ替えることで、認識精度をより高めることができるからである。

以上述べた本実施形態の構成によれば、第１及び第２実施形態の作用効果に加え、次のような利点がある。本実施形態では、新規データＤＮと既登録データ（例えばＤ１）との類似を、「既登録データＤ１と他の既登録データＤ２〜Ｄ５とのスコア」と「新規データＤＮと他の既登録データＤ２〜Ｄ５とのスコア」の相関の強さにより評価している。ここで、「既登録データＤ１と他の既登録データＤ２〜Ｄ５とのスコア」は、現在登録されている特徴量データ群のバリエーション（バラツキ）に相当し、「新規データＤＮと他の既登録データＤ２〜Ｄ５とのスコア」は、既登録データの一つ（Ｄ１）を新規データＤＮに入れ替えた場合の特徴量データ群のバリエーション（バラツキ）に相当する。したがって、両者の相関の強さを評価することにより、既登録データと入れ替えた場合に特徴量データ群のバリエーションに変化を与えるかどうかという観点で、既登録データと新規データのあいだの類似を判定することができる。この方法は、第１及び第２実施形態で述べた方法（直接比較）よりも計算コストが増加するが、新規データの追加登録の要否をより正確に判断できるという利点がある。

＜その他の実施形態＞
上述した各実施形態は本発明の一具体例を示したものにすぎない。例えば、本発明の実施形態として以下のような構成も採り得る。

（１）上記実施形態では顔照合システムを例示したが、本発明は顔照合システム以外にもあらゆる画像認識装置に適用可能である。また、顔以外にも、眼底、瞳、指紋、掌紋、耳、上半身、全身を認識対象（オブジェクト）とすることもできるし、人や動物といった生体だけでなく、工業製品や車両や食品などの一般物体を認識対象とすることもできる。要するに、画像特徴量による認識が可能なオブジェクトであれば、本発明を適用することが可能である。

（２）上記実施形態では顔照合処理とデータ登録処理が完全に分かれていたが、それらの処理を連続して実行することも好ましい。すなわち、顔照合処理で用いた照合対象者の画像を登録用画像として用い、データ登録処理を行うのである。例えば、図３に示す顔照合処理のステップＳ３４において照合対象者の識別（同定）に成功した場合に、当該画像とその特徴量データを図４又は図６のステップＳ４８の処理に引き渡す。これにより、顔照合を行うたびに特徴量データベースの自動メンテナンスが行われ、認識精度の向上が逐次図られる。

（３）上記実施形態で示したスコアや閾値の値は一例にすぎない。スコアの計算手法、値域、閾値などは、認識対象や要求精度などに応じて適宜設計すればよい。

（４）上記実施形態のデータ登録処理では、他人の特徴量データの誤登録防止（ステップＳ４６、Ｓ４７）、類似する特徴量データの追加防止（ステップＳ４８、Ｓ４９）、データ数が上限を超えた場合のデータの入れ替え（ステップＳ５１、Ｓ５２）の３つの処理を実行したが、これらの処理のうちのいずれかを省略してもかまわない。

１：顔照合システム
１０：画像取得部
１１：顔検出部
１２：特徴量抽出部
１３：特徴量データベース
１４：顔照合部
１５：登録部

Claims (8)

1. 画像から被写体の特徴量データを抽出する抽出部と、
   一つの登録オブジェクトに対し異なる画像から抽出された複数の特徴量データを登録可能なデータベースと、
   前記抽出部で抽出された特徴量データを、前記データベースに登録されている前記登録オブジェクトの特徴量データと照合することにより、前記被写体が前記登録オブジェクトであるか否かを識別する照合部と、を備えた画像認識装置において、
   新たな登録用画像を用いて、所定の条件に従って、前記データベースに、前記登録オブジェクトの特徴量データの追加を行う登録部をさらに備え、
   前記所定の条件は、前記登録用画像から抽出された特徴量データである新規データが、前記データベースに既に登録されている前記登録オブジェクトの特徴量データである既登録データと類似する場合には、前記新規データの追加を行わないこと、を内容とする第一の条件を含み、
   前記登録オブジェクトの既登録データの数が前記データベースに登録可能な上限に達している場合であって、かつ、前記新規データを前記データベースに追加する場合には、前記登録部は、前記登録オブジェクトの複数の既登録データのそれぞれについて前記新規データとの類似度を求め、前記新規データとの類似度が最も高い既登録データを、前記新規データと入れ替える
   ことを特徴とする画像認識装置。
2. 前記所定の条件は、さらに、
   前記登録オブジェクトの既登録データの数が前記データベースに登録可能な上限に達していない場合には、前記新規データを前記データベースに追加すること、を内容とする第二の条件を含み、
   前記第二の条件は前記第一の条件に優先する
   ことを特徴とする請求項１に記載の画像認識装置。
3. 前記新規データがいずれの既登録データとも、前記新規データが前記登録オブジェクトとは異なるオブジェクトの特徴量データであると評価されるほどに、類似していない場合には、前記登録部は、前記新規データの追加を行わない
   ことを特徴とする請求項１または２に記載の画像認識装置。
4. 前記登録部は、前記新規データと前記既登録データのあいだの類似を、前記新規データと前記既登録データのあいだの特徴量空間上での距離の近さにより評価する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像認識装置。
5. 複数の既登録データが存在する場合において、
   前記登録部は、前記新規データとある既登録データのあいだの類似を、この既登録データと他の既登録データとの特徴量空間上での距離と、前記新規データと前記他の既登録データとの特徴量空間上での距離との相関の強さにより評価する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像認識装置。
6. 前記登録オブジェクトは、顔である
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像認識装置。
7. 画像から抽出された被写体の特徴量データを、データベースに登録されている登録オブジェクトの特徴量データと照合することにより、前記被写体が前記登録オブジェクトであるか否かを識別する画像認識装置に対しデータを登録する方法であって、
   画像認識装置が、新たな登録用画像を取得するステップと、
   画像認識装置が、前記登録用画像から特徴量データを抽出するステップと、
   画像認識装置が、所定の条件に従って、前記登録用画像から抽出された特徴量データである新規データを、前記データベースに既に登録されている前記登録オブジェクトの特徴量データである既登録データに追加して登録する登録ステップと、を有し、
   前記所定の条件は、前記新規データが前記既登録データと類似する場合には、前記新規データの追加を行わないことを内容とする第一の条件を含み、
   前記登録オブジェクトの既登録データの数が前記データベースに登録可能な上限に達している場合であって、かつ、前記新規データを前記データベースに追加する場合には、前記登録ステップでは、前記登録オブジェクトの複数の既登録データのそれぞれについて前記新規データとの類似度が求められ、前記新規データとの類似度が最も高い既登録データが前記新規データと入れ替えられる
   ことを特徴とする画像認識装置に対するデータ登録方法。
8. 請求項７に記載のデータ登録方法の各ステップをコンピュータに実行させるためのプログラム。

Images