WO2003052690A1 - Creation de metadonnees faciales et calcul de similarites faciales - Google Patents

Description

明 細 書 顔メタデータ生成と顔類似度算出 技術分野

本発明は、 顔同定や顔識別、 顔の表情認識、 顔に よ る男 女識別、 顔によ る年齢判別等に利用可能な技術に関する 。 特に、 本発明は、 静止画像や動画像 に映されてい る顔情報 に関する メ タ データ を生成する メ タ データ 生成、 顔類似度 算出およびメ タ データ のマ ッ チング技術に関する 。 背景技術

メ タ データ と は、 一般に、 データ の意味を記述あ る い は 代表する データ であ り 、 顔認識の場合 に は、 主に静止顔画 像や動画像な どの顔データ に関するデータ を意味する 。

映像 · 画像や音声な どの マルチメ ディ ァ コ ンテ ン ツ に対 する メ タデータの標準化活動と して、 M P E G - 7 ( M o v i n g P i c t u r e s E x e r t s G r o u - 7 ) の活動力 S広 く 知 ら れて い る 。 こ の 中で顔認識に関する メ タ デー タ の記述子 と し て 、 顔認識記述子が提案 さ れて い る （ A . Y a m a d a 他編 ， " M P E G - 7 V i s u a l a r t o f e x p e r i m e n t a 1 M o d e l V e r s i o n 9 . 0 , " I S O / I E C J T C 1 / S C 2 9 / W G 1 1 N 3 9 1 4 , 2 0 0 1 ) 。

こ の顔認識記述子では、 切 り 出 さ れ、 正規化さ れた顔画 像に対 して、 一般的に固有顔 と呼ばれる部分空間法の一種 を用 いて、 顔画像の特徴量を抽出する た め の基底行列が求 め ら れる 。 こ の基底行列に基づいて画像中か ら 顔特徴量が 抽出 さ れる。 これがメ タ データ と して扱われる 。 こ の顔特 徴量に対する類似度 と して重み付け絶対値距離を用 い る こ とが提案されている。

ま た、 顔認識に関する技術に は様々 な方法があ る こ とが 知 ら れて い る 。 例えば、 主成分分析、 あ る い は、 判別分析 に基づ く 固有顔によ る方法な どが知 られてい る 。 主成分分 析は、 た と えば、 M o g a d d a m 他によ る " P r o b a l i l i s t i c V i s u a l L e a r n i n g f o r O j e c t D e t e c t i o n " ( I E E E T r a n s a c t i o n s o n P a t t e r n A n a 1 y s i s a n d M a c h i n e I n t e l l i g e n c e , V o l .

1 7 , N o . 7 , p p . 6 9 6 - 7 1 0 , 1 9 9 7 ) で知 ら れ てい る 。 また、 判別分析は、 例えば W . Z h a ο 他によ る " D i s c r i m i n a n t A n a l y s i s o f P r i n c i p a l C o m p o n e n t s f o r F a c e R e c o g n i t i o n " ( P r o c e e d i n g s o f t h e I E E E T i r d I n t e r n a t i o n a.1 C o n f e r e n c e o n A u t o m a t i c F a c e a n d G e s t u r e R e c o g n i t i o n , p p . 3 3 6 - 3 4 1 , 1 9 9

8 ) で知 ら れている。

ま た、 指紋画像か ら得 ら れた特徴量に対 して部分空間法 が適用 さ れる 際に、 品質指標を導入 し、 適応的 にパタ ー ン 間 の距離 を測る 方法 も知 ら れて い る 。 例え ば、 T . K a m e i a n d M . M i z o g u c h i によ る F i n g e r p r i n t P r e s e l e c t i o n U s i n g E i g e n f e a t u r e s ( P r o c e e d i n g s o f t h e 1 9 8 I E E E C o m p u t e r S o c i e t y C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p . 9 1 8 - 9 2 3 , 1

9 9 8 , 特開平 1 0 - 1 7 7 6 5 0 号公報） であ る。

しか しなが ら 、 上記従来の技術では、 十分な顔認識の精 度を得 られなか っ た。

上記記述に関連 し て、 特徴ベク ト ルの部分固有空間への 射影によ る特徴選択を用 いたパタ ー ン認識装置が、 特開平

1 0 — 5 5 4 1 2 号公報に開示さ れて レ、 る 。 こ の従来例の パター ン認識装置は、 多種類の文字パタ ー ン の識別を 目 的 と して、 特徴選択の手法 を用 いて特徴ベ ク ト ルの次元数を 削減する こ と に よ り 認識処理の高速化 を 図 っ てお り 、 入力 パタ ー ン の特徴を表現する特徴べ ク ト ルを用 いて入力パタ ー ン を認識する 。 入力特徴ベク ト ル抽出部は、 入力パタ ー ンの特徴を表現する入力特徴べ ク ト ル を抽出す る 。 正規直 交基底記憶部は、 元特徴空間の部分固有空間の正規直交基 底を保持する 。 認識辞書部は、 1 つ以上の各認識対象パタ ー ン に対応 し前記部分固有空間上で規定さ れる 各辞書選択 特徴ベ ク ト ルを記憶 してい る 。 特徴選択部は、 正規直交基 底記憶部が記憶する正規直交基底を用 いて、 入力特徴べ ク ト ル抽出部が抽出 し た入力特徴べ ク ト ルの部分固有空間へ の 射影で あ る 入 力 選択特徴ベ ク ト ル を 算 出す る 。 照合部 は、 特徴選択部が算出 し た入力選択特徴べ ク ト ル と認識辞 書部が記憶する各辞書選択特徴べ ク ト ル と を照合する こ と に よ っ て、 入力選択特徴べク ト ルに対応する 入力パター ン の種類を認識する。

ま た、 対象物検出装置が特開平 1 1 一 3 0 6 3 2 5 号公 報 に 開示さ れてい る 。 こ の従来例の対象物検出装置は、 処 理が比較的簡単で、 し か も 、 被識別対象物を正確に検出す る こ と を 目 的 と して い る 。 画像入力部は、 画像を入力 し 、 記憶部は、 検出する 被識別対象物画像の特徵的な領域に対 応 し て複数の判定要素取得領域を設定 した領域モデルを記 憶 してい る 。 位置指定部は、 画像入力部に よ り 入力 した入 力画像、 又は予め画像入力部に よ り 入力 し 、 画像処理を施 し た画像に対 して記憶部に記憶 した領域モデルを 当てはめ る 被 照合局所領域位置 を 順次指定す る 。 判定要素取得部 は、 こ の位置指定部にて指定 した位置に領域モデルを順次 当 て はめ る毎に、 こ の領域モデルの各判定要素取得領域か ら 判定要素を取得する 。 マハ ラ ノ ビス距離判定部は、 こ の 判定要素取得部が取得 し た各判定要素取得領域の判定要素 に基づいてマハ ラ ノ ビス距離計算を行い 、 被照合局所領域 の 画像が被識別対象物画像か 否か の 判定 を 行 う 。 こ う し て、 判定部の判定結果によ り 被識別対象物の検出を行う 。

ま た、 顔識別 ' 照合方法が特開 2 0 0 0 — 1 3 2 6 7 5 号公報に 開示さ れて い る 。 こ の従来例の顔識別 · 照合方法 は、 比較する 2 つ の顔画像が異なっ た撮影条件や異な っ た 撮影時期 に撮影さ れた も のであ る場合で も安定 し た識別 を 行 う こ と 目 的 と して い る 。 その方法では、 撮影条件 ま た は 撮影時期 の違い に よ る画像変動の特徴が分類さ れた ク ラ ス 毎に予め学習 さ れて い る 。 撮影条件また は撮影時期 の少な く と も 1 つが異な る 2 枚の顔画像の差力、 ら ク ラ ス が選択さ れ、 2 枚の顔画像か ら 選択さ れた ク ラ ス の画像変動の特徴 小 さ く な特徵量をそれぞれ求め 、 2 枚の顔画像の特徴 よ り 顔識別 · 照合を行っ てい る 。 画像変動の特徴は、 撮影条件ま たは撮影時期 の異な る 2 つ の画像の差画像の標 本集合を複数用意 し 、 各ク ラ ス毎に主成分分析を行っ て主 成分 と各主成方向の標本分布の分散の大き さ を求め る 。 画 像変動の特徴の ク ラ ス タ の選択は、 入力 さ れた 2 枚の顔画 像の差の画像 と各ク ラ ス の主成分に よ っ て張 ら れる空間 と の距離を算出 し 、 算出 さ れた距離が最 も近い ク ラ ス を選択 する

た、 画像処理装置が特開 2 0 0 0 — 1 8 7 7 3 3 号公 報に 開示さ れて い る 。 こ の従来の画像処理装置は、 学習用 サ ン プル と して、 左右に向 いた顔及び斜め に傾いた顔等 を 用意 しな く て済むよ う にす る こ と を 目 的 と してい る 。 画像 処理装置では、 画像群生成部は、 左右対称配置の第 1 リ フ ァ レ ンス用画像群か ら 左右対称な第 2 リ フ ァ レ ンス用画像 群 を作成する 。 特徴情報抽出部は、 第 1 リ フ ァ レ ンス用画 像群 と 当第 2 リ フ ァ レ ンス用画像群の両方を用 いて特徴情 報 を抽出する 。 判定部は、 特徴情報抽出部に よ り 抽出 さ れ た特徴情報 と入力画像 と を比較 して、 入力画像が第 1 リ フ ァ レ ンス用画像群 と 同 じパタ ー ン の画像か ら な る 力 否力、 を 判定す る。 第 1 リ フ ァ レ ン ス用 画像群が、 人間 の顏画像で fc よ い 。 発明の開示

そ こ で、 本発明 の 目 的は、 顔認識の精度を 向上させる こ と が可能な顔メ 夕 データ 生成技術お よ び顔類似度算出技術 を提供する こ と であ る 。

本発明 の他の 目 的は、 さ ら に実用 的な顔のマ ッ チングシ ステム を構築する ため の技術を提供する こ と にあ る。

本発明 に よれば、 顔画像か ら 信頼性が抽出 さ れて、 その 信頼性に応 じて適応的にパタ ー ン間の類似度が算出さ れ、 顔認識の精度を向上させる こ とができ る。

本発明 の第 1 の観点 に よ れ ば、 顔 メ タ デー タ 生成装置 は、 画像の顔画像部に関する メ タ データ を生成する。 顔メ 夕データ生成装置は、 画像か ら 顔特徴量を抽出する顔特徴 抽出部 と 、 画像か ら 顔特徴量に対する 信頼性を表す信頼性 指標を抽出する 信頼性指標抽出部 と を備え 、 顔特徴量お よ び信頼性指標を顔メ タ データ と して生成する。

信頼性指標抽出部は、 信頼性指標 と し て、 画像の コ ン ト ラ ス ト指標を抽出する こ とができ る 。 画像の コ ン ト ラ ス ト 指標 と して、 画像中 の画素値の最大値 と最小値 と の差が抽 出 さ れる 。 あ る い は、 画像の コ ン ト ラ ス ト 指標 と して、 画 像中の画素値の分散あ る いは標準偏差が抽出さ れる。

さ ら に、 信頼性指標 と して、 画像の非対称性指標が抽出 されて も よ い。 画像の非対称性指標 と し ては、 画像 とその 画像を左右反転 し た画像 （以下、 反転画像 と い う 。 ） と の 間の差分の最大値が抽出 さ れる 。 あ る い は、 画像の非対称 性指標 と して、 画像 と反転画像 と の間の差分画像の画素値 のべき乗の和および平均のいずれかが抽出さ れる 。 信頼性指標抽出部は、 画像の コ ン ト ラ ス ト 指標を抽出す る 第 1 信頼性指標抽出部 と 、 画像の非対称性指標を抽出す る 第 2 信頼性指標抽出部 と を備えて いて も よ い。 第 1 信頼 性指標抽出部は、 画像の コ ン ト ラ ス ト 指標 と して、 画像中 の画素値の最大値 と最小値の差を抽出 し 、 第 2 信頼性指標 抽出部は、 画像の非対称性指標 と して、 画像 と反転画像 と の 間の差分の最大値 を抽 出する 。 あ る い は、 第 1 信頼性指 標抽出部は、 画像の コ ン ト ラ ス ト 指標 と して、 画像中 の画 素値の分散およ び標準偏差の一方を抽出 し、 第 2 信頼性指 標抽出部は、 画像の非対称性指標 と して、 画像 と反転画像 と の間の差分画像の画素値のべき乗の和お よ び平均の一方 を抽出 して もよ い。

顔特徴抽出部は、 画像か ら得 ら れた特徴ベ ク ト ル を Λ と する と き に、 特徴べ ク ト ル Λ の部分基底べ ク ト ルに よ っ て 特定さ れる基底行列 U と特徴べク ト ル Λ の平均べ ク ト ル Ψ と を用 いて特徴ベ ク ト ル v = U ^T ( Λ - Ψ ) を算出する 。 こ う し て 、 特徴ベ ク ト ル V は 、 顔特徴量 と し て抽 出 さ れ る 。 基底行列 U は、 顔画像サ ンプル集合 [ Λ ] の主成分分 析に よ っ て得 ら れる基底べク ト ルの 中か ら選択 さ れた部分 基底ベ ク ト ルに よ っ て特定さ れる 。 基底行列 U は、 基底行 列 と 、 顔画像を左右反転する画素値の変換 と対応する よ う に基底べク ト ルの要素が入れ換え ら れた反転部分基底べク ト ルに よ っ て特定さ れる基底行列 と の線形和 に よ っ て得る こ と もでき る 。 特徴べク ト ル Λ は、 画像中 の各画素値 を要 素 と する べク ト リレであ る か、 あ る い は、 画像を フ 一 リ エ変 換 し 、 得 ら れる複素フー リ エ成分の各成分の大き さ を要素 とするべク ト ルであっ て も よい。

本発明 の他の観点によれば、 顔類似度算出装置は、 画像 カゝ ら 抽出 さ れた顔特徴量 とその顔特徴量に対する信頼性を 表す信頼性指標 と に基づ い て 類似度 を 算 出す る 。 こ う し て、 顔類似度算出装置は、 画像の顔情報に関する メ タ デー 夕間の類似度を算出する。

上記顔類似度算出装置は、 比較する顔特徴量に対する 信 頼性指標 を用 いて、 顔特徴量間の差ベ ク ト ルの事後分布 に 関するパ ラ メ ータ 情報を推定する分布推定部 と 、 事後分布 の対数尤度か ら 導かれる顔特徴間の距離を類似度 と し て算 出する距離算出部と を有する。

距離算出部は、 顔特徴量間の差べ ク ト ルの事後分布が正 規分布であ る と して、 信頼性指標にお ける正規分布の対数 尤度か ら 導かれる適応的マハ ラ ノ ビス距離を類似度 と して 算出する。

分布推定部は、 信頼性指標 [ ] に対する 差ベ ク ト ル S の各要素 k の分散 ひ 。 ，_ ( [ Θ . 1 ) 2 を推定し、 距離 算出部は、 各要素 k の分散 σ _s ，- ( ί Θ ) 2 を用 いて 適応的マハ ラ ノ ビス距離を計算する。

頼性指標 [ 0 . ] に対する差ベク ト ル s の各要素 k の 分散 σ _{s k} ( [ 0 . ] ) ² を あ ら か じ め記憶する分散値テ 一ブルが備え ら れ、 分布推定部は、 信頼性指標 [ 0 . ] に 基づいて分散値テ一ブルを参照 して分散を読み出 し、 その 分散 を用 い て適応的 マハ ラ ノ ビス 距離 が計算 さ れて も よ い。

距離算出部は、 顔特徴量間の差べ ク ト ルの事後分布が混 合分布であ る と き、 信頼性指標にお ける 混合分布の対数尤 度か ら 導かれる 適応的混合マハ ラ ノ ビス 距離を類似度 と し て算出する。

比較する顔特徴量に対する信頼性指標 を用 いて、 一致 と 見倣すべき ク ラ ス 内 にお ける顔特徴量間の差べ ク ト ルの事 後分布 （ク ラ ス 内分布） と 、 不一致 と見倣すべき ク ラ ス 間 にお ける顔特徴量間 の差ベク ト ルの事後分布 （ク ラ ス 間分 布） と に関する パ ラ メ ータ情報が推定さ れ、 推定さ れたパ ラ メ ータ情報 を用 いて ク ラス 内分布お よびク ラ ス 間分布の 比の対数尤度か ら導かれる顔特徴量間の距離を類似度 と し て算出する。

ク ラ ス 内分布お よ びク ラス 間分布がそれぞれ正規分布で あ る と き、 信頼性指標におけるそれぞれの分布の比の対数 尤度か ら 導かれる 適応的判別距離が類似度 と して算出 さ れ る。

信頼性指標 [ Θ . ] に対する差ベク ト ル S の各要素 k の ク ラス 内分散 ひ _{w k} ( [ θ . ] ) 2 およ びク ラ ス 間分散 ひ _Β ，- ( [ Θ , ] ) 2 が推定さ れ、 適応的判別距離が類似度 と して算出さ れて も よ い。

信頼性指標 [ 0 . ] に対する差ベク ト ル S の各要素 k の ク ラ ス 内分散 a _{w k} ( [ θ _± 1 ) 2 お よびク ラ ス 間分散 _σ B , k ( [ θ . ) 2 の推定のため に、 ク ラ ス 内分散 σ _{τ k} ( ί θ _± ] ) 2 を あ ら か じめ記憶する 第 1 分散値テー ブル と 、 ク ラ ス 間分散 σ _B , _k ( ί θ _± ] ) 2 を あ ら か じ め記憶 す る 第 2 分散値テー ブル と が備 え ら れ、 信頼性指標 [ S . ] に基づいて第 1 お よ び第 2 分散値テー ブルがそれぞれ 参照 さ れて分散を読出 し 、 読み出 さ れた分散を用 いて適応 的判別距離が計算されて も よ い。

ク ラ ス 内分布およ びク ラ ス 間分布がそれぞれ混合分布で あ る と き、 信頼性指標にお けるそれぞれの混合分布の比の 対数尤度か ら適応的混合判別距離が類似度 と して算出 さ れ ても よ い。

本発明の第 3 の観点に よれば、 顔認識シス テム は、 画像 を入力する画像入力部 と 、 顔画像を蓄積す る 顔画像データ ベース部 と を有する 。 顔認識シス テム は、 画像か ら抽出 さ れた顔特徴量 とその顔特徴量に対する信頼性を表す信頼性 指標顔 と を顔メ タ データ と して生成する 顔メ タ デー タ 生成 部 と 、 顔メ タ データ 生成部に よ つ て生成さ れた顔メ タ デー 夕 を蓄積する顔メ タ データ蓄積部 と 、 顔特徴量 とその顔特 徴量に対する信頼性 を表す信頼性指標 と に基づいて顔類似 度 を算 出す る 顔類似度算 出部 と 、 入 力 さ れた指令 に応 じ て、 顔メ タ データ 生成部、 顏メ 夕 データ蓄積部お よ び顔類 似度算出部を制御 し 、 顔画像のマ ツ チ ン グを実行する 制御 部と を備えてい る。

上述 した顔メ タ デー タ 生成部および顔類似度算出部を用 い る こ と に よ り 、 高精度の顔画像マ ッ チ ン グを達成する こ とができる。 図面の簡単な説明

図 1 は、 本発明 の一実施形態 に よ る顔画像マ ッ チ ン グ シ ス テム の構成を示すブロ ッ ク 図であ る。 発明を実施するための最良の形態

(発明の原理）

は じ め に本発明 の原理 につ いて説明する 。 一般に、 パ タ ー ン認識 を行 う 際、 認識 さ れる べき ク ラ ス に対す る学習デ 一 夕 を大量に用意する こ とが可能であ る な ら ば、 その学習 データ に対する統計解析に基づいてパタ ー ン の分布関数が 推定さ れ、 パタ ー ン認識機構を構築する こ とができ る 。 し か し なが ら 、 顔認識の場合、 個人毎に は 1 枚だけの登録画 像 し か得 ら れず、 ご く 少数の登録画像 しか許さ れない こ と が多い。 こ の よ う な場合であ っ て も 、 顔の特徴ベ ク ト ル に 対 し て信頼性指標 と い う 指標が与え ら れ、 その指標に基づ いて ク ラ ス を考え る こ と とする 。 こ れに よ り 、 その信頼性 指標に対する ク ラ ス の統計解析が行われ、 パタ ー ン の分布 関数が推定さ れ、 一枚の登録画像 しか得 ら れな い よ う な顔 認識 に対 して も信頼性指標を通 じ た分布関数に基づ く パ タ 一ン認識機構を構築する こ とができる。

以下、 誤差分布に基づ く 場合のマハ ラ ノ ビス 距離 と ク ラ ス 内分布や ク ラ ス 間分布 に基づ く 判別距離につ い て の顔認 識の原理について説明する。

い ま 、 あ る 一人の顔を観測する 場合を考え る 。 誤差がな い場合に顔画像か ら 得 ら れる特徴ベク ト ルを V 。 と し 、 誤 差べ ク ト リレ ε が重畳 してい る とす る と 、 実際に観測さ れる 観測ベク ト ル V は、 以下の式 （ 1 ) によ り 表される。

V = ν。 + ε ( 1 )

こ こ で、 特徴ベ ク トル V _Q が 2 回観測される とすれば、 以下の式 （ 2 ) に示される よ う に、 2 つ の観測ベ ク ト ル V _λ と V ₂ が得 ら れる。 2 V。

( 2 )

εつ レ ま 、 誤差ベ ク ト ル ε 3_ , 誤差べ ク ト ル ε に対 し て相 関 を持つ信頼性指標 θ 、 信頼性指標 0 ₂ がそれぞれ得 ら れ、 そ の事後分布が ρ ( ε I ⁰ 1 ) 、 ( ε I 0 ₂ ) で あ る とする 。 こ の よ う な分布が得 ら れた と き の観測べク 卜 ル V _λ と ν ₂ の差ベク トル s の事後分布が ρ ( S \ Θ _± , Θ ₂ ) と表さ れる とすれば、 パタ ー ン間の類似度 d ( V

V 2 ) は、 以下の式 （ 3 ) の対数尤度に よ り 表さ れる と ができ る。

d (ν， , v₂) = - In p (s I θ_1# θ₂) ( 3 )

事後分布 P { B \ θ ) 、 ρ ( ε I θ ₂ ) がそれぞれ正規 分布であ る と す る と 、 差ベ ク ト ル s の分布 ρ ( S I θ _λ , θ ) も正規分布 と な る で 、 誤差べ ク 卜 ル の事後分 布 を ρ ( ε I Θ . ) , 2 ) と し 、 平均が 0 で め る と い 、 共分散行列 ∑ _£ ( Θ _± ) の正規分布 を考え る 。 こ の場 合、 差ベ ク ト ル s の分布は、 平均が 0 であ り 、 共分散行列 ∑ _s { Θ , S ₂ ) は式 （ 4 ) で表される。

，θ₂) = I ）+ _ε(θ₂) ( 4 ) 書き直すと、 事後分布 p s j ^ ;^ 0 ₂ ) は次式 （ 5 ) で 表される。

P s θ,,θ, exp ( 5 )

2

(2 ₃(θ_χ, θ₂^ 従っ て、 式 （ 3 ) は、 次式 （ 6 ) に示 さ れる よ う に、 共 分散行列 ∑ ε {、 θ " 1 ) ' や ' ∑ ε ( 0 つ） を用 いて、 信頼性指標

Θ や Θ に対して適応的なマハ ラ ノ ビス距離に書き表す とができ る。

d v_lf v₂

= - In l^s I 9_LF θ₂)

= s^T2 ,

_S(0" Θ₂)| ( 6 )

誤差べ ク ト ル の 各要素 間 に お け る 独立性が仮定 さ れれ ば、 式 （ 5 ) は次式 （ 7 ) に示される よ う にな る。

こ こで、 σ „ _k { θ _± , θ ₂ ) 2 は共分散行列 ∑ _s ( θ , θ ₂ ) の k 番目 の対角要素であ り 、 つ ま り 、 観測誤差の分 散で あ る 。 ま た 、 σ _{ε k} ( S ₁ ) 2 、 （j _£ ( θ ₂ ) 2 は、 それぞれ共分散行列 ∑ _ε { θ _λ ) 、 ∑ _ε ( θ ₂ ) の k 番 目 の対角要素で あ る 。 s _k は差ベク ト ル s の k 番目 の要素 を指定する 。

こ のよ う に正規分布 を仮定する こ と で、 式 （ 3 ) は、 次 式 （ 8 ) の よ う に、 各特徴ベク トルの要素毎の分散 σ _{£ k} 、 ひ _ε ，- ( θ ₂ ) を用 いて、 信頼性指標 S ェ や 0 ₂ に対 して適応的なマハ ラ ノ ビス 距離によ っ て類似度を定義 する こ とができる。 d、v， , v.

= - In p I θ_1# θ.

2 2 ， θ; ( 8 )

1 ^Ν

-

2 άι

— '

2. k=i

で ν k ν 2 , k はそれぞれ特徴ベク ト ル V ェ、 V

2 の k 番目 の要素を表す。

上記説明では、 事後分布 p ( s I 0 . , θ ) と して正規 分布が仮定さ れたが、 以下の説明では、 混合正規分布が仮 定 さ れる 。 さ て、 次式 （ 9 ) に示 さ れる よ う に 、 正規分布

P ( s I 0 丄 ， Θ 2 ' , 2 , , M ) の和 に よ つ て事後分布 p ( s θ ₁ , 0 ₂ ) が表現さ れる こ とができ る と仮定する。

P (s f θ,,θ,) = 2 p (s I θ,, θ,, ίίρ ( 9 ) 従っ て、 次式 （ 1 0 ) に よ り 適応的混合マハ ラ ノ ビス 距 離を定義する こ とができる 。 ,V₂

-lnp(s I 0_lfe₂)

-ΙηΙρΙβ Ι Θ,,θ,,:

= -ln —— N x _exp (- - ∑ _Efe' j) +∑ ! ■ ¹ s) P ( j)

( 1 0 )

事後分布 p ( s \ Θ ₁ , Θ ₂ , j ) の共分散行列 ∑ _s ( θ _Λ , Θ ₂ , ； j ) お よび Ρ ( j ) の推定につ いて は、 一般的 な推定方法で あ る最尤推定法や E Mアルゴ リ ズム を用 いて 推定する こ とができ る 。 こ れ ら の詳細は、 C . M . B i s h o に る " e u r a l N e t w o r k s f o r P a t t e r n R e c o g n i t i o n " ( O x f o r d U n i v e r s i t y E x p r e s s , 1 9 9 5 ) に記載されてい る 。

混合正規分布を仮定する こ と で、 分布 を よ り 正確 に近似 でき、 マ ッ チ ン グ性能が向上する 。 しか しなが ら 、 大量の 学習データ が必要になる と と も に演算量 も ま た大幅 に増加 する。

前述の誤差分布に基づ く マハ ラ ノ ビス 距離は、 検索 さ れ る 顔デー タ が他の登録さ れて い る顔データ の 中で どれに最 も近いか を調べる顔同定 （ f a c e i d e n t i f i c a t i o n ) の よ う な問題 に対 して優れてい る 距離であ る 。 一方、 顔識 別 ( f a c e v e r i f i c a t i o n ) の問題では、 入力 さ れた 顔デー タ を 、 登録 さ れた顔画像 と の 同 一性 を判定す る 上 で、 入力 さ れた顔デー タ を受 け入れ る べ き か 、 棄却すべき かが重要な 問題で あ る 。 以下で説明す る 「判別距離」 と 名 付 け る 距離 は、 こ の 顔識別 問題 に対 し て は 前述 の マ ハ ラ ノ ビス 距離 を 用 い る 場合 よ り も 、 優れた類似度尺度 と な つ てい る 。

い ま 、 顔の 2 つ の特徴ベ ク ト ル V が、 同一 ク ラ ス 内 に属 して一致す る と 判定で き る な ら ば、 すなわ ち 、 例 え ば、 2 つ の特徴べ ク ト ルが 同 じ 人物 の顔デ一 夕 で あ る な ら ば、 そ れ ら の特徴べ ク ト ル の組み合わせ は ク ラ ス Wに属 し て い る と する 。 ま た 、 2 つ の特徴べ ク ト フレ V がク ラ ス 間 の特徴べ ク ト ル で あ り 、 不 一致 と 判 定 さ れ る べ き な ら ば 、 す な わ ち 、 2 つ の特徴ベ ク ト ルが異な っ た 人物 の顔デー タ で あ る な ら ば、 それ ら の組み合わせ は ク ラ ス B に属 し て い る と す る。

2 つ の特徴ベ ク ト ル V ェ、 V ₂ に対 し て信頼性指標 Θ i 、 Θ ₂ が得 ら れる とす る 。 差ベ ク ト ル s と 2 つ の信頼性指標 ^θ 1 、 ⁹ 2 (以下、 2 つ の信頼性指標 のセ ッ ト は [ 0 , ] と 表記 さ れ る ） が観測 さ れた と き に 、 2 つ の特徴ベ ク ト ル V

₁ , V ₂ がー致 し て い る と見做 さ れ る 場合 と 不一致 と 見倣 さ れ る 場 合 と の 判別 問 題 を 考 え る 。 こ の 場合 、 次式 （ 1 1 ) の判別貝 IJ ( d e c i s i o n r u l e ) が得 ら れる 。

上記式 （ 1 1 ) の左辺は、 ベイ ズ定理 （ B a y e s T h e o r e m ) によ っ て次式 （ 1 2 ) の よ う に書き直す こ とができ る。

( 1 2 )

(w, {eJ)_P (s I w, {Θ_±})

P (B, {θ_±})ρ (s I B,

₌ (W) P (s I w, {θ,})

P (B) P (s I B,¾)

こ こ で、 ク ラ ス W、 B と [ ^ i ] の生 じ る確率は独立で あ る と 仮 定 し て 、 P ( W , [ Θ _± ] ) = P ( W ) P ( [ Θ . ] ) 、 Ρ ( Β , [ θ ] ) = Ρ ( Β ) ρ ( [ 9 . ] ) と して い る 。

ノ\°タ ー ン間の距離 d ( V _χ , V ₂ ) と して式 （ 1 2 ) の対 数尤度が計算さ れる な ら ば、 次式 （ 1 3 ) に示 さ れる よ う に、 顔識別問題に適した類似度を求め る こ とができる 。 d(v₁ v₂) = _ln.^P(^W)P(^S I

p (B) p (S I B, |Θ_Α ( 1 3 )

p w

一 In 一 In

is I B, θ p (Bj

個別 のマ ッ チ ン グ毎に事前確率 P ( W ) 、 P ( B ) が異 な り 、 且つ、 それを知 る こ と ができ る な ら ば、 .式 （ 1 3 ) の第 2 項 を 計算す る こ と が望 ま し い 。 し か し 、 多 く の 場 合、 個別 のマ ッ チ ン グ毎に事前確率を知 る こ と ができない ので、 事前確率は一定 と仮定する こ とで、 第 2 項を一定 と 見倣し、 類似度の計算か ら は除外する。

事後確率 P ( s I W , [ Θ . ] ) 、 P ( s | B , [ Θ . ] ) を、 それぞれク ラ ス 内分布 p _w ( s I ί Θ 1 ) 、 ク ラ ス 間 分布 ρ „ ( s ί Θ , ] ) と書き代え る と 、 次式 （ 1 4 ) が 得 られる。

次に、 ク ラ ス 内分布 p _w ( s I ί Θ _± ) 、 ク ラス 間分布

P Β ( s I ί θ .1 ) がそれぞれ正規分布であ る と仮定 し 、 その平均がそれぞれ 0 、 共分散行列がそれぞれ ∑ _w ( [ Θ . ] ) 、 ∑ _B ( [ Θ _±1 ) とすれば、 事後分布はそれぞれ次 式 （ 1 5 ) で書き表す こ とができ る。

P_B s

上式 を式 （ 1 4 ) に代入す る と （但 し 、 式 （ 1 4 ) の第

2 項 は省略） 、 次式 （ 1 6 ) で示 さ れる 距離 を得 る こ と が でき る 。 こ れを 「適応的判別距離」 と 呼ぶ こ と にする 。

d ， , )

一 In Pwl^s θ

( 1 6 )

差べ ク ト ル s の各要素 間 にお け る 独立性 を仮定すれば、 式 ( 1 5 ) は、 次式 ( 1 7 ) と表す こ と が出来 る 。

( 1 7 ) ( θ _± 2 は、 それぞれ で、 び W , _k ^{( Θ} i 2、 び _B , _k

共分散行列 ∑ _w ( θ _± ) 、 ∑ _Β ( θ _± ) の k 番 目 の対角 要素 で あ り 、 つ ま り 、 ク ラ ス 内 分散 と ク ラ ス 間 分散 に 相 当 す る 。 s _k は差ベ ク ト ル s の k番 目 の要素であ る 。

' こ の よ う に正規分布 を仮定す る こ と で式 （ 1 6 ) は、 次 式 （ 1 8 ) の よ う に 、 各特徴ベ ク ト ルの要素毎 の ク ラ ス 内 分散 び _{w k} θ _± ) 2、 ク ラ ス 間分散 σ _Β ，- ( 0 . ) ² を用 いて 、 信頼性指標 [ 0 . ] に対 し て適応的な判別距離 に よ る類似度を定義する こ と ができ る 。

( 1 8 )

上記の説明ではク ラ ス 内分散 σ ( θ . ) 2、 ク ラ ス間

W , k

分散 び _k ( Θ . ) 2 と して正規分布が仮定 さ れたが、 以 下では混合分布が仮定される。

次式 （ 1 9 ) の よ う に 、 ク ラ ス 内 分布 P _w ( s I [ Θ . ] ) 、 ク ラ ス 間分布 P _n ( s I [ Θ _± ] ) と し て、 それぞ れ正規分布 P _w ( s | [ 0 i ] , j _w ) ( j _w , 2 , .

M 、 P _B ( S | j B ) ( J B ⁼ ： , 2 , . , M

B ) の和によっ て事後分布が表現でき る と仮定する

P„(s I {θ_±}) = | _Pw(s I {θ_±}, j_w) p (jj

( 1 9 )

p_B(s I {ej) = 1 P_b(S I {ej, j_B)p(j_B) 従っ て、 こ の対数尤度を用 いて次式 （ 2 0 ) の適応的混 合マハ ラ ノ ビス距離を導 く こ とができ る。

TJP02/13114

： _ _ln Pw(s I {Θ,

— ln | _Pw(s I {e^ jpi j + ln J p_E s θ ; j_B)P(j

( 2 0 )

ク ラ ス 内分布 P _w ( s | [ e i ] B , j _w ) 、 ク ラ ス 間分布

P _R ( s I [ Θ . ] , _B ) の共分散行列 ∑ _w ( s I ί θ , ] ,

∑

w B ί θ _Λ 1 j _w ) 、 p

( j _R ) の推定については、 最尤推定法や E M

B アルゴ リ ズム p

を用 いて推定する こ とができ る 。 混合分布 を 仮定す る こ と で 、 分布 を よ り 正確 に近似で き、 マ ッ チ ング性能を 向上 さ せる こ と ができ る 。 し か しな が ら 、 同時に大量の学習デー タ が必要にな る と と も に、 演 算量も大幅に増加する 。

こ のよ う に顔特徴量に対 して さ ら に信頼性指標 を抽出す る こ と に よ っ て、 信頼性指標 に対 して適応的な距離規範を 導 く こ とができ、 高精度な顔認識機構を構築する こ と がで き る 。 なお、 上記では、 特徴ベ ク ト ルに対する 信頼性指標 を ス カ ラ ー量 （一つ の成分のみ） か、 ベク ト ル量 （複数の 成分 を も つ） か特定 していな いが、 どち ら の場合で も 成立 す る 議論であ り 、 複数の要素 を用 い る こ と で、 性能 の向上 が期待でき る。 具体的な信頼性指標につ いては、 実験的 に有効な信頼性 指標 を発見する こ と が必要であ り 、 顔認識の場合では、 画 像の コ ン ト ラ ス ト を表すコ ン ト ラ ス ト 指標や、 正面顔の認 識では、 照明変動や姿勢変動に よ っ て生 じ る顔画像の左右 の対称性の歪みか ら の量を表す非対称指標 を用 い る と高い 効果が得 ら れ、 それ ら の信頼性指標を組み合わせてべク ト ル量とする こ とで、 よ り 精度の向上が期待でき る。

(実施例）

図 1 は、 本発明 の一実施形態に よ る顔画像マ ッ チ ングシ ス テム を示すブロ ッ ク 図であ る 。 以下、 顔画像マ ッ チ ン グ システム について詳細に説明する。

図 1 に示すよ う に、 本発明 に よ る顔画像マ ッ チ ングシス テム は、 顔画像入力 部 1 1 と 、 顔 メ タ デー タ 生成部 1 2 と 、 顔メ タ デ一夕蓄積部 1 3 と 、 顔類似度算出部 1 4 と 、 顔画像データ べ一ス 1 5 と 、 制御部 1 6 と 、 表示部 1 7 と を備えてい る 。 顔画像入力部 1 1 は、 顔画像を入力 し、 顔 メ タ デー タ 生成部 1 2 は、 入力 さ れた顔画像か ら それ ら の 顔特徴量、 信頼性指標 を抽 出 し 、 顔 メ 夕 デ一 夕 を 生成す る 。 顔メ タ データ蓄積部 1 3 は、 抽出 さ れた顔メ タ デー タ を蓄積す る 。 顔類似度算出部 1 4 は、 2 つ の顔メ タ データ か ら 顔の類似度を算出する 。 顔画像デー タ べ一ス 1 5 は、 顔画像を蓄積する 。 制御部 1 6 は、 画像の登録要求 · 検索 要求 に応 じて、 画像の入力 、 メ タ デー タ の生成、 メ タ デー 夕 の蓄積、 顔類似度の算出の制御 を行 う 。 表示部 1 7 は、 顔画像や他の情報を表示する。 ま た、 顔メ タ デー タ 生成部 1 2 は、 入力 さ れた顔画像か ら 顔特徴を抽出する 顔特徴抽出部 1 2 1 と 、 顔画像か ら信 頼性指標を抽出す る 信頼性指標抽出部 1 2 2 と を備えてい る 。 顔類似度算出部 1 4 は、 信頼性指標か ら 事後分布に関 する パ ラ メ ータ 情報 を推定する分布推定部 1 4 1 と 、 顔特 徴量 と分布推定部 1 4 1 か ら の事後分布情報か ら顔特徴量 間の距離を算出する 距離算出部 1 4 2 と を備えてい る 。 分 布推定部 1 4 1 内 に は、 分散値を格納する分散値テーブル 1 4 3 が用意さ れて い る こ とが望ま し い。 分散値テーブル 1 4 3 に格納さ れる 分散値は予め計算さ れ、 テーブル 1 4 3 に格納さ れてい る こ とが望ま し い。

登録時に は、 画像入力部 1 1 は、 顔の大き さ や位置を合 わせた上でス キ ャ ナあ る い は ビデオカ メ ラ か ら顔写真を入 力する 。 あ る い は、 人物 の顔を直接 ビデオカ メ ラ な どか ら 入力 して も構わない。 こ の場合には、 前述の M o g h a d d a m の文献に示さ れてい る よ う な顔検出技術を用 いて、 入力 さ れた画像の顔位置 を検出 し 、 顔画像の大き さ 等を 自動的 に正規化する方がよいであ ろ う 。

ま た、 入力 さ れた顔画像は、 必要に応 じて、 顔メ タ デー 夕 又は I D と 関連付けて顔画像データ べ一ス 1 5 に登録さ れる 。 顔画像登録 と 同時 に、 顔メ タ デー タ 生成部 1 2 に よ つ て顔メ タ データ が生成 さ れ、 顔メ タデー タ 蓄積部 1 3 に 蓄積される 。

検索時に は、 同様 に、 顔画像入力部 1 1 か ら顔画像が入 力 さ れ、 顔メ タ デー タ 生成部 1 2 に よ り 顔メ タ データが生 成 さ れる 。 生成さ れた顔メ タ データ は、 一旦顔メ タデータ 蓄積部 1 3' に登録 さ れる か、 ま たは、 直接に顔類似度算出 部 1 4 へ送 ら れる 。 検索では、 顔同定の場合、 すなわち 予 め入力 さ れた顔画像がデ一夕 ベース.中 に あ る か ど う か を確 認する 場合には、 顔 メ タ データ蓄積部 1 3 に登録さ れたデ 一 夕 の一つ一つ と の類似度が算出 さ れる 。 最 も類似度が高 い結果、 すなわ ち 、 距離値が小 さ い結果に対応する顔メ タ デー タ 又は I D に基づいて、 制御部 1 6 は、 顔画像データ ベース 1 5 か ら 、 顔画像 を選び、 顔画像を表示する よ う に 表示部 1 7 を制御す る 。 検索画像 と登録画像にお ける顔の 同一性を作業者が確認する。

一方、 顔識別 の場合に は、 すなわち 予め I D 番号で特定 さ れた顔画像 と検索の顔画像が一致する か ど う か を確認す る 場合に は、 特定さ れた I D 番号の顔画像 と一致する か否 かが顔類似度算出部 1 4 にお いて計算さ れ、 予め決め ら れ た類似度よ り も類似度が低い場合には、 すなわち 距離値が 大き い場合には、 一致 し ない と判定さ れ、 類似度が高い場 合に は一致する と判定 さ れる 。 制御部 1 6 は、 その結果を 表示する よ う に表示部 1 7 を制御する 。

こ の シス テムが入室管理用 に用 い ら れる な ら ば、 顔類似 度 を 表示す る 代わ り に 、 制御部 1 6 カゝ ら 自 動 ド ア に対 し て、 そ の 開 閉制御信号を送 り 、 自 動 ド ア の開 閉制御 を行 う こ と に よ っ て入室管理を行う こ とができ る。

上記 の よ う に 、 顔画像マ ッ チ ン グ シ ス テ ム は動作す る が、 こ の よ う な動作はコ ン ピ ュ ータ シス テム上で実現する こ と もでき る 。 た と え ば、 次に詳述する よ う な メ タ データ 生成を実行する メ タ デー タ 生成プ ロ グラ ムお よ び類似度算 出 を実行する類似度算出 プロ グ ラ ムが記録媒体 2 0 に格納 さ れて い て 、 それ を 読 出 し て メ モ リ （ 図示せず） に格納 し 、 これ ら を プロ グラ ム制御プロ セ ッ サ （図示せず） に よ つ てそれぞれ実行する こ とで顔画像マ ッ チ ン グを実現する こ とができ る。

次に、 こ の顔画像マ ッ チ ングシス テム の動作、 特に顔メ 夕 データ 生成部 1 2 と顔類似度算出部 1 4 につ いて詳細 に 説明する。

( 1 ) 顔メ タデータ生成

顔メ タ データ生成部 1 2 は、 位置 と大き さ が正規化さ れ た画像 I ( X , y ) を用 いて、 顔特徴量を抽出する 。 位置 と 大き さ の正規化 は、 例 え ば、 目 位置が （ 1 6 , 2 4 ) 、

( 3 1 , 2 4 ) 、 サイ ズが 4 6 X 5 6 画素 と なる よ う に画像 を正規化 してお く と よ い。 以下では、 こ のサイ ズに画像が 正規化されている場合について説明する。

顔特徴量と して、 所謂、 固有顔の手法 （前述 M o g h a d d a m の論文） を用 いて特徴を抽出する 。 つ ま り 、 画像中 の 画素値を要素 とする特徴べ ク ト ル Λ に対 して、 基底行列 U と 、 顔画像サンプル集合 [ Λ ] にお ける平均ベ ク ト ルであ る 平均顔 ψ と を用 いて、 特徴ベ ク ト ル _V = U ^T ( Λ — Ψ ) が算出 さ れる 。 基底行列 U は、 顔画像サ ン プル集合 [ Λ ] の主成分分析によ っ て得 ら れた基底べク ト ルの 中か ら選択 さ れた部分基底ベ ク ト ル に よ っ て特定 さ れ る 。 こ の よ う に 、 入力 画像で はな く 、 部分基底ベ ク ト ル を用 い る こ と で、 入力画像のデー タ量を削減す る こ と ができ る 。 こ の よ う にデ一夕 量を削減する こ と は、 メ タ デー タ ベース にお け る蓄積量を少な く する だけではな く 、 高速なマ ッ チ ン グを 実現する ため には重要な要素であ る 。 こ の特徴べ ク ト ルの 次元数 と し ては、 例え ば、 4 8 次元の特徴量を用 いればよ い。

こ の よ う に一般的 に用 い ら れ る 固 有顔 に よ る 手法 の他 に、 主成分分析に対 して判別分析 を組み合わせた手法 （前 述、 W . Z h a o の論文） 等を用 いて部分基底ベク ト ルを規 定して も構わない。

また、 基底行列 U n と基底行列 U m の線形和によ っ て得 ら れる行列 U ( - a U n + b U m ) を基底行列 と し て用 いて、 顔特徴ベ ク ト ルを抽出 して も よ い 。 こ こ で、 基底行 列 U n は、 前述 し たよ う な顔画像サンプルにお ける特徴べ ク ト ル集合 [ Λ ] の主成分分析や判別分析 によ っ て得 ら れ る基底べク ト ルの 中か ら選択さ れた部分基底べ ク ト ルに よ つ て特定さ れる 。 ま た、 基底行列 U m は、 顔画像を左右反 転さ れる画素値の変換 と対応する よ う に基底べ ク ト ルの要 素 を入れ換 え た 反転部分基底べ ク ト ル に よ っ て特定 さ れ る 。 例 え ば a b == 1 とす る と 、 得 ら れ る 顔特徴ベ ク ト ル は、 入力画像空間で左右の変換に対 して対称な成分のみ を 抽出する こ と ができ る 。 顔は本来左右対称であ る ので、 照 明の影響で非対称 と な っ た画像成分や顔の向きが正面 に 向 いていな い ため に生 じ る 非対称成分が本来 ノ ィ ズに相当す 4 る も のであ る ので、 これを除去 し 、 対称な成分のみを抽出 す る こ とで、 照明や姿勢の変動に対 して安定な顔特徴量を 抽出する こ とが可能 となる 。

ま た、 画像を フ ー リ エ変換し、 得 ら れた複素 フー リ エ成 分の各成分の大き さ を要素 とする べ ク ト ルを特徴べク ト ル

Λ と して算出 し 、 上記の よ う な主成分分析や判別分析に よ つ て次元圧縮を行い顔特徴量を抽出 して も よ い。 こ のよ う に画像を フ ー リ エ変換す る こ とで、 位置ずれに対 して強い 顔特徴量を抽出す る こ と ができ る 。 こ の よ う に して、 顔特 徴抽出部 1 2 1 は、 顔特徴量 V を抽出する。

信頼性指標抽出部 1 2 2 では、 顔特徴量 V の信頼性指標 と して有効な コ ン ト ラ ス ト 指標 S c o n t r a s ■ と非対称性 指標 ^ a s y mm e t r i c を抽出する 。 コ ン ト ラ ス ト指標 C

O _η . i„ _Λ d _Q . X- と して、 顔画像 I ( x , y ) の画素値の標準偏差 を次式式 （ 2 1 ) によ っ て計算する 。 round

、

46 χ 56 i-i _J=

こ こ で r o u n d ( ) は数値の丸め処理 を意味する 。 こ の よ う に 抽 出 さ れ た 信頼性指 標 0 ハ 。 _{n t r a s t} を ' [ 0 , 1 ,

2 1 5 ] の 4 b i t の範囲に収ま る よ う に、 値域を越 え る も の は値 を制限する 。 なお、 上記では コ ン ト ラ ス ト 指 標 と して、 画像の標準偏差を計算 し たが、 分散や画像中 の 画素値の最大値 と 最小値の差を抽出 して も よ い。 画像中 の 画素値の最大値 と 最小値 に よ る コ ン ト ラ ス ト 指標は、 標 準偏差や分散によ る 場合よ り も演算量が少な いが、 効果は 相対的に小さ い。

非対称性指標 0 a s y m m e t 2： i c と して、 顔画像 I ( x , y ) と そ の反転画像 と の間 の差分の絶対値 （ 1 乗） の平均 を次式式 （ 2 2 ) によ り 抽出する。

^Θ~

- ¹ (⁴⁷ - ή

( 2 2 ) こ の よ う に抽 出 さ れた 信頼性指標 Θ a s y m m e t r i c を [ 0 , 1 , 2 1 5 ] の 4 b i t の範囲に収ま る よ う に値 域 を越え る も のは値 を制限する 。 なお、 上記では非対称指 標 と して、 絶対値に よ る 値 （ 1 乗） を用 いたが差分の 2 乗 を用 いて も よ い。 また、 平均の代わ り に、 和値を用 いて も 同等の効果を得る こ と ができ る 。 また、 差分の最大値を検 出 して、 その値を非対称指標 と して用 いれば演算量が少な く て済む。

信頼性指標抽出部 1 2 2 は、 顔画像に対 して、 特徴べ ク ト ル V と信頼性指標 0 _α。 _{n t a s t} と信頼性指標 0 a s y m m e t r i c を抽出 し 、 顔メ タ データ と して出力する 。 前述 し た よ う に、 上記顔メ タ デー タ 生成手順を コ ン ピ ュータ プ ロ グラム によ っ てコ ン ピュータ に実行させる こ と もでき る。

( 2 ) 顔類似度算出

次に、 顔類似度算出部 1 4 の動作につ いて説明する 。 顔 類似度算出部 1 4 では、 二つ の顔 メ タ データ の信頼性指標

Θ ^ _{n n t} ^ _{a s J} - I 0 c o n s t r a s t , 2 と 0 a s ymm e t r i c , l 、 Θ a s y m m e t r i c , 2 を用 いて、 分布推定部 1 4

1 が事後分布 に関するパ ラ メ ータ 情報を推定 し、 二つ の顔 メ タ デー タ の二つ の特徴ベク ト ル _{V i}、 V ₂ と事後分布 （'こ 関する パ ラ メ 一 夕情報 と を用 いて距離算出部 1 4 2 が顔特 徵間の類似度 d を算出する 。

こ こ では、 式 （ 8 ) あ る い は式 （ 1 8 ) に よ っ て顔の類 似度を計算する場合について説明する 。

式 （ 8 ) あ る い は式 （ 1 8 ) にて表記さ れてい る信頼性 指標 Θ ェ 、 θ ₂ は本実施形態ではベ ク ト ルであ り 、 それぞ れの要素は ^ 丄 = ( 9 c o n t r a s t , l , Θ a s y m m e t r i c , 1 、 Θ = ^ 0 c o n t r a s t , 2 , Θ a s y m m e t r i c , 2 ) ^T となる。 コ ン ト ラス ト指標、 非対称性指標はそ れぞれ 4 b i t で表現されている ので、 Θ i の と り 得る状態 は 2 5 6 個の状態 となる。 与え ら れた信頼性指標 0 — . によ つ て、 2 5 6 個の状態の中の一つの状態が特定できる。

分布推定部 1 4 1 は、 後述する よ う に、 予め求めてお い た信頼性指標 0 ( 2 5 6 個の状態があ る） に対する差べク ト ルの分散値 σ _P ( θ ) や分散値 σ _w ，_ ( 0 ) 、 分散値 σ _Β ( θ ) を テー ブル に記憶 し てお き、 信頼性指標 S 丄 およ び 0 ₂ を用 いて、 それぞれの分散値テ一ブルの値 を参 照 し 、 得 ら れた分散値を事後分布情報 と して、 距離算出部 1 4 2 に 引 き渡す。 なお、 顔同定の場合には、 式 （ 8 ) で 必要な分散値 σ _£ ，_ ( θ ₁ ) 、 分散値 σ _{£ t} ^ ( θ ₂ ) の値 を 距離算 出部 1 4 2 に 出 力 すればよ く 、 顔識別 の 場合 に は、 式 （ 1 8 ) に必要な分散値 σ _w ，- ( Θ ) 、 分散値 σ _{B k} ( Θ ) を出力する。 距離算出部 1 4 2 は、 式 （ 8 ) あ る い は式 （ 1 8 ) に従 つ て適応的マハ ラ ノ ビス距離あ る い は適応的判別距離を算 出 し、 類似度 d と して出力する。 前述 し た分散値テーブルの分散値は、 予め用意さ れた顔 画像デー タ サ ンプルを k)用 いて計算 さ れてい る 。 顔画像サ ン プルにお ける特徴ベ ク ト Vル集合 [ V ] と その信頼性指標 ί Θ . か ら 、 そ れぞれ の 分散値 は次 の よ う に 計算 で き る α (Θ)² ( 2 3 )

2Ν_ε(θ) (_(i,3)e a_w._k(6)² _ - _ y (v - v

2N_w(6)_((i, ! † ^d'^k/

( 2 4 )

σ_Β,,(θ)^{2 1} y (_{Vl h} v

2Ν_Β(θ) ((i こ こ で、 " ( i , 3 ) がク ラ ス Wに属する " と は、 デー 夕 i とデータ j が同一ク ラス、 すなわち 、 同一人物か ら得 ら れた デー タ で あ り 、 ク ラ ス 内 で あ る こ と を 意 味 し 、 " ( i , j ) がク ラ ス B に属する " と は、 データ i とデータ が異な る ク ラ ス 、 すなわち 、 異な る 人物か ら得 ら れたデ —夕 であ り 、 ク ラ ス 間であ る こ と を意味する 。 また、 N _£ ( Θ ) N _w ( θ ) Ν _Β ( θ ) はそれぞれのク ラス に属す る データ の組み合わせの数であ る 。 こ の よ う に 0 の ビ ン毎 に分散値 を計算する 際に、 そのデータ 数が少な過ぎる 場合 に は、 近傍の ビ ン のデー タ を併合する よ う に して、 サ ン プ ル数を確保する よ う にする 。 これは、 分布推定における k 近傍法 （前述 B i s h o p の文献 ， p p . 5 3 ) によ っ て b i n を併合する の と 同様な手法であ る。

で、 式 （ 1 8 ) の場合、 式 （ 4 ) と 同様に、 0

W , k

( ί θ . 1 ) 2 ₌ び _w , _k ( S ェ ） 2 + σ _{W f k} ( θ ₂ )

2、 および、 σ _Β „ ( [ θ _± ] ) 2 ₌ C7 _{B k} ( 0 , ) 2 + ^σ Β , ^θ 2 ² となる こ と に注意さ れたい。

なお、 誤差分散 び . _k ( Θ ) 2 と ク ラ ス 内分散 a _w , _k

( Θ ) 2 が同 じ にな る ので、 顔画像マ ッ チングシステムで 式 （ 8 ) と式 （ 1 8 ) の両方の距離を計算する 場合には、 これ ら の分散値テーブルを共有して構わない。

ま た、 誤差分布 と ク ラ ス 間分布は強い相関があ る場合が 多い ので、 誤差分 散 σ _{£ k} ( θ ) 2 の代わ り にク ラス 間 分散 び β , k ^{( 9 ) 2} を用 いて も、 信頼性指標を用 いない場 合よ り は精度が向上する 。 しか し、 誤差分散を用 いた方が 精度が良い。

こ の よ う に顔メ タ デー タ 間の類似度を信頼性指標 Θ c o n t r a s t や信頼性指標 0 a s y m m e t r i c を介した事後分布 情報を用 いて算出する こ とで、 精度の よ い顔認識を行 う こ とが可能で あ る 。 前述 し たよ う に、 上記顔類似度算出手順 を コ ン ピ ュ ー タ プロ グ ラ ム によ っ て コ ン ピ ュ ー タ に実行 さ せる こ と もでき る 。

なお、 こ こ で は式 （ 8 ) と式 （ 1 8 ) を用 いて、 類似度 が計算さ れて い る が、 次式 （ 2 5 ) 、 ( 2 6 ) に示さ れる よ う な様々 な計算方法に よ っ て近似的 に計算 さ れ、 高速化 等を図る こ と も でき る。 zz

( Z )

z

¹ \ ゾ ノ ノ K "C

((^Ζθ)^¾'³0 '( '³0 SUI Z

^ΖΛ '^τΛ)ρ

"Λ - 'Δ +

( θ) ο'_ζ(^τθΓ'³

Δ - ^ ^ιΛ

W'³ ) a£S UT Κ - +

:Λ '^τΛ

⁷ Ν L

、 ^θ) ^D ζ

ζ ( Λ - '^τΛ) 1 'Λ ' ^τΛ)

T

~ ^L ^— ^{L 1} I N T

^Ζ '^τΛ)ρ

Iれ Λ一 '^ΤΛΙ M τ θ)^¾'³ο + ^τθ) '³οり υτ - +

= (^ΖΛ ' ^ΤΛ ρ 、

Λ - Λ κ

τ

ノ \ ノ κ X

(^Ζθ) '³θ θ) '³0 2

- "^Δ) «

' 、 , / Ν Τ

Mici/zodr/xad 0691S0/C0 OAV σ_Β )²)

+ -∑ (ln2i«J_w,_k(e₂) - ln2ira_B,_k(8₂

2

( 2 6 ) 上記各式の右辺第 2 項 （ I n の部分） を計算 しな い こ と で、 さ ら なる高速演算を図る こ とができる。

ま た、 式 （ 6 ) や式 （ 1 6 ) を用 いて類似度が計算さ れ る 場合も 、 基本的 に は同様に、 予め用意さ れた顔画像デー 夕 サ ンプルか ら 、 それぞれの計算 に必要な差べ ク ト ルの誤 差の共分散行列 ∑ _£ ( 0 ) や差ベ ク ト ルの ク ラ ス 内 の共分 散行列 ∑ _w ( Θ ) 、 ク ラス 間の共分散行列 ∑ _Β ( Θ ) が算出 さ れて、 共分散テー ブル と して用意され、 類似度計算の際 に その共分散テー ブルが参照 さ れる よ う にすればよ い。 こ の方法では、 共分散行列 を用 いて距離を計算する ので、 演 算量が増加する が、 十分な学習サ ン プルがあ る場合には類 似度計算の精度を向上させる こ とができ る 。 式 （ 3 ) の事後分布や式 （ 1 4 ) のク ラス 間分布、 ク ラ ス 間分布 に対 して混合正規分布 を仮定 して、 分布関数を推 定する こ とで、 それぞれ式 （ 1 0 ) や式 （ 2 0 ) の適応的 0213114 混合マハ ラ ノ ビス距離や適応的混合判別距離を計算 して も よ い。 こ の場合 も 、 分散や共分散行列 を用 いて、 事後分布 情報 を計算する の と 同様に 、 顔画像データ サ ンプルか ら 混 合正規分布を表す共分散行列 ∑ _s ( 0 , , j ) 、 P (： j ) 等 の混合分布 を特定するパ ラ メ ー タ が求め ら れ、 テーブル と して記憶 さ れて も よ い。 なお、 こ の推定につ いては、 一般 的な推定方法であ る最尤推定法や E Mアルゴ リ ズム を用 い て推定すればよ い。

こ こ ま で の説明では、 一枚の顔画像が登録さ れ、 一枚の 一 f 1

顔画像を用 いて検索さ れる 場合につ いて説明 したが、 一人 の顔に対 して複数の画像が登録 さ れ、 一 d枚の顔画像を用 い て検索さ れる 場合に は、 例え ば、 次の よ う にすればよ い。 すなわち 、 検索側の特徴べク ト ルを V q u e と し、 登録側の 特徴べク ト ルを V r e g , k と し 、 複数画像登録の場合の類 似度 d m u t ( v q u e ' [ ^L v V

v r e g , 1 ' ^v r e g , 2 ' v r e g , n ] ) と して、 次式 （ 2 7 、 2 8 ) に示 す計算式に基づき類似度を計算すればょ レ d V , 1V. , v， V V■

n k =

( 2 7 ) あ る レ は、

^■multi que ' reg.l ' r&a,2 ' 'v_reg,_n = min v_reg>k

k

( 2 8 ) 同 様 に 1 つ の顔当た り の複数枚の画像登録 と複数画像 によ る検索の場合 も 、 各組み合わせの類似度の平均や最小 値を求め類似度を算出する こ と で、 一つ の顔データ に対す る類似度を算出する こ と ができ る 。 こ れは、 動画像を複数 画像 と見倣す こ と で、 本発明 のマ ッ チ ン グシス テム を動画 像における顔認識に対して も適用でき る こ と を意味する 。

また、 上記説明 は、 同一人物の顔の 同定や顔の識別 を 中 心にな さ れたが、 例 えば、 男性の顔を一つ のカ テゴ リ ー、 女性の顔を一つ のカ テゴ リ ー と考えて、 それぞれの分布に 関する情報 を求め、 男女の顔を識別する性別識別 を行っ た り 、 笑っ た顔、 怒っ た顔、 悲 し い顔な どの表情のカ テ ゴ リ 一を考えて、 顔の表情を認識する表情認識に適用する こ と も可能であ る 。 1 0 代、 2 0 代、 3 0 代、 4 0 代 と い う よ う にカ テゴ リ ー を設定 し 、 そのカ テ ゴ リ ー毎に誤差分布、 ク ラス 内分布やク ラ ス 間分布を求め る こ と で、 年齢判別 を 行 う こ と も 可能であ り 、 様々 な顔認識に対 して本発明 を適 用する こ とが可能であ る。

以上詳細 に説明 し たよ う に、 本発明 によれば、 顔特徴量 に対 してその信頼性を表現する ため の信頼性指標 を加えて 顔メ タ データ と して生成する こ とで、 信頼性指標を通 じ た 適応的な距離 を導 く こ とができ 、 その距離を用 いて精度の 高い顔認識を行 う こ とが可能となる。

Claims

請求の範囲

1 . 顔画像部か ら顔特徴量を抽出する顔特徴抽出部 と 、 前記顔画像か ら 、 前記顔特徴量に対する信頼性 を表す信 頼性指標を抽出する信頼性指標抽出部と を備え、

前記顔特徴量および前記信頼性指標が顔メ タ データ と し て生成される顔メ タデータ生成装置。

2 . 前記信頼性指標抽出部は、 前記信頼性指標 と し て、 前記顔画像のコ ン ト ラ ス ト指標を抽出する

請求項 1 に記載の顔メ タデ一夕 生成装置。

3 . 前記信頼性指標抽出部は、 前記顔画像の コ ン ト ラ ス ト 指標 と して、 前記顔画像中 の画素値の最大値 と最小値 と の差を抽出する

請求項 2 に記載の顔メ タ データ生成装置。

4 . 前記信頼性指標抽出部は、 前記顔画像の コ ン ト ラ ス ト 指標 と して、 前記顔画像部中 の画素値の分散お よ び標準 偏差の一方を抽出する

請求項 2 に記載の顔メ タデータ生成装置。

5 . 前記信頼性指標抽出部は、 前記信頼性指標 と して、 前記顔画像の非対称性指標を抽出する

請求項 1 に記載の顔メ タ データ生成装置。

6 . 前記信頼性指標抽出部は、 前記顔画像の非対称性指 標 と して、 前記顔画像 と該前記顔画像を左右反転する こ と に よ り 得 ら れる画像 と して の反転画像 と の間の差分の最大 値を抽出する

請求項 5 に記載の顔メ タデータ 生成装置。

7 . 前記信頼性指標抽出部は、 前記顔画像の非対称性指 標 と して、 前記顔画像 と該前記顔画像を左右反転する こ と に よ り 得 ら れる画像 と しての反転画像 と の間の差分画像の 画素値のべき乗の和および平均のいずれかを抽出する 請求項 5 に記載の顔メ タデータ 生成装置。

8 . 前記信頼性指標抽出部は、

前記顔画像の コ ン ト ラ ス ト 指標を抽出する第 1 信頼性指 標抽出部と 、

前記顔画像の非対称性指標を抽 出する第 2 信頼性指標抽 出部 と

を備え る請求項 1 に記載の顔メ タデータ生成装置。

9 . 前記第 1 信頼性指標抽出部は、 前記顔画像の コ ン 卜 ラ ス ト 指標 と して、 前記顔画像部中 の画素値の最大値 と最 小値の差を抽出 し、

前記第 2 信頼性指標抽出部は、 前記顔画像部の非対称性 指標 と して、 前記顔画像部 と該顔画像部を左右反転する こ と に よ り 得 ら れる画像 と して の反転画像 と の間の差分の最 大値を抽出する

請求項 8 に記載の顔メ タデータ生成装置。

1 0 . 前記第 1 信頼性指標抽出部は、 前記顔画像の コ ン ト ラ ス ト 指標 と して、 前記顔画像中 の画素値の分散お よび 標準偏差の一方を抽出 し、

前記第 2 信頼性指標抽出部は、 前記顔画像の非対称性指 標 と して、 前記顔画像 と該顔画像 を左右反転する こ と に よ り 得 ら れる画像 と しての反転画像 と の間 の差分画像の画素 値のべき乗の和および平均の一方を抽出する

請求項 8 に記載の顔メ タデータ 生成装置。

1 1 . 前記顔特徴抽出部は、 前記顔画像か ら得 ら れた特 徵ベ ク ト ルを Λ と し た と き に、 前記特徴ベ ク ト ル Λ の部分 基底べク ト ルに よ っ て特定さ れる 基底行列 U と前記特徴べ ク ト ル Λ の平均べク ト ル Ψ と を用 いて特徴べ ク ト ル v = U ^τ ( Λ — ） を算出 し 、 前記特徴ベ ク ト ル V を前記顔特徴 量と して抽出する

請求項 1 な い し 1 0 の いずれか に記載の顔メ タ デー タ 生成 装置。

1 2 . 前記基底行列 U は、 顔画像サン プル集合 [ Λ ] の 主成分分析 に よ っ て得 ら れる基底べ ク ト ルの 中か ら 選択 さ れた前記部分基底べク トルによ っ て特定さ れる

請求項 1 1 に記載の顔メ タ データ 生成装置。

1 3 . 前記基底行列 U は、 前記顔画像サ ンプルにお ける 前記特徴ベ ク ト ル集合 [ Λ ] の主成分分析に よ っ て得 ら れ る基底べ ク ト ルの 中か ら 選択さ れた部分基底べク ト ルに よ つ て特定 さ れる 基底行列 と 、 前記顔画像部を左右反転する 画素値の変換 と対応する よ う に前記基底べ ク ト ルの要素 を 入れ換えた反転部分基底べク ト ルに よ っ て特定さ れる基底 行列 との線形和によ っ て得 られる

請求項 1 1 に記載の顔メ タデータ生成装置。

1 4 . 前記特徴べク ト ル Λ は前記顔画像中 の各画素値を 要素 とするべク トルであ る

請求項 1 1 な い し 1 3 の いずれか に記載の顔メ タ データ 生 成装置。

1 5 . 前記特徴ベ ク ト ル Λ は、 前記顔画像を フ ー リ エ変 換 し 、 得 ら れる 複素 フー リ エ成分の各成分の大き さ を要素 とするべク 1、 ルであ る

請求項 1 1 な い し 1 3 の いずれか に記載の顔メ タ データ 生 成装置。

1 6 . 前記顔画像か ら 抽出 さ れた顔特徴量 と 当該顔特徴 量に対する 信頼性を表す信頼性指標 と に基づいて前記類似 度を算出する顔類似度算出装置。

1 7 . 前記顔特徴量に対する前記信頼性指標 を用 いて、 前記顔特徴量間の差べ ク ト ルの事後分布 に関す る パ ラ メ 一 夕情報を推定する分布推定部 と、

前記パ ラ メ ータ 情報を用 いて前記事後分布の対数尤度か ら 導かれる 前記顔特徴間の距離を前記 |g似度 と して算出す る距離算出部と

を具備する請求項 1 6 に記載の顔類似度算出装置。

1 8 . 前記距離算出部は、 前記顔特徴量間 の差べ ク ト ル の前記事後分布が正規分布で あ る と き、 前記信頼性指標に お け る正規分布の前記対数尤度か ら 導かれる 適応的マハ ラ ノ ビス距離を前記類似度 と して算出する

請求項 1 7 に記載の顔類似度算出装置。

1 9 . 前記分布推定部は、 前記信頼性指標 [ 0 i ] に対 す る 前記差ベ ク ト ル s の 各要素 k の 分散 σ ₃ Θ

. ] ) 2 を推定 し、

前記距離算出部は、 前記各要素 k の 分散 σ _{s k} ( [ θ . ] ) 2 を用 いて前記適応的マハ ラ ノ ビス距離を計算する 請求項 1 8 に記載の顔類似度算出装置。

2 0 . 前記分布推定部は、 前記信頼性指標 ]： 0 ] に対 す る 前記差ベ ク ト ル s の 各要素 k の 分散 σ _s ( [ θ . ] ) 2 をあ ら か じめ記憶する分散値テーブルを備え、

前記信頼性指標 [ 0 i ] に基づいて前記分散値テー プル を参照 して、 前記適応的マハ ラ ノ ビス距離の計算で必要 と なる分散を読出 し、

前記距離算出部は、 前記各要素 k の分散 σ _{s k} ( [ θ . ] ) 2 を用 いて前記適応的マ八 ラ ノ ビス距離を計算する 請求項 1 9 に記載の顔類似度算出装置。

2 1 . 前記顔特徴量間 の差べク ト ルの事後分布が混合分 布であ る と き、 前記信頼性指標にお ける混合分布の対数尤 度か ら導かれる前記適応的混合マハ ラ ノ ビス距離を前記類 似度と して算出する

請求項 1 7 に記載の顔類似度算出装置。

2 2 . 前記顔特徴量に対する 前記信頼性指標を用 いて、 一致 と見倣される べき ク ラ ス 内 にお ける前記顔特徴量間の 差ベ ク ト ルの事後分布で あ る ク ラ ス 内分布 と 、 不一致 と見 倣さ れるべき ク ラ ス 間 にお ける 前記顔特徴量間の前記差べ ク ト ルの前記事後分布で あ る ク ラ ス 間分布 と に関するパ ラ メ ータ情報を推定し、

前記パ ラ メ 一夕 情報 を用 いて前記ク ラ ス 内分布お よび前 記 ク ラ ス 間分布の比の対数尤度か ら 導かれる 前記顔特徴量 間の距離を前記類似度 と して算出する

請求項 1 6 に記載の顔獰似度算出装置。

2 3 . 前記ク ラ ス 内分布お よ び前記ク ラ ス 間分布がそれ ぞれ正規分布であ る と き 、 前記信頼性指標にお ける それぞ れの分布の比の対数尤度か ら 導かれる前記適応的判別距離 を前記類似度と して算出する

請求項 2 2 に記載の顔類似度算出装置。

2 4 . 前記信頼性指標 [ Θ . ] に対する 前記差ベ ク ト ル s の各要素 k の ク ラ ス 内分散 a _w ( ί Θ _. ] ) 2 および ク ラ ス 間分散 σ _{η k} ( [ θ . ] ) 2 を推定 し 、 前記推定さ れた分散に基づいて前記適応的判別距離を前記類似度 と し て算出する

請求項 2 3 に記載の顔類似度算出装置。

2 5 . 前記信頼性指標 [ 0 . ] に対す る差ベ ク ト ル s の 各要素 k の前記ク ラ ス内分散 び _w , ( [ Θ . ] ) 2 および 前記ク ラ ス 間分散 σ _Β ,. ( [ 0 丄 ] ) 2 の推定のため に、 前記ク ラ ス 内分散 σ _w , _k ( ί θ _± ] ) 2 を あ ら か じ め記憶 す る 第 1 分散値 テ ー ブ ル と 、 前記 ク ラ ス 間 分散 σ _B , _k ( [ θ . ] ) 2 を あ ら か じ め記憶する第 2 分散値テー ブル と を備え、

前記信頼性指標 [ 0 i ] に基づいて前記第 1 お よ び第 2 分散値テーブルをそれぞれ参照 して分散を推定 し、

前記推定 さ れた分散に基づいて前記適応的判別距離を前 記類似度 と して算出する

請求項 2 4 に記載の顔類似度算出装置。

2 6 . 前記ク ラ ス 内分布およ び前記ク ラ ス 間分布がそれ ぞれ混合分布であ る と して、 前記信頼性指標にお けるそれ ぞれの混合分布の比の対数尤度か ら 導かれる 前記適応的混 合判別距離を前記類似度 と して算出する

請求項 2 2 に記載の顔類似度算出装置。

2 7 . 第 1 顔画像を入力する画像入力部 と、

前記第 1 顔画像部か ら 顔特徴量を抽出 し 、 前記第 1 顔画 像部か ら 、 前記顔特徴量 に対する 信頼性を表す信頼性指標 と抽出 し 、 前記顔特徴量を と 前記信頼性指標を第 1 顔メ タ デ一夕 と して生成する顔メ タデータ生成部 と、

複数の第 2 顔メ タ デー タ を蓄積する顔メ タ データ蓄積部 と 、

前記第 1 顔メ タ データ と 前記複数の第 2 顔メ タ データ の 各々 の間の顔類似度を算出する顔類似度算出部 と 、

入力 さ れた指令に応 じて、 前記画像入力部、 前記顔メ タ デー タ 生成部、 お よ び前記顔類似度算出部 を制御する制御 部と

を具備する顔認識シス テム 。

2 8 . 顔画像か ら 抽出 さ れた顔特徴量 と 当該顔特徴量に 対する信頼性を表す信頼性指標顔 と を第 1 顔メ タ データ と し て生成する ス テ ッ プ と 、

複数の第 2 顔メ タデータ の各々 を読み出すステ ッ プと、 前記第 1 顔メ タ デー タ と 前記複数の第 2 顔メ タ データ の 各々 の前記顔特徴量 と前記信頼性指標 と に基づいて、 前記 第 1 顔メ タ データ と前記複数の第 2 顔メ タ デー タ の各々 と の間の顔類似度を算出するステ ッ プと 、

前記顔類似度に従っ て前記顔画像のマ ッ チ ン グ結果を 出 力する ステ ッ プと

を具備する顔認識方法。

2 9 . ( a ) 顔画像か ら 顔特徴量 を抽 出す る ス テ ッ プ と 、

( b ) 前記顔画像か ら 前記顔特徴量に対する 信頼性を表 す信頼性指標を抽出ステ ッ プと、

( c ) 前記顔特徴量お よび前記信頼性指標 を顔メ タ デー 夕 と して生成するステ ッ プと

を具備する顔メ タデータ生成方法。

3 0 . 前記ステ ッ プ （ b ) は、 前記信頼性指標 と して、 前記顔画像の コ ン ト ラ ス ト 指標を抽出する ス テ ッ プを具備 する請求項 2 9 に記載の顔メ タデータ生成方法。

3 1 . 前記ステ ッ プ （ b ) は、 前記画像の コ ン ト ラ ス ト 指標 と して、 前記顔画像中 の画素値の最大値 と最小値 と の 差 を抽出する ステ ッ プを具備する 請求項 3 0 に記載の顔メ タ データ生成方法。

3 2 . 前記ステ ッ プ （ b ) は、 前記顔画像の コ ン ト ラ ス ト 指標 と して、 前記顔画像中 の画素値の分散お よ び標準偏 差の一方を抽出する ス テ ッ プを具備する 請求項 3 0 に記載 の顔メ タデータ生成方法。

3 3 . 前記ス テ ッ プ （ b ) は、 前記信頼性指標 と して、 前記顔画像の非対称性指標を抽出する ス テ ッ プを具備する 請求項 2 9 に記載の顔メ タ データ生成方法。

3 4 . 前記ス テ ッ プ （ b ) は、 前記顔画像の非対称性指 標 と して、 前記顔画像 と該顔画像を左右反転 し た画像 と し て の反転画像 と の間の差分の最大値を抽出す る ス テ ッ プを 具備する請求項 3 3 に記載の顔メ タデータ生成方法。

3 5 . 前記ステ ッ プ （ b ) は、 前記顔画像の非対称性指 標 と して、 前記顔画像 と 反転画像 と の間の差分画像の画素 値のべき乗の和および平均の いずれか を抽出する ス テ ッ プ を具備する請求項 3 3 に記載の顔メ タデータ生成方法。

3 6 . 前記信頼性指標は、 前記顔画像の コ ン ト ラ ス ト 指 標お よ び前記顔画像の非対称性指標であ る請求項 2 9 に記 載の顔メ タ データ生成方法。

3 7 . 前記ステッ プ （ b ) は、

前記顔画像の コ ン 卜 ラ ス 卜 指標 と して前記顔画像中 の画 素値の最大値 と最小値の差を抽出する ステ ッ プと 、

前記顔画像の非対称性指標 と して前記顔画像 と 前記反転 画像と の間の差分の最大値を抽出するステ ッ プと を具備する請求項 3 6 に記載の顔メ タデータ生成方法。

3 8 . 前記ステッ プ （ b ) は、

前記顔画像の コ ン ト ラ ス ト 指標 と し て前記顔画像中 の画 素値の分散および標準偏差の一方を抽出するステ ッ プと、 前記顔画像の非対称性指標 と して前記顔画像 と前記反転 画像 と の間の差分画像の画素値のべき乗の和お よび平均の 一方を抽出するステ ッ プと

を具備する請求項 3 6 に記載の顔メ タデ一夕生成方法。

3 9 . 顔画像か ら 抽出 さ れた顔特徴量 と 当該顔特徴量に 対する信頼性を表す信頼性指標 と に基づいて前記類似度を 算出する顔類似度算出方法。

4 0 . 第 1 と第 2 顔画像の各々 に対する顔特徴量に対す る信頼性指標を用 いて、 前記顔特徴量間の差べ ク ト ルの事 後分布に関するパ ラ メ ータ情報を推定ステ ッ プと 、

事後分布に関する 前記パ ラ メ 一夕 情報を用 いて対数尤度 か ら顔特徴間の距離を類似度 と して算出するス テ ッ プと を具備する請求項 3 9 に記載の顔類似度算出方法。

4 1 . 前記顔特徴量間 の差べ ク ト ルの事後分布が正規分 布で あ る と して、 前記信頼性指標にお け る正規分布の対数 尤度か ら 導かれる適応的マハ ラ ノ ビス距離を類似度 と して 算出する 請求項 4 0 に記載の顔類似度算出方法

4 2 信頼性指標 [ θ ] 対する 差ベ ク ト ル s の 各要 素 k の分散 σ 。 ₁ ( [ Θ _± ] ) 2 を推定するステ ッ プと、 前記各要素 k の分散 σ _{3 1}, ( [ Θ . ] ) 2 を用 いて適応 的マハ ラ ノ ビス距離を計算する ステ ッ プと

を具備する請求項 4 1 に記載の顔類似度算出方法。

4 3 . 信頼性指標 [ 0 . ] に対する差ベ ク ト ル s の 各要 素 k の分散 σ ₃ ( [ Θ . ] ) を あ ら か じめ分散値テー ブルに記憶 し 、 信頼性指標 [ 0 . ] に よ っ て前記分散値テ 一ブル を参照する こ と に よ っ て適応的マハ ラ ノ ビス距離の 計算で必要となる分散値を生成する

請求項 4 2 に記載の顔類似度算出方法。

4 4 . 顔特徴量間の差べ ク ト ルの事後分布が混合分布で あ る と して、 前記信頼性指標にお ける混合分布の対数尤度 か ら 導かれる適応的混合マハ ラ ノ ビス距離を類似度 と して 算出する

請求項 4 0 に記載の顔類似度算出方法。

4 5 . 比較す る顔特徴量に対する 信頼性指標を用 いて、 一致 と見倣すべき ク ラ ス 内 にお ける顔特徴量間 の差べ ク ト ルの事後分布 （ ク ラス 内分布） と 、 不一致 と見倣すべき ク ラ ス 間 にお ける顔特徴量間の差ベ ク ト ルの事後分布 （ ク ラ ス 間分布） と に関するパ ラ メ ー タ 情報 を推定 し 、 前記ク ラ ス 内分布お よび前記 ク ラ ス 間分布の比の対数尤度か ら 導か れる顔特徴量間の距離を類似度 と して算出する

請求項 3 9 に記載の顔類似度算出方法。

4 6 . 前記ク ラ ス 内分布お よ び前記ク ラ ス 間分布がそれ ぞれ正規分布であ る と して、 前記信頼性指標にお ける それ ぞれの分布の比の対数尤度か ら 導かれる 適応的判別距離を 類似度と して算出する

請求項 4 5 に記載の顔類似度算出方法。

4 7 信頼性指標 [ 0 . ] に対する 差ベ ク ト ル s の各要 素 k の ク ラ ス 内分散 ひ _w ( [ 0 」 ] ) ² およびク ラス 間 分散 σ _{Β k} ( [ θ _± ] ) 2 を推定する とで、 適応的判別 距離を類似度と して算出する

請求項 4 6 に記載の顔類似度算出方法。

4 8 . 信頼性指標 [ 0 . ] に対する 差ベ ク ト ル s の各要 素 k の ク ラ ス 内分散 ひ _w ( ί Θ . 1 ) およびク ラス間 分散 σ _Β , ，， ( [ Θ . ] ) 2 の推定のため に、 'ク ラ ス 内分散 a _{w k} ( ί θ . ] ) を あ ら か じめ記憶する第 1 分散値テ —ブル と 、 ク ラ ス 間分散 び _Β , _k ( [ Θ _± ] ) 2 を あ ら か じ め記憶する第 2 分散値テーブルと を備え、

信頼性指標 [ 0 . ] に よ っ て第 1 お よ び第 2 分散値テー ブルをそれぞれ参照する こ と で 、 適応的判別距離にお いて 必要となる分散値を推定する

請求項 4 7 に記載の顔類似度算出方法。

4 9 . 前記ク ラ ス 内分布お よ び前記ク ラ ス 間分布がそれ ぞれ混合分布であ る と し て、 前記信頼性指標にお けるそれ ぞれの混合分布の比の対数尤度か ら 導かれる適応的混合判 別距離を類似度 と して算出する

請求項 4 5 に記載の顔類似度算出方法。

5 0 . 顔画像か ら顔特徴量を抽出 し、

前記顔画像か ら 、 前記顔特徴量に対する信頼性を表す信 頼性指標を抽出 し、

前記顔特徴量および前記信頼性指標を顔メ タ データ と し て生成する

ス テ ッ プを有する メ 夕 デ一 夕 生成プロ グ ラ ム を格納する記 録媒体。

5 1 . 前記画像か ら顔特徴量を抽出 し、

前記顔特徴量 に対す る 信頼性 を表す信頼性指標 を抽 出 し、

前記顔特徴量 と 前記信頼性指標 と に基づいて類似度を算 出する

ス テ ッ プを具備する類似度算出 プロ グ ラ ム を格納 した記 録媒体。

5 2 . 入力画像か ら抽出 さ れた顔特徴量 と 当該顔特徴量 に対する 信頼性 を表す信頼性指標顔 と を顔メ タ データ と し て生成 し、

生成さ れた複数の顔メ タ データ を顔メ タ データ 蓄積部 に 蓄積し、

あ る顔画像の顔メ タデータ と前記顔メ タ データ 蓄積部に 蓄積さ れた複数の顔メ タ データ の各々 と を入力 し 、 顔特徴 量 と 当該顔特徴量に対する信頼性を表す信頼性指標 と に基 づいて顔類似度を算出 し、

前記顔類似度に従っ て顔画像マ ッ チング結果を出力する ステッ プを有する顔認識プロ グラム を格納する記録媒体。