JP4061260B2 - 顔認識及び検索用特徴ベクトル抽出方法及びその装置並びにその方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体 - Google Patents

顔認識及び検索用特徴ベクトル抽出方法及びその装置並びにその方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体 Download PDF

Info

Publication number
JP4061260B2
JP4061260B2 JP2003354929A JP2003354929A JP4061260B2 JP 4061260 B2 JP4061260 B2 JP 4061260B2 JP 2003354929 A JP2003354929 A JP 2003354929A JP 2003354929 A JP2003354929 A JP 2003354929A JP 4061260 B2 JP4061260 B2 JP 4061260B2
Authority
JP
Japan
Prior art keywords
feature vector
vector
fourier
normalized
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003354929A
Other languages
English (en)
Other versions
JP2004139596A (ja
Inventor
鉉 優 金
俊男 亀井
泰 均 金
元 俊 ▼黄▲
錫 哲 奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR10-2003-0026426A external-priority patent/KR100486738B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2004139596A publication Critical patent/JP2004139596A/ja
Application granted granted Critical
Publication of JP4061260B2 publication Critical patent/JP4061260B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は顔認識及び検索システムに係り、特に正規化された顔画像に対してフーリエ特徴ベクトルと強度特徴ベクトルとを別途に生成して統合させることによって周波数領域上で生成された特徴ベクトルによる検索限界と空間領域上で生成された特徴ベクトルの検索限界とを補完する顔認識及び検索用特徴ベクトル抽出方法及びその装置並びにその方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体に関する。
２１世紀情報化社会に移行する過程で、個人はもちろん特定団体の情報は何れの資産よりも重要な価値を有するようになった。このように重要な情報を保護するために各種パスワードが使われてきたが、その他の身分を確認できる技術が切実に要求されている。この中で顔認識技術は、使用者が特別な動作や行為を行う必要が無く、更に使用者自身に意識させずに身分確認をできるという長所があるため、最も便利で有力な身分確認方法として評価されている。
また、情報保護のみならず、信用カード、現金カード、電子住民登録証など身分確認を必要とする社会的要求は拡大し続けているが、今のところパスワード以外の補助的な身分確認方法がないため、コンピュータを使用した犯罪など、多くの社会的な問題点が生じている。このような社会的な問題を解決できる方法として顔認識技術が脚光を浴びている。それ以外にも、顔認識技術は端末アクセス制御、公共場所管制システム、電子アルバム、犯罪者顔認識など多くの分野に応用可能であり、情報化社会で非常に有用な技術と評価されている。
現在多く利用されている顔認識技術として、顔画像に主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：以下、ＰＣＡと略称する）を適用して顔を認識する技術がある。ＰＣＡは、画像データを、画像自体の固有情報の損失を最小化しつつ低次元固有ベクトルの空間に投射させて情報を縮少する技法である。ＰＣＡを利用した顔認識方法としては顔の主要特徴ベクトルを抽出した後、あらかじめ登録された画像から抽出された主成分ベクトルで定義されたパターン分類を利用して顔を認識する方法が多く使われた。しかし、このような方法は大容量の顔認識において、認識速度と信頼性とが低く、ＰＣＡ基底ベクトルを選択することによって顔イメージの照度変化に対しては信頼性が高いものの、顔の表情または姿勢の変化がある場合には満足な顔認識の結果を得られない問題点がある。
前記方法を補完するために最近には非特許文献１ではフーリエ主成分線形判別分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：以下ＰＣＬＤＡ、と略称する）の概念を導入して周波数領域上で顔画像に対する特徴ベクトルを抽出する方法が提案され、非特許文献２では線形判別分析（以下、ＬＤＡと略称する）を適用して空間領域上で成分別の特徴ベクトルを抽出する方法が提案されている。
しかし、非特許文献１及び非特許文献２に記載の方法によって抽出される周波数領域上の特徴ベクトルと空間領域上の特徴ベクトルとは、各々一定の認識及び検索限界を有している。
Ｔｏｓｈｉｏ ｋａｍｅｉら，「Ｒｅｐｏｒｔ ｏｆ Ｃｏｒｅ Ｅｘｐｅｒｉｍｅｎｔ ｏｎ Ｆｏｕｒｉｅｒ Ｓｐｅｃｔｒａｌ ＰＣＡ ｂａｓｅｄ Ｆａｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ」，ＩＳＯ/ＩＥＣ ＪＴＣ１ ＳＣ２９ ＷＧ１１，Ｍ８５５９，Ｋｌａｇｅｎｆｕｒｔ，Ａｕｓｔｒｉａ，Ｏｃｔ，２００２ Ｔａｅ−Ｋｙｕｎ Ｋｉｍら，「Ｃｏｍｐｏｎｅｎｔ−ｂａｓｅｄ ＬＤＡ ｆａｃｅ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ」，Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ２００２，Ｓｅｐｔｅｍｂｅｒ ２００２
したがって、本発明が解決しようとする技術的課題は、正規化された顔画像に対してフーリエ特徴ベクトルと強度特徴ベクトルとを別途に生成した後、適切に統合させることによって周波数領域上で生成された特徴ベクトルによる検索限界と空間領域上で生成された特徴ベクトルの検索限界とを補完する顔認識及び検索用特徴ベクトル抽出方法を提供することである。
また、本発明が解決しようとする他の技術的課題は、前記顔認識及び検索用特徴ベクトル抽出方法を実現するのに最適の顔認識及び検索用特徴ベクトル抽出装置を提供することである。また、本発明が解決しようとする他の技術的課題は、前記顔認識及び検索用特徴ベクトル抽出方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体を提供することである。
前記技術的課題を達成するために成された本発明に係る顔認識及び検索用特徴ベクトル抽出方法は、（ａ）正規化された顔画像の全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて全体フーリエ特徴ベクトルを生成し、中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて中心フーリエ特徴ベクトルを生成する段階と、（ｂ）前記全体顔領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して全体強度特徴ベクトルを生成し、所定数の顔部品領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して部分強度特徴ベクトルを生成し、前記全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記全体強度特徴ベクトルとを結合して形成した結合ベクトルに基づいて全体複合特徴ベクトルを生成し、前記中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記部分強度特徴ベクトルとを結合して形成した結合ベクトルに基づいて中心複合特徴ベクトルを生成する段階と、を含み、前記全体顔領域は、前記正規化された顔画像を所定の画像サイズにクリッピングすることによって得られ、前記中心顔領域は、前記全体顔領域を、前記正規化された顔画像の中心を含み、前記全体顔領域より小さい画像サイズにクリッピングすることにより得られることを特徴とする。
前記他の技術的課題を達成するために本発明に係る顔認識及び検索用特徴ベクトル抽出装置は、正規化された顔画像の全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて全体フーリエ特徴ベクトルを生成し、中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて中心フーリエ特徴ベクトルを生成する第１ユニットと、前記全体顔領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して全体強度特徴ベクトルを生成し、所定数の顔部品領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して部分強度特徴ベクトルとを生成し、前記全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記全体強度特徴ベクトルとを結合して形成した結合ベクトルに基づいて全体複合特徴ベクトルを生成し、前記中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記部分特徴ベクトルとを結合して形成した結合ベクトルに基づいて中心複合特徴ベクトルを生成する第２ユニットと、を含み、前記全体顔領域は、前記正規化された顔画像を所定の画像サイズにクリッピングすることによって得られ、前記中心顔領域は、前記全体顔領域を、前記正規化された顔画像の中心を含み、前記全体顔領域より小さい画像サイズにクリッピングすることにより得られることを特徴とする。
さらに、前記課題を達成するために成された本発明は、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取れる記録媒体を提供する。
本発明によると、顔認識及び検索システムの仕様によって周波数特徴ベクトルまたは複合特徴ベクトルを選択的に使用でき、特に正規化された顔画像に対してフーリエ特徴ベクトルと強度特徴ベクトルとを別途に生成した後で、それらを統合させることによって生成される複合特徴ベクトルを使用する場合、周波数領域上で生成された特徴ベクトルによる検索限界と空間領域上で生成された特徴ベクトルの検索限界とを補完することができ検索の精度を大幅向上させることができる。
以下、添付された図面を参照して本発明の望ましい実施の形態について詳細に説明する。図１は、本発明による顔認識及び検索用特徴ベクトル抽出装置の一実施例の構成を示すブロック図であって、周波数特徴ベクトル生成ユニット１２０と複合特徴ベクトル生成ユニット１３０とから構成されている。ここで、周波数特徴ベクトル生成ユニット１２０は、フーリエ特徴生成部１２１、全体フーリエ特徴ベクトル生成部１２３及び中心フーリエ特徴ベクトル生成部１２５から構成され、複合特徴ベクトル生成ユニット１３０、はフーリエ特徴生成部１２１、強度特徴生成部１３１、全体複合特徴ベクトル生成部１３３及び中心複合特徴ベクトル生成部１３５から構成されている。
図１を参照して、正規化された顔画像１１０は、例えば原画像を各々４６ピクセルからなる５６ラインの画像にスケーリングすることによって得られる。このとき、正規化された顔画像１１０において右眼と左眼との中心を、２４番目の行の１６番目の列と３１番目の列とに位置合わせする。
周波数特徴ベクトル生成ユニット１２０において、フーリエ特徴生成部１２１は、正規化された顔画像１１０、すなわち、全体顔領域及び中心顔領域に対して各々フーリエ変換を行ってフーリエスペクトルとフーリエ振幅とを算出し、全体顔領域に対するフーリエスペクトルとフーリエ振幅とから第１特徴ベクトル及び第２特徴ベクトルを生成し、中心顔領域に対するフーリエスペクトルとフーリエ振幅とから第３特徴ベクトル及び第４特徴ベクトルを生成する。第１ないし第４特徴ベクトルは、各々ＰＣＬＤＡ部分空間に投射された後、単位ベクトルに正規化される。第１正規化ベクトル及び第２正規化ベクトルは、全体顔領域に対する特徴ベクトルから正規化され、第３正規化及び第４正規化ベクトルは中心顔領域に対する特徴ベクトルから正規化される。ここで、フーリエ特徴ベクトルは、正規化された顔画像１１０を構成するピクセル間の空間的な関係、つまり周波数特性を符号化したものである。
全体フーリエ特徴ベクトル生成部１２３は、フーリエ特徴生成部１２１から提供される第１正規化ベクトル及び第２正規化ベクトルを結合し、これを所定の基底行列によって構成される判別空間に投射させた後、投射されたベクトルの各成分を所定の方式で量子化させて全体フーリエ特徴ベクトルを生成する。
中心フーリエ特徴ベクトル生成部１２５は、フーリエ特徴生成部１２１から提供される第３正規化ベクトル及び第４正規化ベクトルを結合し、これを所定の基底行列によって構成される判別空間に投射させた後、投射されたベクトルの各成分を所定の方式で量子化させて中心フーリエ特徴ベクトルを生成する。
次いで、複合特徴ベクトル生成ユニット１３０において、強度特徴生成部１３１は、正規化された顔画像１１０に対して姿勢推定及び姿勢補償をし、姿勢補償された顔画像のうち全体顔領域と各部分顔領域の強度値からなる第５特徴ベクトル及び第６特徴ベクトルを生成する。第５特徴ベクトルを、予め設定された第７基底行列によって定義した判別空間に投射させ、単位ベクトルに正規化して全体顔領域に対する全体強度特徴ベクトルを生成する。また、第６特徴ベクトルを、予め設定された第８基底行列によって定義した判別空間に投射させ、単位ベクトルに正規化して部分顔画像に対する部分強度特徴ベクトルを生成する。ここで、強度特徴ベクトルは、対応する顔画像を構成するピクセルの強度変化を符号化したものである。
全体複合特徴ベクトル生成部１３３は、フーリエ特徴生成部１２１から提供される第１正規化ベクトル及び第２正規化ベクトルと強度特徴生成部１３１から提供される全体強度特徴ベクトルとを結合し、これを所定の基底行列によって構成される判別空間に投射させた後、投射されたベクトルの各成分を所定の方式で量子化させて全体複合特徴ベクトルとして保存する。
中心複合特徴ベクトル生成部１３５は、フーリエ特徴生成部１２１から提供される第３正規化ベクトル及び第４正規化ベクトルと強度特徴生成部１３１から提供される部分強度特徴ベクトルとを結合し、これを所定の基底行列によって構成される判別空間に投射させた後、投射されたベクトルの各成分を所定の方式で量子化させて中心複合特徴ベクトルとして保存する。
図２は、図１に示されたフーリエ特徴生成部１２１の詳細な構成を示すブロック図であって、第１画像分割部２１０、全体フーリエ特徴ベクトル生成部２２０及び中心フーリエ特徴ベクトル生成部２３０から構成される。全体フーリエ特徴ベクトル生成部２２０は、第１フーリエ変換部２２２及び第２フーリエ変換部２２５、第１ＰＣＬＤＡ投射部２２３及び第２ＰＣＬＤＡ投射部２２６及び第１ベクトル正規化部２２７から構成され、中心フーリエ特徴ベクトル生成部２３０は、第３フーリエ変換部２３２、第３ＰＣＬＤＡ投射部２３３及び第４ＰＣＬＤＡ投射部２３６及び第２ベクトル正規化部２３７から構成される。
図２を参照すれば、第１画像分割部２１０は、正規化された顔画像１１０を全体顔領域２２１、第１ブロック分割顔領域２２４、中心顔領域２３１及び第２ブロック分割顔領域２３４に分割する。
全体フーリエ特徴ベクトル生成部２２０は、全体顔領域２２１に対してフーリエスペクトルを、第１ブロック分割顔領域２２４に対してフーリエ振幅を獲得し、フーリエスペクトルとフーリエ振幅とを利用して全体フーリエ特徴ベクトルを生成する。これをさらに詳細に説明すれば、次の通りである。
第１フーリエ変換部２２２では全体顔領域２２１に対してフーリエ変換を行って周波数領域成分に変換させる。全体顔領域２２１をｆ（ｘ，ｙ）とした場合、そのフーリエスペクトルＦ（ｕ，ｖ）は、次数式（１）のように表せる。
Figure 0004061260
ここで、Ｍ＝４６、Ｎ＝５６、ｕ＝０，１，２，．．．，４５、ｖ＝０，１，２，．．．，５５、Ｆ（０，０）はＤＣ成分である。フーリエスペクトルＦ（ｕ，ｖ）は、その成分がフーリエスペクトルのラスタ走査によって得られる実数部Ｒｅ［Ｆ（ｕ，ｖ）］と虚数部Ｉｍ［Ｆ（ｕ，ｖ）］とから構成される第１特徴ベクトルｘf 1を得るために使われる。ここで、ラスタ走査は、下記の表１に構成されたようにｕ＝１２，１３，．．．，３４の高周波成分を除外した走査領域Ａ及び走査領域Ｂに対して行う。表１は、特徴ベクトルを抽出するためのフーリエ領域におけるラスタ走査のパラメータを示す。
Figure 0004061260
ここで、ＳA及びＳBは、走査領域Ａ及び走査領域Ｂの走査の開始点であり、ＥA及びＥBは走査領域Ａ及び走査領域Ｂで終了点である。ラスタ走査及び走査領域の一例を図１０に示す。図１０に示したように、フーリエ成分は、ｕ方向走査によって走査領域Ａ及び走査領域Ｂから抽出される。
ラスタ走査の結果、第１特徴ベクトルｘf 1は、下記の数式（２）のように表現でき、この時、第１特徴ベクトルｘf 1の次元は６４４となる。
Figure 0004061260
第１ＰＣＬＤＡ投射部２２３では第１フーリエ変換部２２２によって抽出された第１特徴ベクトルｘf 1を第１特徴ベクトルｘf 1に対するＰＣＬＤＡによって得られる判別空間に投射させる。判別空間は、従来技術である公知のアルゴリズムによって予め設定された第１基底行列Ψf 1によって定義される。
一方、第２フーリエ変換部２２５では第１ブロック分割顔領域２２４に対してフーリエ変換を行って周波数領域に変換させる。第１ブロック分割顔領域２２４は、図３Ａに示したように全体領域３１１、４ブロック分割領域３１２及び１６ブロック分割領域３１３を含み、各領域に対して別途フーリエ変換を行う。ここで、全体領域ｆ0 1（ｘ，ｙ）３１１は、正規化された顔画像１１０から両側面の境界列を除去しつつ４４×５６画像サイズにクリッピングすることによって得られ、次の数式（３）のように表せる。
Figure 0004061260
ここで、ｘ＝０，１，２，．．．，４３、ｙ＝０，１，２，．．．，５５である。
４ブロック分割領域ｆ1 k（ｘ，ｙ）３１２及び１６ブロック分割領域ｆ2 k（ｘ，ｙ）３１３は、全体領域ｆ0 1（ｘ，ｙ）３１１から得られるが、４ブロック分割領域ｆ1 k（ｘ、ｙ）３１２は全体領域ｆ0 1（ｘ，ｙ）３１１を均等にそのサイズが２２×２８である４つのブロックに分割することによって得られ、次の数式（４）のように表せる。
Figure 0004061260
一方、１６ブロック分割領域ｆ2 k（ｘ、ｙ）３１３は、全体領域ｆ0 1（ｘ，ｙ）３１１を均等にそのサイズが１１×１４である１６つのブロックに分割することによって得られ、次の数式（５）のように表せる。
Figure 0004061260
第２フーリエ変換部２２５において、全体領域３１１、４ブロック分割領域３１２及び１６ブロック分割領域３１３に対するフーリエ変換の結果、フーリエスペクトル｜Ｆj k（ｕ，ｖ）｜及びフーリエ振幅｜Ｆj k（ｕ，ｖ）｜は、次の数式（６）及び数式（７）のように表せる。
Figure 0004061260
Figure 0004061260
ここで、Ｒｅ（ｚ）及びＩｍ（ｚ）は、複素数ｚの実数部と虚数部とを各々表す。Ｍjは、全体領域３１１または４ブロック分割領域３１２及び１６ブロック分割領域３１３のサブブロックの幅を表し、例えばＭ0＝４４、Ｍ1＝２２、Ｍ2＝１１となる。Ｎjは、全体領域３１１または４ブロック分割領域３１２及び１６ブロック分割領域３１３のサブブロックの高さを表し、例えばＮ0＝５６、Ｎ1＝２８、Ｎ2＝１４となる。
前記数式（７）で表現される各フーリエ振幅｜Ｆj k（ｕ，ｖ）｜を前記表１に構成されたように高周波成分を除いてラスタ走査して第２特徴ベクトルｘf 2を生成する。この時、ラスタ走査の順序は、全体領域３１１のフーリエ振幅｜Ｆ0 1（ｕ，ｖ）｜、４ブロック分割領域３１２のフーリエ振幅｜Ｆ1 1（ｕ，ｖ）｜，｜Ｆ1 2（ｕ，ｖ）｜，｜Ｆ1 3（ｕ，ｖ）｜，｜Ｆ1 4（ｕ，ｖ）｜、１６ブロック分割領域３１３のフーリエ振幅｜Ｆ2 1（ｕ，ｖ）｜，｜Ｆ2 2（ｕ，ｖ）｜，．．．，｜Ｆ2 16（ｕ，ｖ）｜である。ラスタ走査の結果、第２特徴ベクトルｘf 2は、次の数式（８）のように表現でき、この時、第２特徴ベクトルｘf 2の次元数は８５６となる。
Figure 0004061260
第２ＰＣＬＤＡ投射部２２６では、第２フーリエ変換部２２５によって抽出された第２特徴ベクトルｘf 2を第２特徴ベクトルｘf 2に対するＰＣＬＤＡによって得られる判別空間に投射させる。判別空間は、従来技術である公知のアルゴリズムによって予め設定された第２基底行列Ψf 2によって定義される。
第１ベクトル正規化部２２７は、第１ＰＣＬＤＡ投射部２２３で投射されたベクトルを単位ベクトルにするために正規化して下記の数式（９）のように与えられる第１正規化ベクトルｙf 1を生成し、第２ＰＣＬＤＡ投射部２２６で投射されたベクトルを単位ベクトルにするために正規化して下記の数式（１０）のように与えられる第２正規化ベクトルｙf 2を生成する。
Figure 0004061260
Figure 0004061260
ここで、ｍf 1及びｍf 2は、第１ＰＣＬＤＡ投射部２２３及び第２ＰＣＬＤＡ投射部２２６によって投射されたベクトルの平均を表し、ｙf 1及びｙf 2の次元数は各々７０及び８０である。
中心フーリエ特徴ベクトル生成部２３０は、中心顔領域２３１に対してフーリエスペクトルとフーリエ振幅とを生成し、フーリエスペクトルとフーリエ振幅とを利用して中心フーリエ特徴ベクトルを生成する。中心フーリエ特徴ベクトル生成部２３０は、全体フーリエ特徴ベクトル生成部２２０と同様に動作し、これをさらに詳細に説明すれば、次の通りである。
まず、中心顔領域２３１は、正規化された顔画像ｆ(ｘ，ｙ)１１０を（７，１２）から始めて（３８，４３）で終了する３２×３２画像サイズにクリッピングすることによって得られる。
第３フーリエ変換部２３２では中心顔領域ｇ（ｘ，ｙ）２３１に対してフーリエ変換を行って周波数領域に変換させてフーリエスペクトルＧ（ｕ，ｖ）を算出し、フーリエスペクトルＧ（ｕ，ｖ）をラスタ走査して第３特徴ベクトルｘg 1を決定する。ここで、ラスタ走査は、前記表１に構成されたような走査領域Ａ及び走査領域Ｂに対して行われ、ラスタ走査の結果、第３特徴ベクトルｘg 1の次元数は２５６となる。
第３ＰＣＬＤＡ投射部２３３では第３フーリエ変換部２３２によって抽出された第３特徴ベクトルｘg 1を第３特徴ベクトルｘg 1に対するＰＣＬＤＡによって得られる判別空間に投射させる。判別空間は、従来技術である公知のアルゴリズムによって予め設定された第３基底行列Ψg 1によって定義される。
一方、第４フーリエ変換部２３５では第２ブロック分割顔領域２３４に対してフーリエ変換を行って周波数領域に変換させる。第２ブロック分割顔領域２３４は、図３Ｂに示されたように３２×３２画像サイズの中心領域ｇ0 1（ｘ，ｙ）３２１、各々１６×１６画像サイズの４ブロック分割領域ｇ1 k（ｘ，ｙ）３２２及び各々８×８画像サイズの１６ブロック分割領域ｇ2 k（ｘ，ｙ）３２３を含み、各領域に対して別途にフーリエ変換を行う。中心領域ｇ0 1（ｘ，ｙ）３２１に対するフーリエ振幅は、｜Ｇ（ｕ，ｖ）｜で得られ、４ブロック分割領域ｇ1 k（ｘ，ｙ）３２２及び１６ブロック分割領域ｇ2 k（ｘ，ｙ）３２３の各サブブロックｇj k（ｘ，ｙ）に対するフーリエ振幅は、｜Ｇj k（ｕ，ｖ）｜で得られる。このフーリエ振幅は、第４特徴ベクトルｘg 2を生成するためにラスタ走査される。ここで、ラスタ走査は、前記表１に構成されたような走査領域Ａ及び走査領域Ｂに対して行われ、ラスタ走査の結果、第４特徴ベクトルｘg 2の次元数は３８４となる。
第４ＰＣＬＤＡ投射部２３６では第４フーリエ変換部２３５によって抽出された第４特徴ベクトルｘg 2を第４特徴ベクトルｘg 2に対するＰＣＬＤＡによって得られる判別空間に投射させる。判別空間は、従来技術である公知のアルゴリズムによって予め設定された第４基底行列Ψg 2によって定義される。
第２ベクトル正規化部２３７は、第３ＰＣＬＤＡ投射部２３３で投射されたベクトルの平均ｍg 1を使用して単位ベクトルにするために正規化して第３正規化ベクトルｙg 1を生成し、第４ＰＣＬＤＡ投射部２３６で投射されたベクトルの平均ｍg 2を使用して単位ベクトルにするために正規化して第４正規化ベクトルｙg 2を生成する。この時、第３正規化ベクトルｙg 1と第４正規化ベクトルｙg 2との次元数は各々７０と８０とである。
図４は、図１に示された全体フーリエ特徴ベクトル生成部１２３の詳細な構成を示すブロック図であって、第１結合部４１０、第１ＬＤＡ投射部４２０及び第１量子化部４３０から構成される。
図４を参照すれば、第１結合部４１０ではフーリエ特徴生成部１２１内の第１ベクトル正規化部２２７から提供される第１正規化ベクトルｙf 1及び第２正規化ベクトルｙf 2を結合してその次元が、例えば、１５０である結合ベクトルを形成する。
第１ＬＤＡ投射部４２０では第１結合部４１０から提供される結合ベクトルを従来技術である公知のアルゴリズムによって予め設定された第５基底行列Ψf 3によって定義した線形判別空間に投射させる。投射されたベクトルｚfは、次の数式（１１）のように表せる。
Figure 0004061260
第１量子化部４３０では第１ＬＤＡ投射部４２０から提供される投射されたベクトルｚfの各成分を次の数式（１２）を使用して５ビット符号なし整数にクリッピングして量子化させた後、全体フーリエ特徴ベクトルｗf iとして保存する。
Figure 0004061260
図５は、図１に示された中心フーリエ特徴ベクトル生成部１２５の詳細な構成を示すブロック図であって、第２結合部５１０、第２ＬＤＡ投射部５２０及び第２量子化部５３０から構成される。
図５を参照すれば、第２結合部５１０ではフーリエ特徴生成部１２１内の第２ベクトル正規化部２３７から提供される第３正規化ベクトルｙg 1及び第４正規化ベクトルｙg 2を結合してその次元が、例えば、１５０である結合ベクトルを形成する。
第２ＬＤＡ投射部５２０では第２結合部５１０から提供される結合ベクトルを従来技術である公知のアルゴリズムによって予め設定された第６基底行列Ψg 3によって定義した判別空間に投射させて、投射されたベクトルｚgを生成する。
第２量子化部５３０では第２ＬＤＡ投射部５２０から提供される投射されたベクトルｚgの各成分を次の数式１３を使用して５ビット符号なし整数にクリッピングして量子化させた後、中心フーリエ特徴ベクトルｗg iとして保存する。
Figure 0004061260
図６は、図１に示された強度特徴生成部１３１の詳細な構成を示すブロック図であって、姿勢推定／補償部６１０、正規化された顔画像１１０の姿勢変化によるミスマッチングを調整する。
図６を参照すれば、姿勢推定／補償部６１０では正規化された顔画像１１０の姿勢を推定し、推定結果によって姿勢を補償して正面顔画像を出力する。姿勢推定／補償部６１０は、正規化された顔画像１１０の姿勢変化によるミスマッチングを調整する。
第２画像分割部６２０では姿勢推定／補償部６１０で姿勢補償された顔画像を下記の表２に示されたようなラスタ走査の領域を有する全体顔領域、顔部品１ないし５を有する第１ないし第５部分画像に分割する。すなわち、全体顔領域は（０,０）を開始点として４６×５６画像サイズをラスタ走査し、第１ないし第５部分画像は各々（９,４）、（６,１６）、（１７,１６）、（７,２５）、（１６,２５）を開始点として２９×２７、２４×２１、２４×２１、２４×２４、２４×２４画像サイズをラスタ走査する。
下記の表２は、顔部品別領域のラスタ走査パラメータ及びベクトル次元数を示す。
Figure 0004061260
全体強度特徴ベクトル生成部６３０において、第１ラスタ走査部６３１では姿勢補償された全体顔領域に対して上左側コーナ（０,０）から始めて下右側コーナ（４６,５６）で終了する行方向のラスタ走査を行って全体顔領域の強度値からなる第５特徴ベクトルｘhを生成する。ここで、第５特徴ベクトルｘhの次元数は、例えば、２５７６である。
第５ＰＣＬＤＡ投射部６３２では第１ラスタ走査部６３１から提供される第５特徴ベクトルｘhを従来技術である公知のアルゴリズムによって予め設定された第７基底行列Ψh 1によって定義した判別空間に投射させる。
第５ベクトル正規化部６３３では第５ＰＣＬＤＡ投射部６３２でプ投射されたベクトルを次の数式（１４）のように与えられる単位ベクトルｙhに正規化して、全体強度特徴ベクトルを生成する。
Figure 0004061260
ここで、ｍhは、第５ＰＣＬＤＡ投射部６３２で投射されたベクトルの平均を表し、その次元数は４０である。
部分強度特徴ベクトル生成部６４０において、第２ないし第６ラスタ走査部６４１ａ〜６４５ａでは姿勢補償された第１ないし第５部分画像に対して各画像サイズの上左側コーナから始めて下右側コーナで終了する行方向のラスタ走査を行って各部分顔領域の強度値からなる第６特徴ベクトルｘc k（ｋ＝１，．．．，５）を生成する。ここで、第６特徴ベクトルｘc k（ｋ＝１，．．．，５）の次元数は各ラスタ走査領域に対して各々７８３、５０４、５０４、５７６、５７６である。
第６ないし第１０ＰＣＬＤＡ投射部６４１ｂ〜６４５ｂでは、第２ないし第６ラスタ走査部６４１ａ〜６４５ａから提供される第６特徴ベクトルｘc k（ｋ＝１，．．．，５）を従来技術である公知のアルゴリズムによって予め設定された第８基底行列Ψc k（ｋ＝１，．．．，５）によって定義した判別空間に投射させる。
第６ないし第１０ベクトル正規化部６４１ｃ〜６４５ｃでは第６ないし第１０ＰＣＬＤＡ投射部６４１ｂ〜６４５ｂで投射されたベクトルを次の数式１５のように与えられる単位ベクトルｙc k（ｋ＝１，．．．，５）に正規化し、部分強度特徴ベクトルに生成する。
Figure 0004061260
ここで、ｍc kは、第６ないし第１０ＰＣＬＤＡ投射部６４１ｂ〜６４５ｂで投射されたベクトルの平均を表し、各ベクトルの次元数は４０である。
図７は、図６に示された姿勢推定／補償部６１０の詳細な構成を示すブロック図であって、ｎ個のＰＣＡ／ＤＦＦＳ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ／Ｄｉｓｔａｎｃｅ Ｆｒｏｍ Ｆａｃｅ Ｓｐａｃｅ）ブロック７１１，７１２，７１３と最小値検出部７１４とからなる姿勢推定部７１０と、アフィン変換部７２１と逆マッピング部７２２とからなる姿勢補償部７２０とから構成される。
姿勢推定部７１０は、ＰＣＡ／ＤＦＦＳ方法を使用して正規化された顔画像１１０を、例えば下記の表３のようにあらかじめ構成された９つの姿勢クラスのうち何れか一つに推定するためのものであって、このために第１ないし第ｎＰＣＡ投射部７１１ａ，７１２ａ，７１３ａ（ここで、ｎ＝９）では正規化された顔画像１１０を相異なる９つの姿勢クラスに対する投射行列Ｐi（ｉ＝１，２，．．．，９）のＰＣＡ部分空間に投射させる。この時、各姿勢クラスのＰＣＡモデルは、各姿勢クラスの学習画像セットを用いて学習する。
Figure 0004061260
第１ないし第ｎＤＦＦＳ算出部７１１ｂ，７１２ｂ，７１３ｂ（ここで、ｎ＝９）では各姿勢クラスに対して画像の距離ｄi（ｘ）を次の数式１６を利用して算出する。距離、すなわち、ＤＦＦＳは正規化された顔画像１１０が特定姿勢クラスに対するＰＣＡ部分空間によって表現される程度を表す。
Figure 0004061260
数式（１６）において、ｘは各々正規化された顔画像１１０の列方向のラスタスキャンの結果得られるベクトルを表す。前記投射行列Ｐi（ｉ＝１，２，．．．，９）は、従来技術である公知のアルゴリズムによって予め設定された
最小値検出部７１４では第１ないし第ｎＤＦＦＳ算出部７１１ｂ，７１２ｂ，７１３ｂ（ここで、ｎ＝９）から提供される距離ｄi（ｘ）のうち最小値を検出し、次の数式（１７）のように最小値を有する姿勢クラスを正規化された顔画像１１０の姿勢クラスと推定する。
Figure 0004061260
前記ＰＣＡ／ＤＦＦＳ方法は、Ｂ．ＭｏｇｈａｄｄａｍとＡ．Ｐｅｎｔｌａｎｄとが発表した「Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｖｉｅｗ−Ｂａｓｅｄ ａｎｄ Ｍｏｄｕｌａｒ Ｅｉｇｅｎｓｐａｃｅｓ，」Ａｕｔｏｍａｔｉｃ Ｓｙｓｔｅｍｓ ｆｏｒ ｔｈｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｉｎｓｐｅｃｔｉｏｎ ｏｆ Ｈｕｍａｎｓ，ＳＰＩＥ Ｖｏｌ．２２７７，Ｊｕｌｙ １９９４に詳細に記載されている。
次いで、姿勢補償部７２０は、姿勢推定部７１０で推定された姿勢クラスによって、正規化された顔画像１１０を正面顔画像に補償するためのものであって、このためにアフィン変換部７２１では姿勢推定部７１０で推定された姿勢クラスに対応する正面姿勢クラスへの所定のアフィン変換行列をロードする。各姿勢クラスから正面姿勢クラスへのアフィン変換は、正面姿勢クラスと各姿勢クラス間の対応ポイントによって決定される。

各姿勢クラスの対応ポイントは、例えば、２つの眉と２つの目との左端及び右端、鼻の左端、右端及び下端、口の左端、右端、上端及び下端のような区分可能な１５の顔の特徴に対する平均位置から算出され、このような１５の区分可能な顔の特徴は、姿勢クラスに割当てられたトレーニング画像から選択されたものである。
逆マッピング部７２２ではアフィン変換部７２１でローディングされたアフィン変換行列を使用して正規化された顔画像１１０を正面顔画像に幾何学的に逆マッピングさせて姿勢補償された顔画像を提供する。各姿勢クラスｊから正面顔画像へのアフィン変換は、例えば、下記の表４に規定される６次元のパラメータＡj＝｛ａ，ｂ，ｃ，ｄ，ｅ，ｆ｝に表現される。ここで、これらパラメータは、正面顔画像で区分可能な顔特徴と、各姿勢顔画像で区分可能な顔特徴間との比率によって計算される。
Figure 0004061260
一方、逆マッピングされた顔画像の位置（ｘ,ｙ）での画素値は、例えば共一次線形補間を用いて次の数式（１８）のように算出される。
Figure 0004061260
ここで、x'=ceil(a・x+b・y+c)，y'=ceil(d・x+e・y+f)，dx=(a・x+b・y+c)−x'，dy=(d・x+e・y+f)−y'であり、f(x',y')は位置(x',y')での正規化された顔画像１１０の画素値を示す。
図８は、図１に示された全体複合特徴ベクトル生成部１３３の詳細な構成を示すブロック図であって、第３結合部８１０、第３ＬＤＡ投射部８２０及び第３量子化部８３０から構成される。
図８を参照すれば、第３結合部８１０ではフーリエ特徴生成部１２１内の第１ベクトル正規化部２２７から提供される第１正規化ベクトルｙf 1及び第２正規化ベクトルｙf 2と全体強度特徴ベクトル生成部６３０から提供される全体強度特徴ベクトルｙhとを結合し、その次元が、例えば、１９０である結合ベクトルを形成する。
第３ＬＤＡ投射部８２０では第３結合部８１０から提供される結合ベクトルを従来技術である公知のアルゴリズムによって予め設定された第９基底行列Ψh 2によって定義した線形判別空間に投射させる。投射されたベクトルｚhは、次の数式（１９）のように表せる。
Figure 0004061260
第３量子化部８３０では第３ＬＤＡ投射部８２０から提供される投射されたベクトルｚhの各成分を次の数式（２０）を使用して５ビット符号なし整数にクリッピングして量子化させた後、全体複合特徴ベクトルｗh iとして保存する。
Figure 0004061260
図９は、図１に示された中心複合特徴ベクトル生成部１３５の詳細な構成を示すブロック図であって、第４結合部９１０、第４ＬＤＡ投射部９２０及び第４量子化部７３０から構成される。
図９を参照すれば、第４結合部９１０ではフーリエ特徴生成部１２１内の第２ベクトル正規化部２３７から提供される第３正規化ベクトルｙg 1及び第４正規化ベクトルｙg 2と部分強度特徴ベクトル生成部６４０から提供される部分強度特徴ベクトルとを結合し、その次元が、例えば、３５０である結合ベクトルを形成する。
第４ＬＤＡ投射部９２０では第４結合部９１０から提供される結合ベクトルを従来技術である公知のアルゴリズムによって予め設定された第１０基底行列Ψc 6によって定義した判別空間に投射させる。投射されたベクトルｚcは、次の数式（２１）のように表せる。
Figure 0004061260
第４量子化部９３０では第４ＬＤＡ投射部９２０から提供される投射されたベクトルｚcの各成分を次の数式２２を使用して５ビット符号なし整数にクリッピングして量子化させた後、中心複合特徴ベクトルｗc iとして保存する。
Figure 0004061260
なお、前記した第１ないし第１０基底行列（または投射行列）については、Ｔａｅ−Ｋｙｕｎ Ｋｉｍらによる「Ｃｏｍｐｏｎｅｎｔ−ｂａｓｅｄ ＬＤＡ ｆａｃｅ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ」，Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ２００２，Ｓｅｐｔｅｍｂｅｒ ２００２のセクション３に詳細に記述されている。
次に、本発明による特徴ベクトル抽出方法を顔画像検索に適用した例を通じて検索性能の向上程度を説明する。
実験のためにデータセットとして５つのデータベースから構成されるＭＰＥＧ−７顔データセットを使用した。５つのデータベースは、各々ＭＰＥＧ−７拡張バージョン１顔データベース（Ｅ１）、Ａｌｔｋｏｍデータベース（Ａ２）、ＸＭ２ＶＴＳデータベースにあるＭＰＥＧ−７テストセット（Ｍ３）、ＦＥＲＥＴデータベース（Ｆ４）及びＢａｎｃａデータベースにあるＭＰＥＧ−７テストセット（Ｂ５）である。全体画像数は、１１８４５枚であり、このうち３６５５枚の画像はＬＤＡ投射の学習画像として使われ、８１９０枚の画像は性能評価のために使われた。表５は、学習画像及び評価画像に関する詳細なリストを示す。
Figure 0004061260
一方、検索の精度はＡＮＭＲＲ（Ａｖｅｒａｇｅ Ｎｏｒｍａｌｉｚｅｄ Ｍｏｄｉｆｉｅｄ Ｒｅｔｒｉｅｖａｌ Ｒａｔｅ）で評価された。ＡＮＭＲＲについてはＢ.Ｓ.Ｍａｎｊｕｎａｔｈ,Ｐｈｉｌｉｐｐｅ Ｓａｌｅｍｂｉｅｒ及びＴｈｏｍａｓ Ｓｉｋｏｒａによる「Ｉｎｔｒｏｕｃｔｉｏｎ ｔｏ ＭＰＥＧ−７：Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ｄｅｓｃｒｉｐｔｉｏｎ Ｉｎｔｅｒｆａｃｅ」，Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ Ｌｔｄ.,２００２に詳細に記載されている。
シミュレーションした結果、検索精度をＡＮＭＲＲで表せば、フーリエ特徴ベクトルだけ使用する場合に０.３５４、強度特徴ベクトルだけ使用する場合に０.３９０であった。しかし、本発明のようにフーリエ特徴ベクトルと強度特徴ベクトルとを統合させて使用する場合に０.２６６に向上した。使われたフーリエ特徴ベクトルのサイズは、２４０（＝４８×５）ビットであり、本発明で使われたフーリエ特徴ベクトルのサイズは、３２０（＝６４×５）ビットである。検索精度はＬＤＡ投射の次元によって変わる。例えば、次元が４８（すなわち、２４０ビット）である場合にＡＮＭＲＲは０.２８０、次元が６４（すなわち、３２０ビット）である場合にＡＮＭＲＲは０.２６６、次元が１２８（すなわち、６４０ビット）である場合にＡＮＭＲＲは０.２４９となる。このように、本発明のようにフーリエ特徴ベクトルと強度特徴ベクトルとを統合させて使用することで優れた検索精度及び識別結果を得られることが実験によって明らかになっている。
前述した本発明は、またコンピュータで読取れる記録媒体にコンピュータが読取れるコードとして具現できる。コンピュータが読取れる記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータが読取れる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通した伝送）の形態で具現されるものも含む。また、コンピュータが読取れる記録媒体を、ネットワークに連結されたコンピュータシステムに分散し、分散方式でコンピュータが読取れるコードとして保存し、実行してもよい。
以上、本発明についてその望ましい実施の形態を中心に説明した。当業者であれば、本発明が本発明の本質的な特徴から外れない範囲で変形された形態で具現可能なことが分かる。したがって、開示された実施例を限定的な観点でなく、例示的な観点で考慮しなければならない。本発明の範囲は、前述した実施の形態でなく特許請求の範囲に提示されており、それと同等な範囲内にある全ての差異点は本発明に含まれたと解釈しなければならない。
本発明による特徴ベクトル抽出方法及び装置は、端末アクセス制御、公共場所管制システム、電子アルバム、犯罪者顔認識など多くの応用分野を有している顔認識及び検索システムに適用され、周波数領域上で生成された特徴ベクトルによる検索限界と空間領域上で生成された特徴ベクトルの検索限界とを補完することによって顔映像を従来技術に比べ正確に認識できる。
顔認識及び検索用特徴ベクトル抽出装置の構成を示すブロック図である。 フーリエ特徴生成部の詳細な構成を示すブロック図である。 ブロック分割顔領域の詳細な構成を示すブロック図である。 ブロック分割顔領域の詳細な構成を示すブロック図である。 全体フーリエ特徴ベクトル生成部の詳細な構成を示すブロック図である。 中心フーリエ特徴ベクトル生成部の詳細な構成を示すブロック図である。 強度特徴生成部の詳細な構成を示すブロック図である。 姿勢推定／補償部の詳細な構成を示すブロック図である。 全体複合特徴ベクトル生成部の詳細な構成を示すブロック図である。 中心複合特徴ベクトル生成部の詳細な構成を示すブロック図である。 フーリエ特徴生成部で適用されるラスタ走査を説明する図面である。
符号の説明
１１０ 正規化された顔画像
１２０ 周波数特徴ベクトル生成ユニット
１２１ フーリエ特徴生成部
１２３ 全体フーリエ特徴ベクトル生成部
１２５ 中心フーリエ特徴ベクトル生成部
１３０ 複合特徴ベクトル生成ユニット
１３１ 強度特徴生成部
１３３ 全体複合特徴ベクトル生成部
１３５ 中心複合特徴ベクトル生成部

Claims (19)

  1. （ａ）正規化された顔画像の全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて全体フーリエ特徴ベクトルを生成し、
    中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて中心フーリエ特徴ベクトルを生成する段階と、
    （ｂ）前記全体顔領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して全体強度特徴ベクトルを生成し、
    所定数の顔部品領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して部分強度特徴ベクトルを生成し、
    前記全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記全体強度特徴ベクトルとを結合して形成した結合ベクトルに基づいて全体複合特徴ベクトルを生成し、
    前記中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記部分強度特徴ベクトルとを結合して形成した結合ベクトルに基づいて中心複合特徴ベクトルを生成する段階と、を含み、
    前記全体顔領域は、前記正規化された顔画像を所定の画像サイズにクリッピングすることによって得られ、前記中心顔領域は、前記全体顔領域を、前記正規化された顔画像の中心を含み、前記全体顔領域より小さい画像サイズにクリッピングすることにより得られることを特徴とする顔認識及び検索用特徴ベクトル抽出方法。
  2. 前記（ａ）段階は、
    （ａ１）前記全体顔領域に対してフーリエ変換を行ってフーリエスペクトルとフーリエ振幅とを獲得し、獲得されたフーリエスペクトルを利用した第１特徴ベクトルを構成し、獲得されたフーリエ振幅を利用して第２特徴ベクトルを構成する段階と、
    （ａ２）前記中心顔領域に対してフーリエ変換を行ってフーリエスペクトルとフーリエ振幅とを獲得し、獲得されたフーリエスペクトルを利用して第３特徴ベクトルを構成し、獲得されたフーリエ振幅を利用して第４特徴ベクトルを構成する段階と、
    （ａ３）前記第１特徴ベクトルを第１主成分線形判別解析部分空間に投射させて正規化して第１正規化ベクトルを生成し、前記第２特徴ベクトルを第１主成分線形判別解析部分空間に投射させて正規化して第２正規化ベクトルを生成し、これらを結合して所定の第１線形判別空間に投射させて全体フーリエ特徴ベクトルを生成する段階と、
    （ａ４）前記第３特徴ベクトルを第２主成分線形判別解析部分空間に投射させて正規化して第３正規化ベクトルを生成し、前記第４特徴ベクトルを第２主成分線形判別解析部分空間に投射させて正規化して第４正規化ベクトルを生成し、これらを結合して所定の第２線形判別空間に投射させて中心フーリエ特徴ベクトルを生成する段階と、からなることを特徴とする請求項１に記載の顔認識及び検索用特徴ベクトル抽出方法。
  3. 前記（ａ１）段階において、前記フーリエスペクトルは全体顔領域から得られ、前記フーリエ振幅は第１ブロック分割顔領域から得られること、を特徴とする請求項２に記載の顔認識及び検索用特徴ベクトル抽出方法。
  4. 前記第１ブロック分割顔領域は、前記全体顔領域を所定サイズにクリッピングして得られる全体領域と、前記全体領域の４ブロック分割領域及び１６ブロック分割領域と、を含むことを特徴とする請求項３に記載の顔認識及び検索用特徴ベクトル抽出方法。
  5. 前記（ａ２）段階で前記フーリエスペクトルは中心顔領域から得られ、前記フーリエ振幅は第２ブロック分割顔領域から得られること、を特徴とする請求項２に記載の顔認識及び検索用特徴ベクトル抽出方法。
  6. 前記第２ブロック分割顔領域は、前記中心顔領域に当たる中心領域、前記中心領域の４ブロック分割領域及び１６ブロック分割領域を含むことを特徴とする請求項５に記載の顔認識及び検索用特徴ベクトル抽出方法。
  7. 前記（ｂ）段階は、
    （ｂ１）前記全体顔領域に対するフーリエ変換の結果得られるフーリエスペクトルを利用して構成される第１特徴ベクトルを第１主成分線形判別解析部分空間に投影させて正規化することにより得られる第１正規化ベクトルと、前記全体顔領域に対するフーリエ変換の結果得られるフーリエ振幅を利用して構成される第２特徴ベクトルを第１主成分線形判別解析部分空間に投影させて正規化することにより得られる第２正規化ベクトルと、前記中心顔領域に対するフーリエ変換の結果得られるフーリエスペクトルを利用して構成される第３特徴ベクトルを第２主成分線形判別解析部分空間に投影させて正規化することにより得られる第３正規化ベクトルと、前記中心顔領域に対するフーリエ変換の結果得られるフーリエ振幅を利用して構成される第４特徴ベクトルを第２主成分線形判別解析部分空間に投影させて正規化することにより得られる第４正規化ベクトルと、を生成する段階と、
    （ｂ２）前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成する段階と、
    （ｂ３）前記第１正規化ベクトル及び前記第２正規化ベクトルと前記全体強度特徴ベクトルとを結合して所定の第３線形判別空間に投射させて全体複合特徴ベクトルを生成する段階と、
    （ｂ４）前記第３正規化ベクトル及び前記第４正規化ベクトルと前記部分強度特徴ベクトルとを結合して所定の第４線形判別空間に投射させて中心複合特徴ベクトルを生成する段階と、を含むことを特徴とする請求項１に記載の顔認識及び検索用特徴ベクトル抽出方法。
  8. 前記（ｂ２）段階は、
    （ｂ２１）前記正規化された顔画像に対して姿勢推定及び姿勢補償を行って正面顔画像に変換する段階と、
    （ｂ２２）前記姿勢補償された顔画像の全体顔領域をラスタ走査して第５特徴ベクトルを構成する段階と、
    （ｂ２３）前記姿勢補償された顔画像に対する複数の顔部品別領域をラスタ走査して第６特徴ベクトルを構成する段階と、
    （ｂ２４）前記第５特徴ベクトルを第３主成分線形判別解析部分空間に投射して、第５単位ベクトルに正規化させて全体強度特徴ベクトルに生成する段階と、
    （ｂ２５）前記第６特徴ベクトルを第４主成分線形判別解析部分空間に投射して、第６単位ベクトルに正規化させて部分強度特徴ベクトルに生成する段階と、からなることを特徴とする請求項７に記載の顔認識及び検索用特徴ベクトル抽出方法。
  9. 前記（ｂ２１）段階では前記正規化された顔画像の姿勢をＰＣＡ−ＤＦＦＳ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ−Ｄｉｓｔａｎｃｅ Ｆｒｏｍ Ｆａｃｅ Ｓｐａｃｅ）法によって推定すること、を特徴とする請求項８に記載の顔認識及び検索用特徴ベクトル抽出方法。
  10. 前記（ｂ３）段階は、
    （ｂ３１）前記（ｂ１）段階で生成される前記第１正規化ベクトル及び前記第２正規化ベクトルと前記（ｂ２）段階で生成される前記全体強度特徴ベクトルとを結合させる段階と、
    （ｂ３２）前記結合されたベクトルを前記第３線形判別空間に投射させる段階と、
    （ｂ３３）前記投射されたベクトルの各成分を量子化させて全体複合特徴ベクトルとして保存する段階と、からなることを特徴とする請求項７に記載の顔認識及び検索用特徴ベクトル抽出方法。
  11. 前記（ｂ４）段階は、
    （ｂ４１）前記（ｂ１）段階で生成される前記第３正規化ベクトル及び前記第４正規化ベクトルと前記（ｂ２）段階で生成される前記部分強度特徴ベクトルとを結合させる段階と、
    （ｂ４２）前記結合されたベクトルを前記第４線形判別空間に投射させる段階と、
    （ｂ４３）前記投射されたベクトルの各成分を量子化させて中心複合特徴ベクトルとして保存する段階と、からなることを特徴とする請求項７に記載の顔認識及び検索用特徴ベクトル抽出方法。
  12. （ａ）正規化された顔画像の全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて全体フーリエ特徴ベクトルを生成し、
    中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて中心フーリエ特徴ベクトルを生成する段階と、
    （ｂ）前記全体顔領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して全体強度特徴ベクトルを生成し、
    所定数の顔部品領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して部分強度特徴ベクトルを生成する段階と、
    （ｃ）前記全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記全体強度特徴ベクトルとを結合して形成した結合ベクトルを所定の第１線形判別空間に投射させて全体複合特徴ベクトルを生成する段階と、
    （ｄ）前記中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記部分強度特徴ベクトルとを結合して形成した結合ベクトルを所定の第２線形判別空間に投射させて中心複合特徴ベクトルを生成する段階と、を含み、
    前記全体顔領域は、前記正規化された顔画像を所定の画像サイズにクリッピングすることによって得られ、前記中心顔領域は、前記全体顔領域を、前記正規化された顔画像の中心を含み、前記全体顔領域より小さい画像サイズにクリッピングすることにより得られることを特徴とする顔認識及び検索用特徴ベクトル抽出方法。
  13. 請求項１ないし１２のうち何れか一項に記載の方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体。
  14. 正規化された顔画像の全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて全体フーリエ特徴ベクトルを生成し、
    中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルに基づいて中心フーリエ特徴ベクトルを生成する第１ユニットと、
    前記全体顔領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して全体強度特徴ベクトルを生成し、
    所定数の顔部品領域の強度値からなる強度特徴に基づき得られる特徴ベクトルを正規化して部分強度特徴ベクトルとを生成し、
    前記全体顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記全体強度特徴ベクトルとを結合して形成した結合ベクトルに基づいて全体複合特徴ベクトルを生成し、
    前記中心顔領域に対してフーリエ変換を行って算出されるフーリエ特徴に基づき得られる特徴ベクトルを正規化し、正規化した正規化ベクトルと前記部分特徴ベクトルとを結合して形成した結合ベクトルに基づいて中心複合特徴ベクトルを生成する第２ユニットと、を含み、
    前記全体顔領域は、前記正規化された顔画像を所定の画像サイズにクリッピングすることによって得られ、前記中心顔領域は、前記全体顔領域を、前記正規化された顔画像の中心を含み、前記全体顔領域より小さい画像サイズにクリッピングすることにより得られることを特徴とする顔認識及び検索用特徴ベクトル抽出装置。
  15. 前記第１ユニットは、
    前記全体顔領域に対するフーリエ変換の結果得られるフーリエスペクトルを利用して構成される第１特徴ベクトルを第１主成分線形判別解析部分空間に投影させて正規化することにより得られる第１正規化ベクトルと、前記全体顔領域に対するフーリエ変換の結果得られるフーリエ振幅を利用して構成される第２特徴ベクトルを第１主成分線形判別解析部分空間に投影させて正規化することにより得られる第２正規化ベクトルと、から形成される全体フーリエ特徴ベクトルを生成する全体フーリエ特徴ベクトル生成部と、
    前記中心顔領域に対するフーリエ変換の結果得られるフーリエスペクトルを利用して構成される第３特徴ベクトルを第２主成分線形判別解析部分空間に投影させて正規化することにより得られる第３正規化ベクトルと、前記中心顔領域に対するフーリエ変換の結果得られるフーリエ振幅を利用して構成される第４特徴ベクトルを第２主成分線形判別解析部分空間に投影させて正規化することにより得られる第４正規化ベクトルと、から形成される中心フーリエ特徴ベクトルを生成する中心フーリエ特徴ベクトル生成部と、からなることを特徴とする請求項１４に記載の顔認識及び検索用特徴ベクトル抽出装置。
  16. 前記第２ユニットは、
    前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成する強度特徴生成部と、
    前記全体顔領域に対するフーリエ変換の結果得られるフーリエスペクトルを利用して構成される第１特徴ベクトルを第１主成分線形判別解析部分空間に投影させて正規化することにより得られる第１正規化ベクトルと、前記全体顔領域に対するフーリエ変換の結果得られるフーリエ振幅を利用して構成される第２特徴ベクトルを第１主成分線形判別解析部分空間に投影させて正規化することにより得られる第２正規化ベクトルと、から形成される全体フーリエ特徴ベクトルと前記全体強度特徴ベクトルとを結合して全体複合特徴ベクトルを生成する全体複合特徴ベクトル生成部と、
    前記中心顔領域に対するフーリエ変換の結果得られるフーリエスペクトルを利用して構成される第３特徴ベクトルを第２主成分線形判別解析部分空間に投影させて正規化することにより得られる第３正規化ベクトルと、前記中心顔領域に対するフーリエ変換の結果得られるフーリエ振幅を利用して構成される第４特徴ベクトルを第２主成分線形判別解析部分空間に投影させて正規化することにより得られる第４正規化ベクトルと、から形成される中心フーリエ特徴ベクトルと前記部分強度特徴ベクトルとを結合して中心複合特徴ベクトルを生成する中心複合特徴ベクトル生成部と、を含むことを特徴とする請求項１４に記載の顔認識及び検索用特徴ベクトル抽出装置。
  17. 前記全体フーリエ特徴ベクトル生成部において、前記フーリエスペクトルは、全体顔領域から得られ、前記フーリエ振幅は前記全体顔領域を所定サイズにクリッピングして得られる全体領域、前記全体領域の４ブロック分割領域及び１６ブロック分割領域から各々得られること、を特徴とする請求項１５に記載の顔認識及び検索用特徴ベクトル抽出装置。
  18. 前記中心フーリエ特徴ベクトル生成部において、前記フーリエスペクトルは、中心顔領域から得られ、前記フーリエ振幅は前記中心領域、前記中心領域の４ブロック分割領域及び１６ブロック分割領域から各々得られること、を特徴とする請求項１５に記載の顔認識及び検索用特徴ベクトル抽出装置。
  19. 前記強度特徴生成部は、
    前記正規化された顔画像の姿勢を推定して正面顔画像に変換する姿勢推定／補償部と、
    前記姿勢推定された顔画像の全体顔領域に対するラスタ走査の結果得られる第５特徴ベクトルを第３主成分線形判別解析部分空間に投射して、第５単位ベクトルに正規化させて全体強度特徴ベクトルを生成する全体強度特徴ベクトル生成部と、
    前記姿勢推定された顔画像の複数の顔部品別領域に対するラスタ走査の結果得られる第６特徴ベクトルを第４主成分線形判別解析部分空間に投射して、第６単位ベクトルに正規化させて部分強度特徴ベクトルを生成する部分強度特徴ベクトル生成部と、からなることを特徴とする請求項１６に記載の顔認識及び検索用特徴ベクトル抽出装置。
JP2003354929A 2002-10-15 2003-10-15 顔認識及び検索用特徴ベクトル抽出方法及びその装置並びにその方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体 Expired - Lifetime JP4061260B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020062650 2002-10-15
KR10-2003-0026426A KR100486738B1 (ko) 2002-10-15 2003-04-25 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치

Publications (2)

Publication Number Publication Date
JP2004139596A JP2004139596A (ja) 2004-05-13
JP4061260B2 true JP4061260B2 (ja) 2008-03-12

Family

ID=32044739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003354929A Expired - Lifetime JP4061260B2 (ja) 2002-10-15 2003-10-15 顔認識及び検索用特徴ベクトル抽出方法及びその装置並びにその方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体

Country Status (4)

Country Link
US (1) US7391889B2 (ja)
EP (1) EP1411459B1 (ja)
JP (1) JP4061260B2 (ja)
CN (1) CN100342399C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060288A1 (fr) * 1999-04-02 2000-10-12 Matsushita Refrigeration Company Pompe à chaleur

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171567B1 (en) 2002-09-04 2012-05-01 Tracer Detection Technology Corp. Authentication method and system
ATE433164T1 (de) 2004-03-12 2009-06-15 Ingenia Technology Ltd Verfahren und vorrichtungen zur erzeugung authentifizierbarer gegenstände und ihrer nachfolgenden überprüfung
SG151277A1 (en) 2004-03-12 2009-04-30 Ingenia Technology Ltd Authenticity verification methods, products and apparatuses
GB2414328A (en) * 2004-05-17 2005-11-23 Mitsubishi Electric Inf Tech Discrimination transforms applied to frequency domain derived feature vectors
GB2417074B (en) * 2004-08-13 2007-11-21 Ingenia Technology Ltd Authenticity verification methods,products and apparatuses
GB2417592B (en) * 2004-08-13 2006-07-26 Ingenia Technology Ltd Authenticity verification of articles
JP4332129B2 (ja) * 2005-04-20 2009-09-16 富士通株式会社 文書分類プログラム、文書分類方法および文書分類装置
EP1908027B1 (en) 2005-07-27 2010-09-29 Ingenia Holdings Limited Verification of authenticity
GB2448245B (en) * 2005-12-23 2009-11-04 Ingenia Holdings Optical authentication
US7684594B2 (en) * 2006-02-08 2010-03-23 Fujifilm Corporation Method and apparatus for estimating object part location in digital image data using feature value analysis
KR100819027B1 (ko) 2006-04-26 2008-04-02 한국전자통신연구원 얼굴 영상을 이용한 사용자 인증 방법 및 장치
US7684651B2 (en) * 2006-08-23 2010-03-23 Microsoft Corporation Image-based face search
KR100855631B1 (ko) 2006-12-26 2008-09-01 (주)엔토시스 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법
US7991199B2 (en) * 2007-06-29 2011-08-02 Microsoft Corporation Object identification and verification using transform vector quantization
DE102008041861A1 (de) * 2008-09-08 2010-03-11 Psylock Gmbh Biometrisches Identifizierungsverfahren mittels Merkmalsvektoren und Analyse gegenüber mehreren biometrischen Proben
GB2466465B (en) 2008-12-19 2011-02-16 Ingenia Holdings Authentication
GB2466311B (en) 2008-12-19 2010-11-03 Ingenia Holdings Self-calibration of a matching algorithm for determining authenticity
US8213691B2 (en) * 2008-12-30 2012-07-03 Mitsubishi Electric Research Laboratories, Inc. Method for identifying faces in images with improved accuracy using compressed feature vectors
TWI419060B (zh) * 2009-10-15 2013-12-11 Univ Nat Kaohsiung Applied Sci 採用金字塔取樣演算法之人臉辨識方法
GB2476226B (en) 2009-11-10 2012-03-28 Ingenia Holdings Ltd Optimisation
JP5524692B2 (ja) * 2010-04-20 2014-06-18 富士フイルム株式会社 情報処理装置および方法ならびにプログラム
TWI413004B (zh) * 2010-07-29 2013-10-21 Univ Nat Taiwan Science Tech 人臉特徵辨識方法及系統
US9251402B2 (en) 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
US9323980B2 (en) * 2011-05-13 2016-04-26 Microsoft Technology Licensing, Llc Pose-robust recognition
US8593452B2 (en) * 2011-12-20 2013-11-26 Apple Inc. Face feature vector construction
WO2013134932A1 (en) 2012-03-13 2013-09-19 Nokia (China) Investment Co., Ltd. A method and apparatus for improved facial recognition
US9361510B2 (en) * 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
CN104281835B (zh) * 2014-09-04 2017-05-17 台州学院 基于局部敏感的核稀疏表示的人脸识别方法
JP6702118B2 (ja) * 2016-09-26 2020-05-27 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
CN112737648B (zh) * 2019-01-11 2022-07-29 华为技术有限公司 一种通信方法、设备及计算机可读存储介质
CN110135361A (zh) * 2019-05-19 2019-08-16 北京深醒科技有限公司 一种基于红外摄像头下的多姿态人脸识别方法
CN111767828B (zh) * 2020-06-28 2023-12-08 京东科技控股股份有限公司 证件图像翻拍识别方法、装置、电子设备和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956427A (en) * 1995-06-15 1999-09-21 California Institute Of Technology DFT encoding of oriented filter responses for rotation invariance and orientation estimation in digitized images
US5917940A (en) * 1996-01-23 1999-06-29 Nec Corporation Three dimensional reference image segmenting method and device and object discrimination system
JP3279913B2 (ja) * 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
JP2962549B2 (ja) * 1997-03-11 1999-10-12 株式会社エイ・ティ・アール知能映像通信研究所 顔動画像からの表情認識方法
JP2000030060A (ja) * 1998-07-09 2000-01-28 Cyber Tec Kk 画像認識方法及びその装置
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
WO2000014649A1 (en) * 1998-09-03 2000-03-16 Wallac Oy Signal processing
JP2000222578A (ja) * 1999-02-02 2000-08-11 Matsushita Electric Ind Co Ltd パターンマッチング方法および動きベクトル検出方法
JP3406577B2 (ja) * 2000-07-19 2003-05-12 技研トラステム株式会社 物体認識方法
JP4292837B2 (ja) * 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060288A1 (fr) * 1999-04-02 2000-10-12 Matsushita Refrigeration Company Pompe à chaleur

Also Published As

Publication number Publication date
CN100342399C (zh) 2007-10-10
US7391889B2 (en) 2008-06-24
CN1504961A (zh) 2004-06-16
EP1411459B1 (en) 2009-05-13
JP2004139596A (ja) 2004-05-13
US20040170305A1 (en) 2004-09-02
EP1411459A1 (en) 2004-04-21

Similar Documents

Publication Publication Date Title
JP4061260B2 (ja) 顔認識及び検索用特徴ベクトル抽出方法及びその装置並びにその方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体
Colombo et al. 3D face detection using curvature analysis
Biswas et al. Multidimensional scaling for matching low-resolution face images
US7228006B2 (en) Method and system for detecting a geometrically transformed copy of an image
TWI235343B (en) Estimating text color and segmentation of images
EP1452995A2 (en) Method for detecting color objects in digital images
Min et al. Efficient detection of occlusion prior to robust face recognition
Bagherian et al. Facial feature extraction for face recognition: a review
Luo et al. On face detection in the compressed domain
KR100486738B1 (ko) 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치
Petpairote et al. 2d pose-invariant face recognition using single frontal-view face database
Karnila et al. Face recognition using content based image retrieval for intelligent security
Paschalakis et al. Real-time face detection and tracking for mobile videoconferencing
Marqués et al. Face segmentation and tracking based on connected operators and partition projection
CN105224619B (zh) 一种适用于视频/图像局部特征的空间关系匹配方法及系统
US8938118B1 (en) Method of neighbor embedding for OCR enhancement
Rodriguez 3D face modelling for 2D+ 3D face recognition
Nigam et al. Robust ear recognition using gradient ordinal relationship pattern
Lakshmi et al. A novel sketch based face recognition in unconstrained video for criminal investigation
Dehghani et al. Face detection speed improvement using bitmap-based Histogram of Oriented gradien
Shih et al. An effective colour feature extraction method using evolutionary computation for face recognition
Biswas et al. Extraction of regions of interest from face images using cellular analysis
Wang Integrated content-aware image retargeting system
Kabir et al. Face recognition with directional ternary pattern (DTP)
Bilquees et al. Noise resilient local gradient orientation for content-based image retrieval

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070327

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070329

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070724

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070727

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070824

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070824

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4061260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131228

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term