JP4703115B2 - 顔プロトタイプ合成システム - Google Patents

顔プロトタイプ合成システム Download PDF

Info

Publication number
JP4703115B2
JP4703115B2 JP2003584995A JP2003584995A JP4703115B2 JP 4703115 B2 JP4703115 B2 JP 4703115B2 JP 2003584995 A JP2003584995 A JP 2003584995A JP 2003584995 A JP2003584995 A JP 2003584995A JP 4703115 B2 JP4703115 B2 JP 4703115B2
Authority
JP
Japan
Prior art keywords
face
image
prototype
real
real face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003584995A
Other languages
English (en)
Other versions
JP2005522790A (ja
Inventor
マリアニ・ロベルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Original Assignee
Agency for Science Technology and Research Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore filed Critical Agency for Science Technology and Research Singapore
Publication of JP2005522790A publication Critical patent/JP2005522790A/ja
Application granted granted Critical
Publication of JP4703115B2 publication Critical patent/JP4703115B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本発明は、一般に顔認識及び顔確証システムに向けられ、特に現実的なテンプレート(標本)を生成することができ、かつ顔を登録するためのより堅固な(robust)システムを提供するものである。
古典的な顔認識アプローチは個人の顔の画像(イメージ)を蓄積することであり、それから変化する照明(ライティング)の条件、顔の表情、顔の方向、めがね、あごひげ、口ひげ、毛などの変化を捕捉するのに充分な堅固さを有する顔マッチングアルゴリズムを提供するものであった。
顔認識テクノロジーの領域では、調査はほとんど全て、照明の条件、顔の表情、顔の方向に対して変化しないようなアルゴリズムを開発することに焦点が当てられていた。かかるシステムは、複雑なマッチングアルゴリズムやアルゴリズムのファミリーを犠牲にして単純なデータベースを得ていた。一方、顔テンプレートマッチング及びニューラルネットワークを基礎とする顔認識システムは、そのネットワークに許容可能なスタンダードを教育するために、膨大な数の顔サンプルを必要とした。ニューラルネットワークを教育するために適用される操作は、主として直線的な性質を有する、例えば尺度変化やズーミングなどである。
これら従来技術の問題は、各種の照明条件、表情の変化、登録時と観察時との時間のずれによる変化を取り扱うのに弱いという点である。
例えば、WO99/53427では、対象物をイメージフレーム内に検知して認識する技術が提案されている。この対象物識別及び認識プロセスは、モデルグラフやバンチ(群)グラフなどの、イメージの特徴点をジェットとして効果的に表現できるようなグラフを基礎として、イメージを処理する技術を用いている。これらのジェットはウェーブレット変換で構成され、容易に識別可能な特徴点に対応するイメージ上のノード(節)やランドマーク(標識点)で処理される。発明者はこれによって顔のイメージから抽出された特徴点のセットを基礎にして顔を表現することを提案している。それから顔認識は、変形可能なグラフマッチング技術を用いて実現される。 WO98/37507では、個人の顔をリアルタイムで自動的に認識したり写真文書を基礎として自動的に認識したりするために、頭部の側面図を生成して、直線的な抽出によりプロフィルカーブを定義するようにしている。このプロフィルカーブから、評価アルゴリズムによって、対象とする個人のモデルとして機能するための強力に縮小された量のデータが生成される。これにより、モデルコードのための最小メモリースペースを必要とする特に単純なバイオメトリック顔識別が可能となる。
一般的に、顔認識を改善しようとする試みは、結局のところ特徴点を抽出してデータベース上に保管されているデータと特徴点を比較する各種方法とアルゴリズムに帰着する。しかしながら、各種の条件や環境により、好ましくない結果を生じることが依然として発生しており、顔認識を改善するためのさらなる別のアプローチが要求されている。
従って、本発明の目的は、照明や顔の方向などの変化する条件を捕捉することが可能なより堅固なシステムを提供することにある。特に、かかるシステムのためのより堅固な登録プロセスを提供することを目的としている。
本発明のさらなる目的は、変化する条件を考慮に入れた現実的なテンプレートを生成することが可能な顔合成(synthesis )システムを提供することにある。
上記の目的を達成するため、本発明は、その第1の面において、顔認識及び/又は確証システムであって、個人の実物顔を登録する工程を包含しそこで実物顔の画像がキャプチャされ合成されて複数の顔プロトタイプ(原型)を創造するようになっており、顔プロトタイプが、認識されあるいは確証されるべきキャプチャ画像と共に後での分析と比較のために格納されているようなシステムを提供する。
顔プロトタイプは、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び/又はモデル化されるエラー(誤差)の下で、実物顔のあり得べき外観を表現することができる。
本発明は、その第2の面において、顔プロトタイプ合成システムであって、個人の実物顔の画像を合成して複数の顔プロトタイプを創造できるようにし、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び/又はモデル化されるエラーの下で、前記実物顔のあり得べき外観を表現しており、前記顔プロトタイプが後での使用のために格納されている顔プロトタイプ合成システムを提供する。
好適な実施例において、このシステムは、両目が水平面上で固定した距離だけ離れているようにして、キャプチャされた画像を標準化あるいは正規化(normalise )する。このシステムは、眉毛と口とによって境界付けられる顔の部分だけを合成することもでき、これは他の特徴点、例えば毛などは認識及び確証の目的を顕著に変化させるものではないという仮定に基づいている。この合成は、変化する条件やエラーを考慮するために、目の位置を入れ替えたりマスク(仮装技法)を適用したりする手法を考慮することができる。
添付図面において、図1は本発明の好適な実施例により分析される顔の領域を表している。図2はあり得べき目の位置を表している。図3は幾何学的マスクを使用した状態を表している。図4は光学的フロー近似法を表している。図5は指数関数及び対数関数を使用した状態を表している。図6は垂直陰影マスクを用いた関数のサンプルを表している。図7は陰影フィルターを用いた状態を表している。図8は手動操作の照明マスクを用いた例を表している。図9は本発明の好適な実施例に従い個人を登録した例を表している。
例えば、照明条件の変化のようなファクターのために、正確な顔認識を達成することは困難でもあるが、本発明はより強力な登録プロセスに依存する方法又はシステムを提供する。
従来のシステムの多くは個人の画像をキャプチャし、その画像を後での比較のために保存する。本発明では、個人の顔を登録する間に、多数の顔プロトタイプを自動的に合成する手法を取り、この際に、人工的な照明条件を創造し、人工的な顔モーフィング(形態変化)を行い、顔配置システムにおけるエラー、特に目を検出するプロセスにおけるエラー(誤差)をモデル化する。これらの顔プロトタイプは、各種の照明条件下、各種の表情、各種の顔方向、及び顔配置システムにおける各種のエラーの下で最初の顔のあり得べき外観を表現する。このシステムは、各顔に、その顔が持ち得るあり得べき外観を橋絡(スパン)する顔のセットを取得する。
これら多数の顔プロトタイプが生成されると、データ分析が適用され、類似寸法的縮小(主要要素分析)、特徴点の抽出、自動集団化が行われ、自動組織化のマップが作成される。これらの顔プロトタイプを基礎とする顔認識システムを設計することもできる。顔テンプレート(pca)及び/又は特徴ベクトル(ガボアウェーブレット:gabor wavelet)を基礎として、顔認識システムを適用することもでき、これらは教育のためにこれらの顔クラスター(集団)を利用することもできる。
次に、図面を参照しながら実施例について説明する。与えられた個人の顔について2つの目4,5の位置が与えられ、好適なシステムでは最初に2つの目4,5を水平面上に固定した距離、例えば50ピクセル、でセットすることにより画像を標準化する。この操作は、尺度を変えることと回転によって実現することができる。いったん標準化された画像が創造されると、このシステムは時間が経っても非常に安定している顔の部分を選定する。このことは、このシステムは、眉毛よりも上の部分と口3よりも下の部分は考慮に入れないことを意味する。すなわち、このシステムでは、図1におけるボックス2の内部にある顔1の部分だけを考慮することになる。別の方法として、他の顔配置システムでは、「顔中心」を供給し、そこから目の位置を、人間に神人同形同性説の手法を用いて抽出することから、推定することもできる。
従来の顔配置システムを用いると、目の位置が不正確になりがちであった。堅固な顔コード化システムを提案するために、本発明では目のエラー位置を仮定し、両目の位置の各カップル(対)について、それに従って顔を切り取る。実際、このシステムは1つの目について5つの可能な位置を利用し、図2に示すように、25の切り取られた画像へと誘導する。もちろん、この数は変化させることができる。その性質から、この技術は、回転、並進、及び尺度の変化をコード化するが、この際、スケールファクターは2つの目の間の距離によって影響され、回転ファクターは水平線に対する2つの目の角度によって影響される。図2において、ドット6はシステムによって検知された目であり、ドット7は登録のために考慮された他のあり得べき目の位置である。
円8は、目のあり得べき実際位置を記述する表面エラーを表している。この円の中のいかなる位置も実際の目の中心となり得る。表面エラーの線はシステムによって自動的に固定され、両目の計算された位置の間の内部的距離に依存する。例えば、目の間隔が50ピクセルであると、目の位置は正確にはプラスマイナス5ピクセルの位置にあると言うことができる。
これらの切り取られかつ標準化された各画像上で、このシステムは、あらかじめ定義された2D照明マスクと、あらかじめ定義された2Dワーピング(屈曲変形)又はモーフィング(形態変化)マスクとを適用し、顔配置の間に出現しそうな多数の顔プロトタイプを取得する。このシステムは、好適には、3つの照明マスクファミリーと25のワーピングマスクのファミリーとを利用するが、異なる数を用いることもできる。照明マスク及びワーピングマスクはいかなる数でも用いることができるが、例えば好適な結果を得るために16の照明マスクを用いることができる。
このシステムは、格納のための出力画像を得るために、個人の入力画像に対して、2つの種類の操作を行う。すなわち、画像に光度計を使った修正を加える方法、及び/又は幾何学的修正を加える方法である。光度計による修正は、ピクセルのグレーレベル(灰色の程度)あるいはカラーを変化させるもので、幾何学的修正はこのピクセルの位置を修正するものである。
光度計による変換は照明マスクにコード化され、幾何学的変換はモーフィングマスクにコード化される。
幾何学的マスクは各種の方法、例えば手動操作、半自動操作、あるいは2つの画像間の光学的フロー評価によって評価することができる。光学的フロー評価は、図3及び図4に例示するような完全に自動化された技術である。
図3における第1列は3つのオリジナル画像を有し、最後の列は幾何学的マスクを用いて得られた3つの生成された正面顔画像を表している。ここで、マスクは、正面顔を生成するようにチューン(同調)されている。
同様に、図4における第1列は5つの入力画像を有し、第2の列は各顔及びその垂直鏡像間の光学的フローの近似を包含し、最後の列は堅固な顔認識のために充分良好な正面顔の近似を包含している。
ここで、5つの光度計マスクについて説明する。いかなる数でもよいが、テストとして、これらが実際の照明条件に近似しているとして、堅固な顔認識に非常に良好であると照明されたのである。これらの好適なマスクは、次のものである。
(1)グレーレベル上での対数関数、これがより輝いた画像を取得する
(2)関数上での指数的伸長(stretch )、これがより暗い画像を取得する
(3)垂直な半陰影の顔を創造する垂直陰影
(4)水平な半陰影の顔を創造する水平陰影
(5)マスクをセットする間にカメラによりキャプチャされた画像の微分。
画像のグレーレベルの最小値をvmin、最大値をvmaxとして、フォーム(v−vmin)/(vmax−vmin)のスタンダードグレーレベル標準化プロセスの後で、出力画像のグレーレベルを0から1の範囲とすると、好適なマスクの各々は次のようにして記述される。
対数関数の場合:
[Kmin,255]を、255>Kmin>0と仮定し、このシステムが計算により256−Kminのエントリーを包含する見上げるテーブル(lookup table)を構築するとして、
LOGLUT[w]=(log(w)+Kmin)−log(Kmin))/(log(255)−log(Kmin))
ここで、w=Kmin,・・・255。見上げるテーブルの値は全て0から1の範囲である。ピクセルの値vの範囲が0と1の間として、このシステムは新規なグレーレベルの値wを次の式で取得する。
w=LOGLUT[(255−Kmin)×v+Kmin];ここでwの範囲は0と1の間であり、他の操作に用いることができる。
指数関数の場合:
256のエントリーを包含する見上げるテーブルを構築するとして、
EXPLUT[w]=(exp(Kmax×w/255.0)−1)/(exp(Kmax)−1)
ここで、w=0,・・・255。見上げるテーブルの値は全て0から1の範囲である。ピクセルの値vの範囲が0と1の間として、このシステムは新規なグレーレベルの値wを次の式で取得する。
w=EXPLUT[255×V];ここでwの範囲は0と1の間であり、他の操作に用いることができる。
図5は、入力画像とKmax=4とした場合の指数関数を適用した後の画像、及び入力画像と、Kmin=32とした場合の対数関数を適用した後の画像を表している。このシステムは、Kmin及びKmaxの値を変化させることにより、無限の数のかかる画像を生成することができるようになる。
垂直画像/水平画像:
2つのプロセスが同一であるとき、横座標xのための垂直陰影プロセスについてだけ説明する。この関数は、画像内におけるその空間的位置に依存して、ピクセルのグレーレベルの修正を創造する。ここでは1行ずつ適用していく。無限の数の関数を用いることができる。単純化するために、1つの関数についてだけ説明する。Xを画像の幅とし、実係数λを0<λ<1として、m=λ×Xとする。次のような関数f(x)を、xの値がx∈[0,X]であると仮定して、
F(x)=x/m もしも x∈[0,m]ならば
F(x)=1+(x−m)/(X−m) もしも x∈[m,X]ならば
かかる関数は図6に示されている。ここで、X=200、λ=0.2である。与えられた横座標に関し、F(x)は[0,2]の間を変化する係数である。
与えられたピクセルがp=(x,y)でグレーレベルがvとすると、このシステムは出力画像として、ピクセルがq=(x,y)でグレーレベルはw=v×F(x)で計算される値を取得する。かくして、m番目のピクセルはより暗くなり、第1のものは位置0であり、完全に暗く、m番目のピクセルは影響を受けず、(図6において、40番目のピクセルは200×0.2=40)、mよりも大きな横座標におけるピクセルはより輝いていることになる。図7は、左側のオリジナル画像から、5つの異なる陰影フィルターで処理されていく状態を表している。
前記水平プロセスは縦座標yにも適用され、画像の高さYを用いて正確に同一の方法で適用される。
2つの1Dマスクのコンビネーションとしての2Dマスク:
ここで、マスクFを、F(x,y)=Fx(x)×Fy(y)と定義する。各ピクセルp=(x,y)をグレーレベルvとして、新規なグレーレベルw=v×F(x,y)を取得する。
2Dマスク:
これらのマスクは、前述した1次元のマスクを普遍化したものであり、係数は各ピクセルF(x,y)に対して定義される。それからこのシステムは、w=v+F(x,y)における、ピクセルp=(x,y)の値vを修正した2Dマスクを取得する。これらのマスクは、手動操作により構築されるか、いくつかの同一画像をキャプチャすることによって得られるか、画像キャプチャ中の部屋の照明条件を変えることによって得られる。かかるケースにおいて、中立画像をIとして、全ての他の画像をI1 ,I2 ,・・・,IN ,と定義すると、このシステムはN番目のマスクを、中立画像IをI1 ,I2 ,・・・,INで微分することによって引き出す。さらに、F1 =I−I1 ,F2 =I−I2 ,・・・,FN =I−IN を取得する。かくして、w=v+F(x,y)における、ピクセルp=(x,y)の値を修正することができる。図8は顔キャプチャを表示しており、そこでは、第1の画像で微分することにより、手動操作の照明マスクを構築するように照明が変化するようになっている。再び、これらのマスクは0と1の間で標準化することができる。
フィルターの縦列接続:
合成プロトタイプは、オリジナルの標準化された画像にいくつかのマスクを適用することによって取得することができる。ここで、オリジナルの標準化された画像をIとし、F={F1 ,F2 ,・・・FN }を連続するマスクのセットとし、さらに取得された合成プロトタイプをOとする。O=FN (・・・F2 (F1 (I))・・・)を取得する。ある特定のケースにおいて、FN (・・・F2 (F1 (I))・・・)=Fn (・・・F2 (F1 ))(I)=M(I)を取得すると、マスクM=FN (・・・F2 (F1 )・・・)がマスクのコンビネーョンによってあらかじめ評価することができるので、さらに効率的な計算へと誘導されることになる。
図9は、あるユーザーを登録する間に得られる画像を表示している。この例では、好適なシステムは、この個人の画像を堅固に登録するために、15×15ピクセルの解像度で、5つの左端(第1桁)の画像を取得する。各画像のグレーレベルの強度は0と255との間に再標準化されている。
この生成された顔のセットは、あたかもそれらがカメラやビデオのような入力装置によってオンラインで生成されたかのような顔を用いて、いかなるアプリケーションにおいても用いることができる。例えば、それは顔認識、顔確証、顔特徴点抽出、顔修復、ビデオ会議システム、ニューラルネットワーク、あるいは自動結合式のメモリートレーニングなどの用途に用いることができる。
同一の顔を多数のあり得べき外観として保存することにより、このシステムは、照明の条件や、表情や顔の方向が変化した場合でも、正しい顔に修復できる可能性を増大させる。それゆえこのシステムは、従来よりも複雑なデータベースを必要とするけれども、従来の方法の弱点を補償することができる。
このシステムは、他人の顔との混乱を生じさせる可能性を増大させるけれども、実験によれば、2つの同一個人間でのベストマッチは、2つの異なる個人間でのベストマッチよりも高度に満足のいくものであった。これらの変換は全ての顔に同一に適用できるので、全てにおいて同一の方法で有利になったり不利になったりする。それはこの実験結果を正当化するのに充分である。換言すれば、この登録は現在の顔を同一個人の顔が将来観察されるであろう顔に変換することにもなり、その可能性は他人の顔が将来観察されるであろう顔になるよりも高い可能性であるということである。
このシステムは、その表現された似顔を非線形の幾何学的変換や非線形の光度計的変換に延長して、現実的な顔プロトタイプを合成することができる。これは、ニューラルネットワークの良好な普遍化のためのトレーニングセットの拡張と等価である。この堅固な登録の鍵は、顔モーフィングを用いたり、リアリティにアプローチする合成された照明条件を適用しながら、顔画像に許容可能な変換を適用することである。これらの変換は、目の座標が既知であるような顔に対して適用される。他の鍵となる問題は、登録プロセスは目を検知するアルゴリズムに起因する目の位置のエラーを考慮しなければならないことである。
顔画像と2つの目の位置が与えられたとして、本発明のシステムは、1つの顔から現実的な顔を合成することができ、堅固な登録を提供し、これは一方では堅固な顔認識/確証アルゴリズムへと誘導する。顔モーフィングと同様に、目の検知におけるエラーを考慮したり、照明効果を合成したりするには、あらかじめ登録されたマスクを用いることができる。それらのコンビネーションによって多数の合成された顔が創造され、それらは将来の顔を認識するという仕事の間に遭遇するようなものである。
後続する顔修復アルゴリズムは、この登録プロセスが多くの困難性を引き受けた際に、直視されることになるであろう。
本発明は、本発明の理解を補助するための顔認識システムを参照しながら特に説明してきた。しかしながら、本発明は、単一の顔から人工的なあるいは類似した顔プロトタイプを生成する方法をも提案するものであり、そのことは、人工的な光効果を創造したり、人工的な顔方向を定めたり、あるいは顔配置システムの局地的エラーをモデル化することにより達成され、堅固な顔特徴点抽出あるいは堅固な顔登録という目的を達成することになる。すなわち、本発明は、顔プロトタイプ合成システムであり、これは単一の画像から自動的に現実的なテンプレートを生成するものであり、単なる顔認識システムではない。照明条件マスク、ワーピングマスク及び目の位置エラーは、堅固な顔生成を達成するのに用いられる。
顔認識システムの改良を離れて、本発明は、人々の顔を包含する現存するデータベースを、自動的に、全ての写真を再キャプチャすることなく、全ての顔方向の下で、全ての照明条件の下で、全ての尺度及び回転の下で、変換し拡張することによって、現在の顔認識及び顔確証システムを改良するために用いることができる。
それゆえ、本発明は、単一の顔から人工的なあるいは類似した顔プロトタイプを生成する方法をも提案するものであり、そのことは、人工的な光効果を創造したり、人工的な顔方向を定めたり、あるいは顔配置システムの局地的エラーをモデル化することにより達成され、堅固な顔特徴点抽出あるいは堅固な顔登録という目的を達成することになる。
本発明の方法及びシステムは、図示された実施例について要約されかつ説明されてきたが、当業者であれば、広く変化した実施例やアプリケーションが本発明の教えるところと範囲内で可能であることを理解できよう。ここで図示された例は図示だけのためのものであり、本発明の範囲を限定するものではないことを理解されたい。
本発明の好適な実施例により分析される顔の領域を表す概略図 あり得べき目の位置を表す概略図 幾何学的マスクを使用した状態を表す概略図 光学的フロー近似法を表す概略図 指数関数及び対数関数を使用した状態を表す概略図 垂直陰影マスクを用いた関数のサンプルを表すグラフ 陰影フィルターを用いた状態を表す概略図 手動操作の照明マスクを用いた例を表す概略図 本発明の好適な実施例に従い個人を登録した例を表す概略図

Claims (12)

  1. 顔プロトタイプ合成システムであって、個人の実物顔(1)の画像に最初に、並進変形、回転変形、及び寸法的変形を適用して正規化し、続いて複数の顔プロトタイプを創造できるように合成し、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び/又はモデル化される際の局地的なエラーの下で、前記実物顔(1)のあり得べき外観を表現しており、前記顔プロトタイプは後での使用のために格納されている顔プロトタイプ合成システムにおいて、
    個人の実物顔(1)の画像に、続いて、対数関数、指数関数、及び前記画像に垂直方向及び水平方向の陰影を付与するための陰影フィルターの少なくとも1つが適用されて前記画像のピクセルグレー値が修正され、
    前記回転変形は、前記実物顔の画像を回転して前記実物顔の画像の両目(4,5)を水平面に持っていくようになっていることを特徴とする顔プロトタイプ合成システム。
  2. 請求項1記載のシステムであって、前記実物顔画像が、前記実物顔画像の少なくとも2つの特徴点の間での空間的関係に基づいて前記顔プロトタイプを創造するよりも前に正規化されるようになっているシステム。
  3. 請求項2記載のシステムであって、前記正規化が、前記実物顔画像の尺度を変化させて、両目が固定した距離だけ離れるようにするシステム。
  4. 請求項3記載のシステムであって、前記両目は50ピクセル離れた状態に固定されているシステム。
  5. 請求項1乃至4の何れかに記載のシステムであって、前記画像の一部だけが合成され、画像の当該一部は当該個人の眉毛から当該個人の口まで延伸している領域であるシステム。
  6. 請求項1乃至5の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、起こりうるエラーを補償するために、各目について選択的な位置を定めるようになっているシステム。
  7. 請求項6記載のシステムであって、各目について5つの選択的な位置が定められるようになっているシステム。
  8. 請求項1乃至7の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、前記実物顔画像に少なくとも1つのあらかじめ定義された光度計を用いた変換を適用して、画像のピクセルグレーレベル値を修正するようになっているシステム。
  9. 請求項8記載のシステムであって、3から16のあらかじめ定義された光度計を用いた変換が用いられるシステム。
  10. 請求項1乃至9の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、前記実物顔画像に少なくとも1つのあらかじめ定義された幾何学的変換を適用するようになっているシステム。
  11. 請求項10記載のシステムであって、25のあらかじめ定義された幾何学的変換が用いられるシステム。
  12. 請求項10又は11に記載のシステムであって、前記幾何学的変換は光学的フロー評価を用いて評価されるようになっているシステム。
JP2003584995A 2002-04-12 2002-04-12 顔プロトタイプ合成システム Expired - Fee Related JP4703115B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2002/000060 WO2003088132A1 (en) 2002-04-12 2002-04-12 Robust face registration via multiple face prototypes synthesis

Publications (2)

Publication Number Publication Date
JP2005522790A JP2005522790A (ja) 2005-07-28
JP4703115B2 true JP4703115B2 (ja) 2011-06-15

Family

ID=29247023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003584995A Expired - Fee Related JP4703115B2 (ja) 2002-04-12 2002-04-12 顔プロトタイプ合成システム

Country Status (8)

Country Link
US (1) US7848544B2 (ja)
EP (1) EP1495437B1 (ja)
JP (1) JP4703115B2 (ja)
CN (1) CN100346347C (ja)
AT (1) ATE416434T1 (ja)
AU (1) AU2002367874A1 (ja)
DE (1) DE60230192D1 (ja)
WO (1) WO2003088132A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680330B2 (en) * 2003-11-14 2010-03-16 Fujifilm Corporation Methods and apparatus for object recognition using textons
EP1705611A1 (en) * 2004-01-13 2006-09-27 NEC Corporation Feature change image creation method, feature change image creation device, and feature change image creation program
JPWO2006030687A1 (ja) * 2004-09-14 2008-07-31 日本電気株式会社 データ照合システム、データ照合装置、及びデータ照合方法
GB0426523D0 (en) * 2004-12-02 2005-01-05 British Telecomm Video processing
SG123618A1 (en) * 2004-12-15 2006-07-26 Chee Khin George Loo A method and system for verifying the identity of a user
US7668346B2 (en) * 2006-03-21 2010-02-23 Microsoft Corporation Joint boosting feature selection for robust face recognition
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
GB2560832A (en) * 2011-01-12 2018-09-26 Videonetics Tech Private Limited An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimised utilisation
GB201205340D0 (en) * 2012-03-27 2012-05-09 I Align Ltd A method of processing an image
US8942468B1 (en) 2012-04-17 2015-01-27 Google Inc. Object recognition
US9449221B2 (en) 2014-03-25 2016-09-20 Wipro Limited System and method for determining the characteristics of human personality and providing real-time recommendations
US20160110599A1 (en) * 2014-10-20 2016-04-21 Lexmark International Technology, SA Document Classification with Prominent Objects
KR102507567B1 (ko) 2015-06-09 2023-03-09 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
CN106529609B (zh) * 2016-12-08 2019-11-01 郑州云海信息技术有限公司 一种基于神经网络结构的图像识别方法及装置
WO2018117704A1 (en) * 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
KR102455633B1 (ko) 2017-12-21 2022-10-17 삼성전자주식회사 라이브니스 검사 방법 및 장치
RU2697627C1 (ru) 2018-08-01 2019-08-15 Самсунг Электроникс Ко., Лтд. Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
US11030798B2 (en) * 2019-01-30 2021-06-08 Perfect Mobile Corp. Systems and methods for virtual application of makeup effects based on lighting conditions and surface properties of makeup effects
CN111507907B (zh) * 2019-01-30 2023-05-30 玩美移动股份有限公司 执行于计算设备的系统、方法及存储媒体
WO2024154292A1 (ja) * 2023-01-19 2024-07-25 日本電気株式会社 内面状態推定装置、内面状態推定方法及び記憶媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2888188B2 (ja) * 1996-03-12 1999-05-10 松下電器産業株式会社 情報検索装置
US5802208A (en) * 1996-05-06 1998-09-01 Lucent Technologies Inc. Face recognition using DCT-based feature vectors
US6345109B1 (en) * 1996-12-05 2002-02-05 Matsushita Electric Industrial Co., Ltd. Face recognition-matching system effective to images obtained in different imaging conditions
US5991429A (en) * 1996-12-06 1999-11-23 Coffin; Jeffrey S. Facial recognition system for security access and identification
US6072894A (en) * 1997-10-17 2000-06-06 Payne; John H. Biometric face recognition for applicant screening
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
US6975750B2 (en) * 2000-12-01 2005-12-13 Microsoft Corp. System and method for face recognition using synthesized training images
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images

Also Published As

Publication number Publication date
DE60230192D1 (de) 2009-01-15
AU2002367874A1 (en) 2003-10-27
CN1625755A (zh) 2005-06-08
US7848544B2 (en) 2010-12-07
US20060233426A1 (en) 2006-10-19
WO2003088132A1 (en) 2003-10-23
EP1495437B1 (en) 2008-12-03
EP1495437A1 (en) 2005-01-12
CN100346347C (zh) 2007-10-31
ATE416434T1 (de) 2008-12-15
JP2005522790A (ja) 2005-07-28

Similar Documents

Publication Publication Date Title
JP4703115B2 (ja) 顔プロトタイプ合成システム
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
US20060120571A1 (en) System and method for passive face recognition
US20060110014A1 (en) Expression invariant face recognition
US20070258627A1 (en) Face recognition system and method
KR20210025020A (ko) 의사 이미지들을 이용한 얼굴 이미지 인식
KR20090065965A (ko) 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체
CN102654903A (zh) 一种人脸比对方法
JP2021089730A (ja) 畳み込みニューラルネットワークによって、入力画像内で可視である少なくとも1つの対象要素を検出する方法
WO2010035918A1 (en) Method and apparatus for security using three-dimensional (3d) face recognition
JP2005259049A (ja) 顔面照合装置
JP3577908B2 (ja) 顔画像認識システム
CN111696090B (zh) 一种无约束环境下人脸图像质量评估方法
Singh et al. An overview of face recognition in an unconstrained environment
JPH1021394A (ja) 個人照合装置
KR100955255B1 (ko) 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법
KR20080101388A (ko) 엔엠씨티 기반의 얼굴 검출 방법
JP2005004454A (ja) 顔画像分類登録方法
CN113822222B (zh) 人脸反作弊方法、装置、计算机设备及存储介质
Fau et al. DETECT THE SIMILARITY OF DIGITAL IMAGES USING THE EIGENFACE METHOD
Algorri et al. Facial gesture recognition for interactive applications
Feris et al. Locating and tracking facial landmarks using gabor wavelet networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080919

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081023

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081121

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090608

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090616

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110308

LAPS Cancellation because of no payment of annual fees