JP5751865B2 - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP5751865B2 JP5751865B2 JP2011046501A JP2011046501A JP5751865B2 JP 5751865 B2 JP5751865 B2 JP 5751865B2 JP 2011046501 A JP2011046501 A JP 2011046501A JP 2011046501 A JP2011046501 A JP 2011046501A JP 5751865 B2 JP5751865 B2 JP 5751865B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- dimensional
- face feature
- feature point
- derived
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明を適用した顔画像処理装置は、対象者の2次元の顔画像を取得すると、その2次元の顔画像から、事前に準備された顔の3次元形状を表す3次元形状モデルにおける顔の特徴点を表す特徴点を抽出する。そして顔画像処理装置は、3次元形状モデルの特徴点の配置が2次元の顔画像の特徴点の配置に最も一致するように位置合わせを行い、その結果、3次元形状モデルにおいて、2次元の顔画像の特徴点との位置ずれ量が所定以上の特徴点について位置を変えた複数の派生顔特徴点を生成し、その派生顔特徴点を用いて派生形状モデルを作成する。そして顔画像処理装置は、作成した派生形状モデル及び元の3次元形状モデルのうち2次元の顔画像に最も類似するものに基づいて3次元顔画像を作成することにより、対象者の顔とそれぞれの特徴的な部位の位置が良好に一致する3次元顔画像を作成する。
このうち、顔特徴点抽出手段103、位置合わせ情報算出手段104、派生モデル作成手段105、光源方向推定手段106、陰影画像作成手段107、類似度算出手段108、類似形状選択手段109及び個人モデル作成手段110は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、顔画像処理装置100の各部について詳細に説明する。
画像入力手段102は、取得した顔画像を、顔特徴点抽出手段103、光源方向推定手段106、類似度算出手段108及び個人モデル作成手段110へ出力する。
位置合わせ情報は、例えば、3次元形状モデルに対して設定された3次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大/縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、3次元形状モデル上の複数の3次元顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。
位置合わせ手段111は、例えば、以下のように位置合わせ誤差を算出する。まず位置合わせ手段111は、各2次元顔特徴点を3次元形状モデルの3次元空間に投影する。
図2に、顔画像と3次元形状モデルの関係を模式的に示す。図2に示すように、位置合わせ手段111は、カメラ位置30を原点として顔画像10の各2次元顔特徴点11、12を3次元形状モデル20の3次元空間に投影する。位置合わせ手段111は、カメラ位置30を原点として各2次元顔特徴点11、12を3次元空間に投影した投影直線31、32と、各3次元顔特徴点21、22の位置関係から、3次元形状モデル20の特徴点の配置と顔画像10の特徴点の配置とを比較することができる。
一方で、全ての3次元顔特徴点を、対応する2次元顔特徴点に、まんべんなく位置合わせをすると、求めたい3次元顔画像は、顔の形状に対してまんべんなくテクスチャ情報がずれた、質の悪いものとなる。そこで、投影直線との最短距離の評価に軽重をつけることとする。
図3に示されるように、diの変化に対する位置ずれ量Eiの変化量は、diが大きい領域よりdiが小さい領域の方が大きい。つまり距離diが大きい特徴点をより近づけるよりも、距離diが小さい特徴点をより近づけるように調整する方が、位置ずれ量Eiの減少幅が大きくなり、全体の位置ずれ量Eをより小さくすることができる。
また図3では、例えば距離di>0.2の領域において、グラフ301の位置ずれ量Eiは1に漸近しているが、グラフ303の位置ずれ量Eiは漸近していない。つまり位置ずれ量Eiは、σが小さい場合、距離diがより小さい領域で所定値に漸近するが、σが大きい場合、距離diがより大きい領域でなければ所定値に漸近しない。このようにσの値により、距離diと位置ずれ量Eiの関係を調整することができ、σの値は、顔画像処理装置100が設置される環境、その目的などに応じて適宜定められる。本実施形態ではσ=0.017としている。
また距離diは、注目する3次元顔特徴点と、その注目する3次元顔特徴点に対応する2次元顔特徴点の投影直線との最短距離に限られない。例えば距離diは、注目する3次元顔特徴点と、その注目する3次元顔特徴点に対応する2次元顔特徴点の投影直線と3次元形状モデルの表面の交点との距離としてもよい。この場合、2次元顔特徴点の投影直線と3次元形状モデルの表面の交点が3次元投影点となる。
なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落しており、2次元特徴点の一部が抽出できないときは、対応すべき3次元特徴点については位置ずれ量Eiを算出しないこととする。
つまり、2次元顔特徴点との位置ずれ量が所定値以上の3次元顔特徴点に対して、一つの顔の特徴点について、この派生元となった3次元顔特徴点とかかる派生顔特徴点が存在することとなる。
そして、派生顔特徴点算出手段112は、一つの3次元形状モデルを形成する複数の3次元顔特徴点の組み合わせである顔特徴点セットを作成する。派生顔特徴点が生成されている3次元顔特徴点については、派生元となった3次元顔特徴点と当該派生顔特徴点から一つを順次顔の特徴点ごとに選択し、顔特徴点セットを生成する。派生顔特徴点が生成されていない3次元顔特徴点については、その3次元顔特徴点をそのまま用いて顔特徴点セットを生成する。ここでは、これらの顔特徴点セットのことを派生顔特徴点セットと呼ぶ。
この所定値は、例えば、3次元形状モデルを2次元の顔画像に投影したときに2次元の顔画像上で同一の画素になると考えられる範囲の大きさに定めることができる。
またこの場合、例えば派生顔特徴点算出手段112は、位置ずれ量が所定値以上となる3次元特徴点に対して、予め定められた数の派生顔特徴点を予め定められたグリッド状に生成してもよい。また派生顔特徴点算出手段112は、3次元特徴点の位置ずれ量が大きいほど派生顔特徴点を生成するグリッドの幅を大きくしてもよい。これにより顔画像処理装置100は、3次元顔画像作成処理の負荷を抑制しつつ、対象者の顔と特徴点の配置が類似する3次元形状モデルを作成することができる。
例えば図4に示すように、派生顔特徴点算出手段112は、3次元形状モデル20の各3次元顔特徴点21、22又は各3次元顔特徴点21、22を派生させた派生顔特徴点41、42をそれぞれ組み合わせた派生顔特徴点セット50を作成する。例えば各3次元顔特徴点について同数の派生顔特徴点を生成する場合、作成する派生顔特徴点セット50の数は、各3次元顔特徴点に対する派生顔特徴点の数に(3次元顔特徴点の分として)1を加えた数を、派生顔特徴点を生成した3次元顔特徴点の数で累乗した値となる。作成する派生顔特徴点セット50の数が多いほど、3次元顔画像作成処理に要する時間が長くなるが、作成される3次元顔画像の特徴的な部位の位置が対象者の特徴的な部位の位置と類似する可能性は高くなる。一方、作成する派生顔特徴点セット50の数が少ないほど、作成される3次元顔画像の特徴的な部位の位置が対象者の特徴的な部位の位置と類似する可能性は低くなるが、3次元顔画像作成処理に要する時間は短くなる。あるいは各3次元顔特徴点又は3次元投影点から近い位置の派生顔特徴点に限定し、作成する派生顔特徴点セット50の数に一定の上限を設けてもよい。
派生形状モデルを作成するために、まず派生モデル作成手段105は、各3次元顔特徴点について派生顔特徴点セットの対応する特徴点に一致するよう位置を変えることで3次元形状モデルを変形する。例えば、派生モデル作成手段105は、3次元形状モデルを3次元顔特徴点から構成される3次元メッシュで表現し、その3次元メッシュをThin−Plate Spline、piecewise affine等により派生顔特徴点セットから構成される3次元メッシュに変形することにより、3次元形状モデルを変形する。
次に派生モデル作成手段105は、変形した3次元形状モデルを、派生顔特徴点セットの位置合わせ情報を用いて、3次元空間の正規直交座標系(X,Y,Z)の各軸に沿って回転、並進、及び拡大/縮小して顔画像と同じ方向を向くように変換し、これを派生形状モデルとする。
派生形状モデルに、光源方向情報に示された光源方向から光を照射した場合、その顔形状モデルの任意の点(X,Y,Z)における光の反射強度、すなわち輝度E(X,Y,Z)は、次式によって表現できる。
そして陰影画像作成手段107は、3次元形状モデル及び各派生形状モデルに対してそれぞれ求めた陰影画像を類似度算出手段108へ出力する。
また、類似度算出手段108は、上記の光源推定マスク領域に対応する領域を、類似度の算出領域から除外してもよい。この場合、類似度算出手段108は、目、鼻、口などの輝度が顔の皮膚と大きく異なる部位に依存せず、顔の輪郭形状の類似性などをより正確に反映した類似度を求めることができる。
また、類似度算出手段108は、顔画像及び陰影画像の顔を表す領域全体で一つの類似度を算出してもよいし、複数の領域に分割してその領域ごとに類似度を算出してもよい。
類似度算出手段108は、各陰影画像について算出した類似度を類似形状選択手段109へ出力する。
また、類似度算出手段108が顔画像及び陰影画像を複数の領域に分割してその領域ごとに類似度を算出している場合、類似形状選択手段109は、その領域に対応するように3次元形状モデル及び派生形状モデルを分割する。そして類似形状選択手段109は、分割した領域ごとに最も類似度の高い陰影画像に対応する3次元形状モデル又は派生形状モデルを選択し、それらを合成したものを最類似顔形状モデルとしてもよい。さらに、類似形状選択手段109は、分割した領域ごとに、対応する類似度が高い方から順にM個の3次元形状モデル又は派生形状モデルを選択して平均化し、それらを合成したものを最類似顔形状モデルとしてもよい。このように複数に分割した領域ごとに類似顔形状モデルを作成することにより、顔画像処理装置100は、より高精度に類似顔形状モデルを作成することができる。
類似形状選択手段109は、求めた最類似顔形状モデルを個人モデル作成手段110へ出力する。
あるいは、個人モデル作成手段110は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。例えば、欠落部分に対して、顔の正中線を中心とした線対称の位置の画素の輝度値を、その欠落部分の画素の輝度値とすることができる。
あるいは、個人モデル作成手段110は、欠落部分については3次元形状モデルの対応する部分のテクスチャ画像を用いて補間処理を行ってもよい。
このような補間処理を行うことにより、顔画像が取得された時に、対象者が顔の一部が隠れる方向を向いていたり、遮蔽物の陰に対象者の顔の一部が隠れている場合であっても、対象者の顔全体を表現した3次元顔画像を作成することができる。
個人モデル作成手段110は、作成した3次元顔画像を、記憶手段101に記憶するか、あるいは、顔画像処理装置100を利用して、照合処理を行う顔認証装置などへ出力する。
最初に、顔画像処理装置100は、画像入力手段102を介して、2次元画像である対象者の顔画像を取得する(ステップS501)。次に、顔特徴点抽出手段103は、取得された顔画像から2次元顔特徴点を抽出する(ステップS502)。
一方、ステップS510において、所定数Nの派生形状モデルが作成され、類似度が算出されたと判定されると、光源方向推定手段106は、3次元形状モデルを用いて光源方向を推定し、推定した光源方向を表す光源方向情報を出力する(ステップS511)。そして、陰影画像作成手段107は、3次元形状モデルを、光源方向情報にしたがってレンダリングして2次元平面に投影し、陰影画像を作成する(ステップS512)。その後、類似度算出手段108は、作成された陰影画像と顔画像との類似度を算出する(ステップS513)。
そして、全ての3次元形状モデルについて派生形状モデルが作成され、各3次元形状モデル及び各派生形状モデルに対して顔画像との類似度が算出されたか否かが判定される(ステップS514)。まだ派生形状モデルが作成されておらず、その3次元形状モデル及び各派生形状モデルと顔画像との類似度が算出されていない3次元形状モデルが存在する場合、制御はステップS503に戻り、ステップS503〜S513の処理が繰り返される。
さらに顔画像処理装置100は、位置合わせの結果、3次元顔特徴点の、対応する2次元顔特徴点に対する位置ずれ量が大きいほど、その3次元顔特徴点に対応する派生顔特徴点の数を増やす。これにより、対象者の顔と形状が類似する可能性の高い部分について3次元顔特徴点を変動させた派生形状モデルを作成する数を抑制でき、3次元顔画像作成処理の負荷を軽減できる。
101 記憶手段
102 画像入力手段
103 顔特徴点抽出手段
104 位置合わせ情報算出手段
105 派生モデル作成手段
106 光源方向推定手段
107 陰影画像作成手段
108 類似度算出手段
109 類似形状選択手段
110 個人モデル作成手段
111 位置合わせ手段
112 派生顔特徴点算出手段
Claims (3)
- 人物の顔が含まれる2次元顔画像と顔の3次元形状を表す3次元形状モデルを合成して該人物の顔に対応した3次元顔画像を作成する顔画像処理装置であって、
前記2次元顔画像を入力する画像入力手段と、
予め前記3次元形状モデルと該3次元形状モデルにおける顔の特徴点を表す複数の3次元顔特徴点とを記憶する記憶手段と、
前記2次元顔画像から前記顔の特徴点を表す複数の2次元顔特徴点を抽出する顔特徴点抽出手段と、
前記3次元顔特徴点と当該3次元顔特徴点に対応する前記2次元顔特徴点との位置ずれ量を算出して位置合わせを行う位置合わせ手段と、
前記位置ずれ量が所定の閾値以上の前記3次元顔特徴点について位置を変えた一または複数の派生顔特徴点を生成し、当該3次元顔特徴点については当該3次元顔特徴点または当該派生顔特徴点から選択した特徴点、前記位置ずれ量が所定の閾値未満の前記3次元顔特徴点については当該3次元顔特徴点を、顔の形状を形成するよう組み合わせた派生顔特徴点セットを生成する派生顔特徴点算出手段と、
前記3次元形状モデルの前記3次元顔特徴点が前記派生顔特徴点セットに一致するよう前記3次元形状モデルを変形して派生形状モデルを作成する派生モデル作成手段と、
前記派生形状モデル及び前記3次元形状モデルと前記2次元顔画像との類似度を算出する類似度算出手段と、
前記類似度が最も高い前記派生形状モデルまたは前記3次元形状モデルを選択する類似形状選択手段と、
前記選択された派生形状モデルまたは前記3次元形状モデルと前記2次元顔画像を合成して、前記人物の顔に対応した前記3次元顔画像を作成する個人モデル作成手段と、
を有することを特徴とする顔画像処理装置。 - 前記派生顔特徴点算出手段は、対応する前記2次元顔特徴点に対する前記3次元顔特徴点の位置ずれ量が大きいほど、該3次元顔特徴点に対応する前記派生顔特徴点を広く分布させて生成する、請求項1に記載の顔画像処理装置。
- 前記派生顔特徴点算出手段は、対応する前記2次元顔特徴点に対する前記3次元顔特徴点の位置ずれ量が大きいほど、該3次元顔特徴点に対応する前記派生顔特徴点を数を増やして生成する、請求項1または2に記載の顔画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046501A JP5751865B2 (ja) | 2011-03-03 | 2011-03-03 | 顔画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046501A JP5751865B2 (ja) | 2011-03-03 | 2011-03-03 | 顔画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012185545A JP2012185545A (ja) | 2012-09-27 |
JP5751865B2 true JP5751865B2 (ja) | 2015-07-22 |
Family
ID=47015605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011046501A Active JP5751865B2 (ja) | 2011-03-03 | 2011-03-03 | 顔画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5751865B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9495790B2 (en) * | 2014-04-05 | 2016-11-15 | Sony Interactive Entertainment America Llc | Gradient adjustment for texture mapping to non-orthonormal grid |
JP6426968B2 (ja) * | 2014-10-08 | 2018-11-21 | キヤノン株式会社 | 情報処理装置およびその方法 |
US9922452B2 (en) * | 2015-09-17 | 2018-03-20 | Samsung Electronics Co., Ltd. | Apparatus and method for adjusting brightness of image |
CN110858411A (zh) * | 2018-08-22 | 2020-03-03 | 金运数字技术(武汉)有限公司 | 一种基于单张面部图片生成3d头部模型的方法 |
JP7055762B2 (ja) * | 2019-03-05 | 2022-04-18 | アルパイン株式会社 | 顔特徴部検出装置、顔特徴部検出方法 |
JP7430146B2 (ja) | 2021-02-16 | 2024-02-09 | 株式会社日立製作所 | モデル更新装置及びモデル更新方法 |
JP7086362B1 (ja) | 2021-03-29 | 2022-06-20 | 株式会社セルシス | 情報処理システム、情報処理方法および情報処理プログラム |
KR102393702B1 (ko) * | 2021-10-18 | 2022-05-04 | 주식회사 스튜디오레논 | 딥러닝 기반 최적화된 연산을 통한 가상 캐릭터의 안면 이미지를 생성하는 방법 및 이를 위한 기록 매체 및 시스템 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211148A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
JP4999731B2 (ja) * | 2008-02-29 | 2012-08-15 | セコム株式会社 | 顔画像処理装置 |
-
2011
- 2011-03-03 JP JP2011046501A patent/JP5751865B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012185545A (ja) | 2012-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5751865B2 (ja) | 顔画像処理装置 | |
US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
JP6864449B2 (ja) | イメージの明るさを調整する方法及び装置 | |
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
US9262671B2 (en) | Systems, methods, and software for detecting an object in an image | |
US11494915B2 (en) | Image processing system, image processing method, and program | |
JP4999731B2 (ja) | 顔画像処理装置 | |
US9552668B2 (en) | Generation of a three-dimensional representation of a user | |
WO2017029488A2 (en) | Methods of generating personalized 3d head models or 3d body models | |
US9224245B2 (en) | Mesh animation | |
US10467793B2 (en) | Computer implemented method and device | |
JP5419757B2 (ja) | 顔画像合成装置 | |
JP2009211148A (ja) | 顔画像処理装置 | |
JP4814666B2 (ja) | 顔解析システム | |
JP5639499B2 (ja) | 顔画像処理装置 | |
JP5419773B2 (ja) | 顔画像合成装置 | |
JP5419777B2 (ja) | 顔画像合成装置 | |
KR20170033758A (ko) | 이미지의 밝기를 조절하는 방법 및 장치 | |
JP2017122993A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20220309733A1 (en) | Surface texturing from multiple cameras | |
KR102097396B1 (ko) | 안면 영상 정합 방법 | |
Weon et al. | Individualized 3D Face Model Reconstruction using Two Orthogonal Face Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5751865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |