JP4723834B2 - 映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 - Google Patents
映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 Download PDFInfo
- Publication number
- JP4723834B2 JP4723834B2 JP2004251160A JP2004251160A JP4723834B2 JP 4723834 B2 JP4723834 B2 JP 4723834B2 JP 2004251160 A JP2004251160 A JP 2004251160A JP 2004251160 A JP2004251160 A JP 2004251160A JP 4723834 B2 JP4723834 B2 JP 4723834B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- eye
- unit
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 122
- 238000001514 detection method Methods 0.000 claims description 205
- 210000001508 eye Anatomy 0.000 claims description 125
- 210000000554 iris Anatomy 0.000 claims description 63
- 238000004422 calculation algorithm Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 43
- 210000004709 eyebrow Anatomy 0.000 claims description 25
- 230000001815 facial effect Effects 0.000 claims description 19
- 239000000523 sample Substances 0.000 claims description 18
- 210000000744 eyelid Anatomy 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 24
- 238000005286 illumination Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 210000001061 forehead Anatomy 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000036548 skin texture Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 241000167686 Reichardia Species 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Description
顔モデルに所望していない結果を生じることを防止し、結果のロバスト性(robustoness)を増加させるために、ある人はモーフィングされうる(morphable; 形態要素となり得る)顔モデルを使用する。前記顔モデルは限定された数の特徴点だけを用いて前記顔モデルを復元された3次元点またはソース画像に整合させるか、前記顔モデルの形状復元のために、モデルに基づいた束合調整技法(model-based bundle adjustment)を使用する。このような問題解決法は特徴点の集合の稠密度に大きく依存する。
るために、精密度及びロバスト性の観点より性能を向上させるためにはまだ多くの研究が行われなければならない。
い顔分析方法を提供する。
1.顔特徴検出
1.1 正面顔特徴の検出
また、前記正面顔の特徴検出部600は、必要に応じて目の外郭線を検出する目の外郭線検出部725、眉を検出する眉の検出部730、唇の外郭線を検出する唇の外郭線検出部735、鼻の外郭線を検出する鼻の外郭線検出部740及びあご及び頬の外郭線を検出するあご及び頬の外郭線検出部745のうち少なくとも1つをさらに具備することが望ましい。
1.1.1 皮膚検出
当該学習は2つの統計値
−及びを収集することによって行われ、学習映像の顔及び非顔領域から求めた皮膚及び非皮膚のヒストグラムから計算される。皮膚確率映像は、入力フレームの各画素に対してこのような測定を行うことによって構成される。
1.1.2 顔領域の検出
1.1.3 目の境界ボックスの検出
・n = OPTIMAL_FACE_WIDTH / 30, ;
・n = OPTIMAL_FACE_WIDTH / 25, ;
・n = OPTIMAL_FACE_WIDTH / 30, ;
・n = OPTIMAL_FACE_WIDTH / 25, ;
a)もし以前スケールに候補が全然検出されなかったとすれば、目を現在候補として設定し、段階3に進む。
b)もし候補が既に発見されたとすれば、現在スケール候補を以前候補と比較する。もしこれらのサイズ及び位置が急変されないならば、目を現在スケールの候補に更新する。
1.1.4 目の虹彩の検出
1)3x3中間値フィルタを利用して目領域をフィルタリングしてノイズを除去する。
2)目の境界ボックス内の最大輝度値を有する画素数を所定の閾値と比較することによってハイライトの存否を判断する。
3)虹彩中心を検出する(目にハイライトの存否によって異なる方法が使われる)。
a)虹彩内に強いハイライトが発見されれば、目の境界ボックスの中心領域はテンプレート整合方法を利用してスキャニングされる。固定半径を有する円形テンプレートが検索領域内に順次に移動し、各位置で次のような条件目録が点検されて虹彩中心を検出する。
i)検索窓内部の局所的最小値(dLocalMinVal)は検索窓内部の局所的最大値(dLocalMaxVal)と似すぎてはならない(暗い画素及びハイライトの何れも検索窓内に存在することを確実視)。
ii)dLocalMinValは十分に暗くならねばならない。
iii)dLocalMaxValは十分に明るくならねばならない。
このような条件が満足されるあらゆる地点を平均化して前記地点の重心を虹彩中心として決定する。
4)強いハイライトが発見されない時:
a)5x5最小関数が目領域に適用されて弱いハイライトを除去する。
b)目領域は数式4と共にコンボリュ−ションされる。
c)最も暗い点(所定の閾値と比較されて)が平均化されて虹彩中心を検出する。
虹彩中心(xc,yc)が初期化され、次の段階を経て虹彩中心周囲の各画素位置(x,y)に対して精密に補正された虹彩中心を探す(虹彩半径Rもこの過程で検出される)。
1)(xc,yc)近辺のあらゆる(x,y)に対して次の計算を行う。
a)R=Min{R}ないしR=Max{R}に対して
i)中心(x,y)に位置し、半径R−1を有する円の左境界及び右境界に位置す る画素の強度の和を計算する。上端部分及び下端部分はまぶたによって識別さ れやすいので、使われない。
ii)中心(x,y)に位置し、半径Rを有する円の左境界及び右境界に位置する 画素の強度の和を計算する。すなわち、上面部分及び下面部分は使用されな い。
iii)2つの和の差(D(R,x,y))を計算する。
b)D(R,x,y)の最大値を選択し、これに相応するRをRmax(x,y)とし て記録する。
2)あらゆる(x,y)の中央にD(Rmax(x,y),x,y)の最大値を選択し、こ れに相応する(x,y)を虹彩の中心として、Rmax(x,y)を虹彩半径として 選択する。図19は、虹彩検出の幾つかの結果を示す。
1.1.5 顔映像の正規化
1.1.6 目の外郭線の検出
1)検索領域内の各垂直地点に対して、
2)もし現在の垂直地点で虹彩が皮膚で覆われているならば(この線分での平均強度が閾値より大きければ)、段階1に進んで次の垂直地点に対してさらにテストを行う。
3)左側虹彩の境界から左側目の境界ボックス境界まで、現在線分内の画素強度をスキャンして局所的最小値または輝度が急増する領域(図21参照)を捜し出す。この地点が上部まぶたの左側位置に相応する。
4)右側に対しても同じ処理を行なう。すなわち、右側虹彩境界から右側目の境界ボックス境界まで、現在線分内の画素強度をスキャンして局所的最小値または輝度が急増する領域(図21参照)を捜し出す。この地点が上部まぶたの右側位置に相応する。
1)ヒュー変換(Hough Transformation)を利用して点を線分に近似化する。
2)望ましい方向を有して自分に近接な点数が最大になる線分を選択する。
3)予測された線分から極めて離隔された点を除去する。
1.1.7 眉の検出
1.1.8 唇の外郭線の検出
Fi sm(楕円制限として、後述)は唇コーナー点に対してはFiに少なく寄与すべきである。
前記アルゴリズムは約30回繰り返した後、終結される。唇の外郭線更新の一段階が図30に現れる。この後、多項式(上部及び下部唇の4次)が反復結果点を近似して曲線表現式を生成する。
1.1.9 鼻の外郭線の検出
1)鼻領域映像(水平に虹彩中心間、垂直に目下端部から口境界ボックスの上端部まで)は切断され、固定解像度にスケーリングされる。
2)中間値フィルタが適用されてノイズ除去及びエッジ情報保護を同時に行なう。
3)エッジ傾斜度映像がプリウィットエッジ(Prewitt edge)検出器を利用して計算される。
4)鼻翼面の方向テンプレートが鼻領域に整合して鼻側面を検出する。
鼻翼面テンプレートは固定されたサイズの典型的な鼻側面形状を表現する(図32参照)。整合適合度は鼻翼面テンプレートに属する画素のエッジサイズの和で測定されるが、合算する時、テンプレート接線方向とエッジ方向との正接(tangent)の絶対値で加重値の和を求める(同じ方向である時、最大の加重値を付与)。最大10%の整合適合度位置で鼻候補を形成し、候補集合の対(左側及び右側翼面候補)がテストされて最も望ましい鼻位置を決定する(図33参照)。この時、3つの条件がテストされる。
1.1.10 あご及び頬の外郭線の検出
。検出過程は次の段階よりなる。
1)エッジ映像及びあご曲線が次のように初期化される。
a)水平及び垂直エッジイメージが次を利用して生成される。
i)元の赤色チャンネル映像がOPTIMAL_FACE_WIDTHに合う
ようにスケーリングされ、ガウシアン平滑化を経た後、中間値フィルタを経
る。
ii)ソベルエッジ(Sobel edge)検出器を適用する。
b)下端点、左上端点及び右上端点の3つの点から左側及び右側曲線は同じ対称
形状に初期化される。このような3つの点は検出された目及び唇位置に対す
る既存知識を利用して決定される。
2)曲線は反復過程を経て精密に補正される。反復段階毎の過程は、次のようなも
のである。
a)各セクションiに対して(1ないしNまで、ここで、Nは総セクション数)
i)整合適合度は0に設定される。
ii)セクションi内の各サンプリング点(x,y)に対して:もし(x,y)
での曲線接線及び映像エッジ方向間の角度が60度より小さく、
(x,y)でのエッジサイズが所定の閾値より大きければ、整合適合度を
増加させる。
iii)もし、整合適合度が与えられたさらに他の閾値より小さければ、曲線
セクションが曲線法線ベクトルによって外部に移動し、そうでない
場合、そのセクションは内部に若干移動する。
b)曲線をあらゆるセクションに再近似させる。これは曲線セクションが大きい
輝度のエッジに会うまで曲線の垂直方向と平行に外部に拡張されることを意味
する(あご合致過程の中間段階に対して図38参照)。しかし、曲線の下部の
セクションもこれらが非常に大きい輝度バレー(significant−brightness
valley)に到達する時には、外部に移動することを停止せねばならないが、こ
れは下部あご領域でエッジは一般的に非常に弱いためである。したがって、次
のような決定規則を下部に適用することも可能である。
c)下部曲線部分iの各セクションに対して次のように行われる。
i)整合適合度は0に設定される。
ii)セクションiの画素(x,y)の平均光度を計算する
(CurBrt(i))。
iii)このセクションを曲線の法線に沿って外部に移動させ、さらに平均輝
度値を計算する(MovedBrt(i))。iv)もし、
MovedBrt(i)<CurBrt(i)であれば、このセクション
は外部に移動し、そうでなければ、これは内部に少し移動して陰
影領域内に存在する。
1.2 側面顔特徴の検出
1.2.1 顔領域の検出
1.2.2 側面曲線の検出
1)は皮膚検出の二値化結果(1は画素が皮膚に属することを意味し、0は逆を意
味する)、及び検出された顔領域(連結された成分)である。
2)ユーザーは手動で顔境界ボックスを指定する(ほぼ全ての場合、必要でない)。
3)側面外郭線の概略的近似値を探す。本アルゴリズムは側面関数はx=
x(y)を構成するが、ここで、yは垂直方向に変化し、xは顔境界ボックス
内のy行内の外郭線のx座標に対応する。この行内に皮膚画素が存在していな
い場合、x(y)は0に設定される。
4)側面関数は1次元のガウシアンフィ
ルタ(Gaussian filter)を利用して平滑化されて無作為ノイズを除去する
(側面関数の一例を見るためには、図45を参照)。
1.2.3 特徴点の検出
1)鼻先は側面関数の全域最大値である。鼻先が検出された以後、鼻ブリッジの一
部を直線の線分として近似するが、この時、鼻先より上部の強いエッジ画素を利
用する。そして、鼻ブリッジに沿って皮膚を背景と分離する作業が元の映像のH
SV変換での相異なるチャンネルに対して検討される。さらに、もし鼻ブリッジ
線分が側面曲線と離隔し続けられれば、皮膚検出の第1失敗事例として認識され、
本アルゴリズムは領域セグメント化アルゴリズムを利用して顔領域を検出するた
めに戻る。
2)額上部点(今後、「額上端」という)が最上端の皮膚画素である。
3)側面関数x=x(y)の上部(額上端から鼻先まで)を7次多項式を利用して
近似化する(図46参照)。それにより、多項式に対して下端から上端までスキ
ャンして多項式の第1微分値が固定された閾値より小さな地点を探す。この点が
鼻ブリッジの上端である。
4)部分別線形近似化を側面関数の下部(鼻先より低い部分)で行う。
a)線分セグメントの方向が関数の最初3個の点から計算される。
b)連続的な点から現在セグメントまでの距離を計算する。
c)もし計算された距離が大き過ぎれば(固定された閾値より大きければ)、新
しいセグメント化を始め、段階a)に進行する。
d)段階a)に進行する。
5)ある先決定された領域内で、線分セグメントの交差点のうち、隣接セグメント
間の角度が非常に大きい(約90度)点を探す。この点が「下部鼻点」である
(図46参照)。
6)「下部鼻点」より低い点に対して、適応型直線近似アルゴリズムから計算され
た線分セグメントを有して側面関数を近似化する。このアルゴリズムの各段階は
次のように行われる。あご及び首点は適応型ポリライン合致(adaptive
polyline fitting)アルゴリズム結果から検出される(図47に表示された3
点参照)。もしあごが鼻先と近過ぎれば、皮膚検出が失敗したと考え(前記第2
の場合)、本アルゴリズムはさらに戻って顔領域を再検出する。
7)上部及び下部唇中心点は極めて探し難いが、特に映像撮影条件に多くの変化が
ある場合にはさらにそうである。したがって、平均的な顔サイズから判断して中
心点の合理的な近似化を提供する(図48参照)。図面でのいくつかのセグメン
トは後述する。
a)lは「下部鼻点」から首開始点までの垂直距離である。
b)a=0.225*l
c)b=0.125*l
d)c=0.125*l
1.2.4 耳の外郭線の検出
1)既に映像耳境界と整合した耳テンプレート上の点から始めて、この点を
Contnとして保存するが、ここで、Contは耳テンプレート(サンプリング
された2次元の点リスト)であり、nはこの目録内の点のインデックスである。
2)それにより、次のような制限条件を満足する第1点を探す:Contn及び
Contnext間のあるテンプレート点は点集合
に最小自乗分方法で合致された線分から十分に離隔される。
nextは最小限n+5でなければならない。もしnextがテンプレートの最
後点に到達すれば、外郭線の追跡が終結される。
3)Contnに中心をおいて、Contn以後のセグメントを回転させて、
ContnからContnextまでのセグメントを映像エッジ情報と整合させて最大
整合値を提供する最適角度を求める。もしその角度範囲で正確な整合がおき
なければ、本アルゴリズムはエラー報告して終結する。
4)発見された最適角度を利用してContn以後にあらゆるテンプレート点を回
転し、n=nextに設定し、段階1に進む。
この整合が誤ったと判断する。
したテンプレートによってエッジ強度を研究することによって求められる。ある映像で、耳境界は下端位置に到達した後、上端に向かって進む。このような場合も論理的エッジ情報を利用して検出されるが、結果として提供される耳境界には図57で示されたような上端に向かったテール(tail)を含みうる。
2.顔モデルの変形
像で検出された顔特徴曲線に該当する初期モデル上の顔特徴が示されており、両曲線上で同じ長さの比率で特徴点がサンプリングされる。側面特徴に対してこの過程が繰り返されて、モデル上の特徴点の2次元の置換の2つの集合を生成する。
法は単純にx及びy置換を正面特徴から抽出し、側面特徴からz置換を抽出することである。しかし、この方法は望ましい結果が提供できない。その理由は、幾つかの正面特徴(あご下部、上端部及び後顔部分など)y位置情報が欠如され、正面及び側面特徴位置が相反するためである。データ衝突は顔の方向が変化するか、顔表情が変化するために(たとえ小さな表情の変化でも避けられない)発生するが、このような場合は入力映像が同時に撮影されない場合に発生する。はなはだしくは正面及び側面映像が同時に撮影されたものであっても、それらは一般的に標準正面及び側面映像でない。例えば、2つのカメラ
の光軸を正確に相互垂直にすることは非常に難しい。
2.1. RBFデータ補間
1)まず、RBF補間法を正面顔の特徴に適用する。移動するモデル特徴点のX及
びY座標が相応する映像特徴位置に対応し、Z座標は初期モデルと同一に維持さ
れる。この段階で、モデルと映像間顔特徴の整合が正確に行われるが、この過程
には精密なテクスチャマッピングが必要である。
2)側面特徴を利用してRBF補間が行われる。側面キーポイントのY座標及びZ
座標が相応する側面映像位置に設定され、X座標が初期モデルと同様に残る。こ
の過程ではあらゆるモデル頂点に対するZ値を決定するだけである。鼻先、鼻ブ
リッジ上端及び唇で発生されうる正面及び側面特徴間の不一致問題は側面特徴曲
線をスケーリングして変換してY座標が相応する変形されたモデル点と整合させ
ることによって解決される。
3)最終的に、全てのキーポイントは最終頭形を決定するためにRBF補間入力と
して使用される。この段階で側面キーポイントは、段階2)の補間モデルでの中
に残る。正面キー点に対して、段階2)の結果によってZ座標を設定し、X及び
Y座標が段階1)結果に設定される。次いで、正面隣接映像が使用可能であれば、
RBF補間をさらに行って、ステレオ情報から再構成された3次元点を取るもの
として働かせることができる。生成されたモデルに対する幾つかの例示が図62
に示されている。
3.テクスチャの生成
3.1 テクスチャ座標マッピング及びテクスチャの生成
3.3 テクスチャの混合
3.4 人工皮膚テクスチャ
4.ステレオ映像対を利用した3次元復元
4.1 ステレオ映像対からのディスパリティの予測
整合」である。すなわち、ステレオ映像に存在する同じ点を探し出す過程である。こ
の過程が行われた後で、3次元位置が復元されうる。
出すことである。ベクトルv=[vxvy]は映像速度であり、点[px,py]での光流とも呼ばれる。映像速度vを点[px,py]の近辺(2(x+1)×(2(y+1)の残留関数(を最小化するベクトルとして定義する。
Claims (52)
- 多角形メッシュモデルによって表現される3次元のフォトリアリスティックな顔モデル生成方法において、
(a)入力映像(image)の正面及び側面顔映像内の顔特徴を顔特徴検出部が検出する段階と、
(b)前記検出された顔特徴を利用して初期モデルを変形させて3次元の顔モデルを顔モデル変形部が生成する段階と、
(c)テクスチャ生成部が生入力映像からフォトリアリスティックなテクスチャ(texture)を生成する段階と、
(d)マッピング部が前記テクスチャを前記3次元の顔モデル上にマッピングする段階と、を含み、
前記(b)段階は、
深さ情報生成部が正面及び正面隣接画像から顔深さ情報を生成する段階をさらに具備し、
特定顔の3次元形状を決定するために、前記顔特徴を利用して初期モデルを変形させ、
前記顔深さ情報を利用して前記変形された3次元の顔モデルを整合させ、
前記(c)段階のテクスチャは必要に応じて人工テクスチャを有する、
段階をさらに具備する、
ことを特徴とする3次元顔モデル生成方法。 - 前記(a)段階の正面顔特徴検出は、
皮膚領域を検出する段階と、
顔領域を検出する段階と、
目の境界ボックスを検出する段階と、
虹彩を検出する段階と、
正面顔映像を正規化する段階と、を含むことを特徴とする請求項1に記載の3次元顔モデル生成方法。 - 前記(a)段階の正面顔特徴検出は、
目の外郭線を検出する段階と、
眉を検出する段階と、
唇の外郭線を検出する段階と、
鼻の外郭線を検出する段階と、
あご及び頬の外郭線を検出する段階のうち少なくとも1つを含むことを特徴とする請求項1に記載の3次元顔モデル生成方法。 - 前記皮膚領域を検出する段階は、
映像画素をr−g色空間内の皮膚または非皮膚画素に分類する事前訓練された最大確率ベイジアン分類器(maximum likelihood Bayesian classifier)によって行われることを特徴とする請求項2に記載の3次元顔モデル生成方法。 - 前記顔領域を検出する段階は、
(1)皮膚色を帯びた連結構成要素のうち最大要素を顔領域に初期化する段階と、
(2)前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて楕円を初期化及び変形させる段階と、
(3)前記安定化された楕円の境界の方形を顔領域と決定する段階と、を含むことを特徴とする請求項2に記載の3次元顔モデル生成方法。 - 前記(1)段階は、
2個の最大構成要素が類似したサイズを有する場合、映像中心にさらに近いことを選択する段階であることを特徴とする請求項5に記載の3次元顔モデル生成方法。 - 前記(2)段階は、
前記初期化された顔領域に基づいて楕円境界点の中心に位置した方形プローブを定義する段階と、
プローブ及び楕円内部に位置する皮膚画素数を計算する段階と、
前記計算された皮膚画素数が所定の閾値より小さければ、前記境界点を所定の距離ほど
内部に移動させる段階と、
前記計算された皮膚画素数が所定の閾値より小さくなければ、プローブと外部楕円に位置した皮膚画素数を計算する段階と、
計算値が所定の閾値より大きければ、前記境界点を所定の距離ほど外部に移動させて楕円を初期化及び変形させる段階と、を含むことを特徴とする請求項5に記載の3次元顔モデル生成方法。 - 前記目の境界ボックス検出は、
低域通過フィルタリングを通じてボケた映像を生成する段階と、
元の映像から前記ボケた映像を引いた映像を獲得する段階と、
前記獲得された映像の各画素でそれ自体と周辺画素との平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像を二値化する段階と、
連結されたセグメントを目候補として探し出す段階と、
形状、サイズ及び相対的な位置基準で前記候補を評価して目の境界ボックスを決定する段階と、を含むことを特徴とする請求項2に記載の3次元顔モデル生成方法。 - 前記虹彩を検出する段階の虹彩検出は、
赤色チャンネル映像内の目の境界ボックスの内部で虹彩を検出することを特徴とする請求項2に記載の3次元顔モデル生成方法。 - 前記虹彩の中心及び半径検出は、
前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素数を閾値と比較することによってハイライトの存在を評価する段階と、
ハイライトが発見されなければ、最も暗い画素の質量重心点を虹彩中心に初期化する段階と、
ハイライトが存在する場合、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心に初期化する段階と、
虹彩中心に位置した初期円を拡張し、円上の画素の傾斜度のサイズを測定する段階と、
前記初期円を拡張し、円上の画素の傾斜度のサイズを測定する作業を繰り返す段階と、
最大測定値を有する虹彩中心及び虹彩半径の位置を最終結果として選択する段階と、を含むことを特徴とする請求項9に記載の3次元顔モデル生成方法。 - 前記正面顔映像を正規化する段階は、
虹彩中心間の線が水平になるように回転し、所定の映像解像度に変換して正規化することを特徴とする請求項2に記載の3次元顔モデル生成方法。 - 目の外郭線の検出段階は、
前記目の外郭線は上部の目の外郭線及び下部の目の外郭線それぞれのための2つの多項式曲線によって近似化され、前記近似化は、
虹彩中心及び半径によって検索領域をあらかじめ決定する段階と、
前記検索領域内部の赤色チャンネル映像内の垂直位置の各水平スキャンラインに対して、局所的最小値または輝度が急変する画素として左側及び右側まぶた点を選択する段階と、
出されたまぶた点のうち、最も左側及び右側に位置した点を目のコーナーとして選択する段階と、
前記目のコーナーを連結する線分の上部にある点を利用して最小自乗法を利用して上部目の外郭線曲線を推定する段階と、
検出された目のコーナー及び虹彩の下部点を利用して下部目の外郭線曲線を推定する段階と、を含むことを特徴とする請求項3に記載の3次元顔モデル生成方法。 - 前記眉を検出する段階は、
多項式曲線によって近似させて眉を検出し、
前記多項式曲線は前記目の境界ボックス上部の所定の領域内で適応的二値化を行った以後に暗い画素を近似化することを特徴とする請求項3に記載の3次元顔モデル生成方法。 - 前記唇の外郭線の検出段階は、
上部及び下部唇検出よりなり、
前記上部及び下部唇検出は、
口の方形を初期化する段階と、
非皮膚色画素の1次及び2次モーメントを利用して初期方形をより精密な境界ボックスに縮小させる段階と、
唇関数映像を構成して、生成された境界ボックス内の画素を利用して画素が唇または皮膚に属する確率を測定する段階と、
高い唇関数値を有する画素の2次中心モーメントを測定することによって楕円で唇の外郭線を初期化する段階と、
外力及び内力によって唇の外郭線を動的に移動させる段階と、
移動された前記外郭線に多項式を近似させて曲線表現式を生成する段階と、を行ってなされることを特徴とする請求項3に記載の3次元顔モデル生成方法。 - 前記外力は、
唇と皮膚との境界地点に境界点を移動させる力であり、
前記内力は内部形状力及び内部平滑化力よりなり、
前記内部形状力は外郭線形状を楕円に近くする力であり、
前記内部平滑化力は前記境界の外部に外れすぎる単一点を抑制する力を含む所定の因子によって決定されることを特徴とする請求項14に記載の3次元顔モデル生成方法。 - 前記鼻の外郭線の検出段階は、
鼻側面検出を含み、前記鼻側面検出は、
所定の検索領域内のエッジ映像上で所定の形状のテンプレートを整合した段階と、
最適な大きさの整合値を有する検出された候補のうち対称条件を満足する対を選択して鼻翼面位置として決定する段階と、
各鼻側面を多項式曲線によって表現するが、前記曲線は検出された鼻翼面テンプレート及び所定の係数で鼻翼面及び目のコーナー間に補間された3点に合致される段階と、を行ってなることを特徴とする請求項3に記載の3次元顔モデル生成方法。 - あご及び頬の外郭線の検出段階は、
赤色チャンネル映像上の傾斜度ベクトル場を計算する段階と、
あご下部点で連結される2個の多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させる段階と、
曲線の接線方向に合致する最適な強度のエッジに接するまであご及び頬の外郭線を外部に拡張する段階と、
前記あご及び頬の外郭線が接線方向に合致する強いエッジに接すれば、前記あご及び頬の外郭線の拡張を中止する段階と、を含むことを特徴とする請求項3に記載の3次元顔モデル生成方法。 - 前記(a)段階の側面顔の特徴検出は、
顔領域を検出する段階と、
側面曲線を検出する段階と、
基準点を検出する段階と、
耳の外郭線を検出する段階と、を含むことを特徴とする請求項1に記載の3次元顔モデル生成方法。 - 前記顔領域を検出する段階は、
画素を皮膚及び非皮膚画素に分類する段階と、
最大皮膚色の連結成分として前記顔領域を選択する段階と、を含むことを特徴とする請求項18に記載の3次元顔モデル生成方法。 - 前記顔領域を選択する段階は、
最も大きい2つの成分が類似したサイズを有した場合、映像中心により近いものを前記顔領域として選択する段階であることを特徴とする請求項19に記載の3次元顔モデル生成方法。 - 前記側面曲線を検出する段階は、
正面映像から類推された特定境界ボックス内の最右側の顔領域の境界外郭線を側面曲線として検出することを特徴とする請求項19に記載の3次元顔モデル生成方法。 - 前記耳の外郭線の検出は、
曲線テンプレートを側面映像と整合して耳位置を初期化する段階と、
初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を探し出す段階と、を含むことを特徴とする請求項18に記載の3次元顔モデル生成方法。 - 前記耳位置を初期化する段階は、
元の映像を回転させて鼻ブリッジ上端からあご点までの線分を厳格に垂直にし、前記線分セグメントの長さが所定値になるようにスケーリングする段階と、
耳のための検索領域を定義する段階と、
検索領域内の顔領域と髪の毛領域境界とを曲線テンプレートと整合して、2個の曲線が合致される部分曲線と定義されるセグメントを探し出す段階と、
もし整合したセグメントの長さが所定の閾値より小さい場合、エッジ検出器で検出したエッジと耳テンプレートを整合で類似した形状を有するセグメントを検出する段階と、
テンプレートセグメントから整合した映像点への変換ベクトルを最小自乗アルゴリズムを利用して計算する段階と、を含むことを特徴とする請求項22に記載の3次元顔モデル生成方法。 - 深さ情報生成部が前記正面及び正面隣接映像から深さ情報を生成する段階は、
正面映像内の映像特徴点を決定する段階と、
特徴点に対してモデルに基づいたルーカス・カナダ追跡を行って前記正面隣接映像内の相応する点を探し出す段階と、
整合した一致点を利用してデータ補間を行って稠密なディスパリティマップを獲得する段階と、
前記ディスパリティマップを深さ情報に変換する段階と、を含むことを特徴とする請求項1に記載の3次元顔モデル生成方法。 - 深さ情報変換部により前記ディスパリティマップを深さ情報に変換する段階は、
最大ディスパリティ値から最小ディスパリティ値を引いた差分として獲得する段階と、
前記差分を顔幅で除算し、所定の定数値を乗算することによって係数を決定する段階と、
前記係数及び測定されたディスパリティ値で最小ディスパリティ値を減算した値を乗算することによって与えられた画素の深度値を獲得する段階と、を含むことを特徴とする請求項24に記載の3次元顔モデル生成方法。 - 前記(b)段階の初期モデル変形は、
3次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔内で定義される特徴に相応する2次元点に変換する段階と、
前記特徴及び前記特徴点間の一致性を利用して、3段階RBF(Radial Basis Function)基盤のモーフィング作業(morphing)を行って前記3次元初期顔モデルを変形する段階と、を含むことを特徴とする請求項1に記載の3次元顔モデル生成方法。 - 前記3段階RBF基盤のモーフィング作業は、
モデル特徴点のX及びY座標をそれらの相応するイメージ特徴点に設定し、Z座標は初期メッシュ内に残すことによって正面特徴のRBF補間を適用する段階と、
側面特徴を考慮して側面映像のスケールを調節し、X座標が初期モデルでその位置に残っている間、側面特徴をRBF補間に対する入力として使用する段階と、
前記Z座標を利用して正面と側面特徴に対してRBF補間を遂行する段階と、を含むことを特徴とする請求項26に記載の3次元顔モデル生成方法。 - 深さ情報復旧過程で獲得された3次元点は、
初期モデルの頂点が深さ情報から取得されたそれらの3次元地点に移動するようにRBFに基づいたモーフィングを行うことを特徴とする請求項27に記載の3次元顔モデル生成方法。 - 前記(c)段階は、
入力映像に色補正を行って相異なる照明条件またはカメラ間の色バランスのズレを色補償する段階と、
写真上の3次元モデル極点及び写像された2次元点間の整合に基づいて共通UV平面(public UV plane)上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する段階と、
多重解像度のスプラインアルゴリズム(spline algorithm)を利用して正面、側面及び人工テクスチャを混合してテクスチャを完成する段階と、を含むことを特徴とする請求項1に記載の3次元顔モデル生成方法。 - 描写された多角形メッシュモデルによって表現される3次元のフォトリアリスティックな顔モデル生成装置において、
入力映像の正面及び側面顔映像の顔特徴を検出する顔特徴検出部と、
前記検出された顔特徴を利用して所定の初期モデルを変形させて3次元の顔モデルを生成する顔モデル変形部と、
入力映像からフォトリアリスティックなテクスチャを生成するテクスチャ生成部と、
前記テクスチャを前記顔モデル変形部で生成された3次元の顔モデルにマッピングするマッピング部と、を含み、
前記顔モデル変形部は、
正面及び正面隣接映像から顔深さ情報を抽出する深さ情報生成部をさらに具備し、
前記顔特徴検出部で検出された顔特徴と前記深さ情報生成部で生成した顔深さ情報とを利用して所定の初期モデルを変形させて3次元の顔モデルを生成し、
前記テクスチャ生成部のテクスチャは、必要に応じて人工テクスチャを有する、
機能をさらに具備する、
ことを特徴とする3次元顔モデル生成装置。 - 前記顔特徴検出部は、
正面顔の特徴を検出する正面顔の特徴検出部と、
側面顔の特徴を検出する側面顔の特徴検出部と、を含むことを特徴とする請求項30に記載の3次元顔モデル生成装置。 - 前記正面顔の特徴検出部は、
皮膚領域を検出する皮膚領域検出部と、
顔領域を検出する顔領域検出部と、
目の境界ボックスを検出する目の境界ボックス検出部と、
虹彩を検出する虹彩検出部と、
正面顔映像を正規化する正面顔正規化部と、を含むことを特徴とする請求項31に記載の3次元顔モデル生成装置。 - 前記皮膚領域検出部は、
映像画素をr−g色空間内の皮膚または非皮膚画素に分類する事前訓練された最大確率ベイジアン分類器によって行われることを特徴とする請求項32に記載の3次元顔モデル生成装置。 - 前記顔領域検出部は、
皮膚色を帯びた連結構成要素のうち最大要素を顔領域に初期化する顔領域初期化部と、
前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて楕円を初期化及び変形させる楕円安定化部と、
前記安定化された楕円の境界方形を顔領域と決定する顔領域決定部と、を含むことを特徴とする請求項32に記載の3次元顔モデル生成装置。 - 前記目の境界ボックス検出部は、
低域通過フィルタリングを通じてボケた映像を生成するにじむ映像生成部と、
元の映像で前記ボケた映像を引いた映像の各画素で自分と周辺画素との平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像を二値化する映像二値化部と、
前記映像二値化部で二値化された映像で連結されたセグメントを目候補として探し出す目候補検索部と、
前記目候補検索部で捜し出した目候補を形状、サイズ及び相対的位置基準で評価して目の境界ボックスを決定する目の境界ボックス決定部と、を含むことを特徴とする請求項32に記載の3次元顔モデル生成装置。 - 前記虹彩検出部の虹彩検出は、
赤色チャンネル映像内の目の境界ボックス内部で虹彩を検出することを特徴とする請求項32に記載の3次元顔モデル生成装置。 - 前記虹彩検出部は、
前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素数を閾値と比較することによって、ハイライトの存在を評価するハイライト探索部と、
ハイライトが存在しなければ、最も暗い画素の質量重心点を虹彩中心に初期化し、ハイライトが存在すれば、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心に初期化する虹彩初期化部と、
虹彩中心に位置した初期円を拡張しながら円上の画素の傾斜度のサイズを測定するが、前記初期円の周囲の隣接画素に対して測定作業を繰り返す虹彩中心/半径測定部と、
最大測定値を有する虹彩中心及び半径を虹彩中心及び虹彩半径と決定する虹彩決定部と、を具備することを特徴とする請求項36に記載の3次元顔モデル生成装置。 - 前記正面顔正規化部は、
虹彩中心間の線が水平になるように回転し、所定の映像解像度に変換して正規化することを特徴とする請求項32に記載の3次元顔モデル生成装置。 - 前記正面顔の特徴検出部は、目の外郭線を検出する目の外郭線の検出部と、眉を検出する眉検出部と、唇の外郭線を検出する唇の外郭線検出部と、鼻の外郭線を検出する鼻の外郭線検出部と、あご及び頬の外郭線を検出するあご及び頬の外郭線検出部のうち少なくとも1つをさらに具備することを特徴とする請求項31に記載の3次元顔モデル生成装置。
- 目の外郭線の検出部は、
目の外郭線は上部目の外郭線及び下部目の外郭線それぞれのための2つの多項式曲線によって近似化されることを特徴とし、
前記近似化のために、
虹彩中心及び半径によって検索領域をあらかじめ決定する手段と、
前記検索領域内部の赤色チャンネル映像内の垂直位置の各水平スキャンラインに対して、局所的最小値または輝度が急変する画素として左側及び右側まぶた点を選択する手段と、
検出されたまぶた点のうち、最も左側及び右側に位置した点を目のコーナーとして選択する手段と、
前記目のコーナーを連結する線分の上部にある点を利用して最小自乗法を利用して上部目の外郭線曲線を推定する手段と、
検出された目のコーナー及び虹彩の下部点を利用して下部目の外郭線曲線を推定する手段と、を有する請求項39に記載の3次元顔モデル生成装置。 - 前記眉検出部は、
多項式曲線によって近似させて眉を検出し、
前記多項式曲線は前記目の境界ボックス上部の所定の領域内で適応的二値化を行った以後に暗い画素を近似化することを特徴とする請求項39に記載の3次元顔モデル生成装置。 - 前記唇の外郭線検出部は、
上部及び下部唇を検出し、前記上部及び下部唇検出は、
口の方形を初期化する手段と、
非皮膚色画素の1次及び2次モーメントを利用して初期方形をより精密な境界ボックスに縮小させる手段と、
唇関数映像を構成して、生成された境界ボックス内の画素を利用して画素が唇または皮膚に属する確率を測定する手段と、
高い唇関数値を有する画素の2次中心モーメントを測定することによって楕円で唇の外郭線を初期化する手段と、
外力及び内力によって唇の外郭線を動的に移動させる手段と、
移動された前記外郭線に多項式を近似させて曲線表現式を生成する手段と、を有することを特徴とする請求項39に記載の3次元顔モデル生成装置。 - 前記鼻の外郭線検出部は、
鼻側面検出を含み、前記鼻側面検出は、
所定の検索領域内のエッジ映像上で所定の形状のテンプレートを整合した手段と、
最適な大きさの整合値を有する検出された候補のうち対称条件を満足する対を選択して鼻翼面位置として決定する手段と、
各鼻側面を多項式曲線によって表現するが、前記曲線は検出された鼻翼面テンプレート及び所定の係数で鼻翼面及び目のコーナー間に補間された3点に合致される手段と、を有することを特徴とする請求項39に記載の3次元顔モデル生成装置。 - あご及び頬の外郭線検出部は、
赤色チャンネル映像上の傾斜度ベクトル場を計算する傾斜度計算部と、
あご下部点で連結される2個の多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させ、曲線の接線に合致する最適な強度のエッジに接するまであご及び頬の外郭線を外部に拡張するあご及び頬の外郭線拡張部と、
前記あご及び頬の外郭線が接線方向に合致する強いエッジに接するようになれば、前記あご及び頬の外郭線拡張を中止してその結果をあご及び頬の外郭線と決定するあご及び頬の外郭線決定部と、を含むことを特徴とする請求項39に記載の3次元顔モデル生成装置。 - 前記側面顔の特徴検出部は、
側面顔領域を検出する側面顔領域検出部と、
側面曲線を検出する側面曲線検出部と、
基準点を検出する基準点検出部と、
耳の外郭線を検出する耳の外郭線の検出部と、を含むことを特徴とする請求項32に記載の3次元顔モデル生成装置。 - 前記側面顔領域検出部は、
画素を皮膚及び非皮膚画素に分類する皮膚画素分類部と、
最大皮膚色の連結成分を側面顔領域として選択する側面顔領域選択部と、を含むことを特徴とする請求項45に記載の3次元顔モデル生成装置。 - 前記側面曲線検出部は、
正面映像から類推された特定境界ボックス内の最右側顔領域の境界外郭線を側面曲線として検出することを特徴とする請求項45に記載の3次元顔モデル生成装置。 - 前記耳の外郭線の検出部は、
曲線テンプレートを側面映像と整合して耳位置を初期化する耳位置初期化部と、
初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を探し出す耳境界検出部と、を含むことを特徴とする請求項45に記載の3次元顔モデル生成装置。 - 深さ情報生成部は、
正面映像内の映像特徴点を決定して前記正面隣接映像内で前記特徴点に相応する点を探し出す特徴点検出部と、
整合した一致点を利用してデータ補間を行って稠密なディスパリティマップを獲得するマップ獲得部と、
前記ディスパリティマップを深さ情報に変換する深さ情報変換部と、を含むことを特徴とする請求項30に記載の3次元顔モデル生成装置。 - 前記顔モデル変形部は、
3次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔(3D generic head)内で定義される特徴に相応する2次元点に変換する2次元点変換部と、
前記特徴及び前記特徴点間の一致性を利用して、3段階RBF基盤のモーフィング作業を行って前記3次元初期顔モデルを変形する顔メッシュモデル変形部と、を含むことを特徴とする請求項30に記載の3次元顔モデル生成装置。 - 前記テクスチャ生成部は、
入力映像上に色補正を行って相異なる照明条件またはカメラ間の色バランスのズレを色補償する入力映像補償部と、
写真上の3次元モデル極点及び写像された2次元点間の整合に基づいて共通UV平面上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する正面/側面テクスチャ生成部と、
多重解像度のスプラインアルゴリズムを利用して正面、側面及び人工テクスチャを混合してテクスチャを完成するテクスチャ完成部と、を含むことを特徴とする請求項30に記載の3次元顔モデル生成装置。 - 請求項1ないし請求項29のうち何れか1項に記載の方法をコンピュータで実行させるためのコンピュータプログラムを記録したコンピュータ可読記録媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US49869503P | 2003-08-29 | 2003-08-29 | |
US60/498,695 | 2003-08-29 | ||
KR1020040064323A KR100682889B1 (ko) | 2003-08-29 | 2004-08-16 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
KR2004-064323 | 2004-08-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005078646A JP2005078646A (ja) | 2005-03-24 |
JP4723834B2 true JP4723834B2 (ja) | 2011-07-13 |
Family
ID=34107026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004251160A Active JP4723834B2 (ja) | 2003-08-29 | 2004-08-30 | 映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP1510973A3 (ja) |
JP (1) | JP4723834B2 (ja) |
CN (1) | CN100345165C (ja) |
RU (1) | RU2358319C2 (ja) |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4539519B2 (ja) * | 2005-10-06 | 2010-09-08 | コニカミノルタホールディングス株式会社 | 立体モデル生成装置および立体モデル生成方法 |
US7567251B2 (en) * | 2006-01-10 | 2009-07-28 | Sony Corporation | Techniques for creating facial animation using a face mesh |
JP2007299070A (ja) * | 2006-04-27 | 2007-11-15 | Toshiba Corp | 顔形状モデル生成装置及びその方法 |
JP4850768B2 (ja) * | 2007-03-27 | 2012-01-11 | 独立行政法人情報通信研究機構 | 3次元の人の顔の表面データを再構築するための装置及びプログラム |
US9424488B2 (en) * | 2007-06-14 | 2016-08-23 | Hewlett-Packard Development Company, L.P. | Applying a segmentation engine to different mappings of a digital image |
US8564590B2 (en) * | 2007-06-29 | 2013-10-22 | Microsoft Corporation | Imparting three-dimensional characteristics in a two-dimensional space |
JP2009236811A (ja) * | 2008-03-28 | 2009-10-15 | Fujifilm Corp | 画像処理装置および画像処理方法並びにプログラム |
WO2009128784A1 (en) * | 2008-04-14 | 2009-10-22 | Xid Technologies Pte Ltd | Face expressions identification |
WO2009128783A1 (en) * | 2008-04-14 | 2009-10-22 | Xid Technologies Pte Ltd | An image synthesis method |
US8824801B2 (en) * | 2008-05-16 | 2014-09-02 | Microsoft Corporation | Video processing |
US20110298799A1 (en) * | 2008-06-03 | 2011-12-08 | Xid Technologies Pte Ltd | Method for replacing objects in images |
JP2009294895A (ja) * | 2008-06-05 | 2009-12-17 | Shift Inc | 画像処理装置及び画像処理プログラム |
CN101482976B (zh) * | 2009-01-19 | 2010-10-27 | 腾讯科技(深圳)有限公司 | 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置 |
TWI426463B (zh) * | 2009-05-08 | 2014-02-11 | Hon Hai Prec Ind Co Ltd | 曲面渲染系統及方法 |
EP2251832A1 (en) * | 2009-05-14 | 2010-11-17 | Alcatel Lucent | Method for generating a 3-dimensional model of an object |
CN101763527B (zh) * | 2009-06-17 | 2012-12-12 | 中国科学院自动化研究所 | 基于层状目标侧面纹理分析的张数检测方法 |
CN101996416B (zh) * | 2009-08-24 | 2015-05-20 | 三星电子株式会社 | 3d人脸捕获方法和设备 |
CN101996415B (zh) * | 2009-08-28 | 2013-10-09 | 珠海金联安警用技术研究发展中心有限公司 | 眼球的三维建模方法 |
US8300929B2 (en) | 2009-10-07 | 2012-10-30 | Seiko Epson Corporation | Automatic red-eye object classification in digital photographic images |
US8570343B2 (en) * | 2010-04-20 | 2013-10-29 | Dassault Systemes | Automatic generation of 3D models from packaged goods product images |
JP5793975B2 (ja) * | 2010-08-03 | 2015-10-14 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム、記録媒体 |
US8786625B2 (en) * | 2010-09-30 | 2014-07-22 | Apple Inc. | System and method for processing image data using an image signal processor having back-end processing logic |
KR101251793B1 (ko) * | 2010-11-26 | 2013-04-08 | 현대자동차주식회사 | 차량내 운전자 실제 얼굴 인증 방법 |
JP5743142B2 (ja) | 2011-03-29 | 2015-07-01 | ソニー株式会社 | 画像理装置および方法、並びにプログラム |
RU2448367C1 (ru) * | 2011-04-11 | 2012-04-20 | Закрытое акционерное общество "МНИТИ" ЗАО "МНИТИ" | Способ повышения визуальной информативности цифровых полутоновых изображений |
JP6073858B2 (ja) | 2011-04-28 | 2017-02-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 顔の位置検出 |
RU2473124C1 (ru) * | 2011-09-23 | 2013-01-20 | Общество С Ограниченной Ответственностью "Виси Рус" | Способ обнаружения порнографии на цифровых изображениях (варианты) |
JP2013080326A (ja) * | 2011-10-03 | 2013-05-02 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP5842541B2 (ja) * | 2011-11-01 | 2016-01-13 | 大日本印刷株式会社 | 三次元ポートレートの作成装置 |
CN102426712B (zh) * | 2011-11-03 | 2014-07-16 | 中国科学院自动化研究所 | 一种基于两幅图像的三维头部建模方法 |
GB201119206D0 (en) | 2011-11-07 | 2011-12-21 | Canon Kk | Method and device for providing compensation offsets for a set of reconstructed samples of an image |
RU2479039C1 (ru) * | 2012-03-26 | 2013-04-10 | Закрытое акционерное общество "БОУ Лабораториз" | Способ улучшения плотной и разреженной карт диспарантности, точности реконструируемой трехмерной модели и устройство для реализации способа |
CN102779278B (zh) * | 2012-07-04 | 2016-08-03 | Tcl集团股份有限公司 | 轮廓提取方法及系统 |
RU2510897C2 (ru) * | 2012-08-06 | 2014-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Юго-Западный государственный университет" (ЮЗГУ) | Способ сегментации сложноструктурированных растровых полутоновых изображений на основе составных морфологических операторов |
CN102999941B (zh) * | 2012-11-13 | 2016-02-17 | 中国科学院深圳先进技术研究院 | 基于遗传操作的三维模型生成方法 |
CN103234475B (zh) * | 2012-11-27 | 2017-02-08 | 深圳华用科技有限公司 | 一种基于激光三角测量法的亚像素表面形态检测方法 |
KR101397476B1 (ko) * | 2012-11-28 | 2014-05-20 | 주식회사 에스하이텍 | 3d 가상성형기를 이용한 가상성형방법 |
EP2994887B1 (en) * | 2013-05-10 | 2020-08-05 | Koninklijke Philips N.V. | 3-d patient interface device selection system and method |
WO2014180739A1 (en) * | 2013-05-10 | 2014-11-13 | Koninklijke Philips N.V. | Patient interface device selection system and method based on three-dimensional modelling |
JP6321142B2 (ja) * | 2013-05-10 | 2018-05-09 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 患者の顔に取り付けられた患者インターフェイスデバイスの3dモデリングされた視覚化 |
JP6304999B2 (ja) | 2013-10-09 | 2018-04-04 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
EP3158535A4 (en) * | 2014-06-20 | 2018-01-10 | Intel Corporation | 3d face model reconstruction apparatus and method |
CN104156915A (zh) * | 2014-07-23 | 2014-11-19 | 小米科技有限责任公司 | 肤色调整方法和装置 |
CN104408462B (zh) * | 2014-09-22 | 2017-10-13 | 广东工业大学 | 面部特征点快速定位方法 |
US9767620B2 (en) | 2014-11-26 | 2017-09-19 | Restoration Robotics, Inc. | Gesture-based editing of 3D models for hair transplantation applications |
US10242278B2 (en) * | 2014-12-01 | 2019-03-26 | Koninklijke Philips N.V. | Device and method for skin detection |
US10326972B2 (en) | 2014-12-31 | 2019-06-18 | Samsung Electronics Co., Ltd. | Three-dimensional image generation method and apparatus |
CN106033621B (zh) * | 2015-03-17 | 2018-08-24 | 阿里巴巴集团控股有限公司 | 一种三维建模的方法及装置 |
KR102065692B1 (ko) * | 2015-04-17 | 2020-01-13 | 한국전자통신연구원 | 3차원 프린팅을 위한 두께 모델 생성 장치 및 방법 |
US9773022B2 (en) | 2015-10-07 | 2017-09-26 | Google Inc. | Displaying objects based on a plurality of models |
EP3179407B1 (en) * | 2015-12-07 | 2022-07-13 | Dassault Systèmes | Recognition of a 3d modeled object from a 2d image |
CN106920277A (zh) * | 2017-03-01 | 2017-07-04 | 浙江神造科技有限公司 | 模拟美容整形效果可视化在线自由面雕的方法及系统 |
CN106910247B (zh) * | 2017-03-20 | 2020-10-02 | 厦门黑镜科技有限公司 | 用于生成三维头像模型的方法和装置 |
CN108804861B (zh) * | 2017-04-26 | 2023-07-25 | 中国科学院沈阳自动化研究所 | 一种具有真实力反馈的脊柱微创手术培训系统及方法 |
CN108876886B (zh) * | 2017-05-09 | 2021-07-27 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置和计算机设备 |
CN107146273B (zh) * | 2017-05-11 | 2019-12-27 | 北京航空航天大学 | 一种面向基于图像头发建模的自适应浮动切线匹配方法 |
CN107807806A (zh) * | 2017-10-27 | 2018-03-16 | 广东欧珀移动通信有限公司 | 显示参数调整方法、装置及电子装置 |
CN107742275B (zh) * | 2017-11-09 | 2021-02-19 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN110263603B (zh) * | 2018-05-14 | 2021-08-06 | 桂林远望智能通信科技有限公司 | 基于中心损失和残差视觉仿真网络的人脸识别方法及装置 |
CN109345486A (zh) * | 2018-10-24 | 2019-02-15 | 中科天网(广东)科技有限公司 | 一种基于自适应网格变形的人脸图像去模糊方法 |
US11568645B2 (en) | 2019-03-21 | 2023-01-31 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
RU2720361C1 (ru) * | 2019-08-16 | 2020-04-29 | Самсунг Электроникс Ко., Лтд. | Обучение по нескольким кадрам реалистичных нейронных моделей голов говорящих персон |
CN110555892B (zh) * | 2019-08-09 | 2023-04-25 | 北京字节跳动网络技术有限公司 | 多角度图像生成方法、装置及电子设备 |
CN111222407B (zh) * | 2019-11-18 | 2022-07-01 | 太原科技大学 | 一种采用均匀切片和拐点特征提取的腭皱识别方法 |
CN113034418B (zh) * | 2019-12-05 | 2023-10-13 | 中国科学院沈阳自动化研究所 | 面向电子行业的电路板识别与焊盘/芯片快速定位方法 |
GB2593441B (en) * | 2020-02-21 | 2023-03-01 | Huawei Tech Co Ltd | Three-dimensional facial reconstruction |
JPWO2021171982A1 (ja) * | 2020-02-28 | 2021-09-02 | ||
CN113327190A (zh) | 2020-02-28 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 图像、数据处理的方法和装置 |
US11138781B1 (en) | 2020-04-01 | 2021-10-05 | International Business Machines Corporation | Creation of photorealistic 3D avatars using deep neural networks |
US11373358B2 (en) * | 2020-06-15 | 2022-06-28 | Nvidia Corporation | Ray tracing hardware acceleration for supporting motion blur and moving/deforming geometry |
CN111967526B (zh) * | 2020-08-20 | 2023-09-22 | 东北大学秦皇岛分校 | 基于边缘映射和深度学习的遥感图像变化检测方法及系统 |
CN112734895A (zh) * | 2020-12-30 | 2021-04-30 | 科大讯飞股份有限公司 | 一种三维人脸处理方法及电子设备 |
CN113763109A (zh) * | 2021-02-03 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 物品推荐方法、装置、设备及存储介质 |
JP2022164390A (ja) * | 2021-04-16 | 2022-10-27 | ax株式会社 | 画像生成装置、画像生成方法、プログラム |
CN113591658B (zh) * | 2021-07-23 | 2023-09-05 | 深圳全息信息科技发展有限公司 | 一种基于距离感应的护眼系统 |
CN115019021A (zh) * | 2022-06-02 | 2022-09-06 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
US20220375049A1 (en) * | 2022-07-19 | 2022-11-24 | Real Image Technology Co., Ltd | Reduction of Glare in Endoscopic Images |
CN117058329B (zh) * | 2023-10-11 | 2023-12-26 | 湖南马栏山视频先进技术研究院有限公司 | 一种人脸快速三维建模方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07325934A (ja) * | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
US6184926B1 (en) * | 1996-11-26 | 2001-02-06 | Ncr Corporation | System and method for detecting a human face in uncontrolled environments |
KR20000064110A (ko) * | 2000-08-22 | 2000-11-06 | 이성환 | 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법 |
-
2004
- 2004-08-27 RU RU2004126185/09A patent/RU2358319C2/ru active
- 2004-08-27 EP EP04255190A patent/EP1510973A3/en not_active Ceased
- 2004-08-30 CN CNB2004100981954A patent/CN100345165C/zh active Active
- 2004-08-30 JP JP2004251160A patent/JP4723834B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
RU2358319C2 (ru) | 2009-06-10 |
CN100345165C (zh) | 2007-10-24 |
EP1510973A2 (en) | 2005-03-02 |
EP1510973A3 (en) | 2006-08-16 |
RU2004126185A (ru) | 2006-02-10 |
CN1607551A (zh) | 2005-04-20 |
JP2005078646A (ja) | 2005-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4723834B2 (ja) | 映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 | |
KR100682889B1 (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
US9569890B2 (en) | Method and device for generating a simplified model of a real pair of spectacles | |
US7035461B2 (en) | Method for detecting objects in digital images | |
US8218862B2 (en) | Automatic mask design and registration and feature detection for computer-aided skin analysis | |
US7756325B2 (en) | Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object | |
US20080309662A1 (en) | Example Based 3D Reconstruction | |
US20020106114A1 (en) | System and method for face recognition using synthesized training images | |
US9649026B2 (en) | Coupled reconstruction of refractive and opaque surfaces | |
Riklin-Raviv et al. | Unlevel-sets: Geometry and prior-based segmentation | |
WO1994023390A1 (en) | Apparatus for identifying person | |
JP2000311248A (ja) | 画像処理装置 | |
US11908150B2 (en) | System and method for mobile 3D scanning and measurement | |
KR100815209B1 (ko) | 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법 | |
Park et al. | Image-based 3D face modeling system | |
Maninchedda et al. | Fast 3d reconstruction of faces with glasses | |
Wu et al. | Model-based face reconstruction using sift flow registration and spherical harmonics | |
Cushen et al. | Markerless real-time garment retexturing from monocular 3d reconstruction | |
Vezhnevets et al. | Automatic extraction of frontal facial features | |
Sarris et al. | Building three dimensional head models | |
CN113743243A (zh) | 一种基于深度学习的人脸美颜方法 | |
KR101785661B1 (ko) | 회색 값 분산을 이용한 얼굴 윤곽 인식방법 및 그 장치 | |
US20210074076A1 (en) | Method and system of rendering a 3d image for automated facial morphing | |
Wu et al. | An automatic approach to facial feature extraction for 3-D face modeling | |
Kuo et al. | Improved facial feature extraction for model-based multimedia |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4723834 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |