JP4177402B2 - 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉 - Google Patents

人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉 Download PDF

Info

Publication number
JP4177402B2
JP4177402B2 JP2006329956A JP2006329956A JP4177402B2 JP 4177402 B2 JP4177402 B2 JP 4177402B2 JP 2006329956 A JP2006329956 A JP 2006329956A JP 2006329956 A JP2006329956 A JP 2006329956A JP 4177402 B2 JP4177402 B2 JP 4177402B2
Authority
JP
Japan
Prior art keywords
image
facial
graph
tracking
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006329956A
Other languages
English (en)
Other versions
JP2007109255A (ja
Inventor
マウラー，トーマス
エラジン，イゴー・バレリビッチ
ノセラ，ルシアノ・パスクゥアレ・アゴスティーノ
ステファンズ，ヨハネス・バーナード
ネベン，ハルトムット
Original Assignee
アイマティック・インターフェイシズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/188,079 external-priority patent/US6272231B1/en
Application filed by アイマティック・インターフェイシズ・インコーポレイテッド filed Critical アイマティック・インターフェイシズ・インコーポレイテッド
Publication of JP2007109255A publication Critical patent/JP2007109255A/ja
Application granted granted Critical
Publication of JP4177402B2 publication Critical patent/JP4177402B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、動的な顔の特徴の検知に関し、より具体的には、顔の特徴をリアルタイムで発見、追跡、かつ分類して、人の姿を与えたもの（avatar、分身）を動画化するグラフィックスエンジンに入力する、視覚に基づく動き捕捉システムに関する。
仮想空間を人間の姿を与えたもので満たすことは、共有環境を経験できるようにするには魅力的な方法である。しかしながら、一般的に、既存の共有環境では、ユーザを具体化するすなわちユーザの表情またはジェスチャーをそのユーザの分身に与えユーザに似たものにするのに十分な質で顔の特徴は検知されていない。高品質で顔の特徴を検知することは非常に有利である。なぜなら、顔によるジェスチャーは、コミュニケーションの根本的手段であるからである。したがって、ユーザを具体化することによって、仮想空間の魅力は増大する。
典型的に、顔の特徴を検知する既存の方法は、人物の顔に固定されるマーカを用いる。顔の動きを捕捉するためにマーカを使用することは煩わしいもので、一般的にはマーカの使用によって顔の動き捕捉の用途は映画の制作といったコストのかかる応用に限定されてきた。
したがって、現在非常に必要なのは、好都合でかつ効率的な顔の特徴検知を実現する、視覚に基づく動き捕捉システムである。本発明はこの必要を満たす。
本発明は、人物の顔の動き、特徴または特性を検知するための装置および関連の方法において実施される。顔の検知の結果を用いて、人間の姿を与えたもの（分身）の画像を動画化することができる。この分身装置は、モデルグラフおよびバンチグラフに基づく画像処理技術を使用する。このモデルグラフおよびバンチグラフは、画像の特徴を、容易に識別可能な特徴に対応する顔の画像のランドマークにおけるウェーブレット変換からなるジェットとして、効率的に表現する。この検知システムにより、ある人物の自然な特性を、その人物の自然な特性を妨害する不自然な要素を伴なわずに追跡することができる。
特徴検知プロセスは、画像フレームのシーケンスに対して働き、ウェーブレット変換を用いて各画像フレームを変換し、変換された画像フレームを生成する。変換された画像フレームへの、モデルグラフのウェーブレットジェットに関連するノードロケーションの初期化は、モデルグラフを変換された画像フレームを横切るように動かし、モデルグラフを、ノードロケーションのウェーブレットジェットと変換された画像フレームとの間のジェット類似度が最大である、変換された画像フレームにおけるあるロケーションに配置することによって行なわれる。モデルグラフの１以上のノードロケーションのロケーションを画像フレーム間で追跡する。追跡されたノードは、そのノードの位置が画像フレーム間の予め定められた位置制約を超えてずれた場合に、再初期化される。
本発明のある実施例において、顔の特徴の発見は、頭モデルを個別化するための弾性バンチグラフマッチングに基づき得る。また、顔の画像の解析のためのモデルグラフは、人間の顔の目立つ特徴に関連する複数のロケーションノード（たとえば１８）を含み得る。
本発明の他の特徴および利点は、好ましい実施例についての以下の記載を、添付の図面と関連づけて検討することにより明らかになるはずであり、この図面は例として本発明の原理を示している。
本発明は、人物の顔の動き、特徴、および特性などを検知し、その顔検知に基づいて、人間の姿を与えたもの（分身）の画像を生成しかつ動画化するための装置および関連の方法において実施される。この分身装置は、画像の特徴をジェットとして効率的に表現するモデルグラフおよびバンチグラフに基づく画像処理技術を利用する。このジェットはウェーブレット変換からなり、容易に識別可能な特徴に対応する画像のノードまたはランドマークロケーションにおいて処理される。ノードを獲得して追跡し、人物の顔の動きに従って、人間の姿を与えたものの画像を動画化する。また、顔の検知では、ジェット類似度を用いて人物の顔の特徴および特性を判断するので、人物の自然な特性を、その人物の自然な特性を妨害し得る不自然な要素を伴なわずに、追跡することができる。
図１に示すように、本発明の分身動画化システム１０は、撮像システム１２と、顔検知プロセス１４と、データ通信ネットワーク１６と、顔動画化プロセス１８と、分身ディスプレイ２０とを含む。撮像システムは、ある人物のライブビデオ画像信号を獲得しデジタル化することによって、画像フレームに組織されるデジタル化されたビデオデータのストリームを生成する。デジタル化されたビデオ画像データは、顔検知プロセスに与えられ、このプロセスは、各フレームにおける、その人物の顔および対応する顔の特徴の場所を求める。顔検知プロセスはまた、フレームからフレームへと顔の特徴の位置および特性を追跡する。追跡情報をネットワークを介して１以上の遠隔場所に送り、この遠隔場所においてその情報を受信し、グラフィックスエンジンを用いて分身ディスプレイに動画化された顔の画像を生成することができる。動画化された顔の画像は、その人物の写真のように写実的なモデル、漫画のキャラクター、またはユーザに全く無関係の顔に基づき得る。
撮像システム１２および顔検知プロセス１４を図２および３においてさらに詳細に示す。撮像システムは、ビデオ画像フレームのストリームを発生するデジタルビデオカメラ２２を用いて人物の画像を捕捉する。ビデオ画像フレームは、処理のためにビデオランダムアクセスメモリ（ＶＲＡＭ）２４に転送される。Matrox（登録商標）から入手可能なMatrox Meteor IIは、申し分ない撮像システムであり、これは、従来のＣＣＤカメラによって生成されたデジタル化画像を発生し、この画像をリアルタイムでフレームレート３０Ｈｚでメモリに転送する。画像フレームは、ＶＲＡＭおよびランダムアクセスメモリＲＡＭ３０に結合された中央処理装置（ＣＰＵ）２８を備える画像プロセッサ２６によって処理される。ＲＡＭは、プログラムコードおよびデータを記憶し、顔検知および分身動画化プロセスを実現する。
顔特徴プロセスは、デジタル化された画像に対して働き、人物の顔の特徴を発見し（ブロック３２）、その特徴を追跡し（ブロック３４）、必要に応じて特徴追跡を再初期化する。顔の特徴を分類してもよい（ブロック３６）。顔特徴プロセスは、顔の特徴の位置および分類に関連するデータを生成し、これが、顔動画化プロセスとのインターフェイスに与えられる（ブロック３８）。
顔の特徴の場所は、図４に示す弾性グラフマッチングを用いて求めることができる。この弾性グラフマッチング技術では、捕捉された画像（ブロック４０）を、図５を参照して以下でさらに詳細に説明するウェーブレット変換を用いて、ガボール空間に変換する（ブロック４２）。変換された画像（ブロック４４）は、当初の画像の各画素につき、ウェーブレット成分を表わす４０の複素値によって表現される。次に、図７を参照して以下でさ
らに詳細に説明するモデルグラフのハードコピーを、変換された画像の上の、変化するモデルノード位置に位置決めし、最適類似度の位置を発見する（ブロック４６）。最適類似度の探索は、モデルグラフを画像の左上隅に位置決めし、ノードにあるジェットを抽出し、画像グラフとモデルグラフとの間の類似度を求めることによって行なうことができる。この探索は、モデルグラフを、画像の左上隅から始めて左から右へとスライドさせることによって続けられる（ブロック４８）。顔のおおよその位置がわかると（ブロック５０）、ノードを個別に動かして弾性グラフ歪みを導入する（ブロック５２）。うまくマッチングする場所を求めるために、位相の影響を受けない類似度関数を用いる（ブロック５４）。次に、位相の影響を受ける類似度関数を用いて、正確にジェットの場所を求める。その理由は、位相がジェットの小さな変位の影響を大きくうけるからである。位相の影響を受けない類似度関数および位相の影響を受ける類似度関数については、図５−８を参照して以下で説明する。なお、図４では当初の画像に関するグラフが示されているが、モデルグラフの移動およびマッチングは、実際には変換された画像に対して行なわれる。
ウェーブレット変換について図５を参照して説明する。当初の画像をガボールウェーブレットを用いて処理すると畳込みの結果が生じる。ガボールに基づくウェーブレットは、ガウスエンベロープにより変調された２次元の複合波フィールドからなる。
ウェーブレットは、ガウス窓により制限される、波数ベクトルｋ→（記号→は本来ｋの上に示されるものである。以下の表記も同様。）の平面波であり、波長に対するその大きさは、σによりパラメータ化される。括弧内の項はＤＣ成分を除去する。波数ベクトルｋの振幅は以下のようにして選択できる。式中νは所望の空間解像度に関連する。
典型的には、波数ベクトルｋ→の空間を、解像度レベルが５（２分の１オクターブずつ異なる）および各解像度レベルでの配向が８の離散階層構造において（例として図８参照）サンプリングすることにより、サンプリングされた画像ポイント各々に対し４０の複素値を生成する。（実成分および虚成分は平面波の正弦および余弦相を指す。）ｋ−空間におけるサンプルは、インデックスｊ＝１、…、４０で指定され、１つの画像ポイントを中心とするすべてのウェーブレット成分は、図６に示すジェット６０と呼ばれるベクトルとみなされる。各ジェットは、ｘ→を囲む領域の局所的な特徴を記述する。サンプリングの際の密度が十分であれば、画像を、サンプリングされた周波数によりカバーされる帯域内のジェットから再構成できる。このように、あるジェットの各成分は、画像のポイント（ｘ，ｙ）で抽出されたガボールウェーブレットのフィルタ応答である。
図６に示す６２で示した画像グラフを用いて物体の外観を記述する（このコンテクストでは顔）。この番号で示されたグラフのノード６４は、物体上のポイントを指し、ジェット６０として示される。グラフのエッジ６６は、ノード間の距離ベクトルで示される。ノードおよびエッジはグラフトポロジーを定める。トポロジーが等しいグラフを比較することができる。２つのジェットの絶対成分の正規化ドット積が、ジェット類似度を定める。この値はコンラストの変化と無関係である。２つのグラフ間の類似度を計算するために、グラフ間の対応するジェットの類似度に対して和を取り入れる。
画像において人間の顔を発見するために具体的に指定されるモデルグラフ６８を図７に示す。グラフにおいて数字がつけられたノードは以下のロケーションを有する。
０ 右の瞳
１ 左の瞳
２ 鼻の上端
３ 右眉の右隅
４ 右眉の左隅
５ 左眉の右隅
６ 左眉の左隅
７ 右の鼻孔
８ 鼻尖
９ 左の鼻孔
１０ 口の右隅
１１ 上唇の中心
１２ 口の左隅
１３ 下唇の中心
１４ 右耳の下部
１５ 右耳の上部
１６ 左耳の上部
１７ 左耳の下部
顔を表わすために、バンチグラフ７０（図６）と呼ばれるデータ構造を用いる。これは上記のグラフと似ているが、各ノードに対しジェットを１つだけ設ける代わりに、ジェットのバンチ（束）全体７２（バンチジェット）を各ノードに設ける。各ジェットは異なる顔の画像から得られる。バンチグラフを形成するために、顔の画像のコレクション（バンチグラフギャラリー）を、頭の規定された位置のノードロケーションでマークする。この規定された位置はランドマークと呼ばれる。バンチグラフと画像とのマッチングの際、画像から抽出されたジェットを、バンチグラフに添付された対応するバンチにおけるすべてのジェットと比較し、最もよくマッチングしているもの１つを選択する。このマッチングプロセスは、弾性バンチグラフマッチングと呼ばれる。バンチグラフは、慎重に選択したギャラリーを用いて構成されると、局所的性質が大きく異なる多岐にわたる顔、たとえば、男性および女性の顔のサンプルならびに年齢または人種の異なる人々のサンプルをカバーする。
再び、画像における顔を発見するために、グラフが最もよくマッチングしている場所が見つかるまで、グラフを移動させ、スケーリングし、歪ませる（バンチジェット内で最も適合するジェットは、ノードの現在の位置で画像から抽出されたジェットに最も類似する）。顔の特徴は顔ごとに異なるため、グラフはこのタスクに対してより一般的に作成される。たとえば、各ノードには、１０から１００の個々の顔から取り入れた、対応するランドマークのジェットが割当てられる。
異なるまたは相補的でさえある２つのタスクに対して異なる２つのジェット類似度関数
が用いられる。ジェットＪ→の成分が振幅および位相ψjを用いた形式で書かれる場合、２つのジェットＪ→およびＪ′→の類似度に対する一方の形式は、以下のような、振幅ベクトルの正規化されたスカラ積である。
この関数は、２つのジェットが指す画像ポイント間の相対移動ベクトルを含む。グラフマッチング中に２つのジェットを比較するとき、これらの類似度をｄに関して最大化し、ジェット位置の正確な判断を行なう。双方の類似度関数を用いるが、最初にグラフのマッチングを行なうときには位相の影響を受けない方（これは相対的位置とともに滑らかに変化する）が好まれることが多く、ジェットを正確に位置決めするときには位相の影響を受ける方が好まれることが多い。
顔の特徴の位置を発見した後、顔の特徴を、図９に示すように連続フレームにわたって追跡する。本発明の追跡技術により、ある特徴またはノードの追跡に失敗したかどうかを検出しそのノードに対する追跡プロセスを再初期化する追跡修正方法を用いることによって、長いフレームシーケンスにわたって強力な追跡を行なうことができる。
画像シーケンスの画像Ｉ＿ｎにおける１つのノードの位置Ｘ＿ｎは、上記のランドマーク発見方法（ブロック８０）を用いて画像Ｉ＿ｎでランドマークを発見する、または、追跡プロセスを用いて画像Ｉ＿（ｎ−１）からＩ＿ｎへとノードを追跡することによりわかる。次にこのノードを、いくつかの技術のうち１つによって、画像Ｉ＿（ｎ＋１）における対応する位置Ｘ＿（ｎ＋１）まで追跡する（ブロック８２）。以下で説明する追跡法により、有利に高速な動きに対処することができる。
第１の追跡技術は線形動き予測を含む。新規の画像Ｉ＿（ｎ＋１）における対応するノード位置Ｘ＿（ｎ＋１）に対する探索は、動き予測子により発生した位置で開始される。速度が一定であると仮定して、先行する２つのフレーム間でのノードの変位を表わすディスパリティベクトル（Ｘ＿ｎ−Ｘ＿（ｎ−１））を計算する。ディスパリティまたは変位ベクトルＤ＿ｎを位置Ｘ＿ｎに加算して、ノード位置Ｘ＿（ｎ＋１）を予測することができる。この線形動きモデルは、一定速度の動きに対処するのに特に好都合である。線形動きモデルはまた、追跡されている物体の加速度と比較してフレームレートが高い場合に優れた追跡をもたらす。しかしながら、フレームレートが画像シーケンスにおける物体の加速度と比較して低すぎれば、線形動きモデルの性能は低い。動きモデルがこういった条件下で物体を追跡するのは困難であるため、フレームレートのより高いカメラを用いることが推奨される。
線形動きモデルが発生する推定動きベクトルＤ＿ｎが大きすぎると、動き予測における誤差の累積につながり得る。したがって、線形予測を減衰定数ｆ＿Ｄを用いて減衰することができる。結果として得られる、予測された動きベクトルは、Ｄ＿ｎ＝ｆ＿Ｄ＊（Ｘ＿ｎ−Ｘ＿（ｎ−１））である。適切な減衰定数は０．９である。先行するフレームＩ＿（
ｎ−１）がない場合、たとえば、ランドマーク発見直後のフレームに対し、予測される動きベクトルは０と等しくなるように設定される（Ｄ＿ｎ＝０）。
１次元に適用される、ガウス画像ピラミッドに基づく追跡技術は図１０に示される。当初の画像解像度を用いる代わりに、画像を２から４倍にダウンサンプリングして画像のガウスピラミッドを作成する。４レベルの画像ピラミッドは、結果として、最も粗いレベルにおいて３画素のみとして表わされている最も精細な当初の解像度レベルに対し２４画素の距離をもたらす。ピラミッドのいずれかのレベルでジェットを計算および比較することができる。
一般的に、ガウス画像ピラミッドにおけるノードの追跡は、最初に最も粗いレベルで行ない次に最も精細なレベルに移る。ジェットは、上記のように減衰された線形動き予測Ｘ＿（ｎ＋１）＝（Ｘ＿ｎ＋Ｄ＿ｎ）を用いて、位置Ｘ＿（ｎ＋１）の実際の画像フレームＩ＿（ｎ＋１）の最も粗いガウスレベルで抽出され、先行する画像フレームの最も粗いガウスレベルで計算した対応するジェットと比較される。これらの２つのジェットから、ディスパリティを求める、すなわちＸ＿（ｎ＋１）から、先行するフレームからのジェットに最もよく対応する位置までを指し示す２次元ベクトルを求める。この新しい位置がＸ＿（ｎ＋１）に割当てられる。このディスパリティ計算については、以下でさらに詳細に説明する。最も粗いガウスレベルの位置Ｘ＿（ｎ＋１）に対応する、実際の画像（２＊Ｘ＿（ｎ＋１）である）の次に精細なガウスレベルの位置が、この次に精細なレベルのディスパリティ計算についての開始点である。この点で抽出されたジェットは、先行する画像フレームの同じガウスレベルについて計算された対応するジェットと比較される。このプロセスは、最も精細な解像度レベルに達するまで、または、先行する画像の位置に対応するノードの位置を求めるのに特定されたガウスレベルに達するまで、すべてのガウスレベルに対して繰返される。
ガウス画像ピラミッドの代表的な２つのレベルが図１０に示されており、粗い方のレベル９４は上であり、精細な方のレベル９６は下である。各ジェットは２つの周波数レベルに対するフィルタ応答を有すると仮定される。粗い方のガウスレベルの位置Ｘ＿（ｎ＋１）＝Ｘ＿ｎ＋Ｄ＿ｎで始めて、最低周波数ジェット係数のみを用いた第１のディスパリティ移動により位置２に至る。双方の周波数レベルのすべてのジェット係数を用いた第２のディスパリティ移動により位置３に至り、これはこのガウスレベルの最終位置である。精細な方のガウスレベルの位置１は、座標が２倍の粗い方のレベルの位置３に対応する。ディスパリティ移動シーケンスは繰返され、最も精細なガウスレベルの位置３が、追跡されたランドマークの最終位置である。追跡をより正確にするために、ガウスおよび周波数レベルの数を増やしてもよい。
実際の画像フレームにおいて追跡されたノードの新規の位置を求めた後、すべのガウスレベルにおけるジェットをこの位置で計算する。追跡されたノードを表わす、先行するフレームに対して計算されたジェットの記憶されたアレイを、現在のフレームに対して計算されたジェットの新規のアレイと置き換える。
ガウス画像ピラミッドを用いることには２つの主要な利点がある。第１に、粗い方のレベルにおける画素に関しノードの移動が当初の画像におけるものよりも遥かに小さく、これによって、大きな画像領域において徹底的に探索を行なう代わりに局所的な移動のみを行なうことによって追跡が可能になる。第２に、ジェット成分の計算が低周波数に対して非常に速い。なぜなら、この計算は、当初の解像度の画像の大きなカーネルウィンドウに対してではなく、ダウンサンプリングされた画像の小さなカーネルウィンドウを用いて行なわれるからである。
なお、対応レベルは動的に選択してもよい。たとえば、顔の特徴の追跡の場合、対応レベルを顔の実際の大きさに依存して選択してもよい。ガウス画像ピラミッドの大きさも、追跡プロセスを通して変更できる。すなわち、この大きさを動きが速くなったときに大きくし動きが遅くなったときに小さくできる。典型的には、最も粗いガウスレベルの最大ノード移動は４画素に制限される。なお、動き予測は最も粗いレベルで行なわれることが多い。
同じガウスレベルの所与の２つのジェット間の移動ベクトル（ディスパリティベクトル）の計算について次に説明する。連続する２つのフレーム間の変位を計算するために用いるある方法は、本来、D. J. FleetおよびA. D. Jepson, Computation of component image velocity from local phase information, International Journal of Computer Vision, volume 5, issue 1, pages 77-104, 1990、ならびに、W. M. TheimerおよびH. A. Mallot, Phase-based binocular vergence control and depth reconstruction using active vision, CVGIP: Image Understanding, volume 60, issue 3, pages 343-358, November 1994に基づき、ステレオ画像におけるディスパリティ推定に対して開発されたものである。
複合フィルタ応答の位相の強い変化を用いてサブピクセル精度で変位を明確に計算する（Wiskott, L.,“Labeled Graphs and Dynamic Link Matching for Face Recognition and Scene Analysis”, Verlag Harri Deutsch, Thun-Frankfurt
am Main, Reihe Physik 53 (PhD thesis, 1995)）。振幅ａjおよび位相ｊに関しｊ番目のガボールフィルタへの応答Ｊを書くことにより、類似度関数を以下のように定めることができる。
ＪおよびＪ′を位置ＸおよびＸ′＝Ｘ＋ｄの２つのジェットとすると、変位ｄは、ｄに関する類似度Ｓを最大化することによって発見でき、ｋjはＪjを発生するフィルタと関連する波数ベクトルである。ｄの推定は、小さな変位、すなわちガボールジェットの大きな重なりのみに対して正確であるため、大きな移動ベクトルは第１の推定のみとして扱われ、このプロセスは以下の態様で繰返される。最初に、最も周波数レベルの低いフィルタ応答のみを用いて第１の推定ｄ＿１が生まれる。次に、この推定を実行し、ジェットＪをジェットＪ′の位置Ｘ′により近い位置Ｘ＿１＝Ｘ＋ｄ＿１で再計算する。次に、２つの最も低い周波数レベルを変位ｄ＿２の推定のために用い、ジェットＪを位置Ｘ＿２＝Ｘ＿１＋ｄ＿２で再計算する。これは、用いた最大周波数レベルに達するまで反復され、２つの開始ジェットＪおよびＪ′間の最終ディスパリティｄが、ｄ＝ｄ＿１＋ｄ＿２＋…として与えられる。このようにして、最低周波数のカーネルの波長の半分まで変位を計算することができる（先のWiskott、1995参照）。
変位は浮動小数点数を用いて求めているが、ジェットを（整数）画素位置のみで抽出してもよい（すなわち畳込みによって計算してもよい）。その結果、システム的な丸め誤差が生まれる。このサブピクセル誤差Δｄを補償するために、複合ガボールフィルタ応答の位相を以下に従いシフトする必要がある。
こうすれば、ジェットは、あたかも正しいサブピクセル位置で抽出されたかのように見えるであろう。このように、ガボールジェットを、さらなる丸め誤差を考慮せずに、サブピクセル精度で追跡できる。なお、ガボールジェットは画像処理において実質的な利点をもたらす。その理由は、サブピクセル精度の問題は他のほとんどの画像処理方法において対処がより困難なためである。
追跡誤差は、信頼度または類似度の値が予め定められたしきい値よりも小さいかどうかを判断することによって検出できる（図９のブロック８４）。類似度（または信頼度）の値Ｓを計算して、２つの画像フレームにおける２つの画像領域がいかにうまく対応しているかを、連続する画像フレーム間のノードの変位の計算と同時に、示すことができる。典型的には、信頼度の値が１に近いことは、対応度の高いことを示す。信頼度の値が１に近くなければ、画像において対応するポイントが発見されていないか（たとえばフレームレートが動いている物体の速度と比較して低すぎるため）、または、この画像領域があるフレームから次のフレームへとあまりにも大幅に変化しているため対応性をうまく定めることができないかである（たとえば瞳を追跡するノードに対し瞳が閉じられる）。信頼度の値があるしきい値よりも低いノードはスイッチオフされる。
何らかの幾何学的制約が侵害されたときにも追跡誤差が検出される（ブロック８６）。同時に多くのノードが追跡される場合、ノードの幾何学的構成が一致しているかどうかについて検査される。このような幾何学的制約はかなり緩やかでよい。たとえば、顔の特徴を追跡するとき鼻は目と口との間になければならないといったことである。代わりに、こういった幾何学的制約はかなり厳しいものでもよい。たとえば、追跡される顔の正確な形状情報を含むモデルといったものである。この中間の精度に対しては、制約は平面モデルに基づくものである。平面モデルでは、顔グラフのノードは平面にあると仮定される。正面図で始まる画像シーケンスについては、追跡されるノード位置を、アフィン変換により実際のフレームに変換される正面グラフの対応するノード位置と比較することができる。最適アフィン変換の６つのパラメータが、ノード位置における最小二乗誤差を最小にすることによって発見される。追跡されたノード位置と変換されたノード位置との間のずれがしきい値と比較される。しきい値よりもずれの大きいノードはスイッチオフされる。アフィン変換のパラメータを用いて、姿勢および相対的なスケール（開始グラフと比較したもの）を同時に求めることができる（ブロック８８）。このように、この大まかな平面モデルによって、追跡誤差が予め定められたしきい値よりも大きくなることが確実になくなる。
追跡されたノードが追跡誤差のためにスイッチオフされた場合、ノードを、異なる姿勢を含むバンチグラフを有利に用いて正しい位置で再び活性化し（ブロック９０）、修正された位置から追跡を続行することができる（ブロック９２）。追跡されたノードがスイッチオフされた後、システムは、姿勢に固有のバンチグラフが存在する予め規定された姿勢に達するまで待ってもよい。それ以外の場合は、正面のバンチグラフのみが記憶されているならば、システムは、正面の姿勢に達するまで待って追跡誤差を修正しなければならない。記憶されたジェットのバンチを適合位置を囲む画像領域と比較してもよい（たとえば平面モデルからのもの）。これは追跡と同じ態様で作用するが、異なる点は、先行する画像フレームのジェットとの比較の代わりに、比較は例のバンチのジェットすべてについて繰返され最も似ているものが取込まれることである。顔の特徴はわかっているので、たとえば、実際の姿勢、スケールおよび大まかな位置までもわかっているので、グラフマッチ
ングまたは画像における徹底的な探索および／または姿勢空間は不要であり、ノード追跡修正をリアルタイムで行なうことができる。
追跡訂正のために、多くの異なる姿勢およびスケールに対するバンチグラフは不要である。なぜなら、画像面における回転およびスケールは、局所的画像領域またはバンチグラフのジェットの変換を図１１に示すように行なうことにより、考慮されているからである。正面の姿勢に加え、深さにおける回転に対してのみバンチグラフを作成する必要がある。
再初期化プロセスの速度を、画像シーケンス中は追跡される人物のアイデンティティが同じであるという事実を利用して、高めることができる。したがって、最初の学習セッションでは、人物の最初のシーケンスに、正面の顔の表情の全レパートリーを表わしている人物を与える。この最初のシーケンスを、異なる多くの人物に関する知識を含む大きな一般化されたバンチグラフに基づき上述の追跡および訂正方法を用いて、精度高く追跡することができる。このプロセスをオフラインで行ない、個人別にされた新たなバンチグラフを生成することができる。次に、個人別にされたバンチグラフを用いて、この人物をリアルタイムで高速レートで追跡できる。なぜならば、個人別にされたバンチグラフは一般化された大きなバンチグラフよりも遥かに小さいからである。
再初期化プロセスの速度を、部分バンチグラフ再初期化を利用して高めることもできる。部分バンチグラフは、全バンチグラフのノードのサブセットのみを含む。このサブセットの大きさは１つのノードぐらいでしかない。
姿勢推定バンチグラフは、画像面において定められる２次元バンチグラフの一族を利用する。１つの族内の異なるグラフは、頭の、異なる姿勢および／またはスケールを説明する。ランドマーク発見プロセスは、画像における頭の姿勢または大きさを求めるために、その族からの各バンチグラフを入力画像とマッチングさせようとする。こうした姿勢推定手順の一例が図１２に示される。この姿勢推定の第１ステップは、通常のランドマーク発見のものと等しい。画像（ブロック９８）は、グラフ類似度関数を用いるために、変換される（ブロック１００および１０２）。次に、１つだけではなく、３つのバンチグラフの族を用いる。第１のバンチグラフは正面の姿勢の顔のみを含み（上記の正面図と等しい）、他の２つのバンチグラフは４分の１だけ回転させた顔を含む（一方が左への回転を表わし、他方が右への回転を表わす）。先のように、グラフ各々に対する初期位置は左上隅にあり、グラフの位置は画像においてスキャンされ、ランドマーク発見後最も高い類似度を戻す位置およびグラフが選択される（ブロック１０４−１１４）。
各グラフに対する最初のマッチングの後、最終位置の類似度が比較される（ブロック１１６）。画像において与えられた姿勢に最もよく対応しているグラフは類似度が最も高い。図１２において、左に回転させたグラフは、類似度によって示されるように最もよく適合している（ブロック１１８）。像における顔の解像度および回転の角度に応じて、正しいグラフおよび他の姿勢に対するグラフの類似度は、変化し、グラフを規定した２つの姿勢間のおよそ中間に顔があるときに、非常に近くなる。より多くの姿勢に対してバンチグラフを作成することにより、姿勢推定手順がより精細になり、これにより、他の方向（たとえば上または下）への頭の回転およびハンドル回転のより多くの角度が識別される。
カメラから任意の距離にある顔を確実に発見するために、同様の方策を用いて、各々がスケールの異なる２または３の異なるバンチグラフを用いてもよい。画像における顔は、最高のものを顔の画像に戻すバンチグラフと同じスケールを有すると仮定される。
上記の技術に関連する３次元（３Ｄ）ランドマーク発見技術を用いて、異なる姿勢に適
合させた複数のバンチグラフを用いることもできる。しかしながら、この３次元方策は３次元空間で規定されるバンチグラフ１つのみを用いる。３次元グラフのジオメトリは、平均的な顔または頭のジオメトリを反映する。回転度数の異なる数人の人物の顔の画像からジェットを抽出することにより、３次元バンチグラフを作成する。これは、２次元方策と似ている。次に各ジェットを３つの回転角度でパラメータ化する。２次元方策のように、ノードは頭の面の基準点に位置する。次に、３次元グラフの突起をマッチングプロセスで用いる。３次元方策におけるある重要な一般化は、各ノードに、異なる姿勢に適合するバンチジェットのパラメータ化された族を設けることである。第２の一般化は、グラフが画像面での変換のみではなく３次元空間でユークリッド変換されることである。
グラフマッチングプロセスは、粗から精への方策として定めることができる。ここでは初めにノードおよびカーネルの少ないグラフを用い、次に後続のステップではより密度の高いグラフを利用する。粗から精への方策は、顔のある領域における特徴ポイントの高精度の局所化が所望される場合に特に適している。このように、階層的方策を採用することによって、計算上の手間を省く。ここでは、最初に粗い解像度についてランドマーク発見を行ない、次に、適合したグラフをより高い解像度で検査して、ある領域をより精細に解析する。
さらに、計算上の作業負荷を、マルチプロセッサマシンで簡単に分割できる。こうすれば一旦粗い領域が発見されると、少数の子プロセスが並列に、各々が画像全体のうちそれ自身の部分に対して作業を開始する。子プロセスの最後に、これらプロセスはそれらが位置する特徴座標をマスタプロセスに送り、マスタプロセスは適切にこれらをスケーリングおよび組合せて当初の画像に適合するようにし、こうして計算の総時間が大幅に短縮する。
図１３に示すように、ノードに対応する顔の特徴を分類して、たとえば瞬きや口の開きといった不適切な追跡誤差の表示に対応することができる。顔の特徴に対応する、バンチグラフにおける異なるジェットに、たとえば目が開いている／閉じている、口が開いている／閉じているなどの、ラベルを添付する。このラベルを、現在の画像と比較して最も類似している、バンチグラフにおける対応するジェットとともに、コピーする。追跡誤差が検出されたかどうかにかかわらず、ラベル追跡を連続してモニタする。このようにして、以下について、分類ノードが追跡されたノードに添付される。
目が開いている／閉じている。
口が開いている／閉じている。
舌が見えているまたは見えていない。
紙の種類の分類。
皺の検出（たとえば額の皺）。
このように、追跡により２つの情報源を利用できる。一方の情報源は特徴の場所すなわちノード位置に基づき、他方の情報源は特徴分類に基づく。特徴分類情報は、テクスチャに一層基づいており、局所的画像領域を１組の記憶された例と比較することにより、ノード位置のみに基づく特徴分類情報よりも、低い解像度および追跡精度で機能し得る。
本発明の顔検知は、図１４に示すように、静的および動的な、人間の姿を与えたものの、作成および動画化に適用できる。この人間の姿を与えたものは、一般的な顔のモデルに基づく、または、ある人物に固有の顔のモデルに基づく。追跡および顔の表情の認識を利用して、その人物の特徴を有するようにこの人間の姿を与えたものを具体化できる。
一般的な顔のモデルを、代表的な数の個人に適合させ、写実的な動画化を行ない、広範囲にまたがる顔の特徴および／または表情を与えることができる。一般的なモデルは以下の技術によって得ることができる。
１．モノカメラシステムを用いて（T. Akimoto他、１９９３）、低価格のテレイマージョンシステムにおいて用いるために、実物に似た、人間の姿を与えたものを作成する。サジタル平面および頭頂面から見た、個人の横顔情報を併合して、人間の姿を与えたものを得る。
２．ステレオカメラシステムは、カメラを十分に校正した場合（カメラパラメータは校正プロセスを通して計算される）、正確な３次元測定を行なうことができる。次に、個々の顔のモデルは、一般的な顔のモデルを、得られた３次元データに適合させることによって得ることができる。ステレオアルゴリズムは非テクスチャ領域に対する正確な情報を与えないので、活性テクスチャ光の投射を利用する。
３．個々の顔に対してマーカを用いる、特徴に基づくステレオ技術によって、マーカの正確な３次元位置を計算する。次に３次元情報を用いて一般的なモデルに適合させる。
４．センサまたは位置発見装置が、測定される各平面の点に対して動かされる、３次元デジタイザ。
５．パターンが投影され、結果として得られるビデオストリームを処理して３次元測定値を抽出するアクティブ構成光。
６．正確な顔測定値をもたらす、レーザに基づいた表面スキャン装置（Cyberware, Incが開発するもののようなもの）。
７．以前の技術の組合せ
こうした異なる技術はユーザにとって等しく好都合ではない。１回のプロセスで個人の測定値を得ることができるものもあれば（顔は測定期間中所望の姿勢をとっている）。一方で、サンプルの収集が必要であり使用するのに面倒なものもある。
特定の人物に対する一般的な３次元頭モデルを、正面および側面を示す２つの顔の画像を用いて生成できる。顔の検知により、３次元頭モデルを効率的かつ強力に生成できる。
顔の輪郭の抽出は、人物の目、鼻、口および頬の局所化とともに行なわれる。図１４に示すように、この特徴局所情報は、弾性バンチグラフ技術を階層的マッチングとともに用いて、自動的に顔の特徴を抽出することにより得ることができる。次に、特徴場所情報を組合せ（T. AkimotoおよびY. Suenaga, Automatic Creation of 3D Facial Models, IEEE
Computer Graphics & Applications, Pages 16-22, September 1993参照）、人物の頭の３次元モデルを生成する。一般的な３次元頭モデルを適合させて、そのプロポーションが画像の測定値と関連するようにする。最後に、側面および正面の画像を組合せ、人間の姿を与えたものに対しよりよいテクスチャモデルを得る、すなわち、正面図を用いてモデルの正面をテクスチャマッピングし、側面図をモデルの側面に対して用いる。顔の検知によりこの技術が向上する。なぜなら抽出された特徴をラベルづけし（既知のポイントは横顔において定められる）、２つの画像が同時に取込まれないようにするからである。
人間の姿を与えたものの画像は、以下の一般的な技術によって動画化できる（F.I.ParkeおよびK.Waters, Computer Facial Animation, A K Peters, Ltd., Wellesley, Massachusetts, 1996）。
１．キーフレーミングおよび幾何内挿。多数の重要な姿勢および表情を規定する。次に幾何内挿をキーフレーム間で用いて動画化を行なう。このようなシステムは、性能に基づく（または性能により駆動される）モデルと呼ばれることが多い。
２．直接パラメータ化。これは表情および姿勢を１組のパラメータに直接マッピングし次にこれを用いてモデルを駆動する。
３．幾何学的変形を用いて筋肉動作をシミュレートする擬似筋肉モデル。
４．筋肉および皮膚を物理的モデルを用いてモデル化する、筋肉に基づくモデル。
５．２次元および３次元モーフィング。これは、ビデオストリームにおける画像間で２次元モーフィングを用い、２次元動画を生成する。１組のランドマークを識別しこれを用いてシーケンスの２つの画像間のワープを行なう。このような技術は３次元に拡張できる（F.F.Pighin, J.Hecker, D.Lischinski, R.Szeliski,D.H.Salesin, Synthesizing Realistic Facial Expression from Photographs, SIGGRAPH 98 Conference Proceedings, pages 75-84, July 1998参照）。
６．制御ポイントおよび有限要素モデルといった他の方策。
これらの技術に対し、顔検知は、顔の特徴の自動抽出および特徴化によって、動画化プロセスを向上させる。抽出された特徴を用いて、キーフレーミングおよび内挿モデルの場合は表情を内挿し、または、直接パラメータ化モデルまたは擬似筋肉または筋肉モデルの場合はパラメータを選択できる。２次元および３次元モーフィングの場合は、顔検知を用いて、自動的に顔の特徴を選択し、幾何学的変換を行なうのに適切な情報を与える。
顔の特徴の追跡および分類を利用した、人間の姿を与えたものの動画化の例は、図１５に関連付けて示される。訓練相の間、個人は、一連の予め定められた顔の表情をするようにされる（ブロック１２０）。検知を用いて特徴を追跡する（ブロック１２２）。予め定められた場所で、ジェットおよび画像パッチを種々の表情に対して抽出する（ブロック１２４）。顔の特徴を囲む画像パッチは、これらの特徴から抽出したジェット１２６とともに集められる。これらのジェットを後で用いて、顔の特徴１２８を分類またはタグづけする。これは、これらのジェットを用いて、個人別のバンチグラフを生成し、上記のような分類法を適用することによって、行なわれる。
図１６に示すように、人間の姿を与えたものを動画化するために、このシステムは、すべての画像パッチ１２８とともに、顔全体１３０（「顔フレーム」）の画像から画像パッチにおいて示された部分をマイナスしたものを、遠隔場所に送る（ブロック１３２および１３４）。動画化エンジンのためのソフトウェアも送る必要がある。次に、検知システムは、ユーザの顔を観察して、顔の検知を適用してどの画像パッチが現在の顔の表情に最も似ているかを判断する（ブロック１３６および１３８）。画像タグは遠隔場所に送られ（ブロック１４０）、動画化エンジンが正しい画像パッチを用いて顔１４２を組立てることができるようにする。
画像パッチをスムーズに画像フレームに適合させるために、ガウスぼかしを用いることができる。写実的にするためには、局所画像モーフィングが必要である。なぜなら、動画は、画像の連続が検知によって与えられた通りに現れるという意味において、不連続かもしれないからである。モーフィングは、画像空間において対応するポイントの線形内挿を用いて実現される。中間画像を作成するために、以下の等式を用いて線形内挿を適用する。
Ｐi＝（２−ｉ）Ｐ1＋（ｉ−１）Ｐ2 （７）
Ｉi＝（２−ｉ）Ｉ1＋（ｉ−１）Ｉ2 （８）
式中、Ｐ1およびＰ2は画像Ｉ1およびＩ2において対応するポイントであり、Ｉiはｉ番目に内挿された画像で、１(ｉ(２である。なお、プロセス効率のために、画像内挿を、予め計算したＰiおよびＩiに対するハッシュ表を用いて実現できる。用いるポイントの数および精度、それらの正確度、ならびに内挿された顔のモデルが、一般的に、結果として得られる画像の品質を決定する。
このように、遠隔ディスプレイにおいて再構成された顔は、学習ステップにおいて検出された表情に対応する画像の部分を集めることによって作成できる。したがって、こうして人間の姿を与えたものは、動画化を命令する人物に対応する特徴を示している。したがって、初期化時、１組のクロッピングされた画像は、追跡された顔の各特徴、および、結果として得られる、各特徴が除去された後の画像としての「顔コンテナ」に対応する。動画化が開始され、前述のように、顔の検知を用いて、送られる特定のタグを生成する。送られたタグと関連する画像部分を選択することによりデコードが生じる。たとえば、「笑っている口」というタグ１４６（図１６）でラベルづけられた口の画像である。
上記のような動的テクスチャ生成を、図１７に示すようなボリュームモーフィングの従来技術と統合した場合に、より進んだレベルで、人間の姿を与えたものを動画化できる。ボリュームモーフィングを行なうために、ノード位置のロケーションを用いてメッシュ１５０の制御ポイントを駆動する。次に、タグを用いて動的に生成されたテクスチャ１５２をメッシュにマッピングし、実物に似た頭の画像１５４を生成する。検知されたノード位置をメッシュの制御ポイントのドライバとして用いる代わりに、タグを用いて局所的モーフィングターゲットを選択する。モーフィングターゲットは、サンプルジェットを収集した対象の、顔の異なる表情およびジェスチャに対して求められた、局所的メッシュ構成である。局所的メッシュジオメトリはステレオ視覚技術によって求めることができる。モーフィングターゲットの使用はさらに、以下の関連団体によって開発されている。（J.R.Kent, W.E.Carlson, R.E.Parent, Shape Transformation for Polyhedral Objects, SIGGRAPH 92 Conference Proceeding, volume 26, pages 47-54, August 1992, Pighin et al, 1998参照）。
視覚に基づき人間の姿を与えたものを動画化することに役立つ拡張は、図１８に示すように正しい唇の動きを合成するために顔の検知を音声解析と統合することである。リップシンク技術は特に、音声の結果として現われる唇の動きを、人物の姿を与えたものにマッピングするのに役立つ。これはまた、視覚に基づく唇の追跡に失敗した場合のバックアップとしても役立つ。
上記は本発明の好ましい実施例を開示しているが、当業者であれば本発明の範囲から逸脱することなく好ましい実施例を種々に変形できることが理解される。本発明は前掲の特許請求の範囲によってのみ規定される。
本発明に従う、人間の姿を与えたものを動画化するシステムおよびプロセスのブロック図である。 図１の人間の姿を与えたものを動画化するシステムおよびプロセスのための、本発明に従う顔の特徴検知装置およびプロセスのブロック図である。 図２の顔の特徴検知装置を実現するためのビデオ画像プロセッサのブロック図である。 図２の顔の特徴検知装置およびシステムのランドマーク発見技術を示すためのフロー図に写真を添付したものである。 本発明に従う、ガボールウェーブレットを用いた顔の画像の処理を示す一連の画像である。 本発明に従う、図５のウェーブレット処理技術を用いた、ジェット、画像グラフおよびバンチグラフの構成を示す、一連のグラフである。 顔の画像を処理するための、本発明に従うモデルグラフの図である。 顔の特徴の場所を求めるためのウェーブレット処理の使用を示す２つの図を含む。 図４のランドマーク発見技術により発見されるランドマークを追跡するための追跡技術を示すフロー図である。 １次元でのランドマーク追跡を示すためのガウス画像ピラミッド技術の図である。 ２つの顔の一連の画像に、５０の一連の画像フレームにわたる顔の特徴の追跡を示した姿勢の角度対フレーム数のグラフを添付したものである。 図２の顔の特徴検知装置およびシステムの姿勢推定技術を示すフロー図に写真を添付したものである。 粗から精へのランドマーク発見技術を示すための、顔を抽出された目および口領域とともに示す概略図である。 図６の弾性バンチグラフ技術を用いた横顔および顔の特徴の抽出を示す写真である。 本発明に従う、タグづけされ個別化されたバンチグラフの生成を示すフロー図とともに、人間の姿を与えたものの動画化のための、人物の種々の表情を含む対応の画像パッチのギャラリーを示したものである。 遠隔場所に送られる画像パッチを用いて人間の姿を与えたものを動画化するための技術を示すフロー図であり、この画像パッチは、人物の現在の顔の表情に関連した顔の検知に基づき、送られたタグに基づいて、遠隔場所で選択される。 顔の特徴の位置およびタグに基づき、動的テクスチャ生成と統合されたボリュームモーフィングを用いて生成された、３次元の頭の画像を与えることを示す、フロー図である。 本発明に従う、人間の姿を与えたものを動画化するシステムのブロック図であり、人間の姿を与えたものの動画化のためのオーディオ解析を含む。
符号の説明
１０ 分身動画化システム。

Claims (19)

  1. 画像フレームのシーケンスに対する顔の特徴検知を行ない、３次元頭モデルを生成する装置であって、
    ウェーブレット変換を用いて各画像フレームを変換し、変換された画像フレームを生成するための手段と、
    モデルグラフのノードを、前記変換された画像フレームのロケーションに初期化するための手段とを含み、各ノードは特徴に特有のウェーブレットジェットに関連し、前記初期化は、前記モデルグラフを前記変換された画像フレームを横切るように動かし、前記モデルグラフを前記変換された画像フレームを横切るように動かす際に求められた前記ノードのウェーブレットジェットと前記変換された画像フレームのロケーションとの間のジェット類似度が最大である前記変換された画像フレームのロケーションに、前記モデルグラフを配置することにより行なわれ、さらに、
    画像フレーム間で前記モデルグラフの１以上のノードのロケーションを追跡するための手段を含み、
    前記装置がさらに、追跡されたノードを、前記追跡されたノードのロケーションが画像フレーム間の予め定められた位置制約を超えてずれた場合に、再初期化するための手段を含み、
    前記再初期化が、バンチグラフマッチングを用いて行なわれ、前記バンチグラフマッチングが、部分バンチグラフを用いて行なわれ、
    前記追跡するための手段は、顔の特性を判断し、
    前記装置はさらに、
    前記判断された顔の特性に基づく３次元頭モデルを生成する手段とを含む、装置。
  2. 前記マッチングは粗から精への方策を用いて行なわれる、請求項１に記載の装置。
  3. 前記初期化するための手段において用いられる前記モデルグラフが、予め定められた姿勢に基づくことを特徴とする、請求項１に記載の装置。
  4. 前記追跡するための手段は、弾性バンチグラフマッチングを用いてノードロケーションを追跡することを特徴とする、請求項１に記載の装置。
  5. 前記追跡するための手段は、線形位置予測を用いて後続の画像フレームのノードロケーションを予測し、前記再初期化するための手段は、前記予測されたノードロケーションからの、予め定められたしきい値ずれよりも大きなずれに基づき、ノードロケーションを再初期化することを特徴とする、請求項１に記載の装置。
  6. 前記予め定められた位置制約が、ノードロケーションの相対的位置に関する幾何学的位置制約に基づくことを特徴とする、請求項１に記載の装置。
  7. 前記ノードロケーションが、人間の姿を与えたものの画像を動画化するために、遠隔場所に送られることを特徴とする、請求項１に記載の装置。
  8. 前記追跡するための手段は、オーディオ信号を発生する口に特有のノードロケーションの動きに関連するオーディオ信号に基づくリップシンクをとることを含むことを特徴とする、請求項１に記載の装置。
  9. 前記追跡するための手段は、ノードロケーションおよび顔の特性を、前記求めた前記顔の特性に基づく顔の特性を備えた人間の姿を与えたものの画像を動画化するために、遠隔場所に送ることを含むことを特徴とする、請求項１に記載の装置。
  10. 前記追跡するための手段において判断される顔の特性が、口が開いているか閉じているかということであることを特徴とする、請求項１に記載の装置。
  11. 前記追跡するための手段において判断される顔の特性が、目が開いているか閉じているかということであることを特徴とする、請求項１に記載の装置。
  12. 前記追跡するための手段において判断される顔の特性が、舌が口の中で見えているかどうかということであることを特徴とする、請求項１に記載の装置。
  13. 前記追跡するための手段において判断される顔の特性が、画像で検出される顔の皺に基づくことを特徴とする、請求項１に記載の装置。
  14. 前記追跡するための手段において判断される顔の特性が、髪の種類に基づくことを特徴とする、請求項１に記載の装置。
  15. 顔の特性各々が、その顔の特性と関連する画像フレームの画像セグメントを識別する画像タグを用いた訓練により関連づけられることを特徴とする、請求項１に記載の装置。
  16. 前記関連する画像タグにより識別される画像セグメントが、人間の姿を与えたものの画像にモーフィングされることを特徴とする、請求項１５に記載の装置。
  17. 前記ノードロケーションおよび特徴タグを用いて、対応する画像セグメントを３次元画像にボリュームモーフィングすることを特徴とする、請求項１５に記載の装置。
  18. 前記モデルグラフは、人間の顔の目立つ特徴に関連する１８のノードを含む、請求項１に記載の装置。
  19. 顔の１８のノードロケーションはそれぞれ、
    右の瞳と、
    左の瞳と、
    鼻の上端と、
    右眉の右隅と、
    右眉の左隅と、
    左眉の左隅と、
    右の鼻孔と、
    鼻尖と、
    左の鼻孔と、
    口の右隅と、
    上唇の中心と、
    口の左隅と、
    下唇の中心と、
    右耳の下部と、
    右耳の上部と、
    左耳の上部と、
    左耳の下部とに関連する、請求項１８に記載の装置。
JP2006329956A 1998-04-13 2006-12-06 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉 Expired - Fee Related JP4177402B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US8161598P 1998-04-13 1998-04-13
US09/188,079 US6272231B1 (en) 1998-11-06 1998-11-06 Wavelet-based facial motion capture for avatar animation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000543930A Division JP3970520B2 (ja) 1998-04-13 1999-04-12 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉

Publications (2)

Publication Number Publication Date
JP2007109255A JP2007109255A (ja) 2007-04-26
JP4177402B2 true JP4177402B2 (ja) 2008-11-05

Family

ID=26765754

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000543930A Expired - Lifetime JP3970520B2 (ja) 1998-04-13 1999-04-12 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉
JP2006329956A Expired - Fee Related JP4177402B2 (ja) 1998-04-13 2006-12-06 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000543930A Expired - Lifetime JP3970520B2 (ja) 1998-04-13 1999-04-12 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉

Country Status (10)

Country Link
US (1) US6580811B2 (ja)
EP (1) EP1072018B1 (ja)
JP (2) JP3970520B2 (ja)
KR (1) KR100530812B1 (ja)
AT (1) ATE248409T1 (ja)
AU (1) AU3639699A (ja)
BR (1) BR9909611B1 (ja)
CA (1) CA2327304A1 (ja)
DE (1) DE69910757T2 (ja)
WO (1) WO1999053443A1 (ja)

Families Citing this family (214)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9909611B1 (pt) 1998-04-13 2012-08-07 mÉtodo e aparelho para detectar caracterÍsticas faciais em uma sequÊncia de quadros de imagem compreendendo uma imagem de um rosto.
DE19837004C1 (de) * 1998-08-14 2000-03-09 Christian Eckes Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen
US6714661B2 (en) 1998-11-06 2004-03-30 Nevengineering, Inc. Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
US7050655B2 (en) * 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
US7050624B2 (en) 1998-12-04 2006-05-23 Nevengineering, Inc. System and method for feature location and tracking in multiple dimensions including depth
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
US6792144B1 (en) 2000-03-03 2004-09-14 Koninklijke Philips Electronics N.V. System and method for locating an object in an image using models
US6948131B1 (en) * 2000-03-08 2005-09-20 Vidiator Enterprises Inc. Communication system and method including rich media tools
US6992665B2 (en) * 2000-03-29 2006-01-31 Minolta Co., Ltd. Method and device for fitting surface to point group, modeling device, and computer program
AU2001281335A1 (en) * 2000-07-24 2002-02-05 Vidiator Enterprises, Inc. Method and system for generating an avatar animation transform using a neutral face image
AU2001277148B2 (en) * 2000-07-24 2007-09-20 Google Llc Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
DE10063402A1 (de) * 2000-12-19 2002-06-20 Dietrich Karl Werner Elektronische Reproduktion eines menschlichen Individuums
US6917703B1 (en) 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US7116330B2 (en) * 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6697072B2 (en) * 2001-03-26 2004-02-24 Intel Corporation Method and system for controlling an avatar using computer vision
US7392287B2 (en) 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
SE0102360D0 (sv) * 2001-07-02 2001-07-02 Smart Eye Ab Method for image analysis
DE50102061D1 (de) * 2001-08-01 2004-05-27 Zn Vision Technologies Ag Hierarchische Bildmodellanpassung
US6876364B2 (en) 2001-08-13 2005-04-05 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US6834115B2 (en) 2001-08-13 2004-12-21 Nevengineering, Inc. Method for optimizing off-line facial feature tracking
US6853379B2 (en) 2001-08-13 2005-02-08 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US7369686B2 (en) 2001-08-23 2008-05-06 Sony Corporation Robot apparatus, face recognition method, and face recognition apparatus
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
JP2005514683A (ja) * 2001-12-06 2005-05-19 ニューヨーク・ユニバーシティ 合成、認識および圧縮のための多モード・データ集団の多重線形表現のための論理装置、データ構造、システムおよび方法
US6831603B2 (en) 2002-03-12 2004-12-14 Menache, Llc Motion tracking system and method
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
DE10226257A1 (de) 2002-06-13 2003-12-24 Bosch Gmbh Robert Verfahren zur Detektion einer Person in einem Raum
WO2004055776A1 (en) 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
US20040152512A1 (en) * 2003-02-05 2004-08-05 Collodi David J. Video game with customizable character appearance
US7009561B2 (en) 2003-03-11 2006-03-07 Menache, Llp Radio frequency motion tracking system and method
JP2004289254A (ja) * 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd テレビ電話端末
US7711155B1 (en) * 2003-04-14 2010-05-04 Videomining Corporation Method and system for enhancing three dimensional face modeling using demographic classification
US7415148B2 (en) * 2003-08-04 2008-08-19 Raytheon Company System and method for detecting anomalous targets including cancerous cells
WO2005020030A2 (en) * 2003-08-22 2005-03-03 University Of Houston Multi-modal face recognition
JP2005100367A (ja) * 2003-09-02 2005-04-14 Fuji Photo Film Co Ltd 画像生成装置、画像生成方法、及び画像生成プログラム
US7203340B2 (en) * 2003-09-03 2007-04-10 National Research Council Of Canada Second order change detection in video
EP1676442A2 (en) 2003-10-24 2006-07-05 Reactrix Systems, Inc. Method and system for managing an interactive video display system
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050163379A1 (en) * 2004-01-28 2005-07-28 Logitech Europe S.A. Use of multimedia data for emoticons in instant messaging
US20050168485A1 (en) * 2004-01-29 2005-08-04 Nattress Thomas G. System for combining a sequence of images with computer-generated 3D graphics
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
TW200620049A (en) * 2004-12-14 2006-06-16 Bextech Inc System and method for processing stream video process
US20060184066A1 (en) * 2005-02-15 2006-08-17 Baylor College Of Medicine Method for aiding stent-assisted coiling of intracranial aneurysms by virtual parent artery reconstruction
JP4645223B2 (ja) * 2005-02-18 2011-03-09 富士通株式会社 顔追跡プログラムおよび顔追跡方法
US8235725B1 (en) 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
EP1693783B1 (en) * 2005-02-21 2009-02-11 Mitsubishi Electric Information Technology Centre Europe B.V. Fast method of object detection by statistical template matching
DE602005012672D1 (de) * 2005-02-21 2009-03-26 Mitsubishi Electric Corp Verfahren zum Detektieren von Gesichtsmerkmalen
NZ561570A (en) 2005-03-16 2010-02-26 Lucasfilm Entertainment Compan Three-dimensional motion capture
US7353034B2 (en) 2005-04-04 2008-04-01 X One, Inc. Location sharing and tracking using mobile phones or other wireless devices
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US8606950B2 (en) * 2005-06-08 2013-12-10 Logitech Europe S.A. System and method for transparently processing multimedia data
US7209577B2 (en) * 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing
CN101052996B (zh) * 2005-08-12 2011-06-15 索尼计算机娱乐公司 面部图像显示设备和方法
US7672504B2 (en) * 2005-09-01 2010-03-02 Childers Edwin M C Method and system for obtaining high resolution 3-D images of moving objects by use of sensor fusion
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
JP4760349B2 (ja) * 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
EP2230627A3 (en) 2006-04-26 2012-03-28 Aware, Inc. Fingerprint preview quality and segmentation
US7961947B2 (en) * 2006-07-28 2011-06-14 Sony Corporation FACS cleaning in motion capture
US7782866B1 (en) 2006-09-29 2010-08-24 Qurio Holdings, Inc. Virtual peer in a peer-to-peer network
US20080166052A1 (en) * 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
JP2008171108A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
US8199152B2 (en) 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US8130225B2 (en) 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US7849420B1 (en) 2007-02-26 2010-12-07 Qurio Holdings, Inc. Interactive content representations enabling content sharing
US7840903B1 (en) 2007-02-26 2010-11-23 Qurio Holdings, Inc. Group content representations
US9098167B1 (en) 2007-02-26 2015-08-04 Qurio Holdings, Inc. Layered visualization of content representations
DE102007010662A1 (de) * 2007-03-02 2008-09-04 Deutsche Telekom Ag Verfahren und Videokommunikationssystem zur Gestik-basierten Echtzeit-Steuerung eines Avatars
DE102007010664A1 (de) * 2007-03-02 2008-09-04 Deutsche Telekom Ag Verfahren und Videokommunikationssystem zur Einspeisung von Avatar-Informationen in einem Videodatenstrom
WO2008123967A1 (en) * 2007-04-02 2008-10-16 Roamware, Inc. System and method for making a face call
US8260266B1 (en) 2007-06-26 2012-09-04 Qurio Holdings, Inc. Method and system for third-party discovery of proximity-based services
US20090037822A1 (en) * 2007-07-31 2009-02-05 Qurio Holdings, Inc. Context-aware shared content representations
US9111285B2 (en) * 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US20090067706A1 (en) * 2007-09-12 2009-03-12 Artec Ventures System and Method for Multiframe Surface Measurement of the Shape of Objects
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
KR102473653B1 (ko) * 2007-09-26 2022-12-02 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
US8261307B1 (en) 2007-10-25 2012-09-04 Qurio Holdings, Inc. Wireless multimedia content brokerage service for real time selective content provisioning
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
KR100896065B1 (ko) * 2007-12-17 2009-05-07 한국전자통신연구원 ３차원 얼굴 표정 애니메이션 생성 방법
JP5004181B2 (ja) * 2008-01-11 2012-08-22 Ｋｄｄｉ株式会社 領域識別装置およびコンテンツ識別装置
US8126858B1 (en) 2008-01-23 2012-02-28 A9.Com, Inc. System and method for delivering content to a communication device in a content delivery system
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8098938B1 (en) 2008-03-17 2012-01-17 Google Inc. Systems and methods for descriptor vector computation
US8233005B2 (en) * 2008-04-24 2012-07-31 International Business Machines Corporation Object size modifications based on avatar distance
US8466931B2 (en) * 2008-04-24 2013-06-18 International Business Machines Corporation Color modification of objects in a virtual universe
US8212809B2 (en) * 2008-04-24 2012-07-03 International Business Machines Corporation Floating transitions
US8259100B2 (en) * 2008-04-24 2012-09-04 International Business Machines Corporation Fixed path transitions
US7953255B2 (en) 2008-05-01 2011-05-31 At&T Intellectual Property I, L.P. Avatars in social interactive television
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8839327B2 (en) * 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
US9015778B2 (en) 2008-06-25 2015-04-21 AT&T Intellectual Property I. LP Apparatus and method for media on demand commentaries
US8990705B2 (en) * 2008-07-01 2015-03-24 International Business Machines Corporation Color modifications of objects in a virtual universe based on user display settings
US8471843B2 (en) * 2008-07-07 2013-06-25 International Business Machines Corporation Geometric and texture modifications of objects in a virtual universe based on real world user characteristics
US8243988B1 (en) 2008-07-31 2012-08-14 Google Inc. Clustering images using an image region graph
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US8225348B2 (en) 2008-09-12 2012-07-17 At&T Intellectual Property I, L.P. Moderated interactive media sessions
US20100070858A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Interactive Media System and Method Using Context-Based Avatar Configuration
US20100094936A1 (en) * 2008-10-15 2010-04-15 Nokia Corporation Dynamic Layering of an Object
US8872832B2 (en) * 2008-12-18 2014-10-28 Digital Domain 3.0, Inc. System and method for mesh stabilization of facial motion capture data
US9142024B2 (en) * 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
US8406507B2 (en) * 2009-01-14 2013-03-26 A9.Com, Inc. Method and system for representing image patches
US20100177117A1 (en) 2009-01-14 2010-07-15 International Business Machines Corporation Contextual templates for modifying objects in a virtual universe
US8649555B1 (en) * 2009-02-18 2014-02-11 Lucasfilm Entertainment Company Ltd. Visual tracking framework
US8738647B2 (en) * 2009-02-18 2014-05-27 A9.Com, Inc. Method and system for image matching
US9276761B2 (en) * 2009-03-04 2016-03-01 At&T Intellectual Property I, L.P. Method and apparatus for group media consumption
US8275623B2 (en) 2009-03-06 2012-09-25 At&T Intellectual Property I, L.P. Method and apparatus for analyzing discussion regarding media programs
US8224042B2 (en) * 2009-03-12 2012-07-17 Seiko Epson Corporation Automatic face recognition
US8442330B2 (en) * 2009-03-31 2013-05-14 Nbcuniversal Media, Llc System and method for automatic landmark labeling with minimal supervision
KR101555347B1 (ko) 2009-04-09 2015-09-24 삼성전자 주식회사 비디오 기반 얼굴 애니메이션 생성 장치 및 방법
US8396287B2 (en) 2009-05-15 2013-03-12 Google Inc. Landmarks from digital photo collections
US8321787B2 (en) 2009-06-30 2012-11-27 International Business Machines Corporation Managing multiple virtual world accounts from a single virtual lobby interface
US8413218B1 (en) * 2009-07-02 2013-04-02 United Services Automobile Association (Usaa) Systems and methods for videophone identity cloaking
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8307308B2 (en) 2009-08-27 2012-11-06 International Business Machines Corporation Updating assets rendered in a virtual world environment based on detected user interactions in another world
KR101615719B1 (ko) 2009-09-18 2016-04-27 삼성전자주식회사 사용자의 3차원 얼굴 표정 추출 방법 및 장치
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8266652B2 (en) * 2009-10-15 2012-09-11 At&T Intellectual Property I, L.P. Apparatus and method for transmitting media content
US9830605B2 (en) * 2009-10-30 2017-11-28 At&T Intellectual Property I, L.P. Apparatus and method for product marketing
US8224756B2 (en) * 2009-11-05 2012-07-17 At&T Intellectual Property I, L.P. Apparatus and method for managing a social network
US8760469B2 (en) 2009-11-06 2014-06-24 At&T Intellectual Property I, L.P. Apparatus and method for managing marketing
US8316303B2 (en) 2009-11-10 2012-11-20 At&T Intellectual Property I, L.P. Method and apparatus for presenting media programs
US9031379B2 (en) * 2009-11-10 2015-05-12 At&T Intellectual Property I, L.P. Apparatus and method for transmitting media content
US10708663B2 (en) 2009-11-13 2020-07-07 At&T Intellectual Property I, L.P. Apparatus and method for media on demand commentaries
US8387088B2 (en) * 2009-11-13 2013-02-26 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US8839306B2 (en) 2009-11-20 2014-09-16 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US9100550B2 (en) 2009-11-20 2015-08-04 At&T Intellectual Property I, L.P. Apparatus and method for managing a social network
US8373741B2 (en) * 2009-11-20 2013-02-12 At&T Intellectual Property I, Lp Apparatus and method for collaborative network in an enterprise setting
US9094726B2 (en) 2009-12-04 2015-07-28 At&T Intellectual Property I, Lp Apparatus and method for tagging media content and managing marketing
US8774527B1 (en) 2009-12-07 2014-07-08 Google Inc. Matching an approximately located query image against a reference image set using cellular base station and wireless access point information
US8238671B1 (en) 2009-12-07 2012-08-07 Google Inc. Scene classification for place recognition
US8189964B2 (en) * 2009-12-07 2012-05-29 Google Inc. Matching an approximately located query image against a reference image set
CN101976330B (zh) * 2010-09-26 2013-08-07 中国科学院深圳先进技术研究院 手势识别方法和系统
US8990199B1 (en) 2010-09-30 2015-03-24 Amazon Technologies, Inc. Content search with category-aware visual similarity
US8422782B1 (en) 2010-09-30 2013-04-16 A9.Com, Inc. Contour detection and image classification
US8463036B1 (en) 2010-09-30 2013-06-11 A9.Com, Inc. Shape-based search of a collection of content
US8682041B2 (en) * 2011-01-28 2014-03-25 Honeywell International Inc. Rendering-based landmark localization from 3D range images
US8509525B1 (en) 2011-04-06 2013-08-13 Google Inc. Clustering of forms from large-scale scanned-document collection
US8937620B1 (en) 2011-04-07 2015-01-20 Google Inc. System and methods for generation and control of story animation
US8913055B2 (en) * 2011-05-31 2014-12-16 Honda Motor Co., Ltd. Online environment mapping
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US8948447B2 (en) 2011-07-12 2015-02-03 Lucasfilm Entertainment Companyy, Ltd. Scale independent tracking pattern
US8564684B2 (en) * 2011-08-17 2013-10-22 Digimarc Corporation Emotional illumination, and related arrangements
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US9508176B2 (en) 2011-11-18 2016-11-29 Lucasfilm Entertainment Company Ltd. Path and speed based character control
CN106961621A (zh) * 2011-12-29 2017-07-18 英特尔公司 使用化身的通信
WO2013138531A1 (en) * 2012-03-14 2013-09-19 Google, Inc. Modifying an appearance of a participant during a video conference
CN107257403A (zh) 2012-04-09 2017-10-17 英特尔公司 使用交互化身的通信
CN102880866B (zh) * 2012-09-29 2014-12-17 宁波大学 一种人脸特征提取方法
US9147275B1 (en) 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
US9330301B1 (en) 2012-11-21 2016-05-03 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9336435B1 (en) 2012-11-21 2016-05-10 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
US9342930B1 (en) 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
US10708545B2 (en) * 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
US9460541B2 (en) 2013-03-29 2016-10-04 Intel Corporation Avatar animation, social networking and touch screen applications
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
US9424598B1 (en) 2013-12-02 2016-08-23 A9.Com, Inc. Visual search in a controlled shopping environment
WO2015154205A1 (en) * 2014-04-11 2015-10-15 Xiaoou Tang Methods and systems for verifying face images based on canonical images
US9792716B2 (en) * 2014-06-13 2017-10-17 Arcsoft Inc. Enhancing video chatting
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
US9665804B2 (en) * 2014-11-12 2017-05-30 Qualcomm Incorporated Systems and methods for tracking an object
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
US10489957B2 (en) * 2015-11-06 2019-11-26 Mursion, Inc. Control system for virtual characters
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
CN114143495A (zh) 2016-01-05 2022-03-04 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
US9892326B2 (en) * 2016-03-31 2018-02-13 International Business Machines Corporation Object detection in crowded scenes using context-driven label propagation
CN114554177A (zh) 2016-05-19 2022-05-27 瑞尔D斯帕克有限责任公司 广角成像定向背光源
US10425635B2 (en) 2016-05-23 2019-09-24 Reald Spark, Llc Wide angle imaging directional backlights
DK179978B1 (en) 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10282530B2 (en) * 2016-10-03 2019-05-07 Microsoft Technology Licensing, Llc Verifying identity based on facial dynamics
US10401638B2 (en) 2017-01-04 2019-09-03 Reald Spark, Llc Optical stack for imaging directional backlights
US10606814B2 (en) 2017-01-18 2020-03-31 Microsoft Technology Licensing, Llc Computer-aided tracking of physical entities
US10482900B2 (en) 2017-01-18 2019-11-19 Microsoft Technology Licensing, Llc Organization of signal segments supporting sensed features
US10635981B2 (en) 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Automated movement orchestration
US10679669B2 (en) 2017-01-18 2020-06-09 Microsoft Technology Licensing, Llc Automatic narration of signal segment
US11094212B2 (en) 2017-01-18 2021-08-17 Microsoft Technology Licensing, Llc Sharing signal segments of physical graph
US10637814B2 (en) 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Communication routing based on physical status
US10437884B2 (en) 2017-01-18 2019-10-08 Microsoft Technology Licensing, Llc Navigation of computer-navigable physical feature graph
CN106770332B (zh) * 2017-02-14 2019-04-16 杭州字节信息技术有限公司 一种基于机器视觉的电子模切料缺陷检测实现方法
US10408992B2 (en) 2017-04-03 2019-09-10 Reald Spark, Llc Segmented imaging directional backlights
KR102435337B1 (ko) 2017-05-16 2022-08-22 애플 인크. 이모지 레코딩 및 전송
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
EP4293574A3 (en) 2017-08-08 2024-04-03 RealD Spark, LLC Adjusting a digital representation of a head region
KR102079378B1 (ko) * 2017-09-26 2020-02-19 고려대학교 산학협력단 영상 복원 방법 및 그 장치
US11109014B2 (en) 2017-11-06 2021-08-31 Reald Spark, Llc Privacy display apparatus
JP7353007B2 (ja) 2018-01-25 2023-09-29 リアルディー スパーク エルエルシー プライバシー表示用タッチスクリーン
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
US11573679B2 (en) * 2018-04-30 2023-02-07 The Trustees of the California State University Integration of user emotions for a smartphone or other communication device environment
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
CN109377563A (zh) * 2018-11-29 2019-02-22 广州市百果园信息技术有限公司 一种人脸网格模型的重建方法、装置、设备和存储介质
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
CN111582203A (zh) * 2020-05-13 2020-08-25 广州云从鼎望科技有限公司 一种图像识别处理方法、系统、设备及介质
US11544931B2 (en) * 2020-05-26 2023-01-03 Otis Elevator Company Machine learning based human activity detection and classification in first and third person videos
AU2021290132C1 (en) 2020-06-08 2024-04-18 Apple Inc. Presenting avatars in three-dimensional environments
US20230143019A1 (en) * 2021-11-10 2023-05-11 Evr Studio Co., Ltd. Method of generating facial expression and three-dimensional (3d) graphic interface device using the same

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59226981A (ja) 1983-06-08 1984-12-20 Fujitsu Ltd パタ−ンマツチング方法および装置
JPS60592A (ja) 1983-06-15 1985-01-05 三菱電機株式会社 いねむり防止装置
US4827413A (en) 1987-06-16 1989-05-02 Kabushiki Kaisha Toshiba Modified back-to-front three dimensional reconstruction algorithm
US4907169A (en) * 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
US5168529A (en) 1988-08-29 1992-12-01 Rayethon Company Confirmed boundary pattern matching
AU7989991A (en) 1990-05-29 1991-12-31 Axiom Innovation Limited Machine vision stereo matching
JPH0771288B2 (ja) 1990-08-24 1995-07-31 神田通信工業株式会社 自動視野調整方法及び装置
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5220441A (en) 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
EP0560779B1 (de) 1990-10-24 1996-06-12 Siemens Aktiengesellschaft Verfahren zur erkennung und schätzung der räumlichen lage von objekten aus einer zweidimensionalen abbildung
US5159647A (en) * 1991-03-04 1992-10-27 David Sarnoff Research Center, Inc. Fast and efficient search method for graphical data
US5680487A (en) 1991-12-23 1997-10-21 Texas Instruments Incorporated System and method for determining optical flow
US5333165A (en) 1992-02-27 1994-07-26 John K. Grady Method and apparatus for three-dimensional video signals
JP3298072B2 (ja) 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5383013A (en) 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
US5550928A (en) 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
JPH06301393A (ja) * 1993-04-13 1994-10-28 Matsushita Electric Ind Co Ltd 音声区間検出装置及び音声認識装置
US5511153A (en) 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
US5581625A (en) 1994-01-31 1996-12-03 International Business Machines Corporation Stereo vision system for counting items in a queue
JP3242529B2 (ja) 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
US5736982A (en) 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
US5699449A (en) 1994-11-14 1997-12-16 The University Of Connecticut Method and apparatus for implementation of neural networks for face recognition
US5714997A (en) 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
JP2840816B2 (ja) * 1995-03-13 1998-12-24 株式会社エイ・ティ・アール通信システム研究所 表情検出装置
US5588033A (en) 1995-06-06 1996-12-24 St. Jude Children's Research Hospital Method and apparatus for three dimensional image reconstruction from multiple stereotactic or isocentric backprojections
US5715325A (en) 1995-08-30 1998-02-03 Siemens Corporate Research, Inc. Apparatus and method for detecting a face in a video image
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5809171A (en) 1996-01-05 1998-09-15 Mcdonnell Douglas Corporation Image processing method and apparatus for correlating a test image with a template
US5764803A (en) 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
GB9610212D0 (en) * 1996-05-16 1996-07-24 Cyberglass Limited Method and apparatus for generating moving characters
US5828769A (en) 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6052123A (en) * 1997-05-14 2000-04-18 International Business Machines Corporation Animation reuse in three dimensional virtual reality
US5995119A (en) * 1997-06-06 1999-11-30 At&T Corp. Method for generating photo-realistic animated characters
US6011562A (en) 1997-08-01 2000-01-04 Avid Technology Inc. Method and system employing an NLE to create and modify 3D animations by mixing and compositing animation data
BR9909611B1 (pt) 1998-04-13 2012-08-07 mÉtodo e aparelho para detectar caracterÍsticas faciais em uma sequÊncia de quadros de imagem compreendendo uma imagem de um rosto.
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images

Also Published As

Publication number Publication date
DE69910757T2 (de) 2004-06-17
JP2002511620A (ja) 2002-04-16
US6580811B2 (en) 2003-06-17
WO1999053443A1 (en) 1999-10-21
JP3970520B2 (ja) 2007-09-05
EP1072018B1 (en) 2003-08-27
KR20010042673A (ko) 2001-05-25
BR9909611A (pt) 2000-12-19
ATE248409T1 (de) 2003-09-15
AU3639699A (en) 1999-11-01
BR9909611B1 (pt) 2012-08-07
CA2327304A1 (en) 1999-10-21
DE69910757D1 (de) 2003-10-02
US20010033675A1 (en) 2001-10-25
KR100530812B1 (ko) 2005-11-28
EP1072018A1 (en) 2001-01-31
JP2007109255A (ja) 2007-04-26

Similar Documents

Publication Publication Date Title
JP4177402B2 (ja) 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉
US6272231B1 (en) Wavelet-based facial motion capture for avatar animation
KR100653288B1 (ko) 비디오 화상으로부터의 얼굴 인식
Noh et al. A survey of facial modeling and animation techniques
Wechsler Reliable Face Recognition Methods: System Design, Impementation and Evaluation
Chai et al. Vision-based control of 3 D facial animation
Pighin et al. Modeling and animating realistic faces from images
Bronstein et al. Calculus of nonrigid surfaces for geometry and texture manipulation
Urtasun et al. Temporal motion models for monocular and multiview 3D human body tracking
EP2689396A1 (en) Method of augmented makeover with 3d face modeling and landmark alignment
WO2021228183A1 (en) Facial re-enactment
Zhi et al. Dual-space nerf: Learning animatable avatars and scene lighting in separate spaces
Fidaleo et al. Classification and volume morphing for performance-driven facial animation
Paier et al. Neural face models for example-based visual speech synthesis
EP1580684B1 (en) Face recognition from video images
Yin et al. 3D face recognition based on high-resolution 3D face modeling from frontal and profile views
Lin et al. Realistic 3D facial animation parameters from mirror-reflected multi-view video
Jian et al. Realistic face animation generation from videos
Liu et al. Deep learning for 3D human pose estimation and mesh recovery: A survey
Kim et al. 3D face modeling based on 3D dense morphable face shape model
AU2004212509B2 (en) Face recognition from video images
Singh et al. Literature Review on Background Subtraction Model for Object Detection
MXPA00010044A (en) Wavelet-based facial motion capture for avatar animation
Xu et al. Three-dimensional animated face modeling from stereo video
Tompkin et al. Authors’ Addresses M. Granados MPI Informatik Campus E14 D-66123 Saarbrücken

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080821

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S631 Written request for registration of reclamation of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313631

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S631 Written request for registration of reclamation of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313631

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees