JPH1186033A - ワイヤフレームトポロジーへの顔面イメージの自動マッピング - Google Patents
ワイヤフレームトポロジーへの顔面イメージの自動マッピングInfo
- Publication number
- JPH1186033A JPH1186033A JP10174138A JP17413898A JPH1186033A JP H1186033 A JPH1186033 A JP H1186033A JP 10174138 A JP10174138 A JP 10174138A JP 17413898 A JP17413898 A JP 17413898A JP H1186033 A JPH1186033 A JP H1186033A
- Authority
- JP
- Japan
- Prior art keywords
- image
- facial
- topology
- face image
- wireframe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013507 mapping Methods 0.000 title claims abstract description 11
- 238000006073 displacement reaction Methods 0.000 claims abstract description 23
- 230000001815 facial effect Effects 0.000 claims description 52
- 239000002131 composite material Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 210000000720 eyelash Anatomy 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 210000000887 face Anatomy 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 顔面のデジタル化されたイメージをワイヤフ
レームへマッピングする方法を提供することである。 【解決手段】 ワイヤフレームは、ラインによって接続
される複数のノードからなる。この方法は、基準顔面イ
メージの複数のピクセルから複数の顔面特徴を検出する
ことを含む。ワイヤフレームトポロジーにおける対応す
る顔面ランドマークノードが決定される。顔面特徴とラ
ンドマークノードとの間の変換が、ワイヤフレームトポ
ロジーを基準顔面イメージへとマッピングするために計
算される。基準顔面イメージおよびターゲット顔面イメ
ージは、境界ボックスを使用してトリミングされる。ト
リミングされた基準顔面イメージは、変位フィールドを
決定するために、トリミングされたターゲット顔面イメ
ージと位置合わせされる。この変位フィールドは、ター
ゲット顔面イメージをワイヤフレームトポロジーへとマ
ッピングするために基準顔面イメージのためのマッピン
グされたワイヤフレームトポロジーへ適用される。
レームへマッピングする方法を提供することである。 【解決手段】 ワイヤフレームは、ラインによって接続
される複数のノードからなる。この方法は、基準顔面イ
メージの複数のピクセルから複数の顔面特徴を検出する
ことを含む。ワイヤフレームトポロジーにおける対応す
る顔面ランドマークノードが決定される。顔面特徴とラ
ンドマークノードとの間の変換が、ワイヤフレームトポ
ロジーを基準顔面イメージへとマッピングするために計
算される。基準顔面イメージおよびターゲット顔面イメ
ージは、境界ボックスを使用してトリミングされる。ト
リミングされた基準顔面イメージは、変位フィールドを
決定するために、トリミングされたターゲット顔面イメ
ージと位置合わせされる。この変位フィールドは、ター
ゲット顔面イメージをワイヤフレームトポロジーへとマ
ッピングするために基準顔面イメージのためのマッピン
グされたワイヤフレームトポロジーへ適用される。
Description
【０００１】
【発明の属する技術分野】本発明は、一般的には、コン
ピュータアニメーションの分野に関するものであり、特
に、実際の、または、合成顔面がワイヤフレームトポロ
ジーへマッピングされるような顔面モデリングの分野に
関するものである。
ピュータアニメーションの分野に関するものであり、特
に、実際の、または、合成顔面がワイヤフレームトポロ
ジーへマッピングされるような顔面モデリングの分野に
関するものである。
【０００２】
【従来の技術】コンピュータアニメーションおよびモデ
リングの技術分野において知られるように、デジタルイ
クイップメントコーポレーションによるデックフェース
（DECface ）ソフトウエアプロダクトは、トーキング合
成顔面アプリケーションである。この合成顔面アプリケ
ーションは、これもまたデジタルイクイップメントコー
ポレーションによるデックトーク（DECtalk)と称される
音声合成器アプリケーションに可視的なものを付加する
ものである。音声合成器のオージオ機能とコンピュータ
発生顔面のグラフィック機能とを組み合わせることによ
り、種々なエンゲージングユーザインターフェイスを開
発することができる。それらの例としては、読み取るた
めのウエブドキュメントを検索することのできるインタ
ーネットベースエージェントや、アバターズフォーチャ
ット（Avatars for Chat）アプリケーションや、キオス
クのためのフロントエンドインターフェイスがある。
リングの技術分野において知られるように、デジタルイ
クイップメントコーポレーションによるデックフェース
（DECface ）ソフトウエアプロダクトは、トーキング合
成顔面アプリケーションである。この合成顔面アプリケ
ーションは、これもまたデジタルイクイップメントコー
ポレーションによるデックトーク（DECtalk)と称される
音声合成器アプリケーションに可視的なものを付加する
ものである。音声合成器のオージオ機能とコンピュータ
発生顔面のグラフィック機能とを組み合わせることによ
り、種々なエンゲージングユーザインターフェイスを開
発することができる。それらの例としては、読み取るた
めのウエブドキュメントを検索することのできるインタ
ーネットベースエージェントや、アバターズフォーチャ
ット（Avatars for Chat）アプリケーションや、キオス
クのためのフロントエンドインターフェイスがある。
【０００３】デックフェースアプリケーションは、実時
間リップ同期合成顔面を必要とするアプリケーションの
開発を容易とするソフトウエアで実施されるシステムで
ある。デックフェースの最初のバージョンは、デジタル
ユニックスの下で動作し、表示のためにＸウインドウシ
ステムを使用する。デックフェース顔面アプリケーショ
ンの現在のバージョンは、Ｗ３２ ＮＴまたはウインド
ウズ９５オペレーティングシステムの下で機能し、プラ
グインとしてウエブブラウザーズへ埋め込まれ得る。
間リップ同期合成顔面を必要とするアプリケーションの
開発を容易とするソフトウエアで実施されるシステムで
ある。デックフェースの最初のバージョンは、デジタル
ユニックスの下で動作し、表示のためにＸウインドウシ
ステムを使用する。デックフェース顔面アプリケーショ
ンの現在のバージョンは、Ｗ３２ ＮＴまたはウインド
ウズ９５オペレーティングシステムの下で機能し、プラ
グインとしてウエブブラウザーズへ埋め込まれ得る。
【０００４】デックフェースアプリケーションの構成部
分のうちの１つは、顔面モデリングである。顔面モデリ
ングにおいては、ある顔面の合成または実際のイメージ
が、ある顔面の等高線および特徴に対して形付けられた
ワイヤフレームトポロジーへとマッピングされ得る。ワ
イヤフレームトポロジーは、アークやラインによって接
続される複数のノードを含む。顔面は、人や、動物や、
漫画キャラクタのものであり得る。従来の技術において
は、顔面モデリングのプロセスは、一般的には手動的に
行われ、労力と時間の掛かるものであった。何故なら
ば、ワイヤフレームのすべてのノードを対応する顔面特
徴へと手動的にマッピングしていたからである。
分のうちの１つは、顔面モデリングである。顔面モデリ
ングにおいては、ある顔面の合成または実際のイメージ
が、ある顔面の等高線および特徴に対して形付けられた
ワイヤフレームトポロジーへとマッピングされ得る。ワ
イヤフレームトポロジーは、アークやラインによって接
続される複数のノードを含む。顔面は、人や、動物や、
漫画キャラクタのものであり得る。従来の技術において
は、顔面モデリングのプロセスは、一般的には手動的に
行われ、労力と時間の掛かるものであった。何故なら
ば、ワイヤフレームのすべてのノードを対応する顔面特
徴へと手動的にマッピングしていたからである。
【０００５】完全に手動的なプロセスにおいては、顔面
のイメージが表示され、ワイヤフレームトポロジーが大
雑把にそのイメージに対して位置決めされる。それか
ら、ユーザは、そのワイヤフレームの個々のノードにつ
いて、そのノードの２次元的位置を、その顔面の対応す
る特徴に一致するように再配置する。
のイメージが表示され、ワイヤフレームトポロジーが大
雑把にそのイメージに対して位置決めされる。それか
ら、ユーザは、そのワイヤフレームの個々のノードにつ
いて、そのノードの２次元的位置を、その顔面の対応す
る特徴に一致するように再配置する。
【０００６】ワイヤフレームを顔面のイメージへマッピ
ングするための幾つかの自動化技法が知られている。こ
の種の１つの方法としては、テンプレートとして固有特
徴を使用して、目や、鼻の頂部や、口を自動的に検出す
ることによるものがある。それから、ワイヤフレームト
ポロジーは、検出された顔面特徴の位置に基づくアフィ
ンワーピングによって初期化される。しかしながら、こ
のような型のグローバル変換は、一般的には、近似であ
る。何故ならば、異なる顔面における顔面特徴の比率
は、線形的には変化しないからである。
ングするための幾つかの自動化技法が知られている。こ
の種の１つの方法としては、テンプレートとして固有特
徴を使用して、目や、鼻の頂部や、口を自動的に検出す
ることによるものがある。それから、ワイヤフレームト
ポロジーは、検出された顔面特徴の位置に基づくアフィ
ンワーピングによって初期化される。しかしながら、こ
のような型のグローバル変換は、一般的には、近似であ
る。何故ならば、異なる顔面における顔面特徴の比率
は、線形的には変化しないからである。
【０００７】顔面特徴をワイヤフレームへマッピングす
る別の方法として、眉毛の中心および口の隅の如き顔面
特徴を手動的に識別していくものがある。さらに、この
方法は、顔面のイメージされた特徴に対するノードの相
対的位置を計算する間に明確な接続情報を記憶していく
必要がある。
る別の方法として、眉毛の中心および口の隅の如き顔面
特徴を手動的に識別していくものがある。さらに、この
方法は、顔面のイメージされた特徴に対するノードの相
対的位置を計算する間に明確な接続情報を記憶していく
必要がある。
【０００８】顔面をワイヤトポロジーへとマッピングす
るための初期の半自動方法においては、目および口の位
置が自動的に検出される。顔面の等高線は、エッジ検出
を使用して探索される。これらの顔面特徴は、それか
ら、ワイヤフレームのノードへとマッピングされ、それ
らノードの変位が、手動的プロセスにて微調整される。
るための初期の半自動方法においては、目および口の位
置が自動的に検出される。顔面の等高線は、エッジ検出
を使用して探索される。これらの顔面特徴は、それか
ら、ワイヤフレームのノードへとマッピングされ、それ
らノードの変位が、手動的プロセスにて微調整される。
【０００９】顔面の任意の正面イメージを完全に自動化
されたプロセスにて正確にマッピングすることが要望さ
れている。このようなプロセスを完全に自動化すること
により、イメージのマッピングに必要とされる時間を短
縮することができる。
されたプロセスにて正確にマッピングすることが要望さ
れている。このようなプロセスを完全に自動化すること
により、イメージのマッピングに必要とされる時間を短
縮することができる。
【００１０】
【発明の概要】本発明によれば、顔面のデジタル化され
たイメージをコンピュータシステムのメモリに記憶され
たワイヤフレームトポロジーへマッピングするコンピュ
ータ化された方法が提供される。このイメージは、規則
的パターンに配列された複数のピクセルからなるのが好
ましい。ワイヤフレームは、ラインによって接続される
複数のノードからなる。
たイメージをコンピュータシステムのメモリに記憶され
たワイヤフレームトポロジーへマッピングするコンピュ
ータ化された方法が提供される。このイメージは、規則
的パターンに配列された複数のピクセルからなるのが好
ましい。ワイヤフレームは、ラインによって接続される
複数のノードからなる。
【００１１】本発明は、広義においては、顔面のデジタ
ル化されたイメージをメモリに記憶されたワイヤフレー
ムトポロジーへとマッピングするためのコンピュータ化
された方法にある。後述するように、複数の顕著な顔面
特徴が、基準顔面イメージの複数のピクセルから検出さ
れる。対応するランドマークノードがワイヤフレームト
ポロジーに配置される。検出された顔面特徴とランドマ
ークノードとの位置の間の差の変換により、基準顔面イ
メージのための基準ワイヤフレームトポロジーが発生さ
れる。基準イメージおよびターゲットイメージは、固有
でない顔面特徴を除去するために、顕著な顔面特徴を取
り巻く境界ボックスによってトリミングされる。トリミ
ングされたイメージは、変位フィールドを決定するため
に互いに位置合せされる。それから、その変位フィール
ドが、ターゲット顔面イメージをワイヤフレームトポロ
ジーへと自動的にマッピングするために、基準ワイヤフ
レームトポロジーに対して適用される。
ル化されたイメージをメモリに記憶されたワイヤフレー
ムトポロジーへとマッピングするためのコンピュータ化
された方法にある。後述するように、複数の顕著な顔面
特徴が、基準顔面イメージの複数のピクセルから検出さ
れる。対応するランドマークノードがワイヤフレームト
ポロジーに配置される。検出された顔面特徴とランドマ
ークノードとの位置の間の差の変換により、基準顔面イ
メージのための基準ワイヤフレームトポロジーが発生さ
れる。基準イメージおよびターゲットイメージは、固有
でない顔面特徴を除去するために、顕著な顔面特徴を取
り巻く境界ボックスによってトリミングされる。トリミ
ングされたイメージは、変位フィールドを決定するため
に互いに位置合せされる。それから、その変位フィール
ドが、ターゲット顔面イメージをワイヤフレームトポロ
ジーへと自動的にマッピングするために、基準ワイヤフ
レームトポロジーに対して適用される。
【００１２】ターゲット顔面イメージのあるイメージ
が、変位フィールドを決定するために、スプラインベー
スイメージレジストレーションを使用して基準顔面イメ
ージに対して位置合せされると効果的である。
が、変位フィールドを決定するために、スプラインベー
スイメージレジストレーションを使用して基準顔面イメ
ージに対して位置合せされると効果的である。
【００１３】
【発明の実施の形態】次に、添付図面に基づいて、本発
明の実施例について、本発明をより詳細に説明する。
明の実施例について、本発明をより詳細に説明する。
【００１４】図１は、本発明の原理を使用したイメージ
処理システム１００を示している。このシステム１００
は、バス１４０によって接続されたプロセッサ１１０、
メモリ１２０および入力／出力インターフェイス（Ｉ／
Ｏ）１３０を含む。入力装置１３１は、カメラまたは走
査装置の如き、デジタルイメージをコンピュータシステ
ム１００へ与えうる任意の装置であってよい。図１にお
いては、システム１００は、ディスプレイ装置１３２に
接続されている。
処理システム１００を示している。このシステム１００
は、バス１４０によって接続されたプロセッサ１１０、
メモリ１２０および入力／出力インターフェイス（Ｉ／
Ｏ）１３０を含む。入力装置１３１は、カメラまたは走
査装置の如き、デジタルイメージをコンピュータシステ
ム１００へ与えうる任意の装置であってよい。図１にお
いては、システム１００は、ディスプレイ装置１３２に
接続されている。
【００１５】動作中に、システム１００は、顔面１３３
のイメージをデジタル化しうる。これらイメージは、Ｉ
／Ｏ装置１３０によって受け取られ、メモリ１２０に記
憶される。メモリ１２０は、顔面ワイヤフレームトポロ
ジーも記憶している。
のイメージをデジタル化しうる。これらイメージは、Ｉ
／Ｏ装置１３０によって受け取られ、メモリ１２０に記
憶される。メモリ１２０は、顔面ワイヤフレームトポロ
ジーも記憶している。
【００１６】図２は、イメージ１３３がマッピングされ
うる一例としてのワイヤフレームトポロジー２００を示
している。このワイヤフレームトポロジー２００におい
ては、ライン２１０の交点は、ノード２２０と称され
る。顔面の目、口、あごおよび縁に対応する一般的領域
においては、それらノード２２０は、より高いレベルの
精細度を与えるために緊密に配置される。
うる一例としてのワイヤフレームトポロジー２００を示
している。このワイヤフレームトポロジー２００におい
ては、ライン２１０の交点は、ノード２２０と称され
る。顔面の目、口、あごおよび縁に対応する一般的領域
においては、それらノード２２０は、より高いレベルの
精細度を与えるために緊密に配置される。
【００１７】計算の複雑性を減少させるために、ワイヤ
フレームトポロジー２００は、顔面の完全正面図に対応
する単純な２次元（２Ｄ）図形まで簡単化される。正面
図で十分である。何故ならば、ほとんどの部分について
は、対話は、対面して行われる傾向にあり、したがっ
て、特定の顔面特徴の深度はあまり重要でないからであ
る。
フレームトポロジー２００は、顔面の完全正面図に対応
する単純な２次元（２Ｄ）図形まで簡単化される。正面
図で十分である。何故ならば、ほとんどの部分について
は、対話は、対面して行われる傾向にあり、したがっ
て、特定の顔面特徴の深度はあまり重要でないからであ
る。
【００１８】図２のワイヤフレームにおいては、ポリゴ
ンが、顕著な顔面特徴を表している。あごに対応するノ
ードは、口の隅からの変位の関数として垂直に移動され
うる。下方歯に対応するノードは、あごに対応するノー
ドと共に変位される。上方まぶたは、ノードの二重セッ
トによって表され、それらノードが移動するとき、上方
まぶたが閉じるようなものとされている。ワイヤフレー
ムトポロジー２００は、任意の顔面イメージとも一致す
るように自動的にマッピングされうる。
ンが、顕著な顔面特徴を表している。あごに対応するノ
ードは、口の隅からの変位の関数として垂直に移動され
うる。下方歯に対応するノードは、あごに対応するノー
ドと共に変位される。上方まぶたは、ノードの二重セッ
トによって表され、それらノードが移動するとき、上方
まぶたが閉じるようなものとされている。ワイヤフレー
ムトポロジー２００は、任意の顔面イメージとも一致す
るように自動的にマッピングされうる。
【００１９】図３Ａから図３Ｅに示されるように、マッ
ピングは、複合基準顔面イメージとも称される顔面の基
準イメージの発生から開始される。例えば、図３Ａの基
準イメージ３００は、図３Ａから図３Ｅの顔面イメージ
３０１−３０４の複合イメージである。基準イメージ３
００は、任意の数の実際または合成顔面イメージを使用
して発生されうる。複合イメージ３００を使用すること
により、共通の特徴が平均化され得て、特定のターゲッ
ト顔面イメージとの整合を容易とすることができる。
ピングは、複合基準顔面イメージとも称される顔面の基
準イメージの発生から開始される。例えば、図３Ａの基
準イメージ３００は、図３Ａから図３Ｅの顔面イメージ
３０１−３０４の複合イメージである。基準イメージ３
００は、任意の数の実際または合成顔面イメージを使用
して発生されうる。複合イメージ３００を使用すること
により、共通の特徴が平均化され得て、特定のターゲッ
ト顔面イメージとの整合を容易とすることができる。
【００２０】好ましい実施例では、複合イメージ３００
は、イメージ３０１−３０４における対応する特徴を拾
い出し、「Using the Snappy Video Snapshot, by R. B
lackwell, Play, Inc., 1992」に説明されているような
ソフトウエアパッケージを使用してこれら特徴をモーフ
ィングすることによって発生される。
は、イメージ３０１−３０４における対応する特徴を拾
い出し、「Using the Snappy Video Snapshot, by R. B
lackwell, Play, Inc., 1992」に説明されているような
ソフトウエアパッケージを使用してこれら特徴をモーフ
ィングすることによって発生される。
【００２１】図４は、顔面イメージを図２のワイヤフレ
ームトポロジー２００へマッピングするためのステップ
４００を示している。近似した人の顔面部分を記述した
人体測定データが、目、口およびまゆげのための探索を
開始するのに使用されうる。ステップ４１０において、
目の位置が、テンプレートマッチングまたは固有特徴技
法の如きいくつかの技法のうちの一つを使用して決定さ
れうる。ステップ４２０および４３０において、口およ
びまゆげの位置は、また、テンプレートマッチングまた
は固有特徴技法またはライン検出にて決定されうる。目
および口の位置は、グローバルアフィン変換、すなわ
ち、ｘ方向およびｙ方向の両方におけるグローバルシフ
トおよびスケーリングを計算するのに使用される。この
シフトは、基準イメージ３００をワイヤフレームトポロ
ジー２００へとマッピングして、基準ワイヤフレームト
ポロジーを発生するのに使用されうる。
ームトポロジー２００へマッピングするためのステップ
４００を示している。近似した人の顔面部分を記述した
人体測定データが、目、口およびまゆげのための探索を
開始するのに使用されうる。ステップ４１０において、
目の位置が、テンプレートマッチングまたは固有特徴技
法の如きいくつかの技法のうちの一つを使用して決定さ
れうる。ステップ４２０および４３０において、口およ
びまゆげの位置は、また、テンプレートマッチングまた
は固有特徴技法またはライン検出にて決定されうる。目
および口の位置は、グローバルアフィン変換、すなわ
ち、ｘ方向およびｙ方向の両方におけるグローバルシフ
トおよびスケーリングを計算するのに使用される。この
シフトは、基準イメージ３００をワイヤフレームトポロ
ジー２００へとマッピングして、基準ワイヤフレームト
ポロジーを発生するのに使用されうる。
【００２２】図５に示すように、目５１０、口５２０お
よびまゆげ５３０がステップ４１０、４２０および４３
０にて探索された後、境界ボックス５００が、図４のス
テップ４４０にて決定される。この境界ボックス５００
は、ステップ４５０において顔面イメージをトリミング
するのに使用される。このトリミングステップは、顔面
が異なる毎に大きく変化しうる背景、髪の毛およびあご
の如き複雑な特徴を除去するために行われる。
よびまゆげ５３０がステップ４１０、４２０および４３
０にて探索された後、境界ボックス５００が、図４のス
テップ４４０にて決定される。この境界ボックス５００
は、ステップ４５０において顔面イメージをトリミング
するのに使用される。このトリミングステップは、顔面
が異なる毎に大きく変化しうる背景、髪の毛およびあご
の如き複雑な特徴を除去するために行われる。
【００２３】境界ボックス５００は、所定の縁内に探索
された顔面特徴を包囲する最小の矩形ボックスである。
好ましい実施例においては、境界ボックス５００は、ま
ゆげ、目および口の外側隅から２０個のピクセルのとこ
ろにある。トリミングにより、顔面イメージの位置合
せ、すなわち、次のステップをより確実なものとするこ
とができる。
された顔面特徴を包囲する最小の矩形ボックスである。
好ましい実施例においては、境界ボックス５００は、ま
ゆげ、目および口の外側隅から２０個のピクセルのとこ
ろにある。トリミングにより、顔面イメージの位置合
せ、すなわち、次のステップをより確実なものとするこ
とができる。
【００２４】トリミングの後に残された顔面イメージの
部分は、ステップ４６０において、コントラストを高め
るためにイメージ等化される。この等化されたイメージ
は、標準のイメージサイズ、例えば、２００×２００ピ
クセルへとリサイズされる。このリサイジングにより、
イメージ位置合せステップは、同じサイズのイメージに
てオペレーティングすることができる。
部分は、ステップ４６０において、コントラストを高め
るためにイメージ等化される。この等化されたイメージ
は、標準のイメージサイズ、例えば、２００×２００ピ
クセルへとリサイズされる。このリサイジングにより、
イメージ位置合せステップは、同じサイズのイメージに
てオペレーティングすることができる。
【００２５】図６に示されるように、ステップ４００
は、複合基準顔面イメージ３００およびワイヤフレーム
トポロジー２００へマッピングされるべきターゲット顔
面イメージ６００に対して行われる。等化されトリミン
グされたイメージ３１０および６１０は、イメージ位置
合せステップ４７０によって比較される。ステップ４７
０は、トリミングされた基準イメージおよびターゲット
イメージの間のワーピングされたイメージ強度差を最小
とする。図６に示されるように、イメージ位置合せによ
り、変位フィールド６２０が発生される。この変位フィ
ールド６２０は、複合基準顔面イメージ３００へマッピ
ングされた基準ワイヤフレームトポロジーのノードをリ
ロケートして、それらのノードがターゲット顔面イメー
ジ６００の顕著な顔面特徴と整列されるようにするのに
使用されうる。
は、複合基準顔面イメージ３００およびワイヤフレーム
トポロジー２００へマッピングされるべきターゲット顔
面イメージ６００に対して行われる。等化されトリミン
グされたイメージ３１０および６１０は、イメージ位置
合せステップ４７０によって比較される。ステップ４７
０は、トリミングされた基準イメージおよびターゲット
イメージの間のワーピングされたイメージ強度差を最小
とする。図６に示されるように、イメージ位置合せによ
り、変位フィールド６２０が発生される。この変位フィ
ールド６２０は、複合基準顔面イメージ３００へマッピ
ングされた基準ワイヤフレームトポロジーのノードをリ
ロケートして、それらのノードがターゲット顔面イメー
ジ６００の顕著な顔面特徴と整列されるようにするのに
使用されうる。
【００２６】本発明の好ましい実施例においては、変位
フィールド６２０を決定するのに、スプラインベースイ
メージ位置合せが使用される。これについては、１９９
７年３月１１日にSzeliski氏に対して発行され、デジタ
ルイクイップメントコーポレーションへ譲渡された米国
特許第５６１１０００号「Spline-Based Image Registo
ration」に説明されている。２イメージの場合には、ス
プラインベースイメージ位置合せにより、基準イメージ
３００とターゲットイメージ６００との間の強度差を最
小とするように変位フィールド６２０を決定するための
一般的イメージ位置合せ問題が解決される。このような
最小化問題は、典型的には、多くの局部的最適解を有し
ている。しかしながら、顔面特徴をマッチングするため
の前のステップ４１０、４２０および４３０により、誤
った位置合せが生ずる可能性を減ずることができる。
フィールド６２０を決定するのに、スプラインベースイ
メージ位置合せが使用される。これについては、１９９
７年３月１１日にSzeliski氏に対して発行され、デジタ
ルイクイップメントコーポレーションへ譲渡された米国
特許第５６１１０００号「Spline-Based Image Registo
ration」に説明されている。２イメージの場合には、ス
プラインベースイメージ位置合せにより、基準イメージ
３００とターゲットイメージ６００との間の強度差を最
小とするように変位フィールド６２０を決定するための
一般的イメージ位置合せ問題が解決される。このような
最小化問題は、典型的には、多くの局部的最適解を有し
ている。しかしながら、顔面特徴をマッチングするため
の前のステップ４１０、４２０および４３０により、誤
った位置合せが生ずる可能性を減ずることができる。
【００２７】図７に示すように、ピクセル変位
｛（ｕi ，ｖi ）｝は、プラス（＋）７０１として示さ
れており、スプラインコントロール頂点｛（Ｕi ，
Ｖi ）｝は、サークル（○）７０２として示されてい
る。ここで、１６個の変位フィールドｕ（ｘ，ｙ）およ
びｖ（ｘ，ｙ）７０１が、より少ない数（４個）の粗い
変位推定ＵiおよびＶi によって制御される。１つのピ
クセルｉの変位のための値は、次のように表される。
｛（ｕi ，ｖi ）｝は、プラス（＋）７０１として示さ
れており、スプラインコントロール頂点｛（Ｕi ，
Ｖi ）｝は、サークル（○）７０２として示されてい
る。ここで、１６個の変位フィールドｕ（ｘ，ｙ）およ
びｖ（ｘ，ｙ）７０１が、より少ない数（４個）の粗い
変位推定ＵiおよびＶi によって制御される。１つのピ
クセルｉの変位のための値は、次のように表される。
【数１】 これは、ｕi ＝Σj Ｕj ｗijとしても表される。ここ
で、Ｂj （ｘi ，ｙi ）は、基本関数と称され、ある小
さな間隔に亘って単に非零であり、ｗij＝Ｂj （ｘi ，
ｙi ）は、（ｕi ，ｖi ）が（Ｕi ，Ｖi ）の線形組合
せとして知られることを強調するためのスプラインの重
みと称される。この好ましい実施例では、基本関数は、
互いに空間的にシフトされたバージョンであり、すなわ
ち、Ｂj （ｘi ，ｙi ）＝Ｂ（ｘ− Ｘj ，ｙ−Ｙi ）
である。さらに、Ｂj （ｘi ，ｙi ）によって取られる
形は、単純補間関数の形である。
で、Ｂj （ｘi ，ｙi ）は、基本関数と称され、ある小
さな間隔に亘って単に非零であり、ｗij＝Ｂj （ｘi ，
ｙi ）は、（ｕi ，ｖi ）が（Ｕi ，Ｖi ）の線形組合
せとして知られることを強調するためのスプラインの重
みと称される。この好ましい実施例では、基本関数は、
互いに空間的にシフトされたバージョンであり、すなわ
ち、Ｂj （ｘi ，ｙi ）＝Ｂ（ｘ− Ｘj ，ｙ−Ｙi ）
である。さらに、Ｂj （ｘi ，ｙi ）によって取られる
形は、単純補間関数の形である。
【００２８】スプライン頂点（Ｕ，Ｖ）の変位を対話的
に決定するために、リーベンバーク−マルクワット（Le
venberg-Marquadt）アルゴリズムを使用することができ
る。大きな変位を取り扱うために、このアルゴリズム
は、粗−微（階層的）手法にて実行されうる。
に決定するために、リーベンバーク−マルクワット（Le
venberg-Marquadt）アルゴリズムを使用することができ
る。大きな変位を取り扱うために、このアルゴリズム
は、粗−微（階層的）手法にて実行されうる。
【００２９】本発明の好ましい実施例について説明して
きたのであるが、当業者には、この概念を組み込んだ他
の実施例が可能であることは明らかであろう。したがっ
て、本発明の範囲は、ここに説明した実施例に限定され
るものではない。
きたのであるが、当業者には、この概念を組み込んだ他
の実施例が可能であることは明らかであろう。したがっ
て、本発明の範囲は、ここに説明した実施例に限定され
るものではない。
【図１】本発明を使用するコンピュータシステムのブロ
ック図である。
ック図である。
【図２】ワイヤフレームトポロジーを示す図である。
【図３Ａ】基準顔面のイメージを示す図である。
【図３Ｂ】図３Ａの基準顔面を発生するのに使用される
顔面のイメージを示す図である。
顔面のイメージを示す図である。
【図３Ｃ】図３Ａの基準顔面を発生するのに使用される
顔面のイメージを示す図である。
顔面のイメージを示す図である。
【図３Ｄ】図３Ａの基準顔面を発生するのに使用される
顔面のイメージを示す図である。
顔面のイメージを示す図である。
【図３Ｅ】図３Ａの基準顔面を発生するのに使用される
顔面のイメージを示す図である。
顔面のイメージを示す図である。
【図４】本発明の原理によるフローチャートを示す図で
ある。
ある。
【図５】トリミングされた顔面を示す図である。
【図６】２つのトリミングされたイメージを整合させる
ためのフローチャートを示す図である。
ためのフローチャートを示す図である。
【図７】ピクセルグリッドに重ね合わされたスプライン
コントロール頂点を示す図である。
コントロール頂点を示す図である。
１００ イメージ処理システム １１０ プロセッサ １２０ メモリ １３０ 入力／出力装置 １３１ 入力装置 １３２ ディスプレイ装置 １３３ 顔面 １４０ バス ２００ ワイヤフレームトポロジー ２１０ ライン ２２０ ノード ３００ 基準イメージ ３０１ 顔面イメージ ３０２ 顔面イメージ ３０３ 顔面イメージ ３０４ 顔面イメージ ３１０ 等化されトリミングされたイメージ ５００ 境界ボックス ５１０ 目 ５２０ 口 ５３０ まゆげ ６００ ターゲット顔面イメージ ６１０ 等化されトリミングされたイメージ ６２０ 変位フィールド
───────────────────────────────────────────────────── フロントページの続き (72)発明者 キース ウォーターズ アメリカ合衆国 マサチューセッツ州 02165ウェスト ニュートン イーデン アベニュー 11
Claims (7)
- 【請求項１】 顔面のデジタル化されたイメージを、顔
面ランドマークノードを含みコンピュータシステムのメ
モリに記憶されたワイヤフレームトポロジーへとマッピ
ングするためのコンピュータ化された方法であって、前
記イメージは、規則的パターンに配列された複数のピク
セルからなり、前記ワイヤフレームトポロジーは、ライ
ンによって接続された複数のノードからなるような方法
において、 基準顔面イメージの複数のピクセルから複数の顔面特徴
を検出し、 前記検出された顔面特徴に対応するワイヤフレームトポ
ロジーにおける複数の顔面ランドマークノードを識別
し、 前記顔面特徴と前記ランドマークノードとの間の変換を
計算し、 前記基準顔面イメージのための基準ワイヤフレームトポ
ロジーを発生するために前記変換を前記ワイヤフレーム
トポロジーへ適用し、 境界ボックスを使用して前記基準顔面イメージをトリミ
ングし、 前記境界ボックスを使用してターゲット顔面イメージを
トリミングし、 変位フィールドを決定するために前記トリミングされた
基準顔面イメージを前記トリミングされたターゲット顔
面イメージと位置合せし、 前記ターゲット顔面イメージを前記ワイヤフレームトポ
ロジーへとマッピングするために前記変位フィールドを
前記基準ワイヤフレームトポロジーに適用する、ことを
特徴とする方法。 - 【請求項２】 前記複数の顔面特徴を決定するステップ
は、目、口およびまゆげの位置を決定することを含む請
求項１記載の方法。 - 【請求項３】 前記基準顔面イメージは、複数の顔面イ
メージの複合であり、前記ターゲット顔面イメージは、
前記複合基準顔面イメージと位置合わせされる請求項１
記載の方法。 - 【請求項４】 前記トリミングされた顔面イメージは、
スプラインベースイメージ位置合せを使用して位置合せ
される請求項３記載の方法。 - 【請求項５】 前記変換は、グローバルアフィン変換で
ある請求項１記載の方法。 - 【請求項６】 前記グローバルアフィン変換は、ｘ方向
およびｙ方向におけるピクセルのシフティングおよびス
ケーリングである請求項１記載の方法。 - 【請求項７】 前記変位フィールドは、スプラインコン
トロール頂点の変位として表される請求項４記載の方
法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/870,480 US6016148A (en) | 1997-06-06 | 1997-06-06 | Automated mapping of facial images to animation wireframes topologies |
| US08/870480 | 1997-06-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1186033A true JPH1186033A (ja) | 1999-03-30 |
Family
ID=25355475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10174138A Pending JPH1186033A (ja) | 1997-06-06 | 1998-06-05 | ワイヤフレームトポロジーへの顔面イメージの自動マッピング |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6016148A (ja) |
| EP (1) | EP0883088A3 (ja) |
| JP (1) | JPH1186033A (ja) |
| CA (1) | CA2239676A1 (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9811695D0 (en) * | 1998-06-01 | 1998-07-29 | Tricorder Technology Plc | Facial image processing method and apparatus |
| US6606398B2 (en) * | 1998-09-30 | 2003-08-12 | Intel Corporation | Automatic cataloging of people in digital photographs |
| US6437808B1 (en) * | 1999-02-02 | 2002-08-20 | Texas Instruments Incorporated | Apparatus and method for transmitting graphical representations |
| US6573889B1 (en) * | 1999-02-08 | 2003-06-03 | Adobe Systems Incorporated | Analytic warping |
| JP3639475B2 (ja) * | 1999-10-04 | 2005-04-20 | シャープ株式会社 | ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体 |
| US6539354B1 (en) | 2000-03-24 | 2003-03-25 | Fluent Speech Technologies, Inc. | Methods and devices for producing and using synthetic visual speech based on natural coarticulation |
| US6597736B1 (en) * | 2000-03-29 | 2003-07-22 | Cisco Technology, Inc. | Throughput enhanced video communication |
| US6967658B2 (en) * | 2000-06-22 | 2005-11-22 | Auckland Uniservices Limited | Non-linear morphing of faces and their dynamics |
| TW517210B (en) * | 2000-08-31 | 2003-01-11 | Bextech Inc | A method for generating speaking expression variation without distortion in 2D picture using polygon computation |
| US20020035458A1 (en) * | 2000-09-20 | 2002-03-21 | Chang-Hun Kim | Method and system for virtual surgery |
| US6664956B1 (en) | 2000-10-12 | 2003-12-16 | Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. | Method for generating a personalized 3-D face model |
| US6731287B1 (en) | 2000-10-12 | 2004-05-04 | Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A.S. | Method for animating a 3-D model of a face |
| US7127081B1 (en) * | 2000-10-12 | 2006-10-24 | Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. | Method for tracking motion of a face |
| US20030069732A1 (en) * | 2001-10-09 | 2003-04-10 | Eastman Kodak Company | Method for creating a personalized animated storyteller for audibilizing content |
| US6816159B2 (en) | 2001-12-10 | 2004-11-09 | Christine M. Solazzi | Incorporating a personalized wireframe image in a computer software application |
| KR100459892B1 (ko) * | 2001-12-13 | 2004-12-03 | 삼성전자주식회사 | 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치 |
| US20040052418A1 (en) * | 2002-04-05 | 2004-03-18 | Bruno Delean | Method and apparatus for probabilistic image analysis |
| US7369685B2 (en) * | 2002-04-05 | 2008-05-06 | Identix Corporation | Vision-based operating method and system |
| US7020347B2 (en) * | 2002-04-18 | 2006-03-28 | Microsoft Corp. | System and method for image-based surface detail transfer |
| US7174033B2 (en) * | 2002-05-22 | 2007-02-06 | A4Vision | Methods and systems for detecting and recognizing an object based on 3D image data |
| US7257236B2 (en) * | 2002-05-22 | 2007-08-14 | A4Vision | Methods and systems for detecting and recognizing objects in a controlled wide area |
| WO2008156437A1 (en) | 2006-04-10 | 2008-12-24 | Avaworks Incorporated | Do-it-yourself photo realistic talking head creation system and method |
| US7421098B2 (en) * | 2002-10-07 | 2008-09-02 | Technion Research & Development Foundation Ltd. | Facial recognition and the open mouth problem |
| US6947579B2 (en) * | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
| JP4397212B2 (ja) * | 2003-02-05 | 2010-01-13 | 富士フイルム株式会社 | 本人認証装置 |
| US7711155B1 (en) | 2003-04-14 | 2010-05-04 | Videomining Corporation | Method and system for enhancing three dimensional face modeling using demographic classification |
| US7275861B2 (en) * | 2005-01-31 | 2007-10-02 | Veeco Instruments Inc. | Calibration wafer and method of calibrating in situ temperatures |
| US8606950B2 (en) * | 2005-06-08 | 2013-12-10 | Logitech Europe S.A. | System and method for transparently processing multimedia data |
| WO2007016596A2 (en) * | 2005-07-29 | 2007-02-08 | Pamela Barber | Digital imaging method and apparatus |
| US7587082B1 (en) | 2006-02-17 | 2009-09-08 | Cognitech, Inc. | Object recognition based on 2D images and 3D models |
| US9519997B1 (en) * | 2007-03-09 | 2016-12-13 | Pixar | Perfect bounding for optimized evaluation of procedurally-generated scene data |
| TWI424360B (zh) * | 2007-12-31 | 2014-01-21 | Altek Corp | Multi-directional face detection method |
| US9901829B2 (en) * | 2008-07-15 | 2018-02-27 | Pamela Barber | Digital imaging method and apparatus |
| US8896607B1 (en) * | 2009-05-29 | 2014-11-25 | Two Pic Mc Llc | Inverse kinematics for rigged deformable characters |
| US8781221B2 (en) | 2011-04-11 | 2014-07-15 | Intel Corporation | Hand gesture recognition system |
| US8805018B2 (en) | 2011-04-11 | 2014-08-12 | Intel Corporation | Method of detecting facial attributes |
| US9336456B2 (en) | 2012-01-25 | 2016-05-10 | Bruno Delean | Systems, methods and computer program products for identifying objects in video data |
| CN103489107B (zh) * | 2013-08-16 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种制作虚拟试衣模特图像的方法和装置 |
| US10326972B2 (en) | 2014-12-31 | 2019-06-18 | Samsung Electronics Co., Ltd. | Three-dimensional image generation method and apparatus |
| GB2551715A (en) * | 2016-06-27 | 2018-01-03 | Image Capture Ltd | A system and method for determining the age of an individual |
| US11232617B2 (en) * | 2018-01-11 | 2022-01-25 | Pamela L. Barber | Digital imaging method and apparatus |
| CN112508773B (zh) * | 2020-11-20 | 2024-02-09 | 小米科技(武汉)有限公司 | 图像处理方法及装置、电子设备、存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3040466B2 (ja) * | 1990-07-17 | 2000-05-15 | ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 画像処理方法 |
| US5257346A (en) * | 1990-09-24 | 1993-10-26 | International Business Machines Corporation | Wire-mesh generation from image data |
| US5659625A (en) * | 1992-06-04 | 1997-08-19 | Marquardt; Stephen R. | Method and apparatus for analyzing facial configurations and components |
| US5611000A (en) * | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
| US5611037A (en) * | 1994-03-22 | 1997-03-11 | Casio Computer Co., Ltd. | Method and apparatus for generating image |
| JP2843262B2 (ja) * | 1994-09-16 | 1999-01-06 | 株式会社エイ・ティ・アール通信システム研究所 | 表情再現装置 |
| US6232965B1 (en) * | 1994-11-30 | 2001-05-15 | California Institute Of Technology | Method and apparatus for synthesizing realistic animations of a human speaking using a computer |
| US5805745A (en) * | 1995-06-26 | 1998-09-08 | Lucent Technologies Inc. | Method for locating a subject's lips in a facial image |
| SE519244C2 (sv) * | 1995-12-06 | 2003-02-04 | Telia Ab | Anordning och metod vid talsyntes |
| US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
| US6188776B1 (en) * | 1996-05-21 | 2001-02-13 | Interval Research Corporation | Principle component analysis of images for the automatic location of control points |
-
1997
- 1997-06-06 US US08/870,480 patent/US6016148A/en not_active Expired - Lifetime
-
1998
- 1998-05-21 EP EP98304034A patent/EP0883088A3/en not_active Withdrawn
- 1998-06-05 CA CA002239676A patent/CA2239676A1/en not_active Abandoned
- 1998-06-05 JP JP10174138A patent/JPH1186033A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CA2239676A1 (en) | 1998-12-06 |
| US6016148A (en) | 2000-01-18 |
| EP0883088A2 (en) | 1998-12-09 |
| EP0883088A3 (en) | 1999-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH1186033A (ja) | ワイヤフレームトポロジーへの顔面イメージの自動マッピング | |
| US6031539A (en) | Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology | |
| Sinha et al. | Interactive 3D architectural modeling from unordered photo collections | |
| CN107484428B (zh) | 用于显示对象的方法 | |
| US6532011B1 (en) | Method of creating 3-D facial models starting from face images | |
| Lee et al. | Fast head modeling for animation | |
| EP3131060A1 (en) | Method and apparatus for constructing three dimensional model of object | |
| JP3148045B2 (ja) | 三次元物体ｃｇ作成装置 | |
| JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| KR20170020210A (ko) | 오브젝트의 3차원 모델을 구성하는 방법 및 장치 | |
| WO2000036564A9 (en) | Creating a three-dimensional model from two-dimensional images | |
| WO1999026198A2 (en) | System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence | |
| US11900552B2 (en) | System and method for generating virtual pseudo 3D outputs from images | |
| JP2011159329A (ja) | 自動３ｄモデリングシステム及び方法 | |
| Pighin et al. | Realistic facial animation using image-based 3D morphing | |
| JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
| JP2000194859A (ja) | 被写体形状抽出方法、被写体形状抽出装置及び記録媒体 | |
| JP2002324249A (ja) | 画像表示システム及び方法 | |
| Kang et al. | Appearance-based structure from motion using linear classes of 3-d models | |
| KR100837776B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 | |
| Koppel et al. | Image-based rendering and modeling in video-endoscopy | |
| CN117173012A (zh) | 无监督的多视角图像生成方法、装置、设备及存储介质 | |
| JP2002032743A (ja) | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 | |
| Lee et al. | From real faces to virtual faces: problems and solutions | |
| JP4568967B2 (ja) | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050601 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080609 |