JP4760349B2 - 画像処理装置および画像処理方法、並びに、プログラム - Google Patents

画像処理装置および画像処理方法、並びに、プログラム Download PDF

Info

Publication number
JP4760349B2
JP4760349B2 JP2005353027A JP2005353027A JP4760349B2 JP 4760349 B2 JP4760349 B2 JP 4760349B2 JP 2005353027 A JP2005353027 A JP 2005353027A JP 2005353027 A JP2005353027 A JP 2005353027A JP 4760349 B2 JP4760349 B2 JP 4760349B2
Authority
JP
Japan
Prior art keywords
model
skin model
mouth
deformation
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005353027A
Other languages
English (en)
Other versions
JP2007156945A5 (ja
JP2007156945A (ja
Inventor
修 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005353027A priority Critical patent/JP4760349B2/ja
Priority to US11/607,020 priority patent/US8150205B2/en
Priority to KR1020060122941A priority patent/KR20070060012A/ko
Publication of JP2007156945A publication Critical patent/JP2007156945A/ja
Publication of JP2007156945A5 publication Critical patent/JP2007156945A5/ja
Application granted granted Critical
Publication of JP4760349B2 publication Critical patent/JP4760349B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Description

本発明は、画像処理装置および画像処理方法、並びに、プログラムに関し、特に、例えば、自然な顔画像を生成することができるようにする画像処理装置および画像処理方法、並びに、プログラムに関する。
顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成する技術として、例えば、モーフィング（例えば、特許文献１参照）がある。
モーフィングは、ある画像P1から別の画像P2に徐々に変化していく様子をアニメーション（動画）で表現するために、その変化の過程の、いわば中間を補うための画像（以下、適宜、中間画像という）を生成する技術であり、画像P1とP2それぞれに映っているものの形状の変形と、画像P1およびP2の合成(画素値の合成)とによって、中間画像が生成される。
モーフィングによれば、例えば、同一人物の無表情の顔が映っている顔画像である無表情画像と、笑い顔が映っている顔画像である笑い顔画像とを用いることによって、無表情の顔から笑い顔に滑らかに変化するアニメーションを実現することができる。
その他、モーフィングによれば、例えば、人間から人間以外の動物に滑らかに変化するアニメーションや、子供が大人に滑らかに変化するアニメーション、ある人が別の人に滑らかに変化するアニメーションなどを実現することができる。
特開２００１−１７５８８１号公報
ところで、モーフィングでは、画像P1上に制御点と呼ばれる点が設定されるとともに、画像P2上に、画像P1上に設定した制御点に対応する制御点が設定され、画像P1上に設定された制御点が、その制御点の位置から、画像P2上の対応する制御点の位置に滑らかに移動していく中間画像が生成される。
このため、画像P1には映っていないが、画像P2には映っている部分がある場合、その部分が徐々に現れてくる中間画像が生成され、その結果、例えば、同一人物の顔の表情が変化するアニメーションをモーフィングによって実現すると、本来変化しないはずの部分が変化する不自然な中間画像が生成されることがあった。
具体的には、例えば、画像P1が、口を閉じて正面を見ているような無表情の顔が映っている無表情画像であり、画像P2が、口を開いて目を細めている笑い顔が映っている笑い顔画像である場合、無表情画像には、歯が映っていないが、笑い顔画像には、歯が映っていることに起因して、歯が徐々に大きく、かつ白くなっていく不自然な中間画像が生成されることがあった。さらに、無表情画像と笑い顔画像とで、外部に露出している眼球の黒目の部分が異なっていることに起因して、黒目の形状が変化する不自然な中間画像が生成されることがあった。
本発明は、このような状況に鑑みてなされたものであり、自然な顔画像を生成することができるようにするものである。
本発明の第１の側面の画像処理装置、又は、プログラムは、顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置において、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出する第１の目口検出手段と、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出する第２の目口検出手段と、前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成する第１の皮膚モデル生成手段と、前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成する第２の皮膚モデル生成手段と、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成する口内部モデル生成手段と、眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成する眼球モデル生成手段と、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求める第１の変形パラメータ生成手段と、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求める第２の変形パラメータ生成手段と、前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力する出力手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
本発明の第１の側面の画像処理方法は、顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置の画像処理方法において、前記画像処理装置が、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出し、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出し、前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成し、前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成し、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成し、眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成し、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求め、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求め、前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力するステップを含む画像処理方法である。
以上のような第１の側面においては、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界が検出されるとともに、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界が検出される。また、前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルが生成されるとともに、前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルが生成される。さらに、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルが生成されるとともに、眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルが生成される。また、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータが求められるとともに、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータが求められる。そして、前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルが、前記アニメーションデータとして出力される。
本発明の第２の側面の画像処理装置、又は、プログラムは、顔画像を生成する画像処理装置において、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータとを含むアニメーションデータを取得するデータ取得手段と、顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定する変形度設定手段と、前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形する第１の皮膚モデル変形手段と、前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形する第２の皮膚モデル変形手段と、前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定する合成パラメータ設定手段と、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成する皮膚モデル合成手段と、前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する顔画像生成手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
本発明の第２の側面の画像処理方法は、顔画像を生成する画像処理装置の画像処理方法において、前記画像処理装置が、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータとを含むアニメーションデータを取得し、顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定し、前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形し、前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形し、前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定し、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成し、前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成するステップを含む画像処理方法である。
以上のような第２の側面においては、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータとを含むアニメーションデータが取得され、顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度が設定される。さらに、前記第１の変形パラメータを用い、前記第１の皮膚モデルが、前記変形度に応じて変形した第１の変形皮膚モデルに変形されるとともに、前記第２の変形パラメータを用い、前記第２の皮膚モデルが、前記変形度に応じて変形した第２の変形皮膚モデルに変形され、前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータが設定される。そして、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとが、前記合成パラメータにしたがって合成皮膚モデルに合成され、前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルが合成されて、前記変形度に応じた表情の顔画像が生成される。
本発明によれば、自然な顔画像を生成することができる。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した画像処理装置を実現するコンピュータのハードウェアの構成例を示している。
コンピュータは、CPU１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
CPU１０２に実行させるプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、例えば、NIC（Network Interface Card）や、IEEE（Institute of Electrical and Electronics Engineers）1394またはUSB（Universal Serial Bus）に準拠したインタフェースである通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
図１の実施の形態においては、コンピュータ（CPU１０２）が、ハードディスク１０５にインストールされている（アプリケーション）プログラムを実行することにより、例えば、人などの顔が表示された（映っている）画像である顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する処理（アニメーションデータ生成処理）と、そのアニメーションデータを用いて、顔画像を生成する処理（顔画像生成処理）とを行う画像処理装置として機能する。
即ち、図２は、図１のコンピュータがプログラムを実行することによって等価的に実現される画像処理装置の一実施の形態の構成例を示している。
画像データ記憶部１２１には、人の顔が写っている顔画像（の画像データ）が供給される。画像データ記憶部１２１は、例えば、図１のRAM１０４や、ハードディスク１０５、リムーバブル記憶媒体１１１に相当し、そこに供給される、複数枚としての、例えば、２枚の顔画像（の画像データ）を一時記憶する。
なお、画像データ記憶部１２１に記憶させる顔画像は、例えば、ディジタル（スチル）カメラで撮影した画像や、写真をスキャナでスキャンして得られる画像などを、通信部１０８を介して取り込むことができる。
また、ここでは、画像データ記憶部１２１に記憶される、複数枚としての２枚の顔画像は、例えば、同一人物の表情が異なる顔の画像であるとする。即ち、画像データ記憶部１２１に記憶される２枚の顔画像のうちの１枚目の顔画像（第１の顔画像）は、例えば、笑っている表情（第１の表情）の顔画像（以下、適宜、笑い顔画像という）であり、２枚目の顔画像（第２の顔画像）は、笑っている表情とは異なる、例えば、無表情（第２の表情）の顔画像（以下、適宜、無表情画像という）であるとする。
但し、画像データ記憶部１２１に記憶される２枚の顔画像は、笑い顔画像と無表情画像との組み合わせに限定されるものではない。即ち、画像データ記憶部１２１に記憶される２枚の顔画像の組み合わせとしては、例えば、笑い顔画像と、怒っている表情の顔画像との組み合わせや、無表情画像と、泣いている表情の顔画像との組み合わせ、その他、任意の表情（第１の表情）の顔画像と、その表情とは異なる表情（第２の表情）の顔画像との組み合わせを採用することができる。
ここで、画像データ記憶部１２１に記憶される２枚の顔画像としての笑い顔画像と無表情画像とは、説明を簡単にするために、明るさや色、大きさ等が既に正規化された画像であるとする。明るさや色、大きさ等を正規化する方法としては、任意の方法を採用することができる。
アニメーションデータ生成部１２２は、画像データ記憶部１２１に記憶された笑い顔画像と無表情画像の画像データを読み出し、その画像データを用いて、無表情の顔から笑い顔（笑い顔から無表情の顔）に変化していく過程の中間を補う、無表情画像および笑い顔画像の顔のいずれの表情とも異なる表情の顔画像である中間画像を生成するための(生成するのに用いられる)アニメーションデータを生成し、アニメーションデータ記憶部１２３に供給する。
アニメーションデータ記憶部１２３は、アニメーションデータ生成部１２２から供給されるアニメーションデータを記憶する。
なお、アニメーションデータ記憶部１２３は、例えば、図１のRAM１０４や、ハードディスク１０５、リムーバブル記憶媒体１１１に相当する。
また、アニメーションデータは、アニメーションデータ記憶部１２３としての図１のRAM１０４や、ハードディスク１０５、リムーバブル記憶媒体１１１に記憶した後、図１のコンピュータでさらに処理することもできるし、通信部１０８から、インターネット等のネットワークを介して、別のコンピュータに転送し、その別のコンピュータで処理することもできる。
操作部１２４は、ユーザによって操作され、その操作に対応した操作信号を、アニメーション処理部１２５に供給する。なお、操作部１２４は、図１の入力部１０７に相当する。
アニメーション処理部１２５は、アニメーションデータ記憶部１２３に記憶されたアニメーションデータを読み出すことにより取得し、そのアニメーションデータを用い、例えば、操作部１２４からの操作信号に応じた顔画像（の画像データ）を生成して、表示部１２６に供給する。なお、アニメーション処理部１２５では、別のコンピュータから転送されてくるアニメーションデータを、通信部１０８を介して受信することにより取得することもできる。
表示部１２６は、例えば、CRT(Cathode Ray Tube)やLCD、などで構成され、アニメーション処理部１２５から供給される顔画像を表示する。なお、表示部１２６は、図１の出力部１０６に相当する。
以上のように構成される画像処理装置では、アニメーションデータ生成部１２２が、画像データ記憶部１２１に記憶された笑い顔画像と無表情画像の画像データを読み出し、その画像データを用いて、アニメーションデータを生成し、アニメーションデータ記憶部１２３に供給して記憶させる。そして、アニメーション処理部１２５が、アニメーションデータ記憶部１２３に記憶されたアニメーションデータを用い、例えば、操作部１２４からの操作信号に応じた顔画像を生成して、表示部１２６に供給して表示させる。
なお、図２において、画像データ記憶部１２１、アニメーションデータ生成部１２２、およびアニメーションデータ記憶部１２３は、笑い顔画像と無表情画像の画像データを用いてアニメーションデータを生成するアニメーションデータ生成装置を構成する。また、図２において、アニメーションデータ記憶部１２３およびアニメーション処理部１２５は、アニメーションデータから顔画像の画像データを生成する画像生成装置を構成する。図２においては、アニメーションデータ生成装置と画像生成装置とを１つの画像処理装置として構成してあるが、アニメーションデータ生成装置と画像生成装置とは、それぞれ、別の独立した装置として構成することが可能である。
次に、図３は、図２のアニメーションデータ生成部１２２の構成例を示している。
目口検出部１３１Ａは、画像データ記憶部１２１に記憶されている笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出し、笑い顔画像とともに、皮膚モデル生成部１３２Ａと口内部モデル生成部１３４に供給する。
目口検出部１３１Ｂは、画像データ記憶部１２１に記憶されている無表情画像から、目境界および口境界を検出し、無表情画像とともに、皮膚モデル生成部１３２Ｂと眼球モデル生成部１３６に供給する。
皮膚モデル生成部１３２Ａは、目口検出部１３１Ａから供給される笑い顔画像から、同じく目口検出部１３１Ａから供給される目境界と口境界それぞれの内部を除去し、これにより、笑い顔画像から目境界の内部と口境界の内部とを除去した顔の２次元のモデル（画像）である笑い顔皮膚モデル（第１の皮膚モデル）を生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
即ち、皮膚モデル生成部１３２Ａは、笑い顔画像において変形する対象を、顔の表面部分（皮膚）に制限するために、顔の皮膚より奥側にある顔の構造物である眼球と口の内部（歯や、歯茎、舌など）とを、笑い顔画像から分離し、笑い顔画像から目境界の内部と口境界の内部とを除去した顔のモデルである笑い顔皮膚モデルを生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
皮膚モデル１３２Ｂも、皮膚モデル生成部１３２Ａと同様に、目口検出部１３１Ｂから供給される無表情画像から、同じく目口検出部１３１Ｂから供給される目境界と口境界それぞれの内部を除去し、これにより、無表情画像から目境界の内部と口境界の内部とを除去した顔の２次元のモデルである無表情皮膚モデル（第２の皮膚モデル）を生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
変形パラメータ生成部１３３Ａは、皮膚モデル生成部１３２Ａから供給される笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給される無表情皮膚モデルとを用い、笑い顔皮膚モデルを、笑い顔皮膚モデルから無表情皮膚モデルに変形するための笑い顔変形パラメータ（第１の変形パラメータ）を求め、笑い顔皮膚モデルとともに、出力制御部１３７に供給する。
変形パラメータ生成部１３３Ｂは、皮膚モデル生成部１３２Ａから供給される笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給される無表情皮膚モデルとを用い、無表情皮膚モデルを、無表情皮膚モデルから笑い顔皮膚モデルに変形するための無表情変形パラメータ（第２の変形パラメータ）を求め、無表情皮膚モデルとともに、出力制御部１３７に供給する。
口内部モデル生成部１３４は、目口検出部１３１Ａからの笑い顔画像と口境界とを用い、笑い顔画像（および無表情画像に映っている人物）の口境界の内部の２次元のモデルである口内部モデルを生成し、出力制御部１３７に供給する。即ち、口内部モデル生成部１３４は、例えば、笑い顔画像の口境界の内部を、口内部モデルとして抽出することにより、口内部モデルを生成し、出力制御部１３７に供給する。
基準眼球モデル記憶部１３５は、眼球の基準のモデル（画像）である基準眼球モデルを記憶している。
眼球モデル生成部１３６は、目口検出部１３１Ｂからの無表情画像と目境界とを用い、無表情画像（および笑い顔画像に映っている人物）の眼球の２次元のモデルである眼球モデルを生成して、出力制御部１３７に供給する。
即ち、眼球モデル生成部１３６は、例えば、基準眼球モデル記憶部１３５に記憶されている基準眼球モデルを、無表情画像に適応させることにより、眼球モデルを生成する。具体的には、眼球モデル生成部１３６は、目口検出部１３１Ｂからの無表情画像と目境界とから、無表情画像（に映っている人物）の左右の眼球それぞれの黒目を認識し、その左右の眼球それぞれの黒目どうしの間の距離や、黒目の大きさに一致するように、基準眼球モデルを調整（変形）する。さらに、眼球モデル生成部１３６は、変形後の基準眼球モデルの黒目を、無表情画像から認識した黒目に置換し、その黒目の置換後の基準眼球モデルを、無表情画像の眼球モデルとして、出力制御部１３７に供給する。
ここで、画像データ記憶部１２１に記憶された笑い顔画像と無表情画像とにおいて、例えば、顔の大きさが一致していない（正規化されていない）場合には、眼球モデル生成部１３６で認識される黒目に基づき、笑い顔画像を拡大縮小等する処理をして、笑い顔画像に映っている顔と、無表情画像に映っている顔との大きさを一致させることが可能である。
出力制御部１３７は、変形パラメータ生成部１３３Ａからの笑い顔皮膚モデルと笑い顔変形パラメータ、変形パラメータ生成部１３３Ｂからの無表情皮膚モデルと無表情変形パラメータ、口内部モデル生成部１３４からの口内部モデル、および、眼球モデル生成部１３６からの眼球モデルを、アニメーションデータとして出力して、アニメーションデータ記憶部１２３に記憶させる。
次に、図４は、画像データ記憶部１２１に記憶される無表情画像と笑い顔画像それぞれの画像データの例を示している。
無表情画像（図４左側）と笑い顔画像（図４右側）それぞれの画像データは、例えば、いわゆるRGBα形式のデータで、画素値として、R(Red),G(Green),B(Blue)の各値（RGB値）と、α値とを有している。α値は、画像を、他の画像と合成（ブレンディング）するときに用いられるパラメータで、例えば、０から１までの範囲の実数値をとる。例えば、無表情画像または笑い顔画像のRGB値をVAL1RGBと表すとともに、無表情画像または笑い顔画像と合成する他の画像のRGB値をVAL2RGBと表すこととすると、合成結果のRGB値VALRGBは、式VALRGB＝α×VAL1RGB＋（１−α）×VAL2RGBで表される。
なお、無表情画像と笑い顔画像それぞれのα値は、例えば、いずれも、画像データ記憶部１２１に記憶された段階では、１になっている。
次に、図５を参照して、図３の目口検出部１３１Ａと１３１Ｂの処理について、さらに説明する。
図５上から１番目と２番目は、画像データ記憶部１２１（図３）に記憶された笑い顔画像を、模式的に示しており、図５上から３番目と４番目は、画像データ記憶部１２１に記憶された無表情画像を、模式的に示している。
図５上から１番目と２番目の笑い顔画像は、口を開いて目を細め、正面を見ている笑い顔の画像となっており、図５上から３番目と４番目の無表情画像は、口を閉じて正面を見すえている無表情の顔の画像となっている。
目口検出部１３１Ａは、図５上から１番目に示すように、笑い顔画像から、眼球が露出している部分の目境界（眼球とまぶたとの境界）を検出するとともに、図５上から２番目に示すように、唇と口の内部との口境界（上唇の下側の境界と、下唇の上側の境界とで囲まれる範囲の境界）を検出する。
同様に、目口検出部１３１Ｂも、図５上から３番目に示すように、無表情画像から、眼球が露出している部分の目境界（眼球とまぶたとの境界）を検出するとともに、図５上から４番目に示すように、唇と口の内部との口境界（上唇の下側の境界と、下唇の上側の境界とで囲まれる範囲の境界）を検出する。
なお、笑い顔画像は、目を細めた顔の画像であるため、笑い顔画像から検出される目境界（図５上から１番目）は、無表情画像から検出される目境界（図５上から３番目）よりも、やや細くなっている（つぶれている）。
また、笑い顔画像は、口を開いた画像であるから、図５上から２番目に示すように、その開いている部分を囲む口境界が検出される。一方、無表情画像は、口を閉じた画像であるから、上唇の下側の境界と、下唇の上側の境界とが一致するため、図５上から４番目に示すように、直線的な口境界が検出される。
ここで、図６乃至図９に、実際の画像から検出された目境界と口境界を示す。
即ち、図６は、実際の笑い顔画像から検出された目境界を示している。図７は、実際の笑い顔画像から検出された口境界を示している。また、図８は、実際の無表情画像から検出された目境界を示しており、図９は、実際の無表情画像から検出された口境界を示している。
次に、図１０を参照して、図３の皮膚モデル生成部１３２Ａと１３２Ｂの処理について、さらに説明する。
図１０は、皮膚モデル生成部１３２Ａで生成される笑い顔皮膚モデル（図１０右側）と、皮膚モデル生成部１３２Ｂで生成される無表情皮膚モデル（図１０左側）とを示している。
図４で説明したように、笑い顔画像と無表情画像の画像データは、RGB値とα値とを有している。皮膚モデル生成部１３２Ａは、目口検出部１３１Ａ（図３）から供給される笑い顔画像のα値（画像データ記憶部１２１（図３）に記憶された段階では、図４で説明したように、すべての画素で１になっている）のうちの、目口検出部１３１Ａから供給される口境界と目境界の内部の画素のα値を１から０に変更し、その変更後のα値を、RGB値とともに、笑い顔皮膚モデルのデータとする。
同様に、皮膚モデル生成部１３２Ｂも、目口検出部１３１Ｂ（図３）から供給される無表情画像のα値のうちの、目口検出部１３１Ｂから供給される口境界と目境界の内部の画素のα値を１から０に変更し、その変更後のα値を、RGB値とともに、無表情皮膚モデルのデータとする。
ここで、以下、適宜、笑い顔皮膚モデルと無表情皮膚モデルとを、まとめて、単に、皮膚モデルという。また、皮膚モデルのデータである各画素の画素値としてのRGB値とα値とを、まとめて、RGBα値ともいう。
図１０右側の上から２番目は、笑い顔皮膚モデルのデータとしてのRGB値とα値のうちのRGB値を示しており、図１０右側の上から３番目は、笑い顔皮膚モデルのデータとしてのRGB値とα値のうちのα値を示している。例えば、いま、α値が０の画素を描画しないこととすると（例えば、RGB値を０とすると）、図１０右側の上から１番目に示すような、目境界の内部と口境界の内部とがない（RGB値が０である）笑い顔画像を得ることができる。従って、笑い顔皮膚モデルは、実質的に、笑い顔画像から、その目境界と口境界それぞれの内部を除去したものである。
また、図１０左側の上から２番目は、無表情皮膚モデルのデータとしてのRGB値とα値のうちのRGB値を示しており、図１０左側の上から３番目は、無表情皮膚モデルのデータとしてのRGB値とα値のうちのα値を示している。例えば、いま、α値が０の画素を描画しないこととすると、図１０左側の上から１番目に示すような、目境界の内部と口境界の内部とがない無表情画像を得ることができる。従って、無表情皮膚モデルは、実質的に、無表情画像から、その目境界と口境界それぞれの内部を除去したものである。但し、ここでは、無表情画像の口境界は、図１０で説明したように直線上であるため、内部は存在しない。
なお、図１０上から３番目では、α値が０の部分を黒塗りにして示してある。但し、図１０上から３番目においては、図を分かりやすくするために、顔の眉毛や、花、唇の輪郭等を、黒色の線で示してあるが、この黒色の線は、０のα値を表すものではない。
また、図１０上から３番目では、顔の輪郭の外側の背景部分のα値も０としてある。
次に、図１１乃至図１４を参照して、図３の変形パラメータ生成部１３３Ａと１３３Ｂの処理について、さらに説明する。
変形パラメータ生成部１３３Ａは、皮膚モデル生成部１３２Ａから供給される笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給される無表情皮膚モデルとを用い、笑い顔皮膚モデルを、図１１に示すように、笑い顔皮膚モデルから無表情皮膚モデルに連続的に変形するための笑い顔変形パラメータを求める。
同様に、変形パラメータ生成部１３３Ｂも、皮膚モデル生成部１３２Ａから供給される笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給される無表情皮膚モデルとを用い、無表情皮膚モデルを、図１２に示すように、無表情皮膚モデルから笑い顔皮膚モデルに連続的に変形するための無表情変形パラメータを求める。
ここで、以下、適宜、笑い顔変形パラメータと無表情変形パラメータとを、まとめて、単に、変形パラメータという。
笑い顔皮膚モデルから無表情皮膚モデルに連続的に変形する手法、および無表情皮膚モデルから笑い顔皮膚モデルに連続的に変形する手法としては、顔の表情生成の原理に基づいた変形手法を採用することにより、簡潔な制御で実際の顔の動きに近い変形を行うことができる。顔の表情生成の原理に基づく変形手法としては、例えば、図１３に示すように、表情筋が伸縮する方向（図１３において矢印で示す方向）や、その伸縮が影響する顔の範囲である影響範囲（図１３において楕円形状に囲んである範囲）を考慮した変形手法があり、かかる変形手法によれば、わずかな制御パラメータで複雑で自然な変形を実現することができる。表情筋が伸縮する方向や、影響範囲は、例えば、ユーザ（オペレータ）が、入力部１０７（図１）を操作して指定することができる。
なお、例えば、無表情皮膚モデルを連続的に変形して、最終的に、正確な笑い顔皮膚モデルを得ることができる場合、笑い顔皮膚モデルから無表情皮膚モデルへの変形は、無表情皮膚モデルから笑い顔皮膚モデルへの変形の逆の変形（逆変形）で代用することができる。
また、無表情皮膚モデルから笑い顔皮膚モデルへの変形(笑い顔皮膚モデルから無表情皮膚モデルへの変形も同様)は、その他、例えば、モーフィングによって行うこともできる。
無表情皮膚モデルから笑い顔皮膚モデルへの変形の手法として、モーフィングを採用する場合、変形パラメータ生成部１３３Ａは、図１４左側に示すように、無表情皮膚モデルとしての画像上に、制御点と呼ばれる点を複数設定するとともに、笑い顔皮膚モデルとしての画像上に、図１４右側に示すように、無表情皮膚モデルに設定した制御点に対応する制御点（以下、適宜、対応点ともいう）を設定する(求める)。
ここで、図１４左側は、無表情皮膚モデルに設定された複数の制御点のうちの、１つの制御点A1に注目し、その制御点A1と、制御点A1から距離が近い順の２つの制御点A2とA3を示している。また、図１４右側は、制御点A1,A2,A3それぞれに対して、笑い顔皮膚モデルに設定された対応点B1,B2,B3を示している。
なお、図１４では、i=1,2,3として、制御点Aiの(x,y)座標を、(xai,yai)と表すとともに、対応点Biの(x,y)座標を、(xbi,ybi)と表してある。
無表情皮膚モデルから笑い顔皮膚モデルへの変形を、モーフィングによって行う場合において、無表情皮膚モデルから笑い顔皮膚モデルに変形していくときの無表情皮膚モデルの変形の度合い（または、笑い顔皮膚モデルから無表情モデルに変形していくときの笑い顔皮膚モデルの変形の度合い）を表す変形度をvで表すこととする。また、変形度vは、例えば、０から１までの範囲の実数値をとり、変形度vが０である場合は、無表情皮膚モデルを変形していない状態を表し、変形度vが１である場合は、無表情皮膚モデルが、完全に、笑い顔皮膚モデルにまで変形された状態を表すこととする。
この場合、無表情皮膚モデルを、変形度vが表す程度だけ変形した状態の制御点Aiの座標(xvi,yvi)は、例えば、式(xvi,yvi)=(1-v)×(xai,yai)＋v×(xbi,ybi)で表すことができる。
また、制御点A1,A2,A3をそれぞれ頂点とする三角形A1A2A3内の任意の点Anの(x,y)座標を、(xan,yan)と表し、制御点A1と点Anとを通る直線A1Anが、制御点A2とA3とを結ぶ線分A2A3と交わる点を、点Aと表すこととする。
さらに、点Anが、制御点A1と点Aとを結ぶ線分A1Aを、r1:r2の比に内分し、点Aが、線分A2A3を、r3:r4の比に内分することとする。
また、制御点A2とA3とのそれぞれの対応点B2とB3とを結ぶ線分B2B3を、r3:r4の比に内分する点を、点Bとするとともに、制御点A1の対応点B1と点Bとを結ぶ線分B1Bを、r1:r2の比に内分する点を、点Bnとし、点Bnの(x,y)座標を、(xbn,ybn)と表すこととする。
この場合、無表情皮膚モデルを、変形度vが表す程度だけ変形した状態の点Anの座標(xvn,yvn)は、例えば、式(xvn,yvn)=(1-v)×(xan,yan)＋v×(xbn,ybn)で表すことができる。
点Bnの座標(xbn,ybn)は、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標から求めることができるから、三角形A1A2A3上の任意の点（線分A1A2,A2A3,A3A1上の点を含む）については、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標があれば、無表情皮膚モデルを変形度vが表す程度だけ変形した状態の座標を求めることができる。
従って、この場合、変形パラメータ生成部１３３Ｂでは、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標が、無表情皮膚モデルから笑い顔皮膚モデルに連続的に変形するための無表情変形パラメータとして求められる。
なお、無表情皮膚モデルを変形度vが表す程度だけ変形した状態は、笑い顔皮膚モデルを変形度1-vが表す程度だけ変形した状態に対応する。そして、笑い顔皮膚モデル上の点である、三角形B1B2B3上の任意の点についても、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標があれば、笑い顔皮膚モデルを変形度1-vが表す程度だけ変形した状態の座標を求めることができる。
従って、この場合、変形パラメータ生成部１３３Ａでは、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標が、笑い顔皮膚モデルから笑い無表情皮膚モデルに連続的に変形するための笑い顔変形パラメータとして求められることになり、この笑い顔変形パラメータと、変形パラメータ生成部１３３Ｂで求められる無表情変形パラメータとは、一致することになる。
次に、図１５は、図３の口内部モデル生成部１３４で得られる口内部モデルを示している。
口内部モデル生成部１３４では、目口検出部１３１Ａ（図３）から供給される笑い顔画像から、同じく目口検出部１３１Ａから供給される口境界の内部に表示されている、図１５に示すような歯や歯茎などが、口内部モデルとして抽出される。
次に、図１６は、図３の眼球モデル生成部１３６で生成される眼球モデルを示している。
眼球モデル生成部１３６では、目口検出部１３１Ｂからの無表情画像と目境界とから、無表情画像の左右の眼球それぞれの黒目が認識され、その左右の眼球それぞれの黒目どうしの間の距離や、黒目の大きさに一致するように、基準眼球モデルが変形される。そして、眼球モデル生成部１３６では、変形後の基準眼球モデルの黒目が、無表情画像等から認識された黒目に置換され、これにより、図１６に示すような眼球モデルが生成される。
次に、図１７は、図３の出力制御部１３７が出力するアニメーションパラメータを模式的に示している。
出力制御部１３７は、図１７に示すように、変形パラメータ生成部１３３Ａから供給されるの笑い顔皮膚モデルと笑い顔変形パラメータ、変形パラメータ生成部１３３Ｂから供給される無表情皮膚モデルと無表情変形パラメータ、口内部モデル生成部１３４から供給される口内部モデル、および、眼球モデル生成部１３６からの眼球モデルとを含むアニメーションデータを出力する。
次に、図１８のフローチャートを参照して、図３のアニメーションデータ生成部１２２が行うアニメーションデータ生成処理について説明する。
まず最初に、ステップＳ１１において、画像データ記憶部１２１に記憶されている顔画像から、目境界と口境界とが検出され、ステップＳ１２に進む。
即ち、ステップＳ１１では、目口検出部１３１Ａが、ステップＳ１１1として、画像データ記憶部１２１に記憶されている笑い顔画像から目境界および口境界を検出し、笑い顔画像とともに、皮膚モデル生成部１３２Ａと口内部モデル生成部１３４に供給する。
さらに、ステップＳ１１では、目口検出部１３１Ｂが、ステップＳ１１2として、画像データ記憶部１２１に記憶されている無表情画像から、目境界および口境界を検出し、無表情画像とともに、皮膚モデル生成部１３２Ｂと眼球モデル生成部１３６に供給する。
ステップＳ１２では、顔画像から、目境界の内部と口境界の内部とを除去した皮膚モデルが生成され、ステップＳ１３に進む。
即ち、ステップＳ１２では、皮膚モデル生成部１３２Ａが、ステップＳ１２1として、目口検出部１３１Ａから供給された笑い顔画像から、同じく目口検出部１３１Ａから供給された目境界と口境界それぞれの内部を除去し、これにより、笑い顔画像から目境界の内部と口境界の内部とを除去した笑い顔皮膚モデルを生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
さらに、ステップＳ１２では、皮膚モデル生成部１３２Ｂが、ステップＳ１２2として、目口検出部１３１Ｂから供給された無表情画像から、同じく目口検出部１３１Ｂから供給された目境界と口境界それぞれの内部を除去し、これにより、無表情画像から目境界の内部と口境界の内部とを除去した無表情皮膚モデルを生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
ステップＳ１３では、口内部モデルと眼球モデルが生成され、ステップＳ１４に進む。
即ち、ステップＳ１３では、口内部モデル生成部１３４が、ステップＳ１３1として、目口検出部１３１Ａから供給された笑い顔画像と口境界とを用い、笑い顔画像の口境界の内部の口内部モデルを生成し、出力制御部１３７に供給する。
また、ステップＳ１３では、眼球モデル生成部１３６が、ステップＳ１３2として、目口検出部１３１Ｂからの無表情画像と目境界とから、無表情画像の左右の眼球それぞれの黒目（位置と大きさ）を認識（検出）し、ステップＳ１３3に進む。ステップＳ１３3では、眼球モデル生成部１３６が、無表情画像の左右の眼球それぞれの黒目に適応するように、基準眼球モデル記憶部１３５に記憶された基準眼球モデルを変形し、さらに、その変形後の基準眼球モデルの黒目を、無表情画像から認識した黒目に置換することにより、眼球モデルを生成して、出力制御部１３７に供給する。
ステップＳ１４では、変形パラメータが生成され、ステップＳ１５に進む。
即ち、ステップＳ１４では、変形パラメータ生成部１３３Ａが、ステップＳ１４1として、皮膚モデル生成部１３２Ａから供給された笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給された無表情皮膚モデルとを用い、笑い顔皮膚モデルを、笑い顔皮膚モデルから無表情皮膚モデルに変形するための笑い顔変形パラメータを求め、笑い顔皮膚モデルとともに、出力制御部１３７に供給する。
さらに、ステップＳ１４では、変形パラメータ生成部１３３Ｂが、ステップＳ１４2として、皮膚モデル生成部１３２Ａから供給された笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給された無表情皮膚モデルとを用い、無表情皮膚モデルを、無表情皮膚モデルから笑い顔皮膚モデルに変形するための無表情変形パラメータを求め、無表情皮膚モデルとともに、出力制御部１３７に供給する。
ステップＳ１５では、出力制御部１３７が、変形パラメータ生成部１３３Ａからの笑い顔皮膚モデルと笑い顔変形パラメータ、変形パラメータ生成部１３３Ｂからの無表情皮膚モデルと無表情変形パラメータ、口内部モデル生成部１３４からの口内部モデル、および、眼球モデル生成部１３６からの眼球モデルを、アニメーションデータとして出力して、アニメーションデータ記憶部１２３に記憶させ、アニメーションデータ生成処理が終了する。
以上のように、アニメーションデータ生成部１２２では、顔の皮膚より奥側にあり、顔の表情が変化しただけでは形状が変化しない眼球と口の内部（歯や、歯茎、舌など）とを、顔画像（笑い顔画像と無表情画像）から分離し、顔画像から目境界の内部と口境界の内部とを除去した皮膚モデル、その皮膚モデルを変形するための変形パラメータ、眼球モデル、および口内部モデルが、アニメーションデータとして得られるので、そのアニメーションデータを用いて顔画像を生成することにより、顔の表情が変化しただけでは形状が変化しない眼球や口の内部の形状が変化するような不自然な顔画像のアニメーションとなることを防止することができる。
次に、図１９は、図２のアニメーション処理部１２５の構成例を示している。
データ取得部１５０は、アニメーションデータ記憶部１２３に記憶されたアニメーションデータとしての笑い顔皮膚モデルと笑い顔変形パラメータ、無表情皮膚モデルと無表情変形パラメータ、口内部モデル、および、眼球モデルを読み出すことにより取得し、笑い顔皮膚モデルと笑い顔変形パラメータを皮膚モデル変形部１５２Ａに、無表情皮膚モデルと無表情変形パラメータを皮膚モデル変形部１５２Ｂに、口内部モデルと眼球モデルを顔画像生成部１５５に、それぞれ供給する。なお、データ取得部１５０は、その他、インターネット等のネットワークを介してアニメーションデータを受信することにより取得することができる。
変形度設定部１５１は、笑い顔画像（無表情顔画像）に映っている顔が、笑い顔または無表情のうちの一方から他方に変形していくときの変形の度合いを表す変形度vを設定し、皮膚モデル変形部１５２Ａと１５２Ｂ、および合成パラメータ設定部１５３に供給する。
即ち、変形度設定部１５１は、例えば、操作部１２４から供給される操作信号に応じて、変形度vを、０から１までの範囲内の実数値に設定する。
ここで、変形度設定部１５１が設定する変形度vは、例えば、図１４で説明したように、無表情の顔に対応する無表情皮膚モデルから、笑い顔に対応する笑い顔皮膚モデルに変形していくときの無表情皮膚モデルの変形の度合いを表すこととする。
この場合、例えば、変形度v=０は、無表情皮膚モデルから笑い顔皮膚モデルへの連続的な変形の過程における無表情皮膚モデル（に対応する表情である無表情）の状態を表し、また、例えば、変形度v=１は、笑い顔皮膚モデル（に対応する表情である笑い顔）の状態を表す。さらに、例えば、変形度v=0.5は、無表情皮膚モデルから笑い顔皮膚モデルへの連続的な変形の過程における、いわば、ちょうど真ん中の状態を表す。
なお、変形度設定部１５１では、操作部１２４から供給される操作信号に応じて、変形度vを設定する他、例えば、周期的に、所定のステップ幅で増加または減少するように、変形度vを設定すること、即ち、例えば、所定のステップ幅を0.1などとして、0,0.1,0.2,・・・,1,0.9,0.8・・・や、0,0.1,0.2,・・・,1,0,0.1,0.2,・・・のように、変形度vを設定することが可能である。
皮膚モデル変形部１５２Ａは、データ取得部１５０から供給される笑い顔変形パラメータ（第１の変形パラメータ）を用い、同じくデータ取得部１５０から供給される笑い顔皮膚モデル（第１の皮膚モデル）を、変形度設定部１５１から供給される変形度vに応じて変形した笑い顔変形皮膚モデル（第１の変形皮膚モデル）に変形し、その笑い顔変形皮膚モデルを、皮膚モデル合成部１５４に供給する。
即ち、例えば、変形の手法として、図１４で説明したモーフィングが採用されていることとし、図１４の制御点Aiに対する対応点Biに注目すると、皮膚モデル変形部１５２Ａは、笑い顔皮膚モデル上の対応点Biを、例えば、式(xBvi,yBvi)=v×(xbi,ybi)+(1-v)×(xai,yai)で表される座標(xBvi,yBvi)の点に移動することにより、笑い顔皮膚モデルを変形度vに応じて変形した笑い顔変形皮膚モデルを求める。
なお、上述の式(xBvi,yBvi)=v×(xbi,ybi)+(1-v)×(xai,yai)において、対応点Biの座標(xbi,ybi)と、制御点Aiの座標(xai,yai)とが、笑い顔変形パラメータである。
また、対応点Biを、座標(xBvi,yBvi)の点に移動するとは、対応点Biの画素値としてのRGBα値を、座標(xBvi,yBvi)の点の画素値とすることを意味する。
皮膚モデル変形部１５２Ｂも、皮膚モデル変形部１５２Ａと同様に、データ取得部１５０から供給される無表情変形パラメータ（第２の変形パラメータ）を用い、同じくデータ取得部１５０から供給される無表情皮膚モデル（第２の皮膚モデル）を、変形度設定部１５１から供給される変形度vに応じて変形した無表情変形皮膚モデル（第２の変形皮膚モデル）に変形し、その無表情変形皮膚モデルを、皮膚モデル合成部１５４に供給する。
即ち、例えば、変形の手法として、図１４で説明したモーフィングが採用されていることとし、図１４の制御点Aiに注目すると、皮膚モデル変形部１５２Ｂは、無表情皮膚モデル上の制御点Aiを、例えば、式(xAvi,yAvi)=(1-v)×(xai,yai)+v×(xbi,ybi)で表される座標(xAvi,yAvi)の点に移動することにより、無表情皮膚モデルを変形度vに応じて変形した無表情変形皮膚モデルを求める。
合成パラメータ設定部１５３は、変形度設定部１５１から供給される変形度vに応じて、皮膚モデル変形部１５２Ａで得られる笑い顔変形皮膚モデルと、皮膚モデル変形部１５２Ｂで得られる無表情変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータβを設定し、皮膚モデル合成部１５４に供給する。即ち、合成パラメータ設定部１５３は、例えば、変形度vを、そのまま、合成パラメータβに設定し、皮膚モデル合成部１５４に供給する。
ここで、合成パラメータ設定部１５３では、その他、例えば、0から1までの範囲の引数vに対して、０から１までの範囲を滑らかに単調増加する非線形関数f(v)を、変形度vを引数として演算し、その演算結果を、合成パラメータβに設定することができる。
なお、合成パラメータβは、変形度vが０と１の場合には、それぞれ変形度vと一致するように設定するのが望ましい。
皮膚モデル合成部１５４は、皮膚モデル変形部１５２Ａから供給される笑い顔変形皮膚モデルと、皮膚モデル変形部１５２Ｂから供給される無表情変形皮膚モデルとを、合成パラメータ設定部１５３から供給される合成パラメータにしたがって合成し、その結果得られる合成皮膚モデルを、顔画像生成部１５５に供給する。
即ち、笑い顔変形皮膚モデルとしての画像の座標(x,y)の画素の画素値をpa(x,y)と表すとともに、無表情変形皮膚モデルとしての画像の座標(x,y)の画素の画素値をpb(x,y)と表すこととすると、皮膚モデル合成部１５４は、合成皮膚モデルとしての画像の座標(x,y)の画素の画素値p(x,y)を、例えば、式p(x,y)＝β×pa(x,y)＋(1-β)×pb(x,y)にしたがって求める。なお、画素値p(x,y)としては、R,G,B値のそれぞれと、α値とが求められる。
顔画像生成部１５５は、皮膚モデル合成部１５４から供給される合成皮膚モデル、並びに、データ取得部１５０から供給される眼球モデルおよび口内部モデルを合成し、変形度vに応じた表情の顔画像（中間画像）を生成して、表示部１２６に供給する。
即ち、顔画像生成部１５５は、合成皮膚モデルとしての画像と、眼球モデルまたは口内部モデルそれぞれとしての画像とを、例えば、いわゆるαブレンディングによって合成する。具体的には、合成皮膚モデルとしての画像の座標(x,y)の画素のRGB値とα値を、それぞれp1(x,y)とα(x,y)と表すとともに、眼球モデルまたは口内部モデルとしての画像の座標(x,y)の画素のRGB値を、p2(x,y)と表すこととすると、顔画像生成部１５５は、合成皮膚モデル、眼球モデル、および口内部モデルを合成した合成顔画像の座標(x,y)の画素のRGB値p3(x,y)を、式p3(x,y)＝α(x,y)×p1(x,y)＋(1-α(x,y))×p2(x,y)にしたがって求める。
なお、顔画像生成部１５５では、合成皮膚モデルのα値に対して、LPF(Low Pass Filter)によるフィルタリング処理を施し、そのフィルタリング処理後のα値を用い、式p3(x,y)＝α(x,y)×p1(x,y)＋(1-α(x,y))×p2(x,y)にしたがって、合成顔画像のRGB値p3(x,y)を求めることができる。この場合、合成顔画像における、合成皮膚モデルと、眼球モデルまたは口内部モデルそれぞれとの境界部分を滑らかにすることができる。
次に、図２０のフローチャートを参照して、図１９のアニメーション処理部１２５で行われる顔画像生成処理について説明する。
まず最初に、ステップＳ３０において、データ取得部１５０が、アニメーションデータ記憶部１２３に記憶されたアニメーションデータを読み出すことにより取得し、そのアニメーションデータのうちの、笑い顔皮膚モデルと笑い顔変形パラメータを皮膚モデル変形部１５２Ａに、無表情皮膚モデルと無表情変形パラメータを皮膚モデル変形部１５２Ｂに、口内部モデルと眼球モデルを顔画像生成部１５５に、それぞれ供給して、ステップＳ３１に進む。
ステップＳ３１では、変形度設定部１５１が、変形度vを設定し、皮膚モデル変形部１５２Ａと１５２Ｂ、および合成パラメータ設定部１５３に供給して、ステップＳ３２に進む。ステップＳ３２では、合成パラメータ設定部１５３が、変形度設定部１５１から供給された変形度vに応じて、合成パラメータβを設定し、皮膚モデル合成部１５４に供給して、ステップＳ３３に進む。
ステップＳ３３では、変形度vに応じて、皮膚モデルの変形が行われ、ステップＳ３４に進む。
即ち、ステップＳ３３では、皮膚モデル変形部１５２Ａが、ステップＳ３３1として、データ取得部１５０から供給された笑い顔変形パラメータを用い、同じくデータ取得部１５０から供給された笑い顔皮膚モデルを、変形度設定部１５１から供給された変形度vに応じて変形し、その結果得られる笑い顔変形皮膚モデルを、皮膚モデル合成部１５４に供給する。
さらに、ステップＳ３３では、皮膚モデル変形部１５２Ｂが、ステップＳ３３2として、データ取得部１５０から供給された無表情変形パラメータを用い、同じくデータ取得部１５０から供給された無表情皮膚モデルを、変形度設定部１５１から供給された変形度vに応じて変形し、その結果得られる無表情変形皮膚モデルを、皮膚モデル合成部１５４に供給する。
ステップＳ３４では、皮膚モデル合成部１５４が、皮膚モデル変形部１５２Ａから供給された笑い顔変形皮膚モデルと、皮膚モデル変形部１５２Ｂから供給された無表情変形皮膚モデルとを、合成パラメータ設定部１５３から供給される合成パラメータβにしたがって合成し、その結果得られる合成皮膚モデルを、顔画像生成部１５５に供給して、ステップＳ３５に進む。
ステップＳ３５では、顔画像生成部１５５が、皮膚モデル合成部１５４から供給された合成皮膚モデル、並びに、データ取得部１５０から供給された眼球モデルまたは口内部モデルそれぞれを合成し、変形度vに応じた表情の合成顔画像を生成して、顔画像生成処理が終了する。
以上のようにして生成された合成顔画像は、顔画像生成部１５５から表示部１２６に供給されて表示される。
なお、ステップＳ３１乃至Ｓ３５の処理は、図２０において点線で示すように、ステップＳ３１で設定する変形度vを所定のステップ幅で変えながら繰り返すことができる。この場合、例えば、図２１に示すように、笑い顔または無表情の顔のうちの一方の顔から他方の顔に連続的に変形していく自然な顔画像のアニメーションを表示することができる。
ここで、図２２乃至図２７に、顔画像生成処理を行うことにより得られた実際の顔画像を示す。
図２２は、無表情画像を示しており、図２３は、笑い顔画像を示している。また、図２４乃至図２７は、図２２の無表情画像と図２３の笑い顔画像とを用いて得られた中間画像としての合成顔画像を示している。なお、図２４乃至図２７の合成顔画像は、その順で、変形度vを大にしていって得られた合成顔画像である。
アニメーション処理部１２５が行う顔画像生成処理では、顔画像から目境界の内部と口境界の内部とを除去した皮膚モデルを変形し、その変形後の皮膚モデルに、眼球モデルおよび口内部モデルを、その眼球モデルおよび口内部モデルが皮膚モデルより奥側にあることを考慮してのαブレンディングにより合成することによって、合成顔画像が生成されるので、顔の表情が変化しただけでは形状が変化しない眼球と口の内部の形状が変化するような不自然な合成顔画像となることを防止すること、即ち、自然な合成顔画像を得ることができる。
また、アニメーション処理部１２５が行う顔画像生成処理では、笑い顔変形皮膚モデルと無表情変形皮膚モデルとを合成する度合いを表す合成パラメータβを、変形度vが０と１の場合には、それぞれ変形度vと一致するように設定するので、変形度vが０であれば、合成パラメータβも０に設定され、その結果、合成顔画像は、無表情画像に（ほぼ）一致し、変形度vが１であれば、合成パラメータβも１に設定され、その結果、合成顔画像は、笑い顔画像に（ほぼ）一致する。従って、無表情画像や笑い顔画像に映っている人物そっくり（そのもの）の画像を得ることができる。
さらに、皮膚モデルの変形を、表情生成の原理に基づく変形手法で行う場合には、より自然な合成顔画像（中間画像）を得ることができる。
なお、本実施の形態では、皮膚モデル、眼球モデル、および口内部モデルとして、２次元のモデルを採用したが、皮膚モデル、眼球モデル、および口内部モデルとしては、その他、３次元のモデルを採用することができる。この場合、表情が変化するアニメーションの他に、顔の向きや視線を変えるアニメーションを実現することができる。
また、本実施の形態では、笑い顔画像と無表情画像との２枚の顔画像を用いて、アニメーションデータ生成処理および顔画像生成処理を行うようにしたが、アニメーションデータ生成処理および顔画像生成処理は、その他、例えば、３枚以上の顔画像、即ち、例えば、笑い顔画像、無表情画像、および泣いている表情の顔画像を用いて行うことが可能である。この場合、例えば、笑っている顔から無表情の顔に変化し、さらに、無表情の顔から泣いている顔に変化し、泣いている顔から笑っている顔に変化するアニメーション等を実現することができる。
さらに、顔画像生成処理において、皮膚モデルと眼球モデルおよび口内部モデルとの合成を、眼球モデルおよび口内部モデルが皮膚モデルよりも奥側にあることを考慮して行う合成手法としては、αブレンディングの他、陰面(線)消去の技術を採用することができる。
また、顔画像は、人の顔の他、人以外の動物の顔の画像であってもよい。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
また、上述した一連の処理は、図１のコンピュータにプログラムを実行させることによって行うことができる他、専用のハードウェアにより行うこともできる。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像処理装置として機能するコンピュータのハードウェア構成例を示すブロック図である。 本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 アニメーションデータ生成部１２２の構成例を示すブロック図である。 画像データ記憶部１２１に記憶される無表情画像と笑い顔画像それぞれの画像データの例を示す図である。 目口検出部１３１Ａと１３１Ｂの処理を説明するための図である。 実際の画像から検出された目境界を示す図である。 実際の画像から検出された口境界を示す図である。 実際の画像から検出された目境界を示す図である。 実際の画像から検出された口境界を示す図である。 皮膚モデル生成部１３２Ａと１３２Ｂの処理を説明するための図である。 変形パラメータ生成部１３３Ａと１３３Ｂの処理を説明するための図である。 変形パラメータ生成部１３３Ａと１３３Ｂの処理を説明するための図である。 変形パラメータ生成部１３３Ａと１３３Ｂの処理を説明するための図である。 変形パラメータ生成部１３３Ａと１３３Ｂの処理を説明するための図である。 口内部モデルを示す図である。 眼球モデルを示す図である。 アニメーションパラメータを示す図である。 アニメーションデータ生成処理を説明するフローチャートである。 アニメーション処理部１２５の構成例を示すブロック図である。 顔画像生成処理を説明するフローチャートである。 顔のアニメーションを示す図である。 顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。 顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。 顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。 顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。 顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。 顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。
符号の説明
１０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体， １２１ 画像データ記憶部， １２２ アニメーションデータ生成部， １２３ アニメーションデータ記憶部， １２４ 操作部， １２５ アニメーション処理部， １２６ 表示部， １３１Ａ，１３１Ｂ 目口検出部， １３２Ａ，１３２Ｂ 皮膚モデル生成部， １３３Ａ，１３３Ｂ 変形パラメータ生成部， １３４ 口内部モデル生成部， １３５ 基準眼球モデル記憶部， １３６ 眼球モデル生成部， １３７ 出力制御部， １５０ データ取得部， １５１ 変形度設定部， １５２Ａ，１５２Ｂ 皮膚モデル変形部， １５３ 合成パラメータ設定部， １５４ 皮膚モデル合成部， １５５ 顔画像生成部

Claims (10)

  1. 顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置において、
    口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出する第１の目口検出手段と、
    口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出する第２の目口検出手段と、
    前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成する第１の皮膚モデル生成手段と、
    前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成する第２の皮膚モデル生成手段と、
    前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成する口内部モデル生成手段と、
    眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成する眼球モデル生成手段と、
    前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求める第１の変形パラメータ生成手段と、
    前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求める第２の変形パラメータ生成手段と、
    前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力する出力手段と
    を備える画像処理装置。
  2. 顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定する変形度設定手段と、
    前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形する第１の皮膚モデル変形手段と、
    前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形する第２の皮膚モデル変形手段と、
    前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定する合成パラメータ設定手段と、
    前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成する皮膚モデル合成手段と、
    前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する顔画像生成手段と
    をさらに備える請求項１に記載の画像処理装置。
  3. 前記変形度設定手段は、ユーザの操作に応じて、前記変形度を設定する
    請求項２に記載の画像処理装置。
  4. 顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置の画像処理方法において、
    前記画像処理装置が、
    口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出し、
    口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出し、
    前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成し、
    前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成し、
    前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成し、
    眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成し、
    前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求め、
    前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求め、
    前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力する
    ステップを含む画像処理方法。
  5. 顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理を、コンピュータに実行させるプログラムにおいて、
    口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出する第１の目口検出手段と、
    口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出する第２の目口検出手段と、
    前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成する第１の皮膚モデル生成手段と、
    前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成する第２の皮膚モデル生成手段と、
    前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成する口内部モデル生成手段と、
    眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成する眼球モデル生成手段と、
    前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求める第１の変形パラメータ生成手段と、
    前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求める第２の変形パラメータ生成手段と、
    前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力する出力手段と
    して、コンピュータを機能させるためのプログラム。
  6. 顔画像を生成する画像処理装置において、
    口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、
    口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、
    前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、
    眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、
    前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、
    前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータと
    を含むアニメーションデータを取得するデータ取得手段と、
    顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定する変形度設定手段と、
    前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形する第１の皮膚モデル変形手段と、
    前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形する第２の皮膚モデル変形手段と、
    前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定する合成パラメータ設定手段と、
    前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成する皮膚モデル合成手段と、
    前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する顔画像生成手段と
    を備える画像処理装置。
  7. 前記変形度設定手段は、ユーザの操作に応じて、前記変形度を設定する
    請求項６に記載の画像処理装置。
  8. 前記変形度設定手段が、前記変形度を設定し、
    前記合成パラメータ設定手段が、前記変形度に応じて、前記合成パラメータを設定し、
    前記第１の皮膚モデル変形手段が、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形し、
    第２の皮膚モデル変形手段が、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形し、
    前記皮膚モデル合成手段が、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成し、
    前記顔画像生成手段が、前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する
    ことを繰り返す
    請求項６に記載の画像処理装置。
  9. 顔画像を生成する画像処理装置の画像処理方法において、
    前記画像処理装置が、
    口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、
    口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、
    前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、
    眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、
    前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、
    前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータと
    を含むアニメーションデータを取得し、
    顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定し、
    前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形し、
    前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形し、
    前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定し、
    前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成し、
    前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する
    ステップを含む画像処理方法。
  10. 顔画像を生成する画像処理を、コンピュータに実行させるプログラムにおいて、
    口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、
    口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、
    前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、
    眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、
    前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、
    前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータと
    を含むアニメーションデータを取得するデータ取得手段と、
    顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定する変形度設定手段と、
    前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形する第１の皮膚モデル変形手段と、
    前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形する第２の皮膚モデル変形手段と、
    前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定する合成パラメータ設定手段と、
    前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成する皮膚モデル合成手段と、
    前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する顔画像生成手段と
    して、コンピュータを機能させるためのプログラム。
JP2005353027A 2005-12-07 2005-12-07 画像処理装置および画像処理方法、並びに、プログラム Expired - Fee Related JP4760349B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005353027A JP4760349B2 (ja) 2005-12-07 2005-12-07 画像処理装置および画像処理方法、並びに、プログラム
US11/607,020 US8150205B2 (en) 2005-12-07 2006-12-01 Image processing apparatus, image processing method, program, and data configuration
KR1020060122941A KR20070060012A (ko) 2005-12-07 2006-12-06 화상 처리 장치 및 화상 처리 방법, 프로그램, 및 데이터구조

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005353027A JP4760349B2 (ja) 2005-12-07 2005-12-07 画像処理装置および画像処理方法、並びに、プログラム

Publications (3)

Publication Number Publication Date
JP2007156945A JP2007156945A (ja) 2007-06-21
JP2007156945A5 JP2007156945A5 (ja) 2008-04-17
JP4760349B2 true JP4760349B2 (ja) 2011-08-31

Family

ID=38118841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005353027A Expired - Fee Related JP4760349B2 (ja) 2005-12-07 2005-12-07 画像処理装置および画像処理方法、並びに、プログラム

Country Status (3)

Country Link
US (1) US8150205B2 (ja)
JP (1) JP4760349B2 (ja)
KR (1) KR20070060012A (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064344B2 (en) * 2009-03-01 2015-06-23 Facecake Technologies, Inc. Image transformation systems and methods
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
CN101802867B (zh) * 2007-07-18 2012-11-21 新加坡南洋理工大学 提供图形数据以及显示图形数据的方法
JP2009031870A (ja) * 2007-07-24 2009-02-12 Seiko Epson Corp 被写体距離推定のための画像処理
JP2010171797A (ja) * 2009-01-23 2010-08-05 Nikon Corp 撮像装置及びプログラム
US10895917B2 (en) * 2011-03-12 2021-01-19 Uday Parshionikar Multipurpose controllers and methods
US9268995B2 (en) * 2011-04-11 2016-02-23 Intel Corporation Smile detection techniques
JP5905702B2 (ja) * 2011-10-18 2016-04-20 花王株式会社 顔印象判定チャート
CN102509333B (zh) * 2011-12-07 2014-05-07 浙江大学 基于动作捕获数据驱动的二维卡通表情动画制作方法
WO2014088125A1 (ko) * 2012-12-04 2014-06-12 엘지전자 주식회사 영상 촬영 장치 및 그 방법
CN103258316B (zh) * 2013-03-29 2017-02-15 东莞宇龙通信科技有限公司 一种图片处理方法和装置
US9576175B2 (en) * 2014-05-16 2017-02-21 Verizon Patent And Licensing Inc. Generating emoticons based on an image of a face
JP6476608B2 (ja) * 2014-06-30 2019-03-06 カシオ計算機株式会社 動作処理装置、動作処理方法及びプログラム
CN104123549B (zh) * 2014-07-30 2017-05-03 中国人民解放军第三军医大学第二附属医院 一种用于疲劳驾驶实时监测的眼睛定位方法
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
KR101994390B1 (ko) * 2015-12-30 2019-06-28 단국대학교 산학협력단 가중치 보간 맵을 이용한 표정 합성 장치 및 방법
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
US10217275B2 (en) * 2016-07-07 2019-02-26 Disney Enterprises, Inc. Methods and systems of performing eye reconstruction using a parametric model
US10217265B2 (en) 2016-07-07 2019-02-26 Disney Enterprises, Inc. Methods and systems of generating a parametric eye model
CN108259496B (zh) * 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN112860168B (zh) 2018-02-08 2022-08-02 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
US11213374B2 (en) * 2018-02-20 2022-01-04 Ivoclar Vivadent Ag Rendering a dental model in an image
GB2572435B (en) * 2018-03-29 2022-10-05 Samsung Electronics Co Ltd Manipulating a face in an image
WO2020037681A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备
WO2020037679A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 视频处理方法、装置及电子设备
CN110141857A (zh) * 2019-04-26 2019-08-20 腾讯科技（深圳）有限公司 虚拟角色的面部显示方法、装置、设备及存储介质
US10991143B2 (en) * 2019-07-03 2021-04-27 Roblox Corporation Animated faces using texture manipulation
CN110517340B (zh) * 2019-08-30 2020-10-23 腾讯科技（深圳）有限公司 一种基于人工智能的脸部模型确定方法和装置
US11438551B2 (en) * 2020-09-15 2022-09-06 At&T Intellectual Property I, L.P. Virtual audience using low bitrate avatars and laughter detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113217A (ja) * 1998-10-02 2000-04-21 Cselt Spa (Cent Stud E Lab Telecomun) 顔イメ―ジから開始して３ｄ顔モデルを作る方法
JP2002157605A (ja) * 2000-11-21 2002-05-31 Sharp Corp 画像処理装置、画像処理方法、及び画像処理用プログラムを記録した記録媒体
JP2002208032A (ja) * 2000-09-28 2002-07-26 At & T Corp グラフィカル・ユーザ・インタフェースのテキスト・ベースの補間検索

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5995119A (en) * 1997-06-06 1999-11-30 At&T Corp. Method for generating photo-realistic animated characters
DE69910757T2 (de) * 1998-04-13 2004-06-17 Eyematic Interfaces, Inc., Santa Monica Wavelet-basierte gesichtsbewegungserfassung für avataranimation
US7050655B2 (en) * 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
JP3316758B2 (ja) 1999-12-13 2002-08-19 インターナショナル・ビジネス・マシーンズ・コーポレーション モルフィング処理装置、記憶媒体、および動画作成装置
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US7127081B1 (en) * 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
US6975750B2 (en) * 2000-12-01 2005-12-13 Microsoft Corp. System and method for face recognition using synthesized training images
US6876364B2 (en) * 2001-08-13 2005-04-05 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US7443394B2 (en) * 2003-04-30 2008-10-28 Pixar Method and apparatus for rendering of complex translucent objects using multiple volumetric grids
JP2005242567A (ja) * 2004-02-25 2005-09-08 Canon Inc 動作評価装置及び方法
US7454039B2 (en) * 2004-07-12 2008-11-18 The Board Of Trustees Of The University Of Illinois Method of performing shape localization
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US7768528B1 (en) * 2005-11-09 2010-08-03 Image Metrics Limited Replacement of faces in existing video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113217A (ja) * 1998-10-02 2000-04-21 Cselt Spa (Cent Stud E Lab Telecomun) 顔イメ―ジから開始して３ｄ顔モデルを作る方法
JP2002208032A (ja) * 2000-09-28 2002-07-26 At & T Corp グラフィカル・ユーザ・インタフェースのテキスト・ベースの補間検索
JP2002157605A (ja) * 2000-11-21 2002-05-31 Sharp Corp 画像処理装置、画像処理方法、及び画像処理用プログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2007156945A (ja) 2007-06-21
US20070127844A1 (en) 2007-06-07
US8150205B2 (en) 2012-04-03
KR20070060012A (ko) 2007-06-12

Similar Documents

Publication Publication Date Title
JP4760349B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US11818506B2 (en) Circumstances based 3D representations of participants of virtual 3D communications
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR100407111B1 (ko) 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
JP5949331B2 (ja) 画像生成装置、画像生成方法及びプログラム
US20100189357A1 (en) Method and device for the virtual simulation of a sequence of video images
JP4886645B2 (ja) 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
JP2013054761A (ja) 演技から作り出される顔アニメーション
JP2017204673A (ja) 画像処理装置、画像処理方法及びプログラム
JP2002232783A (ja) 画像処理装置および画像処理方法、並びにプログラム記憶媒体
CN115393480A (zh) 基于动态神经纹理的说话人合成方法、装置和存储介质
Paier et al. Example-based facial animation of virtual reality avatars using auto-regressive neural networks
US11055892B1 (en) Systems and methods for generating a skull surface for computer animation
JPH10240908A (ja) 映像合成方法
JP5966657B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2006243975A (ja) モーションキャプチャデータ補正装置、マルチモーダルコーパス作成システム、画像合成装置、及びコンピュータプログラム
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
KR20200029968A (ko) 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법
JP6402301B2 (ja) 視線変換装置、視線変換方法及びプログラム
RU2703327C1 (ru) Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
JP2019205205A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2723070B2 (ja) 人物像表示によるユーザインタフェース装置
Sun et al. Generation of virtual digital human for customer service industry
US11941736B2 (en) Systems and methods for motion-controlled animation

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees